AI w mammografii: wynik i awantura o dowód

Rentgenogram dłoni z końca XIX wieku był pierwszym obrazem, którego nie dało się zobaczyć okiem i którego trzeba się było nauczyć czytać. Umiejętność czytania takich obrazów jest od stu lat zawodem.

W 2020 roku ogłoszono, że program czyta je lepiej.

Co dokładnie pokazano

Badanie objęło dwa zbiory zdjęć mammograficznych: duży, reprezentatywny zbiór brytyjski i duży, wzbogacony zbiór amerykański. „Wzbogacony” znaczy tu, że udział przypadków z nowotworem był w nim wyższy niż w populacji - i o tym trzeba pamiętać, czytając liczby.

Wyniki podane w publikacji:

• Spadek odsetka wyników fałszywie dodatnich o 5,7 punktu procentowego w zbiorze amerykańskim i 1,2 w brytyjskim.
• Spadek odsetka wyników fałszywie ujemnych o 9,4 punktu procentowego w zbiorze amerykańskim i 2,7 w brytyjskim.
• W osobnym badaniu z udziałem sześciorga radiologów system przewyższył każde z nich pod względem pola pod krzywą charakterystyki.
• System wytrenowany na danych brytyjskich zachował skuteczność na danych amerykańskich - czyli przeniósł się między systemami ochrony zdrowia.

Warto wiedzieć, dlaczego oba rodzaje błędów liczą się tak samo. Wynik fałszywie dodatni oznacza wezwanie zdrowej osoby na dodatkowe badania, biopsję i kilka tygodni strachu. Wynik fałszywie ujemny oznacza nowotwór przeoczony do następnego badania przesiewowego. W programie obejmującym miliony kobiet oba są kosztowne, tylko inaczej.

Awantura, która wybuchła kilka miesięcy później

Jeszcze w tym samym roku ukazała się w „Nature” polemika podpisana przez grupę naukowców. Zarzut nie dotyczył liczb. Dotyczył tego, że nie opublikowano kodu, wytrenowanego modelu ani opisu wystarczającego do powtórzenia pracy.

Argument autorów polemiki był prosty: publikacja naukowa ma umożliwiać sprawdzenie. Bez kodu i danych praca staje się komunikatem o wyniku, a nie wynikiem naukowym. W medycynie, gdzie na podstawie takich prac podejmuje się decyzje o zakupie systemów za publiczne pieniądze, jest to problem, a nie formalność.

Odpowiedź autorów była równie zrozumiała: dane medyczne podlegają ograniczeniom, których nie da się obejść, a model wytrenowany na chronionych zbiorach nie może być udostępniony jak zwykły program.

Obie strony miały rację w swojej sprawie. I właśnie dlatego jest to najlepszy przykład sporu, który w tej dziedzinie wraca co roku.

Trzy rzeczy, które ta sprawa pokazuje

Ocena retrospektywna to nie wdrożenie. System oceniany na zebranych wcześniej zdjęciach pracuje w warunkach idealnych: pełne dane, znany wynik końcowy, brak presji czasu. W programie przesiewowym dochodzi sprzęt różnej jakości, zmienna jakość zdjęć i ludzie, którzy zaczynają ufać podpowiedzi. Ten ostatni efekt bywa mierzalny i działa w obie strony - piszemy o tym przy rozpoznawaniu deepfake’ów, gdzie podpowiedź programu poprawiała wynik ludzi, ale przy błędnej podpowiedzi część osób zmieniała poprawną odpowiedź na błędną.

Kto publikuje, ten ustala narrację. Praca pochodziła od firmy, która ten system rozwija. Nie znaczy to, że wyniki są nieprawdziwe. Znaczy, że nie było niezależnego sędziego - w przeciwieństwie do przypadków, w których wynik weryfikuje konkurs z zaślepioną próbą, jak przy AlphaFold.

Przejrzystość przestała być postulatem. Systemy AI używane jako wyroby medyczne należą w unijnym akcie o sztucznej inteligencji do kategorii wysokiego ryzyka, z obowiązkami dotyczącymi dokumentacji, nadzoru człowieka i jakości danych. Spór z 2020 roku toczył się o zasadę, która dziś jest przepisem.

Co się z tym stało później

Kierunek się nie zatrzymał. Systemy wspomagające ocenę mammografii są dziś dopuszczone do stosowania w kilku krajach europejskich, zwykle w roli drugiego czytającego - nie zamiast radiologa, tylko obok.

To jest rozwiązanie mniej efektowne niż nagłówek z 2020 roku i prawdopodobnie właściwe. Programy przesiewowe w wielu krajach wymagają, żeby każde zdjęcie obejrzały dwie osoby, a radiologów brakuje. System, który przejmuje rolę drugiego czytającego, rozwiązuje problem kadrowy, nie zastępując odpowiedzialności.

Co z tego wynika

Dla medycyny: to jest jedno z niewielu zastosowań sztucznej inteligencji z twardo mierzonym wynikiem, bo istnieje prawda, do której można porównać - wiadomo, u kogo nowotwór wykryto później.

Dla oceny doniesień: przy każdej pracy z tej dziedziny warto zapytać o trzy rzeczy: czy była ocena prospektywna, czy dane i kod są dostępne i kto ją finansował. Trzy pytania, które w 2020 roku dały trzy niewygodne odpowiedzi.

Dla tego portalu: ta sprawa jest wzorcowym przykładem tego, jak wygląda spór naukowy, gdy działa. Nikt nie zarzucił nikomu oszustwa. Zarzucono niemożność sprawdzenia - i to wystarczyło, żeby zmienić standardy publikowania w całej dziedzinie.