Testy, które się zużywają

Istnieje w tej dziedzinie powtarzalny cykl. Ktoś proponuje test, który ma sprawdzać, czy maszyna naprawdę rozumie. Test przez jakiś czas opiera się modelom. Potem zostaje zdany - i natychmiast okazuje się, że mierzył coś węższego, niż sądzono, a prawdziwa inteligencja jest gdzie indziej.

Tak było z szachami, z testem Turinga, z egzaminami zawodowymi i z kolejnymi zestawami zadań. Za każdym razem próg, który przed zdaniem wyglądał na miarę inteligencji, po zdaniu okazywał się miarą umiejętności zdawania tego testu.

To nie jest zarzut wobec twórców benchmarków. To jest opis problemu, którego nikt nie rozwiązał - i powodu, dla którego zdanie „modele robią szybkie postępy” jest znacznie trudniejsze do sprawdzenia, niż wygląda.

Skąd wiadomo, że coś umie

Pierwsza poważna próba zdefiniowania inteligencji maszyn tak, żeby dała się zmierzyć, pochodzi z 2007 roku. Shane Legg i Marcus Hutter zaproponowali ujęcie formalne: inteligencja jako zdolność do osiągania celów w szerokim zbiorze środowisk, ważona ich prostotą.

Propozycja jest elegancka i ma jedną wadę, którą autorzy sami wskazują - definiowanej wielkości nie da się obliczyć. Jest to definicja, nie miara.

Praktyka poszła więc inną drogą: zamiast definiować inteligencję, zaczęto zbierać zadania. W 2020 roku zespół Dana Hendrycksa opublikował MMLU - zestaw pytań z kilkudziesięciu dziedzin, od prawa po medycynę, pomyślany jako test szerokiej wiedzy. W 2023 roku powstał GPQA, zbiór pytań na poziomie doktoranckim, zaprojektowany tak, by nie dało się ich rozwiązać wyszukiwarką - stąd „google-proof” w nazwie.

Oba zestawy powstały, bo poprzednie przestały różnicować. I oba spotkał ten sam los.

Na czym polega zużycie

Benchmark przestaje być użyteczny na trzy sposoby, i warto je rozdzielić, bo mają różne konsekwencje.

Nasycenie. Wyniki dochodzą do sufitu. Gdy wszystkie oceniane systemy odpowiadają poprawnie na 90 procent pytań, test nie mówi już nic o różnicach między nimi - mierzy resztę, czyli często błędy w samym zestawie zadań.

Przeciek do danych treningowych. Modele uczą się na tekstach z internetu, a benchmarki są w internecie. Im starszy i popularniejszy zestaw, tym większe prawdopodobieństwo, że jego zadania - albo bardzo podobne - model już widział. Odróżnienie rozwiązywania od przypominania sobie staje się wtedy problemem technicznym, a nie filozoficznym.

Rozjazd z tym, o co chodziło. Najciekawszy przypadek. Test zdany, a wrażenie ogólności się nie pojawia, bo mierzone było coś innego, niż zamierzano. To jest dokładnie sytuacja, w której system zdaje egzamin zawodowy i zawodzi przy zadaniu, z którym poradziłoby sobie dziecko.

Dwie odpowiedzi na ten problem

Pierwsza: mierzyć uczenie się, nie wiedzę. François Chollet zaproponował w 2019 roku, żeby inteligencję rozumieć jako efektywność nabywania umiejętności - czyli sprawdzać, jak szybko system radzi sobie z zadaniem, którego nie widział, przy niewielkiej liczbie przykładów. Zestaw zbudowany na tej zasadzie opierał się modelom znacznie dłużej niż testy wiedzy. Warto przy tym wiedzieć, że autor propozycji jest jednocześnie autorem benchmarku, który z niej wyrasta.

Druga: mierzyć długość zadania. Zespół METR zaproponował w 2025 roku miarę odmienną od wszystkich powyższych: nie co system potrafi, tylko jak długie zadanie doprowadza do końca - mierzone czasem, jakiego potrzebowałby na nie człowiek. To przesuwa uwagę z pojedynczej odpowiedzi na wytrwałość i planowanie, czyli na to, co odróżnia asystenta od narzędzia.

Żadna z tych propozycji nie jest standardem. Obie są jednak próbą wyjścia poza cykl „nowy test, szybkie nasycenie, nowy test”.

Skala zamiast progu

W 2023 roku zespół z Google DeepMind zaproponował coś, co jest w tej dyskusji przyznaniem się do porażki - i to przyznaniem uczciwym. Zamiast pytać, czy system jest już AGI, zaproponowano skalę poziomów, z osobnymi osiami dla zdolności i autonomii.

Wartość tej propozycji nie polega na samej skali, tylko na tym, co z niej wynika: pytanie „czy to już AGI” było źle postawione. Nie ma progu, a więc nie ma też momentu, w którym można byłoby ogłosić, że został przekroczony.

Kto mierzy

Jest jeszcze problem, który z samą metodologią nie ma nic wspólnego. Większość liczb w tej dziedzinie publikują podmioty mające interes w konkretnej odpowiedzi. Warunki pomiaru, dobór zadań i moment ogłoszenia wyniku ustala zwykle firma, której model jest oceniany.

To nie znaczy, że wyniki są fałszowane. Znaczy, że są wybierane - a przy dostatecznie dużej liczbie możliwych testów wybór sam w sobie kształtuje obraz. Dlatego rosnące znaczenie mają oceny prowadzone przez zespoły zewnętrzne oraz przeglądy międzynarodowe, w rodzaju raportu o bezpieczeństwie AI przygotowywanego przez panel z kilkudziesięciu krajów. Ten sam zarzut o konflikt interesów dotyczy zresztą badań nad interpretowalnością mechanistyczną, które również powstają głównie w firmach budujących oceniane modele - o czym piszemy szerzej w wątku bezpieczeństwo AI.

Co z tego wynika

Nie to, że postępu nie ma. Postęp w zdolnościach modeli jest realny i widać go w zastosowaniach, nie tylko w tabelach.

Wynika natomiast coś skromniejszego i mniej wygodnego dla obu stron sporu: nie mamy miary, która pozwalałaby powiedzieć, jak duży jest ten postęp w skali, o którą naprawdę chodzi. Kolejne rekordy na kolejnych zestawach zadań mówią, że modele są coraz lepsze w rozwiązywaniu zadań z zestawów. Czy to samo znaczy, co „coraz bliżej ogólności”, pozostaje pytaniem otwartym - i będzie otwarte dopóty, dopóki nie powstanie test, którego zdanie coś rozstrzyga.

Przy czytaniu doniesień warto więc pytać nie „ile procent”, tylko: jaki test, kto go przeprowadził i czy jego zadania mogły być w danych treningowych. Trzy pytania, na które w komunikatach prasowych zwykle nie ma odpowiedzi - i to samo w sobie jest informacją.