Zdolności, które wyłaniają się z wykresu

Tarcza fenakistoskopu ma na obwodzie kilkanaście nieruchomych rysunków. Zakręcona i oglądana przez szczelinę pokazuje płynny ruch, którego na tarczy nie ma nigdzie. Ruch nie jest złudzeniem w tym sensie, że widz coś sobie wyobraża - jest wynikiem sposobu patrzenia.

To jest najkrótszy opis sporu, który od 2022 roku toczy się o zdolności wyłaniające się w modelach językowych.

Co zaobserwowano

Prawa skalowania mówią, że błąd modelu spada gładko wraz ze wzrostem nakładu. Praca z 2022 roku zwróciła uwagę na coś, co w tym obrazie nie pasowało: na wielu zadaniach nie było poprawy stopniowej. Modele mniejsze radziły sobie na poziomie przypadku, a powyżej pewnej wielkości nagle zaczynały odpowiadać poprawnie.

Wyglądało to jak próg fazowy - jak zamarzanie wody, które nie zachodzi „trochę”. Autorzy naliczyli kilkadziesiąt takich zadań: arytmetyka wieloetapowa, rozumienie zdań z podwójnym przeczeniem, tłumaczenie transliterowane.

Wniosek, który z tego wyciągnięto w dyskusji publicznej, był mocniejszy niż sama praca: skoro zdolności pojawiają się skokowo i nieprzewidywalnie, to nie wiemy, co przyniesie następna skala. Ta teza weszła do rozmowy o bezpieczeństwie i została w niej do dziś.

Co zakwestionowano

Rok później ukazała się praca, która nie podważyła ani jednej liczby z poprzedniej - a mimo to zmieniła jej sens.

Argument jest prosty i dlatego mocny. Weźmy zadanie: dodaj dwie liczby czterocyfrowe. Ocena zerojedynkowa: odpowiedź jest poprawna albo nie. Model, który myli się w ostatniej cyfrze, dostaje zero - dokładnie tyle, ile model odpowiadający losowo.

Teraz ten sam model, ta sama odpowiedź, inna miara: jak bardzo się pomylił. Okazuje się, że poprawa jest ciągła i gładka. Modele stopniowo mylą się w coraz mniejszej liczbie cyfr, aż w pewnym momencie przekraczają próg, przy którym wynik zaczyna być punktowany.

Skok jest więc w linijce, nie w modelu. Miara zerojedynkowa zamienia ciągłą poprawę w schodek, bo do przekroczenia progu potrzeba wszystkich cyfr naraz.

Autorzy pokazali też coś, co jest w tym sporze rozstrzygające metodologicznie: potrafili wywołać pozorną emergencję sztucznie, w dziedzinach, gdzie nikt jej nie postulował, po prostu przechodząc na miarę zerojedynkową.

Dlaczego to nie jest spór akademicki

Można by uznać, że to kłótnia o wykresy. Nie jest, z trzech powodów.

Po pierwsze, chodzi o przewidywalność. Jeśli poprawa jest gładka, to da się ekstrapolować i planować. Jeśli skokowa - nie da się, a wtedy każde kolejne wytrenowanie modelu jest zakładem o nieznanej stawce. Cała ekonomia tej dziedziny opiera się na pierwszym założeniu.

Po drugie, chodzi o bezpieczeństwo. Argument „nie wiemy, co pojawi się przy następnej skali” był jednym z filarów uzasadnienia dla badań nad bezpieczeństwem AI. Praca z 2023 roku ten filar osłabia - ale go nie usuwa, bo gładkość straty nie przekłada się w prosty sposób na przewidywalność zdolności.

Po trzecie, chodzi o to, komu wierzymy. Pierwsza praca powstała w firmach budujących badane modele. Druga - na uniwersytecie. To nie znaczy, że jedna jest fałszywa, a druga prawdziwa. Znaczy, że teza „nasze modele mają nieprzewidywalne, wyłaniające się zdolności” jest tezą korzystną dla ich producenta i warto o tym pamiętać, oceniając, jak szybko weszła do obiegu.

Co z tego zostaje

Zostaje mniej, niż głosił nagłówek, i więcej, niż sugeruje słowo „miraż”.

Zostaje fakt praktyczny. Dla użytkownika próg jest realny. Model, który myli się w jednej cyfrze na dziesięć, jest bezużyteczny do rachunków - i dopiero po przekroczeniu progu staje się narzędziem. Z punktu widzenia zastosowania skok istnieje, nawet jeśli w mechanizmie go nie ma.

Zostaje problem metodologiczny. Większość testów zdolności modeli jest zerojedynkowa, bo tak się je najłatwiej punktuje. To znaczy, że cała dziedzina mierzy zdolności linijką, o której wiemy, że zniekształca kształt zjawiska.

Zostaje pytanie otwarte. Gładka poprawa straty nie mówi, kiedy model przekroczy próg konkretnej umiejętności. To jest ta sama luka, którą opisaliśmy przy prawach skalowania: strata to nie zdolność, a przejście od jednej do drugiej nie ma opisu.

Praktyczna zasada

Przy każdym doniesieniu o „nowej zdolności, która pojawiła się nagle” warto zadać jedno pytanie: jak to zmierzono?

Jeśli miarą jest procent zadań rozwiązanych całkowicie poprawnie - skok jest spodziewany i niewiele znaczy. Jeśli miarą jest coś ciągłego, a skok mimo to jest - to jest wynik wart uwagi.

To rozróżnienie zajmuje jedno zdanie w metodologii i prawie nigdy nie trafia do nagłówka.