Skalowanie: co naprawdę obiecuje krzywa

Wszystkie prognozy dotyczące sztucznej inteligencji, które mają jakąkolwiek podstawę ilościową, opierają się na jednej rodzinie wyników: prawach skalowania. Bez nich rozmowa o tym, co będzie za pięć lat, byłaby czystą publicystyką.

Warto więc wiedzieć, co dokładnie te prawa mówią. A mówią mniej, niż się na nie powołuje.

Regularność, która uruchomiła inwestycje

W 2020 roku zespół Jareda Kaplana pokazał, że trafność modelu poprawia się w sposób regularny wraz ze wzrostem trzech wielkości: liczby parametrów, ilości danych treningowych i mocy obliczeniowej. Zależność okazała się gładka i przewidywalna przez wiele rzędów wielkości.

Znaczenie tego wyniku było przede wszystkim ekonomiczne. Skoro poprawę da się przewidzieć, to budowa większego modelu przestaje być zakładem, a staje się decyzją inwestycyjną z oszacowanym zwrotem. Znaczna część dzisiejszych nakładów na tę dziedzinę - liczonych w dziesiątkach miliardów - bierze się z tego jednego wniosku.

Warunkiem wstępnym była architektura transformera, wprowadzona trzy lata wcześniej. Jej przewaga jest w dużej mierze praktyczna: daje się zrównoleglić, a więc trenować na sprzęcie, który mnoży macierze. Bez tego skala nie miałaby jak urosnąć.

Czego te prawa nie mówią

I tu zaczyna się rozjazd między pracą a jej recepcją.

Prawa skalowania opisują stratę - miarę tego, jak bardzo model myli się przy przewidywaniu kolejnego fragmentu tekstu. To wielkość techniczna, uśredniona po ogromnym zbiorze.

Nie opisują zdolności. Nie mówią, przy jakim nakładzie model zacznie poprawnie rozwiązywać zadania matematyczne, planować wieloetapowe działania albo przestanie twierdzić rzeczy nieprawdziwe. Związek między stratą a tym, co model potrafi, istnieje - ale nie jest opisany żadną krzywą i nie da się go ekstrapolować.

Zdanie „prawa skalowania przewidują, że za dwa lata modele osiągną X” jest więc nadużyciem niezależnie od tego, co podstawimy pod X. Przewidują spadek straty. Reszta jest interpretacją.

Historia, która powinna studzić

Dwa lata po pracy Kaplana zespół DeepMind opublikował wynik zwany Chinchillą. Pokazał, że dotychczasowe modele były zbyt duże wobec ilości danych, na jakich je trenowano - przy tym samym budżecie obliczeniowym lepiej wypada model mniejszy, ale nakarmiony obficiej.

To nie było obalenie. Regularność została; zmieniły się proporcje, w jakich należy ją wykorzystywać.

Ale konsekwencja dla czytania całej dziedziny jest poważniejsza, niż wygląda. Regularność potwierdzona w pomiarach była przez dwa lata interpretowana źle - i w tym czasie na jej podstawie projektowano modele, wydawano pieniądze i formułowano prognozy. Ci sami ludzie, którzy dziś ekstrapolują krzywą w przyszłość, wtedy również byli przekonani, że rozumieją, co ona mówi.

Nie jest to argument przeciw skalowaniu. Jest to argument za tym, żeby przy każdej prognozie opartej na krzywej pytać, która to wersja krzywej.

Cztery zastrzeżenia

Zdolności wyłaniające się. Obserwowano, że pewne umiejętności pojawiają się skokowo powyżej określonej skali, co bywało opisywane jako zjawisko jakościowe. Późniejsze prace wskazują, że skokowość bierze się często ze sposobu pomiaru: miara zerojedynkowa zamienia ciągłą poprawę w skok. Spór jest o metodę, nie o dane, i pozostaje otwarty.

Dane się kończą. Chinchilla przesunęła nacisk na ilość danych, a wysokiej jakości tekstu ludzkiego jest skończenie wiele. Stąd zainteresowanie danymi generowanymi przez modele - z ryzykiem, którego skali nikt dziś nie zna.

Zmieniła się oś. Od 2024 roku uwaga przesuwa się z wielkości modelu na nakład obliczeniowy w chwili odpowiadania: model, który „myśli dłużej”, radzi sobie lepiej. To jest inna oś niż wszystkie w pracy Kaplana i rządzi się własnymi zależnościami, dopiero opisywanymi.

Miary też się zmieniają. Zespół METR zaproponował w 2025 roku śledzenie długości zadania, które system doprowadza do końca - mierzonej czasem, jakiego potrzebowałby na nie człowiek. To przesuwa uwagę z trafności pojedynczej odpowiedzi na wytrwałość i planowanie, czyli na to, co odróżnia asystenta od narzędzia.

Co z tego wynika

Prawa skalowania są dobrym narzędziem planowania i marnym narzędziem prognozowania. Mówią inżynierowi, ile zyska za dany budżet. Nie mówią nikomu, kiedy powstanie AGI - także dlatego, że nie ma uzgodnionego kryterium, po czym poznalibyśmy, że powstała.

Praktyczna wskazówka przy czytaniu prognoz: sprawdź, czy autor ekstrapoluje stratę (dobrze udokumentowane) czy zdolności (nieudokumentowane), i czy w ogóle zaznacza, że dwa lata po pracy, na którą się powołuje, tę samą krzywą trzeba było odczytać inaczej.

To jest ta sama zasada, którą stosujemy przy każdym innym temacie na tym portalu: pytanie nie brzmi „co przewiduje krzywa”, tylko „co dokładnie zmierzono i jak daleko wolno to przedłużyć”.