Prawa skalowania

Skąd się wzięło

W 2020 roku zespół Jareda Kaplana opublikował pracę, która zmieniła sposób, w jaki ta dziedzina planuje wydatki. Wykazano w niej, że trafność modelu poprawia się w sposób regularny wraz ze wzrostem trzech wielkości: liczby parametrów, ilości danych treningowych i mocy obliczeniowej włożonej w trening. Zależność okazała się gładka i przewidywalna w zakresie wielu rzędów wielkości.

Praktyczne znaczenie było natychmiastowe. Skoro poprawę da się przewidzieć, to budowa większego modelu przestaje być zakładem, a staje się decyzją inwestycyjną z oszacowanym zwrotem. Znaczna część dzisiejszych nakładów na tę dziedzinę bierze się z tego jednego wniosku.

Co dokładnie obejmuje

Prawa skalowania opisują stratę - miarę tego, jak bardzo model myli się przy przewidywaniu kolejnego fragmentu tekstu. Nie opisują zdolności. To rozróżnienie jest w tym haśle najważniejsze i regularnie ginie w relacjach.

Dwa etapy w rozwoju tych wniosków:

• Kaplan i in. (2020) - przy ustalonym budżecie obliczeniowym opłaca się przede wszystkim zwiększać model. Wniosek ten kształtował projektowanie modeli przez dwa lata.
• Hoffmann i in. (2022), praca zwana „Chinchilla” - pokazała, że dotychczasowe modele były zbyt duże wobec ilości danych, na jakich je trenowano. Przy tym samym budżecie lepiej wypada model mniejszy, ale nakarmiony obficiej. To jest korekta, nie obalenie: prawidłowość została, zmieniły się proporcje.

Ta poprawka ma znaczenie dla czytania całej dziedziny. Regularność potwierdzona w pomiarach została zinterpretowana źle przez dwa lata, a ci sami ludzie, którzy dziś ekstrapolują ją w przyszłość, wtedy również byli przekonani.

Spory

Czym są zdolności wyłaniające się. Obserwowano, że pewne umiejętności pojawiają się skokowo powyżej określonej skali. Bywało to opisywane jako zjawisko jakościowe. Późniejsze prace wskazują, że skokowość bierze się często ze sposobu pomiaru: miara zerojedynkowa (zadanie zaliczone albo nie) zamienia ciągłą poprawę w skok. To jest spór o metodę, nie o dane, i pozostaje otwarty.

Czy prawa skalowania mówią cokolwiek o przyszłości. Są ekstrapolacją regularności zaobserwowanej w pewnym zakresie. Ekstrapolacja poza ten zakres jest założeniem, a nie wnioskiem - a każda dotąd znana regularność tego typu w końcu przestawała obowiązywać.

Dane się kończą. Chinchilla przesunęła nacisk na ilość danych, a wysokiej jakości tekstu ludzkiego jest skończenie wiele. Stąd zainteresowanie danymi generowanymi przez modele - z ryzykiem, którego skali nikt dziś nie zna.

Co skalować. Od 2024 roku uwaga przesuwa się z wielkości modelu na nakład obliczeniowy w chwili odpowiadania: model, który „myśli dłużej”, radzi sobie lepiej. To jest inna oś niż wszystkie w pracy Kaplana i rządzi się własnymi zależnościami.

Stan na dziś

Stan na sierpień 2026: prawa skalowania pozostają użytecznym narzędziem planowania i marnym narzędziem prognozowania. Mówią, o ile spadnie strata przy danym nakładzie; nie mówią, co model będzie umiał.

Powstają też miary innego rodzaju. Zespół METR zaproponował w 2025 roku śledzenie długości zadania, które system doprowadza do końca - mierzonej czasem, jakiego potrzebowałby na nie człowiek. To przesuwa uwagę z trafności pojedynczej odpowiedzi na wytrwałość i planowanie.

Praktyczna zasada przy czytaniu prognoz opartych na skalowaniu: sprawdź, czy autor ekstrapoluje stratę (dobrze udokumentowane), czy zdolności (nieudokumentowane), i czy zaznacza, że dwa lata po pracy Kaplana tę samą krzywą trzeba było odczytać inaczej.