Moc obliczeniowa: co się podwaja co pół roku
Przed 2010 rokiem nakłady na trenowanie modeli rosły w tempie sprzętu. Potem czas podwojenia skrócił się do sześciu miesięcy.
Maszyny z ryciny służyły do wydobycia węgla. Przez sto lat rozwój przemysłu mierzyło się tym, ile energii dało się zamienić w pracę.
W uczeniu maszynowym rolę tej wielkości pełni nakład obliczeń zużyty na wytrenowanie modelu - i ta liczba rośnie w tempie, którego w historii techniki było niewiele.
Trzy epoki
Analiza opublikowana w 2022 roku zebrała oszacowania nakładów obliczeniowych dla setek modeli i wyodrębniła trzy okresy.
Przed 2010: tempo sprzętu. Nakład na trenowanie podwajał się mniej więcej co dwadzieścia miesięcy, czyli w tempie, w jakim rosła wydajność układów scalonych. Wtedy o wyniku decydowały pomysły, nie budżet.
Od początku lat dziesiątych: przyspieszenie. Wraz z uczeniem głębokim tempo skróciło się do podwojenia co około sześć miesięcy. Wzrost przestał wynikać z samego sprzętu - zaczęto po prostu kupować go więcej.
Od końca 2015: osobna liga. Pojawiły się modele budowane przez duże firmy, o nakładach dziesięcio- do stukrotnie większych niż reszta. Powstała nie tyle krzywa, ile rozwidlenie: jedna linia dla laboratoriów akademickich, druga dla kilku firm.
Warto mieć w głowie, co znaczy podwojenie co sześć miesięcy: tysiąckrotny wzrost w pięć lat.
Dlaczego to ma znaczenie
Bo z tego wynika jakość. Prace nad prawami skalowania pokazały zależność między nakładem obliczeń, ilością danych i skutecznością modelu - piszemy o niej przy prawach skalowania i przy krzywej skalowania. Jeśli wynik zależy od nakładu, to zależy od pieniędzy.
Bo z tego wynika, kto może uczestniczyć. Uczelnia nie kupi sprzętu za setki milionów. Skutek: badania nad najsilniejszymi modelami prowadzą podmioty, które je sprzedają - i to samo dotyczy publikacji o ich bezpieczeństwie, o czym piszemy przy udawaniu zgodności.
Bo z tego wynika zużycie energii. Nakład obliczeń przelicza się na prąd i na emisje. Piszemy o tym osobno przy zużyciu energii, tam też z konkretnymi liczbami dla jednego modelu.
Co wiemy
- Nakład obliczeń na trenowanie rósł przed 2010 r. w tempie zgodnym z rozwojem sprzętu.
- Od początku lat dziesiątych tempo przyspieszyło mniej więcej trzykrotnie.
- Od 2015 r. istnieje osobna grupa modeli o nakładach o rzędy wielkości większych.
Czego nie wiemy
- Jak wygląda krzywa po 2022 roku. Analiza kończy się na tej dacie, a firmy przestały podawać takie dane.
- Jak długo takie tempo da się utrzymać. Ograniczeniem jest energia, sprzęt i dostęp do danych.
- Ile z postępu wynika z nakładu, a ile z ulepszeń algorytmicznych. To jest przedmiot sporu.
Czego ta analiza nie mówi
Nie mówi, że więcej obliczeń zawsze znaczy lepszy model. Zależność jest statystyczna i ma punkty nasycenia. Modele mniejsze, lepiej uczone, wielokrotnie przewyższały większe.
Nie mówi nic o dniu dzisiejszym. Dane kończą się na 2022 roku. Od tego czasu producenci przestali publikować nakłady obliczeniowe - i to samo w sobie jest informacją.
Nie mówi o kosztach użycia. Trenowanie jest jednorazowe, a odpowiadanie na pytania użytkowników trwa latami. Przy modelach szeroko używanych to drugie zaczyna dominować w rachunku.
Co z tego wynika
Dla oceny postępu: trzeba rozróżniać dwie rzeczy. Postęp z pomysłu i postęp z zakupu. Ostatnia dekada w znacznej mierze polegała na tym drugim - i to jest rodzaj postępu, który kończy się razem z pieniędzmi.
Dla debaty publicznej: rozmowa o regulowaniu tej dziedziny zakłada, że jest wiele podmiotów zdolnych budować takie systemy. Wykres nakładów mówi co innego: jest ich kilka, i wszystkie są firmami.
Dla tego portalu: to jest liczba, którą warto mieć pod ręką przy każdej rozmowie o przyszłości. Podwojenie co pół roku jest tempem, przy którym przewidywanie na pięć lat naprzód nie ma sensu - w żadną stronę.
Część większego wątku
- AGI i superinteligencjaOd maszyny Gooda po dzisiejsze modele: co zostało wykazane, co jest hipotezą, a co deklaracją firmy zbierającej kapitał.
Źródła (4)
- Jaime Sevilla i in., Compute Trends Across Three Eras of Machine Learning, arXiv (2022)
Preprint oparty na zebranych oszacowaniach nakładów obliczeniowych. Dane o modelach po 2022 r. nie są w nim uwzględnione.
- Jared Kaplan i in., Scaling Laws for Neural Language Models, arXiv (OpenAI) (2020)
Przywołane dla związku między nakładem obliczeń a jakością modelu.
- Alexandra Sasha Luccioni, Sylvain Viguier, Anne-Laure Ligozat, Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model, Journal of Machine Learning Research, t. 24 (2023)
Przywołane dla przeliczenia nakładu obliczeń na zużycie energii.
- Meredith Ringel Morris i in., Levels of AGI for Operationalizing Progress on the Path to AGI, arXiv (Google DeepMind) (2023)
Więcej w dziale Sztuczna inteligencja
Cały dział →
Komentarze
Wczytuję komentarze…