Duży model językowy

Skąd się wzięło

Przełomem była praca Ashisha Vaswaniego i współpracowników z 2017 roku, wprowadzająca architekturę transformera. Jej tytuł - Attention Is All You Need - streszcza pomysł: zrezygnowano z przetwarzania tekstu po kolei na rzecz mechanizmu, w którym każdy fragment może „patrzeć” na każdy inny naraz.

Znaczenie tej zmiany jest w dużej mierze praktyczne: transformer daje się zrównoleglić, a więc trenować na sprzęcie, który mnoży macierze. To otworzyło drogę do skali, której wcześniejsze architektury nie osiągały.

Zadanie treningowe pozostało przy tym uderzająco proste: przewidzieć, co jest dalej. Cała reszta - tłumaczenie, streszczanie, pisanie kodu, rozumowanie krok po kroku - nie została zaprogramowana. Wyłoniła się.

Co dokładnie obejmuje

Trzy etapy, które w potocznym użyciu zlewają się w jeden:

1. Trening wstępny - przewidywanie kolejnego fragmentu tekstu na ogromnym zbiorze. Tu powstaje większość zdolności i tu idzie większość kosztu.
2. Dostrajanie - uczenie modelu, żeby odpowiadał na polecenia, a nie tylko kontynuował tekst. Należy tu RLHF i metody pokrewne.
3. Wnioskowanie - praca modelu przy odpowiadaniu, w tym rozumowanie rozłożone na kroki.

Kilka pojęć przydatnych przy czytaniu doniesień: token (fragment tekstu, zwykle kawałek słowa - model nie operuje literami ani słowami), okno kontekstu (ile tekstu model bierze pod uwagę naraz), parametry (wagi sieci, licznik podawany w miliardach), halucynacja (odpowiedź wiarygodna i nieprawdziwa).

To ostatnie warto rozumieć mechanicznie: model nie ma osobnego trybu „zmyślania”. Generuje najbardziej prawdopodobną kontynuację, a prawdopodobieństwo nie jest prawdą. Halucynacja nie jest usterką doklejoną do działania - jest tym samym działaniem, tylko w miejscu, gdzie dane były rzadkie albo sprzeczne.

Spory

Czy modele rozumieją. Jedni wskazują, że skoro model rozwiązuje zadania wymagające rozumowania, to spór o słowo „rozumienie” jest jałowy. Drudzy - że model uczony statystyki tekstu opanowuje statystykę tekstu, a wrażenie rozumienia bierze się z obszerności danych. Sporu nie da się rozstrzygnąć dostępnymi testami, bo obie strony przewidują te same wyniki.

Przeciek danych testowych. Modele uczą się na tekstach z sieci, a testy sprawdzające ich zdolności są w sieci. Przy każdym wyniku na benchmarku pozostaje pytanie, ile z niego to rozwiązywanie, a ile przypominanie sobie.

Czy to droga do AGI. Część badaczy uważa, że wystarczy skalować dalej. Część - że przewidywanie tekstu ma sufit, którego dosypywaniem danych się nie przebije. Zespół z Google DeepMind zaproponował w 2023 roku wyjście z tego sporu przez skalę poziomów zamiast progu zero-jedynkowego.

Koszt i wpływ. Trening dużych modeli zużywa energię i wodę w ilościach, które przestały być zaniedbywalne; osobnym sporem jest status praw autorskich do materiałów treningowych. Oba wątki są od pytania o zdolności niezależne i warto ich nie mieszać.

Stan na dziś

Stan na sierpień 2026: duże modele językowe są technologią wdrożoną, nie zapowiedzią. Radzą sobie z zadaniami, których dziesięć lat temu nikt nie umiał postawić maszynie, i jednocześnie zawodzą w sposób, który u człowieka nie miałby sensu - mylą się w prostym liczeniu, twierdzą rzeczy nieprawdziwe z pełną pewnością siebie, gubią wątek w długim rozumowaniu.

Ta kombinacja jest sama w sobie informacją: mierzymy nie to, co chcemy zmierzyć. Zdolność do zdania egzaminu i zdolność do niezawodnego działania okazały się dwiema różnymi rzeczami.

Portal powstaje z udziałem takiego modelu i opisuje to na każdym tekście - łącznie ze stroną jak powstaje, gdzie wypisane są tryby, w których takie systemy zawodzą.