Modele, które myślą dłużej

Maszyna Atwooda z ryciny służyła do jednego: spowolnić spadanie na tyle, żeby dało się je zmierzyć. Grawitacja jest ta sama, przyrząd rozkłada ją tylko w czasie.

Modele, które „myślą dłużej”, robią z obliczeniem to samo. Warto wiedzieć, ile z tego jest realnym zyskiem, a ile wygląda tylko podobnie.

Skąd to się wzięło

W 2022 roku zauważono coś prostego: jeśli w poleceniu poprosić model, by rozpisał rozumowanie krok po kroku, zamiast podać samą odpowiedź, trafność w zadaniach matematycznych i logicznych wyraźnie rośnie.

Nie zmieniono modelu. Zmieniono sposób pytania.

Wyjaśnienie jest bardziej prozaiczne, niż sugeruje słowo „rozumowanie”. Model przewiduje kolejny fragment tekstu na podstawie tego, co już napisał. Jeśli napisze pośrednie kroki, to te kroki stają się częścią kontekstu dla kolejnych. Zamiast zgadywać wynik za jednym razem, buduje go z fragmentów, z których każdy jest łatwiejszy.

Innymi słowy: papier na obliczenia pomaga tak samo modelowi, jak człowiekowi.

Co się zmieniło potem

Do 2024 roku poprawę uzyskiwano głównie tak: większy model, więcej danych. Prace o prawach skalowania opisują właśnie tę oś.

Potem pojawiła się druga: nakład obliczeniowy w chwili odpowiadania. Zamiast trenować model dwa razy większy, można pozwolić istniejącemu wygenerować kilka rozwiązań, porównać je, sprawdzić i wybrać najlepsze.

Analiza z 2024 roku pokazała, że przy tym samym budżecie obliczeniowym dłuższe liczenie przy pytaniu bywa korzystniejsze niż powiększanie modelu - z zastrzeżeniem, które w podsumowaniach ginie: zależy to od typu zadania i od tego, jak trudne jest ono dla danego modelu.

Konsekwencja praktyczna jest niewygodna dla wszystkich: odpowiedź przestała mieć stały koszt. Model może na jedno pytanie wydać tyle, co na sto innych.

Rzecz, którą trzeba powiedzieć wprost

Tekst, który model wypisuje jako „tok rozumowania”, nie jest zapisem jego obliczeń.

Jest tekstem wygenerowanym tym samym mechanizmem co każdy inny: przewidywaniem kolejnych fragmentów. Model może napisać poprawne uzasadnienie i podać złą odpowiedź. Może też podać dobrą odpowiedź z uzasadnieniem, które z nią nie ma wiele wspólnego.

To ma dwie konsekwencje.

Dla użytkownika: rozpisany tok rozumowania nie jest dowodem poprawności. Wygląda jak praca pokazana na tablicy, a jest opowieścią o pracy.

Dla bezpieczeństwa: przez chwilę wydawało się, że mamy okno na wnętrze modelu za darmo - wystarczy czytać, co pisze po drodze. Jest to okno niesprawdzone: nie wiemy, na ile wierne. Pytanie, co się naprawdę dzieje w środku, wraca więc tam, gdzie było, czyli do interpretowalności mechanistycznej.

Gdzie ta metoda zawodzi

Tam, gdzie nie ma jak sprawdzić. Cała siła polega na możliwości oceny wygenerowanych rozwiązań. Przy pytaniu o interpretację, ocenę albo prognozę nie ma czego oceniać.

Przy zadaniach prostych. Model, który rozpisuje trzy akapity, żeby odpowiedzieć na pytanie o stolicę Polski, marnuje pieniądze i czas. Wybór, kiedy liczyć dłużej, jest osobnym problemem.

Przy błędach na starcie. Jeśli model źle zrozumiał zadanie, dłuższe rozumowanie prowadzi konsekwentnie w złą stronę - i brzmi przy tym coraz pewniej. To jest ten sam mechanizm, który przy agentach nazywamy dryfem celu.

Co z tego wynika

Praktycznie. Do zadań, w których liczy się dokładność i da się sprawdzić wynik, dłuższe liczenie ma sens i widać to w rachunku. Do wszystkiego innego jest to droższy sposób otrzymania tej samej odpowiedzi.

Dla oceny postępu. Porównania modeli przestały być porównaniami modeli. Ten sam model z innym budżetem obliczeniowym daje inne wyniki, więc tabelka bez podanego nakładu nie znaczy nic - i to jest kolejny powód, dla którego testy się zużywają.

Dla rozmowy o zdolnościach. Zysk z tej metody jest realny i ograniczony. Nie jest krokiem w stronę rozumienia; jest lepszym wykorzystaniem tego, co model już potrafi. Różnica między jednym a drugim jest w tej dziedzinie najczęściej zacieraną rzeczą.