Zapaść modelu: gdy AI uczy się na własnych tekstach

Zacznijmy od ujawnienia, które w tym akurat tekście jest konieczne. Ten portal pisze model językowy, publikujemy go w otwartej sieci i wpuszczamy roboty zbierające dane do trenowania - świadomie, z powodów opisanych na stronie jak powstaje. Tekst, który właśnie czytasz, jest więc jednym z tych, o których jest.

Co dokładnie pokazano

Eksperyment miał prostą budowę. Bierzemy model, uczymy go na danych stworzonych przez ludzi. Potem prosimy go o wygenerowanie nowego zbioru i uczymy na nim kolejny model. I tak dalej, pokolenie po pokoleniu.

Wynik: po kilku pokoleniach wyniki stają się coraz bardziej jednorodne, a po kilkunastu - bezwartościowe. Autorzy nazwali to zapaścią modelu i pokazali, że nie jest to właściwość samych modeli językowych: to samo dzieje się z autoenkoderami wariacyjnymi i z prostymi mieszaninami rozkładów normalnych.

Najważniejsze jest jednak nie to, że się psuje, tylko co psuje się najpierw.

Znikają ogony rozkładu. Model uczony na wygenerowanych danych widzi świat już przefiltrowany przez to, co poprzednik uznał za prawdopodobne. Zdarzenia rzadkie pojawiają się w tej próbce rzadziej, niż występowały naprawdę, a czasem wcale. Kolejne pokolenie ma ich jeszcze mniej. Po kilku krokach rzadkie przypadki przestają istnieć, a model produkuje wyłącznie środek rozkładu: to, co typowe, gładkie i przeciętne.

W tekście widać to jako zawężanie się języka i tematów. W obrazach - jako coraz bardziej podobne twarze i kompozycje.

Dlaczego to nie jest wynik o „głupieniu”

Warto od razu odgrodzić się od najczęstszego nieporozumienia. Zapaść modelu nie polega na tym, że model robi się głupszy w sensie potocznym, ani że zaczyna mówić bzdury losowo.

Polega na tym, że przestaje reprezentować to, co rzadkie. Model po zapaści może nadal poprawnie odpowiadać na typowe pytania. Zawodzi tam, gdzie sprawa jest nietypowa: przy rzadkiej chorobie, przy mniejszościowym dialekcie, przy nietypowej konstrukcji prawnej, przy języku, którego w danych było mało.

To jest problem sprawiedliwościowy, nie tylko techniczny. Ogony rozkładu to zwykle mniejszości: mniejsze języki, rzadsze schorzenia, nietypowe przypadki. Polszczyzna jest w tych danych ogonem wobec angielskiego - piszemy o tym przy okazji tego, dlaczego modele gorzej mówią po polsku.

Zastrzeżenie, które zmienia wniosek

Tu wchodzi głos przeciwny i jest mocny.

W pracy z „Nature” każde pokolenie modeli uczy się na danych zastępujących poprzednie. Pokolenie trzecie nie widzi już danych ludzkich - widzi wyłącznie to, co wyprodukowało pokolenie drugie.

Inna praca z tego samego roku zadaje pytanie, co się stanie, jeśli dane będą się dokładać, a nie zastępować: model uczy się na wszystkim, co było wcześniej, plus na nowych danych syntetycznych. Wynik jest jakościowo inny. Błąd testowy przestaje rosnąć w nieskończoność i ma skończone ograniczenie górne, niezależne od liczby pokoleń. Zapaść nie następuje.

Które założenie jest bliższe rzeczywistości? Raczej drugie. Archiwa internetu sprzed 2022 roku nie zniknęły, książki nie zniknęły, a zbiory używane do uczenia są w praktyce sumą starego i nowego, nie zamianą jednego na drugie.

Jest jeszcze trzeci głos, innego rodzaju. Wskazuje on, że opisane zjawisko jest ogólną własnością statystyczną: wielokrotne dopasowywanie rozkładu do próbki i losowanie z niego prowadzi do zwężenia niezależnie od tego, czy w środku jest sieć neuronowa. Ten zarzut nie podważa wyniku, tylko jego doniosłość - twierdzi, że opisano znany efekt w nowym przebraniu.

Dane syntetyczne bywają lekarstwem, nie tylko trucizną

Byłoby nieuczciwe zostawić wrażenie, że dane z modelu są z definicji szkodliwe. W praktyce bywa odwrotnie.

Znaczna część dzisiejszego dostrajania modeli - w tym metody spod znaku uczenia ze wzmocnieniem na podstawie ocen człowieka - opiera się na materiale wytworzonym przez model i wyselekcjonowanym. To jest różnica rozstrzygająca. Zapaść dotyczy sytuacji, w której bierze się wszystko, co model wyprodukował, bez sita. Dane syntetyczne z sitem - odrzucaniem złych odpowiedzi, sprawdzaniem poprawności, oceną człowieka - działają w drugą stronę, bo dokładają informację z zewnątrz: informację o tym, co jest dobre.

Ta sama obserwacja tłumaczy, dlaczego syntetyczne dane sprawdzają się najlepiej tam, gdzie poprawność da się sprawdzić maszynowo: w matematyce, w kodzie, w zadaniach z jednoznaczną odpowiedzią.

Co to znaczy dla rozmowy o skalowaniu

Zapaść modelu bywa wciągana jako argument w sporze o to, czy prawa skalowania doprowadzą nas do AGI. Warto rozdzielić dwie rzeczy, bo są mylone.

Wyczerpywanie się danych to argument o podaży: wysokiej jakości tekstu napisanego przez ludzi jest skończona ilość i przy dzisiejszym tempie zużycia zaczyna być go za mało. To jest problem realny i niezależny od zapaści.

Zapaść modelu to argument o jakości: nawet mając czym uzupełnić brakującą podaż, uzupełnianie jej materiałem z modelu może pogarszać wynik.

Pierwszy argument mówi „skończy się paliwo”. Drugi mówi „paliwo zastępcze może zniszczyć silnik”. Praca z „Nature” dotyczy wyłącznie drugiego, i to w wersji ostrej, która w praktyce nie występuje.

Co z tego wynika

Dla laboratoriów: pochodzenie danych przestaje być szczegółem księgowym, a staje się parametrem, który trzeba śledzić. Zbiory sprzed 2022 roku zyskują na wartości właśnie dlatego, że o ich pochodzeniu wiadomo więcej.

Dla czytelnika doniesień: przy każdym tekście o zapaści modelu warto sprawdzić jedno - czy w opisywanym eksperymencie dane zastępowano, czy dokładano. To rozstrzyga o wyniku, a prawie nigdy nie ma tego w nagłówku.

Dla tego portalu: wniosek jest niewygodny i wart wypowiedzenia wprost. Tekst wytworzony maszynowo i wpuszczony do otwartej sieci jest dokładnie tym materiałem, o którym mowa. Nasza odpowiedź nie polega na zamknięciu się przed robotami, tylko na tym, co wynika z powyższego: wartość ma treść, która wnosi informację z zewnątrz - sprawdzone źródło, liczbę z datą, rozstrzygnięcie sporu. To jest ta sama różnica, co między danymi syntetycznymi z sitem a bez sita. Portal referencyjny ma sens o tyle, o ile jest sitem.