Jak modele uczą się grzeczności

Na rycinie powyżej nauczyciel tańca pokazuje krok, uczennica go naśladuje, a dwaj chłopcy z boku się śmieją. To jest, dosłownie, schemat uczenia z ludzkiej oceny - łącznie z tym, że uczeń uczy się nie tego, co poprawne, tylko tego, co nauczyciel uzna za poprawne.

Dlaczego sam trening na tekście nie wystarcza

Duży model językowy jest uczony przewidywania następnego fragmentu tekstu. Po tym etapie potrafi bardzo dużo i jest jednocześnie nieużyteczny w rozmowie.

Zapytany „jak zrobić omlet”, może z równym prawdopodobieństwem podać przepis, wypisać dziesięć podobnych pytań (bo tak wygląda strona z forum) albo zacząć rozdział książki kucharskiej. Wszystkie te kontynuacje są w danych treningowych i wszystkie są prawdopodobne.

Brakuje mu nie wiedzy, tylko wskazania, która z możliwych kontynuacji jest tą oczekiwaną.

Trzy kroki

1. Zbiór demonstracji. Ludzie piszą wzorcowe odpowiedzi na przykładowe polecenia. Model uczy się je naśladować. To już poprawia sytuację, ale skaluje się źle: każda odpowiedź kosztuje czas człowieka.

2. Model nagrody. Tu jest właściwy pomysł. Zamiast pisać odpowiedzi, oceniający porównują pary: która z dwóch odpowiedzi jest lepsza. Porównywanie jest dla człowieka znacznie łatwiejsze niż pisanie i daje się robić szybko. Na tych porównaniach trenuje się osobny model, który uczy się przewidywać ludzką ocenę.

3. Dostrajanie. Model językowy jest dalej trenowany tak, by uzyskiwać wysokie oceny od modelu nagrody, z zabezpieczeniem, które nie pozwala mu odejść zbyt daleko od punktu wyjścia. Bez tego zabezpieczenia zaczyna produkować teksty, które model nagrody uwielbia, a człowiek uznaje za bełkot.

Metoda w tej postaci pochodzi z 2017 roku i powstała dla sterowania robotem, nie dla języka. Do modeli językowych przeniesiono ją pięć lat później.

Co ten etap naprawia

• Odpowiadanie na pytanie zamiast kontynuowania go.
• Trzymanie się formatu i długości.
• Odmowę w sytuacjach, w których odmowa jest właściwa.
• Ton, który nie odstrasza użytkownika.

To brzmi kosmetycznie, a nie jest: cała użyteczność tych narzędzi bierze się z tego etapu. Model bez niego jest ciekawostką dla badaczy.

Co ten etap psuje

Uczy tego, co się podoba. Model nagrody przybliża ludzką ocenę, a ludzie wyżej oceniają odpowiedzi pewne siebie, obszerne i zgodne z ich przekonaniem. Skutkiem ubocznym bywa wzmocnienie skłonności do przytakiwania i do formułowania zmyśleń w formie, która brzmi wiarygodnie - o czym piszemy osobno przy zmyśleniach modeli.

Obchodzenie miary. Optymalizowanie czegokolwiek pod miarę zastępczą kończy się szukaniem luk w mierze. Problem opisano w literaturze o bezpieczeństwie AI na sześć lat przed dzisiejszymi modelami i pozostaje nierozwiązany.

Kto ocenia. Wartości wbudowywane w model są wartościami ludzi, którzy klikali w interfejsie oceniającym - najczęściej pracowników zewnętrznych firm, o nieujawnianym składzie demograficznym i kulturowym. To jest odpowiedź na pytanie „czyje wartości” i nie jest to odpowiedź, którą ktokolwiek wybrał świadomie.

Sufit ludzkiej oceny. W zadaniach, w których oceniający nie umie rozstrzygnąć, czy odpowiedź jest poprawna - dowód matematyczny, kod, streszczenie długiego dokumentu - metoda przestaje działać. To jest nadzór skalowalny, jeden z otwartych problemów w bezpieczeństwie AI.

Co przyszło potem

Dziedzina odeszła częściowo od pierwotnej postaci metody, bo była kosztowna i niestabilna. Kierunki, które ją zastępują albo uzupełniają:

• Uczenie z ocen wystawianych przez model według spisanego zbioru zasad, zamiast z pojedynczych ocen ludzkich. Zaletą jest jawność kryteriów: zasady da się przeczytać i skrytykować. Wadą - że zasady też ktoś napisał.
• Prostsze metody dostrajania na parach preferencji, bez osobnego modelu nagrody. Tańsze i stabilniejsze.
• Ocena wieloetapowa, w której model pomaga oceniającemu sprawdzić własną odpowiedź.

Wszystkie mają ten sam kształt problemu: ktoś musi powiedzieć, co jest lepsze, a im trudniejsze zadanie, tym mniej ten ktoś wie.

Co z tego wynika

Grzeczność modelu nie jest jego cechą charakteru ani skutkiem rozumienia. Jest wynikiem osobnego etapu treningu, przeprowadzonego przez firmę, według kryteriów, których zwykle nie znamy.

Praktyczny wniosek dla użytkownika: pewny ton odpowiedzi nie niesie żadnej informacji o jej trafności. Został wytrenowany osobno.