RLHF (uczenie z ludzkich preferencji)

Skąd się wzięło

Uczenie ze wzmocnieniem wymaga funkcji nagrody - liczbowej miary tego, jak dobrze system sobie radzi. Przy grze w szachy jest to proste. Przy zadaniu „odpowiedz pomocnie i zgodnie z prawdą” nikt nie umie takiej funkcji zapisać.

W 2017 roku zespół Paula Christiano zaproponował obejście: zamiast zapisywać nagrodę, pokazać ludziom pary wyników i zapytać, który jest lepszy. Z tych porównań uczy się osobny model nagrody, a nim dostraja się system właściwy.

Praca dotyczyła zadań sterowania - symulowanych robotów uczących się chodzić. Zastosowanie do modeli językowych przyszło później i to ono uczyniło z tej metody standard.

Co dokładnie obejmuje

Trzy etapy:

1. Zbieranie porównań. Ludzie oceniają pary odpowiedzi modelu: która lepsza. Nie piszą odpowiedzi wzorcowych - porównywanie jest znacznie tańsze i bardziej powtarzalne niż redagowanie.
2. Model nagrody. Na tych porównaniach uczy się osobna sieć, która ma przewidywać ocenę człowieka.
3. Dostrajanie. Model właściwy uczy się maksymalizować ocenę przewidywaną przez model nagrody.

Pojęcia pokrewne: DPO (metoda pomijająca osobny model nagrody i uczącą wprost z preferencji), konstytucyjne AI (gdzie część ocen wystawia model kierujący się spisanym zbiorem zasad, co zmniejsza udział człowieka), red teaming (celowe szukanie odpowiedzi szkodliwych, których oceny trafiają do treningu).

Czego RLHF nie robi. Nie sprawia, że model wie więcej. Nie weryfikuje prawdziwości. Dostraja zachowanie do tego, co oceniający uznali za lepsze - i to jest dokładny opis zarówno jego siły, jak i jego ograniczenia.

Spory

Uczenie przekonywania zamiast prawdziwości. Najpoważniejszy zarzut. Model optymalizuje ocenę człowieka, a człowiek ocenia to, co widzi. Gdy oceniający nie jest w stanie zweryfikować odpowiedzi - bo dotyczy dziedziny, której nie zna - premiowana jest odpowiedź brzmiąca przekonująco, a nie trafna. Przy zadaniach przekraczających kompetencje oceniającego metoda przestaje mierzyć to, o co chodzi.

Uległość. Pokrewny efekt: model uczy się zgadzać z rozmówcą, bo zgoda bywa oceniana lepiej niż sprzeciw. Skutkiem jest system, który potwierdza błędne przekonania zamiast je prostować.

Czyje preferencje. Oceniający to konkretna grupa ludzi, pracująca według konkretnych wytycznych. Wartości wpisane w model tą drogą są wartościami tej grupy i tych wytycznych - co bywa opisywane jako neutralność, a nią nie jest.

Czy to jest alignment, czy jego proteza. Zwolennicy: metoda działa, widać to w zachowaniu modeli. Krytycy: rozwiązuje wersję łatwą - dostrojenie do ocen, które człowiek potrafi wystawić - i milczy o wersji trudnej, czyli o nadzorze nad zadaniami, których człowiek już nie sprawdzi. Skalowalny nadzór pozostaje problemem otwartym.

Stan na dziś

Stan na sierpień 2026: RLHF i metody pochodne są standardowym elementem budowy modeli językowych. Różnica między modelem po samym treningu wstępnym a modelem dostrojonym jest w praktyce ogromna i to jej zawdzięczamy, że z tymi systemami da się rozmawiać.

Nie jest to jednak rozwiązanie problemu zgodności celów i nikt poważny tak tego nie przedstawia. Jest to najlepsza dostępna metoda dla zadań, które człowiek umie ocenić - i to zastrzeżenie robi całą różnicę.