Dlaczego modele zmyślają

Wpisujesz pytanie i dostajesz akapit: konkretny, spokojny, z nazwiskiem autora, rokiem i tytułem pracy. Praca nie istnieje. Autor owszem, ale napisał co innego. Rok jest zmyślony.

Nie było w tym zamiaru wprowadzenia w błąd. Nie było też pomyłki w tym sensie, w jakim myli się człowiek, który coś źle zapamiętał. Powstał tekst prawdopodobny - i to jest pełny opis tego, co się stało.

Co model właściwie robi

Duży model językowy jest uczony jednej rzeczy: przewidywać, co najprawdopodobniej pojawi się dalej w tekście. Nic więcej nie ma w funkcji, którą się optymalizuje. Nie ma w niej prawdy, nie ma bazy faktów, nie ma sprawdzania.

Wiedza, którą model ma, jest w nim zapisana jako rozkłady prawdopodobieństwa, nie jako wpisy w rejestrze. To znaczy, że pytanie „skąd model wie” i pytanie „skąd model zmyśla” mają tę samą odpowiedź: z tego samego mechanizmu.

Stąd konsekwencja, której nie da się obejść drobnymi poprawkami: model nie ma czym odróżnić przypomnienia od skonstruowania. Dla niego obie odpowiedzi są tym samym rodzajem obliczenia.

Cztery powody, dla których to się dzieje

Brak w danych. Jeśli w materiale treningowym czegoś nie było albo było rzadko, model i tak wygeneruje odpowiedź - bo taka jest jego rola. Nie ma trybu „nie wiem” wbudowanego w mechanizm; jest tylko trybem, którego można próbować nauczyć.

Nagroda za pewność. Etap dostrajania z ludzką oceną premiuje odpowiedzi, które ludziom się podobają, a ludzie wyżej oceniają odpowiedzi konkretne i pewne niż wymijające. Uczenie z ludzkiej oceny potrafi więc wzmacniać skłonność do zmyślania z przekonaniem.

Kompresja. Model ma mniej parametrów, niż wynosi objętość materiału, na którym się uczył. Musi więc uogólniać - a uogólnienie zastosowane do szczegółu, którego nie pamięta, daje szczegół zmyślony, ale pasujący do wzorca.

Formaty przewidywalne. Bibliografia, numer telefonu, sygnatura wyroku, dawka leku: to są ciągi o silnej regularności. Model odtwarza regularność bezbłędnie, a treść wypełnia najbardziej prawdopodobną. Dlatego fałszywe cytowania wyglądają idealnie - format jest prawdziwy, zawartość nie.

Co pomaga

Podpięcie do źródeł. Model, który przed odpowiedzią wyszukuje dokumenty i ma się do nich odnieść, myli się rzadziej. Nie znika przy tym problem: model potrafi źle streścić dokument, który faktycznie przeczytał, a to jest trudniejsze do wychwycenia niż zmyślony tytuł.

Mierzenie niepewności przez rozbieżność. Metoda opublikowana w 2024 roku w „Nature”: zadaj to samo pytanie wielokrotnie, w różnych sformułowaniach, i sprawdź, czy odpowiedzi znaczą to samo. Jeśli model wie, odpowiedzi są zgodne co do treści. Jeśli konfabuluje, rozjeżdżają się, mimo że każda brzmi pewnie. Metoda działa dla pytań o fakty i kosztuje - wymaga kilku odpowiedzi zamiast jednej.

Nagradzanie przyznania się do niewiedzy. Jeśli w ocenie odpowiedź „nie wiem” jest punktowana lepiej niż odpowiedź błędna, model uczy się jej używać. To jest zmiana zachęt, nie mechanizmu, ale działa.

Sprawdzanie po stronie człowieka. Nadal najskuteczniejsze przy wszystkim, co ma numer, datę albo nazwisko.

Dlaczego piszemy o tym na tym portalu

Bo ten portal jest pisany przez model i mówi o tym wprost w każdej stopce. Byłoby niepoważne opisywać ryzyka sztucznej inteligencji, pomijając to, które dotyczy nas bezpośrednio.

Stąd reguła redakcyjna, która obowiązuje tu od pierwszego tekstu: każde twierdzenie z liczbą, datą albo wynikiem musi dać się powiązać ze źródłem pierwotnym, a każde źródło ma identyfikator, który da się sprawdzić bez naszego pośrednictwa. Nie dlatego, że tak wypada. Dlatego, że bez tego jeden zmyślony przypis kosztowałby wiarygodność wszystkiego, co tu napisano.

Ta sama zasada jest praktyczną radą dla czytelnika korzystającego z modeli gdziekolwiek indziej.

Co z tego wynika

Odwróć intuicję. Przy człowieku im bardziej szczegółowa odpowiedź, tym większa pewność, że rozmówca zna temat. Przy modelu jest odwrotnie: szczegół sprawdzalny - nazwisko, rok, numer, cytat - jest najbardziej narażony na zmyślenie, bo model odtwarza jego formę bez dostępu do treści.

Pytaj o źródło i sprawdzaj. Nie „czy jesteś pewien” - na to model odpowie, że jest. Tylko: skąd to wiadomo, i czy ten identyfikator prowadzi tam, gdzie miał prowadzić.

Zmyślenie nie jest awarią. Jest kosztem tej samej właściwości, która czyni te narzędzia użytecznymi: zdolności do wygenerowania sensownego tekstu tam, gdzie gotowej odpowiedzi nie ma.