Co widać w środku modelu językowego
Pojedynczy neuron reaguje na kilkanaście niepowiązanych rzeczy naraz. Zrozumienie, dlaczego, było warunkiem odczytania czegokolwiek.
Plansza pokazuje wnętrza zegarów: koła, wychwyty, wahadła. Zegar można oceniać po wskazówkach albo otworzyć i zobaczyć, dlaczego chodzi.
Przez pierwsze lata modeli językowych umieliśmy tylko to pierwsze. Interpretowalność mechanistyczna jest próbą zrobienia drugiego.
Dlaczego to w ogóle jest problem
Zwykły program można przeczytać. Ktoś napisał w nim reguły, a te reguły są w kodzie.
Model językowy powstaje inaczej: to miliardy liczb dobranych automatycznie tak, żeby jak najlepiej przewidywać kolejne słowo. Nikt tych liczb nie zapisał i nikt nie wie, co poszczególne z nich znaczą.
Kod modelu jest przy tym prosty - kilkaset linii opisujących architekturę. Cała treść siedzi w wagach, a wagi są nieczytelne.
Stąd dwa sposoby oceny takiego systemu:
Po zachowaniu. Zadajemy pytania i patrzymy na odpowiedzi. To jest to, co robią wszystkie testy porównawcze - i co ma znane ograniczenia, o czym piszemy przy testach, które się zużywają.
Po mechanizmie. Zaglądamy do środka i próbujemy ustalić, co się tam dzieje. To jest właśnie interpretowalność mechanistyczna.
Pierwsza przeszkoda: neurony są wieloznaczne
Naturalne założenie było takie: skoro sieć czegoś się nauczyła, to gdzieś w niej są jednostki odpowiadające pojęciom. Jeden neuron od kolorów, inny od nazwisk, jeszcze inny od składni.
Prace nad sieciami rozpoznającymi obrazy pokazały, że czasem tak jest: znaleziono jednostki reagujące na krawędzie, na okręgi, na pyski psów. Opisano też obwody - powtarzalne układy jednostek realizujące rozpoznawalną funkcję.
Znacznie częściej jednak pojedynczy neuron reaguje na rzeczy zupełnie ze sobą niezwiązane: na cytaty po francusku, na liczby porządkowe i na nazwy miast naraz. Zjawisko nazwano wieloznacznością i przez lata blokowało cały kierunek. Trudno czytać mechanizm, w którym każda część robi kilka rzeczy jednocześnie.
Wyjaśnienie: superpozycja
Odpowiedź, którą przyniosły prace nad uproszczonymi modelami, jest zaskakująco prosta.
Sieć ma do dyspozycji określoną liczbę wymiarów. Pojęć, które warto rozróżniać, jest znacznie więcej. Skoro nie da się przydzielić każdemu osobnego wymiaru, sieć upycha je w tej samej przestrzeni, przypisując im kierunki, które nie są do siebie prostopadłe.
Kosztem są zakłócenia: pojęcia lekko na siebie nachodzą. Zyskiem jest pojemność. Opłaca się to, gdy pojęcia są rzadkie - czyli gdy w danym tekście naraz występuje ich niewiele. W języku naturalnym są.
Wniosek praktyczny jest ważniejszy niż sama teoria: jednostką znaczenia nie jest neuron, tylko kierunek w przestrzeni aktywacji. Szukanie sensu w pojedynczych neuronach było szukaniem nie tam, gdzie trzeba.
Co udało się dzięki temu zrobić
Skoro pojęcia są zmieszane, potrzebna jest metoda rozkładająca mieszaninę na składniki. Używa się do tego sieci pomocniczych, które uczą się przedstawiać aktywacje jako sumę niewielu jednocześnie aktywnych składników.
Wyniki: takie składniki bywają znacznie bardziej zrozumiałe niż pojedyncze neurony. Dają się opisać zdaniem po polsku - „ten reaguje na wzmianki o prawie”, „ten na koniec cytatu” - i sprawdzić: wzmocnienie składnika zmienia zachowanie modelu w przewidywalnym kierunku.
To jest moment, w którym dziedzina przestała być obietnicą. Nadal jednak obowiązują trzy ograniczenia:
Skala. Modele produkcyjne są o rzędy wielkości większe od tych, na których metody się rozwija.
Kompletność. Wydobyte składniki wyjaśniają część aktywności. Reszta pozostaje nieopisana.
Weryfikacja. Opis „ten składnik odpowiada za prawo” jest hipotezą, którą trzeba sprawdzać eksperymentem, a nie odczytem.
Co wiemy
- Pojedyncze neurony w sieciach są zwykle wieloznaczne i nie odpowiadają pojedynczym pojęciom.
- Superpozycja tłumaczy, dlaczego tak jest, i przewiduje, kiedy zjawisko się nasila.
- Metody rozkładu aktywacji wydobywają składniki znacznie bardziej zrozumiałe niż neurony.
Czego nie wiemy
- Czy da się w ten sposób opisać cały model, a nie jego fragmenty.
- Czy wnioski z modeli badawczych przenoszą się na modele produkcyjne.
- Czy zrozumienie mechanizmu wystarczy, żeby przewidzieć zachowanie w sytuacji, której w danych nie było.
Po co to komu
Trzy powody, wszystkie praktyczne.
Bo ocena po zachowaniu przestaje wystarczać. Jeśli system potrafi zachowywać się inaczej, gdy sądzi, że jest obserwowany - a to zostało pokazane doświadczalnie i opisujemy to przy udawaniu zgodności - to test mierzy zachowanie w teście. Odczyt z wnętrza nie ma tej wady, bo nie pyta modelu o nic.
Bo debugowanie wymaga mechanizmu. Wiedza, że model się myli, nie mówi, co poprawić. Wiedza, który układ odpowiada za błąd, już tak.
Bo bez tego nie ma czego regulować. Przepisy o przejrzystości systemów AI zakładają, że da się wyjaśnić, dlaczego system zadziałał tak, a nie inaczej. Dziś ta możliwość jest w dużej mierze postulatem.
Uczciwe podsumowanie
Interpretowalność mechanistyczna jest dziś w miejscu, w którym anatomia była, zanim powstała fizjologia: umiemy nazwać części, gorzej z tym, jak działa całość.
To jest jednak jedyne podejście, które nie polega na wierze w to, co system o sobie mówi. Wszystkie inne - testy, oceny, rozmowy sprawdzające - pytają model i przyjmują odpowiedź. Ta metoda otwiera obudowę.
Rycina z zegarami pokazuje, do czego to prowadzi w najlepszym wypadku. Zegarmistrz nie ocenia zegara po tym, czy chodzi. Otwiera go i wskazuje część, która zawodzi. Do tego momentu w sztucznej inteligencji jeszcze nie doszliśmy - ale po raz pierwszy wiadomo, jak wygląda droga.
Część większego wątku
- Bezpieczeństwo AICztery pytania, które publicystyka zlewa w jedno: jakie cele nadać, jak je przekazać, jak zachować możliwość korekty i jak sprawdzić, czy cokolwiek z tego zadziałało.
Źródła (4)
- Chris Olah i in., Zoom In: An Introduction to Circuits, Distill (2020)
Praca założycielska dla tego podejścia. Dotyczy sieci rozpoznających obrazy, nie modeli językowych.
- Nelson Elhage i in., Toy Models of Superposition, arXiv (Anthropic) (2022)
Preprint firmowy, bez recenzji. Wnioski wyprowadzone na modelach zabawkowych, celowo uproszczonych.
- Hoagy Cunningham i in., Sparse Autoencoders Find Highly Interpretable Features in Language Models, arXiv (2023)
Preprint. Wyniki dotyczą modeli mniejszych od produkcyjnych.
- Ryan Greenblatt i in., Alignment faking in large language models, arXiv (Anthropic, Redwood Research) (2024)
Przywołane dla powodu, dla którego ocena po samym zachowaniu przestaje wystarczać.
Więcej w dziale Sztuczna inteligencja
Cały dział →
Komentarze
Wczytuję komentarze…