Interpretowalność mechanistyczna

Skąd się wzięło

Model językowy jest zbiorem liczb. Wszystkie parametry są jawne, można je odczytać co do jednej - i nic z tego nie wynika. To jest odwrotność zwykłej sytuacji w nauce, gdzie problemem jest brak dostępu do układu. Tutaj dostęp jest pełny i bezużyteczny.

Wcześniejsze podejścia do wyjaśniania sieci neuronowych polegały na pytaniu, które dane wejściowe najbardziej wpłynęły na odpowiedź. To użyteczne, ale odpowiada na pytanie „co”, a nie „jak”.

Interpretowalność mechanistyczna postawiła pytanie inaczej: potraktujmy sieć jak nieznany układ elektroniczny i spróbujmy odtworzyć schemat - znaleźć, które fragmenty odpowiadają za co i jak są ze sobą połączone.

Co dokładnie obejmuje

Pojęcia, które pojawiają się w każdej pracy z tej dziedziny:

• Cecha - wewnętrzna reprezentacja jakiegoś pojęcia albo własności, którą model wykorzystuje w obliczeniach.
• Obwód - zestaw cech i połączeń realizujący konkretną operację, na przykład dopasowanie nazwiska do zawodu.
• Superpozycja - model przechowuje więcej cech, niż ma neuronów, upychając je w nakładających się kierunkach przestrzeni. To główna przeszkoda: pojedynczy neuron zwykle nie odpowiada jednemu pojęciu.
• Autoenkoder rzadki - narzędzie rozplątujące superpozycję: uczy się słownika cech, z których każda ma być czytelna dla człowieka.

Sprawdzianem nie jest to, że opis brzmi sensownie, tylko czy da się na jego podstawie przewidzieć zachowanie modelu po ingerencji. Jeśli wzmocnienie zidentyfikowanej cechy powoduje dokładnie tę zmianę odpowiedzi, której oczekiwaliśmy - opis coś znaczy. Jeśli nie - była to opowieść.

Spory

Czy to się skaluje. Metody działają na modelach małych i na starannie wybranych zjawiskach. Modele używane w praktyce mają setki miliardów parametrów, a liczba cech idzie w miliony. Sceptycy twierdzą, że pełne zrozumienie takiego układu jest niewykonalne z tego samego powodu, z którego nie da się opisać mózgu neuron po neuronie.

Konflikt interesów. Najważniejsze prace w tej dziedzinie powstają w firmach, które budują analizowane modele, i są publikowane poza recenzją naukową. Nie znaczy to, że są błędne - znaczy, że nie przeszły niezależnej kontroli, a firma ma interes w tym, by jej model wyglądał na zrozumiały.

Interpretacja czy narracja. Krytyka metodologiczna: mając miliony cech, zawsze znajdzie się taka, która pasuje do wybranej hipotezy. Odpowiedzią są testy przez ingerencję - ale nie wszystkie publikacje je przeprowadzają.

Czy to wystarczy do bezpieczeństwa. Zwolennicy alignmentu traktują interpretowalność jako warunek konieczny: bez zajrzenia do środka nie odróżnimy modelu, który jest zgodny z naszymi celami, od modelu, który jedynie tak wygląda w testach. Sceptycy odpowiadają, że postęp zdolności jest szybszy niż postęp rozumienia i przewaga narasta.

Stan na dziś

Stan na sierpień 2026:

• Obwody odczytane - istnieją opisane, sprawdzone ingerencją mechanizmy dla wąskich zadań: kopiowania fragmentów tekstu, dopasowywania nazwisk, prostych operacji arytmetycznych.
• Cechy w dużych modelach - wyodrębniono miliony czytelnych cech w modelach produkcyjnych i pokazano, że wzmacnianie ich zmienia zachowanie w przewidywalny sposób.
• Czego brak - pełnego opisu choćby jednego dużego modelu, metody automatycznej oraz wyników zweryfikowanych niezależnie od producenta.

Praktyczna uwaga: doniesienie „naukowcy zrozumieli, jak myśli AI” należy czytać jako „odczytano fragment mechanizmu odpowiadający za jedno wąskie zadanie”. Odległość między tym a zrozumieniem modelu jest podobna do odległości między konektomem a działającym mózgiem - i z tego samego powodu.