Neel Nanda: zaglądanie do środka modeli przestaje być teorią
Zespół, który zajmował się rozbieraniem sieci na części, tłumaczy, dlaczego zmienił podejście na bardziej praktyczne — i co to znaczy.
Kto to jest
Neel Nanda kieruje pracami nad interpretowalnością mechanistyczną w Google DeepMind. To dziedzina, która próbuje odpowiedzieć na pytanie brzmiące prościej, niż jest: co dokładnie dzieje się wewnątrz sieci neuronowej, gdy ta udziela odpowiedzi. Nie przez obserwację wyników, lecz przez odczytanie obliczeń, które do nich prowadzą.
Nanda jest też jedną z osób, które najwięcej zrobiły dla wprowadzania nowych badaczy do tej dziedziny — stąd jego wystąpienia bywają jaśniejsze niż większość materiałów na ten temat.
Dlaczego warto
To nie jest wykład wprowadzający. To relacja ze zmiany zdania, a takie materiały są w tej dziedzinie rzadkie i najbardziej pouczające.
Pierwotna ambicja interpretowalności mechanistycznej była maksymalna: zrozumieć sieć tak, jak rozumie się obwód elektroniczny — element po elemencie. Nanda tłumaczy, dlaczego jego zespół przesunął się w stronę podejścia, które nazywa pragmatycznym: mniej o kompletnym opisie, więcej o narzędziach dających się dziś zastosować do konkretnych pytań o bezpieczeństwo modeli.
Dla czytelnika spoza dziedziny wartość jest podwójna. Po pierwsze, to rzadki obraz tego, jak badacze wycofują się z założeń — bez udawania, że zawsze tak myśleli. Po drugie, wykład dobrze pokazuje, gdzie przebiega dziś granica: co o wnętrzu modeli naprawdę wiadomo, a co pozostaje deklaracją.
Nagranie pochodzi z warsztatu o zgodności celów AI prowadzonego przez FAR․AI — tej samej serii, z której pochodzi wykład Yoshuy Bengio o ryzykach katastrofalnych.
Materiał jest po angielsku, techniczny, bez polskich napisów.
Zanim obejrzysz
Co trzeba wiedzieć, żeby wykład miał sens. Interpretowalność mechanistyczna zakłada, że w sieci neuronowej dają się wyodrębnić powtarzalne układy obliczeniowe — coś w rodzaju podzespołów. Spór dotyczy tego, czy takie podzespoły istnieją naprawdę, czy są artefaktem sposobu, w jaki ich szukamy.
Dlaczego „pragmatyczny" jest słowem spornym. Dla jednych oznacza dojrzałość, dla innych — cofnięcie się z ambicji, która jedyna dawała nadzieję na rzeczywistą kontrolę nad tymi systemami. Wykład jest głosem w tym sporze, nie jego podsumowaniem.
Więcej w dziale Sztuczna inteligencja
Cały dział →
Komentarze
Wczytuję komentarze…