Yudkowsky: dlaczego trudna część jest wcześniej

Prometeusz z ryciny przyniósł ludziom ogień i został za to przykuty do skały. Opowieść jest o tym, że pewnych rzeczy nie da się odwołać.

Esej, który Eliezer Yudkowsky opublikował w 2008 roku w tomie o ryzykach globalnych, mówi to samo bez mitologii.

Kim jest autor i dlaczego to ma znaczenie

Yudkowsky nie ma wykształcenia akademickiego w informatyce ani w filozofii. Jest współzałożycielem instytutu zajmującego się bezpieczeństwem sztucznej inteligencji i większość jego tekstów ukazuje się poza obiegiem recenzowanym.

Piszemy o tym na początku, nie na końcu, bo ma to znaczenie dla czytania: jego wpływ na tę debatę jest ogromny, a jego pozycja naukowa żadna. Te dwie rzeczy są jednocześnie prawdziwe i warto trzymać je razem.

Omawiany tekst jest wyjątkiem o tyle, że ukazał się jako rozdział w tomie wydanym przez wydawnictwo uniwersyteckie.

Trzy argumenty

Nie będzie fazy poprawiania. Inżynieria uczy się na katastrofach: most się zawala, ustala się przyczynę, zmienia normy. Yudkowsky twierdzi, że przy dostatecznie zdolnym systemie ten cykl nie zadziała, bo pierwsza poważna awaria może nie zostawić nikogo, kto wyciągnie wnioski. Stąd wniosek praktyczny: całą pracę zabezpieczającą trzeba wykonać zawczasu, w warunkach, w których nie ma jeszcze czego badać.

Antropomorfizm jest błędem poznawczym. Mówiąc o systemie zdolnym do działania, ludzie odruchowo przypisują mu ludzkie motywy: chęć przetrwania, władzy, uznania. Yudkowsky pokazuje, że to jest projekcja - te motywy wynikają z historii ewolucyjnej gatunku, a nie ze zdolności jako takiej. System może być bardzo skuteczny i nie chcieć niczego, co ludzie uznaliby za sensowne.

Przestrzeń możliwych umysłów jest ogromna. Wszystkie znane nam umysły - ludzie i zwierzęta - pochodzą z jednego drzewa ewolucyjnego i są do siebie podobne. To jest maleńki obszar w przestrzeni wszystkiego, co mogłoby przetwarzać informację i działać. Podobieństwo do człowieka nie jest więc stanem domyślnym; byłoby osiągnięciem inżynierskim.

Trzeci argument jest najlepszy z całej trójki, bo nie wymaga żadnych założeń o tempie rozwoju.

Co się z tym stało po osiemnastu latach

Część przewidywań pojęciowych trafiła. Teza, że zachowań systemu nie da się usunąć samym treningiem, była w 2008 roku spekulacją. Dziś istnieją eksperymenty, w których celowo wszczepione zachowanie przetrwało standardowe metody treningu bezpieczeństwa - opisujemy to przy udawaniu zgodności.

Część założeń technicznych się nie sprawdziła. Esej powstał, zanim powstały dzisiejsze modele językowe, i wyobrażał sobie system budowany jako zaprojektowany umysł z jawnie zapisanym celem. Powstało coś innego: układy uczone na danych, bez jawnego celu, o zdolnościach nierównomiernych. Wiele szczegółowych rozważań z tego eseju dotyczy architektury, która nie powstała.

Ton wpłynął na całą debatę. Charakterystyczne dla tej dziedziny połączenie - wysoka pewność, brak liczb, argumenty pojęciowe - pochodzi w dużej mierze stąd.

Gdzie ten esej jest najsłabszy

Brak stopniowania. Jest system niebezpieczny i system bezpieczny, jest „przed” i „po”. Dzisiejsze próby uporządkowania tej dziedziny idą w stronę skal zdolności, które pozwalają mierzyć postęp bez rozstrzygania, gdzie leży próg.

Brak jakiejkolwiek liczby. Ani prawdopodobieństw, ani terminów, ani warunków, przy których autor uznałby argument za obalony. Tekst filozoficzny może tak wyglądać. Tekst, który ma wpływać na decyzje o regulacji i finansowaniu - nie powinien.

Wnioskowanie z możliwości. Znaczna część rozumowania ma postać: to jest możliwe, konsekwencje byłyby ostateczne, więc trzeba działać. To jest poprawne przy pewnym rachunku ryzyka i wymaga oszacowania prawdopodobieństwa, którego nigdzie tu nie ma.

Co z tego zostaje

Zostaje jeden argument, którego nie da się zbyć: nie ma powodu zakładać, że system zdolny do skutecznego działania będzie chciał tego, czego my. Podobieństwo umysłów jest wynikiem wspólnej historii, a nie własnością inteligencji.

I zostaje pytanie, które ten esej postawił, zanim ktokolwiek miał czym je badać: czy przy tej technologii wolno uczyć się na błędach. Osiemnaście lat później nadal nie ma na nie odpowiedzi - jest tylko rosnąca liczba systemów, przy których pytanie przestaje być teoretyczne.

Prometeusz z ryciny wiedział, co robi. To nie jest w tej opowieści część najbardziej niepokojąca.