Good: ostatni wynalazek, jakiego potrzebujemy

Na rycinie mistrz gra w szachy z zawiązanymi oczami, otoczony obserwatorami. Przez większą część XX wieku szachy były tym, po czym poznawano, że maszyna „myśli” - i I. J. Good, kryptolog z Bletchley Park, należał do ludzi, którzy programy szachowe pisali.

W tomie serii „Advances in Computers” datowanym na 1966 rok zapisał kilka akapitów, które od tamtej pory streszcza się w jednym zdaniu i cytuje częściej, niż czyta.

Rozumowanie w czterech krokach

Krok pierwszy: definicja. Maszyna ultrainteligentna to taka, która przewyższa najzdolniejszego człowieka we wszystkich czynnościach intelektualnych. Definicja jest szeroka celowo - jej sedno leży w tym, co zawiera po cichu.

Krok drugi: projektowanie maszyn jest czynnością intelektualną. To jest cały ciężar argumentu. Jeśli maszyna przewyższa człowieka we wszystkim, to przewyższa go także w budowaniu maszyn.

Krok trzeci: sprzężenie. Taka maszyna zaprojektuje lepszą od siebie. Tamta - jeszcze lepszą. Proces się nie zatrzymuje, bo każdy kolejny etap jest sprawniejszy w wykonywaniu tego właśnie kroku. Good nazywa to eksplozją inteligencji.

Krok czwarty: wniosek. Inteligencja człowieka zostaje daleko w tyle. Pierwsza taka maszyna byłaby ostatnim wynalazkiem, którego człowiek musiałby dokonać - dalej wynalazkami zajmowałaby się ona.

Zdanie, które się urywa

Sformułowanie o ostatnim wynalazku cytuje się zwykle w tym miejscu. Tymczasem Good dopisuje warunek: pod warunkiem, że maszyna będzie dostatecznie posłuszna, żeby powiedzieć nam, jak utrzymać ją pod kontrolą.

Ten warunek jest całą późniejszą dziedziną bezpieczeństwa AI, zapisaną w jednym zdaniu podrzędnym. Zawiera trzy założenia, z których każde jest sporne:

• że maszyna zechce powiedzieć;
• że powie prawdę;
• że my zdołamy sprawdzić, czy to prawda.

Wiener sformułował podobne ostrzeżenie sześć lat wcześniej, wychodząc od tempa działania - piszemy o tym przy jego eseju o automatyzacji. Good doszedł do tego samego od strony zdolności. Dwie różne drogi, ta sama przeszkoda.

Co w tym argumencie jest słabe

Warto powiedzieć to wprost, bo esej bywa traktowany jak dowód, a jest ciągiem założeń.

„Inteligencja” nie jest zdefiniowana. Definicja Gooda jest porównawcza: lepsza od najlepszego człowieka we wszystkim. Nie mówi, czym jest wielkość, którą porównujemy, ani czy jest to jedna wielkość.

Nie ma czynników ograniczających. Argument milcząco zakłada, że projektowanie lepszej maszyny wymaga wyłącznie zdolności intelektualnych. W praktyce wymaga też energii, materiałów, danych i czasu na eksperyment. Każdy z tych czynników może zdławić proces niezależnie od tego, jak sprawny jest projektant.

Zero skali czasu. Proces rozłożony na dwieście lat i proces trwający tydzień to dwie różne sprawy o tej samej strukturze logicznej. Good nie rozstrzyga, którą opisuje - a dzisiejsza debata dotyczy w praktyce prawie wyłącznie tego.

Dlaczego mimo to jest ważny

Bo jest najkrótszym poprawnym zapisem problemu, który potem rozpisywano na książki.

Cała późniejsza literatura o superinteligencji i o singularności to rozwinięcia tych czterech kroków: precyzowanie definicji, szukanie czynników ograniczających, spory o skalę czasu i - przede wszystkim - praca nad warunkiem z zastrzeżenia.

Współczesne próby idą w stronę, której Good nie przewidział: zamiast pytać, kiedy przekroczymy próg, buduje się stopniowane skale zdolności, żeby dało się mierzyć postęp bez rozstrzygania, gdzie próg leży.

To jest rozsądna reakcja na tekst, którego największą wadą jest zerojedynkowość. I dobra ilustracja tego, jak ta dziedzina dojrzewa: nie przez odpowiedź na stare pytanie, tylko przez zamianę go na pytanie, które da się sprawdzić.