Vinge: koniec epoki, w której da się przewidywać

W 1993 roku matematyk i pisarz Vernor Vinge wygłasza na sympozjum w ośrodku NASA tekst, który do dziś jest najczęściej przywoływanym źródłem pojęcia osobliwości technologicznej. Tekst ma kilkanaście stron i jest darmowy w archiwum raportów NASA. Prawie nikt go nie czyta - czyta się streszczenia streszczeń.

Warto go czytać, bo mówi mniej i ostrożniej, niż się mu przypisuje.

Argument

Krok pierwszy: postęp techniczny zależy od inteligencji, a inteligencja była dotąd wyłącznie ludzka i mniej więcej stała. Wszystko, co zbudowaliśmy, zbudowały mózgi o podobnej mocy.

Krok drugi: jeśli powstanie inteligencja przewyższająca ludzką, to zacznie ona uczestniczyć w projektowaniu kolejnych. Ulepszenia zaczną się nakładać na siebie, a tempo przestanie zależeć od ludzkiego cyklu uczenia się, kariery i pokolenia.

Wniosek: nie umiemy powiedzieć, co będzie potem. Nie dlatego, że brakuje nam danych, tylko dlatego, że prognoza jest czynnością wykonywaną przez umysł, który ma być przekroczony.

Vinge używa tu porównania do horyzontu zdarzeń: nie chodzi o katastrofę, chodzi o granicę widoczności. Stąd nazwa.

Cztery drogi, które wymienia

Tekst nie stawia na jedną technologię - i to jest jego mocna strona. Wymienia:

• Sztuczną inteligencję rozwijaną wprost, jako program badawczy.
• Sieci komputerowe, w których zdolność wyłania się z powiązania wielu maszyn i ludzi, bez jednego autora.
• Interfejsy człowiek-maszyna, w których wzmocniony zostaje umysł biologiczny.
• Biologię - poprawianie ludzkiego mózgu jego własnymi metodami.

To rozróżnienie zniknęło z późniejszej dyskusji prawie całkowicie. Dziś „osobliwość” znaczy w praktyce wyłącznie pierwszą pozycję z tej listy.

Co się obroniło

Ostrożność w datowaniu. Vinge podaje przedział, a nie datę, i zaznacza, że może się mylić. Późniejsza literatura popularna - z Kurzweilem na czele - poszła w stronę konkretnych lat, przez co zestarzała się gorzej. Kto dziś cytuje „osobliwość w roku X”, cytuje nie Vingego.

Rozdzielenie dróg. To, że wzmocnienie ludzkiego umysłu i budowa nowego są osobnymi scenariuszami o innych skutkach, jest obserwacją, do której dyskusja o bezpieczeństwie AI wróciła dopiero po dwóch dekadach.

Właściwe pytanie. Vinge nie pyta „czy maszyny będą świadome”, tylko „co się dzieje z przewidywalnością świata, gdy przestajemy być najzdolniejszymi jego mieszkańcami”. To pytanie jest wciąż otwarte i wciąż użyteczne.

Co się nie obroniło

Brak mechanizmu. Tekst zakłada, że inteligencja jest wielkością, która się skaluje i sama siebie napędza. Nie podaje, co miałoby być wąskim gardłem - a to właśnie wąskie gardła (dane, energia, koszt sprzętu, eksperyment fizyczny) okazały się w praktyce decydujące.

Milczące założenie o sprzężeniu. Że system zdolniejszy od nas zechce i zdoła ulepszać sam siebie, jest w eseju przesłanką, nie wnioskiem. Cała późniejsza literatura o problemie kontroli rozbiera to założenie na części - i nie domyka go.

Nieciągłość. Trzydzieści lat później zdolności modeli rosną wyraźnie i wciąż stopniowo. Próby zmierzenia tego wzrostu - jak zestawienie długości zadań, które system doprowadza do końca - pokazują trend, a nie skok. To nie obala tezy, ale odsuwa moment, w którym dałoby się ją sprawdzić.

Dlaczego wart czytania po trzydziestu latach

Bo jest krótki, konkretny i uczciwy wobec własnej niepewności - trzy cechy, których w tej dyskusji zwykle brakuje.

I bo pokazuje coś, co przy dzisiejszych nagłówkach łatwo przeoczyć: pojęcie osobliwości nie powstało jako obietnica marketingowa firm technologicznych. Powstało jako ostrzeżenie o granicy poznawczej, sformułowane przez matematyka, który zastrzegał, że może się mylić.

Kto chce dziś używać tego słowa poważnie, powinien zacząć od tych kilkunastu stron. Kto chce nim sprzedawać - lepiej, żeby ich nie otwierał.