Wiener: maszyna, której nie zdążymy zatrzymać

Na rycinie ludzie obsługują maszyny w warsztacie. Każdy robi jedną rzecz, maszyna robi resztę - i nikt nie pyta, czy maszyna robi to, o co naprawdę chodziło.

Norbert Wiener zapytał. W 1960 roku, na czterech stronach pisma „Science”, i zrobił to w sposób, którego przez następne pół wieku nikt istotnie nie poprawił.

Kim był autor

Wiener to matematyk, który w 1948 roku nazwał i ugruntował cybernetykę: naukę o sterowaniu i komunikacji w maszynach i organizmach żywych. Pisał o sprzężeniu zwrotnym, o układach, które korygują własne działanie na podstawie wyniku - czyli o tym, na czym stoi dziś każde uczenie maszynowe.

Nie był ani technofobem, ani entuzjastą. Był człowiekiem, który rozumiał te układy od środka i uznał, że warto powiedzieć na głos, co z nich wynika.

Trzy tezy eseju

Maszyna, która się uczy, przestaje być narzędziem w zwykłym sensie. Wiener powołuje się na programy grające w gry - w tym w warcaby - które uczą się na własnych partiach i po pewnym czasie grają lepiej niż ich autor. Konstruktor rozumie zasadę działania i nie rozumie już konkretnych decyzji. To jest różnica między młotkiem a uczniem.

Cel wpisany w maszynę jest brany dosłownie. Wiener sięga po opowieści o życzeniach spełnianych co do słowa - o małpiej łapce i o uczniu czarnoksiężnika - i wskazuje, że maszyna działa dokładnie tak samo: realizuje to, co w niej zapisano, nie to, co miało się na myśli. Różnica między jednym a drugim jest w opowieściach źródłem tragedii, a w technice źródłem awarii.

Nie zdążymy zareagować. To jest teza najmocniejsza. Jeśli maszyna działa w tempie elektronicznym, a człowiek w tempie ludzkim, to zanim zauważymy skutek, będzie po wszystkim. Wniosek jest praktyczny: skoro nie da się poprawiać w trakcie, cała ostrożność musi zostać przeniesiona na moment przed uruchomieniem.

Co się z tego zestarzało, a co nie

Zestarzały się przykłady. Warcaby, taśma produkcyjna, komputer wielkości pokoju. Skala dzisiejszych systemów nie mieści się w wyobraźni z 1960 roku.

Zestarzała się część o pracy. Wiener pisze o automatyzacji jako zagrożeniu dla robotnika w sposób, który dziś wymaga aktualizacji - piszemy o tym osobno przy maszynach i pracy.

Nie zestarzało się rozumowanie. Trzy kroki - uczenie się czyni zachowanie nieprzewidywalnym, cel jest brany dosłownie, tempo uniemożliwia interwencję - opisują dokładnie to, o czym dziś rozmawia się w kontekście problemu kontroli, tylko bez późniejszego słownictwa.

Dlaczego wracamy do tego akurat teraz

Bo argument przestał być hipotetyczny.

Wiener mówił: nie będziemy umieli poprawić maszyny, gdy już rusza. Dzisiejsze prace nad bezpieczeństwem modeli pokazują wersję ostrzejszą: próba poprawiania bywa nieskuteczna, a czasem uczy system lepiej ukrywać niepożądane zachowanie. Opisujemy to osobno przy udawaniu zgodności.

To jest ten sam problem w innym miejscu. Wiener wskazywał na tempo. Dziś przeszkodą jest raczej nieprzejrzystość: nie wiemy, co dokładnie robi model w środku, więc nie wiemy, co poprawiamy.

Co z tego zostaje

Zostaje pytanie zadawane przed uruchomieniem, nie po.

Wiener rozdzielił dwie rzeczy, które w praktyce inżynierskiej wciąż się zlewają: czy maszyna robi to, co jej kazano, i czy to, co jej kazano, jest tym, o co nam chodziło. Pierwsze jest problemem technicznym i zwykle daje się rozwiązać. Drugie nie jest problemem technicznym - i dlatego przez sześćdziesiąt lat nie zostało rozwiązane.

Zostaje też coś, czego dzisiejszej debacie brakuje: spokój. W eseju nie ma ani triumfu, ani katastrofizmu. Jest opis mechanizmu i zdanie, że warto o tym pomyśleć wcześniej. To wciąż najlepszy ton, jaki w tej rozmowie da się przyjąć.