Yoshua Bengio o ryzykach katastrofalnych sztucznej inteligencji

FAR․AI Yoshua Bengio - AI Catastrophic Risks & Scientist AI Solution [Alignment Workshop] Odtwórz - nagranie wczyta się z YouTube dopiero teraz

Otwórz na YouTube →

Kto to jest

Yoshua Bengio jest kanadyjskim informatykiem, jednym z trzech laureatów Nagrody Turinga z 2018 roku za prace nad uczeniem głębokim - czyli jednym z ludzi, bez których dzisiejszych systemów AI po prostu by nie było. Kieruje też pracami nad International AI Safety Report, przeglądem stanu wiedzy o zdolnościach i ryzykach systemów ogólnego przeznaczenia, przygotowywanym przez ponad stu ekspertów pod nadzorem panelu z ponad trzydziestu krajów.

Jego głos jest w tej dyskusji nietypowy z jednego powodu: zmienił zdanie publicznie. Przez większość kariery zajmował się rozwijaniem tych systemów, a nie ostrzeganiem przed nimi. To sprawia, że trudno go zbyć jednym z dwóch standardowych zarzutów - ani nie jest osobą z zewnątrz, która nie rozumie techniki, ani kimś, kto nigdy nie widział, jak te modele działają od środka.

Dlaczego warto

Nagranie pochodzi z warsztatu o zgodności celów AI, prowadzonego przez FAR․AI. Bengio omawia w nim ryzyka katastrofalne oraz kierunek, który sam proponuje jako odpowiedź - architekturę nazywaną przez niego Scientist AI, opartą na systemach budujących modele świata zamiast działających jako autonomiczne podmioty.

Wartość tego materiału polega na tym, że to jest techniczny wykład, nie wystąpienie publicystyczne. Rozmowa o ryzykach AI w mediach obraca się wokół metafor; tutaj mówi osoba, która proponuje konkretną konstrukcję i naraża ją na krytykę kolegów po fachu.

Zanim obejrzysz

Warto rozdzielić trzy rzeczy, które nasz wątek o AGI trzyma osobno, a które w nagraniu przewijają się razem:

• Alignment - problem, jak sprawić, żeby system realizował cel faktycznie zamierzony, a nie wpisany nieudolnie. Nie chodzi o bunt maszyny.
• Ryzyko egzystencjalne - osobna kategoria, obejmująca znacznie więcej niż AI, wiążąca się z tym tematem przez argument, nie przez definicję.
• Spór o kolejność. Część badaczy uważa, że uwaga poświęcona systemom przyszłości odciąga ją od udokumentowanych szkód dzisiejszych. Bengio jest po jednej stronie tego sporu i warto o tym wiedzieć, słuchając.

Nagranie jest po angielsku, bez polskich napisów.