Model pamięta więcej, niż powinien

Warsztat drukarski z drzeworytu Ammana ma jedno zadanie: odtworzyć tekst dokładnie. Każdy egzemplarz ma być taki sam jak wzorzec.

Model językowy powstał w innym celu - ma generować tekst prawdopodobny, nie kopiować. Okazuje się jednak, że przy pewnych warunkach robi jedno i drugie.

Na czym polega atak

Praca opublikowana w 2020 roku pokazała procedurę, którą nazwano atakiem wydobywczym.

Rozumowanie jest proste. Model przewiduje kolejne słowa. Jeśli jakiś ciąg znaków zapamiętał, to przy odpowiednim początku odtworzy go z bardzo dużą pewnością - znacznie większą niż dla tekstu, który dopiero układa.

Procedura ma dwa kroki:

Generowanie. Model wytwarza ogromną liczbę fragmentów tekstu, przy różnych ustawieniach losowości.

Filtrowanie. Spośród nich wybiera się te, którym model przypisuje podejrzanie wysokie prawdopodobieństwo - i sprawdza, czy występują dosłownie w publicznie dostępnych danych.

Wynik: setki dosłownie odtworzonych sekwencji pochodzących z danych uczących. Wśród nich - jak wyliczają autorzy - dane osobowe obecne w sieci publicznie (nazwiska, numery telefonów, adresy poczty elektronicznej), zapisy rozmów, fragmenty kodu i długie ciągi identyfikatorów.

Najważniejszy szczegół jest taki: atak działa nawet wtedy, gdy dany fragment występował w danych uczących rzadko. To podważa intuicję, że zapamiętane zostaje tylko to, co model widział wielokrotnie.

Co to znaczy dla prywatności

Trzeba rozróżnić dwie sytuacje, bo w rozmowie publicznej się zlewają.

Dane były publiczne. Model odtwarza to, co i tak leżało w otwartej sieci. Nowość polega na zmianie dostępności: numer telefonu na starej stronie internetowej jest formalnie publiczny, a odnalezienie go wymagało wysiłku. Model podaje go na zawołanie.

Dane trafiły tam przez pomyłkę. Zbiory uczące zbiera się automatycznie, więc mogą zawierać materiały, które nigdy nie miały być publiczne - fragmenty prywatnych repozytoriów, wycieki, treści usunięte przez autorów.

Prawnie robi się z tego problem, dla którego nie ma dobrego rozwiązania. RODO daje prawo do usunięcia danych. Jak usunąć dane z modelu? Nie ma tam rekordu do skasowania - jest rozkład wag, w którym informacja jest rozproszona. Trenowanie od nowa bez tych danych kosztuje tyle co całe trenowanie.

Dwa zjawiska, które warto zestawić

To jest jedna z ciekawszych par w całej tej dziedzinie.

Model zmyśla. Podaje nieistniejące publikacje i wymyślone szczegóły, bo generuje tekst prawdopodobny. Piszemy o tym przy zmyśleniach.

Model odtwarza dosłownie. Przy innych warunkach powtarza fragment z danych uczących co do znaku.

To nie są sprzeczności, tylko dwa krańce tego samego mechanizmu. Model przewiduje najbardziej prawdopodobne dalsze słowa. Gdy widział jakiś ciąg i go zapamiętał, najbardziej prawdopodobnym ciągiem dalszym jest ten oryginalny. Gdy nie widział nic podobnego, wypełnia lukę czymś wiarygodnym.

Praktyczny wniosek: niepewność co do tego, które z dwojga właśnie zachodzi, jest wbudowana w sposób działania tych systemów. Odczyt z wnętrza modelu - opisywany przy interpretowalności - jest dziś jedyną drogą, żeby to rozstrzygać inaczej niż przez sprawdzanie źródeł.

Co z tego wynika praktycznie

Dla użytkownika: nie wklejaj do modelu niczego, czego nie chcesz zobaczyć u kogoś innego. Dotyczy to zwłaszcza narzędzi, których regulamin dopuszcza wykorzystanie rozmów do dalszego uczenia.

Dla firm i instytucji: dane wrażliwe podane modelowi przestają być pod kontrolą organizacji. To nie jest kwestia zaufania do dostawcy, tylko właściwości technologii.

Dla regulacji: prawo do bycia zapomnianym powstało w świecie baz danych. W świecie modeli nie ma technicznego sposobu, żeby je w pełni wykonać - i to jest luka, której żaden przepis dotąd nie domyka.

Warsztat drukarski miał jedną zaletę, której modele nie mają: było widać, co kopiuje.