Obrazy odtwarzane z mózgu: gdzie jest granica

W 2023 roku obiegły sieć pary obrazków: po lewej zdjęcie pokazane badanemu, po prawej obraz odtworzony z jego aktywności mózgu. Miś, samolot, wieża zegarowa. Podobieństwo bywa uderzające i łatwo z tego wyciągnąć wniosek, że maszyna zajrzała komuś do głowy.

Zajrzała, ale w bardzo szczególnym sensie, i całe znaczenie tego wyniku leży w szczegółach, które w podpisach pod obrazkami nie mieszczą się nigdy.

Jak to działa

Rezonans funkcjonalny nie mierzy pracy neuronów. Mierzy przepływ krwi - pośredni ślad tego, że jakiś obszar kory był aktywny, uśredniony po sekundach i po milimetrach tkanki. To jest sygnał wolny i gruby, obejmujący setki tysięcy komórek naraz.

Pomysł metody z 2023 roku polega na tym, żeby tego sygnału nie tłumaczyć bezpośrednio na piksele. Zamiast tego tłumaczy się go na opis zrozumiały dla generatora obrazów: osobno na uproszczoną informację o układzie sceny, osobno na informację o jej treści. Dopiero te dwa strumienie trafiają do gotowego modelu generatywnego, który dorysowuje resztę.

Ta konstrukcja tłumaczy jednocześnie, dlaczego wyniki wyglądają dobrze i czego z nich nie wolno wnosić. Ostrość, faktura i szczegół nie pochodzą z mózgu. Pochodzą z generatora, który wypełnia lukę tym, co jest prawdopodobne. Z mózgu pochodzi szkielet: mniej więcej gdzie co jest i mniej więcej czego dotyczy scena.

Warto zauważyć, czego ta metoda nie potrzebuje. Nie potrzebuje mapy połączeń, czyli konektomu, ani rejestracji pojedynczych neuronów. Działa na poziomie, na którym mózg jest widziany bardzo z daleka - i to jest zarazem jej siła i jej sufit.

Ile to naprawdę kosztuje

Tutaj jest sedno i tego prawie nigdy nie ma w doniesieniach.

Prace tego typu opierają się w większości na jednym publicznym zbiorze danych. Jego skala jest następująca:

• osiem osób badanych,
• 30-40 sesji skanowania na osobę,
• skaner 7 T, czyli sprzęt badawczy z najwyższej półki, dostępny w kilkudziesięciu ośrodkach na świecie,
• rozdzielczość 1,8 mm, próbkowanie co 1,6 sekundy,
• 10 000 unikatowych obrazów obejrzanych przez każdą osobę, każdy po trzy razy.

To są dziesiątki godzin nieruchomego leżenia w skanerze na osobę. Rekonstrukcje nie powstają „z mózgu” w ogólności - powstają z mózgu konkretnej osoby, dla której wcześniej zebrano komplet danych, i tylko dla obrazów w rodzaju tych, które wtedy oglądała.

W 2024 roku pokazano metodę, która schodzi do jednej godziny danych na nową osobę. Brzmi to jak przełom i po części nim jest, ale mechanizm jest inny, niż sugeruje liczba: model uczy się najpierw na siedmiu osobach z tego samego zbioru, buduje wspólną przestrzeń, a dopiero potem dostraja się do ósmej. Godzina dotyczy wyłącznie tego ostatniego kroku. Całkowity koszt danych pozostaje ogromny, tylko został poniesiony wcześniej i przez kogoś innego.

Rzecz, którą sprawdzono osobno

Najciekawszy wynik w tej całej dziedzinie nie dotyczy jakości rekonstrukcji, tylko warunku jej powstania.

Zespół z Teksasu zbudował dekoder odtwarzający sens wypowiadanych i wyobrażanych zdań z rezonansu. To osobna linia badań, o której piszemy przy dekodowaniu mowy z mózgu. Autorzy zrobili jednak coś, czego w tej dziedzinie brakuje: zadali wprost pytanie o prywatność i zaprojektowali eksperyment, żeby na nie odpowiedzieć.

Sprawdzili dwie rzeczy. Czy dekoder nauczony na jednej osobie działa na innej - nie działa. I czy osoba, na której go nauczono, może go zablokować - może, i to bez wysiłku. Wystarczyło, że badany w trakcie słuchania liczył w myślach albo wymieniał zwierzęta, i dekodowanie się rozsypywało.

Wniosek autorów jest zwięzły: współpraca badanego jest potrzebna zarówno do nauczenia dekodera, jak i do jego stosowania.

To jest wynik uspokajający, ale warto go czytać dokładnie. Mówi o dzisiejszej metodzie, przy dzisiejszej rozdzielczości sygnału, przy rezonansie wymagającym nieruchomego leżenia w wielotonowym magnesie. Nie jest to prawo przyrody. Jest to stan techniki - a stan techniki się zmienia.

Dlaczego mimo wszystko warto o tym rozmawiać teraz

Można z powyższego wyciągnąć wniosek, że temat neuroprywatności jest przedwczesny. Byłby to błąd, i to z dwóch powodów.

Po pierwsze, prawo powstaje wolniej niż technika. Chile zmieniło w październiku 2021 roku konstytucję tak, by obejmowała ochroną aktywność mózgu i informacje z niej wyprowadzone, zanim istniała technologia, przed którą chroni. Dwa lata później okazało się, że nie był to gest pusty: chilijski Sąd Najwyższy nakazał producentowi konsumenckiej opaski EEG usunięcie danych mózgowych użytkownika, uznając, że sposób ich przechowywania narusza jego prawa. Sprawa nie dotyczyła żadnego dekodera myśli, tylko urządzenia, które można kupić przez internet.

Po drugie, granica nie przebiega tam, gdzie się ją zwykle stawia. Groźne nie jest urządzenie odczytujące myśli - takiego nie ma. Groźne jest to, że dane neuronalne zbierane przy zwyczajnych okazjach - w badaniu klinicznym, przy opasce do snu, przy słuchawkach z elektrodami - są danymi, z których po latach można wyciągnąć więcej, niż zakładano przy ich zbieraniu. Model powstaje później niż dane.

To jest ten sam problem, który znamy z genetyki: próbka oddana w 2010 roku jest dziś czytana narzędziami, których wtedy nie było.

Co z tego wynika

Dla czytelnika doniesień: przy każdej rekonstrukcji obrazu z mózgu warto poszukać dwóch liczb - ilu było badanych i ile godzin spędzili w skanerze. Zwykle nie ma ich w tekście, a bez nich wynik jest nieczytelny.

Dla oceny postępu: poprawia się głównie ta część, która pochodzi z generatora obrazów, a nie ta, która pochodzi z mózgu. Rekonstrukcje z każdym rokiem wyglądają lepiej częściowo dlatego, że lepsze są modele generatywne. To jest realny postęp, ale w innym miejscu, niż się wydaje.

Dla interfejsów mózg-komputer: ta linia badań jest odczytem, nie sterowaniem, i ma najbliżej do zastosowań u osób, które nie mogą się porozumieć. Tam liczy się nie efektowność rekonstrukcji, tylko jej powtarzalność u jednej osoby przez lata - a to jest zupełnie inne kryterium niż to, po którym ocenia się obrazki w sieci.