Dlaczego modele gorzej mówią po polsku

Rycina przedstawia budowniczych wieży Babel w chwili, gdy przestają się rozumieć. Historia jest o karze za pychę.

Współczesna wersja jest znacznie bardziej prozaiczna: nie chodzi o pomieszanie języków, tylko o to, ile w którym z nich zapisano.

Skąd bierze się różnica

Model językowy uczy się na tekście. Im więcej tekstu w danym języku, tym lepiej ten język opanowuje - i tu leży całe wyjaśnienie.

Zbiory danych zbierane z sieci mają rozkład wybitnie nierówny. Angielski dominuje, po nim idą największe języki europejskie i azjatyckie, a dalej ogon języków, w których zasoby liczy się w ułamkach procenta. Polszczyzna leży w środkowej części tej hierarchii: nie jest językiem rzadkim, ale zasoby ma kilkadziesiąt razy mniejsze niż angielski.

To jest różnica ilościowa, która daje różnicę jakościową. Model widział miliony przykładów użycia angielskiego idiomu i tysiące przykładów użycia polskiego - i zachowuje się dokładnie tak, jak można się po tym spodziewać.

Rozcieńczanie pojemności

Naturalne pytanie brzmi: skoro model uczy się wielu języków naraz, to czy nie pomaga to językom słabiej reprezentowanym?

Pomaga - i to jest jeden z ważniejszych wyników w tej dziedzinie. Praca opisująca model uczony na stu językach i ponad dwóch terabajtach danych pokazała duże zyski dla języków o mniejszych zasobach: wzrost skuteczności rzędu kilkunastu punktów procentowych dla języków takich jak suahili czy urdu, w porównaniu z wcześniejszymi modelami.

Autorzy opisali jednak także drugą stronę tego równania: kompromis między przenoszeniem wiedzy a rozcieńczaniem pojemności. Przy stałym rozmiarze modelu dołożenie kolejnych języków oznacza, że na każdy przypada mniej parametrów. Do pewnego momentu zysk z podobieństwa między językami przeważa. Powyżej tego momentu jakość zaczyna spadać.

Wniosek praktyczny: wielojęzyczność nie jest darmowa. Model, który zna sto języków, jest w każdym z nich nieco gorszy niż model tej samej wielkości uczony na jednym - chyba że urośnie.

Ta sama praca pokazała, że przy dostatecznie dużej skali da się to napięcie w praktyce zdjąć. To jest właśnie powód, dla którego dzisiejsze duże modele radzą sobie po polsku znacznie lepiej niż ich poprzednicy sprzed kilku lat.

Jak to się mierzy

Żeby o czymkolwiek dyskutować, trzeba mieć czym mierzyć. Dla angielskiego zestawy testowe istnieją od lat; dla polszczyzny powstały później.

Opublikowany w 2020 roku zestaw KLEJ zebrał zadania z różnych dziedzin - rozpoznawanie nazw własnych, odpowiadanie na pytania, wnioskowanie tekstowe - i dołożył nowe zadanie oceny wydźwięku recenzji z serwisu handlowego. Razem z benchmarkiem udostępniono model uczony na polskich tekstach.

Znaczenie tego było podwójne. Po pierwsze, dało się porównywać. Po drugie, powstał punkt odniesienia pokazujący, ile traci się, używając modelu ogólnego zamiast uczonego na polszczyźnie.

Co z tego wynika w praktyce

Cztery skutki, które da się zauważyć bez żadnych pomiarów.

Więcej zmyśleń w treściach lokalnych. Model zapytany o polską ustawę, polskiego autora albo lokalną instytucję ma mniej materiału i częściej wypełnia lukę czymś prawdopodobnym. To jest ten sam mechanizm, który opisujemy przy zmyśleniach, tyle że wzmocniony rzadkością danych.

Kalki składniowe. Zdania bywają poprawne i nienaturalne - zbudowane po angielsku, tylko polskimi słowami.

Problemy z odmianą. Fleksja wymaga rozróżnień, których w angielskim nie ma. Przy rzadszych formach model częściej trafia obok.

Nierówna wiedza o realiach. Model zna amerykański system prawny lepiej niż polski, bo o pierwszym napisano więcej. Przy każdym pytaniu o prawo, urzędy albo lokalną praktykę warto to zakładać.

Dlaczego to jest sprawa publiczna

Bo dotyczy nie wygody, tylko dostępu.

Jeśli narzędzie działa gorzej w danym języku, to gorzej działa dla wszystkich, którzy się nim posługują - w szkole, w urzędzie, w pracy. Unijny akt o sztucznej inteligencji wymaga od systemów wysokiego ryzyka odpowiedniej jakości danych i dokumentacji, a to jest miejsce, w którym ten wymóg ma konkretną treść: model używany w polskim urzędzie powinien być sprawdzony na polszczyźnie, a nie na angielszczyźnie przetłumaczonej na polski.

I jest jeszcze powód praktyczny dla takiego portalu jak ten. Rzetelnych, sprawdzonych tekstów po polsku o tej dziedzinie jest mało. Każdy taki tekst jest jednocześnie materiałem, na którym uczą się kolejne modele - i to jest jedyny sensowny sposób, w jaki można na ten rozkład danych wpłynąć.

Wieża z ryciny upadła, bo budowniczowie przestali się rozumieć. Tutaj problem jest odwrotny: rozumieją się coraz lepiej po angielsku.