Studia LLM są nastawione na kulturę japońską – oto podsumowanie studiów

Modele Frontier AI mają typ kulturowy, a według nowych badań tym typem jest Japonia. Kiedy zadamy dużemu modelowi językowemu pytanie otwarte o kulturę, nie wymieniając konkretnego kraju, model ten częściej niż inne sięga po przykłady japońskie. Ten trend jest widoczny w przypadku ośmiu głównych modeli i 24 języków.

Odkrycie pochodzi z białej księgi opublikowanej w kwietniu przez naukowców z Uniwersytetu Kraju Basków i Uniwersytetu w Cardiff. Stworzyli oni wielojęzyczny zestaw testowy składający się z 31 680 pytań otwartych, ale osadzonych w kulturze, obejmujących 66 podtematów kulturowych z 11 szerszych dziedzin. Pytania dotyczyły między innymi tego, które legendy opisują krainę, jaką rolę odgrywają sąsiedzi, które przedmioty szkolne są najważniejsze i co ludzie jedzą na co dzień. Żadne z pytań nie zawierało nazwy kraju. Po każdym pytaniu model musiał wybrać region i podać konkretne przykłady.

Modele nie tylko nieznacznie przesunęły się w stronę Japonii. W artykule opisano „nieproporcjonalnie dużą przewagę Japonii” w odpowiedziach, na tyle spójną, że utrzymywała się w całym zakresie 24 języków, zamiast skupiać się na wynikach z jednego regionu.

Celem projektu było ukazanie domyślnych przekonań modelek.

„Dzięki temu wszelkie założenia regionalne i kulturowe wynikają z wewnętrznych założeń modelu, a nie z natychmiastowego projektowania”.

— Badacze

Język również wpływał na zawężanie modeli. W artykule czytamy, że w języku angielskim i innych językach o dużym zasobach modele dawały bardziej zróżnicowane odpowiedzi i w mniejszym stopniu opierały się na kraju powiązanym z językiem wejściowym. Języki o mniejszym zasobach pozostawiały im cieńsze pole do popisu i coraz bardziej skłaniały się ku wartościom domyślnym.

Pierwszy schemat jest oczywisty. Zapytaj po francusku, a otrzymasz Francję; zapytaj po japońsku, a otrzymasz Japonię. Modele opierają się na dowolnym kraju, którego dotyczy pytanie. Interesujące jest to, co się dzieje, gdy model patrzy poza ten kraj ojczysty. Sięgając po zewnętrzne odniesienie, wybrał Japonię. Sześć z ośmiu modeli preferowało Japonię w tych egzogenicznych odpowiedziach. Stany Zjednoczone zajęły drugie miejsce, następnie Indie, Chiny i Francja. Spośród wszystkich 24 języków, Japonia wygrała w siedmiu z 11 tematów kulturowych, po odrzuceniu własnego kraju, z którego pochodzi każdy z tych języków.

Przetestowano modele ChatGPT, Gemini, Claude, Meta Llama, Command-r, Magistral, Qwen i DeepSeek, więc nie jest to przypadłość jednego laboratorium. Naukowcy opisują to jako problem koncentracji, z wynikami skupiającymi się na niewielkim zestawie dominujących regionów. Ta różnica sprawia, że wynik jest czymś więcej niż przypisem: nawet modele z laboratoriów chińskich i europejskich, udzielające odpowiedzi w swoich językach, wciąż wracały do tej samej krótkiej listy.

Przyciąganie do Japonii nie jest trudne do wyjaśnienia. Anime, manga, serie gier i jedzenie od lat należą do najchętniej eksportowanych i najczęściej omawianych w internecie elementów kultury, a modelki uczyły się z tej samej studni. Długoletni nawyk internetu do romantyzowania japońskich mediów nie zniknął po zeskrobaniu danych szkoleniowych; zostały one zakodowane. Dane dodają liczbę: to nie jest klimat, to mierzalne nachylenie, które przetrwa tłumaczenie na dwadzieścia języków.

Prowadzę konto o sztucznej inteligencji, a „modele to weebs” to najzabawniejsze podsumowanie badań, jakie czytałem w tym roku. Dowcip pisze się sam: internet przez dekady był zafascynowany anime i japońskim jedzeniem, maszyny uczyły się z tego internetu, a teraz mają też ulubiony kraj. Odkrycie ukryte pod puentą jest cichsze i bardziej użyteczne.

Badanie nie ograniczyło się do nazwania błędu. Zapytano, kiedy się pojawia. Zespół porównał wyniki modelu przed i po dostrojeniu instrukcji, czyli etapie szkolenia, który uczy surowy model udzielania użytecznych odpowiedzi, zamiast jedynie generowania tekstu gramatycznego. Do porównania wykorzystano odpowiedzi Meta Llamy, Qwena, Gemmy i Mistrala w języku angielskim, sprawdzając każdą z nich przed i po etapie dostrajania. Przed dostrojeniem modele bazowe charakteryzowały się szerszym zakresem preferencji. Stany Zjednoczone nadal pojawiały się często, ale podobnie było z Japonią, Indiami, Chinami i kilkoma krajami europejskimi, rozsianymi po większej mapie.

Po dostrojeniu mapa się skurczyła.

„We wszystkich badanych rodzinach modeli, dostrajanie instrukcji wyraźnie zwiększa zgodność ze Stanami Zjednoczonymi i Japonią, jednocześnie zmniejszając odniesienia do większości innych krajów”.

— Badacze

Efekt był najsilniejszy w modelach, które przeszły nadzorowane dostrajanie, gdzie model uczy się na podstawie wybranych przykładów poprawnych odpowiedzi, często napisanych lub wybranych przez ludzi. Ten krok, jak odkryli naukowcy, przesuwa wyniki w kierunku kilku dominujących regionów, a późniejsze dopasowanie jedynie nieznacznie je cofa. Homogenizacja nie jest wbudowana w surowe dane internetowe; jest dodawana później, gdy ludzie decydują, jak powinna wyglądać prawidłowa odpowiedź.

Uprzedzenie do Japonii jest symptomem, a część, do której ciągle wracam, jest cichsza: globalne narzędzie spłaszcza kultury świata do dwóch lub trzech domyślnych. W artykule zauważono, że dotyczy to nawet modeli tworzonych poza Zachodem, więc nie chodzi tylko o amerykańskie firmy eksportujące amerykański gust. W samym procesie dostrajania coś sprzyja bezpiecznej, dominującej odpowiedzi.

Badanie przedstawia to jako praktyczne ostrzeżenie, a nie ciekawostkę. W przypadku narzędzi wykorzystywanych w wielu kulturach, jak twierdzą naukowcy, zachowanie szeregu punktów widzenia kulturowego „może mieć kluczowe znaczenie”. Najważniejsza jest obecność tych systemów w domyślnym miejscu: w wyszukiwaniu, nauczaniu, tłumaczeniu i w codziennych odpowiedziach, które ludzie przyjmują za dobrą monetę.

Nie uważam, żeby to był skandal i nie czyni to modelek bezużytecznymi. To przypomnienie, że „neutralna” domyślna postawa modelki to czyjś wybór, a wybór ten zmierza w kierunku tego, co znane.

Przeczytaj także, że YouTuber sammyuri zbudował działającą wersję ChatGPT w grze Minecraft, wykorzystując jedynie zwykły redstone, maszynę o 439 milionach bloków, uruchamiającą maleńki model o 5 milionach parametrów z pamięcią 64-tokenową; wygenerowanie jednej odpowiedzi może zająć wiele godzin i często zwraca bezsensowne wyniki, ale jako dowód koncepcji jest to imponujące.

Twórcy modów do Cyberpunk 2077 wciąż rozwijają grę. Jeden z nowych modów dodaje brutalny topór bojowy wykorzystujący wbudowane systemy gore i rozczłonkowywania, a kolejny integruje API OpenAI z Night City, dzięki czemu twórcy modów mogą generować dialogi postaci niezależnych, zadania poboczne i adaptacyjne zachowania wrogów na bieżąco.