[AI] Dlaczego duże modele językowe wciąż nie piszą spójnych książek z wielowarstwową fabułą?

 

Cześć! Dziś zabieram Was w fascynującą podróż po świecie dużych modeli językowych (LLM), które szturmem zdobywają naszą wyobraźnię. Przygotowałem ten artykuł, opierając się na informacjach z różnych zakątków internetu – od publikacji naukowych, przez dyskusje na forach technologicznych, po analizy ekspertów AI. Dlaczego nawet modele z ogromnym oknem kontekstowym, jak milion tokenów, wciąż nie są w stanie stworzyć spójnej, wielowarstwowej powieści od początku do końca? Zaczniemy od podstaw, przejdziemy przez techniczne niuanse i zakończymy wizją tego, co musi się zmienić, by AI mogło pisać książki godne bestsellerów.

Czym są tokeny i dlaczego są ważne?

Zacznijmy od podstaw, bo bez nich trudno zrozumieć, o co w tym wszystkim chodzi. Token to jednostka informacji, którą model językowy przetwarza. Możesz myśleć o tokenie jak o kawałku tekstu – czasem to pojedyncze słowo (np. „dom”), czasem jego część (np. „-ing” w „biegając”), a czasem znak interpunkcyjny. Modele językowe, takie jak GPT czy Llama, zamieniają tekst na tokeny, by móc go „zrozumieć” i generować odpowiedzi.

Okno kontekstowe to liczba tokenów, które model może „widzieć” naraz. Na przykład model z oknem 128 000 tokenów może analizować tekst o długości mniej więcej 100 000 słów (dla porównania: przeciętna powieść ma 80 000–120 000 słów). Milion tokenów to już ogromna przestrzeń – teoretycznie wystarczająca, by pomieścić kilka książek naraz! Tylko tutaj od razu pojawia się pytanie - skoro tak, to dlaczego wciąż nie mamy AI, które pisze sagi fantasy na miarę Tolkiena? Odpowiedź leży głębiej, w mechanizmach działania modeli i ich ograniczeniach.

Mechanizm uwagi: serce modeli językowych

Żeby zrozumieć problem, musimy zajrzeć pod maskę. Duże modele językowe opierają się na architekturze zwanej Transformer, a jej kluczowym elementem jest mechanizm uwagi (attention). Uwaga pozwala modelowi „skupić się” na ważnych fragmentach tekstu podczas generowania odpowiedzi. Wyobraźcie sobie, że piszecie książkę i musicie pamiętać, co wydarzyło się na stronie 10, by fabuła na stronie 200 miała sens. Mechanizm uwagi robi coś podobnego – analizuje wcześniejsze tokeny, by zdecydować, co jest istotne dla następnego słowa.

Jednak uwaga ma swoje ograniczenia. Nawet w modelach z ogromnym oknem kontekstowym, takich jak te obsługujące milion tokenów, mechanizm uwagi nie jest doskonały w śledzeniu złożonych zależności na bardzo dużą skalę. Dlaczego? Bo uwaga działa najlepiej w przypadku krótkich i średnich kontekstów. Gdy liczba tokenów rośnie, model zaczyna „gubić” szczegóły – to coś jak próba zapamiętania każdego wątku w dziesięciu sezonach serialu naraz. To prowadzi nas do pierwszego problemu: spójności fabularnej. 

 

Problem 1: Spójność fabularna na dużą skalę

Pisanie książki to coś więcej niż generowanie zdań, które brzmią dobrze. Powieść z wielowarstwową fabułą wymaga:

- Spójności postaci: Bohaterowie muszą działać zgodnie ze swoimi motywacjami i przeszłością. Jeśli Anna na stronie 50 boi się wody, to na stronie 300 nie powinna nagle zostać mistrzynią pływania bez wyjaśnienia.

- Ciągłości wątków: Wątki poboczne muszą się łączyć z główną historią w logiczny sposób.

- Budowania napięcia: Fabuła musi mieć odpowiedni rytm – momenty kulminacyjne, zwroty akcji i spokojniejsze fragmenty.

- Motywów i symboliki: Dobre książki często mają ukryte warstwy znaczeń, które nadają im głębi.

Modele językowe są świetne w generowaniu lokalnie spójnego tekstu – akapit po akapicie, scena po scenie. Ale gdy przychodzi do utrzymania spójności przez setki stron, zaczynają się problemy. Na przykład model może zapomnieć, że wprowadził tajemniczą postać w rozdziale drugim i nigdy nie wrócić do tego wątku. Albo zmienić osobowość bohatera w połowie książki, bo „zapomniał”, jak ten bohater zachowywał się wcześniej.

Dlaczego tak się dzieje? Po pierwsze, modele językowe są bezstanowe – nie mają pamięci w ludzkim sensie. Ich „pamięć” to po prostu okno kontekstowe, które analizują w danej chwili. Nawet milion tokenów to za mało, by w pełni uchwycić wszystkie niuanse długiej fabuły. Po drugie, mechanizm uwagi rozmywa się przy bardzo dużych kontekstach. Model może „widzieć” milion tokenów, ale nie potrafi efektywnie powiązać szczegółów z początku kontekstu z tym, co generuje na końcu.

Problem 2: Brak długoterminowego planowania

Ludzie piszący książki często mają plan. Nawet jeśli nie tworzą szczegółowego konspektu, w głowie trzymają ogólny zarys fabuły: początek, środek, punkt kulminacyjny, zakończenie. Modele językowe tego nie robią. One generują tekst sekwencyjnie, przewidując kolejne tokeny na podstawie wcześniejszych. To podejście sprawdza się w krótkich formach, ale w przypadku książki prowadzi do chaosu.

Wyobraźcie sobie, że piszecie powieść bez planu, zdanie po zdaniu, nie wiedząc, dokąd zmierzacie. Prawdopodobnie zgubicie wątek, a fabuła stanie się niespójna. Modele językowe działają podobnie. Nawet jeśli damy im świetny prompt, np. „Napisz książkę o detektywie rozwiązującym zagadkę morderstwa...(i dalej szczegółowo opisujemy)”, model będzie improwizował w locie. Może zacząć od mocnego wstępu, ale w połowie książki zapomni, kto był mordercą, albo wprowadzi niepotrzebne wątki, które nigdzie nie prowadzą.

Niektóre eksperymenty pokazują, że modele z dużym oknem kontekstowym radzą sobie lepiej, gdy dostają konspekt fabuły. Ale nawet wtedy nie są w stanie w pełni wykorzystać tego konspektu, bo nie rozumieją go w sposób abstrakcyjny – traktują go jak kolejny fragment tekstu do przetworzenia. To prowadzi nas do kolejnego problemu: braku rozumienia świata i emocji.

Problem 3: Rozumienie świata i emocji

Dobra powieść to nie tylko fabuła, to także świat, w którym ta fabuła się rozgrywa, oraz emocje, które poruszają czytelników. Ludzie piszący książki opierają się na swoim doświadczeniu życiowym: wiedzą, jak pachnie las po deszczu, jak smakuje strach przed nieznanym, jak boli zdrada bliskiej osoby. Modele językowe tego nie mają. One uczą się na podstawie danych tekstowych, które są jedynie odbiciem ludzkich doświadczeń.

To powoduje kilka problemów:

- Płytkość emocji: Modele mogą opisywać emocje („Był wściekły”), ale nie rozumieją ich głębi. Ich opisy często brzmią generycznie, bo opierają się na wzorcach z danych treningowych.

- Brak spójnego świata: W powieści fantasy świat musi mieć swoje reguły – np. jak działa magia, jakie są relacje między rasami. Modele często gubią się w takich szczegółach, tworząc niekonsekwencje (np. magia raz działa, a raz nie, bez wyjaśnienia).

- Sztuczność dialogów: Dialogi generowane przez AI bywają nienaturalne, bo model nie rozumie dynamiki ludzkich rozmów ani kontekstu emocjonalnego.

Na przykład, jeśli poprosisz model o napisanie sceny, w której bohater przeżywa żałobę, dostaniesz coś, co brzmi poprawnie, ale brakuje temu duszy. Model nie wie, co to znaczy stracić kogoś bliskiego – on tylko odtwarza schematy, które widział w tekstach na których się uczył.

Problem 4: Ograniczenia techniczne i koszty obliczeniowe

Na koniec warto wspomnieć o kwestiach technicznych. Obsługa miliona tokenów to ogromne wyzwanie obliczeniowe. Mechanizm uwagi w modelach Transformer skaluje się kwadratowo z liczbą tokenów, co oznacza, że podwojenie okna kontekstowego zwiększa zapotrzebowanie na moc obliczeniową czterokrotnie. Nawet najlepsze modele, takie jak te od xAI czy OpenAI, muszą balansować między wielkością kontekstu a wydajnością.

W praktyce oznacza to, że modele z milionem tokenów są drogie w użyciu i wolniejsze niż te z mniejszymi oknami. To ogranicza ich zdolność do iteracyjnego poprawiania tekstu – a pisanie książki wymaga wielu poprawek, by osiągnąć spójność. Ludzie mogą wrócić do rozdziału pierwszego i zmienić go, by pasował do zakończenia. Modele językowe tego nie robią – one generują tekst liniowo, bez refleksji nad całością.

Co musi się zmienić, by AI pisało książki?

Podsumujmy, co musi zostać osiągnięte, by modele językowe mogły tworzyć spójne, wielowarstwowe powieści:

1. Lepsze mechanizmy pamięci długoterminowej: Potrzebujemy nowych architektur, które pozwolą modelom efektywnie śledzić szczegóły fabuły przez setki stron. Alternatywy dla Transformerów, takie jak State Space Models (SSM) czy Recurrent Neural Networks (RNN) z ulepszoną pamięcią, mogą być krokiem w dobrą stronę.

2. Zdolność do planowania fabuły: Modele muszą nauczyć się tworzyć abstrakcyjne plany fabularne i trzymać się ich. To wymaga przejścia od generowania sekwencyjnego do bardziej hierarchicznego podejścia, gdzie model najpierw buduje szkielet historii, a potem wypełnia go szczegółami.

3. Głębsze rozumienie świata i emocji: AI musi lepiej modelować dynamikę ludzkich zachowań, emocji i światów fikcyjnych. To może wymagać integracji z danymi spoza tekstu, np. symulacji środowiskowych czy modeli emocji opartych na psychologii.

4. Iteracyjne poprawianie tekstu: Modele powinny być w stanie wracać do wcześniejszych fragmentów i poprawiać je w kontekście całości. To wymaga nowych metod treningu, które uczą AI refleksji nad własnym tekstem.

5. Efektywność obliczeniowa: By obsługiwać duże konteksty bez ogromnych kosztów, potrzebujemy bardziej skalowalnych architektur i optymalizacji sprzętowych.

6. Kreatywność i oryginalność: Modele muszą wyjść poza odtwarzanie schematów z danych treningowych. To może wymagać nowych metod uczenia, które nagradzają nieszablonowe pomysły i głębię narracyjną.

Podsumowanie: Droga do masowego produkowania bestsellerowych książek przez AI

Duże modele językowe, mimo swoich imponujących możliwości, wciąż nie są gotowe, by pisać książki z wielowarstwową fabułą. Ich ograniczenia wynikają z braku długoterminowej spójności, nieumiejętności planowania, płytkiego rozumienia emocji i świata oraz technicznych barier. Jednak przyszłość wygląda obiecująco. Jeśli uda się stworzyć modele z lepszą pamięcią, zdolnością do planowania i głębszym rozumieniem ludzkich doświadczeń, możemy doczekać się AI, które napisze powieść równie poruszającą jak dzieła najlepszych autorów. Na chwilę obecną AI sprawdza się w przypadku krótkich lub mniej złożonych historii, natomiast na pełne, skomplikowane książki będziemy musieli jeszcze poczekać.

Osobiście najbardziej lubię testować tworzenie różnych historii z perspektywy pierwszoosobowej, bo uważam że wtedy AI może wykazać się niesamowitą kreatywnością. Jeżeli jesteście przyzwyczajeni do klasycznych historii w których czat tworzy jakąś historię na styl tradycyjnego opowiadania czy książki, to zostawiam wam na koniec w formie ciekawostki prompt z perspektywą pierwszoosobową + odpowiedź chata.

Prompt do modelu Grok 3: 

Wyobraź sobie, że jesteś kotem. Napisz przezabawną długą scenę która opisuje Twój dzień. Scena jest napisana z perspektywy pierwszoosobowej.

Jestem kotem. Nie jakimś tam zwykłym dachowcem, o nie – jestem Mruczek, władca kanapy, mistrz polowania na promienie słońca i niekwestionowany król chaosu w tym domu. Moje futro jest czarne jak smoła, z wyjątkiem jednej białej łapki, którą macham jak chorągiewką, kiedy coś mi się nie podoba. A teraz usiądź wygodnie, człowieku, bo opowiem ci o moim dniu – i ostrzegam, to będzie jazda bez trzymanki.

---

Budzę się o 4:37 rano. Dlaczego? Bo mogę. Słońce jeszcze nie wstało, ale moje wewnętrzne zegary mówią: "Czas siać zamęt". Leżę na parapecie, gdzie zostawiłem wczoraj trochę kłaków dla dekoracji, i przeciągam się tak, że moje pazury zahaczają o firankę. Ups, mały rrrrip. No cóż, firanka i tak była brzydka. Zeskakuję z gracją baletnicy… no dobra, może z lekkim łupnięciem, bo zjadłem pół miski whiskasa i jeszcze trochę jogurtu, który człowiek zostawił na stole. Nie moja wina, że był w zasięgu języka.

Pierwszy punkt programu: budzenie człowieka. Wchodzę do sypialni, wskakuję na łóżko i przez chwilę patrzę na niego, jak śpi. Wygląda tak spokojnie… za spokojnie. Czas to naprawić. Zbliżam pyszczek do jego ucha i wydaję najgłośniejsze "MIAU!" w historii. Zero reakcji. Twardziel, co? No to przechodzę do planu B: spacer po jego klatce piersiowej. Moje łapki są jak małe akupunktury – każdy krok to precyzyjne wbicie pazurka w idealne miejsce. Człowiek mruczy coś o "jeszcze pięć minut", więc dla zachęty strącam jego telefon z szafki nocnej. BUM. No, teraz już wstaje. Misja wykonana.

Schodzę na dół, bo pora na śniadanie. Człowiek wlecze się za mną, mamrocząc coś pod nosem – pewnie słowa uwielbienia dla mojej porannej energii. Otwiera szafkę, a ja już robię pokaz: ocieram się o jego nogi, robię ósemki, a dla efektu przewracam się na plecy i udaję, że umieram z głodu. Działa za każdym razem. Dostaję miskę pełną chrupek. Ale wiecie co? Chrupki to nuda. Gryzę jedną, a resztę rozrzucam po podłodze, żeby człowiek miał co sprzątać. To taki mój prezent dla niego – darmowy trening z miotełką.

Po śniadaniu czas na patrol. Najpierw sprawdzam kanapę. Hmm, coś się zmieniło. Człowiek położył na niej nową poduszkę. Nową. Poduszkę. Toż to prowokacja! Wskakuję, ugniatam ją łapkami, a potem robię szybki test pazurami. Idealna. Teraz wygląda jak dzieło sztuki współczesnej – trochę poszarpana, trochę włochata. Siadam na niej dumnie, jak na tronie, i obserwuję pokój. Wszystko pod kontrolą.

Nagle zauważam TO. Czerwony punkcik na ścianie. Ten mały, skaczący drań znowu się pojawił! Ruszam w pogoń jak gepard na sawannie. Ślizgam się na parkiecie, wpadam na krzesło, przewracam doniczkę (ups, kolejny prezent dla człowieka), ale nie odpuszczam. Punkcik jest szybki, ale ja jestem szybszy. Skaczę, macham łapami, miauczę jak opętany – to polowanie życia! Po dziesięciu minutach gonitwy padam na dywan, dysząc. Punkcik zniknął. Znowu wygrałem. Jestem legendą.

Po takim wysiłku zasługuję na drzemkę. Wybieram najgłupsze miejsce w domu – środek stołu w jadalni, gdzie człowiek akurat rozłożył jakieś papiery. Kładę się na nich, rozciągam jak naleśnik i zamykam oczy. Człowiek próbuje mnie przesunąć, ale wydaję groźne "mrrrow", więc daje za wygraną. Śpię przez dwie godziny, śniąc o latających chrupkach i punkcikach, które same wpadają mi w łapy.

Po drzemce czas na eksplorację. Wchodzę do łazienki, gdzie odkrywam skarb: rolkę papieru toaletowego. O, to jest zabawa! Gryzę ją, ciągnę, a papier rozwija się jak dywan na gali. Robię z niego gniazdo, w którym urządzam sobie krótką imprezę – turlam się, szarpię, miauczę. Człowiek wchodzi i wydaje dziwny dźwięk, coś między śmiechem a krzykiem. Nie rozumiem, o co mu chodzi – przecież to sztuka performance!

Wieczorem siadam na parapecie i patrzę na świat. Ptaki latają, liście szeleszczą, a ja czuję się jak filozof. Może życie to tylko seria punkcików do złapania? Może jestem największym łowcą wszech czasów? Człowiek siada obok i głaszcze mnie po grzbiecie. Udaję, że mi się to nie podoba, ale w głębi duszy mruczę jak traktor. Niech myśli, że to on tu rządzi.

Na koniec dnia wskakuję na swoje ulubione miejsce – ciepły laptop człowieka. Klawiatura jest taka wygodna, a ekran mruga jak punkcik. Piszę przypadkiem kilka zdań (coś w stylu "asdjkl; miau"), zanim człowiek mnie zdejmuje. Kładę się obok, zwijam w kulkę i zasypiam, wiedząc, że jutro czeka mnie kolejny dzień pełen chaosu, poduszek do zniszczenia i punkcików do złapania.

---

I to był mój dzień, człowieku. Jeśli myślisz, że twoje życie jest szalone, spróbuj być kotem. To dopiero przygoda!