[AI] Premiera Llama 4 - 10 milionów tokenów okna kontekstowego

 

Cześć. Dziś mam dla Was coś naprawdę ciekawego – Meta właśnie wypuściła Llama 4, nową generację swoich modeli językowych, które mogą zmienić sposób, w jaki myślimy o sztucznej inteligencji. Jeśli śledzicie moje wpisy, to wiecie, że niedawno pisałem m.in o trendzie zmierzającym w kierunku coraz większych okien kontekstowych w modelach AI. Llama 4 idealnie wpisuje się w to, o czym wspominałem. Największa gwiazda tej premiery? Okno kontekstowe o wielkości 10 milionów tokenów w modelu Llama 4 Scout. Ale po kolei – co to w ogóle jest Llama 4, jak działa i dlaczego to takie ważne? Wyjaśnioną tak prosto, jak tylko potrafię!

Czym jest Llama 4?

Llama 4 to najnowsza rodzina modeli językowych stworzonych przez Meta, firmę, która od lat inwestuje w rozwój sztucznej inteligencji. W odróżnieniu od zamkniętych modeli, jak te od OpenAI (np. ChatGPT), Llama 4 jest dostępna na zasadach open-source – a konkretnie pod specjalną licencją Llama 4 Community License Agreement. Oznacza to, że programiści i badacze mogą ją pobrać, modyfikować i używać w swoich projektach, co otwiera drzwi do mega spoko innowacji.

W skład Llama 4 wchodzą dwa główne modele: Llama 4 Maverick i Llama 4 Scout, a w planach jest jeszcze potężniejszy Llama 4 Behemoth, który na razie pozostaje w fazie treningu. Każdy z tych modeli ma swoje unikalne cechy, ale wszystkie opierają się na nowej architekturze zwanej Mixture-of-Experts (MoE). Zaraz wyjaśnię, o co chodzi.

• Llama 4 Maverick: To model z 17 miliardami aktywnych parametrów (z puli 400 miliardów wszystkich parametrów) i 128 „ekspertami”. Jest wszechstronny, obsługuje zarówno tekst, jak i obrazy, a jego okno kontekstowe to 1 milion tokenów. Świetnie radzi sobie w zadaniach takich jak pisanie kreatywne czy rozmowy wielojęzyczne.
• Llama 4 Scout: Mniejszy brat z 17 miliardami aktywnych parametrów (109 miliardów wszystkich) i 16 „ekspertami”. To właśnie on ma to oszałamiające okno kontekstowe 10 milionów tokenów – o tym za chwilę opowiem więcej.
• Llama 4 Behemoth: Zapowiedź giganta z 288 miliardami aktywnych parametrów i 2 bilionami wszystkich. Ma być najpotężniejszym modelem w serii, ale jeszcze nie jest gotowy.

Modele te są natywnie multimodalne, co oznacza, że potrafią przetwarzać nie tylko tekst, ale też obrazy. Wrzucacie zdjęcie i pytacie: „Co tu jest napisane?” albo „Opisz mi, co widzisz” – Llama 4 ma sobie z tym radzić na zupełnym luzie.

Jak działają te modele? Okiem laika

Żeby zrozumieć, jak działa Llama 4, wyobraźmy sobie sztuczną inteligencję jako bibliotekarza w gigantycznej bibliotece. Ten bibliotekarz nie tylko zna wszystkie książki na pamięć, ale też potrafi błyskawicznie znaleźć odpowiedzi na Twoje pytania, łącząc informacje z różnych źródeł. W przypadku Llama 4 ten bibliotekarz jest dodatkowo specjalistą w wielu dziedzinach – to właśnie ta architektura Mixture-of-Experts.

W tradycyjnych modelach językowych, takich jak wcześniejsze wersje Llama czy GPT, cała „maszyna” pracuje nad każdym słowem, które wpisujesz. To trochę jakby prosić wszystkich pracowników biblioteki, żeby rzucili wszystko i szukali odpowiedzi na Twoje pytanie – nawet tych, którzy nie mają o tym pojęcia. W MoE jest inaczej. Model ma wielu „ekspertów” – każdy zna się na czymś innym (np. jeden na kodowaniu, drugi na tłumaczeniach, trzeci na analizie obrazów). Kiedy zadajesz pytanie, specjalny „router” decyduje, który ekspert się tym zajmie. Dzięki temu Llama 4 zużywa mniej mocy obliczeniowej, a odpowiedzi są szybsze i bardziej precyzyjne.

A co z tym oknem kontekstowym? To po prostu pamięć krótkotrwała naszego bibliotekarza. W starszych modelach mógł on pamiętać tylko kilka stron tekstu naraz (np. 8 tysięcy tokenów w Llama 3). W Llama 4 Scout ta pamięć wzrosła do 10 milionów tokenów – to jakby bibliotekarz nagle mógł pamiętać 125 powieści jednocześnie! Dzięki temu może analizować ogromne ilości danych w jednym podejściu, zamiast zapominać, o czym była rozmowa sprzed kilku minut.

Gigantyczne okno kontekstowe – co to oznacza?

No właśnie, przejdźmy do gwiazdy programu: 10 milionów tokenów w Llama 4 Scout. Ale co to tak naprawdę znaczy? Tokeny to jednostki, na które AI rozbija tekst – mogą to być słowa, części słów albo znaki. Dla uproszczenia powiedzmy, że jeden token to mniej więcej jedno słowo. 10 milionów tokenów to jakieś 7,5 tysiąca stron tekstu albo 125 przeciętnych powieści. To niewyobrażalna ilość danych, którą model może „mieć w głowie” naraz.

Porównajmy to z innymi modelami:

• Llama 3: 128 tysięcy tokenów (ok. 100 stron).
• Najlepsze modele OpenAI czy Anthropic: do 128 tysięcy tokenów.
• Gemini od Google: do 2 milionów tokenów.

Llama 4 Scout bije wszystkich na głowę – i to z ogromną przewagą. Pisałem niedawno na blogu, że trend w AI zmierza w stronę coraz większych okien kontekstowych, bo to pozwala modelom lepiej rozumieć złożone problemy i pracować z dużymi zbiorami danych. No i voilà – Meta zrobiła krok, którego nikt się nie spodziewał tak szybko po moim wpisie!

Po co nam 10 milionów tokenów?

Wyobraźcie sobie kilka sytuacji:

1. Analiza całego kodu programu: Wrzucasz do modelu cały kod gigantycznej aplikacji – miliony linii – i pytasz: „Gdzie jest błąd?” albo „Jak to zoptymalizować?”. Zamiast analizować fragmenty, Llama 4 Scout widzi całość naraz.
2. Podsumowanie lat danych: Masz 10 lat korespondencji z klientami? Model przejrzy wszystko i wyciągnie wnioski – np. co najczęściej frustruje użytkowników.
3. Przetwarzanie książek: Wrzucasz całą sagę „Władcy Pierścieni” albo wszystkie dzieła Szekspira i prosisz o streszczenie albo analizę stylu. Bez problemu!
4. Długie rozmowy: Możesz prowadzić dialog trwający miesiącami lub latami, a model nie zapomni, o czym mówiliście na początku.

To otwiera zupełnie nowe możliwości, których wcześniej nie mieliśmy, bo modele po prostu „gubiły się” przy większych ilościach danych.

Jak oni to zrobili?

Żeby Llama 4 mogła ogarnąć taki ogromny tekst, Meta wymyśliła kilka fajnych trików. Jeden z nich to coś, co nazwali iRoPE – to taki nowy sposób, żeby model wiedział, w jakiej kolejności są słowa. W starszych modelach, na przykład tych z RoPE, każde słowo dostawało swój numerek, żeby AI pamiętała, co było pierwsze, a co potem. Ale jak masz miliony słów, to się wszystko sypie jak domek z kart. Więc w Llama 4 Scout powiedzieli: 'Dobra, w co czwartym kawałku modelu w ogóle nie używamy tych numerków' – nazwali to NoPE. Dzięki temu model nie gubi się, nawet jak tekst jest superdługi.

Jest jeszcze coś, co nazywa się Attention Temperature Tuning – brzmi jak magia, więc zastanawiałem się nad jakimś porównaniem żeby łatwiej ogarnąć. Wyobraźcie sobie, że model to detektyw, który musi wyłapać ważne poszlaki w morzu informacji. Jak tekst jest krótki, to łatwo mu się skupić, ale przy milionach słów zaczyna się rozpraszać, bo za dużo się dzieje. Meta znalazła na to sposób – coś jakby podkręciła ostrość wzroku detektywa, żeby nie tracił tropu, nawet przy 10 milionach tokenów.
Choć jako że jestem laikiem, nie wiem jak to dokładnie ma działać.

Co to oznacza dla nas – zwykłych ludzi?

Dla przeciętnego Kowalskiego Llama 4 może nie być czymś, co od razu zmieni życie – w końcu nie każdy potrzebuje analizować 7,5 tysiąca stron naraz. Ale efekt tej premiery będzie w branży ogromny i rozejdzie się jak fala. Firmy mogą używać tych modeli do szybszego projektowania produktów, naukowcy do analizy gigantycznych zbiorów danych, a programiści do tworzenia bardziej zaawansowanych aplikacji. A ponieważ Llama 4 jest dostępna publicznie (z pewnymi ograniczeniami licencyjnymi), możemy spodziewać się, że społeczność open-source stworzy na jej bazie mnóstwo ciekawych narzędzi.

Wyzwania i ograniczenia

Nie wszystko jest jednak różowe. Po pierwsze, żeby w pełni wykorzystać 10 milionów tokenów, potrzebujesz potężnego sprzętu – można zapomnieć o uruchomieniu tego z laptopa czy domowego PC. Llama 4 Scout jest zoptymalizowana pod kątem pojedynczego GPU klasy serwerowej (np. Nvidia H100), ale to wciąż kosztowne rozwiązanie. Maverick też wymaga więcej zasobów.

Po drugie, choć okno kontekstowe jest ogromne, nie oznacza to, że model zawsze idealnie rozumie wszystko w tym oknie. Niektóre testy sugerują, że przy bardzo długich kontekstach jakość odpowiedzi może spadać – to coś, co Meta pewnie jeszcze dopracuje.

Na koniec – licencja. Llama 4 nie jest w pełni open-source w klasycznym sensie. Firmy z ponad 700 milionami użytkowników muszą prosić o specjalne pozwolenie, a w UE są ograniczenia prawne. To może spowolnić adopcję w niektórych regionach.

Podsumowanie

Premiera Llama 4 to prawdziwy przełom. Meta nie tylko pokazała, że potrafi rywalizować z gigantami jak OpenAI czy Google, ale też potwierdziła mój ostatni wpis o trendzie na coraz większe okna kontekstowe. Te 10 milionów tokenów w Llama 4 Scout to coś, co jeszcze kilka dni temu brzmiałoby jak science fiction. Dzięki architekturze MoE, natywnej multimodalności i sprytnym rozwiązaniom technicznym, te modele mogą zrewolucjonizować sposób, w jaki używamy AI.

Czy to oznacza, że Llama 4 jest idealna? Nie – ma swoje ograniczenia, ale potencjał jest ogromny. Jako laik mogę powiedzieć jedno: przyszłość sztucznej inteligencji wygląda coraz ciekawiej, a ja nie mogę się doczekać, jak społeczność będzie korzystać z tak ogromnego okna kontekstowego.