Lekcja 1: Czym jest LLM?

1 AI to wielki parasol

Pod hasło „sztuczna inteligencja” zalicza się bardzo wiele rzeczy. W dużym skrócie: to programy, które robią coś, do czego zwykle potrzeba człowieka: rozpoznają, przewidują, tłumaczą, piszą.

Przykłady, z których korzystasz codziennie:

• polecajki na Netflixie i YouTubie,
• filtry spamu w poczcie,
• przewidywanie korków w Mapach Google,
• Face ID, które rozpoznaje twoją twarz.

Kiedyś AI składało się głównie z reguł wpisanych przez ludzi. Dziś większość uczy się z przykładów: dostaje ogromną ilość danych i sama wyłapuje w nich wzorce. To jest uczenie maszynowe.

2 LLM to duży model językowy

LLM (Large Language Model) to rodzaj AI wytrenowany na ogromnej ilości tekstu: stronach internetowych, książkach, kodzie. Na LLM-ach działają ChatGPT, Claude i Gemini.

Jak ogromnej? Model Llama 3 od Mety przeczytał w treningu ponad 15 bilionów tokenów. To w przybliżeniu tyle tekstu, ile ponad 100 milionów przeciętnych książek. Żaden człowiek nie przeczytałby tego nawet w tysiąc żyć.

3 Token, nie słowo

LLM nie przewiduje następnego słowa, tylko następny token. Token to kawałek tekstu: czasem całe słowo, często tylko jego część.

• kot

• nie
• sam
• owite

To tylko przykład podziału: każdy model tnie tekst trochę inaczej.

Po angielsku 1 token to średnio ok. 4 znaki, czyli ok. ¾ słowa. Polskie słowa zwykle dzielą się na więcej tokenów.

4 Jak LLM pisze odpowiedź

1. Patrzy na cały dotychczasowy tekst.
2. Liczy, jak bardzo pasuje każdy możliwy kolejny token.
3. Wybiera jeden z najlepiej pasujących i dokleja go do tekstu.
4. Powtarza to setki, tysiące razy, aż odpowiedź będzie gotowa.

Model nie zawsze bierze faworyta, jest w tym odrobina losowości. Dlatego na to samo pytanie dostajesz za każdym razem trochę inną odpowiedź.

5 Skąd umie pisać maile i kod?

W danych treningowych widział ich ogromne ilości, więc „wie”, jak powinny wyglądać. Matematyka i statystyka mówią mu, co najpewniej powinno być dalej.

Ważne: model przewiduje tekst, który brzmi dobrze, a nie sprawdza, czy jest prawdziwy. Takie pewne siebie wpadki to halucynacje. Będzie o nich osobna lekcja.

6 Nikt do końca nie wie, jak to działa w środku

Nikt nie wpisuje modelowi reguł: w treningu sam ustawia miliardy liczb w środku, a jak razem działają, trudno odczytać nawet twórcom. Dlatego mówi się, że modele AI raczej się hoduje, niż buduje.

„generative AI systems are grown more than they are built”