Słownik AI
Token
tokeny, token tekstowy
Token to najmniejsza jednostka tekstu, na której pracuje model językowy — zwykle fragment słowa, całe słowo lub znak. Model przetwarza i generuje tekst właśnie w postaci ciągu tokenów.
- Tekst jest dzielony na tokeny przed wejściem do modelu.
- Jeden token to średnio kawałek słowa, nie zawsze całe słowo.
- Liczba tokenów decyduje o limicie kontekstu i o koszcie zapytania.
Model językowy nie czyta tekstu jako liter ani całych zdań. Najpierw dzieli go na tokeny, czyli krótkie fragmenty, którym przypisuje numery. W polskim i angielskim jeden token to zwykle kawałek słowa, więc dłuższy lub rzadszy wyraz może rozpaść się na kilka tokenów.
Tokeny mają znaczenie praktyczne. To w nich liczone jest okno kontekstowe, czyli ile tekstu model widzi naraz, oraz koszt korzystania z modelu, bo dostawcy rozliczają zapytania właśnie za liczbę tokenów na wejściu i wyjściu.
Powiązane pojęcia
W przewodnikach
Powiązane artykuły