Słownik AI
Okno kontekstowe
context window, kontekst modelu
Okno kontekstowe to maksymalna liczba tokenów, którą model może przetworzyć naraz w jednym zapytaniu — łącznie z poleceniem, dołączonymi danymi i odpowiedzią. To, co wykracza poza ten limit, jest pomijane.
- Mierzone w tokenach, nie w słowach czy znakach.
- Obejmuje wejście i wygenerowaną odpowiedź razem.
- Po przekroczeniu limitu starsza treść wypada poza zasięg modelu.
Okno kontekstowe określa, ile tokenów model widzi w trakcie jednego zapytania. Mieści się w nim całe polecenie, dołączone dokumenty, historia rozmowy oraz generowana odpowiedź. Gdy treść przekracza limit, najstarsze fragmenty przestają być dla modelu dostępne.
Rozmiar okna ma bezpośredni wpływ na to, jak duże materiały można podać naraz. Przy obszernej wiedzy firmowej zamiast wklejać wszystko korzysta się z wyszukiwania dokumentów, które dobiera do okna tylko najbardziej trafne fragmenty. Dłuższe okno zwykle oznacza też wyższy koszt zapytania.
Powiązane pojęcia
W przewodnikach
Powiązane artykuły