Słownik AI
Temperatura (parametr generacji)
temperature, parametr temperatury, temperatura modelu, temperatura LLM
Temperatura to parametr generacji, który steruje losowością odpowiedzi modelu. Niska wartość daje wyniki bardziej przewidywalne i powtarzalne, wysoka — bardziej różnorodne i mniej przewidywalne.
- Steruje losowością przy wyborze kolejnego tokenu.
- Niska wartość: powtarzalność; wysoka: różnorodność i większe ryzyko błędów.
- Dobiera się ją do zadania, a nie ustawia raz na zawsze.
Temperatura wpływa na to, jak model językowy wybiera kolejny token. Przy niskiej wartości model niemal zawsze sięga po najbardziej prawdopodobne słowo, więc odpowiedzi są spójne i powtarzalne. Przy wysokiej rozkłada wybór szerzej, przez co wyniki są bardziej różnorodne, ale i mniej przewidywalne.
W praktyce wartość dobiera się do zadania podczas inferencji. Do ekstrakcji danych, klasyfikacji czy odpowiedzi opartych na źródłach ustawia się temperaturę nisko. Do generowania wariantów tekstu czy pomysłów podnosi się ją, godząc się na większą zmienność i większe ryzyko błędów.
Powiązane pojęcia
Powiązane artykuły