Słownik AI
Inferencja
inference, wnioskowanie modelu
Inferencja to faza, w której nauczony model generuje wynik dla nowych danych wejściowych, na przykład odpowiada na pytanie lub klasyfikuje obraz. Odbywa się już bez zmiany parametrów, w odróżnieniu od treningu.
- To etap używania modelu, oddzielony od treningu.
- Parametry modelu pozostają stałe, model jedynie liczy wynik.
- Koszt i czas inferencji to częsty czynnik decydujący o wdrożeniu.
Cykl życia modelu dzieli się na trening, w którym dostrajamy parametry, oraz inferencję, czyli właściwe użycie. Podczas inferencji model przyjmuje dane wejściowe i liczy wynik, ale niczego się już nie uczy.
W zastosowaniach produkcyjnych to właśnie inferencja generuje bieżące koszty, bo każde zapytanie do modelu zużywa moc obliczeniową. Dlatego przy wdrażaniu rozwiązań na bazie LLM planuje się czas odpowiedzi i koszt pojedynczego wywołania, a nie tylko jakość samych wyników.
Powiązane pojęcia
W przewodnikach