Słownik AI
Parametry modelu
wagi modelu, parameters
Parametry modelu to wewnętrzne wartości liczbowe (wagi), które model dostraja w trakcie treningu. To w nich zapisana jest wyuczona wiedza, a ich liczbę podaje się często w miliardach.
- Wagi są dostrajane w trakcie treningu na danych.
- Liczbę parametrów podaje się zwykle w miliardach (np. 7B, 70B).
- Więcej parametrów nie zawsze oznacza lepszy model w danym zadaniu.
Parametry to liczby wewnątrz sieci neuronowej, nazywane też wagami. Podczas treningu model stopniowo je zmienia, żeby trafniej przewidywać kolejne tokeny na danych treningowych. Po zakończeniu nauki to właśnie zestaw parametrów przechowuje wszystko, czego model się nauczył.
Liczbę parametrów podaje się zwykle w miliardach, na przykład 7B albo 70B. Większy model bywa pojemniejszy, ale rozmiar nie przesądza o jakości — liczą się też dane, architektura i sposób dostrojenia, na przykład przez fine-tuning. Mniejszy, dobrze dobrany model często wystarcza do konkretnego zadania.
Powiązane pojęcia
W przewodnikach