Słownik AI
Uczenie w kontekście (in-context learning)
in-context learning, ICL, uczenie kontekstowe
Uczenie w kontekście to zdolność modelu do dostosowania się do zadania na podstawie samych instrukcji i przykładów zawartych w prompcie, bez aktualizacji wag — efekt znika po zakończeniu rozmowy.
- Model uczy się zadania z treści promptu, nie z trwałej zmiany wag.
- Obejmuje zarówno zero-shot, jak i few-shot — różnią się liczbą przykładów.
- Efekt obowiązuje tylko w obrębie jednego zapytania i nie utrwala się w modelu.
Uczenie w kontekście opisuje obserwowaną zdolność dużych modeli językowych: model potrafi „nauczyć się” nowego zadania na podstawie samej treści polecenia — instrukcji i ewentualnych przykładów — bez żadnej zmiany swoich parametrów. Dostosowanie zachodzi wyłącznie podczas generowania odpowiedzi i znika, gdy rozmowa się kończy. To dlatego ta sama wersja modelu radzi sobie z setkami różnych zadań w zależności od tego, jak ją poprosisz.
W praktyce uczenie w kontekście jest pojęciem nadrzędnym wobec zero-shot i few-shot — różnią się one tylko tym, ile rozwiązanych przykładów umieszczasz w prompcie. Z tego powodu inżynieria promptów jest tak skuteczna: dobrze dobrane instrukcje i przykłady realnie zmieniają zachowanie modelu, choć go nie zmieniają.
Kluczowe rozróżnienie dotyczy fine-tuningu. Dostrajanie trwale modyfikuje wagi modelu i utrwala nową umiejętność, ale wymaga danych, czasu i kosztu treningu. Uczenie w kontekście działa natychmiast i nic nie utrwala — dlatego we wdrożeniach najpierw wyciska się z niego, ile się da, a po dostrajanie sięga dopiero wtedy, gdy zadanie jest powtarzalne, dobrze zdefiniowane i opłaca się je „wpisać” w model na stałe.
Powiązane pojęcia