Słownik AI
Nadmierne dopasowanie (overfitting)
overfitting, przeuczenie, przetrenowanie
Nadmierne dopasowanie to sytuacja, w której model zapamiętuje dane treningowe zamiast uczyć się ogólnych wzorców, przez co świetnie radzi sobie na danych znanych, a słabo na nowych, niewidzianych wcześniej.
- Model uczy się szczegółów i szumu zbioru treningowego zamiast wzorców, które generalizują.
- Objaw: wysoka skuteczność na danych treningowych przy wyraźnie słabszej na danych testowych.
- Częste ryzyko przy dostrajaniu na małym zbiorze — łagodzą je większe dane i osobny zbiór walidacyjny.
Nadmierne dopasowanie to jeden z podstawowych problemów uczenia maszynowego. Pojawia się, gdy model zamiast wychwytywać ogólne reguły zaczyna zapamiętywać konkretne przykłady ze zbioru treningowego, łącznie z ich przypadkowymi cechami i szumem. Efektem jest model, który niemal bezbłędnie odtwarza dane treningowe, ale gubi się na danych nowych — bo nauczył się odpowiedzi na pamięć, a nie wzorca, który da się przenieść na inne przypadki.
Sygnałem ostrzegawczym jest duża różnica między skutecznością na danych treningowych a skutecznością na osobnych danych testowych. Dlatego podczas ewaluacji modeli ocenia się je na danych, których model nie widział w trakcie nauki, a postępy śledzi na wydzielonym zbiorze walidacyjnym. Mylące benchmarki potrafią ukryć przeuczenie, gdy zestaw testowy przecieka do danych treningowych — wtedy wysoki wynik nie odzwierciedla realnej zdolności do generalizacji.
W praktyce wdrożeniowej ryzyko nadmiernego dopasowania rośnie szczególnie przy dostrajaniu modelu na małym, wąskim zbiorze przykładów. Model potrafi wówczas wyuczyć się stylu kilkudziesięciu próbek tak dosłownie, że przestaje radzić sobie z wariantami spoza nich. Przeciwdziała się temu większymi i bardziej zróżnicowanymi danymi, ograniczaniem liczby kroków uczenia oraz testowaniem na przypadkach z realnego użycia, a nie tylko na danych zbliżonych do treningowych.
Powiązane pojęcia