Słownik AI
Model fundamentowy (foundation model)
foundation model, model bazowy, model podstawowy
Model fundamentowy to duży model wstępnie trenowany na szerokich, niespecjalizowanych danych, który stanowi bazę do dostrajania pod wiele różnych zadań zamiast budowania osobnego modelu dla każdego z nich.
- Trenowany raz na szerokich danych, potem wielokrotnie dostrajany do konkretnych zastosowań.
- LLM to jeden z typów modeli fundamentowych — wyspecjalizowany w języku.
- Obniża koszt wdrożeń, bo zamiast modelu od zera dostraja się gotową bazę.
Model fundamentowy to duży model, który najpierw przechodzi kosztowne wstępne trenowanie na bardzo szerokich i zróżnicowanych danych treningowych, a dopiero potem jest dostosowywany do węższych zadań. Sama nazwa oddaje rolę: stanowi fundament, na którym buduje się wiele różnych zastosowań, zamiast trenować osobny model dla każdego problemu od zera. Pod spodem niemal zawsze działa uczenie głębokie na sieciach z wieloma warstwami.
Łatwo pomylić to pojęcie z LLM. LLM to jeden konkretny typ modelu fundamentowego — wyspecjalizowany w języku — podczas gdy modele fundamentowe obejmują też architektury pracujące na obrazach, dźwięku czy danych mieszanych. Innymi słowy każdy duży model językowy jest modelem fundamentowym, ale nie każdy model fundamentowy jest modelem językowym. Z kolei mały model językowy to mniejsza, lżejsza odmiana modelu językowego, projektowana z myślą o niższych kosztach i działaniu blisko danych, a nie o szerokiej, uniwersalnej bazie.
W praktyce wdrożeniowej firma rzadko trenuje model fundamentowy samodzielnie — to wymaga ogromnych zbiorów danych i mocy obliczeniowej. Zamiast tego bierze gotową bazę i dostosowuje ją do swoich potrzeb przez dostrajanie lub odpowiednie prompty. Dzięki temu jeden dobrze dobrany model bazowy może obsłużyć wiele procesów — od obsługi klienta po analizę dokumentów — przy znacznie niższym koszcie niż budowa rozwiązań od podstaw.
Powiązane pojęcia