Słownik AI
Mały model językowy (SLM)
Small Language Model, SLM, mały LLM
Mały model językowy (SLM) to kompaktowy model językowy, który można uruchomić na skromnym sprzęcie lub lokalnie. W zamian za mniejszą liczbę parametrów oferuje niższy koszt i większą kontrolę niż duże modele.
- Ma znacznie mniej parametrów niż czołowe LLM, kosztem szerokości wiedzy ogólnej.
- Może działać lokalnie lub on-premise, na laptopie czy pojedynczej karcie graficznej.
- Sprawdza się w wąskich, powtarzalnych zadaniach, zwłaszcza po dostrojeniu na danych firmy.
Mały model językowy (Small Language Model, SLM) to kompaktowa odmiana dużego modelu językowego, zaprojektowana tak, aby dało się ją uruchomić na skromnym sprzęcie — pojedynczej karcie graficznej, serwerze firmowym, a czasem nawet na laptopie. Granica między SLM a LLM jest umowna i przesuwa się z czasem, ale chodzi o modele o liczbie parametrów o rząd lub dwa mniejszej niż największe systemy.
W odróżnieniu od dużego modelu, który stawia na szeroką wiedzę ogólną i zdolność do dowolnych zadań, mały model rezygnuje z części tej uniwersalności w zamian za niski koszt, szybkość i możliwość pracy bez zewnętrznego API. Jego skuteczność dodatkowo podnosi fine-tuning na danych konkretnej firmy oraz kwantyzacja, która jeszcze bardziej zmniejsza wymagania sprzętowe.
Z perspektywy wdrożenia SLM jest naturalnym wyborem tam, gdzie liczy się prywatność danych, przewidywalny koszt inferencji i niezależność od dostawcy. Dobrze sprawdza się w wąskich, powtarzalnych zadaniach — klasyfikacji dokumentów, ekstrakcji danych, obsłudze typowych zapytań — gdzie nie potrzeba rozległej wiedzy ogólnej, a kluczowe są kontrola i koszt przy dużej liczbie wywołań.
Powiązane pojęcia
Powiązane artykuły