Słownik AI
Halucynacja
halucynacja modelu, konfabulacja AI
Halucynacja to sytuacja, w której model językowy generuje odpowiedź brzmiącą wiarygodnie, ale niezgodną z faktami lub źródłami. Wynika ze sposobu działania modelu, nie z jego awarii.
- Model przewiduje prawdopodobny tekst, a nie sprawdza prawdziwość.
- Najgroźniejsza, gdy odpowiedź brzmi pewnie i fachowo.
- Ogranicza się ją przez oparcie w źródłach, weryfikację i ewaluację.
Halucynacja bierze się stąd, że model językowy generuje najbardziej prawdopodobny ciąg słów, a nie weryfikuje, czy treść jest prawdziwa. Dlatego potrafi podać nieistniejące źródło, datę lub liczbę w sposób równie płynny jak poprawną informację, co utrudnia wyłapanie błędu.
W praktyce ryzyko halucynacji ogranicza się, opierając odpowiedzi na konkretnych dokumentach (na przykład przez RAG), dodając weryfikację i mierząc skalę problemu w ewaluacji modeli. Halucynacji nie da się dziś całkowicie wyeliminować, więc w zastosowaniach wysokiego ryzyka zostawia się człowieka do kontroli.
Powiązane pojęcia
W przewodnikach