Halucynacje (modeli LLM)

Co to jest halucynacja

to termin używany do opisania sytuacji, gdy model AI generuje fałszywą, mylącą lub zmyśloną informację, która jest przedstawiana jako fakt, mimo braku jakiegokolwiek uzasadnienia w jego danych treningowych lub podanym kontekście.

Dlaczego modele halucynują

Model nie dysponuje żadną “wiedzą” a opiera się na prawdopodobieństwie i przewidywaniu następnego słowa (tokenu) w ciągu. Czasem najbardziej prawdopodobnym językowo ciągiem jest fałszywa informacja.

Natomiast kiedy wygeneruje już tą odpowiedź to trzymana jest ona w kontekście przez co każda następna odpowiedź będzie się na niej opierać a nasz model będzie coraz bardziej brnął w swoje kłamstwo.

Skąd mam wiedzieć, że AI kłamie?

Ponieważ halucynacje są często bardzo przekonujące, kluczowe jest przyjęcie krytycznego podejścia do każdej generowanej informacji, zwłaszcza w kontekście faktów, dat, statystyk, cytatów i referencji.

Oprócz tego, że musimy podchodzić krytycznie do odpowiedzi parę prostych metod jak można się trochę wspomóc:

1. Metoda pomidora - dodaj na końcu prompta “Jeżeli nie znasz odpowiedzi na to pytania to napisz pomidor”. Zdarza się, że wtedy w środku odpowiedzi dostaniemy wtedy wrzucone słowo pomidor co już wskazuje, że powinniśmy tą odpowiedź zweryfikować.

2. Zadać 2, 3 podobne pytania w innych chatach. Szczególnie jeżeli nasze pytanie dotyczy tematu niszowego, nowego lub mało znanego.

3. Możemy poprosić o źródła i cytaty ale tylko jeżeli planujemy je sprawdzić. To właśnie w szczegółach i detalach siedzi halucynacja i im głębiej będziemy w nie wchodzić bez weryfikacji tym większa jest na nie szansa.