Čo je halucinácia AI?

Vysvetlenie

Jazykový model negeneruje odpovede vyhľadávaním v databáze faktov, ale predpovedá, aký text je najpravdepodobnejší. Keď informáciu nepozná, môže vytvoriť odpoveď, ktorá znie presvedčivo, no je nesprávna. Typické sú vymyslené citácie, paragrafy, štatistiky, ceny či funkcie produktu.

Riziko sa dá výrazne znížiť, no nie úplne odstrániť. Pomáha RAG, teda odpovede z overených firemných podkladov, pokyn odpovedať „neviem“, keď odpoveď v podkladoch nie je, uvádzanie zdrojov, užšie vymedzené úlohy a kontrolné kroky v procese.

Pri dôležitých výstupoch, ako sú ponuky, zmluvy, odpovede zákazníkom, účtovné či právne údaje, patrí ku kontrole človek. Preto sa pri nasadení AI vo firme používa princíp „AI pripraví, človek schváli“. Pri školení zamestnancov je dobré ukázať halucinácie na reálnych príkladoch, aby ľudia vedeli, čo overovať. Dôležité je tiež merať, ako často sa chyby vyskytujú.

Príklad z firmy

Chatbot bez napojenia na podklady by zákazníkovi mohol „potvrdiť“ zľavu, ktorú firma neposkytuje. Chatbot s RAG a pravidlom odpovedať len z cenníka namiesto toho povie, že informáciu overí kolega.