Čo je RAG?

Vysvetlenie

Jazykový model pozná len to, na čom bol natrénovaný. Nepozná váš cenník, interné smernice ani aktuálny stav skladu. RAG to rieši tak, že k otázke najprv vyhľadá súvisiace časti firemných dokumentov a vloží ich modelu do zadania. Model potom odpovedá z týchto podkladov, nie z pamäti.

Typický RAG má dve časti. Pri príprave sa dokumenty rozdelia na menšie časti, prevedú na embeddingy a uložia do vektorovej databázy. Pri otázke systém nájde časti s najpodobnejším významom, odovzdá ich modelu a ten zostaví odpoveď, ideálne aj s odkazom na zdroj.

RAG je lacnejší a pružnejší ako dotrénovanie modelu: stačí aktualizovať dokumenty a odpovede sa zmenia. Kvalita však závisí od podkladov. Zastarané alebo protichodné dokumenty vedú k zlým odpovediam, preto treba určiť, kto podklady udržiava.

Príklad z firmy

Chatbot servisnej firmy odpovedá technikom na otázky o nastavení zariadení. Odpovede hľadá v manuáloch a pri každej uvedie, z ktorého dokumentu a kapitoly pochádza.