Čo je kontextové okno?
Kontextové okno je maximálne množstvo textu v tokenoch, ktoré jazykový model dokáže naraz spracovať: zadanie, priložené podklady, históriu rozhovoru aj odpoveď.
Vysvetlenie
Kontextové okno je akási pracovná pamäť modelu. Všetko, čo sa doň zmestí, model „vidí“ a môže s tým pracovať. Čo sa nezmestí, pre model neexistuje. Pri dlhých rozhovoroch preto aplikácie staršie časti skracujú alebo zhrňujú.
Veľkosť okna sa medzi modelmi líši, od desiatok tisíc po viac ako milión tokenov. Väčšie okno umožňuje vložiť napríklad celú zmluvu, výročnú správu alebo rozsiahly kód naraz. Neznamená však automaticky lepšiu odpoveď: pri veľmi dlhom vstupe môže model prehliadnuť detail a každý token na vstupe sa platí.
Preto aj modely s veľkým oknom často kombinujeme s RAG, ktorý do okna vloží len relevantné časti dokumentov. Kontextové okno tiež nie je trvalá pamäť: po skončení rozhovoru si model nič nepamätá, pokiaľ aplikácia históriu neuloží a nepošle znova.
Príklad z firmy
Pri výberovom konaní sa do kontextového okna zmestia všetky ponuky naraz, takže AI ich porovná podľa rovnakých kritérií. Pri tisíckach dokumentov v archíve sa už použije vyhľadávanie cez RAG.
Súvisiace pojmy
Súvisiaca služba AI-CO
ChatGPT a Claude pre firmy: ChatGPT a Claude pre firmy: firemné účty, ochrana dát, pravidlá používania, prepojenie na dokumenty (MCP) a zaškolenie. Od 990 € bez DPH, licencie zvlášť.
Neviete, kde začať? Objednať AI Discovery zadarmo, náš človek prejde s vami firmu a do 24 hodín máte mapu príležitostí.