Čo je token?
Token je základná jednotka textu, s ktorou pracuje jazykový model: časť slova, celé slovo alebo znak. V tokenoch sa meria dĺžka textu aj cena spotreby AI.
Vysvetlenie
Model nečíta text po písmenách ani po celých slovách, ale po tokenoch. Časté slová môžu byť jedným tokenom, dlhšie či menej bežné slová sa rozdelia na viac častí. V angličtine pripadajú na jeden token približne štyri znaky; v slovenčine s diakritikou a mnohými tvarmi slov býva tokenov na rovnaký text spravidla viac.
Tokeny sú dôležité z dvoch dôvodov. Prvým je cena: poskytovatelia AI účtujú používanie cez API podľa počtu tokenov na vstupe (čo modelu pošlete) a na výstupe (čo vygeneruje), pričom výstupné tokeny bývajú drahšie. Druhým je limit: model spracuje naraz len obmedzený počet tokenov, ktorý určuje jeho kontextové okno.
Pri návrhu riešenia sa preto oplatí posielať modelu len potrebné podklady, nie celé databázy, a voliť veľkosť modelu podľa úlohy. Jednoduché triedenie zvládne menší a lacnejší model, zložitú analýzu výkonnejší.
Príklad z firmy
Firma spracúva cez AI stovky e-mailov denne. Keď sa do zadania namiesto celého vlákna posiela len posledná správa a krátke zhrnutie, klesne počet tokenov a s ním aj mesačný účet za spotrebu AI.
Súvisiace pojmy
Súvisiaca služba AI-CO
ChatGPT a Claude pre firmy: ChatGPT a Claude pre firmy: firemné účty, ochrana dát, pravidlá používania, prepojenie na dokumenty (MCP) a zaškolenie. Od 990 € bez DPH, licencie zvlášť.
Neviete, kde začať? Objednať AI Discovery zadarmo, náš človek prejde s vami firmu a do 24 hodín máte mapu príležitostí.