Čo je spotreba AI?
Spotreba AI je poplatok poskytovateľovi AI modelu podľa toho, koľko textu (tokenov) model spracuje a vygeneruje. Platí sa podľa využitia a dá sa nastaviť limit.
Vysvetlenie
Keď AI riešenie volá jazykový model cez API, poskytovateľ, napríklad OpenAI, Anthropic či Google, účtuje každé volanie podľa počtu vstupných a výstupných tokenov. Cena sa líši podľa modelu: výkonnejšie modely sú drahšie, menšie a rýchlejšie lacnejšie. Jednoduché úlohy s krátkym textom stoja málo, dlhé dokumenty a zložití agenti viac.
V AI-CO spotrebu AI platí klient priamo poskytovateľovi AI. Má tak úplný prehľad o nákladoch a u poskytovateľa si môže nastaviť mesačný limit.
Náklady na spotrebu sa dajú znižovať: voľbou menšieho modelu na jednoduché úlohy, posielaním len potrebných podkladov, ukladaním opakovaných častí zadania do vyrovnávacej pamäte (caching) a dávkovým spracovaním tam, kde netreba okamžitú odpoveď. Pri návrhu riešenia sa oplatí odhadnúť počet spracovaní mesačne a podľa toho zvoliť model. Sledovanie spotreby po modeloch a úlohách ukáže, kde sa oplatí optimalizovať.
Príklad z firmy
Pri triedení e-mailov používa firma menší model a výkonnejší zapojí len pri zložitých dopytoch, ktoré treba analyzovať. Mesačný limit u poskytovateľa zabráni nečakanému účtu.
Súvisiace pojmy
Súvisiaca služba AI-CO
ChatGPT a Claude pre firmy: ChatGPT a Claude pre firmy: firemné účty, ochrana dát, pravidlá používania, prepojenie na dokumenty (MCP) a zaškolenie. Od 990 € bez DPH, licencie zvlášť.
Neviete, kde začať? Objednať AI Discovery zadarmo, náš človek prejde s vami firmu a do 24 hodín máte mapu príležitostí.