Mit jelent a token?
A token a szöveg alapegysége az AI-ban. Egy LLM (mint a ChatGPT, Claude vagy Gemini) nem szavanként dolgozza fel a szöveget, hanem tokenenként. Egy token lehet:
- Egy egész szó (pl. „fa", „is", „the")
- Egy szótöredék (pl. „inter", „nation", „al" — az „international" három tokenből áll)
- Egy írásjel (pl. vessző, pont)
- Egy különleges karakter
Hozzávetőleges arányok:
- 1 angol szó ≈ 1,3 token
- 1 magyar szó ≈ 2-3 token (mert a magyar ragozott, és a tokenizálók angol-túlsúlyúak)
- 1 oldalnyi szöveg (kb. 250 szó) ≈ 350 angol token vagy 600-700 magyar token
Egy egyszerű hüvelykujj-szabály: magyar szövegnél a tokenszám 2-2,5x annyi, mint a szószám. Ez közvetlenül hatással van a költségekre és a sebességre.
Miért fontos ez egy cégnek?
Két okból kell figyelni a tokenekre:
- Az AI API-k tokenenként számláznak. Pl. a GPT-4 ára: kb. 0,03 USD / 1000 input token + 0,06 USD / 1000 output token. Egy 50 oldalas dokumentum elemzése olcsó (~1-2 USD), de napi 10.000 ügyfélkérdést válaszoló chatbot havi szinten dollárszáz vagy ezer USD lehet.
- A modelleknek tokenlimitjük van. Egy prompt + a hozzá adott kontextus + a generált válasz együtt nem haladhatja meg ezt a limitet. A GPT-4o-nak 128.000 token a context window-ja (kb. 200 oldal szöveg), a Claude 3.5 Sonnet-nek 200.000.
Magyar szövegnél a tokenlimit gyorsabban betelik, mint angolnál — egy 100 oldalas magyar PDF tokenként már 60-70.000-et tehet ki. Ezt érdemes előre tudni, ha hosszú dokumentumokon dolgozó AI-rendszert tervezünk.
Üzleti példa
Egy magyar e-kereskedelmi cég havi 25.000 ügyfél-e-mailt válaszolt meg egy ChatGPT-alapú asszisztenssel. Nem mérték a token-felhasználást, és az első hónap végén 4.200 USD OpenAI-számlát kaptak — várt 800 USD helyett.
Audit során kiderült, hogy a RAG rendszer minden kérdéshez a teljes 12 oldalas ÁSZF-et beillesztette a promptba, nem csak a releváns 1-2 bekezdést. A javítás után — okosabb embedding-keresés és top-3 dokumentum-darab beillesztése — a számla 740 USD-re csökkent, miközben a válaszminőség nem romlott.
Tanulság: a token-monitoring nem extra, hanem alapfeltétel minden éles AI-projekten.
Mit kell tudni egy cégvezetőnek?
Három dolgot:
- Mindig kérj tokenszámlálást. Az OpenAI, Claude API-k visszaadják minden hívásnál a
usage-t. Ezt logold és összesítsd havonta — ne meglepetés legyen. - A token-költség nem lineáris a szöveghosszal. Egy 5.000 tokenes prompt sokszor olcsóbb 5 db 1.000 tokenes promptnál, mert kevesebb az overhead. De cserébe lassabb is. Tesztelni kell.
- A magyar drágább. Ha választhatsz angol tudásbázis és magyar tudásbázis között, és csak belső használatra kell, az angol általában 2-3x olcsóbb token-szempontból. Ügyfélkommunikációnál persze kötelező a magyar.
A token a pénznemed az AI világban. Aki nem méri, az nem kontrollálja a költségeit.