As unidades atômicas que um modelo de linguagem processa, produzidas ao dividir texto em palavras, subpalavras ou pontuação antes da inferência.
↑ ContentsDefinição
Texto é dividido em tokens antes da inferência: um token pode ser uma palavra, parte de uma palavra ou um sinal de pontuação. O modelo não vê caracteres ou palavras diretamente; ele vê uma sequência de IDs de tokens. A contagem de tokens determina custo e uso de contexto: cada pedaço de texto numa sessão (system prompt, rules, definições de tools, mensagens do usuário, respostas do modelo) consome tokens do orçamento da janela de contexto.
↑ Contents