Tokens

As unidades atômicas que um modelo de linguagem processa, produzidas ao dividir texto em palavras, subpalavras ou pontuação antes da inferência.

Definição

Texto é dividido em tokens antes da inferência: um token pode ser uma palavra, parte de uma palavra ou um sinal de pontuação. O modelo não vê caracteres ou palavras diretamente; ele vê uma sequência de IDs de tokens. A contagem de tokens determina custo e uso de contexto: cada pedaço de texto numa sessão (system prompt, rules, definições de tools, mensagens do usuário, respostas do modelo) consome tokens do orçamento da janela de contexto.

Fonte

• Large language model - Wikipedia
• Tokenization in NLP - DataCamp

Relacionados

• Context Window
• System Prompt