---
published: true
id: tokens
title: Tokens
description: Knowledge captured in João Lopes' learning graph.
tags:
- ai-engineering
- llm
locale: pt-br
resource: https://joaolopes.dev.br/knowledge/concepts/pt-br/tokens/
created: '2026-04-06'
---

# Tokens
As unidades atômicas que um modelo de linguagem processa, produzidas ao dividir texto em palavras, subpalavras ou pontuação antes da inferência.

## Definição
Texto é dividido em tokens antes da inferência: um token pode ser uma palavra, parte de uma palavra ou um sinal de pontuação. O modelo não vê caracteres ou palavras diretamente; ele vê uma sequência de IDs de tokens. A contagem de tokens determina custo e uso de contexto: cada pedaço de texto numa sessão (system prompt, rules, definições de tools, mensagens do usuário, respostas do modelo) consome tokens do orçamento da janela de contexto.

## Fonte
- [Large language model - Wikipedia](https://en.wikipedia.org/wiki/Large_language_model)
- [Tokenization in NLP - DataCamp](https://www.datacamp.com/blog/what-is-tokenization)

## Relacionados
- [Context Window](/concepts/pt-br/context-window.md)
- [System Prompt](/concepts/pt-br/system-prompt.md)