Distribuição Probabilística

Pontuações atribuídas a cada próximo token possível, representando a probabilidade de cada um dado tudo que veio antes.

Definição

Quando um modelo de linguagem produz o próximo token, ele não tira de um chapéu. Atribui uma probabilidade a cada token no seu vocabulário baseado nos tokens que já viu. Alguns tokens recebem pontuações altas, a maioria fica perto de zero. O modelo amostra dessa distribuição para produzir o próximo token. Configurações de temperature e top-p controlam como essa amostragem funciona: temperature mais baixa faz o modelo se ater aos tokens com maior pontuação, temperature mais alta permite que tokens menos prováveis passem.

Fonte

• Practical Prompt Engineering — Temperature, Top P, Tokens and Context

Relacionados

• Tokens
• Vocabulary
• Model