Distribuição Probabilística
ai-engineering llm statistics
Distribuição Probabilística
Pontuações atribuídas a cada próximo token possível, representando a probabilidade de cada um dado tudo que veio antes.
↑ ContentsDefinição
Quando um modelo de linguagem produz o próximo token, ele não tira de um chapéu. Atribui uma probabilidade a cada token no seu vocabulário baseado nos tokens que já viu. Alguns tokens recebem pontuações altas, a maioria fica perto de zero. O modelo amostra dessa distribuição para produzir o próximo token. Configurações de temperature e top-p controlam como essa amostragem funciona: temperature mais baixa faz o modelo se ater aos tokens com maior pontuação, temperature mais alta permite que tokens menos prováveis passem.
↑ Contents