Calibração de modelos

Um modelo é calibrado quando a confiança que ele declara bate com a taxa real de acerto: de todas as respostas dadas com 0,9 de confiança, cerca de 90% devem estar certas.

A linha reta é o modelo calibrado; a de baixo é um modelo excessivamente confiante, que diz 0,9 e acerta só 60%. LLMs costumam ficar nesse segundo grupo.

Por que importa: um sistema que acerta 95% das vezes só pode ser automatizado se souber apontar quais são os 5% de casos duvidosos. Com calibração, um limiar simples resolve:

if answer.confidence >= 0.85:
    act(answer.choice)
else:
    escalate(case)  # pessoa ou modelo maior

Como verificar: separe um conjunto de exemplos com a resposta certa, agrupe as previsões por faixa de confiança e compare com a taxa de acerto de cada faixa. Métricas comuns são o ECE (Expected Calibration Error, a diferença média entre confiança e acerto) e o Brier score.

Visto no JEV, que é treinado justamente para ter probabilidades calibradas (afirmação que ainda precisa de verificação independente).

• Leitura: On Calibration of Modern Neural Networks (Guo et al., 2017)