类型化决策模型的置信度审计：承诺与现实的差距

01 摘要

论文测量了类型化决策模型返回的概率分布对决策的许可程度，发现基于点估计的阈值在190次评估中有147次违背承诺，而Learn then Test方法全部保持承诺。校准后的API模型在多语言场景下承诺保持率低（51个地区中仅8个保持95%承诺），且普通打字噪声会破坏基于干净文本校准的承诺。作者观点认为置信度仅许可关于决策群体的陈述，而非单个决策的保证。

02 关键点

1. 点估计阈值在147/190次评估中违背承诺，Learn then Test则全部保持。
2. Jev模型在51个地区中仅8个保持95%承诺，打字噪声会破坏校准承诺。
3. 在四个额外领域中，微调Laya需250至8000个标签才能非劣于Jev，且在LIAR2上未达到。