AI 研究arXiv cs.LGSIGNAL D3FB13

在智能体内核生成中强制批次不变性

原始标题 / God Does Not Play Dice: Enforcing Batch Invariance in Agentic Kernel Generation

该研究指出LLM服务动态批处理会导致同一请求因批次上下文不同而产生数值差异,现有内核生成智能体忽视批次不变性(BI)。提出的工具通过契约引导的静态依赖分析与动态比特一致性验证,作为插件增强通用内核智能体,在保持大部分加速比的同时提升BI通过率。

01 摘要

论文发现,在83个可批处理的内核产物中有19个存在批次不变性违规,即相同输入在不同批次上下文中产生不同数值输出。作者提出一种结合静态依赖分析与动态比特一致性验证的插件工具,集成到内核优化循环中作为接受门控。实验表明,该工具将BI通过率从67.6%提升至91.9%,同时保留基线几何平均加速比的91.8%。

02 关键点

  1. 在83个可批处理的内核产物中确认了19个批次不变性违规,说明该问题在现有生成产物中并非罕见。
  2. 工具采用契约引导的静态依赖分析与动态比特一致性验证,作为插件接入通用内核智能体,复用其原有优化能力。
  3. 在三类智能体框架的真实LLM服务任务上,BI通过率从67.6%提升至91.9%,保留91.8%的基线几何平均加速比。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG

阅读原文 ↗