JEROME BRIEFRESEARCH INTELLIGENCE
← 返回信号库
AI 研究arXiv cs.CLSIGNAL 492E72

AC-JEPA：提升视觉到符号翻译的跨模态联合嵌入预测

原始标题 / AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation

提出一种与监督微调兼容的即插即用模块 AC-JEPA，在跨模态双向预测掩码中间状态，利用连续潜在目标容忍配对数据中的局部错误。在光学化学结构识别任务上，干净数据训练准确率达 76.07%，伪标签自训练后提升至 80.23%，均优于单独 SFT。

01 摘要

AC-JEPA 是一种与 SFT 兼容的即插即用模块，通过跨模态双向预测掩码中间状态，在联合嵌入空间学习可预测的跨模态结构，同时保留 SFT 的 token 级监督。在光学化学结构识别测试中，干净数据下 AC-JEPA 准确率 76.07%，高于 SFT 的 67.40%；使用相同伪标签自训练时，AC-JEPA 升至 80.23%，而 SFT 降至 63.47%。作者认为，SFT 锚定的联合嵌入预测是应对精选与不完美监督下跨模态翻译的有效策略。

02 关键点

  1. AC-JEPA 在跨模态双向预测掩码中间状态，联合嵌入目标关注可从上下文预测的跨模态结构，SFT 路径保留目标序列的 token 级监督。
  2. 自训练中使用从伪标签对导出的连续潜在目标，避免将伪 token 提升为硬分类监督，从而对局部数据错误有内在容忍。
  3. 在 WildMol 基准 Simple 集上，干净数据训练时 AC-JEPA 达 76.07% 准确率，SFT 为 67.40%；相同伪标签自训练下 AC-JEPA 达 80.23%，SFT 降至 63.47%。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL

阅读原文 ↗