TimeHAT：点与片段混合掩码的时序预训练框架
原始标题 / Learning from Points and Patches: A Pre-trained Hybrid Attention Transformer for Time Series Analysis
该研究提出通用时序预训练框架 TimeHAT，用统一“点—片段”掩码监督同时覆盖细粒度波动与宏观模式，并以混合注意力编码器缓解秩退化，在分类、长期预测、插补和异常检测四类任务上评估。
01 摘要
作者提出 TimeHAT，将点级与片段级掩码整合为统一预训练目标，兼顾上下文重建与因果外推。方法上用前缀约束的双向注意力叠加深层方向性混合注意力，意图保留上下文交互并缓解秩退化。实验覆盖四类下游任务及微调、少样本、零样本设置，报告具有竞争力表现，属作者自述结论。
02 关键点
- 统一点—片段掩码策略（UPPMS）同时提供点级与片段级监督，兼顾细粒度变化与更宽的时间模式。
- 混合注意力编码器（HAE）在浅层用前缀约束双向注意力，深层转向方向性混合注意力，以缓解秩退化。
- 评估覆盖分类、长期预测、插补、异常检测四任务，并包含微调、少样本与零样本迁移设置。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG