1.1 前期研究基础
大语言模型中的异常值研究主要沿两条线索发展：
• 发现：Kovaleva等人(2021)首次在GPT-2中发现了权重异常值，这些异常值在预训练早期即显现，并显著影响模型的输出嵌入向量。
• 挑战：禁用这些权重会显著降低性能，但研究未揭示这些权重的具体作用机制和普适性。
• 发现：Dettmers等人(2022)发现了大型语言模型中的激活异常值，这些激活对模型的性能、特别是压缩后的表现至关重要。
• 不足：这些研究主要集中于激活异常值的特性，未能建立其与权重异常值的因果关系，也未解析异常激活的来源。
1.2 研究缺口
现有研究在理论和实践上仍存在以下局限：
• 未能建立权重和激活之间的因果链条。
• 缺乏对异常值在模型计算中的结构性作用的全面理解。
• 对异常值形成的根本机制和跨模型的一致性研究不足。
• 异常值的识别和保护机制不完善。
• 模型压缩和微调时对异常值的处理不当，导致性能损失。
• 缺乏稳定控制异常值对模型行为影响的方法。
本研究目标：通过引入Super Weights的概念，统一解释权重异常值与激活异常值的关系，并提出在实际模型优化中的操作指导。