SCA-L Duo: 一种使用SCA-L思想的MLA优化方式

我们提出了SCA-L Duo来解决SCA-L的性能不佳问题，通过在MLA高性能的基础上加入SCA-L的快速检索机构来提升推理/训练时间。

背景

SCA-L的端到端实验表现仅接近但仍低于标准注意力，具体原因非常不明。

方案

于是，我尝试用SCA-L作为MLA的Indexer来提升性能和时间。
我将使用更真实的语料训练模型，字符级数据可能不足以显现实力。