我给 SCA-L Duo 补了三组实验。block 1024 上长上下文本身不是瓶颈，索引器才是；同预算的掩码消融显示训练好的索引器输给一个免费的滑动窗口 1.5 个百分点，根因是 4 维格点在 1024 上只有 2 到 9 格的时间分辨率、根本表达不出“看最近的几个”；补上一根固定宽度的时间轴之后，读取量压到 37.5%，代价从 5.6 个百分点降到 2.6 个百分点。

我们提出了 SCA-L Duo，让 SCA-L 的分块索引器去读 MLA 已经压缩好的 KV Cache，并在 4 维空间做 81 格全邻域枚举；在 TinyStories 上跑完一个 epoch 的密度扫描显示，它把上下文砍掉一半后，注意力部分的工作量降到 46%，而验证准确率只掉 5.0 个百分点。

我们在Tiny Shakespeare数据集上训练了一个基于SCA-L的端到端模型，该模型在该数据集上表现接近标准Decoder-Only Transformer。

我们提出了SCA-L（潜空间稀疏分块注意力），用一个变换矩阵将高维KQ向量变换到低维空间输入SCA，这可以解决目前所有因高维产生的问题，且可以取消面相邻机制转向所有相邻块。

我们在Tiny Shakespeare数据集上训练了一个基于SCA的端到端模型，该模型在该数据集上表现劣于标准Decoder-Only Transformer。

我们提出了Sparse Chunky Attention(稀疏分块注意力)来加速注意力计算。我们应用分块思想，将高维的嵌入空间分割成多个边长为chunk_size的超立方体块。仅计算Q所在块及其面相邻的块内的所有K-V对的注意力。尽管舍去了其他非面相邻块内的K-V对，但在1024维且chunk_size=512时随机KVQ实验中得到了82%的成功率。

我们的TeaCon参赛作品minecart-revolution仓库最近有格式问题看的人头疼，全改过来又太累。于是我整了个能自己修lint并提PR的Github Actions机器人，很好用，遂分享。

提出了一种没有门控的极简全新RNN架构。

介绍了一种基于拓扑排序+二分的快速排查错误的启发式算法（仅在只有一个自身坏的包时保证正确性）。

详细讲解了线段树。