一些自己感兴趣的研究领域的论文阅读。
本篇 blog 只是呈现了我阅读的论文的一个简单列表和一句话总结。更多关于每篇 paper 的详细笔记以及个人思考于本人本地电脑中。写这篇 blog 的目的只是为了在本科生涯中直观展示自己学术阅读量的量化体现，这样方便与各位同学、老师们交流讨论。
不定期更新列表... ...
1 Embodied AI
- 《\(\pi_0\): A Vision-Language-Action Flow Model for General Robot Control》：通过 VLM 和 flow matching 的方式，用 GPT 式的方法，先大规模预训练再对齐的方法实现了通用的机器人控制模型。
2 Memory-Augmented Neural Networks
《Longformer: The Long-Document Transformer》：提出了一种计算注意力权重矩阵的 pattern ，稀疏化注意力矩阵 + 部分全局注意力矩阵，使显存与 query 长度呈线性。
《Memorizing Transformers》：通过将曾经的 K, V 存储到外部 memory 中，需要用到时拿出来用。
《Scaling Transformer to 1M tokens and beyond with RMT》：先分段，然后通过用 transformer 对每一段信息进行有损压缩进记忆向量中，从而实现记忆。