Mamba 用状态空间模型替代注意力机制,试图缓解长序列处理中 Transformer 的计算与显存瓶颈,并在语言、音频、基因组等任务中展现竞争力。
Mamba:挑战 Transformer 的状态空间模型
离开 Ai2:开放 AI 研究的影响力从何而来
作者回顾在 Ai2 参与 Olmo、Tülu 等开放模型工作的经历,讨论科研文化、公开传播与开放生态对 AI 影响力的意义。
AI治理进入AGI时代
美国政府要求 Anthropic 暂停 Claude 5 Mythos/Fable 访问,被视为 AI 治理进入新阶段的信号:前沿模型、国家安全、出口管制与主权 AI 的冲突正在加速显性化。
前沿模型后训练配方:从 RLHF 到多教师蒸馏
一场关于大模型后训练演进的访谈:从 InstructGPT 的三步 RLHF,到 DeepSeek R1 的推理 RL,再到多教师在策略蒸馏趋势。
一个 AI 技术博客的三年复盘:独立写作、开放生态与社区治理
作者回顾近三年每周写作后的定位:以相对原始、技术化的方式记录前沿 AI 思考,同时维持独立性、披露顾问关系,并调整付费评论、内容和线下活动策略。


