GPT 4o-mini华人领队离开OpenAI 推动AI进步不是模型架构而是互联网

排行榜 2025年08月19日 15:42 0 aa

编辑：定慧

【新智元导读】前OpenAI研究员Kevin Lu加盟由前OpenAI CTO Mira Murati创立的Thinking Machines Lab。公司2025年7月获约20亿美元早期融资，估值约120亿美元。Kevin Lu曾主导GPT-4o mini，长期研究强化学习、小模型与合成数据。

刚刚，OpenAI又离职一名华人大佬。

前OpenAI研究员Kevin Lu宣布加入AI新创Thinking Machines Lab。

GPT 4o-mini华人领队离开OpenAI 推动AI进步不是模型架构而是互联网

Kevin Lu主导了GPT-4o mini的发布，并参与o*-mini、o3等模型工作。

Thinking Machines Lab由前OpenAI CTO Mira Murati创立的。

2025年7月，公司创历史完成约20亿美元的超大额早期融资（a16z领投），估值约120亿美元。

随后团队核心成员在社交平台上互动表示欢迎。

Kevin Lu是强化学习与小模型方向的研究者，本科就读于加州大学伯克利分校，在OpenAI期间专注强化学习、Small Models与合成数据。

加入Thinking Machines之前还在Hudson River Trading、MetaAI从事序列决策与深度学习研究。

真正推动AI进步的是互联网

Kevin Lu在小模型与合成数据上的实践经验，有助于Thinking Machines缩短从论文到用户价值的距离。

尤其是他7月的一篇博客非常出圈：真正推动AI进步是互联网。

深入浅出的讲明白一个事情：与其反复抠架构，不如扩大、丰富、贴近现实的数据来源（如互联网）与数据消耗方式，否则模型始终「见得少、懂得少」。

博客地址：https://kevinlu.ai/the-only-important-technology-is-the-internet

以下为博客的部分截取翻译：

虽然AI的进步常被归功于一些里程碑论文——比如transformers、RNNs、diffusion——但这忽略了AI最根本的瓶颈：数据。

那么，「好数据」究竟意味着什么？

如果我们真想推进AI，与其研究深度学习优化，不如研究「互联网」。

互联网才是让我们的AI模型实现规模化扩展的那项关键技术。

· Transformers是一种「分散注意力」

受架构创新带来的快速进展启发（5年间从AlexNet到Transformer），许多研究者一直在寻找更好的架构先验，寄望于设计出「优于Transformer」的新架构。

事实上，Transformer之后确实出现了一些更好的架构；但为什么自GPT-4以来，我们很难「切身感到」这种改进？

· 范式更迭

算力受限（compute-bound）。

曾经，方法随算力扩展，更高效的方法就更好。

真正重要的是把数据尽可能高效地塞进模型里；这些方法不仅效果更好，而且似乎「越大越灵」。

然后，数据受限（data-bound）。

研究模型架构当然不是没用。社区在Transformer之后开发出了更好的方法，比如SSMs与Mamba等。

但它们并非「免费的胜利」：在给定训练算力下，训练一个Transformer往往能得到更优性能。

但数据绑定的范式是自由的：反正各种方法最终都差不多！

因此应选择推理阶段更优的方法，可能是某种「次二次注意力变体」（subquadratic attention variant）。

这些方法很可能会再度走到台前。

· 研究者该做什么？

设想我们不只关心推理（可以理解为「产品」），而是关心渐近性能（可以理解为朝着AGI迈进）：

显然，只优化架构是错的。
调整Q-function轨迹裁剪也不对。
手工打造新数据集无法扩展。
花哨的「时间高斯探索」（new temporal Gaussian exploration method）也大概率不具扩展性。

社区的许多成员已经达成共识：应研究新的「数据消费」方式。

目前两大主流范式是：（1）下一个token预测（NTP）与（2）强化学习（RL）。

（显然，我们在「新范式」上并没取得太多突破）

AI的本质就是「消耗数据」

目前AI领域里程碑工作本质上是在开辟数据消耗&消耗的新途径：

AlexNet（2012）：用「下一个token预测」的视角来「消化」ImageNet。
GPT-2（2019）：用下一个词预测来学习互联网文本。
原生多模态（如GPT-4o、Gemini 1.5）：用下一个词预测吸收互联网的图像与音频。
ChatGPT：在聊天场景中用强化学习摄取随机的人类偏好奖励。
DeepSeek-R1：在狭窄领域用强化学习摄取确定且可验证的奖励。

就「下一个token预测」而言，互联网是完美的解决方案：它提供了极其丰富的、按序相关的数据，正好适合序列建模去学习。

互联网充满了结构化HTML的「序列」，天生适配下一个token预测；按不同顺序重构，可以涌现多种有用能力。

这不是巧合：这种「序列数据」对下一个token预测近乎完美；互联网与下一个token预测相辅相成。

「行星级」数据

Alec Radford在2020年的一个先见之明的演讲中指出：尽管当时提出了很多新方法，但都不如「扩大与整理数据」重要。

我们从「寄望更好方法带来神奇泛化（比如损失函数暗含句法树）」，转向一个朴素原则：模型没被告知的事，它当然不知道。

与其通过打造大规模监督数据集去「硬性指定预测目标」，不如设法让模型从「外部的一切」中学习并进行预测。

每次我们做一个数据集，就像是把「世界上其他一切」的重要性设为0、把「数据集内的一切」的重要性设为1。

可怜的模型！它们知道的太少，仍有太多被隐藏。

自GPT-2之后，全球开始关注OpenAI，而时间也证明了其影响力。

如果有Transformer但没有互联网？

低数据。在低数据范式里，Transformer可能一文不值：其「架构先验」不如CNN或RNN，因此表现应更差。

书籍。较不极端的情况是：若无互联网，我们可能用书籍/教材进行预训练。教材常被视为人类智慧的巅峰：作者受过良好教育，字斟句酌。这代表一种信念：「高质量数据胜于大数量数据」。

教材与Phi。Phi系列（「Textbooks Are All You Need」）在小模型上表现出色，但仍要依赖在互联网训练的GPT-4做过滤与合成。

总体看，Phi很不错，但尚未证明能达到以互联网数据预训练模型的渐近性能；且教材缺少大量现实世界与多语言知识（不过在算力受限下它们很强）。

「数据类别」的类比

可把「教材」视作可验证奖励（表述几乎总是真），而「书籍」（尤其是创作类）更像是「人类偏好」，能赋予学生模型更强的风格多样性。

就像我们可能不会让o3或Sonnet 3.7替我们写作一样，只在高质数据上训练的模型可能缺少某种创造性「火花」。

因此Phi的PMF（产品市场契合）并不理想：需要知识时，人们偏好大模型；要本地「角色写作」，人们也不太会选Phi。

互联网之美

书与教材本质上只是互联网数据的压缩（背后或许有强大智能在做压缩）。

更上一层看，互联网是极其多样化的监督源，也是人类的映射。

展示了互联网用户在过去三十多年里由几百万跃升到50多亿的长期、持续增长

一些研究者可能觉得「为了研究进步要转向产品」很奇怪（甚至是干扰），但如果我们关心AGI对人类有益（而不是像AlphaZero那样在真空中聪明），就该考虑AGI的形态（产品）。

我认为研究（预训练）与产品（互联网）的协同设计非常优雅。

去中心化与多样性

互联网是去中心化的，任何人都能民主地添加知识；不存在单一真理源。

它承载了大量视角、文化模因和低资源语言；若用大模型在其上预训练，便能得到理解广博知识的智能。

这意味着，互联网的管理者（产品「管家」）对AGI的设计举足轻重！

若削弱互联网多样性，模型在做RL时的「熵」（信息多样度）会显著变差；若删除数据，AGI中的整个亚文化都可能被抹去。

对齐。有非常有趣的结果表明：为了得到对齐的模型，必须同时在对齐与未对齐数据上预训练，因为预训练会学到二者之间线性可分的方向。

如果去除未对齐数据，模型就难以理解「什么是不对齐，以及为何这是不好的数据」。（有点善恶共存，无善无恶的味道了）

上图指标越高（「Toxigen」）表示毒性越强。

在含10%有毒数据+人工引导上预训练的模型，比在0%有毒数据+引导上预训练的模型更不毒。

特别是，上述「有毒」数据来自4chan，这是一个匿名在线论坛，以其无限制的讨论和有害内容而闻名。

尽管这是一个产品与研究之间存在紧密联系的特定案例（我们需要这种无限制讨论来实现对齐的研究模型），但我认为你可以想到更多类似的案例，其中互联网的设计决策在训练后影响了最终结果。

非对齐的另一个例子：Improving Image Generation with Better Captions推动了DALL·E 3的发展。

通过重写标注以更清晰地区分「好/坏图像」，如今已广泛用于生成模型。

这与RLHF的「点赞/点踩」在精神上相似。

「苦涩的教训」

必须牢记：人们确实想使用互联网，而这些有用性质都是与「互联网这一产品」互动的涌现结果。

如果我们总是手工整理数据，就会出现「被整理的内容」与「用户觉得有用的能力」之间的二元对立。

有用的技能不应由研究者来拍脑袋选，用户会告诉你答案。

「人们想使用互联网」的另一半原因是：人均成本足够低，才能普及并汇聚数据。若互联网需要昂贵订阅，就不会有大规模数据贡献。

人们常在「扩展性」讨论里忽略这一点：互联网是那个能扩展学习与搜索（数据与计算）的简单理念。

若你找到这种「简单理念」并把它做大，就会收获卓越成果。

要点。互联网之所以对训练极有用，是因为：

1）多样，蕴含大量有用知识；

2）形成天然课程；

3）有产品市场契合，用户持续供数；

4）经济可行，单人成本低、可普及。

互联网是「下一个token预测」的「对偶」

互联网对监督式的下一个token预测是如此完美的补充，以致我们甚至可以强说：给定互联网这个「底座」，研究者几乎必然会收敛到下一个token预测。

因此我会说：互联网就是「下一个token预测」的对偶。

如上所述，尽管我们做了大量研究，当下仍只有两大范式。

因此，提出新的「产品」点子可能比提出新的「学习范式」更容易。这引出问题：那强化学习的「对偶」是什么？

现在有一些想法，但各有缺陷。它们都不算「纯研究」，都涉及围绕RL打造产品。

我们期望的属性是：多样性、天然课程、PMF、经济可行性。

最后一评：先牺牲一些多样性也可以——在自家产品里用RL优化指标（游戏、自动售货机、留存/利润/参与度等）。

这可能有效，但难点在于：如何把它「升格」为一种多样化、可扩展的奖励宇宙，从而引发范式级跃迁。

总之，我们还远未找到一个像「互联网之于NTP」那样优雅且高产的「RL对偶」。

最后，Kevin Lu再次强调，在训练里，模型只「看到」数据集里的东西；集外的世界等于被忽略（0 权重）。

希望有朝一日我们将找到方法来解决这个问题。

参考资料：

https://x.com/_kevinlu/status/1942977315031687460

埃地沃兹日本取得能高精度高速控制排气室内压力的真空排气装置及真空泵专利

环鸿电子取得惯性测量单元评估方法及其系统专利

发表评论

GPT 4o-mini华人领队离开OpenAI 推动AI进步不是模型架构而是互联网

埃地沃兹日本取得能高精度高速控制排气室内压力的真空排气装置及真空泵专利

环鸿电子取得惯性测量单元评估方法及其系统专利

热门文章

最新文章