RSI启程0:00
大厂不像多人了 ， 所以大家就得找到自己的意义 。
今天呢这期视频播客 ， 我们来到旧金山城里 ， 嘉宾呢是我们的老朋友了 ， 田渊栋 。 田渊栋作为 Meta 基础 AI 研究实验室 FAIR 前研究总监 ， 在去年被裁员之后 ， 历经半年 ， 他最近呢是官宣了新动向 ， 与其他七位顶级研究员一起创立了新的 AI 研究公司 Recursive Superintelligence， 简称 RSI， 融资六点五亿美元 ， 估值达到四十六点五亿美元 。
这个令人瞩目的新实验室想做什么样的事情 ？ 为什么资本会如此看好他们 ？ 那么过去半年 AI 市场的格局迅速变化 ， 他又如何看待模型技术的趋势与瓶颈呢 ？
你是正式的官宣来到了 RSI。
半年前接受你采访的时候 ， 其实已经差不多定了 。 很小很精团队把这事情做成了 ， 成为一个大的趋势 。
但 RSI 有八个 co-founder 啊 ， 在没有任何产品出来的一个前提下 ， 为什么觉得资本会对你们买账呢 ？
最顶级的资本还是看人 。
Recursive Self-Improvement， 你们为什么觉得这个方式很关键 ？
对 ， 用 AI 来优化很多的 AI 自己的一些东西 ，AI 变得更强 ， 用 AI 来做新的发现 ， 我们可以增加人类社会进步的速度 。
那如果说你们的最终目标是十的话 ， 你觉得我们现在大概是在一个什么样的阶段 ？
也许我们现在在那个一和二的这个位置上 。
你们 lab 会从 pre-training 从头开始做吗 ？ 就是商业化方面 。
对 。
有任何的思考吗 ？ 迭代速度可以披露 。 你们为什么要把自动化 AI 科研作为第一步 ？
我们应该把目标观放得更长远一点 。 如果我们对科学的这个研究的这个过程本身有建模的话 ， 那你可以拿来做很多事情 。
你怎么看视界模型 ？
所以我觉得语言跟视觉相比呢 ， 语言还是一个更加有信号的东西 。
有一些前沿的路线是想把 diffusion 跟 LLM 有一个组合 。
速度上来说可能会变更快 。
pre-training 的上限其实是决定了 RL 强化学习的上限 。
这也是我的观点嘛 ， 对吧 ？ 所以有可能是错的 。
你说大家迟早全部都要失业的嘛 。
四和五的这些工程师 ， 他们的能力就是 AI 很多事情其实可以做 。
Coding 之后的下一个 the next big thing 是什么 ？
我觉得是 AI research。
OpenAI and Anthropic 的一个比拼 ， 你会觉得是什么样的一个结果 ？ 谷歌还能够追上来吗 ？ 你觉得 xAI 发生了什么 ？
就是我们刚才的 。 你怎么评价 Muse 4。
大模型就永远赢家 ， 应该这么说 。
前沿大模型之争 ， 其实最后变成了一个组织架构之争 。
应该说组织架构在这次的那个技术进展中有很大的一个角色 。
Meta 最近有点争议啊 ， 他们要强制蒸馏员工这个事情 。
它吸星大法 ， 顷刻炼化 ， 炼化了之后 ， 然后你就会踢出去的话 ， 大家都会开心 。 不太顾及员工感受吧 。
感觉是个大趋势了 。
它就相当于就是在一 ， 一条鱼在水坑里面跳 ， 水总的来说越来越少了 ， 所以你永远找不完 ， 你总要一定要变成一个似尾生物 ， 你才能活下来 。
那么接下来就跟我走进 RSI， 那以下就是我与田渊栋的专访 。 非常感谢渊栋 ， 欢迎来做客硅谷零零幺 。
非常感谢你们又过来 。 我们可以继续下一轮的采访 。
啊 ， 现在距我们上次聊的时候 ， 其实过了半年的时间 。
对 。
然后我知道当时你刚从 Meta 出来嘛 。
对 。
你当时跟我说已经有很多的团队跟公司在跟你接洽了 。
对 。
那其实现在你是正式的官宣来到了 RSI， 能不能跟我们说一下为什么最后选了这家公司 ？
呃 ， 对 ， 应该说这么说吧 ， 其实我当时 ， 呃 ， 半年前接受你采访的时候 ， 其实已经差不多定了 。
啊 。
对 ， 其实应该说是一个 ， 呃 ， 比较快速的一个决定的过程吧 。 对 。 呃 ， 然后呢 ， 我其实也有不少人当时联系我 ， 啊 ， 应该说就是在十月底到十月初这段时间之内 ， 我的手机基本上是被打爆的状态 ， 然后我所有的 message 我就属于不能回复 ， 因为太多了 ， 看不过来 。
嗯 ， 对 ， 那最后还是选了这个 ， 觉得对于现在的 ， 呃 ， 就是大模型的这个趋势来说呢 ， 啊 ， 应该说团队小型化 ， 然后那个团队的那个速度变快 ， 然后团队之间的摩擦变少 ， 然后很小很精的团队把这事情做成了 ， 成为一个大的趋势 。
有这个趋势之后呢 ， 你再在大公司里面再呆着呢 ， 可能就不太方便 。 啊 ， 对 ， 其实我也亲眼目睹过很多的这种大团队 ， 呃 ， 有大团队一些问题吧 。
当时也不少的那个大团队是来找我的 ， 啊 ， 当时有 Anthropic 的 ， 然后有 xAI 的 ， 有 ， 呃 ，Amazon 的 ，Apple 的 ，Microsoft。 但是呢 ， 后来你会发现 ， 再过 ， 在找我之后的前大概两三个月之后 ， 有很多人当时找我的人都走了 。
对 ， 大家看到了很多的这个 ， 这个消息 ， 啊 ， 对 ， 当然我也就不一一列举了 。 其实这个原因是因为 ， 呃 ， 对大团队来说 ， 对大公司来说 ， 他们这个组织架构比较臃肿 ， 或者人比较多 ， 那么就一定会有问题 ， 就是对 CEO，CEO 是非常急 ， 他希望这公司能成功 ， 他就会有 ， 呃 ， 很多的这个命令 ， 或者说很多的这个指示啊去指导下面
去做 。 但对于大团队来说 ， 他就花 ， 要花很多很多时间去适应 ， 就是上面的这个 ， 这个要求 ， 然后同时呢 ， 对其啊下面员工的一些啊想法和愿望 。
那如果是这样的话呢 ， 那这个过程这个速度呢 ， 是应该说是远远慢于小团队的这个对接速度 。
啊 ， 所以你会发现 ， 就最近有很多的那个大公司 、 大团队 ， 他们频繁地会 reorg， 啊 ， 频繁地会裁员啊 ， 会那个改变自己的方向和战略 。
啊 ， 主要原因还是因为这个组织沟通上的速度是根本已经跟不上 AI 的发展速度 ， 啊 ， 所以是这样的原因 。
当时我毕竟在 Meta 我也待了快十一年了 ， 啊 ， 所以我也是能亲身都感觉到了这样的一种趋势 。
啊 ， 所以这段时间之内呢 ， 就是 ， 啊 ， 就是正好 Meta 也给了我这个机会嘛 。 啊 ， 那我就去 ， 去过一个不一样的人生吧 。
啊 ， 大概是这样的想法 。
那其实当时来找你的可能也不只是 RSI 这一家的 startup 跟 lab， 对吧 ？
对 。
为什么最后选 ， 当时是 Richard Socher。
对 。
亲自来找你的嘛 。
是是是 。
然后为什么选择了这一个团队 ？
呃 ， 我觉得应该是这样吧 ， 就是说一个呢 ， 这团队刚刚组建 。
嗯 。
啊 ， 所以当时呢 ， 就是我 ， 我也跟 ， 啊 ， 就是 Richard， 还有蔡敏 ， 啊 ， 还有 Tim， 啊 Tim Shi， 啊 ， 还有那个 Tim Rockshaw 都聊过 。
啊 ， 所以我觉得 ， 呃 ， 一个是团队刚刚组建 ， 所以机会应该比较 ， 比较大 ， 这是一个 。 另外就是说这团队里面我有两到三个人我以前认识 ， 而且其中像 Tim Rockshaw 跟我以前是同事 ， 他以前也在那个 Meta， 在 Meta 伦敦 ， 呃 ， 做 reinforcement learning， 然后我在那个加州这边做的 ， 所以也比较熟吧 。
呃 ， 那同时呢 ， 这个团队刚刚组建呢 ， 所以也是一个很好的一个机会 。 啊蔡明跟我之前也也也有很多 connection， 对 ， 所以有这个 connection 之后呢 ， 我觉得其实可以 ， 可以尝试一下啊 ， 所以可以做一下这样的事情 。
那么其他的很多的创业团队他们也来找我 ， 但很多时候呢 ， 这个机会呢 ， 相对来说是稍微 ， 呃 ， 没有 ， 没有那么好 。
啊 ， 比如说他们希望招聘员工 ， 啊 ， 或者说希望 ， 啊 ， 就是让我进来做 ， 比如说像 head of AI 啊 ， 或 head of research 这样一个职位 。
那么当然了 ， 就是对我来说 ， 要创业的话 ， 那你希望做 co-founder 更好一点 ， 那当然是有这个机会 。
但 Rasa 有八个 co-founder 啊 。
啊 ， 对 。
这个还挺罕见的 。
对 。
当时是怎么样一个 setup 呢 ？ 我们讲一讲 。
我觉得是这样吧 ， 就是说因为每个 co-founder 他们的 expertise 是不一样的 ， 他们各自有各自的擅长地方和比较欣赏别人的地方嘛 ， 对吧 。
所以相对来说 ， 我们这八个人还是比较互补的 ， 有这个互补的这个基因的话 ， 而且大家都是聪明人嘛 。
啊 ， 所以我觉得 ， 啊 ， 合作起来其实也比较 ， 比较顺利 ， 对 。
能不能跟我们介绍一下这八个 co-founder， 那么各自分别负责什么样的工作 ， 啊 。
像 Richard Sutton 大家可能知道他 ， 他一直是就是啊 ， 做 CEO 的角色 ， 他之前创立了那個 Meta Mind， 然后被 Salesforce 收购了 ， 收购了之后他在 Salesforce 待了 ， 啊 ， 四年吧 ， 做那个 chief scientist， 啊 ， 然后 ， 啊 ， 这之后呢 ， 他出来开了一个新的公司 ， 叫 Udotcom， 现在也是有 ， 有 ， 有盈利 ， 还是不错的 。
啊 ， 然后现在他又出来担任我们这边的 CEO， 啊 ， 就这样 。 那么然后呢 ， 像蔡明 ， 熊蔡明之前是那个跟 Richard 一起啊 ， 做那个 Meta Mind 的 ， 他们被 Salesforce 一起收购了 ， 收购了之后呢 ， 那个在 Richard 走了之后呢 ， 啊 ， 那个熊蔡明啊 ， 他就成为了这个 ， 啊 ， 就 Salesforce research 的这个 senior VP， 然后在 Salesforce 待了十年 ， 十年左右时间 。
那么还有比如说像那个 Tim Rockshaw， 他以前是我在 Meta 的同事 ， 然后他在 Meta 待了四年之后呢 ， 他就离开了 Meta， 去了那个 Google DeepMind， 那么在 DeepMind 他是那个 project Generative，Generative 一二三的这个 lead， 一个 lead。
然后这个是大家都知道做世界模型的嘛 。 啊 ， 对 ， 然后同时呢 ， 他也 lead 了一个 team 叫 Agents of Awareness， 那么这个 team 的方向其实应该说跟我们现在做的方向是非常接近的 ， 是非常有相关性的 。
对 ， 那么他其实在 Google 的口碑是非常好的 ， 就是我们融资应该说他有很大的一个贡献 ， 就是说他其实在 Google 口碑非常好 ， 所以 Google Venture 当时做了 ， 他们做背调 ， 然后啊 ， 就是给了个非常好的一个 ， 一个分数 。
对 。 呃 ， 然后呢 ， 比如说还有 Jeff Clune，Jeff Clune 是 ， 也是做这个 Agents of Awareness 啊 ， 这样的一个方向 ， 那么他的团队其实 ， 呃 ， 在过去的十年里面一直在做这个方向 ， 应该说非常投入 ， 非常深入 。
嗯 ， 然后呢 ， 他们最近的一篇文章叫 AI Scientists，AI Scientists V2， 这篇文章其实已经被 Nature 收录了 ， 啊 ， 所以应该说这个方向上它的学术影响力是非常大的 。
像我们这边还有那个 Josh Tobin，Josh Tobin 呢他是以前 OpenAI 的早期员工 ， 然后他自己出来开公司之后呢 ， 公司被 OpenAI 收了 ， 之后呢 ， 他又回到 OpenAI 做那个 Agent， 啊 ，Science Lead， 那他在这个 Agent 这方面有很大的那个经验 ， 然后还有工程上也有很多经验 ， 然后呢 ， 他就到我们这儿来 ， 是这样子 。
那么还有一个像 Alexey, Alexey Dorovskikh， 他以前是 ， 很早以前是做强化学习的 ， 我大概十年多以前就认识他 ， 啊 ， 当时呢 ， 我们是 ， 啊 ， 都是做强化学习的嘛 。
当时有个游戏叫做 DOOM， 叫毁灭战士 。 那么我们当时是一个 track 的第一名 ， 然后他是第二 track 的第一名 ， 所以我们通过这个方式呢 ， 我们就认识了 。
啊 ， 对 ， 后来他去了 Google， 做那个 Vision Transformer， 他是 Vision Transformer 的一作 ，Vision Transformer 是一篇非常有影响力的文章 ， 它第一次把那个 Transformer 带入了这个 computer vision 这个领域 ， 然后证明了就是数据量足够大的情况下 ，Transformer 在 vision 上效果也很好 。
那么这篇文章其实影响力非常大 ， 那么他其实是在里面做很大的贡献 。 那么之后呢 ， 他离开了 Google， 然后去了比如说一些小公司 ，AI for Science 公司 ， 他现在过来也是给我们做 co-founder。
所以应该说还有比如说像那个 Tim Shi， 石天凌 ， 对吧 。
他是之前 Qrysta 的 。
他是 Qrysta 的 CTO， 对吧 。 对 ， 他在 Qrysta 做了很多年的时间 ， 然后把 Qrysta 做成一个非常好的公司 ， 那么他现在对这个 Recursive， 对我们这个 ， 我们这个愿景有很大的 ， 很大的这个兴趣 ， 然后他就离开了以前的公司 ， 他把 CTO 的职位都辞了 ， 来到我们这儿来做 ， 做 ， 做领创 。
所以这么八个都是非常顶级的人 ， 非常核心的这个 AI researcher 跟行业从业者哈 。
对 。
然后聚集在一起 。
对 。
你们不会打架吗 ？ 就是我觉得每个人都是非常的有自己想法的人 ， 就是如果你们遇到不同的意见怎么办 ？
啊 ， 对 ， 这个我们还是比较民主嘛 ， 对吧 。 我们会有很多讨论 ， 很多那个思想上的碰撞 ， 啊 ， 和 ， 和 ， 和考虑 ， 啊 ， 对 ， 然后最终呢 ， 还是会有一些想法和 ， 和逻辑大家同意的 ， 咱们一起做的 。
所以应该说就是至少目前为止 ， 我们的合作还是相当好的 ， 而且大家都是聪明人嘛 ， 就是和聪明人合作 ， 其实应该说是比较省心的 ， 大家都希望花很多时间 ， 很多精力 ， 然后把事情都做好 ， 然后把盘做大 。
我觉得这个其实是一个很好的 ， 一个 ， 一个状态 。
你们宣布的这轮融资哈 ， 我觉得还是挺让人瞩目的 。 然后六点五亿美元的融资 ， 四十六点五亿美元的估值 。
对 。
在没有任何产品出来的一个前提下 ， 为什么你觉得资本会对你们买账呢 ？
应该是这么说吧 ， 就是我觉得资本呢 ， 其实还是看人的 ， 就是最顶级的资本还是看人 ， 因为那个投资融资也好 ， 然后比如说那个最终的商业愿景也好 ， 啊 ， 最终的那个产品也好 ， 在 AI 这个非常 ， 呃 。
变化非常大的领域里面呢 ， 其实很难在一开始就讲得非常的清楚 。
嗯 。
对 ， 很多时候是这样啦 ， 就是说你今天说我们要做这个 ， 然后过两个月发现谁谁谁又出点新东西 ， 那么这个时候呢 ， 这个团队要怎么应对 ， 然后它是否有很快的执行力 ， 做一件事情出来 ， 啊这个其实是最重要的 。
应该说资本最重要的还是看就是人的判断 ， 人的以前的经历 ， 还有人的能力 ， 啊和 ， 和团队成员之间的一个 ， 一个 ， 一个磨 ， 磨合啊 ， 和合作的程度 ， 这个是最重要的 。
啊所以这么多这个钱进来啊 ， 这么多人愿意投资我们 ， 其实还是能看重我们的以前的履历和我们 ， 呃 ， 对于就是这个愿景啊 ， 上的一个 ， 一个 ， 一个投入吧 。
你在其中主要负责的部分是哪些 ？ 因为我记得上次我们聊的时候 。
对 。
你说下一份 ， 呃 ， 工作想做工程家前沿研究 。
对对 。
结合的这样的一个岗位 。
因为我在说这句话的时候 ， 我已经知道我差不多要来了 。
啊 。
啊所以 。
买了一个伏笔 。
我可能买了一个伏笔吧 ， 就是我大概说的时候呢 ， 我心里在想啊 ， 我不能跟你说 ， 我不能跟陈倩说 ， 呃 ， 我已经加入一家公司 ， 或者说我现在加入这家公司 ， 对吧 ？
因为这还是保密的 。
嗯 。
但是呢 ， 我也希望给大家说一些 ， 呃 ， 就是比较明确的一个 ， 一个路径 。
嗯 。
啊所以大概是这样的 ， 确实就是我现在来了之后呢 ， 也是大概是这样的一个结合 ， 因为我们这边以前就是像我和蔡民是做 modeling 做得比较多的 ， 那我们还可以继续做这个 modeling 啊 ， 做一些建模啊 ， 做一些那个训练 ， 后训练这样一些工作 ， 对吧 ， 然后工程上也许有些东西可以做 ， 像 Agentic 的 Harness 我们也会做一些 。
那接下来我们就聊一聊公司 ， 聊聊 。
递归自改进14:02
对 。
RSI。
嗯哼 。
啊首先你们的这个名字哈 。
对 。
RSI 是 Recursive Superintelligence。
对 。
的缩写 。
对 。
所以可以看出来 ， 这个 Recursive 它中文叫递归式 。
对对对 。
这个技术 。
对 。
是一个关键词 。
嗯嗯 。
非常的重要 。 能不能跟我们介绍一下 RSI 主要想做什么 ， 然后 Recursive Self-Improvement 究竟是什么样的一种方式 ， 然后你们为什么觉得这个方式很关键 ？
对 ， 我觉得是这样 ， 就是 Recursive Self-Improvement 的意思就是说我能不能用 AI 来那个优化很多的那个 AI 自己的一些 ， 一些 ， 一些 ， 一些 ， 一些 ， 一些东西 ， 然后让 AI 变得更强 ， 通过这方式再做到踩过再踩上去 ， 啊大概是这样的一个 ， 一个逻辑 。
那么具体来说呢 ， 就是说我们希望用 AI 啊做很多的 ， 就是现在也需要人工来做的一些事情 ， 比如说像科学家发现新的想法 ， 新的逻辑 ， 啊科学家像那个比如说训练的过程 ， 啊需不需要用 AI 来做强化 ， 用 AI 来做新的发现 ， 啊这个其实都是在我们这个 Recursive 里面的 。
啊那么我们最终的愿景是希望 ， 啊就是 ， 就是说有一个很好的系统 ， 就是这个系统里面就是我放进去各种各样的计算资源 ， 然后输出的时候呢 ， 能输出 ， 啊这个新的知识 ， 啊新的那个 ， 啊 ， 新的见解啊 ， 新的这个新的洞察力 ， 啊大概是这样的一个 ， 一个东西 。
啊对 ， 所以其实我们的 Recursive 的网站上就说了嘛 ， 就 maximizing the knowledge discovery rate， 对不对 ？ 啊所以通过这个方式呢 ， 啊我们可以 ， 呃 ， 增加人类社会进步的速度 ， 然后提高人类社会对新知识发现和新知识理解的一个 ， 一个 ， 一个 ， 啊一个能力 。
然后目前我们看到 ， 比如说前沿大模型 。
嗯 。
OpenAI，Anthropic，Google。
嗯 。
主流做法还是依靠 。
对 。
人类去设计模型 。
对对对 。
收集数据 ， 然后大规模的训练 。
对 。
然后人工标注对齐 。
嗯哼 。
但我听你之前有一些分享 。
对 。
你认为说这条路上人类 。
对 。
是一个瓶颈 。
对 。
然后你们押注的是让 AI 能够自动化研发过程 。
嗯嗯嗯 。
是不是 ？ 然后中间能不能跟我们展开来解释一下怎么能实现 ？
对 ， 因为其实应该说现在人类 ， 呃 ， 或者说研究员嘛 ， 其实在做研究的时候 ， 或者在做这个 AI 发现的时候呢 ， 大部分时间还是浪费的 。
也不能说浪费吧 ， 就是说因为人有自己的生理极限嘛 ， 对吧 ？ 你要吃喝拉撒 ， 你要睡觉啊 ， 所以你没有办法百分之一百的时间花在这上面啊 。
所以很多时候呢 ， 就是如果用 AI 来至少代替 ， 或者说让 AI 来做一些人类 ， 呃 ， 认为比较繁琐 ， 比较繁重的 ， 或者说比较重复性的劳动的话 ， 这肯定是可以的啊 ， 这是第一步 。
那么第二步呢 ， 就是说我们是不是能够让 AI， 呃 ， 在这个劳动之上 ， 能不能就是发现新的 ， 自动发现新的一些洞察 ， 新的一些 ， 那个 ， 啊重要的这样的信息 ， 然后用它来加速这个 AI 的整个人类发展的进程 。
那 AI 系统学会的东西 ， 它是一个 。
对 。
真正的能力上的提升 ， 还是在某个评估指标上的过拟合呢 ， 你觉得 ？ 就是当 。
我当然希望 AI 最终能达到能力上提升吧 ， 对吧 ？ 因为能力上提升呢 ， 就是说可能 AI 现在能做 ， 比如说相对来说本科生能做的事情 ， 那么我们希望 AI 以后能做硕士生或者博士生能做的事情 ， 或者说更高的 ， 比如说研究员能做的事情 ， 我觉得这样的 ， 呃 ， 程度呢 ， 是我们想要达 ， 达到的 。
啊你说 benchmark 这个事情应该说是这样 ， 就是说你刷榜啊 ， 或者说各种榜单是达成这个目的的手段 ， 因为这个手段本身呢 ， 是 ， 呃 ， 比较虚的 ， 或者说是比较高层次的 ， 对吧 ？
你要把它真的 break down， 或者说把它分解成一步一步的这种小步骤的时候 ， 你基本上每一步可能都有一些 metric， 有一些 number， 那么这个是 benchmark。
所以当这个 AI 系统它开始自主地去设计实验 。
对 。
自主地去 。
对 。
评估结果 ， 那人类还可以作为一个可靠的评判者吗 ？ 然后你们怎么去解决所谓的 evaluating the evaluator， 也就是 。
对 。
评估者本身也需要被评估的这个 。
对 。
递归的难题呢 ？
我觉得是这样的 ， 就是说至少现在 AI 还是达不到人的这个评估的那个标准 ， 啊我觉得 。 所以至少在一定时间之内 ， 人类还可以作为评估者 ， 啊这个没有问题 。
然后另外一个 ， 第二个点呢 ， 就是说 ， 就是等到 AI 厉害到一定程度之后呢 ， 应该说很多的评估标准变得主观了 ， 而不是非常客观 。
啊比如说你拿 AI 写 code， 比如说你发现就是 AI 对于这个就是人类的指 ， 指令非常地遵循 ， 遵循得非常好 ， 啊那已经 ， 已经做得很好 ， 那再往上走 ， 比如说你要让 AI 去做一些人类的 ， 那个 ， 这个设计 ， 啊比如说这个代码怎么设计啊 ， 什么怎么安排各个模块之间的关系 ， 那么这种问题上来说 ， 其实每个人的经验是不一样的 。
嗯 。
那么这样的话 ， 你就会有一个 subjective 的 ， 一个主观性的这样的一个因素在里面 。 那么这种情况下 ， 其实应该说你就很难有一个正确答案了 。
所以这种每个人其实有自己的想法 ， 大家都是对的 。 在这种情况下 ， 其实并不存在说人类的能力达不到的水平 ， 很多时候是就是依照每个人的想法去完成想要做的事情 。
那怎么评估呢 ？ 就是如果它变得非常主观的话 。
这个时候其实很难去评估这个 ， 这个数字 ， 就是说你可能最终看最终结果 ， 对吧 。 我与其说评估中间的状态 ， 不如说 OK， 我加 AI， 或者说人类加 AI， 最终得到一个东西 ， 能够让大家喜欢 ， 或者说能够完成某件事情 ， 那就可以了 。
所以这个评估就成了 ， 就是从这个中间那个 benchmark 到最后的这个结果的评估 ， 所以这个评估会往后走 ， 我这是我的一个预测 。
就会变得非常 result driven。
Result driven， 对对对 。 那么中间这些过程其实变成了一个非常自由的一个地方 ， 就是你可以做任何想做的事情 ， 但最终目的是人加 AI， 最终得到一个结果 ， 这个结果是想要的 。
那这样的情况下 ， 可解释性这件事情还重要吗 ？ 因为 。
对 。
你之前也提到过 ， 就是无论 skilling， 最终成功还是失败 ， 可解释性都是必须要解决的 。
对 。
如果成功 ， 我们需要确保超级 AI 不作恶 ； 如果失败 ， 我们需要理解为什么模型在某些地方崩溃 。
那比如说在你们 RSI 的这条路上 ， 当 AI 可以自己修改自己的代码 ， 或者权重自己 ，AI 可以设计出一系列的实验的时候 ， 那可解释性这件事情会不会变得更加的困难 ？
我觉得这是非常重要的 ， 而且是应该说是 ， 应该说比原来更重要 。 一个当然是因为关于 safety 的问题 ， 对 ， 就是我们在 launch 这个 recursive 的时候呢 ， 其实非常注重说我们要做 safe 的这个 superintelligence， 对不对 ？
那么 safe 这部分呢 ， 其实一个方案就是通过可解释来完成 ， 因为对 ， 如果说你对这个模型的那个内部机制有理解和有一些想法的话 ， 那你就大概知道这个模型是怎么 work 的 。
那么这样的话呢 ， 你就知道这个模型本身 ， 它对 ， 就是将来可能会有什么样的威胁和问题 。
所以这是一个非常重要的地方 。 另外就是说可解释性的本身也提供了一个非常好的一个指标 ， 去找到一个 ， 一个能够更快地找到我们想要的东西 。
就比如说你要做那个 ， 你做这个 recursive self-improvement， 其实它背后呢 ， 是意味着就是你可能需要大量的算力组的事情 ， 比如说你可能需要花比如说几千块卡或者几万块卡 ， 比如说训练一个模型 ， 那么如果你在 ， 你对模型本身不理解 ， 那你可能真等到这个模型训练完毕之后 ， 你才去 ， 才去预测或者才去这个评估这个模型好不好 。
那么这样的话呢 ， 这个速度就会很慢 。 那如果有可解释性的话呢 ， 那我们是不是可以把这个评估放在前面去完成 ？
那如果是这样的话 ， 那我们是不是能提高这个运算效率 。 所以应该说可解释性在这个过程中扮演很重要的角色 。
所以你们内部还是有人专门去研究可解释性的 。
会有的 ， 会有的 ， 对对 。
那你们的设想是让 AI 系统长时间地自主运行 。
对 。
去追求研究者定义的这个目标 ， 同时呢 ， 产生出 。
对 。
超出人类预想的新思路 。
对 。
但是这个超出人类预想和 。
对 。
失去控制之间的这个边界在哪里 ？ 你们打算用什么样的机制来保证这条线不会被越过呢 ？
我觉得其实还是 ， 一个是 ， 也是 ， 重要是可解释性嘛 ， 对吧 。 就是说你如果知道这个模型在发现的过程中找到什么东西了 ， 然后这个东西你们可以让 human 来做 evaluate， 这个是一个重要的 ， 对吧 。
然后模型本身的机制都可以 ， 如果能够被 inspect 的话 ， 那么我们就可以通过这方式来 ， 后来判断这个模型究竟是越界了呢 ， 还是发现一些新东西但没有越界 ， 这是很重要的 。
你甚至可以用另外一个模型去 ， 去比如说去验证这个模型是不是好的 ， 这个都是可以的 。 所以就是说 ， 应该说在这样的一个 ， 就是 ， 就是越 ， 越难的问题上来说呢 ， 就是说我们希望这个模型找到一些人类做不到的事情 ， 同时希望这模型安全 。
那这种情况下 ， 就是我们不能代替模型去发现新东西 ， 那么我们就得知道模型是怎么想的 ， 模型是怎么去思考的 ， 模型是不是有一些疯狂的想法 ， 有一些地方是超过了我们想要的它要做的事情 ， 那么这个其实就需要可解释性 。
我记得你谈到自己在用 GPT5 的时候 。
对 。
的一些感想 ， 然后当时你发现模型能够帮你做很多事儿 。
对 。
但是呢 ， 它缺乏高层的人类洞察力 。
对 。
和专业知识 ， 然后目前呢仍然需要人类去引导 。
对 。
但是 RSI 的路线和目标恰恰是让 AI 能够自主地提出实验的假设 ， 然后自主地验证 ， 然后也就是 。
对 。
说要自动化 。
对 。
掉人类的洞察力这件事情 。
对 。
你怎么解释这后面的矛盾呢 ？ 还是说现在技术其实已经有进展了 ， 然后改变了你的想法 。
应该是这么说吧 ， 就是说正因为现在 AI 做不了 ， 所以我们希望 AI 能做 。
嗯 。
是这样一个逻辑吧 。
所以你们选了一个更难的这样的路径 。
是是是 。 正因为做不了 ， 那就是说 ，OK， 这就是我们将来研究员能发挥 ， 发挥的地方 。 那么我们当然希望开公司 ， 让 AI 能做这个事情 ， 这个是一个重要的一个 ， 一个点 。
至于就是 ， 但这个事情本身不是零到一的 ， 就不是说是要做出来就做出来 ， 这不像无人车 ， 无人车说你要不在路上 ， 百分之一百路上就撞人了 ， 不行 。
对 ， 所以就是它其实有很多层次的 ， 对吧 ？ 也许 AI 今天能写代码 ， 但是 AI 读不了 paper， 然后明天 AI 能读 paper， 然后 AI 还是理解不了这个问题的本质 。
那么后天的话 ， 也许 AI 能理解一点点了 ， 但是 AI 还不能理解太难的问题 ， 所以它会一层一层地这个层次上去 ， 所以它就会有一个很深的一个阶梯在那里 。
那阶梯到 ， 能爬到什么程度 ， 我们现在并不知道 ， 但是我们是能往上爬一点 。 那么每一步呢 ， 其实应该说会带来大量的一个应用场景啊 ， 和一些可能的这个方向 。
所以应该说就是这个本身是一个非常吸引人的一个东西 。 那么对于研究员来说 ， 当然是希望勇攀科学高峰嘛 。
是 。
对 ， 所以这个可能是一个很有意思的阶 ， 阶梯可以走 。
那如果说你们的最终目标是十的话 ， 你觉得我们现在大概是在一个什么样的阶段 ？
我觉得我们现在还是在那个一到二到三这个阶段吧 。
OK。
对吧 。 对 ， 甚至我可以说我们现在可能就是零点 ， 可能是零点五吧 。
嗯 。
对 ， 因为这个 ， 这个 ， 这个阶梯应该说非常非常高 。 能多 ， 能有多高 ， 这个是不知道的 ， 因为它可能会这样 ， 就是假设我们说人类的那个边界是十 。
嗯 。
对吧 ， 也许我们现在在那个一和二的这个位置上 ， 对吧 ， 那还有 ， 但是过了人类的边界之后 ， 也许还有一百 。
那部分我们是不知道的 。
就是你要翻过那座山 ， 你才能看见后面的山有多高 。
是的是的是的 。 对 ， 而且在那个时候其实人类边界会往上走 ， 因为发现人家 AI 能力已经超过我们以前的人的最优水平 。
啊像最近那个 OpenAI 他们 ， 呃 ， 他们发现了一些 ， 就是就能证明一些完全非平凡的定理 ， 那么这个事情其实应该说对于以前的人类来说是很难想象的 。
啊 ， 对 ， 但是现在就是你会发现证定理 ， 把以前定理都证 ， 证完了 ， 它的这个 ， 啊这个新闻的这个频次是越来越快了 ， 所以我相信以后应该会出现这种情况 。
Coconut推理25:32
你当时在 Meta 其实比较重要的工作之一就是 Coconut。
嗯哼 。
啊 ， 然后这个方法呢 ， 就是说让 AI 在连续的潜在空间里面去做推理 。
对 。
做 latent reasoning 嘛 。
对 。
啊 ， 然后我很好奇说 Coconut 的相关研究在 RSI 里面还会有一个继续的去推进吗 ？ 然后我也很好奇说 ， 就是 ， 啊 ， 你怎么想当前的这个 Chain of Thought，CoT 的这个路线 。
嗯哼 。
啊 ， 以及就是你接下来的研究工作会不会对这个方向有一个继续的往前推演 。
啊 ， 对 ， 我肯定 ， 肯定还会做的 。 对 ， 这个是没问题 。 当然具体细节来说 ， 我们毕竟是公司嘛 ， 所以很多事情我不能讲 ， 讲 ， 讲太细 。
没问题 。
对 ， 讲太细 。 对 ， 但是我们就是说 ， 对我们来说 ， 我们如果有一个很好的这个 machinery， 就是我们有一个很好的系统 ， 能够做自动化的研究啊 ， 自动化的那个理解的话 ， 那我们可以用这个东西来继续做研究 ， 对吧 。
那么这样的话 ， 其实我们的研究更像是一个 product， 对吧 。 我们可以说 ， 哎 ， 我们的系统非常厉害 ， 然后那个我们做了很好的工作来 ， 那么这个工作我们本身可以 publish， 我们本身可以拿来就给大家 show 说我们很好的结果 。
啊至于这个东西怎么做出来的 ， 我们可以 ， 啊作为一个黑盒子 ， 啊我们可以说这是我们公司的一个 ， 一个 secret sauce。
然后刚才我们那个也稍微提到了一下 ， 就是那个 latent reasoning， 所以就是你会认为说当前的 Chain of Thought 的路线 。
对 。
是错的吗 ？
我觉得当前 Chain of Thought 的路线不是错的 ， 是一个是非常实用 ， 对吧 ， 大家都在用 ， 就所以肯定不是错的 。
但是我觉得人类在思考问题的时候呢 ， 最终还是需要一个非语言的媒介来做这事情 。 啊其实至少对我来说 ， 我在思考问题的时候 ， 其实我并不是需要用语言来做的 ， 很多时候是有图像的成分 ， 有一些是一些比较那个说不清道不明的一个这个思路 ， 啊 ， 然后在这个思里面发现了一个问题 ， 然后 ， 然后我把它写下来 ， 变成
语言 。 所以语言更多情况下是一种解释 ， 而不是说是训练的一个或者说思考的过程 。 啊而且其实我们当时在做这篇文章的时候呢 ， 我们也发现 ， 就是如果通过就是 latent reasoning 来做思考的话 ， 那么这个 reason 这个 path， 这个过程 ， 应该说还是 ， 啊 ， 效率应该比这个语言要高的 。
啊为什么呢 ？ 是因为 latent reasoning 就是每一个 latent token， 它里面可以存的这个 ， 这个信息其实高于每个语言 token 的 。
啊 latent token 你可以存很多信息 ， 比如说你可以同时存几个不同的思路 ， 同时存在一起 ， 然后最终呢 ， 这里面有一个思路是对的 ， 那么你这个路径就出来了 。
但如果你要用语言去 ， 去想的话呢 ， 你就得人工地去写下来每个思路是什么 。
嗯 ， 对 ， 一个一个出来 。
对 ， 所以这个效率就是不一样的 。 啊所以这个至少在原理上来说是能看到这个不一样的地方 。
啊那么当然了 ， 就是具体的这个 ， 这个在实现呢和最后的那个 ， 那个运用场景上来说呢 ， 可能还是有各种各样的不一样的地方 。
但是呢 ， 这个方向本身呢也是很有意思 ， 而且现在你会发现 ， 就我们之前这篇 Coconut paper 应该说已经 ， 啊已经有很多的 ， 很大的很多 citation， 啊有很多很多人在这上面做很多拓展 ， 啊就是当然包括最近有一些 latent， 那个叫 Lucy Transformer， 啊这样的一些结构 ， 那么它本身也是 latent space，do reasoning， 对吧 。
然后它也有很好的效果 。 啊所以应该说这个方向本身将来应该是有很大的方向 ， 很大的地方东西可以挖的 ， 而且我觉得也许以后可能是一个有意思的那个 ， 那个突破点 。
你觉得现在哪一家是比较 ， 就是重视这个方向的 ？
我听说 Anthropic 的 ， 安 ， 那个 Meso 的 model， 它用的是 Lucy Transformer， 但我也不知道是真的还是假的 。 对 ， 这个是一个可能的可能路径吧 。
对 ， 因为为什么大家说这个呢 ？ 嗯 ， 是因为就是他们看到 ， 我们大家看到就是 Meso 它在一些就是图上的这个搜索的问题上 ， 它的效果比之前的模型好很多很多 ， 啊所以有人就在怀疑是不是它用了一些新的架构 。
对 ， 当然这个问题你去问 A 家的人 ， 他是不会回答 。
啊之前你其实有跟那个观众分享过顿悟 。
对对对 。
的这个研究嘛 。
对 。
对对 ， 能不能再跟我们展开聊聊 ， 然后以及就是最近有没有什么研究上的新的进展 。
新的进展我就不说了 ， 因为我们这边也是比较保密嘛 ， 就是说我们不希望有更新进展马上说出来 。
但是你还是在研究这一块 。
对 ， 做肯定是会做的 ， 这个没有什么问题 。 而且确实 ， 应该说这篇文章在发出去之后 ， 我收到不少人来信 ， 啊就是说挺有兴趣的 ， 而且当时跟我说啊 ， 这篇文章我做了个 extension， 做了一个拓展 ， 然后你能不能帮我看一下 。
啊其实我也挺开心的 ， 有很多的这个 ， 有很多的人愿意来找我 ， 跟我去讨论这个问题 。 啊 ， 对 ， 所以我觉得顿悟本身应该说是很有意思的一个问题 ， 就是这个模型怎么样从 ， 就是记忆 ， 然后突然变成一个泛化 ， 这样的过程 。
啊那么这个过程本身呢 ， 是应该说是能解 ， 是不是能解开整个神经网络的训练过程这个秘密的所在 ， 应该是这样子 。
对 ， 那么这篇文章主要的逻辑就是说 ， 我们在一些比较具体的 ， 比较那个结构化的数据输入的时候呢 ， 就说你会非常清楚看见这个模型从记忆变成了那个泛化 ， 啊这个过程 ， 这过程可以本身可以通过一个 ， 啊比较清楚的这个数学过程啊来描述 。
啊比如这里面有个能量函数 ， 这能量函数呢 ， 在数据不足的时候呢 ， 它得到的那个最小值呢 ， 都是记忆的解 ， 但这个数据足够大到多到一定程度之后呢 ， 突然之间这个能量函数这个 ， 这个结构呢 ， 就变成了泛化的解 。
啊那么这个过程就是顿悟的过程 。 而且我们可以知道 ， 就是我们究竟需要多少数据能够导 ， 产生这样的一个变化 。
啊所以这个其实是很有意思的一个过程 。 那么这个过程如果理解清楚的话 ， 那我们是不是就可以对神经网络的训练过程有更好的理解 ， 我们是不是有更好的效率提高这个速度 。
这个的研究其实还是 。 我理解比较早期的阶段 ， 我们现在知道多少数据可以 。
对 ， 就是我们有一个就是这方面主要还是比较偏理论嘛 ， 就是说就在这个设计设定下 ， 我们可以说如果我们总数据是 M 平方数量级的 ， 我们就需要 M log M 的这样一个数据 ， 就是说可能比线性多一点 ， 但是就没有太多 ， 就比总数据的数目相比来还是少很多的 。
你们 lab 会从 pre-training 从头开始做吗 ？
我们都在照样在尝试吧 ， 在尝试吧 ， 对 。 因为 pre-training 呢 ， 一个也比较好的地方是因为一个是它 ， 它本身的这个训练过程呢 ， 比较 smooth， 它这个 ， 那个 loss curve 相对来说比较稳定 ， 所以其实是一个也是一个挺好的一个方向 。
就所以你们什么都会自己做 。
对 ， 会有一些 ， 就是目前我们还处于这个探索阶段嘛 ， 对嘛 ， 我们会有一些不同的那个方向都会去试 。
商业化路径31:54
那在产品方面或者是商业化方面 。
对 。
有任何的思考吗 ？
对 ， 我觉得这个是我们现在已经有些思考了 。 啊 ， 对 ， 应该说我们这个团队呢 ， 是一个非常落地的实际的团队 ， 啊 ， 就是团队里面应该说有超过半数的人以前开过公司 ， 然后也知道就是怎么样落地啊 ， 怎么把产品做好 ， 怎么样去满足用户的需求 。
啊所以其实应该说就是我们内部在聊的时候 ， 很多时候就是说的话和讲的那个故事和聊的内容都非常接地气 ， 就是说是非常实际的说这个东西是不是能用 ， 那个东西是不是能用 ， 这个东西是不是可以赚钱 ， 或者说可以那个 make commercial 的那个 benefit， 这个都是在在讨论的讨论 。
其实但应该说就是 self-improvement 这个方向呢 ， 会有很多的事情可以做 ， 还有很多的那个东西可以可以完成 。
比如说 。
对 ， 比如说我们是不是能够训练一个模型 ， 让拿这个 model inference 变得很快 ， 对吧 ， 那其实是不是我们就可以让这个 inference speed inference efficiency 变得极很高 ， 这个是当然是可以的 ， 对吧 。
比如说我们找到了新的 recipe， 那么这个 recipe 是不是可以有更好的那个结果 ， 这个都是可以 commercialize 的 ， 是这样子 。
或者说我们对这个模型本身的那个 ， 或对人类在做这个研究的过程中 ， 它的这个思维方式做一个很好的建模的话 ， 那么我是不是可以拿它来做一些很难的人类社会 ， 人类能做的一些研究 ， 我们是不是可以让 AI 来做 ， 这都是可以 commercialize。
但是现在目前看起来就是说这个方向本身呢 ， 应该说还是比较开放的 ， 有很多事情可以完成 。
你们现在就是因为八个人嘛 ， 然后你们现在有一个非常有共识并且清晰的这样的一个技术的路线图了吗 ？
对 ， 我们差不多是有一些 。
我之前看有报告说 ， 就是你们第一步呢 ， 是要训练一个具备五万名博士能力的系统来自动化 AI 科研本身 ， 然后计划呢 ， 是在今年年中左右推出一个 level one 的自主训练系统 ， 那比如说在 level one 之后肯定还会有 level two, three, four 嘛 ， 对吧 ， 就大概的这样一个迭代速度可以披露吗 ？
我目前是就是现在可能在就是一开始的一年到一年半里面吧 ， 对吧 ， 我们会把这个系统很好做好 ， 然后做深入 。
对 ， 然后之后呢 ， 我们就想办法让它落地啊 ， 找到一些更好的一些 use case， 大概是这样的一个时间 。
我看到那个 Souce 之前有在采访说 ， 就是说要构建你们啊 ， 要想设想的这个技术 ， 可能需要好几年的这个时间才能够完成 。
那在你自己的心目当中 ， 这个 RSI 从自动化部分的科研到真正的递归自我改进 ， 再到超越人类的整体的能力 ， 每个阶段的时间点大概是什么样子的 ， 我们需要多长的时间能够完成这件事情 。
以及呢 ， 如果我们要达到这样的突破的话 ， 技术上面有哪些是关键的一些信号呢 ？
我觉得其实还是要几年的时间吧 ， 就是说目前是应该说是一个很好的一个时间切入的 。 对 ， 因为在这个时间 ， 在这个时间点呢 ， 就是大家开始形成了共识 ， 就是说以后啊 ， 就是说研究 ， 或者说以后就是新的知识获取和知识发现 ， 这个问题呢 ， 肯定还是要 AI 来做 ， 因为人一是没有这么时间还有精力去看了那么多文献 ； 二
二是说那个人不像 AI 那么有大的广博的知识 ， 然后有有无穷无尽的时间和精力 ， 然后也可以让一个 AI 做很多事情 ， 就是说你可以有几千个 AI 同时进行 ， 所以这个事情也可以让 AI 来做 ， 所以这个是个一定是个趋势 ， 这没问题 。
但另外呢 ， 就是说这个时间点比较好的地方是因为就是大家现在都不知道怎么做 ， 所以也在探索阶段 。
所以像这样的一个时间点呢 ， 就是大家有这个 excitement 的同时呢 ， 那个大家都不知道怎么做呢 ， 是一个很好的节点开始这件事 ， 是一个旅程吧 。
但旅程旅程非常长 ， 但这个旅程可能要持续 ， 比如说好几年的时间才能开始有亩有结果 ， 这个我觉得是肯定会发生的 。
对 ， 大概是 ， 大概是这样 。 技术上来说呢 ， 应该说就是说这个技术比较好的地方是 ， 它到每一个层次呢 ， 应该说都有一些应用的价值 ， 就不管是在什么地方 ， 它不像有些那个方向呢 ， 就是说要不全部做出来 ， 要不全部做不出来 ， 不是这样子的 。
像比如说如果你要去找 ， 你要比如说新的材料啊 ， 你要找那个新的什么核聚变 ， 或者说超导的这样的 solution， 那么这个 bet 就很大 ， 就要不就是百分之一百 ， 就是你真的成功了 ， 要不就是你没有办法成功 。
但是如果是做这个 self-improvement 的话 ， 就是它每一步的这个进展 ， 它其实都会有一些应用价值 。 所以这总的来说 ， 应该说这个趋势是比较平缓的 。
所以我觉得这也是一个我对这个技术比较有信心的原因之一吧 。
就这点还挺有意思的 ， 因为我也想问说 ， 诶 ， 你们为什么要把自动化 AI 科研作为第一步 ， 因为 ， 呃 ， 就是它这个商业化毕竟还是会更困难一点 。
相比起比如说一些比较 To B 的落地的一些企业服务或者消费的产品 ， 那为什么你们就选择这个作为起点 ， 而不是一个更容易产生收入的方向 ？
因为如果你要想更注重产生收入的方向的话 ， 那其实一个问题就在于就是大家会时刻担心你用的这个为这个产品的收入产生的具体技术 ， 会不会在明天或者在下个月被 AI 取代 。
这个其实是应该说是硅谷或者说是很多投资人的一个很大的一个痛点 。 当然说今天我们可以拉很多人团队 ， 我们做一个单独的一个事情 ， 比如说我们要做语音陪伴 ， 或者说我们要做聊天助手 ， 或者我们要为某个垂直领域把一个事情做得很好 。
但是这件事情本身呢 ， 就是之前其实应该说在过去的三年里面已经有很多的那个案例证明 ， 就是说那个为了某件事情做一个设 ， 那个比较特殊化的一个模型做的事情呢 ， 也许有一天会被一个大的一个更加一般化的模型的取代 ， 或者说给 ， 给 ， 给盖掉 。
啊 。 所以有这样的一个 concern 之后呢 ， 其实应该说我们应该把目标观放得更长远一点 ， 对吧 ？ 就是说我们希望就是在这个范式上啊 ， 花时间 、 花精力 ， 这个范式说我自我在家自我进化这个范式 ， 这范式只要不变 ， 那我们的公司立场是不变的啊 。
那么在这个范式之下 ， 我们再看有没有什么好的这个应用 ， 有没有什么好的可以商业化的机会 ， 啊我觉得这个是一个比较好的一个立足点 。
我看到 Suthr 也在采访中说到说希望 RSI 之后把它的应用范围扩展到物理学 、 化学 。
对对对 。
然后还有临床 、 生物学等等 。
对 。
那在你们 vision 当中 。
对 。
RSI 未来的一些具体的应用场景是什么样子的 ？
对 。
比如说谁是你们比较想要重点 target 的用户群体 。
对 ， 这个其实是 AI for science 当然是其中的一个 。 因为如果我们对这个 ， 啊 ， 对这个科学的这个研究的这个过程本身有建模的话 ， 我们知道就是人是怎么样去获取知识的 ， 人是怎么样去获取信息的 ， 怎么样去得到新的假设 、 新的逻辑 ， 然后怎么样去验证 ， 然后最终怎么样产生一个有意思的 、 没有不平凡的结果 。
过程我们能够建模建得很好的话 ， 可以拿来做很多事情 ， 像刚才我们说的 AI for science 这样一些一些方向 。
那么这个本身就是一个很大的一个 ， 一个市场 ， 啊 ， 我们可以可以做 。 然后本身呢 ， 另外就是说我们是不是通过这个方式 ， 啊 ， 能够 ， 呃 ， 提高研究人员的效率 ， 然后提高整个 ， 呃 ， 研究过程的这个 ， 呃 ， 自动化的程度 ， 那么这本身能够提高 ， 比如说大模型的本身的训练能力 ， 一个 ， 一个效率 ， 这本身可能就是也是一
个非常重要的一个 commercialization 的一个方式 。
那其实这个领域竞争也慢慢地变得激烈起来了 。
对 。
我们看到 OpenAI， 特别是 DeepMind， 它自己有 AlphaFold、Alpha Evolve 等 。
对 。
就是他们其实也是在做 AI for science，AI 辅助科研嘛 。
对对对 。
然后包括刚才我们提到 DeepMind 的这个 Alpha Evolve 已经是能够用 LLM 不断去变异和组合算法 。
嗯哼 。
那比如说这和你们的 Recursive Self-Improvement 有什么样的根本性的不同呢 ？ 以及你们的差异化优势会在哪里 ？
OK， 我觉得一个当然是大公司小公司的区别 ， 就是说大公司有大公司的这个 bet， 小公司有小公司的 bet， 对吧 ？
大公司的 bet 呢 ， 往往是这样的 ， 就是说大公司非常多人 ， 几万个人 ， 然后呢 ， 就是说可能有会有一些研究团队啊 ， 做一些就是不同方向的事情 。
但是呢 ， 这个一个是对于大公司来说 ， 这个 bet 可能是一万中的一个 ， 或者一百中的一个啊 。
对 ， 所以他们不会因为 ， 因为 ， 因为这个大 bet 而获得很多很多资源 ， 啊 ， 这个是一个 ， 一个问题 。
然后大公司的那些人 ， 他们的这个 incentive， 就是说他们这个薪酬结构啊 ， 和 ， 呃 ， 和对于就是目 ， 目的的这个追求啊 ， 就本身呢 ， 可能跟小公司也是不一样的 ， 小公司说 OK 的 ， 我们的使命或者我们的目的就是要做 self-improvement。
那么如果是这样的一条方向的话 ， 那小公司会集结所有的那个能力和所有的资源 ， 把所有的时间都花在一个地方 ， 把它做出来 。
那么这样的话呢 ， 小公司其实应该说是更 focus 的 。
嗯 。
啊 ， 这个是一个重要的点 。 那另外那个 Alpha Evolve 呢 ， 其实一个就是说他们还是用 AI 去优化某个具体的 ， 啊 ， 一个 ， 比如说一个代码或者什么的 ， 对吧 ？
但是我们这边希望 AI 来优化自己 。
就是你刚才也 ， 也说到说现在是一个很好的 timing， 很好的时机 。
对 。
去做这个事情 。
对 。
为什么去年不是好的 timing？ 为什么明年不是好 timing？ 为什么今年是最好的 timing？
哦 ， 应该这么说吧 ， 因为去年这个时候应该 AI 的 coding agent 还没有成熟 ， 对吧 ？ 因为大家还是在用 ， 就是 AI 辅助 coding， 那么比如像 Curator 这样子 ， 那么用这个 AI 辅助 coding 的话呢 ， 就是大部分时间你还是写代码 ， 然后让 AI 去审核 ， 去修改 ， 去重构 。
啊 。 但是就是应该说去年年底就是基本上跨过了这个 ， 这个 ， 这个突变点 ， 然后突然之间大家发现用让 AI 来做一件事情 ， 然后人去下命令 ， 去找一些 high level 的一些想法 ， 这个模式呢 ， 其实是更有效率的 。
啊 。 所以为什么现在 AI coding tools，AI 工具现在变得如此的那个易用 ， 或者说如此的那个普及啊 ， 所以这个时间点是不一样的 。
那么在这个时间点过了之后呢 ， 应该说有很大一段时间 ， 人整个这个应该说整个软件工程行业 ， 整个那个 ， 啊 ， 就是科技巨头 ， 他们都需要花时间去适应这个 ， 这个过程 。
那么这个过程本身应该说是小公司 window of opportunity 的一个非常好的时机 ， 啊 。 因为大公司可能需要一年甚至两年的时间去慢慢适应新生产力工具造成 ， 产生的变化 。
但是对小公司来说 ， 特别是如果小公司非常小 ， 大家都是很厉害的人 ， 他们聚一起就很快能够 figure out， 找到一个方法能够一起合作 。
那么这个过程应该说远远快于大公司的这样的适应过程 。 那么在这种时间点 ， 也许小公司有这个 ， 那个能力去追上大公司 ， 会有很大的这个 upside。
嗯嗯 。
对 ， 所以应该是这样吧 。 那么所以但是如果你再过一年的话 ， 可能就已经晚了 ， 对吧 ？ 因为大家都适应了之后呢 ， 你再去出来创业 ， 啊 ， 这可能也是一个很大的一个 ， 一个问题 。
啊我 ， 我觉得你说这个 timing 非常对哈 。
对 。
就是也是为什么我们最近看见很多 Neolabs 出来 。
对对 。
很多的核心的研究员从大公司出来 ， 以及我们看到很多的 VC 的资金 。
嗯 。
开始涌向了这些 Neolabs 了 。
对对 。
那现在看一下就是 Neolabs 的这个版图哈 ， 然后能不能 。
对 。
跟我们啊来分享一下 ， 就是你对 Neolabs 是怎么看的 。 因为我 ， 我 ， 我觉得当然是有很多的派别嘛 。
对 。
Levia 它的 SSI， 然后严浩坤的 AMI Labs。
对 。
然后包括 David Silver， 然后 。
对 。
包括那个 Thinking Machine Labs。
对对对 。
就是能不能 ， 呃 ， 就是比如说这四家比较 ， 呃 ， 典型的公司吧 ， 能不能就是 。 跟我们来分享一下你对他们是怎么看的 。
所以首先是 Ilia。
对 ，Ilia， 呃 ，Ilia 的那个 SSI 应该说非常保密吧 。 对 ， 我们现在都不知道它内部在做什么 。
对 。
所以 ， 呃 ， 也很难评价吧 ， 也很难评价 ， 我们现在不知道 ， 那么希望它接下来有会有很大的进展 ， 但我们现在并不知道 ， 啊 ， 现在内部情况怎么样 。
他们之前的口号是要做 safe general intelligence。
对 。
对吧 ， 就是安全的人工超人工智能 。 但是 ， 呃 ， 我们现在并不知道怎么样 。
你觉得它会 ， 呃 ， 也是要做模型的 ， 对吧 ？ 但是它可能不会做像 GPT 或者是像 Gemini 或者是 Claude 那么大规模的模型 ， 因为它虽然融了很多钱 ， 但是可能它的钱也不够支持它去完全做一个新的模型出来 。
嗯嗯 。 呃 ， 这个不好说吧 ， 就说比如说嘛 ， 我们发现了一些新的 ， 就是这个模型的这个训练机制 ， 也许能够节大地提高这个训练的那个速度和效率 ， 啊 ， 这是有可能的 。
啊 ， 这个就是不知道的 ， 因为 ， 因为我一直觉得 ， 嗯 ， 现在 AI 的训练过程应该说还是不是很有效率的 。
啊 ， 如果你发现了呢 ， 就很 ， 有很 ， 有很大的那个 upside。
所以它有可能是在研究一个新的范式 。
有可能是这样 ， 但是这个我也是在猜嘛 ， 因为这些猜测都是基于 Ilia 去年的一个访谈 。
它就出来做了个博客 ， 然后又没有声音了 。
因为其实很有意思的是 ， 就 Ilia 去年的访谈跟我们之前硅谷要领衔 ， 我们一起做那个访谈 ， 有很多东西是很接近的 。
对对对 。
比如说像做 research 要 test。
对对对 。
对吧 ， 像就是他也在那个考虑 ， 比如说就是为什么模型会泛化 ， 对吧 ， 那么 generalization，memorization 这些东西其实都是有的 。
哎我很好奇啊 ， 就是你们在跟 VC 聊的时候 。
对对 。
他们对于这种 ， 呃 ， 长期然后也不发什么产品 ， 然后我就 mental 里研究 ， 我 ， 我也不知道它能不能研究出来 。
对 。
现在 VC 的资金对这件事情的 tolerance。
对 。
有多高呢 ？ 就是包括你自己在跟 VC 聊的时候 ， 你怎么感觉这件事情 ？
我觉得其实 VC 很多时候还是投人嘛 。 对 ， 我觉得这是很重要的 。 就大家觉得这个人靠谱 ， 然后这团队靠谱的话 ， 那么至少这第一笔的这个融资应该还是 ， 啊主要是看 ， 看这些 ， 看这些 。
那么之后呢 ， 就是说如果还要想融资的话 ， 那当然希望这团队有进展 ， 有一些那个很 ， 很有意思的 ， 非常让人觉得印象深刻的东西 ， 那么才会给你更多的那个融资 ， 啊 ， 是这样子 。
所以应该说我们团队的内部进展还是比较顺利的 ， 比较顺利 ， 应该说是好于预期吧 。 对 ， 所以我们还是很有信心的 。
你们这一轮这么多钱 ， 一个 runway 会有多 ， 多久 ？
其实 runway 也就一 ， 一两年 ， 两三年的时间吧 ， 大概是这样子 ， 因为毕竟大部分是 ， 呃 ， 那个计算资源还是需要那个钱 ， 需要这个资金啊去投入的 。
啊 ， 对 ， 那么如果我们有比较多的资金的话 ， 那么可以有更多的那个 GPU， 更多的计算资源 ， 然后探索更多事情 ， 啊这个是我们 ， 那个我们现在想做的事情 。
你怎么看世界模型 ？ 你觉得 Yang Ankun 的这个 AMI Labs 能做出来吗 ？
呃 ，Yang 毕竟是我以前的那个老板 ， 对吧 。 所以 ， 啊 ， 应该是这么说吧 ， 就说 ， 就一个就是说我 ， 那个 Yang，Yang 这边他是探索一个完全不一样的方向 ， 对吧 。
那么这个不一样的方向应该说是一个很有 ， 呃 ， 应该说是 ， 应该说之前的人探索的那个程度不足的一个方向 ， 啊 ， 比如说那个世界模型 ， 特别是在那个视频上的 ， 在图像上的一个世界模型 ， 那么可能怎么跟 robotics 又能结合 ， 啊 ， 这个其实很有意思的问题 。
但因为我 ， 对我来说呢 ， 我可能也不做视觉很多年了 ， 啊 ， 我现在基本上都是做 language， 啊 ， 所以或者说做一些这个 symbolic 的和那个 neural 的一些结合吧 。
啊 ， 应该 ， 应该说就是那么图像这边呢 ， 就是我可能啊 ， 不太 ， 不太熟悉 。
有批评说觉得 DeepSpeed 啊这些视觉模型还是太早 。
太早 。
可能还要再找到一些新的关键突破才可以 。
嗯嗯 ， 是有一些 。 当然我这边是有一些 ， 也不一定这个是一个 ， 是一个 ， 那个非常公正老偏见嘛 。
但是我这边还是有一些我偏见 ， 就是说我觉得语言跟视觉相比呢 ， 语言还是一个更加有信号的东西 。
啊 ， 对 ， 像对于视觉模型来说 ， 就是视觉图像的问题在哪里呢 ？ 就是 ， 呃 ， 图像它里面这个像素和它们像素之间的组合相对来说是固定的 ， 对吧 ？
你今天看到一个杯子 ， 这个杯子在那儿了 ， 然后呢 ， 我们就知道这杯子形状是什么样子 ， 然后你就知道这些像素组合是个杯子 。
但是对语言来说 ， 语言里面的信息有很多时候是可以重新定义的 ， 还可以定义很多新的东西 。
比如说你今天说了一半 ， 说我们新定义新概念吧 ， 啊 ， 这新概念什么意思 ？ 那么以后这个词可能就会指向之前的所有的新概念的那个定义 。
那么所以说语言可以无限嵌套 ， 它可以自指 ， 啊 ， 它可以用很多的这个新的这个信息和新的这个深的这种 ， 那个理解在里面 。
啊 ， 所以我觉得语言应该说它的上限可能会比图像更高一点吧 ， 啊这个是我的一个 ， 一个观点 ， 但是我不一定是对的啊 ， 只是 ， 啊 ， 这是一个想法 。
我看到现在有一些前沿的路线是想把 diffusion 跟 LM 有一个组合 。
对对对 。
去做一些 diffusion。
对 。
LM 的东西 ， 你觉得那个路线你自己看好吗 ？
我觉得这个其实一个速度上来说肯定会变更快 。 啊 ， 其实我们之前应该说在我离开 Meta 的时候也有一篇文章是做这个的 ， 啊 ， 就是怎么样能够让 diffusion， 啊叫那个 sandwich 的 gradient，recursive gradient， 那么这个就说我们能不能以更快的方式来训练 ， 比如说那个 diffusion model， 啊用强化学习来做训练 ， 是有以前这种 。
所以我觉得我们的 ， 我的感觉上是这样 ， 就是 ， 呃 ， 它加速上来说是非常好的 ， 啊能很快地加速 ， 能够提高这个 decoding 的速度 。
啊但另外一方面呢 ， 就是 ， 呃 ， 它现在还是没有到这个 sort 它的水平 ， 啊它有很多的 ， 啊问题还是做不到 ， 就是像大语言模型那样那么厉害 。
嗯 。
啊 ， 所以这个还是有一定距离 。
嗯 。
对 ， 但是还是一个很好的方向可以去做研究的 。
然后你怎么看这个 David Silver 的 Ineffable Intelligence， 因 ， 我理解它也是一个专注于 RL 强化学习 ， 然后它目标呢也是要打造一种能够通过自身经验自主探索的 。
对 。
学习知识的这样的一个超级学习者嘛 。 你觉得他们跟你们有什么异同吗 ？
据我所知 ， 可能 David Silver 他们这边可能更多的像是 ， 呃 ， 就是希望完全不用大模型 。 啊对 ， 这个可能是我们的区别 。
对我们这边还是比较实在 ， 就是说 ， 呃 ， 如果大模型很厉害 ， 我肯定用大模型 ， 然后找到更好的方法来训练大模型 ， 这都是可以的 。
对 ， 那么 Davis 他可能更想要做一个就是纯粹是用这个强化学习来把这个事情做起来的啊 ， 这样的一个东西 。
啊因为 Davis 是大家都知道的 ， 就是 AlphaGo 和 AlphaZero 的那个主要发明人嘛 ， 对吧 ？ 那么 AlphaZero， 呃 ， 其实就是完全没有的人类的任何的知识 ， 啊 ， 通过左脚踩右脚踩上去的 。
啊那么他当然希望在大语言模型 ， 或者说在新一代的大模型这个范式下重现这个故事 ， 啊我觉得这是他的一个愿景吧 。
当然我之前也做过啊 ， 像 OpenGo 这样的 project， 其实也是 ， 就是类似于 AlphaZero 这样的 ， 就是左脚踩右脚踩上去 。
啊但我觉得围棋毕竟还是一个或者国象 ， 国际象棋其实还是一个 ， 呃 ， 比较那个局限的一个领域 ， 然后这个领域里面这个它的 ， 啊 ， 它的这个 ， 呃 ，evaluation 的 function， 或者说这个胜负的这个评分呢 ， 应该说都是 ， 啊 ， 定义得非常清楚的 ， 啊 ， 所以可以做到这一点 。
但是在做一个就是比较开放式的方向呢 ， 其实很难做到这一点 。
嗯 。
所以可能需要大量的算力 ， 啊这个算力现在可能 ， 呃 ， 可能很难 ， 很 ， 很难满足吧 。
我看到行业里面有一种说法是 。
预训与强化50:42
对 。
pretrain 的上限 。
对对对 。
其实是决定了 RL 强化学习的上限 。
对对 。
你同意这样的说法 ？
对 ， 这个确实我是同意的 。 对 ， 我们确实也发现了 ， 就是强化学习后训练它的目的 ， 它的 ， 它的那个很大的功用呢 ， 就是说你把原来你排在比如说第两百个的答案 ， 把它放到第一个去了 。
通过这个方式呢 ， 可以让模型 ， 啊 ， 做一些问题做得比较好 ， 啊 ， 是这样 。 但是这个条件是这个 ， 这个问题一开始答案呢 ， 至少有一个是对的 。
嗯 。
比如说你让它 try 个 ， 比如说一千次 ， 一万次 ， 对吧 ？ 就是也许大部分答案是 ， 是 ， 是错的 ， 但是也许有一到两个答案呢 ， 是可以的 。
有这个种子之后呢 ， 强化学习可以通过这个种子把它慢慢提到最高 ， 啊 ， 通过这个方式呢来提高这个水平 。
那么最终如果种子都没有的话 ， 那强化学习再做还是 ， 再做还是没有用的 ， 啊 。 这就是为什么 ， 就是说强化学习产生效果是因为在大语言模型已经变得比较成功之后才会有这样子 。
如果你做强化 ， 只做强化学习的话 ， 你其实它没办法去生成一些比较深的东西 。 所以其实我这边是觉得就是大语言模型的最关键地方呢 ， 还是它的预训练 ， 它预训练 ， 它在训练了之后呢 ， 它里面的各种各样的这个 ， 那个表示呢 ， 啊 ， 就是涌现出来了 。
涌现出来之后呢 ， 啊 ， 这些表示呢 ， 其实能够一定程度上来说 ， 就是能够解释那个数据上的一些结构 ， 啊然后一定程度上能发现或者说能够学习数学中或者说数据中那些有意思的这样的一个推理模式 。
嗯 。
那么这个推理模式在强化学习中慢慢地被放大 ， 然后最终得到一个答案 ， 是这样的方式 。 那么如果前面部分的推理模式没有学习得特别好的话 ， 那么后面强化学习再做是没有用的 。
所以就是它在 ， 就是光是 ， 呃 ， 来压住强化学习这件事情 。
对对对 。
还是上限是 。
对 。
对 。
这 ， 这是我的观点嘛 ， 对吧 ？ 所以 ， 呃 ， 有可能是错的 。 对 。
你觉得数据还能 。
对 。
怎么样发展吗 ？ 因为现在其实大家这个模型的这个 ， 这个参数情况啊 。
对 。
已经是穷尽了所有互联网的数据了 。
对对对 。
那接下来大家就是看 ， 啊 。
对 。
更多的这种 ， 这种 synthetic data。
对 。
对吧 ？ 然后这个 ， 这个数据还能够怎么样更好 ， 怎么 ， 怎么样从数据上去优化 。
嗯 。
模型的结果呢 ？
呃 ， 对 ， 我觉得数据上来说还是很重要的 ， 就是说现在的数据应该说很多的 ， 大量的那个用户数据 ， 大量的那个人类数据都已经被用上了 。
嗯 。
对吧 ？ 那么接下来一个问题说我们能不能 ， 啊 ， 制造一些新的数据 。 啊 ， 就是其实应该说就是最近这个模型一波的大进展 ， 很多时候原因是因为我们把推理模型的数据放回了以前的预训练或者说 fine-tune 的过程中 ， 我们通过这个方式 ， 这个模型变得更强 ， 然后呢 ， 就达到了一些 ， 一个自我进化的一个初步的目的吧 ， 应该这么
说吧 ， 对吧 ？ 那么以后你可以想象 ， 如果我新的模型更强了之后 ， 然后它生成很多数据 ， 然后把这些数据放回预训练或者 fine-tune， 那是不是模型会更强 ？
这也是一种可能性 。
嗯 。
对吧 ？ 当然这个过程本身比较慢 ， 啊 ， 就是需要花大量计算资源来做这事儿 。 那么接下来怎么办呢 ？
就是有人就会提出来叫连续学习 ， 叫 continuous learning， 持续学习 。 那么持续学习就是说我希望新数据放进来之后呢 ， 能够学得很深 ， 但同时呢 ， 不用花那么多代价 。
啊 ， 那所以就是为什么大家会提出概念 ， 啊 ， 这样的原因 。 但是我觉得就是最终的目的呢 ， 还是就是现在可能数据上 ， 数据是一个非常重要的一个点 ， 能够很快地能够让这个模型变得很强 ， 啊但模型最终变得跟人类一样强 ， 或者达到人类这样的效率呢 ， 可能还是需要看有没有好的算法 。
嗯 。
有没有好的那个新的这个范式啊 ， 去训练这个模型本身 。
嗯 。
啊所以这可能是最大的问题 。 当然了 ， 就是目前如果按照现在的范式走的话呢 ， 数据还是很重要的 。
嗯 。
对 ， 因为如果训练的范式不改变 ， 那么数据越多 ， 确实效果会更好 。
啊 Thinking Machines Labs。
呃 ， 怎么说呢 ， 应该说就是 ， 呃 ， 我对他们也没有特别了解 ， 啊 ， 应该说是有一些 ， 那个我看他们最近是发了一个 ， 就是 ， 就是 human computer interaction，interaction model， 对吧 ？
这个 ， 这个模型效果也还是不错的 。 啊有很多的 ， 你可以跟它一直在说话 ， 然后不用打断它 ， 它会一直听你的话 。
那么 ， 那么通过这个方式 ， 你可以获得 ， 可以跟那个模型产生一个独立交互的 ， 啊 ， 这样的一个 ， 一个 ， 一个效果 。
啊就是持续交互嘛 ， 不需要是这个 turn by turn， 而是持续的交互 ， 啊这个应该说是挺有意思的 。 那么之后就是它会不会就是走 ， 比如说跟着 Humanity+ 的这个公司一样的路线呢 ？
这个我就不清楚 。 那这可能是更多侧重于人和 AI 如何交互 ， 啊 ， 这样的一个 ， 一个 ， 一个方向 。
其实我们刚才就是聊了一些 ， 就是 Neolab 大家在 。
嗯 。
压住的路线嘛 。
对 。
然后如果我们从一个更加宏观的一个角度去看现在的 Neolab 的一个发展的话 。
嗯 。
你觉得 ， 啊 Neolab 大家护城河到底在哪里 ， 然后以及大家最主要面对的挑战是什么 ？
嗯 ， 我觉得其实最终还是挑战应该一个 ， 一个我觉得重要的点是 ， 如何在就是这样一个 New Lab 的这样的一个环境下 ， 能产生 research 结果 ， 能产生那个很快产生一个 progress， 这是重要的 。
因为很多 New Lab 的那些成员以前都是比如大厂来的 ， 或者说是资源丰富的地方来的 ， 他们说我们做实验嘛 ， 我们就花很多钱把实验做了 ， 可能这个实验花了几个几百个 million， 甚至一个 billion， 但是这都是公司付的钱 ， 对不对 ？
对 。
对 ， 所以对于应该说对于这样的就是新成立的这样一个小公司来说 ， 就是像我们这样的 ， 这样的 lab 来说 ， 或者说需要融资的这样的一个 ， 一个实体来说 ， 就是我们非常重要的想法就是说 ， 我们怎么能让 ， 让这个学习过程变得更有效率 ， 我们希望整个迭代过程啊 ， 然后整个流程呢 ， 反而更 ， 更加有 ， 有意义 ， 然后同时能
发现新的新的东西 ， 这个其实是一个很大的挑战 。 我觉得是这样子 。 所以其实你说我们是不是还会用传统的 Sking Law 来做这个事情 ， 这个其实是需要考虑的 。
对 ， 就比如说我们以前有些朋友 ， 比如他们在大厂里面 ， 在一些资源丰富的地方 ， 那么对他们来说 ， 资源可以是无限的 ， 或者说是相当 ， 相当充裕的 ， 那么可以用 ， 可以做各种各样的方式 ， 找到一个很好的这个 Sking Law 把事情做成 。
但是对于我们来说 ， 我们可能需要思考 ， 就是成本啊 ， 思考啊 ， 各种各样的那个巧妙的方法 ， 去绕开 ， 就是大量的计算资源的这个 ， 这个堆叠 ， 然后获得更好的结果 。
可能这是一个很大的挑战 ， 很大的挑战 。 对 ， 如果一个人只有 Sking Law 这个思想的话 ， 可能不太容易成功 ， 你还是需要在 Sking Law 之外 ， 还有什么其他的一些新的对问题更深的理解 ， 那么就能成功 。
就是要看 research test 了 。
是的 ， 是 。
对 ， 因为你刚才也说 ， 小的 lab 不肯定会比这个大公司跑得更快嘛 。
对 。
而且就是小的公司 ， 他们可能押注的技术路线 ， 可能目前也是大公司 ， 他们现在还没有时间去搞的 ， 他们可能现在卷 coding， 然后卷 front model。
那你觉得 ， 就是你们在押注的这些路线 ， 跟 OpenAI， 然后或者是 Google、Anthropic， 他们在押注的路线一定是一个平行发展的一个关系吗 ？
他们会不会还是有一天会有竞争 ？ 然后如果是的话 ， 这个竞争会发生在什么样的地方呢 ？
对 ， 我觉得首先还是一个平行发展的一个关系吧 ， 对吧 ？ 因为对于那些大公司来说 ， 其实我也跟大公司很多人聊过 ， 我觉得一个问题是大公司 ， 呃 ， 一般现在是有一个趋势是大家趋同化 。
嗯 。
原因是因为就是大公司很多的那个方向和方案呢 ， 都是让 CEO 或者说让高层定的 ， 但对高层的人来说 ， 他们可能会觉得 ， 因为他们往往去追热点 ， 他们会觉得 ， 啊 ， 这个是我们想要做的事情 ， 因为别人也做了 ， 或者说别人做得很好了 ， 那么这样就会导致 ， 就是因为自上而下这个结构 ， 这样就会导致大公司之间 ， 就是相互
之间的同质化比较严重 ， 大家做的东西都差不多 ， 就比如说 coding 一阵子火了之后 ， 然后大家都在做 coding 一阵子 ， 因为所有人都觉得 ， 哎呀 ， 我要 AI 写代码 ， 也要写代码 ， 对吧 ？
所以就就算是你在大公司里面 ， 你想做些不一样的事情 ， 你会被这个 ， 这个环境和压力所 ， 所 ， 所逼迫 ， 然后去做这个跟大公司 ， 公司方向有关系的东西 。
所以这个事情其实应该说是一个很大的一个趋势 。 所以最终大公司可能会产生这样的结果 ， 就是大公司里面那些人 ， 他们没有这个能力 ， 不是说没有这个能力 ， 是有能力 ， 但是没有这时间 ， 没有这精力去做一些就是跟大方向不一致的东西 ， 这非常难了 。
所以其实自然而然小公司它为了能够产生一个很快产生一个效益 ， 很快产生一个结果 ， 它自然会选择一些跟大公司不一样的方向 ， 所以他们是相对来说是平行的 ， 对吧 ？
那么只有等到以后 ， 就比如说小公司 ， 它公司业务做得很好了 ， 然后这个方向开始变成一个新的 ， 或者说变成一个 ， 那个大家关注的一个新方向的时候 ， 可能会有竞争了 。
但这是另外一回事了 。 这件事情应该说在历史上已经出现过很多多次了 。
嗯嗯 。
对吧 ？ 你像 AlphaGo 一开始做的是代码 ， 它做 coding 的时候 ， 其实应该说关注的人很少 。 我还记得 ， 应该说去年或者说前年的时候 ， 大家都在刷什么 ？
刷 Math， 我们把那个 AIM 提得很高 ， 但是呢 ， 那个当时我记得 AlphaGo 就 ， 它就在每次宣布的时候说 ， 我们这边不刷这个东西 。
嗯 。
他们的 ， 他们的模型放出来的时候没有 Math 的 performance number， 他们就 ， 就刷这个 coding， 他们就把这个 coding 刷上去 ， 那么最后发现 ， 大家发现 ， 哎 ， 这个确实能赚钱 ， 它是一个很好的商业模式 ， 突然间所有人都涌涌过来了 。
所以这个其实是应该说是以后会发生的一个常态吧 。 所以说这要求小公司的成员就是有这个耐心和有这个眼光 ， 做一些方向大公司现在不做 。
但怎么能确保说 ， 哎 ， 大公司看到这个机会之后 ， 小公司不会被大公司这么多的资源 ， 无限的资金 ， 然后给盖住 。
其实也很难 ， 应该说首先第一个就是 ， 你不会觉得大公司真的有那么有效率 ， 你想那个 ， 你像 Google 现在也在追 ， 追赶 coding 嘛 ， 对吧 ？
但是 Google 的 。
toward 那个 anti gravity。
对 ， 那 Google 的 coding 其实应该说还没有做得特别好吧 ， 对吧 ， 还是有一些 ， 有 ， 有一些大公司 ， 大公司的毛病 ， 这个都是会发生的 。
而且其实应该在说在这种事情发生的时候呢 ， 应该说这 ， 这小公司如果真的成功了 ， 那么它已经获得了很多很多钱 ， 获得很多很多那个资金去 ， 去投入 。
所以那个时候呢 ， 小公司也有很大的 leverage。
你觉得就是现在你们面临的挑战 ， 包括招人吗 ？ 你觉得就是现在大家抢人这件事情抢得厉害吗 ？
应该说这样这么说吧 ， 就是说首先一个就是我们公司确实还是比较那个受欢迎的 ， 有很多的人愿意投简历给我们 ， 所以我们也挺 ， 挺惊讶的 。
就是另外就是大公司招人 ， 小公司招人可能不是 ， 应该说是在不同的方向上招人 。 对于大公司 ， 就比如说 ， 你说 GPT， 他们花很多钱招人 ， 那么 ， 那么吸引的人可能跟小公司吸引的人不一样 ， 对吧 ？
大公司吸引的人可能是那些 ， 就是说我有很强的技术能力 ， 对吧 ， 但是我觉得这个技术能力对大公司有用的 ， 但这个能力本身可能不是那么新的 ， 这样的一些人 。
对小公司来说 ， 可能有些人他们 ， 他们是愿意看我们的这个愿景 。 啊我们这个方向是不是在将来会产生一个很大的影响 。
所以这两边的应该说的这个 mindset 和思路是不同的 ， 啊所以不能 ， 不能说两边想相互抢吧 。
你们喜欢招什么样的人 ？
呃 ， 我觉得现在的 ， 我就感觉上是这样 ， 就是首先一个是他有一定经验嘛 ， 经验比较丰富的 ， 因为现在 AI coding 牵扯到非常强了 。
对 ， 所以那个很多时候经验和那个品味和方向是更重要的 。 那另外呢 ， 就是说我们希望这些人还是比较 hands on 的 ， 所以就是说又有经验 ， 同时呢又愿意自己把事情做成的人 ， 这两个人合起来是比较重要的 。
所以你们不考虑毕业生 。
呃 ， 这个也 case by case 吧 。
对 ， 你觉得现在毕业生还能找到工作吗 ？ 就因为很多 junior 的工作 ， 其实我理解说你们都可以让 agent 去做了 ， 对吧 ？
嗯嗯 ， 对 ， 但是要看嘛 ， 就是如果毕业生本身是很厉害的 ， 他又有很好的工作 ， 啊这工作业界知名 ， 大家都觉得这个工作非常好 ， 那也是有希望 。
你现在跟一些年轻的那个 researcher 聊的时候 ， 他们更想去大厂还是更想加入 Neolabs 的这种小一点的公司 ？
呃 ， 其实我这边有 bias 嘛 ， 对吧 。 你就说跟我聊的很多人说 ， 哎呀 ， 我们能不能来这样 。
我想去 Meta。
对 ， 要想去 Meta 的话就不会跟我聊了 。 所以其实有一个 self-selection， 对 ， 所以这是一个 ， 一个点 ， 对吧 。
那么大厂也有大厂 ， 因为大厂往往大家讨论的是比如工资多少啊 ， 总包多少啊 ， 然后有多少多少福利啊 ， 然后多少那个 ， 那个 ， 那个钱和股票 ， 对吧 ， 这样的一个 。
但是对小厂来说 ， 很多更多时候谈的可能是 ， 呃 ， 比如说愿景 、 方向 ， 然后那个 ， 然后做的工作内容 ， 还有是不是有意思啊 ， 这样的一些问题 。
要做成 RSI 想做什么事情啊 。 除了你们这个很强的八位联合创始人之外 ， 你们还需要多少人 ， 然后什么样的一个规模你觉得是会比较舒服的 。
对 ， 我们现在是二十五个人左右吧 ， 对吧 。 那之后我们希望能够 ， 呃 ， 比如说到四十个人吧 ， 四十个人左右吧 。
对 ， 大概是这样的一个规模 ， 啊但是这个也看 ， 看这个市场情况变 ， 变化变化 。
然后你觉得就是现在整个的就业的版图里面在发生什么样的事情你看到的 。 因为我记得在上次采访里面说 ， 你说大家迟早全部做到失业的嘛 。
对 。
你觉得半年过去了 ， 然后我们现在距离你说的那个场景会更近了吗 ？
我觉得是更近了嘛 。 你看 Meta 最近又裁了一些人 ， 对吧 ， 就是很多地方都在裁人 ， 对啊 ， 那个 Amazon 年初也裁了一些人 ， 对吧 ， 然后之后还有其他地方还会裁人 。
原因是因为 agent 确实是 。
对 ， 我觉得一个是 AI，AI 确实就效率提高了 ， 啊就是现在的 AI 能力 ， 比如说相当于 ， 呃 ， 以前的就是四级或者五级的工程师嘛 ， 啊大概是这样的一个感觉 ， 就是因为一般是应届毕业生刚进大厂的时候 ， 我们叫 level four， 啊 ， 这个可能是 Google 和 Meta 的这个 level， 对 ， 然后比如说 senior 一点的话变成 level five， 是这样子 。
那么四和五的这个 ， 这些工程师 ， 啊他们 ， 他们的能力 ， 就是 AI 很多事情其实可以做的 ， 可以做的了 。
对 ， 因为有这样的 ， 而且四和五应该说是在大厂里面比较多的 。 对 ， 所以确实很 ， 就是 AI agent 来了之后呢 ， 确实有很多的影响 。
对 ， 就是我觉得以后可能会越 ， 越来越多吧 。
那说到这里呢 ， 我们接下来来说一说 ， 呃 ， 现在主流的这些 frontier lab， 啊 ， 然后也特别地想听一下你对他们的一些观察哈 。
前沿之争1:05:14
啊 ， 那首先呢 ， 我们先来聊一聊这个 Anthropic 吧 。 你怎么看这个 Andrew Karpathy 加入 Anthropic 这件事情的 。 圈内人大家怎么看 ？
我觉得一个是说明 ， 就是 self-improvement，auto research 非常重要 ， 啊这个我觉得我们 ， 我们也很开心 ， 你看到这个有意思的这个进展 ， 对吧 。
因为之前 Andrew Karpathy 在那个 ， 在那个 Twitter 上直播了自己这个做这个 auto research 这个过程 ， 对吧 ， 然后把这个图像啊和把这个 ， 这个 report 都开源了 ， 然后那段时间应该说很多人对这非常有兴趣 ， 然后也有很多人就是跟随着这个 pathway 的路线 ， 然后发现这个 auto research 这个路线可以做很多的优化 ， 啊 。
所以应该说他在这方面他的这个影响力很大啊 。 然后呢 ， 他也明确地跟大家说了 ， 就是他去 Anthropic 是做预训练 ， 是做这个 auto research。
啊 ， 所以应该说就是这个就让大家觉得就是确实 self-improvement， 啊或者说这个 self learning 这个方向应该说是主流了 ， 或者说大家去承认这个事情是对的 ， 我觉得这个是很好的 。
然后 Anthropic 我觉得今年的这个叙事哈 ， 然后这个趋势都非常猛 。
对 。
一部分也是因为它要上市了嘛 ， 一部分也 ， 也是因为它的商业化确实做得非常 ， 增长得非常非常快 。
你觉得它的这个优势能一直延续下去吗 ？ 因为我们看到 OpenAI 它其实最近的 Codex 也追得很快 。
对 。
我们刚才说到谷歌也出了 Anti-gravity， 那你觉得就是整个 coding 这一块的格局会延续着现在的这样的一个排位吗 ？
还是说有机会会出现一些变数的 。
嗯 ， 我觉得很难讲吧 ， 因为其实说实在并没有 ， 用下来就并没有觉得谁比谁厉害很多很多 ， 对吧 。
就比如说 Claude, Codex 五点五 ， 其实我用了之后我觉得挺好的 。 我觉得就是 Claude Code 我也在用嘛 ， 对吧 ， 都 ， 都挺好的 ， 但是各有各的问题 ， 对吧 。
就比如说 Claude Code 有些时候会给你 hallucinate， 对吧 。 我说 ， 哎 ， 这个答案是啥呀 ， 就是你给我总结一下 ， 给说一下 。
它就说 ， 这有问题 ， 不错了 。 然后它说 ， 哦 ， 是的是的 ，I'm so sorry。
承认错误 。
就是很快 ， 但是为什么我在没讲之前它就 ， 它就没说出来呢 。 所以有很多地方还是 ， 还是问题不少 ， 问题不少 ， 对 。
而且其实应该说那个 Codex 它并没有差 ， 我觉得并没有差那个 Claude Code 差太多 。
只要 OpenAI 想追 ， 就是能力上面 ， 还有产品力上面是能够追上去的 。
对 ， 我觉得是可以追上去 ， 就看它的执行上的速度多快 。 啊 ， 对 ， 所以其实我觉得像 Google 你想追也是可以追的嘛 。
你像 Google 最近 ， 呃 ， 他们成立一个 strike team 啊 ， 他们成立一个 team， 我们就要追 coding， 然后好像是那个 Scythe 亲自挂帅 。
对 ， 所以我觉得就是因为如果一个方向上特别火 ， 大家都知道它有商业价值 ， 那所有人都会去做它 。
嗯 。
那慢慢慢慢就会产生 ， 就是各种不同的方案 。 对 ， 所以 ， 啊 ， 还有很多开源的 ， 比如说像 DeepSeek，DeepSeek V4 我也用了嘛 ， 对 ， 我觉得还挺好的 。
当然了 ， 它有一个问题是 ， 就是它可能一开始就是你必须让它预热一下 。 比如预热一万个 token， 然后它会变聪明一点 。
所以一开始就有点奇怪 ， 但是过预热一段时间之后呢 ， 它就突然间就变聪明了 ， 然后就可以做很多事儿 。
对 ， 所以有 ， 当然有些问题 ， 但是只是说 ， 但这些东西应该说都是 ， 呃 ， 都是可以解决的吧 。
就是我觉得这个市场那么大 ， 肯定会有很多人愿意进来 ， 大家会迟早会 figure out 出来到底怎么把它做很好 。
所以接下来 ， 呃 ， 这个份额怎么分其实很难讲 。 其实我这边一直有个 ， 就是一个 concern， 就是说因为对于用户来说 ， 用户并不需要非常强的模型 ， 他只有 ， 他希望这个模型能力有上限 ， 就是说他希望这模型够用就行了 ， 比如说这 ， 这是一条边 ， 对吧 。
超过这个上限之后 ， 对用户来说他也不 ， 无所谓 ， 他就用他现在觉得用舒服的模型就可以了 。
所以如果大家动不动就达到上限 ， 也许大家市场是完全是看这个价格了 。
OK。
就可能变这样了 。
所以你觉得 coding 它的先发优势没有那么的重要 ， 其实可能最后还是会有一个打价 ， 价格战的这样一个 。
可能会有这个 ， 肯定有 ， 有这个问题 。 当然一个 counter-argument 是说 ，OK， 我们也许能看到就是数据飞轮的效应 ， 对吧 ， 先发的人获得很多数据 ， 然后训练很好 ， 这也是一种可能性 。
对 。 但另外一方面就是说 ， 也许大部分人写的代码都不怎么样 ， 就是重要的代码还是那些大神们写出来的 ， 所以这个 ， 这个飞轮能转起来吗 ？
也不是很清楚 。
这个 Anthropic 的 Midas 这个模型啊 ， 然后他们自己说太强了 ， 所以不敢发布 ， 就真的有这么强吗 ？
这个我也不做 ， 不做 comment 吧 ， 因为确实从书上来说很 ， 很很好 ， 对吧 ， 是很强 。 对 ， 当然也有网上 ， 你看网上也有很多人在说其实不怎么样啊 ， 其实不强啊 ， 对 ， 所以现在也不知道 ， 这个就等它发布之后再讲 。
所以你觉得 Anthropic 模型它强的原因是什么 ？ 就除了刚才我们说的 ， 它可能是用了一个不一样的 vision transform format 的架构 ， 然后有可能它的这个数据上面也有一些数据给弄到 pre-training 上面去重新训了 ， 就是主要是这两个点吗 ？
呃 ， 这 ， 你后者呢 ， 其实大家都在用 ， 不是说某一个人在用 ， 对吧 。 所以说 ， 就 ， 后者就说我训练的时候 ， 我把预训练的那个 ， 那个结果放到前面那个预训练或者中训练里面去 ， 这个大家都在做 。
嗯 。
对 ， 这个我不觉得是一个很大的一个 ， 一个 ， 一个量创新 。
所以有可能是模型上面有些创新 。
啊 ， 有可能是模型或者训练优化器啊 ， 或者说模型的那个 recipe 啊 ， 这个 ， 这个不知道 。 对 ， 因为这部分的信息现在是很少的 。
所以你觉得就接下来如果大家还要再继续检索它模型能力上面的话 ， 呃 ， 可能真的是要拼这个模型上面的创新了 。
是 。
呃 ， 对 ， 我觉得应该是的 。 就说一个当然是你有更多的卡 ， 有更多的那个机箱资源 ， 你可以做 ， 对吧 。
对 ， 但是另外就是说 ， 那个我觉得现在在网上 ， 就是你只要纯粹拼 scaling law 的话 ， 很久它是一个指数的 ， 这个指数到一定程度之后大家都受不了 ， 对吧 。
你要再十倍的电力 ， 再十倍的资源 ， 不可能 。 所以最终一定会撞到一个地方 ， 就是希望大家突然回过头来看一下 ， 有没有更好的方式来解决问题 。
嗯 。
对 ， 所以这个一定会发生 。 所以为什么现在 NeoLab 大家愿意去投资嘛 ， 也是原因嘛 。
是 。
你现在的模式不可持续 。
然后 coding 之后的下一个 the next big thing 是什么 ？ 最近很多人问我这个问题 ， 你觉得会是什么 ？
我觉得是 AI research。
AI research。
对 ， 就是我觉得我们现在做的能不能让 AI 变得更强 ， 然后 AI 做一些 research 做的事情 ， 对吧 。 因为 coding 为什么那么火 ， 我觉得是因为主要因为还是在于 ， 呃 ， 就是写 code 的人 ， 或者说写 code 的 ROI 很高 ， 我这个模型很强 ， 呃 ， 然后能够做一些本来需要高薪才能聘请的人的工作 。
因为有这个 ， 所以 ， 所以他才会 revenue， 他才会有收入 。 那么下一步你看就是因为现在大模型的人才也是非常贵的 ， 而且可能比写 code 的人更贵很多很多 ， 对吧 。
那 ， 那当然就是能够 ， 能够让这个事情自动化 ， 那当然是有很大的 ROI 的 。
那你觉得 AI research 上面的商业化回报会跟 coding 一样是有这么大的市场吗 ？
这个要看 ， 就是你最终的那个 AI research 你发现什么知识 ， 对吧 。 比如说你发现了一个 AI for science 发现一个新药 ， 那你回报了多少 ？
对 。
对吧 ， 你发现一个新材料 ， 回报多少 ， 对吧 。 你发现了新方法 ， 训练模型回报了多少 ， 这个都是天文数字 。
当然这些东西就是高风险高回报的事情 。
然后 OpenAI 跟 Anthropic 的一个比拼 ， 你会觉得是什么样的一个结果 ？ 短期跟长期来看都可以 。
我觉得很难 ， 现在很难说吧 ， 因为 OpenAI 之前有些问题是有很多的方向它都在做 。
嗯 。
比如不太 focus。
现在 。
现在开始很 focus， 你就很难说两边谁比较好 ， 谁比较 ， 对吧 。 这个就是 ， 这个就是问题 。 所以这个我也很难评论吧 ， 就是我们看大家 ， 其实对用户来说这个是好事儿 ， 因为通过这方式你有很多东西可以用 ， 而且价格会打下来 ， 所以不是坏事 。
那就接下来就是决定他们胜负手的关键因素是什么呢 ？ 谁能够找到更新的办事 。
我觉得这倒不是 ， 因为代码本身已经很赚钱了 。 接下来的问题是说 ， 谁能够让用户愿意去用它们吧 ， 我觉得这可能是重要的 。
所以还是产品方面的 。
对 ， 对 。
竞争 。
对吧 ， 因为他们两家都已经在 ， 特别是 Anthropic 嘛 ， 就是说他们就现在 ， 最终他们主要的 focus revenue 嘛 ，revenue 很高 ， 一直在往上走 。Revenue 一旦有了之后呢 ， 其实资本市场有一个问题 ， 就是一旦你开始有 revenue 了 ， 我希望有更多 revenue。
那是 。
所以这个其实是一个 ， 一个很有意思的一个 ， 一个 ， 一个新现象 ， 对吧 。 对 ， 那其实如果是这样的话 ， 那他们两边就会有这样的 concern， 比如说 ， 哦 ，Anthropic 有 revenue， 说明马上要赚钱了 。
那么对 OpenAI 来说 ， 你怎么还没赚钱呢 ？
对 。
你赚很 ， 你有很多 revenue， 但是你还是资本 ， 你这个 ， 你靠裁很高 。
对 。
对 ， 怎么办 ？ 那么会不会有这个问题 ？ 但是他们都要上市了嘛 。
你要不然就是削减你的 cost。
对 。
为什么把 Sora 关了 ， 对吧 。
是是 。
然后 ， 要不然你就再多挣点钱 。
它一旦进入这个叙事了之后 ， 那么这个逻辑就和以前那个 research lab 的逻辑不一样了 。 有些 lab 就说我要证明自己很厉害 ， 我做了这个新东西出来 ， 你看没人做过吧 ， 很厉害 ， 超级 impressive。
但是一旦它掉进了这个资本上的一个就是上市啊 ， 要做资本需求 ， 要做这个 revenue， 要做资产负债表的时候呢 ， 你就会回到了就是之前的就是商业模式 ， 就是说 OK， 我希望我的公司是有 ， 有 revenue 的 ，cost 又低的 ， 能够稳定赚钱的 。
对 。
对 ， 所以其实可能赛道就不一样了 。
你们有一天也会遇到这个问题 。
这个我们还早吧 。
然后我们来说一下谷歌哈 ， 然后谷歌这次的 IO 发布似乎不太理想 。 你觉得谷歌还能够追上来吗 ？
然后机会在哪里呢 ？
这个我就不做评论了吧 。 对 ， 我觉得还是 ， 我觉得谷歌还是很厉害的 ， 还有很多人非常厉害在里面 ， 然后愿意做很很很厉害的事情 。
对 ， 所以只要领 ， 领导层有这个重视的话 ， 一定 ， 一定还是不错的 。 你想 Google 之前从当时 Gemini 二 Gemini 二点五 ，Gemini 二的时候 ， 其实大家一直在说它不行了 。
Gemini 三就很厉害 。
Gemini 三就很好 ， 对 ， 所以接下来应该还是 。 但另外确实我们也公司也是 Google Venture 投的嘛 。
哦 ， 好的好的 ， 理解理解理解 。 嗯好 ， 然后来说说 Meta。 嗯 ，Meta 在你在你离开之后呢 ， 是经历过数次的重组哈 ， 然后 。
对 。
他们之前是推了這個 Musepark 出来 。
对 。
你怎么评价 Musepark？
那其实还不错的 ， 就是我也用了一下 ， 我觉得应该说 ， 首先第一个有利益相关 ， 就是我也有很多 ， 我还是有很多 Meta 股票 ， 对吧 ， 所以我也 。
感谢披露 。
对 ， 我有很多股票 ， 所以我也没有办法讲说那个可能说实话也不是很客观 。 我觉得 Meta 的那个 Musepark 还是不错的 ， 还是有很多的 ， 特别是多模态 ， 对吧 ， 然后还 ， 还挺好 ， 它的 understanding 还有一些回答也比较 ， 比较好 ， 都还不错 。
当然了 ， 就是总的来说应该说还是可能比 Gemini 三还是要差一点 。
然后我看到有评论说这个 Musepark 它是一个为 Meta 自身产品场景高度定制的这样的一个模型 ， 而不是说一个非常强大的一个通用前沿模型 。
那这是不是意味着 Meta 其实在 AI 的策略上就完全转向了 ， 就是说我完全就不拼这种最强大的 general 模型了 。
我倒不觉得是这样 ， 我觉得它还是一个 general 的 model。 对 ， 对 ， 至少它从 ， 从它内部的这个 ， 这个工作模式来说 ， 还是还是 general model。
你先训练一个更 general 的模型 ， 然后再就是 finetune for the specific use case， 这个是 ， 这个是更好的 。
就是说他们其实还是没有放弃说我要去那个争夺最强模型的这件事情 。
对啊对啊 ， 不然的话就是 ， 就 Meta 就没有必要花很多钱做这个事了 。
你觉得他们还有机会吗 ？
机会还是有很多吧 ， 我觉得 。 应该还是很多的 ， 因为毕竟大家还在往前走 ， 而且其实大模型一旦有个人训练出来之后 ， 不出几个月就会被另外一个超过 。
大模型里面没有 ， 没有永远赢家 ， 应该这么说 ， 对吧 。 现在大家都是犬牙交错地往前走 ， 所以很难说 。
所以需要的是什么 ？ 需要有一个人灵光一现 。
那也不是 ， 这个还是需要一个团队作战嘛 ， 对吧 。 有很多的人 ， 大家把事情做好 ， 拼在一起就可以 。
对 ， 就是大模型很多时候 ， 这点上我是不是挺同意那个姚硕宇的观点嘛 ， 就是我觉得大模型特别是做这种那个工业级别的 ， 然后那个大厂做大模型 ， 很多时候是每个人都在各自岗位上兢兢业业地把它做完 ， 然后 pipeline 通了之后就跑起来就行 。
但如果就每个大厂都这样的话 ， 呃 ， 那它差一点在哪里呢 ？
那就是看你做得多细啊 ， 做得多细 ， 然后你的工作做得多多努力 ， 然后事情做得多多好 。 一些小东西 ， 有些人注意到了 ， 有些人没注意到 ， 注意到的人可能就获得一些提升 ， 没注意到的人就没注 ， 没获得这个提升 ， 就是这样子 。
所以你觉得 TP，TPT Lab 还是有机会的 。
我觉得还是有的吧 。 对 ， 但是也要看他们内部怎么样 operate。
Meta 最近有点争议啊 ， 它最近就是宣布一方面是裁了七千八百人 。
职业变局1:18:38
对 。
还有同时发生了一件很有争议的事情 ， 那就是他们要强制蒸馏员工这个事情 。 然后说要利用员工的工作数据去训练内部的 AI 模型 ， 这样的话 ， 它的 AI 模型就可以通过观察内部员工完成任务的过程来学习 。
说呢它现在的能力已经是要好于外包人员了 。 对 ， 我看蛮多人挺生气这件事情的 ， 你怎么看 ？
这个事情呢 ， 确实是 ， 就应该说感觉上说得比较赤裸裸吧 。 所以大家都会有一些意见 ， 是这样子 。
因为如果你觉得你知道你自己在将来一段时间之内就会被蒸馏 ， 洗心大法还是 ， 顷刻炼化 ， 炼好了之后 ， 然后你就会 ， 你就被踢出去的话 ， 大家都会开心的 。
对 ， 这个其实应该说在行 ， 在做事情上来说 ， 应该比较 ， 就是不太顾及员工感受吧 。 这个其实是一个 ， 一个问题 。
对 ， 应该说裁员本身的过程中 ， 应该说我也会觉得是有这个问题 ， 一直在 ， 一直有 ， 也存在 ， 也存在 ， 对 。
但不管怎么样 ， 它是个大公司嘛 ， 对吧 ？ 大家来了之后 ， 其实越是那个愿者上钩 ， 对 ， 那你来了之后 ， 他们有这个条款 ， 你就只能遵守这个条款 。
但是蒸馏员工这个事情感觉是个大趋势吗 ？
我觉得有一个人开始做 ， 大家都会做 ， 所以这个没有什么对和错的事情 ， 对吧 。 如果公司觉得为了公司的利益 ， 我要把这个事情 ， 就希望把公司的所有数据都拿到手 ， 然后把这个事情做成 ， 这个是无果后非的嘛 。
因为对公司来说 ， 这是我雇佣条款之一 ， 你来的话 ， 你就得遵守这个条件 。 但是 ， 但是呢 ， 我觉得以后可能大家会发现 ， 就这个蒸馏有没有 ， 有多大的用处 ， 可能是一个问题 。
可能大部分人会因为有这个条件 ， 导致这些人不愿意工作得特别好 ， 不愿意把自己最重要的事情给 。
哦 ， 懂了 。
或者故意在里面埋雷啊 ， 或者说埋一些奇奇怪怪的东西啊 ， 让你训练变 ， 搞坏掉 ， 制造一些就是叫你投毒什么 ， 这个 ， 这个就很难去判断吧 。
所以其实我也不是很希望就是员工跟公司有这样的对立 。 嗯 ， 对 ， 现在大家都在往一个方向上走 。
但是感觉在非常 high level 的角度去看这个事情的时候的话 。
对 。
就还是不可避免的嘛 ， 可能越来越多的东西 。
对对对 。
公司希望是 AI 来做 ， 可能以后会发展的一个情况就是我公司确实不需要这么多人了 。
是的 ， 这个是客观事实 。 就是说 ， 就是其实我最近也写了一篇 blog 嘛 ， 对吧 ， 我也在说 ， 就是 web coding 的一些 ， 或者说 AI 工具的一些体会嘛 ， 对吧 。
确实 ， 我会觉得那个用的 ， 用的人会越来越少 ， 嗯 。
嗯 。
是这样子 。 所以我去年 ， 今年年初我写了一篇 blog， 我说 ， 啊 ， 以后可能大家都是创业者 ， 大家都是合伙人 。
嗯 。
我觉得以后是会发生的 ， 因为最终大家就是大厂不需要那么多人了 ， 所以大家就得找到自己的意义 。
嗯 。
对吧 ， 以前可能是 ， 哦 ， 你被教育出来 ， 出来教育了 ， 就是四年本科 ， 两年硕士 ， 五年博士 ， 最终你希望的 ， 就是你的目的是成为一个螺丝钉 ， 或成为一个某个大机器的一个零件 。
嗯 。
啊 ， 但是现在已经不要 ， 大机器不需要你的零件了 ， 就是你得自己去寻找自己的意义 ， 对吧 ？
就变成另外一种 ， 就是可能是一种新的文艺复兴吧 ， 一种你可能回到了以前古希腊的或者说以前的那些状态 ， 就是说 ，OK， 我每个人都需要找到自己的 ， 自己的想要做的事情 。
嗯 。
那么这个过程其实应该说是一个 ， 应该说比较痛苦的过程吧 。 对 ， 但是 ， 呃 ， 就最终可能会不可避免地发生 。
对 。
这一天 。
对 。
还有多远 ， 你觉得 。
我觉得现在就已经在发生了 。
已经在发生了 。
发生了 ， 对 ， 就是之后 ， 呃 ， 大家能找到的 ， 啊 ， 那就会找到自己的方向 ， 然后可能找到自己的新的模式 ， 然后做得挺开心的 ， 那就会变成新时代的一个 ， 一个 ， 一个样本 ， 就是 。
嗯 。
一个 ， 一个状态 ， 对 ， 就找不到的话就 ， 就比较难 。
嗯 。
对 ， 但是这个就比较难的地方是在整个过程应该说很快发生了 ， 可能将来在比如三到五年内 。
嗯 。
就会有很多很多人去面临这样的选择 。
嗯 。
对吧 ， 你会发现你去跳到大厂 ， 从这个大厂被裁了 ， 你跳另外一家大厂 ， 过来它又被裁了 。
对 。
再过来又被裁了 。
嗯 。
就最后因为 ， 就像 ， 就它就相当于就是在一条鱼在水坑里面跳 ， 但是水就在干 ， 对吧 。
嗯嗯 。
对吧 ， 像以前有一句话嘛 ， 就说有人把水弄干了 ， 把水弄干了 ， 鱼不在这里面 。
对 。
啊 ， 对吧 。 所以这个 ， 这 ， 这个故事当然是在形容什么四维 ， 四维的生物 ， 那个把世界 ， 把这个视觉变成三维 。
对 。
这样的 。
呃 。
一个 ， 一个无视打击的这样一个过程 。 但是呢 ， 这个同样的故事呢 ， 也可以用来讲这个现在的 ， 现在的事情 ， 对吧 。
对吧 ， 有些 ， 有些鱼把水弄干了 ， 弄干之后呢 ， 那些其他的鱼就不停地在跳 ， 但是不停在跳的时候呢 ， 你会发现水总的来说是越来越少的 ， 所以你永远找不到 ， 你最终一定要变成一个四维生物 ， 你才能活下来 。
对 ， 所以你这条鱼要进化成鸟 ， 长出 。
对 。
翅膀来 。
对 。
才能够生存下去 。
是的是的是的 ， 是这样子 ， 所以大趋势是这样子 。
我们再来聊聊 xAI 哈 。
嗯 。
你觉得 xAI 发生了什么 ？ 就是如果我们按照刚才的这个思路来说 ， 我有一个团体 ， 我有资源 ， 有钱 ， 有人才 。
对对对 。
对吧 ， 就是我应该能做出来还不错的东西 。
嗯 。
但是就 xAI 发生了什么 ？
呃 ， 我反正听说是这样的 ， 就是说确实也跟 Llama Fold 当时情况是比较像的 ， 老板还是希望事情很快能 ， 能发生 。
嗯 。
对 ， 但是呢 ， 就是说这个压力比较大 ， 啊 ， 所以就会导致很多问题 。
嗯 。
啊 ， 导致问题之后呢 ， 你就发现它出来的模型可能不达预期啊 ， 或者说不是很满意啊 ， 那就会有一些 ， 一些问题 。
嗯 。
就是都是这样子 ， 就是之前我也说了很多次 ， 就是一个组织 ， 如果这个组织里面的人 ， 他没有这个能力去 push back， 或者说去反驳 。
嗯 。
上面对他的要求 ， 那么这个呢 ， 这个组织的人就只能通过某种方式来顺从这个上面压力 。 但这一开始这个顺从是可以的 ， 但是时间长了之后呢 ， 总有一天你会 ， 这个上面的人会发现 ， 这个组织的 delivery 跟 the promise 是不一样的 ， 那么就会产生问题 。
嗯 。
产生问题之后呢 ， 那你就会有一个 ， 一个 shock， 就是很大的一个震 ， 地震嘛 。
嗯 。
对吧 ， 这个地震会产生很多 ， 很多 ， 很多结果 ， 就比如说 ， 就其实应该说 Llama Fold 跟 xAI 的结果很像很像 。
嗯 。
对吧 ， 就是 ， 就是老板会觉得 ， 啊 ， 你们这些人不能 ， 我不相信你们了 ， 我们得外面再拉个人过来 。
嗯 。
然后去 ， 去做这个事情 。 那么原来这个组织里面人可能就会比较 ， 就 ， 就 ， 就境遇就比较惨 。
现在听起来的话就是这种前沿大模型之争 ， 其实最后变成了一个组织架构之争 。
是的 ， 很多 ， 应该说组织架构在这次的这个技术竞赛当中有 ， 有很大的一个角色 。
嗯 。
对 ， 应该说本质上来说是先进生产力 ， 就是和落后生产关系之间的一个 ， 一个矛盾吧 ， 对吧 ？
可以 ， 可以 ， 可以 ， 可以这么说 ， 可以这么说 ， 但是你落后生产关系也不可能一下子就 ， 就消失嘛 。
而且我们现在都不知道什么是先进的生产关系 。
嗯 。
所以因为落后生产关系在那儿了 ， 所以就会产生很多很多矛盾 。
虽然大家说 scaling law 到头说了很久了 。
对对对 。
但是目前呢 ， 其实那前几个大的 lab 还在继续卷 scale，scaling 这件事情嘛 。
对对对 。
你觉得我们还能卷多久啊 ？
还是会卷的 ， 至少大厂里面还是会卷的 ， 有惯性 。
嗯 。
对 ， 然后大厂也有资源嘛 ， 对吧 ， 然后也愿意出钱出力出人 ， 嗯 ， 所以还是会卷 。 然后大家思维惯性还是我们要 scaling law。
嗯 。
啊 ， 就是所以还是会卷一阵子 ， 还卷一阵子 。 对 ， 我觉得这个是小厂是有 ， 有 ， 有 ， 有优势的 。
嗯 。
因为小厂一个是人少 ， 然后特别是有一些人 ， 他们有自己的这个 belief。
嗯 。
拼起来之后 ， 他会有更新的想法去贯彻下去 。 啊 ， 所以小厂可能会比大厂有更多有希望的地方 ， 但 scale 会卷 ， 卷到最后大家卷不动了 ， 那就会有其他的方式做出来 。
然后最后能不能跟我们讲一下你现在的工作状态是什么样子的 。 然后你刚刚跟我说 ， 啊 ， 公司因为刚开始嘛 。
对 。
大家充满了干劲 ， 对吧 。
对对 。
然后公司的这个企业文化大概是什么样子的 ？
企业文化应该说还是比较 ， 啊 ， 一个是比较 ， 就是相对来说说话就比较直吧 ， 对吧 ， 大家都比较 direct， 然后愿意很快地给 feedback。
嗯 。
啊 ， 很快地给大家那个反馈啊 ， 然后那个比较 technical。
嗯 。
对 ， 大家都是 ， 啊 ， 都是就是干活的 ， 就是大家愿意坐下来埋头把事情做好 ， 啊 ， 做好之后 ， 然后你看 ， 这是我的结果 。
然后这是我现在的那个效果 ， 然后大家有什么经验和建议什么的 ， 对 。 然后这样来说也比较实在嘛 ， 也不会不是什么太花哨的东西 。
嗯 。
对 ， 有什么事情我们可以 ， 呃 ， 有话直说吧 ， 就是有话大家就可以把东西摊在桌子上 ， 然后大家讨论 。
能不能跟我分享一个你最近觉得 ， 哎 ， 还挺开心的时刻的 。
有 ， 其实有不少 。
嗯 。
对 ， 但是我现在暂时不说吧 。
有没有能说的比较开心的时刻 ？
呃 ， 应该说公司的 launch 比较顺利吧 。
嗯 。
对 ， 这个是很很开心的 。 对 ， 对 ， 之前我们准备了也有一阵子了 ， 对吧 ， 然后融资也很顺利 ， 我觉得这个是很很很不错 。
然后我们在那个发布之后呢 ， 应该感觉上就是 ， 嗯 ， 正面的这个回复还是很多的 。
嗯 。
大家也很很很有那个 ， 很支持吧 。 对 ， 这个对公司来说是很好很很好的一个第一步 。
嗯 。
然后大家都会 ， 就是特别是外界的反响 ， 应该说还是比较正面的 。
我觉得刚才在采访当中 ， 你有一句话挺触动我的 。
对 。
你说反正你去跳到不同的大厂 ， 你发现水已经没有了 。
对啊对啊 。
反正你都找不到工作 ， 那这接下来呢 ， 就是怎么去找到人生的意义这件事情 。
对 。
其实是非常重要的 。
是的 ， 是是是 。
对 。
对 。
对于你来说 ， 你怎么去找到你人生意义的 ？
这个其实我觉得在 GPT4 刚出来的时候 ， 我就写过一篇 blog， 我说以后就是大家就读育万 。
嗯 。
就你们能做一件事情别人做不了的 ， 但只有你能做 ， 或者只有你愿意去探索的东西 ， 这个是最重要的 。
嗯 。
对吧 ， 然后你在读育万上越走越远 ， 你们将你找到的 ， 你是你获得的所有的数据 。
嗯 。
都是新的 。
嗯 。
都可以给别人分享 。 这这种的话就是你相当于是一个行走的数据员吧 。 对吧 ， 然后你获得所有东西你都可以给大家分享的话 ， 你对这个世界是有价值的 。
当然这只是一个非常个人的体验嘛 ， 对吧 ？ 因为每个人其实不一样的 。
现在还有时间写小说吗 ？
呃 ， 这之前一段时间比较忙 。
嗯 。
就比较忙 ， 但之后我会考虑一下 。
最近 AI 的一些进展 ， 你自己的一些思考 ， 你觉得对写科幻小说是不是有了新的 idea？
我觉得我有了紧迫感吧 ， 如果再不写的话 ， 我的 idea 就没了 ， 因为就现在 -
就已经变成现实了是吗 ？
对对 。 现在感觉上写小说可能还来 ， 就是写得慢的话 ， 可能就跟不上现在 AI 的进展已经到这样的程度 。
你可以让 AI 帮你写 。
是啊可以帮我写 。 但 AI 有自己的 AI way 嘛 ， 对吧 。 所以有没有办法能够把 AI way 去掉 ， 然后能找到自己想要做的 、 想要写的东西 ， 那写得比较好 。
那感谢渊栋 。
不客气 。
然后也期待你们接下来的可以宣布的一些新的进展 。
嗯 。
然后到时候 。
好的好的 。
可以再聊聊 。
好的 。 好 ， 感谢陈茜 。
谢谢谢谢 。
办公室参观1:29:28
好 。 好 ， 欢迎来到 Recursive Self-Intelligence。
哦 ， 谢谢 。 所以你们什么时候搬进来的 ？ 这个新办公室 。
可能两个多月前吧 。
啊 。
对 ， 两个月前搬进来 。
我发现很多的新 ， 那个实验室都是在 City， 在那个旧金山城里面了 。
对对对 。
为什么呀 ？ 大家都喜欢在城里面 ， 不喜欢在南湾 。
啊我觉得这边就因为是人流量比较高吧 。
啊 。
对 ， 有很多人 ， 有很多的初创公司在这里面 。
啊 。
然后交流起来也比较方便 。
OK。
对 ， 有很多很有意思的事情在发生 。
对 ， 现在咱们那个团队有多少人啊 ？
现在可能有 25 个人 。
所以大家都是可以有 ， 可以 remote 的工作的吗 ？ 还是必须要来办公室 。
呃 ， 我们现在基本上就是有三分之二的人在三弗朗西斯科 。
啊 。
还有三分之一的人在这个 ， 啊 ， 在伦敦 。
啊 。 那今天是周二下午 ， 就是 。
嗯哼 。
啊 ， 都没有什么人了 ， 大家都在哪啊 ？
啊周二下午我觉得其实应该还有不少人其实在家里工作嘛 。
嗯 。
但是我们一般一个礼拜我们可能 -
其实还是可以 remote work。
对 ， 我们可以一个礼拜来个三天吧 。
嗯 。
三天左右 。
对 ， 我觉得你们采光还是挺好的 。
对 。
这个大玻璃窗 。
嗯 ， 对 。
你的工位在哪里 ？
就在那边 。
嗯 。
那个角上 。 你看 。
OK。
对 ， 这就是一个就是很随机的一个地方 。
嗯 。
我没有什么特别 ， 说有个地方老板要坐了这样 。
啊 。
有个地方工作人员要坐 。
嗯 。
我们都坐一起 。
啊 。
对 ， 然后这样的话交流起来会比较方便 。
OK， 所以没有单独的办公室 。
是是是 。
大家都坐在外面这样 。
对对对 。
嗯 。 你们开会多吗 ？
呃 ， 不太多 。
嗯 。
对 ， 我们的目的当然是不希望开会 。
啊 。
我希望大家坐下来把事情做成 。
觉得就是跟大厂区别还是挺大的吧 。
还是挺大的 ， 应该说很大的区别 。
嗯 。
我们这边还是希望有事情 ， 就是大家坐下来很快地沟通沟通 ， 沟通完了之后把事情都做成就好了 。
我在跟 Andrew 戴聊的时候 ， 他说那个有个研究员强烈地要求他们在办公室里面放一个桑拿 ， 桑拿的一个小房 ， 因为大家喜欢 。
我们这边有一乒乓球桌呀 。
然后坐下桑拿 ， 然后需要思考一下 。
这个应该还没有那么高级 ， 我们现在有乒乓球桌 。
对 ， 你打乒乓球吗 ？
会打 。
你会打 。 啊 ， 那么可以打两下 。
可以 。
First blood。
我看已经有 - Double kill。 机器人可以打乒乓球了 。
是是 ， 索尼最近有个机器人 ， 听他说打得不错 。
Triple kill。 那我就先 ， 先这样 。
那先这样吧 。 对 。 感谢大家过来 。
好 。 好 ， 那以上就是我和田渊栋对谈的所有内容 ， 以及 RSI 的 office tour 啦 。 那我们也会密切地关注包括 RSI 在内的 Neolab 的动向 ， 以及呢硅谷核心 AI 研究员的视频播客系列还会继续 ， 大家不要忘了关注我们的账号 ， 你们的留言 、 点赞和转发是支持我们硅谷要闻要做好深度科技和商业内容的最佳动力 。
我是陈茜 ， 那我们就下期视频再见啦 。Bye。