您当前的位置: 首页 >> 热门资讯

马斯克 defi_马斯克:这是我见过的关于《DeepSeek》最透彻的分析!,这都可以

作者:admin 日期:2025-03-27 点击数:0

来源:市场资讯来源:AI智见录

“马斯克评论:‘有趣的分析我所见过的最好的’”“AI 将无处不在”DeepSeek r1 的真相与细节实际情况:它在相关 App Store 类别中下载量排名第一,明显领先于 ChatGPT,这是 Gemini 和 Claude 都未能实现的。

从质量角度来看,它与 o1 相当,但仍落后于 o3它实现了真正的算法突破,大大提高了训练和推理的效率FP8 训练、MLA 和多 token 预测都具有重要意义尽管 r1 的训练成本仅为 600 万美元,但这一数字极具误导性。

即使他们的硬件架构也很新颖,值得注意的是他们使用 PCI-Express 进行扩展重要细节:根据技术论文,600 万美元并不包括“与前期研究和架构、算法和数据消融实验相关的成本”这意味着,只有在实验室已经在前期研究上投入数亿美元并且能够访问更大规模集群的情况下,才有可能以 600 万美元的成本训练出 r1 质量的模型。

DeepSeek 显然拥有远超 2048 个 H800 的算力;他们早期的一篇论文提到拥有 10000 个 A100 的集群一个同样聪明的团队不可能仅凭 600 万美元就能启动 2000 个 GPU 集群并从头开始训练 r1。

尽管他们尽了最大努力,但 20% 的 Nvidia GPU 可能并不在新加坡存在大量的知识蒸馏——也就是说,如果没有对 GPT-4o 和 o1 的无障碍访问,他们可能无法完成这个训练正如 @altcap 指出的,限制前沿 GPU 的访问权限却不对中国蒸馏美国前沿模型的能力采取任何措施,这显然违背了出口限制的目的。

为什么要买牛,如果可以免费获得牛奶?核心发现:DeepSeek r1 确实具有重要意义,但需要注意一些细微差别最重要的是 r1 在推理成本上比 o1 低得多且效率更高,这比 600 万美元的训练成本更具意义。

想要游戏更轻松、更高效吗?试试【星界云手机】吧!云端托管手游,搭配挂机脚本,让你无需手动操作,轻松完成日常任务,释放你的双手,尽情享受游戏的快乐!

r1 的每次 API 调用成本比 o1 低 93%,可以在高端工作站上本地运行,而且似乎没有遇到任何速率限制,这令人难以置信每 10 亿个活跃参数在 FP8 下需要 1GB 的 RAM,因此 r1 需要 37GB 的 RAM。

批处理大大降低了成本,更多的计算能力增加了每秒 token 数,所以云端推理仍然具有优势还要注意,这里存在真正的地缘政治动态,这在“Stargate”之后发布并非巧合再见了,5000 亿美元——我们几乎都还没认识你。

结论要点:降低训练成本将提高 AI 的投资回报率在短期内,这对训练资本支出或“能源”主题都不会产生积极影响目前“AI 基础设施”赢家(跨科技、工业、公用事业和能源领域)面临的最大风险是:r1 的精简版本可以在高端工作站(如有人提到的 Mac Studio Pro)上本地运行。

这意味着类似的模型将在约 2 年内可以在高性能手机上运行如果推理计算转移到边缘设备是因为“够用了”,那么我们将面临一个截然不同的世界,出现不同的赢家——即我们将见证有史以来最大规模的 PC 和智能手机升级周期。

计算能力一直在集中化和去中心化之间摆动人工超级智能(ASI)已经非常接近,但没有人真正知道超级智能的经济回报会是什么如果一个耗资 1000 亿美元、在 10 万多个 Blackwells(o5、Gemini 3、Grok 4)上训练的推理模型能够治愈癌症和发明曲速引擎,那么 ASI 的回报将非常高,训练资本支出和能源消耗将稳步增长;戴森球将重新成为解释费米悖论的最佳理论。

我希望 ASI 的回报是高的——那将太棒了这对于使用 AI 的公司都非常有利:软件、互联网等从经济角度来看,这极大地提升了分发渠道和独特数据的价值——YouTube、Facebook、Instagram 和 X。

美国的实验室可能会停止发布其前沿模型,以防止对 r1 至关重要的知识蒸馏,尽管在这方面,猫可能已经完全跑出了袋子即 r1 可能足以训练 r2 等Grok-3 的影响Grok-3 的出现可能会显著影响上述结论。

这将是自 GPT-4 以来首次对预训练扩展定律的重要测试就像花了几周时间通过强化学习将 v3 转变为 r1 一样,运行必要的强化学习来提高 Grok-3 的推理能力也可能需要几周时间基础模型越好,推理模型就应该越好,因为三个扩展定律是相乘的——预训练、后训练期间的强化学习,以及推理过程中的测试时计算(这是强化学习的函数)。

Grok-3 已经表明它可以完成超出 o1 的任务——参见 Tesseract 演示——超出多少将变得很重要用《双塔奇兵》中一个匿名兽人的话来说,“肉可能很快就会重新上菜”时间会告诉我们答案,“当事实改变时,我就改变主意。

眼睛疲劳,手指酸痛,想要游戏更轻松?试试【星界云手机】吧!它以云端托管手游为基础,让你告别手指疲劳,只需坐享游戏乐趣。挂机脚本助你24小时不间断打怪升级,游戏更轻松,享受游戏乐趣!

本站所有文章、数据、图片均来自互联网,一切版权均归源网站或源作者所有。

如果侵犯了你的权益请来信告知我们删除。邮箱:631580315@qq.com

标签: