GPT-5要来了?Sam Altman揭秘关键内容
今天Sam Altman确定即将发布o3mini版本后,在网友提问环节,就有人提出,能透露点关于GPT-5的消息吗?
大家比较关心的三个问题:
1) 什么时候发布(有没有预计时间)。
2) 性能如何,比GPT-4o好多少?
3) GPT系列的未来,会和o系列合并吗?
Altman:1和2两个问题没有正面回应,但肯定会让用户满意。第三个给出了答案,在2025年,GPT系列和**的o系列模型将会合并。这也就是说GPT-5可能是个超大的混合模型。
关于GPT-5的传言这几天比较多,有人披露其实OpenAI已经在内部开发了出来,只是回报率不够高,远没有内部使用来的好处更多,比如用于模型蒸馏。
便就特意发布深度长文对GPT-5进行了猜测。他首先提到了Anthropic的Claude Opus 3.5模型,这是一个与GPT-5有类似情况的案例。
原本预计Anthropic会在2024年10月发布Claude Opus 3.5作为对GPT-4o的回应,但Anthropic却发布了Claude Sonnet 3.5的更新版本(被称为Sonnet 3.6),而Opus 3.5却杳无音信。
2024年10月28日,作者在周评中提到Sonnet 3.6可能是Opus 3.5失败训练运行的一个中间检查点。同日,Reddit上有人声称Opus 3.5已被废弃。
2024年11月11日,Anthropic的CEO Dario Amodei在Lex Fridman播客中否认了Opus 3.5被废弃的谣言,但没有给出具体日期。
2024年11月13日,Bloomberg确认了earlier rumors,称Opus 3.5在评估中的表现比旧版本好,但提升幅度不足以弥补模型的规模和构建及运行成本。
2024年12月11日,半导体专家Dylan Patel及其团队揭示了Sonnet 3.6和失踪的Opus 3.5之间的联系:Opus 3.5被用于生成合成数据,以显著提升Sonnet 3.5的性能。
Anthropic通过将Opus 3.5的性能蒸馏到Sonnet 3.6中,使得Sonnet 3.6不仅性能出色,而且在成本上更具优势。这种技术使得AI实验室能够在不增加推理成本的情况下提升小型模型的性能。
所以,OpenAI可能也在采用类似的方法处理GPT-5。由于**的模型不仅性能更好,而且比上一代更小、更便宜,OpenAI可能也在通过蒸馏技术来提升其模型性能,同时控制成本。他认为,OpenAI可能已经训练了GPT-5,但因为性能提升不足以弥补巨大的运行成本,选择将其保留为内部的“教师”模型,用于蒸馏更小的“学生”模型,如GPT-4o、o1等。
因此,OpenAI很可能已经在内部使用GPT-5,就像Anthropic使用Opus 3.5一样。文章甚至推测OpenAI可能**不会发布GPT-5。因为现在公众已经将性能标准从GPT-4o或Claude Sonnet 3.6转移到了o1/o3上,OpenAI探索测试时的扩展定律,使得GPT-5需要超越的门槛不断提高。
本文 巴适财经 原创,转载保留链接!网址:/article/767558.html
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。