OpenAI的人工智能遭遇瓶颈，首席科学家另辟蹊径
人工智能领域的先驱--OpenAI，正因其新锐的人工智能模型"Orion"的进展遭遇阻碍而备受关注。据知情人士透露，Orion模型的性能远未达到预期，其质量改进幅度与GPT-3到GPT-4的过渡相比"微不足道"。不仅如此，该模型在某些任务上的可靠性甚至不如其前辈GPT-4，在编程方面的表现也平平。
这一瓶颈的根源归结于高质量文本和其他训练数据的短缺。随着可用训练数据的减少，大语言模型（LLM）在某些领域的进步也随之放缓。而随着模型的不断壮大，训练过程对计算资源、资金和电力的消耗也将水涨船高，进一步抬高开发和运营的整体成本。
OpenAI研究员诺姆·布朗在TED AI大会上警示："我们真的要耗费数千亿美元甚至数万亿美元来训练模型吗？在某个时候，扩展定律会崩溃。"
为应对这一困境，OpenAI成立了一个基础团队，由负责预训练的尼克·雷德领导。该团队将研究如何克服训练数据的匮乏，并探究大模型扩展定律的持续性。
扩展定律是人工智能领域的核心假设，即只要有更多的训练数据和计算能力，大语言模型就能继续提升性能。然而，随着模型规模的不断扩大，每单位资源的性能提升幅度将逐渐递减，最终达到一个瓶颈。
Orion的困境正印证了这一规律。模型规模的增长最初带来的性能提升十分明显，但随着模型越发庞大，即使继续增加模型大小或训练数据量，性能提升也变得微乎其微。这也被称为"撞墙"现象。
最近发表在arXiv上的一篇论文指出，由于对公共人类文本数据的需求不断增长以及现有数据量的有限性，预计到2026年至2032年之间，大语言模型的发展将耗尽现有的公共人类文本数据资源。
尽管诺姆·布朗指出了未来模型训练的"经济问题"，但他仍然坚信"人工智能的发展不会很快放缓"。OpenAI的大多数研究人员也持乐观态度，认为虽然模型的扩展定律可能会放缓，但依靠优化推理时间和训练后改进，人工智能的整体发展不会受到影响。
此外，Meta的马克·扎克伯格、OpenAI的萨姆·奥特曼和其他AI开发商的首席执行官也公开表示，他们尚未达到传统扩展定律的极限，并仍在开发昂贵的巨型数据中心以提升预训练模型的性能。
OpenAI的产品副总裁彼得·韦林德则强调了"测试时计算"（TTC）功能的强大潜力。"TTC"是指在模型部署后，对新的输入数据进行推理或预测时进行的计算。他表示："人们低估了测试时计算的强大功能。"
TTC在人工智能产业界正逐渐受到重视，成为继初始训练后提升模型性能的新模式。OpenAI开发的"o1"模型就采用了这种推理模式。
OpenAI的前首席科学家伊利亚·苏茨克弗承认，通过使用大量未标记数据来训练人工智能模型以使其理解语言模式和结构的预训练阶段，其效果提升已趋于平稳。他表示："2010年代是扩展的时代，现在我们再次回到了探索和发现的时代"，并强调"扩大正确的规模比以往任何时候都更加重要。"
Orion预计将在2025年推出。OpenAI将其命名为"Orion"而不是"GPT-5"，似乎预示着一场新的革命。虽然暂时受理论限制而"难产"，但我们仍然期待着这个拥有新名字的"新生儿"能给AI大模型带来新的转机。
原创文章，作者：讯知在线，如若转载，请注明出处：http://mip.xzxci.cn/2024/11/16/15168.shtml
