这句话用来形容OpenAI和AI的关系虽然并不遥远

2022-12-14 13:36

在古希腊神话中，一个名叫赫尔墨斯的神会充当人神之间的使者，穿着带翅膀的飞鞋，行走在人神之间。

根据荷马史诗:众神中，赫尔墨斯最喜欢指引凡人前进这句话用来形容OpenAI和AI的关系，虽然并不遥远

上周，OpenAI创建的ChatGPT一炮而红，成为国内外AI领域的头号热门话题关于ChatGPT的对话能力，你可能已经通过很多文章感受到了总结起来就是回答问题流利，无所不能你可以为程序员写代码，为商务人士做计划，为作家写故事让谷歌已死，XX职业将再次被AI取代等久违的AI威胁言论开始大量出现

关于ChatGPT的神奇，看多了有点审美疲劳。冷静下来想一想:

为什么是同一个AIGC问答，对话等NLP应用更容易引起轰动，激发人们对通用人工智能的希望

为什么是同样的前期培训模式相比BERT，GPT3等前辈，ChatGPT的对话能力有了质的飞跃

为什么和做AI一样为什么OpenAI非要死在NLP上，从GPT1迭代到ChatGPT

Open首席执行官兼联合创始人山姆·奥特曼曾说过:相信指数，平视向前，垂直向前，相信指数的力量，平行向后看，垂直向前看ChatGPT的出现，预示着AI似乎已经到了指数级飞跃的关键点但是脱ChatGPT不是一蹴而就的

从GPT到ChatGPT，恰恰代表了OpenAI在大模型领域实际走过的历程从中我们可以看到OpenAI在AI大模型的竞争中探索出了自己的道路，就像爱马仕一样，成为了引领AI技术前进的使者

如果说OpenAI是传递AI前沿进展的赫尔墨斯，ChatGPT就是那双长着翅膀的金鞋我们不仅要关注ChatGPT鞋有多惊艳，更要搞清楚OpenAI选择的这条大模特之路到底有什么玄机

如今，中国的科技企业和研究机构都在积极投入大模型的布局问问题不如求技巧我们不妨从GPT的演变来看OpenAI对AI和大模型的战略思考和发展

从GPT一号到ChatGPT，超神模型的进化足迹

OpenAI在博客中写道，ChatGPT是通过对GPT3.5系列中的模型进行微调而诞生的。

顾名思义，GPT— 3.5是OpenAI设计的一系列NLP模型中的第四个，在此之前还出现过GPT—1，GPT—2和GPT— 3。

在GPT出现之前，NLP模型主要是基于特定任务的大量标注数据进行训练的。这将导致一些限制:

大规模，高质量的标注数据难以获取，

模型局限于所接受的训练，泛化能力不足，

无法执行开箱即用的任务，限制了模型的应用。

为了克服这些问题，OpenAI走上了大模型预训练的道路从GPT1到ChatGPT，是一个预训练模型越来越大，效果越来越强的过程当然，OpenAI的实现不仅仅是创造奇迹那么简单

第一代:从有监督到无监督的GPT—12018年，OpenAI推出了第一代生成式预训练模型GPT—1以前，NLP任务需要通过大规模数据集进行监督学习，这需要昂贵的数据标记GPT—1的关键特征是:半监督学习有了无监督学习的前期训练，在8个GPU上花了一个月的时间，从大量的未标记数据中增强AI系统的语言能力，获取大量的知识然后，它在监督下进行微调，并与大数据集集成，以提高系统在NLP任务中的性能

GPT一号的效果很明显它可以增强自然语言处理模型的能力，减少对资源和数据的需求，只需很少的微调同时，GPT一号也有明显的问题首先，它有数据限制GPT一号是在网上的书籍和文本中训练出来的，它对世界的理解是不完整和准确的第二，泛化能力仍然不足，在某些任务上的表现会下降

第二代:更大，更高，更强的GPT—22019年推出的GPT 2号与GPT 1号没有本质上的区别，具有相同的架构它使用了更大的数据集WebText，拥有约40 GB的文本数据和800万个文档，并为模型添加了更多参数，以提高模型的准确性可以说是GPT—1的增强版或臃肿版

GPT—2的出现进一步证明了无监督学习的价值，以及预训练模型在下游NLP任务中的广泛成功，并且已经开始满足图灵测试的要求一些研究表明，GPT—2生成的文本几乎与《纽约时报》的真实文章一样令人信服

第三代:进步很大的GPT三号2020年，GPT 3号的这一迭代实现了巨大的飞跃，成为了与GPT 2号截然不同的物种

首先，GPT 3号规模空前，参数超过1750亿，是GPT 2号的117倍其次，GPT—3不需要微调它可以识别数据中隐藏的含义，并使用之前训练中获得的知识来执行下游任务这意味着GPT—3即使从未接触过实例，也能理解并提供良好的性能因此，GPT—3在商业应用中也表现出很高的稳定性和实用性，通过云端的API访问实现商业化这种既能进实验室又能出车间的能力，让GPT—3成为2020年AI领域最惊艳的机型之一

当然，GPT 3号也不是完美的正如联合创始人山姆·奥特曼所说，GPT—3的水平还处于早期阶段，有时会犯非常愚蠢的错误我们距离人工智能的真实世界还有很长的路要走此外，GPT—3 API的许多基础模型都非常庞大，需要大量的专业知识和优秀的机器，这使得中小型企业或个人开发者很难使用它们

第四代:基于理解生成的ChatGPT终于在2022年，OpenAI的预训练语言模型发生了颠覆性的迭代，导致了技术路线的又一次方向性转变:基于数据人工标注的推理和生成+强化学习

如前所述，预训练模型最初是为了减少监督学习对高质量标记数据的依赖而出现的在GPT —3.5大规模语言模型的基础上，ChatGPT开始依赖大量人工标注的数据如何才能回到监督学习的老路上去

原因是GPT 3.5虽然强大，但无法理解人类指令的含义，也无法判断输入，自然难以给出高质量的输出答案因此，OpenAI通过专业的标注者编写词条，对相应的指令/问题给出高质量的回答，并根据这些数据调整GPT —3.5的参数，从而使GPT —3.5具备理解人类指令的能力

在人工标注训练数据的基础上，采用强化学习来增强预训练模型的能力加强学习，简单理解就是奖对惩错，根据系统的评分不断更新参数，从而产生越来越高质量的答案所以这几天很多人在交互中发现，ChatGPT会承认错误，修改自己的答案，正是因为它有从人类反馈中加强学习和重新思考的能力

由于其理解能力，ChatGPT被视为通向通用人工智能AGI的道路。

从GPT模型的进化迭代中，我们可以看到OpenAI正在不断向自然语言理解的目标迈进有了更大的模型和更先进的架构，它终于为通用人工智能找到了一条道路

从GPT—1到ChatGPT的垂直进化，我们可以看到OpenAI对大模型的独特理解和技术脉络——通过模型预训练提高NLP指数，达到强人工智能NLP有什么特别之处让OpenAI如此执着

OpenAI的大模式差异化之路

从上一篇文章中不难看出，OpenAI对文本生成模式的坚持，因为做了很久，投入足够多，可以做得更好，这是一种非常长期的战略力量。

相比之下，与GPT—1同年推出的预训练模式，以及谷歌发布的BERT，但后者在流行一段时间后影响力明显减弱，NLP问答领域一直是Meta领先Meta AI的OPT模型和GPT—3达到了相同的参数，但效果不如OpenAI同期参赛选手中，OpenAI显然在语言模型上更为重视

一方面，资源投入，无论是越来越大的模型，都需要消耗巨大的计算资源ChatGPT需要的高质量标注数据依赖于医生，这显然比将数据标注任务分配给众包平台消耗更多的人力和财力

另一方面是技术投入，大规模预训练，强化学习等技术都是用来提高NLP对话系统在开放和通用领域的理解和推理能力NLP是认知智能要改善它，就要解决知识依赖的问题，知识是非常离散的，很难表达解决标注数据和知识不足的问题在技术上非常具有挑战性几年前，IBM的弗雷德里克·耶利内克说过，每当我解雇一名语言学家，语音识别系统的性能就会提高颇有解决不了问题，就解决问问题的人的既视感所以可以说OpenAI选择了一种更难的方式来解决真正困难的问题

此外，专注NLP也意味着OpenAI将承担隐形的机会成本。

今年，AIGC在资本市场和应用市场取得了长足的进步相比AlphaFold2解决的AI绘画，音视频生成，蛋白质结构预测等生成任务，NLP任务是直接用文字和符号表达概念这种模式通过API+云服务完成商业服务，获得的收益远远小于图像音视频或科学计算，无论是云资源的消耗还是接口调用服务收费用同样的精力做十个八个Dalle的模特，肯定赚的更多

科技博主王永刚在他的博客中分享了一个故事，他说他与OpenAI的两位联合创始人交流，发现这两个人甚至不知道AIGC是什么意思！

说到这里，或许可以得出这样的结论:OpenAI作为一家以实现安全通用人工智能为目标的公司，正在通过预训练大模型，不考虑投资和商业回报，潜心提升NLP任务的各项指标，从而接近AGI的愿景。

OpenAI为什么能走出这种大模式差异化的趋势引领之路。

一方面，NLP是特殊的。

NLP并不神奇，但有时结果也近乎神奇通用人工智能必须具备认知智能，这是制约人工智能实现更大突破和更广泛应用的关键瓶颈，而NLP是认知智能的核心Geoffrey Hinton和Yann LeCun都说过类似的观点深度学习的下一个大进展应该是让神经网络真正理解文档的内容

也就是说，当人工智能能够理解自然语言时，AGI就可能实现。

此外，OpenAI的运营模式也起到了关键作用。

突破性创新前期需要大量投入，大型号开发需要大量基础设施投入可是，ChatGPT的对话系统很难在短期内通过呼叫规模来均衡R&D成本所以OpenAI是非盈利的研究机构，没有迫切的商业压力，可以更专注于NLP领域的基础研究，这是商业AI公司很难做到的

2011年，自然语言领域的领军学者肯尼斯·楚吉发表了一篇长文《一个摆得太远的钟摆》，文中提到我们这一代学者赶上了经验主义的黄金时代，采摘了唾手可得的低枝果实，留给下一代硬骨头去啃。

深度学习是经验主义的新高峰，这个领域的低枝果实总有被采摘的一天最近几年来，大量的AI科学家警告说，深度学习面临许多限制，很难简单地通过深度学习来解决一些复杂的任务或许用不了多久，基本突破就会成为AI产业的重要支撑

GPT的演变也说明，AI的突破需要一步步实现，从小到大今天每个AI企业和研究机构都在做大模型与CV计算机视觉，数字人，元宇宙等AI应用相比，NLP暗淡很多而如果一窝蜂去摘容易摘到的果子，最终会限制AI深入行业的步伐

ChatGPT的出现提醒我们，只有啃下基础领域的硬骨头，才能真正给AI带来质变。