“ChatGPT是OpenAI基于GPT-3.5架构开发的聊天机器人程序。它可以基于预先训练的模式和统计规律生成答案和交互，也可以完成各种文本任务。但是你知道ChatGPT实际上是怎么工作的吗？下面这篇文章的作者就讲述了这一点，大家来看看吧！
我们深入研究了时下流行的人工智能聊天机器人ChatGPT的内部工作原理，以便更好地开发和使用它。
Google、Wolfram Alpha和ChatGPT都通过单行文本输入字段与用户进行交互，并提供文本结果。Google返回搜索结果、网页和文章的列表(希望如此),以提供与搜索查询相关的信息。Wolfram Alpha通常提供与数学和数据分析相关的答案。
相比之下，ChatGPT根据用户问题背后的上下文和意图提供响应。比如你不能要求Google写一个故事或者Wolfram Alpha写一个代码模块，但是ChatGPT可以做这些事情。
从根本上说，谷歌的优势在于它能够搜索大量数据库，并提供一系列匹配。Wolfram Alpha的优势在于它能够分析与数据相关的问题，并根据这些问题进行计算。
ChatGPT的强大之处在于，它能够根据世界上大多数数字可访问的基于文本的信息(至少是2021年之前训练时就存在的信息)，解析查询并生成完整的答案和结果。
在本文中，我们将了解ChatGPT操作的主要阶段。
首先，ChatGPT运作的两个主要阶段
让我们用谷歌来打个比方。当你让谷歌找东西的时候，它不会在你问的那一刻搜索全网寻找答案。它只会在数据库中搜索与请求相匹配的页面。Google其实有两个主要阶段:蜘蛛抓取和数据收集，以及用户交互/搜索。
粗略地说，ChatGPT的工作方式也是如此。数据收集阶段称为预训练，而用户响应阶段称为推理。生成式人工智能背后的魔力及其突然爆发，是因为工作的预训练模式突然被证明具有巨大的可扩展性。这种可扩展性是通过最近经济实惠的硬件技术和云计算的创新实现的。
二、人工智能预训练的工作原理
一般来说，人工智能使用两种主要的方法进行预训练:有监督的和无监督的。对于大多数人工智能项目，直到目前的生成式人工智能系统(如ChatGPT)，一直采用监督的方式。
监督预训练是在标记数据集上训练模型的过程，其中每个输入都与相应的输出相关联。
例如，人工智能可以在客服对话数据集上进行训练，其中用户的问题和投诉由客服代表标记为合适的答案。为了训练人工智能，需要提出诸如“如何重置密码？”像这样的问题。将作为用户输入提供，诸如“您可以通过访问我们网站上的帐户设置页面并按照提示进行操作来重置您的密码”等答案将作为输出提供。
在监督训练方法中，整个模型被训练以学习能够将输入精确地映射到输出的映射函数。这个过程通常用于监督学习任务，如分类、回归和序列标记。
但是，它的扩张方式是有限的。人类训练者必须尽最大努力来预测所有的输入和输出。培训可能需要很长时间，而且专业知识有限。
但我们知道，ChatGPT对题材专长几乎没有限制。你可以让它给《星际迷航》里的迈尔斯·奥布莱恩酋长写简历，解释量子物理，写代码，写小故事，对比美国前总统的执政风格。
不可能预测所有会被问到的问题，所以ChatGPT真的不可能用有监督的模型进行训练。相反，ChatGPT使用无人监督的预训练——这是游戏规则的改变者。
无监督预训练是根据数据训练模型的过程，其中每个输入都不与特定输出相关联。相反，模型被训练来学习输入数据中的底层结构和模式，而不考虑任何特定任务。这一过程通常用于无监督的学习任务，如聚类、异常检测和降维。在语言建模的上下文中，可以使用无监督的预训练来训练模型理解自然语言的语法和语义，使其在会话上下文中生成连贯且有意义的文本。
在这里，ChatGPT看似无限的知识成为可能。因为开发者不需要知道输入输出，他们要做的就是把越来越多的信息转储到ChatGPT预训练机制中，这就是所谓的基于transformer的语言建模。
第三，变压器架构
Transformer architecture是一个用于处理自然语言数据的神经网络。神经网络通过互联的节点层处理信息，模拟人脑的工作模式。把神经网络想象成一个曲棍球队:每个球员都有一个角色，但他们在特定角色的球员之间来回传递冰球，每个人都努力一起得分。
Transformer architecture在进行预测时，通过使用“自我关注”来衡量序列中不同单词的重要性，从而处理单词序列。自我关注类似于读者回顾之前的句子或段落，以理解理解书中生词所需的上下文。转换器查看序列中的所有单词，以理解上下文和单词之间的关系。
在训练期间，Transformer将获得输入数据(如句子)，并被要求根据输入进行预测。该模型根据其预测和实际输出之间的匹配程度进行更新。通过这个过程，Transformer学习理解序列中单词之间的上下文和关系，使其成为自然语言处理任务的强大工具，如语言翻译和文本生成。
但是，这些模型可能会生成有害或有偏见的内容，因为它们可能会学习训练数据中存在的模式和偏见。实现这些模型的公司都在试图提供“护栏”，但这些护栏本身可能会带来问题。这是因为不同的人有不同的观点，试图防止基于一个学派的偏见可能会被另一个学派宣称为偏见。考虑到整个社会的复杂性，设计一个通用的聊天机器人很困难。
我们先讨论一下输入到ChatGPT的数据，再来看ChatGPT和自然语言的用户交互阶段。
第四，ChatGPT的训练数据集
用于训练ChatGPT的数据集非常大。ChatGPT基于GPT-3(生成式预训练变压器3)架构。ChatGPT的免费版本最初是在CPT-3上训练的。如果你每月为ChatGPT Plus支付20美元，你可以选择使用GPT-3训练数据集或更广泛的GPT-4数据集。
如此大量的数据使得ChatGPT能够以前所未有的规模学习自然语言中单词和短语之间的模式和关系，这也是它能够如此有效地为用户查询生成连贯且上下文敏感的响应的原因之一。
尽管ChatGPT基于GPT-3架构，但它已经在不同的数据集上进行了微调，并针对对话用例进行了优化。这使得为通过聊天界面与之交互的用户提供更加个性化和迷人的体验成为可能。
比如OpenAI公布了一个名为Persona-Chat的数据集，专门用来训练ChatGPT等对话式AI模型。该数据集由两个人类参与者之间的160，000多个对话组成，每个参与者都被分配了一个独特的角色来描述他们的背景、兴趣和个性。这使得ChatGPT能够学习如何生成与特定对话上下文相关的个性化响应。
除了Persona-Chat，还有许多其他对话数据集用于微调ChatGPT:
康奈尔电影对话语料库:包含电影剧本中角色之间对话的数据集。它包含了10，000多个电影角色对之间的200，000多个对话，涵盖了各种主题和流派。Ubuntu对话语料库:收集了寻求技术支持的用户和Ubuntu社区支持团队之间的对话。它包含超过100万个对话，是研究对话系统的最大公共数据集之一。DailyDialog:从日常生活对话到社会问题讨论等各种话题的人际对话集。数据集中的每个对话由几个回合组成，并用一组情感、情绪和主题信息进行标记。
除了这些数据集，ChatGPT还接受了互联网上大量非结构化数据的训练，包括网站、书籍和其他文本来源。这使得ChatGPT能够在更普遍的意义上理解语言的结构和模式，然后针对特定的应用进行微调，如对话管理或情感分析。
一般来说，用于微调ChatGPT的训练数据通常是会话性质的，并且具体包含人类之间的对话，这使得ChatGPT能够学习如何以会话格式生成自然而迷人的响应。
可以这样思考ChatGPT的无监督训练:它被输入了大量数据，并留给它自己的设备来寻找模式并理解这一切。这就是新的生成式人工智能系统能够如此迅速扩展的机制。
虽然ChatGPT生成式人工智能的繁重工作是通过预训练完成的，但它还必须能够理解问题，并从所有数据中构建答案。这是由自然语言处理和对话管理组成的推理阶段完成的。
动词 （verb的缩写）自然语言处理
自然语言处理(NLP)侧重于使计算机能够理解、解释和生成人类语言。随着数字数据的指数级增长和自然语言接口的广泛使用，自然语言处理已经成为许多企业的关键技术。
NLP技术可以用于广泛的应用，包括情感分析、聊天机器人、语音识别和翻译。通过使用NLP，企业可以自动执行任务，改善客户服务，并从客户反馈和社交媒体帖子中获得有价值的见解。
实现自然语言处理的关键挑战之一是处理人类语言的复杂性和模糊性。NLP算法需要通过大量的数据进行训练，识别模式，学习语言的细微差别。它们还需要不断改进和更新，以跟上语言使用和语境的变化。
这项技术的工作原理是将语言输入(如句子或段落)分解成更小的成分，并分析它们的含义和关系，以生成观点或响应。NLP技术结合了统计建模、机器学习和深度学习来识别模式，并从大量数据中学习，以便准确地解释和生成语言。
六、对话管理
ChatGPT可以提出后续问题，以更好地了解您的需求，并对整个对话历史提供个性化的回答。
这就是ChatGPT如何以一种自然而有吸引力的方式与用户进行多轮对话。它涉及使用算法和机器学习技术来理解对话的上下文，并在与用户的多次交流中维护它。
对话管理是自然语言处理的一个重要方面，因为它允许计算机程序以一种感觉上更像对话而不是一系列一次性交互的方式与人交互。这有助于与用户建立信任和互动，并最终为使用该程序的用户和组织带来更好的结果。
当然，营销人员希望扩展建立信任的方式，但这也是一个可能令人恐惧的领域，因为这是人工智能操纵其用户的一种方式。
本文由@AI魔法学院原创发布。每个人都是产品经理。未经许可，禁止转载。
题图来自Unsplash，基于CC0协议。"