OpenAI

OpenAI是一家人工智能研究和部署公司，使命是确保人工通用智能造福全人类。OpenAI的使命是确保人工通用智能（AGI）——指的是在具有经济价值的工作中超越人类的高度自治系统——造福全人类。OpenAI将试图直接建设安全和有益的AGI，但如果工作帮助他人实现这一结果，OpenAI也将认为我们的使命已经完成。OpenAI已经训练了一个名为ChatGPT的模型，它以对话的方式进行交互。对话形式使ChatGPT能够回答后续问题，承认错误，质疑不正确的前提，并拒绝不适当的请求。ChatGPT是说明书，它被训练成遵循提示中的指令并提供详细的响应。

ChatGPT有时会写出听起来合理但不正确或无意义的答案。解决这个问题是具有挑战性的，因为：

（1）在RL训练期间，目前没有真实的来源；

（2）训练模型更加谨慎导致它拒绝它能够正确回答的问题；

以及（3）监督训练误导模型，因为理想答案取决于模型知道什么，而不是人类示威者所知道的。

ChatGPT对输入措辞的调整或多次尝试相同的提示很敏感。例如，给定一个问题的一种措辞，模型可以声称不知道答案，但给定一个轻微的措辞，可以正确地回答。理想情况下，当用户提供一个模糊的查询时，模型会问一些澄清性的问题。相反，我们当前的模型通常猜测用户的意图。

今天ChatGPT的研究发布是OpenAI的新一步迭代部署越来越安全和有用的人工智能系统。从早期模型的部署中吸取的许多经验教训为此次发布的安全缓解措施提供了信息，包括通过使用人类反馈强化学习实现的有害和不真实输出的大幅减少。