百度创始人、董事长兼首席执行官李彦宏以及百度首席技术官王海峰对文心一言进行了详细介绍，并展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。
王海峰解读了文心一言的技术特性及其背后的技术积累。
王海峰表示，文心一言，是新一代知识增强大语言模型，它是在 ERNIE 及 PLATO 系列模型的基础上研发的。
文心一言的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。
前三项是这类大语言模型都会采用的技术，ERNIE 和 PLATO 中也已经有应用和积累，在文心一言中又有了进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。
在知识增强方面，文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化，是从大规模知识和无标注数据中，基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；知识外用，是引入外部多源异构知识，做知识推理、提示构建等等。
在检索增强方面，文心一言的检索增强，来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果，可以为大模型提供时效性强、准确率高的参考信息，更好地满足用户需求。
在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，实现更好的对话连贯性、合理性和逻辑性。
据悉，文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据，以及 5500 亿事实的知识图谱等。
百度构建了面向中文、服务应用、富含知识的多样化训练数据，对文心一言进行有监督精调，使其掌握的知识更精准，更懂中文和应用场景，并建立起人类反馈、奖励模型和策略优化之间的飞轮机制，随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。文心一言融合不同类型数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。
王海峰强调，飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。对于开发训练，飞桨动静统一的开发范式，以及自适应分布式架构，可以实现大模型的灵活开发和高效训练。在推理部署方面，飞桨支持大模型高效推理，并提供服务化部署能力，包括计算融合、软硬协同的稀疏量化、模型压缩等等。
李彦宏现场展示了文心一言在五个使用场景的表现，包括文学创作、商业文案创作、数理推算、中文理解和多模态生成。
在文学创作场景中，文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结，并提出了五个续写《三体》的建议角度，体现出对话问答、总结分析、内容创作生成的综合能力。
此外，文心一言准确回答了《三体》作者、电视剧角色扮演者等事实性问题。生成式 AI 在回答事实性问题时常常“胡编乱造”，而文心一言延续了百度知识增强的大模型理念，大幅度提升了事实性问题的准确率。
面对“于和伟和张鲁一有哪些共同点”、“于和伟和张鲁一谁更高”这类问题，文心一言也基于推理能力得出了正确答案。
在商业文案创作场景中，文心一言完成了给公司起名、写 Slogan、写新闻稿的创作任务。
连续三次内容创作生成中，文心一言既能准确理解人类意图，又能清晰地表达，这是基于庞大数据规模而发生的“智能涌现”。
文心一言还具备了一定的思维能力，能够学会数学推演及逻辑推理等相对复杂任务。面对“鸡兔同笼”这类锻炼人类逻辑思维的经典题，文心一言能理解题意，并有正确的解题思路，进而像学生做题一样，按正确的步骤，一步步算出正确答案。
文学创作、商业文案创作、数理推算是大语言模型常见的优势和能力，在此基础上，文心一言还表现出更优秀的中文理解及多模态生成能力。
作为扎根于中国市场的大语言模型，文心一言具备中文领域先进的自然语言处理能力，在中文语言和中国文化上有更好的表现。在现场展示中，文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论，还用“洛阳纸贵”四个字创作了一首藏头诗。
在多模态生成方面，李彦宏现场展示了文心一言生成文本、图片、音频和视频的能力。有趣的是，文心一言甚至能够生成四川话等方言语音；文心一言的视频生成能力则因成本较高，现阶段还未对所有用户开放，未来会逐步接入。
“多模态是生成式 AI 一个明确的发展趋势。”李彦宏表示，“未来，随着百度多模态统一大模型的能力增强，文心一言的多模态生成能力也会不断提升。”
从文心一言的表现看，某种程度上它具有了对人类意图的理解能力，回答的准确性、逻辑性、流畅性都逐渐接近人类水平。
但整体而言，这类大语言模型还远未到发展完善的阶段，有赖于通过真实的用户反馈而逐步迭代。
李彦宏强调，文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮，效果会迅速提升，给用户“士别三日，当刮目相看”的惊喜。
自去年 11 月发布以来，ChatGPT 在全球爆火，掀起了新一轮 AI 热潮。不过值得注意的是，ChatGPT 并不是革命性的技术，它更多是一场以产品思维驱动的重大集成创新的成果。
ChatGPT 是 OpenAI 对其 2020 年发布的 GPT-3.5 模型微调后开发出的对话机器人，严格来说，ChatGPT 并未实现底层模型的显著突破，它巧妙地采用了理解、生成和交互相结合的方式，基于人类反馈进行强化训练，在体验上带给人智能的感觉。
在使用的技术上，例如在训练阶段的数据飞轮，其底层技术是模型微调（SFT, Supervised fine-tuning）和从人类反馈中进行强化学习（RLHF，reinforcement learning from human feedback），以及在模型推理部署阶段的 Prompt，即提示学习，给预训练大语言模型一个提示，以使其更好理解人类问题。SFT、RLHF、prompt 都是业内有的方法，ChatGPT 和文心一言都应用了这些技术和方法，这意味着二者的底层是一样的。
百度的文心大模型和 Open AI 的 GPT 模型类似，在 2019 年就已经推出，并且已经迭代了多代，从单一的自然语言理解延申到多模态，包括视觉、文档、文图、语音等多模态多功能，因此“文心一言”所基于的 ERNIE 系列模型也已经具备较强泛化能力和性能。以最新发布的 ERNIE 3.0 Zeus 为例，该模型迭代于 ERNIE 3.0，拥有千亿级参数。其已经具备智能创作等各类自然语言理解和生成任务，且公开数据集上小样本学习、理解和生成任务效果皆好于业界其他模型。
在数据层面，ChatGPT 模型训练使用主要来自互联网的文本数据库，包括从网络文本、维基百科、文章中获得的 570GB 的数据。相比 ChatGPT，文心一言的优势在于，得益于百度搜索在真实数据和用户需求理解方面的积累，文心一言能够基于检索提升时效性准确性 。另外，文心大模型的定位是一个知识增强大模型，文心一言可以基于知识增强提升多轮推理对话。
多模态生成上，正如 Sam Altman 在推特上表示，GPT-4“仍然有缺陷，有局限性”。GPT-4 在多模态演示上有点突破，可以输入图片内容，但是输出的却还只能是文字。用户最期待的图片、视频生成仅仅停留在 PPT 讲稿上，还未开放，令人失望。而文心一言生成文本、图片、音频均可开箱即用，诚意满满。
此外，相比 ChatGPT，文心一言更侧重这样的技术如何在应用上更普惠。“ChatGPT 是 AI 技术发展到一定阶段后的新机会。怎么把这么酷的技术，变成人人需要的产品，让每天有几亿人从中受益？怎么赋能千行百业，让他们的生产效率大幅度地提升？这一步才是最难的，也是最伟大、最能够产生影响力的。”李彦宏曾如此评价 ChatGPT。
百度同时公布了文心一言的邀请测试方案。
3 月 16 日起，首批用户即可通过邀请测试码，在文心一言官网体验产品，后续将陆续开放给更多用户。
此外，百度智能云即将面向企业客户开放文心一言 API 接口调用服务。
3 月 16 日起正式开放预约，搜索“百度智能云”进入官网，可申请加入文心一言云服务测试。
据悉，自 2 月份百度官宣“文心一言”以来，已有超过 650 家企业宣布接入文心一言生态。现在，这些企业马上就能用上最新的大语言模型了。
这几年，一个显著的趋势是云计算和 AI 正在加速融合。企业对于云计算的需求，更多体现于对智能化的需求。AI 大模型将成为云服务中不可或缺的一部分。
百度文心一言的定位是，人工智能基座型的赋能平台，将助力金融、能源、媒体、政务等千行百业的智能化变革。
百度宣布，文心一言将通过百度智能云对外提供服务，帮助企业构建自己的模型和应用，农业、工业、金融、教育、医疗、交通、能源等重点领域，都会因此效率大幅提升，并在每一个行业快速形成新的产业空间。
李彦宏预告，百度智能云将于近期举办新闻发布会，主题围绕文心一言的云服务和应用产品，既有公有云服务和也可以做私有化部署。
从信息检索的角度看，ChatGPT 取得了非常大的突破。业界一度有 ChatGPT 要颠覆谷歌搜索的论断出来。短期来看，ChatGPT 有望成为或者辅助像谷歌这种传统信息检索的强有力的工具。这几个月，谷歌、微软等也在加紧研发 ChatGPT 的竞品。
面对 ChatGPT，与对谷歌而言的“威胁者”态度不同。百度认为，ChatGPT 的出现，百度是受益者。
这一方面是基于自身更多元的收入结构作出的判断，以 2022 年 Q3 季度的营收数据为例，百度核心收入为 252 亿元，其中，广告收入 187 亿元；非广告收入 65 亿元。可以看到，百度智能云及其他 AI 驱动业务已逐渐与广告业务平分秋色。
另一方面，百度认为，生成式 AI 和搜索引擎是互补关系，而不是替代关系，搜索底层技术和 AI 底层技术是相通的。而且，生成式 AI 能够增强搜索。除开因 ChatGPT 带来的 DAU 及用户使用时长的攀升，同时搜索将能够充分利用类 ChatGPT 技术完善升级，形成搜索代际变革，生成式内容也会丰富内容生态和内容供给，让成熟的搜索业务和搜索体验焕发生机。去年，百度搜索宣布基于百度自研的生成式模型，升级“生成式搜索”能力。
此番文心一言问世后，其主要应用场景就是搜索。据悉，百度搜索会通过嵌入文心一言进行技术升级，提供更好的搜索和答案，全新的交互和聊天体现，以及独特的生成内容，吸引更多的用户。与此同时，它也能为平台上的广告商、内容创作者和商家赋能，通过 AIGC 提升短视频的内容供应能力。
全球第一家大厂首发，大模型竞赛加剧
自 ChatGPT 走红后，全球互联网大厂、创业公司纷纷加码布局。ChatGPT 引爆了一场军备竞赛，尤其是大型科技公司间的 AI 竞赛逐渐白热化。ChatGPT 爆火也让大模型卷了起来，国内已有多位 AI 大牛宣布杀入大模型领域创业，在国外，Meta、谷歌等巨头竞相推出自己最新的大模型...
过去这几个月，对于国产版 ChatGPT 呼声也是日益高涨。如今文心一言问世，这意味着百度成为全球大厂中第一个做出对标 ChatGPT 产品的企业。
李彦宏指出：“无论是哪家公司，都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理，需要多年的坚持和积累，没法速成。”
可以说，文心一言是百度过去多年努力的延续。一方面得益于百度在自然语言处理领域的领先性，NLP 是搜索业务的核心技术，百度的 NLP 能力也正伴随着搜索业务一路成长起来。
居高不下的技术门槛也让国内能做出类 ChatGPT 应用的公司少之又少。AI 的三要素包括算力、算法和数据，从这个角度看，全栈布局的公司更有优势。
李彦宏判断，人类进入人工智能时代，IT 技术的技术栈发生了根本性变化，从过去三层到“芯片 - 框架 - 模型 - 应用”四层。今天，百度是全球为数不多、在这四层进行全栈布局的人工智能公司，从高端芯片昆仑芯，到飞桨深度学习框架，再到文心预训练大模型，到搜索、智能云、自动驾驶、小度等应用，各个层面都有领先业界的自研技术。其中，文心一言处在模型层。而且，文心系列大模型已经普遍行业应用。
算力是目前制约大模型发展的一个瓶颈。有专家认为，未来大模型的竞争将逐渐演化为算力的竞争。有数据统计，跑通一次 100 亿以上参数量的模型，算力至少需要 1000 张 GPU 卡。前几天有新闻称，微软 Azure 云服务为 ChatGPT 布署了超过 1 万枚英伟达 A100 芯片。即使不使用顶级芯片，按照一张 GPU 五万元的市场均价计算，1000 张 GPU 意味着单月至少 5000 万的成本。业界测算，GPT-3 单次训练成本至少 460 万元。
大模型训练所需要的庞大又昂贵的算力让很多中小公司望而却步。而这也是百度这样的大厂的优势所在。据悉百度在算力上的布局，百度自研 AI 芯片“昆仑”已在多场景实际部署几万片，在搜索业务中也已形成较强工程化实践。
百度在有阳泉、徐水、定兴三个云计算中心。据悉，文心一言一部分是在阳泉智算中心计算。阳泉智算中心专门搭建了一个机房去支持文心一言的运行，目前正在封闭压力测试中，即将上线。
李彦宏认为，百度 AI 全栈布局的优势在于，可以在技术栈的四层架构中实现端到端优化，大幅提升效率。尤其是框架层和模型层之间，有很强的协同作用，可以帮助构建更高效的模型，并显著降低成本。事实上，超大规模模型的训练和推理，给深度学习框架带来了很大考验。比如，为了支持千亿参数模型的高效分布式训练，百度飞桨专门研发了 4D 混合并行技术。
“在全球范围内，在四层架构的每一层都有领先产品的公司几乎没有，这是百度非常独特的优势。后续，芯片、框架、大模型和终端应用场景可以形成高效的反馈闭环，帮助大模型不断调优迭代，从而升级用户体验”。李彦宏说。
李彦宏认为，文心一言和生成式 AI 代表了一个新的技术范式，它会影响到每一家公司。AI 市场爆发性的需求增长，将释放出前所未有的、指数级的商业价值。
李彦宏预测，大语言模型将带来三大产业机会。
第一类是新型云计算公司，其主流商业模式从 IaaS 变为 MaaS。文心一言将根本性地改变云计算行业的游戏规则。之前企业选择云厂商更多看算力、存储等基础云服务。未来，更多会看框架好不好、模型好不好，以及模型、框架、芯片、应用这四层之间的协同。
第二类是进行行业模型精调的公司，这是通用大模型和企业之间的中间层，他们可以基于对行业的洞察，调用通用大模型能力，为行业客户提供解决方案。这方面，百度文心大模型已经在电力、金融、媒体等领域，发布了 10 多个行业大模型。
第三类是基于大模型底座进行应用开发的公司，即应用服务提供商。李彦宏断言，对于大部分创业者和企业来说，真正的机会并不是从头开始做 ChatGPT 和文心一言这样的基础大模型，这很不现实，也不经济。基于通用大语言模型抢先开发重要的应用服务，这可能才是真正的机会。目前，基于文本生成、图像生成、音频生成、视频生成、数字人、3D 等场景，已经涌现出很多创业明星公司，可能就是未来的新巨头。
“我们相信，人工智能会彻底改变我们今天的每一个行业。AI 的长期价值，对各行各业的颠覆性改变，才刚刚开始。未来，将会有更多的杀手级应用、现象级产品出现，将会有更多的里程碑事件发生。”李彦宏说道。
自去年以来， AIGC 发展浪潮凶猛。尤其是去年下半年，AIGC 概念突然升温。有这么几个标志性的事件把 AIGC 推到了风口浪尖之上，其一是文生图模型 Stable Diffusion 的开源，其二是 ChatGPT 的爆火出圈。
此次，文心一言问世对于国内 AIGC 领域来说将成为一个标志性事件，对于百度来说亦是如此。作为在国内 AIGC 领域布局的代表者，百度拥有 AI 作画、数字人等多项 AIGC 业务。
去年以来，李彦宏也曾频频在公开场合大谈 AIGC 的发展，他认为，AI 领域在去年的一个重大的突破就是 AIGC。他也预判，“未来十年，AIGC 将颠覆现有内容生产模式，可以实现以‘十分之一的成本’，以百倍千倍的生产速度，去生成 AI 原创内容。
现阶段，AIGC 的生成效果已经非常惊艳了，它已经达到了广泛应用的基础性能，虽然在使用上还有较大门槛。相信随着文心等大模型技术的不断发展，有助于将 AIGC 门槛降下来，真正的降本到每个普通人都可以实际用上 AIGC，事实上，这一天可能已经很近很近了。
