小猪号 2 月 10 日消息,据科创板日报报道,华为计算产品线相关负责人就“华为在大模型的布局”回应称,公司 2020 年在大模型开始有布局,2021 年基于昇腾 AI 与鹏城实验室联合发布了鹏程盘古大模型,是业界首个千亿级生成和理解中文 NLP 大模型。
在 2021 年 4 月的华为开发者大会 2021(Cloud)上,华为云便发布了盘古系列超大规模预训练模型,包括 30 亿参数的视觉(CV)预训练模型,以及与循环智能、鹏城实验室联合开发的千亿参数、40TB 训练数据的中文语言(NLP)预训练模型。
华为云人工智能领域首席科学家、IEEE Fellow 田奇彼时表示:“预训练大模型是解决 AI 应用开发定制化和碎片化的重要方法。华为云盘古大模型可以实现一个 AI 大模型在众多场景通用、泛化和规模化复制,减少对数据标注的依赖,并使用 ModelArts 平台,让 AI 开发由作坊式转变为工业化开发的新模式。”
根据此前信息,盘古 NLP 大模型是当时全球最大的千亿参数中文语言预训练模型,由华为云、循环智能和鹏城实验室联合开发,预训练阶段学习了 40TB 中文文本数据,并通过行业数据的样本调优提升模型在场景中的应用性能。
▲ 华为开发者大会 2021(Cloud)发布的盘古大模型报道称,华为表示,在大模型产业化方面已发起了智能遥感开源生态联合体、多模态人工智能产业联合体,智能流体力学产业联合体等,将以联合体的模式把科研院所、产业厂商等结合起来,更好地让大模型产业形成正向的闭环回路。
小猪号了解到,人工智能研究实验室 OpenAI 于 2022 年 11 月 30 日发布了全新聊天机器人模型 ChatGPT。这是一款人工智能技术驱动的自然语言处理工具,旨在根据用户的提示模仿类似人类的对话。
2 月 7 日,百度官方还确认,其类似 ChatGPT 的项目名字确定为文心一言,英文名 ERNIE Bot,三月份完成内测,面向公众开放。目前该产品在做上线前的冲刺准备工作。百度方面表示,ChatGPT 相关技术,百度都有。百度在人工智能四层架构中,有全栈布局。包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用。文心一言,位于模型层。