百川智能推出 Baichuan2-192K 大模型,上下文窗口长超 GPT-4 约 14 倍

吴厣 125 0

小猪号 10 月 30 日消息,百川智能今日宣布推出 Baichuan2-192K 大模型。据介绍,该模型上下文窗口长度达 192K,能够处理约 35 万个汉字,号称是目前全球最长的上下文窗口

百川智能表示,Baichuan2-192K 是目前支持长上下文窗口最优秀大模型 Claude2(100K 上下文窗口,实测约 8 万字)的 4.4 倍,是 GPT-4(支持 32K 上下文窗口,实测约 2.5 万字)的 14 倍

百川智能推出 Baichuan2-192K 大模型,上下文窗口长超 GPT-4 约 14 倍-第1张图片-小猪号

小猪号注:上下文窗口长度是大模型的核心技术之一,通过更大的上下文窗口,模型能够结合更多上下文内容获得更丰富的语义信息,更好地捕捉上下文的相关性、消除歧义,进而更加准确、流畅地生成内容,提升模型能力。

Baichuan2-192K 在 Dureader、NarrativeQA、LSHT、TriviaQA 等 10 项中英文长文本问答、摘要的评测集上表现良好,有 7 项取得 SOTA。

百川智能推出 Baichuan2-192K 大模型,上下文窗口长超 GPT-4 约 14 倍-第2张图片-小猪号

百川智能表示,Baichuan2-192K 将以 API 调用和私有化部署的方式提供给企业用户,目前百川智能已启动 Baichuan2-192K 的 API 内测,开放给法律、媒体、金融等行业的核心合作伙伴。

百川智能推出 Baichuan2-192K 大模型,上下文窗口长超 GPT-4 约 14 倍-第3张图片-小猪号

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,小猪号所有文章均包含本声明。

标签: 百川智能 Baichuan 大模型

抱歉,评论功能暂时关闭!