vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)

吴厣 109 0

小猪号 11 月 9 日消息,在近日的 2023 vivo 开发者大会上,vivo 宣布率先开源 70 亿参数级的蓝心大模型 7B 以及对应的微调框架。

vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)-第1张图片-小猪号

按照承诺,vivo 现已在 Hugging Face 上正式开源了 BlueLM-7B,小猪号小伙伴可在 vivo AI Lab 主页下载。

vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)-第2张图片-小猪号

BlueLM-7B 开源大模型包括 7B 基础模型和 7B 对话模型,同时 vivo 开源了支持 32K 的长文本基础模型和对话模型。

vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)-第3张图片-小猪号

据介绍,BlueLM 采用高质量语料库进行训练,规模达到了 2.6 万亿 的 token 数,该语料库包含中文、英文以及少量日韩数据。其中 BlueLM-7B-Chat 在 C-Eval 和 CMMLU 上均取得领先结果。

vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)-第4张图片-小猪号

BlueLM-7B-Base-32K 和 BlueLM-7B-Chat-32K 均支持 32K 长文本,在保持基础能力相当情况下,能够支持更长上下文理解。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,小猪号所有文章均包含本声明。

标签: 蓝心大模型 vivo 开源 vivo 大模型 BlueLM

抱歉,评论功能暂时关闭!