中国IDC服务网

 找回密码
 立即注册
中国IDC服务网 首页 新闻 互联网+ 查看内容

北京深度求索公司推出首个国产开源MoE大模型

2024-1-15 12:31| 发布者: admin| 查看: 749| 评论: 0

摘要: 1月15日讯,北京深度求索公司推出首个国产开源MoE大模型DeepSeek MoE,性能媲美Llama 2-7B,计算量降低60%。DeepSeek MoE目前推出的版本参数量为160亿,实际激活参数量大约是28亿。此外,深度求索团队还透露,DeepSe ...
1月15日讯,北京深度求索公司推出首个国产开源MoE大模型DeepSeek MoE,性能媲美Llama 2-7B,计算量降低60%。DeepSeek MoE目前推出的版本参数量为160亿,实际激活参数量大约是28亿。此外,深度求索团队还透露,DeepSeek MoE模型还有145 B版本正在研发。阶段性的初步试验显示,145 B的DeepSeek MoE对GShard 137 B具有极大的领先优势,同时能够以28.5%的计算量达到与密集版DeepSeek 67 B模型相当的性能。(量子位)


鲜花

握手

雷人

路过

鸡蛋

最新评论

关闭

站长推荐上一条 /1 下一条

中国IDC服务网 ( 京ICP备2021033606号-3 )

GMT+8, 2024-3-3 17:58 , Processed in 0.023040 second(s), 16 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

返回顶部