新浪科技讯 2月27日上午消息,DeepSeek开源周第四日,DeepSeek宣布开源了公司内部的并行优化策略(Optimized Parallelism Strategies)。此次开源,DeepSeek分别发布了DualPipe双向管道并行算法和EPLB专家并行负载均衡器。
据DeepSeek介绍,DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法,它实现了向后和向后计算通信阶段的完全重叠,还减少了管道气泡。在GitHub上,目前该算法已经获得544个Star收藏。

责任编辑:江钰涵
【免责声明】本文仅代表作者本人观点,与和讯网无关。和讯网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。邮箱:news_center@staff.hexun.com
最新评论