通信世界网消息(CWW)7月7日,华为针对近期开源社区及网络平台关于盘古大模型开源代码的讨论发布声明,指出盘古Pro MoE开源模型是基于昇腾硬件平台开发训练的基础大模型,非基于其他厂商模型增量训练。
华为表示,盘古Pro MoE开源模型是基于昇腾硬件平台开发、训练的基础大模型,在架构设计、技术特性等方面做了关键创新,是全球首个面向昇腾硬件平台设计的同规格混合专家模型,创新性地提出了分组混合专家模型(MoGE)架构,有效解决了大规模分布式训练的负载均衡难题,提升训练效率。“其他技术特性创新,请参考昇腾生态竞争力系列技术报告披露内容。”
其中,盘古Pro MoE开源模型部分基础组件的代码实现参考了业界开源实践,涉及其他开源大模型的部分开源代码。华为严格遵循开源许可证的要求,在开源代码文件中清晰标注开源代码的版权声明。这不仅是开源社区的通行做法,也符合业界倡导的开源协作精神。