通信世界网消息(CWW)4月25日,Create2025百度AI开发者大会现场,百度董事长兼CEO李彦宏正式对外发布两大核心AI模型——文心大模型4.5 Turbo与深度思考模型X1 Turbo,同步推出多款创新型AI应用产品。
百度首席技术官(CTO)王海峰在技术解读环节指出,文心大模型4.5是多模态基础大模型,文心4.5 Turbo源自文心4.5,效果更好、成本更低;基于文心4.5 Turbo,文心X1升级到X1 Turbo,性能提升的同时,具备更先进的思维链,问答、创作、逻辑推理、工具调用和多模态能力进一步增强。在C-Eval、CMMLU、MathVista、Math500等多个基准测试集中,文心4.5 Turbo和X1 Turbo跟DeepSeeK与GPT模型相比,效果在伯仲之间。
文心大模型的能力拓展和效率提升,得益于飞桨文心的联合优化。比如,训练方面,多模态统一的掩码注意力加速,在不同模态混合计算注意力时,显著降低掩码构建和计算开销,大幅提升训练性能;推理方面,多模态流式分块预填充机制,减少首token耗时,同时减少推理计算的显存峰值,提升推理批次大小,提升吞吐性能。通过这些联合优化技术,文心4.5 Turbo训练吞吐达到文心4.5的5.4倍,推理吞吐达到8倍。
飞桨框架3.0既延续了动静统一、训推一体的技术特色,更在自动并行、神经网络编译器、高阶自动微分等方面创新突破。例如,动静统一自动并行,使得大模型分布式训练代码减少80%;大模型训推一体,帮助强化学习训练提速114%;科学计算高阶微分,微分方程求解速度比 PyTorch 快115%;神经网络编译器,提升框架通用性能,模型端到端训练速度提升27%;异构多芯适配,飞桨已适配国内外60多个系列芯片。