"面壁智"能联合清华等开源中国首个基于华为昇腾训练的 1.58
该领域、OpenBMB 开源社区，今天正式公布并开源其在低比特大模型训练方向的最近成果 ——BitCPM-CANN。官方强调，对手机行业来说，6 倍的显存红利意味着，一个 8B 参数的 BitCPM-CANN 大模型，可以轻松运行在当前主流旗舰手机之上。从量化算子、该范围到全链路框架，BitCPM-CANN 均在华为昇腾上原生结束，包含 0.5B、1B、3B、8B 四个模型尺寸，与同尺寸 MiniCPM4 全精度家族逐项对照评测，性能表现优异。从此，所有面向昇腾的低比特训练工作，都可建立在同一套公共基础设施之上。此外，面壁智能基于 MindSpeed × Megatron-LM 主干搭建了完整的低比特训练底座，包含环境适配、32K 长序列支援、并行策略、融合算子等完整工程体系。官方强调，这是中国首个该领域（华为昇腾）实现端到端训练并开源的三值大模型。相比传统 BF16 精度，BitCPM-CANN 在推理时段释放约 6 倍显存红利，同时将模型能力保留率维持在 90%–97.2%。BitCPM-CANN 0.5B / 1B / 3B / 8B 全系列模型权重现已开源，IT之家附链接如下：
今日商丘
新浪微博
商丘网