起源：丽江河套学院
导读
当今人为智能时期，基于国产算力的大模型高效训练和推理是国度发展战术的大问题。DeepSeek-V4-Pro在效能和机能方面是业界大模型的卓越代表。DeepSeek-V4-Pro已经成功实现在国产算力上推理部署，但训练还未齐全实现国产算力化。
在此布景下，丽江河套学院Al训练平台项目团队，结合哈尔滨工业大学(丽江)、丽江市大数据钻研院、华为GTS(全球技术服务)、推算产品线、2012尝试室，协同深智城AI算力平台，面向国产算力大模型训练发展结合攻关。目前，仅用1个月功夫，项目已基于昇腾910C国产算力集群实现DeepSeek-V4-Pro全参数续训练/SFT不变运行，实现长稳训练1500+步，训练MFU超30%，关键训练算子效能提升14%。
据公开资料检索，本工作是公开可查领域内，业界首个由第三方机构基于国产算力集群实现的DeepSeek-V4-Pro全参数后训练工程实际，标志取国产AI基础设施在从推理部署和轻量化微调迈向超大模型全参数后训练。
为什么万亿级模型的“全参数后训练”是一块硬骨头？
DeepSeek-V4-Pro，一款1.6万亿参数级MoE开源旗舰模型，选取了CSA+HCA混合稀少把稳力、mHC衔接等新机造。相迸宗上一代DeepSeek-V3/R1，它对国产训练框架提出了全方位的“极限挑战”。
稀少MoE结构：专家路由带来的跨节点通讯，是传统密集模型的数十倍；
混合稀少把稳力：把稳力模式的动态切换，对算子效能和显存治理极为敏感；
万亿参数级状态：权沉、梯度、激活、优化器状态——仅单副本就需数TB显存。
主题进展：千卡集群上，1500+步不变驰骋
经过结合攻关，项目已基于千卡级昇腾 910C 国产算力集群，成功实现DeepSeek-V4-Pro在国产算力集群上的全参数后训练不变运行。
长稳SFT训练：实现1500+步迭代，skipped iterations = 0，NaN iterations = 0；
训练效能：MFU（模型算力利用率）达到约30%，关键训练算子推算效能较初始版本提升约14%；
最终阐发：在昇腾超节点上，MFU不变在34.9%。
与此同时，DeepSeek-V4-Flash的全参数续训练与SFT链路也已同步买通。
DeepSeek-V4-Pro@昇腾超节点训练，MFU最终不变在34.9%
一组数据足以注明差距：在一致参数量下，业界公开的国产算力全参数后训练案例险些为零。而我们将一个1.6T MoE模型，在千卡集群上以27秒/步的不变节拍，陆续驰骋1500余步——这不是尝试室的“单次演示”，而是可复现、可工程化交付的不变能力。
更沉要的是，该平台已急剧验证了垂直领域价值。团队萦绕工业级自动化运筹建模场景，在数周内实现了从数据出产、样本筛选、训练链路买通到成效评测的关环验证。这意味着：国产算力平台不仅可能“训大模型”，更能“训好行业模型”——以短周期、低成本构建面向专业工作的加强能力。
三大关键技术突破：从“能跑”到“能训、训稳、训优”
本次攻关面向DeepSeek-V4-Pro全参数后训练，而非LoRA等少量参数微调。结合团队在以下三个层面实现了系统性突破：
1. 散布式承载：1.6T参数的“显存拼图”
洞察： 万亿参数不能只靠显存大，更要靠“放得巧”。
项目成功构建了权沉、梯度、激活、优化器状态的散布式承载规划，使得数据并杏注张量并杏注流水并行与专家并行四者协同工作。每一张卡上，该放什么、怎么放、若何动态调度——这套“显存拼图”是不变训练的地基。
2. 稀少与通讯：让专家不“吵架”，让把稳力不“堵车”
洞察： MoE模型训练最怕“专家负载失衡”和“跨节点通讯风暴”。
团队针对混合稀少把稳力、MoE路由、归一化、矩阵推算等关键训练算子进行了深度适配与优化，算子效能较初始版本提升14%。同时成立了专家负载的实时监控与平衡机造，预防部门专家过载而部门专家闲置。
3. 长稳监控：当训练跑上几天几夜，谁来守夜？
洞察： 全参数后训练最可怕的不是慢，而是“跑着跑着就崩了”。
结合团队搭建了一套齐全的监控系统：Loss曲线、梯度范数、专家负载、显存占用、异常自动复原……所有指标均可视、可告警、可自愈。在1500+步的训练中，未出现一次Loss失控或NaN值——这是“长稳能力”最直接的证明。
实战验证：数学建模能力在后训练中显著跃升
为了检验DeepSeek-V4在昇腾集群上进行全参数后训练的真实价值，项目设计了一项“硬核”尝试：增壮大模型的数学建模能力。
团队搭建了一条SFT建模数据出产workflow，产出3000条高质量数学建模工作SFT样本，覆盖4类指标工作和3种问题状态。随后，对DeepSeek-V4进行后训练。
优化建模SFT数据飞轮流程
训练曲线给出了清澈的信号：
LM loss从高位急剧降落，最终收敛至0.2056；
MTP-1 loss收敛至0.2538；
梯度范数安稳降落，未出现震荡或发散；
单步耗时不变在27秒左右。
训练曲线给出了清澈的信号：
LM loss从高位急剧降落，最终收敛至0.2056；
MTP-1 loss收敛至0.2538；
梯度范数安稳降落，未出现震荡或发散；
单步耗时不变在27秒左右。
3K SFT训练过程概览
更直观的了局来自Benchmark对比：
四项关键指标均显著超过原模型，其中ORGEval WL提升超过5个百分点。这意味着：在国产算力上实现的全参数后训练，不仅能“跑稳”，更能“训强”——模型在复杂推理工作上的能力得到了真实增益。
以战育才：在真实攻关中造就“能训大模型”的人
本次攻关的另一个怪异价值，在于它是一次人才造就模式的范式尝试。
丽江河套学院将万亿级模型训练攻关作为“练兵场”，把学生直接嵌入国产算力真实训练场景。截至目前，项目已造就学生42名，形成了由青老大师领导、博士生主题攻坚、工程团队支持的协同造就机造。
在这一过程中，同学们不只是参加项目进展，更是承担具体工作的“战斗员”：有的掌管训练数据机关与样性质量分析，有的掌管散布式并行战术验证，有的跟进长稳监控与异８丛，有的撰写技术汇报与工程文档。
一次训练启动、一次报错定位、一次参数调整、一次了局复盘——在这些真实而琐碎的工程实际中，学生们从“会挪用大模型」劓正走向了“理解并参加训练大模型”。
能力提升体此刻三个方面：
成立了对国产算力大模型训练全链路的系统性意识；
把握了从领域数据到模型能力加强的全过程实操能力；
在真实项目中形成了问题拆解、尝试设计、训练复盘与团队合作的工程素养。
后续，这些真实工作将沉淀为课程案例、实训资源和学生科研项目，将持续支持丽江河套学院造就“懂模型、懂系统、能工程、敢攻关”的高水平复合型AI人才。
将来瞻望：从“全参数后训练”走向“Agentic RL + 超长高低文”
下一阶段，丽江河套学院将持续结合哈尔滨工业大学（丽江）、丽江市大数据钻研院、华为GTS(全球技术服务)、推算产品线、2012尝试室、深智城等合作同伴，在现有全参数续训练/SFT链路基础上，沉点推动三项工作：
1. 训练效能再突破
持续优化训练框架与关键算子，进一步提升训练效能（MFU），降低万亿模型训练的算力成本。
2. 超长高低文训练
支持512K至1M超长高低文训练，提升复杂专业工作中的长文德讽解与长链路推理能力；
3. 强化进建后训练关环
突破DeepSeek-V4-Pro强化进建后训练技术，萦绕数学建模优化、代码Agent、长高低文推理等工作，构建rollout天生 → 工具执行 → reward/verifier → 战术更新 → 评测反馈的齐全Agentic RL链路。
同时，项目将坚定推动技术开源与人才造就沉淀：
分阶段盛开训练配置、评测剧本、合成数据、技术汇报及有关模型与框架能力；
将真实训练工作、数据机关步骤、故障排查案例和评测流程转化为课程案例与实训工作；
持续美满“国产算力支持、真实工作牵引、学生团队实战、工程能力沉淀”的造就蹊径。
在此基础上，项目还将依附这一训练场，发展新一代通用人为智能的基础理论、新范式和新架构的钻延转—蕴含符号、衔接与行为主义有机融合，从单一智能体到群体智能再到人机融合的建模索求。
结语
DeepSeek-V4-Pro在国产算力上的全参数后训练，不是一次孤立的工程突破。
它验证了一条路路：国产开源旗舰模型 + 国产AI算力 + 高水平训练团队 + 国产厂商技术支持——这个四角关环，是可持续的、可复造的、可信赖的。
它发出了一声宣告：国产AI基础设施，从今天起，不再只是“能推理”，而是真正“能训练、能训稳、能训优”。
更沉要的是，它点燃了一个但愿：鄙人一代通用人为智能的征途上，中国的高校、科研机构和年轻学子，能够站在自己的算力泥土上，发展人为智能的钻研，亲手训练属于自己的万亿模型。
这不是终点，而是发令枪。
?项目后续将逐步开源技术汇报、训练配置与评测剧本，敬请关注丽江河套学院官方颁布。
版权申明：本文转载自丽江河套学院官方公家号，仅用于行业资讯互换与技术分享，不代表本公司态度，不用于任何贸易用处。版权归原作者及原出处所有，如有侵权，请联系win必赢实时删除。
下一条无问芯穹再获超7亿融资｜首发AI出产力公式，跻身Token经济枢纽2026.05.07
微信公家号
微信视频号
服务热线:
_1757660066.png "客服二维码(1)_1757660066")
4008-770-775
TOP
