在探索通用人工智能（AGI）的征途上，业界始终聚焦于如何实现技术上的弯道超车。近年来，随着各项单点技术的飞速发展，其边际效应逐渐递减，系统复杂度却日益提升，这使得系统性能的提升瓶颈从单点技术转移到了系统工程层面。
单点技术的优势如同精致的零件，虽有其价值，但提升空间有限。相比之下，系统工程创新通过各部分的高效协同，能够实现整个系统效能的最优化，其现实意义更为显著。如何在发挥单点技术优势的同时，以整体视角重构技术路径，实现对复杂系统的极致把控与再组织，成为亟待解决的关键问题。
近期，虎嗅将推出一系列技术报告，名为《华为技术披露集》，首次全面深入地揭示了相关技术的细节，旨在为业界提供有价值的参考。这一系列内容的推出，不仅展现了华为在技术创新方面的实力，也表达了其构建开放协作生态系统的愿景，助力昇腾生态在中国的蓬勃发展。
其中，《华为技术披露集》VOL.13聚焦于“万卡集群”，揭示了AI算力集群背后的技术奥秘。如今的AI技术愈发“聪明”，能够写小说、做翻译，甚至辅助医生分析CT片，而这些能力的实现离不开强大的AI算力集群。随着人工智能技术的不断进步，从简单规则判断到处理万亿参数的大模型，单台计算机的算力已无法满足需求，而算力集群则通过将成千上万台计算机连接起来，形成强大的计算力。
在构建算力集群的过程中，华为团队面临了一系列世界级难题，包括如何确保集群中的计算机能够协同工作、如何在部分设备故障时保持高效运行、以及如何快速修复大规模训练中的中断问题等。华为团队通过创新技术，如超节点高可用方案，确保了AI训练和推理的连续性。当某台机器出现故障时，系统会立即启动备用机接管任务，确保任务不会因个别设备故障而中断。
华为团队还提出了集群线性度技术，通过精密的任务分配算法，实现了算力随规模增长而几乎同步提升。在训练超大规模模型时，万台计算机能够像龙舟队一样整齐划一地工作，确保算力的最大化利用。实验结果显示，在训练Pangu Ultra等模型时，华为团队的方案实现了接近理想的线性度。
针对万卡集群训练中的快速恢复问题，华为团队也提出了创新方案。当部分计算单元出现故障时，系统会像游戏存档一样记录最近的训练进度，一旦检测到故障，能够快速从最新的存档点继续训练，避免了从头再来的巨大浪费。这一技术使得训练恢复时间缩短至分钟级。
在超大规模MoE模型推理方面，华为团队提出了三级容错方案，包括实例间切换、实例内重启恢复和实例内无损恢复等，以最小化用户损失。同时，华为还构建了故障管理与感知诊断系统，实时监控系统中的各项指标，一旦发现异常立即发出警报并分析故障原因，快速启动修复机制。
在算力集群的建模仿真方面，华为团队提出了系统化、可扩展的马尔科夫建模仿真平台，通过模拟不同的算法参数、数据输入和计算资源分配方案，预测模型在真实场景中的表现，并提出优化手段。这一技术能够节省大量真实训推的时间和资源。
华为推出的全场景AI框架昇思MindSpore也提供了拥抱主流生态的兼容方案。通过构建MSAdapter生态适配工具，实现了第三方框架的无缝迁移，并针对动态图执行效率问题进行了优化。在推理阶段，昇思MindSpore支持一键部署大模型推理服务，实现了推理性能的提升。
