在通往通用人工智能（AGI）的路上，如何像其他领域一样实现弯道超车，是业界绕不开的话题。
在过去的十余年时间里，各项单点技术飞速演进，但随着单点技术演进的边际效应递减和系统复杂度的提升，系统性能的天花板逐步从单点技术的上限演变成系统工程上限：单点优势越来越像是精致的零件，提升空间有限；但采用系统工程创新，各个部分完美配合、高效协同，实现整个系统的效能最优，才有更积极的现实意义。
如何在发挥单点技术优势的同时，以整体视角重新构建路径，通过对复杂系统的极致把控与再组织、找到新的突破可能？解决这个看似不可能的问题，就有望为我们独立引领最前沿技术发展创造条件。
近期，虎嗅将推出《华为技术披露集》系列内容，通过一系列技术报告，首次全面详述相关技术细节，为业界提供参考价值。
我们期待通过本系列内容，携手更多伙伴共同构建开放协作的生态系统，助力昇腾生态在中国的蓬勃发展。
想象一下，你正在用手机导航规划长途路线，背后可能有几十个 AI 模型同时在分析路况、预测拥堵；医院用 AI 辅助诊断癌症时，系统需要瞬间处理成百上千张 CT 影像。这些看似简单的智能应用，背后都依赖着像 "超级大脑" 一样的 AI 算力集群在 24 小时不停运转。
如果把 AI 算力集群比作一个大型工厂的生产线，高可用性就相当于让这条生产线具备 "永不罢工" 的能力，给 AI 算力集群上了一份 "保险"，让这个支撑智能时代的 "数字发动机" 既能承受日常的 "小磕小碰"，又能在遇到突发故障时保持稳定运行。只有确保算力资源随时可用、持续输出，才能让 AI 真正成为驱动业务创新的可靠引擎，而不是随时可能熄火的 "半成品"。
高可用核心基础：面向超节点的故障感知、管理及容错
AI大集群问题定位复杂，系统规模大、软硬技术栈复杂、调用链长，先要跨域故障定界，然后各域内部故障定界定位，故障诊断面临巨大挑战；当前定位时间从数小时到数天，技能要求高 ，难以找到故障设备和根因。华为团队为了让集群运维工具能够快速找到问题原因，有效提升现网问题的闭环效率，提出了全栈可观测能力，构建了大规模集群的故障感知能力，主要由集群运行视图、告警视图、网络链路监控、告警接入和配置、网络流可观测能力组成；同时还提出了包括全栈故障模式库、跨域故障诊断、计算节点故障诊断、网络故障诊断等四大能力的故障诊断技术。
当前行业水平下，万卡级别的AI集群平均每天会出现一次甚至多次故障，这不仅严重影响了训练效率，还导致了算力资源的大量浪费。为解决这一问题，华为团队通过建立AI集群全系统可靠性分析模型，实现对可靠性指标的预计评估和分配分解。从可分析、可增强、可验证、可诊断等方面，持续构建可靠性系统工程能力，突破关键可靠性技术，实现CloudMatrix超节点万卡集群MTBF大于24小时的硬件高可靠能力。
超节点需要做大超节点规模，才能充分发挥超平面网络的优势，目前业界没有使用光链路来构建超节点的成功案例，因此华为团队提出了相应的超节点光链路软件容错方案。通过多层防护体系，借助超时代答，绿色通道等关键技术实现无超节点级故障，通过链路级重传，光模块动态升降Lane，HCCL算子重执行，借轨通信，双层路由收敛，Step级重调度等特性，实现光模块闪断的故障率容忍度>99%。在新增10倍+光模块后，通过软件可靠性措施，以及光链路压测技术等，实现光模块闪断率低至电链路水平，保障了超平面的可靠性。通过构建Step级重调度能力，高频的HBM多比特ECC故障恢复时间缩短至1min，对于因为故障造成的用户的算力损失下降5%。
高可用助力业务：万卡集群上千亿模型的线性度和训推快恢