公共云AI推理服务稳定性建设研究报告(2026年)-中国信通院

以大模型为核心的人工智能(Artificial Intelligence，AI)技术正加速规模化应用。公共云承担模型部署、算力调度和应用接入等关键功能。随着推理规模扩大、应用链路延长，稳定性问题已从模型可用性延伸至分布式链路和基础设施，成为产业发展的重要制约因素。

本报告所称“公共云AI推理服务稳定性”，是指在多租户共享资源、弹性按需供给和跨可用区、跨地域部署条件下，公共云持续提供可预期、可恢复、可审计推理服务的能力。其对象不仅是模型接口，还包括算力、网络、存储、模型调度、智能体(Agent)工具链和知识服务构成的端到端链路。

云原生分层解耦的网络弹性承载技术

该技术将网络功能拆分为服务计算、互联管理和报文处理资源池，各资源池可根据连接数、带宽和负载独立扩缩，降低状态同步对扩容效率和业务连续性的影响。

意图感知的自适应高精度网络监控技术

该技术结合虚拟拓扑、路由配置、资源变更和活跃路径动态生成探测任务，通过端到端、逐跳和边界探测发现丢包、时延和节点异常，并区分虚拟网络、物理网络、用户侧及运营商侧问题

相关评估显示，在探测任务减少78%的情况下，可覆盖超过90%的租户流量，虚拟拓扑通常在6秒内完成更新。实际部署中应实施分层采样，控制探测开销。

Overlay网络驱动的租户无感快速容灾技术

该技术通过调整隧道报文外层源端口，改变等价多路径路由的哈希结果，将流量引导至已验证的可用路径，在底层路由完全收敛前完成快速绕障。相关实践显示，按活跃IP探测可降低60%~70%的成本，路径状态数据可压缩约25倍，18个月内累计网络中断时间降低92.71%。该技术依赖冗余路径，不能替代基础容量和跨故障域容灾;多路径同时受损时，仍需进行可用区或地域级切流。