华为云容器产品分析

云容器引擎（CCE）是深度整合高性能的计算（ECS）、网络（VPC/EIP/ELB）、存储（EVS/OBS/SFS）等服务，支持多可用区（Available Zone，简称AZ）、多区域（Region）容灾等技术构建高可用Kubernetes集群。是分布式系统系统为满足高可用，快速弹性伸缩，低成本运维等特性必然选择。为增强我司容器产品的竞争力，特进行与竞品的比较。本文将以华为云容器产品为对比，进行对比和分析。

华为云容器产品介绍

产品组成

横向来说，cce产品多个服务来共同组成的，其产品内部也包含了多款产品，这些提供了容器的众多功能。

组成说明

产品名称	功能	定位
CCE-standard	提供标准版本的Kubernetes集群服务，致力于高可靠性和安全性。	作为基础版容器集群服务，主打高可靠性和安全性，面向常规云原生应用部署场景。
CCE-turbo	新一代容器集群产品，提供高性能和资源利用率	面向云原生2.0的高性能旗舰产品，强调计算、网络、调度的全面加速，适合大规模和高性能场景。
Autopilot	新一代容器集群产品，提供高性能和资源利用率	无服务器化（Serverless）全托管集群，主打免运维和极致弹性，适用于波峰波谷明显的业务。
CCI	Serverless容器实例服务（高性能计算能力，弹性伸缩与计费模式，生态与兼容性，混合云与边缘场景支持）	企业级Serverless容器平台：（简化运维，高性能AI算力，混合云协同）

组成服务

表 1 CCE相关服务依赖关系

各个部件介绍如下：

服务	组成服务	英文缩写	作用
网络	虚拟私有云	VPC	网络隔离与安全。灵活组网与混合云支持。性能优化与扩展性。
	弹性公网IP	EIP	静态公网入口。动态绑定与成本优化。安全防护与高可用。
	弹性负载均衡	ELB	智能流量分发。健康检查与故障隔离。跨可用区与自动扩展。
存储	对象存储	OBS	标准存储（热点数据）、低频访问存储（年访问＜12次）、归档存储（年访问1次）、深度归档存储（数年访问1次）
	块存储	EVS	容量型（HDD，大容量低IO）、性能型（SSD，中高IO）、高IO型（NVMe SSD，超高IO）
	文件存储	sfs，sfs-turbo	标准文件存储（通用型）、Turbo文件存储（高性能并行访问）
	分布式存储	OceanStor Pacific	支持EB级扩展，兼容HDFS、S3、NFS等多协议
配额	资源配额管理系统	Manageone的子服务	多层级配额管理（复用）
计费	华为云话单服务	HCBS
租户管理	多租户管理平台	MBM	多租户管理平台（复用）
证书管理	云证书管理	CCM
数据库	关系数据库服务	RDS
镜像管理	容器软件镜像仓库	SWR
主机管理	可伸缩云服务器	ECS
运维	应用运维管理	AOM
运维	云监控服务	CES
认证服务	认证访问管理服务	IAM	认证鉴权
资源管理	资源管理服务	RMS	管理租户的资源创建、分配、回收等
审计	云审计服务	CTS	记录ip，操作，结果等。

提供的功能

表 2 cce层级结构

CCE功能列表：

功能来源	功能	子功能	说明
产品界面提供	应用管理	多形态应用	Deployment， StatefulSet， DaemonSet， Job（job，cronjob，vcjob）
	应用管理	滚动升级	可部分升级，回滚，流量控制
	服务管理	Service管理
	服务管理	路由管理	Ingress
	模板管理	Helm模板	可手动制作，也可上传下载
	配置管理	配置管理	configmap
	配置管理	秘钥管理	Secrete
	存储管理	存储来源管理	Storageclass
	存储管理	存储申明管理	Pv/pvc
	插件管理	Volcano	智能调度器
		Coredns	Dns域名解析
		Kubeproxy	负载均衡
		Everest	存储
		Logger	日志管理组件
		Prometheus	监控与上报组件
	集群管理	管理集群	删除，修改，展示：事件，告警，监控，审计（操作记录）；冻结/解冻
		升级	可升级部分节点，指定版本，时间窗口，可忽略
		费用展示
	主机管理	节点管理	监控，登录，eip绑定，网卡添加等
	主机管理	节点池管理	节点添加，删除等
产品非功能性	弹性伸缩		支持节点和工作负载的自动伸缩，根据业务负载动态调整资源。
	多规格		多种服务器（高性能，ai，带宽，高内存等）；多种架构（arm，x86，鲲鹏）
	高性能网络	Overlay+主机网络	华为自研的yangszi产品
外部服务提供	DevOps集成	云原生2.0	云龙，伏羲流水线（可灰度发布）
	证书管理	CCM	证书签发与认证
	网络管理	VPC	专属网络
		EIP	Ip，防火墙
		ELB	流量控制，负载均衡
	主机管理	ECS	Os团队可定制化，最大程度减少资源占用，提高启动效率（10s内）；xrs平台提供高性能弹性伸缩（200万/min 2026年）
	存储管理（everest组件纳管）	EVS	块存储
		Sfs	1.0,2.0（sfs-turbo）文件存储
		Obs	可加密，并行文件系统，文件系统。对象存储
	镜像管理	Swr
	计费	HCBS	话单
	配额管理	Manageone子服务
	鉴权管理	IAM

内部划分组件

表 3 CCE控制面及数据面逻辑图

组成交互示意图：

关键部件及其功能说明：

所属平面	组件名称	子组件	作用
管理面	Cluster-manager	–	管理客户集群，一个region一个
管理面	Node-provider	–	管理客户集群的pod与node
数据面	Nacre	Nacre-agent	配置vm网卡与vpcep ，配置路由，配置主机名等；监控组件启动：yangzsi，everest，kubelet，cce-agent等
		Nacre	提供符合要求的ecs，并预制相关组件；
		Bootstrapper	Vm启动流程配置（包括需要启动的组件，参数），从obs处获取配置信息
		Nacre-proxy	部署在用户集群中，用于node-provider与vm直连，减少调用链。
	kubelet		二进制，修改过
	Cert-manager	管理证书	对接证书服务
	Cert-manager	鉴权管理	对接iam服务
	Add-manager	Yangtsi	二进制，预置，拦截apiserver请求
		Everest	二进制，预置，对接存储
		kube-proxy	可以选择ipvs或者iptables
		Cce-agent	日志采集，监控，镜像拉取等
		Logger	界面可选，日志管理组件
		Coredns	界面可选，Dns解析
		Volcano	界面可选，智能调度
		Prometheus	界面可选，监控
		Metrics	界面可选，收集数据
辅助	Shubert		伏羲安装部署脚本归档

主要技术

项目	技术项	主要实现	优势/意义
高速网络	容器直通网络（Yangtse）	将传统“容器网络 + 虚拟机网络”的两层架构简化为单层，直接与VPC网络深度整合，消除Overlay隧道的额外封装开销,	端到端连通时间缩短50%，网络时延降低40%，单节点支持256个容器实例（业界最高密度）
	Trunkport技术与弹性网卡（ENI）优化	通过Trunkport技术实现弹性网卡多路复用，单台服务器支持千级容器直通网络，突破传统ENI数量限制	引入Warm Pool预热池，预分配ENI资源，将容器网络打通时间从分钟级缩短至1-2秒
	安全组独立配置与网络策略升级	为每个容器独立绑定安全组（传统方案共享节点级安全组），新增SecurityGroup CRD对象，支持精细化流量控制	实现类似虚拟机的隔离级别，减少网络阻塞风险，QoS策略支持业务优先级划分
	Kubeproxy的升级	IPVS替代iptables的大规模负载均衡	IPVS基于哈希表实现四层负载均衡，相比iptables规则更新时延从5小时（2万服务）降至70微秒，转发性能提升10倍
存储	接入存储服务	使用everest对接多种存储，并实现了对存储的生命周期管理。	非存储服务本身技术，可统一纳管存储；采用VF直通技术，读写时延降低50%，NAS卷直挂容器内提升处理效率30%。支持跨云存储联邦，兼容S3/HDFS/NFS多协议，但跨协议转换可能带来5%-10%性能损耗
调度与运行时	Volcano智能调度器		引入IO Aware算法，优化AI/大数据任务调度效率，资源利用率提升50%
	Enhanced Kata Containers		自研QEMU-microVM与裁剪版EulerOS内核，启动时间缩短35%，内存占用减少68%
	iSula轻量引擎		基于C/C++重构容器运行时，启动速度比Docker提升35%，适用于边缘计算资源受限场景
镜像	下载加速		懒加载与多通道下载
	安全扫描		集成安全检测工具，并对问题发出告警
	镜像加密		加密；此处建议使用目前流行的镜像签名cosign技术；
	秒级上传		数据块的hash对比，加速上传。
容器并发（每秒调度1万容器实例的规模，并支持30秒内扩容1000容器实例）	网络架构优化	容器网络直通（Yangtse技术）	将传统“VPC + 容器网络”两层架构融合为一层，消除Overlay隧道封装，端到端网络时延降低40%，单节点支持256个容器实例。通过Trunkport弹性网卡复用技术，单服务器可挂载千级容器直连VPC网络，结合Warm Pool预热池机制，网络资源分配时间从分钟级缩短至1-2秒
	网络架构优化	ELB直通容器	负载均衡流量绕过Kubernetes Node Port，直接转发至后端容器，减少跳转延迟与故障风险，支持容器级流量控制，避免新扩容实例被压垮
	裸金属容器与擎天架构	裸金属容器卸载技术	将网络组件卸载至擎天卡，突破传统ENI数量限制，单服务器可部署千级容器，资源利用率提升30%，网络性能提升40%。
	裸金属容器与擎天架构	混合资源池管理	支持裸金属、虚拟机、容器统一调度，结合Volcano智能调度器优化AI/大数据任务调度效率，计算时间缩短30%-40%
	资源预热与弹性加速	Warm Pool预热池	预分配并缓存弹性网卡（ENI），容器启动时直接挂载已就绪资源，解决VPC网络资源分配速度与容器扩容速度的瓶颈。
	资源预热与弹性加速	冷启动优化	通过轻量化容器引擎iSula（C/C++实现）、Kata安全容器裁剪内核，启动速度比Docker提升35%，内存占用减少68%。5s内启动vm完成。
联邦云	Ucs		支持跨云弹性扩容（kamarda）
ECS	XRS	与aws类似	将虚拟机统一池化；使得后续vm并发供给能达到600w/min,2030年