K8s

KCD Hangzhou + OpenInfra Days China 2025,云原生,人工智能,开源,大模型,KCD Hangzhou 2025 组委会,OpenInfra 中国用户组, 照片直播 | KCD HANGZHOU OPENINFRA DAYS CHINA 2025 谈谈几点收获 关于 MaaS 关于 Nydus 谈谈几点感想 关于灵魂拷问「在 AI 推理的背景下，是否一定需要 K8s？」： K8s 作为 GPU 资源统一纳管层的角色不会被替代，可以通过 Pod 作为 infra 和业务之间界限。Pod 之下，K8s 繁荣的生态可以免去操作系统层面很多不必要的运维工作；Pod 之上，业务需要自身来维护。那能不能把 AI infra 也纳入到 K8s 生态呢，享受 K8s 中例如 HPA 这样的功能？从我个人的角度来说，我觉得比较困难： 从常规角度思考，「模型」≠「镜像」，「模型 + vLLM 等运行框架」==「镜像」。从镜像开始，才有 Pod 的生命周期，K8s 才能对 Pod 进行管理。所以无法通过只更新模型完成 Pod 的更新。 如果我们把 vLLM 等框架理解成特殊「容器运行时」，在「容器运行时」中提供了 **UpdateContainerResources**** 来修改容器的资源，那么我们可以把「模型」想象成一种特定的资源来完成更新。但是 **UpdateContainerResources** 目前还是 beta 的状态，并且更新的流程也会牵涉到具体推理框架的实现，难度较大。** ...