CNCF dan Aliansi Industri Luncurkan llm-d 1.0: Standardisasi Disagregasi Prefill-Decode di Atas Kubernetes
cloud••2 mnt•cncf.io
Aliansi pengembang yang dipimpin Red Hat, IBM, Google Cloud, CoreWeave, dan NVIDIA merilis versi 1.0 llm-d di bawah CNCF, menghadirkan disagregasi prefill-decode, routing sadar prefix cache dengan rasio hit rate hingga 80%, serta pembagian waktu kooperatif untuk kluster GPU multi-tenant.