CNCF dan Aliansi Industri Luncurkan llm-d 1.0: Standardisasi Disagregasi Prefill-Decode di Atas Kubernetes

Cloud Native Computing Foundation (CNCF) bersama aliansi industri infrastruktur terdistribusi—yang dimotori oleh Red Hat, IBM, Google Cloud, CoreWeave, dan NVIDIA—resmi mengumumkan ketersediaan umum (General Availability) proyek llm-d versi 1.0 pada Rabu dini hari, 21 Oktober 2026. Rilis ini memantapkan standar terbuka netral-vendor untuk mengorkestrasi inferensi model bahasa besar (LLM) terdistribusi di atas kluster Kubernetes produksi.

Standardisasi ini menjadi respons krusial terhadap membengkaknya biaya komputasi inferensi skala enterprise, di mana beban kerja agen otonom dan konteks percakapan multi-turn sering kali memicu inefisiensi alokasi memori akselerator grafis.

Pemisahan Tahap Prefill dan Decode untuk Efisiensi Akselerator

Pada arsitektur inferensi konvensional, tahap prefill (pemrosesan prompt awal yang terikat daya komputasi) dan tahap decode (pembentukan token bertahap yang terikat bandwidth memori) dieksekusi bersamaan pada instans GPU yang sama. Pola monolitik ini menyebabkan inefisiensi parah: akselerator grafis berdaya tinggi kerap menganggur menunggu transaksi memori selama fase decode, atau memicu lonjakan latensi saat prompt besar masuk secara bersamaan.

llm-d 1.0 mengatasi hambatan ini dengan memisahkan kluster prefill dan kluster decode secara terdesentralisasi (prefill/decode disaggregation). Mengintegrasikan runtime seperti vLLM dan SGLang di bawah satu bidang kontrol Kubernetes, llm-d memperkenalkan lapisan pengarah lalu lintas yang sadar akan prefix cache (prefix-cache-aware routing). Dalam pengujian produksi bersama mitra seperti Snap, arsitektur ini membukukan rasio hit rate cache 75% hingga 80%, memangkas latensi first-token serta mereduksi biaya komputasi konteks berulang hingga lebih dari separuh.

Penyelesaian Operasional Day-2 untuk Beban Kerja Agen Otonom

Pembaruan arsitektural penting lainnya pada versi 1.0 adalah pengenalan Cooperative Time-Slicing. Mekanisme penjadwalan ini memungkinkan alur kerja evaluasi reinforcement learning (RL) dan eksekusi multi-langkah agen AI untuk berbagi kapasitas komputasi akselerator secara dinamis tanpa melanggar Service Level Agreement (SLA) latensi antarmuka. Sistem secara otomatis memanfaatkan siklus komputasi yang terluang selama jeda penulisan memori cache.

“Tantangan terbesar penerapan AI skala besar di perusahaan saat ini bukan lagi sekadar menulis algoritma model, melainkan orkestrasi operasional Day-2 yang efisien di atas kluster multi-tenant. llm-d 1.0 menghadirkan standar terbuka vendor-netral yang mencegah penguncian ekosistem dan mengembalikan efisiensi ekonomi pada infrastruktur akselerator.”

Peluncuran llm-d 1.0 menandai transformasi inferensi kecerdasan buatan dari tumpukan skrip eksperimental menuju komponen rekayasa sistem yang matang dan terstandardisasi. Bagi arsitek cloud enterprise, rilis ini menawarkan jaminan elastisitas dan keterukuran biaya operasional jangka panjang.