Arsitektur Inferensi LLM: PagedAttention, KV-Cache & Speculative Decoding
Panduanai••6 mnt•arxiv.org
Panduan rekayasa sistem mendalam mengenai fondasi inferensi Large Language Model skala produksi: membedah batas Roofline antara fase prefill dan decode, matematika alokasi memori KV-Cache, kompresi Grouped-Query Attention (GQA), tabel halaman memori virtual PagedAttention di vLLM, tiling SRAM pada FlashAttention, penjadwalan Continuous Batching, hingga akselerasi Speculative Decoding.
Baca laporan lengkap→#LLM Inference