Amazon Buka TorchNeuron Open-Source: Jalankan PyTorch di Chip Trainium Tanpa Tulis Ulang Kode
Amazon resmi mengumumkan rilis publik open-source TorchNeuron di PyTorch Conference, menghadirkan integrasi native backend PyTorch pada chip AI AWS Trainium2 dan Trainium3 dengan lisensi Apache 2.0 guna memangkas ketergantungan pada ekosistem CUDA Nvidia.
Amazon Web Services (AWS) mengumumkan terobosan perangkat lunak penting di ajang PyTorch Conference North America di San Jose: rencana rilis publik dan pembukaan kode sumber (open-source) untuk 'TorchNeuron' di bawah lisensi Apache 2.0. Perangkat lunak ini dirancang untuk memungkinkan insinyur machine learning mengeksekusi kode model PyTorch langsung di atas akselerator silikon AI milik Amazon, AWS Trainium, tanpa perlu menulis ulang basis kode yang sudah ada.
Langkah ini merupakan serangan strategis langsung terhadap parit pertahanan (moat) terbesar Nvidia di industri AI: ekosistem perangkat lunak proprietary CUDA. Selama bertahun-tahun, meskipun berbagai penyedia cloud menawarkan chip akselerator khusus (ASIC) dengan harga sewa lebih murah, pengembang enggan berpindah karena biaya konversi kode dan penulisan ulang kernel kustom dari CUDA membutuhkan waktu berbulan-bulan.
Mekanika PrivateUse1: Integrasi Native PyTorch Menggantikan Lapisan XLA
Secara arsitektur, TorchNeuron menandai lompatan teknis yang fundamental dari pendekatan lama AWS. Sebelumnya, AWS Neuron bergantung pada lapisan penerjemah PyTorch/XLA yang sering kali kaku, lambat mengadopsi operator baru, dan rumit untuk di-debug. Kini, TorchNeuron memanfaatkan mekanisme standar PyTorch 'PrivateUse1', mendaftarkan Trainium sebagai perangkat native bawaan di dalam runtime PyTorch:
- Dukungan Penuh Eager Mode: Pengembang dapat mengeksekusi dan mendebug model secara interaktif baris per baris layaknya di GPU standar tanpa kompilasi grafik yang kaku.
- Optimasi torch.compile: Integrasi langsung dengan kompiler grafik PyTorch 2.x untuk menghasilkan kernel teroptimasi pada arsitektur Trainium2 dan Trainium3.
- API Pelatihan Terdistribusi Standar: Kompatibel penuh dengan Fully Sharded Data Parallel (FSDP), Distributed Data Parallel (DDP), Tensor Parallelism (DTensor), dan framework TorchTitan.
- Neuron Kernel Interface (NKI): Menyediakan antarmuka penulisan kernel kustom tingkat rendah berbasis Python untuk mengoptimalkan operasi memori on-chip.
Adopsi Awal: Lebih dari 30 Pelanggan Enterprise Termasuk Robotika dan AI Suara
Reuters melaporkan bahwa TorchNeuron telah diuji secara intensif oleh lebih dari 30 pelanggan perusahaan awal di lingkungan beta tertutup sejak akhir 2025. Klien-klien tersebut mencakup tim rekayasa yang mengembangkan model dunia (world models), sistem AI persepsi robotika, serta model pemrosesan suara multimodal.
Dengan menurunkan friksi migrasi, AWS membuka peluang bagi startup AI yang tercekik oleh mahalnya tarif sewa GPU Nvidia untuk memindahkan beban kerja pelatihan dan inferensi mereka ke klaster Trainium2 dengan potensi penghematan biaya komputasi hingga 40–50%.
Realitas Rekayasa: Menilai Klaim 'Tanpa Tulis Ulang Kode'
Kendati Amazon mempromosikan janji 'tanpa menulis ulang kode', tim data dan machine learning wajib membedakan sasaran pemasaran dari realitas teknis produksi. Klaim ini berlaku mulus untuk operator standar PyTorch. Namun, bagi repositori yang menggunakan ekstensi C++/CUDA kustom, kernel Triton tingkat rendah, atau pustaka perhatian terkuantisasi khusus, insinyur tetap dituntut melakukan penyesuaian atau memetakan ulang operasi tersebut via NKI.
- AWS mengumumkan rilis publik open-source TorchNeuron dengan lisensi Apache 2.0 di PyTorch Conference
- Menghubungkan kode PyTorch ke akselerator Trainium2 dan Trainium3 via backend native PrivateUse1
- Mendukung eksekusi eager mode, torch.compile, FSDP, DTensor, dan framework TorchTitan
- Memungkinkan penulisan kernel akselerator kustom melalui Neuron Kernel Interface (NKI)
- Telah diuji oleh lebih dari 30 pelanggan awal di sektor robotika, AI suara, dan model dunia
- Tantangan evaluasi: memverifikasi stabilitas numerik dan throughput aktual dibanding GPU Nvidia pada model berkonteks panjang
“Jika Anda memahami PyTorch, maka Anda sudah memahami Trainium. Dengan membuka TorchNeuron sebagai open-source, kami meruntuhkan dinding pembatas perangkat lunak sehingga inovasi komputasi AI tidak lagi terkunci pada satu arsitektur silikon tunggal.”
Kontribusi Amazon dalam menjadikan PyTorch semakin netral terhadap perangkat keras (hardware-agnostic) tidak hanya memperkuat posisi tawar Trainium, tetapi juga membuka jalan bagi diversifikasi silikon akselerator di seluruh ekosistem komputasi global.
Rujukan & Sumber Primer
Artikel Terkait & Analisis Lanjutan
Cloudflare Rilis Clairic: Model Ekstraksi 'System One' Berbasis Nilai Tanpa Biaya Token Output
Cloudflare meluncurkan Clairic di Workers AI, kelas model ekstraksi deterministik 'System One' yang mengembalikan nilai bertipe langsung dalam satu forward pass tanpa latensi generasi token dan mematok harga $0,10 per juta token input tanpa biaya output.
Nscale dan Anthropic Nego Kontrak Komputasi Kedua Senilai US$45 Miliar di Kampus Monarch
Penyedia neocloud Nscale tengah menegosiasikan kesepakatan komputasi AI kedua senilai ~US$45 miliar dengan Anthropic untuk fasilitas 460 MW berdaya chip Nvidia Vera Rubin di West Virginia, berpotensi menopang target valuasi IPO di tengah mundurnya Microsoft.
Modal Adopsi CPU Nvidia Vera untuk Agen AI: Performa Eksekusi Tugas Melonjak 2 Kali Lipat
Penyedia cloud serverless Modal mengumumkan adopsi CPU mandiri Nvidia Vera untuk beban kerja agen AI, menggandakan throughput penyelesaian tugas dibanding chip x86 konvensional seiring pertumbuhan pendapatan 15x lipat.