Alibaba Cloud Pangkas Penggunaan GPU Nvidia dengan Sistem Pengumpulan Aegaeon

Di balik Aegaeon, cara Alibaba Cloud memangkas kebutuhan GPU untuk AI

Alibaba Cloud mengatakan telah memangkas tajam jumlah prosesor grafis Nvidia yang dibutuhkan untuk melayani model bahasa besar dalam skala besar, berkat sistem baru bernama Aegaeon. Dalam uji beta produksi di marketplace modelnya, perusahaan melaporkan bahwa Aegaeon memangkas jumlah GPU Nvidia H20 yang dibutuhkan untuk menangani puluhan model, termasuk model dengan hingga 72 miliar parameter, dari 1.192 menjadi 213. Itu berarti pengurangan 82 persen pada akselerator yang digunakan untuk tingkat layanan yang sama. Hasil tersebut dipaparkan di Symposium on Operating Systems Principles di Seoul, forum terkemuka untuk riset sistem komputer. Bagi pengguna layanan cloud, klaim ini berarti potensi penghematan biaya dan daya, ketersediaan chip langka yang lebih baik, serta pengalaman yang lebih konsisten saat mengakses berbagai model melalui platform yang sama.

Pencapaian ini menyasar persoalan yang kian terasa di era marketplace model. Kini, penyedia cloud melayani ribuan model sekaligus kepada para pengembang. Sejumlah kecil model, seperti keluarga Qwen milik Alibaba dan model terbuka DeepSeek, menerima sebagian besar lalu lintas. Banyak model lainnya menganggur dalam waktu lama, lalu menerima lonjakan permintaan singkat. Infrastruktur layanan tradisional mengalokasikan GPU penuh atau irisan GPU berukuran besar untuk setiap instans model. Saat model sepi, GPU yang dicadangkan untuknya kurang dimanfaatkan. Ketika permintaan datang tanpa cukup replika yang siap digunakan, platform menambah kapasitas dan harus menanggung waktu pemuatan yang lebih lama serta throughput yang lebih rendah. Aegaeon berupaya mengubah perhitungan ini dengan mengumpulkan sumber daya GPU untuk banyak model, lalu menjadwalkan pekerjaan dalam irisan waktu yang lebih kecil agar setiap akselerator tetap sibuk.

Alibaba Cloud menyebut Aegaeon sebagai cara untuk melayani beban kerja LLM yang berjalan bersamaan tanpa pemborosan. Sistem ini memadukan penjadwalan banyak model yang agresif dengan mekanisme untuk menjaga data tetap tersedia di memori dan memindahkan pekerjaan antar-model dengan jeda minimal. Menurut tim peneliti dari Peking University dan Alibaba Cloud, hasilnya adalah throughput lebih tinggi, antrean lebih pendek, serta lebih sedikit chip yang menganggur untuk layanan dengan penggunaan rendah.

Masalah apa yang ingin diatasi Aegaeon?

Platform AI modern menghadapi permintaan dengan ekor panjang. Sejumlah kecil model populer menarik sebagian besar lalu lintas inferensi. Model yang kurang populer tetap penting bagi pengembang, tetapi hanya menerima permintaan sesekali. Alibaba Cloud mengukur bahwa 17,7 persen GPU di marketplace-nya dialokasikan untuk melayani hanya 1,35 persen permintaan. Karena model dipatok pada akselerator khusus, layanan cloud akhirnya menanggung biaya waktu menganggur dan seringnya cold start, terutama ketika pola lalu lintas naik-turun atau sulit diprediksi.

Dari luar, layanan inferensi tampak sederhana, tetapi bagian dalamnya rumit. Model bahasa besar menyimpan bobot dan status runtime di memori GPU. Saat menghasilkan teks, sistem memelihara cache key-value yang menyimpan aktivasi perantara untuk token yang sudah dihasilkan. Memuat bobot model dari disk atau melalui jaringan membutuhkan waktu lama. Menyiapkan cache key-value juga memerlukan waktu. Secara tradisional, memindahkan GPU dari satu model ke model lain berarti membongkar dan memuat ulang model dengan biaya besar. Beban tambahan ini menghambat pemakaian bersama yang sering, sehingga sebagian besar akselerator didedikasikan untuk paling banyak satu atau dua model. Aegaeon dirancang untuk mengelola perpindahan ini dengan jauh lebih efisien agar GPU dapat dipakai bergantian oleh banyak model tanpa penalti besar.

Cara kerja sistem

Aegaeon adalah infrastruktur layanan banyak model yang memperlakukan GPU sebagai kumpulan sumber daya bersama dan menentukan pekerjaan yang dijalankan dengan granularitas sangat tinggi. Alih-alih melakukan penskalaan pada tingkat permintaan atau replika model, sistem ini mengambil keputusan pada tingkat token. Penjadwal dapat menyelang-selingkan proses pembuatan token untuk pengguna dan model yang berbeda di GPU yang sama, sembari menjaga struktur data bernilai tinggi tetap siap di memori. Tujuannya adalah memaksimalkan pekerjaan berguna per detik tanpa melampaui batas ketat untuk waktu respons.

Penskalaan otomatis tingkat token

Gagasan utamanya adalah menyesuaikan kapasitas pada tingkat token. Artinya, Aegaeon dapat mulai melayani permintaan untuk satu model, lalu secara oportunistis menjadwalkan token dari model lain saat kapasitas masih tersedia, semuanya dalam proses batching dan peluncuran kernel yang sama. Makalah tersebut melaporkan bahwa Aegaeon mampu mempertahankan tingkat kedatangan permintaan 2 hingga 2,5 kali lebih tinggi, atau menghasilkan goodput 1,5 hingga 9 kali lebih besar, dibandingkan kumpulan alternatif yang hanya memultiplex dua atau tiga model per GPU. Dengan bekerja pada tingkat token, sistem menghindari jeda panjang yang terjadi saat memulai replika baru dan dapat merespons dengan cepat terhadap lonjakan pada model mana pun.

Pemakaian ulang memori dan koordinasi cache KV

Aegaeon menekan beban tambahan dengan menggunakan ulang komponen, mengelola memori secara eksplisit, dan menyinkronkan cache key-value antar-model secara terperinci. Peneliti mengatakan hal ini mengurangi beban penskalaan otomatis sebesar 97 persen dibandingkan pendekatan naif. Dengan pengelolaan memori dan cache yang lebih cerdas, GPU yang sama dapat menjaga beberapa model tetap siap dijalankan tanpa pemuatan ulang terus-menerus. Dengan begitu, satu akselerator dapat mendukung hingga tujuh model secara bersamaan, dibandingkan batas umum dua atau tiga model pada sistem banyak model sebelumnya.

Hasil pengukuran dari uji beta produksi

Alibaba Cloud mengatakan telah menguji Aegaeon dalam versi beta di marketplace modelnya selama lebih dari tiga bulan. Penerapan tersebut melayani puluhan model, termasuk model dengan hingga 72 miliar parameter. Selama periode itu, tim melaporkan jumlah GPU yang dibutuhkan untuk memenuhi beban layanan yang sama turun dari 1.192 unit Nvidia H20 menjadi 213, sehingga menghemat sumber daya sebesar 82 persen. Sistem ini juga mengurangi penalti latensi saat berpindah antar-model sebesar 97 persen, yang membantu ketika beban kerja berganti-ganti antara model populer dan model berekor panjang sepanjang hari.

Lingkungan marketplace menjadi tempat uji yang kuat karena menghadapi permintaan serentak di dunia nyata, beragam ukuran permintaan, dan berbagai jenis model. Dalam situasi ini, Aegaeon membuat akselerator lebih sibuk, mengurangi waktu menganggur pada layanan yang jarang digunakan, dan menjaga responsivitas model dengan permintaan tinggi melalui penjadwalan yang lebih terperinci. Kombinasi penjadwalan per token dan pemakaian ulang memori secara cermat tampaknya menjadi kunci untuk menghasilkan lebih banyak pekerjaan berguna per jam GPU.

Tim peneliti dari Peking University dan Alibaba Cloud berpendapat bahwa praktik industri selama ini menyia-nyiakan potensi penghematan dengan mendedikasikan GPU untuk model yang permintaannya sporadis. Mereka menyampaikan kesimpulan tersebut secara langsung dalam makalahnya.

Aegaeon adalah karya pertama yang mengungkap besarnya biaya untuk melayani beban kerja LLM yang berjalan bersamaan di marketplace.

Pernyataan itu sejalan dengan pola yang terlihat di berbagai marketplace model. Penyedia layanan sejak lama menyadari bahwa model berekor panjang menyita kapasitas dan meningkatkan biaya bagi semua pihak. Pendekatan Aegaeon menunjukkan bahwa desain penjadwalan dan memori yang dioptimalkan untuk layanan banyak model dapat mengatasi pemborosan tersebut.

Artinya bagi pelanggan dan pengembang cloud

Bagi pelanggan, lebih sedikit GPU untuk setiap unit throughput dapat berarti harga lebih rendah, kuota lebih besar, dan kinerja yang lebih mudah diprediksi. Jika layanan cloud dapat menangani lalu lintas yang sama dengan sekitar seperlima jumlah akselerator, kapasitas dapat dialihkan untuk menghadapi lonjakan penggunaan dan daftar tunggu penerapan baru dapat dipersingkat. Pengembang yang menggabungkan beberapa model dalam satu aplikasi juga dapat mengalami lebih sedikit hambatan akibat cold start dan pergantian replika saat lalu lintas berpindah antar-endpoint.

Ada sejumlah pertimbangan praktis yang penting bagi pembeli. Pemakaian bersama banyak model harus tetap menjaga isolasi agar beban kerja satu penyewa tidak menurunkan kualitas layanan atau membocorkan data kepada penyewa lain. Penjadwal harus mematuhi aturan prioritas dan keadilan agar model populer tetap memiliki latensi rendah, sementara model yang lebih lambat tetap mendapat giliran. Makalah tersebut menyebutkan bahwa keputusan Aegaeon pada tingkat token dirancang dengan mempertimbangkan target kualitas layanan. Meski begitu, penyedia cloud tetap membutuhkan observabilitas dan pembatasan laju yang tangguh untuk mengendalikan latensi ekor saat memperluas pengumpulan sumber daya ke armada yang lebih besar.

Nvidia, China, dan latar belakang chip AI

Aegaeon hadir di tengah ketatnya pasokan global akselerator kelas atas dan berlanjutnya kontrol ekspor chip AI canggih ke China. Nvidia membuat H20 untuk pasar China agar mematuhi aturan tersebut, dan banyak penyedia layanan China mengandalkan perangkat itu untuk inferensi. Pada saat yang sama, perancang chip China seperti Huawei dan Cambricon berinvestasi dalam alternatif buatan dalam negeri. Efisiensi perangkat lunak yang memungkinkan setiap GPU menangani lebih banyak pekerjaan bermanfaat di pasar mana pun, tetapi terutama di tempat akses terhadap chip tercanggih dibatasi.

Pimpinan Nvidia telah menyampaikan bahwa proyeksi keuangan jangka pendek perusahaan mengasumsikan pendapatan minimal atau nol dari segmen chip canggih China akibat pembatasan kebijakan. Kondisi tersebut membuat hasil Alibaba Cloud semakin penting. Jika penyedia besar dapat memaksimalkan perangkat yang sudah terpasang melalui perangkat lunak, mereka dapat terus meningkatkan skala layanan meski pasokan akselerator kelas tertinggi terbatas.

Perbandingan Aegaeon dengan pendekatan lain

Hingga baru-baru ini, sebagian besar sistem layanan banyak model hanya dapat dengan aman memultiplex dua atau tiga model pada satu GPU sebelum beban tambahannya melebihi manfaat yang diperoleh. Setiap model tambahan meningkatkan pergantian konteks, cache miss, dan risiko jitter yang dapat membuat target latensi tidak tercapai. Desain Aegaeon berfokus mengurangi biaya perpindahan tersebut dan menjaga struktur data inti tetap berada di memori untuk berbagai model. Karena itu, satu akselerator kini dapat menopang hingga tujuh model dalam kondisi yang dilaporkan.

Instans khusus tetap sesuai untuk endpoint dengan throughput tertinggi atau beban kerja yang mensyaratkan isolasi ketat. Di sisi lain, inferensi serverless yang menjalankan replika model penuh sesuai permintaan dapat menghemat biaya untuk model dengan lalu lintas rendah, tetapi waktu mulai layanannya lebih lama. Aegaeon mengambil jalan tengah. Sistem ini mengumpulkan kapasitas dan menjaga model tetap siap, lalu menjadwalkan pekerjaan dalam irisan kecil agar pemanfaatan secara keseluruhan meningkat tanpa mengorbankan latensi secara tajam.

Pertanyaan teknis terbuka dan langkah selanjutnya

Uji beta berlangsung di marketplace model Alibaba Cloud, sebuah lingkungan berskala besar tetapi belum mencakup seluruh cakupan layanan. Penerapan Aegaeon di lebih banyak wilayah dan lini produk yang beragam, seperti klaster khusus perusahaan atau infrastruktur lokal, akan menguji desain ini dalam kondisi yang berbeda. Pertanyaan lainnya adalah bagaimana kinerja penjadwal saat panjang konteks model bertambah dan saat model multimodal menggabungkan bahasa dengan gambar dan audio. Skenario tersebut akan menguji kebijakan memori dan cache dengan cara baru.

Riset juga dapat dikembangkan untuk pemakaian bersama lintas akselerator heterogen dan lintas node. Jika penjadwal dapat mengumpulkan bukan hanya satu GPU, tetapi sejumlah GPU yang terhubung dalam satu jaringan, manfaat tambahan mungkin dapat diperoleh, asalkan beban tambahan interkoneksi tetap rendah dan penempatan memori tetap dapat diprediksi. Bukti yang telah dipublikasikan sejauh ini menunjukkan peningkatan besar dari pengumpulan sumber daya pada satu perangkat, yang sudah menjadi kemajuan praktis penting bagi beban kerja inferensi saat ini.

Fakta Singkat

• Aegaeon mengurangi jumlah GPU untuk layanan marketplace Alibaba Cloud dari 1.192 unit Nvidia H20 menjadi 213, atau turun 82 persen.
• Sistem ini melayani puluhan model, termasuk model dengan hingga 72 miliar parameter, selama uji beta yang berlangsung lebih dari tiga bulan.
• Satu GPU mendukung hingga tujuh model dalam pengujian yang dilaporkan, dibandingkan dua atau tiga model pada sistem sebelumnya.
• Penjadwalan per token, pemakaian ulang memori, dan sinkronisasi cache key-value mengurangi beban penskalaan otomatis sebesar 97 persen.
• Eksperimen menunjukkan sistem mampu mempertahankan tingkat kedatangan permintaan 2 hingga 2,5 kali lebih tinggi, atau menghasilkan goodput 1,5 hingga 9 kali lebih besar dibandingkan alternatif.
• Pendekatan ini menyasar masalah ekor panjang di marketplace model, ketika sebagian kecil permintaan menyita sebagian besar GPU.
• Hasil ini muncul saat kontrol ekspor membatasi akses ke chip AI canggih di China dan upaya pengembangan GPU dalam negeri semakin cepat.