Huawei Memperkenalkan SINQ: Kuantisasi Sumber Terbuka untuk LLM yang Efisien

Mengapa SINQ penting untuk penerapan LLM sehari-hari

Model bahasa besar membutuhkan banyak memori. Itulah salah satu alasan model canggih sering kali memerlukan GPU pusat data kelas premium dan node cloud yang mahal. Computing Systems Lab Huawei di Zurich memperkenalkan SINQ, metode kuantisasi baru yang bertujuan mengubah kondisi tersebut. Pendekatan yang disebut Sinkhorn Normalized Quantization ini menargetkan penggunaan memori yang lebih rendah dengan penurunan kualitas keluaran seminimal mungkin, dan dirilis sebagai perangkat lunak sumber terbuka di bawah lisensi Apache 2.0. Tim tersebut menyebut SINQ cepat, tidak memerlukan kalibrasi, dan mudah diintegrasikan ke alur kerja model yang sudah ada.

Kuantisasi mengurangi jumlah bit yang digunakan untuk merepresentasikan bobot model. Beralih dari bilangan floating point 16 bit atau 8 bit ke bilangan bulat 4 bit dapat memangkas penggunaan memori lebih dari setengahnya. Penghematan sebesar itu sulit dicapai tanpa mengorbankan akurasi, terutama pada presisi di bawah 8 bit. Klaim utama SINQ adalah kemampuannya mempertahankan kualitas yang tinggi pada presisi rendah, termasuk pada 4 bit dan dalam beberapa kasus 3 bit, sekaligus lebih cepat diterapkan dibandingkan banyak metode yang dikenal.

Pada berbagai model dan arsitektur yang diuji para penulis, SINQ memangkas penggunaan memori sekitar 60 hingga 70 persen. Pengurangan sebesar itu membuat banyak model dapat dijalankan pada satu GPU konsumen, misalnya Nvidia GeForce RTX 4090 dengan memori 24 GB, alih-alih memerlukan GPU perusahaan seperti A100 atau H100. Untuk beban kerja cloud, instans yang lebih murah dapat menangani tugas inferensi jangka panjang, sehingga berpotensi menghemat ribuan dolar seiring waktu. Bagi laboratorium, startup, dan penggemar yang menjalankan model secara lokal, hambatan untuk menjalankan model andal di workstation pun berkurang.

Perbedaan SINQ dari metode kuantisasi sebelumnya

Sebagian besar kuantisasi LLM yang digunakan saat ini hanya mengkuantisasi bobot. Bobot adalah parameter hasil pembelajaran di setiap lapisan dan menjadi bagian terbesar dari ukuran model. Aktivasi juga dapat dikuantisasi, tetapi cara ini sering menambah kompleksitas dan dapat memengaruhi waktu proses. Banyak pendekatan yang banyak digunakan menukar waktu komputasi pada tahap persiapan, yang disebut kalibrasi, untuk mencari faktor skala yang meminimalkan galat akibat kuantisasi. Kalibrasi tersebut menggunakan sampel data dan beberapa kali pemrosesan tambahan pada model. Cara ini dapat meningkatkan kualitas, tetapi membutuhkan waktu, memerlukan pemilihan prompt yang cermat, dan memperumit alur kerja.

SINQ mengambil pendekatan berbeda. Metode ini memperkenalkan dua gagasan yang saling terkait untuk menjaga distribusi bobot tetap terkendali sebelum membulatkannya ke presisi rendah. Pertama, penskalaan dua sumbu menerapkan vektor skala terpisah pada baris dan kolom matriks bobot. Cara ini memberikan kendali yang lebih terperinci dibandingkan satu skala untuk setiap tensor atau kanal. Galat disebarkan sedemikian rupa sehingga dampak pencilan dan ketidakseimbangan lokal berkurang.

Kedua, SINQ menggunakan prosedur yang terinspirasi oleh normalisasi Sinkhorn Knopp. Algoritme ini mengulang normalisasi sederhana untuk menyeimbangkan statistik baris dan kolom. Dalam SINQ, metode ini menormalisasi simpangan baku baris dan kolom agar tidak ada bagian matriks bobot yang mendominasi. Langkah penyeimbangan ini meningkatkan respons bobot terhadap kuantisasi dan mengurangi galat keseluruhan tanpa memerlukan data kalibrasi per lapisan yang mahal.

Penghematan memori, kecepatan, dan kualitas dalam pengujian

Para penulis melaporkan penghematan memori yang konsisten, berkisar antara 60 hingga 70 persen dibandingkan bobot berpresisi penuh, dengan akurasi yang mendekati model asli pada beragam arsitektur. Dalam praktiknya, model yang sebelumnya membutuhkan memori lebih dari 60 GB dapat diturunkan menjadi sekitar 20 GB. Pada GPU umum, perubahan ini dapat menentukan apakah model muat di memori atau harus menggunakan RAM host yang lambat.

Kecepatan kuantisasi penting dalam penelitian maupun produksi. Dalam pengujian yang dilaporkan, SINQ mengkuantisasi model sekitar dua kali lebih cepat daripada HQQ dan lebih dari 30 kali lebih cepat daripada AWQ. Bagi tim yang berulang kali mengembangkan model, perbedaan waktu ini dapat mengubah prapemrosesan yang memakan waktu berjam-jam menjadi langkah yang lebih cepat dan dapat diselesaikan dalam siklus pengembangan.

Kualitas diukur dengan metrik seperti perplexity dan flip rate. Perplexity mengukur seberapa baik model bahasa memprediksi teks. Flip rate menghitung seberapa sering token teratas berubah setelah kuantisasi. Di berbagai tolok ukur, SINQ menurunkan perplexity dibandingkan metode dasar lain yang tidak memerlukan kalibrasi dan mengurangi flip rate, yang menunjukkan keluaran lebih stabil. Metode ini juga dapat digunakan dengan skema kuantisasi nonuniform dan dipadukan dengan kalibrasi jika suatu proyek ingin meningkatkan akurasi lebih jauh.

Dampak pada perangkat keras dan biaya cloud

Biaya inferensi meningkat seiring kebutuhan memori. Model yang muat pada satu GPU tidak memerlukan konfigurasi paralel model yang mahal maupun overhead jaringan. Pengurangan yang dihasilkan SINQ membuat banyak model menengah hingga besar dapat dijalankan pada satu kartu konsumen dengan memori besar. Bagi operator yang sebelumnya mengandalkan node A100 atau H100, kemampuan untuk menjalankan layanan di GPU yang lebih terjangkau dapat memangkas tagihan bulanan dan membebaskan perangkat keras kelas unggulan untuk pelatihan.

Pengguna cloud dapat memilih instans GPU yang lebih kecil atau menjalankan lebih banyak model secara bersamaan pada setiap node. Untuk pekerjaan jangka panjang, seperti asisten obrolan atau layanan generasi yang ditingkatkan dengan pengambilan informasi, penggunaan GPU berbiaya lebih rendah dapat menghemat ribuan dolar selama beberapa minggu atau bulan. Klaster lokal yang lebih kecil juga menjadi pilihan bagi tim yang ingin menyimpan data di lingkungan sendiri.

Ada pula manfaat tambahan berupa latensi dan konsumsi energi. Lebih sedikit perangkat, lebih sedikit komunikasi antarnode, dan lebih sedikit lalu lintas memori antara host dan perangkat dapat mengurangi waktu respons serta konsumsi daya. Secara keseluruhan, dampaknya adalah tumpukan layanan yang lebih ringkas dengan lebih sedikit komponen.

Yang dapat digunakan pengembang saat ini

SINQ tersedia sebagai perangkat lunak sumber terbuka di bawah lisensi Apache 2.0. Rilis ini mencakup kode implementasi, petunjuk untuk mengkuantisasi model dari hub populer, serta utilitas untuk menyimpan dan memuat ulang bobot yang telah dikuantisasi. Paket ini menyediakan fungsi evaluasi agar tim dapat mengukur perplexity dan flip rate sebelum penerapan. Paket tersebut juga menyediakan parameter yang dapat disesuaikan oleh praktisi untuk berbagai sasaran perangkat keras dan akurasi.

Para penulis mengatakan mereka berencana merilis model yang telah dikuantisasi sebelumnya dan menargetkan integrasi dengan ekosistem Hugging Face Transformers. Hal itu akan menyederhanakan adopsi karena pengembang dapat memuat checkpoint terkuantisasi melalui API yang sudah dikenal. Tim yang mengelola tumpukan inferensinya sendiri dapat memulai dengan mengkuantisasi bobot, lalu menghubungkan hasilnya ke kernel yang mendukung format penyimpanan 4 bit atau 3 bit pada runtime pilihan mereka.

Penjelasan sorotan teknis

SINQ dirancang sebagai langkah plug and play dalam alur persiapan model. Tujuannya adalah membentuk matriks bobot agar representasi berpresisi rendah tetap mempertahankan struktur yang penting untuk inferensi, lalu memetakan bobot yang telah dibentuk tersebut ke format bilangan bulat yang ringkas.

Penskalaan dua sumbu

Penskalaan per tensor atau per kanal tradisional menerapkan satu faktor pada satu arah. Penskalaan dua sumbu menerapkan satu vektor pada baris dan satu vektor pada kolom setiap matriks bobot. Pemisahan ini membantu ketika beberapa baris berisi pencilan atau kolom tertentu memiliki varians lebih besar. Dengan menormalisasi kedua arah, metode ini menyebarkan galat kuantisasi secara lebih merata ke seluruh matriks. Hasilnya, lonjakan galat yang tajam berkurang dan besaran bobot relatif lebih terjaga.

Normalisasi Sinkhorn Knopp

Sinkhorn Knopp adalah prosedur iteratif klasik yang mengulang normalisasi sederhana untuk mencapai kondisi seimbang. Dalam SINQ, tujuannya bukan menghasilkan matriks doubly stochastic, melainkan menyeimbangkan simpangan baku baris dan kolom. Algoritme ini berulang kali menskalakan ulang baris dan kolom agar simpangan bakunya selaras dengan nilai target. Setelah matriks seimbang dalam pengertian ini, kuantisasi dilakukan pada distribusi bobot dengan nilai ekstrem yang lebih sedikit sehingga galat pembulatan berkurang. Prosedurnya cepat, hanya menambah sedikit overhead dibandingkan tahap kalibrasi yang lebih lama, dan tidak memerlukan kumpulan data kalibrasi.

Desain tanpa kalibrasi

Tahap kalibrasi mengharuskan pemilihan kumpulan prompt, menjalankan model untuk mengumpulkan statistik, lalu menghitung skala. Hal ini menambah hambatan dan dapat membuat hasil bias jika kumpulan kalibrasi tidak mencerminkan penggunaan dalam produksi. SINQ melewati tahap tersebut dengan bekerja langsung pada statistik bobot. Bagi banyak tim, menghilangkan kalibrasi menyederhanakan otomatisasi dan memastikan hasil yang dapat diulang. Jika suatu proyek tetap menginginkan kalibrasi, pembentukan bobot oleh SINQ dapat dipadukan dengan pencarian kalibrasi untuk mendapatkan akurasi setinggi mungkin.

Keterbatasan dan pertimbangan praktis

Sebagian besar peningkatan yang dilaporkan berasal dari kuantisasi bobot saja. Aktivasi dan cache key value tetap menggunakan memori selama proses generasi, terutama untuk prompt dan keluaran yang panjang. Beberapa runtime mendukung kuantisasi aktivasi dan kompresi cache KV, tetapi langkah-langkah tersebut memiliki konsekuensi tersendiri. Tim sebaiknya mengukur penggunaan memori dan latensi secara menyeluruh, bukan hanya ukuran model di disk.

Dukungan runtime juga penting. Agar peningkatan kecepatan terasa saat inferensi, kernel harus dapat membaca bobot 4 bit atau 3 bit yang dikemas secara efisien. Mesin populer seperti llama.cpp, TensorRT LLM, vLLM, dan lainnya berkembang pesat, tetapi belum semua kombinasi presisi, kernel attention, dan arsitektur GPU sama matangnya. Sebelum memindahkan layanan ke produksi, uji throughput, latensi, dan stabilitas dengan konfigurasi yang persis sama, termasuk ukuran batch dan panjang konteks.

Presisi yang sangat rendah dapat menyulitkan tugas tertentu. Pembuatan kode, penggunaan alat, dan keluaran terstruktur mungkin lebih sensitif dibandingkan obrolan santai. Metrik seperti perplexity bermanfaat, tetapi pengujian produksi sebaiknya mencakup akurasi tugas, gaya respons, dan pemeriksaan keselamatan. Jika suatu kasus penggunaan mendekati batas kemampuan, presisi campuran atau penggunaan presisi lebih tinggi secara selektif pada lapisan sensitif dapat menjaga kualitas sekaligus mempertahankan sebagian besar penghematan memori.

Mengapa dampaknya melampaui satu perusahaan

Kuantisasi telah menjadi landasan penerapan LLM secara praktis. Metode sumber terbuka yang cepat, tidak memerlukan kalibrasi, dan efektif pada presisi rendah akan membantu seluruh ekosistem. Jejak memori yang lebih kecil memperluas akses terhadap model andal untuk pendidikan, proyek kemasyarakatan, dan usaha kecil. Pendekatan ini juga mengurangi tekanan pada GPU kelas atas yang jumlahnya terbatas, sehingga kapasitasnya dapat digunakan untuk pelatihan dan penelitian.

Persaingan dalam perangkat inferensi semakin cepat. Metode seperti SINQ dapat dipadukan dengan kernel attention yang efisien, cache KV berpaginasi, dan penjadwal yang dioptimalkan untuk menghasilkan lebih banyak token per detik per dolar. Hasilnya bukan sekadar layanan yang lebih murah. Tim juga mendapat lebih banyak pilihan jika mengutamakan privasi, penyimpanan lokal, dan kendali atas tumpukan teknologinya.

Poin Utama

• SINQ dari Huawei adalah metode kuantisasi bobot LLM sumber terbuka yang dirilis di bawah lisensi Apache 2.0
• SINQ melaporkan pengurangan memori sebesar 60 hingga 70 persen dengan kualitas tinggi pada 4 bit dan dalam beberapa kasus 3 bit
• Metode ini tidak memerlukan kalibrasi dan dirancang agar mudah diintegrasikan ke alur kerja yang sudah ada
• SINQ menggunakan penskalaan dua sumbu dan normalisasi bergaya Sinkhorn Knopp untuk menyeimbangkan matriks bobot
• Dalam pengujian yang dilaporkan, kecepatan kuantisasi sekitar 2 kali lebih tinggi daripada HQQ dan lebih dari 30 kali lebih tinggi daripada AWQ
• Metrik kualitas meningkat dibandingkan metode dasar tanpa kalibrasi, dengan perplexity dan flip rate yang lebih rendah
• Model yang sebelumnya membutuhkan memori lebih dari 60 GB dapat dijalankan dengan sekitar 20 GB, sehingga memungkinkan penerapan pada satu GPU konsumen seperti RTX 4090
• Pembaruan yang direncanakan mencakup integrasi dengan Hugging Face Transformers dan rilis model yang telah dikuantisasi sebelumnya