Microsoft Maia 300 Gunakan TSMC N2P saat Azure Menargetkan Kapasitas AI Bergigawatt pada 2027

Rak berisi 96 akselerator menopang langkah AI Microsoft berikutnya

Microsoft memperkenalkan Maia 300, akselerator AI yang chiplet komputasinya akan menggunakan proses N2P milik Taiwan Semiconductor Manufacturing Co. (TSMC), dengan penerapan produksi dimulai pada 2027. Pengumuman ini menghadirkan rancangan spesifik yang mendukung ambisi Microsoft menjadikan perangkat keras Maia buatannya sendiri sebagai sistem utama untuk menjalankan inferensi AI di berbagai produk dan layanannya.

Rak yang direncanakan menggabungkan 96 akselerator dalam batas daya 167 kilowatt, dengan memori berbandwidth tinggi sebesar 27,6 terabyte dan bandwidth memori agregat sekitar 1,7 petabyte per detik. Microsoft memperkirakan Maia 300 menghasilkan 40% lebih banyak token per megawatt dibandingkan sistem terdepan berbasis unit pemrosesan grafis (GPU), dan hingga tujuh kali lipat keluaran rak Maia 200.

Angka-angka tersebut merupakan klaim kinerja perusahaan, bukan hasil tolok ukur independen. Meski demikian, angka itu menunjukkan arah investasi Microsoft: meningkatkan jumlah keluaran AI yang berguna dalam batas pasokan listrik, pendinginan, dan ruang pusat data, alih-alih sekadar meningkatkan daya komputasi sebuah chip.

Scott Guthrie, wakil presiden eksekutif Cloud + AI Microsoft, memaparkan rencana penerapan tersebut dalam pengumuman Azure Maia perusahaan pada 12 Oktober 2026.

Kami akan meningkatkan skala keluarga Azure Maia hingga penerapan multi-gigawatt mulai 2027, menjadikan Maia sebagai sistem inferensi utama untuk produk dan layanan Microsoft.

Komitmen ini mencakup keluarga Maia, bukan hanya Maia 300. Laporan bahwa Microsoft mungkin menerapkan lebih dari satu juta chip Maia 300 pada 2027 melampaui pengumuman yang telah diterbitkan. Pengumuman itu mengonfirmasi tahun dimulainya penerapan, tetapi tidak menyebutkan jumlah chip atau tenggat penyelesaian ekspansi yang lebih luas.

Peran TSMC N2P

Konfirmasi Microsoft lebih spesifik daripada sekadar menyebut Maia 300 sebagai chip 2 nanometer. Chiplet komputasinya menggunakan N2P, sebuah proses dalam keluarga 2 nanometer TSMC. Pengendali memori serta fungsi input dan output berada pada cetakan terpisah, sehingga bagian-bagian paket dapat menggunakan teknologi manufaktur yang sesuai dengan tugasnya.

Chiplet adalah bagian silikon yang lebih kecil dan bekerja bersama cetakan lain di dalam sebuah paket. Pada Maia 300, pembagian ini memungkinkan Microsoft menempatkan fungsi komputasi pada proses canggih, sembari menjadikan konektivitas, pengendalian memori, dan biaya sebagai pilihan desain yang terpisah. Ini tidak berarti setiap cetakan dalam paket menggunakan N2P.

Analisis arsitektur Maia 300 Microsoft pada 12 Oktober, yang ditulis Rani Borkar, presiden Azure Hardware Systems and Infrastructure, dan Saurabh Dighe, wakil presiden korporat Systems Planning and Architecture, menjelaskan pembagian tersebut secara eksplisit.

Dokumen itu menyebutkan bahwa perubahan arsitektur meningkatkan throughput komputasi sistem, yang diukur dalam operasi titik mengambang, sebesar 36%, menyediakan bandwidth HBM 2,5 kali lebih besar, dan menambah bandwidth komunikasi antar-akselerator sebesar 14%. Angka-angka ini menggambarkan sumber daya sistem yang berbeda. Tidak satu pun, jika berdiri sendiri, menjelaskan klaim peningkatan keluaran token rak hingga tujuh kali lipat.

Mengapa memori sama pentingnya dengan daya komputasi

Maia 300 terutama dirancang untuk inferensi, yaitu proses menggunakan model yang telah dilatih untuk menghasilkan jawaban atau menjalankan tugas. Beban kerja yang dituju mencakup penalaran atas dokumen panjang, percakapan yang memerlukan respons cepat, serta agen AI yang menjalankan beberapa langkah dan menggunakan alat dalam jangka waktu lama.

Beban kerja semacam itu dapat menghabiskan banyak waktu untuk memindahkan data model dan informasi percakapan tersimpan, alih-alih melakukan operasi aritmetika. Karena itu, Microsoft merancang setiap akselerator dengan delapan tumpukan memori HBM4, yang menyediakan kapasitas 288 gigabyte dan bandwidth puncak 18 terabyte per detik dalam batas daya desain termal 950 watt. Daya desain termal merupakan spesifikasi desain untuk daya dan pendinginan, bukan pengukuran konsumsi listrik konstan.

Dibandingkan Maia 200, Microsoft menyatakan Maia 300 menyediakan kapasitas memori 33% lebih besar dan bandwidth memori 2,5 kali lebih tinggi. Perbandingan kapasitas ini sejalan dengan peningkatan yang dilaporkan dari 216 gigabyte menjadi 288 gigabyte, atau bertambah 72 gigabyte per akselerator.

Satuan bandwidth perlu dicermati. Sebagian laporan menyatakan bandwidth chip sebelumnya dalam terabit per detik dan bandwidth rak baru dalam petabit per detik. Dokumentasi Maia 300 Microsoft menggunakan terabyte dan petabyte per detik. Bit dan byte berbeda dengan faktor delapan, sehingga angka-angka yang dinyatakan dengan satuan berbeda tersebut tidak dapat dianggap setara.

Perangkat lunak mengendalikan aliran data

Maia 300 mengembangkan Software Defined Locally Accessed Dataflow Architecture (SDLA) Microsoft. Secara praktis, arsitektur ini memberi perangkat lunak kendali eksplisit atas lokasi penyimpanan data, cara data dipindahkan, waktu perubahan formatnya, serta koordinasi operasi di antara mesin komputasi, memori, dan jaringan.

Desain baru ini menggunakan susunan memori nonuniform di antara chiplet. Sebagian memori berada lebih dekat dengan wilayah komputasi tertentu dibandingkan memori lainnya, sehingga perangkat lunak dapat mengurangi perpindahan data dengan menempatkannya dekat mesin yang membutuhkannya. SRAM, memori cepat yang berada di dalam cetakan, juga berfungsi sebagai ruang kerja sementara yang dikelola perangkat lunak, sehingga mengurangi kebutuhan terhadap HBM.

Microsoft memadukan perubahan tersebut dengan dukungan yang diperluas untuk format numerik ringkas, termasuk MXFP4 dan format penyimpanan yang menggunakan kurang dari tiga bit. Representasi ini mengurangi ruang yang digunakan data dalam memori dan jumlah byte yang perlu dipindahkan selama inferensi. Kegunaannya bergantung pada dukungan perangkat lunak dan model, bukan semata-mata pada format yang lebih kecil.

Desain ini juga menyasar cache KV, yang menyimpan informasi dari token yang telah diproses model agar informasi tersebut tidak perlu dihitung ulang pada setiap langkah. Menjaga cache ini tetap ringkas menjadi penting ketika percakapan semakin panjang atau banyak pengguna perlu dilayani secara bersamaan.

CEO Microsoft AI Mustafa Suleyman mengaitkan program perangkat keras ini dengan pengembangan model perusahaan, sekaligus menjelaskan alasan timnya menginginkan kendali atas platform yang menopang model mereka.

Pada skala itu, kami memerlukan platform yang kami miliki dan rancang bersama model kami. Itulah sebabnya menjalankan model Microsoft AI kami di atas chip Maia menjadi fokus penting bagi tim kami.

Dari satu rak menjadi 12.288 akselerator

Satu rak Maia 300 berisi 24 baki, masing-masing membawa empat akselerator beserta prosesor host, memori, penyimpanan, dan pendingin terkait. Jumlah akselerator ini dua kali lipat dari 48 akselerator dalam satu rak Maia 200. Integrasi perangkat host ke dalam baki tersebut menghilangkan kebutuhan akan baki host terpisah dan menyediakan ruang bagi akselerator tambahan.

Desain jaringan Microsoft dapat menghubungkan hingga 128 rak ke dalam satu superpod yang berisi 12.288 akselerator. Jaringan ini menggunakan koneksi listrik di dalam rak dan koneksi optik antarrak, dengan transport AI khusus yang dibangun di atas Ethernet.

Jaringan tersebut menyajikan satu model komunikasi kepada perangkat lunak di seluruh superpod. Akselerator dapat memulai transfer ke akselerator lain tanpa merutekannya melalui prosesor host atau antarmuka jaringan terpisah untuk komunikasi antarrak.

Hal ini penting ketika model dibagi di antara beberapa chip. Paralelisme tensor membagi bagian-bagian perhitungan model ke beberapa akselerator dan memerlukan komunikasi yang sering di antara mereka. Microsoft menyatakan perangkat lunak dapat menjaga lalu lintas yang membutuhkan waktu respons tercepat tetap di dalam rak, sementara pekerjaan lainnya didistribusikan lebih luas.

Jaringan yang sama dapat memisahkan pemrosesan awal prompt dari pembuatan jawaban selanjutnya. Data KV tersimpan berpindah langsung di antara pekerja yang menangani kedua tahap tersebut. Akselerator cadangan di rak lain juga dapat mengambil alih saat kapasitas tidak tersedia, meskipun jalur komunikasi yang lebih panjang menambah latensi.

Perbandingan di balik klaim efisiensi

Microsoft menyampaikan dua perbandingan utama yang perlu dibedakan. Perkiraan peningkatan 40% dalam jumlah token per megawatt membandingkan Maia 300 dengan sistem GPU terdepan. Klaim keluaran token per rak hingga tujuh kali lipat membandingkan rak Maia 300 yang dikonfigurasi penuh dengan Maia 200.

Token adalah satuan teks yang diproses model bahasa, sering kali berupa potongan kata, bukan kata utuh. Throughput token mengukur volume keluaran, tetapi dengan sendirinya tidak menunjukkan kualitas jawaban, kecepatan respons bagi setiap pengguna, atau kinerja pada setiap model.

Dokumen arsitektur juga menggunakan pernyataan berbeda mengenai efisiensi dibandingkan Maia 200. Pembahasan rak menyebut kinerja per watt hingga 2,5 kali lebih tinggi, sedangkan perbandingan pada bagian penutup menyebut lebih dari 2,5 kali. Tanpa kondisi pengujian terperinci, kedua pernyataan tersebut tidak seharusnya diringkas menjadi satu hasil yang dijamin.

Jumlah akselerator menjelaskan sebagian peningkatan keluaran rak: Maia 300 menggandakan jumlah chip. Karena itu, klaim throughput tujuh kali lipat tidak hanya berasal dari kepadatan yang lebih tinggi, tetapi juga menggabungkan akselerator tambahan dengan perubahan pada memori, perangkat lunak, jaringan, dan efisiensi eksekusi. Klaim tersebut tidak boleh ditafsirkan sebagai peningkatan tujuh kali lipat pada setiap chip secara individual.

Spesifikasi akselerator 950 watt juga berbeda dari batas daya rak 167 kilowatt. Perkalian 96 dengan 950 watt menghasilkan 91,2 kilowatt. Angka rak mencakup sistem yang lebih luas, termasuk host, memori, jaringan, dan penyaluran daya, sehingga kedua nilai itu menggambarkan batas sistem yang berbeda.

Pendinginan dan listrik membentuk pola penerapan

Dengan daya 167 kilowatt per rak, Maia 300 memerlukan pendekatan terpadu untuk pasokan daya dan panas. Microsoft menyatakan pendingin cair membuang lebih dari 80% beban termal rak yang berasal dari akselerator, regulator tegangan, dan chip sakelar jaringan. Pendingin udara menangani memori, penyimpanan, dan komponen lainnya.

Rak dapat terhubung langsung ke air fasilitas jika tersedia, atau menggunakan penukar panas di pusat data yang mengandalkan pendinginan udara. Dua saluran pasokan daya dan sakelar transfer otomatis mendukung operasi berkelanjutan saat salah satu saluran dinonaktifkan untuk pemeliharaan.

Pengukuran daya di tingkat rak dan baris diteruskan ke sistem operasi pusat data. Microsoft menyatakan informasi itu membantu algoritmanya mengalokasikan daya, menempatkan beban kerja, dan menyesuaikan kepadatan penerapan agar sesuai dengan kapasitas listrik dan pendinginan yang tersedia.

Alistair Speirs, general manager Microsoft, menjelaskan kaitan dengan biaya operasional saat membahas arsitektur baru ini.

Kami membutuhkan arsitektur baru yang pada dasarnya memberi kinerja lebih baik dan penggunaan daya yang kami miliki secara lebih optimal.

Karena itu, target penerapan gigawatt lebih dari sekadar rencana pembelian chip. Target tersebut menggambarkan komitmen infrastruktur berskala besar yang mencakup rak, jaringan, kapasitas listrik, dan pendinginan. Pengumuman yang telah diterbitkan tidak menyebutkan lokasi, pembagian kapasitas per wilayah, atau jadwal penyelesaian kapasitas tersebut.

Maia 200 menjadi titik awal

Microsoft menyatakan Maia 200 sudah melayani beban kerja produksi, termasuk Microsoft Copilot, serta mendukung tim MAI dalam mengembangkan model baru. Maia 200 menjalankan model OpenAI, model MAI milik Microsoft, dan keluarga model sumber terbuka terkemuka, dengan penerapan di Amerika Serikat, Eropa, dan Australia.

Laporan tentang penerapan GitHub Copilot dan Microsoft Foundry berbeda-beda. Salah satunya menyebut keduanya sudah menjalankan beban kerja produksi di Maia 200. Pernyataan Microsoft pada 12 Oktober menyebut keduanya diperkirakan menyusul sebelum akhir 2026. Jadwal resmi tersebut merupakan dasar yang lebih kuat untuk menjelaskan status keduanya.

Microsoft melaporkan hingga 1,7 kali lebih banyak token per watt untuk fungsi AI bawaan dalam pengalaman Teams, Copilot, dan Cowork dibandingkan infrastruktur GPU terdepan. Microsoft juga menyebut rencana penggunaan mendatang yang mencakup bantuan pemrograman, penyediaan model cloud, inferensi dan pembuatan data untuk MAI, serta alur kerja klinis melalui Dragon Copilot.

Urutan pengumuman dan tonggak yang direncanakan adalah:

• 2023: Microsoft memperkenalkan Maia 100, akselerator AI kustom pertamanya.
• Januari 2026: Microsoft mengumumkan Maia 200.
• 12 Oktober 2026: Microsoft memperkenalkan arsitektur Maia 300 dan mengonfirmasi beban kerja produksi Maia 200.
• Sebelum akhir 2026: GitHub Copilot dan Microsoft Foundry diperkirakan menyusul menggunakan Maia 200.
• 2027: Penerapan produksi Maia 300 dan ekspansi keluarga Maia menuju kapasitas multi-gigawatt dimulai.

Jim Kleewein, technical fellow Microsoft, menyatakan sebagian fitur Microsoft 365 Copilot seharusnya menjadi lebih cepat dengan Maia 300. Belum ada peningkatan waktu respons pengguna yang diumumkan dalam bentuk angka.

Peran lebih besar bagi TSMC dan industri server Taiwan

Maia 300 memastikan TSMC berperan dalam perangkat keras AI canggih milik perusahaan cloud besar lainnya. Microsoft merancang akselerator tersebut, sedangkan TSMC memproduksi chiplet komputasinya dengan proses N2P. Dengan demikian, mengurangi ketergantungan pada GPU yang dibeli tidak menghilangkan ketergantungan pada kapasitas manufaktur semikonduktor.

TSMC menyatakan lima fasilitas yang menggunakan proses 2 nanometernya akan meningkatkan produksi selama 2026, dengan dua fasilitas di Hsinchu dan tiga di Kaohsiung. Produksi volume N2P dijadwalkan pada paruh kedua 2026, sebelum penerapan yang direncanakan Microsoft pada 2027.

Perkiraan pasar menempatkan kapasitas bulanan TSMC untuk 2 nanometer di kisaran 90.000 hingga 100.000 wafer pada akhir 2026 dan di atas 110.000 pada pertengahan 2027. Perkiraan bahwa proses tersebut dapat menyumbang hampir 10% pendapatan pada paruh kedua merupakan proyeksi, bukan pendapatan terkonfirmasi dari pesanan Maia.

Target yang dinyatakan TSMC mencakup produksi wafer 2 nanometer 45% lebih tinggi pada tahun pertama dibandingkan produksi 3 nanometer pada tahun pertama 2023, serta tingkat pertumbuhan tahunan majemuk 70% untuk kapasitas 2 nanometer antara 2026 dan 2028. Kedua target itu tidak menetapkan porsi produksi yang akan diperoleh Microsoft.

Proyeksi pasar yang lebih luas mengidentifikasi Foxconn, Quanta, Wistron, Wiwynn, Pegatron, Inventec, Compal, dan MiTAC sebagai pihak yang berpotensi diuntungkan oleh meningkatnya permintaan server AI. Proyeksi memperkirakan pengiriman server AI mencapai 3,5 juta unit pada 2026 dan 5,2 juta pada 2027. Angka total yang dibulatkan itu menyiratkan pertumbuhan sekitar 49%, sedikit di atas proyeksi 46% yang dikutip secara terpisah.

Proyeksi juga memperkirakan belanja modal penyedia cloud besar AS tumbuh 96% pada 2026, dengan sekitar separuh kenaikannya berasal dari pembangunan pusat data. Foxconn memperkirakan pengiriman rak AI tahunannya akan meningkat lebih dari dua kali lipat, sementara Quanta mempertahankan target pertumbuhan server AI setidaknya 100%. Semua ini merupakan ekspektasi industri yang lebih luas, bukan konfirmasi kontrak pasokan Maia 300.

Nvidia tetap menjadi bagian dari rencana

Tujuan Microsoft adalah menjadikan Maia sistem inferensi utama untuk produk dan layanannya sendiri, bukan menggantikan setiap GPU di Azure. Pelatihan model baru tetap menjadi kebutuhan terpisah, dan Microsoft terus bekerja sama dengan Nvidia dan AMD untuk tujuan tersebut.

Dalam konferensi telepon laporan pendapatan Juli, Microsoft menyatakan memperkirakan akan menjadi salah satu penyedia cloud pertama yang menerapkan sistem Nvidia Vera Rubin dan AMD Helios. Evercore ISI memperkirakan Maia dapat mencakup sekitar 10% belanja chip AI Microsoft pada kuartal pertama 2027. Porsi belanja berbeda dari porsi pekerjaan inferensi yang dilakukan, sehingga perkiraan tersebut tidak secara langsung mengukur kemajuan menuju tujuan operasional Microsoft.

Akselerator Maia saat ini belum tersedia untuk disewa perusahaan lain per jam. Hal ini membatasi evaluasi pihak luar dan berarti klaim kinerja yang dipublikasikan belum menunjukkan hasil yang akan dicapai pelanggan independen dengan model tertentu.

Ketidakpastian yang tersisa mencakup jumlah penerapan, waktu tercapainya kapasitas gigawatt penuh, kondisi tolok ukur terperinci, serta pembagian beban kerja pada akhirnya antara Maia dan GPU yang dibeli. Microsoft menyatakan akan membagikan informasi strategi lebih lanjut di Ignite 2026 di San Francisco dan secara daring pada November.

Poin Utama

• Chiplet komputasi Maia 300 menggunakan TSMC N2P, dengan penerapan produksi dimulai pada 2027.
• Setiap akselerator memiliki memori HBM4 sebesar 288 GB dan bandwidth memori puncak 18 TB/s.
• Satu rak penuh berisi 96 akselerator dalam batas daya 167 kW.
• Microsoft memperkirakan 40% lebih banyak token per megawatt dibandingkan sistem GPU terdepan dan keluaran rak hingga tujuh kali lipat dibandingkan Maia 200.
• Penerapan keluarga Maia akan diperluas menuju kapasitas multi-gigawatt mulai 2027, tanpa tenggat penyelesaian yang diumumkan.
• Laporan tentang penerapan lebih dari satu juta Maia 300 belum dikonfirmasi dalam pengumuman Microsoft.
• Microsoft tetap merencanakan penerapan sistem Nvidia dan AMD berdampingan dengan perangkat keras buatannya sendiri.