Samsung Perluas Strategi Memori AI dengan HBM5, Pengumpulan Memori AMD, dan Penyimpanan Lebih Cepat

Samsung menempatkan kapasitas memori sejajar dengan kecepatan pemrosesan

Samsung Electronics memperluas strategi infrastruktur AI-nya melampaui high bandwidth memory, dengan memadukan HBM5 dan memori khusus dengan kolaborasi bersama AMD dalam teknologi memori server bersama serta teknologi penyimpanan yang memindahkan sebagian pemrosesan data ke SSD. Perusahaan memaparkan pendekatan ini di OCP Global Summit 2026, yang dijadwalkan berlangsung pada 12 hingga 15 Oktober di San Jose McEnery Convention Center, California.

Klaim kinerja paling konkret terkait teknologi lain dalam hierarki memori. Samsung melaporkan waktu hingga model AI menghasilkan token pertamanya berkurang hingga 38% melalui alokasi memori CXL yang elastis, kinerja inferensi hingga tiga kali lipat dengan pemrosesan in-memory LPDDR5X, serta kecepatan baca sekuensial SSD mencapai 28,4 GB/s. Hasil ini berasal dari evaluasi atau demonstrasi tertentu, bukan jaminan untuk setiap instalasi AI.

Halaman resmi Samsung untuk konferensi mengelompokkan strateginya berdasarkan kecepatan, perluasan memori, dan persistensi. Produk unggulannya mencakup HBM4E, LPDDR5X-PIM, modul memori CMM-D MD310, memori server SOCAMM2, serta SSD PM1763 dan BM1773.

Hojun Shim, yang disebut Samsung sebagai wakil presiden korporat sekaligus kepala Memory Business Application Engineering Team, dijadwalkan memaparkan tiga prioritas tersebut dalam sesi eksekutif pada 12 Oktober. Berbagai laporan menggambarkan presentasi itu sebagai peluncuran upaya yang lebih luas untuk mengoptimalkan prosesor, memori, dan penyimpanan secara bersamaan, alih-alih meningkatkan tiap komponen secara terpisah.

Perbedaan ini penting selama inferensi, saat model yang telah dilatih menghasilkan jawaban. Akselerator cepat tetap bisa menghabiskan waktu untuk menunggu data, kehabisan memori seiring bertambahnya percakapan, atau mengalami keterlambatan saat mengambil informasi dari penyimpanan. Samsung mengusulkan teknologi berbeda untuk mengatasi masing-masing kendala tersebut.

HBM5 menjadi sorotan dalam strategi kecepatan yang lebih luas

Laporan pameran menyebut HBM5, yang digambarkan sebagai high bandwidth memory generasi kedelapan, HBM khusus, dan zHBM sebagai bagian dari inisiatif kecepatan Samsung. High bandwidth memory memasok data dalam jumlah besar ke akselerator melalui banyak koneksi paralel. Versi khusus dirancang agar sesuai dengan kebutuhan sistem masing-masing pelanggan.

Daftar produk resmi menyebut HBM4E, bukan HBM5. Laporan lain menyebut maket konsep HBM4E dan HBM5 dipamerkan di acara tersebut. Perbedaan ini penting: pameran atau presentasi konsep tidak membuktikan bahwa suatu produk sudah dipasarkan, dan halaman konferensi Samsung tidak mencantumkan tanggal peluncuran komersial HBM5 maupun spesifikasi kinerja terperinci.

Bukti numerik terkuat terkait kecepatan pemrosesan berasal dari LPDDR5X-PIM. Pemrosesan in-memory menempatkan sebagian komputasi di dalam perangkat memori sehingga mengurangi transfer berulang antara memori dan prosesor terpisah. Samsung menyatakan desainnya mengintegrasikan unit pemrosesan ke dalam setiap bank memori.

Dalam evaluasi yang menggunakan Llama 3.1 8B pada Samsung Edge AI Accelerator, Samsung melaporkan bandwidth efektif hingga delapan kali lipat dibandingkan LPDDR5X konvensional, jumlah token yang dihasilkan per detik hingga tiga kali lipat, serta waktu proses yang hingga 2,2 kali lebih singkat. Angka-angka ini merujuk pada akselerator dan model tersebut, bukan HBM5 atau demonstrasi memori AMD.

SOCAMM2, yang juga ditampilkan, merupakan modul memori server berbasis LPDDR. Secara keseluruhan, pameran tersebut menunjukkan bahwa strategi kecepatan Samsung mencakup memori akselerator sekaligus teknologi memori berdaya lebih rendah, meski halaman konferensi tidak memberikan hasil tolok ukur yang sebanding untuk setiap produk.

Kolaborasi dengan AMD menyasar kapasitas memori yang fleksibel

Samsung dan AMD mendemonstrasikan perluasan memori CXL menggunakan teknologi CMM-D Samsung. CXL, singkatan dari Compute Express Link, menghubungkan prosesor dan perangkat lain dengan memori tambahan sehingga sistem dapat menambah kapasitas di luar memori yang terpasang langsung.

CMM-D adalah modul memori DRAM berbasis CXL. Dalam konfigurasi kumpulan memori, beberapa sistem dapat menggunakan kapasitas dari sumber daya memori yang terhubung, alih-alih menetapkan kapasitas tersebut secara permanen untuk server tertentu. Samsung menyatakan kolaborasinya dengan AMD memvalidasi CXL sebagai cara untuk meningkatkan kapasitas dan bandwidth memori sekaligus mengurangi waktu ketika inti CPU menunggu data.

Masalah ini kian mendesak ketika agen AI menjalankan banyak model atau tugas. Deskripsi resmi Samsung menyebut beban kerja agen dapat meningkatkan penggunaan CPU secara tajam, sementara kapasitas memori tidak mampu mengimbangi jumlah inti prosesor.

Demonstrasi terpisah tentang pengumpulan memori CMM-D menggunakan alokasi elastis di beberapa instans model bahasa besar pada server GPU. Samsung melaporkan waktu hingga token pertama (TTFT) hingga 38% lebih singkat dan goodput hingga 3,3 kali lebih tinggi dibandingkan alokasi statis. TTFT mengukur waktu tunggu sebelum respons dimulai; goodput mengukur pekerjaan berguna yang diselesaikan berdasarkan kriteria evaluasi.

Hasil tersebut tidak boleh dianggap sebagai angka dari demonstrasi AMD itu sendiri. Halaman resmi menjelaskan validasi AMD dan tolok ukur alokasi elastis secara terpisah. Halaman itu juga tidak memberikan detail yang cukup untuk memastikan bagaimana peningkatan tersebut akan berubah dengan model, konfigurasi server, atau target layanan yang berbeda.

KV cache menghubungkan perluasan memori dengan penyimpanan

Penghubung utama antara rencana memori dan penyimpanan Samsung adalah key value cache, yang biasanya disebut KV cache. Cache ini menyimpan informasi perantara yang dihasilkan saat model bahasa memproses teks sehingga model dapat menggunakan kembali pekerjaan yang sudah dilakukan, alih-alih menghitung ulang untuk setiap token baru.

Percakapan panjang, konteks lebih besar, dan banyak pengguna yang aktif bersamaan dapat membuat cache ini mengonsumsi banyak memori. Samsung mengusulkan hierarki yang memperluas kapasitas tersedia dengan memori CXL dan menempatkan data cache yang tidak perlu berada di tingkat memori tercepat pada SSD.

Halaman resmi konferensi menjelaskan penerapan produksi di kampus Samsung Semiconductor di AS untuk mendukung agen AI internal yang membantu pemrograman dan aplikasi lainnya. Samsung menyatakan penambahan tingkat memori komposabel L3.5 melalui solusi AI Memory Node meningkatkan pemanfaatan KV cache hingga lima sampai tujuh kali lipat.

L3.5 adalah sebutan untuk tingkat tambahan tersebut, bukan klaim bahwa semua server menggunakan arsitektur cache yang sama. Penerapan itu melibatkan Memory Solutions Lab Samsung, tim DSA AI Platform Integrations, dan SGLang. Hasil pemanfaatan ini berbeda dari tolok ukur alokasi elastis maupun angka kinerja LPDDR5X-PIM.

Jadwal konferensi juga mencakup sesi pada 13 Oktober tentang penggabungan pengumpulan CXL dengan penyimpanan SSD untuk memindahkan KV cache ke penyimpanan, yang dibawakan arsitek sistem Jinin So dan insinyur utama Youngha Choi. Kombinasi itu menjadikan strategi ini lebih dari sekadar peningkatan kapasitas: perangkat lunak harus mampu menempatkan dan mengambil data di seluruh memori dan penyimpanan tanpa menimbulkan keterlambatan berlebihan.

SSD menangani kapasitas, pendinginan, dan penempatan data

Strategi persistensi Samsung berpusat pada SSD enterprise dan flash NAND berkapasitas tinggi. Persistensi berarti mempertahankan data di luar kondisi kerja sementara suatu komputasi sehingga sistem AI dapat mengambil set data, berkas model, dan informasi cache tersimpan saat diperlukan.

PM1763 diperkenalkan sebagai SSD enterprise PCIe Gen6 dengan kecepatan baca sekuensial hingga 28,4 GB/s dan efisiensi daya hingga 1,8 kali lebih baik daripada pendahulunya. Dalam demonstrasi pendinginan cair, versi E1.S ditempatkan bersentuhan langsung dengan pelat pendingin untuk membuang panas. Halaman resmi tidak memberikan rangkaian lengkap kondisi pengujian untuk perbandingan kinerja tersebut.

BM1773 tercantum sebagai SSD E3.S dengan penyimpanan QLC 256 TB. QLC, atau quad level cell, menyimpan empat bit di setiap sel flash sehingga mendukung kapasitas tinggi. Laporan juga menyebut pengembangan berkelanjutan Samsung atas flash QLC berkapasitas tinggi dan teknologi penempatan data yang fleksibel.

Samsung mendemonstrasikan optimasi KV cache yang terintegrasi ke LMCache. Flexible Data Placement (FDP) membantu mengatur lokasi penulisan data untuk mengurangi amplifikasi penulisan, yaitu penulisan internal tambahan yang dilakukan SSD di luar data yang dikirim oleh host.

Demonstrasi itu juga menggunakan ukuran transfer data maksimum NVMe yang lebih besar untuk mengurangi beban kerja CPU host. Samsung menyebut teknik ini relevan baik untuk penyimpanan cache dalam satu node maupun untuk sumber daya cache yang digunakan bersama oleh sekelompok server. Halaman acara tidak mencantumkan peningkatan numerik untuk optimasi khusus ini.

Mendekatkan komputasi ke data yang tersimpan

Demonstrasi basis data vektor Samsung menawarkan cara lain untuk mengurangi perpindahan data. Basis data vektor menyimpan representasi numerik informasi dan membandingkannya untuk menemukan item serupa, langkah umum ketika aplikasi AI mengambil dokumen yang relevan dengan suatu permintaan.

Bukti konsep NCVS memindahkan perhitungan jarak vektor ke dalam SSD. Alih-alih mengirim vektor 4KB ke host untuk dibandingkan, perangkat mengembalikan hasil jarak berukuran empat byte. Samsung melaporkan lalu lintas host hingga 22 kali lebih rendah daripada jalur pemrosesan konvensional di host, dengan throughput pencarian yang meningkat seiring bertambahnya jumlah SSD.

Angka empat byte dan 4KB menunjukkan ukuran hasil dan vektor masing-masing; bukan berarti seluruh aplikasi mengurangi lalu lintas data dengan rasio yang sama. Penurunan hingga 22 kali lipat adalah hasil perbandingan terukur secara keseluruhan. Samsung menyebut NCVS sebagai bukti konsep, bukan produk yang tersedia secara umum.

Demonstrasi AiSIO menangani input dan output penyimpanan melalui antarmuka perangkat lunak umum untuk operasi yang dimulai GPU, peer-to-peer, dan konvensional yang dimulai CPU. Samsung melaporkan 100 juta operasi input/output per detik dan pemuatan model bahasa saat cold start hingga sepuluh kali lebih cepat dengan OpenDS.

Metrik tersebut menggambarkan pekerjaan yang berbeda. Kecepatan baca sekuensial menunjukkan transfer data berkelanjutan, jumlah operasi input/output per detik menghitung permintaan penyimpanan, dan waktu pemuatan cold start mengukur seberapa cepat model siap digunakan. Tidak satu pun secara langsung menggantikan tolok ukur yang menunjukkan berapa banyak permintaan pengguna yang dapat ditangani oleh layanan AI secara keseluruhan.

Pengujian pelanggan dan pameran foundry memperluas strategi

Samsung MAX Lab dirancang agar pelanggan dapat terlibat lebih awal dalam pengembangan. Pelanggan dapat menguji teknologi seperti PIM, CMM-D, dan SSD generasi berikutnya sebelum dikomersialkan dalam beban kerja AI yang realistis, lalu menyampaikan kebutuhan sistem sebagai masukan untuk desain produk.

Pendekatan ini menjawab persoalan praktis yang terlihat dalam berbagai demonstrasi konferensi: komponen yang lebih cepat hanya memberi nilai jika perangkat lunak dan perangkat keras di sekitarnya mampu memanfaatkannya. Global Open-ecoSystem Team Samsung berpartisipasi dalam pengembangan sumber terbuka dan standardisasi industri, sementara agenda acara mencakup sesi tentang kerangka kerja perangkat lunak, penanganan perintah penyimpanan, dan manajemen memori.

Samsung juga mendemonstrasikan penyimpanan komposabel dengan migrasi langsung dan pengelolaan SSD virtual melalui NVMe standar. Deskripsi resminya menyebut teknologi ini sebagai cara untuk berbagi penyimpanan di antara beberapa penyewa dengan kualitas layanan yang dapat ditegakkan, yakni kendali atas layanan yang diterima setiap beban kerja.

Pameran tersebut juga mencakup teknologi di luar memori. Berbagai laporan menyebut wafer unit pemrosesan bahasa Groq yang diproduksi dengan proses 4 nm Samsung Foundry, sistem Groq 3 LPX yang disebut sebagai sistem Nvidia dalam sejumlah laporan, serta wafer yang menggunakan proses gate all around 2 nm Samsung. Pameran ini memperlihatkan kemampuan manufaktur bersama teknologi memori dan penyimpanan, tetapi tidak membuktikan adanya kontrak produksi baru atau volume pengiriman.

Kemitraan yang berkembang selama beberapa bulan

Demonstrasi AMD merupakan kelanjutan dari kerja sama sebelumnya, bukan inisiatif yang berdiri sendiri. Laporan menyebut nota kesepahaman pada Maret yang mencakup teknologi memori dan komputasi AI generasi berikutnya, disusul pembicaraan saat CEO AMD Lisa Su berkunjung ke Korea Selatan pada 7 Oktober.

Rangkaian perkembangan yang dilaporkan dan sesi konferensi yang dijadwalkan adalah:

• Maret 2026: Samsung dan AMD menandatangani nota kerja sama; Samsung juga mempresentasikan teknologi di Nvidia GTC.
• Juni dan Agustus 2026: Samsung melakukan presentasi di COMPUTEX dan konferensi Future of Memory and Storage.
• 7 Oktober 2026: Lisa Su berkunjung ke Korea Selatan dan bertemu Wakil Ketua Divisi DS Samsung Jeon Young-hyun untuk membahas kerja sama di bidang memori dan komputasi; laporan juga menyebut pembicaraan tentang foundry.
• 12 Oktober 2026: Konferensi dimulai, dengan presentasi eksekutif Shim dijadwalkan pada hari itu.
• 13 hingga 15 Oktober 2026: Program Samsung mencakup sesi tentang pengelompokan tingkat KV cache, optimasi penyimpanan, dan arsitektur memori bersama CXL.

Samsung berpartisipasi sebagai Sponsor Berlian. Berbagai laporan berbeda pendapat apakah pengumuman strategi ini bertanggal 12 Oktober waktu setempat atau berdasarkan pernyataan perusahaan pada 13 Oktober. Kedua tanggal itu dapat merujuk pada tahapan berbeda dalam acara yang sama. Satu laporan menyebut konferensi berlangsung di San Francisco, sedangkan jadwal resmi Samsung mencantumkan pusat konvensi San Jose.

Skala pasar tidak memastikan kesiapan komersial

Riset industri yang dilaporkan menempatkan Samsung di posisi pertama pada kuartal kedua 2026, dengan 39% pendapatan DRAM global dan 29,3% pasar flash NAND. Counterpoint Research disebut sebagai sumber angka DRAM, sedangkan TrendForce menjadi sumber angka NAND. Ini adalah ukuran pangsa pasar, bukan pangsa di pasar CXL atau pemrosesan in-memory yang sedang berkembang.

Omdia disebut memperkirakan Samsung akan mencatat produksi wafer DRAM dan NAND terbesar di industri sepanjang tahun. Estimasi terpisah menyebut kapasitas DRAM tahunannya sekitar 8,175 juta wafer setara wafer 300 mm. Kapasitas tidak sama dengan produksi aktual, dan kedua angka tersebut tidak menunjukkan berapa banyak produksi yang dialokasikan untuk teknologi yang dipamerkan di OCP.

Satu laporan juga mencantumkan angka awal kuartal ketiga yang luar biasa besar dan bertanggal 8 Oktober: pendapatan 195 triliun won dan laba operasional 107,4 triliun won, dengan laba meningkat 782,5% dibandingkan tahun sebelumnya. Angka-angka ini tidak didukung rilis keuangan resmi di sini dan tidak semestinya dianggap sebagai bukti pasti pendapatan dari teknologi yang dipamerkan di konferensi.

Persaingan juga meluas ke luar HBM. Berbagai laporan menyebut Memory-Centric AI Rack System (MARS) milik SK hynix sebagai kumpulan memori CXL yang digunakan bersama di seluruh rak server. Pendekatan itu sejalan dengan upaya Samsung untuk menyediakan akses ke memori yang tidak terpakai di berbagai sistem, meski belum ada tolok ukur sebanding yang menunjukkan pendekatan mana yang lebih unggul.

Samsung menyatakan ambisinya adalah memperkuat daya saing HBM, DDR5 server, dan SSD enterprise. Hal komersial yang belum jelas mencakup ketersediaan HBM5, harga, adopsi pelanggan yang lebih luas, dan konfirmasi independen atas klaim kinerja. Program konferensi mencantumkan jadwal demonstrasi dan diskusi, bukan tenggat peluncuran pasti untuk setiap teknologi.

Poin Utama

• Strategi Samsung di OCP 2026 memadukan memori yang lebih cepat, perluasan kapasitas CXL, dan penyimpanan SSD persisten.
• Kolaborasi dengan AMD menggunakan teknologi memori CMM-D untuk menjawab meningkatnya kebutuhan memori AI.
• Demonstrasi pengumpulan memori elastis yang terpisah melaporkan waktu hingga token pertama hingga 38% lebih singkat dan goodput 3,3 kali lebih tinggi.
• Hasil evaluasi LPDDR5X-PIM mencakup kinerja inferensi hingga tiga kali lipat pada Edge AI Accelerator Samsung.
• Penyimpanan PM1763, optimasi KV cache, dan komputasi di dalam SSD menyasar kendala perpindahan data yang berbeda.
• Tanggal pengiriman HBM5 dan ketersediaan komersial secara luas belum dipastikan dalam pengungkapan di konferensi.