Topik.id — Samsung membawa kabar baru dari pengembangan teknologi memori untuk kebutuhan kecerdasan buatan. Dalam ajang Hot Chips 2026, perusahaan memperkenalkan LPDDR5X-PIM sebagai produk yang telah melewati tahap validasi, bukan lagi sebatas teknologi yang diperagakan dalam bentuk konsep.

Teknologi Processing-in-Memory (PIM) tersebut dirancang untuk mengurangi perpindahan data antara memori dan prosesor ketika menjalankan beban kerja AI inference. Berdasarkan pengujian awal Samsung, LPDDR5X-PIM mampu meningkatkan performa hingga 2,28 kali dibandingkan LPDDR5X konvensional.

Samsung Bawa Pemrosesan AI Langsung ke Memori

PIM menjadi pendekatan yang semakin menarik karena sistem AI membutuhkan transfer data dalam jumlah besar. Samsung sebelumnya telah mendemonstrasikan teknologi tersebut melalui HBM-PIM, termasuk implementasinya pada akselerator AMD sejak 2021.

Kini, perusahaan membawa pendekatan serupa ke LPDDR5X. Salah satu alasan utamanya berkaitan dengan biaya HBM yang terus menjadi perhatian industri. Memori berbandwidth tinggi tersebut memang menawarkan performa besar, tetapi biaya produksinya membuat alternatif dengan konsumsi daya dan biaya lebih rendah semakin dibutuhkan.

Samsung menilai LPDDR5X memiliki posisi menarik untuk dikembangkan menjadi memori dengan kemampuan pemrosesan di dalamnya. Perusahaan juga sudah mulai menyiapkan generasi berikutnya melalui pengembangan LPDDR6X-PIM dan berharap spesifikasi awalnya dari JEDEC tersedia pada tahun ini.

Dalam rancangan LPDDR5X-PIM, setiap memory bank memiliki unit PIM sendiri. Struktur tersebut mencakup scale register file dan source register file yang memasok data ke parallel MAC trees. Hasil perhitungan kemudian ditempatkan pada vector register file sebelum dikirim kembali ke memori.

Sistem ini dapat bekerja dalam dua mode. Mode single-bank mempertahankan operasi DRAM konvensional, sedangkan mode multi-bank digunakan ketika fungsi PIM dijalankan.

Kontroler DRAM yang sudah ada tetap digunakan. Perintah tertentu akan menentukan apakah memori menjalankan operasi read/write biasa atau proses PIM. Samsung juga menerapkan Address Align Mode untuk mengatasi persoalan pengurutan data pada DRAM konvensional.

Bandwidth LPDDR5X-PIM Tembus 614 GB/s

Samsung menggunakan konfigurasi LPDDR5X-9600 pada demonstrasi produknya. Dalam operasi biasa, bandwidth puncaknya mencapai 76,8 GB/s.

Ketika fungsi PIM diaktifkan, angka tersebut secara efektif meningkat hingga 614 GB/s. Peningkatan ini bukan berarti clock memori berubah menjadi delapan kali lebih tinggi, melainkan diperoleh dengan melakukan pemrosesan lebih dekat dengan lokasi data sehingga kebutuhan transfer bolak-balik ke host dapat dikurangi.

Secara fisik, modul LPDDR5X-PIM tetap menyerupai LPDDR5X standar. Samsung menggunakan array 561-ball untuk kemasan, dua rank 64-bit, serta kapasitas modul 16 GB. Konfigurasinya terdiri dari empat die per rank atau total delapan die.

Untuk menggambarkan mekanisme tersebut, Samsung menggunakan contoh operasi multiply-accumulate atau MAC. Data aktivasi FP8 berukuran 512 byte dibagi menjadi 16 paket 256-bit dan disimpan pada bank memori melalui Source Register File.

Selanjutnya, perintah PIMX_RD mengambil data bobot dari DRAM dan memasukkannya ke MAC trees bersama data aktivasi. Setelah perhitungan selesai, hasilnya disimpan dalam Vector Register File.

Performa AI Meningkat hingga 3,01 Kali

Dalam pengujian awal menggunakan edge AI accelerator dan model Llama 3.1 dengan 8 miliar parameter, Samsung menemukan peningkatan performa yang cukup besar.

Pada pengujian runtime model, LPDDR5X-PIM mencatat peningkatan 2,28 kali dibandingkan LPDDR5X biasa. Jika diukur berdasarkan tokens per second, peningkatannya bahkan mencapai 3,01 kali.

Efisiensi energi juga menjadi perhatian. Samsung mengakui konsumsi daya puncak PIM dapat meningkat karena karakteristik operasinya yang berlangsung dalam burst. Namun, perusahaan tidak memperkirakan konsumsi daya keseluruhan akan meningkat secara signifikan.

Pengurangan perpindahan data antara DRAM dan host justru diperkirakan membantu menekan penggunaan energi secara keseluruhan. Dengan demikian, keuntungan LPDDR5X-PIM tidak hanya terletak pada performa, tetapi juga pada upaya mengurangi biaya transfer data.

Targetkan Server, Client hingga Perangkat Mobile

Samsung melihat LPDDR5X-PIM memiliki peluang penggunaan yang lebih luas daripada sekadar produk memori konsumen. LPDDR5X kini mulai digunakan dalam sejumlah rancangan komputasi seperti SOCAMM2, termasuk pada platform Nvidia untuk CPU Vera.

Intel juga menggunakan LPDDR5X pada akselerator AI Crescent Island. Kehadiran PIM dapat memperluas pemanfaatan memori tersebut untuk kebutuhan AI di perangkat client, mobile, server, hingga akselerator dengan skala lebih rendah.

Meski bandwidth LPDDR5X-PIM masih berada jauh di bawah HBM, teknologi ini menawarkan pendekatan berbeda dengan memindahkan sebagian proses komputasi lebih dekat ke data. Dengan status produk yang telah tervalidasi, Samsung kini memiliki fondasi untuk mendorong PIM menuju tahap adopsi yang lebih luas.