HBM Mencapai Tumpukan 36GB pada 9,8 Gbps

Memory Tech Day tahunan Samsung berlangsung di San Jose pagi ini, dan sebagai bagian dari acara tersebut, perusahaan membuat beberapa pengumuman/pengungkapan teknologi memori yang penting. Puncak dari acara Samsung adalah diperkenalkannya Shinebolt, memori HBM3E Samsung yang akan mencetak tanda baru untuk bandwidth memori dan kapasitas memori untuk prosesor kelas atas. Perusahaan juga mengungkapkan lebih banyak tentang memori GDDR7 mereka, yang akan menandai pembaruan teknologi signifikan pada standar memori keluarga GDDR.

Sebagai permulaan, kami memiliki pengumuman besar hari ini: memori Shinebolt HBM3E. Seperti industri memori lainnya, Samsung sedang mempersiapkan penerus memori HBM3 generasi saat ini yang digunakan dengan prosesor kelas atas/kelas HPC, dan industri ini sedang mempersiapkan standar HBM3E yang akan datang. HBM3E dirancang untuk menawarkan kapasitas yang jauh lebih tinggi dan bandwidth memori yang lebih besar dibandingkan HBM3, membantu teknologi memori bandwidth tinggi mengimbangi beban kerja yang terus meningkat pada prosesor kelas atas.

Basis Shinebolt adalah cetakan memori HBM 24Gbit baru, yang akan diproduksi Samsung pada proses D1a mereka, 4 perusahaan berbasis EUV.^th simpul generasi kelas 10nm (14nm). Samsung akan memproduksi tumpukan 8Hi dan akhirnya 12Hi berdasarkan die baru ini, yang memungkinkan total kapasitas tumpukan masing-masing sebesar 24GB dan 36GB, kapasitas 50% lebih besar dibandingkan dengan HBM3 (Icebolt) yang setara.

Menurut Samsung, Shinebolt akan mampu mencapai kecepatan clock memori setinggi 9,8Gbps/pin, lebih baik 50% dibandingkan produk HBM3 mereka. Meskipun mengingat beberapa klaim kecepatan jam memori Samsung sebelumnya, ada kemungkinan besar ini adalah keadaan semi-overclock. Perkembangan Shinebolt belum cukup lama bagi Samsung untuk membuat daftar SKU individual, namun bahkan pada sisi konservatif, Samsung mempromosikan kecepatan data minimal 8Gbps/pin dalam siaran pers acara mereka. Dan jika frekuensi memori Samsung yang ambisius benar-benar membuahkan hasil, hal ini juga akan menempatkan Samsung di depan pesaingnya; hingga saat ini, SK hynix dan Micron telah mengumumkan rencana untuk memori masing-masing 9Gbps/pin dan 9.2Gbps/pin, sehingga klaim Samsung tentu saja merupakan yang paling agresif.

Secara keseluruhan, kecepatan jam ini akan memberikan satu tumpukan HBM3E bandwidth minimum 1TB/dtk, dan bandwidth maksimum 1,225TB/dtk, jauh di atas kecepatan data HBM3 sebesar 819GB/dtk. Atau untuk membingkai sesuatu dengan mengacu pada prosesor kelas atas (misalnya NVIDIA H100), chip 6 tumpukan akan mampu mengakses memori sebanyak 216 GB dengan bandwidth memori agregat setinggi 7,35 TB/detik.

Sedangkan untuk efisiensi daya, semuanya terlihat agak campur aduk. Secara relatif, Samsung mengatakan bahwa Shinebolt akan 10% lebih efisien dibandingkan Icebolt – dengan kata lain, mengonsumsi 10% lebih sedikit daya per bit yang ditransfer (pJ/bit). Namun, peningkatan kecepatan jam sebesar 25%+ akan lebih dari sekadar menghapus keuntungan tersebut karena peningkatan signifikan dalam bit yang ditransfer. Jadi meskipun Shinebolt akan lebih efisien secara keseluruhan, secara absolut tampaknya konsumsi daya total untuk memori HBM akan terus meningkat pada generasi berikutnya.

Apa pun yang terjadi, untuk pasar prosesor kelas atas yang ditargetkan Samsung dengan Shinebolt, pembuat chip kemungkinan besar tidak akan terpengaruh oleh peningkatan daya tersebut. Seperti produk prosesor kelas atas lainnya, Samsung menargetkan pasar AI – segmen pasar di mana bandwidth memori dan kapasitas memori merupakan faktor pembatas, terutama dengan model bahasa besar (LLM). Seiring dengan segmen pasar superkomputer dan jaringan tradisional, Samsung seharusnya tidak mengalami kesulitan dalam menjual HBM yang lebih cepat di tengah booming pasar AI.

Seperti vendor memori besar lainnya, Samsung memperkirakan akan mengirimkan Shinebolt pada tahun 2024. Mengingat perusahaan baru saja mulai mengambil sampel memori – dan HBM3 Icebolt itu sendiri hanya mencapai produksi massal – Shinebolt kemungkinan tidak akan dikirimkan hingga akhir tahun ini.

Penggoda Singkat tentang HBM4: FinFET & Ikatan Tembaga-ke-Tembaga

Terakhir, melihat lebih jauh ke masa depan, Samsung secara singkat membicarakan rencana mereka untuk memori HBM4. Meskipun teknologi tersebut masih beberapa tahun lagi (bahkan belum ada spesifikasi yang disetujui), kita tahu dari pengungkapan sebelumnya bahwa industri memori bertujuan untuk beralih ke antarmuka memori 2048-bit yang lebih luas. Yang mana, karena Samsung suka membingkai berbagai hal, ini adalah satu-satunya pilihan praktis ketika peningkatan kecepatan jam HBM lebih lanjut akan meningkatkan konsumsi daya.

Untuk HBM4, Samsung sedang mempertimbangkan untuk menggunakan teknologi manufaktur dan pengemasan yang lebih canggih yang saat ini menjadi domain chip logika. Di sisi lain, perusahaan ingin beralih menggunakan transistor FinFET untuk memori mereka, dibandingkan dengan transistor planar yang masih digunakan di sana. Seperti halnya logika, FinFET akan mengurangi arus penggerak yang diperlukan, yang akan membantu meningkatkan efisiensi energi DRAM. Sementara itu dari sisi pengemasan, Samsung sedang mempertimbangkan untuk beralih dari ikatan mikro ke ikatan tanpa benturan (pengikatan tembaga-ke-tembaga langsung), sebuah teknik pengemasan yang masih dalam pengembangan mutakhir bahkan dalam bidang logika. Merangkul teknologi mutakhir akan sangat penting untuk menjaga bandwidth HBM terus tumbuh seperti yang terjadi selama dekade terakhir, namun biaya dan kerumitan dalam melakukan hal tersebut juga menggarisbawahi mengapa HBM tetap menjadi teknologi memori khusus kelas atas.

Pembaruan GDDR7: Daya Siaga 50% Lebih Rendah Dibandingkan GDDR6

Selain HBM3E, pembaruan memori bandwidth besar Samsung lainnya saat ini adalah pembaruan status singkat pada memori GDDR7 mereka.

Pada bulan Juli tahun ini, Samsung mengumumkan bahwa mereka menyelesaikan pengembangan awal pada memori GDDR7 mereka. Memori GDDR generasi berikutnya, GDDR7 menghadirkan beberapa perubahan besar dibandingkan GDDR6 saat ini, yang paling signifikan adalah peralihan ke pengkodean PAM3. PAM3 memungkinkan 1,5 bit ditransfer per siklus (atau lebih tepatnya 3 bit dalam dua siklus), membuka pintu untuk meningkatkan kecepatan transfer memori tanpa menggunakan cara yang lebih mahal untuk lebih meningkatkan frekuensi bus memori.

Sebagai rekap singkat dari pengumuman Samsung pada bulan Juli, Samsung akan meluncurkan modul 16Gbit (2GB), yang akan mampu berjalan hingga 32Gbps/pin. Itu merupakan peningkatan sebesar 33% dalam bandwidth per pin dibandingkan memori GDDR6 saat ini, dan akan menjadikan bandwidth agregat bus memori 256-bit menjadi 1TB/detik. GDDR7 juga diharapkan memberikan peningkatan efisiensi daya sebesar 20% dibandingkan GDDR6 Samsung (dalam hal pJ/bit), sebagian berkat penggunaan Samsung 3^rd node luar biasa generasi D1z (kelas 10nm).

Acara hari ini dari Samsung sebagian besar merupakan rekap pengumuman bulan Juli, namun dalam prosesnya kami telah mempelajari beberapa detail teknis baru tentang GDDR7 yang belum diungkapkan Samsung sebelumnya. Pertama, GDDR7 tidak hanya meningkatkan konsumsi daya aktif, namun teknologi ini juga akan meningkatkan konsumsi daya siaga hingga tingkat yang signifikan. Berkat kontrol jam tambahan, GDDR7 akan mengonsumsi daya siaga 50% lebih sedikit dibandingkan GDDR6.

Kedua, saat membahas mengapa Samsung (dan industri secara keseluruhan) menggunakan pengkodean PAM3 untuk GDDR7 dan bukan PAM4 yang lebih padat, perusahaan mengkonfirmasi beberapa anggapan teknis kami mengenai teknologi baru ini. Singkatnya, PAM3 memiliki tingkat kesalahan bit rata-rata (BER) yang lebih rendah dibandingkan PAM4, sebagian besar berkat margin yang lebih lebar pada jendela mata. Tidak ada satupun yang membuat PAM4 tidak dapat dijalankan (seperti yang telah dibuktikan oleh Micron), namun Samsung dan industri memori lainnya lebih menyukai kesederhanaan relatif dari PAM3, mengingat adanya trade-off.

Selain pelanggan kartu video/game pada umumnya, Samsung mengharapkan GDDR7 untuk diadopsi oleh pembuat chip AI, dan mungkin yang lebih mengejutkan, industri otomotif. Faktanya, beberapa pelanggan non-tradisional ini mungkin adalah orang pertama yang mengadopsi ingatan tersebut; karena vendor GPU tradisional masih melakukan pertengahan siklus pada produk generasi mereka saat ini, masih memerlukan waktu yang cukup lama sebelum mereka mengirimkan silikon berkemampuan GDDR7.

Saat ini Samsung belum mengumumkan perkiraan tanggal kapan memori GDDR7 mereka akan diproduksi massal. Namun perusahaan masih berharap bahwa mereka akan menjadi vendor pertama yang mengirimkan memori generasi berikutnya, mungkin pada tahun 2024.