SUKABUMIUPDATE.com - Microsoft menggumumkan melalui situsnya, Microsoft Azure baru-baru ini mencatatkan sebuah rekor bersejarah yang mengubah peta persaingan cloud computing dan kecerdasan buatan (AI). Platform cloud terkemuka ini berhasil menembus batas kecepatan pemrosesan inference AI dengan mencapai angka fenomenal, yakni 1,1 juta token per detik hanya dalam satu sistem rak tunggal. Pencapaian luar biasa ini bukan sekadar angka, melainkan penetapan tolok ukur baru untuk kinerja AI skala industri.

Rekor kecepatan ini diraih berkat pemanfaatan mesin virtual canggih Azure ND GB300 v6, yang ditenagai oleh chip mutakhir NVIDIA GB300 generasi terbaru. Angka 1,1 juta token per detik ini menandai peningkatan kinerja yang signifikan, yaitu 27% lebih tinggi dari rekor sebelumnya yang menggunakan sistem GB200.

Yang memperkuat kredibilitas hasil ini, uji performa tersebut diverifikasi secara ketat dan independen oleh perusahaan analis Signal65. Pengujian dilakukan selama 80 menit penuh menggunakan model standar industri, Llama 2 70B, mengonfirmasi keandalan dan konsistensi kinerja yang dicapai Azure.

Baca Juga: Tabu Pernikahan Sunda-Jawa Turun-Temurun, Mitos Larangan Akibat Perang Bubat

Transformasi Ekonomi AI Perusahaan

Kecepatan pemrosesan yang revolusioner ini membawa dampak fundamental pada ekonomi di balik penerapan AI skala besar. Dengan kemampuan pemrosesan secepat ini, perusahaan kini dapat mengatasi tantangan yang sebelumnya sulit dipecahkan. Infrastruktur Azure terbaru ini memungkinkan dukungan untuk ribuan pengguna yang mengakses secara bersamaan ke layanan AI, menjalankan model yang sangat kompleks dengan latensi yang minimal, sekaligus memastikan kepatuhan yang ketat semuanya tanpa perlu menginvestasikan modal besar pada infrastruktur internal.

Pencapaian ini didukung oleh kekuatan setiap GPU NVIDIA GB300 yang mampu memproses 15.200 token per detik. Ini merupakan lompatan lima kali lipat (5x) dalam throughput dibandingkan chip generasi sebelumnya, H100. Signal65 bahkan menyebut kinerja yang kini tersedia di Azure sebagai "kinerja AI elite" yang dapat diakses layaknya utilitas publik.

Infrastruktur Canggih di Balik Kecepatan Rekor

Kinerja puncak ini berasal dari 18 mesin virtual yang tersusun rapi dalam satu rak NVIDIA GB300 NVL72, yang secara keseluruhan menampung 72 GPU. Sistem ini dilengkapi spesifikasi yang ditingkatkan, termasuk peningkatan 50% memori GPU dan 16% lebih tinggi kapasitas termal (TDP).

Baca Juga: Pemkab Sukabumi dan Kejaksaan Teken MoU Penerapan Pidana Kerja Sosial

Dalam serangkaian 18 tes paralel, sistem ini menunjukkan konsistensi luar biasa dengan rata-rata throughput 61.163 token per detik per mesin virtual, yang mengonfirmasi bahwa kinerja puncak 1,1 juta token/detik adalah hasil yang stabil dan terukur. Ini setara dengan $15.200$ token per detik per GPU NVIDIA Blackwell Ultra.

Komitmen Investasi Jangka Panjang Microsoft

Rekor ini hadir bersamaan dengan akselerasi investasi Microsoft dalam infrastruktur AI. Baru-baru ini, Microsoft mengumumkan kesepakatan bernilai miliaran dolar, termasuk kemitraan $9,7 miliar dengan IREN Limited, yang secara khusus bertujuan untuk menambah kapasitas NVIDIA GB300 mereka. CEO Microsoft, Satya Nadella, menegaskan bahwa pencapaian ini menegaskan kemampuan Azure untuk menangani beban kerja AI ekstensif dalam lingkungan produksi, memosisikannya sebagai platform utama untuk inference AI perusahaan.

Bagi developer yang ingin mereplikasi hasil ini, Microsoft telah menyediakan panduan lengkap untuk melakukan pengujian serupa pada satu mesin virtual di Azure, mencakup semua langkah teknis mulai dari penyiapan model hingga menjalankan benchmark Llama 2 70B dari MLPerf Inference v5.1.

Baca Juga: Setop Impor Ilegal Pakaian Bekas, Menkeu Purbaya: Pelaku Thrift Menolak Saya Tangkap

Spesifikasi Teknis dari Azure ND GB300 v6

Mesin virtual Azure ND GB300 v6 dirancang sebagai fondasi untuk mencapai kinerja AI elite. Berikut adalah detail utama dari arsitektur yang digunakan dalam pemecahan rekor ini:

• Arsitektur Dasar: Dibangun di atas arsitektur NVIDIA Blackwell yang mutakhir.
• Akselerator Utama: Menggunakan NVIDIA GB300, GPU generasi terbaru yang menawarkan peningkatan efisiensi dan throughput secara drastis dibandingkan pendahulunya (H100).
• Unit Rak: Digunakan dalam konfigurasi rak NVIDIA GB300 NVL72.
• Kapasitas GPU Penuh: Satu rak NVL72 secara total menampung 72 GPU (yang digunakan dalam pengujian ini tersebar di 18 mesin virtual).
• Peningkatan Kinerja Individual: Masing-masing GPU mampu memberikan throughput hingga $15.200$ token/detik, 5x lebih tinggi dibandingkan GPU generasi H100.
• Peningkatan Kapasitas Fisik:
• Dilengkapi dengan Memori GPU 50% lebih banyak untuk menangani model-model AI yang sangat besar.
• Memiliki Kapasitas Termal (TDP) 16% lebih tinggi, memastikan kinerja puncak yang stabil dan berkelanjutan.

Baca Juga: UPTD PU Wilayah Ciemas Lakukan Pemeliharaan Jalan Mareleng–Ciracap Sukabumi

Rekor 1,1 juta token per detik yang dicapai oleh Microsoft Azure bukanlah sekadar kemenangan hardware atau software; ini adalah lompatan pencapaian manusia. Kecepatan pemrosesan yang tak tertandingi ini akan mendemokratisasi akses ke kecerdasan buatan, memungkinkan perusahaan rintisan kecil hingga institusi penelitian besar untuk memanfaatkan model AI yang sebelumnya eksklusif karena kendala infrastruktur.

Dengan latency yang rendah dan throughput yang masif, AI dapat menjadi lebih responsif, personal, dan terintegrasi dalam kehidupan sehari-hari mempercepat penemuan ilmiah, memberikan layanan yang lebih adil dan cepat, dan pada intinya, membebaskan waktu dan pikiran manusia untuk fokus pada kreativitas, empati, dan pemecahan masalah yang benar-benar kompleks.