NVIDIA buat token, rubah bahasa data jadi mata uang AI

CEO NVIDIA, Jensen Huang | cover: topik.id

NVIDIA kembali mengguncang lanskap teknologi dengan pendekatan baru terhadap data dalam kecerdasan buatan atau artificial intelligence (AI). Perusahaan raksasa chip ini memperkenalkan konsep token sebagai mata uang baru dalam ekonomi AI, mengubah data bahasa menjadi komoditas bernilai tinggi.

Di balik setiap perintah AI, terdapat algoritma yang bekerja memproses unit data terkecil yang disebut token. Token menjadi fondasi bagaimana model AI belajar, berpikir, dan menghasilkan respons. Semakin cepat dan efisien token diproses, semakin tinggi kinerja kecerdasan buatan.

"Di balik setiap aplikasi AI terdapat algoritma yang mengolah data dalam bahasanya sendiri, yang satu berdasarkan kosakata token. Token adalah unit data kecil yang berasal dari pemecahan potongan informasi yang lebih besar. Model AI memproses token untuk mempelajari hubungan di antara token dan membuka kemampuan termasuk prediksi, pembuatan, dan penalaran. Semakin cepat token diproses, semakin cepat model dapat belajar dan merespons," tulis NVIDIA dalam laporan resminya, dikutip topik.id Selasa (18/3/2025).

Menjawab kebutuhan tersebut, NVIDIA merincikan “pabrik AI” generasi baru pusat data yang dirancang khusus untuk memaksimalkan pengolahan token. Dengan pendekatan ini, token bukan hanya sekadar data, tapi berubah menjadi aset digital yang dapat dimonetisasi.

Pabrik AI memungkinkan perusahaan memproses lebih banyak token dengan biaya lebih rendah. Teknologi ini memanfaatkan komputasi tumpukan penuh yang dikembangkan NVIDIA, menawarkan efisiensi yang belum pernah dicapai sebelumnya dalam proses AI.

"Pabrik AI, kelas baru pusat data yang dirancang untuk mempercepat beban kerja AI, secara efisien mengolah token, mengubahnya dari bahasa AI ke mata uang AI, yaitu kecerdasan. Dengan pabrik AI, perusahaan dapat memanfaatkan solusi komputasi tumpukan penuh terbaru untuk memproses lebih banyak token dengan biaya komputasi yang lebih rendah, sehingga menciptakan nilai tambah bagi pelanggan," ungkapnya

Efeknya dalam satu studi kasus, integrasi GPU NVIDIA generasi terbaru dengan perangkat lunak yang dioptimalkan berhasil memangkas biaya pemrosesan per token hingga 20 kali lipat. Hasilnya, pendapatan melonjak 25 kali lipat hanya dalam waktu sebulan.

Token, dalam konteks ini, menjelma sebagai mata uang digital baru. Bukan dalam bentuk kripto, melainkan sebagai unit nilai dalam sistem AI modern yang kian mendominasi industri teknologi global.

"Dalam satu kasus, mengintegrasikan pengoptimalan perangkat lunak dan mengadopsi GPU NVIDIA generasi terbaru mengurangi biaya per token hingga 20x dibandingkan dengan proses yang tidak dioptimalkan pada GPU generasi sebelumnya menghasilkan pendapatan 25x lebih banyak hanya dalam waktu empat minggu," bebernya.

Bagaimana cara kerjanya?

Tokenisasi, proses mengubah data menjadi token menjadi langkah awal penting dalam pemrosesan AI. Baik data teks, gambar, audio, maupun video, semuanya harus dikonversi menjadi token sebelum dapat dimengerti oleh model AI.

Tokenisasi yang efisien berperan besar dalam mengurangi beban komputasi. Metode tokenisasi yang tepat dapat menekan jumlah token yang perlu diproses tanpa mengurangi akurasi hasil. Ini membuka peluang penghematan signifikan dalam pelatihan dan inferensi model.

"Tokenisasi yang efisien membantu mengurangi jumlah daya komputasi yang diperlukan untuk pelatihan dan inferensi . Ada banyak metode tokenisasi dan tokenizer yang disesuaikan untuk tipe data dan kasus penggunaan tertentu dapat memerlukan kosakata yang lebih sedikit, yang berarti lebih sedikit token yang harus diproses," jelasnya.

Contohnya, kata “darkness” dapat dipisah menjadi dua token: “dark” dan “ness”. Token-token ini memiliki nilai numerik yang memungkinkan model mengenali kemiripan pola dengan kata lain seperti “brightness”. Sebuah dasar dari bagaimana AI memahami bahasa.

"Untuk model bahasa besar (LLM), kata-kata pendek dapat direpresentasikan dengan satu token, sementara kata-kata yang lebih panjang dapat dipecah menjadi dua token atau lebih," terangnya.

Namun token tidak selalu bersifat statis. Dalam konteks berbeda, sebuah kata bisa memiliki tokenisasi berbeda. Misalnya, kata “berbohong” dapat berarti ‘beristirahat’ atau ‘tidak jujur’, dan model AI dilatih untuk membedakan konteks semacam ini.

Token juga hadir dalam data non-teks. Model AI visual mengubah piksel menjadi token. Dalam audio, suara dikonversi menjadi spektrogram dan selanjutnya diproses sebagai representasi visual. Teknologi ini memungkinkan AI menyerap berbagai bentuk data dengan pendekatan seragam.

Pelatihan model AI berbasis token dimulai dari proses tokenisasi skala besar. Semakin banyak token yang digunakan, semakin cerdas model yang dihasilkan. Proses ini kemudian dilanjutkan dengan penyempurnaan melalui pascapelatihan untuk kebutuhan spesifik industri.

Selama proses inferensi, AI mengubah input menjadi token, memprosesnya, lalu menghasilkan output token yang kemudian dikembalikan ke format akhir seperti teks atau gambar. Kemampuan model AI kini bahkan mampu mengelola konteks hingga jutaan token sekaligus.

"Model yang memproses audio dapat mengubah klip pendek menjadi spektrogram, gambaran visual gelombang suara dari waktu ke waktu yang kemudian dapat diproses sebagai gambar. Aplikasi audio lainnya mungkin berfokus pada penangkapan makna klip suara yang berisi ucapan, dan menggunakan jenis tokenizer lain yang menangkap token semantik, yang merepresentasikan data bahasa atau konteks, bukan sekadar informasi akustik," ungkapnya.

Model terbaru bahkan memperkenalkan token penalaran, di mana AI tidak hanya memproses input dan output, tetapi juga memproduksi token tambahan saat “berpikir”. Proses ini memungkinkan AI menjawab pertanyaan kompleks dengan pendekatan yang menyerupai manusia.

Token kini menjadi unit nilai dalam ekonomi AI. Banyak penyedia layanan AI menawarkan harga berdasarkan jumlah token yang dikonsumsi. NVIDIA merespons tren ini dengan menghadirkan solusi lengkap, dari perangkat keras hingga perangkat lunak untuk mendukung skala ekonomi AI berbasis token secara global.

"Berdasarkan ukuran data pelatihan, jumlah token dapat mencapai miliaran atau triliunan dan berdasarkan hukum skala prapelatihan , semakin banyak token yang digunakan untuk pelatihan, semakin baik kualitas model AI. Karena model AI sudah dilatih sebelumnya , model tersebut diuji dengan memperlihatkan sekumpulan contoh token dan diminta untuk memprediksi token berikutnya. Berdasarkan apakah prediksinya benar atau tidak, model tersebut memperbarui dirinya sendiri untuk meningkatkan tebakan berikutnya," ungkapnya.