Topik.id — CEO Microsoft Satya Nadella memperingatkan risiko kecerdasan buatan (Artificial Intelligence/AI) yang semakin canggih dan berpotensi sulit dikendalikan. Ia menekankan pentingnya mekanisme keamanan berupa rem darurat yang memungkinkan manusia menghentikan aktivitas model AI kapan saja ketika diperlukan.
Pernyataan tersebut disampaikan Nadella melalui unggahan panjang di platform X pada Sabtu (10/10/2026). Ia menyerukan perubahan pendekatan dalam membangun sistem AI, terutama terkait transparansi, pengawasan, dan kemampuan manusia untuk mengendalikan teknologi tersebut.
Menurut Nadella, AI tidak seharusnya diperlakukan sebagai sistem tertutup atau black box yang proses kerjanya sulit dipahami. Manusia juga tidak boleh hanya berada pada posisi menerima atau menolak rekomendasi maupun tindakan yang dihasilkan oleh model AI.
Sebaliknya, pengembang teknologi perlu memastikan setiap tindakan penting yang dilakukan AI dapat diawasi, diverifikasi, serta ditelusuri melalui catatan yang tidak mudah dimanipulasi.
Nadella juga menilai bahwa pengembangan AI yang semakin canggih harus diimbangi dengan sistem keamanan yang mampu mengantisipasi berbagai risiko sejak awal.
Satya Nadella Usulkan Rem Darurat untuk AI
Salah satu gagasan utama yang disampaikan Nadella adalah penerapan mekanisme penghentian darurat pada model AI. Sistem tersebut harus memberikan kewenangan kepada manusia untuk menghentikan sementara atau mematikan AI ketika sedang menjalankan tugas.
“Kita harus berasumsi bahwa suatu model sudah disusupi dan mengurungnya sejak awal. Anggap saja seperti rem darurat,” ujar Nadella, sebagaimana dikutip dari The Verge, Senin (12/10/2026).
“Orang yang berwenang harus selalu dapat menghentikan sementara atau mematikan model di tengah tugas. Model yang lebih canggih akan membutuhkan teknologi penahanan yang perlu distandardisasi,” lanjutnya.
Melalui pendekatan tersebut, Nadella meminta pengembang untuk menganggap setiap model AI berpotensi mengalami gangguan atau penyusupan keamanan, sehingga langkah perlindungan harus disiapkan sejak sistem mulai dirancang.
Ia juga menekankan bahwa sistem pengendalian tidak boleh sepenuhnya bergantung pada model AI itu sendiri.
Menurutnya, model yang menghasilkan kecerdasan perlu dipisahkan dari perangkat lunak yang mengatur pelaksanaan tugasnya. Dengan demikian, aturan keamanan dan pembatasan kewenangan dapat diterapkan melalui mekanisme eksternal.
Pendekatan tersebut memungkinkan manusia tetap memiliki kendali terhadap tindakan yang dapat dilakukan AI, termasuk ketika sistem menjalankan tugas secara otomatis.
Dorong Transparansi dan Audit Independen
Selain mengusulkan rem darurat, Nadella menyoroti pentingnya pengawasan berkelanjutan terhadap sistem kecerdasan buatan.
Ia mendorong penerapan sejumlah mekanisme keamanan, mulai dari pengujian sistem secara terus-menerus, kontrol independen, hingga pemeriksaan terhadap aktivitas model AI.
Setiap tindakan penting yang dilakukan model juga perlu menghasilkan bukti yang dapat dibaca manusia dan terlindungi dari perubahan atau manipulasi.
Dengan adanya catatan tersebut, aktivitas sistem AI dapat diperiksa apabila ditemukan kesalahan, gangguan keamanan, maupun tindakan yang tidak sesuai dengan aturan.
Nadella turut menekankan pentingnya audit independen agar pemeriksaan terhadap kemampuan dan keamanan AI tidak hanya dilakukan oleh sistem yang sedang diuji.
Selain itu, pengembang perlu menyediakan mekanisme pelaporan insiden secara tepat waktu, termasuk ketika ditemukan kegagalan dalam sistem pengamanan.
Langkah-langkah tersebut merupakan bagian dari upaya membangun sistem AI yang tidak hanya canggih, tetapi juga dapat diperiksa dan dikendalikan.
Keamanan AI Jadi Perhatian Industri Teknologi
Peringatan Nadella muncul ketika sejumlah perusahaan teknologi semakin terbuka membahas tantangan keamanan dalam pengembangan kecerdasan buatan.
CEO Anthropic Dario Amodei sebelumnya juga menyampaikan pandangan mengenai perlunya pendekatan yang lebih berhati-hati dalam pengembangan AI.
Perhatian terhadap keamanan teknologi tersebut semakin meningkat seiring kemampuan model AI yang terus berkembang dan semakin banyak digunakan untuk menjalankan berbagai tugas.
Dalam pernyataannya, Nadella menggunakan istilah Super Intelligence untuk merujuk pada sistem AI dengan kemampuan yang semakin maju.
Ia menekankan bahwa tingkat kepercayaan terhadap AI tidak seharusnya hanya ditentukan oleh kecanggihan atau kemampuan model dalam menghasilkan jawaban.
Sistem yang dapat dipercaya juga harus memiliki mekanisme pengamanan yang memungkinkan manusia mengawasi, memeriksa, serta membatasi tindakan yang dilakukan AI.
Gagasan rem darurat yang disampaikan Nadella merupakan seruan mengenai standar keamanan dalam pengembangan AI, bukan pengumuman peluncuran fitur baru Microsoft.
Melalui pendekatan tersebut, Nadella mendorong agar perkembangan kemampuan AI selalu disertai perlindungan yang memadai, sehingga kendali atas penggunaan teknologi tetap berada di tangan manusia.
