 |
| Meta AI | foto: ai.meta.com |
Dari penelusuran topik.id, Jumat (25/8/2023) dari laman resmi Meta, merincinkan Code Llama merupakan model bahasa besar (LLM) yang dapat menggunakan perintah teks untuk menghasilkan kode.
Pihak Meta mengutarakan untuk menguji kinerja Code Llama terhadap solusi yang ada menggunakan dua parameter, yaitu HumanEval dan Mostly Basic Python Programming (MBPP).
"Kami menggunakan dua tolok ukur pengkodean populer: HumanEval dan Mostly Basic Python Programming ( MBPP ). HumanEval menguji kemampuan model untuk menyelesaikan kode berdasarkan docstrings dan MBPP menguji kemampuan model untuk menulis kode berdasarkan deskripsi," ungkapnya dalam keterangan tertulis di laman ai.meta.com.
Meta juga menjelaskan hasil pengujian, menunjukkan bahwa Code Llama berkinerja lebih baik daripada LLM sumber terbuka dan spesifik kode, serta mengungguli Llama 2 sebelumnya.
"Kode Llama 34B, misalnya, mendapat skor 53,7% pada HumanEval dan 56,2% pada MBPP, yang tertinggi dibandingkan dengan negara bagian lainnya. solusi terbuka tercanggih, dan setara dengan ChatGPT," klaim Meta.
Code Llama berpotensi digunakan sebagai alat produktivitas dan pendidikan untuk membantu pemrogram menulis perangkat lunak yang lebih kuat dan terdokumentas
"Code Llama adalah yang tercanggih untuk LLM yang tersedia untuk umum mengenai tugas-tugas kode, dan memiliki potensi untuk membuat alur kerja lebih cepat dan efisien bagi pengembang saat ini dan menurunkan hambatan masuk bagi orang-orang yang sedang belajar kode. Code Llama berpotensi digunakan sebagai alat produktivitas dan pendidikan untuk membantu pemrogram menulis perangkat lunak yang lebih kuat dan terdokumentasi dengan baik," keterangan resmi di laman Meta.
 |
| Meta AI |
Walau mengklaim Code Llama setara dengan ChatGPT, pihak Meta menekankan semua teknologi mutakhir, Code Llama juga memiliki risiko.
"Membangun model AI secara bertanggung jawab sangatlah penting, dan kami melakukan berbagai langkah keselamatan sebelum merilis Code Llama. Sebagai bagian dari upaya tim merah kami, kami menjalankan evaluasi kuantitatif terhadap risiko Code Llama dalam menghasilkan kode berbahaya. Kami membuat perintah yang berupaya meminta kode berbahaya dengan maksud yang jelas dan menilai respons Code Llama terhadap perintah tersebut terhadap ChatGPT (GPT3.5 Turbo). Hasil kami menemukan bahwa Code Llama menjawab dengan respons yang lebih aman," jelasnya.
