Jakarta – Xiaomi resmi memasuki arena model bahasa besar (Large Language Model/LLM) dengan meluncurkan MiMo-7B, model AI open-source pertama mereka yang dirancang khusus untuk tugas-tugas reasoning kompleks dan pengembangan kode. Model ini dikembangkan oleh tim baru yang mereka sebut sebagai Big Model Core Team.
Fokus pada Reasoning dan Coding
MiMo-7B membawa 7 miliar parameter—angka yang terbilang kecil dibandingkan model-model besar lainnya di industri. Namun menariknya, Xiaomi mengklaim bahwa performa MiMo-7B dapat bersaing bahkan melampaui model lain yang lebih besar seperti OpenAI o1-mini dan Alibaba Qwen-32B-Preview, khususnya dalam bidang penalaran matematis dan generasi kode.
MiMo-7B mencetak skor 95,8% di benchmark MATH-500 dan lebih dari 68% pada dataset AIME 2024. Sementara untuk coding, model ini mencapai skor 57,8% pada LiveCodeBench v5 dan mendekati 50% pada versi 6. Ini menempatkannya sebagai salah satu model 7B terbaik di kategori tersebut. Informasi ini dilansir dari Gizmochina, yang menyebutkan bahwa pencapaian ini cukup mengejutkan mengingat ukuran parameter MiMo-7B yang relatif kecil.
Rangkaian Training yang Ketat dan Inovatif
MiMo-7B dilatih menggunakan dataset reasoning padat sebanyak 200 miliar token dan total 25 triliun token selama tiga fase pelatihan. Tidak seperti pendekatan konvensional yang menggunakan prediksi token selanjutnya, Xiaomi memilih multiple-token prediction untuk mempercepat waktu inferensi tanpa mengorbankan kualitas output.
Dalam tahap post-training, Xiaomi menerapkan algoritma khusus bernama Test Difficulty Driven Reward untuk mengatasi sinyal reward yang lemah dalam reinforcement learning. Mereka juga menggunakan metode Easy Data Re-Sampling untuk menstabilkan proses pelatihan.
Dari sisi infrastruktur, Xiaomi membangun sistem rollout bernama Seamless Rollout yang mampu mengurangi downtime GPU saat pelatihan dan validasi. Hasilnya? Xiaomi mencatat peningkatan kecepatan pelatihan hingga 2,29 kali dan hampir dua kali lipat peningkatan performa validasi.
Baca juga: Android Auto Mulai Gulirkan Update 14.2, Sambil Rilis Beta 14.3: Apa yang Baru?
Empat Versi Model untuk Kebutuhan Berbeda
MiMo-7B kini tersedia dalam empat versi open-source:
- Base – versi dasar hasil pre-training.
- SFT – versi yang sudah disempurnakan dengan data terawasi.
- RL-Zero – versi reinforcement learning dari model dasar.
- RL – versi paling matang yang dibangun dari SFT, diklaim sebagai yang paling akurat.
Xiaomi menunjukkan komitmen pada komunitas open-source dengan merilis seluruh model ini di platform Hugging Face. Seluruh dokumentasi dan checkpoint model juga tersedia lengkap di GitHub, memungkinkan peneliti dan developer dari seluruh dunia untuk mengeksplorasi dan mengembangkan model ini lebih lanjut.
Langkah Xiaomi ini menandai momen penting dalam adopsi AI oleh brand teknologi konsumer besar. Jika performa MiMo-7B terus meningkat dan komunitas turut berkontribusi pada pengembangannya, bukan tidak mungkin Xiaomi akan menjadi pemain besar baru dalam lanskap AI global.
Leave a Comment