DeepSeek Buka Kode DeepInfer untuk Mendukung Pemrosesan Model AI pada Berbagai Chip

DeepSeek kembali menarik perhatian industri kecerdasan buatan setelah membuka kode sumber DeepInfer pada 20 Oktober 2026. Framework inferensi ini dirancang untuk membantu menjalankan model AI berskala besar dengan lebih efisien, terutama pada infrastruktur yang menggunakan jenis chip berbeda. Dalam rilis awalnya, DeepInfer mendukung GPU Nvidia berarsitektur SM100 serta NPU Huawei Ascend 950. Langkah tersebut memperlihatkan upaya DeepSeek memperluas pilihan perangkat keras tanpa mengabaikan kebutuhan performa dan efisiensi komputasi. Perkembangan TEKNOLOGI ini membuka peluang bagi pengembang dan perusahaan untuk mempelajari sistem inferensi yang digunakan dalam layanan DeepSeek, sekaligus memahami tantangan penerapannya pada pusat data modern.

Apa Itu DeepInfer dan Mengapa Penting bagi Pengembang AI?

Framework DeepInfer hadir sebagai sistem pemrosesan model kecerdasan buatan yang dikembangkan guna menangani beban kerja AI berskala besar. Berbeda dari proses pelatihan model yang berfokus pada pembentukan kemampuan model, inferensi berkaitan dengan penggunaan model untuk menghasilkan keluaran. Pada tahap tersebut, sistem perlu memproses instruksi dan memberikan jawaban dalam waktu yang sesuai. Perangkat lunak tersebut disusun untuk meningkatkan efisiensi eksekusi model. Dengan pendekatan ini, DeepSeek berupaya memperluas akses terhadap teknologi inferensi.

Keputusan DeepSeek membuka kode DeepInfer memberikan kontribusi baru dalam industri infrastruktur kecerdasan buatan. Framework yang dipublikasikan dibagikan kepada komunitas pengembang menggunakan lisensi Apache 2.0. Lisensi tersebut memberikan ruang pengembangan lanjutan sesuai ketentuan Apache 2.0. DeepInfer sendiri berasal dari teknologi yang digunakan DeepSeek untuk menangani permintaan model dalam jumlah besar. Walaupun telah digunakan dalam lingkungan DeepSeek, rilis publiknya masih memiliki batasan dibandingkan sistem internal lengkap. Untuk memahami cakupan sebenarnya, pengembang harus membedakan kemampuan kode publik dan infrastruktur internal.

Kompatibilitas DeepInfer dengan Berbagai Arsitektur Chip AI

Daya tarik penting dari DeepInfer adalah dukungan terhadap dua keluarga akselerator berbeda. Pada rilis sumber terbuka pertama, DeepInfer menyediakan jalur pemrosesan untuk keluarga GPU SM100 Nvidia dan chip pemrosesan kecerdasan buatan Ascend 950. Pilihan perangkat keras tersebut menunjukkan pengembangan yang tidak hanya berfokus pada satu vendor. Selama ini, ketergantungan terhadap perangkat keras tertentu membutuhkan penyesuaian teknis tambahan. Berkat pengembangan lintas akselerator, DeepSeek memperluas pilihan infrastruktur bagi operator AI. Walaupun konsepnya mendukung berbagai chip, penggunaan tetap terbatas pada perangkat yang didukung secara resmi.

Variasi teknologi akselerator memengaruhi cara model AI dijalankan. Perangkat komputasi Nvidia memanfaatkan perangkat lunak CUDA untuk mengelola berbagai pekerjaan matematika AI. Sementara itu, Huawei Ascend menggunakan perangkat pengembangan CANN yang dirancang untuk akselerator Ascend. Kondisi lintas platform ini membutuhkan optimasi khusus pada setiap arsitektur. Oleh sebab itu, kemampuan lintas chip tidak menghilangkan kebutuhan optimasi khusus. Tim teknis sebaiknya memeriksa kompatibilitas sistem sebelum menggunakan framework secara luas.

Optimasi Kernel dan Pemrosesan Paralel pada DeepInfer

DeepInfer menggunakan berbagai teknologi percepatan model seperti FlashMLA, DeepGEMM, DeepEP, dan TileKernels. Komponen tersebut memiliki fungsi dalam pengolahan operasi AI. Komponen pengolahan attention FlashMLA digunakan dalam pemrosesan perhatian model, sedangkan DeepGEMM berfokus pada operasi perkalian matriks. Di sisi komunikasi, DeepEP membantu pengelolaan pertukaran data. Dengan menggabungkan komponen tersebut, framework berupaya mengurangi hambatan pemrosesan. Walaupun pustaka tersebut dirancang berkinerja tinggi, manfaat sebenarnya bergantung pada model dan konfigurasi.

Selain optimasi kernel, DeepInfer mendukung pemrosesan paralel melalui attention data parallelism, context parallelism, serta mixture-of-experts expert parallelism. Pendekatan tersebut membantu mengalokasikan bagian model pada sekumpulan perangkat komputasi. Pada arsitektur AI berbasis MoE, hanya sejumlah expert dipilih untuk token tertentu. Sebagai bagian dari optimasinya, sistem mengintegrasikan mekanisme distribusi pekerjaan antar-expert agar sumber daya komputasi dapat dimanfaatkan secara efisien. Tidak kalah penting, penjadwalan asinkron digunakan untuk mendukung penggunaan sumber daya yang lebih optimal. Integrasi teknologi ini mendukung pengelolaan permintaan yang kompleks.

Fitur Speculative Decoding dan Output Terstruktur DeepInfer

Fitur penting lainnya DeepInfer adalah speculative decoding. Sistem decoding tersebut dirancang mempercepat proses generasi jawaban dengan membuat token draf sebelum diverifikasi. Dalam implementasi DeepInfer, diintegrasikan pendekatan DSpark bersama confidence-scheduled verification untuk mengatur proses pemeriksaan token berdasarkan tingkat keyakinan. Metode percepatan ini membantu mempercepat keluaran model pada sistem dengan karakteristik model tertentu. Namun demikian, hasil penggunaan bergantung pada kondisi pemrosesan. Oleh sebab itu, operator sebaiknya mengevaluasi kebutuhan komputasi berdasarkan jenis permintaan pengguna.

Untuk mendukung keluaran yang lebih terkontrol, tersedia fitur structured outputs yang memungkinkan pembatasan format respons. Melalui kemampuan tersebut, model dapat diarahkan menghasilkan JSON berdasarkan skema yang ditentukan aplikasi. Fitur tersebut memiliki manfaat bagi pengembangan layanan digital yang mengandalkan struktur informasi tertentu. Sebagai contoh, aplikasi pengelolaan dokumen berpeluang menggunakan keluaran dengan struktur baku berisi kategori dokumen. Berkat pengendalian susunan respons, pengolahan data dapat dilakukan secara lebih terarah. Kendati keluaran mengikuti struktur, kebenaran isi tetap harus divalidasi sebelum diterapkan pada proses produksi.

Persyaratan Instalasi DeepInfer untuk Pengembang AI

Untuk memulai eksperimen menggunakan DeepInfer perlu menyiapkan lingkungan komputasi yang sesuai. Menurut persyaratan yang tersedia, DeepInfer menggunakan Linux sebagai platform sistem operasi, Python 3.12, serta GCC versi 13 atau lebih baru. Untuk akselerator Nvidia, lingkungan harus mendukung CUDA versi 13. Sementara itu, implementasi Ascend menggunakan lingkungan CANN versi 9.2. Setelah persyaratan terpenuhi, pengembang bisa mengunduh proyek melalui GitHub. Pada tahap kompilasi, lingkungan komputasi perlu disesuaikan melalui variabel DEEPINFER_ACCELERATOR dengan nilai nvidia atau ascend. Langkah konfigurasi tersebut memastikan sistem memilih backend yang sesuai.

Sesudah lingkungan pengembangan siap, pengguna bisa mencoba sampel pemrosesan model. Pada rilis saat ini, DeepInfer secara resmi mendukung DeepSeek-V4.1-Flash. Checkpoint model ini dapat diperoleh melalui Hugging Face, dengan kebutuhan perangkat keras yang harus diperhitungkan. Walaupun framework ini digunakan pada infrastruktur DeepSeek, rilis sumber terbuka tidak mencakup keseluruhan komponen operasional produksi. Beberapa bagian penting mencakup penyimpanan cache untuk pemrosesan berkelanjutan, mekanisme disaggregated deployment secara lengkap, serta penyeimbangan beban pada replika data parallel. Oleh sebab itu, pengembang harus menyiapkan komponen pendukung.

Peluang DeepInfer Mendorong Komputasi AI yang Lebih Fleksibel

Hadirnya DeepInfer sebagai proyek sumber terbuka mendorong penelitian komputasi kecerdasan buatan. Dukungan terhadap Nvidia dan Huawei memberikan contoh pendekatan pengembangan multi-hardware. Dalam banyak sistem komputasi AI, pemilihan perangkat keras sering dipengaruhi ekosistem perangkat lunak. Jika dukungan DeepInfer berkembang, operator dapat mengevaluasi alternatif komputasi dengan lebih fleksibel. Walaupun manfaat potensialnya besar, hasil efisiensi harus diuji secara nyata. Faktor seperti latensi layanan, jumlah permintaan yang diproses, efisiensi penggunaan energi, serta pengeluaran infrastruktur.

Selain memperluas pilihan perangkat keras, publikasi kode DeepInfer membuka ruang eksperimen dengan arsitektur model besar. Peneliti berpeluang mengevaluasi mekanisme penjadwalan, menguji pengaruh pengaturan komputasi, serta mengembangkan perbaikan yang sesuai. Berkat model distribusi yang digunakan, kolaborasi pengembangan memiliki ruang lebih luas. Namun, kebutuhan sumber daya tetap menjadi tantangan. Sistem AI dengan parameter sangat banyak dapat memerlukan banyak akselerator. Dalam penggunaan nyata, organisasi harus menilai kesiapan infrastrukturnya sebelum memindahkan sistem penting ke framework baru.

Kesimpulan DeepInfer dan Masa Depan Pemrosesan AI

Pembukaan kode sumber DeepInfer memberikan kontribusi baru dalam industri pemrosesan AI modern. Dengan dukungan GPU Nvidia SM100 dan NPU Huawei Ascend 950, DeepInfer memperlihatkan pendekatan lintas perangkat keras. Kombinasi optimasi kernel, paralelisme, speculative decoding, dan keluaran terstruktur mendukung pengembangan layanan kecerdasan buatan. Walaupun fiturnya cukup luas, penggunaan tetap memerlukan perangkat keras yang sesuai. Dengan mempertimbangkan batasan ini, pengembang perlu memahami kebutuhan sistem secara menyeluruh. Di tengah persaingan industri chip AI, DeepInfer dapat membantu penelitian sistem inferensi. Menurut Anda, apakah perangkat lunak inferensi lintas akselerator akan membantu perusahaan memilih infrastruktur lebih efisien? Bagikan pendapat Anda mengenai masa depan DeepInfer.