Model mixture-of-experts hanya menjalankan sebagian dari parameternya per token, itulah sebabnya Hy3 Tencent 295B atau DeepSeek V3 671B sekarang cocok dengan anggaran RAM konsumen yang biasanya terbatas pada sekitar 70B model padat. Tencent merilis Hy3 di bawah Apache 2.0 pada 6 Juli 2026, dengan 21B parameter aktif dan jendela konteks 256K. DeepSeek terus mengirimkan refresh V3, Mixtral 8x22B tetap kompetitif dalam biaya, dan Qwen3 MoE memiliki varian dari 30B hingga 235B. Bottleneck bergerak dari GPU VRAM ke apakah runner lokal Anda benar-benar memahami routing ahli yang jarang, dan bukan setiap runner yang melakukannya.
Kami menguji 8 aplikasi terbaik untuk menjalankan model MoE LLM terbuka di desktop di seluruh Windows, macOS, dan Linux. Masing-masing dinilai pada kompatibilitas GGUF dan safetensors, kontrol routing ahli, perilaku offload CPU untuk ahli dingin, dan seberapa cepat proyek mengirimkan dukungan untuk arsitektur baru seperti hy_v3, qwen3moe, dan deepseek2. Beberapa adalah file yang dapat dieksekusi tunggal. Yang lain mengasumsikan Anda tahu Docker. Semuanya gratis untuk penggunaan pribadi, dan sebagian besar gratis untuk penggunaan komersial juga.
Apa yang harus dicari dalam runner MoE LLM lokal yang mampu
Beberapa kriteria memisahkan aplikasi yang menangani arsitektur MoE baru pada hari pertama dari aplikasi yang diam-diam gagal memuat bobot:
- Dukungan asli untuk arsitektur MoE saat ini: Mixtral, DeepSeekMoE, Qwen3MoE, Hunyuan-A13B, dan hy_v3. Runner biasanya tertinggal dari kalender rilis model sebesar 2 hingga 4 minggu, jadi apa pun yang lebih lama dari itu adalah tanda peringatan.
- Cakupan GGUF dan safetensors. GGUF adalah yang benar-benar dipublikasikan komunitas Hugging Face untuk penggunaan lokal. Runner tanpanya terkunci dari sebagian besar kuantisasi.
- Kontrol routing ahli. Setiap MoE memiliki router top-k. Dapat menyesuaikan jumlah ahli aktif menukar throughput terhadap kualitas, dan itulah perbedaan antara MoE yang terasa cepat dan yang terasa padat.
- Offload CPU selektif. Runner yang disetel dengan baik menjaga router dan bobot perhatian bersama di GPU dan mendorong ahli dingin ke RAM sistem. Itulah cara model 295B cocok dengan 64 GB DDR5 plus kartu kelas menengah.
- Server API yang kompatibel dengan OpenAI. Hampir setiap ekstensi editor, kerangka agen, dan alat memori berbicara dialek Penyelesaian Percakapan OpenAI. Jika runner tidak menampilkannya, integrasi adalah proyek pekerjaan rumah.
- Kedalaman kuantisasi. Q4_K_M adalah workhorse saat ini untuk MoE. Metode yang lebih baru seperti APEX dan IQ4_XS menghemat lebih banyak VRAM tanpa kehilangan kualitas yang terukur pada ahli yang dirutingkan.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Lisensi | Harga | Arsitektur MoE |
|---|---|---|---|---|---|
| LM Studio | MoE run pertama dengan GUI | Windows, macOS, Linux | Proprietary | Gratis | Mixtral, DeepSeek, Qwen3MoE, Hunyuan-A13B |
| Ollama | Run MoE pertama terminal | Windows, macOS, Linux | MIT | Gratis | Mixtral, DeepSeek V3, Qwen3MoE |
| llama.cpp | Upstream yang setiap wrapper bergantung | Windows, macOS, Linux | MIT | Gratis | Mixtral, Qwen3MoE, DeepSeekMoE, Hunyuan-A13B |
| Jan | Setara LM Studio dengan sumber terbuka | Windows, macOS, Linux | AGPLv3 | Gratis | Apa pun yang didukung llama.cpp |
| KoboldCPP | Instalasi file tunggal | Windows, macOS, Linux | AGPLv3 | Gratis | Mixtral, DeepSeek, Qwen3MoE |
| Text Generation WebUI | Frontend pengguna kekuatan | Windows, macOS, Linux | AGPLv3 | Gratis | Mixtral, Qwen3MoE, DeepSeekMoE melalui tiga loader |
| vLLM | Melayani MoE multi-GPU | Linux (Windows/macOS melalui WSL atau Docker) | Apache 2.0 | Gratis | Mixtral 8x22B, DeepSeek V3, Qwen3MoE |
| LocalAI | Multi-backend OpenAI drop-in | Linux, macOS, Windows (Docker) | MIT | Gratis | Apa pun yang dicakup llama.cpp atau vLLM |
Aplikasi
1. LM Studio — runner MoE terbaik secara keseluruhan untuk kebanyakan orang
LM Studio adalah jalur tercepat dari instalasi segar ke chat MoE yang bekerja. Katalog model dalam aplikasi mencantumkan varian Mixtral, DeepSeek Coder V2 Lite, Qwen3 MoE, dan Hunyuan-A13B dengan filter ukuran dan kuantisasi, jadi memilih model MoE untuk anggaran VRAM Anda adalah langkah yang dapat digulir, bukan ekspedisi Hugging Face. Layar muat menampilkan slider Number of Experts yang memetakan ke llama.expert_used_count, memungkinkan Anda mengganti nilai top-k default ketika kualitas lebih penting daripada token per detik. LM Studio untuk alur kerja MoE juga mengirimkan backend MLX pada Apple Silicon dan jalur CUDA pada Nvidia, jadi instalasi yang sama berjalan pada M3 Max atau workstation dengan RTX 5090.
Di mana ia jatuh pendek: aplikasi desktop bersifat closed source, dan server headless built-in memerlukan beberapa pengaturan untuk terekspos dengan benar. Dibandingkan dengan runner CLI yang ramping, GUI mempertahankan lebih banyak RAM di latar belakang.
Harga:
- Gratis: aplikasi desktop lengkap untuk penggunaan pribadi dan komersial, tanpa batas kecepatan, tanpa panggilan cloud
- Berbayar: Rencana Enterprise senilai $10 per pengguna per bulan untuk SSO, gating model dan MCP, katalog tim pribadi
Platform: Windows, macOS, Linux
Unduh: lmstudio.ai
Garis bawah: pilihan jika Anda menginginkan model MoE mengobrol di desktop Anda sebelum makan siang. Lewati jika Anda menolak untuk menginstal biner sumber tertutup.
2. Ollama — CLI gratis terbaik untuk model MoE terbuka
Ollama menarik Mixtral, DeepSeek V3, Qwen3 MoE, dan varian Hunyuan dengan satu ollama run dan menampilkan endpoint REST pada localhost:11434 yang berbicara format Penyelesaian Percakapan OpenAI. Registri sesuai dengan rilis MoE baru, dan internals routing melacak fork llama.cpp saat ini, jadi arsitektur seperti mixtral, deepseek2, dan qwen3moe dimuat tanpa operasi flag. Ollama untuk inferensi MoE lokal adalah alat yang kebanyakan pengembang gunakan ketika mereka ingin membuat skrip alur kerja di sekitar model yang dirutingkan.
Di mana ia jatuh pendek: daemon tidak memiliki UI untuk menyesuaikan jumlah ahli, jadi Anda mengedit Modelfile atau meneruskan override melalui API untuk menyesuaikan routing yang jarang. Modelfiles default juga secara konservatif membatasi panjang konteks, yang menyakitkan pada jendela 256K Hy3 sampai Anda menaikkan num_ctx.
Harga:
- Gratis: seluruh runtime, tarik registri model, dan server API
- Berbayar: tidak ada dari proyek
Platform: Windows, macOS, Linux
Unduh: ollama.com atau GitHub
Garis bawah: pilihan yang tepat jika terminal adalah tempat Anda sudah berada. Bukan satu jika Anda menginginkan kontrol routing ahli visual.
3. llama.cpp — fondasi terbaik untuk penggemar
llama.cpp adalah runtime yang hampir setiap aplikasi lain di daftar ini bungkus. Langsung berarti Anda mendapatkan dukungan arsitektur MoE pada hari pertama untuk apa pun yang upstream komitmen: Mixtral, Qwen3MoE, DeepSeekMoE, dan jalur yang direkomendasikan untuk Hunyuan-A13B. Anda juga mendapatkan bendera yang disembunyikan wrapper, seperti --override-kv llama.expert_used_count=int:4 untuk penyesuaian top-k dan --cpu-moe untuk mendorong ahli dingin ke RAM sistem.
Di mana ia jatuh pendek: tidak ada GUI. Manajemen model, kuantisasi, dan server yang kompatibel dengan OpenAI (llama-server) adalah biner terpisah dengan argumen mereka sendiri. Arsitektur baru biasanya mendarat 2 hingga 4 minggu setelah kertas keluar, yang menyakiti pengguna Hy3 awal yang menjalankan dari sumber.
Harga:
- Gratis: sumber berlisensi MIT dan biner prabangun untuk CUDA, ROCm, Metal, Vulkan, SYCL, dan OpenVINO
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Garis bawah: untuk siapa pun yang ingin tahu lapisan mana yang mendarat di GPU. Overkill untuk chat santai.
4. Jan — setara LM Studio dengan sumber terbuka terbaik
Jan adalah shell desktop di atas llama.cpp dengan lisensi AGPLv3, browser model Hugging Face yang memfilter file GGUF berdasarkan ukuran, dan server API yang kompatibel dengan OpenAI lokal pada localhost:1337. Katalog MoE mencakup varian Mixtral, DeepSeek Coder V2 Lite, dan kuantisasi komunitas Qwen3 MoE, dan aplikasi mewarisi override routing ahli llama.cpp melalui pane pengaturan model. Jan untuk pengguna MoE yang menginginkan GUI adalah standin sumber terbuka terdekat untuk LM Studio.
Di mana ia jatuh pendek: Jan cenderung tertinggal dari arsitektur MoE paling baru sebesar rilis atau dua, jadi jika dukungan hy_v3 baru saja mendarat di master llama.cpp, Anda mungkin menunggu pembangunan Jan untuk mengejar ketinggalan. Beberapa pengguna juga melaporkan tekanan memori saat menjelajahi daftar model yang sangat besar.
Harga:
- Gratis: aplikasi desktop lengkap di bawah AGPLv3
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Garis bawah: pilih Jan jika Anda menginginkan GUI gaya LM Studio tanpa biner tertutup. Lihat tempat lain jika Anda memerlukan dukungan hari rilis untuk arsitektur yang benar-benar baru.
5. KoboldCPP — runner MoE tanpa instalasi terbaik
KoboldCPP mengompresi runtime lengkap, UI chat dan cerita KoboldAI, dan endpoint yang kompatibel dengan OpenAI menjadi satu file yang dapat dieksekusi berukuran 200 MB. Sejak versi 1.8, layar muat menampilkan jumlah ahli MoE di halaman Tokens untuk kuantisasi Mixtral, DeepSeek, dan Qwen3 MoE. Varian CUDA, Vulkan, dan CPU-only prabangun dikirim untuk Windows, Linux, dan Apple Silicon, yang membuat KoboldCPP untuk beban kerja MoE jalur instalasi terpendek yang mungkin.
Di mana ia jatuh pendek: UI dioptimalkan untuk penulisan kreatif dan roleplay, yang membaca bising untuk pekerjaan asisten langsung. Penemuan model bersifat manual: Anda menjatuhkan GGUF di sebelah file yang dapat dieksekusi dan menunjuknya.
Harga:
- Gratis: seluruh biner di bawah AGPLv3, tanpa telemetri
- Berbayar: tidak ada
Platform: Windows, macOS (Apple Silicon), Linux
Unduh: koboldcpp.com atau GitHub
Garis bawah: yang harus diambil jika Anda menolak untuk menginstal framework lengkap. Kurang menyenangkan jika Anda menginginkan update model terkelola.
6. Text Generation WebUI — frontend pengguna tenaga terbaik
Text Generation WebUI Oobabooga memungkinkan Anda beralih antara loader llama.cpp, ExLlamaV2, dan Transformers per model, yang penting untuk MoE karena setiap loader menampilkan kontrol penghitungan ahli yang berbeda. Loader ExLlamaV2 memiliki pengaturan Number of Experts per Token untuk model keluarga Mixtral, dan sisi llama.cpp mengambil override melalui --override-kv llama.expert_used_count. Bendera --cpu-moe mendorong bobot ahli ke RAM sistem untuk setup offload-heavy.
Di mana ia jatuh pendek: setiap loader memiliki kekhususannya sendiri, dan aplikasi mengasumsikan Anda memahami mana yang cocok untuk kuantisasi mana. Setup run pertama lebih berat daripada Jan atau LM Studio.
Harga:
- Gratis: seluruh proyek di bawah AGPLv3
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: GitHub
Garis bawah: dapatkan jika Anda suka menyetel loader dan menguji A/B kuantisasi. Lewati jika Anda menginginkan MoE satu klik.
7. vLLM — terbaik untuk throughput MoE dalam skala
vLLM adalah runner yang orang-orang pindahkan ketika setup chat single-GPU mereka tumbuh besar. Versi 0.6 dan yang lebih baru mendukung paralelisme ahli untuk Mixtral 8x22B, DeepSeek V3, dan Qwen3 MoE melalui --enable-expert-parallel, dengan paralelisme tensor FP8 dan BF16 di beberapa GPU. Batching berkelanjutan berarti kotak yang sama dapat melayani puluhan permintaan MoE bersamaan tanpa lonjakan latensi ekor yang akan didapat server naif.
Di mana ia jatuh pendek: vLLM menargetkan Linux dengan perangkat keras NVIDIA. Pengguna macOS dan Windows melalui WSL atau kontainer, dan setup single-GPU konsumen membayar kompleksitas yang tidak akan mereka gunakan.
Harga:
- Gratis: proyek Apache 2.0, instal dengan
pip install vllm - Berbayar: tidak ada dari proyek itu sendiri
Platform: Linux (native), Windows dan macOS melalui WSL atau Docker
Garis bawah: runner pilihan ketika Anda melayani lalu lintas MoE ke tim. Overkill untuk satu laptop.
8. LocalAI — paling fleksibel drop-in untuk MoE
LocalAI adalah biner Go yang menyajikan API yang kompatibel dengan OpenAI, Anthropic, dan ElevenLabs dan beralih backend per model. Di bawah hood, ia membungkus llama.cpp, vLLM, MLX, whisper.cpp, dan stable-diffusion, jadi GGUF MoE apa pun yang llama.cpp dapat konversi berjalan melalui endpoint yang sama yang menjawab penyematan dan panggilan TTS Anda. Proyek mengirimkan strategi kuantisasi APEX miliknya sendiri yang disesuaikan untuk peran tensor MoE, yang memungkinkan bobot kelas Mixtral cocok dengan kualitas Q8_0 pada ukuran yang berdekatan dengan Q4.
Di mana ia jatuh pendek: desain multi-backend lebih berat daripada aplikasi single-runtime, dan konfigurasi tinggal di YAML daripada GUI. Pengguna Windows dan macOS default ke Docker.
Harga:
- Gratis: sumber berlisensi MIT dan gambar kontainer
- Berbayar: tidak ada
Platform: Linux, macOS, Windows (Docker di ketiga bekerja)
Unduh: localai.io atau GitHub
Garis bawah: pilihan ketika satu endpoint harus menjawab untuk chat, embedding, TTS, dan inferensi MoE sekaligus. Lewati jika Anda hanya membutuhkan jendela chat.
Cara memilih yang tepat
Jika Anda tidak pernah menjalankan model lokal, mulai dengan LM Studio. Kontrol MoE ada di UI, katalog model dikurasi, dan chat Mixtral pertama terjadi dalam lima belas menit.
Jika Anda lebih suka terminal, Ollama adalah jalur terpendek ke Qwen3 MoE atau DeepSeek V3 yang sedang berjalan. Pasangkan dengan frontend web ringan nanti jika Anda menginginkan jendela chat.
Jika Anda ingin memahami apa yang terjadi di bawah hood, langsung ke llama.cpp. Setiap tombol adalah bendera, dan setiap arsitektur didokumentasikan dalam sumber.
Jika prioritas Anda adalah sumber terbuka tanpa mengorbankan GUI, Jan paling dekat dengan pengganti LM Studio.
Jika Anda menolak untuk menginstal framework, KoboldCPP adalah satu file yang dapat dieksekusi tanpa dependensi.
Jika Anda sudah mengelola empat loader dan menginginkannya di bawah satu atap, Text Generation WebUI adalah apa yang sudah Anda tahu yang Anda inginkan.
Jika Anda melayani lalu lintas MoE ke tim atau menginginkan paralelisme ahli di dua atau lebih GPU, vLLM adalah jawaban yang masuk akal.
Jika Anda memerlukan satu endpoint yang kompatibel dengan OpenAI yang juga menangani TTS, embedding, dan visi di samping chat MoE, jalankan LocalAI di Docker dan selesai.
FAQ
Apa aplikasi gratis terbaik untuk menjalankan model MoE LLM di desktop? Ollama untuk pengguna terminal, LM Studio untuk semua orang lain. Keduanya gratis untuk penggunaan pribadi dan komersial, keduanya mendukung Mixtral, DeepSeek V3, dan Qwen3 MoE dari kotak, dan keduanya terus berirama dengan rilis MoE baru dalam beberapa minggu upstream llama.cpp.
Dapatkah perangkat keras konsumen benar-benar menjalankan model 295B seperti Tencent Hy3? Ya, dengan caveat. Hy3 hanya mengaktifkan 21B dari 295B parameter per token, jadi throughput membaca lebih dekat ke model padat 21B daripada 295B. Anda masih memerlukan RAM sistem yang cukup untuk menampung bobot terkuantisasi penuh, kira-kira 180 GB untuk kuant Q4, jadi workstation dengan 256 GB DDR5 dan GPU 24 GB adalah titik masuk saat ini.
Apa perbedaan antara Ollama dan LM Studio untuk model MoE? Ollama adalah daemon CLI dengan server REST dan registri model yang dikurasi. LM Studio adalah aplikasi desktop dengan UI chat, layar muat dengan slider Number of Experts yang eksplisit, dan server yang beralih menyala. Keduanya membungkus backend berbasis llama.cpp yang serupa. Pilih Ollama jika Anda membuat skrip alur kerja, LM Studio jika Anda menginginkan kontrol visual.
Apakah llama.cpp mendukung Tencent Hy3 dan arsitektur MoE baru lainnya? llama.cpp biasanya menambahkan arsitektur MoE baru dalam 2 hingga 4 minggu setelah rilis model. Mixtral, Qwen3MoE, dan DeepSeekMoE semuanya mendarat segera setelah jatuhnya model, dan Hunyuan-A13B memiliki jalur llama.cpp yang direkomendasikan dalam dokumentasi Tencent sendiri. Hy3, yang dikirim 6 Juli 2026, memiliki GGUF komunitas dan penggabungan ke upstream dalam jendela 2-4 minggu yang sama.
Apakah saya memerlukan GPU untuk menjalankan model MoE secara lokal? Tidak sepenuhnya. llama.cpp, KoboldCPP, Ollama, dan LocalAI semuanya mendukung inferensi CPU-only dan offload ahli dingin, jadi workstation dengan 128 GB atau lebih RAM dapat menjalankan kuantisasi MoE yang lebih kecil pada kecepatan yang dapat dibaca. GPU modern dengan 12 hingga 24 GB VRAM plus offload RAM sistem adalah tempat pengalaman menjadi menyenangkan.
Runner MoE mana yang memiliki API yang kompatibel dengan OpenAI terbaik? Untuk satu mesin, LM Studio dan Ollama menampilkan endpoint Penyelesaian Percakapan OpenAI yang bersih tanpa config. Untuk tim atau armada, server vLLM menawarkan throughput tertinggi dan paralelisme ahli asli. LocalAI menjahit beberapa backend di belakang satu API gaya OpenAI, yang berguna ketika chat, embedding, dan visi harus berbagi satu URL.
