AMD Lemonade yang diam-diam mendapat dukungan Nvidia adalah jenis rilisan kecil yang menyelesaikan masalah dunia nyata yang besar. Siapa pun yang menjalankan LLM lokal di lebih dari satu mesin harus menduplikasi penyimpanan model, menyetel ulang kuantisasi, dan menjuggling dua runtime berbeda untuk menjaga stack tetap dapat digunakan di seluruh desktop rumah dan laptop kerja. Portabilitas adalah seluruh ketatnya AI lokal, dan sampai tahun ini sebagian besar runtime terkunci pada satu keluarga perangkat keras.
Kami menguji delapan runtime AI lokal untuk desktop yang membuat portabilitas perangkat keras menjadi fitur kelas satu. Daftar ini menggabungkan alat lintas vendor yang dibuat khusus dengan runtime lama yang telah mengejar ketinggalan di sisi multi-backend. Setiap pilihan berjalan setidaknya di Windows dan Linux, enam berjalan di macOS dengan akselerasi Apple Silicon, dan semua delapan dapat memindahkan file model GGUF dari satu mesin ke mesin lain tanpa pekerjaan ulang.
Yang harus dicari dalam runtime AI lokal portabel
Portabilitas adalah apa yang memberi runtime tempat di daftar, tetapi beberapa hal membedakan pilihan yang benar-benar berpindah dengan baik dari pilihan yang mengklaim demikian.
- Dukungan GPU lintas vendor. Nvidia CUDA, AMD ROCm atau Vulkan, Apple Metal, Intel Arc. Dua vendor adalah minimum, tiga adalah portabel
- Netralitas format model. GGUF adalah lingua franca saat ini. Apa pun yang hanya membaca formatnya sendiri kehilangan poin
- API kompatibel OpenAI. Jika runtime tidak mengekspos satu, kode klien yang ada Anda rusak dalam perpindahan
- Portabilitas konfigurasi. Kartu model yang dikirimkan di runtime lebih baik daripada yang Anda buat dari awal di mesin target
- Jejak instalasi. Satu file yang dapat dijalankan bergerak lebih mudah daripada stack Docker lima layanan
- Penyimpanan model. Runtime tidak boleh memaksa pengunduhan ulang model yang sudah Anda miliki di disk
Perbandingan cepat
| Runtime | Terbaik untuk | Vendor GPU | OS | Menonjol |
|---|---|---|---|---|
| Ollama | Token pertama tercepat | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | Penyimpanan model yang dapat Anda arahkan lintas mesin |
| LM Studio | Pengujian lintas vendor berbasis GUI | Nvidia, AMD, Apple, Intel | Windows, macOS, Linux | Backend MLX di Apple Silicon |
| llama.cpp | Runtime yang diadopsi semua orang | Nvidia, AMD (Vulkan), Apple | Windows, macOS, Linux | Rilis biner tunggal |
| Jan | Pengganti ChatGPT sumber terbuka | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | Server kompatibel OpenAI lokal di port 1337 |
| GPT4All | Pemula dengan perangkat keras sederhana | CPU, Nvidia, AMD | Windows, macOS, Linux | Berjalan bersih di Snapdragon X ARM |
| AMD Lemonade | Fokus AMD dengan dukungan Nvidia | AMD NPU, AMD GPU, Nvidia GPU | Windows, Linux | Penjadwalan NPU-aware untuk Ryzen AI 300 |
| KoboldCpp | Runtime konteks panjang file tunggal | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | Pengiriman gen gambar dan TTS dalam biner yang sama |
| Text Generation WebUI | Pengguna power yang menginginkan setiap tombol | Nvidia, AMD, Apple, CPU | Windows, macOS, Linux | Setiap loader dan setiap tipe quant dalam satu UI |
1. Ollama - Terbaik untuk token pertama tercepat
Ollama adalah jalan paling pendek dari ollama pull ke model yang berjalan, dan penyimpanan model Ollama adalah hal terdekat yang dimiliki AI lokal untuk manajer paket. Cerita portabilitas menjadi lebih kuat pada 2025 ketika build Windows dan Linux beralih ke format direktori model bersama, jadi mengarahkan OLLAMA_MODELS ke folder yang disinkronkan berarti model yang sama muncul di kedua mesin.
Di mana ini jatuh pendek: Waktu tetap lima menit default memuat ulang model secara konstan. Atur OLLAMA_KEEP_ALIVE ke nilai yang lebih panjang di mesin pengguna tunggal.
Harga: Gratis, lisensi MIT.
Platform: Windows, macOS, Linux.
Download: ollama.com
Garis bawah: Beli jika Anda menginginkan ergonomi tercepat. Ekosistem Ollama sekarang lebih besar dari semua runtime lainnya digabungkan.
2. LM Studio - Terbaik pengujian lintas vendor berbasis GUI
LM Studio mengirimkan salah satu pengalaman GUI terbaik untuk AI lokal, dan dukungan multi-backend menempatkannya selangkah lebih maju untuk pengujian lintas vendor. Backend MLX di Apple Silicon membaca sekitar 30 hingga 50 persen lebih cepat daripada model yang sama di llama.cpp Metal, yang merupakan margin besar untuk crowd Mac Studio dan MacBook Pro.
Di mana ini jatuh pendek: Lisensi komersial tim mengubah harga pada 2025. Penggunaan pribadi masih gratis.
Harga: Gratis untuk penggunaan pribadi.
Platform: Windows, macOS, Linux.
Download: lmstudio.ai
Garis bawah: Pilihan jika Anda menginginkan GUI yang tepat dan Anda membagi pekerjaan Anda antara Nvidia dan Apple Silicon.
3. llama.cpp - Runtime terbaik yang diadopsi semua orang
llama.cpp adalah implementasi referensi yang dibungkus oleh sebagian besar runtime lainnya. Rilis biner tunggal sejak 2024 membuat portabilitas sepele, dan backend Vulkan menambahkan dukungan AMD kelas satu tanpa rasa sakit instalasi ROCm. Build Metal, CUDA, Vulkan, dan CPU semua membaca file GGUF yang sama.
Di mana ini jatuh pendek: CLI adalah antarmuka. Tidak ada GUI default.
Harga: Gratis, lisensi MIT.
Platform: Windows, macOS, Linux.
Download: github.com/ggerganov/llama.cpp
Garis bawah: Pilihan jika Anda menginginkan biner paling ramping. Runtime orang lain duduk di atas ini.
4. Jan - Pengganti ChatGPT terbaik kompatibel OpenAI
Jan adalah salah satu pengganti ChatGPT sumber terbuka terkuat di desktop. Server kompatibel OpenAI di port 1337 berarti setiap perpustakaan klien OpenAI berbicara dengannya tanpa pekerjaan ulang, dan dukungan MCP sejak 2024 membiarkan Jan terhubung ke agen pemanggilan alat.
Di mana ini jatuh pendek: Penyimpanan model lebih kecil dari Ollama.
Harga: Gratis, Apache 2.0.
Platform: Windows, macOS, Linux.
Download: jan.ai
Garis bawah: Beli jika Anda menginginkan pengganti ChatGPT yang menjaga kode klien OpenAI yang ada tetap portabel.
5. GPT4All - Terbaik untuk perangkat keras sederhana
GPT4All berjalan pada perangkat keras yang ditolak runtime lain untuk di-boot. Dukungan Snapdragon X ARM telah menjadi warga kelas satu sejak 2024, dan inferensi CPU saja diperlakukan sebagai target, bukan fallback. Fitur Local Docs Nomic membuat dokumen diindeks pada perangkat.
Di mana ini jatuh pendek: Katalog model dikurasi lebih kecil dari Ollama atau LM Studio.
Harga: Gratis, lisensi MIT, penggunaan komersial yang permisif.
Platform: Windows, macOS, Linux.
Download: gpt4all.io
Garis bawah: Pilihan jika mesin target adalah laptop kerja tanpa GPU khusus.
6. AMD Lemonade - AMD terbaik pertama dengan dukungan Nvidia
AMD Lemonade dimulai sebagai stack AI lokal AMD untuk NPU seri Ryzen AI 300, dan dukungan Nvidia 2026 menempatkannya dalam percakapan portabilitas. Penjadwalan NPU-aware Lemonade menjadikannya runtime lokal tercepat di laptop Ryzen AI 300, dan dukungan Nvidia berarti Anda dapat membawa konfigurasi yang sama di seluruh laptop AMD kerja dan desktop Nvidia rumah.
Di mana ini jatuh pendek: Dokumentasi tertinggal Ollama dan LM Studio. macOS tidak didukung.
Harga: Gratis, lisensi MIT.
Platform: Windows, Linux.
Download: lemonade-sdk.github.io
Garis bawah: Runtime terbaik untuk siapa pun di mesin Ryzen AI. Sekarang portabel ke Nvidia jika Anda membagi waktu antara keduanya.
7. KoboldCpp - Runtime konteks panjang file tunggal terbaik
KoboldCpp dikirimkan sebagai satu file yang dapat dijalankan, tanpa installer, tanpa layanan, dan tanpa dependensi. Ini membaca GGUF, mengirimkan gen gambar dan TTS dalam biner yang sama, dan manajemen konteksnya adalah yang terkuat untuk penulisan bentuk panjang.
Di mana ini jatuh pendek: UI berfungsi, bukan cantik.
Harga: Gratis, AGPL.
Platform: Windows, macOS, Linux.
Download: github.com/LostRuins/koboldcpp
Garis bawah: Runtime untuk tetap di stik USB.
8. Text Generation WebUI - Terbaik untuk pengguna power
Text Generation WebUI Oobabooga adalah runtime yang mengekspos setiap tombol. Setiap loader, setiap tipe quant, setiap format kartu karakter, semuanya dalam satu antarmuka Gradio. Bukan untuk siapa pun yang menginginkan “itu hanya bekerja”, tetapi pilihan yang tepat untuk pembaca yang menyetel pengaturan mereka.
Di mana ini jatuh pendek: Pengaturan run pertama memakan waktu lebih lama daripada setiap runtime lain di daftar.
Harga: Gratis, AGPL.
Platform: Windows, macOS, Linux.
Download: github.com/oobabooga/text-generation-webui
Garis bawah: Pilihan jika alur kerja Anda bergantung pada pengalihan loader dan kuantisasi tanpa mengedit file config.
Cara memilih yang tepat
Jika prioritas Anda adalah waktu token pertama tercepat pada perangkat keras apa pun, beli Ollama. Ergonomi masih di depan semuanya, dan pengganda ekosistem itu nyata.
Jika Anda membagi waktu antara Mac Apple Silicon dan desktop Windows Nvidia, LM Studio adalah pilihannya. Jika perangkat keras target Anda termasuk AMD Ryzen AI 300, Lemonade adalah pilihan dan dukungan Nvidia barunya berarti Anda tidak harus beralih runtime ketika Anda pindah ke mesin lain.
Jan adalah pengganti ChatGPT. GPT4All adalah pilihan untuk perangkat keras sederhana. KoboldCpp adalah pilihan untuk pengaturan portabel file tunggal USB. Text Generation WebUI adalah pilihan jika Anda ingin menukar loader per model. llama.cpp adalah pilihan jika Anda menginginkan shell script dan tidak ada lagi.
Lewati runtime proprietary yang hanya berjalan pada perangkat keras vendor tunggal kecuali vendor itu adalah seluruh stack Anda.
FAQ
Apa runtime AI lokal tercepat di Apple Silicon?
LM Studio dengan MLX berjalan sekitar 30 hingga 50 persen lebih cepat daripada llama.cpp Metal pada model yang sama. Ollama menutup celah sejak backend MLX mendarat.
Bisakah saya memindahkan penyimpanan model Ollama ke mesin lain?
Ya. Arahkan OLLAMA_MODELS ke folder yang disinkronkan (iCloud, Syncthing, Dropbox) dan model yang sama muncul di kedua mesin. Kunci versi biner Ollama jika Anda melintasi batas OS.
Apakah AMD Lemonade benar-benar berjalan di Nvidia sekarang?
Ya, sejak rilis 2026. Ini bukan implementasi CUDA penuh, tetapi endpoint kompatibel OpenAI bekerja lintas vendor, dan inferensi Nvidia sebanding dengan backend Nvidia Ollama untuk sebagian besar quant GGUF.
Runtime AI lokal mana yang menggunakan VRAM paling sedikit?
llama.cpp dengan kuantisasi Q4_K_M. KoboldCpp cocok dengan itu karena membungkus mesin yang sama. LM Studio dan Ollama menggunakan matematika yang sama tetapi pengiriman konteks default yang lebih tinggi yang makan VRAM.
Apakah ada runtime AI lokal yang tersedia untuk iOS atau Android?
Tidak, tidak satu pun dari delapan berjalan di seluler. Di Android, lihat MLC LLM atau Layla. Di iOS, lihat Private LLM atau Enclave.
