XDA menghabiskan seminggu menguji Gemma 4 melawan Qwen 3.5 di desktop yang sama, dan utas komentar mengungkapkan poin yang lebih dalam: sebagian besar pembaca sudah memiliki stack LLM lokal yang berjalan. Kategori ini telah melampaui mainan hobi. Model kuantisasi 7B dan 14B cukup bagus untuk review kode, ringkasan, dan penulisan rutin, gelombang baru model MoE ukuran menengah telah mempersempit celah dengan model frontier tertutup, dan aplikasi yang membungkus llama.cpp telah mulai terlihat seperti perangkat lunak nyata.
Kami menguji 8 aplikasi terbaik untuk menjalankan LLM lokal di Windows, macOS, dan Linux. Tolok ukur adalah hal-hal yang membosankan: seberapa cepat mereka mendapatkan model yang berjalan di laptop Ryzen, seberapa bersih mereka menangani ofload GPU di kartu RTX, apakah UI chat benar-benar menyenangkan, dan apa yang rusak ketika model besar berikutnya keluar. Harga berarti lebih sedikit daripada biasanya dalam kategori ini karena sebagian besar pilihan kuat gratis.
Apa yang harus dicari dalam aplikasi LLM lokal
Beberapa kriteria memisahkan alat yang bertahan sebulan penggunaan sehari-hari dari yang dihapus:
- Portabilitas backend. llama.cpp adalah runtime de facto. Aplikasi yang membungkusnya dengan bersih mendapatkan perbaikan bug gratis. Aplikasi yang mempertahankan fork mereka sendiri tertinggal dalam arsitektur model baru.
- Dukungan kuantisasi. GGUF adalah format yang sebenarnya dikirim. Jika aplikasi tidak dapat memuat file GGUF terbaru, itu adalah jalan buntu.
- Ofload GPU. CUDA pada Nvidia, ROCm pada AMD, Metal pada Apple Silicon. Alat-alat berbeda banyak dalam seberapa banyak dari masing-masing yang sebenarnya mereka gunakan.
- Chat UI vs API. Beberapa pengguna menginginkan jendela chat yang diperhalus. Yang lain menginginkan endpoint lokal yang kompatibel dengan OpenAI untuk dicolokkan ke dalam ekstensi editor. Aplikasi terkuat menawarkan keduanya.
- Penemuan model. Hugging Face adalah katalognya. Aplikasi yang memanggang pencarian dan unduhan satu klik menghemat waktu nyata.
- Postur privasi. Beberapa aplikasi berjalan sepenuhnya offline. Yang lain menelepon rumah untuk analitik secara default dan memerlukan bendera untuk berhenti.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Paket gratis | Fitur menonjol |
|---|---|---|---|---|
| Ollama | Instalasi satu baris dan CLI yang dapat Anda skrip | Windows, macOS, Linux | Ya (sumber terbuka) | API kompatibel OpenAI di localhost |
| LM Studio | UI chat yang diperhalus dengan pencarian model bawaan | Windows, macOS, Linux | Ya (gratis untuk penggunaan pribadi) | Integrasi Hugging Face dengan penyaringan kuantisasi |
| Jan | Klien chat fully open-source yang menghormati mode offline | Windows, macOS, Linux | Ya (sumber terbuka) | Tidak ada telemetri dan cerita pengaturan yang bersih |
| GPT4All | Chat ringan untuk laptop tanpa GPU | Windows, macOS, Linux | Ya (sumber terbuka) | Kuantisasi CPU-first yang disesuaikan untuk mesin RAM rendah |
| Msty | Tampilan bagi ganda model untuk perbandingan berdampingan | Windows, macOS, Linux | Ya (tingkat gratis) | Bandingkan dua model lokal dalam satu jendela |
| Open WebUI | Frontend self-hosted yang berjalan di browser | Docker (OS apa pun) | Ya (sumber terbuka) | Mode multi-pengguna dan penggantian model per-chat |
| Llamafile | Satu file yang dapat dieksekusi per model, tidak ada installer | Windows, macOS, Linux | Ya (sumber terbuka) | Jalankan model dengan mengklik dua kali satu file |
| Text Generation WebUI | Taman bermain power-user dengan penyetelan sampler dan ekstensi | Windows, macOS, Linux | Ya (sumber terbuka) | Kontrol terdalam atas parameter generasi |
8 aplikasi terbaik untuk menjalankan LLM lokal di desktop
1. Ollama — instalasi satu baris terbaik untuk penggunaan sehari-hari
Ollama adalah yang terdekat dengan default kategori. Satu installer menjatuhkan CLI dan layanan latar belakang, kemudian ollama run llama3.2 menarik model kuantisasi dan memulai chat. Daemon yang sama mengekspos API kompatibel OpenAI di localhost:11434, yang berarti setiap ekstensi editor dan notebook yang berbicara OpenAI bekerja tanpa perubahan. Perpustakaan model mencakup sebagian besar keluarga populer dengan kuantisasi default yang masuk akal.
Di mana ini jatuh pendek: UI pihak pertama sangat minim. Ollama adalah runtime, bukan aplikasi chat, jadi Anda baik berbicara dengannya dari terminal atau memasangkannya dengan frontend terpisah. Prompt dan template kustom tinggal di Modelfile, yang kuat tetapi menambah langkah.
Harga:
- Gratis: sumber terbuka, tidak ada biaya lisensi
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: ollama.com
Garis bawah: Pilih Ollama untuk LLM lokal jika Anda menginginkan backend yang “hanya bekerja” dan Anda senang membawa UI Anda sendiri.
2. LM Studio — chat UI terbaik dengan pencarian model bawaan
LM Studio adalah klien chat yang diperhalus yang kebanyakan orang mendarat setelah mereka melampaui demo web. Browser model menghubungkan langsung ke Hugging Face, menyaring menurut tingkat kuantisasi dan arsitektur, dan menunjukkan apakah file benar-benar akan masuk ke VRAM Anda. Jendela chat mendukung prompt sistem, preset, pengeditan multi-turn, dan mode server lokal yang mengekspos endpoint yang kompatibel dengan OpenAI yang sama seperti Ollama.
Di mana ini jatuh pendek: Lisensi memungkinkan penggunaan pribadi gratis tetapi memerlukan paket berbayar untuk konteks bisnis, yang perlu diketahui sebelum Anda memasukkannya di laptop perusahaan. Aplikasi ditutup sumber.
Harga:
- Gratis: penggunaan pribadi
- Berbayar: paket Kerja untuk penggunaan bisnis
Platform: Windows, macOS, Linux
Unduh: lmstudio.ai
Garis bawah: Pilih LM Studio untuk LLM lokal jika Anda menginginkan satu jendela yang menangani penemuan model, pemilihan kuantisasi, chat, dan API lokal.
3. Jan — klien chat fully open-source terbaik
Jan adalah apa yang terjadi ketika sebuah tim membangun pengalaman LM Studio sebagai open source dari awal. Toko model dikurasi, UI chat bersih, dan proyek memiliki kebijakan yang dinyatakan untuk berjalan sepenuhnya offline tanpa telemetri. Panel pengaturan membuat jelas switch mana yang mempengaruhi panggilan jaringan, yang tidak biasa dalam kategori ini.
Di mana ini jatuh pendek: Kinerja tertinggal LM Studio oleh rambut di hardware yang sama, sebagian karena tim memprioritaskan portabilitas daripada penyetelan GPU hyper-spesifik. Cerita aplikasi seluler dan API jarak jauh lebih baru daripada chat desktop.
Harga:
- Gratis: sumber terbuka, tidak ada biaya lisensi
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: jan.ai
Garis bawah: Pilih Jan untuk LLM lokal jika Anda menginginkan UX LM Studio tanpa lisensi closed-source dan tanpa mempercayai toggle opt-out analitik.
4. GPT4All — terbaik untuk laptop spec rendah tanpa GPU
GPT4All telah ada sejak awal adegan LLM lokal dan masih melakukan pekerjaan membosankan lebih baik daripada sebagian besar. Daftar model default disesuaikan untuk inferensi CPU, kuantisasi kecil berjalan pada mesin tanpa GPU khusus, dan UI chat sekarang mencakup chat dokumen lokal yang menunjuk ke folder di disk. Bagi pengguna yang mencoba menjalankan model 7B di laptop lama dan terpental dari kelambatan, pilihan model kecil yang dikurasi adalah titik awal yang tepat.
Di mana ini jatuh pendek: Akselerasi GPU didukung tetapi bukan di mana fokus proyek duduk. UI chat fungsional daripada indah.
Harga:
- Gratis: sumber terbuka, tidak ada biaya lisensi
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: gpt4all.io
Garis bawah: Pilih GPT4All untuk LLM lokal jika hardware Anda sederhana dan Anda menginginkan klien chat yang dikirim dengan model yang disesuaikan untuk itu.
5. Msty — terbaik untuk membandingkan dua model berdampingan
Msty adalah pilihan yang kurang jelas yang mengisi celah spesifik: itu dapat berbicara dengan dua model lokal sekaligus dan menunjukkan jawaban mereka berdampingan. Dikombinasikan dengan hook untuk API jarak jauh, ini adalah cara paling mudah untuk benchmark rilis Qwen baru melawan kuantisasi Gemma pada prompt yang sama tanpa mengacaukan dua jendela. Tumpukan pengetahuan memungkinkan Anda melampirkan folder atau URL ke chat untuk pengambilan.
Di mana ini jatuh pendek: Tingkat gratis mencakup penggunaan pribadi sebagian besar, tetapi beberapa fitur power duduk di belakang paket berbayar. Pencarian model lebih sempit daripada LM Studio.
Harga:
- Gratis: rencana pribadi yang kaya fitur
- Berbayar: paket Aurum untuk fitur lanjutan
Platform: Windows, macOS, Linux
Unduh: msty.app
Garis bawah: Pilih Msty untuk LLM lokal jika Anda secara aktif membandingkan model dan menginginkan klien chat yang dirancang untuk alur kerja itu.
6. Open WebUI — frontend browser terbaik untuk server keluarga atau tim bersama
Open WebUI berjalan sebagai aplikasi web yang dikontainerkan dan berbicara dengan Ollama (atau backend apa pun yang kompatibel dengan OpenAI) melalui jaringan. Antarmuka terlihat seperti aplikasi web ChatGPT, mendukung akun multi-pengguna dengan kontrol akses berbasis peran, dan menangani penggantian model per percakapan. Untuk rumah tangga atau tim kecil yang menginginkan satu server model lokal yang dapat digunakan semua orang dari browser apa pun, ini adalah jawaban yang paling bersih.
Di mana ini jatuh pendek: Ini mengasumsikan Anda sudah memiliki Ollama (atau setara) berjalan di suatu tempat. Fitur multi-pengguna memerlukan sedikit penyiapan. Ini adalah aplikasi browser, jadi tidak ada kepolisan desktop asli.
Harga:
- Gratis: sumber terbuka, tidak ada biaya lisensi
- Berbayar: tidak ada
Platform: Docker, dapat diakses dari browser modern apa pun di Windows, macOS, atau Linux
Unduh: openwebui.com
Garis bawah: Pilih Open WebUI untuk LLM lokal jika Anda menginginkan frontend chat bersama untuk lab rumah atau tim kecil dan Anda nyaman menjalankan kontainer.
7. Llamafile — opsi tanpa instalasi terbaik
Llamafile mendistribusikan model dan runtime llama.cpp sebagai satu file yang dapat dieksekusi yang berjalan di Windows, macOS, dan Linux tanpa pengaturan apa pun. Unduh satu file, klik dua kali, dan UI chat lokal terbuka di browser. Format ini mengandalkan trik biner lintas platform yang cerdas dari proyek Cosmopolitan, yang berarti file yang sama bekerja di seluruh sistem operasi.
Di mana ini jatuh pendek: Tidak ada browser model. Anda mengelola model sebagai file. Pembaruan memerlukan penukaran file yang dapat dieksekusi. Beberapa alat antivirus menandai biner, yang merupakan keluhan berulang di masalah GitHub.
Harga:
- Gratis: sumber terbuka, tidak ada biaya lisensi
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: github.com/Mozilla-Ocho/llamafile
Garis bawah: Pilih Llamafile untuk LLM lokal jika Anda menginginkan cara upacara terendah mutlak untuk berbagi model kerja dengan seseorang yang tidak pernah mendengar tentang Hugging Face.
8. Text Generation WebUI — taman bermain power-user terbaik
Text Generation WebUI (kadang disebut oobabooga) adalah opsi kitchen-sink. Beberapa backend, setiap sampler di bawah matahari, sistem ekstensi yang menambahkan RAG, kartu karakter, suara, dan chat berbasis gambar. Peneliti dan pembuat yang peduli dengan penyetelan sampler, decoding kontrastif, dan format kuantisasi yang tidak jelas mendarat di sini.
Di mana ini jatuh pendek: Penyiapan lebih ribet daripada opsi lain di daftar ini, dengan lingkungan Python dan kit alat CUDA dalam campuran. UI padat informasi dengan cara yang membanjiri pengguna kasual.
Harga:
- Gratis: sumber terbuka, tidak ada biaya lisensi
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: github.com/oobabooga/text-generation-webui
Garis bawah: Pilih Text Generation WebUI untuk LLM lokal jika Anda menginginkan setiap kenop yang terbuka dan Anda nyaman di lingkungan Python.
Cara memilih yang tepat
Jika Anda menginginkan jalan paling sederhana untuk pengaturan kerja, instal Ollama dan pasangkan dengan frontend chat yang Anda sukai.
Jika Anda menginginkan satu aplikasi yang melakukan semua yang ada dalam jendela yang diperhalus, instal LM Studio.
Jika sumber terbuka penting bagi Anda, instal Jan.
Jika laptop Anda lebih tua atau tidak memiliki GPU, instal GPT4All dan bertahan di model kecil yang dikurasi.
Jika Anda secara aktif membandingkan model, instal Msty.
Jika Anda menginginkan server chat bersama untuk rumah tangga, jalankan Open WebUI dengan Ollama di belakangnya.
Jika Anda menginginkan upacara nol, unduh Llamafile untuk model yang Anda pedulikan.
Jika Anda menginginkan setiap kenop, instal Text Generation WebUI dan angggarkan sore untuk jalankan pertama.
FAQ
Apakah LLM lokal bekerja di laptop tanpa GPU diskrit?
Ya. Model kuantisasi 3B dan 7B berjalan pada grafis terintegrasi atau CPU murni, lambat tetapi berguna. GPT4All dan Llamafile keduanya dikirim dengan model kecil yang disesuaikan untuk kasus ini.
Berapa banyak VRAM yang saya butuhkan untuk menjalankan LLM lokal?
Untuk pengalaman yang nyaman dengan model 7B pada kuantisasi Q4, sekitar 6 GB VRAM. Untuk 14B pada Q4, sekitar 10 GB. Untuk model kelas 70B, hitung pada 24 GB atau lebih, atau bagi antara RAM CPU dan GPU pada kecepatan lebih rendah.
Apakah Ollama aplikasi terbaik untuk LLM lokal?
Ini adalah backend terbaik untuk sebagian besar pengguna. Jika Anda juga menginginkan UI chat yang diperhalus di jendela yang sama, LM Studio atau Jan lebih dekat dengan “aplikasi terbaik”. Ollama ditambah UI terpisah adalah stack yang paling umum.
Apakah LLM lokal benar-benar pribadi?
Ya, dengan satu peringatan. Inferensi berjalan sepenuhnya di mesin Anda. Tangkapannya adalah bahwa beberapa aplikasi menelepon rumah untuk analitik atau pemeriksaan pembaruan secara default. Jan dan GPT4All membuat switch off jelas. LM Studio memilikinya di bawah pengaturan.
Bisakah saya menggunakan LLM lokal dengan editor kode saya?
Ya. Aplikasi apa pun yang mengekspos endpoint yang kompatibel dengan OpenAI (Ollama, LM Studio, Jan, Msty) dapat diatur sebagai URL dasar dalam ekstensi editor yang menargetkan OpenAI. Continue, mode bring-your-own-key Cursor, dan sebagian besar ekstensi VS Code menerima ini.
