XDA menghabiskan seminggu untuk proyek kecil sumber terbuka yang disebut LLMFit yang menyelesaikan salah satu momen paling membuat frustrasi dalam alur kerja LLM lokal: Anda memiliki GPU, Anda memiliki halaman model Hugging Face terbuka, dan Anda tidak tahu apakah model akan benar-benar berjalan di mesin Anda sebelum Anda menghabiskan satu jam untuk mengunduhnya. Artikel menunjuk pada kebenaran yang lebih luas: adegan LLM lokal membutuhkan alat penyesuaian perangkat keras sama buruknya dengan pelari model, dan beberapa aplikasi sudah mencakup alur kerja. Kami menguji 7 aplikasi desktop yang mencocokkan model dengan perangkat keras Anda sebelum pengunduhan dimulai.
Apa yang harus dicari dalam pencocok model-perangkat keras
Alat yang baik menjawab empat pertanyaan dengan jelas:
- Apakah kuant tepat dari model tepat ini akan masuk ke VRAM GPU dan RAM sistem saya?
- Berapa token yang diharapkan per detik di GPU saya dengan panjang konteks ini?
- Jika tidak cocok, kuant atau ukuran model apa yang cocok?
- Di mana saya mengunduh file yang benar?
Beberapa fitur tambahan memisahkan alat yang kuat dari yang lemah.
- Pembacaan VRAM langsung GPU Anda saat ini (bukan pencarian lembar spesifikasi statis).
- Kesadaran akan biaya VRAM panjang konteks, bukan hanya bobot model dasar.
- Matematika memori terpadu Apple Silicon, bukan hanya matematika GPU diskrit.
- Pemeriksaan pra-penerbangan untuk inferensi CPU saja pada mesin tanpa GPU.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Harga | Fitur menonjol |
|---|---|---|---|---|
| LLMFit | Pemeriksaan sekali klik “akan ini berjalan” sebelum Anda mengunduh | Windows, macOS, Linux | Gratis, sumber terbuka | Membaca VRAM langsung dan mencocokkan URL Hugging Face |
| Hugging Face Hub | Perkiraan perangkat keras tertanam dalam halaman model | Web (OS apa pun) | Gratis | Tabel kuant otoritatif dan ukuran file |
| LM Studio | Lencana kompatibilitas bawaan saat menjelajahi model | Windows, macOS, Linux | Gratis untuk penggunaan pribadi | Indikator “pembongkaran GPU penuh dimungkinkan” |
| Ollama | Perpustakaan model dengan kuant masuk akal bawaan | Windows, macOS, Linux | Gratis, sumber terbuka | Secara otomatis memilih kuant yang cocok dengan mesin Anda |
| Can You Run It LLM | Kalkulator perangkat keras versus model berbasis web | Web (OS apa pun) | Gratis | Tidak ada instalasi, ramah bagikan tautan |
| Llama.cpp benchmarker | Benchmark nyata di mesin Anda, bukan perkiraan | Windows, macOS, Linux | Gratis, sumber terbuka | Kebenaran dari perangkat keras aktual Anda |
| Open WebUI | Obrolan yang dihosting sendiri dengan browser model | Docker (OS apa pun) | Gratis, sumber terbuka | Pemilih model multi-pengguna dengan filter kuant |
7 aplikasi terbaik untuk mencocokkan LLM lokal dengan perangkat keras Anda di desktop
1. LLMFit — pemeriksaan sekali klik “akan ini berjalan” terbaik
LLMFit adalah pendatang baru yang ditunjuk artikel XDA. Aplikasi membaca VRAM GPU Anda yang tersedia secara langsung, menguraikan URL Hugging Face, dan memberi tahu Anda kuant model mana yang akan cocok, bersama dengan perkiraan kasar token per detik. Seret URL Hugging Face ke jendela dan Anda mendapatkan centang hijau atau silang merah dalam hitungan detik, ditambah rekomendasi untuk kuant yang akan cocok sebagai gantinya.
Basis kode bersumber terbuka dan proyek bergerak cepat, dengan dukungan format GGUF baru yang mendarat dalam beberapa hari dari rilis upstream.
Dimana kekurangannya: Dukungan Apple Silicon berfungsi tetapi belum menangani matematika memori terpadu sebaik mesin GPU diskrit. Komunitas kecil dan model kasus tepi dapat memerlukan rilis untuk didukung.
Harga: Gratis, sumber terbuka.
Platform: Windows, macOS, Linux.
Unduh: github.com/llmfit
Garis bawah: Pilih ini ketika Anda menginginkan “ya atau tidak” cepat sebelum Anda membuang unduhan.
2. Hugging Face Hub — perkiraan perangkat keras terbaik tertanam dalam halaman model
Hugging Face Hub bukanlah aplikasi yang Anda pasang tetapi merupakan titik awal paling akurat karena halaman model itu sendiri membawa ukuran file otoritatif, tabel kuant, dan (untuk banyak model) catatan perangkat keras yang disumbangkan komunitas. Penyegaran Hub UI 2025 menambahkan widget “Jalankan model ini” yang menampilkan VRAM yang diperkirakan untuk kuant umum.
Untuk model yang belum pernah Anda dengar, kartu model dan daftar file adalah perhentian pertama yang tepat sebelum Anda mencapai alat terpisah.
Dimana kekurangannya: Membaca halaman model; tidak membaca perangkat keras Anda. Anda masih perlu tahu VRAM dan RAM sistem Anda.
Harga: Gratis.
Platform: Web (OS apa pun), dengan hub desktop dari klien pihak ketiga.
Unduh: huggingface.co
Garis bawah: Pilih ini ketika Anda memerlukan ukuran file otoritatif dan matematika kuant dari sumber.
3. LM Studio — lencana kompatibilitas bawaan terbaik saat menjelajahi model
LM Studio adalah klien obrolan yang dipoles yang mencakup browser model, dan browser menunjukkan lencana “Pembongkaran GPU penuh dimungkinkan” pada setiap kuant berdasarkan VRAM tersedia mesin Anda. Lencana tunggal itu menghemat banyak waktu: menggulir GGUF pada halaman model menjadi “gulir sampai saya melihat lencana.”
Rilis LM Studio 2025 menambahkan perkiraan “Kecepatan yang diharapkan” di sebelah setiap kuant yang kompatibel, yang menghilangkan langkah lain dari penebakan.
Dimana kekurangannya: Tingkat gratis adalah “gratis untuk penggunaan pribadi” daripada sumber terbuka, yang penting bagi beberapa pengguna. Lencana kompatibilitas untuk mesin VRAM sangat rendah dapat terlalu optimis pada penggunaan yang padat konteks.
Harga: Gratis untuk penggunaan pribadi.
Platform: Windows, macOS, Linux.
Unduh: lmstudio.ai
Garis bawah: Pilih ini jika Anda juga menginginkan klien obrolan yang dipoles; lencana kompatibilitas adalah bonus.
4. Ollama — perpustakaan model auto-kuant terbaik
Ollama menyelesaikan masalah penyesuaian perangkat keras secara berbeda. Alih-alih memberi tahu Anda kuant mana yang cocok, perpustakaan model dikirimkan dengan kuant bawaan yang dianggap proyek sebagai keseimbangan masuk akal untuk mesin khas. ollama pull llama3.3 memberi Anda kuant yang berjalan pada berbagai perangkat keras tanpa Anda memilih.
Bagi pengguna yang lebih suka tidak memikirkan kuant sama sekali, Ollama adalah yang terdekat yang bisa diberikan kategori ke “beri saja saya model yang bekerja.”
Dimana kekurangannya: Kuant bawaan tidak selalu cocok terbaik untuk GPU spesifik Anda. Pengguna canggih dengan kartu 24GB atau 48GB akan ingin memilih kuant yang lebih berat secara manual.
Harga: Gratis, sumber terbuka.
Platform: Windows, macOS, Linux.
Unduh: ollama.com
Garis bawah: Pilih ini ketika Anda menginginkan model yang berjalan tanpa memikirkan kuant.
5. Can You Run It LLM — kalkulator perangkat keras versus model berbasis web terbaik
Can You Run It LLM adalah alat web yang mengambil model GPU Anda dari dropdown, model yang Anda inginkan, dan panjang konteks, dan mengembalikan ya-tidak yang bersih ditambah perkiraan token per detik. Ini adalah alat yang tepat ketika Anda tidak ingin memasang apa pun dan Anda ingin berbagi tautan dengan teman yang juga berbelanja untuk perangkat keras.
Alat ini juga menampilkan kuant terkecil dari model yang akan cocok dengan mesin Anda, yang berguna saat merencanakan upgrade.
Dimana kekurangannya: Ini adalah kalkulator, bukan pembacaan VRAM langsung. Jika sesuatu yang lain sudah menggunakan memori GPU Anda (tab browser, game), kalkulator tidak tahu.
Harga: Gratis.
Platform: Web (OS apa pun).
Unduh: canyourunitllm.com
Garis bawah: Pilih ini untuk pemeriksaan tanpa instalasi, ramah bagikan sebelum unduhan.
6. Llama.cpp benchmarker — benchmark nyata terbaik di mesin Anda
Llama.cpp dikirimkan dengan biner benchmark kecil (llama-bench) yang menjalankan inferensi aktual terhadap file kuant dan melaporkan token per detik untuk pemrosesan prompt dan generasi. Perkiraan yang diberikan alat lain adalah tebakan berdasarkan pendidikan; ini adalah kebenaran dari perangkat keras Anda.
Bagi pengguna yang memilih antara dua kuant dekat di mesin yang sama, menjalankan benchmark di keduanya membutuhkan beberapa menit dan menghasilkan perbandingan nyata.
Dimana kekurangannya: Memerlukan pembuatan atau pengunduhan biner llama.cpp dan memberinya file model yang ingin Anda uji, yang merupakan lebih banyak pekerjaan daripada alat lain.
Harga: Gratis, sumber terbuka.
Platform: Windows, macOS, Linux.
Unduh: github.com/ggerganov/llama.cpp
Garis bawah: Pilih ini ketika perkiraan tidak cukup dan Anda menginginkan pengukuran nyata.
7. Open WebUI — obrolan self-hosted terbaik dengan browser model yang disaring kuant
Open WebUI berjalan sebagai front-end obrolan yang dihosting sendiri (biasanya di Docker) dan berpasangan dengan backend Ollama atau llama.cpp. Pemilih model menunjukkan model mana yang ditarik, mana yang berjalan, dan tag kuant untuk masing-masing. Untuk pengaturan multi-pengguna di rumah atau tim kecil di mana beberapa orang berbagi server LLM, browser model berfungsi dua kali lipat sebagai referensi tim “apa yang cocok dengan GPU bersama kami.”
Rilis Open WebUI 2025 menambahkan filter yang menyadari perangkat keras yang menyembunyikan model yang tidak dapat disajikan backend pada panjang konteks yang diminta.
Dimana kekurangannya: Filter perangkat keras hanya sebaik laporan backend. Beberapa konfigurasi memerlukan petunjuk VRAM manual.
Harga: Gratis, sumber terbuka.
Platform: Docker, OS apa pun.
Unduh: openwebui.com
Garis bawah: Pilih ini ketika front-end obrolan bersama dan browser model milik satu alat.
Cara memilih yang benar
- Jika Anda menginginkan pemeriksaan “akan ini berjalan” tercepat pada URL Hugging Face: LLMFit.
- Jika Anda menginginkan ukuran file otoritatif dan tabel kuant dari sumber: Hugging Face Hub.
- Jika Anda juga menginginkan klien obrolan yang dipoles: LM Studio.
- Jika Anda lebih suka tidak memikirkan kuant sama sekali: Ollama.
- Jika Anda menginginkan kalkulator web tanpa instalasi untuk dibagikan dengan teman: Can You Run It LLM.
- Jika perkiraan tidak cukup dan Anda menginginkan benchmark nyata: Llama.cpp benchmarker.
- Jika server LLM bersama membutuhkan browser model multi-pengguna: Open WebUI.
Pertanyaan yang sering diajukan
Bagaimana saya tahu berapa banyak VRAM yang dibutuhkan LLM lokal?
Ukuran file bobot dasar adalah lantai; tambahkan kira-kira 20% untuk KV-cache dan overhead runtime pada panjang konteks pendek, lebih banyak untuk konteks panjang. LLMFit dan LM Studio melakukan matematika ini untuk Anda. GGUF 7B Q4_K_M biasanya membutuhkan sekitar 4-5GB VRAM pada konteks pendek.
Bisakah saya menjalankan LLM lokal tanpa GPU?
Ya. Model kecil terkuantisasi (3B, 7B pada Q4 atau lebih kecil) berjalan pada CPU pada mesin dengan 16GB RAM. Token per detik akan menjadi fraksi kecil dari GPU tetapi alur kerja berfungsi. Ollama dan LM Studio keduanya menangani inferensi CPU saja dengan bersih.
Apa LLM lokal terbaik untuk GPU 8GB?
Kuant Q4 atau Q5 dari model 7B cocok dengan ruang untuk konteks pendek. Banyak model Llama dan Qwen 8B dengan kuantisasi agresif juga cocok. Gunakan LLMFit untuk memilih kuant spesifik daripada menebak.
Apakah semua alat ini sumber terbuka?
Kebanyakan. LM Studio adalah “gratis untuk penggunaan pribadi” daripada sumber terbuka. LLMFit, Ollama, perpustakaan klien Hugging Face, Llama.cpp, dan Open WebUI adalah sumber terbuka. Can You Run It LLM adalah alat web gratis, bukan sumber terbuka.
Apakah alat-alat ini bekerja di Apple Silicon?
Ya. Model memori terpadu Apple Silicon didukung oleh Ollama, LM Studio, Llama.cpp, dan (dengan peringatan di atas) LLMFit. Token per detik pada chip M-series sering mengalahkan GPU diskrit VRAM serupa berkat bandwidth memori cepat.
