Model bahasa penglihatan lokal berkembang dari trik pesta menjadi alat nyata dalam dua belas bulan terakhir. Llama 3.2 Vision berjalan di GPU kelas menengah. Qwen2.5-VL membaca screenshot lebih baik daripada sebagian besar API cloud dua tahun lalu. Gemma 3 multimodal Google menangani bagan dan kwitansi tanpa banyak drama. Apa yang berubah bukan hanya modelnya. Aplikasi yang menghosting mereka juga telah berkembang. Anda dapat menjatuhkan screenshot ke jendela obrolan di laptop Anda sendiri, bertanya apa itu, dan mendapatkan jawaban yang jelas dalam beberapa detik, tidak ada gambar yang meninggalkan mesin. Kami menguji tujuh aplikasi desktop terbaik untuk menjalankan model bahasa penglihatan lokal di Windows, macOS, dan Linux, semuanya gratis untuk memulai.
Apa yang harus dicari
Beberapa hal membedakan klien yang mampu visi berguna dari klien yang dihapus pada akhir pekan.
- Dukungan model multimodal. Aplikasi perlu memuat GGUF penglihatan terbaru (Llama 3.2 Vision, Qwen2.5-VL, LLaVA, Gemma 3 multimodal) tanpa pembangunan llama.cpp manual.
- Ruang kepala VRAM. Model visi 7B pada kuantisasi 4-bit cocok dalam sekitar 6 hingga 8 GB. Aplikasi harus memperingatkan Anda sebelum mencoba memuat checkpoint yang tidak akan muat.
- Input gambar seret-dan-lepas. Menempel jalur file berfungsi, menyeret gambar ke bidang pesan terasa seperti perangkat lunak nyata.
- API atau GUI, idealnya keduanya. Titik akhir yang kompatibel dengan OpenAI lokal memungkinkan Anda menghubungkan visi ke ekstensi editor dan skrip.
- Penemuan model. Hugging Face adalah katalognya; aplikasi yang mencarinya in-place menghemat langkah unduhan manual.
- OCR batch dan folder. Beberapa alur kerja adalah satu gambar pada satu waktu. Yang lain perlu membaca folder pemindai.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Platform | Rencana gratis | Harga awal/bulan | Rating |
|---|---|---|---|---|---|
| Ollama | CLI dan API lokal yang semuanya terhubung | Windows, macOS, Linux | Ya (sumber terbuka) | $0 | 4.8/5 |
| LM Studio | GUI polos dengan gambar seret-lepas | Windows, macOS, Linux | Ya | $0 | 4.7/5 |
| Open WebUI | Frontend browser untuk server rumah | Windows, macOS, Linux (Docker) | Ya (sumber terbuka) | $0 | 4.6/5 |
| Jan | Klien offline sumber terbuka sepenuhnya | Windows, macOS, Linux | Ya (sumber terbuka) | $0 | 4.5/5 |
| Msty | Perbandingan model visi berdampingan | Windows, macOS, Linux | Ya | $0 (tier berbayar tersedia) | 4.5/5 |
| AnythingLLM | Visi plus RAG atas dokumen lokal | Windows, macOS, Linux | Ya (sumber terbuka) | $0 | 4.4/5 |
| GPT4All | Klien ringan untuk mesin VRAM rendah | Windows, macOS, Linux | Ya (sumber terbuka) | $0 | 4.3/5 |
Aplikasi
1. Ollama untuk CLI dan API lokal di balik setiap aplikasi lain
Ollama menjalankan model lokal di balik titik akhir yang kompatibel dengan OpenAI di localhost, dan dukungan multimodal sekarang mencakup Llama 3.2 Vision, Qwen2.5-VL, LLaVA, dan Gemma 3 multimodal. Tarik model dengan perintah satu baris, pipa jalur gambar ke CLI, dan dapatkan deskripsi kembali di terminal. Setiap aplikasi lain dalam daftar ini dapat menunjuk ke titik akhir Ollama untuk lapisan inferensi.
Di mana pun jatuh pendek: Tidak ada GUI asli untuk menyeret gambar. Anda menggunakan terminal atau menyambungkan klien obrolan di atasnya.
Harga: Gratis.
Platform: Windows, macOS, Linux.
Unduh: Ollama
Garis bawah: Mulai dari sini. Klien lain menjadi lebih berguna setelah Ollama sudah berjalan.
2. LM Studio untuk GUI polos dengan input gambar seret-lepas
LM Studio menggabungkan jendela obrolan yang bersih dengan pencarian Hugging Face bawaan yang disaring berdasarkan kuantum GGUF dan kemampuan visi. Jatuhkan gambar ke bidang pesan dan aplikasi mengarutkannya melalui file proyektor model, sehingga percakapan yang sama dapat bergerak dari teks ke screenshot tanpa pengaturan apa pun. Mesin MLX pada Apple Silicon menjalankan Qwen2.5-VL dengan kecepatan yang dapat digunakan di MacBook tanpa GPU diskrit.
Di mana pun jatuh pendek: Sumber tertutup. Itu penting lebih lanjut setelah alur kerja mulai menyentuh gambar sensitif yang ingin Anda audit dari awal hingga akhir.
Harga: Gratis untuk penggunaan pekerjaan pribadi dan internal.
Platform: Windows, macOS, Linux.
Unduh: LM Studio
Garis bawah: Cara tercepat untuk mencoba model visi lokal tanpa menyentuh terminal.
3. Open WebUI untuk frontend browser yang berpasangan dengan Ollama
Open WebUI adalah permukaan obrolan berbasis browser yang paling sering digunakan pengguna Ollama. Mode multi-pengguna menjadikannya pilihan yang bagus untuk server rumah yang dapat diakses setiap perangkat di jaringan. Seret gambar ke obrolan dan aplikasi mengarutkannya ke model multimodal apa pun yang telah Anda tarik. Beralih model per obrolan berarti Anda dapat melompat di antara Qwen hanya teks dan Llama 3.2 yang mampu visi di pertengahan percakapan.
Di mana pun jatuh pendek: Anda menjalankan Docker atau instalasi Python sebagai titik masuk. Jika ikon aplikasi asli di dock penting, ini bukan aplikasinya.
Harga: Gratis.
Platform: Docker di Windows, macOS, dan Linux; juga berjalan bare-metal melalui Python.
Unduh: Open WebUI
Garis bawah: Pilihan saat tumpukan LLM berada di server rumah dan setiap perangkat di jaringan harus dapat berbicara dengannya.
4. Jan untuk klien offline sumber terbuka sepenuhnya
Jan adalah klien desktop obrolan sumber terbuka sepenuhnya yang memperlakukan offline sebagai standar daripada opsi. Dukungan visi mencakup LLaVA dan Llama 3.2 Vision, dan hub model menandai checkpoint multimodal sehingga Anda tidak mengunduh build hanya-teks secara tidak sengaja. Tanpa telemetri kecuali Anda memilih untuk. Setiap pengaturan adalah toggle yang jelas, bukan menu tiga level dalam.
Di mana pun jatuh pendek: Katalog model lebih kecil dari LM Studio, dan kuant langka terkadang membutuhkan impor GGUF manual.
Harga: Gratis.
Platform: Windows, macOS, Linux.
Unduh: Jan
Garis bawah: Pilihan saat jejak audit penting dan klien sumber tertutup tidak ada di atas meja.
5. Msty untuk klien obrolan yang membandingkan dua model visi berdampingan
Msty menjalankan beberapa model lokal dalam satu jendela dengan tampilan terbelah, yang merupakan alur kerja yang tepat saat memilih antara Qwen2.5-VL dan Llama 3.2 Vision pada screenshot yang sama. Lampirkan gambar sekali, dapatkan dua jawaban kembali, simpan yang membaca kwitansi dengan benar. Fitur Knowledge Stacks juga mengindeks dokumen lokal untuk RAG, sehingga kueri gambar dan teks berbagi ruang kerja.
Di mana pun jatuh pendek: Tier gratis sangat murah hati tetapi segenggam fitur kualitas hidup duduk di balik rencana Aurum berbayar.
Harga: Tier gratis tersedia. Rencana Aurum berbayar untuk tambahan.
Platform: Windows, macOS, Linux.
Unduh: Msty
Garis bawah: Pilihan yang tepat saat alur kerja benar-benar “model mana yang menangani gambar ini lebih baik”.
6. AnythingLLM untuk visi plus RAG pada model lokal
AnythingLLM adalah chatbot pribadi yang self-hosted yang memperlakukan setiap dokumen, dan semakin banyak setiap gambar, sebagai warga negara pertama di ruang kerja. Arahkan ke titik akhir Ollama atau LM Studio lokal yang menjalankan model multimodal, dan ia akan menerima unggahan gambar di dalam obrolan, mengindeksnya bersama PDF, dan membiarkan Anda menanyakan campuran tersebut. Aplikasi desktop adalah instalasi tunggal; build server masuk ke Docker.
Di mana pun jatuh pendek: Saluran RAG menambahkan suku cadang bergerak, jadi pengaturan pertama lebih lambat daripada klien obrolan telanjang.
Harga: Aplikasi desktop gratis. Tier yang dihosting untuk tim duduk di balik paket berbayar.
Platform: Windows, macOS, Linux.
Unduh: AnythingLLM
Garis bawah: Pilihan saat alur kerja visi benar-benar “baca gambar ini dan jawab terhadap sisa perpustakaan saya”.
7. GPT4All untuk klien ringan di mesin VRAM rendah
GPT4All dari Nomic membuat instalasi tetap kecil dan bilah perangkat keras rendah. Dukungan visi terbatas pada segenggam checkpoint multimodal yang lebih kecil, yang sesuai dengan brand aplikasi yang menargetkan laptop tanpa GPU diskrit. Fitur LocalDocs mengubah folder menjadi sumber RAG tanpa memutar wadah. Ini tidak akan bersaing dengan LM Studio dalam hal lebar model, tetapi akan berjalan di perangkat keras yang akan membuat Msty atau Open WebUI mati.
Di mana pun jatuh pendek: Lebih sedikit model visi yang didukung daripada sisa daftar, dan checkpoint multimodal yang lebih besar cukup menolak untuk dimuat pada perangkat keras spesifikasi yang lebih rendah.
Harga: Gratis.
Platform: Windows, macOS, Linux.
Unduh: GPT4All
Garis bawah: Pilihan saat mesin adalah laptop sederhana dan model harus cocok dalam RAM sistem.
Cara memilih yang tepat
Cocokkan klien dengan cara Anda benar-benar bekerja.
- Pengguna CLI power: instal Ollama dan selesai. Skrip, cron, dan ekstensi editor melakukan sisanya melalui titik akhir yang kompatibel dengan OpenAI.
- GUI-first: LM Studio di satu mesin, Open WebUI sekali lebih dari satu orang atau satu perangkat membutuhkan akses.
- VRAM rendah: GPT4All dengan checkpoint multimodal kecil, atau LM Studio di Apple Silicon mengandalkan memori terpadu.
- OCR pribadi dalam skala: AnythingLLM menunjuk ke titik akhir Ollama, mengindeks folder pemindai sehingga jawaban dapat mengutip halaman tertentu.
- API untuk alur kerja pengodean: titik akhir Ollama yang terhubung ke ekstensi VS Code yang menerima input gambar.
- Membandingkan model pada gambar yang sama: tampilan terbelah Msty, lalu simpan pemenang sebagai default di mana pun klien yang Anda gunakan sehari-hari.
FAQ
Bisakah Anda menjalankan model visi LLM di laptop tanpa GPU?
Ya, tapi perlahan. Model multimodal 3B atau 4B pada kuantisasi 4-bit berjalan pada 8 GB RAM dan CPU modern dengan waktu respons yang dapat ditoleransi untuk kueri sekali jalan. Apa pun yang lebih besar menginginkan GPU diskrit atau Apple Silicon.
Model visi mana yang terbaik untuk membaca screenshot dan kwitansi?
Qwen2.5-VL adalah pilihan saat ini untuk tugas gambar yang kaya teks seperti screenshot, kwitansi, dan formulir. Llama 3.2 Vision lebih kuat pada foto alami dan deskripsi adegan. Keduanya berjalan secara lokal melalui Ollama atau LM Studio, jadi Anda dapat menyimpan keduanya terinstal dan beralih per tugas.
Apakah gambar pernah meninggalkan mesin saya?
Tidak jika aplikasi diatur dengan benar. Ollama, Jan, Open WebUI, GPT4All, dan AnythingLLM menjalankan inferensi secara lokal secara default dan tidak pernah mengirim byte gambar ke server jarak jauh. LM Studio dan Msty juga local-first, meskipun keduanya menawarkan rute model cloud opsional yang dapat Anda biarkan mati.
Berapa banyak VRAM yang saya butuhkan untuk model visi LLM?
Model visi 7B pada kuantisasi 4-bit cocok dalam sekitar 6 hingga 8 GB VRAM termasuk file proyektor. Multimodal 13B menginginkan 10 hingga 12 GB. Apple Silicon menggunakan memori terpadu, jadi Mac 16 GB menangani sebagian besar model visi 7B tanpa GPU terpisah.
Bisakah saya menghubungkan model visi lokal ke ekstensi editor?
Ya. Titik akhir yang kompatibel dengan OpenAI Ollama menerima input gambar dalam payload chat/completions standar, jadi ekstensi editor apa pun yang berbicara format OpenAI dapat memanggil model visi lokal sebagai ganti yang dihosting. Pengaturan adalah perubahan URL dasar tunggal dalam konfigurasi ekstensi.
Apakah model visi lokal cukup baik untuk menggantikan API cloud untuk OCR?
Untuk scan dan screenshot yang bersih, ya. Qwen2.5-VL pada GPU kelas menengah membaca teks tercetak dengan akurasi dekat dengan API yang dihosting. Untuk tulisan tangan, kwitansi pudar, atau halaman yang sangat diputar, mesin OCR khusus masih menang. Pasangkan LLM visi dengan lintasan OCR klasik untuk kasus yang canggung.
