XDA menandai pergeseran pada Maret: Ollama 0.19 menukar backend Apple Silicon ke MLX dan prefill melompat sekitar 1,6x, dengan decoding mendekati 2x pada perangkat keras seri M yang sama. Alasannya adalah bagian dari arsitektur Mac yang diam-diam menjadi fitur pembunuh untuk AI lokal. Memori terpadu memungkinkan GPU membaca RAM yang sama dengan yang digunakan CPU, jadi MacBook 64 GB dapat memuat model kelas 70B yang tidak akan pas di kartu RTX 24 GB, dan MLX, kerangka kerja ML milik Apple, telah belajar mendorong perangkat keras itu lebih keras daripada runtime lintas platform pernah bisa.
Kami menguji 7 aplikasi terbaik untuk menjalankan LLM lokal di Mac, dengan bias terhadap alat yang benar-benar memanfaatkan MLX atau Metal daripada yang hanya kebetulan dikompilasi. Tolok ukurnya adalah hal-hal yang membosankan: seberapa cepat model dimuat di M2 Pro, seberapa bersih aplikasi menggunakan offload GPU, apakah UI obrolan menyenangkan setelah satu jam, dan apakah proyek mengikuti arsitektur model baru. Sebagian besar opsi kuat gratis atau memiliki tingkat personal yang murah hati.
Apa yang dicari dalam aplikasi Mac LLM lokal
Segelintir kriteria memisahkan alat yang bertahan di MacBook dari yang dihapus pada minggu kedua:
- Dukungan MLX. Kerangka kerja Apple sekarang merupakan jalur tercepat pada chip seri M. Aplikasi yang mengirimkan backend MLX, bukan hanya wrapper llama.cpp, akan terus memperlebar lead di silikon M5 dan lebih baru.
- Offload GPU Metal. Untuk aplikasi yang masih di llama.cpp, kualitas backend Metal menentukan apakah token per detik dapat digunakan atau pertunjukan slide.
- Kompatibilitas GGUF. GGUF adalah format yang digunakan katalog Hugging Face. Aplikasi yang tidak dapat memuat GGUF terbaru adalah jalan buntu, bahkan di Apple Silicon.
- Kesadaran memori terpadu. Aplikasi yang baik menampilkan berapa banyak RAM bersama yang akan dimakan model dan mencegah Anda memuat sesuatu yang akan swap. Aplikasi yang buruk membiarkan macOS thrash lalu crash.
- API kompatibel OpenAI. Endpoint lokal di
localhostadalah yang menghubungkan model ke ekstensi editor, notebook, dan pintasan. Aplikasi terkuat mengekspos satu tanpa setup tambahan. - Postur privasi. Beberapa aplikasi berjalan sepenuhnya offline. Lainnya menelepon rumah untuk analitik secara default dan membutuhkan flag untuk berhenti, yang penting jika alasan Anda pergi lokal adalah privasi sejak awal.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Dukungan Apple Silicon | Paket gratis | Fitur menonjol |
|---|---|---|---|---|
| Ollama | Install satu baris dengan backend MLX | Mesin MLX di seri M | Ya (open source) | API kompatibel OpenAI di localhost:11434 |
| LM Studio | Chat yang dipoles dengan GGUF dan MLX berdampingan | Runtime MLX asli | Ya (gratis untuk penggunaan pribadi) | Muat GGUF dan model MLX dalam satu jendela |
| Jan | Chat open source sepenuhnya yang menghormati mode offline | Metal melalui llama.cpp | Ya (open source) | Tanpa telemetri dan panel pengaturan transparan |
| GPT4All | Mac dengan RAM rendah dan Apple Silicon yang lebih tua | Metal melalui llama.cpp | Ya (open source) | Quant pertama-CPU yang disesuaikan untuk mesin 8 GB |
| Msty | Membandingkan dua model lokal berdampingan | Metal melalui llama.cpp | Ya (tingkat gratis) | Dua model, satu jendela, prompt yang sama |
| MLX Chat (mlx-lm) | Throughput maksimal dan fine-tuning | MLX pihak pertama | Ya (open source) | Runtime referensi Apple untuk model MLX |
| Llama.cpp | Kontrol langsung atas backend Metal | Kernel Metal yang disesuaikan dengan halus | Ya (open source) | Runtime yang dilapis setiap aplikasi lain |
7 aplikasi terbaik untuk menjalankan LLM lokal di Mac
1. Ollama — install satu baris terbaik dengan backend MLX
Ollama memindahkan backend Apple Silicon ke MLX pada versi 0.19 dan mengubah runtime yang stabil menjadi runtime yang sangat cepat. Perintah ollama run yang sama menarik model yang dikuantisasi dan mulai chatting, tetapi pada Mac seri M dengan setidaknya 32 GB memori terpadu mesin baru menangani prefill sekitar 1,6x lebih cepat dan decoding mendekati 2x lebih cepat daripada jalur llama.cpp yang digantikannya. Update terbaru menambahkan dukungan NVFP4 4-bit untuk kualitas lebih tinggi dengan biaya memori yang sama.
Di mana keunggulannnya kurang: Mesin MLX dibatasi pada Apple Silicon dengan memori terpadu yang cukup, jadi MacBook lama 16 GB jatuh kembali ke runtime standar. UI pihak pertama masih berupa CLI dan daemon, jadi sebagian besar orang memasangkannya dengan front end obrolan terpisah.
Harga:
- Gratis: open source, tanpa biaya lisensi
- Berbayar: tidak ada
Platform: macOS, Windows, Linux
Unduh: ollama.com
Kesimpulan: Pilih Ollama untuk LLM lokal di Mac jika Anda menginginkan backend tercepat dengan biaya setup terendah dan Anda senang membawa UI Anda sendiri.
2. LM Studio — UI obrolan terbaik untuk mencampurkan GGUF dan MLX
LM Studio adalah salah satu dari sedikit aplikasi yang menjalankan model llama.cpp GGUF dan MLX dalam jendela yang sama, yang membuatnya cara termudah untuk merasakan perbedaan kecepatan Apple Silicon sendiri pada prompt yang sama. Apple mengutip LM Studio dalam materi peluncuran M5-nya karena alasan ini. Browser model terhubung ke Hugging Face, menandai varian yang dioptimalkan MLX, dan menunjukkan apakah file akan pas di memori terpadu Anda sebelum Anda berkomitmen untuk mengunduh.
Di mana keunggulannnya kurang: Lisensi memungkinkan penggunaan pribadi gratis tetapi paket berbayar diperlukan dalam konteks bisnis, yang layak diketahui sebelum memasang di MacBook perusahaan. Aplikasi ini closed source.
Harga:
- Gratis: penggunaan pribadi
- Berbayar: Paket Kerja untuk penggunaan bisnis
Platform: macOS, Windows, Linux
Unduh: lmstudio.ai
Kesimpulan: Pilih LM Studio untuk LLM lokal di Mac jika Anda menginginkan satu jendela yang menangani penemuan model, pemilihan MLX atau GGUF, obrolan, dan API lokal.
3. Jan — klien obrolan open source terbaik untuk macOS
Jan adalah apa yang terjadi ketika tim membangun ulang pengalaman LM Studio sebagai open source dari awal. Aplikasi desktop terasa asli di macOS, menggunakan backend Metal melalui llama.cpp untuk offload GPU, dan kebijakan yang dinyatakan proyek adalah berjalan sepenuhnya offline tanpa telemetri. Panel pengaturan membuat jelas switch mana yang mempengaruhi panggilan jaringan, yang tidak biasa dalam kategori ini.
Di mana keunggulannnya kurang: Kinerja tertinggal Ollama dan LM Studio di Apple Silicon karena Jan belum mengirimkan runtime MLX kelas satu, jadi meninggalkan sepotong throughput seri M di meja. Cerita mobile dan API jarak jauh lebih baru daripada desktop chat.
Harga:
- Gratis: open source, tanpa biaya lisensi
- Berbayar: tidak ada
Platform: macOS, Windows, Linux
Unduh: jan.ai
Kesimpulan: Pilih Jan untuk LLM lokal di Mac jika open source penting lebih dari mengeruk 20 persen terakhir dari GPU Anda.
4. GPT4All — terbaik untuk Apple Silicon yang lebih tua dan Mac 8 GB
GPT4All masih melakukan pekerjaan membosankan lebih baik daripada kebanyakan pada perangkat keras yang telah berhenti dirawat oleh bidang ini. Daftar model default disesuaikan untuk CPU dan inferensi GPU sedang, quant kecil berjalan di M1 MacBook Air dengan 8 GB memori terpadu, dan UI obrolan mencakup obrolan dokumen lokal yang menunjuk ke folder di disk. Untuk pemilik laptop Apple Silicon model dasar yang memantul dari model 7B berjalan dengan lambat, pilihan model kecil yang dikurasi adalah titik awal yang tepat.
Di mana keunggulannnya kurang: Akselerasi Apple Silicon didukung melalui Metal tetapi bukan tempat fokus proyek berada, jadi model yang lebih besar tertinggal dari aplikasi yang sadar MLX. UI obrolan fungsional daripada indah.
Harga:
- Gratis: open source, tanpa biaya lisensi
- Berbayar: tidak ada
Platform: macOS, Windows, Linux
Unduh: gpt4all.io
Kesimpulan: Pilih GPT4All untuk LLM lokal di Mac jika memori terpadu Anda ketat dan Anda menginginkan klien obrolan yang dikirimkan dengan model yang disesuaikan untuk itu.
5. Msty — terbaik untuk membandingkan dua model lokal pada prompt yang sama
Msty mengisi celah tertentu di macOS: dapat berbicara dengan dua model lokal sekaligus dan menunjukkan jawaban mereka berdampingan. Dikombinasikan dengan hooks untuk API jarak jauh, ini membuat cara termudah untuk mem-benchmark rilis MLX Qwen baru terhadap GGUF Gemma pada prompt yang sama tanpa menyulap dua jendela. Tumpukan pengetahuan memungkinkan Anda melampirkan folder atau URL ke obrolan untuk pengambilan, dan build macOS terasa asli.
Di mana keunggulannnya kurang: Tingkat gratis mencakup sebagian besar penggunaan pribadi, tetapi beberapa fitur power duduk di belakang paket berbayar. Pencarian model lebih sempit daripada LM Studio dan tidak ada runtime MLX kelas satu, jadi throughput mentah tertinggal dari aplikasi yang sadar MLX.
Harga:
- Gratis: rencana pribadi yang kaya fitur
- Berbayar: paket Aurum untuk fitur lanjutan
Platform: macOS, Windows, Linux
Unduh: msty.app
Kesimpulan: Pilih Msty untuk LLM lokal di Mac jika Anda aktif membandingkan model dan menginginkan klien obrolan yang dibangun untuk alur kerja itu.
6. MLX Chat (mlx-lm) — terbaik untuk throughput maksimal dan fine-tuning
MLX Chat adalah lapisan obrolan di atas mlx-lm, runtime referensi Apple untuk menjalankan dan fine-tuning LLM dengan MLX. Ini adalah cara paling langsung untuk menggunakan kerangka kerja yang menggerakkan backend MLX Ollama dan LM Studio, dan pada perangkat keras kelas M5 nomor Apple sendiri menunjukkan MLX memisahkan diri dari llama.cpp dengan margin yang bermakna, dengan waktu-ke-token-pertama di bawah tiga detik pada model 30B MoE. pip install mlx-lm ditambah ID model Hugging Face memberi Anda obrolan baris perintah yang berfungsi.
Di mana keunggulannnya kurang: Ini adalah alat terdekat dalam daftar ke proyek penelitian. Tidak ada installer yang dipoles atau browser model, Anda mengelola lingkungan Python, dan UI obrolan yang membungkusnya minimal. Ini juga khusus macOS, dengan desain.
Harga:
- Gratis: open source, tanpa biaya lisensi
- Berbayar: tidak ada
Platform: macOS (hanya Apple Silicon)
Unduh: github.com/ml-explore/mlx-lm
Kesimpulan: Pilih MLX Chat untuk LLM lokal di Mac jika Anda menginginkan runtime Apple sendiri di tangan Anda dan Anda nyaman di terminal.
7. Llama.cpp — kontrol langsung terbaik atas backend Metal
Llama.cpp adalah runtime yang hampir setiap aplikasi dalam daftar ini membungkus atau pernah gunakan. Membangunnya dari sumber di Mac membutuhkan satu perintah, backend Metal disesuaikan dengan halus untuk Apple Silicon, dan biner llama-server mengekspos API kompatibel OpenAI yang sama dengan aplikasi yang dipoles tanpa installer di tengah. Untuk siapa pun yang ingin melihat tepat kernel mana yang berjalan, parameter sampler penyetel per permintaan, atau menguji arsitektur model yang benar-benar baru di hari itu mendarat di Hugging Face, ini adalah jalannya.
Di mana keunggulannnya kurang: Tidak ada UI obrolan sendiri selain antarmuka web dasar, tidak ada browser model yang dikurasi, dan permukaan flag cukup luas sehingga run pertama biasanya melibatkan membaca README. Aplikasi yang sadar MLX telah mulai mengatasi itu pada throughput mentah di chip seri M terbaru.
Harga:
- Gratis: open source, tanpa biaya lisensi
- Berbayar: tidak ada
Platform: macOS, Windows, Linux
Unduh: github.com/ggml-org/llama.cpp
Kesimpulan: Pilih Llama.cpp untuk LLM lokal di Mac jika Anda menginginkan runtime yang dibungkus setiap aplikasi lain, tanpa apa pun di antara Anda dan kernel Metal.
Cara memilih
Jika Anda menginginkan jalur termudah untuk setup yang berfungsi di Apple Silicon, instal Ollama dan pasangkan dengan front end obrolan yang Anda sukai.
Jika Anda menginginkan satu aplikasi yang menangani MLX, GGUF, penemuan model, dan obrolan dalam jendela yang dipoles, instal LM Studio.
Jika open source penting lebih dari 20 persen throughput terakhir, instal Jan.
Jika MacBook Anda memiliki 8 GB memori terpadu atau M1 yang lebih tua, instal GPT4All dan tempel pada model kecil yang dikurasinya.
Jika Anda aktif membandingkan model pada prompt yang sama, instal Msty.
Jika Anda menginginkan runtime Apple sendiri di tangan Anda dan Anda tidak keberatan terminal, instal MLX Chat di atas mlx-lm.
Jika Anda menginginkan kontrol langsung atas backend Metal tanpa apa pun, bangun Llama.cpp dari sumber.
FAQ
Apakah MLX benar-benar membuat LLM lokal lebih cepat di Mac daripada llama.cpp?
Di Apple Silicon saat ini, ya. Nomor Ollama sendiri setelah beralih ke MLX menunjukkan prefill sekitar 1,6x lebih cepat dan decoding mendekati 2x lebih cepat pada perangkat keras seri M yang sama, dan tolok ukur M5 yang diterbitkan Apple menunjukkan MLX terpisah lebih jauh di chip terbaru. Pada mesin M1 dan M2 yang lebih tua celah lebih kecil tetapi masih nyata.
Berapa banyak memori terpadu yang saya butuhkan untuk menjalankan LLM lokal di Mac?
Untuk pengalaman yang nyaman dengan model 7B pada kuantisasi 4-bit, 16 GB memori terpadu sudah cukup. Untuk model kelas 14B, 32 GB adalah tempat manis. Untuk model 70B padat atau model mixture-of-experts 30B-A3B dengan ruang untuk konteks, 64 GB atau lebih adalah yang Anda inginkan.
Apakah Ollama aplikasi terbaik untuk menjalankan LLM lokal di Mac?
Ini adalah backend terbaik untuk kebanyakan pengguna Mac sekarang mesin MLX telah dikirim. Jika Anda juga menginginkan UI obrolan yang dipoles dalam jendela yang sama, LM Studio lebih dekat ke jawaban aplikasi satu. Ollama ditambah UI terpisah tetap menjadi stack paling umum.
Bisakah saya menggunakan LLM lokal di Mac saya dengan editor kode saya?
Ya. Aplikasi apa pun yang mengekspos endpoint kompatibel OpenAI, termasuk Ollama, LM Studio, Jan, dan Msty, dapat diatur sebagai URL dasar dalam ekstensi editor yang menargetkan OpenAI. Lanjutkan, mode bawa-kunci-Anda sendiri di Cursor, dan sebagian besar ekstensi VS Code menerima ini dan tidak pernah melihat kode Anda meninggalkan mesin.
