Artikel XDA tentang Hermes Agent menamakan celah yang telah mengisap perhatian penggemar LLM lokal selama dua tahun: model dalam jendela chat tidak sama dengan model yang benar-benar dapat melakukan sesuatu. Model 70B yang berjalan di GPU Anda sendiri mengesankan. Model 7B yang dapat membaca file Anda, menjalankan skrip, dan menulis output kembali berguna dengan cara yang jendela chat tidak mampu.
Kami menguji tujuh aplikasi desktop yang menambahkan kemampuan agen ke LLM lokal, menjalankan Ollama dan LM Studio sebagai backend model di Windows, macOS, dan Linux. Pilihan kami mencakup kerangka kerja open-source yang menangani skrip, file, dan shell, serta alat yang lebih ringan yang fokus melakukan satu pekerjaan dengan baik.
Yang penting dalam agen LLM lokal
- Fleksibilitas backend. Agen yang berguna bekerja dengan server model apapun yang sudah Anda jalankan. Ollama, LM Studio, llama.cpp, dan endpoint yang kompatibel dengan OpenAI semuanya muncul di sini.
- Eksekusi alat yang dapat Anda audit. Agen yang menjalankan perintah shell memerlukan langkah konfirmasi atau sandbox. Eksekusi alat black-box pada workstation nyata adalah cara eksperimen LLM lokal berakhir dengan dotfile yang rusak.
- Batas akses file. “Baca file apa saja” nyaman namun berbahaya. Alat yang lebih baik memungkinkan Anda membatasi agen ke folder proyek.
- Memori di seluruh proses. Beberapa tugas menginginkan percakapan segar. Yang lain menginginkan konteks dari proses kemarin. Alat berbeda dalam hal apakah memori bersifat opt-in.
- Biaya kegagalan. Agen cloud yang gagal adalah panggilan API yang terbuang. Agen lokal yang gagal dan menjalankan perintah shell yang salah adalah tugas pemulihan. Pilih alat yang gagal dengan aman.
Perbandingan cepat
| Aplikasi | Terbaik untuk | Dukungan backend | Eksekusi alat | Lisensi |
|---|---|---|---|---|
| Open Interpreter | Shell bahasa alami dengan eksekusi kode | Ollama, LM Studio, llama.cpp, kompatibel OpenAI | Ya, dengan mode aman opsional | AGPLv3 |
| OpenHands | Agen rekayasa perangkat lunak untuk codebase nyata | Kompatibel OpenAI, Ollama | Ya, bersandbox di Docker | MIT |
| Hermes Agent | Runner ringan terikat pada model Hermes | Ollama, LM Studio, llama.cpp | Ya, alat skrip | MIT |
| AutoGPT | Runner tugas otonom cakupan panjang | Kompatibel OpenAI, Ollama via shim | Ya, driven plugin | MIT |
| AgentGPT | Agen yang dihosting browser dengan opsi self-hosted | Kompatibel OpenAI, Azure, proxy lokal | Ya, di dalam browser | GPL-3.0 |
| Continue | Agen coding dalam editor | Ollama, LM Studio, kompatibel OpenAI | Ya, dibatasi ke IDE | Apache 2.0 |
| CrewAI | Kerangka orkestrasi multi-agen | Endpoint kompatibel OpenAI apapun | Ya, via tools Python | MIT |
Aplikasinya
1. Open Interpreter — Shell tujuan umum terbaik
Open Interpreter adalah hal terdekat dengan “LLM lokal yang dapat menggunakan komputer Anda.” Instal dari pip, arahkan ke endpoint Ollama atau LM Studio, dan minta untuk merangkum isi folder, mengganti nama file berdasarkan tanggal, atau menanyakan database SQLite. Ini menulis Python, meminta konfirmasi sebelum menjalankan, dan menyalurkan output kembali ke percakapan.
Kelemahan: Mode default menjalankan kode secara lokal dengan konfirmasi; mode aman menambahkan sandbox tetapi membatasi alat apa yang dapat dilakukan. Model lokal yang lebih kecil kadang-kadang membayangkan panggilan fungsi yang gagal pada eksekusi. REPL interaktif bagus; GUI desktop lebih baru dan lebih kasar.
Harga:
- Gratis: Open source AGPLv3
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: Open Interpreter | Sumber
Garis bawah: Pilih ini ketika Anda ingin satu alat CLI yang mengubah LLM lokal menjadi asisten shell yang berfungsi.
2. OpenHands — Terbaik untuk tugas rekayasa perangkat lunak
OpenHands (proyek yang sebelumnya dikenal sebagai OpenDevin) dibangun untuk pekerjaan skala codebase. Agen berjalan di dalam sandbox Docker, mendapat shell nyata, dapat menggunakan browser, dan dapat menjalankan rencana multi-langkah terhadap repositori Git. Ini terhubung ke endpoint kompatibel OpenAI, termasuk proxy Ollama dan LM Studio lokal, sehingga model tetap di hardware Anda sementara agen mendapat peralatan pengembangan penuh.
Kelemahan: Setup lebih berat dibandingkan Open Interpreter; Anda memerlukan Docker yang berjalan dan bersedia memberikan sumber daya substansial kepada kontainer. Model lokal yang lebih kecil (di bawah 13B) berjuang dengan perencanaan multi-langkah yang diharapkan OpenHands. UI web berfungsi tetapi tidak semulus versi yang dihosting cloud.
Harga:
- Gratis: Open source MIT
- Berbayar: tidak ada
Platform: Windows, macOS, Linux (via Docker)
Unduh: OpenHands
Garis bawah: Pilih ini ketika agen perlu membaca codebase nyata, menjalankan tes, dan menghasilkan pull request.
3. Hermes Agent — Runner ringan terbaik
Hermes Agent adalah proyek yang XDA sorot. Ini menggabungkan LLM lokal dengan runtime agen kecil dan terfokus yang dapat menjalankan skrip dan membaca file, dirancang di sekitar keluarga model Hermes yang disempurnakan tetapi kompatibel dengan model tuned-chat apa saja yang disajikan melalui Ollama atau llama.cpp. Jejak kecil dan konfigurasi singkat.
Kelemahan: Proyek lebih muda; dokumentasi dan basis pengetahuan komunitas tipis. Hasil terbaik datang dari menjalankannya dengan model keluarga Hermes yang runtime disesuaikan; model terbuka generik bekerja tetapi kurang andal. Orkestrasi pekerjaan lebih sederhana dibandingkan OpenHands.
Harga:
- Gratis: Open source MIT
- Berbayar: tidak ada
Platform: Windows, macOS, Linux
Unduh: Hermes Agent di GitHub
Garis bawah: Pilih ini ketika Anda ingin runner kecil yang keluar dari jalan dan menjalankan skrip yang sudah Anda miliki.
4. AutoGPT — Runner tugas otonom terbaik
AutoGPT mempopulerkan pola “berikan LLM tujuan dan biarkan mencari tahu langkah-langkahnya”. Penulisan ulang terbaru mendukung builder agen gaya grafik, plugin untuk pencarian web, manipulasi file, dan penggunaan alat, serta backend self-hosted yang berbicara ke endpoint model lokal melalui proxy kompatibel OpenAI.
Kelemahan: Loop otonom pada model lokal kecil dapat mengalir deras, mengumpulkan panggilan alat tanpa membuat kemajuan. Ekosistem plugin tumbuh besar selama siklus hype 2023, kemudian menipis; periksa plugin sebelum memberikan akses sistem file. Antarmuka lebih ramai dibandingkan alternatif CLI.
Harga:
- Gratis: Open source MIT
- Berbayar: cloud terkelola opsional
- vs OpenHands: tujuan lebih luas, eksekusi kurang terstruktur
Platform: Windows, macOS, Linux
Unduh: AutoGPT
Garis bawah: Pilih ini ketika tugas luas dan tujuannya adalah “lihat apa yang agen berikan” daripada “jalankan rencana terdefinisi ini.”
5. AgentGPT — Opsi berbasis browser terbaik
AgentGPT berjalan di tab browser. Ini menampilkan antarmuka berbasis tujuan yang menguraikan tujuan tingkat tinggi menjadi subtask dan menjalankannya melalui endpoint model. Build Docker self-hosted memungkinkan Anda menunjukkan ke server model lokal, yang menjaga model di hardware Anda sambil memberikan UI web yang dapat digunakan untuk pengguna non-teknis.
Kelemahan: Eksekusi alat lebih terbatas dibandingkan Open Interpreter atau OpenHands; ini mengandalkan pencarian dan penalaran atas akses sistem file. Versi yang dihosting adalah SaaS berbayar; versi self-hosted adalah jalur gratis.
Harga:
- Gratis: Self-hosted GPL-3.0
- Berbayar: rencana yang dihosting mulai dari sekitar 40 USD per bulan untuk batas lebih tinggi
Platform: Windows, macOS, Linux (browser; backend via Docker)
Unduh: AgentGPT
Garis bawah: Pilih ini ketika Anda menginginkan UI web yang dapat digunakan rekan kerja non-teknis, yang menunjuk ke server model lokal Anda.
6. Continue — Agen dalam editor terbaik
Continue adalah ekstensi VS Code dan JetBrains yang mengubah editor menjadi UI agen. Ini terhubung ke Ollama, LM Studio, llama.cpp, dan endpoint kompatibel OpenAI, mendukung penggunaan alat yang dibatasi ke workspace, dan menangani pelengkapan otomatis, chat, dan edit multi-langkah tanpa meninggalkan IDE.
Kelemahan: Kedalaman agentic lebih dangkal dibandingkan OpenHands; excel dalam “edit file ini berdasarkan prompt ini” dan lebih lemah dalam “jelajahi codebase ini dari awal hingga akhir.” Permukaan alat dibatasi ke IDE daripada seluruh mesin.
Harga:
- Gratis: Open source Apache 2.0
- Berbayar: fitur tim opsional
Platform: Windows, macOS, Linux (sebagai ekstensi VS Code atau JetBrains)
Garis bawah: Pilih ini ketika pekerjaan terjadi di IDE dan Anda menginginkan agen di dalam editor, bukan di jendela terpisah.
7. CrewAI — Terbaik untuk setup multi-agen
CrewAI adalah kerangka Python, bukan aplikasi yang dipoles. Poin penyertaan: ketika “satu agen” adalah unit pekerjaan yang salah dan Anda benar-benar memerlukan peneliti, penulis, dan kritikus yang berjalan secara terkoordinasi, ini adalah jalur paling ramah untuk menyiapkan itu terhadap server model lokal. Ini menargetkan audiens pengembang Python dan menghasilkan kode orkestrasi daripada antarmuka chat.
Kelemahan: Pertama kode, tidak ada GUI. Memerlukan Anda mendefinisikan crew, alat, dan tugas dalam Python. Kurva pembelajaran nyata dan dokumentasi mengharapkan keakraban dengan pola gaya LangChain.
Harga:
- Gratis: Open source MIT
- Berbayar: CrewAI Enterprise opsional
Platform: Windows, macOS, Linux (sebagai perpustakaan Python)
Garis bawah: Pilih ini ketika satu agen tidak cukup dan Anda dapat menulis Python.
Cara memilih yang benar
- Jika Anda menginginkan satu alat baris perintah yang menyelesaikan pekerjaan: Open Interpreter.
- Jika Anda menginginkan agen yang menangani proyek perangkat lunak nyata: OpenHands.
- Jika Anda menginginkan runner kecil terikat pada keluarga Hermes: Hermes Agent.
- Jika Anda menginginkan otonomi luas dan Anda menerima biayanya: AutoGPT.
- Jika Anda menginginkan UI browser untuk pengguna non-teknis: AgentGPT.
- Jika pekerjaan terjadi di IDE: Continue.
- Jika Anda memerlukan beberapa agen terkoordinasi: CrewAI.
FAQ
Apa perbedaan antara agen LLM lokal dan model chat?
Model chat menghasilkan teks. Agen berjalan dalam loop: berpikir, panggil alat, amati hasilnya, berpikir lagi, panggil alat lain, sampai tujuan terpenuhi atau loop berakhir. Alat adalah skrip, pembacaan file, pencarian web, perintah shell, atau apa saja yang framework tampilkan. Model yang sama dapat berupa salah satu tergantung pada wrapper runtime.
Bisakah saya menjalankan ini di Raspberry Pi?
Beberapa bisa, dengan model kecil. Open Interpreter dan Hermes Agent cukup ringan untuk memulai. OpenHands memerlukan sumber daya Docker di luar apa yang Pi berikan dengan nyaman. Rencanakan setidaknya 16 GB RAM dan GPU atau Apple Silicon untuk agen apa saja yang dibangun di sekitar model 13B atau lebih besar.
Mana yang paling aman untuk dijalankan di workstation nyata?
OpenHands membungkus semuanya di dalam Docker secara default, yang memberikan isolasi paling kuat. Open Interpreter memiliki mode aman yang menambahkan lapisan sandbox. Perlakukan sisanya seperti alat apa saja yang menjalankan skrip sembarangan: batasi ke folder proyek, jangan jalankan sebagai root, dan cadangkan sebelum membiarkannya menyentuh apa pun yang penting.
Apakah saya memerlukan GPU?
Agen yang berguna mulai terasa responsif di sekitar model 13B. Tanpa GPU, model 7B di CPU modern dapat dikerjakan untuk tugas sederhana. Mac Apple Silicon dengan memori terpadu 32 GB berjalan mengejutkan dengan baik. GPU NVIDIA diskrit dengan 16 GB+ adalah setup paling fleksibel.
Bisakah saya menggunakan ini dengan API OpenAI daripada model lokal?
Ya untuk sebagian besar. Framework yang terdaftar menerima endpoint kompatibel OpenAI apa saja, jadi setup yang sama bekerja terhadap GPT-4o, Anthropic melalui proxy, Groq, Together, atau instans Ollama lokal Anda. Poin lokal adalah menjaga data di hardware Anda; kode agen tidak peduli tentang sumbernya.
Apa perbedaan antara OpenHands dan Open Interpreter?
OpenHands dibangun untuk tugas engineering terhadap codebase, dengan sandboxing kuat dan loop perencanaan. Open Interpreter dibangun untuk penggunaan “shell bahasa alami” di seluruh mesin, dengan sandbox lebih ringan dan antarmuka berorientasi chat. Gunakan OpenHands di dalam repo; gunakan Open Interpreter di mesin.
