XDA-Developers menerbitkan artikel bulan ini tentang bagaimana pembaruan terbaru Codex akhirnya menambahkan indikator penggunaan yang nyata, dan penulis menyebutnya sebagai perbaikan terpenting bagi dirinya. Frustrasinya sederhana: agen penyandian yang diam-diam membakar token tanpa peringatan sampai batas laju terputus. Menambahkan penghitung yang terlihat menyelesaikannya untuk pengguna Codex. Tangkapannya adalah bahwa hampir tidak ada yang menjalankan hanya satu model lagi. Jika tumpukan Anda mengambil Claude untuk refaktoring, GPT untuk obrolan, dan Gemini untuk pekerjaan konteks panjang, indikator penggunaan di dalam CLI vendor tunggal tidak membantu. Aplikasi terbaik untuk pelacakan penggunaan AI mengamati setiap penyedia sekaligus, mencatat setiap panggilan, dan memberi tahu Anda apa biaya masing-masing sebelum tagihan tiba. Kami menguji tujuh yang melakukan ini dengan baik di 2026.
Yang harus diperhatikan dalam pelacakan penggunaan AI
Lima hal penting. Pertama, visibilitas per-panggilan pada token masuk, token keluar, dan biaya USD dari permintaan yang tepat itu. Dashboard vendor melaporkan agregat sehari kemudian; pelacakan yang berguna adalah per-permintaan dan langsung. Kedua, jangkauan multi-penyedia. Anthropic, OpenAI, Google, Mistral, AWS Bedrock, Azure OpenAI, dan setidaknya penyedia open-weight utama harus semua masuk ke tampilan yang sama. Ketiga, batas keras dan anggaran. Peringatan lembut berguna, tetapi pemutus sirkuit nyata yang memutus agen yang lari sebelum membelanjakan anggaran sebulan dalam semalam adalah fitur yang membayar sendiri. Keempat, dasbor, jejak, dan peringatan sehingga tim dapat menemukan satu prompt yang menggandakan biaya Selasa lalu. Kelima, opsi self-host untuk toko yang tidak dapat merutekan prompt dan penyelesaian melalui pihak ketiga.
Perbandingan cepat
| Aplikasi | Sumber terbuka? | Self-host? | Tingkat gratis | Fitur menonjol |
|---|---|---|---|---|
| Helicone | Ya | Ya | Ya, 100k permintaan/bulan | Proksi satu header, masuk dalam hitungan menit |
| Langfuse | Ya | Ya | Ya, tingkat hobi yang dihosting | Jejak tingkat rentang dengan biaya USD |
| LangSmith | Tidak | Tidak | Ya, dibatasi | Integrasi LangChain yang ketat |
| LiteLLM | Ya | Ya | Gateway OSS gratis | Kunci virtual dan anggaran per tim |
| Portkey | Sebagian | Ya (Enterprise) | Ya, dibatasi | Gateway, observabilitas, guardrail dalam satu |
| OpenLLMetry | Ya | Ya | SDK gratis | OpenTelemetry-native, tersambung ke APM apa pun |
| Arize Phoenix | Ya | Ya | Gratis | Dasbor lokal, berjalan di notebook |
7 aplikasi terbaik untuk pelacakan penggunaan AI di 2026
1. Helicone, terbaik untuk visibilitas biaya drop-in hari ini
Helicone adalah jalur tercepat dari “kami tidak tahu apa yang kami keluarkan” ke dasbor langsung. Ubah satu baris di klien OpenAI atau Anthropic Anda untuk merutekan melalui proksi Helicone, dan setiap panggilan mendarat di dasbor dengan token, latensi, biaya USD, dan prompt serta penyelesaian lengkap. Inti sumber terbuka mendukung lebih dari 100 model dan berjalan dengan cara yang sama self-hosted seperti di tingkat gratis yang dihosting.
Tempat ia jatuh pendek: Perutean melalui proksi menambahkan pajak latensi kecil, biasanya 20 hingga 50 ms. Tim yang membutuhkan anggaran kurang dari 100 ms terkadang lebih suka pendekatan berbasis SDK di OpenLLMetry.
Harga: Tingkat hobi gratis mencakup 100.000 permintaan per bulan. Paket berbayar mulai dari sekitar $20 per bulan untuk volume lebih tinggi dan fitur tim. Self-hosted gratis di bawah inti berlisensi MIT.
Platform: Aplikasi web SaaS plus Docker self-hosted untuk macOS, Windows, dan Linux.
Unduh: helicone.ai
Garis bawah: Pilih Helicone jika Anda menginginkan dasbor biaya yang berfungsi pada akhir hari, tanpa penulisan ulang SDK.
2. Langfuse, terbaik untuk tim yang ingin self-host
Langfuse adalah platform observabilitas sumber terbuka yang paling banyak tim serius adopsi ketika mereka tumbuh melampaui dasbor vendor. Ini merekam jejak tingkat rentang dari setiap panggilan LLM, panggilan alat, dan langkah agen, dengan tokenizer bawaan dan perhitungan biaya USD untuk OpenAI, Anthropic, Gemini, dan sebagian besar penyedia utama. Self-hosting adalah jalur first-class yang didokumentasikan, bukan catatan kaki.
Tempat ia jatuh pendek: Pengaturan lebih berat dari proksi. Anda menambahkan SDK, menginstrumentasi panggilan Anda, dan menjalankan tumpukan berbasis Postgres jika Anda self-host. Sepadan untuk tim, berlebihan untuk skrip tunggal.
Harga: Tingkat hobi gratis di cloud yang dihosting. Paket berbayar mulai dari sekitar $59 per bulan untuk tim. Self-hosted gratis di bawah lisensi MIT, dengan tingkat Enterprise berbayar untuk SSO dan audit logging.
Platform: Aplikasi web SaaS plus Docker self-hosted di macOS, Windows, dan Linux.
Unduh: langfuse.com
Garis bawah: Pilih Langfuse jika data Anda harus tetap di infrastruktur Anda dan Anda menginginkan platform pelacakan yang bertahan dalam skala.
3. LangSmith, terbaik untuk tim yang sudah di LangChain
LangSmith adalah produk observabilitas yang dihosting dari tim LangChain. Jika agen Anda sudah dibangun di LangChain atau LangGraph, integrasi adalah satu variabel lingkungan, dan Anda mendapatkan jejak, evals, dan pelaporan biaya dalam satu tampilan. Biaya token dan USD duduk di sebelah setiap jalankan, dengan rincian per-model dan rollup tingkat proyek yang dapat dibaca oleh keuangan.
Tempat ia jatuh pendek: Sumber tertutup dan hanya dihosting. Harga berskala menurut jejak, jadi agen yang banyak bicara menambah lebih cepat daripada alternatif tarif tetap. Kurang berguna jika tumpukan Anda bukan berbasis LangChain.
Harga: Tingkat gratis dengan jejak terbatas per bulan. Paket berbayar mulai dari sekitar $39 per tempat duduk per bulan.
Platform: Aplikasi web SaaS. SDK untuk Python dan JavaScript berjalan di macOS, Windows, dan Linux.
Unduh: smith.langchain.com
Garis bawah: Pilih LangSmith jika Anda sudah tinggal di LangChain dan menginginkan data biaya di sebelah evals Anda.
4. LiteLLM, terbaik untuk gateway dan akuntansi dalam satu biner
LiteLLM adalah proksi ringan yang berbicara OpenAI API di depan dan menerjemahkan ke lebih dari seratus penyedia di belakang. Proksi dilengkapi dengan pelacakan penggunaan bawaan, kunci API virtual per pengguna atau tim, dan batas anggaran keras per kunci. Tekan tutup dan proksi mengembalikan 429; tidak ada faktur kejutan. Ini adalah hal terdekat dengan jawaban biner tunggal untuk toko yang menginginkan gateway dan akuntansi bersama.
Tempat ia jatuh pendek: Dasbor berfungsi daripada cantik. Tim yang menginginkan jejak halus dan tinjauan tingkat prompt biasanya menjalankan LiteLLM sebagai gateway dan memasangkannya dengan Langfuse atau Helicone untuk UI.
Harga: Gratis di bawah lisensi MIT sumber terbuka. Paket enterprise yang dihosting sesuai permintaan.
Platform: Self-hosted Docker, paket Python, atau biner mandiri di macOS, Windows, dan Linux.
Unduh: litellm.ai
Garis bawah: Pilih LiteLLM jika Anda menginginkan satu proses yang merutekan setiap model dan menegakkan anggaran keras di pintu.
5. Portkey, terbaik untuk tim produksi yang menginginkan satu panel
Portkey adalah opsi yang ramping produksi untuk tim yang memerlukan observabilitas, gateway perutean, guardrails, dan manajemen prompt di satu tempat. Ini mencatat setiap permintaan, mencetak prompt terhadap filter keamanan, dan memungkinkan ops jatuh kembali dari satu penyedia ke penyedia lain ketika batas laju hit. Dasbor melacak biaya USD di seluruh penyedia dengan rincian yang diminta tim keuangan.
Tempat ia jatuh pendek: Produk yang dihosting inti dibayar, dengan self-host gated ke tingkat Enterprise. Kurang menarik bagi pengembang solo atau tim yang berorientasi sumber terbuka pertama.
Harga: Tingkat gratis dengan permintaan terbatas. Paket berbayar mulai dari sekitar $49 per bulan untuk tim. Harga Enterprise sesuai permintaan, dengan self-host disertakan.
Platform: Aplikasi web SaaS dengan Docker self-hosted Enterprise di macOS, Windows, dan Linux.
Unduh: portkey.ai
Garis bawah: Pilih Portkey jika Anda menginginkan satu panel yang mencakup gateway, observabilitas, dan guardrail, dan anggaran mendukung produk berbayar.
6. OpenLLMetry, terbaik untuk toko yang sudah di OpenTelemetry
OpenLLMetry adalah SDK sumber terbuka dari Traceloop yang memancarkan jejak standar OpenTelemetry untuk panggilan LLM, permintaan toko vektor, dan operasi kerangka kerja di seluruh LangChain, LlamaIndex, Haystack, dan penggunaan SDK langsung. Jejak mendarat di APM apa pun yang sudah Anda jalankan: Datadog, New Relic, Honeycomb, Grafana Tempo, Jaeger, atau kolektor OTel self-hosted. Jumlah token dan biaya USD jalan sebagai atribut rentang.
Tempat ia jatuh pendek: Tidak ada dasbor sendiri; Anda membawa backend. Tim tanpa platform observabilitas yang ada biasanya lebih baik dilayani oleh Helicone atau Langfuse.
Harga: Gratis di bawah lisensi Apache-2.0. Produk yang dihosting Traceloop berlapis di atas dengan harga berbasis penggunaan.
Platform: Python dan TypeScript SDK di macOS, Windows, dan Linux.
Unduh: github.com/traceloop/openllmetry
Garis bawah: Pilih OpenLLMetry jika Anda sudah memiliki APM dan menginginkan jejak LLM di tempat yang sama dengan sisa rentang Anda.
7. Arize Phoenix, terbaik untuk pengembang solo yang menginginkan dasbor lokal
Phoenix adalah alat observabilitas sumber terbuka dari Arize yang berjalan seluruhnya di mesin Anda. Putar di notebook, kontainer, atau sebagai proses lokal, dan jejak dari panggilan LLM dan saluran pipa RAG Anda mengalir ke dasbor yang Anda jangkau di localhost. Ini mendukung OpenInference, format jejak terbuka yang tumpang tindih dengan OpenLLMetry, dan mencakup pengevaluasi untuk kualitas RAG, alucinasi, dan toksisitas.
Tempat ia jatuh pendek: Dirancang untuk pengembangan dan evaluasi daripada logging produksi jangka panjang. Tim yang memerlukan penyimpanan persisten dan akses tim biasanya lulus ke platform yang dihosting Arize atau Langfuse.
Harga: Gratis di bawah lisensi Elastic-2.0. Platform yang dihosting Arize dibayar.
Platform: Paket Python dan gambar Docker di macOS, Windows, dan Linux.
Unduh: phoenix.arize.com
Garis bawah: Pilih Phoenix jika Anda membangun prototype RAG atau agen solo dan menginginkan dasbor lokal tanpa akun.
Cara memilih yang tepat
Pengembang solo menguji proyek sampingan: Helicone untuk proksi, atau Phoenix jika Anda menginginkan semuanya lokal tanpa lompatan pihak ketiga.
Tim kecil yang menjalankan agen produksi: Langfuse self-hosted, atau Helicone yang dihosting jika Anda dapat merutekan lalu lintas melalui pihak ketiga. Keduanya memberi Anda biaya per panggilan, peringatan, dan dasbor yang dapat dibaca oleh non-insinyur.
Perusahaan dengan kendala kepatuhan: Langfuse self-hosted di VPC Anda sendiri, dipasangkan dengan LiteLLM sebagai gateway untuk anggaran keras dan kunci virtual. Portkey Enterprise jika Anda menginginkan satu vendor untuk seluruh tumpukan.
Toko OpenTelemetry dengan APM yang bekerja: OpenLLMetry. Jejak mendarat di Datadog atau Grafana di sebelah segalanya, dan data biaya duduk di rentang.
Tim LangChain-first: LangSmith. Integrasi adalah satu variabel, dan tooling eval penting sama seperti pelacakan biaya.
Tim RAG-heavy dalam pengembangan: Phoenix secara lokal untuk umpan balik cepat, kemudian Langfuse atau LangSmith setelah Anda meluncurkan.
Tanya jawab umum
Mengapa tidak hanya menggunakan dasbor vendor? Dasbor vendor melaporkan agregat, biasanya sehari kemudian, dan hanya untuk vendor itu. Jika tumpukan Anda menggunakan Claude, GPT, dan Gemini, Anda memerlukan satu tampilan di seluruh ketiga. Alat di atas juga menampilkan biaya per permintaan saat jalankan sedang berjalan, bukan setelah tagihan tiba.
Apakah proksi akan memperlambat panggilan saya? Sedikit. Helicone, LiteLLM, dan Portkey menambahkan sekitar 20 hingga 50 ms per panggilan tergantung pada wilayah dan jalur jaringan. Untuk sebagian besar beban kerja agen tidak terlihat. Untuk suara real-time atau loop di bawah 100 ms, pelacakan berbasis SDK dengan OpenLLMetry atau Langfuse menghindari lompatan ekstra.
Bisakah alat-alat ini menerapkan batas pengeluaran keras? LiteLLM dan Portkey bisa. Keduanya mendukung batas anggaran per kunci dan per tim yang mengembalikan kesalahan setelah ambang tercapai. Helicone dan Langfuse mengirim peringatan tetapi tidak memblokir permintaan secara default. Pasangkan alat observabilitas dengan gateway jika Anda menginginkan visibilitas dan pemutus sirkuit.
Apakah pelacak penggunaan AI sumber terbuka cukup baik untuk produksi? Ya. Langfuse, Helicone, LiteLLM, Phoenix, dan OpenLLMetry semua menjalankan beban kerja produksi di perusahaan terkenal. Kompromi adalah operasional: Anda mehosting mereka, menambal mereka, dan menskalakan basis data ketika volume jejak Anda tumbuh.
Bagaimana dengan pelacakan Codex secara khusus? Codex menambahkan indikator penggunaan bawaan dalam pembaruan Juni 2026, yang menyelesaikan masalah langsung “apakah saya akan dipotong” di dalam CLI. Untuk pelaporan biaya tingkat tim dan perbandingan lintas penyedia, Anda masih ingin salah satu alat di atas. Rutekan lalu lintas OpenAI melalui Helicone atau LiteLLM dan Anda mendapatkan visibilitas yang sama untuk panggilan Codex seperti untuk segalanya.
Apakah ada dari ini yang melacak model open-weight yang berjalan secara lokal? Ya. Langfuse, Helicone, LiteLLM, OpenLLMetry, dan Phoenix semuanya mendukung penyedia lokal termasuk Ollama, vLLM, dan llama.cpp melalui titik akhir yang kompatibel dengan OpenAI. Biaya USD default ke nol untuk model self-hosted, tetapi jumlah token, latensi, dan data jejak bekerja sama seperti untuk penyedia yang dihosting.
