HTTrack WebSite Copier adalah alat penjelajahan luring yang telah ada di setiap daftar “cara mengunduh situs web” selama dua puluh tahun. Masih berfungsi pada situs statis klasik, masih dirilis untuk Windows dan Linux, dan masih melakukan apa namanya. Namun belum melihat rilis besar selama bertahun-tahun, sepenuhnya mengabaikan konten yang dirender JavaScript, memiliki antarmuka dari era Windows XP, dan tersandung pada situs modern yang bergantung pada pemuatan dinamis. Orang yang mencari alternatif HTTrack biasanya menginginkan satu dari tiga hal: alat yang menangani halaman yang dirender JavaScript, antarmuka modern yang tidak memerlukan membaca manual, atau format simpan file tunggal daripada pohon folder. Berikut tujuh yang mencakup ketiganya.
Perbandingan cepat
| Alat | Terbaik untuk | Lisensi | Platform | Menonjol |
|---|---|---|---|---|
| Cyotek WebCopy | GUI Windows modern | Gratis | Windows | Default wajar, antarmuka terbaca |
| SiteSucker | Asli macOS | Berbayar | macOS | Tangkap situs drag-and-drop |
| wget | Keandalan baris perintah | Gratis, open-source | Windows, macOS, Linux | Dapat dikodekan skrip, mencerminkan apa pun |
| Offline Explorer | GUI pengguna power | Berbayar | Windows | Jadwal, filter, integrasi browser |
| A1 Website Download | Persilangan crawler SEO | Berbayar | Windows, macOS | Memetakan tautan internal secara visual |
| monolith | Simpan file tunggal | Gratis, open-source | Windows, macOS, Linux | Satu file HTML mandiri |
| Getleft | Gratis ringan | Gratis | Windows | Kecil, cepat, kontrol kedalaman |
Mengapa orang meninggalkan HTTrack
Tidak menjalankan JavaScript. Apa pun yang dirender setelah pemuatan halaman (SPA modern, gambar lazy-loaded, konten AJAX) tidak terlihat oleh HTTrack. Salinan yang diunduh memiliki bagian kosong tempat bagian dinamis seharusnya berada.
Antarmuka adalah peninggalan. Wizard, dialog multi-langkah, dan panel opsi yang tidak dirancang ulang selama lima belas tahun. Pengguna baru menghabiskan lebih banyak waktu untuk konfigurasi daripada unduhan.
Update melambat. Stabil untuk apa yang dilakukan, tetapi jauh di belakang web modern. Tidak ada pekerjaan serius pada rendering JS, tidak ada alur otentikasi modern, tidak ada backend browser headless.
Ini menghasilkan pohon folder. Output adalah struktur direktori yang mencerminkan situs, yang setia tetapi tidak nyaman. Berbagi unduhan adalah file zip daripada artefak tunggal.
Alternatif
Cyotek WebCopy: GUI Windows modern
Cyotek WebCopy adalah alat pencerminan situs Windows gratis dengan antarmuka modern. Default yang masuk akal dari kotak, model proyek yang jelas (satu proyek per situs), editor aturan untuk pola include/exclude, dan panel hasil yang menunjukkan apa yang benar-benar disimpan.
Di mana kekurangannya: Seperti HTTrack, tidak menjalankan JavaScript. Hanya Windows.
Harga: Gratis.
vs HTTrack: Pendekatan yang sama (crawler HTTP yang mengikuti tautan) dengan antarmuka yang jauh lebih baik dan default yang lebih masuk akal.
Migrasi dari HTTrack: Buat proyek baru yang menunjuk ke situs yang sama; ekspor aturan jika konfigurasi HTTrack Anda rumit.
Unduh: cyotek.com/cyotek-webcopy
Garis bawah: Pilihan untuk pengguna Windows yang menginginkan perilaku HTTrack dengan antarmuka 2020-an.
SiteSucker: macOS asli
SiteSucker adalah jawaban macOS yang sudah lama. Seret URL ke ikon dock, pilih seberapa dalam untuk merangkak, dan unduhan dimulai. Pengaturan mencakup penulisan ulang tautan, filter jenis file, dan autentikasi. Versi iPad ada untuk unduhan tablet.
Di mana kekurangannya: Berbayar (biaya lisensi sekali pakai yang sederhana di Mac App Store). Tidak merender JavaScript.
Harga: Lisensi sekali bayar berbayar.
vs HTTrack: Asli macOS; HTTrack di macOS ada tetapi tidak dipertahankan.
Migrasi dari HTTrack: Buat kembali proyek di panel pengaturan SiteSucker.
Unduh: ricks-apps.com/osx/sitesucker
Garis bawah: Pilihan di Mac.
wget: keandalan baris perintah
GNU wget adalah pengunduh situs web baris perintah kanonik. wget --mirror --convert-links --adjust-extension --page-requisites --no-parent <url> mencerminkan situs dengan penulisan ulang tautan dalam satu baris. Robust terhadap kesalahan, melanjutkan unduhan yang terputus, dapat dikodekan skrip ke cron.
Di mana kekurangannya: Hanya baris perintah. Tidak menjalankan JavaScript. Output verbose memerlukan kesabaran bagi pengguna pertama kali.
Harga: Gratis dan open-source.
vs HTTrack: Lebih ringan, lebih andal, setiap bendera terdokumentasi.
Migrasi dari HTTrack: Terjemahkan pola include/exclude ke bendera --accept dan --reject.
Unduh: gnu.org/software/wget
Garis bawah: Pilihan yang tepat jika Anda tinggal di terminal.
Offline Explorer: GUI pengguna power
Offline Explorer dari Metaproducts adalah heavyweight GUI komersial. Template proyek, penjadwalan, pencarian di konten yang diunduh, integrasi dengan IE/Chrome/Firefox untuk menangkap apa yang ada di layar, dan filter kedalaman/URL yang jauh melampaui HTTrack. Tingkat Pro dan Enterprise menambahkan backend SQL dan fitur tim.
Di mana kekurangannya: Berbayar, dan tingkat Pro/Enterprise tidak murah. Hanya Windows.
Harga: Lisensi sekali bayar berbayar per tingkat.
vs HTTrack: Lebih banyak fitur, lebih banyak polish, dengan label harga.
Migrasi dari HTTrack: Buat proyek baru. Unduhan HTTrack yang ada tidak diimpor, tetapi URL sumber adalah.
Unduh: metaproducts.com
Garis bawah: Pilihan ketika anggaran bukan kendala dan kesenjangan fitur HTTrack terjadi.
A1 Website Download: persilangan crawler SEO
A1 Website Download dari Microsys dibangun oleh tim yang juga membuat crawler SEO. Output mencakup peta situs visual tautan internal dan tampilan analitik halaman mana yang menautkan ke mana, selain salinan luring itu sendiri.
Di mana kekurangannya: Berbayar. Antarmuka mewarisi dari alat SEO, yang berarti lebih banyak dial daripada yang diperlukan penyalin situs murni.
Harga: Lisensi sekali bayar berbayar.
vs HTTrack: Menawarkan salinan ditambah wawasan struktural tentang struktur tautan situs.
Migrasi dari HTTrack: Buat proyek segar.
Unduh: microsystools.com
Garis bawah: Pilihan ketika Anda menginginkan salinan luring dan peta struktur tautan situs.
monolith: simpan file tunggal
monolith adalah alat baris perintah yang menyimpan satu halaman web sebagai satu file HTML mandiri dengan semua gambar, stylesheet, skrip, dan font sebaris sebagai data URI. Hasilnya adalah satu file yang dapat Anda kirim email, jatuhkan di folder, atau buka di mana saja.
Di mana kekurangannya: Halaman tunggal saja, bukan seluruh situs. Rendering headless JavaScript opsional dan memerlukan instalasi Chrome terpisah.
Harga: Gratis dan open-source.
vs HTTrack: Bentuk berbeda. monolith untuk menyimpan artikel tunggal dengan bersih; HTTrack untuk mencerminkan seluruh situs.
Migrasi dari HTTrack: Gunakan keduanya. monolith untuk penangkapan satu halaman baca-nanti; alat kelas HTTrack untuk cerminan situs lengkap.
Unduh: github.com/Y2Z/monolith
Garis bawah: Pilihan ketika “simpan halaman satu ini dengan sempurna” adalah pekerjaan.
Getleft: gratis ringan
Getleft adalah pengunduh situs Windows kecil dan gratis dengan kontrol kedalaman, filter jenis file, dan jeda/lanjutkan. Antarmuka sederhana tetapi instalasi sangat kecil dan hasilnya andal pada situs statis.
Di mana kekurangannya: Hanya Windows. Tidak melihat perkembangan berat selama bertahun-tahun. Tidak ada rendering JS.
Harga: Gratis.
vs HTTrack: Instalasi lebih kecil, jalankan pertama lebih mudah, keterbatasan serupa pada situs dinamis.
Migrasi dari HTTrack: Masukkan kembali pengaturan proyek.
Unduh: sourceforge.net/projects/getleftdown
Garis bawah: Pilihan ketika Anda menginginkan sesuatu yang kecil dan gratis.
Cara memilih
Pilih Cyotek WebCopy jika Anda menginginkan pengganti Windows modern yang paling dekat untuk HTTrack.
Pilih SiteSucker di Mac.
Pilih wget ketika scripting, scheduling, atau running di server dalam cakupan.
Pilih Offline Explorer ketika cakupan fitur dan polish membenarkan membayar untuk alat.
Pilih monolith ketika tujuannya adalah satu halaman diarsipkan dengan bersih, bukan seluruh situs.
Pilih Getleft ketika “kecil dan gratis” mengalahkan “kuat dan dapat dikonfigurasi.”
Tetap di HTTrack jika Anda memiliki proyek yang ada, situs target cukup statis sehingga HTTrack sudah menangkapnya dengan benar, dan antarmuka berusia tidak mengganggu Anda.
FAQ
Bagaimana dengan situs yang dirender JavaScript?
Tidak ada alat pencerminan tujuan umum yang menangani SPA modern dengan baik secara default. Solusi praktis adalah: gunakan wrapper Chrome headless (monolith dengan mode headless, atau wget dipasangkan dengan puppeteer atau playwright), atau terima bahwa salinan yang disimpan akan kekurangan konten yang dimuat secara dinamis. ArchiveBox dan SingleFile adalah dua alat komunitas yang membungkus Chrome headless untuk tujuan ini.
Bagaimana saya mengunduh situs yang memerlukan login? HTTrack, Cyotek WebCopy, dan wget semuanya menerima autentikasi HTTP dasar dan string cookie. Untuk autentikasi berbasis sesi, masuk melalui browser Anda, ekspor cookie (menggunakan ekstensi browser), dan teruskan ke alat. Alur otentikasi yang menggunakan OAuth atau token berumur pendek lebih sulit dan mungkin memerlukan pendekatan browser headless.
Apakah ada cara untuk mencerminkan situs sebagai file arsip tunggal? monolith menghasilkan satu file HTML per halaman. Untuk seluruh situs, jawaban tipikal adalah arsip WARC (format yang digunakan archive.org; alat termasuk warcprox dan wpull) atau zip dari folder cerminan.
Apakah alat-alat ini legal digunakan? Alat-alat itu sendiri legal. Apa yang Anda unduh diatur oleh syarat layanan situs dan hak cipta. Pembacaan luring pribadi dari halaman publik umumnya baik-baik saja; mendistribusikan konten yang dijilat tidak. Jika ragu, periksa robots.txt dan syarat situs.
Alat mana yang tidak akan dibatasi kecepatan oleh situs target?
Semuanya dapat dibatasi kecepatan jika Anda merangkak terlalu agresif. Bendera --wait dan --random-wait wget, batas koneksi HTTrack, dan pengaturan kecepatan permintaan Cyotek memungkinkan Anda melambatkan perangkakan ke kecepatan yang sopan. Beberapa situs masih memblokir crawler agresif terlepas dari kecepatan; hormati itu.
