Apa itu Web Scraping? Cara Komputer Mengumpulkan Data Otomatis

Menggantikan Pekerjaan Copy-Paste Manual

Bayangkan kamu mendapat tugas kuliah atau kantor untuk mendata harga seluruh tipe handphone di website Tokopedia atau Shopee. Melakukannya secara manual (klik halaman, copy harga, paste di Excel) tentu akan memakan waktu berminggu-minggu.

Di sinilah Web Scraping beraksi. Web Scraping adalah teknik membuat bot (robot program) untuk "membaca" struktur HTML sebuah halaman website secara otomatis, mengekstrak data spesifik (seperti judul dan harga), lalu menyimpannya dalam format yang rapi (seperti CSV atau JSON) dalam hitungan detik.

Bedanya dengan Fetch API Biasa?

Jika website tersebut berbaik hati, mereka akan menyediakan Public API (jalur resmi untuk mengambil data). Kalau ada API, kamu cukup melakukan Fetch atau Axios, dan data bersih langsung kamu dapatkan.

Namun, bagaimana jika website pesaing bisnismu tidak memiliki API terbuka? Kamu terpaksa harus menggunakan teknik Scraping. Kodemu akan berpura-pura menjadi browser biasa, men-download file HTML kotor mereka, lalu kamu menyaring isinya dengan menggunakan CSS Selectors (mencari elemen dengan class .product-price).

Tools yang Sering Digunakan

Web Scraping paling kuat dilakukan menggunakan bahasa Python atau Node.js. Beberapa *library* favorit developer adalah:

• Cheerio (Node.js) / BeautifulSoup (Python): Sangat cepat untuk melakukan *scraping* pada website statis biasa.
• Puppeteer (Node.js) / Selenium (Python): Digunakan untuk *scraping* website tingkat lanjut yang datanya baru muncul setelah efek animasi JavaScript selesai, atau butuh simulasi klik tombol terlebih dahulu.

Apakah Web Scraping Itu Legal?

Ini adalah zona abu-abu. Secara umum, melakukan *scraping* pada data publik (seperti ulasan Google Maps, harga barang, atau artikel berita) adalah sah-sah saja asalkan mematuhi etika.

Etika Scraping (Jangan jadi bot yang jahat):

1. Jangan menembak (request) ribuan kali dalam 1 detik. Itu sama saja melakukan serangan DDoS yang bisa membuat server website orang lain down (mati). Beri jeda/delay (*sleep*) antar request.
2. Periksa file robots.txt di website target (misal: tampilkit.com/robots.txt). File ini berisi instruksi dari pemilik web tentang bagian mana yang boleh di-scrape dan mana yang dilarang.
3. Dilarang keras melakukan scraping pada data rahasia yang tersembunyi di balik halaman Login tanpa izin tertulis.