Web Scraping vs API: Mencuri Data Secara Halus vs Pintu Resmi

Bayangin Kamu Mau Tahu Semua Harga Tiket Pesawat...

Bayangin Budi bikin aplikasi pembanding harga tiket pesawat. Dia ingin menampilkan harga tiket dari situs Maskapai A. Cara paling normal adalah Budi meminta Akses API Resmi ke Maskapai A (dikasih pintu khusus untuk narik data JSON dengan rapi).

Masalahnya, Maskapai A pelit dan menutup diri. Mereka tidak mau memberikan akses API ke Budi karena takut Budi mengambil pelanggan mereka. Apakah Budi harus mempekerjakan 100 orang untuk mengetik ulang harga dari web Maskapai A ke web-nya secara manual tiap hari?

Nah, Di Sinilah 'Web Scraping' Masuk!

Jika pintu depan (API) dikunci, programmer akan menggunakan teknik masuk lewat jendela yang disebut Web Scraping.

Alih-alih manusia, Budi membuat robot JavaScript (menggunakan alat seperti Puppeteer atau Cheerio). Robot ini akan menyamar menjadi manusia, membuka URL website Maskapai A secara gaib, lalu MEMBACA KODE HTML MENTAH-NYA!

• Budi mengajari robotnya: "Hei Robot, cari tag HTML yang namanya
  , lalu sedot teks angka yang ada di dalamnya, lalu simpan ke database kita!"
• Robot ini bisa membaca 10.000 halaman tiket hanya dalam waktu 5 menit. Budi pun mendapatkan data kompetitor secara instan!

Kenapa Web Scraping Sangat Rapuh?

Scraping ibarat menempelkan plester pada pipa bocor. Sangat rapuh (Brittle). Kenapa?

• Karena robot Budi mengandalkan nama class CSS (.harga-tiket), jika besok *Frontend Developer* Maskapai A memperbarui website-nya dan mengubah nama class-nya menjadi .ticket-price-new, robot Budi akan BUTA MENDADAK! Aplikasinya langsung *error* tidak bisa menyedot harga lagi sampai Budi meng-update skrip robotnya.
• Perusahaan raksasa punya alat Anti-Scraping (Bot Protection) seperti Cloudflare yang akan langsung memblokir IP robot Budi jika ketahuan membuka halaman terlalu cepat melebihi batas wajar manusia.

Intinya: Web Scraping adalah solusi "Hack" jalanan jika jalur resmi API tidak tersedia. Namun, selalu utamakan menggunakan REST API resmi jika ada, karena API dirancang agar bentuk datanya tetap stabil (Kontrak Data) meskipun desain UI website-nya berubah-ubah.