Soal SMA · Soal cerita · Kesulitan 4/5
Seorang pengembang ingin membuat web scraping untuk mengambil data dari situs web. Namun, situs tersebut memiliki robots.txt yang melarang scraping pada path tertentu. Apa yang sebaiknya dilakukan pengembang?
- A.Mematuhi robots.txt dan tidak melakukan scraping pada path yang dilarang.
- B.Mengabaikan robots.txt karena tidak memiliki kekuatan hukum.
- C.Menggunakan IP proxy untuk menghindari deteksi.
- D.Mengubah user-agent agar terlihat seperti browser biasa.
Kunci jawaban & pembahasan
Jawaban: Mematuhi robots.txt dan tidak melakukan scraping pada path yang dilarang.
robots.txt adalah standar etika web scraping; mematuhinya adalah praktik yang benar dan menghormati kebijakan situs.
Mau penjelasan yang menyesuaikan level anak?
Xinau AI membahas soal langkah demi langkah, menyesuaikan gaya bahasa dengan usia anak, dan menyusun latihan berikutnya berdasarkan jawaban sebelumnya.
Coba gratis 30 hari