Bu makale, Crawl’nin ne olduğunu ve Crawl’nin nasıl kullanılacağını ayrıntılı olarak açıklayacaktır.
Sürünmek
Tarama, bir web sayfasını ziyaret eden ve içeriğini ve bağlantılarını alan bir bot, komut dosyası veya yazılım programını tanımlar. Program tamamlandığında, listedeki bir sonraki bağlantıyı veya son ziyaret ettiği web sayfasından alınan bir bağlantıyı ziyaret eder.
