Crawler / Spider / Robot

Crawler / Spider / Robot : Một chương trình được thiết kế để thu thập dữ liệu trên web bằng cách theo liên kết giữa các trang. Là hình thức thông thường được sử dụng bởi các công cụ tìm kiếm để tìm các trang sau đó
Xem thêm tại: Google hoạt động như thế nào