Crawling (thu thập thông tin) là quá trình khám phá trong đó các công cụ tìm kiếm gửi ra một nhóm robot (được gọi là trình thu thập thông tin hoặc trình thu thập dữ liệu) để tìm nội dung mới và cập nhật. Nội dung có thể khác nhau - đó có thể là trang web, hình ảnh, video, PDF,... - nhưng bất kể định dạng nào, nội dung đều được phát hiện bởi các liên kết.