Web crawlers là một trình thu thập thông tin có nhiệm vụ download và index toàn bộ content trên không gian mạng.