Khi nào cần sử dụng File robot.txt?
Trường hợp khi cần sử dụng File robot.txt là:
Chặn công cụ tìm kiếm khi đang xây dựng website
Tránh bị đối thủ chơi xấu
Chặn các công cụ thu thập liên kết