Đây là một trong những lỗi kỹ thuật phổ biến trong quá trình Audit SEO Website (kiểm tra trang web). Hiện nay các công cụ hỗ trợ đã không cho phép thu thập dữ liệu đối vối tất cả các trang thư mục do định cấu hình Robots.txt không đúng cách và không phù hợp.