ملف robots.txt يخبر روبوتات الزحف بأي أقسام الموقع يمكنها تصفحه، وأيها لا يمكنها.