ไฟล์ robots.txtไฟล์ที่คุณสามารถระบุเพื่อค้นหาซอฟต์แวร์รวบรวมข้อมูลเครื่องมือซึ่งหน้าสามารถรวบรวมข้อมูลและจัดทำดัชนีและที่ไม่ได้ มีสองเหตุผลที่คุณควรมีไฟล์ robots.txt
ขั้นแรกคุณต้องการป้องกันไม่ให้ไฟล์สื่อหรือทรัพยากรบางรายการปรากฏบน Google
ประการที่สองคุณต้องการจัดการปริมาณการเข้าชมจากโปรแกรมรวบรวมข้อมูลไปยังเว็บไซต์ของคุณ
โปรดจำไว้ว่าคุณไม่ควรพึ่งพา robots.txt เพื่อซ่อนหน้าเว็บของคุณจากผลการค้นหาของ Google เนื่องจากหน้าเว็บนั้นยังคงแสดงอยู่บน SERP ได้หากมีหน้าอื่นที่เชื่อมโยงกลับไปที่หน้านั้น คุณควรใช้แท็ก noindex หรือสร้างรหัสผ่านสำหรับไฟล์ / เพจของคุณเพื่อให้แน่ใจว่าเนื้อหาบางอย่างไม่แสดงบน SERP