બધી વેબસાઇટ્સની પાસે એક ફાઇલ હોવી જોઈએ જે રુટ ડાયરેક્ટરીમાં સ્થિત છે જેને robots.