txt ફાઇલ વેબ રોબોટ્સને શોધ એન્જિન સ્પાઈડર જેવા કે જે ડિરેક્ટરીઓ અને ફાઇલોને ક્રોલ કરવાની અનુમતિ આપે છે તે જણાવશે Robots.