txt ફાઇલમાં શોધ એન્જિન્સ માટે વિપુલ મૂલ્ય હશે અને તમારી વેબસાઇટનું પ્રદર્શન સુધારવા માટે પણ કી ઘટક હોઇ શકે છે, પરંતુ કેટલાક રોબોટ ક્રોલર્સ હજુ પણ તમારી સૂચનાઓને અવગણશે.