તે માત્ર રોબોટ્સ ના બિનજરૂરી પૃષ્ઠો બંધ કરવા માટે જરૂરી છે તે પાથ જે તમે સ્ત્રોત નકશા અને યજમાન નિર્દેશન ઍક્સેસ કરી શકો છો તે આપી શકે તે જરૂરી છે.