તેને મેનેજ કરવા માટે (ઉદાહરણ તરીકે, એક ચોક્કસ પૃષ્ઠ પહેલ પર પ્રતિબંધ), તમે એક robots.