У нашего сервиса есть свой SEBot, который работает так же, как и другие краулеры — он переходит по URL-ам, сканирует и анализирует каждую страницу по всем возможным параметрам.