Переделал поиск соответствия по user_agent на определение бота. Раньше было не правильно.