➤ 3. парсите ли вы сайты с авторизацией?

 

да, только делаем это очень аккуратно. это сложнее обычного парсинга, так как сайты-источники блокируют частые запросы к своим серверам, но, зачастую, зарегистрированным пользователям доступны api и есть возможность работы с использованием нескольких аккаунтов.

➤ 4. как вы работаете с картинками и файлами?

 

мы храним url-адреса на изображения и файлы. по этим адресам вы можете скачать файлы на свой сервер и обработать их как требуется.

➤ 5. используете ли вы готовые программы для парсингов сайтов?

 

нет. хоть сейчас и существует много различных инструментов для парсинга, все они являются в той или иной степени универсальными и решают общие задачи. их тяжело адаптировать под нетривиальные требования. часто бывает так, что в существующий парсинг требуется внести изменения, которые не поддерживает программа, и мы упираемся в ее функционал. это может быть уникализация контента или обработка текста типографом. это проблема всех «коробочных» решений, касающихся не только парсинга. поэтому мы используем свои наработки, которые легко и точно настраиваются под конкретные задачи.

➤ 6. можете ли вы спарсить email-адреса и телефоны?

 

обычно, эта информация относится к личном данным пользователей, поэтому, из правовых соображений, мы не парсим эти данные. однако, если email-адреса или телефоны используются сайтом публично, к примеру, сайт является аггрегатором компаний и парсинг не нарушает условий использования, то парсим.

➤ 8. в каком виде я получу данные и как их использовать?

 

мы выгружаем данные в файл excel и предоставляем вам доступ. популярные cms поддерживают импорт данных с помощью стандартного функционала или расширений. поэтому, в большинстве случаев, этот формат подойдет вам. он также подходит и для источника данных в самописных бизнес-решениях. однако, если вам нужно получить данные в другом виде, например в json или из базы данных, мы можем это сделать.

➤ 9. можно ли изменить данные при парсинге?

 

да. частая проблема с которые сталкиваются клиенты — уникальность текста после парсинга. особенно когда дело касается парсинга десятков тысяч страниц товаров интернет-магазинов. повторное использование текста может привести к санкциям со стороны поисковых систем. мы занимается последующей обработкой текстов — повышением уникальности текста с разной степенью обработки и корректировкой формата текста с помощью типографа.

➤ 10. законно ли парсить сайты?

 

парсинг сайтов является законным, если он не нарушает запретов, установленных законодательством российской федерации. поэтому мы соблюдаем следующие правила? 1. собираем только открытые данные в свободном доступе. 2. данные не должны нарушать авторские и смежные права. 3. мы не собираем личные данные пользователей. 4. парсинг не должен нарушать условий использования сайта. 5. парсинг не должен негативно сказываться на работе сайта. 

➤ 11. можно ли защититься от парсинга?

 

гарантированной 100% защиты от парсинга не существует. есть разные методы защиты, но все они, как правило, обходятся определенными техническими способами. если данные каким-либо образом доступны посетителю сайта, то они по определению смогут быть доступны и программе парсеру. вопрос в том, насколько трудоемким будет процесс извлечения.

➤ 12. парсите ли вы сайты, защищенные проверочным кодом?

 

да. для этого у нас имеется готовый набор решений, которые позволяют как обойти верификацию, так и распознать код и использовать его для доступа к данным. последний является более изощренным и дорогостоящим методом, но этот метод проверен и работает

➤ 15. зависит ли цена от количества страниц?

 

нет никакой разницы сколько страниц парсить. парсинг будет выполнять свои задачи одинаково, как для одной страницы, так и для десятков тысяч страниц. цена зависит от того, насколько разнородную информацию нужно извлечь. например, если интернет-магазин имеет разные макеты категорий товаров, то, фактически, нужно писать несколько условно-отдельных парсеров под каждую категорию. цена такого парсинга будет ненмого выше и она не зависит от количества страниц.

➤ 16. есть ли какие-то ограничения на сайты-доноры?

 

ограничений к сайтам донорам нет. мы можем отказать в предоставлении услуг лишь из правовых соображений. например, в случае, если необходимо извлечь конфиденциальную информацию, личные данные пользователей или сбор информации будет нарушать авторские права.

➤ 17. можно ли спарсить товары интернет-магазина определенной категории?

 

да. вы можете выбрать определенные категории товаров, отдельные разделы сайтов, выборочные страницы и пр. мы аккуратно распределим и положим эту информацию в один или несколько файлов, в удобном для вас виде.