Package: site-auditor
Site Auditor============Для чего--------Этот инструмент необходим для анализа и аудита сайтов. Осуществляет быстрый и качественный сбор информации в автоматическом режиме, достаточно указать цель.Особенности------------ Open Source- WHOIS- ip, title, description, keywords, web-server, powered by, content language, content type- Яндекс ТИЦ, Google PR, Alexa rank (во всем мире/в отдельной стране)- Проверка на наличие в каталогах Яндекс, Mail, Yahoo, DMOZ, TDP- Количество ссылок в Яндекс Блоги (часто требует капчу), Google, Яндекс (сколько проиндексировано всего (часто требует капчу)/попаввшие в индекс), Yahoo, Bing (в индексе, кол-во исходящих ссылок)- Проверка установки Яндекс метрики, Google Analytics, Live Internet, Rambler TOP100, Mail Rating- Проверка существования страниц авторизации - Joomla, WordPress, UMI.CMS, Ucoz, Bitrix, /admin, /login, MODX, DLE, Drupal, ISP Manager- Вывод ``sitemap.xml`` и ``robots.txt``, если существуют.- W3C HTML validator- Безопасный просмотрПример работы-------------.. code-block::Enter site, please: google.ruFull scan? y/n y==================================================WHOIS==================================================domain:        GOOGLE.RUnserver:       ns1.google.com.nserver:       ns2.google.com.nserver:       ns3.google.com.nserver:       ns4.google.com.state:         REGISTERED, DELEGATED, VERIFIEDorg:           Google Inc.registrar:     RU-CENTER-REG-RIPNadmin-contact: https://www.nic.ru/whoiscreated:       2004.03.04paid-till:     2014.03.05free-date:     2014.04.05source:        TCInic-hdl:       RU-CENTER-REG-RIPNorg:           Regional Network Information Centerphone:         +7 495 737 0601fax-no:        +7 495 737 0602e-mail:        ru-bill@nic.ruwww:           https://www.nic.ru/whoiswhois:         whois.nic.rusource:        TCILast updated on 2014.02.09 16:31:33 MSK==================================================Base site information==================================================Site ip - 87.245.196.177Web Server - gwsPowered by - NOContent Language - NOContent Type - text/html; charset=UTF-8Site title - GoogleDescription - NOKey words - NOW3C HTML validator - 26 Errors, 3 warning(s)==================================================Ranks==================================================Yandex TYC - 64000Google Page Rank - 7Alexa Rank in all world - 42Alexa Rank in Russia - 3==================================================Catalogs==================================================Yandex Catalog - YESMail Catalog - YESYahoo Catalog - NODMOZ Catalog - YES, 16TDP Catalog - YES==================================================Links==================================================Yandex Blog links - 418563Proindexirovano v Google - примерно 1340000Proindexirovano v Yandex - 2 млнPopavshie v index Yandex - 123875Yahoo index - 3,320,000Bing index - 3190000Bing Outgoing Links - 59600==================================================Stats==================================================Yandex Metrika - NOGoogle Analytics - NOLive Internet - NORambler TOP100 - NOMail Rating - NO==================================================Admins==================================================Joomla Admin Directory - NOWordPress Admin Directory - NOUMI.CMS Admin Directory - NOUcoz Admin Directory - NOBitrix Admin Directory - NOSimple Login Page - NOSimple Admin Login Page - NOMODX Admin Directory or ISP Manager - NODLE Admin Directory - NODrupal Login page - NO==================================================Safe Browsing==================================================Google - NO - В настоящее время этот сайт не занесен в список подозрительных. NO - За последние 90 дней на этом сайте не размещалось вредоносное ПО.Yandex - Сайт google.ru не заражён, либо подробности заражения ещё не опубликованыSite Advisor - This link is safe. We tested it and didn't find any significant security issues==================================================Files==================================================Robots.txt: EMPTYSiteMap XML: EMPTY==================================================All Time - 14.97 seconds==================================================Установка---------Для работы **Site Auditor** необходим  `Requests <https://github.com/kennethreitz/requests>`_  и Python 3.4.Вы можете `скачать <https://github.com/stleon/OmgSite/archive/master.zip>`_ текущую версию (все самое новое). Или вы также способны на следующее:.. code-block::pip install requestspip install site-auditorКак пользоваться----------------На данный момент мы на стадии **Pre-Alpha**. Вы можете увидеть сообщения об ошибках и т.д. Но **Site Auditor** работает набольшинстве протестированных мной сайтов... code-block::cd site_auditorpython site_auditor.pyКуда будет развиваться----------------------Планируем сделать:- Web-приложение- Анализ позиций сайтов по запросам- Статистика по каждому запросу- Возможность ранжирования запросов- Система контроля работы сайта с оповещениемCopyright (C) 2014 ST LEONemail: leonst998@gmail.comweb site: http://omgit.ruИстория изменений=================1.4.1 (22.03.2014)-----------------Исправлено:- определение кол-ва ссылок с яда1.4.0 (17.03.2014)-----------------Изменено:- Никаких 'YES'or 'NO' в атрибутах, теперь True or False1.3.8 (17.03.2014)-----------------Добавлено:- Python 3.41.3.7 (16.03.2014)-----------------Изменено:- Новый вид сканирования1.3.6 (10.03.2014)-----------------Изменено:- ``SiteException`` перенесен в ``site_auditor.py``1.3.5 (09.03.2014)-----------------Добавлено:- багфиксы, адаптация под модели saw1.3.1 - 1.3.4 (26.02.2014)-----------------Добавлено:- pip install- новая реализация __str__Удалены:- *txt файлы (out)1.3.0 (26.02.2014)-----------------Добавлено:- 2 вида сканирования - полное и частичное1.2.6 - 1.2.7 (25.02.2014)-----------------Добавлено:- Docs fix1.2.5 (19.02.2014)-----------------Добавлено:- Site Advisor1.2.4 (17.02.2014)-----------------Добавлено:- Вывод времени, затраченного на анализ1.2.3 (11.02.2014)-----------------Добавлено:- Поиск чистого домена1.2.2 (11.02.2014)-----------------Добавлено:- Исходящие ссылки Bing- Страницы в индексе Bing1.2.1 (11.02.2014)-----------------Добавлено:- TDP Catalog- Yahoo index1.2.0 (10.02.2014)-----------------Добавлено:- Безопасный просмотр1.1.2 (10.02.2014)-----------------Удалено:- Неиспользуемый код1.1.1 (10.02.2014)-----------------Добавлено:- Новая функция парсера1.1.0 (09.02.2014)-----------------Добавлено:- ``Microdata`` в тестовом режиме- Обновлены доки1.0.5 (09.02.2014)-----------------Добавлено:- Теперь строковое представление объекта можно настраивать в ``out.txt``- Обновлены доки1.0.4 (08.02.2014)-----------------Исправлено:- Никаких "!№" и тд в домене1.0.3 (08.02.2014)-----------------Исправлено:- Домен не менее 4х символов- ``www`` теперь не удаляются1.0.2 (07.02.2014)-----------------Исправлено:- Домен не длиннее 255 символов- Работа с доменами, написанными на кириллице1.0.1 (07.02.2014)-----------------Изменения:- Нет u'', так как Python 31.0.0 (07.02.2014)-----------------Изменения:- Переход на Python 3.30.2.1 (05.02.2014)-----------------Добавлено:- W3C HTML validator0.2.0 (05.02.2014)-----------------Добавлено:- Whois0.1.0 (04.02.2014)-----------------Добавлено:- Проверка существования страниц авторизации MODX, DLE, Drupal, ISP Manager0.0.1 (04.02.2014)-----------------Добавлено:- класс ``SiteAuditor`` и класс ``MetaHTMLParser``