УСТРОЙСТВО ДЛЯ КЛАССИФИКАЦИИ ЭЛЕКТРОННЫХ ДОКУМЕНТОВ

Полезная модель относится к устройству для классификации документов. Более конкретно, полезная модель относится к устройству для классификации совокупностей электронных документов путем определения классов электронных документов совокупностей. Для классификации документов совокупностей в настоящей полезной модели используется метод семиотического анализа. Данная полезная модель предназначена для улучшения качества и полноты поисковых выдач в поисковых системах, когда область классификации и глубина классификации предварительно заданы.
Полезная модель реализует алгоритмы лексического, морфологического, синтаксического и семантического анализа текстов. Применение алгоритмов лингвосемантического и синтаксического анализа для рубрицирования описано Андреевым A.M., Березкиным Д.В., Морозовым В.В., Симаковым К.В. в статье «Автоматическая классификация текстовых документов с использованием нейросетевых алгоритмов и семантического анализа». Одним из применений полезной модели является классификация веб-страниц и веб-сайтов по жанрам. Особенности коммуникативных практик, реализующихся в электронной среде на многочисленных веб-страницах и сайтах, возникновение и функционирование в сети Интернет виртуальных жанров обсуждалось в статье Herring S.C. A Faceted Classification Scheme for Computer-Mediated Discourse, in Language&/Internet, 2007, vol. 4.
Для достижения технического результата устройство для классификации совокупностей электронных документов выполнено содержащим:
- блок задания тематической области и глубины классификации;
- базу данных, содержащую совокупности электронных документов, каждый электронный документ которых содержит набор семиотических дескрипторов (символов, слов, словосочетаний, предложений) и дескрипторов формата отображения (меток, которые несут в себе информацию о том, какими будут отображены в электронном виде соответствующие им семиотические дескрипторы);
- блок загрузки совокупностей документов, загружающий совокупности электронных документов из базы данных;
- фильтр дескрипторов документов совокупностей, содержащий инструкции для распознавания семиотических дескрипторов и/или дескрипторов формата отображения;
- сепаратор, получающий документы совокупностей от загрузчика совокупностей документов и инструкции от фильтра дескрипторов документов совокупностей и разделяющий документы совокупностей на слой дескрипторов формата отображения и слой семиотических дескрипторов;
- словарь дескрипторов, их синонимов и форм;
- блок классификации семиотических дескрипторов, классифицирующий дескрипторы из слоя семиотических дескрипторов, используя словарь дескрипторов, их синонимов и форм;
- блок классификации документов совокупностей, классифицирующий документы совокупности с учетом классифицированных семиотических дескрипторов и соответствующих им дескрипторов из слоя дескрипторов формата отображения;
- блок классификации совокупностей документов, классифицирующий совокупность документов усреднением классов документов совокупности;
- блок визуализации, визуализирующий решение, принятое в блоке классификации совокупностей документов.
Сущность полезной модели поясняется чертежами, на которых изображено:
На фиг. 1 - блок-схема устройства для классификации совокупностей электронных документов;
На фиг. 2 - блок-схема способа классификации совокупностей электронных документов;
На фиг. 3 - пример веб-сайта, фиг. 3А - HTML-представление веб-сайта, показанного на фиг. 3; фиг. 3B - слой дескрипторов формата отображения HTML-представления веб-сайта, показанного на фиг. 3A; фиг. 3C - слой семиотических дескрипторов HTML-представления веб-сайта, показанного на фиг. 3A;
На фиг. 4 - примеры праксиологических характеристик веб-сайтов и веб-страниц.
Устройство для классификации совокупностей электронных документов может состоять из следующих блоков (см. фиг. 1): блока задания тематической области и глубины классификации 106, загрузчика совокупностей документов 108, базы данных 102, фильтра дексрипторов документов совокупностей 104, сепаратора 110, блока классификации семиотических дескрипторов 122, словаря дескрипторов, их синонимов и форм 124, блока классификации документов совокупностей 120, блока классификации совокупностей документов 118 и блока визуализации 116. Пользователь может задать область и глубину классификации, которые будут получены блоком задания тематической области и глубины классификации 106. Область и глубина классификации могут быть выбраны из предложенных, могут быть заданы отдельно. Например, могут быть представлены в виде таблицы элементов, которые можно выбрать, либо существует поле, в котором можно указать иной вариант. Загрузчик совокупностей документов 108 может загрузить из базы данных 102 совокупность документов. Затем каждый документ совокупности в сепараторе 110 может быть разделен на слой дескрипторов формата отображения документов 112, содержащий метки, несущие в себе информацию о том, каким будет отображен в электронном виде соответствующий им текст, или семиотические дескрипторы, и слой семиотических дескрипторов 114, причем сепаратор 110 получает инструкцию от фильтра дескрипторов документов совокупностей 104 о том, каким образом разделить документ на слои. Дескрипторы формата отображения и семиотические дескрипторы являются текстовыми. Разделение осуществляется любым известным способом, например, с использованием фильтра дескрипторов, который отделяет текстовое представление дескрипторов формата отображения (которые могут быть помечены специальными символами) от семиотических дескрипторов (остальных дескрипторов, которые не помечены специальными символами). После разделения документа на слои 112 и 114 связи между ними по-прежнему сохраняются.
В частном случае полезной модели, перед разделением электронного документа на слои может требоваться индексация содержимого электронного документа (добавление данных о текстовых единицах, например, символах, словах, в специальную базу данных для работы с текстом). В таком случае полезная модель дополнительно может содержать блок индексации. Если документ совокупности, помимо текстовых, содержит картиночные и/или мультимедийные объекты, картиночные/мультимедийные объекты могут быть предварительно проверены на наличие в них текста, проверка может осуществляться любым известным способом распознавания изображений (например, OCR). В случае наличия текста, этот текст учитывается при формировании слоя семиотических дескрипторов. В таком случае полезная модель дополнительно может содержать блок распознавания изображений. В блоке классификации семиотических дескрипторов 122 может осуществляться классификация семиотических дескрипторов с использованием, к примеру, словаря дескрипторов, их синонимов и форм 124 и/или другими методами. Семиотический анализ может включать как минимум один из следующих анализов: лексический, лексико-грамматический, синтаксический, семантический. Как правило, применяется комбинация из этих способов. На этапе лексического анализа выделяются текстовые единицы, такие как слова, предложения, абзацы. На этапе морфологического анализа определяются часть речи и значения грамматических характеристик слов, таких как часть речи, род, число и т.д. На этапе синтаксического анализа - синтаксическая структура предложения, семантического анализа - смысловая нагрузка текста. Каждый последующий вид анализа из перечисленных включает в себя результаты предыдущих. Классификация семиотических дескрипторов осуществляется с глубиной не меньше заданной пользователем и зафиксированной в блоке 106. Классы дескрипторов могут быть подобраны таким образом, чтобы они могли определять наличие ключевого слова, словосочетания или предложения, их форм и синонимов и частоту их встречаемости в документе, тональность документа, степень интерактивности, степень динамичности, тип модальности, функциональности и другие параметры. Под тональностью документа понимают эмоциональное отношение автора к некоторому объекту (объекту реального мира, событию, процессу и их свойствам/атрибутам), выраженное в тексте. Тональность может оцениваться по бинарной шкале, многополосной шкале или иначе. Интерактивность документа - это характер взаимодействия автора и целевой аудитории. Интерактивность документа может оцениваться по бинарной шкале. Степень динамичности документа - степень того, насколько содержимое документа постоянно, как часто меняется. Модальность документа характеризует контент документа (текст/картинка/видео/аудио). Функциональность документа отражает цель этого документа и его роль. Могут быть подобраны и другие классы семиотических дескрипторов. При классификации семиотических дескрипторов могут использоваться специальные словари с ключевыми словами, фразами или предложениями, с учетом грамматических форм и синонимов ключевых слов. Классификатор может быть предварительно обучен. Классифицированные семиотические дескрипторы поступают в блок классификации документов совокупностей 120, где рассчитывается весовой коэффициент влияния каждого семиотического дексриптора на классификацию всего документа. На весовые коэффициенты могут влиять дескрипторы из слоя дескрипторов формата отображения документов. По умолчанию, весовой коэффициент каждого семиотического дексриптора равен 1, но он может быть увеличен/уменьшен. Влияние на весовой коэффициент может оказывать, например, соответствующий семиотическому дескриптору дескриптор формата отображения из слоя дескрипторов формата отображения. К примеру, если семиотическому дескриптору соответствует дескриптор формата отображения «заголовок», весовой коэффициент может быть увеличен, если же семиотическому дескриптору соответствует скрытый дескриптор формата отображения или дескриптор рекламы, весовой коэффициент может быть уменьшен (в том числе приравнен к 0).
В этом же блоке 120 происходит классификация документов совокупности. Для определения класса документа может использоваться любая вероятностная модель, например, модель наивного байесовского классификатора, которая в общем виде выглядит следующим образом:
1
n
1
n
Где p(C|F,…,F) - условная вероятность того, что документ с семиотическими дескрипторами F…F принадлежит классу C,
1
n
1
n
p(F,…,F|C) - условная вероятность встретить документ с семиотическими дескрипторами F…F среди всех документов класса C,
p(C) - безусловная вероятность встретить документ класса С,
1
n
1
n
p(F,…,F) - безусловная вероятность существования документа с семиотическими дескрипторами F…F.
Классы могут делиться на указанные пользователем и «Другие».
В блоке классификации совокупностей документов 118 классифицируется совокупность документов путем усреднения классов документов совокупности или иным методом. Для классификации может использоваться любая вероятностная модель, например, наивного байесовского классификатора. Классификаторы могут быть предварительно обучены.
По завершении процесса классификации совокупности документов, классификации всех полученных из базы данных совокупностей, результаты классификации визуализируются блоком визуализации 116. В частном случае реализации полезной модели результаты классификации могут быть представлены в виде списка подходящих под эту классификацию совокупностей документов. В другом частном случае результаты могут быть визуализированы в качестве гистограммы вероятности отнесения совокупностей документов к заданным классам.
Полученные от пользователя данные о тематической области и глубине классификации, загруженные совокупности документов, промежуточные результаты классификации семиотических дескрипторов, классы документов совокупности, классы совокупностей документов могут храниться в памяти.
На фиг. 2 показана блок-схема способа классификации совокупности электронных документов.
В шаге 202 осуществляется задание области и глубины классификации. В шаге 204 происходит загрузка совокупности документов. Загрузка может производиться из любой базы совокупностей электронных документов. В шаге 206 загружается один из документов совокупности.
В шаге 208 происходит анализ содержимого документа и разделение электронного документа на слой дескрипторов формата отображения, содержащих дескрипторы формата отображения, и слой семиотических дескрипторов, содержащих семиотические дескрипторы. В шаге 210 слой семиотических дескрипторов электронного документа подвергается семиотическому анализу, отдельные дескрипторы классифицируются по семиотическим признакам. После того как семиотические дескрипторы классифицированы, в шаге 212 определяется весовой коэффициент для каждого семиотического дескриптора. В шаге 214 происходит отнесение документа к одному из заданных в шаге 202 классов с учетом весовых коэффициентов семиотических дескрипторов.
В шаге 216 проверяется, есть ли еще документы в совокупности документов.
Если есть, повторяются шаги 206-216, если нет, выполняется шаг 218.
В шаге 218 классы всех документов, входящих в совокупность, усредняются любым известным способом, в шаге 220 совокупность документов классифицируется. Также может строиться гистограмма вероятности отнесения документа к каждому заданному классу и визуализироваться.
Полезная модель классифицирует совокупности электронных документов, причем электронный документ представляет собой набор семиотических дескрипторов и дескрипторов формата отображения.
В частном случае, одним из примеров совокупности электронных документов может быть веб-сайт, электронного документа - веб-страница. Классификация веб-сайтов и веб-страниц может осуществляться по жанрам.
Веб-сайт является совокупностью электронных документов (веб-страниц) частного лица или организации в компьютерной сети под общим адресом (доменным именем или IP-адресом) и создается на языке HTML - стандартном языке разметки документов в компьютерной сети.
Любой документ на языке HTML (веб-страница) представляет собой набор семиотических дескрипторов (набора связных объектов, например, символов, слов, словосочетаний, предложений) и дескрипторов формата отображения - специальных меток, которые несут в себе информацию о том, какими будут отображены в электронном виде соответствующие им семиотические дескрипторы. Дескрипторы формата отображения в языке HTML помечаются символами <и>. Открывающий дескриптор в языке HTML обозначается<р>, закрывающий - </р>. Могут встречаться дескрипторы формата отображения, которым соответствуют «пустые» семиотические дескрипторы, то есть не содержащие никаких объектов (текстовых/картиночных/мультимедийных/…). К таким дескрипторам относится дескриптор перевода строки <br>. В этом случае обычно не указывается закрывающий дескриптор формата отображения.
На фиг. 3 показан пример веб-сайта (300), состоящего из веб-страниц 310a-e, на веб-странице 300a показан заголовок 320, основной текст 330 со списком 340 и рекламный баннер 350. Страницы 300b-e могут иметь схожую или отличную разметку и содержание. На фиг. 3A изображено HTML-представление этого же веб-сайта 300, состоящего из веб-страниц 310a-e, 320a - HTML-представление заголовка 320, 330a и 340a - HTML-представление основного текста 330 и списка 340 соответственно, 350a - HTML-представление рекламного баннера 350.
В рассматриваемом примере задачей полезной модели является классификация веб-сайта 300 с учетом классов его веб-страниц 310a-e. При классификации веб-страниц и веб-сайта в целом учитываются классы семиотических дескрипторов каждой веб-страницы.
На фиг. 3B показан слой дескрипторов формата отображения 360 HTML-представления документа 300, на фиг. 3C - слой семиотических дескрипторов 370 HTML-представления веб-сайта 300.
Одним из видов классификации веб-сайтов и веб-страниц является жанровая. Жанр веб-сайта - это типовая модель построения речевого целого. По жанрам могут быть классифицированы как веб-сайт в целом, так и каждая веб-страница в отдельности. В основе классификации сайтов могут лежать 2 типа основных характеристик: праксиологические (учитывающие сферы деятельности) и коммуникационные (отражающие характер того, как автор взаимодействует с целевой аудиторией веб-сайта или веб-страницы).
К числу праксиологических характеристик могут быть отнесены приведенные на фиг. 4. К примеру, субъектом может выступать один из следующих: индивид, группа, организация, государство. Группа может уточняться как социальная группа (в частности, семья) или сообщество (группа по интересам). Местоимения первого лица единственного числа (я) и его формы характерны для персональной странички (персонального общения) и неприемлемы на сайте организации (институциональное общение), где для определенных видов деятельности (коммерческая, рекламная) могут быть применены местоимения первого лица множественного числа (мы) и его формы, тогда как местоимения первого лица (я, мы) полностью отсутствуют в официальном стиле, характерном для сайтов государственных органов. Бенефициант (индивид, группа, организация, социум), к примеру, позволяет различить продукты, потребляемые индивидуально, коллективно или обществом в целом. Тип распространения продукта (цифровой, физический) также позволяет судить о жанре сайта. Определить, цифровой продукт или физический, можно, к примеру, по ключевым словам. Если на веб-сайте есть, к примеру, фраза Скачать пробную версию продукта или подобная, можно судить о том, что продукт цифровой, если же веб-сайт предлагает доставку товара с курьером либо самовывоз, продукт является физическим. В настоящем описании такие фразы являются семиотическими дескрипторами, которые могут быть классифицированы (для этого могут быть применены методы лексического, морфологического, семантического анализа). Признаками для классификации могут быть, к примеру, наличие местоимений я, вы, мы (и всех их форм с учетом регистров символов), наличие ключевых фраз Доставка курьером, самовывоз и их синонимов и т.п. Значения могут представлены в бинарной форме, десятичной, могут быть нормированы. Коммуникативными задачами могут являться фатическая (наладить общение с целевой аудиторией), иллокутивная (передать целевой аудитории информацию о тематике и/или деятельности, в частности, с целью получить от целевой аудитории информацию, необходимую для реализации деятельности) и перлокутивная (обеспечить желаемую реакцию целевой аудитории). Коммуникативным задачам соответствуют реактивные, к которым могут относиться следующие: фатическая (целевая аудитория становится участником общения: вступает в общение, поддерживает общение), когнитивная (информационная: целевая аудитория усваивает информацию о товаре и/или деятельности; оценочная: целевая аудитория активирует или вырабатывает определенное отношение к тематике и/или деятельности), иллокутивная (информационная: целевая аудитория передает автору информацию о целевой аудитории; оценочная: целевая аудитория передает автору отношение к тематике и/или оценку деятельности) и прагматическая (целевая аудитория совершает определенное некоммуникативное действие, связанное с тематикой и встроенное в структуру деятельности, например, заказ/покупку, пожертвование, подачу заявки на участие и т.п.). Исходя из коммуникативных характеристик, все веб-сайты и веб-страницы могут быть разделены на: сайты для общения (социальные сети, блоги, интернет-форумы), деловые сайты (сайты-визитки, корпоративные сайты, интернет-витрины, промо-сайты), информационные сайты (тематические сайты, интернет-порталы, каталоги сайтов). Сайты для общения направлены на организацию общения, что типично для блогов и форумов. Технологически в наибольшей степени обеспечивают возможность диалогического общения в стиле устной коммуникации. Это позволяет собеседникам в реальном времени достраивать и корректировать свои представления друг о друге.
Деловые сайты ориентированы на организацию совместной деятельности. В целом имеют монологический характер, но обеспечивают обратную связь с целевой аудиторией для уточнения некоторых аспектов, необходимых для успешной реализации целей деятельности, которую обслуживает данный веб-сайт. Образ целевой аудитории весьма обобщен, вследствие чего коммуникативный процесс в целом характеризуется высокой степенью стереотипности. Особенностью делового общения является нацеленность не просто на информирование, но на создание условий для реализации прагматической задачи. Именно этому подчинены самые разные компоненты структуры делового сайта.
Информационные сайты нацелены на изменение знаний, мнений целевой аудитории по тематике, исходят из предварительной общей гипотезы об интересе целевой аудитории к тематике; корректировки представления о целевой аудитории не происходит, что сближает такой веб-сайт или веб-страницу с монологическим изложением.
Коммуникативные характеристики могут быть определены путем лексического, морфологического и локально-синтаксического анализа для поиска ключевых слов, приведенных в таблице 1, и их синонимов.
Семантический анализ может быть использован для определения основного посыла автора веб-сайта или веб-страницы, определения тональности и т.п. Описанные выше праксиологические и коммуникативные характеристики могут быть использованы для классификации семиотических дескрипторов. К признакам для классификации можно отнести наличие ключевых слов, тональность, степень интерактивности, динамичности, модальности, функциональности веб-сайта и веб-страницы и прочие. Если веб-сайт или веб-страница не могут быть отнесены ни к одному из заранее заданных классов, им может быть присвоен класс «Другое». Значения могут представлены в бинарной форме, десятичной, могут быть нормированы. Что касается веб-сайта 300, в сценарии, где пользователь задает любую область и глубину классификации «Информационный ресурс > Естественные и технические науки> Технические науки > Информатика > История информатики», веб-сайт 300 попадает в поисковую выдачу, поскольку страница 310a может быть классифицирована именно с этой глубиной классификации. Семиотические дескрипторы «here you сап (здесь Вы можете)», «browse (просмотрите)», «learn about (узнайте о)» могут рассматриваться как семиотические дескрипторы для классификации веб-страницы как информационного ресурса. Семиотические дескрипторы «physics laboratory (физическая лаборатория)», «CERN (Европейская организация по ядерным исследованиям)» могут говорить о принадлежности веб-страницы к ресурсам, относящимся к естественным и техническим наукам. Дескрипторы «web (веб, или Интернет-пространство)», «website (веб-сайт)» могут рассматриваться как семиотические дескрипторы для отнесения веб-страницы к ресурсам по информатике. Дескрипторы «the first website (первый веб-сайт)», «the birth of the web (рождение Интернет-пространства)», «the web was born (Интернет-пространство было рождено)» могут говорить о том, что веб-страница относится к ресурсу по истории Интернет-пространства. Количество повторений слов «web (веб, или Интернет-пространство)» и «website (веб-сайт)» тоже могут быть признаками для отнесения веб-страницы к классам. Также можно отпределить, что веб-страница является неинтерактивной (ключевых слов и их синонимов для отнесения веб-страницы к интерактивным нет), что подтверждаетет то, что веб-страница относится к информационным ресурсам. Во время классификации веб-страницы семиотическим дескрипторам «website (веб-сайт)» и «the first website (первый веб-сайт)» могут быть присвоены большие весовые коэффициенты, так как им соответствует дескриптор формата отображения «заголовок» (<title>,</title>). Картиночный объект 350 (Фиг. 3) может не учитываться (весовой коэффициент может быть приравнен к 0), так как является рекламным баннером, и в HTML-представлении на фиг. 3 А ему соответствует дескриптор формата отображения (<iframe*>, где вместо * произвольное количество символов, не включающих символ>, </iframe>). В случае запроса пользователя с любой областью и глубиной классификации «Информационный ресурс > Естественные и технические науки > Технические науки > Информатика > История информатики», помимо веб-сайта 300, в поисковую выдачу могут попасть другие сайты, пользователь также может получить визуализированное представление вероятности отнесения различных веб-сайтов к определенным классам (гистограмму), по которой может выбрать нужный ему ресурс.