ПОСТРОЕНИЕ КОРПУСА СРАВНИМЫХ ДОКУМЕНТОВ НА ОСНОВЕ УНИВЕРСАЛЬНОЙ МЕРЫ ПОХОЖЕСТИ

1. Способ создания корпуса сравнимых документов, включающий следующие этапы:
получение вычислительным устройством исходного набора документов, содержащих тексты;
построение не зависящих от языка семантических структур для текстов этих документов;
определение универсальной меры похожести для групп документов путем сравнения построенных не зависящих от языка семантических структур текстов этих документов;
выявление схожих документов на основании определенных универсальных мер похожести групп документов;
формирование корпуса сравнимых документов на основании выявленных схожих документов.
2. Способ по п. 1, в котором выявление схожих документов дополнительно содержит сравнение определенных универсальных мер похожести групп документов с пороговым значением универсальной меры похожести.
3. Способ по п. 1, дополнительно содержащий этап создания исходного набора документов путем поиска документов по теме.
4. Способ по п. 1, дополнительно содержащий этапы предварительной обработки текстов и выделения логической структуры и структурных блоков текстов.
5. Способ по п. 1, дополнительно содержащий этап фильтрации схожих документов, являющихся дубликатами.
6. Способ определения порогового значения универсальной меры похожести, включающий следующие этапы:
формирование вычислительным устройством двух или более наборов документов, содержащих тексты;
присвоение этим наборам пробных пороговых значений универсальной меры похожести;
построение не зависящих от языка семантических структур для текстов документов из двух или более наборов документов;
определение универсальной меры похожести для групп документов в двух или более наборах документов путем сравнения построенных не зависящих от языка семантических структур текстов этих документов;
выявление схожих документов на основании сравнения определенных универсальных мер похожести групп документов и соответствующих пробных пороговых значений универсальной меры похожести;
формирование пробных корпусов сравнимых документов на основании выявленных схожих документов соответствующих двум или более наборам документов с их присвоенными пробными пороговыми значениями универсальных мер похожести;
проверка качества сформированных пробных корпусов сравнимых документов;
выбор порогового значения универсальной меры похожести на основании проверки качества.
7. Носители данных для компьютера, содержащие одну или несколько программ для компьютера, отличающиеся тем, что одна или несколько программ для компьютера содержат команды, которые при выполнении устройством обработки данных, приводят к тому, что это устройство обработки данных выполняет операции, включающие:
получение исходного набора документов, содержащих тексты;
построение не зависящих от языка семантических структур для текстов этих документов;
определение универсальной меры похожести для групп документов путем сравнения построенных не зависящих от языка семантических структур текстов этих документов;
выявление схожих документов на основании определенных универсальных мер похожести групп документов;
формирование корпуса сравнимых документов на основании выявленных схожих документов.
8. Носители данных для компьютера по п. 7, отличающиеся тем, что выявление схожих документов дополнительно содержит сравнение определенных универсальных мер похожести групп документов с пороговым значением универсальной меры похожести.
9. Носители данных для компьютера по п. 7, отличающиеся тем, что создание исходного набора документов дополнительно содержит этап поиска документов по теме.
10. Носители данных для компьютера по п. 7, отличающиеся тем, что дополнительно проводится
предварительная обработки текстов и выделение логической структуры и структурных блоков текстов.
11. Носители данных для компьютера по п. 7, отличающиеся тем, что дополнительно проводится этап фильтрации схожих документов, являющихся дубликатами.
12. Носители данных для компьютера по п. 7, отличающиеся тем, что определение порогового значения универсальной меры похожести включает следующие этапы:
формирование вычислительным устройством двух или более наборов документов содержащих тексты;
присвоение этим наборам пробных пороговых значений универсальной меры похожести;
построение не зависящих от языка семантических структур для текстов документов из двух или более наборов документов;
определение универсальной меры похожести для групп документов в двух или более наборах документов путем сравнения построенных не зависящих от языка семантических структур текстов этих документов;
выявление схожих документов на основании сравнения определенных универсальных мер похожести групп документов и соответствующих пробных пороговых значений универсальной меры похожести;
формирование пробных корпусов сравнимых документов на основании выявленных схожих документов соответствующих двум или более наборам документов с их присвоенными пробными пороговыми значениями универсальных мер похожести;
проверка качества сформированных пробных корпусов сравнимых документов;
выбор порогового значения универсальной меры похожести на основании проверки качества.
13. Система, содержащая вычислительное устройство, и машиночитаемый носитель, соединенный с вычислительным устройством и имеющий хранящиеся в нем команды, которые при выполнении вычислительным устройством приводят к тому, что это вычислительное устройство выполняет операции, включающие:
получение исходного набора документов, содержащих тексты;
построение не зависящих от языка семантических структур для текстов этих документов;
определение универсальной меры похожести для групп документов путем сравнения построенных не зависящих от языка семантических структур текстов этих документов;
выявление схожих документов на основании определенных универсальных мер похожести групп документов;
формирование корпуса сравнимых документов на основании выявленных схожих документов.
14. Система по п. 13, отличающаяся тем, что выявление схожих документов дополнительно содержит сравнение определенных универсальных мер похожести групп документов с пороговым значением универсальной меры похожести.
15. Система по п. 13, отличающаяся тем, что создание исходного набора документов дополнительно содержит этап поиска документов по теме.
16. Система по п. 13, отличающаяся тем, что дополнительно проводится предварительная обработки текстов и выделение логической структуры и структурных блоков текстов.
17. Система по п. 13, отличающаяся тем, что дополнительно проводится этап фильтрации схожих документов, являющихся дубликатами.
18. Система по п. 13, отличающаяся тем, что определение порогового значения универсальной меры похожести включает следующие этапы:
формирование вычислительным устройством двух или более наборов документов содержащих тексты;
присвоение этим наборам пробных пороговых значений универсальной меры похожести;
построение не зависящих от языка семантических структур для текстов документов из двух или более наборов документов;
определение универсальной меры похожести для групп документов в двух или более наборах документов путем сравнения построенных не зависящих от языка семантических структур текстов этих документов;
выявление схожих документов на основании сравнения определенных универсальных мер похожести групп документов и соответствующих пробных пороговых значений универсальной меры похожести;
формирование пробных корпусов сравнимых документов на основании выявленных схожих документов соответствующих двум или более наборам документов с их присвоенными пробными пороговыми значениями универсальных мер похожести;
проверка качества сформированных пробных корпусов сравнимых документов; выбор порогового значения универсальной меры похожести на основании проверки.