СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ РЕЗУЛЬТАТА ВЫПОЛНЕНИЯ ЗАДАЧИ В КРАУДСОРСИНГОВОЙ СРЕДЕ

1. Компьютерный способ определения результата для задачи заданного вида, выполняемой в краудсорсинговой среде, выполняемый сервером и включающий в себя:
- получение сервером множества результатов для задачи, отправленных множеством экспертов из краудсорсинговой среды;
- получение сервером для каждого эксперта из множества экспертов оценки качества, указывающей на надежность эксперта;
- формирование сервером множества векторных представлений, содержащего векторное представление для каждого результата из множества результатов;
- отображение сервером множества векторных представлений в векторное пространство;
- объединение сервером множества векторных представлений по меньшей мере в первый кластер, содержащий первое подмножество из множества векторных представлений, и во второй кластер, содержащий второе подмножество из множества векторных представлений;
- выполнение сервером алгоритма машинного обучения (MLA), способного формировать:
- первый параметр достоверности, соответствующий вероятности того, что первое подмножество содержит векторное представление правильного результата для задачи, и формируемый на основе одной или нескольких оценок качества, связанных с первым подмножеством из множества векторных представлений; и
- второй параметр достоверности, соответствующий вероятности того, что второе подмножество содержит векторное представление правильного результата для задачи, и формируемый на основе одной или нескольких оценок качества, связанных со вторым подмножеством из множества векторных представлений;
- формирование сервером объединенного векторного представления на основе первого подмножества из множества векторных представлений или второго подмножества из множества векторных представлений, если первый параметр достоверности или второй параметр достоверности соответствует заранее заданному условию;
- выбор сервером объединенного векторного представления в качестве результата для задачи.
2. Способ по п. 1, отличающийся тем, что задача заданного вида представляет собой задачу перевода или задачу преобразования устной речи в текст.
3. Способ по п. 1, отличающийся тем, что результат представляется в текстовой форме, а формирование множества векторных представлений включает в себя формирование векторных представлений слов для каждой формы из множества текстовых форм с использованием модели Word2Vec, модели «непрерывного мешка слов» или непрерывной модели скип-граммы.
4. Способ по п. 1, отличающийся тем, что кластеризация множества векторных представлений выполняется с использованием алгоритма кластеризации вида «k-средних», алгоритма кластеризации на основе центроида, алгоритма кластеризации на основе распределения или алгоритма кластеризации на основе плотности.
5. Способ по п. 1, отличающийся тем, что оценка качества эксперта основана на коэффициенте ошибок эксперта, возникающих при выполнении задач заданного вида.
6. Способ по п. 5, отличающийся тем, что алгоритм MLA представляет собой алгоритм на основе модели Дэвида-Скина, способный формировать первый параметр достоверности на основе коэффициентов ошибок, связанных с первым подмножеством из множества экспертов, связанным с первым подмножеством из множества векторных представлений, и второй параметр достоверности на основе коэффициентов ошибок, связанных со вторым подмножеством из множества экспертов, связанным со вторым подмножеством из множества векторных представлений.
7. Способ по п. 1, отличающийся тем, что заранее заданное условие относится к наибольшему из первого параметра достоверности и второго параметра достоверности.
8. Способ по п. 1, отличающийся тем, что формирование объединенного векторного представления включает в себя выбор векторного представления, соответствующего медоиду первого подмножества из множества векторных представлений.
9. Способ по п. 1, отличающийся тем, что формирование объединенного векторного представления включает в себя выбор векторного представления, наиболее часто встречающегося в первом подмножестве из множества векторных представлений.
10. Способ по п. 1, отличающийся тем, что формирование объединенного векторного представления включает в себя формирование первого векторного представления, соответствующего центроиду первого подмножества из множества векторных представлений, и выбор из первого подмножества из множества векторных представлений второго векторного представления, соответствующего наиболее схожему с центроидом векторному представлению, в качестве объединенного векторного представления.
11. Способ по п. 1, отличающийся тем, что выбор объединенного векторного представления включает в себя ввод объединенного векторного представления в процедуру преобразования вектора в текст для формирования единого результата.
12. Система для определения результата для задачи заданного вида, выполняемой в краудсорсинговой среде, содержащая сервер, содержащий процессор и выполненный с возможностью:
- получения сервером множества результатов для задачи, отправленных множеством экспертов из краудсорсинговой среды;
- получения сервером для каждого эксперта из множества экспертов оценки качества, указывающей на надежность эксперта;
- формирования сервером множества векторных представлений, содержащего векторное представление для каждого результата из множества результатов;
- отображения сервером множества векторных представлений в векторное пространство;
- объединения сервером множества векторных представлений по меньшей мере в первый кластер, содержащий первое подмножество из множества векторных представлений, и во второй кластер, содержащий второе подмножество из множества векторных представлений;
- выполнения сервером алгоритма MLA, способного формировать:
- первый параметр достоверности, соответствующий вероятности того, что первое подмножество содержит векторное представление правильного результата для задачи, и формируемый на основе одной или нескольких оценок качества, связанных с первым подмножеством из множества векторных представлений; и
- второй параметр достоверности, соответствующий вероятности того, что второе подмножество содержит векторное представление правильного результата для задачи, и формируемый на основе одной или нескольких оценок качества, связанных со вторым подмножеством из множества векторных представлений;
- формирования сервером объединенного векторного представления на основе первого подмножества из множества векторных представлений или второго подмножества из множества векторных представлений, если первый параметр достоверности или второй параметр достоверности соответствует заранее заданному условию;
- выбора сервером объединенного векторного представления в качестве результата для задачи.
13.  Система по п. 12, отличающаяся тем, что результат представлен в текстовой форме, при этом для формирования множества векторных представлений процессор выполнен с возможностью формирования векторных представлений слов для каждой формы из множества текстовых форм с использованием модели Word2Vec, модели «непрерывного мешка слов» или непрерывной модели скип-граммы.
14. Система по п. 12, отличающаяся тем, что для кластеризации множества векторных представлений процессор выполнен с возможностью выполнения алгоритма кластеризации вида «k-средних», алгоритма кластеризации на основе центроида, алгоритма кластеризации на основе распределения или алгоритма кластеризации на основе плотности.
15. Система по п. 12, отличающаяся тем, что оценка качества эксперта основана на коэффициенте ошибок эксперта, возникающих при выполнении задач заданного вида.
16. Система по п. 15, отличающаяся тем, что алгоритм MLA представляет собой алгоритм на основе модели Дэвида-Скина, способный формировать первый параметр достоверности на основе коэффициентов ошибок, связанных с первым подмножеством из множества экспертов, связанным с первым подмножеством из множества векторных представлений, и второй параметр достоверности на основе коэффициентов ошибок, связанных со вторым подмножеством из множества экспертов, связанным со вторым подмножеством из множества векторных представлений.
17. Система по п. 12, отличающаяся тем, что заранее заданное условие относится к наибольшему из первого параметра достоверности и второго параметра достоверности.
18. Система по п. 12, отличающаяся тем, что для формирования объединенного векторного представления процессор выполнен с возможностью выбора векторного представления, соответствующего медоиду первого подмножества из множества векторных представлений.
19. Система по п. 12, отличающаяся тем, что для формирования объединенного векторного представления процессор выполнен с возможностью выбора векторного представления, наиболее часто встречающегося в первом подмножестве из множества векторных представлений.
20. Система по п. 12, отличающаяся тем, что для формирования объединенного векторного представления процессор выполнен с возможностью формирования первого векторного представления, соответствующего центроиду первого подмножества из множества векторных представлений, и выбора из первого подмножества из множества векторных представлений второго векторного представления, соответствующего наиболее схожему с центроидом векторному представлению, в качестве объединенного векторного представления.