СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ РЕЗУЛЬТАТА ДЛЯ ЗАДАЧИ, ВЫПОЛНЯЕМОЙ В КРАУДСОРСИНГОВОЙ СРЕДЕ

1. Способ завершения задачи заданного вида, выполняемой в краудсорсинговой среде, выполняемый сервером и включающий в себя на этапе обучения:
- отправку сервером множеству пользователей краудсорсинговой среды обучающей задачи, связанной с заранее заданным обучающим ответом;
- получение сервером множества обучающих результатов, соответствующих обучающей задаче, отправленной множеству пользователей;
- получение сервером истории действий пользователя, связанной с каждым пользователем из множества пользователей и содержащей ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде;
- присвоение каждому результату из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу;
- формирование сервером набора триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки;
- обучение алгоритма машинного обучения (MLA), включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных, и формирование на основе набора признаков прогнозной функции, способной на основе истории действий пользователя определять параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным.
2. Способ по п. 1, отличающийся тем, что алгоритм MLA представляет собой первый алгоритм MLA, а на этапе использования способ дополнительно включает в себя:
- получение сервером результата задачи, полученной пользователем и отличающейся от обучающей задачи;
- получение сервером истории действий пользователя, связанной с пользователем;
- определение с использованием первого алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем;
- ввод параметра ошибки во второй алгоритм MLA, обученный формировать контрольную оценку, указывающую на необходимость направления результата на дополнительную проверку; и
- отправку задачи и результата эксперту для дополнительной проверки, если контрольная оценка превышает заранее заданный порог.
3. Способ по п. 1, отличающийся тем, что параметр ошибки дополнительно указывает на необходимость направления результата на дополнительную проверку.
4. Способ по п. 3, отличающийся тем, что на этапе использования он дополнительно включает в себя:
- получение сервером отправленного пользователем результата задачи, отличающейся от обучающей задачи;
- получение сервером истории действий пользователя, связанной с пользователем;
- определение с использованием алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; и
- отправку задачи и результата эксперту для присвоения результату метки, если параметр ошибки превышает заранее заданный порог.
5. Способ по п. 4, отличающийся тем, что он дополнительно включает в себя:
- получение сервером от эксперта присвоенного значения метки;
- формирование дополнительного обучающего триплета данных, отличающегося от триплета обучающих данных из набора триплетов обучающих данных, если присвоенное значение метки указывает на неправильный результат задачи, при этом дополнительные триплеты данных содержат результат, связанную с пользователем историю действий пользователя и присвоенное значение метки; и
- обучение алгоритма MLA, включая обновление прогнозной функции на основе набора признаков, содержащего свойство дополнительного триплета данных, для последующего определения параметра ошибки.
6. Способ по п. 5, отличающийся тем, что он дополнительно включает в себя получение сервером оценки качества, связанной с пользователем и указывающей на надежность пользователя, и снижение оценки качества, связанной с пользователем, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи.
7. Способ по п. 6, отличающийся тем, что если сниженная оценка качества меньше заранее заданного порога, способ дополнительно включает в себя применение в отношении пользователя ограничивающего действия, включая приостановление действия учетной записи пользователя в краудсорсинговой среде.
8. Способ по п. 1, отличающийся тем, что задача заданного вида представляет собой задачу разметки иди задачу загрузки изображения.
9. Способ по п. 5, отличающийся тем, что если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи, способ дополнительно включает в себя повторное обучение алгоритма MLA с использованием сравнения результата и присвоенной метки.
10. Способ по п. 9, отличающийся тем, что повторное обучение дополнительно основано на признаках результата и признаках, связанных с пользователем.
11. Способ по п. 10, отличающийся тем, что признаки результата включают в себя признаки, связанные с неправильным результатом, и признаки, связанные с правильным результатом, соответственно.
12. Способ по п. 11, отличающийся тем, что задача связана со списком обязательных инструкций, которые должен выполнять пользователь, при этом правильный результат основан на выполнении пользователем обязательных инструкций, а неправильный результат основан на невыполнении пользователем обязательных инструкций.
13. Способ по п. 12, отличающийся тем, что признаки результата дополнительно включают в себя выполнение экспертом обязательных инструкций и невыполнение экспертом обязательных инструкций.
14. Система для завершения задачи заданного вида, выполняемой в краудсорсинговой среде, содержащая сервер с процессором, выполненный с возможностью на этапе обучения:
- отправки сервером множеству пользователей краудсорсинговой среды обучающей задачи, связанной с заранее заданным обучающим ответом;
- получения сервером множества обучающих результатов, соответствующих обучающей задаче, отправленной множеству пользователей;
- получения сервером истории действий пользователя, связанной с каждым пользователем из множества пользователей и содержащей ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде;
- присвоения каждому результату из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу;
- формирования сервером набора триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки;
- обучения алгоритма MLA, включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных; и
- формирования на основе набора признаков прогнозной функции, конфигурация которой позволяет на основе истории действий пользователя определять параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным.
15. Система по п. 14, отличающаяся тем, что алгоритм MLA представляет собой первый алгоритм MLA, а сервер дополнительно выполнен с возможностью на этапе использования:
- получения сервером результата задачи, полученной пользователем и отличающейся от обучающей задачи;
- получения сервером истории действий пользователя, связанной с пользователем;
- определения с использованием первого алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем;
- ввода параметра ошибки во второй алгоритм MLA, обученный формировать контрольную оценку, указывающую на необходимость направления результата на дополнительную проверку; и
- отправки задачи и результата эксперту для дополнительной проверки, если контрольная оценка превышает заранее заданный порог.
16. Система по п. 14, отличающаяся тем, что параметр ошибки дополнительно указывает на необходимость направления результата на дополнительную проверку.
17. Система по п. 16, отличающаяся, что сервер дополнительно выполнен с возможностью на этапе использования:
- получения сервером отправленного пользователем результата задачи, отличающейся от обучающей задачи;
- получения сервером истории действий пользователя, связанной с пользователем;
- определения с использованием алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; и
- отправки задачи и результата эксперту для присвоения результату метки, если параметр ошибки превышает заранее заданный порог.
18. Система по п. 17, отличающаяся, что сервер дополнительно выполнен с возможностью:
- получения сервером от эксперта присвоенного значения метки,
- формирования дополнительного обучающего триплета данных, отличающегося от триплета обучающих данных из набора триплетов обучающих данных, если присвоенное значение метки указывает на неправильный результат задачи, при этом дополнительные триплеты данных содержат результат, связанную с пользователем историю действий пользователя и присвоенное значение метки; и
- обучения алгоритма MLA, включая обновление прогнозной функции на основе набора признаков, содержащего свойство дополнительного триплета данных, для последующего определения параметра ошибки.
19. Система по п. 17, отличающаяся, что сервер дополнительно выполнен с возможностью получения сервером оценки качества, связанной с пользователем и указывающей на надежность пользователя, и снижения оценки качества, связанной с пользователем, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи.
20. Система по п. 19, отличающаяся, что сервер дополнительно выполнен с возможностью применения в отношении пользователя ограничивающего действия, включая приостановление действия учетной записи пользователя в краудсорсинговой среде.