Способ и система для определения производительности пользователя в компьютерной краудсорсинговой среде

1. Компьютерный способ определения производительности пользователя в компьютерной краудсорсинговой среде, выполняемый сервером и на этапе обучения включающий в себя:
- получение сервером обучающего проекта, подлежащего выполнению в компьютерной краудсорсинговой среде и содержащего множество обучающих задач;
- определение сервером набора специфических признаков проекта, указывающих на одну или несколько характеристик обучающего проекта;
- получение сервером множества отправленных пользователем обучающих результатов, соответствующих множеству обучающих задач;
- определение сервером набора специфических признаков пары пользователь-задача, представляющих характеристики пользовательских взаимодействий между пользователем и множеством обучающих результатов;
- определение сервером истории активности пользователя, связанной с пользователем и содержащей ранее собранные характеристики пользовательских взаимодействий в компьютерной краудсорсинговой среде;
- формирование сервером набора обучающих данных, содержащего набор специфических признаков проекта, набор специфических признаков пары пользователь-задача и историю активности пользователя;
- обучение алгоритма машинного обучения (MLA), включая определение набора признаков, представляющих свойство набора обучающих данных, и формирование прогнозной функции, основанной на наборе признаков и позволяющей определять производительность пользователя в проекте на основе набора специфических признаков проекта, связанных с проектом, и истории активности пользователя.
2. Способ по п. 1, отличающийся тем, что на этапе использования он дополнительно включает в себя:
- получение сервером проекта этапа использования для выполнения в компьютерной краудсорсинговой среде, содержащего множество задач этапа использования;
- определение сервером набора специфических признаков проекта, связанных с проектом этапа использования; и
- определение с использованием алгоритма MLA производительности пользователя при выполнении проекта на основе набора специфических признаков проекта, связанных с проектом этапа использования, и истории активности пользователя.
3. Способ по п. 2, отличающийся тем, что:
- сервер через сеть связи соединен с клиентским устройством, связанным с пользователем;
- получение проекта этапа использования выполняется до получения клиентским устройством доступа к компьютерной краудсорсинговой среде; и
- способ дополнительно включает в себя отправку значения производительности клиентскому устройству для отображения после получения клиентским устройством доступа к проекту этапа использования в компьютерной краудсорсинговой среде.
4. Способ по п. 2, отличающийся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, представляет собой задачу первого вида, а каждая из задач, включенных в состав множества задач этапа использования, представляет собой задачу второго вида, отличного от первого вида.
5. Способ по п. 2, отличающийся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, отличается от множества старых задач, ранее выполненных пользователем в компьютерной краудсорсинговой среде.
6. Способ по п. 5, отличающийся тем, что множество старых задач представляет собой все задачи, ранее выполненные пользователем в компьютерной краудсорсинговой среде.
7. Способ по п. 6, отличающийся тем, что множество обучающих задач, отличное от множества старых задач, позволяет учитывать эффект обучения.
8. Способ по п. 1, отличающийся тем, что производительность пользователя в проекте представляет собой предсказанную продолжительность выполнения пользователем проекта и/или предсказанный часовой заработок при выполнении проекта.
9. Способ по п. 1, отличающийся тем, что:
- получение множества обучающих результатов включает в себя получение множества обучающих результатов в хронологическом порядке;
- набор специфических признаков пары пользователь-задача содержит по меньшей мере соответствующую отметку времени для каждой обучающей задачи из множества обучающих задач, при этом отметка времени указывает на время, затраченное пользователем на предоставление соответствующего обучающего результата; и
- формирование прогнозной функции включает в себя определение параметра обучения, связанного с пользователем и указывающего на изменение эффективности пользователя в отношении отправки обучающего результата после нескольких обучающих результатов, при этом параметр обучения определяется по меньшей мере на основе анализа соответствующей отметки времени каждой обучающей задачи из множества обучающих задач, отправленных в хронологическом порядке.
10. Способ по п. 9, отличающийся тем, что определение производительности пользователя в проекте включает в себя определение производительности по меньшей мере на основе параметра обучения пользователя.
11. Способ по п. 1, отличающийся тем, что набор специфических признаков проекта включает в себя по меньшей мере одно из следующего:
- количество обучающих задач, включенных в состав множества обучающих задач;
- время создания обучающего проекта;
- количество доступных для выбора результатов в каждой обучающей задаче;
- заработок пользователя за каждую обучающую задачу; и
- длину инструкции к обучающему проекту.
12. Способ по п. 1, отличающийся тем, что история активности пользователя содержит по меньшей мере одно из следующего:
- время регистрации пользователя в компьютерной краудсорсинговой среде;
- количество проектов, выполненных с момента регистрации;
- вид операционной системы устройства, используемого пользователем для отправки множества обучающих результатов; и
- вид этого устройства.
13. Способ по п. 1, отличающийся тем, что алгоритм MLA представляет собой алгоритм MLA на основе модели деревьев решений с градиентным бустингом.
14. Система для определения производительности пользователя в компьютерной краудсорсинговой среде, содержащая сервер с процессором, выполненным с возможностью на этапе обучения:
- получения обучающего проекта, подлежащего выполнению в компьютерной краудсорсинговой среде и содержащего множество обучающих задач;
- определения набора специфических признаков проекта, указывающих на одну или несколько характеристик обучающего проекта;
- получения множества отправленных пользователем обучающих результатов, соответствующих множеству обучающих задач;
- определения набора специфических признаков пары пользователь-задача, представляющих характеристики пользовательских взаимодействий между пользователем и множеством обучающих результатов;
- определения истории активности пользователя, связанной с пользователем и содержащей ранее собранные характеристики пользовательских взаимодействий в компьютерной краудсорсинговой среде;
- формирования набора обучающих данных, содержащего набор специфических признаков проекта, набор специфических признаков пары пользователь-задача и историю активности пользователя; и
- обучения алгоритма MLA, для чего процессор выполнен с возможностью определения набора признаков, представляющих свойство набора обучающих данных, и формирования прогнозной функции, основанной на наборе признаков и позволяющей определять производительность пользователя в проекте на основе набора специфических признаков проекта, связанных с этим проектом, и истории активности пользователя.
15. Система по п. 14, отличающаяся тем, что процессор дополнительно выполнен с возможностью на этапе использования:
- получения проекта этапа использования для выполнения в компьютерной краудсорсинговой среде, содержащего множество задач этапа использования;
- определения набора специфических признаков проекта, связанных с проектом этапа использования;
- определения с использованием алгоритма MLA производительности пользователя при выполнении проекта на основе набора специфических признаков проекта, связанных с проектом этапа использования, и истории активности пользователя.
16. Система по п. 15, отличающаяся тем, что:
- сервер через сеть связи соединен с клиентским устройством, связанным с пользователем;
- процессор выполнен с возможностью получения проекта этапа использования до получения клиентским устройством доступа к компьютерной краудсорсинговой среде; и
- процессор дополнительно выполнен с возможностью отправки значения производительности клиентскому устройству для отображения после получения клиентским устройством доступа к проекту этапа использования в компьютерной краудсорсинговой среде.
17. Система по п. 15, отличающаяся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, представляет собой задачу первого вида, а каждая из задач, включенных в состав множества задач этапа использования, представляет собой задачу второго вида, отличного от первого вида.
18. Система по п. 15, отличающаяся тем, что каждая из обучающих задач, включенных в состав множества обучающих задач, отличается от множества старых задач, ранее выполненных пользователем в компьютерной краудсорсинговой среде.
19. Система по п. 18, отличающаяся тем, что множество старых задач представляет собой все задачи, ранее выполненные пользователем в компьютерной краудсорсинговой среде.
20. Система по п. 19, отличающаяся тем, что множество обучающих задач, отличное от множества старых задач, позволяет учитывать эффект обучения.