СПОСОБ И СИТЕМА ГЕНЕРИРОВАНИЯ ОБУЧАЮЩИХ ДАННЫХ ДЛЯ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ

1. Реализуемый компьютером способ генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA), причем обучающие данные основаны на цифровых задачах, доступных множеству оценщиков; при этом способ исполняется на сервере, включающем в себя процессор, коммуникативно соединяемый по сети связи с электронными устройствами, связанными с упомянутым множеством оценщиков, причем способ содержит:
извлечение процессором данных об оценщиках, связанных с множеством оценщиков, причем данные об оценщиках включают в себя данные, указывающие прошлые рабочие характеристики соответствующих оценщиков из множества оценщиков, выполняющих определенную цифровую задачу, в том числе данные, указывающие множество результатов в ответ на предоставление данной цифровой задачи множеству оценщиков;
на основе множества результатов, определение по меньшей мере одного набора оценщиков из множества оценщиков таким образом, чтобы метрика согласованности среди результатов, обеспеченных упомянутым по меньшей мере одним набором оценщиков для данной цифровой задачи, была максимальной,
метрика согласованности указывает апостериорную вероятность того, что результат, обеспеченный большинством из множества оценщиков, является правильным результатом для данной цифровой задачи;
передачу процессором следующей цифровой задачи на соответствующие электронные устройства, связанные с упомянутым по меньшей мере одним набором оценщиков; и
генерирование обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими оценщиками из упомянутого по меньшей мере одного набора оценщиков следующей цифровой задачи.
2. Способ по п. 1, в котором метрику согласованности определяют в соответствии с уравнением
MV
где z является результатом из множества результатов, обеспеченным большинством из множества оценщиков,
wi
y является определенным одним из множества результатов, обеспеченным соответствующим одним из множества оценщиков,
wi
q=, является взвешенным соответствующим показателем качества соответствующего одного из множества оценщиков, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
3. Способ по п. 1, в котором определенный один из множества оценщиков имеет предопределенный показатель качества, и упомянутое определение по меньшей мере одного набора оценщиков выполняют таким образом, чтобы определенный один из по меньшей мере одного набора оценщиков имел соответствующий предопределенный показатель качества в пределах предопределенного диапазона показателей качества.
4. Способ по п. 3, в котором упомянутое определение упомянутого по меньшей мере одного набора оценщиков выполняют для типа следующей цифровой задачи, причем типом является один из набора предопределенных типов.
5. Способ по п. 4, в котором тип следующей задачи связан с предопределенным диапазоном показателей качества.
6. Способ по п. 3, в котором соответствующий предопределенный показатель качества был определен на основе точности выполнения определенным одним из упомянутого по меньшей мере одного набора оценщиков контрольной цифровой задачи.
7. Способ по п. 1, в котором определение упомянутого по меньшей мере одного набора оценщиков из множества оценщиков инициируется приемом сервером следующей цифровой задачи.
8. Способ по п. 1, дополнительно содержащий определение по меньшей мере другого одного набора оценщиков для передачи на соответствующие им электронные устройства другой следующей задачи, отличной от упомянутой следующей задачи.
9. Способ по п. 8, в котором упомянутый по меньшей мере один набор оценщиков и упомянутый по меньшей мере другой один набор оценщиков по меньшей мере частично перекрываются.
10. Способ по п. 9, в котором упомянутый по меньшей мере один набор оценщиков и упомянутый по меньшей мере другой один набор оценщиков являются взаимоисключающими.
11. Исполняемый компьютером способ определения качества обучающих данных, сгенерированных для обучения исполняемого компьютером алгоритма машинного обучения (MLA), причем обучающие данные основаны на цифровых задачах, доступных множеству оценщиков; причем способ является исполняемым на сервере, включающем в себя процессор, причем способ содержит:
извлечение процессором определенного набора данных собственно обучающих данных, причем упомянутый набор данных включает в себя:
множество результатов в ответ на предоставление определенной цифровой задачи множеству оценщиков;
на основе множества результатов, определение метрики согласованности среди результатов упомянутого множества,
метрика согласованности указывает число оценщиков из упомянутого множества, обеспечивших одинаковый результат для данной цифровой задачи;
в ответ на то, что метрика согласованности больше или равна предопределенному порогу согласованности, использование упомянутого набора данных для обучения исполняемого компьютером MLA; и
в ответ на то, что метрика согласованности ниже упомянутого предопределенного порога согласованности, удаление упомянутого набора данных из обучающих данных.
12. Способ по п. 11, в котором метрику согласованности определяют в соответствии с уравнением
MV
где z является результатом из множества результатов, обеспеченным большинством из множества оценщиков,
wi
y является определенным одним из множества результатов, обеспеченным соответствующим одним из множества оценщиков,
wi
q=является взвешенным соответствующим показателем качества соответствующего одного из множества оценщиков, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
13. Система для генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA), причем обучающие данные основаны на цифровых задачах, доступных множеству оценщиков, причем система включает в себя сервер, дополнительно включающий в себя:
процессор, коммуникативно соединяемый по сети связи с электронными устройствами, связанными с упомянутым множеством оценщиков,
долговременный считываемый компьютером носитель, хранящий инструкции,
причем процессор, при исполнении упомянутых инструкций, выполнен с возможностью:
извлечения данных об оценщиках, связанных с множеством оценщиков, причем данные об оценщиках включают в себя данные, указывающие прошлые рабочие характеристики соответствующих оценщиков из множества оценщиков, выполняющих определенную цифровую задачу, в том числе данные, указывающие множество результатов в ответ на предоставление упомянутой цифровой задачи множеству оценщиков;
на основе множества результатов, определения по меньшей мере одного набора оценщиков из множества оценщиков таким образом, чтобы метрика согласованности среди результатов, обеспеченных упомянутым по меньшей мере одним набором оценщиков для данной цифровой задачи, была максимальной,
метрика согласованности указывает апостериорную вероятность того, что результат, обеспеченный большинством из множества оценщиков, является правильным результатом для данной цифровой задачи;
передачи следующей цифровой задачи на соответствующие электронные устройства, связанные с упомянутым по меньшей мере одним набором оценщиков; и
генерирования обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими оценщиками из упомянутого по меньшей мере одного набора оценщиков упомянутой следующей цифровой задачи.
14. Система по п. 13, в которой процессор выполнен с возможностью определения метрики согласованности в соответствии с уравнением
MV
где z является результатом из множества результатов, обеспеченным большинством из множества оценщиков,
wi
y является определенным одним из множества результатов, обеспеченным соответствующим одним из множества оценщиков,
wi
q=, является взвешенным соответствующим показателем качества соответствующего одного из множества оценщиков, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
15. Система по п. 13, в которой определенный один из множества оценщиков имеет предопределенный показатель качества, и процессор выполнен с возможностью определения по меньшей мере одного набора оценщиков таким образом, чтобы определенный один из по меньшей мере одного набора оценщиков имел соответствующий предопределенный показатель качества в пределах предопределенного диапазона показателей качества.
16. Система по п. 15, в которой процессор выполнен с возможностью определения упомянутого по меньшей мере одного набора оценщиков для типа следующей цифровой задачи, причем типом является один из набора предопределенных типов.
17. Система по п. 16, в которой тип следующей задачи связан с предопределенным диапазоном показателей качества.
18. Система по п. 15, в которой процессор выполнен с возможностью определения соответствующего предопределенного показателя качества на основе точности выполнения определенным одним из упомянутого по меньшей мере одного набора оценщиков контрольной цифровой задачи.
19. Система по п. 13, в которой процессор выполнен с возможностью определения по меньшей мере одного набора оценщиков из множества оценщиков в ответ на прием следующей цифровой задачи.
20. Система по п. 13, в которой процессор дополнительно выполнен с возможностью определения по меньшей мере другого одного набора оценщиков для передачи на их соответствующие электронные устройства другой следующей задачи, отличной от упомянутой следующей задачи, упомянутый по меньшей мере один набор оценщиков и упомянутый по меньшей мере другой один набор оценщиков перекрываются по меньшей мере частично.