СПОСОБ И СИСТЕМА ГЕНЕРИРОВАНИЯ ОБУЧАЮЩИХ ДАННЫХ ДЛЯ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ

1. Реализуемый компьютером способ генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA), причем обучающие данные основаны на цифровых задачах, доступных текущему набору оценщиков; при этом способ исполняется на сервере, включающем в себя процессор, доступный по сети связи для электронных устройств, связанных с текущим набором оценщиков, причем способ содержит извлечение процессором данных об оценщиках, связанных с текущим набором оценщиков, причем данные об оценщиках указывают прошлые рабочие характеристики соответствующих оценщиков из текущего набора оценщиков, выполняющих определенную цифровую задачу, причем данные об оценщиках включают в себя
данные, указывающие множество результатов в ответ на предоставление определенной цифровой задачи текущему набору оценщиков; и
данные, указывающие соответствующие текущие показатели качества каждого оценщика из текущего набора оценщиков;
определение процессором для определенного результата из множества результатов числа его экземпляров во множестве результатов;
определение на основе числа экземпляров и соответствующих текущих показателей качества тех оценщиков из текущего набора оценщиков, которые обеспечили определенный результат, соответствующего значения совокупной метрики качества, связанной с определенным результатом;
идентификацию процессором надежного результата из множества результатов как связанного с максимальным значением совокупной метрики качества;
определение на основе надежного результата обновленных показателей качества для каждого оценщика из текущего набора оценщиков так, чтобы
в ответ на обеспечение определенным оценщиком из текущего набора оценщиков соответствующего результата, соответствующего надежному результату, увеличить соответствующий текущий показатель качества, связанный с данным оценщиком из текущего набора оценщиков, на предопределенное значение; и
в ответ на обеспечение определенным оценщиком из текущего набора оценщиков соответствующего результата, не соответствующего надежному результату, уменьшить соответствующий текущий показатель качества на предопределенное значение;
в ответ на то, что соответствующий обновленный показатель качества, связанный с определенным оценщиком из текущего набора оценщиков, больше или равен предопределенному порогу показателя качества, включение данного оценщика из текущего набора оценщиков в обновленный набор оценщиков;
передачу процессором следующей цифровой задачи для выполнения на электронные устройства, связанные с оценщиками из упомянутого обновленного набора; и;
генерирование процессором обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими оценщиками из обновленного набора оценщиков следующей цифровой задачи.
2. Способ по п. 1, в котором определение соответствующего значения совокупной метрики качества, связанной с определенным результатом, выполняется в соответствии с уравнением
где S(y) представляет собой соответствующее значение совокупной метрики качества,
i
I(y=y) представляет собой определенный экземпляр определенного результата, и
i
skill представляет собой определенный показатель из соответствующих текущих показателей качества тех оценщиков из текущего набора оценщиков, которые обеспечили определенный результат.
3. Способ по п. 1, в котором соответствующий текущий показатель качества указывает значение вероятности правильного выполнения определенной цифровой задачи определенным оценщиком из текущего набора оценщиков, а определение совокупной метрики качества содержит определение ожидаемого значения определенного результата в соответствии с уравнением
i
где I(y=y) представляет собой определенный экземпляр определенного результата;
i
skill представляет собой определенный показатель из соответствующих текущих показателей качества тех оценщиков из текущего набора оценщиков, которые обеспечили определенный результат;
i
I(y≠y) представляет собой определенный экземпляр другого результата из множества результатов, который отличается от определенного результата; и
L представляет собой число экземпляров другого результата из множества результатов, отличного от определенного результата.
4. Способ по п. 1, в котором способ дополнительно содержит определение предопределенного значения для одного из увеличения и уменьшения соответствующего текущего показателя качества на основе разности между соответствующим текущим показателем качества определенного оценщика из текущего набора оценщиков и значением двоичной маски, значение двоичной маски равняется 1, если определенный результат соответствует надежному результату, и равняется 0, если определенный результат не соответствует надежному результату.
5. Способ по п. 4, в котором определение предопределенного значения дополнительно основано на предопределенном мультипликативном коэффициенте, указывающем величину штрафа для каждого оценщика из текущего набора оценщиков, обеспечившего результаты, отличные от надежного результата.
6. Способ по п. 5, в котором определение соответствующего обновленного показателя качества выполняется в соответствии с уравнением
i, t
где skill представляет собой соответствующий обновленный показатель качества определенного оценщика из текущего набора оценщиков;
i, t-1
skill представляет собой соответствующий текущий показатель качества определенного оценщика из текущего набора оценщиков;
i
d представляет собой разность между соответствующим текущим показателем качества и двоичным значением, указывающим, соответствует ли обеспеченный им определенный результат надежному результату или нет; и
λ представляет собой предопределенный мультипликативный коэффициент.
7. Способ по п. 6, в котором определение соответствующего обновленного показателя качества дополнительно содержит, для определенного оценщика из текущего набора оценщиков, для определенной последней прошлой цифровой задачи из ряда прошлых цифровых задач, причем ряд прошлых цифровых задач был определен с использованием скользящего окна предопределенной ширины, определение соответствующего обновленного показателя качества на основе последнего показателя качества, связанного с определенными последними прошлыми цифровыми задачами, и других показателей качества для оставшихся задач из упомянутого ряда прошлых цифровых задач.
8. Способ по п. 7, в котором определение соответствующего обновленного показателя качества выполняется в соответствии с уравнением
i, t
где skill представляет собой соответствующий обновленный показатель качества, связанный с определенным оценщиком из текущего набора оценщиков,
i, j
skill представляет собой один из прошлых показателей качества, связанный с определенным оценщиком из текущего набора оценщиков, определенный на основе выполнения определенным оценщиком из текущего набора оценщиков соответствующей задачи из ряда прошлых цифровых задач; и
w представляет собой предопределенную ширину скользящего окна, указывающую число прошлых цифровых задач в ряде прошлых цифровых задач.
9. Способ по п. 1, в котором соответствующий текущий показатель качества был определен на основе точности выполнения определенным оценщиком из текущего набора оценщиков контрольной цифровой задачи.
10. Способ по п. 1, дополнительно содержащий
извлечение процессором данных, включающих в себя множество следующих результатов в ответ на предоставление следующей цифровой задачи обновленному набору оценщиков;
определение процессором для определенного следующего результата из множества следующих результатов второго числа экземпляров определенного следующего результата во множестве следующих результатов;
определение на основе второго числа экземпляров и соответствующих обновленных показателей качества тех оценщиков из обновленного набора оценщиков, которые обеспечили определенный следующий результат, соответствующего значения второй совокупной метрики качества, связанной с определенным следующим результатом; и
идентификацию процессором надежного следующего результата из множества следующих результатов как связанного с максимальным значением второй совокупной метрики качества.
11. Способ по п. 10, дополнительно содержащий определение на основе надежного следующего результата вновь обновленных показателей качества для каждого оценщика из обновленного набора оценщиков так, чтобы
в ответ на обеспечение определенным оценщиком из обновленного набора оценщиков соответствующего следующего результата, соответствующего надежному следующему результату, увеличить соответствующий обновленный показатель качества, связанный с данным оценщиком из обновленного набора оценщиков, на предопределенное значение; и
в ответ на обеспечение определенным оценщиком из обновленного набора оценщиков соответствующего следующего результата, не соответствующего надежному следующему результату, уменьшить соответствующий обновленный показатель качества на предопределенное значение;
в ответ на то, что вновь обновленный показатель качества, связанный с определенным оценщиком из обновленного набора оценщиков, больше или равен предопределенному порогу показателя качества, включение данного оценщика из обновленного набора оценщиков во вновь обновленный набор оценщиков;
передачу процессором другой следующей цифровой задачи для выполнения на электронные устройства, связанные с оценщиками из упомянутого вновь обновленного набора; и;
генерирование процессором обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими оценщиками из вновь обновленного набора оценщиков другой следующей цифровой задачи.
12. Способ по п. 11, в котором определение вновь обновленных показателей качества для каждого оценщика из обновленного набора оценщиков для определения вновь обновленного набора оценщиков инициируется приемом посредством сервера другой следующей цифровой задачи.
13. Система для генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA), причем обучающие данные основаны на цифровых задачах, доступных текущему набору оценщиков; причем система содержит сервер, включающий в себя
процессор, доступный по сети связи для электронных устройств, связанных с текущим набором оценщиков;
долговременную считываемую компьютером память, хранящую инструкции;
причем процессор, при исполнении инструкций, выполнен с возможностью
извлечения данных об оценщиках, связанных с текущим набором оценщиков, причем данные об оценщиках указывают прошлые рабочие характеристики соответствующих оценщиков из текущего набора оценщиков, выполняющих определенную цифровую задачу, причем данные об оценщиках включают в себя
данные, указывающие множество результатов в ответ на предоставление определенной цифровой задачи текущему набору оценщиков; и
данные, указывающие соответствующие текущие показатели качества каждого оценщика из текущего набора оценщиков;
определения для определенного результата из множества результатов числа его экземпляров во множестве результатов;
определения на основе числа экземпляров и соответствующих текущих показателей качества тех оценщиков из текущего набора оценщиков, которые обеспечили определенный результат, соответствующего значения совокупной метрики качества, связанной с определенным результатом;
идентификации надежного результата из множества результатов как связанного с максимальным значением совокупной метрики качества;
определения на основе надежного результата обновленных показателей качества для каждого оценщика из текущего набора оценщиков так, чтобы
в ответ на обеспечение определенным оценщиком из текущего набора оценщиков соответствующего результата, соответствующего надежному результату, увеличить соответствующий текущий показатель качества, связанный с данным оценщиком из текущего набора оценщиков, на предопределенное значение; и
в ответ на обеспечение определенным оценщиком из текущего набора оценщиков соответствующего результата, не соответствующего надежному результату, уменьшить соответствующий текущий показатель качества на предопределенное значение;
в ответ на то, что соответствующий обновленный показатель качества, связанный с определенным оценщиком из текущего набора оценщиков, больше или равен предопределенному порогу показателя качества, включения данного оценщика из текущего набора оценщиков в обновленный набор оценщиков;
передачи следующей цифровой задачи для выполнения на электронные устройства, связанные с оценщиками из упомянутого обновленного набора; и
генерирования обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими оценщиками из обновленного набора оценщиков следующей цифровой задачи.
14. Система по п. 13, в которой процессор выполнен с возможностью определения соответствующего значения совокупной метрики качества, связанной с определенным результатом, в соответствии с уравнением
где S(y) представляет собой соответствующее значение совокупной метрики качества,
i
I(y=y) представляет собой определенный экземпляр определенного результата, и
i
skill представляет собой определенный показатель из соответствующих текущих показателей качества тех оценщиков из текущего набора оценщиков, которые обеспечили определенный результат.
15. Система по п. 13, в которой соответствующий текущий показатель качества указывает значение вероятности правильного выполнения определенной цифровой задачи определенным оценщиком из текущего набора оценщиков, а процессор выполнен с возможностью определения совокупной метрики качества в качестве ожидаемого значения определенного результата в соответствии с уравнением
i
где I(y=y) представляет собой определенный экземпляр определенного результата;
i
skill представляет собой определенный показатель из соответствующих текущих показателей качества тех оценщиков из текущего набора оценщиков, которые обеспечили определенный результат;
i
I(y≠y) представляет собой определенный экземпляр другого результата из множества результатов, который отличается от определенного результата; и
L представляет собой число экземпляров другого результата из множества результатов, отличного от определенного результата.
16. Система по п. 13, в которой процессор дополнительно выполнен с возможностью определения предопределенного значения для одного из увеличения и уменьшения соответствующего текущего показателя качества на основе разности между соответствующим текущим показателем качества определенного оценщика из текущего набора оценщиков и значением двоичной маски, значение двоичной маски равняется 1, если определенный результат соответствует надежному результату, и равняется 0, если определенный результат не соответствует надежному результату.
17. Система по п. 16, в которой процессор дополнительно выполнен с возможностью определения предопределенного значения на основе предопределенного мультипликативного коэффициента, указывающего величину штрафа для каждого оценщика из текущего набора оценщиков, обеспечившего результаты, отличные от надежного результата.
18. Система по п. 17, в которой процессор выполнен с возможностью определения соответствующего обновленного показателя качества в соответствии с уравнением
i, t
где skill представляет собой соответствующий обновленный показатель качества определенного оценщика из текущего набора оценщиков;
i, t-1
skill представляет собой соответствующий текущий показатель качества определенного оценщика из текущего набора оценщиков;
i
d представляет собой разность между соответствующим текущим показателем качества и двоичным значением, указывающим, соответствует ли обеспеченный им определенный результат надежному результату или нет; и
λ представляет собой предопределенный мультипликативный коэффициент.
19. Система по п. 18, в которой для определения соответствующего обновленного показателя качества процессор дополнительно выполнен с возможностью, для определенного оценщика из текущего набора оценщиков, для определенной последней прошлой цифровой задачи из ряда прошлых цифровых задач, причем ряд прошлых цифровых задач был определен с использованием скользящего окна предопределенной ширины, определения соответствующего обновленного показателя качества на основе последнего показателя качества, связанного с определенными последними прошлыми цифровыми задачами, и других показателей качества для оставшихся задач из упомянутого ряда прошлых цифровых задач.
20. Система по п. 19, в которой процессор дополнительно выполнен с возможностью определения соответствующего обновленного показателя качества в соответствии с уравнением
i, t
где skill представляет собой соответствующий обновленный показатель качества, связанный с определенным оценщиком из текущего набора оценщиков,
i, j
skill представляет собой один из прошлых показателей качества, связанный с определенным оценщиком из текущего набора оценщиков, определенный на основе выполнения определенным оценщиком из текущего набора оценщиков соответствующей задачи из ряда прошлых цифровых задач; и
w представляет собой предопределенную ширину скользящего окна, указывающую число прошлых цифровых задач в ряде прошлых цифровых задач.