СПОСОБЫ И СИСТЕМЫ ДЛЯ ОБУЧЕНИЯ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ НА ОСНОВЕ ДЕРЕВЬЕВ РЕШЕНИЙ

1. Способ обучения алгоритма машинного обучения (MLA) на основе деревьев решений, основанного на множестве сформированных деревьев, каждое из которых имеет множество листьев с соответствующими листьевыми значениями, выполняемый сервером, имеющим доступ к обучающему набору данных, содержащему множество обучающих объектов и множество целевых значений, каждое из которых указывает на контрольный показатель, связанный с объектом из множества обучающих объектов, и во время итерации обучения алгоритма MLA на основе деревьев решений, включающий в себя:
- формирование сервером множества прогнозов с использованием текущего множества сформированных деревьев, при этом прогноз из множества прогнозов указывает на выходные данные, сформированные текущим множеством сформированных деревьев для целевого значения соответствующего объекта из множества обучающих объектов;
- формирование сервером множества оценок градиента путем применения функции потерь, при этом оценка из множества оценок градиента указывает на различие между целевым значением и соответствующим прогнозом из множества прогнозов;
- формирование сервером первого множества зашумленных оценок градиента путем применения первой шумовой функции в отношении множества оценок градиента;
- формирование сервером множества зашумленных деревьев-кандидатов с использованием первого множества зашумленных оценок градиента, при этом дерево из множества зашумленных деревьев-кандидатов содержит множество листьев с соответствующими листьевыми значениями, основанными на первом множестве зашумленных оценок градиента;
- применение сервером метрики выбора в отношении листьевых значений множества зашумленных деревьев-кандидатов для выбора целевого дерева из множества зашумленных деревьев-кандидатов, при этом целевое дерево представляет собой зашумленное дерево-кандидат с листьевыми значениями, более близкими к соответствующим зашумленным оценкам градиента из первого множества зашумленных оценок градиента, чем листьевые значения любого другого зашумленного дерева-кандидата;
- формирование сервером второго множества зашумленных оценок градиента путем применения второй шумовой функции в отношении множества оценок градиента;
- формирование сервером зависящего от итерации дерева путем определения на основе второго множества зашумленных оценок градиента новых листьевых значений для соответствующих листьев целевого дерева; и
- сохранение сервером зависящего от итерации дерева для использования сервером в сочетании с текущим множеством сформированных деревьев.
2. Способ по п. 1, отличающийся тем, что алгоритм MLA на основе деревьев решений обучается выполнению задачи регрессии или задачи классификации на этапе использования алгоритма MLA на основе деревьев решений.
3. Способ по п. 1, отличающийся тем, что функция потерь представляет собой выпуклую функцию потерь или невыпуклую функцию потерь.
4. Способ по п. 3, отличающийся тем, что невыпуклая функция потерь содержит функцию потерь 0-1.
i
i
5. Способ по п. 1, отличающийся тем, что первая шумовая функция представляет собой функцию , где  - значение шума, добавляемого к -й оценке градиента из множества оценок градиента для формирования -й зашумленной оценки градиента из первого множества зашумленных оценок градиента;  («среднее значение», «дисперсия») - функция нормального распределения;  - параметр скорости обучения;  - обратный параметр температуры диффузии Ланжевена.
6. Способ по п. 1, отличающийся тем, что формирование множества зашумленных деревьев-кандидатов включает в себя формирование сервером дерева из множества зашумленных деревьев-кандидатов путем:
- определения сервером древовидной структуры для дерева из множества зашумленных деревьев-кандидатов на основе первого множества зашумленных оценок градиента, при этом древовидная структура содержит множество листьев, каждый из которых соответствует по меньшей мере одной оценке из первого множества зашумленных оценок градиента;
- для листа, соответствующего нескольким оценкам из первого множества зашумленных оценок градиента, - объединение сервером нескольких оценок из первого множества зашумленных оценок градиента, в результате чего определяется агрегированное значение, и использование этого агрегированного значения в качестве соответствующего листьевого значения для этого листа; а
- для другого листа из соответствующего множества листьев, соответствующих только одной оценке из первого множества зашумленных оценок градиента, - использование в качестве соответствующего листьевого значения только одной оценки из первого множества зашумленных оценок градиента.
7. Способ по п. 1, отличающийся тем, что метрика выбора представляет собой сумму квадратов разностей между листьевыми значениями зашумленного дерева-кандидата и соответствующими оценками градиента из первого множества оценок градиента.
i
i
8. Способ по п. 1, отличающийся тем, что вторая шумовая функция представляет собой функцию , где  - значение шума, добавляемого к -й оценке градиента из множества оценок градиента для формирования -й зашумленной оценки градиента из второго множества зашумленных оценок градиента;  («среднее значение», «дисперсия») - функция нормального распределения;  - параметр скорости обучения;  - обратный параметр температуры диффузии Ланжевена.
9. Способ по п. 1, отличающийся тем, что первая шумовая функция не зависит от второй шумовой функции.
10. Способ по п. 1, отличающийся тем, что первое множество зашумленных оценок градиента формируется независимо от второго множества зашумленных оценок градиента.
11. Способ по п. 1, отличающийся тем, что формирование зависящего от итерации дерева включает в себя:
- для листа целевого дерева, соответствующего нескольким оценкам из второго множества зашумленных оценок градиента, - объединение сервером нескольких оценок из второго множества зашумленных оценок градиента, в результате чего определяется агрегированное значение, и использование этого агрегированного значения в качестве нового листьевого значения для этого листа; а
- для другого листа целевого дерева, соответствующего только одной оценке из второго множества зашумленных оценок градиента, - использование только одной оценки из второго множества зашумленных оценок градиента в качестве нового листьевого значения для этого другого листа.
12. Способ по п. 1, отличающийся тем, что во время итерации обучения он дополнительно включает в себя выполнение сервером процедуры сжатия в отношении множества прогнозов с использованием параметра сжатия для формирования множества сжатых прогнозов, меньших соответствующих прогнозов, при этом оценка из множества оценок градиента указывает на различие между целевым значением и соответствующим прогнозом из множества сжатых прогнозов.
13. Способ по п. 1, отличающийся тем, что использование зависящего от итерации дерева в сочетании с текущим множеством сформированных деревьев включает в себя:
- выполнение сервером процедуры регуляризации в отношении новых листьевых значений зависящего от итерации дерева с использованием параметра скорости обучения для формирования множества регуляризованных листьевых значений, меньших соответствующих листьевых значений; и
- использование сервером зависящего от итерации дерева со множеством регуляризованных листьевых значений и текущего множества сформированных деревьев на следующей итерации обучения алгоритма MLA на основе деревьев решений.
14. Сервер для обучения алгоритма машинного обучения (MLA) на основе деревьев решений, основанного на множестве сформированных деревьев, каждое из которых имеет множество листьев с соответствующими листьевыми значениями, который имеет доступ к обучающему набору данных, содержащему множество обучающих объектов и множество целевых значений, каждое из которых указывает на контрольный показатель, связанный с объектом из множества обучающих объектов, и выполнен с возможностью во время итерации обучения алгоритма MLA на основе деревьев решений:
- формирования множества прогнозов с использованием текущего множества сформированных деревьев, при этом прогноз из множества прогнозов указывает на выходные данные, сформированные текущим множеством сформированных деревьев для целевого значения соответствующего объекта из множества обучающих объектов;
- формирования множества оценок градиента путем применения функции потерь, при этом оценка из множества оценок градиента указывает на различие между целевым значением и соответствующим прогнозом из множества прогнозов;
- формирования первого множества зашумленных оценок градиента путем применения первой шумовой функции в отношении множества оценок градиента;
- формирования множества зашумленных деревьев-кандидатов с использованием первого множества зашумленных оценок градиента, при этом дерево из множества зашумленных деревьев-кандидатов содержит множество листьев с соответствующими листьевыми значениями, основанными на первом множестве зашумленных оценок градиента;
- применения метрики выбора в отношении листьевых значений из множества зашумленных деревьев-кандидатов для выбора целевого дерева из множества зашумленных деревьев-кандидатов, при этом целевое дерево представляет собой зашумленное дерево-кандидат с листьевыми значениями, более близкими к соответствующим зашумленным оценкам градиента из первого множества зашумленных оценок градиента, чем листьевые значения любого другого зашумленного дерева-кандидата;
- формирования второго множества зашумленных оценок градиента путем применения второй шумовой функции в отношении множества оценок градиента;
- формирования зависящего от итерации дерева путем определения на основе второго множества зашумленных оценок градиента новых листьевых значений для соответствующих листьев целевого дерева; и
- сохранения зависящего от итерации дерева для использования сервером в сочетании с текущим множеством сформированных деревьев.
15. Сервер по п. 14, отличающийся тем, что алгоритм MLA на основе деревьев решений обучается выполнению задачи регрессии или задачи классификации на этапе использования алгоритма MLA на основе деревьев решений.
16. Сервер по п. 14, отличающийся тем, что функция потерь представляет собой выпуклую функцию потерь или невыпуклую функцию потерь.
17. Сервер по п. 16, отличающийся тем, что невыпуклая функция потерь содержит функцию потерь 0-1.
i
i
18. Сервер по п. 14, отличающийся тем, что первая шумовая функция представляет собой функцию , где  - значение шума, добавляемого к -й оценке градиента из множества оценок градиента для формирования -й зашумленной оценки градиента из первого множества зашумленных оценок градиента;  («среднее значение», «дисперсия») - функция нормального распределения;  - параметр скорости обучения;  - обратный параметр температуры диффузии Ланжевена.
19. Сервер по п. 14, отличающийся тем, что возможность формирования сервером множества зашумленных деревьев-кандидатов включает в себя возможность формирования дерева из множества зашумленных деревьев-кандидатов путем:
- определения сервером древовидной структуры для дерева из множества зашумленных деревьев-кандидатов на основе первого множества зашумленных оценок градиента, при этом древовидная структура содержит множество листьев, каждый из которых соответствует по меньшей мере одной оценке из первого множества зашумленных оценок градиента;
- для листа, соответствующего нескольким оценкам из первого множества зашумленных оценок градиента, - объединения сервером нескольких оценок из первого множества зашумленных оценок градиента и определения таким образом агрегированного значения и использования этого агрегированного значения в качестве соответствующего листьевого значения для этого листа; а
- для другого листа из соответствующего множества листьев, соответствующих только одной оценке из первого множества зашумленных оценок градиента, - использования в качестве соответствующего листьевого значения только одной оценки из первого множества зашумленных оценок градиента.
20. Сервер по п. 14, отличающийся тем, что метрика выбора представляет собой сумму квадратов разностей между листьевыми значениями зашумленного дерева-кандидата и соответствующими оценками градиента из первого множества оценок градиента.
i
i
21. Сервер по п. 14, отличающийся тем, что вторая шумовая функция представляет собой функцию , где  - значение шума, добавляемого к -й оценке градиента из множества оценок градиента для формирования -й зашумленной оценки градиента из второго множества зашумленных оценок градиента;  («среднее значение», «дисперсия») - функция нормального распределения;  - параметр скорости обучения;  - обратный параметр температуры диффузии Ланжевена.
22. Сервер по п. 14, отличающийся тем, что первая шумовая функция не зависит от второй шумовой функции.
23 Сервер по п. 14, отличающийся тем, что первое множество зашумленных оценок градиента формируется независимо от второго множества зашумленных оценок градиента.
24. Сервер по п. 14, отличающийся тем, что возможность формирования сервером зависящего от итерации дерева включает в себя возможность:
- для листа целевого дерева, соответствующего нескольким оценкам из второго множества зашумленных оценок градиента, - объединения нескольких оценок из второго множества зашумленных оценок градиента и определения таким образом агрегированного значения и использования этого агрегированного значения в качестве нового листьевого значения для этого листа; а
- для другого листа целевого дерева, соответствующего только одной оценке из второго множества зашумленных оценок градиента, - использования только одной оценки из второго множества зашумленных оценок градиента в качестве нового листьевого значения для этого другого листа.
25. Сервер по п. 14, отличающийся тем, что он дополнительно выполнен с возможностью выполнения во время итерации обучения процедуры сжатия в отношении множества прогнозов с использованием параметра сжатия для формирования множества сжатых прогнозов, меньших соответствующих прогнозов, при этом оценка из множества оценок градиента указывает на различие между целевым значением и соответствующим прогнозом из множества сжатых прогнозов.
26. Сервер по п. 14, отличающийся тем, что возможность использования сервером зависящего от итерации дерева в сочетании с текущим множеством сформированных деревьев включает в себя возможность:
- выполнения процедуры регуляризации в отношении новых листьевых значений зависящего от итерации дерева с использованием параметра скорости обучения для формирования множества регуляризованных листьевых значений, меньших соответствующих листьевых значений; и
- использования зависящего от итерации дерева со множеством регуляризованных листьевых значений и текущего множества сформированных деревьев на следующей итерации обучения алгоритма MLA на основе деревьев решений.