СПОСОБ И СЕРВЕР ПРОВЕДЕНИЯ КОНТРОЛИРУЕМОГО ЭКСПЕРИМЕНТА С ИСПОЛЬЗОВАНИЕМ ПРОГНОЗИРОВАНИЯ БУДУЩЕГО ПОЛЬЗОВАТЕЛЬСКОГО ПОВЕДЕНИЯ

1. Способ проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения, способ выполняется по меньшей мере на одном сервере, способ включает в себя:
сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где:
первой группе пользователей представляют контрольный вариант сервиса;
второй группе пользователей представляют экспериментальный вариант сервиса; и
данные о поведении относятся к параметру качества контролируемого эксперимента;
на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и
определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.
2. Способ по п. 1, в котором дополнительно выполняют:
определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей; определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей; определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.
3. Способ по п. 1, в котором дополнительно выполняют:
получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени;
комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей;
комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей;
определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.
4. Способ по п. 1, в котором сервис является онлайн-сервисом.
5. Способ по п. 4, в котором контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.
6. Способ по п. 5, в котором онлайн-сервис является поисковой системой.
7. Способ по п. 6, в котором изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.
8. Способ по п. 6, в котором данные о поведении включают в себя параметры пользовательских взаимодействий с поисковой системой.
9. Способ по п. 8, в котором параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.
10. Способ по п. 9, в котором предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.
11. Способ по п. 1, в котором первый промежуток времени соответствует длительности контролируемого эксперимента.
12. Способ по п. 1, в котором первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.
13. Способ по п.12, в котором контролируемый эксперимент завершают раньше окончания длительности контролируемого эксперимента.
14. Способ по п. 1, в котором модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.
15. Способ по п. 1, в котором получают по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывают моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.
16. Способ по п. 15, в котором по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.
17. Сервер проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения, включающий в себя процессор и машиночитаемые инструкции для проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения, процессор выполнен с возможностью осуществлять:
сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где:
первой группе пользователей представляют контрольный вариант сервиса;
второй группе пользователей представляют экспериментальный вариант сервиса; и
данные о поведении относятся к параметру качества контролируемого эксперимента;
на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и
определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.
18. Сервер по п. 17, выполненный с дополнительной возможностью осуществлять:
определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей;
определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей;
определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.
19. Сервер по п. 17, выполненный с дополнительной возможностью осуществлять:
получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени;
комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей;
комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей;
определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.
20. Сервер по п. 17, в котором сервис является онлайн-сервисом.
21. Сервер по п. 20, в котором контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.
22. Сервер по п. 21, в котором онлайн-сервис является поисковой системой.
23. Сервер по п. 22, в котором изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.
24. Сервер по п. 22, в котором данные о поведении включают в себя параметры пользовательских взаимодействий с поисковой системой.
25. Сервер по п. 24, в котором параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.
26. Сервер по п. 25, в котором предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.
27. Сервер по п. 17, в котором первый промежуток времени соответствует длительности контролируемого эксперимента.
28. Сервер по п. 17, в котором первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.
29. Сервер по п. 28, в котором процессор выполнен с возможностью завершать контролируемый эксперимент раньше окончания длительности контролируемого эксперимента.
30. Сервер по п. 29, в котором модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.
31. Сервер по п. 17, в котором процессор выполнен с возможностью получать по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывать моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.
32. Сервер по п. 31, в котором процессор выполнен с возможностью извлекать по меньшей мере один признак из данных о поведении, являющийся одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.