СПОСОБ ОПРЕДЕЛЕНИЯ ТРЕНДА ПОКАЗАТЕЛЯ СТЕПЕНИ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЯ

1. Исполняемый на компьютере способ определения показателя степени вовлеченности пользователя в отношении веб-сервиса, способ выполняется сервером, способ включает в себя:
получение сервером множества запросов пользовательских устройств, которые относятся к веб-сервису за экспериментальный период, множество запросов пользовательских устройств производятся от множества пользовательских устройств;
предоставление сервером тестовой версии веб-сервиса тестовой группе, выбранной из множества пользовательских устройств, тестовая версия веб-сервиса является веб-сервисом, к которому был применен эксперимент;
предоставление сервером контрольной версии веб-сервиса контрольной группе, выбранной из множества пользовательских устройств, контрольная версия веб-ресурса является версией веб-сервиса, к которой не был применен эксперимент;
получение показателя амплитуды и показателя фазы для каждого из пользовательских устройств из контрольной и тестовых групп, получение включает в себя, для данного одного из пользовательских устройств из контрольной и тестовой групп:
получение сервером множества указаний для данного устройства, множество указаний основано на взаимодействии данного устройства с соответствующим ему веб-сервисом,
получение доступа ко множеству указаний для данного устройства,
вычисление периодичности показателя на основе, по меньшей мере частично, на дискретном преобразовании, которое выполняется на множестве указаний,
вычисление показателя амплитуды на основе, по меньшей мере частично, на величине показателя периодичности, показатель амплитуды представляет собой величину изменения показателя степени вовлеченности пользователя в отношении соответствующего веб-сервиса, и
вычисление показателя фазы на основе, по меньшей мере частично, на мнимой части показателя периодичности, показатель фазы представляет собой направление изменения показателя степени вовлеченности пользователя в отношении соответствующего веб-сервиса;
определение сервером средних групповых показателей включает в себя:
вычисление среднего контрольного показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств контрольной группы,
вычисление среднего тестового показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств тестовой группы, и
вычисление среднего контрольного показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств контрольной группы; и
определение тренда показателя степени вовлеченности пользователя в отношении веб-сервиса, определение тренда основано на анализе средних контрольных показателей амплитуды и фазы и средних тестовых показателей амплитуды и фазы.
2. Способ по п. 1, в котором анализ среднего контрольного показателя амплитуды и средних тестовых показателей амплитуды и фазы включает в себя определение разницы между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды.
3. Способ по п. 1, далее включающий в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса без применения эксперимента, если:
разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является положительной и
средний тестовый показатель фазы является положительным.
4. Способ по п. 3, в котором:
возрастание значения показателя степени вовлеченности пользователя указывает на положительный эффект от эксперимента на степень вовлеченности пользователя и
возрастающий тренд показателя степени вовлеченности пользователя указывает на возрастание в степени вовлеченности пользователя за экспериментальный период.
5. Способ по п. 1, далее включающий в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса без применения эксперимента, если:
разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является отрицательной; и
средний тестовый показатель фазы является отрицательным.
6. Способ по п. 5, в котором:
убывание значения показателя степени вовлеченности пользователя указывает на положительный эффект от эксперимента на степень вовлеченности пользователя и
возрастающий тренд показателя степени вовлеченности пользователя указывает на убывание в степени вовлеченности пользователя.
7. Способ по п. 1, далее включающий в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса без применения эксперимента, если:
разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является положительной и
средний тестовый показатель фазы является отрицательным.
8. Способ по п. 7, в котором:
возрастание значения показателя степени вовлеченности пользователя указывает на положительный эффект от эксперимента на степень вовлеченности пользователя и
убывающий тренд показателя степени вовлеченности пользователя указывает на убывание в степени вовлеченности пользователя.
9. Способ по п. 1, далее включающий в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса, если:
разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является отрицательной и
средний тестовый показатель фазы является положительным.
10. Способ по п. 9, в котором:
убывание значения показателя степени вовлеченности пользователя указывает на положительный эффект от эксперимента на степень вовлеченности пользователя; и
убывающий тренд показателя степени вовлеченности пользователя указывает на возрастание в степени вовлеченности пользователя.
11. Способ по п. 1, в котором:
разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды равна нулю; и который далее включает в себя определение того, что применение эксперимента к веб-сервису инициировало:
возрастающий тренд показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса, если средний тестовый показатель фазы положителен;
убывающий тренд показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса, если средний тестовый показатель фазы отрицателен.
12. Способ по п. 1, в котором взаимодействия данного пользовательского устройства включают в себя по меньшей мере число сеансов.
13. Способ по п. 1, в котором взаимодействия данного пользовательского устройства включают в себя по меньшей мере время покоя и время сеанса.
14. Способ по п. 1, в котором взаимодействия данного пользовательского устройства включают в себя по меньшей мере число кликов.
15. Способ по п. 1, в котором дискретное преобразование выполняется с помощью дискретного преобразования Фурье.
16. Способ по п. 1, в котором дискретное преобразование выполняется с помощью по меньшей мере одного из вейвлет-преобразования и преобразования Лапласа.
17. Способ по п. 1, в котором взаимодействия данного пользовательского устройства включают в себя по меньшей мере число запросов.
18. Способ по п. 1, в котором веб-сервис представляет собой поисковую систему.
19. Способ по п. 1, в котором веб-сервис представляет собой страницу результатов поиска.
20. Сервер включает в себя процессор, который выполнен с возможностью определять тренд показателя степени вовлеченности пользователя по отношению к экспериментальному веб-сервису, процессор выполнен с возможностью инициировать сервер осуществлять:
получение сервером множества запросов пользовательских устройств, которые относятся к веб-сервису за экспериментальный период, множество запросов пользовательских устройств производятся от множества пользовательских устройств;
предоставление сервером тестовой версии веб-сервиса тестовой группе, выбранной из множества пользовательских устройств, тестовая версия веб-сервиса является веб-сервисом, к которому был применен эксперимент;
предоставление сервером контрольной версии веб-сервиса контрольной группе, выбранной из множества пользовательских устройств, контрольная версия веб-ресурса является версией веб-сервиса, к которой не был применен эксперимент;
получение показателя амплитуды и показателя фазы для каждого из пользовательских устройств из контрольной и тестовых групп, получение включает в себя, для данного одного из пользовательских устройств из контрольной и тестовой групп:
получение сервером множества указаний для данного устройства, множество указаний основано на взаимодействия данного устройства с соответствующим ему веб-сервисом,
получение доступа ко множеству указаний для данного устройства,
вычисление периодичности показателя на основе, по меньшей мере частично, на дискретном преобразовании, которое выполняется на множестве указаний,
вычисление показателя амплитуды на основе, по меньшей мере частично, на величине показателя периодичности, показатель амплитуды представляет собой величину изменения показателя степени вовлеченности пользователя в отношении соответствующего веб-сервиса, и
вычисление показателя фазы на основе, по меньшей мере частично, на мнимой части показателя периодичности, показатель фазы представляет собой направление изменения показателя степени вовлеченности пользователя в отношении соответствующего веб-сервиса;
определение сервером средних групповых показателей включает в себя:
вычисление среднего контрольного показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств контрольной группы,
вычисление среднего тестового показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств тестовой группы, и
вычисление среднего контрольного показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств контрольной группы; и
определение тренда показателя степени вовлеченности пользователя в отношении веб-сервиса, определение тренда основано на анализе средних контрольных показателей амплитуды и фазы и средних тестовых показателей амплитуды и фазы.