Способ и сервер для ранжирования цифровых документов в ответ на запрос

1. Способ ранжирования документов в ответ на запрос, причем запрос отправляется пользователем электронного устройства в поисковую машину, поисковая машина размещена на сервере, способ выполняется сервером и содержит:
определение сервером целевого ресурса среди множества ресурсов, причем множество ресурсов размещает в себе цифровые документы, которые потенциально могут быть предоставлены поисковой машиной в качестве результатов поиска, причем целевой ресурс размещает в себе целевой документ;
генерирование сервером первого случайно выбранного значения для целевого документа, которое должно использоваться для ранжирования целевого документа в течение первого временного интервала;
в течение первого временного интервала:
получение сервером указания запроса от электронного устройства;
генерирование сервером первого ранжированного списка релевантных документов для упомянутого запроса на основе, по меньшей мере частично, первого случайно выбранного значения, причем первый ранжированный список релевантных документов содержит целевой документ в позиции повышенного ранга, причем первое случайно выбранное значение предназначено для повышения целевого документа в ранжированном списке релевантных документов;
генерирование сервером второго случайно выбранного значения для целевого документа, которое должно использоваться для ранжирования целевого документа в течение второго временного интервала;
в течение второго временного интервала:
получение сервером указания запроса от электронного устройства;
генерирование сервером второго ранжированного списка релевантных документов для упомянутого запроса на основе, по меньшей мере частично, второго случайно выбранного значения, причем второй ранжированный список релевантных документов содержит целевой документ в позиции пониженного ранга, причем второе случайно выбранное значение предназначено для понижения целевого документа во втором ранжированном списке релевантных документов,
причем позиция повышенного ранга в первом ранжированном списке находится выше позиции пониженного ранга во втором ранжированном списке для увеличения разрыва в пользовательском трафике к целевому документу между первым временным интервалом и вторым временным интервалом.
2. Способ по п. 1, в котором генерирование первого случайно выбранного значения и второго случайно выбранного значения содержит использование сервером алгоритма рандомизации.
3. Способ по п. 2, в котором алгоритм рандомизации генерирует (i) положительное значение, когда используется для генерирования первого случайно выбранного значения, и (ii) отрицательное значение, когда используется для генерирования второго случайно выбранного значения.
4. Способ по п. 1, причем способ дополнительно содержит:
в течение первого временного интервала выполнение сервером, на котором размещена поисковая машина, первого множества поисков; и
в течение второго временного интервала выполнение сервером, на котором размещена поисковая машина, второго множества поисков; и
причем целевой документ предоставляется как результат поиска для поднабора из первого множества поисков и поднабора из второго множества поисков.
5. Способ по п. 1, причем способ дополнительно содержит:
отслеживание сервером пользовательского трафика к целевому документу в течение первого временного интервала и в течение второго временного интервала.
6. Способ по п. 1, в котором генерирование первого ранжированного списка и второго ранжированного списка выполняется алгоритмом машинного обучения (MLA), обученным ранжировать документы на основе (i) соответствующей оценочной релевантности запросу и (ii) соответствующих случайно выбранных значений.
7. Способ по п. 6, в котором способ дополнительно содержит обучение сервером упомянутого MLA ранжированию документов, причем обучение содержит:
получение сервером обучающих данных для обучающей пары документ-запрос, причем обучающие данные содержат (i) данные запроса, связанные с обучающим запросом, (ii) данные документа, связанные с обучающим документом, включая обучающее случайно выбранное значение, и (iii) оценочную метку, указывающую на релевантность обучающего документа обучающему запросу;
генерирование сервером модифицированной метки в виде комбинации оценочной метки и обучающего случайно выбранного значения, с помощью чего генерируется обучающий набор, содержащий данные запроса, данные документа и модифицированную метку;
во время заданной итерации обучения:
ввод сервером в MLA данных запроса и данных документа для генерирования предсказанной оценки ранжирования для обучающего документа, причем предсказанная оценка ранжирования указывает на предсказанную релевантность обучающего документа обучающему запросу;
корректировка сервером MLA на основе сравнения предсказанной оценки ранжирования с модифицированной меткой, чтобы обучить MLA генерировать предсказанные оценки ранжирования, которые подобны модифицированной метке.
8. Способ по п. 1, в котором определение целевого ресурса содержит:
осуществление доступа сервером к системе базы данных для извлечения данных прошлых поисков, причем данные прошлых поисков содержат данные, указывающие на прошлые запросы и, соответственно, связанные документы, которые были предоставлены в качестве результатов поиска в ответ на них;
определение сервером множества коммерческих ресурсов путем определения того, какие ресурсы размещают в себе цифровые документы, которые были предоставлены в качестве результатов поиска по прошлым коммерческим запросам,
причем заданный прошлый коммерческий запрос является заданным прошлым запросом, имеющим по меньшей мере один предварительно определенный терм;
фильтрация сервером множества коммерческих ресурсов путем удаления ресурсов с высоким трафиком, с помощью чего определяется набор коммерческих ресурсов, причем фильтрация содержит:
применение сервером основанного на трафике порога к пользовательскому трафику, связанному с соответствующими ресурсами из множества коммерческих ресурсов;
фильтрация сервером упомянутого набора коммерческих ресурсов путем удаления высококачественных ресурсов, с помощью чего определяется поднабор коммерческих ресурсов, причем фильтрация содержит:
применение сервером основанного на качестве порога к данным, связанным с соответствующими данными из набора коммерческих ресурсов,
причем поднабор коммерческих ресурсов содержит целевой ресурс.
9. Способ по п. 1, причем способ дополнительно содержит:
выбор сервером целевого ресурса среди поднабора коммерческих ресурсов, причем целевой ресурс является заданным коммерческим ресурсом.
10. Способ по п. 9, причем способ дополнительно содержит:
определение сервером множества коммерческих ресурсов на основе данных поиска поисковой машины; и
определение сервером поднабора коммерческих ресурсов путем отфильтровывания группы коммерческих ресурсов из множества коммерческих ресурсов, причем группа ресурсов с высокой вероятностью не включает в себя мошеннические ресурсы на основе одного или более предварительно определенных параметров.
11. Способ по п. 10, причем способ дополнительно содержит:
определение сервером группы коммерческих ресурсов путем применения предварительно определенного параметра к данным поиска, связанным с соответствующими ресурсами из множества коммерческих ресурсов, причем предварительно определенный параметр является по меньшей мере одним из основанного на трафике порога и основанного на качестве порога,
причем ресурсы с высоким трафиком и высококачественные ресурсы среди множества коммерческих ресурсов с высокой вероятностью не являются мошенническими ресурсами.
12. Способ по п. 1, в котором первый временной интервал и второй временной интервал имеют общую продолжительность времени.
13. Способ по п. 1, в котором первый временной интервал предшествует второму временному интервалу.
14. Способ по п. 1, в котором первый временной интервал следует после второго временного интервала.
15. Способ по п. 1, в котором первый временной интервал является одним из множества первых временных интервалов, а второй временной интервал является одним из множества вторых временных интервалов, причем соответствующие интервалы из множества первых временных интервалов и из множества вторых временных интервалов последовательно смещены во времени.
16. Сервер для ранжирования документов в ответ на запрос, причем запрос отправляется пользователем электронного устройства в поисковую машину, поисковая машина размещена на сервере, причем сервер сконфигурирован с возможностью:
определять целевой ресурс среди множества ресурсов, причем множество ресурсов размещает в себе цифровые документы, которые потенциально могут быть предоставлены поисковой машиной в качестве результатов поиска, причем целевой ресурс размещает в себе целевой документ;
генерировать первое случайно выбранное значение для целевого документа, которое должно использоваться для ранжирования целевого документа в течение первого временного интервала;
в течение первого временного интервала:
получать указание запроса от электронного устройства;
генерировать первый ранжированный список релевантных документов для упомянутого запроса на основе, по меньшей мере частично, первого случайно выбранного значения, причем первый ранжированный список релевантных документов содержит целевой документ в позиции повышенного ранга, причем первое случайно выбранное значение предназначено для повышения целевого документа в ранжированном списке релевантных документов;
генерировать второе случайно выбранное значение для целевого документа, которое должно использоваться для ранжирования целевого документа в течение второго временного интервала;
в течение второго временного интервала:
получать указание запроса от электронного устройства;
генерировать второй ранжированный список релевантных документов для упомянутого запроса на основе, по меньшей мере частично, второго случайно выбранного значения, причем второй ранжированный список релевантных документов содержит целевой документ в позиции пониженного ранга, причем второе случайно выбранное значение предназначено для понижения целевого документа во втором ранжированном списке релевантных документов,
причем позиция повышенного ранга в первом ранжированном списке находится выше позиции пониженного ранга во втором ранжированном списке для увеличения разрыва в пользовательском трафике к целевому документу между первым временным интервалом и вторым временным интервалом.
17. Сервер по п. 16, причем сервер, сконфигурированный для генерирования первого случайно выбранного значения и второго случайно выбранного значения, содержит сервер, сконфигурированный для использования алгоритма рандомизации.
18. Сервер по п. 17, в котором алгоритм рандомизации генерирует (i) положительное значение, когда используется для генерирования первого случайно выбранного значения, и (ii) отрицательное значение, когда используется для генерирования второго случайно выбранного значения.
19. Сервер по п. 16, причем сервер дополнительно сконфигурирован с возможностью:
в течение первого временного интервала выполнять поисковой машиной первое множество поисков; и
в течение второго временного интервала выполнять поисковой машиной второе множество поисков; и
причем целевой документ предоставляется как результат поиска для поднабора из первого множества поисков и поднабора из второго множества поисков.
20. Сервер по п. 16, причем сервер дополнительно сконфигурирован с возможностью:
отслеживать пользовательский трафик к целевому документу в течение первого временного интервала и в течение второго временного интервала.
21. Сервер по п. 16, причем сервер, сконфигурированный для генерирования первого ранжированного списка и второго ранжированного списка, использует алгоритм машинного обучения (MLA), обученный ранжировать документы на основе (i) соответствующей оценочной релевантности запросу и (ii) соответствующих случайно выбранных значений.
22. Сервер по п. 21, причем сервер дополнительно сконфигурирован для обучения MLA ранжированию документов, причем сервер, сконфигурированный для обучения MLA, содержит сервер, сконфигурированный с возможностью:
получать обучающие данные для обучающей пары документ-запрос, причем обучающие данные содержат (i) данные запроса, связанные с обучающим запросом, (ii) данные документа, связанные с обучающим документом, включая обучающее случайно выбранное значение, и (iii) оценочную метку, указывающую на релевантность обучающего документа обучающему запросу;
генерировать модифицированную метку в виде комбинации оценочной метки и обучающего случайно выбранного значения, с помощью чего генерируется обучающий набор, содержащий данные запроса, данные документа и модифицированную метку;
во время заданной итерации обучения:
вводить в MLA данные запроса и данные документа для генерирования предсказанной оценки ранжирования для обучающего документа, причем предсказанная оценка ранжирования указывает на предсказанную релевантность обучающего документа обучающему запросу;
корректировать MLA на основе сравнения предсказанной оценки ранжирования с модифицированной меткой, чтобы обучить MLA генерировать предсказанные оценки ранжирования, которые подобны модифицированной метке.
23. Сервер по п. 16, причем сервер, сконфигурированный для определения целевого ресурса, содержит сервер, сконфигурированный с возможностью:
осуществлять доступ к системе базы данных для извлечения данных прошлых поисков, причем данные прошлых поисков содержат данные, указывающие на прошлые запросы и, соответственно, связанные документы, которые были предоставлены в качестве результатов поиска в ответ на них;
определять множество коммерческих ресурсов путем определения того, какие ресурсы размещают в себе цифровые документы, которые были предоставлены в качестве результатов поиска по прошлым коммерческим запросам,
причем заданный прошлый коммерческий запрос является заданным прошлым запросом, имеющим по меньшей мере один предварительно определенный терм;
фильтровать множество коммерческих ресурсов путем удаления ресурсов с высоким трафиком, с помощью чего определяется набор коммерческих ресурсов, причем сервер, сконфигурированный для фильтрации, содержит сервер, сконфигурированный с возможностью:
применять основанный на трафике порог к пользовательскому трафику, связанному с соответствующими ресурсами из множества коммерческих ресурсов;
фильтровать набор коммерческих ресурсов путем удаления высококачественных ресурсов, с помощью чего определяется поднабор коммерческих ресурсов, причем сервер, сконфигурированный с возможностью фильтрации, содержит сервер, сконфигурированный с возможностью:
применять основанный на качестве порог к данным, связанным с соответствующими данными из набора коммерческих ресурсов,
причем поднабор коммерческих ресурсов содержит целевой ресурс.
24. Сервер по п. 16, причем сервер дополнительно сконфигурирован с возможностью:
выбирать целевой ресурс среди поднабора коммерческих ресурсов, причем целевой ресурс является заданным коммерческим ресурсом.
25. Сервер по п. 24, причем сервер дополнительно сконфигурирован с возможностью:
определять множество коммерческих ресурсов на основе данных поиска поисковой машины; и
определять поднабор коммерческих ресурсов путем отфильтровывания группы коммерческих ресурсов из множества коммерческих ресурсов, причем группа ресурсов с высокой вероятностью не включает в себя мошеннические ресурсы на основе одного или более предварительно определенных параметров.
26. Сервер по п. 25, причем сервер дополнительно сконфигурирован с возможностью:
определять группу коммерческих ресурсов путем применения предварительно определенного параметра к данным поиска, связанным с соответствующими ресурсами из множества коммерческих ресурсов, причем предварительно определенный параметр является по меньшей мере одним из основанного на трафике порога и основанного на качестве порога,
причем ресурсы с высоким трафиком и высококачественные ресурсы среди множества коммерческих ресурсов с высокой вероятностью не являются мошенническими ресурсами.
27. Сервер по п. 16, в котором первый временной интервал и второй временной интервал имеют общую продолжительность времени.
28. Сервер по п. 16, в котором первый временной интервал предшествует второму временному интервалу.
29. Сервер по п. 16, в котором первый временной интервал следует после второго временного интервала.
30. Сервер по п. 16, в котором первый временной интервал является одним из множества первых временных интервалов, а второй временной интервал является одним из множества вторых временных интервалов, причем соответствующие интервалы из множества первых временных интервалов и из множества вторых временных интервалов последовательно смещены во времени.