СПОСОБ И СИСТЕМА ВЫБОРА ОПТИМАЛЬНОГО ПРОВАЙДЕРА ДЛЯ ПЕРЕДАЧИ ДАННЫХ
METHOD AND SYSTEM OF SELECTING OF OPTIMAL PROVIDER FOR DATA TRANSMISSION

ОБЛАСТЬ ТЕХНИКИ
[0001] Данное техническое решение относится, в общем, к области вычислительной техники, а в частности к способам и системам выбора оптимального провайдера для передачи данных.
УРОВЕНЬ ТЕХНИКИ
[0002] В настоящее время рейтинг провайдеров Интернет и его динамика может показать потребителям в емкой форме состояние качества услуг связи и стремление провайдеров двигаться в сторону улучшения. Данная информация может существенно облегчить и помочь простому потребителю сети Интернет сделать выбор оператора связи.
[0003] Из уровня техники известна заявка на патент US 20120166622 A1 « Automated service provider network selection using a wireless air-time auction», дата публикации: 28.06.2012, патентообладатель: Verizon Patent And Licensing, Inc. В данном техническом решении описывается система, выполненная с возможностью хранения пользовательских предпочтений сети, где предпочтения пользователя включают в себя информацию о выборе сети на основе тарифов, скорости передачи данных уровня сигнала и т.д.
[0004] Также из уровня техники известен патент US 6982962 В1 «System and method for selecting a network access provider using a portable information device», дата публикации: 03.01.2006, патентообладатель: 3Com Corporation. Данное техническое решение относится к системам и способам выбора провайдера сети посредством портативного устройства. Предварительно заданными критериями могут быть следующие: надежность, безопасность, уровень сигнала и стоимость. Оценка рассчитывается для каждого поставщика услуг и происходит подключение к сети на основе оптимального выбора, что согласуется с предпочтениями пользователя.
[0005] В вышеупомянутых технических решениях не проводится статистический анализ результатов измерений с целью получения более широкой картины распределения провайдеров по различным критериям.
[0006] Также в упомянутых работах не прослеживается динамика изменений рейтингов во времени, не учитывается изменение измеряемых показаний во времени, а вместе с ними и сам рейтинг, рассматривается только как текущее состояние сети.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0001] Данное техническое решение направлено на устранение недостатков, присущих существующим решениям.
[0002] Технической проблемой в данном техническом решении является определение провайдера по критерию оценки.
[0003] Техническим результатом данного решения является повышение релевантности определения оптимального провайдера.
[0004] Указанный технический результат достигается благодаря способу выбора оптимального провайдера для передачи данных, в котором проводят, по меньшей мере, два измерения скорости передачи данных между, по меньшей мере, двумя клиентами, находящимися в различных городах посредством холостой загрузки данных в течение заданного промежутка времени; формируют на основании измерений, полученных на предыдущем шаге и измерений, хранящихся в блоке хранения данных, по меньшей мере, один критерий оценки для, по меньшей мере, двух провайдеров на сервере обработки данных; определяют вес и значение для, по меньшей мере, одного вышеупомянутого критерия оценки на сервере обработки данных; определяют рейтинг каждого провайдера для каждой пары городов, между которыми было произведено измерение скорости передачи данных на основании веса и значения, по меньшей мере, одного критерия оценки; обновляют рейтинг каждого провайдера в блоке хранения данных на основании определенного рейтинга на предыдущем шаге; отправляют в блок принятия решений обновленный рейтинг, по меньшей мере, одного провайдера.
[0005] В некоторых вариантах осуществления, критерием оценки провайдеров является скорость передачи данных и/или количество тарифных планов и/или время использования трафика.
[0006] В некоторых вариантах осуществления, скорость передачи данных измеряется по протоколам TCP или UDP.
[0007] В некоторых вариантах осуществления, определяют значение критерия оценки провайдеров, которым является скорость передачи данных посредством выборочного среднего всех значений скоростей, полученных по одному маршруту.
[0008] В некоторых вариантах осуществления, значение критерия количества тарифных планов определяется посредством выборочной дисперсии всех измерений скорости с клиентом, имеющих уникальный идентификатор.
[0009] В некоторых вариантах осуществления, определяют значение критерия оценки провайдеров, которым является критерий времени, учитывая время суток, в которое было произведено измерение.
[00010] Также указанный технический результат достигается благодаря системе выбора оптимального провайдера для передачи данных, в которой содержится по меньшей мере, два клиента, находящиеся в различных городах и выполненные с возможностью сбора данных после проведения измерения скорости посредством холостой загрузки данных в течение заданного промежутка времени; по меньшей мере, один блок хранения данных, выполненный с возможностью хранения измеренных скоростей передачи данных и рейтингов провайдеров; блок принятия решений, выполненный с возможностью отправления клиенту оптимального провайдера для передачи данных; по меньшей мере, один сервер обработки данных, выполненный с возможностью проведения, по меньшей мере, двух измерений скорости передачи данных между, по меньшей мере, двумя клиентами, находящимися в различных городах посредством холостой загрузки данных в течение заданного промежутка времени; формирования на основании измерений, полученных на предыдущем шаге и измерений, хранящихся в блоке хранения данных, по меньшей мере, одного критерия оценки для, по меньшей мере, двух провайдеров; определения веса и значения для по меньшей мере одного вышеупомянутого критерия оценки; определения рейтинга каждого провайдера для каждой пары городов, между которыми было произведено измерение скорости передачи данных; обновления рейтинга каждого провайдера в блоке хранения данных на основании определенного рейтинга на предыдущем шаге; отправления в блок принятия решений обновленного рейтинга, по меньшей мере, одного провайдера.
[00011] В некоторых вариантах осуществления, клиентом является терминал.
[00012] В некоторых вариантах осуществления, блоком хранения данных является энергозависимое запоминающее устройство или энергонезависимое запоминающее устройство.
[00013] В некоторых вариантах осуществления, блоком принятия решений является центральный или графический процессор.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[00014] Признаки и преимущества настоящего изобретения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых:
[00015] Фиг. 1 представляет блок-схему работы варианта осуществления способа выбора оптимального провайдера для передачи данных;
[00016] Фиг. 2 представляет блок-схему работы варианта осуществления способа выбора оптимального провайдера для передачи данных;
[00017] Фиг. 3 представляет собой блок-схему работы варианта осуществления системы выбора оптимального провайдера для передачи данных;
[00018] Фиг. 4 представляет собой пример осуществления изменения рейтинга рассчитанного по заявляемому техническому решению (сплошная линия) и по близким патентным источникам US 20120166622 А1/ US 6982962 B1. R2=0,6675 - коэффициент достоверности для динамики рейтинга рассчитанного по заявляемому техническому решению и R2=0,0827 - коэффициент достоверности для динамики рейтинга рассчитанного по патентным источникам информации 20120166622 A1 / US 6982962 B1.
[00019] Фиг. 5 представляет собой диаграмму рейтинга провайдеров, демонстрирующую аддитивность способа осуществления. Столбцы со сплошной заливкой соответствуют рейтингу, посчитанному за расчетный период равному одному месяцу. Столбец с заливкой с текстурой (полоска) соответствует рейтингу, посчитанному за 4 недели с использованием свойства аддитивности способа.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[00020] Данное техническое решение может быть реализовано на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
[00021] Техническое решение может быть реализовано в виде распределенной компьютерной системы.
[00022] В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
[00023] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
[00024] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
[00025] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[00026] Ниже будут описаны термины и понятия, необходимые для осуществления настоящего технического решения.
[00027] Клиент - аппаратный или программный компонент вычислительной системы, посылающий запросы серверу.
[00028] Провайдер - организация, предоставляющая услуги доступа к сети Интернет.
[00029] Скорость передачи данных - объем данных, передаваемых за единицу времени.
[00030] Холостая загрузка данных - загрузка канала связи перед началом измерения скорости, цель которой выход на максимально достижимую пропускную способность. Время соответствующее холостой загрузке данных не включается в итоговый расчет скорости.
[00031] Сервер обработки данных - аппаратный или программный компонент вычислительной системы, выполняющий обработку данных.
[00032] Критерий оценки - критерий, по которому сравниваются провайдеры сети Интернет.
[00033] Абсолютный провайдер - провайдер, имеющий максимальные значения всех критериев и, следовательно, являющийся наилучшим.
[00034] Маршрут - путь между двумя населенными пунктами, между которыми проводится измерение скорости передачи данных.
[00035] Согласно способу выбора оптимального провайдера для передачи данных, показанному на Фиг. 1:
[00036] На шаге 101: проводят, по меньшей мере, два измерения скорости передачи данных между, по меньшей мере, двумя клиентами, находящимися в различных городах посредством холостой загрузки данных в течение заданного промежутка времени;
[00037] В зависимости от реализации клиента, измерение скорости передачи данных не всегда может быть реализовано посредством прямого вычисления. В примерном варианте осуществления предлагается следующий способ.
[00038] В зависимости от устройства и типа клиента, скорость передачи данных измеряется по протоколам TCP либо HTTP. В первую очередь проводится холостая загрузка данных для полного использования буферов телекоммуникационного оборудования. Цель такой загрузки - максимально задействовать ресурсы оборудования (CPU, RAM).
[00039] В случае TCP протокола открывается сессия с сервером и закачивается файл заранее рассчитанного размера. Количество TCP соединений должно быть оптимальным, так как у разных браузеров оно может различаться. Холостая загрузка данных происходит в течение нескольких секунд, после чего в течение заданного интервала времени (10 секунд) производиться 30 замеров, для каждого из которых рассчитывается скорость передачи информации. Данное количество замеров не является ограничивающим, а является примерным.
[00040] В случае измерения скорости по протоколу HTTP, холостая загрузка проводится в течение фиксированного интервала времени равному 2 сек. За это время в однопоточном режиме закачиваются ресурсы с сервера, начиная с наименьшего. Если ресурс был закачан успешно и время холостой загрузки не окончилось, то закачивается следующий ресурс большего объема. По завершению загрузки, для проведения тестирования выбирается наибольший загруженный файл. Тест разбивается на определенное число интервалов для получения выборки рассчитанных значений скоростей. Время теста выбирается равным 30 секунд, что является оптимальным для данного типа измерений, однако не ограничивающим. Тест проводится в 4 потока, так как данное количество поддерживается всеми существующими браузерами.
[00041] Далее производится расчет среднего значения скорости, отбрасывая крайние значения для увеличения достоверности результата. Результаты измерений сохраняются в блоке хранения данных.
[00042] Клиенты получают следующие данные: IP-адрес, скорость загрузки, скорость отдачи, задержку, данные о геолокации, данные о провайдере.
[00043] На шаге 102: формируют на основании измерений, полученных на предыдущем шаге и измерений, хранящихся в блоке хранения данных, по меньшей мере, один критерий оценки для, по меньшей мере, двух провайдеров на сервере обработки данных;
[00044] В качестве критериев оценки провайдеров может выступать, например, скорость передачи информации. Чем выше скорость, тем более высокую оценку получит провайдер.
[00045] Или наличие нескольких тарифных планов. Чем больше вариации скоростей провайдера, тем разнообразнее тарифные планы и, следовательно, более высокий по оценке провайдер.
[00046] Или время использования трафика. Рассматриваются три периода времени: ночь, день и вечер. Более высокий рейтинг дается провайдеру, у которого преобладают вечерние тарифы с высокими скоростями передачи информации.
[00047] На шаге 103: определяют вес и значение для, по меньшей мере, одного вышеупомянутого критерия оценки на сервере обработки данных;
[00048] В примерном варианте осуществления для определения веса используют способ, описанный в источнике информации [1, 2], однако этим не ограничиваются.
[00049] Также в некоторых вариантах осуществления может использоваться способ, базирующийся на мнении пользователей, описанный в источнике информации [3].
[00050] Для определения значения критерия оценки провайдера проводится по следующей формуле:
[00051] где i - номер измерения, j - номер провайдера, α - коэффициент согласия, β - коэффициент несогласия, (m-1) - это число провайдеров без учета абсолютного провайдера, имеющего максимальные значения всех критериев и, следовательно, являющегося наилучшим.
[00052] Формула показывает нормированную разницу между суммами коэффициентов согласия и несогласия для каждого из операторов. Для того чтобы рейтинги не были отрицательными, в случае, когда коэффициент согласия меньше коэффициента несогласия, шкала рейтингов сдвигается и нормируется. Итоговая формула имеет следующий вид:
[00053] На шаге 104: определяют рейтинг каждого провайдера для каждой пары городов, между которыми было произведено измерение скорости передачи данных на основании веса и значения, по меньшей мере, одного критерия оценки, по формуле, описанной в предыдущем параграфе;
[00054] На шаге 105: обновляют рейтинг каждого провайдера в блоке хранения данных на основании определенного рейтинга на предыдущем шаге;
[00055] Для этого рассчитывают сумму критериев, полученных по результатам измерений нового набора данных.
[00056] Для критериев скорости и времени складывают полученное значение с аналогичным значением, полученным на предыдущем шаге, и делят полученный результат на суммарное число измерений обоих наборов;
[00057] Для критерия тарифных планов рассчитывают сумму квадратов значений критерия и складывают с аналогичным значением, полученным на предыдущем шаге.
[00058] Общую сумму сумм квадратов делят на общее число измерений обоих наборов.
[00059] Пересчитывают обновленные значения рейтингов, используя обновленные значения критериев, аналогично шагу 104.
[00060] На шаге 106: отправляют в блок принятия решений обновленный рейтинг, по меньшей мере, одного провайдера.
[00061] На Фиг. 3 показан пример осуществления системы выбора оптимального провайдера для передачи данных.
[00062] Система выбора оптимального провайдера для передачи данных, содержащая:
[00063] по меньшей мере, два клиента, находящиеся в различных городах и выполненные с возможностью сбора данных после проведения измерения скорости посредством холостой загрузки данных в течение заданного промежутка времени;
[00064] по меньшей мере, один блок хранения данных, выполненный с возможностью хранения измеренных скоростей передачи данных и рейтингов провайдеров;
[00065] Блок хранения данных выполнен с возможностью хранения различных типов данных для поддержки работы системы. Примеры таких данных включают в себя инструкции из любого приложения или способа, изображения, видео, и т.д. Блок хранения данных может быть реализован в виде любого типа энергозависимого запоминающего устройства, энергонезависимого запоминающего устройства или их комбинации, например, Статического Оперативного Запоминающего Устройства (СОЗУ), Электрически Стираемого Программируемого Постоянного Запоминающего Устройства (ЭСГППЗУ), Стираемого Программируемого Постоянного Запоминающего Устройства (СППЗУ), Программируемого Постоянного Запоминающего Устройства (ПИЗУ), Постоянного Запоминающего Устройства (ПЗУ), магнитной памяти, флэш-памяти, магнитного или оптического диска.
[00066] блок принятия решений, выполненный с возможностью отправления клиенту оптимального провайдера для передачи данных;
[00067] В некоторых вариантах осуществления, блок принятия решений в основном управляет всеми операциями системы, например, дисплеем, передачей данных, работой видеокамеры и операцией записи, а также передает клиенту оптимального провайдера для передачи данных. Блок принятия решений может включать в себя один или более процессоров, реализующих инструкции для завершения всех или части шагов из указанных выше способов. Причем процессор может быть как центральным, так и графическим.
[00068] Сервер обработки данных выполнен с возможностью выполнения шагов 101-106, которые раскрыты подробно выше, а именно:
[00069] проведения, по меньшей мере, двух измерений скорости передачи данных между, по меньшей мере, двумя клиентами, находящимися в различных городах посредством холостой загрузки данных в течение заданного промежутка времени;
[00070] формирования на основании измерений, полученных на предыдущем шаге и измерений, хранящихся в блоке хранения данных, по меньшей мере, одного критерия оценки для, по меньшей мере, двух провайдеров;
[00071] определения веса и значения для по меньшей мере одного вышеупомянутого критерия оценки;
[00072] определения рейтинга каждого провайдера для каждой пары городов, между которыми было произведено измерение скорости передачи данных;
[00073] обновления рейтинга каждого провайдера в блоке хранения данных на основании определенного рейтинга на предыдущем шаге;
[00074] отправления в блок принятия решений обновленного рейтинга, по меньшей мере, одного провайдера.
ПРИМЕР РЕАЛИЗАЦИИ
[00075] Ниже приводится пример реализации способа выбора оптимального провайдера для передачи данных.
[00076] Номера измерений обозначены как i, j, где i показывает номер измерения, a j - номер провайдера. Для каждого из измерений в таблице представлены следующие данные: а) идентификационный номер устройства клиента; б) скорость передачи информации, выраженная в кбит/с; в) время проведения измерения, представленное в 24-часовом формате; г) два города, между которыми происходит передача информации, с расстоянием между ними, показанное в скобках. Данные подобраны таким образом, чтобы отобразить все особенности заявляемого способа и системы: наличие измерений с общими маршрутами для обоих провайдеров (например, измерения 5.1 и 5.2); различные расстояния между городами (показаны в скобках для каждого из измерений); добавление нового набора данных и возможность добавления дополнительных критериев (критерий типа связи).
[00077] Расчет значений каждого из критериев выполняется следующим образом.
i
[00078] Значение, например, критерия скорости рассчитывается как выборочное среднее всех значений скоростей, полученных по одному маршруту, согласно формуле , где N - общее количество измерений, х - значение скорости, полученное в измерении i.
[00079] Значение критерия тарифных планов рассчитывается как выборочная дисперсия всех измерений скорости с устройств с уникальным идентификатором. Такой подход был выбран для того, чтобы не учитывать повторно тарифный план с устройства, с которого было получено несколько измерений скорости. В случае нескольких измерений, для расчета берется максимальное значение. Формула для расчета: , где K - количество измерений, полученных с устройств с уникальным идентификатором,  - выборочное среднее значения скорости, i - номер измерения.
i
[00080] Для расчета значения критерия времени вводится вектор [0.5 1.0 1.5], элементы которого соответствуют следующим трем упомянутым выше периодам времени: ночь (24.00-8.00 ч), день (8.00-20.00 ч) и вечер (20.00-24.00 ч). Так как в вечернее нерабочее время число пользователей сети Интернет резко возрастает, этому периоду приписывается максимальный коэффициент, 1.5. В случае ночного периода этот коэффициент минимальный, 0.5. Сам параметр критерия рассчитывается по формуле , где t - одно из трех значений вектора, в зависимости от того, в какой период времени было произведено [0.5 1.0 1.5] измерение, i - номер измерения, N - общее число измерений.
[00081] В качестве примера, ниже показаны значения критериев только для одного маршрута (Ульяновск - Санкт-Петербург, измерения 5.1, 5.2, 6.1, 6.2, 8.1, 8.2), используя формулы, описанные выше, получаем значения, представленные в таблице 3.
[00082] Например, критерий тарифного плана для второго провайдера был рассчитан следующим образом:
u,v
u
v
u
v
u
v
[00083] Расчет матриц согласия и несогласия. Коэффициент согласия α для сравнения операторов А и A вычисляется по формуле , где i - номер критерия, М - количество критериев. Сумма всех весов критериев равна 100,  где i - номер критерия. В числителе суммирование проводится только по тем значениям весов критериев, для которых значения критериев провайдера А лучше, либо равны, значениям критериев провайдера A. Таким образом,  - это набор критериев, для которых А лучше, чем A, для этих критериев и проводится суммирование весов.
u,v
u
v
u
v
u
v
[00084] Коэффициент несогласия βдля сравнения операторов А и A, вычисляется по формуле  где sj - размер шкалы соответствующего критерия. Сумма всех весов критериев равна 100. Максимальное значение выбирается среди тех значений критериев, где А хуже, чем A. Таким образом,  - это набор критериев, для которых А хуже, чем A. Если таких критериев нет, т.е. , то значение коэффициента несогласия принимается равным нулю. В случае двух сравниваемых провайдеров, результирующие матрицы согласия и несогласия выглядят следующим образом:
u
v
abs
[00085] В матрице также присутствуют коэффициенты согласия и несогласия для сравнения провайдеров А и A с абсолютным провайдером A, задающим максимально возможные значения для каждого из критериев.
cs
ср
сс
ct
[00086] В качестве примера приведем расчет матриц согласия и несогласия также для одного маршрута (измерения 5.1, 5.2, 6.1, 6.2, 8.1, 8.2). В данном случае веса критериев обозначены следующим образом: k - для критерия скорости передачи информации; k- для критерия тарифных планов; k - для критерия типа связи; k - для критерия времени. Для коэффициентов согласия имеем:
[00087]
[00088]
[00089]
[00090]
[00091]
[00092]
[00093] Итоговая матрица согласия имеет следующий вид:
. Для коэффициентов несогласия имеем:
[00094]
[00095]
31
[00096] β=0.0;
32
[00097] β=0.0;
[00098] ;
[00099]
Итоговая матрица несогласия имеет следующий вид: .
[000100] Расчет рейтингов по маршруту. Значения рейтингов для обоих провайдеров рассчитываются согласно представленной выше формуле:
[000101] ;
[000102] .
[000103] Тестирование проводилось (Фиг. 5), используя набор данных, состоящий из 3.2 миллионов измерений. Статистика собиралась в режиме реального времени. Для проверки аддитивности способа было произведено сравнение выборок за 4 недели, полученных отдельно, и одним целым периодом (месяц). Расчеты показали одинаковый результат.
[000104] Также пример осуществления способа выбора оптимального провайдера для передачи данных по сравнению с найденными в уровне техники аналогами можно посмотреть на Фиг. 4.
[000105] На Фиг. 4 приведены графики возможной динамики изменения рейтинга провайдеров в патенте 20120166622 А1 и US 6982962 B1, упомянутых выше, и заявляемого технического решения. В основе патентов 20120166622 А1 и US 6982962 B1 лежит идея условно мгновенного измерения без набора статистики как таковой, поэтому они могут давать скачкообразное изменение рейтинга. Любой случайный кратковременный "провал" пропускной способности сети даст большой вклад - очень сильно занизит значение рейтинга.
[000106] В основе заявляемого технического решения лежит постоянный набор данных и периодический пересчет рейтинга с учетом предыдущих накопленных измерений. Аддитивность способа позволяет пересчитывать данные только за последний необработанный период. Такой подход дает хорошую защиту от немногочисленных "выпадающих" из общей массы измерений и не даст большого вклада в рейтинг. В свою очередь рост "выпадающих" измерений, например, в худшую сторону, даст более значительный вклад в рейтинг и будет сигнализировать о деградации сети.
[000107] На практике скачкообразные изменения в рейтинге возможны только при постоянных структурных изменениях в сети провайдера, что в реальной жизни почти не встречается. Любое обновление оборудования или другие изменения, влияющие на качество каналов связи - это поэтапный и длительный процесс. Исходя из таких соображения ясно, что функция динамики рейтинга, советующая наиболее релевантному значению рейтинга, не может содержать большого количество пиков, а соответственно функция тренда должна хорошо описываться полиномиальной аппроксимацией. Коэффициенты достоверности для динамики рейтинга рассчитанного по заявляемого решения (R2=0,6675) намного ближе к 1, чем коэффициент достоверности (R2=0,0827) для динамики рейтинга рассчитанного по патентам 20120166622 A1 / US 6982962 B1, что доказывает явное достижение указанного технического результата.
ИСТОЧНИКИ ИНФОРМАЦИИ
1. Simos, J., L`évaluation environnementale: Un processus cognitive négocié. Thése de doctorat, DGF-EPFL, 1990, Lausanne.
2. Simos, J., Evaluer l'impact sur l'environnement: Une approche originale par l'analyse multicritère  et la négociation. Presses Polytechniques Universitaires Romandes, 1990, Lausanne.
3. Jose Figueira, Bernard Roy Determining the weights of criteria in the ELECTRE type methods with a revised Simos' procedure. // European Journal of Operational Research. - 2002. - Vol. 139. - P. 317-326.
4. B. Roy, Multicriteria Methodology for Decision Aiding, Dordrecht: Kluwer Academic Publishers, 1996.