СПОСОБ И СЕРВЕР ДЛЯ ПОИСКА ТОЧКИ ДЕЛЕНИЯ ПОТОКА ДАННЫХ НА ОСНОВЕ СЕРВЕРА
METHOD AND SERVER OF SEARCHING FOR DIVISION POINT OF DATA FLOW BASED ON SERVER

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к области информационных технологий и, в частности, к способу и серверу для поиска точки деления потока данных на основе сервера.
УРОВЕНЬ ТЕХНИКИ
[0002] С увеличением объемов данные, критически важной задачей становится обеспечение достаточного хранилища данных в области хранения в настоящее время. В настоящее время, такая задача решается с использованием технологии дедупликации посредством признака избыточности данных, которые необходимо хранить, для уменьшения объем хранимых данных.
k
[0003] В алгоритме устранения дублированных данных на основании фрагмента, определяемого содержимым (Content Defined Chunk, CDC) в уровне техники, поток данных, подлежащий сохранению, сначала делится на множественные фрагменты данных. Для разделения потока данных на фрагменты данных, необходимо найти подходящую точку деления в потоке данных, и данные между двумя соседними точками деления в потоке данных образуют один фрагмент данных. Вычисляется значение признака фрагмента данных для определения, существуют ли фрагменты данных, имеющие одно и то же значение признака. Если найдены фрагменты данных, имеющие одно и то же значение признака, делается вывод, что дублированные данные существуют. В частности, в технологии устранения дублированных данных на основании фрагмента, определяемого содержимым, применяется метод скользящего окна (Sliding Window Technique) для поиска точки деления фрагмента на основании содержимого файла, то есть рабиновского характерного признака данных в окне вычисляется для определения точки деления потока данных. Предполагается, что поиск точки деления осуществляется слева направо в потоке данных. Характерный признак данных в скользящем окне вычисляется каждый раз, и после осуществления операции по модулю на значении характерного признака на основании данного целого числа , результат операции по модулю сравнивается с данным остатком R. Если результат операции по модулю равен данному остатку R, правый конец окна является точкой деления потока данных. В противном случае окно продолжает скользить вправо на один байт, и вычисление и сравнение осуществляются последовательно и циклически, пока не будет достигнут конец потока данных. В процессе устранения дублированных данных на основании фрагмента, определяемого содержимым, необходимо расходовать большое количество вычислительных ресурсов для поиска точки деления потока данных, что препятствует повышению производительности устранения дублированных данных.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Ax
Bx
[0004] Согласно первому аспекту, вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и способ включает в себя:
piz
Wiz
piz
Az
piz
Bz
piz
ki
i
z
z
(a) определение точки  и окна [-,+], соответствующего точке , для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M;
Wiz
piz
Az
piz
Bz
Cz
(b) определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию; и
Wiz
piz
Az
piz
Bz
Cz
piz
Bz
Ax
ki
pix
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуск N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖+‖(-)‖), для получения новой точки потенциального деления, и осуществление этапа (a); и
Wix
pix
Ax
pix
Bx
ki
Cx
ki
(c) когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбор текущей точки потенциального деления  в качестве точки деления потока данных.
pe
pf
Ae
Af
Be
Bf
Ce
Cf
[0005] Согласно первому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки  и  удовлетворяют условиям =, = и =.
k
pe
pf
[0006] Согласно первому возможному варианту реализации первого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления, по меньшей мере, две точки  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.
pe
pf
[0007] Согласно первому возможному варианту реализации или второму возможному варианту реализации первого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками  и  равно 1 U.
Wiz
piz
Az
piz
Bz
Cz
[0008] Согласно первому аспекту, или любому из возможных вариантов реализации с первого по третий первого аспекта, в четвертом возможном варианте реализации, определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
Cz
определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
[0009] Согласно четвертому возможному варианту реализации первого аспекта, в пятом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
piz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
pic
[0010] Согласно первому аспекту, или любому из возможных вариантов реализации с первого по пятый первого аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от точки  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где точка , определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.
Wiz
piz
Az
piz
Bz
Cz
[0011] Согласно четвертому возможному варианту реализации первого аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
piz
Az
piz
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
[0012] Согласно второму аспекту, вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и
способ включает в себя:
Wiz
ki
Az
ki
Bz
ki
i
z
z
(a) определение соответствующего окна [-,+] для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M;
Wiz
ki
Az
ki
Bz
Cz
(b) определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию; и
Wiz
ki
Az
ki
Bz
Cz
ki
Bz
Ax
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуск N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖), для получения новой точки потенциального деления, и осуществление этапа (a); и
Wix
ki
Ax
ki
Bx
ki
Cx
ki
(c) когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбор текущей точки потенциального деления  в качестве точки деления потока данных.
Wie
ki
Ae
ki
Be
Wif
ki
Af
ki
Bf
Ae
Be
Af
Bf
Ce
Cf
[0013] Согласно второму аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна [-,+] и [-,+] удовлетворяют условиям |+|=|+| и =.
Ae
Af
[0014] Согласно первому возможному варианту реализации второго аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что  и  являются положительными целыми числами.
Ae
Af
Be
Bf
[0015] Согласно первому возможному варианту реализации или второму возможному варианту реализации второго аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что -1= и +1=.
Wiz
ki
Az
ki
Bz
Cz
[0016] Согласно второму аспекту, или любому из возможных вариантов реализации с первого по третий второго аспекта, в четвертом возможном варианте реализации, определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
ki
Az
ki
Bz
Cz
определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
Wiz
ki
Az
ki
Bz
Cz
[0017] Согласно четвертому возможному варианту реализации второго аспекта, в пятом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
ki
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
[0018] Согласно второму аспекту, или любому из возможных вариантов реализации с первого по пятый второго аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где окно [-,+], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.
Wiz
ki
Az
ki
Bz
Cz
[0019] Согласно четвертому возможному варианту реализации второго аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
ki
Az
ki
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
ki
Az
ki
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Ax
Bx
[0020] Согласно третьему аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем сервер включает в себя центральный процессор и основную память, центральный процессор осуществляет связь с основной памятью, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и
основная память выполнена с возможностью хранения исполнимой инструкции, и центральный процессор выполняет исполнимую инструкцию для осуществления следующих этапов:
piz
Wiz
piz
Az
piz
Bz
piz
ki
i
z
z
(a) определения точки  и окна [-,+], соответствующего точке , для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M;
Wiz
piz
Az
piz
Bz
Cz
(b) определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию; и
Wiz
piz
Az
piz
Bz
Cz
piz
Bz
Ax
ki
pix
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖+‖(-)‖), для получения новой точки потенциального деления, и осуществления этапа (a); и
Wix
pix
Ax
pix
Bx
ki
Cx
ki
(c) когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
pe
pf
Ae
Af
Be
Bf
Ce
Cf
[0021] Согласно третьему аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки  и  удовлетворяют условиям =, = и =.
k
pe
pf
[0022] Согласно первому возможному варианту реализации третьего аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления, по меньшей мере, две точки  и , ориентированы в направлении, противоположном направлению поиска точки деления потока данных.
pe
pf
[0023] Согласно первому возможному варианту реализации или второму возможному варианту реализации третьего аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками  и  равно 1 U.
[0024] Согласно третьему аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью:
Wiz
piz
Az
piz
Bz
Cz
определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
[0025] Согласно четвертому возможному варианту реализации третьего аспекта, в пятом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
piz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
pic
[0026] Согласно третьему аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от точки  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где точка , определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.
Wiz
piz
Az
piz
Bz
Cz
[0027] Согласно четвертому возможному варианту реализации третьего аспекта, в седьмом возможном варианте реализации, определение, посредством центрального процессора с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
piz
Az
piz
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
Согласно четвертому аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем сервер включает в себя центральный процессор и первичную память, центральный процессор осуществляет связь с первичной памятью, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и
основная память выполнена с возможностью хранения исполнимой инструкции, и центральный процессор выполняет исполнимую инструкцию для осуществления следующих этапов:
Wiz
ki
Az
ki
Bz
ki
i
z
z
(a) определения соответствующего окна [-,+] для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M;
Wiz
ki
Az
ki
Bz
Cz
(b) определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию; и
Wiz
ki
Az
ki
Bz
Cz
ki
Bz
Ax
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖), для получения новой точки потенциального деления, и осуществление этапа (a); и
Wix
ki
Ax
ki
Bx
ki
Cx
ki
(c) когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
Wie
ki
Ae
ki
Be
Wif
ki
Af
ki
Bf
Ae
Be
Af
Bf
Ce
Cf
[0028] Согласно четвертому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна [-,+] и [-,+] удовлетворяют условиям |+|=|+| и =.
Ae
Af
[0029] Согласно первому возможному варианту реализации четвертого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что  и  являются положительными целыми числами.
Ae
Af
Be
Bf
[0030] Согласно первому возможному варианту реализации или второму возможному варианту реализации четвертого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что -1= и +1=.
[0031] Согласно четвертому аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью:
Wiz
ki
Az
ki
Bz
Cz
определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
[0032] Согласно четвертому возможному варианту реализации четвертого аспекта, в пятом возможном варианте реализации, центральный процессор, в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
ki
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
[0033] Согласно четвертому аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где окно [-,+], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.
Wiz
ki
Az
ki
Bz
Cz
[0034] Согласно четвертому возможному варианту реализации четвертого аспекта, в седьмом возможном варианте реализации, определение, посредством центрального процессора с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
ki
Az
ki
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
ki
Az
ki
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Ax
Bx
[0035] Согласно пятому аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и
сервер включает в себя: блок определения, выполненный с возможностью осуществления этапа (a):
piz
Wiz
piz
Az
piz
Bz
piz
ki
i
z
z
(a) определения точки  и окна [-,+], соответствующего точке , для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M; и
Wiz
piz
Az
piz
Bz
Cz
блок принятия решения и обработки, выполненный с возможностью: определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию;
Wiz
piz
Az
piz
Bz
Cz
piz
Bz
Ax
ki
pix
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖+‖(-)‖), для получения новой точки потенциального деления, причем блок определения осуществляет этап (a) для новой точки потенциального деления; и
Wix
pix
Ax
pix
Bx
ki
Cx
ki
когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
pe
pf
Ae
Af
Be
Bf
Ce
Cf
[0036] Согласно пятому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки  и  удовлетворяют условиям =, = и =.
k
pe
pf
[0037] Согласно первому возможному варианту реализации пятого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления, по меньшей мере, две точки  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.
pe
pf
[0038] Согласно первому возможному варианту реализации или второму возможному варианту реализации пятого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками  и  равно 1 U.
Wiz
piz
Az
piz
Bz
Cz
[0039] Согласно пятому аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, блок принятия решения и обработки, в частности, определяет, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
[0040] Согласно четвертому возможному варианту реализации пятого аспекта, в пятом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
piz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
Wic
pic
Ac
pic
Bc
Wiz
piz
Az
piz
Bz
pic
[0041] Согласно пятому аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, блок принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, причем блок определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+] попадает в диапазон окна [-,+], где точка , определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.
Wiz
piz
Az
piz
Bz
Cz
[0042] Согласно четвертому возможному варианту реализации пятого аспекта, в седьмом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, которое включает в себя:
Wiz
piz
Az
piz
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
piz
Az
piz
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
[0043] Согласно шестому аспекту, вариант осуществления настоящего изобретения предусматривает сервер для поиска точки деления потока данных, причем правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и
сервер включает в себя: блок определения, выполненный с возможностью осуществления этапа (a):
Wiz
ki
Az
ki
Bz
ki
i
z
z
(a) определения соответствующего окна [-,+] для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M; и
Wiz
ki
Az
ki
Bz
Cz
блок принятия решения и обработки, выполненный с возможностью определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию;
Wiz
ki
Az
ki
Bz
Cz
ki
Bz
Ax
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖), для получения новой точки потенциального деления, и осуществления этапа (a); и
Wix
ki
Ax
ki
Bx
ki
Cx
ki
когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
Wie
ki
Ae
ki
Be
Wif
ki
Af
ki
Bf
Ae
Be
Af
Bf
Ce
Cf
[0044] Согласно шестому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна [-,+] и [-,+] удовлетворяют условиям |+|=|+| и =.
Ae
Af
[0045] Согласно первому возможному варианту реализации шестого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что  и  являются положительными целыми числами.
Ae
Af
Be
Bf
[0046] Согласно первому возможному варианту реализации или второму возможному варианту реализации шестого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что -1= и +1=.
[0047] Согласно шестому аспекту, или любому из возможных вариантов реализации с первого по третий, в четвертом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью:
Wiz
ki
Az
ki
Bz
Cz
определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
[0048] Согласно четвертому возможному варианту реализации шестого аспекта, в пятом возможном варианте реализации, блок принятия решения и обработки в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
ki
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
[0049] Согласно шестому аспекту, или любому из возможных вариантов реализации с первого по пятый, в шестом возможном варианте реализации, блок принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, блок определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где окно [-,+], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.
Wiz
ki
Az
ki
Bz
Cz
[0050] Согласно четвертому возможному варианту реализации шестого аспекта, в седьмом возможном варианте реализации, блок принятия решения и обработки определяет, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, и это определение включает в себя:
Wiz
ki
Az
ki
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
ki
Az
ki
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Ax
Bx
[0051] Согласно седьмому аспекту, вариант осуществления настоящего изобретения предусматривает компьютерно-считываемый носитель данных, причем компьютерно-считываемый носитель данных выполнен с возможностью хранения исполнимой инструкции, сервер выполняет исполнимую инструкцию для поиска точки деления потока данных, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и
сервер выполняет исполнимую инструкцию для осуществления следующих этапов:
ki
piz
Wiz
piz
Az
piz
Bz
piz
ki
i
z
z
(a) согласно правилу, для текущей точки потенциального деления, определения точки  и окна [-,+], соответствующего точке , для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M;
Wiz
piz
Az
piz
Bz
Cz
(b) определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию; и
Wiz
piz
Az
piz
Bz
Cz
piz
Bz
Ax
ki
pix
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖+‖(-)‖), для получения новой точки потенциального деления, и осуществления этапа (a); и
Wix
pix
Ax
pix
Bx
ki
Cx
ki
(c) когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
pe
pf
Ae
Af
Be
Bf
Ce
Cf
[0052] Согласно седьмому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, две точки  и  удовлетворяют условиям =, = и =.
k
pe
pf
[0053] Согласно первому возможному варианту реализации седьмого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что: относительно точки потенциального деления, по меньшей мере, две точки  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.
pe
pf
[0054] Согласно первому возможному варианту реализации или второму возможному варианту реализации седьмого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками  и  равно 1 U.
Wiz
piz
Az
piz
Bz
Cz
[0055] Согласно седьмому аспекту, или любому из возможных вариантов реализации с первого по третий седьмого аспекта, в четвертом возможном варианте реализации, определение, посредством сервера, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
Cz
определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
[0056] Согласно четвертому возможному варианту реализации седьмого аспекта, в пятом возможном варианте реализации, определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
Cz
определение, посредством сервера с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
piz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
pic
[0057] Согласно седьмому аспекту, или любому из возможных вариантов реализации с первого по пятый седьмого аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от точки  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где точка , определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.
Wiz
piz
Az
piz
Bz
Cz
[0058] Согласно четвертому возможному варианту реализации седьмого аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
piz
Az
piz
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
[0059] Согласно восьмому аспекту, вариант осуществления настоящего изобретения предусматривает компьютерно-считываемый носитель данных, причем компьютерно-считываемый носитель данных выполнен с возможностью хранения исполнимой инструкции, сервер выполняет исполнимую инструкцию для поиска точки деления потока данных, и правило заранее задается на сервере, причем правило предусматривает: для точки потенциального деления, определение M окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами; и сервер выполняет исполнимую инструкцию для осуществления следующих этапов:
Wiz
ki
Az
ki
Bz
ki
i
z
z
(a) определения соответствующего окна [-,+] для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M;
Wiz
ki
Az
ki
Bz
Cz
(b) определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию; и
Wiz
ki
Az
ki
Bz
Cz
ki
Bz
Ax
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖), для получения новой точки потенциального деления, и осуществления этапа (a); и
Wix
ki
Ax
ki
Bx
ki
Cx
ki
(c) когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
Wie
ki
Ae
ki
Be
Wif
ki
Af
ki
Bf
Ae
Be
Af
Bf
Ce
Cf
[0060] Согласно восьмому аспекту, в первом возможном варианте реализации, правило дополнительно предусматривает, что, по меньшей мере, два окна [-,+] и [-,+] удовлетворяют условиям |+|=|+| и =.
Ae
Af
[0061] Согласно первому возможному варианту реализации восьмого аспекта, во втором возможном варианте реализации, правило дополнительно предусматривает, что  и  являются положительными целыми числами.
Ae
Af
Be
Bf
[0062] Согласно первому возможному варианту реализации или второму возможному варианту реализации восьмого аспекта, в третьем возможном варианте реализации, правило дополнительно предусматривает, что -1= и +1=.
Wiz
ki
Az
ki
Bz
Cz
[0063] Согласно восьмому аспекту, или любому из возможных вариантов реализации с первого по третий восьмого аспекта, в четвертом возможном варианте реализации, определение, посредством сервера, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
ki
Az
ki
Bz
Cz
определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
Wiz
ki
Az
ki
Bz
Cz
[0064] Согласно четвертому возможному варианту реализации восьмого аспекта, в пятом возможном варианте реализации, определение, посредством сервера с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, содержит: определение, посредством сервера с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
ki
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
[0065] Согласно восьмому аспекту, или любому из возможных вариантов реализации с первого по пятый восьмого аспекта, в шестом возможном варианте реализации, когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где окно [-,+], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.
Wiz
ki
Az
ki
Bz
Cz
[0066] Согласно четвертому возможному варианту реализации восьмого аспекта, в седьмом возможном варианте реализации, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
ki
Az
ki
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
ki
Az
ki
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
[0067] В вариантах осуществления настоящего изобретения, поиск точки деления потока данных осуществляется путем определения, удовлетворяет ли, по меньшей мере, часть данных в окне из M окон заранее заданному условию, и когда, по меньшей мере, часть данных в окне не удовлетворяет заранее заданному условию, пропускается длина N*U, для получения следующей точки потенциального деления, что повышает эффективность поиска точки деления потока данных.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0068] Фиг. 1 – схема сценария применения согласно варианту осуществления настоящего изобретения;
[0069] фиг. 2 – схема точки деления потока данных;
[0070] фиг. 3 – схема поиска точки деления потока данных;
[0071] фиг. 4 – схема способа согласно варианту осуществления настоящего изобретения;
[0072] фиг. 5 и фиг. 6 – схемы варианта реализации поиска точки деления потока данных;
[0073] фиг. 7 и фиг. 8 – схемы варианта реализации поиска точки деления потока данных;
[0074] фиг. 9 и фиг. 10 – схемы варианта реализации поиска точки деления потока данных;
[0075] фиг. 11, фиг. 12 и фиг. 13 – схемы варианта реализации поиска точки деления потока данных;
[0076] фиг. 14 и фиг. 15 – схемы варианта реализации поиска точки деления потока данных;
[0077] фиг. 16 и фиг. 17 – схемы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию;
[0078] фиг. 18 – структурная схема сервера дедупликации;
[0079] фиг. 19 – структурная схема сервера дедупликации;
[0080] фиг. 20 – схема способа согласно варианту осуществления настоящего изобретения;
[0081] фиг. 21 и фиг. 22 – схемы варианта реализации поиска точки деления потока данных;
[0082] фиг. 23 и фиг. 24 – схемы варианта реализации поиска точки деления потока данных;
[0083] фиг. 25 и фиг. 26 – схемы варианта реализации поиска точки деления потока данных;
[0084] фиг. 27, фиг. 28 и фиг. 29 – схемы варианта реализации поиска точки деления потока данных;
[0085] фиг. 30 и фиг. 31 – схемы варианта реализации поиска точки деления потока данных; и
[0086] фиг. 32 и фиг. 33 – схемы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0087] По мере развития технологий хранения, объемы генерируемых данных постоянно растут, и большой объем данных предъявляет наивысшее требование к емкости хранилища. Затраты на приобретение IT-оборудования возрастают совместно с емкостью хранилища. Для ослабления конфликта потребностей между объемами данных и емкостью хранилища и снижения затрат на приобретение IT-оборудования, технология устранения дублированных данных вводится в область хранения данных.
[0088] Сценарий использования варианта осуществления настоящего изобретения является сценарием резервного копирования данных. Резервное копирование данных представляет собой процесс создания, с использованием сервера резервного копирования, резервной копии данных на другой носитель данных для предотвращения потери данных по различным причинам. На фиг. 1 показана архитектура системы резервного копирования данных. Система резервного копирования данных включает в себя клиенты (101a, 101b, ..., и 101n), сервер 102 резервного копирования, сервер 103 устранения дублированных данных (сокращенно именуемый сервером дедупликации или сервером устранения дублирования), и запоминающие устройства (104a, 104b, ..., и 104n). Клиенты (101a, 101b, ..., и 101n) могут представлять собой серверы приложений, рабочие станции и т.п. Сервер 102 резервного копирования выполнен с возможностью создавать резервную копию данных, генерируемых клиентами. Сервер 103 дедупликации выполнен с возможностью выполнения задания устранения дублированных данных для данных резервного копирования. Запоминающие устройства (104a, 104b, ..., и 104n) служат носителями данных, где хранятся данные, из которых были исключены дублированные данные, и могут быть носителями данных, например, дисковыми массивами и библиотеками лент. Клиенты (101a, 101b, ..., и 101n), сервер 102 резервного копирования, сервер 103 устранения дублированных данных и запоминающие устройства (104a, 104b, ..., и 104n) могут быть соединены, например, с использованием коммутатора, локальной сети, интернета или оптического волокна. Вышеупомянутые устройства могут располагаться в одном месте или могут располагаться в разных местах. Сервер 102 резервного копирования, сервер 103 устранения дублирования и запоминающие устройства (104a, 104b, ..., и 104n) могут быть независимыми физическими устройствами или могут быть физически встроенными целиком в конкретной реализации, или сервер 102 резервного копирования и сервер 103 устранения дублирования встроены целиком, или сервер 103 устранения дублирования и запоминающие устройства (104a, 104b, ..., и 104n) встроены целиком и т.п.
[0089] Сервер 103 дедупликации осуществляет операцию устранения дублированных данных на потоке данных для данных резервного копирования, где операция, в общем случае, включает в себя следующие этапы:
(1) поиск точки деления потока данных: поиск точки деления потока данных в потоке данных согласно конкретному алгоритму;
(2) осуществление деления согласно найденной точке деления потока данных для получения фрагменты данных;
(3) вычисление значения признака каждого фрагмента данных: вычисление значения признака фрагмента данных, который служит признаком для идентификации фрагмента данных; и добавление значения признака, полученного посредством вычисления, в список признаков фрагмента данных файла, соответствующий потоку данных, где алгоритм SHA-1 или MD5, в общем случае, используется для вычисления значения признака фрагмента данных;
(4) обнаружение одного и того же фрагмента данных: сравнение значения признака фрагмента данных, полученного посредством вычисления, со значением признака, который уже существует в списке признаков фрагмента данных для определения, существует ли идентичный фрагмент данных; и
(5) устранение блок дублированных данных: если, путем обнаружения одного и того же фрагмента данных, найдено, что в списке признаков фрагмента данных существует такое же значение признака, как значение признака фрагмента данных, пропуск сохранения фрагмента данных или определение, сохранять ли фрагмент данных согласно объему хранения дублированных фрагментов данных, которая определена согласно политике резервного копирования.
[0090] Из этапа осуществления, посредством сервера 103 дедупликации, операции устранения дублированных данных на потоке данных для данных резервного копирования может быть известно, что поиск точки деления потока данных, служащий ключевым этапом в операции устранения дублированных данных, непосредственно определяет производительность устранения дублированных данных.
k
k
k
k
k
k
1
1
7
7
1
7
[0091] Согласно варианту осуществления настоящего изобретения, сервер 103 дедупликации принимает файл резервного копирования, отправленный посредством сервера 102 резервного копирования, и осуществляет обработку устранения дублированных данных на файле. Файл резервного копирования, подлежащий обработке, обычно представляется в форме потока данных на сервере 103 дедупликации. Когда сервер 103 дедупликации ищет точку деления в потоке данных, обычно необходимо определять минимальную единицу для поиска точки деления потока данных. В частности, как показано на фиг. 2, например, точка потенциального деления  располагается между двумя последовательными минимальными единицами, с порядковыми номерами 1 и 2, для поиска точки деления потока данных. Точка потенциального деления означает точку, для которой необходимо определять, может ли точка служить точкой деления потока данных. Когда точка  является точкой деления потока данных, в направлении поиска точки деления потока данных, показанном стрелкой на фиг. 2, осуществляется поиск следующей точки потенциального деления , то есть точки, расположенной между двумя последовательными минимальными единицами, с порядковыми номерами 7 и 8, для поиска точки деления потока данных. Когда точка потенциального деления  является точкой деления потока данных, данные между двумя соседними точками деления потока данных и  является 1 фрагментом данных. Минимальная единица для поиска точки деления потока данных, в частности, может определяться согласно фактическому требованию, и здесь 1 байт (байт) используется в порядке примера, то есть все минимальные единицы, с порядковыми номерами 1, 2, 7 и 8, для поиска точки деления потока данных имеют размер 1 байт. Направление поиска точки деления потока данных, показанное на фиг. 2, обычно представляет направление поиска от заголовка файла к концевику файла или направление от концевика файла к заголовку файла, и в этом варианте осуществления, в порядке примера используется направление поиска от заголовка файла к концевику файла.
ka
ka
ki
ka
ka
ki
ki
ka
ka
kz
[0092] В сценарии устранения дублированных данных, меньший фрагмент данных, в общем случае, указывает более высокую скорость устранения дублированных данных и более легкий способ нахождения дублированного фрагмента данных, но увеличенный объем метаданных, генерируемых из него; кроме того, после уменьшения фрагмента данных до некоторой степени, скорость устранения дублированных данных больше не возрастает, но объем метаданных быстро возрастает. Таким образом, можно регулировать размер фрагмента данных. В фактических применениях, обычно устанавливается минимальное значение фрагмента данных, например, 4 кбайт (4096 байтов); в то же время, с учетом скорости устранения дублированных данных, также устанавливается максимальное значение фрагмента данных, то есть размер фрагмента данных не может превышать максимальное значение, например, 12 кбайт (12288 байтов). Конкретный вариант реализации показан на фиг. 3. Сервер 103 дедупликации ищет точку деления потока данных в направлении, показанном стрелкой.  является найденной в данный момент точкой деления потока данных, и из, осуществляется поиск следующей точки потенциального деления в направлении поиска точки деления потока данных. Для выполнения требования минимального фрагмента данных, обычно начинающегося с точки деления потока данных, размер минимального фрагмента данных пропускается в направлении поиска точки деления потока данных, и поиск начинается с концевой позиции минимального фрагмента данных, то есть концевая позиция минимального фрагмента данных служит следующей точкой потенциального деления. В этом варианте осуществления настоящего изобретения, минимальный фрагмент данных размером 4 кбайт, то есть 4*1024=4096 байтов сначала можно пропускать от точки  в направлении поиска точки деления потока данных. 4096 байтов пропускается от точки  в направлении поиска точки деления потока данных, и точка  получается в концевой позиции 4096-го байта, чтобы выступать в качестве точки потенциального деления. Например,  располагается между двумя последовательными минимальными единицами, с порядковыми номерами 4096 и 4097, для поиска точки деления потока данных. Также используя фиг. 3 в порядке примера,  является найденной в данный момент точкой деления потока данных, и поиск следующей точки деления потока данных осуществляется в направлении, показанном на фиг. 3. Если следующая точка деления потока данных не найдена по прошествии максимального значения фрагмента данных, начиная с точки  в направлении поиска точки деления потока данных, точка , в которой достигается максимальное значение фрагмента данных, служит следующей точкой деления потока данных и осуществляется принудительное деление.
[0093] Вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера дедупликации, который, как показано на фиг. 4, включает в себя:
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Ax
Bx
px
k
dx
Wz
pz
Az
pz
Bz
pz
Cz
z
z
pz
Az
pz
Bz
Wz
Wz
pz
Az
pz
Bz
pz
Cz
pz
Wz
pz
Az
pz
Bz
Bz
Ax
k
px
k
px
px
k
Ax
k
px
px
k
Ax
Bz
Bz
Wz
pz
Az
pz
Bz
Wx
px
Ax
px
Bx
Cx
k
x
x
[0094] правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение M точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами, где расстояние между  и точкой потенциального деления  равно  минимальных единиц для поиска точки деления потока данных, минимальная единица для поиска точки деления потока данных представлена как U, и в этом варианте осуществления, U=1 байт. В варианте реализации, показанном на фиг. 3, вблизи значения M, в одном варианте реализации, значение M*U не превышает заранее заданного максимального расстояния между двумя соседними точками деления потока данных, то есть заранее заданной максимальной длины фрагмента данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+], соответствующем точке , заранее заданному условию, где  – целое число, 1≤≤M, и (-) и (+) представляют две границы окна. Когда определено, что, по меньшей мере, часть данных в окне [-,+] любой точки  не удовлетворяет заранее заданному условию, N байтов пропускается от точки , соответствующий окну [-,+], которая не удовлетворяет заранее заданному условию, в направлении поиска точки деления потока данных, где N≤‖‖+max(‖‖+‖(-)‖), где ‖(-)‖ представляет расстояние между любой точкой из M точек  и точкой потенциального деления, max(‖‖+‖(-)‖) представляет максимальное значение суммы абсолютного значения расстояния между любой точкой из M точек  и точкой потенциального деления  и абсолютного значения , соответствующего любой точке, и ‖‖ представляет абсолютное значение  в [-,+]. Принцип задания значения N, в частности, введен в нижеследующих вариантах осуществления. Когда определено, что, по меньшей мере, часть данных в каждом окне [-, +] из M окон удовлетворяет заранее заданному условию, точка потенциального деления  является точкой деления потока данных.
ki
[0095] В частности, для текущей точки потенциального деления, следующие этапы осуществляются согласно правилу:
piz
Wiz
piz
Az
piz
Bz
piz
ki
i
z
z
[0096] Этап 401: определить точку  и окно [-,+], соответствующее точке , для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M.
Wiz
piz
Az
piz
Bz
Cz
[0097] Этап 402: определить, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию;
Wiz
piz
Az
piz
Bz
Cz
piz
Bz
Ax
ki
pix
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропустить N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖+‖(-)‖), для получения новой точки потенциального деления, и осуществить этап 401; и
Wix
pix
Ax
pix
Bx
ki
Cx
ki
когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбрать текущую точку потенциального деления  в качестве точки деления потока данных.
pe
pf
Ae
Af
Be
Bf
Ce
Cf
[0098] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, две точки  и  удовлетворяют условиям =, = и =.
k
pe
pf
[0099] Правило дополнительно предусматривает, что: относительно точки потенциального деления, по меньшей мере, две точки  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.
pe
pf
[0100] Правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками  и  равно 1 U.
Wiz
piz
Az
piz
Bz
Cz
[0101] Определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
Cz
определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
[0102] Определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
piz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
pic
[0103] когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от точки  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где точка , определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.
Bz
Ax
ki
pix
x
[0104] В этом варианте осуществления настоящего изобретения, поиск точки деления потока данных осуществляется путем определения, удовлетворяет ли, по меньшей мере, часть данных в окне из M окон заранее заданному условию, и когда, по меньшей мере, часть данных в окне не удовлетворяет заранее заданному условию, пропускается длина N*U, где N*U не превышает ‖‖+max(‖‖+‖(-)‖), для получения следующей точки потенциального деления, что повышает эффективность поиска точки деления потока данных.
px
Wx
px
Ax
px
Bx
px
Cx
px
Wx
px
Ax
px
Bx
px
Cx
k
px
x
Wx
px
Ax
px
Bx
px
Cx
px
k
x
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
Cx
Wx
px
Ax
px
Bx
Cx
px
Wx
px
Ax
px
Bx
px
Cx
[0105] В процессе устранения дублированных данных, чтобы гарантировать одномерный размер фрагмента данных, рассматривается средний размер фрагмента данных (также именуемый средним фрагментом). Таким образом, хотя ограничения на размер минимального фрагмента данных и размер максимального фрагмента данных удовлетворяются, размер среднего фрагмента данных определяется, чтобы гарантировать одномерный размер полученного фрагмента данных. Вероятность (представленная как P(n)) нахождения точки деления потока данных зависит от двух факторов, то есть количества M точек , и вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию, где первый влияет на длину пропуска, последний влияет на вероятность пропуска, и оба вместе влияют на размер среднего фрагмента. В общем случае, когда размер среднего фрагмента является фиксированным, с увеличением количества M точек , вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем единичной точке , удовлетворяет заранее заданному условию , также возрастает. Например, правило, заранее заданное на сервере 103 дедупликации, предусматривает: для точки потенциального деления, определение 11 точек, где  указывает последовательные натуральные числа от 1 до 11 по отдельности, и вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем любой точке  из 11 точек удовлетворяет заранее заданному условию , равна 1/2. Другая группа правил, заранее заданных на сервере 103 дедупликации, предусматривает: выбор 24 точки  для точки потенциального деления, где  указывает последовательные натуральные числа от 1 до 24 по отдельности, и вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем любой точке  из 24 точек удовлетворяет заранее заданному условию , равна 3/4. Для задания вероятности того, что, по меньшей мере, часть данных в конкретном окне [-, +] удовлетворяет заранее заданному условию, можно обратиться к описанию части определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-, +] заранее заданному условию. P(n) зависит от двух факторов, то есть количества M точек  и вероятности того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию, и P(n) представляет вероятность того, что не найдено ни одной точки деления потока данных после N минимальных единиц для поиска точки деления потока данных в поиске от начальной позиции / предыдущей точки деления потока данных потока данных. Процесс вычисления P(n), которая зависит от двух факторов, фактически является n-шаговой последовательностью Фибоначчи, которая подробно описана ниже. После получения P(n), 1-P(n) является функцией распределения точки деления потока данных, и (1-P(n))-(1-P(n-1))=P(n-1)-P(n) является вероятностью того, что точка деления потока данных найдена в n-й точке, то есть функцией плотности точки деления потока данных. Интегрирование  можно осуществлять согласно функции плотности точки деления потока данных, для получения предполагаемой длины точки деления потока данных, то есть размера среднего фрагмента, где 4*1024 (байтов) представляет длину минимального фрагмента данных, и 12*1024 (байтов) представляет длину максимального фрагмента данных.
k
px
Wx
px
Ax
px
Bx
Wx
px
Cx
Wx
px
Ax
px
Bx
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
px
k
dx
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
k
p
p
p
p
p
p
p
p
p
p
ka
ka
ki
pix
ki
x
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
pix
ki
dx
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
pi
pi
C
pi
B
Ax
ki
pix
ki
kj
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
pjx
kj
dx
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
Wj
pj
pj
kj
ki
kj
Wj
pj
pj
pi
Wi
pi
pi
Wi
pi
pi
pj
kj
kj
Wi
pi
pi
C
pi
B
Ax
ki
pix
Ax
ki
pix
pi
W
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
ka
ki
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
kj
ka
ka
kj
ki
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
5
5
5
5
5
5
x
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
11
11
11
11
11
11
5
5
5
5
5
5
5
11
5
5
5
5
5
5
x
x
5
j1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0106] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 5, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 точек, окна [-, +] (сокращенно, окна ) соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где ===========169, ===========0, и ==========. Расстояние между точкой  и точкой потенциального деления  равно  байтам. В частности, расстояние между точкой  и точкой потенциального деления  равно 0 байтов, расстояние между точкой  и точкой потенциального деления  равно 1 байту, расстояние между точкой  и точкой потенциального деления  равно 2 байтам, расстояние между точкой  и точкой потенциального деления  равно 3 байтам, расстояние между точкой  и точкой потенциального деления  равно 4 байтам, расстояние между точкой  и точкой потенциального деления  равно 5 байтам, расстояние между точкой  и точкой потенциального деления  равно 6 байтам, расстояние между точкой  и точкой потенциального деления  равно 7 байтам, расстояние между точкой  и точкой потенциального деления  равно 8 байтам, расстояние между точкой  и точкой потенциального деления  равно 9 байтам, расстояние между точкой  и точкой потенциального деления  равно 10 байтам, и относительно точки потенциального деления, все точки, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 5 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления, и точка  определяется для точки потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации,  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 5, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Вышеупомянутый окна по отдельности сокращенно именуются, , , , , , , , ,  и . Расстояние между точкой  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 9 байтам, расстояние между  и  равно 10 байтам, и относительно точки потенциального деления, и, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 6, по меньшей мере, часть данных в [-169,] не удовлетворяет соответствующему заранее заданному условию, N байтов пропускается от точки  в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖+‖(-)‖). В варианте реализации, показанном на фиг. 6, число N пропущенных байтов не превышает 179 байтов, и в этом варианте осуществления, N=11, для получения следующей точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 5, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , определяются и являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 9 байтам, расстояние между  и  равно 10 байтам, и относительно точки потенциального деления, все, , , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. В варианте реализации, показанном на фиг. 6, когда 11-е окно [-169,] определяется для точки потенциального деления, чтобы гарантировать, что диапазон между точкой потенциального деления  и точкой потенциального деления  полностью заключен в диапазоне определения, в этом варианте реализации можно гарантировать, что левая граница окна [-169,] совпадает с правой границей [-169,] или попадает в диапазон [-169,], где точка , определенная для точки потенциального деления , является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для точки потенциального деления  согласно правилу. Таким образом, при таком ограничении, когда, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, расстояние для пропуска от  в направлении поиска точки деления потока данных не превышает ‖‖+max(‖‖+‖(-)‖), где M=11, и 11*U не превышает max(‖‖+‖(-)‖), и, таким образом, расстояние для пропуска от  в направлении поиска точки деления потока данных не превышает 179. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления  точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, 11 байтов пропускается таким же, образом как для  для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
pi
kg
pgx
kg
x
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
Wg
pg
pg
pgx
kg
dx
pg
kg
pg
kg
pg
kg
pg
kg
pg
kg
pg
kg
pg
kg
pg
kg
pg
kg
pg
kg
pg
kg
kg
pg
pg
pg
pg
pg
pg
pg
pg
pg
pg
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
Wg
pg
pg
C
pg
kg
pi
ki
Wg
pg
pg
pg
Wi
pi
pi
pi
C
C
ki
Wi
pi
pi
C
kg
pi
pi
pi
Wx
px
Ax
px
Bx
px
Cx
1
1
1
1
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
5
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
11
5
11
11
11
11
5
5
5
5
5
11
5
5
5
5
5
5
5
[0107] В варианте реализации, показанном на фиг. 5, согласно правилу, заранее заданному на сервере 103 дедупликации, начиная с определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, когда определено, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, определено, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, определено, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, определено, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, и определено, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 10 байтов пропускается от точки  в направлении поиска точки деления потока данных, и новая точка потенциального деления получается в концевой позиции 10-го байта, которая представлена здесь как  для отличения от других точек потенциального деления. Согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек  определяются для точки потенциального деления, где  указывает последовательные натуральные числа от 1 до 11 по отдельности, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , определяются и являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 9 байтам, расстояние между  и  равно 10 байтам, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, точка , соответствующая точке потенциального деления , совпадает с точкой , соответствующей точке потенциального деления, окно [-169,], соответствующее точке , совпадает с окном [-169,], соответствующим точке, и =; таким образом, для точки потенциального деления, когда определено, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, точка потенциального деления , полученная пропуском 10 байтов от точки  в направлении поиска точки деления потока данных, по прежнему не удовлетворяет условию использования в качестве точки деления потока данных. Таким образом, при наличии повторных вычислений, когда 10 байтов пропускается от точки  в направлении поиска точки деления потока данных, количество повторных вычислений может сокращаться, и эффективность повышаться, когда 11 байтов пропускается от точки  в направлении поиска точки деления потока данных. Таким образом, возрастает скорость поиска точки деления потока данных. Когда вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , которая определена согласно заранее заданному правилу, удовлетворяет заранее заданному условию , равна 1/2, то есть вероятность выполнения пропуска равна 1/2, каждый раз можно пропускать, самое большее, 179 байтов.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Wx
px
Ax
px
Bx
px
px
Wx
px
Ax
px
Bx
px
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
px
k
dx
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
k
p
p
p
p
p
p
p
p
p
p
k
Cx
Cx
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
[0108] В этом варианте реализации, заранее заданное правило предусматривает: для точки потенциального деления, определение 11 точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию, равна 1/2, и P(n) можно вычислить с использованием двух факторов, то есть количества точек  и вероятности того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию. Кроме того, ===========169, ===========0, и ==========, где расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 9 байтам, расстояние между  и  равно 10 байтам, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Таким образом, является ли точка потенциального деления  точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, удовлетворяет заранее заданному условию. После пропуска минимального фрагмента длиной 4096 байтов от начальной позиции/ предыдущей точки деления потока данных потока данных, 4086-ая точка находится путем возвращения на 10 байтов в направлении, противоположном направлению поиска точки деления потока данных, и в точке не существует ни одной точки деления потока данных; таким образом, P(4086)=1, и P(4087)=1, ..., P(4095)=1, и т.д. В 4096-й точке, то есть, в точке, которая используется для получения минимального фрагмента, с вероятностью (1/2)^11, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 точкам, удовлетворяет заранее заданному условию. Поэтому, с вероятностью (1/2)^11, существует точка деления потока данных; с вероятностью 1-(1/2)^11, не существует ни одной точки деления потока данных; таким образом P(11)=1-(1/2)^11.
[0109] В n-й точке, может существовать 12 случаев получения P(n) посредством рекурсии.
[0110] Случай 1: с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем n-й точке, не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-1), 11 последовательных точек не существует среди (n-1) точек до n-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*P(n-1). Случай, когда, по меньшей мере, часть данных в окне, соответствующем n-й точке, не удовлетворяет заранее заданному условию, и существует 11 последовательных точек среди (n-1) точек до n-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию, не связан с P(n).
[0111] Случай 2: с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем n-й точке, удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем (n-1)-й точке, не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-2), 11 последовательных точек не существует среди (n-2) точек до (n-1)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*1/2*P(n-2). Случай, когда, по меньшей мере, часть данных в окне, соответствующем n-й точке, удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне, соответствующем (n-1)-й точке, не удовлетворяет заранее заданному условию, и существует 11 последовательных точек среди (n-2) точек до (n-1)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию, не связан с P(n).
[0112] Согласно вышеупомянутому описанию, случай 11: с вероятностью (1/2)^10, по меньшей мере, часть данных в окнах, соответствующих точкам с n-й по (n-9)-ую, удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в окне, соответствующем (n-10)-й точке, не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-11), 11 последовательных точек не существует среди (n-11) точек до (n-10)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя (1/2)^10*1/2*P(n-11). Случай, когда, по меньшей мере, часть данных в окнах, соответствующих точкам с n-й по (n-9)-ую, удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне, соответствующем (n-10)-й точке, не удовлетворяет заранее заданному условию, и существует 11 последовательных точек среди (n-11) точек до (n-10)-й точки, где, по меньшей мере, часть данных в каждом окне из окон, соответствующих 11 последовательным точкам, по отдельности удовлетворяет заранее заданному условию, не связан с P(n).
[0113] Случай 12: с вероятностью (1/2)^11, по меньшей мере, часть данных в окнах, соответствующих точкам с n-й по (n-10)-ую, удовлетворяет заранее заданному условию, и этот случай не связан с P(n).
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Wx
px
Ax
px
Bx
px
Cx
px
Wx
px
Ax
px
Bx
px
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
C
px
k
dx
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
k
p
p
p
p
p
p
p
p
p
p
p
k
Cx
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
22
23
24
1
2
3
4
5
6
7
8
9
22
23
24
2
3
4
5
6
7
8
9
22
23
24
[0114] Таким образом, P(n)=1/2*P(n-1)+(1/2)^2*P(n-2)+...+(1/2)^11*P(n-11). Другое заранее заданное правило предусматривает: для точки потенциального деления, определение 24 точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до 24 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию , равна 3/4, и P(n) можно вычислить с использованием двух факторов, то есть количества точек  и вероятности того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию. Кроме того, ===========169, ===========0, и =========...===, где расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, ..., расстояние между  и  равно 21 байту, расстояние между  и  равно 22 байтам, расстояние между  и  равно 23 байтам, и относительно точки потенциального деления, все, , , , , , , , ..., ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Таким образом, является ли точка потенциального деления  точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из окон, соответствующих 24 последовательным точкам, удовлетворяет заранее заданному условию, и вычисление можно осуществлять с использованием нижеследующих формул:
P(4073)=1, P(4074)=1, ..., P(4095)=1, P(4096)=1-(3/4)^24, и
P(n)=1/4*P(n-1)+1/4*(3/4)*P(n-2)+...+1/4*(3/4)^23*P(n-24).
[0115] После вычисления, P(5*1024)=0.78, P(11*1024)=0.17, и P(12*1024)=0.13. Таким образом, ни одна точка деления потока данных не находится с вероятностью 13% после перехода поиска к точке на расстоянии 12 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, и осуществляется принудительное деление. Функция плотности точки деления потока данных получается с использованием этой вероятности, и, после интегрирования, получается, что в среднем, точка деления потока данных находится после перехода поиска к точке на расстоянии около 7.6 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, то есть средняя длина фрагмента составляет около 7.6 кбайт. В отличие от случая, когда, по меньшей мере, часть данных в окнах, соответствующих 11 последовательным точкам, удовлетворяет заранее заданному условию с вероятностью 1/2, традиционный алгоритм CDC может приводить к тому, что средняя длина фрагмента равна 7,6 кбайт, только, когда одно окно удовлетворяет условию с вероятностью 1/2^12.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Wx
px
Ax
px
Bx
px
Cx
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
px
k
dx
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
k
p
p
p
p
p
p
p
p
p
p
ka
ka
ki
pix
ki
x
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
pix
ki
dix
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
pi
pi
C
pi
W
p
B
Ax
ki
pix
ki
kj
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
pjx
kj
dx
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
W
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
ka
ki
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
kj
ka
ka
kj
ki
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
3
3
3
3
3
3
3
3
x
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
j1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0116] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 7, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию , равна 1/2, ===========169, ===========0, и ==========, где расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 9 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 0 байтов, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 7 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления, и точка  определяется для точки потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации,  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 7, согласно заранее заданному правилу, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , являются  [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Расстояние между точкой  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 9 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 0 байтов, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, как показано на фиг. 8, тот факт, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию , и 11 байтов пропускается от точки  в направлении поиска точки деления потока данных, используется в порядке примера для описания. Как показано на фиг. 8, когда определено, что  не удовлетворяет заранее заданному условию, от, которая служит начальной точкой, N байтов пропускается в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖+‖(-)‖). В варианте реализации, показанном на фиг. 6, пропускается N байтов, и, в частности не больше 179 байтов, и в этом варианте осуществления, N=11. Следующая точка потенциального деления получается в концевой позиции 11-го байта. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , определяются и являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 9 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 0 байтов, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления  точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, 11 байтов пропускается таким же, образом как для  для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления. Конечно, реализация способа ограничена длиной максимального фрагмента данных и размером файла, образующего поток данных, который здесь повторно не описан.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
px
k
dx
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
p
p
p
p
p
p
k
p
p
p
k
ka
ka
ki
pix
ki
x
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
pix
ki
dx
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
pi
pi
pi
pi
pi
pi
ki
pi
pi
pi
ki
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
pi
pi
pi
B
Ax
ki
pix
ki
kj
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
pjx
kj
dx
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
pj
pj
pj
pj
pj
pj
kj
pj
pj
pj
kj
W
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
ka
ki
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
kj
ka
ka
kj
ki
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
5
6
7
8
9
10
11
1
2
3
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
5
6
7
8
9
10
11
1
2
3
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
7
7
7
7
4
x
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
5
6
7
8
9
10
11
1
2
3
j1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0117] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 9, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где ===========169, ===========0, и ==========. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 3 байтам, расстояние между  и  равно 2 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, все, , , , , , и  ориентированы, относительно точки потенциального деления, в направлении, противоположном направлению поиска точки деления потока данных, и все,  и  ориентированы, относительно точки потенциального деления, в направлении поиска точки деления потока данных.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 9 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления, и точка  определяется для точки потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации,  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 9, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 3 байтам, расстояние между  и  равно 2 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, все, , , , ,  и  ориентированы, относительно точки потенциального деления, в направлении, противоположном направлению поиска точки деления потока данных, и все,  и  ориентированы, относительно точки потенциального деления, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 10, по меньшей мере, часть данных в [-169,] не удовлетворяет соответствующему заранее заданному условию, N байтов пропускается от точки  в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖+‖(-)‖). В варианте реализации, показанном на фиг. 10, число N пропущенных байтов, в частности, не превышает 179 байтов, и в этом варианте осуществления, в частности, N=8, для получения новой точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 9, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , определяются и являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 3 байтам, расстояние между  и  равно 2 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, все, , , , ,  и  ориентированы, относительно точки потенциального деления, в направлении, противоположном направлению поиска точки деления потока данных, и все,  и  ориентированы, относительно точки потенциального деления, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления  точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, 8 байтов пропускаются таким же, образом как для  для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
px
k
dx
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
p
p
p
p
p
p
p
k
p
p
k
ka
ka
ki
pix
ki
x
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
pix
ki
dx
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
pi
pi
pi
pi
pi
pi
pi
ki
pi
pi
ki
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
C
ki
ki
kj
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
pi
pi
pi
B
Ax
ki
pix
ki
kj
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
pjx
kj
dx
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
pj
pj
pj
pj
pj
pj
pj
kj
pj
pj
kj
W
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
ka
ki
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
kj
ka
ka
kj
ki
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
11
11
1
2
3
4
5
6
7
8
9
10
4
4
4
4
4
x
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
8
8
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
j1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0118] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 11, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где ==========169, =182, ===========0, и =========≠. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 3 байтам, все, , , , , ,  и  ориентированы, относительно точки потенциального деления, в направлении, противоположном направлению поиска точки деления потока данных, и обе  и  ориентированы, относительно точки потенциального деления, в направлении поиска точки деления потока данных.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 11, является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления, и точка  определяется для точки потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации,  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 11, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-182,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 3 байтам, все, , , , , ,  и  ориентированы относительно точки потенциального деления, в направлении, противоположном направлению поиска точки деления потока данных, и обе  и  ориентированы, относительно точки потенциального деления, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в окне  не удовлетворяет заранее заданному условию, 1 байт пропускается от точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Когда, по меньшей мере, часть данных в любом окне из 10 окон, , , , , , , ,  и  не удовлетворяет соответствующему заранее заданному условию, например, [-169,], показанном на фиг. 12, N байтов пропускается от точки  в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖+‖(-)‖). В варианте реализации, показанном на фиг. 12, число N пропущенных байтов, в частности, не превышает 179, и в этом варианте осуществления, в частности, N=9, для получения новой точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 11, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , определяются и являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и  [-182,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 0 байтов, расстояние между  и  равно 1 байту, расстояние между  и  равно 2 байтам, расстояние между  и  равно 3 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 5 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 7 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 1 байту, расстояние между  и  равно 3 байтам, все, , , , , ,  и  ориентированы, относительно точки потенциального деления, в направлении, противоположном направлению поиска точки деления потока данных, и обе  и  ориентированы, относительно точки потенциального деления, в направлении поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-182,] заранее заданному условию. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления  точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Wx
px
Ax
px
Bx
px
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
px
k
dx
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
p
k
k
p
p
p
p
p
p
p
p
p
p
ka
ka
ki
pix
ki
x
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
pix
ki
dx
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
pi
ki
ki
pi
pi
pi
pi
pi
pi
pi
pi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
pi
pi
C
ki
kj
kj
ki
kj
ki
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
Wj
pj
pj
A
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
C
C
C
C
C
C
C
C
C
C
C
pjx
kj
dx
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
pj
kj
kj
pj
pj
pj
pj
pj
pj
pj
pj
pj
pj
W
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
pj
pj
C
pi
pj
pi
ki
kj
kl
kl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
Wl
pl
pl
plx
kl
dx
pl
kl
pl
kl
pl
kl
pl
kl
pl
kl
pl
kl
pl
kl
pl
kl
pl
kl
pl
kl
pl
kl
kl
pl
pl
pl
pl
pl
pl
pl
pl
pl
pl
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
pl
pl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
kl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
ki
kj
kl
km
km
kl
km
kl
km
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
Wm
pm
pm
pmx
km
dx
pm
km
pm
km
pm
km
pm
km
pm
km
pm
km
pm
km
pm
km
pm
km
pm
km
pm
km
km
pm
pm
pm
pm
pm
pm
pm
pm
pm
pm
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
pm
pm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
km
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
4
4
4
4
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
j1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
3
3
3
3
4
3
4
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0119] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 13, правило, которое заранее задано на сервере 103 дедупликации, предусматривает: для точки потенциального деления, определение 11 точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне [-, +], соответствующем точке , удовлетворяет заранее заданному условию, равна 1/2, ===========169, ===========0, и ==========, где расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 0 байтов, расстояние между  и  равно 2 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 12 байтам, расстояние между  и  равно 14 байтам, расстояние между  и  равно 16 байтам, расстояние между  и  равно 18 байтам, расстояние между  и  равно 20 байтам, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 13, является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления, и точка  определяется для точки потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации,  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 13, согласно заранее заданному правилу, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 0 байтов, расстояние между  и  равно 2 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 12 байтам, расстояние между  и  равно 14 байтам, расстояние между  и  равно 16 байтам, расстояние между  и  равно 18 байтам, расстояние между  и  равно 20 байтам, и относительно точки потенциального деления, и, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 14, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, выбирается следующая точка потенциального деления. Для отличения от точки потенциального деления, следующая точка потенциального деления представлена здесь как , где  располагается справа от, и расстояние между  и  равно 1 байту. Как показано на фиг. 14, согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , определяются и являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно, где ===========169, ===========0, и ==========. Расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и  равно 0 байтов, расстояние между  и  равно 2 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 12 байтам, расстояние между  и  равно 14 байтам, расстояние между  и  равно 16 байтам, расстояние между  и  равно 18 байтам, расстояние между  и  равно 20 байтам, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в любом окне из окон, , , , , , , , ,  и  не удовлетворяет заранее заданному условию, например, как показано на фиг. 15, когда, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, точка  располагается слева от точки  относительно направления поиска точки деления потока данных, и 21 байт пропускается от точки  в направлении поиска точки деления потока данных, для получения следующей точки потенциального деления. Для отличения от точек потенциального деления  и, следующая точка потенциального деления представлена как. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 13, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, окна, соответствующие точкам, , , , , , , , ,  и , являются [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно, где расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 0 байтов, расстояние между  и  равно 2 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 12 байтам, расстояние между  и  равно 14 байтам, расстояние между  и  равно 16 байтам, расстояние между  и  равно 18 байтам, расстояние между  и  равно 20 байтам, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из окон, , , , , , , , ,  и  не удовлетворяет заранее заданному условию, выбирается следующая точка потенциального деления. Для отличения от точек потенциального деления,  и, следующая точка потенциального деления представлена как, где  располагается справа от, и расстояние между  и  равно 1 байту. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте осуществления, показанном на фиг. 13, 11 точек определяется для точки потенциального деления, и представляют собой, , , , , , , , ,  и  по отдельности, и окна, соответствующие точкам, , , , , , , , ,  и , являются [-169,], [-169,], [-169,], [-169,],  [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,] соответственно, где расстояние между  и точкой потенциального деления  равно  байтам. В частности, расстояние между  и точкой потенциального деления  равно 0 байтов, расстояние между  и  равно 2 байтам, расстояние между  и  равно 4 байтам, расстояние между  и  равно 6 байтам, расстояние между  и  равно 8 байтам, расстояние между  и  равно 10 байтам, расстояние между  и  равно 12 байтам, расстояние между  и  равно 14 байтам, расстояние между  и  равно 16 байтам, расстояние между  и  равно 18 байтам, расстояние между  и  равно 20 байтам, и относительно точки потенциального деления, все, , , , , , , ,  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в  [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне не удовлетворяет заранее заданному условию, пропуск выполняется согласно вышеописанному решению, для получения следующей точки потенциального деления, и следует определять, является ли следующая точка потенциального деления точкой деления потока данных.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
pi
Wi
pi
pi
pi
ki
Wi
pi
pi
C
Wi
Wi
pi
pi
Wi
pi
pi
C
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
Sa
k
Sa
Sa
Sa
Sam
Sa
Sa
Sa
k
k
Sa
Sa
Sa
k
k
Wi
pi
pi
C
k
Wi
pi
pi
C
C
k
Sa
Sa
Sa
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
bm
bm
bm
Vbm
bm
Vbm
bm
bm
bm
Vb
bm
Vbm
Wi
pi
pi
Wi
pi
pi
Vb
Sbm
Vbm
hm
Vbm
hm
Vbm
hm
Sb
Sb
Sb
k
Sb
Sb
Sb
Sbm
Sb
Sb
Sb
k
k
Sb
Sb
Sb
k
k
Wi
pi
pi
C
k
Wi
pi
pi
C
C
k
Sb
Sb
Sb
Wi
pi
pi
C
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
1
1
1
1
1
1
1
1
1
1
2
255
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
1
1
1
2
2
2
2
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
1
1
1
2
2
2
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
2
2
2
2
2
2
2
2
2
1
2
255
2
2
2
2
[0120] Вариант осуществления настоящего изобретения предусматривает способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию, и вариант реализации, показанный на фиг. 5, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее точке , определяются для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 16,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 16, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , причем, когда =1, =1, и когда  =, =-1, где  представляет любой из, ..., и, и матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих 255 байтам, и может быть представлена как: . Большое количество случайных чисел выбирается для формирования матрицы, и, будучи сформована, матрица, образованная случайными числами, остается неизменный. Например, 255*8 случайных чисел выбирается из случайных чисел, которые подчиняются конкретному распределению (здесь в порядке примера используется нормальное распределение) для формирования матрицы R: , где случайные числа m-й строки матрицы  и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*., , ..., и  получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди, , ..., и . Поскольку матрица R подчиняется нормальному распределению,  все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из, , ..., и  больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из, , ..., и  четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.  здесь означает, что полученное вышеупомянутым образом количество  значений, больших 0, из, , ..., и , является четным числом. В варианте реализации, показанном на фиг. 5, для [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, и матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию; таким образом, используется матрица R: , и случайные числа m-й строки матрицы  и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как  =*+*+...+*., , ..., и  получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди, , ..., и . Поскольку матрица R подчиняется нормальному распределению,  все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из, , ..., и  больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из, , ..., и  четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.  здесь означает, что полученное вышеупомянутым образом количество  значений, больших 0, из, , ..., и  является четным числом. В варианте реализации, показанном на фиг. 3, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию.
Wi
pi
pi
C
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
3
3
3
3
1
1
1
2
2
2
3
3
3
3
3
3
3
4
4
4
4
1
1
1
2
2
2
3
3
3
4
4
4
4
4
4
4
4
5
5
5
5
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
5
5
5
5
5
[0121] Таким образом, как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах [-169,] и [-169,] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах [-169,], [-169,] и [-169,] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Как показано на фиг. 16, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах [-169,], [-169,], [-169,] и [-169,] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.
Wi
pi
pi
C
pi
kj
pj
Wj
pj
pj
pj
kj
Wj
pj
pj
C
Wi
pi
pi
C
Wj
Wj
pj
pj
W
pj
pj
C
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Wj
pj
pj
Wi
pi
pi
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
Sa
k
Sa
Sa
Sa
Sam
Sa
Sa
Sa
k
k
Sa
Sa
Sa
k
k
Wj
pj
pj
C
k
Wj
pj
pj
C
5
5
5
5
5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
j1
1
1
1
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
1
1
1
1
1
1
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
1
1
1
1
1
1
1
1
[0122] Когда, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 11 байтов пропускается от точки  в направлении поиска точки деления потока данных, и следующая точка потенциального деления  получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее точке , определяются для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию. Таким образом, как показано на фиг. 17, представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию. На фиг. 17, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как', ..., и', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда '=1, '=1, и когда '=0, '=-1, где ' представляет любой из', ..., и', и матрица ' получается согласно соотношению преобразования между ' и ' из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию. Таким образом, используется матрица R: , и случайные числа m-й строки матрицы ' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как '='*+'*+...+'*.', ', ..., и ' получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди', ', ..., и '. Поскольку матрица R подчиняется нормальному распределению, ' все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из', ', ..., и ' больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из', ', ..., и ' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
bm
bm
bm
Vbm
bm
Vbm
bm
bm
bm
Vb
bm
Vbm
W
p
p
W
q
q
Vb
Sbm
Vbm
hm
Vbm
hm
Vbm
hm
Sb
Sb
Sb
k
Sb
Sb
Sb
Sbm
Sb
Sb
Sb
k
k
Sb
Sb
Sb
k
k
Wj
pj
pj
C
k
Wj
pj
pj
C
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
2
2
2
2
2
2
2
2
2
2
2
2
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
2
2
2
2
2
2
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
[0123] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как', ..., и', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда '=1, '=1, и когда '=0, '=-1, где ' представляет любой из', ..., и', и матрица ' получается согласно соотношению преобразования между ' и ' из битов, соответствующих 255 байтам, и может быть представлена как: . Способы определения, удовлетворяет ли, по меньшей мере, часть данных в окнах [-169,] и [-169,] заранее заданному условию одинаковы, и, таким образом, по прежнему используется матрица R: . Случайные числа m-й строки матрицы ' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как '='*+'*+...+'*.', ', ..., и ' получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди', ', ..., и '. Поскольку матрица R подчиняется нормальному распределению, ' все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из', ', ..., и ' больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из', ', ..., и ' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, которые здесь повторно не описаны.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
pi
Wi
pi
pi
pi
ki
Wi
pi
pi
C
Wi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
C
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
1
1
1
1
[0124] Также используя вариант реализации, показанный на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию . В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее , определяются для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 16,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 16, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". В одном варианте реализации, хэш-функция используется для вычисления 5 выбранных байтов, и значения, полученные посредством вычисления с использованием хэш-функции, подчиняются фиксированному и равномерному распределению. Если значение, полученное посредством вычисления с использованием хэш-функции, является четным числом, принимается решение, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, то есть  представляет, что значение, полученное посредством вычисления с использованием хэш-функции и вышеупомянутым образом, является четным числом. Таким образом, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, равна 1/2. В варианте реализации, показанном на фиг. 5, производится определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Для конкретной реализации, можно обратиться к описанию способа определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию  в варианте реализации, показанном на фиг. 5, который здесь повторно не описан.
Wi
pi
pi
C
pi
kj
pj
Wj
pj
pj
pj
kj
Wj
pj
pj
C
Wi
pi
pi
C
Wj
Wj
pj
pj
W
pj
pj
C
Wj
pj
pj
Wj
pj
pj
C
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
5
5
5
5
5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
j1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
4
4
4
4
4
4
4
4
4
4
4
4
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
[0125] Когда, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 11 байтов пропускается от точки  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее точке , определяются для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию. Таким образом, как показано на фиг. 17,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию. На фиг. 17, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". 5 байтов, выбранные из окна [-169,], вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. На фиг. 17, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. На фиг. 17, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. На фиг. 17, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Согласно вышеупомянутому способу, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, которые здесь повторно не описаны.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
pi
Wi
pi
pi
pi
ki
Wi
pi
pi
C
Wi
Wi
pi
pi
Wi
pi
pi
C
a
a
a
a
a
ar
a
a
a
a
a
ar
a
a
a
a
a
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
[0126] С использованием варианта реализации, показанного на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию . В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее , определяются для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 16,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: .
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
S
h
h
h
h
h
S
S
Wi
pi
pi
C
S
Wi
pi
pi
C
S
C
S
Wi
pi
pi
C
Wi
pi
pi
C
b
b
b
b
b
br
b
b
b
b
b
br
b
b
b
b
b
Wi
Wi
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
S
h
h
h
h
h
S
S
Wi
pi
pi
C
S
Wi
pi
pi
C
S
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
pi
kj
pj
Wj
pj
pj
pj
kj
Wj
pj
pj
C
Wi
pi
pi
C
Wj
Wj
pj
pj
W
pj
pj
C
a
a
a
a
a
ar
a
a
a
a
a
ar
a
a
a
a
a
Wj
pj
pj
C
Wi
pi
pi
C
1
1
1
1
36,1
2
2
2
2
48,2
3
3
3
3
26,3
4
4
4
4
26,4
5
5
5
5
88,5
1
36,1
48,2
26,3
26,4
88,5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
1
1
1
1
66,1
2
2
2
2
48,2
3
3
3
3
99,3
4
4
4
4
26,4
5
5
5
5
90,5
2
66,1
48,2
99,3
26,4
90,5
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
5
5
5
5
5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
j1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
1
1
1
1
1
1
1
[0127] В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =36, и  располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =48, и  располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если=26, и  располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =26, и  располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =88, и  располагается в 5-м столбце, осуществляется поиск значения, соответствующего . =++++, и поскольку матрица R подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. Когда  является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда  является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что  является четным числом, равна 1/2, и  представляет, что , которое получено посредством вычисления вышеупомянутым образом является четным числом. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Как показано на фиг. 16, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. На фиг. 16, байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в  и  заранее заданному условию, одинаковы, и, таким образом, по прежнему используется матрица R. В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается. Например, если =66, и  располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается. Например, если =48, и  располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =99, и  располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается. Например, если =26, и  располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =90, и  располагается в 5-м столбце, осуществляется поиск значения, соответствующего . =++++, и поскольку матрица R подчиняется биномиальному распределению, также подчиняется биномиальному распределению. Когда  является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда  является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что  является четным числом, равна 1/2. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 11 байтов пропускается от точки  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее точке , определяются для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию. Таким образом, как показано на фиг. 17,  представляет окно [-169,], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию. На фиг. 17, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию, и, таким образом, по прежнему используется матрица R, и представлена как: .
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
S
h
h
h
h
h
S
S
Wj
pj
pj
C
S
Wj
pj
pj
C
S
1
1
1
1
16,1
2
2
2
2
98,2
3
3
3
3
56,3
4
4
4
4
36,4
5
5
5
5
99,5
1
16,1
98,2
56,3
36,4
99,5
1
1
1
1
1
1
1
1
1
1
1
1
[0128] В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается'. Например, если '=16, и ' располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=98, и ' располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=56, и ' располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=36, и ' располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=99, и ' располагается в 5-м столбце, осуществляется поиск значения, соответствующего . '=++++, и поскольку матрица R подчиняется биномиальному распределению, ' также подчиняется биномиальному распределению. Когда ' является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда ' является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что ' является четным числом, равна 1/2.
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
b
b
b
b
b
br
b
b
b
b
b
br
b
b
b
b
b
Wi
pi
pi
C
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
S
h
h
h
h
h
S
S
Wj
pj
pj
C
S
Wj
pj
pj
C
S
2
2
2
2
2
2
2
2
2
2
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
2
2
2
2
1
1
1
1
210,1
2
2
2
2
156,2
3
3
3
3
144,3
4
4
4
4
60,4
5
5
5
5
90,5
2
210,1
156,2
144,3
60,4
90,5
2
2
2
2
2
2
2
2
2
2
2
2
[0129] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Матрица R идентична используемой при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=210, и ' располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=156, и ' располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=144, и ' располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=60, и ' располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=90, и ' располагается в 5-м столбце, осуществляется поиск значения, соответствующего . '=++++. Идентично условию определения , когда ' является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, и когда ' является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что ' является четным числом, равна 1/2.
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
3
3
3
3
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
[0130] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, которые здесь повторно не описаны.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
pi
Wi
pi
pi
pi
ki
Wi
pi
pi
C
Wi
Wi
pi
pi
Wi
pi
pi
C
a
a
a
a
a
as
a
a
a
a
a
as
a
a
a
a
a
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
[0131] С использованием варианта реализации, показанного на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию . В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее , определяются для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 16,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: . 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы G, которая представлена как: .
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
S
h
h
h
h
h
S
S
g g
g
g
g
g
S
S
S
Wi
pi
pi
C
S
S
Wi
pi
pi
C
C
S
S
S
S
S
S
S
S
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
b
b
b
b
b
bs
b
b
b
b
b
bs
b
b
b
b
b
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
S
h
h
h
h
h
S
S
g
g
g
g
g
S
S
S
Wi
pi
pi
C
S
S
Wi
pi
pi
C
S
S
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
pi
kj
pj
Wj
pj
pj
pj
kj
Wj
pj
pj
C
Wi
pi
pi
C
Wj
Wj
pj
pj
W
pj
pj
C
a
a
a
a
a
as
a
a
a
a
a
as
a
a
a
a
a
Wi
pi
pi
C
1
1
1
1
36,1
36,1
2
2
2
2
48,2
48,2
3
3
3
3
26,3
26,3
4
4
4
4
26,4
26,4
5
5
5
5
88,5
88,5
1
h
36,1
48,2
26,3
26,4
88,5
1
h
1
36,1
48,2
26,3
26,4
88,5
1
g
1
h
1
g
1
1
1
1
1
h
1
g
1
1
1
1
1
1
h
1
g
1
h
1
g
1
h
1
g
1
h
1
g
1
1
1
1
1
1
1
1
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
1
1
1
2
2
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
1
1
1
66,1
66,1
2
2
2
2
48,2
48,2
3
3
3
3
99,3
99,3
4
4
4
4
26,4
26,4
5
5
5
5
90,5
90,5
2
h
66,1
48,2
99,3
26,4
90,5
2
h
2
g
66,1
48,2
99,3
26,4
90,5
2
g
2
h
2
g
2
2
2
2
2
h
2
g
2
2
2
2
2
h
2
g
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
5
5
5
5
5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
j1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
1
1
1
[0132] Согласно значению  и столбцу, в котором располагается , например, =36, и  располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =48, и  располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =26, и  располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =26, и  располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =88, и  располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. =++++, и поскольку матрица R подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. ++++, и поскольку матрица G подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. Когда одно из  и  является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда оба  и  являются нечетными числами, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, и  указывает, что одно из  и , полученных согласно вышеупомянутому способу, является четным числом. Поскольку оба  и  подчиняются биномиальному распределению, вероятность того, что  является четным числом, равна 1/2, вероятность того, что  является четным числом, равна 1/2, и вероятность того, что одно из  и  является четным числом, равна 1-1/4=3/4. Таким образом, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию , равна 3/4. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. В варианте реализации, показанном на фиг. 5, для [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 16, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. На фиг. 16, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт " " служит значением, и любой  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в каждом окне заранее заданному условию, одинаковы, и, таким образом, по прежнему используются одни и те же матрицы R и G. Согласно значению  и столбцу, в котором располагается, например, =66, и  располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается, например, =48, и  располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =99, и  располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается, например, =26, и  располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =90, и  располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. =++++, и поскольку матрица R подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. =++++, и поскольку матрица G подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. Когда одно из  и  является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда оба  и  являются нечетными числами, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что одно из  и  является четным числом, равно 3/4. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 11 байтов пропускается от точки  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее точке , определяются для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию. Таким образом, как показано на фиг. 17,  представляет окно [-169,], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию. На фиг. 17, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Используются матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , и представлены как: и  соответственно.
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
S
h
h
h
h
h
S
S
g
g
g
g
g
S
S
S
Wj
pj
pj
C
S
S
Wj
pj
pj
C
S
S
1
1
1
1
16,1
16,1
2
2
2
2
98,2
98,2
3
3
3
3
56,3
56,3
4
4
4
4
36,4
36,4
5
5
5
5
99,5
99,5
1
h
16,1
98,2
56,3
36,4
99,5
1
h
1
g
16,1
98,2
56,3
36,4
99,5
1
g
1
h
1
g
1
1
1
1
1
h
1
g
1
1
1
1
1
h
1
g
[0133] Согласно значению ' и столбцу, в котором располагается', например, '=16, и ' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=98, и ' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=56, и ' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=36, и ' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=99, и ' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. =++++, и поскольку матрица R подчиняется биномиальному распределению, ' также подчиняется биномиальному распределению. '=++++, и поскольку матрица G подчиняется биномиальному распределению, ' также подчиняется биномиальному распределению. Когда одно из ' и ' является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда оба ' и ' являются нечетными числами, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что один из ' и ' является четным числом, равна 3/4.
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
b
b
b
b
b
bs
b
b
b
b
b
bs
b
b
b
b
b
Wi
pi
pi
C
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
S
h
h
h
h
h
S
g
g
g
g
g
S
S
Wj
pj
pj
C
S
S
Wj
pj
pj
C
S
S
2
2
2
2
2
2
2
2
2
2
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
2
2
2
2
1
1
1
1
210,1
210,1
2
2
2
2
156,2
156,2
3
3
3
3
144,3
144,3
4
4
4
4
60,4
60,4
5
5
5
5
90,5
90,5
2
h
210,1
156,2
144,3
60,4
90,5
2
g
210,1
156,2
144,3
60,4
90,5
2
h
2
g
2
2
2
2
2
h
2
g
2
2
2
2
2
h
2
g
[0134] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 17, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Используются матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию . Согласно значению ' и столбцу, в котором располагается ', например, '=210, и ' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=156, и ' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=144, и ' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=60, и ' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=90, и ' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. '=++++, '=++++. Когда одно из ' и ' является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда оба ' и ' являются нечетными числами, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что один из ' и ' является четным числом, равна 3/4.
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
3
3
3
3
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
11
10
11
11
11
11
[0135] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, которые здесь повторно не описаны.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
pi
Wi
pi
pi
pi
ki
Wi
pi
pi
C
Wi
Wi
pi
pi
Wi
pi
pi
C
a
a
a
a
a
at
a
a
a
a
a
at
Vat
at
Vat
at
Vat
Va
Va
Va
Va
Va
h
h
h
h
h
Sa
Va
h
Va
h
Va
h
Va
h
Va
h
h
h
h
h
h
Sa
Sa
Wi
pi
pi
C
Sa
Wi
pi
pi
C
Sa
Wi
pi
pi
C
Wi
pi
pi
C
b
b
b
b
b
bt
b
b
b
b
b
bt
Vbt
bt
Vbt
Vb
Vb
Vb
Vb
Vb
bt
Vbt
Wi
pi
pi
C
Wi
pi
pi
C
h
h
h
h
h
Sb
Vb
h
Vb
h
Vb
h
Vb
h
Vb
h
h
h
h
h
h
Sb
Sb
Wi
pi
pi
C
Sb
Wi
pi
pi
C
Sb
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
pi
kj
pj
Wj
pj
pj
pj
kj
Wj
pj
pj
C
Wi
pi
pi
C
Wj
Wj
pj
pj
W
pj
pj
C
a
a
a
a
a
at
a
a
a
a
a
at
Vat
at
Vat
Va
Va
Va
Va
Va
at
Vat
Wj
pj
pj
C
Wi
pi
pi
C
h
h
h
h
h
Sa
Va
h
Va
h
Va
h
Va
h
Va
h
h
h
h
h
h
Sa
Sa
Wj
pj
pj
C
Sa
Wj
pj
pj
C
Sa
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
1
1
1
2
2
2
2
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
2
2
2
2
2
2
2
2
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
5
5
5
5
5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
j1
1
1
1
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
1
1
1
1
1
1
1
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
1
1
1
1
1
1
1
1
[0136] С использованием варианта реализации, показанного на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию . В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее , определяются для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 16,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как, , , , ..., и  по отдельности. Для любого  из, , , , ..., и , когда =0, =-1, и когда =1, =1. Согласно соответствию между  игенерируются, , , , , ..., и . 40 случайных чисел выбирается из случайных чисел, которые подчиняются нормальному распределению, и представлены как:, , , , ..., и  по отдельности. =*+*+*+*+...+*. Поскольку, , , , ..., и  подчиняются нормальному распределению,  также подчиняется нормальному распределению. Когда  является положительным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда  является отрицательным числом или 0, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что  является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Как показано на фиг. 16, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. На фиг. 16, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как, , , , ..., и  по отдельности. Для любого  из, , , , ..., и , когда =0, =-1, и когда =1, =1., , , , ..., и  генерируютсясогласно соответствию между  и. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и, таким образом, используются одни и те же случайные числа:, , , , ..., и . =*+*+*+*+...+*. Поскольку, , , , ..., и  подчиняются нормальному распределению,  также подчиняется нормальному распределению. Когда  является положительным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда  является отрицательным числом или 0, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что  является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. В варианте реализации, показанном на фиг. 5, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 11 байтов пропускается от точки  в направлении поиска точки деления потока данных, и текущая точка потенциального деления получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее точке , определяются для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию. Таким образом, как показано на фиг. 17,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию. На фиг. 17, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как', ', ', ', ..., и ' по отдельности. Для любого ' из', ', ', ', ..., и ', когда '=0, '=-1, и когда '=1, '=1.', ', ', ', ..., и ' генерируются согласно соответствию между ' и'. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию, и, таким образом, используются одни и те же случайные числа:, , , , ..., и . '='*+'*+'*+'*+...+'*. Поскольку, , , , ..., и  подчиняются нормальному распределению, ' также подчиняется нормальному распределению. Когда ' является положительным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда ' является отрицательным числом или 0, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что ' является положительным числом, равна 1/2.
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
b
b
b
b
b
bt
b
b
b
b
b
bt
Vbt
bt
Vbt
Vb
Vb
Vb
Vb
Vb
bt
Vbt
Wi
pi
pi
C
Wj
pj
pj
C
h
h
h
h
h
Sb
Vb
h
Vb
h
Vb
h
Vb
h
Vb
h
h
h
h
h
h
Sb
Sb
Wj
pj
pj
C
Sb
Wj
pj
pj
C
Sb
2
2
2
2
2
2
2
2
2
2
2
2
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
2
2
2
2
2
2
2
2
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
2
2
2
2
2
2
2
2
[0137] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 17, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 17, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как', ', ', ', ..., и ' по отдельности. Для любого ' из', ', ', ', ..., и ', когда '=0, '=-1, и когда '=1, '=1.', ', ', ', ..., и ' генерируются согласно соответствию между ' и'. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и, таким образом, используются одни и те же случайные числа:, , , , ..., и . '='*+'*+'*+'*+...+'*. Поскольку, , , , ..., и  подчиняются нормальному распределению, ' также подчиняется нормальному распределению. Когда ' является положительным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда ' является отрицательным числом или 0, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что ' является положительным числом, равна 1/2.
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
3
3
3
3
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
[0138] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, которые здесь повторно не описаны.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
pi
Wi
pi
pi
pi
ki
Wi
pi
pi
C
Wi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
Wi
pi
pi
C
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
3
3
3
3
4
4
4
4
5
5
5
5
[0139] Также используя вариант реализации, показанный на фиг. 5 в порядке примера, предусмотрен способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию . В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее , определяются для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 16,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 16, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, диапазон которого составляет 0-(2^40-1). Генератор равномерного распределения случайных чисел используется для генерации 1 назначенного значения для каждого десятичного числа в 0-(2^40-1), и соответствие R между каждым десятичным числом в 0-(2^40-1) и назначенным значением записывается. Будучи назначенным, назначенное значение, соответствующее десятичному числу, остается неизменным, и назначенное значение подчиняется равномерному распределению. Если назначенное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; если назначенное значение является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.  представляет, что назначенное значение, полученное согласно вышеупомянутому способу является четным числом. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию , равна 1/2. В варианте реализации, показанном на фиг. 5, с использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, которые здесь повторно не описаны.
Wi
pi
pi
C
pi
kj
pj
Wj
pj
pj
pj
kj
Wj
pj
pj
C
Wi
pi
pi
C
Wj
Wj
pj
pj
W
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wi
pi
pi
C
Wj
pj
pj
C
Wi
pi
pi
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
Wj
pj
pj
C
5
5
5
5
5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
j1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
4
4
4
4
5
5
5
5
6
6
6
6
7
7
7
7
8
8
8
8
9
9
9
9
10
10
10
10
11
11
11
11
[0140] Когда, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 11 байтов пропускается от точки  в направлении поиска точки деления потока данных, и текущая точка потенциального деления получается в концевой позиции 11-го байта. Как показано на фиг. 6, согласно правилу, заранее заданному на сервере 103 дедупликации, точка  и окно [-169,], соответствующее точке , определяются для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,], заранее заданному условию. Таким образом, используется одно и то же соответствие R между каждым десятичным числом в 0-(2^40-1) и назначенным значением. Как показано на фиг. 17,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169, ] заранее заданному условию. На фиг. 17, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, и в R осуществляется поиск назначенного значения, соответствующего десятичному числу. Если назначенное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; если назначенное значение является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию , равна 1/2. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, которые здесь повторно не описаны.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
Ax
Bx
piz
Wiz
piz
Az
piz
Bz
piz
ki
i
z
z
Wiz
piz
Az
piz
Bz
Cz
[0141] Сервер 103 дедупликации согласно варианту осуществления настоящего изобретения, показанный на фиг. 1, представляет собой устройство, которое может реализовать техническое решение, описанное согласно варианту осуществления настоящего изобретения, и, как показано на фиг. 18, обычно включает в себя центральный процессор, первичную память и интерфейс ввода/вывода. Центральный процессор, первичная память и интерфейс ввода/вывода осуществляют связь друг с другом. В основной памяти хранится исполнимая инструкция, и центральный процессор выполняет исполнимую инструкцию, хранящуюся в первичной памяти, для осуществления конкретной функции, например, поиска точки деления потока данных, описанной на фиг. 4-17 в вариантах осуществления настоящего изобретения. Таким образом, как показано на фиг. 19, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, для сервера 103 дедупликации, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение M точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами. Сервер 103 дедупликации включает в себя блок 1901 определения и блок 1902 принятия решения и обработки. Блок 1901 определения выполнен с возможностью осуществления этапа (a): (a) определения точки  и окна [-,+], соответствующего точке , для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M. Блок 1902 принятия решения и обработки выполнен с возможностью: определения удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию;
Wiz
piz
Az
piz
Bz
Cz
piz
Bz
Ax
ki
pix
Wix
pix
Ax
pix
Bx
ki
Cx
ki
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖+‖(-)‖), для получения новой точки потенциального деления, причем блок определения осуществляет этап (a) для новой точки потенциального деления; и когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
pe
pf
Ae
Af
Be
Bf
Ce
Cf
k
pe
pf
[0142] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, две точки  и  удовлетворяют условиям =, = и =. Кроме того, правило дополнительно предусматривает, что: относительно точки потенциального деления, по меньшей мере, две точки  и  ориентированы в направлении, противоположном направлению поиска точки деления потока данных.
pe
pf
[0143] Кроме того, правило дополнительно предусматривает, что расстояние между, по меньшей мере, двумя точками  и  равно 1 U.
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
Wiz
piz
Az
piz
Bz
Cz
[0144] Кроме того, блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. В частности, блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. В частности, этот блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя:
Wiz
piz
Az
piz
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
piz
Az
piz
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
Wiz
piz
Az
piz
Bz
Cz
piz
Wic
pic
Ac
pic
Bc
pic
Wiz
piz
Az
piz
Bz
Wic
pic
Ac
pic
Bc
Wiz
piz
Az
piz
Bz
pic
[0145] Кроме того, блок 1902 принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от точки  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и блок 1901 определения осуществляет этап (a) для новой точки потенциального деления, и, согласно правилу, левая граница окна [-,+], соответствующая точке , которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+] попадает в диапазон окна [-,+], где точка , определенная для новой точки потенциального деления, является точкой, занимающей первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M точек, которые определены для новой точки потенциального деления согласно правилу.
pix
Wix
pix
Ax
pix
Bx
pix
ki
x
Cx
Wi
pi
A
pi
B
C
Wi
pi
A
pi
B
C
Wim
pim
Am
pim
Bm
Cm
1
1
1
1
1
1
2
2
2
2
2
2
[0146] Согласно способу поиска точки деления потока данных на основе сервера в вариантах осуществления настоящего изобретения, показанных на фиг. 4-17, точка  и окно [-,+], соответствующее точке  определяются для точки потенциального деления, где  указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Параллельно можно определять, удовлетворяет ли, по меньшей мере, часть данных в каждом окне из M окон заранее заданному условию , или можно последовательно определять, удовлетворяет ли, по меньшей мере, часть данных в окнах заранее заданному условию, или можно сначала определять, что, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию, затем принимать решение, что, по меньшей мере, часть данных в [-,+] удовлетворяет заранее заданному условию, пока не будет принято решение, что, по меньшей мере, часть данных в [-,+] удовлетворяет заранее заданному условию. Другие окна в этом варианте осуществления определяются таким же образом, как описано, что не описано повторно.
k
px
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
x
A
A
A
Am
B
B
B
Bm
C
C
C
CM
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
C
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
pi
pi
Wi
C
Wj
C
Wi
C
Wj
C
Wim
CM
WjM
CM
1
2
3
1
2
3
1
2
3
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
1
1
1
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
6
7
7
7
8
8
8
9
9
9
10
10
10
11
11
11
1
1
1
1
2
2
2
2
[0147] Кроме того, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, в фактических применениях, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение M точек, окна [-, +], соответствующего точке, и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Согласно заранее заданному правилу, , , , ..., и  могут не все быть равны, , , , ..., и  могут не все быть равны, и, , , ..., и  также могут не все быть равны. В варианте реализации, показанном на фиг. 5, для окон [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-169,], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Однако, в варианте реализации, показанном на фиг. 11, окна [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,], [-169,] и [-182,] могут отличаться размером, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также могут отличаться. Во всех вариантах осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию , конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию, способ определения, удовлетворяет ли, по меньшей мере, часть данных в  заранее заданному условию , конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в  заранее заданному условию, ..., и способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию , конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию, которые здесь повторно не описаны. При этом, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, хотя M=11 используется в порядке примера, значение M не ограничивается 11 согласно фактическому требованию, и специалист в данной области техники определяет значение M согласно описанию в вариантах осуществления настоящего изобретения.
ka
ki
kj
kl
km
ka
ki
kj
kl
km
Wx
px
Ax
px
Bx
Cx
Cx
Wx
px
Ax
px
Bx
[0148] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, правило заранее задается на сервере 103 дедупликации, , , ,  и  являются точками потенциального деления, полученными при поиске точки деления в направлении поиска точки деления потока данных, и все, , ,  и  подчиняются правилу. Окно [-, +] в этом варианте осуществления настоящего изобретения представляет конкретный диапазон, и данные выбираются в конкретном диапазоне для определения, удовлетворяют ли данные заранее заданному условию . В частности, в конкретном диапазоне можно выбирать, часть данных или можно выбирать все данные для определения, удовлетворяют ли данные заранее заданному условию. Можно рассматривать окно [-, +] в качестве примера понятия окна, в частности, используемого в этом варианте осуществления настоящего изобретения, который здесь повторно не описан.
Wx
px
Ax
px
Bx
px
Ax
px
Bx
Wx
px
Ax
px
Bx
px
Ax
px
Wx
px
Ax
px
Bx
px
Bx
px
Wx
px
Ax
px
Bx
px
Ax
px
Wx
px
Ax
px
Bx
px
Bx
px
Wx
px
Ax
px
Bx
px
Ax
px
Wx
px
Ax
px
Bx
px
Bx
px
Wx
px
Ax
px
Bx
[0149] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 4-17, в окне [-, +], (-) и (+) представляют две границы окна [-, +], где (-) представляет границу, которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки, окна [-, +], и (+) представляет границу, которая ориентирована в направлении поиска точки деления потока данных относительно точки, окна [-, +]. В частности, согласно варианту осуществления настоящего изобретения, направление поиска точки деления потока данных, показанное на фиг. 3-15, является направлением слева направо; таким образом, (-) представляет границу (то есть левую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки, окна [-, +], и (+) представляет границу (то есть правую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки, окна [-, +]. Если направление поиска точки деления потока данных, показанное на фиг. 3-15 ориентировано справа налево, (-) представляет границу (то есть правую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки, окна [-, +], и (+) представляет границу (то есть левую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки, окна [-, +].
px
ki
x
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
Wx
px
Ax
px
Bx
Cx
ki
ki
px
x
Wx
px
Ax
px
Bx
px
Cx
Wx
px
Ax
px
Bx
Wx
px
Ax
px
Bx
Cx
ki
[0150] Специалист в данной области техники может понять, что, совместно с различными иллюстративными блоками и этапами алгоритма, описанными в вариантах осуществления настоящего изобретения, ключевой признак в вариантах осуществления настоящего изобретения можно объединить с другими технологиями и представить в более сложной форме; однако ключевой признак настоящего изобретения по прежнему включен. Альтернативная точка деления может использоваться в реальном окружении. Например, в варианте реализации, согласно правилу, заранее заданному на сервере 103 дедупликации, 11 точек  определяются для точки потенциального деления, где  указывает последовательные натуральные числа от 1 до 11, и определяются окно [-, +], соответствующее , и заранее заданное условие , соответствующее окну [-, +]. Когда, по меньшей мере, часть данных в каждом окне [-, +] из 11 окон удовлетворяет заранее заданному условию, точка потенциального деления  является точкой деления потока данных. Когда по прохождении заданного максимального фрагмента данных не найдено ни одной точки деления, в этом случае может использоваться заранее заданное правило для альтернативной точки. Заранее заданное правило для альтернативной точки аналогично правилу, заранее заданному на сервере 103 дедупликации, и заранее заданное правило для альтернативной точки предусматривает: например, для точки потенциального деления, определяется 10 точек, где  указывает последовательные натуральные числа от 1 до 10, и определяются окно [-, +], соответствующее , и заранее заданное условие , соответствующее окну [-, +]. Когда, по меньшей мере, часть данных в каждом окне [-, +] из 10 окон удовлетворяет заранее заданному условию, точка потенциального деления  является точкой деления потока данных; когда не найдено ни одной точки деления потока данных по прохождении заданного максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
k
k
k
[0151] Правило заранее задается на сервере 103 дедупликации, и согласно правилу, M точек определяются для точки потенциального деления . Не требуется, чтобы заранее существовала точка потенциального деления , и точка потенциального деления  может определяться с использованием определенного M точек.
[0152] Вариант осуществления настоящего изобретения предусматривает способ поиска точки деления потока данных на основе сервера дедупликации, который, как показано на фиг. 20, включает в себя:
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
Wz
k
Az
k
Bz
Cz
z
z
k
Az
k
Bz
Wz
Wz
k
Az
k
Bz
Cz
k
Bz
Ax
Bz
Bz
Wz
k
Az
k
Bz
Ax
Ax
Wx
k
Ax
k
Bx
Cx
k
x
x
[0153] правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение M окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами. В варианте реализации, показанном на фиг. 3, вблизи значения M, в одном варианте реализации, значение M*U не превышает заранее заданного максимального расстояния между двумя соседними точками деления потока данных, то есть заранее заданной максимальной длины фрагмента данных. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию, где  – целое число, 1≤≤M, и (-) и (+) по отдельности представляют две границы окна. Когда определено, что, по меньшей мере, часть данных в любом одном окне [-,+] не удовлетворяет заранее заданному условию, N байтов пропускается от точки потенциального деления  в направлении поиска точки деления потока данных, где N≤‖‖+max(‖‖). ‖‖ представляет абсолютное значение  в [-,+], max(‖‖)представляет максимальное значение абсолютного значения  в M окон, и принцип определения значения N, в частности, введен в нижеследующих вариантах осуществления. Когда определено, что, по меньшей мере, часть данных в каждом окне [-,+] из M окон удовлетворяет заранее заданному условию, точка потенциального деления  является точкой деления потока данных.
ki
[0154] В частности, для текущей точки потенциального деления, следующие этапы осуществляются согласно правилу:
Wiz
ki
Az
ki
Bz
ki
i
z
z
[0155] Этап 2001: определить соответствующее окно [-,+] для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M.
Wiz
ki
Az
ki
Bz
Cz
[0156] Этап 2002: определить, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию;
Wiz
ki
Az
ki
Bz
Cz
ki
Bz
Ax
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропустить N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖), для получения новой точки потенциального деления, и осуществить этап 2001; и
Wix
ki
Ax
ki
Bx
ki
Cx
ki
когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбрать текущую точку потенциального деления  в качестве точки деления потока данных.
Wie
ki
Ae
ki
Be
Wif
ki
Af
ki
Bf
Ae
Be
Af
Bf
Ce
Cf
Ae
Af
Ae
Af
Be
Bf
Ae
Be
Wie
Af
Bf
Wif
[0157] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, два окна [-,+] и [-,+] удовлетворяют условиям |+|=|+|, и =. Кроме того, правило дополнительно предусматривает, что  и  являются положительными целыми числами. Кроме того, правило дополнительно предусматривает, что -1= и +1=. |+| представляет размер окна, и |+| представляет размер окна.
Wiz
ki
Az
ki
Bz
Cz
Wiz
ki
Az
ki
Bz
Cz
Wiz
ki
Az
ki
Bz
Cz
Wiz
ki
Az
ki
Bz
Cz
[0158] Кроме того, определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, включает в себя: определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Кроме того, определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, содержит: определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
ki
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
[0159] Когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, N минимальных единиц U для поиска точки деления потока данных пропускается от текущей точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления. Согласно правилу, левая граница окна [-,+], которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где окно [-,+], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.
Bz
Ax
x
[0160] В этом варианте осуществления настоящего изобретения, поиск точки деления потока данных осуществляется путем определения, удовлетворяет ли, по меньшей мере, часть данных в окне из M окон заранее заданному условию, и когда, по меньшей мере, часть данных в окне не удовлетворяет заранее заданному условию, пропускается длина N*U, где N*U не превышает ‖‖+max(‖‖), для получения следующей точки потенциального деления, что повышает эффективность поиска точки деления потока данных.
Wx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
k
Wx
k
Ax
k
Bx
x
Wx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
k
x
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
[0161] В процессе устранения дублированных данных, чтобы гарантировать одномерный размер фрагмента данных, рассматривается средний размер фрагмента данных (также именуемый средним фрагментом). Таким образом, хотя ограничения на размер минимального фрагмента данных и размер максимального фрагмента данных удовлетворяются, размер среднего фрагменты данных определяется, чтобы гарантировать одномерный размер полученного фрагмента данных. Вероятность (представленная как P(n)) нахождения точки деления потока данных зависит от двух факторов, то есть количества M окон [-,+] и вероятность того, что, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию, где первый влияет на длину пропуска, последний влияет на вероятность пропуска, и оба вместе влияют на размер среднего фрагмента. В общем случае, когда размер среднего фрагмента является фиксированным, с возрастанием количества [-,+], вероятность того, что, по меньшей мере, часть данных в единичном окне [-,+] удовлетворяет заранее заданному условию, также возрастает. Например, правило заранее задается на сервере 103 дедупликации, и правило предусматривает: для точки потенциального деления, определение 11 окон [-,+], где  указывает последовательные натуральные числа от 1 до 11 по отдельности, и вероятность того, что, по меньшей мере, часть данных в любом окне [-,+] из 11 окон удовлетворяет заранее заданному условию, равна 1/2. Другая группа правил, заранее заданных на сервере 103 дедупликации, предусматривает: определение 24 окон [-,+] для точки потенциального деления, где  указывает последовательные натуральные числа от 1 до 24 по отдельности, и вероятность того, что, по меньшей мере, часть данных в любом окне [-,+] из 24 окон удовлетворяет заранее заданному условию , равна 3/4. Для задания вероятности того, что, по меньшей мере, часть данных в конкретном окне [-,+] удовлетворяет заранее заданному условию, можно обратиться к описанию части определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. P(n) зависит от двух факторов, то есть количества M окон [-,+] и вероятности того, что, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию, и P(n) представляет: вероятность того, что не найдено ни одной точки деления потока данных после N минимальных единиц для поиска точки деления потока данных в поиске от начальной позиции или предыдущей точки деления потока данных потока данных. Процесс вычисления P(n), которая зависит от двух факторов, фактически является n-шаговой последовательностью Фибоначчи, которая подробно описана ниже. После получения P(n), 1-P(n) является функцией распределения точки деления потока данных, и (1-P(n))-(1-P(n-1))=P(n-1)-P(n) является вероятностью того, что точка деления потока данных найдена на расстоянии N минимальных единиц для поиска точки деления потока данных, то есть функцией плотности точки деления потока данных. Интегрирование  можно осуществлять согласно функции плотности точки деления потока данных, для получения предполагаемой длины точки деления потока данных, то есть размера среднего фрагмента, где 4*1024 (байтов) представляет длину минимального фрагмента данных, и 12*1024 (байтов) представляет длину максимального фрагмента данных.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
C
C
C
C
C
C
C
C
C
C
C
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
ka
ka
ki
Wix
ki
Ax
ki
Bx
ki
x
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
ki
ki
ki
B
Ax
ki
kj
Wjx
kj
Ax
kj
Bx
kj
x
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
ki
kj
Wj
kj
kj
ki
Wi
ki
ki
Wi
ki
ki
Wj
kj
kj
kj
Wi
ki
ki
C
ki
B
Ax
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
A
kj
ka
ka
kj
ki
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
5
5
x
1
2
3
4
5
6
7
8
9
10
11
11
11
5
5
11
5
5
5
x
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
[0162] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 21, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до 11, и  и  являются целыми числами. =169, =0; =170, =-1; =171, =-2; =172, =-3; =173, =-4; =174, =-5; =175, =-6; =176, =-7; =177, =-8; =178, =-9; =179, =-10. ==========. Таким образом, 11 окон представляют собой [-169, ], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9] и [-179, -10].  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 21 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-,+] определяется для точки потенциального деления, и в этом варианте осуществления,  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 21, 11 окон определяются для точки потенциального деления, и представляют собой[-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9] и [-179, -10] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, в [-173, -4], показанном на фиг. 22, N байтов пропускается от точки потенциального деления  в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖). В варианте реализации, показанном на фиг. 22, число N пропущенных байтов не превышает 183 байтов, и в этом варианте осуществления, N=7, для получения новой точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно варианту реализации, показанному на фиг. 21, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: определение окна [-,+] для точки потенциального деления, причем, в этом варианте осуществления,  указывает последовательные натуральные числа от 1 до 11 по отдельности. 11 окон определяются для точки потенциального деления, и представляют собой [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9] и [-179, -10] по отдельности. Как показано на фиг. 22, когда 11-е окно [-179, -10] определяется для точки потенциального деления, чтобы гарантировать, что диапазон между точкой потенциального деления  и точкой потенциального деления  полностью заключен в диапазоне определения, в этом варианте реализации можно гарантировать, что левая граница окна [-179, -10] совпадает с правой границей (-4) окна [-173, -4], или попадает в диапазон окна [-173, -4], где окно [-179, -10] является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из 11 окон, которые определены для точки потенциального деления  согласно правилу. Таким образом, при таком ограничении, когда, по меньшей мере, часть данных в окне [-173, -4] не удовлетворяет заранее заданному условию, расстояние для пропуска от точки потенциального деления  в направлении поиска точки деления потока данных не превышает ‖‖+max(‖‖). Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
Wi
ki
ki
C
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
C
C
C
Wi
ki
ki
C
ki
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
C
Wg
kg
kg
Wi
ki
ki
C
C
Wi
ki
ki
C
kg
ki
ki
ki
Wx
k
Ax
k
Bx
Cx
B
A
1
1
1
2
3
4
1
2
3
4
5
5
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
11
5
5
11
5
5
11
11
[0163] В варианте реализации, показанном на фиг. 21, согласно правилу, заранее заданному на сервере 103 дедупликации, начиная с определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, когда определено, что, по меньшей мере, часть данных в [-169,], по меньшей мере, часть данных в [-170, -1], по меньшей мере, часть данных в [-171, -2] и, по меньшей мере, часть данных в [-172, -3] удовлетворяют заранее заданным условиям, ,  и  соответственно, и определено, что, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, 6 байтов пропускается от точки потенциального деления  в направлении поиска точки деления потока данных, и новая точка потенциального деления получается в концевой позиции 6-го байта. Для отличения от других точек потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации, 11 окон определяются для точки потенциального деления, и представляют собой [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9] и [-179, -10] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию. Окно [-179, -10] совпадает с окном [-173, -4], и =; таким образом, когда определено, что, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, точка потенциального деления , полученная пропуском T байтов от точки потенциального деления  в направлении поиска точки деления потока данных, по прежнему не удовлетворяет условию использования в качестве точки деления потока данных. Таким образом, при наличии повторных вычислений, когда 6 байтов пропускается от точки потенциального деления  в направлении поиска точки деления потока данных, количество повторных вычислений может сокращаться, и эффективность повышаться, когда 7 байтов пропускаются от точки потенциального деления  в направлении поиска точки деления потока данных. Таким образом, возрастает скорость поиска точки деления потока данных. Когда вероятность того, что, по меньшей мере, часть данных в окне [-, +], которое определено согласно заранее заданному правилу, удовлетворяет заранее заданному условию , равна 1/2, то есть вероятность выполнения пропуска равна 1/2, каждый раз можно пропускать, самое большее, ‖‖+‖‖=189 байтов.
Wx
k
Ax
k
Bx
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
Cx
x
Ax
Bx
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
C
C
C
C
C
C
C
C
C
C
C
k
Wx
px
Ax
px
Bx
Cx
Cx
k
Cx
Cx
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
[0164] В этом варианте реализации, заранее заданное правило предусматривает, что: 11 окон [-, +] определяется для точки потенциального деления  и, по меньшей мере, часть данных в окне [-, +] удовлетворяет заранее заданному условию, где вероятность того, что, по меньшей мере, часть данных в [-, +] удовлетворяет заранее заданному условию , равна 1/2, где  указывает последовательные натуральные числа от 1 до 11 по отдельности, и  и  являются целыми числами. =169, =0; =170, =-1; =171, =-2; =172, =-3; =173, =-4; =174, =-5; =175, =-6; =176, =-7; =177, =-8; =178, =-9; =179, =-10. ==========. Таким образом, 11 окон выбирается для точки потенциального деления , и 11 окон являются последовательными; P(n) можно вычислить с использованием двух факторов, то есть количества окон и вероятности того, что, по меньшей мере, часть данных в окне[-, +] удовлетворяет заранее заданному условию. Способ выбора 11 окон и определения, что по меньшей мере, часть данных в каждом окне из 11 окон удовлетворяет заранее заданному условию , подчиняются правилу, заранее заданному на сервере 103 дедупликации, и, таким образом, является ли точка потенциального деления  точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию. Промежуток между двумя байтами именуется одной точкой. P(n) представляет вероятность того, что 11 последовательных окон, удовлетворяющих условию, не существуют среди n последовательных окон, то есть вероятность того, что не существует ни одной точки деления потока данных. После пропуска минимальный фрагмента размером 4 кбайт от заголовка файла/ предыдущей точки деления, 4086-ая точка находится путем возвращения на 10 байтов в направлении, противоположном направлению поиска точки деления потока данных, и в точке не существует ни одной точки деления потока данных; таким образом, P(4086)=1, и P(4087)=1, ..., P(4095)=1, и т.д. В 4096-й точке, то есть, в точке, которая используется для получения минимального фрагмента, с вероятностью (1/2)^11, по меньшей мере, часть данных в каждом окне из 11 окон удовлетворяет заранее заданному условию. Поэтому, с вероятностью (1/2)^11, существует точка деления потока данных; с вероятностью 1-(1/2)^11, не существует ни одной точки деления потока данных; таким образом P(4096)=1-(1/2)^11.
[0165] В n-м окне может существовать 12 случаев получения P(n) посредством рекурсии.
[0166] Случай 1: с вероятностью 1/2, по меньшей мере, часть данных в n-м окне не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-1), 11 последовательных окон не существует среди (n-1) окон до n-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*P(n-1). Случай, когда, по меньшей мере, часть данных в n-м окне не удовлетворяет заранее заданному условию, и 11 последовательных окон существует среди (n-1) окон до n-й точки, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию, не связан с P(n).
[0167] Случай 2: с вероятностью 1/2, по меньшей мере, часть данных в n-м окне удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в (n-1)-м окне не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-2), 11 последовательных окон не существует среди (n-2) окон до (n-1)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя 1/2*1/2*P(n-2). Случай, когда, по меньшей мере, часть данных в n-м окне удовлетворяет заранее заданному условию, по меньшей мере, часть данных в (n-1)-м окне не удовлетворяет заранее заданному условию, и 11 последовательных окон существует среди (n-2) окон до (n-1)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию, не связан с P(n).
[0168] Согласно вышеупомянутому описанию, случай 11: с вероятностью (1/2)^10, по меньшей мере, часть данных в окнах с n-го по (n-9)-е удовлетворяет заранее заданному условию, и с вероятностью 1/2, по меньшей мере, часть данных в (n-10)-м окне не удовлетворяет заранее заданному условию; в этом случае, с вероятностью P(n-11), 11 последовательных окон не существует среди (n-11) окон до (n-10)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию. Таким образом, P(n) включает в себя (1/2)^10*1/2*P(n-11). Случай, когда, по меньшей мере, часть данных в окнах с n-го по (n-9)-е удовлетворяет заранее заданному условию, по меньшей мере, часть данных в (n-10)-м окне не удовлетворяет заранее заданному условию, и 11 последовательных окон существует среди (n-11) окон до (n-10)-го окна, где, по меньшей мере, часть данных в каждом окне из 11 последовательных окон удовлетворяет заранее заданному условию, не связан с P(n).
[0169] Случай 12: с вероятностью (1/2)^11, по меньшей мере, часть данных в окнах с n-го по (n-10)-е удовлетворяет заранее заданному условию, и этот случай не связан с P(n).
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
C
C
C
C
C
C
C
C
C
C
Wx
k
Ax
k
Bx
Cx
Wx
px
Ax
px
Bx
Cx
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
24
24
1
2
3
4
5
6
7
8
9
24
[0170] Таким образом, P(n)=1/2*P(n-1)+(1/2)^2*P(n-2)+...+(1/2)^11*P(n-11). Другое заранее заданное правило предусматривает: для точки потенциального деления, определение 24 окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до 11, =169, =0; =170, =-1; =171, =-2; =172, =-3; =173, =-4; =174, =-5; =175, =-6; =176, =-7; =177, =-8; =178, =-9; =179, =-10, ..., и =192, =-23. =========...=. Вероятность того, что, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию , равна 3/4, и P(n) можно вычислить с использованием двух факторов, то есть количества окон и вероятности того, что, по меньшей мере, часть данных в окне[-, +] удовлетворяет заранее заданному условию.
k
Cx
[0171] Таким образом, является ли точка потенциального деления  точкой деления потока данных, зависит от того, существует ли то, что, по меньшей мере, часть данных в каждом окне из 24 последовательных окон удовлетворяет заранее заданному условию, и вычисление можно осуществлять с использованием нижеследующих формул:
P(1)=1, P(2), ..., P(23)=1, P(24)=1-(3/4)^24, и
P(n)=1/4*P(n-1)+1/4*(3/4)*P(n-2)+...+1/4*(3/4)^23*P(n-24).
[0172] После вычисления, P(5*1024)=0.78, P(11*1024)=0.17, и P(12*1024)=0.13. Таким образом, ни одна точка деления потока данных не находится с вероятностью 13% после перехода поиска к точке на расстоянии 12 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, и осуществляется принудительное деление. Функция плотности точки деления потока данных получается с использованием этой вероятности, и, после интегрирования, получается, что в среднем, точка деления потока данных находится после перехода поиска к точке на расстоянии около 7.6 кбайт от начальной позиции/ предыдущей точки деления потока данных потока данных, то есть средняя длина фрагмента составляет около 7.6 кбайт. В отличие от случая, когда, по меньшей мере, часть данных в 11 последовательных окон удовлетворяет заранее заданному условию с вероятностью 1/2, традиционный алгоритм CDC может приводить к тому, что средняя длина фрагмента равна 7,6 кбайт, только, когда одно окно удовлетворяет условию с вероятностью 1/2^12.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
Wx
k
Ax
k
Bx
Cx
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
C
C
C
C
C
C
C
C
C
C
C
ka
ka
ki
ki
Wix
ki
Ax
ki
Bx
Cx
Wix
ki
Ax
ki
Bx
x
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
pi
pi
C
pi
W
C
ki
B
Ax
ki
kj
kj
Wjx
kj
Ax
kj
Bx
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
ka
ki
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
kj
ka
ka
kj
ki
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
3
3
3
3
3
3
3
3
x
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0173] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 23, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до 11, и  и  являются целыми числами. Вероятность того, что, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию , равна 1/2. =171, =-2; =172, =-3; =173, =-4; =174, =-5; =175, =-6; =176, =-7; =177, =-8; =178, =-9; =179, =-10; =170, =-1; =169, =0. ==========.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 23 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления. Согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления, определяются [-, +] и заранее заданное условие , соответствующее окну [-, +], где  указывает последовательные натуральные числа от 1 до 11. Определенные 11 окон представляют собой [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9], [-179, -10], [-170, -1] и [-169,] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, как показано на фиг. 24, в порядке примера для описания используется тот факт, что по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, 11 байтов пропускается от точки  в направлении поиска точки деления потока данных. Как показано на фиг. 24, когда определено, что  не удовлетворяет заранее заданному условию, от , которая служит начальной точкой, N байтов пропускается в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖). В этом варианте осуществления, N=7, и следующая точка потенциального деления получается в концевой позиции 7-го байта. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления, 11 окон [-,+] определяются и являются [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9], [-179, -10], [-170, -1] и [-169,] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию  и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления  точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления. Конечно, реализация способа ограничена длиной максимального фрагмента данных и размером файла, образующего поток данных, который здесь повторно не описан.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
C
C
C
C
C
C
C
C
C
C
C
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
ka
ka
ki
ki
Wix
k
Ax
k
Bx
Cx
Wix
k
Ax
k
Bx
x
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
ki
ki
ki
B
Ax
ki
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
ka
ki
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
kj
ka
ka
kj
ki
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
7
7
x
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0174] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 25, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до 11. =166, =3; =167, =2; =168, =1; =169, =0; =170, =-1; =171, =-2; =172, =-3; =173, =-4; =174, =-5; =175, =-6; =176, =-7. ==========, и 11 окон представляют собой [-166, +3], [-167, +2], [-168, +1], [-169, ], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6] и [-176, -7] по отдельности.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 25 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления, определяются 11 окон [-, +] и заранее заданное условие , соответствующее окну [-, +], где  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 25, для точки потенциального деления, 11 окон, которые определены, представляют собой [-166, +3], [-167, +2], [-168, +1], [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6] и [-176, -7] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-166, +3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-167, +2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-168, +1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, [-172, -3], показанное на фиг. 26, N байтов пропускается от точки потенциального деления  в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖). В варианте реализации, показанном на фиг. 26, количество N пропущенных байтов не превышает 185 байтов, и в этом варианте осуществления, N=5, для получения новой точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 25, для точки потенциального деления, 11 окон определяются и являются [-166, +3], [-167, +2], [-168, +1], [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6] и [-176, -7] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-166, +3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-167, +2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-168, +1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления  точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
C
C
C
C
C
C
C
C
C
C
C
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
W
k
k
ka
ka
ki
ki
Wix
ki
Ax
ki
Bx
x
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
C
ki
ki
kj
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
Wi
ki
ki
ki
B
Ax
ki
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
ka
ki
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
kj
ka
ka
kj
ki
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
11
11
1
2
3
4
5
6
7
8
9
10
4
4
x
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0175] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 27, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 окон [-, +] и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до 11. =169, =0; =170, =-1; =171, =-2; =172, =-3; =173, =-4; =174, =-5; =175, =-6; =176, =-7; =177, =-8; =168, =1; =179, =3. =========≠, и 11 окон представляют собой [-169, ], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [k-168, +1] и [-179, +3] по отдельности.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 27 является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления, определяется окно [-,+], где  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 27, для точки потенциального деления, 11 окон, которые определены, представляют собой [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-168, +1] и [-179, +3] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-168, +1] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, +3] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в окне  не удовлетворяет заранее заданному условию, 1 байт пропускается от точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Когда, по меньшей мере, часть данных в любом окне из 10 окон, , , , , , , ,  и  не удовлетворяет соответствующему заранее заданному условию, например, [-172, -3], показанное на фиг. 28, N байтов пропускается от точки  в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖). В варианте реализации, показанном на фиг. 28, число N пропущенных байтов не превышает 182 байтов, и в этом варианте осуществления, N=6, для получения новой точки потенциального деления. Для отличения от точки потенциального деления, новая точка потенциального деления представлена здесь как . Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте реализации, показанном на фиг. 27, окна, определенные для точки потенциального деления , представляют собой [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-168, +1] и [-179, +3] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-168, +1] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, +3] заранее заданному условию. Конечно, в этом варианте осуществления настоящего изобретения, правило также выполняется, когда производится определение, является ли точка потенциального деления  точкой деления потока данных, конкретная реализация повторно не описана, и можно обратиться к описанию определения точки потенциального деления. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных, и данные между  и  образуют 1 фрагмент данных. При этом, минимальный фрагмент размером 4 кбайт пропускается таким же, образом как для  для получения следующей точки потенциального деления, и, согласно правилу, заранее заданному на сервере 103 дедупликации, производится определение, является ли следующая точка потенциального деления точкой деления потока данных. Когда определено, что точка потенциального деления  не является точкой деления потока данных, следующая точка потенциального деления получается таким же, образом как для, и производится определение, согласно правилу, заранее заданному на сервере 103 дедупликации, и вышеупомянутому способу, является ли следующая точка потенциального деления точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
k
Wx
px
Ax
px
Bx
Cx
Wx
px
Ax
px
Bx
x
Wx
px
Ax
px
Bx
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
A
B
C
C
C
C
C
C
C
C
C
C
C
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
W
k
k
ka
ka
ki
pix
ki
x
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
Wi
C
ki
Wi
ki
ki
C
ki
kj
kj
ki
kj
ki
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
Wj
kj
kj
C
C
C
C
C
C
C
C
C
C
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
Wj
C
kj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
Wj
kj
kj
C
kj
ki
ki
B
Ax
ki
kj
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
kl
kl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
Wl
C
kl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
Wl
ki
kj
kl
km
km
kl
km
kl
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
km
km
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
Wm
C
km
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
4
4
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
3
3
4
x
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
2
3
4
5
6
7
8
9
10
11
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
1
1
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0176] На основании поиска точки деления потока данных, показанного на фиг. 3, в варианте реализации, показанном на фиг. 29, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение 11 окон [-, +] и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до 11 по отдельности, где вероятность того, что, по меньшей мере, часть данных в окне [-, +] удовлетворяет заранее заданному условию, равна 1/2. =169, =0; =171, =-2; =173, =-4; =175, =-6; =177, =-8; =179, =-10; =181, =-12; =183, =-14; =185, =-16; =187, =-18; =189, =-20. ==========, и 11 окон представляют собой [-169, ], [-171, -2], [-173, -4], [-175, -6], [-177, -8], [-179, -10], [-181, -12], [-183, -14], [-185, -16], [-187, -18], и [-189, -20] по отдельности.  является точкой деления потока данных, и направление поиска точки деления потока данных, показанное на фиг. 29, является направлением слева направо. После пропуска минимального фрагмента данных размером 4 кбайт от точки деления потока данных, концевая позиция минимального фрагмента данных длиной 4 кбайт служит следующей точкой потенциального деления, и точка  определяется для точки потенциального деления. В этом варианте осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации,  указывает последовательные натуральные числа от 1 до 11 по отдельности. В варианте реализации, показанном на фиг. 29, согласно заранее заданному правилу, 11 окон, определенные для точки потенциального деления , представляют собой [-169,], [-171, -2], [-173, -4], [-175, -6], [-177, -8], [-179, -10], [-181, -12], [-183, -14], [-185, -16], [-187, -18] и [-189, -20] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-181, -12] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-183, -14] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в Wi9[ki-185, ki-16] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-187, -18] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-189, -20] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из 11 окон не удовлетворяет соответствующему заранее заданному условию, например, как показано на фиг. 30, по меньшей мере, часть данных в [-175, -6] не удовлетворяет заранее заданному условию, выбирается следующая точка потенциального деления. Для отличения от точки потенциального деления, следующая точка потенциального деления представлена здесь как , где  располагается справа от, и расстояние между  и  равно 1 байту. Как показано на фиг. 30, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления, 11 окон определяются и являются [-169,], [-171, -2], [-173, -4], [-175, -6], [-177, -8], [-179, -10], [-181, -12], [-183, -14], [-185, -16], [-187, -18] и [-189, -20] по отдельности, где ==========. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-181, -12] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-183, -14] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-185, -16] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-187, -18] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-189, -20] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда определено, что, по меньшей мере, часть данных в любом окне из окон, , , , , , , , ,  и  не удовлетворяет заранее заданному условию, например, как показано на фиг. 31, когда, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию,  располагается справа от , и N байтов пропускается от  в направлении поиска точки деления потока данных, где N байтов не больше ‖‖+max(‖‖). В варианте реализации, показанном на фиг. 28, количество N байтов не превышает 195 байтов, и в этом варианте осуществления, N=15, для получения следующей точки потенциального деления. Для отличения от точек потенциального деления  и, следующая точка потенциального деления представлена как. Согласно правилу, заранее заданному для сервера 103 дедупликации в варианте реализации на фиг. 29, для точки потенциального деления, 11 окон определяются и являются [-169,], [-171, -2], [-173, -4], [-175, -6], [-177, -8], [-179, -10], [-181, -12], [-183, -14], [-185, -16], [-187, -18] и [-189, -20] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-181, -12] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-183, -14] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-185, -16] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-187, -18] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-189, -20] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне из окон, , , , , , , , ,  и  не удовлетворяет заранее заданному условию, выбирается следующая точка потенциального деления. Для отличения от точек потенциального деления,  и, следующая точка потенциального деления представлена как, где  располагается справа от, и расстояние между  и  равно 1 байту. Согласно правилу, заранее заданному на сервере 103 дедупликации в варианте осуществления, показанном на фиг. 29, 11 окон, определенные для точки потенциального деления , представляют собой [-169,], [-171, -2], [-173, -4], [-175, -6], [-177, -8], [-179, -10], [-181, -12], [-183, -14], [-185, -16], [-187, -18], и [-189, -20] по отдельности. Производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-181, -12] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-183, -14] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-185, -16] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-187, -18] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-189, -20] заранее заданному условию. Когда определено, что, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, и, по меньшей мере, часть данных в окне  удовлетворяет заранее заданному условию, текущая точка потенциального деления  является точкой деления потока данных. Когда, по меньшей мере, часть данных в любом окне не удовлетворяет заранее заданному условию, пропуск выполняется согласно вышеописанному решению для получения следующей точки потенциального деления, и производится определение, является ли следующая точка потенциального деления точкой деления потока данных.
Wiz
ki
Az
ki
Bz
Cz
Wiz
ki
Az
ki
Bz
Cz
Wi
ki
ki
ki
Wi
ki
ki
C
Wi
Wi
ki
ki
Wi
ki
ki
C
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
Sa
k
Sa
Sa
Sa
Sam
Sa
Sa
Sa
k
k
Sa
Sa
Sa
k
k
Wi
ki
ki
C
k
W
ki
ki
C
C
k
Sa
Sa
Sa
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
bm
bm
bm
Vbm
bm
Vbm
bm
bm
bm
Vb
bm
Vbm
Wi
ki
ki
Wi
ki
ki
Vb
Sbm
Vbm
hm
Vbm
hm
Vbm
hm
Sb
Sb
Sb
k
Sb
Sb
Sb
Sbm
Sb
Sb
Sb
k
k
Sb
Sb
Sb
k
k
Wi
ki
ki
C
k
Wi
ki
ki
C
C
k
Sb
Sb
Sb
Wi
ki
ki
C
1
1
1
1
1
1
1
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
1
1
1
1
1
1
2
255
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
1
2
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
2
2
2
2
2
1
2
255
2
2
[0177] Вариант осуществления настоящего изобретения предусматривает способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию, и в порядке примера используется вариант реализации, показанный на фиг. 21. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 32,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 32, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, и матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих 255 байтам, и может быть представлена как: . Большое количество случайных чисел выбирается для формирования матрицы. Будучи сформована, матрица, образованная случайными числами, остается неизменный. Например, 255*8 случайных чисел выбирается из случайных чисел, которые подчиняются конкретному распределению (здесь в порядке примера используется нормальное распределение) для формирования матрицы R: , где случайные числа m-й строки матрицы  и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*., , ..., и  получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди, , ..., и . Поскольку матрица R подчиняется нормальному распределению,  все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из, , ..., и  больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из, , ..., и  четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.  здесь означает, что полученное вышеупомянутым образом количество  значений, больших 0, из, , ..., и , является четным числом. В варианте реализации, показанном на фиг. 21, для [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9] и [-179, -10], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом, способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, и матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию; таким образом, используется матрица R: , и случайные числа m-й строки матрицы  и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как  =*+*+...+*., , ..., и  получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди, , ..., и . Поскольку матрица R подчиняется нормальному распределению,  все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из, , ..., и  больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из, , ..., и  четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию.  здесь означает, что полученное вышеупомянутым образом количество  значений, больших 0, из, , ..., и  является четным числом. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию.
Wi
ki
ki
C
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
3
3
1
2
3
3
3
4
4
1
2
3
4
4
4
4
5
5
1
2
3
4
5
5
5
5
[0178] Таким образом, как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-171, -2] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах [-169,] и [-170, -1] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в [-171, -2] удовлетворяет заранее заданному условию. Как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-172, -3] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах [-169,], [-170, -1] и [-171, -2] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в [-172, -3] удовлетворяет заранее заданному условию. Как показано на фиг. 32, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-173, -4] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Затем способ определения, удовлетворяет ли, по меньшей мере, часть данных в окнах [-169,], [-170, -1], [-171, -2] и [-172, -3] заранее заданному условию, используется для определения, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию.
Wi
ki
ki
C
pi
kj
Wj
kj
kj
kj
Wj
kj
kj
C
Wi
ki
ki
C
Wj
C
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Wi
ki
ki
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
Sa
k
Sa
Sa
Sa
Sam
Sa
Sa
Sa
k
k
Sa
Sa
Sa
k
k
Wj
kj
kj
C
k
Wj
kj
kj
C
5
5
5
1
1
1
1
1
1
1
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
1
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
1
1
1
1
[0179] Когда, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, 7 байтов пропускаются от точки  в направлении поиска точки деления потока данных, и следующая точка потенциального деления  получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, как показано на фиг. 33,  представляет окно, и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию. На фиг. 33, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных повторно используются 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как', ..., и', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда '=1, '=1, и когда '=0, '=-1, где ' представляет любой из', ..., и', и матрица ' получается согласно соотношению преобразования между ' и ' из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, используется матрица R: , и случайные числа m-й строки матрицы ' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как '='*+'*+...+'*.', ', ..., и ' получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди', ', ..., и '. Поскольку матрица R подчиняется нормальному распределению, ' по прежнему подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из', ', ..., и ' больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из', ', ..., и ' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
bm
bm
bm
Vbm
bm
Vbm
bm
bm
bm
Vb
bm
Vbm
Wi
ki
ki
C
Wj
kj
kj
C
Vb
Sbm
Vbm
hm
Vbm
hm
Vbm
hm
Sb
Sb
Sb
k
Sb
Sb
Sb
Sbm
Sb
Sb
Sb
k
k
Sb
Sb
Sb
k
k
Wj
kj
kj
C
k
Wj
kj
kj
C
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
2
2
2
2
2
2
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
2
1
2
1
,1
,1
,2
,2
,8
,8
1
2
255
1
2
255
1
2
255
1
2
255
2
2
2
2
3
3
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0180] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные 5 байтов данных используются повторно 51 раз для получения всего 255 байтов, для повышения случайности. Из них каждый байт образован 8 битами, которые обозначены как', ..., и', представляющими биты с 1-го по 8-й m-го байта в 255 байтах, и, таким образом, биты, соответствующие 255 байтам, можно представить как: , где, когда '=1, '=1, и когда '=0, '=-1, где ' представляет любой из', ..., и', и матрица ' получается согласно соотношению преобразования между ' и ' из битов, соответствующих 255 байтам, и может быть представлена как: . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, и, таким образом, по прежнему используется матрица R: . Случайные числа m-й строки матрицы ' и m-й строки матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как '='*+'*+...+'*.', ', ..., и ' получаются согласно способу, и подсчитывается количество  значений, удовлетворяющих конкретному условию (здесь в порядке примера используется превышение 0) среди', ', ..., и '. Поскольку матрица R подчиняется нормальному распределению, ' все еще подчиняется нормальному распределению, как и матрица R. Согласно теории вероятностей, вероятность того, что случайное число в нормальном распределении больше 0, равна 1/2; вероятность того, что каждое значение из', ', ..., и ' больше 0, равна 1/2, и, таким образом,  подчиняется биномиальному распределению: . Согласно результату подсчета, производится определение, является ли количество  значений, больших 0, из', ', ..., и ' четным числом; вероятность того, что случайное число в биномиальном распределении является четным числом, равна 1/2, и, таким образом,  удовлетворяет условию с вероятностью 1/2. Когда  является четным числом, это указывает, что, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию. Когда  является нечетным числом, это указывает, что, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, которые здесь повторно не описаны.
Wiz
ki
Az
ki
Bz
Cz
Wi
ki
ki
ki
Wi
ki
ki
C
Wi
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
C
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
1
1
1
1
1
1
1
1
1
1
1
2
2
3
3
4
4
5
5
1
1
[0181] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Вариант реализации, показанный на фиг. 21, по прежнему используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 32,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 32, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". В одном варианте реализации, хэш-функция используется для вычисления выбранных 5 байтов, и значения, полученные посредством вычисления с использованием хэш-функции, подчиняются фиксированному и равномерному распределению. Если значение, полученное посредством вычисления с использованием хэш-функции, является четным числом, принимается решение, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Таким образом,  представляет, что значение, полученное вышеупомянутым образом и посредством вычисления с использованием хэш-функции, является четным числом. Таким образом, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию, равна 1/2. В варианте реализации, показанном на фиг. 21, производится определение, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, и удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию. Для конкретной реализации, можно обратиться к описанию способа определения, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию  в варианте реализации, показанном на фиг. 21, который здесь повторно не описан.
Wi
ki
ki
C
ki
kj
Wj
kj
kj
kj
Wj
kj
kj
C
Wi
ki
ki
C
Wj
Wj
kj
kj
Wj
kj
kj
C
Wj
kj
kj
Wj
kj
kj
C
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wi
kj
kj
C
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
5
5
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
4
4
4
4
4
4
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0182] Когда, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, 7 байтов пропускаются от точки потенциального деления  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, как показано на фиг. 33,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 33, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". 5 байтов, выбранные из окна [-169,], вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. На фиг. 33, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию. На фиг. 33, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-171, -2] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-171, -2] удовлетворяет заранее заданному условию. На фиг. 33, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-172, -3] заранее заданному условию. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-172, -3] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта "". Выбранные 5 байтов вычисляются с использованием хэш-функции. Если полученное значение является четным числом, по меньшей мере, часть данных в [-172, -3] удовлетворяет заранее заданному условию. Согласно вышеупомянутому способу, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, которые здесь повторно не описаны.
Wiz
ki
Az
ki
Bz
Cz
Wi
ki
ki
ki
Wi
ki
ki
C
Wi
Wi
ki
ki
Wi
ki
ki
C
a
a
a
a
a
ar
a
a
a
a
a
ar
a
a
a
a
a
1
1
1
1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
[0183] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Вариант реализации, показанный на фиг. 21, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 32,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: .
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
S
h
h
h
h
h
S
S
Wi
ki
ki
C
S
Wi
ki
ki
C
S
C
S
Wi
ki
ki
C
Wi
ki
ki
C
b
b
b
b
b
br
b
b
b
b
b
br
b
b
b
b
b
Wi
Wi
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
S
h
h
h
h
h
S
S
Wi
ki
ki
C
S
Wi
ki
ki
C
S
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
ki
kj
Wj
kj
kj
kj
Wj
kj
kj
C
Wi
ki
ki
C
Wj
Wj
kj
kj
Wj
kj
kj
C
a
a
a
a
a
ar
a
a
a
a
a
ar
a
a
a
a
a
Wj
kj
kj
C
Wi
ki
ki
C
1
1
1
1
36,1
2
2
2
2
48,2
3
3
3
3
26,3
4
4
4
4
26,4
5
5
5
5
88,5
1
36,1
48,2
26,3
26,4
88,5
1
1
1
1
1
1
1
1
1
1
1
1
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
1
1
1
1
66,1
2
2
2
2
48,2
3
3
3
3
99,3
4
4
4
4
26,4
5
5
5
5
90,5
2
66,1
48,2
99,3
26,4
90,5
2
2
2
2
2
2
2
2
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
5
5
1
1
1
1
1
1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
1
1
1
[0184] В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =36, и  располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =48, и  располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если=26, и  располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =26, и  располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =88, и  располагается в 5-м столбце, осуществляется поиск значения, соответствующего . =++++, и поскольку матрица R подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. Когда  является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; Когда  является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что  является четным числом, равна 1/2, и  представляет, что , которое получено посредством вычисления вышеупомянутым образом является четным числом. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Как показано на фиг. 32, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию. На фиг. 32, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в  и  заранее заданному условию, одинаковы, и, таким образом, по прежнему используется матрица R. В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается. Например, если =66, и  располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается. Например, если =48, и  располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =99, и  располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается. Например, если =26, и  располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению  и столбцу, в котором располагается . Например, если =90, и  располагается в 5-м столбце, осуществляется поиск значения, соответствующего . =++++, и поскольку матрица R подчиняется биномиальному распределению, также подчиняется биномиальному распределению. Когда  является четным числом, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию; Когда  является нечетным числом, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию. Вероятность того, что  является четным числом, равна 1/2. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, 7 байтов пропускаются от точки потенциального деления  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, как показано на фиг. 33,  представляет окно [-169,], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 33, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, по прежнему используется матрица R, и представлена как: .
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
a
a
a
a
h
S
h
h
h
h
h
S
S
Wj
kj
kj
C
S
Wj
kj
kj
C
S
1
1
1
1
16,1
2
2
2
2
98,2
3
3
3
3
56,3
4
4
4
4
36,4
5
5
5
5
99,5
1
16,1
98,2
56,3
36,4
99,5
1
1
1
1
1
1
1
1
[0185] В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается'. Например, если '=16, и ' располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=98, и ' располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=56, и ' располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=36, и ' располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=99, и ' располагается в 5-м столбце, осуществляется поиск значения, соответствующего . '=++++, и поскольку матрица R подчиняется биномиальному распределению, ' также подчиняется биномиальному распределению. Когда ' является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда ' является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что ' является четным числом, равна 1/2.
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
b
b
b
b
b
br
b
b
b
b
b
br
b
b
b
b
b
Wi
ki
ki
C
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
b
b
b
b
h
S
h
h
h
h
h
S
S
Wj
kj
kj
C
S
Wj
kj
kj
C
S
2
2
2
2
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
2
2
1
1
1
1
210,1
2
2
2
2
156,2
3
3
3
3
144,3
4
4
4
4
60,4
5
5
5
5
90,5
2
210,1
156,2
144,3
60,4
90,5
2
2
2
2
2
2
2
2
[0186] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. Выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Матрица R идентична используемой при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=210, и ' располагается в 1-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=156, и ' располагается во 2-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=144, и ' располагается в 3-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=60, и ' располагается в 4-м столбце, осуществляется поиск значения, соответствующего . В матрице R осуществляется поиск соответствующего значения согласно значению ' и столбцу, в котором располагается '. Например, если '=90, и ' располагается в 5-м столбце, осуществляется поиск значения, соответствующего . '=++++. Идентично условию определения , когда ' является четным числом, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию, и когда ' является нечетным числом, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию. Вероятность того, что ' является четным числом, равна 1/2.
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
3
3
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0187] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, которые здесь повторно не описаны.
Wiz
ki
Az
ki
Bz
Cz
Wi
ki
ki
ki
Wi
ki
ki
C
Wi
Wi
ki
ki
Wi
ki
ki
C
a
a
a
a
a
as
a
a
a
a
a
as
a
a
a
a
a
1
1
1
1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
[0188] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Вариант реализации, показанный на фиг. 21, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 32,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы R, которая представлена как: . 256*5 случайных чисел выбираются из случайных чисел, которые подчиняются биномиальному распределению, для формирования матрицы G, которая представлена как: .
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
S
h
h
h
h
h
S
S
g g
g
g
g
g
S
S
S
Wi
ki
ki
C
S
S
Wi
ki
ki
C
C
S
S
S
S
S
S
S
S
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
b
b
b
b
b
bs
b
b
b
b
b
bs
b
b
b
b
b
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
g
h
h
h
h
h
S
S
g
g
g
g
g
S
S
S
Wi
ki
ki
C
S
S
Wi
ki
ki
C
S
S
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
ki
kj
Wj
kj
kj
kj
Wj
kj
kj
C
Wi
ki
ki
C
Wj
Wj
kj
kj
Wj
kj
kj
C
a
a
a
a
a
as
a
a
a
a
a
as
a
a
a
a
a
Wi
ki
ki
C
1
1
1
1
36,1
36,1
2
2
2
2
48,2
48,2
3
3
3
3
26,3
26,3
4
4
4
4
26,4
26,4
5
5
5
5
88,5
88,5
1
h
36,1
48,2
26,3
26,4
88,5
1
h
1
36,1
48,2
26,3
26,4
88,5
1
g
1
h
1
g
1
1
1
h
1
g
1
1
1
1
h
1
g
1
h
1
g
1
h
1
g
1
h
1
g
1
1
1
1
1
2
3
4
5
6
7
8
9
10
11
1
1
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
1
1
1
66,1
66,1
2
2
2
2
48,2
48,2
3
3
3
3
99,3
99,3
4
4
4
4
26,4
26,4
5
5
5
5
90,5
90,5
90,5
66,1
48,2
99,3
26,4
90,5
2
h
2
g
66,1
48,2
99,3
26,4
90,5
2
g
2
h
2
g
2
2
2
h
2
g
2
2
2
h
2
g
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
5
5
1
1
1
1
1
1
1
1
1
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
1
[0189] Согласно значению  и столбцу, в котором располагается , например, =36, и  располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =48, и  располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =26, и  располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =26, и  располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =88, и  располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. =++++, и поскольку матрица R подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. ++++, и поскольку матрица G подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. Когда одно из  и  является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда оба  и  являются нечетными числами, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию, и  указывает, что одно из  и , полученных согласно вышеупомянутому способу, является четным числом. Поскольку оба  и  подчиняются биномиальному распределению, вероятность того, что  является четным числом, равна 1/2, вероятность того, что  является четным числом, равна 1/2, и вероятность того, что одно из  и  является четным числом, равна 1-1/4=3/4. Таким образом, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию , равна 3/4. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. В варианте реализации, показанном на фиг. 21, для [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9] и [-179, -10], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Таким образом, как показано на фиг. 32, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию. На фиг. 32, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как, , ,  и  соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любой  из, , ,  и  удовлетворяет условию 0≤≤255., , ,  и  образуют матрицу 1*5. В этом варианте реализации, способы определения, удовлетворяет ли, по меньшей мере, часть данных в каждом окне заранее заданному условию, одинаковы, и, таким образом, по прежнему используются одни и те же матрицы R и G. Согласно значению  и столбцу, в котором располагается, например, =66, и  располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается, например, =48, и  располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =99, и  располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается, например, =26, и  располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению  и столбцу, в котором располагается , например, =90, и  располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. =++++, и поскольку матрица R подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. =++++, и поскольку матрица G подчиняется биномиальному распределению,  также подчиняется биномиальному распределению. Когда одно из  и  является четным числом, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию; когда оба  и  являются нечетными числами, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию. Вероятность того, что одно из  и  является четным числом, равно 3/4. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, 7 байтов пропускаются от точки потенциального деления  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, как показано на фиг. 33,  представляет окно [-169,], и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 33, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию  используются, и представлены как: и  соответственно.
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
a
a
a
a
h
g
S
h
h
h
h
h
S
S
g
g
g
g
g
S
S
S
Wj
kj
kj
C
S
S
Wj
kj
kj
C
S
S
1
1
1
1
16,1
16,1
2
2
2
2
98,2
98,2
3
3
3
3
56,3
56,3
4
4
4
4
36,4
36,4
5
5
5
5
99,5
99,5
1
h
16,1
98,2
56,3
36,4
99,5
1
h
1
g
16,1
98,2
56,3
36,4
99,5
1
g
1
h
1
g
1
1
1
h
1
g
1
1
1
h
1
g
[0190] Согласно значению ' и столбцу, в котором располагается', например, '=16, и ' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=98, и ' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=56, и ' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=36, и ' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=99, и ' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. '=++++, и поскольку матрица R подчиняется биномиальному распределению, ' также подчиняется биномиальному распределению. '=++++, и поскольку матрица G подчиняется биномиальному распределению, ' также подчиняется биномиальному распределению. Когда одно из ' и ' является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда оба ' и ' являются нечетными числами, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что один из ' и ' является четным числом, равна 3/4.
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
b
b
b
b
b
bs
b
b
b
b
b
bs
b
b
b
b
b
Wi
ki
ki
C
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
b
b
b
b
h
g
S
h
h
h
h
h
S
g
g
g
g
g
S
S
Wj
kj
kj
C
S
S
Wj
kj
kj
C
S
S
2
2
2
2
2
2
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
2
2
1
1
1
1
210,1
210,1
2
2
2
2
156,2
156,2
3
3
3
3
144,3
144,3
4
4
4
4
60,4
60,4
5
5
5
5
90,5
90,5
2
h
210,1
156,2
144,3
60,4
90,5
2
g
210,1
156,2
144,3
60,4
90,5
2
h
2
g
2
2
2
h
2
g
2
2
2
h
2
g
[0191] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 33, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 преобразуются в десятичные значения, которые представлены как', ', ', ' и ' соответственно. Поскольку 1 байт образован 8 битами, каждый байт "" служит значением, и любое ' из', ', ', ' и ' удовлетворяет условию 0≤'≤255.', ', ', ' и ' образуют матрицу 1*5. Матрицы R и G, идентичные используемым при осуществлении определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию  используются. Согласно значению ' и столбцу, в котором располагается ', например, '=210, и ' располагается в 1-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=156, и ' располагается во 2-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=144, и ' располагается в 3-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=60, и ' располагается в 4-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. Согласно значению ' и столбцу, в котором располагается ', например, '=90, и ' располагается в 5-м столбце, в матрице R осуществляется поиск значения, соответствующего, и в матрице G осуществляется поиск значения, соответствующего. '=++++, и '=++++. Когда одно из ' и ' является четным числом, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию; когда оба ' и ' являются нечетными числами, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию. Вероятность того, что один из ' и ' является четным числом, равна 3/4.
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
3
3
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0192] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, которые здесь повторно не описаны.
Wiz
ki
Az
ki
Bz
Cz
Wi
ki
ki
ki
Wi
ki
ki
C
Wi
Wi
ki
ki
Wi
ki
ki
C
a
a
a
a
a
at
a
a
a
a
a
at
Vat
at
Vat
at
Vat
Va
Va
Va
Va
Va
h
h
h
h
h
Sa
Va
h
Va
h
Va
h
Va
h
Va
h
h
h
h
h
h
Sa
Sa
Wi
ki
ki
C
Sa
Wi
ki
ki
C
Sa
Wi
ki
ki
C
Wi
ki
ki
C
b
b
b
b
b
bt
b
b
b
b
b
bt
Vbt
bt
Vbt
bt
Vbt
Vb
Vb
Vb
Vb
Vb
Wi
ki
ki
C
Wi
ki
ki
C
h
h
h
h
h
Sb
Vb
h
Vb
h
Vb
h
Vb
h
Vb
h
h
h
h
h
h
Sb
Sb
Wi
ki
ki
C
Sb
Wi
ki
ki
C
Sb
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
ki
kj
Wj
kj
kj
kj
Wj
kj
kj
C
Wi
ki
ki
C
Wj
Wj
kj
kj
Wj
kj
kj
C
a
a
a
a
a
at
a
a
a
a
a
at
Vat
at
Vat
at
Vat
Va
Va
Va
Va
Va
Wj
kj
kj
C
Wi
ki
ki
C
h
h
h
h
h
Sa
Va
h
Va
h
Va
h
Va
h
Va
h
h
h
h
h
h
Sa
Sa
Wj
kj
kj
C
Sa
Wj
kj
kj
C
Sa
1
1
1
1
1
1
1
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
1
1
1
1
1
1
2
2
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
1
2
2
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
2
2
2
2
2
2
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
5
5
1
1
1
1
1
1
1
1
1
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
1
1
1
1
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
1
1
1
1
[0193] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Вариант реализации, показанный на фиг. 21, используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 32,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как, , , , ..., и  по отдельности. Для любого  из, , , , ..., и , когда =0, =-1, и когда =1, =1. Согласно соответствию между  и, генерируются , , , , ..., и . 40 случайных чисел выбирается из случайных чисел, которые подчиняются нормальному распределению, и представлены как:, , , , ..., и  по отдельности. =*+*+*+*+...+*. Поскольку, , , , ..., и  подчиняются нормальному распределению,  также подчиняется нормальному распределению. Когда  является положительным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда  является отрицательным числом или 0, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что  является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию. Как показано на фиг. 32, "" представляет 1 байт, по отдельности выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию. На фиг. 32, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как, , , , ..., и  по отдельности. Для любого  из, , , , ..., и , когда =0, =-1, и когда =1, =1. Согласно соответствию между  и, генерируются, , , , ..., и . Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию. Таким образом, используются одни и те же случайные числа:, , , , ..., и , и =*+*+*+*+...+*. Поскольку, , , , ..., и  подчиняются нормальному распределению,  также подчиняется нормальному распределению. Когда  является положительным числом, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию; когда  является отрицательным числом или 0, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию. Вероятность того, что  является положительным числом, равна 1/2. В варианте осуществления, показанном на фиг. 21, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию. С использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию. В варианте реализации, показанном на фиг. 21, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, 7 байтов пропускаются от точки потенциального деления  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, как показано на фиг. 33,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 33, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 на фиг. 33 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 169, 127, 85, 43 и 1 рассматриваются как 40 последовательных битов, которые представлены как', ', ', ', ..., и ' по отдельности. Для любого ' из', ', ', ', ..., и ', когда '=0, '=-1, и когда '=1, '=1. Согласно соответствию между ' и ', генерируются ', ', ', ', ..., и '. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, используются одни и те же случайные числа:, , , , ..., и . '='*+'*+'*+'*+...+'*. Поскольку, , , , ..., и  подчиняются нормальному распределению, ' также подчиняется нормальному распределению. Когда ' является положительным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; когда ' является отрицательным числом или 0, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Вероятность того, что ' является положительным числом, равна 1/2.
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
b
b
b
b
b
bt
b
b
b
b
b
bt
Vbt
bt
Vbt
bt
Vbt
Vb
Vb
Vb
Vb
Vb
Wi
ki
ki
C
Wj
kj
kj
C
h
h
h
h
h
Sb
Vb
h
Vb
h
Vb
h
Vb
h
Vb
h
h
h
h
h
h
Sb
Sb
Wj
kj
kj
C
Sb
Wj
kj
kj
C
Sb
2
2
2
2
2
2
1
2
3
4
40
1
2
3
4
40
1
2
3
4
40
2
2
2
2
1
2
3
4
40
1
1
2
2
3
3
4
4
40
40
1
2
3
4
40
2
2
2
2
[0194] Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию. Таким образом, как показано на фиг. 33, "" представляет 1 байт, выбранный, когда производится определение, удовлетворяет ли, по меньшей мере, часть данных в окне [-170, -1] заранее заданному условию, и между двумя соседними выбранными байтами существует 42 байта. На фиг. 33, выбранные байты представлены как порядковые номера 170, 128, 86, 44 и 2 по отдельности, и между двумя соседними выбранными байтами существует 42 байта. Байты "" с порядковыми номерами 170, 128, 86, 44 и 2 рассматриваются как 40 последовательных битов, которые представлены как', ', ', ', ..., и ' по отдельности. Для любого ' из', ', ', ', ..., и ', когда '=0, '=-1, и когда '=1, '=1. Согласно соответствию между ' и', генерируются', ', ', ', ..., и '. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию. Таким образом, используются одни и те же случайные числа:, , , , ..., и , и '='*+'*+'*+'*+...+'*. Поскольку, , , , ..., и  подчиняются нормальному распределению, ' также подчиняется нормальному распределению. Когда ' является положительным числом, по меньшей мере, часть данных в [-170, -1] удовлетворяет заранее заданному условию; когда ' является отрицательным числом или 0, по меньшей мере, часть данных в [-170, -1] не удовлетворяет заранее заданному условию. Вероятность того, что ' является положительным числом, равна 1/2.
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
3
3
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0195] Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, которые здесь повторно не описаны.
Wiz
ki
Az
ki
Bz
Cz
ki
Wi
ki
ki
ki
Wi
ki
ki
C
Wi
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
Wi
ki
ki
C
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
3
3
4
4
5
5
[0196] В этом варианте осуществления, производится определение, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Вариант реализации, показанный на фиг. 21, по прежнему используется в порядке примера. Согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления, окно [-169,] определяется для точки потенциального деления, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Как показано на фиг. 32,  представляет окно [-169,], и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 32, каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта. Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, диапазон которого составляет 0-(2^40-1). Генератор равномерного распределения случайных чисел используется для генерации 1 назначенного значения для каждого десятичного числа в 0-(2^40-1), и соответствие R между каждым десятичным числом в 0-(2^40-1) и назначенным значением записывается. Будучи назначенным, назначенное значение, соответствующее десятичному числу, остается неизменным, и назначенное значение подчиняется равномерному распределению. Если назначенное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; если назначенное значение является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию.  представляет, что назначенное значение, полученное согласно вышеупомянутому способу является четным числом. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию , равна 1/2. В варианте реализации, показанном на фиг. 21, с использованием того же правила, по отдельности, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, которые здесь повторно не описаны.
Wi
ki
ki
C
ki
kj
Wj
kj
kj
kj
Wj
kj
kj
C
Wi
ki
ki
C
Wj
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wi
ki
ki
C
Wj
kj
kj
C
Wi
ki
ki
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
Wj
kj
kj
C
5
5
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
3
3
3
3
4
4
5
5
6
6
7
7
8
8
9
9
10
10
11
11
[0197] Когда, по меньшей мере, часть данных в [-173, -4] не удовлетворяет заранее заданному условию, 7 байтов пропускаются от точки потенциального деления  в направлении поиска точки деления потока данных, и текущая точка потенциального деления  получается в концевой позиции 7-го байта. Как показано на фиг. 22, согласно правилу, заранее заданному на сервере 103 дедупликации, окно [-169,] определяется для точки потенциального деления. Способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне [-169,] заранее заданному условию. Таким образом, одно и то же соответствие R между каждым десятичным числом в 0-(2^40-1), и используется назначенное значение. Как показано на фиг. 33,  представляет окно, и 5 байтов выбирается для определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. На фиг. 33, "" представляет 1 выбранный байт, и между двумя соседними выбранными байтами существует 42 байта "". Каждый из байтов "" с порядковыми номерами 169, 127, 85, 43 и 1 преобразуется в 1 десятичное число, и в R осуществляется поиск назначенного значения, соответствующего десятичному числу. Если назначенное значение является четным числом, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию; если назначенное значение является нечетным числом, по меньшей мере, часть данных в [-169,] не удовлетворяет заранее заданному условию. Поскольку вероятность того, что случайное число в равномерном распределении является четным числом, равна 1/2, вероятность того, что, по меньшей мере, часть данных в [-169,] удовлетворяет заранее заданному условию , равна 1/2. Аналогично, способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-170, -1] заранее заданному условию, и способ определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию , идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в [-171, -2] заранее заданному условию. Аналогично, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-172, -3] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-173, -4] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-174, -5] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-175, -6] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-176, -7] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-177, -8] заранее заданному условию, производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-178, -9] заранее заданному условию, и производится определение, удовлетворяет ли, по меньшей мере, часть данных в [-179, -10] заранее заданному условию, которые здесь повторно не описаны.
k
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Ax
Bx
[0198] Сервер 103 дедупликации согласно варианту осуществления настоящего изобретения, показанный на фиг. 1, представляет собой устройство, которое может реализовать техническое решение, описанное согласно варианту осуществления настоящего изобретения, и, как показано на фиг. 18, обычно включает в себя центральный процессор, первичную память и интерфейс ввода/вывода. Центральный процессор, первичная память и интерфейс ввода/вывода осуществляют связь друг с другом. В основной памяти хранится исполнимая инструкция, и центральный процессор выполняет исполнимую инструкцию, хранящуюся в основной памяти для осуществления конкретной функции, благодаря чему, сервер 103 дедупликации имеет конкретную функцию, например, поиска точки деления потока данных, описанной на фиг. 20-33 в вариантах осуществления настоящего изобретения. Таким образом, как показано на фиг. 19, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, для сервера 103 дедупликации, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: для точки потенциального деления, определение M окон [-,+] и заранее заданного условия , соответствующего окну [-,+], где  указывает последовательные натуральные числа от 1 до M, M≥2, и  и  являются целыми числами.
[0199] Сервер 103 дедупликации включает в себя блок 1901 определения и блок 1902 принятия решения и обработки. Блок 1901 определения выполнен с возможностью осуществления этапа (a):
Wiz
ki
Az
ki
Bz
ki
i
z
z
(a) определения соответствующего окна [-,+] для текущей точки потенциального деления  согласно правилу, где  и  являются целыми числами, и 1≤≤M.
Wiz
ki
Az
ki
Bz
Cz
[0200] Блок 1902 принятия решения и обработки выполнен с возможностью: определять, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию;
Wiz
ki
Az
ki
Bz
Cz
ki
Bz
Ax
x
когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, где N*U не превышает ‖‖+max(‖‖), для получения новой точки потенциального деления, где блок 1901 определения осуществляет этап (a) для новой точки потенциального деления; и
Wix
ki
Ax
ki
Bx
ki
Cx
ki
когда, по меньшей мере, часть данных в каждом окне [-,+] из M окон текущей точки потенциального деления  удовлетворяет заранее заданному условию, выбора текущей точки потенциального деления  в качестве точки деления потока данных.
Wie
ki
Ae
ki
Be
Wif
ki
Af
ki
Bf
Ae
Be
Af
Bf
Ce
Cf
Ae
Af
Ae
Af
Be
Bf
[0201] Кроме того, правило дополнительно предусматривает, что, по меньшей мере, два окна [-,+] и [-,+] удовлетворяют условиям |+|=|+| и =. Кроме того, правило дополнительно предусматривает, что  и  являются положительными целыми числами. Кроме того, правило дополнительно предусматривает, что -1= и +1=.
Wiz
ki
Az
ki
Bz
Cz
Wiz
ki
Az
ki
Bz
Cz
[0202] Кроме того, блок 1902 принятия решения и обработки в частности, выполнен с возможностью определения, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию. Кроме того, блок 1902 принятия решения и обработки, в частности, определяет, с использованием хэш-функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию.
Wiz
ki
Az
ki
Bz
Cz
ki
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
Wiz
ki
Az
ki
Bz
Wic
ki
Ac
ki
Bc
[0203] Кроме того, блок 1902 принятия решения и обработки выполнен с возможностью: когда, по меньшей мере, часть данных в окне [-,+] не удовлетворяет заранее заданному условию, пропуска N минимальных единиц U для поиска точки деления потока данных от текущей точки потенциального деления  в направлении поиска точки деления потока данных, для получения новой точки потенциального деления, и блок 1901 определения осуществляет этап (a) для новой точки потенциального деления, где, согласно правилу, левая граница окна [-,+], которая определена для новой точки потенциального деления, совпадает с правой границей окна [-,+], или левая граница окна [-,+], которая определена для новой точки потенциального деления, попадает в диапазон окна [-,+], где окно [-,+], определенное для новой точки потенциального деления является окном, занимающим первую позицию в последовательности, которая получена согласно направлению поиска точки деления потока данных, из M окон, которые определены для новой точки потенциального деления согласно правилу.
Wiz
ki
Az
ki
Bz
Cz
[0204] Кроме того, блок 1902 принятия решения и обработки определяет, с использованием случайной функции, удовлетворяет ли, по меньшей мере, часть данных в окне [-,+] заранее заданному условию , в частности, и это определение включает в себя:
Wiz
ki
Az
ki
Bz
am
am
am
Vam
am
Vam
am
am
am
Va
am
Vam
Va
Va
Sam
Vam
hm
Vam
hm
Vam
hm
Sa
Sa
SaF
k
Sa
Sa
SaF
k
Wiz
ki
Az
ki
Bz
Cz
,1
,8
,
n
,
n
,
n
,
n
,
n
,1
,8
,
n
,
n
,1
,1
,2
,2
,8
,8
1
2
*
H
1
2
*
H
выбор F байтов в окне [-,+], и повторное использование F байтов H раз для получения всего F*H байтов, где F≥1, каждый байт образован 8 битами, которые обозначены как, ..., и, представляющими биты с 1-го по 8-й m-го байта в F*H байтов, биты, соответствующие F*H байтам можно представить как: , причем, когда =1, =1, и когда =0, =-1, где  представляет любой из, ..., и, матрица  получается согласно соотношению преобразования между  и  из битов, соответствующих F*H байтам, причем матрица  представлена как: , F*H*8 случайных чисел выбирается из случайных чисел, подчиняющихся нормальному распределению, для формирования матрицы R, причем матрица R представлена как: , случайные числа в m-й строке матрицы  и m-й строке матрицы R перемножаются, и произведения суммируются для получения значения, которое, в частности, представляется как =*+*+...+*, , , ..., и  получаются таким же образом, подсчитывается количество  значений, больших 0, из, , ..., и , и когда  является четным числом, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию.
Wix
ki
Ax
ki
Bx
ki
x
Cx
Wi
pi
A
pi
B
C
Wi
pi
A
pi
B
C
Wim
pim
Am
pim
Bm
Cm
1
1
1
1
1
1
2
2
2
2
2
2
[0205] Согласно способу поиска точки деления потока данных на основе сервера в вариантах осуществления настоящего изобретения, показанных на фиг. 20-33, определяется окно [-,+] для точки потенциального деления, где  указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Параллельно можно определять, удовлетворяет ли, по меньшей мере, часть данных в каждом окне из M окон заранее заданному условию , или можно последовательно определять, удовлетворяет ли, по меньшей мере, часть данных в окнах заранее заданному условию, или можно сначала определять, что, по меньшей мере, часть данных в окне [-,+] удовлетворяет заранее заданному условию, затем принимать решение, что, по меньшей мере, часть данных в [-,+] удовлетворяет заранее заданному условию, пока не будет принято решение, что, по меньшей мере, часть данных в [-,+] удовлетворяет заранее заданному условию. Другие окна в этом варианте осуществления определяются таким же образом, как описано, что не описано повторно.
Wx
k
Ax
k
Bx
k
Cx
Wx
k
Ax
k
Bx
x
A
A
A
Am
B
B
B
Bm
C
C
C
CM
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
C
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
ki
ki
Wi
C
Wj
C
Wi
C
Wj
C
Wim
CM
WjM
CM
1
2
3
1
2
3
1
2
3
1
2
3
4
5
6
7
8
9
10
11
1
1
1
2
3
4
5
6
7
8
9
10
11
1
1
1
1
2
2
2
2
[0206] Кроме того, согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, правило заранее задается на сервере 103 дедупликации, причем правило предусматривает: определение M окон [-, +] для точки потенциального деления  и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до M по отдельности, и M≥2. Согласно заранее заданному правилу, , , , ..., и  могут не все быть равны, , , , ..., и  могут не все быть равны, и, , , ..., и  также могут не все быть равны. В варианте реализации, показанном на фиг. 21, для [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-178, -9] и [-179, -10], окна одинаковы по размеру, то есть все окна имеют размер 169 байтов, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также одинаковы. Подробности можно найти в вышеприведенном описании определения, удовлетворяет ли, по меньшей мере, часть данных в [-169,] заранее заданному условию. Однако, в варианте реализации, показанном на фиг. 11, окна [-169,], [-170, -1], [-171, -2], [-172, -3], [-173, -4], [-174, -5], [-175, -6], [-176, -7], [-177, -8], [-168, +1] и [-179, +3] могут отличаться размером, и при этом способы определения, удовлетворяет ли, по меньшей мере, часть данных в окне заранее заданному условию, также могут отличаться. Во всех вариантах осуществления, согласно правилу, заранее заданному на сервере 103 дедупликации, способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию , конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию, способ определения, удовлетворяет ли, по меньшей мере, часть данных в  заранее заданному условию , конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в  заранее заданному условию, ..., и способ определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию , конечно, идентичен способу определения, удовлетворяет ли, по меньшей мере, часть данных в окне  заранее заданному условию, которые здесь повторно не описаны.
ka
ki
kj
kl
km
ka
ki
kj
kl
km
Wx
k
Ax
k
Bx
Cx
Cx
Wx
k
Ax
k
Bx
[0207] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, правило заранее задается на сервере 103 дедупликации, , , ,  и  являются точками потенциального деления, полученными при поиске точки деления в направлении поиска точки деления потока данных, и все, , ,  и  подчиняются правилу. В этом варианте осуществления настоящего изобретения, окно [-, +] представляет конкретный диапазон, и данные выбираются в конкретном диапазоне для определения, удовлетворяют ли данные заранее заданному условию . В частности, в конкретном диапазоне можно выбирать, часть данных или можно выбирать все данные для определения, удовлетворяют ли данные заранее заданному условию. Можно рассматривать окно [-, +] в качестве примера понятия окна, в частности, используемого в этом варианте осуществления настоящего изобретения, который здесь повторно не описан.
Wx
k
Ax
k
Bx
k
Ax
k
Bx
Wx
k
Ax
k
Bx
k
Ax
k
Wx
k
Ax
k
Bx
k
Bx
k
Wx
k
Ax
k
Bx
k
Ax
k
Wx
k
Ax
k
Bx
k
Bx
k
Wx
k
Ax
k
Bx
k
Ax
k
Wx
k
Ax
k
Bx
k
Bx
k
Wx
k
Ax
k
Bx
[0208] В окне [-, +], (-) и (+) представляют две границы окна [-, +], где (-) представляет границу, которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки потенциального деления , окна [-, +], и (+) представляет границу, которая ориентирована в направлении поиска точки деления потока данных относительно точки потенциального деления , окна [-, +]. В частности, согласно варианту осуществления настоящего изобретения, направление поиска точки деления потока данных, показанное на фиг. 20-33, является направлением слева направо; таким образом, (-) представляет границу (то есть левую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки потенциального деления , окна [-, +], и (+) представляет границу (то есть правую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки потенциального деления , окна [-, +]. Если направление поиска точки деления потока данных, показанное на фиг. 20-33, ориентировано справа налево, (-) представляет границу (то есть правую границу), которая ориентирована в направлении, противоположном направлению поиска точки деления потока данных относительно точки потенциального деления , окна [-, +], и (+) представляет границу (то есть левую границу), которая ориентирована в направлении поиска точки деления потока данных относительно точки потенциального деления , окна [-, +].
ki
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Wx
k
Ax
k
Bx
Cx
ki
ki
Wx
k
Ax
k
Bx
Cx
Wx
k
Ax
k
Bx
x
Wx
k
Ax
k
Bx
Cx
ki
[0209] Специалист в данной области техники может понять, что, совместно с различными иллюстративными блоками и этапами алгоритма, описанными на фиг. 20-33 вариантов осуществления настоящего изобретения, ключевой признак в вариантах осуществления настоящего изобретения можно объединить с другими технологиями и представить в более сложной форме; однако ключевой признак настоящего изобретения по прежнему включен. Альтернативная точка деления может использоваться в реальном окружении. Например, в варианте реализации, согласно правилу, заранее заданному на сервере 103 дедупликации, для точки потенциального деления, 11 окон [-, +] и заранее заданного условия , соответствующего окну [-, +] определяются, где  указывает последовательные натуральные числа от 1 до 11. Когда, по меньшей мере, часть данных в каждом окне [-, +] из 11 окон удовлетворяет заранее заданному условию, точка потенциального деления  является точкой деления потока данных. Когда ни одной точки деления не найдено по прохождении максимального фрагмента данных, для альтернативной точки может использоваться заранее заданное правило. Заранее заданное правило для альтернативной точки аналогично правилу, заранее заданному на сервере 103 дедупликации, и заранее заданное правило для альтернативной точки предусматривает: например, для точки потенциального деления, определение 10 окон [-, +] и заранее заданного условия , соответствующего окну [-, +], где  указывает последовательные натуральные числа от 1 до 10. Когда определено, что, по меньшей мере, часть данных в каждом окне [-, +] из 10 окон удовлетворяет заранее заданному условию, точка потенциального деления  является точкой деления потока данных. Когда не найдено ни одной точки деления потока данных по прохождении максимального фрагмента данных, концевая позиция максимального фрагмента данных служит точкой принудительного деления.
k
k
k
[0210] Согласно вариантам осуществления настоящего изобретения, показанным на фиг. 20-33, Правило заранее задается на сервере 103 дедупликации, и согласно правилу, M окон определяются для точки потенциального деления . Не требуется, чтобы заранее существовала точка потенциального деления , и точка потенциального деления  может определяться с использованием определенного M окон.
[0211] Специалист в данной области техники может понять, что, наряду с примерами, приведенными в вариантах осуществления, раскрытый в этом описании изобретения, блоки и этапы алгоритма могут быть реализованы посредством электронного оборудования или комбинации компьютерного программного обеспечения и электронного оборудования. Осуществляются ли функции посредством оборудования или программного обеспечения, зависит от конкретных применений и условий ограничения конструкции технических решений. Специалист в данной области техники может использовать разные способы реализации описанных функций для каждого конкретного применения, но не следует предполагать, что реализация выходит за пределы объема настоящего изобретения.
[0212] Специалисту в данной области техники совершенно понятно, что, в целях удобства и краткости описания процесса работы вышеупомянутой системы, устройства и блока, можно обратиться к соответствующему процессу в вышеупомянутых вариантах осуществления способа, и подробности здесь повторно не описаны.
[0213] В нескольких обеспеченных вариантах осуществления, следует понимать, что раскрытые система и способ можно реализовать иначе. Например, описанный вариант осуществления устройства является только иллюстративным. Например, деление на блоки является только делением на логические функции, и в фактической реализации может существовать другое деление. Например, несколько блоков или компонентов может быть объединено или встроено в другую систему, или некоторые признаки можно игнорировать или не осуществлять. Кроме того, изображенные или рассмотренные взаимные соединения или прямые соединения или соединения с возможностью связи могут быть реализованы через некоторые интерфейсы. Непрямые соединения или соединения с возможностью связи между устройствами или блоками могут быть реализованы в электронной, механической или других формах.
[0214] Блоки, описанные как отдельные части, могут быть или не быть физически отдельными, и части, изображенные как блоки, могут быть или не быть физическими блоками, могут располагаться в одной позиции, или могут распределяться по нескольким сетевым блокам. Некоторые или все из блоков можно выбирать согласно фактическим потребностям для достижения целей решений вариантов осуществления.
[0215] Кроме того, функциональные блоки в вариантах осуществления настоящего изобретения могут быть встроены в один блок обработки, или каждый из блоков может существовать физически отдельно, или два или более блоков встроены в один блок.
[0216] Когда функции реализованы в форме программного функционального блока и продаются или используются как независимый продукт, функции могут храниться на компьютерно-считываемом энергонезависимом носителе данных. На основании такого понимания, технические решения настоящего изобретения по существу, или часть, образующая уровень техники, или некоторые из технических решений могут быть реализованы в форме программного продукта. Программный продукт хранится на энергонезависимом носителе данных и включает в себя несколько инструкций, предписывающих компьютерному устройству (которое может представлять собой персональный компьютер, сервер или сетевое устройство) осуществлять все или некоторые из этапов способов, описанных в вариантах осуществления настоящего изобретения. Вышеупомянутый энергонезависимый носитель данных включает в себя: любой носитель, где может храниться программный код, например, флэш-носитель на основе USB, сменный жесткий диск, постоянную память (Read-Only Memory, ROM), магнитный диск или оптический диск.
[0217] Выше приведены описания только конкретной реализации способов настоящего изобретения, но не призваны ограничивать объем защиты настоящего изобретения. Любые изменения или замены, которые может предложить специалист в данной области техники в техническом объеме, раскрытом в настоящем изобретении, попадают в объем защиты настоящего изобретения. Таким образом, объем защиты настоящего изобретения определяется объемом защиты формулы изобретения.