О генерической сложности проблемы разрешимости систем диофантовых уравнений в форме Сколема

2017 Математические основы информатики и программирования №37

УДК 510.52

О ГЕНЕРИЧЕСКОЙ СЛОЖНОСТИ ПРОБЛЕМЫ РАЗРЕШИМОСТИ СИСТЕМ ДИОФАНТОВЫХ УРАВНЕНИЙ В ФОРМЕ СКОЛЕМА1

А. Н. Рыбалов

Омский государственный университет им. Ф. М. Достоевского, г. Омск, Россия, Институт математики им. С. Л. Соболева СО РАН, г. Новосибирск, Россия

Изучается генерическая сложность десятой проблемы Гильберта для систем дио-фантовых уравнений в форме Сколема. Приводится генерический полиномиальный алгоритм, определяющий разрешимость таких систем уравнений над множеством натуральных чисел (без нуля). Доказывается, что проблема разрешимости таких систем уравнений над множеством целых чисел является неразрешимой на любом рекурсивном строго генерическом подмножестве входов. Доказательство этой теоремы проходит также для случая, когда решения ищутся во множестве натуральных чисел с нулём.

Ключевые слова: генерическая сложность, диофантовы уравнения. DOI 10.17223/20710410/37/8

ON GENERIC COMPLEXITY OF DECIDABILITY PROBLEM FOR DIOPHANTINE SYSTEMS IN THE SKOLEM'S FORM

A. N. Rybalov

Omsk State University, Omsk, Russia, Sobolev Institute of Mathematics, Novosibirsk, Russia

E-mail: alexander.rybalov@gmail.com

Generic-case approach to algorithmic problems was suggested by Miasnikov, Kapovich, Schupp and Shpilrain in 2003. This approach studies behavior of an algorithm on typical (almost all) inputs and ignores the rest of inputs. This approach has applications in cryptography where it is required that algorithmic problems must be difficult for almost all inputs. Romankov in 2012 shows that the basic encryption functions of many public key cryptographic systems, among which the RSA system and systems, based on the intractability of the discrete logarithm problem, can be written in the language of Diophantine equations. The effective generic decidability of these equations leads to hacking of corresponding systems, therefore it is actual to study the generic complexity of the decidability problem for Diophantine equations in various formulations. For example, Rybalov in 2011 proved that the Hilbert's tenth problem remains undecidable on strongly generic subsets of inputs in the representation of Diophantine equations by so-called arithmetic schemes. In this paper, we study generic complexity of the Hilbert's tenth problem for systems of Diophantine equations in the Skolem's form. We construct generic polynomial algorithm for determination of solvability of such systems over natural numbers (without zero). We prove strongly generic undecidability of this problem for systems over integers and over natural numbers with zero.

1 Работа поддержана грантом РФФИ №15-41-04312.

Keywords: generic complexity, diophantine equations.

Введение

В 1900 г. Д. Гильберт на II математическом конгрессе сформулировал 23 математические проблемы, которые XIX век оставил в наследство XX веку. Десятая проблема в современной формулировке звучит следующим образом: найти алгоритм, который по любому диофантовому уравнению определяет, разрешимо ли оно в целых числах. В 1970 г. Ю.В. Матиясевич [1], основываясь на работах М. Дэвиса, Дж. Робинсон и Х. Патнема, доказал, что такого алгоритма не существует. В дальнейшем было доказано, что десятая проблема Гильберта алгоритмически неразрешима уже для диофантовых уравнений от тринадцати неизвестных (Матиясевич, Робинсон [2]). Оценка улучшена до девяти неизвестных (Дж. Джонс [3]).

Генерический подход в применении к алгоритмическим проблемам впервые предложен в 2003 г. в [4]. В рамках этого подхода изучается поведение алгоритма на множестве «почти всех» входов (это множество называется генерическим), игнорируя поведение на остальных входах, на которых алгоритм может работать медленно или вообще не останавливаться. Такой подход имеет приложение в криптографии, где требуется, чтобы алгоритмические проблемы были трудными для «почти всех» входов. В [5-7] показано, что основные функции шифрования многих криптографических систем с открытым ключом, среди которых система RSA и системы, основанные на трудно-разрешимости проблемы дискретного логарифма, записываются на языке диофанто-вых уравнений. Эффективная генерическая разрешимость этих уравнений приводит к взлому соответствующих систем, поэтому актуальной является задача изучения ге-нерической сложности проблемы разрешимости диофантовых уравнений в различных её постановках. Например, в [8, 9] доказано, что десятая проблема Гильберта остаётся неразрешимой на строго генерических подмножествах входов при представлении диофантовых уравнений с помощью так называемых арифметических схем. В данной работе изучается генерическая сложность десятой проблемы Гильберта для систем ди-офантовых уравнений в форме Сколема. Приводится генерический полиномиальный алгоритм для проблемы разрешимости таких систем уравнений над множеством натуральных чисел (без нуля). Доказывается, что проблема разрешимости таких систем уравнений над множеством целых чисел является неразрешимой на любом рекурсивном строго генерическом подмножестве входов.

1. Генерические алгоритмы

Пусть I — некоторое множество. Через N будем обозначать множество натуральных чисел (без нуля), а через No — натуральные числа с нулём. Функция size : I M No называется функцией размера, если для любого n G N0 множество In = {x G I : size(x) = n} конечно. Например, на множестве I = S* слов конечного алфавита S естественно определяется функция размера (длины) w м- |w|, где |w| —длина слова w. На N также естественно определяется функция размера (длины двоичной записи) n M |n|2, где |n|2 —длина двоичной записи числа n. Как обычно делается в теории вычислимости, будем под алгоритмическими проблемами понимать проблемы распознавания подмножеств из некоторого множества входов с определённой на нём функцией размера. Зафиксируем некоторое множество входов I и функцию размера на этом множестве. Для подмножества S Ç I определим последовательность

Pn(S) = ^, n =1, 2, 3,...,

где Sn = S П In — множество входов из S размера n. Здесь |A| —число элементов в множестве A. Заметим, что pn

p(S) = lim pn(S).

n

n—y^o

Множество 5 называется генерическим, если р(Б) = 1, и пренебрежимым, если р(Б) = 0. Очевидно, что Б генерическое тогда и только тогда, когда его дополнение I \ Б пренебрежимо.

Следуя [4], назовём множество Б строго пренебрежимым, если последовательность рп(Б) экспоненциально быстро сходится к 0, т.е. существуют константы 0 < а < 1 и С > 0, такие, что для любого п

рп(5) < Сап

Теперь Б называется строго генерическим, если его дополнение I \ Б строго пренебрежимо.

Алгоритм А с множеством входов I и множеством выходов 3 и {?} (? Е 3) называется (строго) генерическим, если

1) А останавливается на всех входах из I;

2) множество {х Е I : А(х) = ?} является (строго) пренебрежимым.

Здесь через А(х) обозначается результат работы алгоритма А на входе х. Генери-ческий алгоритм А вычисляет функцию f : I ^ 3; если для х € I не выполнено А(х) = ?, то f (х) = А(х). Ситуация А(х) = ? означает, что А не может вычислить функцию f на аргументе х. Но условие 2 гарантирует, что А корректно вычисляет f на почти всех входах (входах из генерического множества). Множество Б С I называется (строго) генерически разрешимым, если существует (строго) генерический алгоритм, вычисляющий его характеристическую функцию.

2. Системы диофантовых уравнений в форме Сколема

Система диофантовых уравнений записана в форме Сколема [10], если каждое уравнение в ней имеет один из следующих типов:

1) хг хк,

2) г з + "хк,

3) хг = 1.

Нетрудно показать, что для любого диофантова уравнения (системы) можно эффективно построить эквивалентную ему систему диофантовых уравнений в форме Сколема. Например, для уравнения х2 — 3у2 = 1 эквивалентной системой Сколема является

х^ = х2х2, хз = х4х4, х5 = хз + хз, хб = х5 + хз, х7 = 1, х8 = хб + х7, х8 = х^.

Будем называть систему в форме Сколема нормализованной, если в к-м уравнении системы могут встречаться только переменные хг, где г ^ 3к. Очевидно, что любую систему в форме Сколема можно нормализовать при помощи подходящего перенумерования переменных. В дальнейшем будем рассматривать только нормализованные системы диофантовых уравнений в форме Сколема. Размер такой системы — это число уравнений в ней. Обозначим через Б множество всех нормализованных систем в форме Сколема.

Лемма 1. Число нормализованных систем в форме Сколема размера п есть

п

|£га| = П (54к3 + 3к). к=1

Доказательство. Для к-го уравнения в системе 5 Е Бп существует (3к)3 вариантов выбрать уравнение вида хг = ХjХк, также (3к)3 вариантов выбрать уравнение вида хг = Хj + Хк и только 3к вариантов выбрать уравнение вида хг = 1. Итого для к-го уравнения есть 54к3 + 3к вариантов. Отсюда получаем требуемое равенство.

3. Системы в форме Сколема над натуральными числами

Приведём полиномиальный генерический алгоритм для проверки разрешимости диофантовых уравнений в форме Сколема над множеством натуральных чисел N.

Теорема 1. Проблема разрешимости диофантовых уравнений в форме Сколема над множеством N генерически разрешима за полиномиальное время.

Доказательство. Соответствующий генерический полиномиальный алгоритм работает на системе 5 следующим образом:

1) ищет в системе Б уравнение вида хг = хг + xj•;

2) если такое уравнение найдётся, то система неразрешима над N и алгоритм выдаёт ответ 0;

3) иначе выдает ответ «?».

Покажем, что этот алгоритм дает неопределённый ответ на пренебрежимом множестве систем Сколема. Обозначим через — множество систем, в которых отсутствуют уравнения вида хг = хг + Хj. Число вариантов выбрать к-е уравнение в системе из множества — есть 54к3 + 3к — 9к2. Поэтому

п

|Сп| = П(54к3 + 3к — 9к2).

к=1

п

По лемме 1 |5п| = П (54к3 + 3к), поэтому к=1

п

П(54к3 + 3к — 9к2) 13 , 12 12

(Л = п! = к=___ = П 18к3 + к — 3к2 = А Л 3к2 х <

Рп( ) |5п| ^ (54к3 + 3к) к=1 18к3 + к кУЛ 18к3 + к) к=1

< Д(1— ш^ТР) = Д(1 — Ж) < П (1— 7к

Для того чтобы оценить сверху последнее произведение, возведём его в степень 7:

п / 1 х 7 п ( Т Т Т х п / 1 -

П(1 — 7*) < П (<Т — 7кК1 — ТкГТ)  <Т — 7Ь+6)) = П (1 — Т

п к — 1 _ 6 7 п — 2 п — 1 _ 6 к=7 к 78 п — 1 п п

В результате получаем

Теорема доказана.

|—п| 7/6 р(—) = Иш —пт ^ Иш {/— = 0. п^те |оп| п^те У п

4. Системы в форме Сколема над целыми числами

Докажем, что проблема разрешимости нормализованных систем диофантовых уравнений в форме Сколема над множеством целых чисел является неразрешимой на любом рекурсивном строго генерическом подмножестве входов.

Для произвольной нормализованной системы диофантовых уравнений в форме Сколема Б = {$1,... , Бт} рассмотрим множество систем eq(Б), которые получаются добавлением к системе Б любого количества произвольных уравнений вида хг = xj•Хк или хг = Xj + Хк, где г,^, к > 3т, с сохранением условия нормализации. Очевидно, что любая система из eq(Б) разрешима в целых числах тогда и только тогда, когда разрешима в целых числах система Б.

Лемма 2. Для любой системы Б множество eq(Б) не является строго пренебре-жимым.

Доказательство. Пусть п > т. Для ¿-го добавленного к Б уравнения вида хг = Xjхк или хг = Xj + хк, где г, к > 3т, имеется 2(3£)3 = 54£3 вариантов. Поэтому

Теперь по лемме 1

п—т

И(Б)„| = П (54£3).

4=1

п— т

3

( (Б)) |ед(Б )п| Д(54к3) п—т 54к2

Рп(эд(Б)) = ,0 , = -п-= П , 1 П

1^п| П (54к3 + к) к=1 54к2 + 1 к=п—т+1 54к3 + к

к=1

Оценим снизу первое произведение:

п—т 54к2 _п—1 \ п—т+1Л 1 \_ п—т+1

П ^/.2 , 1 = П 1 - с ?,2. , 1 > П 1 — ) = П

кА=А1 54к2 + 1 к=Л 54к2 + и ¿=2^ к2 7 ¿=2 к2

1  32  4 (п — т — 1)(п — т + 1) (п — т)(п — т + 2) п — т + 2 1 = (п — т)2 (п — т + 1)2 = 2(п — т + 1) > 2.

Теперь оценим второе произведение:

п 1 1 к=п—!т+1 54к3 + к > (54п3 + п)т.

Получаем

Рп^Б)) = —¡-г-:— >

|£п| 2(54п3 + п)т'

Из этого неравенства следует, что последовательность pn(eq(Б)) не может стремиться к нулю экспоненциально быстро. Поэтому множество eq(Б) не является строго прене-брежимым.

Теорема 2. Проблема разрешимости нормализованных систем диофантовых уравнений в форме Сколема над множеством целых чисел не является строго гене-рически разрешимой.

Доказательство. Допустим, что существует строго генерический алгоритм А, определяющий разрешимость диофантовых систем на некотором строго генерическом

1

множестве входов. Используя этот алгоритм, построим алгоритм B, который будет определять разрешимость диофантовых систем на всём множестве входов. Тем самым получим противоречие с неразрешимостью десятой проблемы Гильберта.

Алгоритм B на системе S работает следующим образом: перебирает элементы eq(S) в порядке возрастания размера до тех пор, пока не получит систему S' Е eq(S), такую, что A(S') = ?. Ответ A(S') и будет правильным ответом для исходной системы S.

То, что всегда найдётся такая система S', следует из того, что множество {S Е S : A(S) = ?} строго пренебрежимо, а множество eq(S) не является строго пренебрежи-мым.

Заметим, что доказательство этой теоремы проходит для случая, когда решения ищутся во множестве натуральных чисел с нулём No.

Автор выражает искреннюю благодарность рецензенту за полезные замечания и предложения по улучшению текста статьи.

ЛИТЕРАТУРА

1. Матиясевич Ю. В. Диофантовость перечислимых множеств // Доклады Академии наук СССР. 1970. Т. 191. №2. С. 279-282.

2. Matiyasevich Yu. and Robinson J. Reduction of an arbitrary Diophantine equation to one in 13 unknowns // Acta Arithmetica. 1975. V.27. P. 521-553.

3. Jones J. Undecidable Diophantine equations // Bull. Amer. Math. Soc. 1980. V. 3. No. 2. P. 859-862.

4. KapovichI., Miasnikov A, Schupp P., and Shpilrain V. Generic-case complexity, decision problems in group theory and random walks //J. Algebra. 2003. V. 264. No. 2. P. 665-694.

5. Myasnikov A. and Romankov V. Diophantine cryptography in free metabelian groups: Theoretical base // Groups, Complexity, Cryptology. 2014. V.6. No. 2. P. 103-120.

6. Романьков В. А. Диофантова криптография на бесконечных группах // Прикладная дискретная математика. 2012. №2(16). С. 15-42.

7. Романьков В. А. Алгебраическая криптография. Омск: ОмГУ, 2013.

8. Rybalov A. Generic complexity of the Diophantine problem // Groups, Complexity, Cryptology. 2013. V. 5. No. 1. P. 25-30.

9. Рыбалов А. О генерической неразрешимости Десятой проблемы Гильберта // Вестник Омского университета. 2011. №4. С. 19-22.

10. Skolem T. Diophantische Gleichungen. Berlin: Springer, 1938.

REFERENCES

1. Matiyasevich Yu. V. Diofantovost' perechislimykh mnozhestv [Diophantineity of enumerable sets]. Doklady Akademii Nauk USSR, 1970, vol. 191, no. 2, pp. 279-282.

2. Matiyasevich Yu. and Robinson J. Reduction of an arbitrary Diophantine equation to one in 13 unknowns. Acta Arithmetica, 1975, vol.27, pp. 521-553.

3. Jones J. Undecidable Diophantine equations. Bull. Amer. Math. Soc., 1980, vol.3, no.2, pp. 859-862.

4. KapovichI., Miasnikov A., Schupp P., and Shpilrain V. Generic-case complexity, decision problems in group theory and random walks. J. Algebra, 2003, vol.264, no.2, pp. 665-694.

5. Myasnikov A. and Romankov V. Diophantine cryptography in free metabelian groups: Theoretical base. Groups, Complexity, Cryptology, 2014, vol. 6, no. 2, pp. 103-120.

6. Roman'kov V. A. Diofantova kriptografiya na beskonechnykh gruppakh [Diophantine cryptography over infinite groups]. Prikladnaya Diskretnaya Matematika, 2012, no. 2

7. Roman'kov V. A. Algebraicheskaya Kriptografiya [Algebraic Cryptography]. Omsk, OmSU Publ., 2013.

8. Rybalov A. Generic complexity of the Diophantine problem. Groups, Complexity, Cryptology, 2013, vol.5, no. 1, pp. 25-30.

9. Rybalov A. O genericheskoy nerazreshimosti Desyatoy problemy Gil'berta [On generic undecidability of Hilbert Tenth problem]. Vestnik Omskogo Universiteta, 2011, no. 4, pp. 19-22.

10. Skolem T. Diophantische Gleichungen. Berlin, Springer, 1938.