Investigation of the certain internet domain statistical characteristics

Роботу присвячено дослідженню статистичних характеристик складних мереж на прикладі WWW-простору. Описано методику дослідження за допомогою написаного програмного забезпечення для збирання статистичної інформації веб-сторінок. Досліджено сегменти net.ua, edu.ua українського та сегмент ac.il – ізраїльського web-простору. Доведено адекватність методики та отриманих результатів. Зроблено порівняння отриманих результатів з літературними даними.

section_content: Всесвітня мережа Інтернет вже давно стала не тільки сховищем інформації, способом комунікації, але й об'єктом досліджень. Дослідники з усього світу вивчають статистичні властивості Інтернет загалом, його найбільших доменів та зон. Вивчаються статистичні характеристики зв'язків між людьми в соціальних структурах; розподіл посилань в наукових публікаціях; статистика розповсюдження інфекційних захворювань; зв'язок між словами в літературних творах, зв'язки між абонентами в телекомунікаційних мережах; розподіл посилань на веб-сторінках всесвітньої мережі Інтернет тощо [1 -5]. WWW-простір описують у вигляді графа, вузлами якого є web-сторінки, а ребра-ми -зв'язки між ними. Всесвітня мережа підкоряється статистичним законам комплексних мереж, причому встановлено, що розподіл вузлів графу, який відображає всесвітню павутину, підкоряється степеневому закону з показником, близьким до (-2,1) для вхідних зв'язків та (-2,7) -для вихідних [3 -9]. Це свідчить про безмасштабність такої мережі, тобто про високий ступінь розвиненості мережі в цілому [1, 3].
section_name: Вступ

section_content: Дослідження статистичних характеристик вебпростору в цілому проведені в статті A. Broder [10], де показано, що WWW-простір являє собою безмас-штабну мережу, яка підкоряється степеневому закону розподілу з показниками степеня -2,1 за вхідними зв'язками та -2,7 -за вихідними. 

У роботі [11] досліджувалися статистичні характеристики національних веб-доменів Бразилії, Чилі, Греції, Кореї та Іспанії (по вхідних та вихідних зв'язках). 

Виконані у цих та цілому ряді інших робіт дослідження дозволяють зобразити структуру веб-простору у вигляді, поданому на рис. 1 [11 -15].
section_name: Аналіз літературних джерел та постановка проблеми

section_content: Отже, веб-простір складається з деякого ядра (MAIN) або, як його називають в роботі [14], опорної мережі (сукупності веб-сторінок зі степенем не менше двох), та периферійних сторінок, які посилаються на сторінки ядра (IN) або на які є посилання з нього (OUT). Периферійні сторінки пов'язані між собою так званими тунелями (TUNNEL) та мають «вуса» (TEN-DRILS) зі сторінок, що не входять до структури ядра. 

Дослідження українського домену Інтернет (. ua) виконувалися авторами [14, 15]. Доведено, що розподіл вузлів за ступенями цього домену також підкоряється степеневому закону (правда, досліджувався неорієнтований граф) з показником (-2,22). 

Отриманий у цих роботах коефіцієнт кластерності показав, що український сегмент, як весь Інтернет, до речі, за своїми властивостями є малим світом [14]. 

Залишається, однак відкритим питання: яким чином поводять себе сегменти мережі, наприклад зони деякого домену? Таких досліджень, особливо для українського Інтернету, не проводилося.
section_name: Рис. 1. Графічна структура веб-простору

section_content: У даній статті зроблено спробу дослідження статистичних характеристик деяких зон українського домену Інтернет (edu. ua та net. ua) та сегменту ac. il ізраїльського домену Інтернет. Розглядалися графи вхідних, вихідних зв'язків та повний неорієнтований граф.
section_name: Мета та задачі дослідження

section_content: Ми будемо використовувати стандартну модель складної мережі [1, 3, 16]. 

Кожна вершина графа, який описує складну мережу, має певну кількість ребер. Однією з основних його характеристик є розподіл ймовірності вузлів по кількості ребер P k ( ). Він визначає ймовірність того, що випадковим чином обраний вузол мережі буде мати рівно k ребер. У такому разі говорять про ступінь k вершини. Мережі, які характеризуються різними P k ( ), демонструють різну поведінку [1, 9]. Найчастіше зустрічаються такі розподіли ступенів вузлів:

;

(1)

• експоненціальний розподіл

(2)

• степеневий розподіл

Якщо досліджуваний граф випадковий, то розподіл ступенів вузлів буде описуватися розподілом Пуассона. Існують також мережі, розподіл вузлів по степенях яких підкоряється експоненціальному закону. Для них можна увести деяку величину 〈 〉 k, середній степінь вузла, який деякою мірою характеризує масштаб мережі. Однак, як ми бачили вище, Інтернет, та й багато інших складних мереж, описується степеневим розподілом, і такі мережі називаються безмасштабними. Для них існує лише формальне поняття масштабу. 

Іншою важливою характеристикою складних мереж є коефіцієнт кластерності. Він характеризує рівень зв'язності вузлів у мережі й тенденцію до утворення груп взаємопов'язаних вузлів. 

Коефіцієнт кластерності визначається так: це відношення реальної кількості ребер E m, які з'єднують найближчих сусідів деякого вузла m до максимально можливої (тобто такої, коли усі найближчі сусіди цього вузла були б з'єднані безпосередньо один з одним):

Для розрахунку розподілу вузлів за степенями та коефіцієнта кластерності необхідно зібрати про них статистичні дані. Для цього використовують спеціальне програмне забезпечення, кроулер (crawler). Як правило, інформації про використання кроулерів для таких досліджень досить багато, як і, власне, розроблених кроулерів [17].
section_name: Основні статистичні характеристики складних мереж

section_content: На жаль, усі описані в літературі кроулери недоступні для використання. Тому нами було розроблено аналогічну програму, яка, рухаючись по заданим вебсторінкам, збирає структуру посилань на інші сторінки, зберігає дані в базі даних, а також виконує деякі статистичні обчислення. Ми можемо самостійно задати перелік сайтів, які хотіли б досліджувати, програма аналізує посилання, які знаходяться на веб-сторінках і зв'язки між цими сторінками [17]. 

Розроблене програмне забезпечення повністю керується налаштуваннями перед стартом. Користувач може задати перелік адрес -точок входу, якщо потрібно, глибину індексації тощо. Це дозволяє повністю керувати процесом пошуку та індексації сторінок, а також розрахунком основних статистичних параметрів дослідженої мережі [17].
section_name: Опис розробленого програмного забезпечення

section_content: Для прискорення процесу збирання даних ми використали таку методику досліджень. Для кроулінгу завантажувалася певна кількість адрес веб-сторінок, яку потрібно дослідити: їх вважатимемо точками входу. 

Таких точок входження налічувалося 100 для мережі edu. ua, 265 -для net. ua та 28 -для ac. il. Програма налаштовувалася на задану кількість «стрибків» від точки входу по її зв'язках. Результати дослідження записувалися в базу даних, і кроулер переходив до наступної точки входу. 

При цьому він не випускався за межі заданої зони, наприклад edu. ua або net. ua: якщо зв'язок веб-сторінки йшов за межі зони, то цей зв'язок не враховувався. Якщо в результаті «блукання» кроулер натрапляв на сторінку, яка вже є в базі даних, повторне дослідження не проводилося, лиш додавався новий зв'язок. У результаті ми отримали граф веб-сторінок, статистичні характеристики якого й досліджувались. Ми обмежувалися п'ятьма «стрибками» кроулера. Розрахунки статистичних характеристик виконувалися вже по накопичених у БД результатах. 

Таким чином, ми виконували своєрідне зондування мережі [17]. 

Перевагою такого підходу, на наш погляд, є те, що ми можемо ефективно розпаралелити роботу кроулера по точках входу, крім того, кроулінг можна перервати в момент переходу до іншої точки входу і продовжити пізніше, що також досить зручно.
section_name: Методика досліджень

section_content: Як вже зазначалося, ми досліджували дві зони українського домену (edu. ua та net. ua) та одну зону ізраїльського домену (ac. il). 

Для кожної зони було проскановано більше 400 тисяч веб-сторінок. Встановлено ступінь кожного вузла, визначено коефіцієнт кластерності, побудовано розподіл ймовірностей вузлів за вхідними та вихідними зв'язками. 

Результати статистичної обробки отриманих результатів по всіх точках вихідних зв'язків (out degree) подано на рис. 2 -4. ≈ ⋅ -α, причому з досить близькими параметрами (табл. 1).
section_name: Результати досліджень та їх обговорення

section_name: Таблиця 1 Значення параметрів розподілів імовірності вузлів

section_content: Коефіцієнт А Коефіцієнт α edu. ua 0,015 0,017 net. ua 0,007 0,014 ac. il 0,015 0,021

Як видно з рис. 2 -4, досліджені мережі складаються, в основному, з вузлів, які мають значну кількість вихідних зв'язків, тобто середній ступінь вузла зміщений в бік великих значень. Оцінка середніх ступенів для цих мереж дає результати в діапазоні 〈 〉 = ÷ k 55 120, що й підтверджує наш висновок. Ці значення корелюють із ділянкою зміни апроксимуючих прямих, що відбувається при k ≈ 100.
section_name: Назва зони

section_content: Оскільки ми застосовували метод зондування мережі, нами було досліджено, як змінюється статистика мереж від глибини зондування, тобто від кількості «стрибків» кроулера відносно точок входження в мережу. 

З отриманих результатів спостерігається, що глибина зондування, як це й очікувалося, дещо змінює статистику: зі збільшенням кількості «стрибків» незначно зростає коефіцієнт у показнику експоненти, а самі залежності дещо «розтягуються» по осі ординат, що призводить також до зміни коефіцієнта перед експонентою. Цікавим є той факт, що статистика вузлів з малим ступенем змінюється незначно, тоді як при збільшення глибини зондування значно збільшується кількість вузлів з великою кількістю вихідних зв'язків, що призводить також до зростання середнього ступеню вузлів. 

Отже, ми можемо зробити висновок про адекватність нашого метода дослідження мереж з використанням багатьох точок входження, а експоненціальна залежність мереж, як це зрозуміло з наших досліджень, властива самим мережам, вірніше, графу з вихідних зв'язків вузлів цих мереж. 

Таким чином, досліджені мережі являють собою сукупності веб-сторінок з вихідними зв'язками (out degree), які підкоряються експоненціальному закону розподілу ймовірностей вузлів. Найбільш імовірно зустріти в цих мережах сторінки, які мають кількість вихідних зв'язків в діапазоні 55 120 ÷.
section_name: Залежність статистичних характеристик від глибини зондування

section_content: Статистику підмережі вхідних зв'язків досліджених мереж подано на рис. 5 -7. Аналізуючи отримані результати, можна стверджувати, що при малих значеннях k залежності мають усі властивості підмережі вхідних зв'язків (in degree), а у випадку великих значень k -домінують характеристики підмережі вихідних зв'язків (out degree), про що свідчить характерний «горб». 

Очевидно, що середні значення ступенів вузлів для таких мереж набувають проміжні значення між in degree та out degree. 

Зокрема, для зони edu. ua 〈 〉 = k 19 8,, для net. ua -| 〈 〉 = k 11 9,. Цікавим є той факт, що якраз у цих областях спостерігається перехід від характеристик in degree до out degree, що наочно проілюстровано на рис. 8-10. 

У результаті проведених досліджень знайдені коефіцієнти кластерності для підмереж: для зони edu. ua -0,11, для зони net. ua -0,13, для зони ac. il -0,104. Це вказує на велику кількість перехресних посилань найближчих сусідів [18]. Таким чином, аналізуючи статистичні характеристики неорієнтованих графів для досліджених зон, робимо висновок, що вони є цілком розвиненими мережами і відповідають сучасним тенденціям розвитку глобальної мережі Інтернет.
section_name: Дослідження підмережі вхідних зв'язків (in degree) та неорієнтованого веб-графу

section_content: З проведених досліджень можна зробити такі висновки:

1. Розроблено кроулер -програмне забезпечення для дослідження статистичних характеристик вебсторінок. Модульна структура та велика адаптивна спроможність розробленого ПЗ дозволяє використовувати його для дослідження аналогічних графів іншого походження. 

2. Показано, що збільшення глибини зондування (кількості «стрибків» кроулера від точок входження) призводить лише до кількісних змін, а якісні показники мережі при цьому залишаються майже незмінними. 

3. За допомогою розробленого ПЗ методом зондування досліджено дві зони українського доменуedu. ua, net. ua та одну ізраїльського -ac. il. 

4. В розглянутих випадках для підмережі вихідних зв'язків (out degree) отримано експоненціальний розподіл ймовірності досліджених вузлів з різними коефіцієнтами. Розрахований середній ступінь вузлів знаходиться в діапазоні 〈 〉 = ÷ k 55 120. 5. Обчислений коефіцієнт кластерності мереж: для зони edu. ua -0,11, для зони net. ua -0,13, для зони ac. il -0,104. Це вказує на велику кількість перехресних посилань найближчих сусідів. 

6. Результати дослідження підмережі вхідних зв'язків (in degree) демонструють степеневий розподіл ймовірності вузлів з показником ступеня початкової ділянки (-2,2), що вказує на безмасштабний характер графа. 

7. Характерний вигляд графіків свідчить, що властивості неорієнтованого графа залежать від підмереж вхідних та вихідних зв'язків, причому перша домінує при малих значеннях ступеня вузла, а друга -при великих значеннях.
section_name: Висновки

section_name: Застосовано прикладне програмне забезпечення пакету MathLab для 3D моделювання морфологічних особливостей поверхні сенсорів УФ випромінювання на основі GaP; показано, що такий підхід можна використати для прогнозування стабільності параметрів і працездатності інформаційновимірювальних систем, в яких застосовуються дані сенсори Ключові слова: 3D моделювання, сенсор УФ випромінювання, інформаційно-вимірювальна система

section_name: Применено прикладное программное обеспечение пакета MathLab для 3D моделирования морфологических особенностей поверхности сенсоров УФ излучения на основе GaP; показано, что такой подход позволяет прогнозировать стабильность параметров и работоспособность информационно-измерительных систем, в которых используются УФ сенсоры Ключевые слова: 3D моделирование, сенсор УФ излучения, информационно-измерительная система