hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
زيجبي أنواع الأجهزة وطرق التشغيل
منسق زيجبي (ZC): الجهاز الأكثر قدرة، المنسق يشكل جذر شجرة الشبكة وربما جسر إلى شبكات أخرى. هناك على وجه التحديد منسق واحد زيجبي في كل شبكة لأنه هو الجهاز الذي بدأ الشبكة في الأصل (مواصفات زيجبي وصلة ضوئية كما يسمح العملية دون منسق زيجبي، مما يجعلها أكثر صالحة للاستخدام لأكثر من الجرف المنتجات المنزلية). فإنه يخزن المعلومات حول الشبكة، بما في ذلك العمل كمركز الثقة ومستودع لمفاتيح الأمن.
جهاز زيجبي إند (ZED): يحتوي على وظائف كافية للتحدث إلى العقدة الرئيسية (إما المنسق أو الموجه)؛ فإنه لا يمكن ترحيل البيانات من الأجهزة الأخرى. هذه العلاقة تسمح للعقدة لتكون نائما كمية كبيرة من الوقت مما يعطي عمر البطارية الطويل. ZED يتطلب أقل قدر من الذاكرة، وبالتالي، يمكن أن تكون أقل تكلفة لتصنيع من ZR أو ZC.
زيجبي أنواع الأجهزة وطرق التشغيل
بروتوكولات زيجبي الحالية دعم منارة وغير منارة تمكين الشبكات. وفي الشبكات التي لا تعمل منارة، تستعمل آلية النفاذ إلى القناة سما / كا غير المقسمة. في هذا النوع من الشبكات، زيجبي الموجهات وعادة ما يكون مستقبلاتهم بشكل مستمر، تتطلب إمدادات الطاقة أكثر قوة. ومع ذلك، وهذا يسمح لشبكات غير متجانسة التي تتلقى بعض الأجهزة بشكل مستمر في حين أن البعض الآخر ينقل فقط عندما يتم الكشف عن التحفيز الخارجي. المثال النموذجي لشبكة غير متجانسة هو مفتاح الضوء اللاسلكي: قد تتلقى عقدة زيجبي في المصباح باستمرار، نظرا لأنه متصل بتوريد التيار الكهربائي، في حين أن مفتاح ضوء يعمل بالطاقة سيبقى نائما حتى يتم طرح المفتاح. التبديل ثم يستيقظ، يرسل الأمر إلى المصباح، يتلقى إقرارا، والعودة إلى النوم. في مثل هذه الشبكة عقدة مصباح سيكون على الأقل جهاز التوجيه زيجبي، إن لم يكن منسق زيجبي. عقدة التبديل هو عادة جهاز نهاية زيجبي.
زيجبي أنواع الأجهزة وطرق التشغيل
في الشبكات التي تدعم منارة، العقد شبكة خاصة تسمى زيجبي الموجهات نقل منارات الدورية لتأكيد وجودها إلى عقد الشبكة الأخرى. العقد قد تنام بين منارات، وبالتالي خفض دورة عملهم وتمديد عمر البطارية. تعتمد فترات المنارة على معدل البيانات؛ يمكن أن تتراوح من 15.36 ميلي ثانية إلى 251.65824 ثانية عند كبيت / s 250، من 24 ميلي ثانية إلى 393.216 ثانية عند 40 كيلوبت / ثانية ومن 48 ميلي ثانية إلى 786.432 ثانية عند 20 كيلوبت / ثانية. ومع ذلك، يتطلب تشغيل دورة العمل المنخفضة مع فترات طويلة منارة توقيت دقيق، والتي يمكن أن تتعارض مع الحاجة إلى انخفاض تكلفة المنتج.
بشكل عام، بروتوكولات زيجبي تقليل الوقت الراديو على، وذلك للحد من استخدام الطاقة. في الشبكات منارة، تحتاج العقد فقط أن تكون نشطة في حين يتم إرسال منارة. في الشبكات غير المنارة، واستهلاك الطاقة غير متناظرة بالتأكيد: بعض الأجهزة هي دائما نشطة في حين أن الآخرين يقضون معظم وقتهم النوم.
زيجبي أنواع الأجهزة وطرق التشغيل
باستثناء ملف الطاقة الذكية 2.0، مطلوب أجهزة زيجبي لتتوافق مع إيي 802.15.4-2003 منخفضة السعر اللاسلكية شبكة المنطقة الشخصية (LR-WPAN) القياسية. ويحدد المعيار طبقات البروتوكول الأدنى - الطبقة المادية (PHY)، وجزء التحكم في النفاذ إلى الوسائط من طبقة وصلة البيانات (DLL). ويتمثل أسلوب النفاذ الأساسي للقناة في «إحساس الموجة الحاملة وتجنب النفاذ المتعدد / الاصطدام» (CSMA/CA). أي أن العقد تتحدث بنفس الطريقة التي يتحدث بها البشر؛ فإنهم يتفحصون بإيجاز للتأكد من أن أحدا لا يتحدث قبل أن يبدأ، مع ثلاثة استثناءات ملحوظة. يتم إرسال منارات على جدول زمني ثابت ولا تستخدم سما. لا تستخدم إشعارات الرسالة أيضا سما. وأخيرا، يمكن أيضا للأجهزة الموجودة في الشبكات التي تدعم منارة والتي لديها متطلبات وقت الاستجابة الكمون المنخفض استخدام فتحات الوقت مضمونة (GTS)، والتي بحكم تعريف لا تستخدم سما.
زيجبي البرمجة
تعد  البرمجية مصممة من أجل ان يكون التطوير أسهل على المعالجات الدقيقة صغيرة الحجم وقليلة الثمن.
ان من أهم المهام الرئيسية لطابق الشبكات هي تشغيل الاستخدام الامثل للطابق السفلي .و تزويد الوسيط  الامثل ليستخدم في الطابق الأعلى منه الذي يسمى بطابق التطبيقات.
يتعامل طابق الشبكات مع الشبكات من حيث تشغيل الاتصال أو قطعه، أو من خلال عملية بناء الشبكات.
إنه يقوم بإضافة شبكة جديدة ويقوم أيضا بعملية العنونة . إضافة إلى ذلك فانه يقوم باضافة أو حذف ًا جهزة معينة .
تعمل كينونية البيانات القادمة من طابق التطبيقات على إدارة وتوجيه وحدات البيانات الموجودة في طابق  الشبكات بناء على البنية التحتية الحالية .
ً من جهة أخرى هناك ما يسمى ب طابق التحكم الذي يقوم بمعالجة الترتيب للأجهزة المنضمة حديثا إلى  الشبكة ويقوم أيضا بإضافة شبكات جديدة . يستطيع طابق التحكم التخمين فيما إذا كان الجهاز المجاور هو أحد أعضاء الشبكة ام لا . ويستطيع أيضا البحث عن اجهزة مجاورة أخرى أو موجهات .
إن ال بروتوكول المستخدم في توجيه حزم البيانات في هذا الطابق هو  AODV
زيجبي البرمجة
إنه يقوم بعمل بث إلى الجميع من أجل ان يصل إلى نقطة النهاية أو المستقبل الحقيقي. حيث يقوم ببث الطلب إلى جميع الموجهات المجاورة، وبعد ذلك تقوم الموجهات المجاورة بارساله إلى جميع من  يجاورونهم .... وهكذا حتى يصل إلى نقطة النهاية .
عندما يصل الطلب إلى نقطة النهاية، يقوم المستقبل بالرد عن طريق إرسال الرد على شكل أحادي (واحد لواحد) فقط إلى الشخص المرسل باستخدام الطريق ذي القيمة الوزنية الأقل إلى أن يصل إلى المرسل الأصلي . وبعد أن يصل الرد إلى المرسل فإنه يقوم بتعديل جدول التوجيهات بناء على الأجهزة المجاورة .
يعد طابق التطبيقات من أعلى الطوابق ويعد الرابط الأكثر فاعلية بين النظام والمستخدمين . إنه يضم غالبية مكونات النظام . إن هذا الطابق يربط الجداول، يرسل الرسائل بين الأجهزة الملزمة ،  يربط بين مجموعة من العناوين.  يعيد تجميع الحزم وأيضا ينقل البيانات ً .
بالنسبة للتطبيقات التي تريد التواصل، فان الأجهزة المضمومة إليها يجب أن تمتلك بروتوكولاً مشتركاً بينهم (مثل نوع الرسائل وشكلها ... الخ). هذه الاصطلاحية مجموعة في ملفات خاصة.
زيجبي البرمجة
علاوة على ذلك فإن الربط قد تقرر بناء  على التوافق بين مدخلات ومخرجات المعرفات ً العنقودية ، والتي هي فريدة في الملف المعطى . يحتوي جدول الربط على نقطتي الانطلاق والوصول .
بالاعتماد على المعلومات المتاحة، فإن اكتشاف الأجهزة يتم عن طريق عدة طرق مختلفة . إذا كان عنوان الشبكة معروفا فإن عنوان ال  (أي تريبل أي) يتم طلبه عن طريق الاتصال الأحادي (واحد لواحد).أما إذا لم يكن فإن الطلب يكون بشكل بثي  أي للجميع . الأجهزة النهائية تقوم بالرد عن طريق العنوانين المطلوبة عندما يكون مدير الشبكة أو الموجه يرسل عناوين  جميع الأجهزة .
هناك ما يسمى ببروتوكول الاكتشاف الممتد والذي يسمح للأجهزة الخارجية بالبحث عن الأجهزة الموجودة  في داخل الشبكة والخدمات التي تقدمها .
الاتصال يمكن أن يحصل بعد الاتحاد . العنونة المباشرة تستخدم عناوين الراديو ومعرف نقطة النهاية . بينما العنونة غير المباشرة تستخدم جميع الحقول ذات الصلة ، وتتطلب أن يتم الإرسال إلى مدير الشبكة ،  الذي يقوم بالمحافظة على الاتحاد ويقوم بترجمة طلبات الاتصال . إن العنونة غير المباشرة مفيدة لأنها تحافظ على أن تكون بعض الأجهزة بسيطة وتقلل من حاجتها  لاستخدام الذاكرة .
زيجبي الخدمات الأمنية
من الخصائص المميزة التي يوفرها زيجبي هي الضمان والسهولة في تنفيذ الاتصالات الامنة وحماية إنشاء ونقل مفاتيح التشفير، النصوص المشفرة واجهزة التحكم
ويعتمد هذا الجزء من العمارة على الإدارة الصحيحة للمفاتيح المتماثلة والتنفيذ الصحيح للطرق والسياسات الأمنية
الآلية الأساسية لضمان السرية هي الحماية التامة لجميع المواد الأساسية. يجب افتراض الثقة في التثبيت الأولي للمفاتيح، وكذلك في معالجة المعلومات الأمنية. ومن أجل تنفيذ العمل على الصعيد العالمي، يفترض توافقه العام مع السلوكيات المحددة
المفاتيح هي حجر الزاوية في بنية الأمن؛ وبالتالي فإن حماية هذه المفاتيح لها أهمية قصوى، ولا يجوز أبدا أن تنقل المفاتيح من خلال قناة غير آمنة. يحدث استثناء لحظي لهذه القاعدة أثناء المرحلة الأولية من إضافة جهاز غير معرف مسبفا إلى الشبكة. ويجب أن تعطى عناية خاصة للنواحي الأمنية في شبكة زجبي ، لأن الاجهزة الخارجية يمكنها الوصول إلى الشبكات الخاصة. كما أن حالة بيئة العمل لا يمكن التنبؤ بها
زيجبي الخدمات الأمنية
ضمن مجموعة طبقات البروتوكول، طبقات الشبكة المختلفة لاتكون مشفرة عندما يتم فصلها، لذلك هناك حاجة إلى سياسات وضوابط الوصول، ويتم افتراض التصميم التقليدي. يسمح نموذج الثقة المفتوحة داخل الجهاز بتشارك المفتاح، مما يقلل بشكل ملحوظ من التكلفة المحتملة. ومع ذلك، فإن الطبقة التي تتنشأ (الفريم) هي مسؤولة عن أمنها. وفي حالة وجود أجهزة ضارة، يجب تشفير كل البيانات المحمولة على الطبقة الثالثة (نتوورك لاير)، وبالتالي يمكن قطع تناقل البيانات غير المصرح بها فورا. والاستثناء، مرة أخرى، هو نقل مفتاح الشبكة، الذي يمنح طبقة أمنية موحدة للشبكة، إلى جهاز توصيل جديد
زيجبي الخدمات الأمنية
يستخدم زيجبي مفاتيح حجمها 128 بت لتنفيذ آلياته الأمنية. ويمكن ربط أحد المفاتيح إما بشبكة يمكن استخدامها بواسطة كل من طبقات زيجبي وطبقة ماك الفرعية أو إلى رابط اتصال مكتسب من خلال ما قبل التثبيت أو الاتفاق أو النقل. ويستند إنشاء مفاتيح روابط الاتصال إلى مفتاح رئيسي يتحكم في المراسلات الرئيسية للروابط., في نهاية المطاف، على الأقل، يجب الحصول على المفتاح الرئيسي الأولي من خلال وسيلة آمنة (النقل أو ما قبل التثبيت)، حيث يعتمد أمن الشبكة بأكملها على ذلك. تكون الروابط والمفاتيح الرئيسية مرئية فقط لطبقة التطبيق (ابليكشنن لاير). وتستخدم الخدمات المختلفة اشكال مختلفة في اتجاه واحد لمفتاح الرابط لتجنب تسرب البيانات والمخاطر الأمنية
زيجبي الخدمات الأمنية
توزيع المفاتيح هو واحد من أهم الوظائف الأمنية للشبكة، الشبكة الامنة تعين جهازخاص واحد فقط يعتبر مركز الثقة لتوزيع مفاتيح الامان لبقية اجهزة الشبكة. من الناحية المثالية، سيكون محمل مسبقا لدى الأجهزة الأخرى عنوان مركز الثقة والمفتاح الرئيسي الأولي ؛ وفي حال حصول ضعف مؤقت في الشبكة، سيتم إرساله كما هو موضح أعلاه. وستستخدم التطبيقات النموذجية التي لا تحتاج إلى احتياجات أمنية خاصة مفتاح الشبكة الذي يوفره مركز الثقة (من خلال القناة غير الآمنة في البداية) للاتصال
وهكذا، يحتفظ مركز الثقة بكل من مفتاح الشبكة ويوفر الأمن من نقطة إلى نقطة. اجهزة الشبكة سوف تقبل فقط الاتصالات التي تنشأ باستخدام المفتاح المقدم من مركز الثقة، باستثناء المفتاح الرئيسي الأولي. وتتوزع بنية الأمن بين طبقات الشبكة على النحو التالي
1_ تكون طبقة ماك الفرعية قادرة على اتصالات موثوقة لقفزة واحدة.فقط، وكقاعدة عامة، يتم تحديد مستوى الأمان الذي يجب استخدامه من قبل الطبقات العليا
2- تقوم الطبقة الثالثة (نتوورك لاير) بإدارة التوجيه (راوتينغ)، ومعالجة الرسائل المستلمة، والقدرة على تقديم طلبات البث. وتستخدم ال (الفريم) الصادرة مفتاح الرابط (لينك) المناسب وفقا للتوجيه إذا كان متوفرا؛ وإلا، سيتم استخدام مفتاح الشبكة لحماية حمولة البيانات القادمة من الأجهزة الخارجية.
3- تقدم طبقة التطبيقات (ابليكشن لاير) خدمة إنشاء ونقل المفتاح لكل من (زد دي أو) والتطبيقات
وتستند البنية التحتية لمستويات الأمن على كسم *، مما يضيف ميزات التشفير والتكامل فقط إلى كسم.
وفقا لموقع مجلة الكمبيوتر الألمانية، فأن زيجبي لأتمتة المنزل (1.2) يستخدم مفاتيح احتياطية للتفاوض على التشفير والتي هي معروفة ولا يمكن تغييرها. وهذا يجعل التشفير ضعيف للغاية.
الجامعة الأمريكية في الشارقة
الجامعة الأمريكية في الشارقة (بالإنجليزية: AUS - American University of Sharjah)‏ تأسست عام 1997 تحت رعاية الشيخ الدكتور سلطان بن محمد القاسمي عضو المجلس الأعلى حاكم الشارقة. وهي مؤسسة غير ربحية مختلطة للتعليم الجامعي. وموقعها ضمن المدينة الجامعية في الشارقة.
يدرس الطلاب والطالبات في حرم دراسي واحد، وقد حصلت مؤخراً على اعتماد الآيبيت ”ABET“ لجميع فروعها الهندسية الكميائية والميكانيكية والكهربائية والمدنية والكمبيوتر،
تنقيب الويب
التنقيب على الويب هو تطبيق لتقنيات التنقيب عن البيانات لاكتشاف الأنماط من شبكة الويب العالمية. يستخدم طرقًا آلية لاستخراج البيانات المهيكلة وغير المهيكلة من صفحات الويب وسجلات الخادم وهياكل الارتباط. هناك ثلاث فئات فرعية رئيسية لتعدين الويب. استخراج محتوى الويب يستخرج المعلومات من داخل الصفحة. يكتشف التعدين في بنية الويب بنية الارتباطات التشعبية بين المستندات، ويصنف مجموعات من صفحات الويب ويقيس التشابه والعلاقة بين المواقع المختلفة. يكتشف التنقيب عن استخدام الويب أنماط استخدام صفحات الويب.
تنقيب الويب أنواع التنقيب عن الويب
يمكن تقسيم تعدين الويب إلى ثلاثة أنواع مختلفة - التنقيب عن استخدام الويب وتعدين محتوى الويب وتعدين بنية الويب.
تنقيب الويب 1. المقدمة والمعلومات الاساسية
في عالم الحاسوب، البيانات تمثل مجالا مثيرا
للاهتمام. انها في ازدياد مستمر وتتوسع بشكل كبير، وإنه من المهم بالنسبة لنا
العثور على معلومات مفيدة من هذه البيانات الضخمة. العملية الشاملة لتحليل مجاميع
البيانات، للعثور على معلومات مفهومة ومفيدة لأصحاب البيانات، تسمى تنقيب
البيانات. في السنوات القليلة الماضية، تم تخزين معظم البيانات التي تملكها
المؤسسات في مخازن مهيكلة للبيانات مثل قواعد البيانات العلائقية. هذه البيانات
يمكن الوصول إليها بسهولة لأغراض التنقيب باستخدام العديد من تقنيات استخراج
البيانات. مع ذلك، فقد تغيرت طبيعة البيانات بشكل كبير منذ ظهور شبكة الإنترنت،
والتي لديها مميزات وخصائص تجعلها مختلفة عن البيانات المهيكلة. هذه الخصائص يمكن
تلخيصها على النحو التالي:
1. الحجم الضخم للبيانات على الويب وما زالت تنمو
اضعافا مضاعفة.
2. الويب يحتوي على بيانات من مختلف الانواع
والاشكال. ذلك يشمل البيانات المهيكلة مثل الجدول، والبيانات شبه المهيكلة مثل
وثائق الإكس أم أل (XML)، وبيانات غير مهيكلة مثل النصوص في صفحات الويب، وبيانات متعددة
الوسائط مثل الصور والافلام.
تنقيب الويب 1. المقدمة والمعلومات الاساسية
3. عدم تجانس المعلومات على شبكة الإنترنت. مؤلفون
من حول العالم يشاركون في بناء محتوى الويب. نتيجة لذلك. قد تجد صفحات ذات محتوى
شبيه أو متطابق.
4. بيانات الويب تمتلك وصلات تشعبية، وهو ما يعني أن
صفحات الويب ترتبط معا بحيث يمكن لأي شخص التنقل من خلال صفحات داخل الموقع نفسه
أو عبر مواقع مختلفة. هذه الوصلات يمكن أن تخبرنا كيف يتم تنظيم المعلومات بين
الصفحات داخل الموقع، ومدى قوة أو ضعف العلاقة ما بين الصفحات عبر مواقع مختلفة.
5. ضجيج المعلومات على الويب. أسباب ذلك هما قضيتان.
أولا، صفحة الويب النموذجية عادة ما تحتوي على العديد من المعلومات مثل الجسم
الرئيسي للصفحة، وصلات، والإعلانات، وغيرها الكثير. وبالتالي، فإن الصفحة لا توجد
لديها بنية محددة. ثانيا، ليست هناك سيطرة نوعية على المعلومات، بمعنى أنه يمكن
لأي شخص تحميل محتوى على الويب بغض النظر عن نوعيته أو جودته.
6. جزء كبير من المحتوى على شبكة الإنترنت يُعتبر
ديناميكي، وهذا يعني أنه يتم تحديث المعلومات في كثير من الأحيان وبشكل مستمر. على
سبيل المثال، معلومات الطقس يتم تحديثها بشكل مستمر.
تنقيب الويب 1. المقدمة والمعلومات الاساسية
7. الويب يحتوي على مواقع التجارة الإلكترونية التي
تمكن الناس من أداء العديد من عمليات الشراء، وتحويل الأموال، وغيرها الكثير. هذا
النوع من المواقع يحتاج إلى تزويد العملاء بخدمات محوسبة مثل نظام التوصية.
تنقيب الويب 1. المقدمة والمعلومات الاساسية
8. الويب ليس مجرد بيانات ومعلومات. في الوقت
الحاضر، يعتبر ويب مجتمع افتراضي، حيث يمكن للناس والمنظمات وحتى الانظمة المحوسبة
التواصل والتفاعل مع بعضها البعض.
كل هذه
الخصائص تجعل عملية استخراج البيانات على الشبكة أكثر تحديا، وفي نفس الوقت تعطينا
فرصا لاكتشاف المعرفة المفيدة والقيّمة من الويب. ونظرا لوجود مجموعة واسعة من
أنواع البيانات أصبحت تقنيات استخراج البيانات التقليدية غير كافية. وهذا ما
أدى إلى تبلور حاجة لتطوير تقنيات وخوارزميات جديدة تهدف تنقيب البيانات على شبكة
الإنترنت.
العديد
من الباحثين مثل عتيق وآخرون وتشانغ وسيغال يعتقدون أن استخراج البيانات
التقليدية تتعامل بشكل رئيسي مع البيانات المهيكلة التي يتم تخزينها في قواعد
البيانات العلائقية، في حين تنقيب ويب تتعامل مع بيانات الويب، التي عادة ما تكون
شبه مهيكلة أو غير مهيكلة. آخرون مثل إتزيوني، وماركوف وآخرون، وكوسالا
وبلوكيل يرون تنقيب الويب كتطبيق على منهجيات وتقنيات ونماذج استخراج
البيانات. ليو يشير إلى أن العديد من تقنيات استخراج البيانات التقليدية يمكن
تطبيقها في العديد من مهام تنقيب الويب. ومع ذلك، فهو يرى أن تنقيب الويب ليس
تنقيب الويب 1. المقدمة والمعلومات الاساسية
تماما تطبيق لاستخراج البيانات التقليدية نظرا للخصائص التي يمتاز بها الويب والتي
تم نقاشها أعلاه.
هناك تعريف جيد لمصطلح تنقيب الويب والتي قدمها ليو: يهدف تنقيب الويب إلى إيجاد
واستخراج المعلومات المفيدة من بيانات الويب، والتي تشمل: هياكل الارتباطات
التشعبية، محتوى صفحات الويب، وسجلات استخدام الويب. الغالبية العظمى من الباحثين
مثل ليو، ومادريا وآخرون، وبورخيس ويفين يتفقون على أن تنقيب الويب يمكن
تقسيمها إلى ثلاث فئات بناءً على الجزء المنوي تنقيبه؛ وهم: تنقيب هيكلية الويب، والتي تسعى إلى كشف
معلومات مفيدة من بنية الارتباط التشعبي للشبكة، وتنقيب
محتوى ويب، والتي تهدف إلى استخراج المعلومات المفيدة من محتوى صفحات
الويب، وأخيرا تنقيب استخدام الويب،
والتي تنطوي على إيجاد أنماط وصول المستخدم. سأقوم بمناقشة كل واحد منهما على حدة
في الاقسام اللاحقة.
عملية
تنقيب الويب مشابهة إلى حد ما عملية استخراج البيانات التقليدية، والتي تتكون
أساسا من ثلاث خطوات رئيسية: مرحلة ما قبل
المعالجة، لتحويل البيانات الخام إلى شكل يمكن أن يكون مناسبة للتنقيب،
واستخراج البيانات، والتي يتم فيها
تنقيب الويب 1. المقدمة والمعلومات الاساسية
تطبيق خوارزمية تحليل البيانات وتجهيزها، ومرحلة
ما بعد المعالجة، للتّعرف على بيانات مفيدة باستخدام التقييم وتقنيات
التصور. مع ذلك، جمع البيانات مختلف تماما عن ما هو في استخراج البيانات
التقليدية. في استخراج البيانات التقليدية، تستخدم مستودعات البيانات لجمع وتخزين
البيانات، في حين أنه في تنقيب الويب، جمع البيانات هي مهمة صعبة وتتطلب سحب عدد
كبير من صفحات الويب. علاوة على ذلك، التقنيات المستخدمة في كل خطوة مختلفة
تماما في تنقيب الويب.
آخرون
مثل إتزيوني، وكوسالا وبلوكيل، وتشانغ وسيغال يقسمون
عملية تنقيب الويب إلى المراحل التالية:
1. جمع الموارد:
لاسترجاع وجمع مستندات ويب.
2. اختيار المعلومات ومرحلة ما قبل المعالجة: لتحديد بيانات محددة وتحويلها إلى شكل ملائم
للمعالجة.
3. التعميم: لاكتشاف
الأنماط والتعرف عليها.
4. التحليل: للتحقق
من صحة المعلومات التي تم استخراجها والعمل على تمثيلها بطريقة مناسبة.
تتمحور
بقية هذه المقالة البحثية على النحو التالي: في القسمين الثاني والثالث، والرابع،
سأعرض فئات تنقيب الويب، وهي: تنقيب هيكلية الويب وتنقيب محتوى ويب، وتنقيب
استخدام الويب على التوالي. ثم سألخص هذه المقالة مع الإشارة إلى بعض
الاتجاهات المستقبلية في القسم الخامس والاخير.
تنقيب الويب 2. تنقيب هيكلية الويب
نعني بتنقيب هيكلية الويب استخدام بنية الارتباط
التشعبي على الشبكة كمصدر للمعلومات في عملية التنقيب. الارتباطات التشعبية
تمثل واحدة من السمات الخاصة للشبكة وكذلك أساس الويب. ترتبط كل صفحات ويب ببعضها
البعض عن طريق وصلات بحيث يمكن للمستخدم التنقل من صفحة إلى أخرى من خلالها.
تنقيب هيكلية الويب تهدف إلى استخراج معرفة مفيدة مجردة من بنية الارتباط التشعبي
على الشبكة لأغراض عديدة. بعض التقنيات المستخدمة في تنقيب هيكلية الويب
مستوحاة من تحليل الشبكات الاجتماعية التي يمكن من خلالها أن نجد أنواع معينة من الصفحات
مثل المحاور والسلطات والمجتمعات بناءً على الروابط الواردة والصادرة. في
الفقرات التالية، سأناقش بعض مهام تنقيب هيكلية الويب مع تقنياتهم بشكل مختصر.
استخراج المعرفة من بنية الارتباط التشعبي مهم
جدا لمحركات البحث بحيث يمكن اكتشاف صفحات الويب ذات الصلة. في محركات البحث
البدائية على الإنترنت، كانت طرق استرجاع المعلومات وحدها غير كافية لترتيب
النتائج التي يتم إرجاعها من قبل محركات البحث على الويب. مع وجود الارتباطات
التشعبية، وجد الباحثون أن النتائج التي يتم استرجاعها يمكن تحسينها بشكل
ملحوظ.
تنقيب الويب 2. تنقيب هيكلية الويب
تشير
الارتباطات تشعبية إلى صفحات داخل الموقع، وبالتالي تٌنظم تدفق المعلومات داخل
الموقع. كما أنها يمكن أن تشير إلى صفحات عبر مواقع مختلفة، بمعنى ان صفحة ويب
تشير إلى صفحة في موقع ويب آخر. يمكن لهذه الارتباطات التشعبية ان تشير إلى وجود
نوع من التأييد الضمني للصفحات المُشار اليها. وبعبارة أخرى، فإن بنية
الارتباط التشعبي تمثل الهيكل الاجتماعي الأساسي الذي يدل على فهم أهمية ونوعية
صفحات الويب. تم اقتراح اثنتين من الخوارزميات القائمة على الارتباط التشعبي
خلال الفترة ما بين 1997 و 1998، وهي: البيج رانك (PageRank) والبحث الموضوعي
التشعبي أو هيتس (HITS).
تنقيب الويب 2. تنقيب هيكلية الويب
البيج
رانك هي الخوارزمية التي جعلت جوجل محرك بحث ناجح من بين الآخرين. واحدة من
مميزاته أنه لا يعتمد على الاستعلام عند تقييم صفحات ويب. خوارزمية البيج رانك
تعتمد بشكل رئيسي على معلومتين: الروابط الداخلة لصفحة س، وهي الوصلات التي تشير
إلى الصفحة س من صفحات أخرى، والروابط الخارجة من الصفحة س، وهي الوصلات التي تشير
إلى صفحات أخرى من الصفحة س. البيج رانك تعتمد على فكرة البريستيج المستخدمة
في تحليل الشبكات الاجتماعية. الفكرة الرئيسية للبيج رانك هي كما يلي:
1. كلما كان هنالك روابط تشير إلى الصفحة س، كلما
زاد الدعم، كلما زادت قيمة البريستيج.
2. كلما زاد عدد الصفحات ذات البريستيج العالي التي
تشير إلى الصفحة س، كلما زادت أهمية الصفحة س.
البيج
رانك تحول بنية الارتباط التشعبي للويب إلى رسم بياني موجه. في الصورة 1، كل دائرة أو عقدة تمثل صفحة ويب. صفحة الويب 1 لها وصلتان
خارجتان (إلى العقد 2 و 3) وواحدة داخلة (من عقدة 2) على سبيل المثال. لمزيد من
التفاصيل حول حسابات البيج رانك، يمكن العثور عليها في.
تنقيب الويب 2. تنقيب هيكلية الويب
بينما البيج رانك لا يعتمد على الاستعلام، هيتس
تعتمد على الاستعلام. عندما يقوم المستخدم بالاستعلام عن شيء ما، هيتس تحاول جمع
مجموعة من صفحات الويب ذات الصلة التي تم إرجاعها بواسطة محرك البحث. ثم يقوم بإعطاء
تقديرات عددية تسمى اوزان المحور والسلطة باستخدام نهج متكرر. يطلق على الصفحة
سلطة إذا كان لديها العديد من الروابط الداخلة، بمعنى ان الصفحة تحتوي على محتوى
موثوق به وكثير من الناس يؤيدون ذلك. يطلق على الصفحة محور إذا كان لديها العديد
من الروابط الخارجة. الصورة 2 توضح مثالا على مجموعة من السلطات والمحاور.
لمزيد من التفاصيل حول حسابات هيتس، يمكن العثور عليها في. يتم حساب
البيج رانك، والسلطة، والمحور باستخدام طريقة تكرار القوة.
ويمكن أيضا استخدام  بنية شبكة لاكتشاف مجموعة من المساهمين في
المحتوى، أو ما يسمى مستخدمي المجتمعات، والذين تربطهما مصالح مشتركة؛ يمكن رؤية
كل مجتمع على أنها مجموعة من صفحات الويب المترابطة. هناك ثلاثة أسباب رئيسية
لاكتشاف المجتمعات:
تنقيب الويب 2. تنقيب هيكلية الويب
1. المجتمعات تمتلك في كثير من الأحيان على
المعلومات الأكثر قيمة، ذات الصلة، ومحدّثة للمستخدمين المعنيين في تلك المعلومات.
2. المجتمعات تجعل الإنترنت أكثر الاجتماعية، والناس
الذين يهتمون في التطور الفكري للويب يستطيعون دراسة تلك المجتمعات.
3. المجتمعات يمكنها أن تخدم الدعايات الموجهة على
مستوى دقيق جدا.
مثل هذه
المجتمعات يمكن استخراجها باستخدام خوارزمية هيتس المذكورة سابقا. باختصار،
خوارزمية هيتس تستطيع ايجاد ما يسمى المتجهات
الذاتية الرئيسية، والتي تمثل أكثر المناطق كثافة محتوية على السلطات
والمحاور.
مثال آخر
على مهام تنقيب الويب والتي يمكن أن تكون مفيدة جدا تصنيف صفحات الويب  كما هو موضح من قبل تشاكرابارتي وآخرون.
يمكن أن نلاحظ أن تقنيات استخراج البيانات التقليدية لا يمكنها تنفيذ هذه المهام
لأن الجداول العلائقية ليس لها هيكلية الروابط.
تنقيب الويب 3. تنقيب محتوى الويب
نعني بتنقيب محتوى الويب
استخدام محتويات صفحات الويب لاستخراج المعلومات المفيدة. تصنيف وتجميع صفحات
الويب وفقا لمواضيعهم هي أمثلة على المهام التي تقع ضمن تنقيب محتوى ويب. هذه
المهام هي مماثلة لتلك المستخدمة في استخراج البيانات التقليدية. مع ذلك، هناك
مهام على شبكة الإنترنت التي لا تعتبر مهام استخراج التقليدية. تشمل الأمثلة
استخراج آراء العملاء من مراجعات العملاء ومشاركات الشبكات الاجتماعية، واستخراج
مواصفات المنتجات بالإضافة إلى تحليل المشاعر وغيرها الكثير. في الفقرات
التالية، سأقوم بمناقشة المهام الرئيسية المستخدمة في تنقيب محتوى الويب بشكل
مختصر.
واحدة من المشاكل الواضحة التي تواجهنا عند
استخراج المعلومات هي استخراج بنود المعلومات من صفحات ويب. استخراج المعلومات من
نص اللغة الطبيعية  يُدرس على نطاق واسع من
قبل مجتمعات معالجة اللغة الطبيعية (NLP) البحثية. التحدي من منظور
تنقيب ويب هو استخراج البيانات المهيكلة من صفحات الويب.
تنقيب الويب 3. تنقيب محتوى الويب
يسمى
البرنامج الذي يهدف لاستخراج هذه البيانات المُجمِّع.
يتم تمثيل البيانات المهيكلة على شبكة الإنترنت عن طريق إدخال البيانات التي تم
استرجاعها من مصدر البيانات الأساسي المهيكلة، والتي تظهر عادة على صفحات الويب من
خلال جداول وقوالب. على نحو متزايد، العديد من المؤسسات قد تنشر البيانات الخاصة
بهم على مواقع الويب الخاصة بهم، وأصبح من المهم استخراج هذه البيانات لأغراض
كثيرة مثل: جمع المعلومات على الويب للتخصيص، ومقارنة المنتجات، بحث الميتا (meta-search) وغيرها الكثير. هناك
العديد من الأساليب المستخدمة في بناء هذا المُجمِّع. ليو يحدد ثلاثة مناهج:
1. النهج اليدوي: يعتمد
هذا النهج كليا على المبرمجين البشريين من خلال مراقبة صفحة ويب وكود المصدر. ثم
يستخرج المبرمج القواعد ومن ثم يطور برنامج قائم على هذه القواعد لاستخراج
المعلومات المستهدفة. هذا النهج من الواضح غير قابل لاستيعاب صفحات مختلفة أخرى.
تنقيب الويب 3. تنقيب محتوى الويب
2. استقراء المُجمِّع: يعتمد هذا
النهج على أساليب التعلم ضمن بيانات معروفة سابقا، حيث يتم تعلم القواعد من صفحات
الموصوفة بشكل مسبق أو سجلات البيانات. ثم يتم تطبيق هذه القواعد على صيغ مماثلة
لاستخراج عناصر البيانات. مثال على نظام يعتمد على هذا النهج هو النظام ستوكر.
3. الاستخراج التلقائي: هذا
النهج يتغلب على جهود وضع العلامات المسبقة يدويا. وهي تعتمد على أساليب التعلم
الغير خاضعة للرقابة،  والتي يتم استخراج
قواعد عناصر البيانات. مثال على هذه التقنية آي إي باد (IEPAD).
في القسم السابق، ناقشنا بإيجاز كيفية استخراج
البيانات على شبكة الإنترنت وتخزينها في مصدر بيانات مهيكل. مع ذلك، جمع البيانات
من عدد كبير من المواقع على شبكة الإنترنت يضيف بعدا آخر من التعقيد، ألا وهو
تكامل البيانات. من خلال التكامل، فإننا نعني أساسا أمرين:
1. مطابقة الأعمدة في الجداول المختلفة التي تحتوي
على نفس النوع من البيانات.
2. مطابقة القيم التي تكون متطابقة دلاليا، ولكن
تكون مُمَثّلة بشكل مختلف في أماكن مختلفة.
تنقيب الويب 3. تنقيب محتوى الويب
بشكل
عام، تكامل البيانات تم درسه على نطاق واسع في سياق قواعد البيانات العلائقية
ومستودع البيانات؛ الكثير من بحوث تكامل المعلومات المتعلقة بالويب تعاملت مع
تكامل واجهات استعلام الويب. مع ذلك، العديد من الأفكار التي تم تطويرها بالفعل
يمكن تطبيقها على البيانات المستخرجة من الويب أيضا.
إن المشكلة الرئيسية في تكامل المعلومات تعرف بمطابقة المخطط (schema matching). وتهدف إلى إنتاج مخطط عام
واحد من اثنين أو أكثر من المخططات المختلفة. قبل عملية مطابقة المخطط، وعادة ما
يتطلب خطوات ما قبل المعالجة التي يتعين القيام بها بما في ذلك: التقسيم إلى رموز
صغيرة، والتوسع، وتوحيد الكلمات، وإزالة الكلمات التوقف.
بشكل
أساسي، هناك أنواع مختلفة من المطابقة على النحو الذي اقترحه رام وبيرنشتاين:
1. مطابقة المخطط فقط: يتم
اعتماد معلومات المخطط فقط كالأسماء وانواع البيانات.
2. مطابقة المجال والبيانات فقط: يتم
اعتماد البيانات مع معلومات المجال لكل عمود.
3. مطابقة المخطط، والمجال، والبيانات: يتم
اعتماد البينات مع معلومات المجال لكل عمود بالإضافة لمعلومات المخطط.