تنقيب الويب
1. المقدمة والمعلومات الاساسية

في عالم الحاسوب، البيانات تمثل مجالا مثيرا
للاهتمام. انها في ازدياد مستمر وتتوسع بشكل كبير، وإنه من المهم بالنسبة لنا
العثور على معلومات مفيدة من هذه البيانات الضخمة. العملية الشاملة لتحليل مجاميع
البيانات، للعثور على معلومات مفهومة ومفيدة لأصحاب البيانات، تسمى تنقيب
البيانات. في السنوات القليلة الماضية، تم تخزين معظم البيانات التي تملكها
المؤسسات في مخازن مهيكلة للبيانات مثل قواعد البيانات العلائقية. هذه البيانات
يمكن الوصول إليها بسهولة لأغراض التنقيب باستخدام العديد من تقنيات استخراج
البيانات. مع ذلك، فقد تغيرت طبيعة البيانات بشكل كبير منذ ظهور شبكة الإنترنت،
والتي لديها مميزات وخصائص تجعلها مختلفة عن البيانات المهيكلة. هذه الخصائص يمكن
تلخيصها على النحو التالي:
1. الحجم الضخم للبيانات على الويب وما زالت تنمو
اضعافا مضاعفة.
2. الويب يحتوي على بيانات من مختلف الانواع
والاشكال. ذلك يشمل البيانات المهيكلة مثل الجدول، والبيانات شبه المهيكلة مثل
وثائق الإكس أم أل (XML)، وبيانات غير مهيكلة مثل النصوص في صفحات الويب، وبيانات متعددة
الوسائط مثل الصور والافلام.
3. عدم تجانس المعلومات على شبكة الإنترنت. مؤلفون
من حول العالم يشاركون في بناء محتوى الويب. نتيجة لذلك. قد تجد صفحات ذات محتوى
شبيه أو متطابق.
4. بيانات الويب تمتلك وصلات تشعبية، وهو ما يعني أن
صفحات الويب ترتبط معا بحيث يمكن لأي شخص التنقل من خلال صفحات داخل الموقع نفسه
أو عبر مواقع مختلفة. هذه الوصلات يمكن أن تخبرنا كيف يتم تنظيم المعلومات بين
الصفحات داخل الموقع، ومدى قوة أو ضعف العلاقة ما بين الصفحات عبر مواقع مختلفة.
5. ضجيج المعلومات على الويب. أسباب ذلك هما قضيتان.
أولا، صفحة الويب النموذجية عادة ما تحتوي على العديد من المعلومات مثل الجسم
الرئيسي للصفحة، وصلات، والإعلانات، وغيرها الكثير. وبالتالي، فإن الصفحة لا توجد
لديها بنية محددة. ثانيا، ليست هناك سيطرة نوعية على المعلومات، بمعنى أنه يمكن
لأي شخص تحميل محتوى على الويب بغض النظر عن نوعيته أو جودته.
6. جزء كبير من المحتوى على شبكة الإنترنت يُعتبر
ديناميكي، وهذا يعني أنه يتم تحديث المعلومات في كثير من الأحيان وبشكل مستمر. على
سبيل المثال، معلومات الطقس يتم تحديثها بشكل مستمر.
7. الويب يحتوي على مواقع التجارة الإلكترونية التي
تمكن الناس من أداء العديد من عمليات الشراء، وتحويل الأموال، وغيرها الكثير. هذا
النوع من المواقع يحتاج إلى تزويد العملاء بخدمات محوسبة مثل نظام التوصية.
8. الويب ليس مجرد بيانات ومعلومات. في الوقت
الحاضر، يعتبر ويب مجتمع افتراضي، حيث يمكن للناس والمنظمات وحتى الانظمة المحوسبة
التواصل والتفاعل مع بعضها البعض.
كل هذه
الخصائص تجعل عملية استخراج البيانات على الشبكة أكثر تحديا، وفي نفس الوقت تعطينا
فرصا لاكتشاف المعرفة المفيدة والقيّمة من الويب. ونظرا لوجود مجموعة واسعة من
أنواع البيانات أصبحت تقنيات استخراج البيانات التقليدية غير كافية. وهذا ما
أدى إلى تبلور حاجة لتطوير تقنيات وخوارزميات جديدة تهدف تنقيب البيانات على شبكة
الإنترنت.
العديد
من الباحثين مثل عتيق وآخرون وتشانغ وسيغال يعتقدون أن استخراج البيانات
التقليدية تتعامل بشكل رئيسي مع البيانات المهيكلة التي يتم تخزينها في قواعد
البيانات العلائقية، في حين تنقيب ويب تتعامل مع بيانات الويب، التي عادة ما تكون
شبه مهيكلة أو غير مهيكلة. آخرون مثل إتزيوني، وماركوف وآخرون، وكوسالا
وبلوكيل يرون تنقيب الويب كتطبيق على منهجيات وتقنيات ونماذج استخراج
البيانات. ليو يشير إلى أن العديد من تقنيات استخراج البيانات التقليدية يمكن
تطبيقها في العديد من مهام تنقيب الويب. ومع ذلك، فهو يرى أن تنقيب الويب ليس
تماما تطبيق لاستخراج البيانات التقليدية نظرا للخصائص التي يمتاز بها الويب والتي
تم نقاشها أعلاه.
هناك تعريف جيد لمصطلح تنقيب الويب والتي قدمها ليو: يهدف تنقيب الويب إلى إيجاد
واستخراج المعلومات المفيدة من بيانات الويب، والتي تشمل: هياكل الارتباطات
التشعبية، محتوى صفحات الويب، وسجلات استخدام الويب. الغالبية العظمى من الباحثين
مثل ليو، ومادريا وآخرون، وبورخيس ويفين يتفقون على أن تنقيب الويب يمكن
تقسيمها إلى ثلاث فئات بناءً على الجزء المنوي تنقيبه؛ وهم: تنقيب هيكلية الويب، والتي تسعى إلى كشف
معلومات مفيدة من بنية الارتباط التشعبي للشبكة، وتنقيب
محتوى ويب، والتي تهدف إلى استخراج المعلومات المفيدة من محتوى صفحات
الويب، وأخيرا تنقيب استخدام الويب،
والتي تنطوي على إيجاد أنماط وصول المستخدم. سأقوم بمناقشة كل واحد منهما على حدة
في الاقسام اللاحقة.
عملية
تنقيب الويب مشابهة إلى حد ما عملية استخراج البيانات التقليدية، والتي تتكون
أساسا من ثلاث خطوات رئيسية: مرحلة ما قبل
المعالجة، لتحويل البيانات الخام إلى شكل يمكن أن يكون مناسبة للتنقيب،
واستخراج البيانات، والتي يتم فيها
تطبيق خوارزمية تحليل البيانات وتجهيزها، ومرحلة
ما بعد المعالجة، للتّعرف على بيانات مفيدة باستخدام التقييم وتقنيات
التصور. مع ذلك، جمع البيانات مختلف تماما عن ما هو في استخراج البيانات
التقليدية. في استخراج البيانات التقليدية، تستخدم مستودعات البيانات لجمع وتخزين
البيانات، في حين أنه في تنقيب الويب، جمع البيانات هي مهمة صعبة وتتطلب سحب عدد
كبير من صفحات الويب. علاوة على ذلك، التقنيات المستخدمة في كل خطوة مختلفة
تماما في تنقيب الويب.
آخرون
مثل إتزيوني، وكوسالا وبلوكيل، وتشانغ وسيغال يقسمون
عملية تنقيب الويب إلى المراحل التالية:
1. جمع الموارد:
لاسترجاع وجمع مستندات ويب.
2. اختيار المعلومات ومرحلة ما قبل المعالجة: لتحديد بيانات محددة وتحويلها إلى شكل ملائم
للمعالجة.
3. التعميم: لاكتشاف
الأنماط والتعرف عليها.
4. التحليل: للتحقق
من صحة المعلومات التي تم استخراجها والعمل على تمثيلها بطريقة مناسبة.
تتمحور
بقية هذه المقالة البحثية على النحو التالي: في القسمين الثاني والثالث، والرابع،
سأعرض فئات تنقيب الويب، وهي: تنقيب هيكلية الويب وتنقيب محتوى ويب، وتنقيب
استخدام الويب على التوالي. ثم سألخص هذه المقالة مع الإشارة إلى بعض
الاتجاهات المستقبلية في القسم الخامس والاخير.