CALM/arwiki huggingface dataset:
السيدر الكحولي مصنوع من تخمر عصير التفاح بشكل رئيسي، على الرغم من الكمثرى تستخدم أيضا في المملكة المتحدة والسويد، وسيدر الكمثرى يعرف باسم "بيري".
في الولايات المتحدة وأجزاء من كندا، يشير مصطلح سيدر "شراب التفاح" على وجه الحصر تقريباً إلى عصير التفاح المشروب غير الكحولي، عبارة (سيدر قوي) تستخدم للدلالة على النسخة المخمرة.
الشراب يختلف في المضمون الكحولي من أقل من 3 ٪ في إلى حد أقصى قدره 8,5 ٪ في شراب السيدر التقليدي الإنكليزي ويبدو ذهبي أصفر وغائم أحيانا.
يحظى السيدر بشعبية كبيرة في المملكة المتحدة، وخاصة في جنوب غرب إنجلترا، وفي فرنسا وبلاد أخرى كثيرة.
أوكسي ثلاثي فلوريد فاناديوم خماسي مركب كيميائي له الصيغة VOF3 ، ويكون على شكل بلورات صفراء فاتحة .
عامر بن الطفيل الكلابي العامري الهوازني شاعر جاهلي وفارس فتاك وسيد من سادات بني جعفر بن كلاب من بني عامر بن صعصعة من قبيلة هوازن. قيل إنه أدرك الإسلام وناوأ النبي محمدًا ولم يسلم، وكان له كنيتان، فهو في الحرب أبو عقيل، وفي السلم أبو علي . وأخوه عبدالله بن الطفيل قائد لبني عامر بن صعصعة لكنه قتل في إحدى معاركه على يد غطفان.
هو عامر بن الطفيل بن مالك بن جعفر بن كلاب بن ربيعة بن عامر بن صعصعة بن معاوية بن بكر بن هوازن بن منصور بن عكرمة بن خصفة بن قيس عيلان بن مضر بن نزار بن معد بن عدنان.
فارس قومه وأحد فتاك العرب وشعرائهم وساداتهم في الجاهلية . ولد ونشأ بنجد، خاض المعارك الكثيرة.
أدرك الإسلام شيخاً فوفد على رسول الله وهو في المدينة بعد فتح مكة، يريد الغدر به، فلم يجرؤ عليه، فدعاه إلى الإسلام فاشترط أن يجعل له نصف ثمار المدينة وأن يجعله ولي الأمر من بعده، فرده، فعاد حانقاً وكان معه اربد أخو الشاعر لبيد بن ربيعة وكان من فتاك العرب ولقد اصابتهم دعوة الرسول فهلكوا . وقيل انه لم احس بالموت قال اسرجو لي جوادي وكان في بيت زوجة له من بني سلول بن عامر ويقال كانت فاجره وطردها قومها بسبب ذلك فقال (( موت بغدة وفي بيت سلولية )) فركب جوادة ومات وهو على ظهرها .
قصة وفد بني عامر وعامر بن الطفيل.
وقدم على الرسول الله صلى الله عليه وسلم وفد بني عامر وعلى رأسهم عامر بن الطفيل، وأربد بن قيس بن جزء بن خالد بن جعفر، وجبار بن سلمى ، وكان هؤلاء الثلاثة رؤساء القوم وشياطينهم، وقدم عامر بن الطفيل على رسول الله وهو يريد الغدر به، وقد قال له قومه: يا أبا عامر إن الناس قد أسلموا فأسلم .
فقال: والله لقد كنت آليت ألا أنتهي حتى تتبع العرب عقبي، فأنا أتبع عقب هذا الفتى من قريش ؟
ثم قال لأربد: إن قدمنا على الرجل فإني سأشغل عنك وجهه فإذا فعلت ذلك، فأعله بالسيف، فلما قدموا على رسول الله قال عامر بن الطفيل: يا محمد خالني .
قال: «لا والله حتى تؤمن بالله وحده».
قال: وجعل يكلمه وينتظر من أربد ما كان أمره به، فجعل أربد لا يحير شيئا، فلما رأى عامر ما يصنع أربد قال: يا محمد خالني.
قال: «لا حتى تؤمن بالله وحده لا شريك له».
فلما أبى عليه رسول الله
قال: أما والله لأملأنها عليك خيلا ورجالا.
فلما ولى قال رسول الله : «اللهم اكفني عامر بن الطفيل».
فلما خرجوا قال عامر بن الطفيل لأربد: أين ما كنت أمرتك به؟ والله ما كان على ظهر الأرض رجل أخوف على نفسي منك، وأيم الله لا أخافك بعد اليوم أبدا.
قال أربد : لا أبالك، لا تعجل علي والله ما هممت بالذي أمرتني به إلا دخلت بيني وبين الرجل، حتى ما أرى غيرك، أفأضربك بالسيف؟
وخرجوا لبلادهم، حتى اتوا بيت امرأة من قومهم من بني سلول
فأخذت عامر غدة في حلقه، فوثب على فرسه، وأخذ رمحه، وأقبل يجول على فرسه وهو يقول: غدة كغدة البكر، وموت في بيت سلولية، فلم تزل تلك حاله حتى سقط عن فرسه ميتا.
واما أربد بن قيس فلما وصل قومة بني عامر قالوا: ما وراءك ياأربد؟
قال: لا شيء، والله لقد دعانا إلى عبادة شيء لوددت لو أنه عندي الآن فأرميه بالنبل حتى أقتله الآن، فخرج بعد مقالته بيوم أو يومين معه جمل له يبيعه، فأرسل الله عليه وعلى جمله صاعقة فأحرقتهما.
قال ابن إسحاق: وكان أربد بن قيس أخا لبيد بن ربيعة من أمه، فقال لبيد يبكي أربد:
كان شعره جيداً حتى أطلقوا عليه مُحَبِّراً لحسن شعره، وغلب على شعره الفخر والحماسة، ولاسيما الفخر الفردي، وهذا من مزايا شعر الفرسان، من ذلك قوله:
وأما الأغراض الشعرية الأخرى كالمدح والهجاء
والرثاء والتهديد والوعيد فلم تبرز في شعره.
ومما يُستجادُ له قصيدته التي ذكر فيها عور عينه، ومنها:
وهو هنا يشير إلى عَور عينه، وإلى أمر آخر وهو عُقْمه، فلم يُنجب أولاداً.
ومن أجمل فخره ابياتة التي يقول فيها:
وقد شرح ديوانه من القدماء أبو بكر محمد بن القاسم الأنباري، وطُبع هذا الشرح عدة طبعات الأولى بتحقيق كرم البستاني عام 1979، والثانية بتحقيق محمد نبيل طريفي عام1994، والثالثة بتحقيق هدى جنهويتشي عام 1997.
لَبْلاَب الحُقُول أو اللَبْلاَب الحَقِيقِيّ أو اللَبْلاَب الصَغِير أو المَدَّاد أو طُرْبُوش الغُرَاب، اسمه العلمي ، نوع نباتي من جنس اللَبْلاَب ينتمي إلى الفصيلة المحمودية.
البلاب البنفسجي أو المَدَّاد البَنَفْسَجِيّ، وهو نوع من جنس اللَبْلاَب.
كربيد الزركونيوم الرباعي مركب كيميائي له الصيغة ZrC، ويكون على شكل مسحوق بلوري ذي لون رمادي عديم الرائحة.
يحضر مسحوق كريد الزركونيوم من الاختزال الكربوحراري (وهو الاختزال باستخدام الكربون عند درجات حرارة مرتفعة) لأكسيد الزركونيوم.
المستخلص
العنكبوتية العالمية، أو ببساطة الويب، تمثل واحدة من أكبر مصادر المعلومات في
العالم. يمكننا القول، ربما، أنّ أي موضوع نفكر به أصبح على الارجح موجودا على
صفحة ما في الويب. المعلومات على شبكة الإنترنت تأتي على أشكال وأنواع مختلفة مثل
الوثائق النصية والصور ومقاطع الفيديو. بالرغم من ذلك، استخراج المعلومات ذات
فائدة، من دون مساعدة بعض أدوات الويب، ليست عملية هيّنة. هنا يأتي دور تنقيب
الويب، والذي يوفر الأدوات التي تساعدنا على استخراج المعرفة المفيدة من بيانات
الويب. في هذه المقالة البحثية، سأقوم بتقديم لمحة عامة عن تنقيب الويب مع التركيز
على البيانات النصيّة، ووصف موجز لخصائص الويب التي تجعل من التنقيب ذا أهمية
كبيرة، وما الذي يُشكل تنقيب البيانات، وبعض الاتجاهات المستقبلية لهذا المجال.
كلمات دلاليّة- تنقيب
الويب، تنقيب هيكلية الويب، تنقيب محتوى الويب، تنقيب استخدام الويب.
1. المقدمة والمعلومات الاساسية.
في عالم الحاسوب، البيانات تمثل مجالا مثيرا
للاهتمام. انها في ازدياد مستمر وتتوسع بشكل كبير، وإنه من المهم بالنسبة لنا
العثور على معلومات مفيدة من هذه البيانات الضخمة. العملية الشاملة لتحليل مجاميع
البيانات، للعثور على معلومات مفهومة ومفيدة لأصحاب البيانات، تسمى تنقيب
البيانات. في السنوات القليلة الماضية، تم تخزين معظم البيانات التي تملكها
المؤسسات في مخازن مهيكلة للبيانات مثل قواعد البيانات العلائقية. هذه البيانات
يمكن الوصول إليها بسهولة لأغراض التنقيب باستخدام العديد من تقنيات استخراج
البيانات. مع ذلك، فقد تغيرت طبيعة البيانات بشكل كبير منذ ظهور شبكة الانترنت،
والتي لديها مميزات وخصائص تجعلها مختلفة عن البيانات المهيكلة. هذه الخصائص يمكن
تلخيصها على النحو التالي:
1. الحجم الضخم للبيانات على الويب وما زالت تنمو
اضعافا مضاعفة.
2. الويب يحتوي على بيانات من مختلف الانواع
والاشكال. ذلك يشمل البيانات المهيكلة مثل الجدول، والبيانات شبه المهيكلة مثل
وثائق الإكس أم أل (XML)، وبيانات غير مهيكلة مثل النصوص في صفحات الويب، وبيانات متعددة
الوسائط مثل الصور والافلام.
3. عدم تجانس المعلومات على شبكة الإنترنت. مؤلفون
من حول العالم يشاركون في بناء محتوى الويب. نتيجة لذلك. قد تجد صفحات ذات محتوى
شبيه أو متطابق.
4. بيانات الويب تمتلك وصلات تشعبية، وهو ما يعني أن
صفحات الويب ترتبط معا بحيث يمكن لأي شخص التنقل من خلال صفحات داخل الموقع نفسه
أو عبر مواقع مختلفة. هذه الوصلات يمكن أن تخبرنا كيف يتم تنظيم المعلومات بين
الصفحات داخل الموقع، ومدى قوة أو ضعف العلاقة ما بين الصفحات عبر مواقع مختلفة.
5. ضجيج المعلومات على الويب. أسباب ذلك هما قضيتان.
أولا، صفحة الويب النموذجية عادة ما تحتوي على العديد من المعلومات مثل الجسم
الرئيسي للصفحة، وصلات، والإعلانات، وغيرها الكثير. وبالتالي، فإن الصفحة لا توجد
لديها بنية محددة. ثانيا، ليست هناك سيطرة نوعية على المعلومات، بمعنى أنه يمكن
لأي شخص تحميل محتوى على الويب بغض النظر عن نوعيته أو جودته.
6. جزء كبير من المحتوى على شبكة الإنترنت يُعتبر
ديناميكي، وهذا يعني أنه يتم تحديث المعلومات في كثير من الأحيان وبشكل مستمر. على
سبيل المثال، معلومات الطقس يتم تحديثها بشكل مستمر.
7. الويب يحتوي على مواقع التجارة الإلكترونية التي
تمكن الناس من أداء العديد من عمليات الشراء، وتحويل الأموال، وغيرها الكثير. هذا
النوع من المواقع يحتاج إلى تزويد العملاء بخدمات محوسبة مثل نظام التوصية.
8. الويب ليس مجرد بيانات ومعلومات. في الوقت
الحاضر، يعتبر ويب مجتمع افتراضي، حيث يمكن للناس والمنظمات وحتى الانظمة المحوسبة
التواصل والتفاعل مع بعضها البعض.
كل هذه
الخصائص تجعل عملية استخراج البيانات على الشبكة أكثر تحديا، وفي نفس الوقت تعطينا
فرصا لاكتشاف المعرفة المفيدة والقيّمة من الويب. ونظرا لوجود مجموعة واسعة من
أنواع البيانات أصبحت تقنيات استخراج البيانات التقليدية غير كافية. وهذا ما
أدى إلى تبلور حاجة لتطوير تقنيات وخوارزميات جديدة تهدف تنقيب البيانات على شبكة
العديد
من الباحثين مثل عتيق وآخرون وتشانغ وسيغال يعتقدون أن استخراج البيانات
التقليدية تتعامل بشكل رئيسي مع البيانات المهيكلة التي يتم تخزينها في قواعد
البيانات العلائقية، في حين تنقيب ويب تتعامل مع بيانات الويب، التي عادة ما تكون
شبه مهيكلة أو غير مهيكلة. آخرون مثل إتزيوني، وماركوف وآخرون، وكوسالا
وبلوكيل يرون تنقيب الويب كتطبيق على منهجيات وتقنيات ونماذج استخراج
البيانات. ليو يشير إلى أن العديد من تقنيات استخراج البيانات التقليدية يمكن
تطبيقها في العديد من مهام تنقيب الويب. ومع ذلك، فهو يرى أن تنقيب الويب ليس
تماما تطبيق لاستخراج البيانات التقليدية نظرا للخصائص التي يمتاز بها الويب والتي
تم نقاشها أعلاه.
هناك تعريف جيد لمصطلح تنقيب الويب والتي قدمها ليو: يهدف تنقيب الويب إلى إيجاد
واستخراج المعلومات المفيدة من بيانات الويب، والتي تشمل: هياكل الارتباطات
التشعبية، محتوى صفحات الويب، وسجلات استخدام الويب. الغالبية العظمى من الباحثين
مثل ليو، ومادريا وآخرون، وبورخيس ويفين يتفقون على أن تنقيب الويب يمكن
تقسيمها إلى ثلاث فئات بناءً على الجزء المنوي تنقيبه؛ وهم: "تنقيب هيكلية الويب"، والتي تسعى إلى كشف
معلومات مفيدة من بنية الارتباط التشعبي للشبكة، "وتنقيب
محتوى ويب"، والتي تهدف إلى استخراج المعلومات المفيدة من محتوى صفحات
الويب، وأخيرا "تنقيب استخدام الويب"،
والتي تنطوي على إيجاد أنماط وصول المستخدم. سأقوم بمناقشة كل واحد منهما على حدة
في الاقسام اللاحقة.
تنقيب الويب مشابهة إلى حد ما عملية استخراج البيانات التقليدية، والتي تتكون
أساسا من ثلاث خطوات رئيسية: "مرحلة ما قبل
المعالجة"، لتحويل البيانات الخام إلى شكل يمكن أن يكون مناسبة للتنقيب،
"واستخراج البيانات"، والتي يتم فيها
تطبيق خوارزمية تحليل البيانات وتجهيزها، "ومرحلة
ما بعد المعالجة"، للتّعرف على بيانات مفيدة باستخدام التقييم وتقنيات
التصور. مع ذلك، جمع البيانات مختلف تماما عن ما هو في استخراج البيانات
التقليدية. في استخراج البيانات التقليدية، تستخدم مستودعات البيانات لجمع وتخزين
البيانات، في حين أنه في تنقيب الويب، جمع البيانات هي مهمة صعبة وتتطلب سحب عدد
كبير من صفحات الويب. علاوة على ذلك، التقنيات المستخدمة في كل خطوة مختلفة
تماما في تنقيب الويب.
مثل إتزيوني، وكوسالا وبلوكيل، وتشانغ وسيغال يقسمون
عملية تنقيب الويب إلى المراحل التالية:
1. جمع الموارد:
لاسترجاع وجمع مستندات ويب.
2. اختيار المعلومات ومرحلة ما قبل المعالجة: لتحديد بيانات محددة وتحويلها إلى شكل ملائم
للمعالجة.
3. التعميم: لاكتشاف
الأنماط والتعرف عليها.
4. التحليل: للتحقق
من صحة المعلومات التي تم استخراجها والعمل على تمثيلها بطريقة مناسبة.
تتمحور
بقية هذه المقالة البحثية على النحو التالي: في القسمين الثاني والثالث، والرابع،
سأعرض فئات تنقيب الويب، وهي: تنقيب هيكلية الويب وتنقيب محتوى ويب، وتنقيب
استخدام الويب على التوالي. ثم سألخص هذه المقالة مع الإشارة إلى بعض
الاتجاهات المستقبلية في القسم الخامس والاخير.
2. تنقيب هيكلية الويب.
نعني بتنقيب هيكلية الويب استخدام بنية الارتباط
التشعبي على الشبكة كمصدر للمعلومات في عملية التنقيب. الارتباطات التشعبية
تمثل واحدة من السمات الخاصة للشبكة وكذلك أساس الويب. ترتبط كل صفحات ويب ببعضها
البعض عن طريق وصلات بحيث يمكن للمستخدم التنقل من صفحة إلى أخرى من خلالها.
تنقيب هيكلية الويب تهدف إلى استخراج معرفة مفيدة مجردة من بنية الارتباط التشعبي
على الشبكة لأغراض عديدة. بعض التقنيات المستخدمة في تنقيب هيكلية الويب
مستوحاة من تحليل الشبكات الاجتماعية التي يمكن من خلالها أن نجد أنواع معينة من الصفحات
مثل المحاور والسلطات والمجتمعات بناءً على الروابط الواردة والصادرة. في
الفقرات التالية، سأناقش بعض مهام تنقيب هيكلية الويب مع تقنياتهم بشكل مختصر.
أ‌. تحسين نتائج بحث الويب.
استخراج المعرفة من بنية الارتباط التشعبي مهم
جدا لمحركات البحث بحيث يمكن اكتشاف صفحات الويب ذات الصلة. في محركات البحث
البدائية على الانترنت، كانت طرق استرجاع المعلومات وحدها غير كافية لترتيب
النتائج التي يتم إرجاعها من قبل محركات البحث على الويب. مع وجود الارتباطات
التشعبية، وجد الباحثون أن النتائج التي يتم استرجاعها يمكن تحسينها بشكل
ملحوظ.
تشير
الارتباطات تشعبية إلى صفحات داخل الموقع، وبالتالي تٌنظم تدفق المعلومات داخل
الموقع. كما أنها يمكن أن تشير إلى صفحات عبر مواقع مختلفة، بمعنى ان صفحة ويب
تشير إلى صفحة في موقع ويب آخر. يمكن لهذه الارتباطات التشعبية ان تشير إلى وجود
نوع من التأييد الضمني للصفحات المُشار اليها. وبعبارة أخرى، فإن بنية
الارتباط التشعبي تمثل الهيكل الاجتماعي الأساسي الذي يدل على فهم أهمية ونوعية
صفحات الويب. تم اقتراح اثنتين من الخوارزميات القائمة على الارتباط التشعبي
خلال الفترة ما بين 1997 و 1998، وهي: البيج رانك (PageRank) والبحث الموضوعي
التشعبي أو هيتس (HITS).
البيج
رانك هي الخوارزمية التي جعلت جوجل محرك بحث ناجح من بين الآخرين. واحدة من
مميزاته أنه لا يعتمد على الاستعلام عند تقييم صفحات ويب. خوارزمية البيج رانك
تعتمد بشكل رئيسي على معلومتين: الروابط الداخلة لصفحة س، وهي الوصلات التي تشير
إلى الصفحة س من صفحات اخرى، والروابط الخارجة من الصفحة س، وهي الوصلات التي تشير
إلى صفحات أخرى من الصفحة س. البيج رانك تعتمد على فكرة البريستيج المستخدمة
في تحليل الشبكات الاجتماعية. الفكرة الرئيسية للبيج رانك هي كما يلي:
1. كلما كان هنالك روابط تشير إلى الصفحة س، كلما
زاد الدعم، كلما زادت قيمة البريستيج.
2. كلما زاد عدد الصفحات ذات البريستيج العالي التي
تشير إلى الصفحة س، كلما زادت أهمية الصفحة س.
رانك تحول بنية الارتباط التشعبي للويب إلى رسم بياني موجه. في الصورة 1، كل دائرة أو عقدة تمثل صفحة ويب. صفحة الويب 1 لها وصلتان
خارجتان (إلى العقد 2 و 3) وواحدة داخلة (من عقدة 2) على سبيل المثال. لمزيد من
التفاصيل حول حسابات البيج رانك، يمكن العثور عليها في.
بينما البيج رانك لا يعتمد على الاستعلام، هيتس
تعتمد على الاستعلام. عندما يقوم المستخدم بالاستعلام عن شيء ما، هيتس تحاول جمع
مجموعة من صفحات الويب ذات الصلة التي تم إرجاعها بواسطة محرك البحث. ثم يقوم بإعطاء
تقديرات عددية تسمى اوزان المحور والسلطة باستخدام نهج متكرر. يطلق على الصفحة
سلطة إذا كان لديها العديد من الروابط الداخلة، بمعنى ان الصفحة تحتوي على محتوى
موثوق به وكثير من الناس يؤيدون ذلك. يطلق على الصفحة محور إذا كان لديها العديد
من الروابط الخارجة. الصورة 2 توضح مثالا على مجموعة من السلطات والمحاور.
لمزيد من التفاصيل حول حسابات هيتس، يمكن العثور عليها في. يتم حساب
البيج رانك، والسلطة، والمحور باستخدام طريقة تكرار القوة.
ب‌. اكتشاف المجتمعات.
ويمكن أيضا استخدام  بنية شبكة لاكتشاف مجموعة من المساهمين في
المحتوى، أو ما يسمى مستخدمي المجتمعات، والذين تربطهما مصالح مشتركة؛ يمكن رؤية
كل مجتمع على أنها مجموعة من صفحات الويب المترابطة. هناك ثلاثة أسباب رئيسية
لاكتشاف المجتمعات:
1. المجتمعات تمتلك في كثير من الأحيان على
المعلومات الأكثر قيمة، ذات الصلة، ومحدّثة للمستخدمين المعنيين في تلك المعلومات.
2. المجتمعات تجعل الإنترنت أكثر الاجتماعية، والناس
الذين يهتمون في التطور الفكري للويب يستطيعون دراسة تلك المجتمعات.
3. المجتمعات يمكنها أن تخدم الدعايات الموجهة على
مستوى دقيق جدا.
مثل هذه
المجتمعات يمكن استخراجها باستخدام خوارزمية هيتس المذكورة سابقا. باختصار،
خوارزمية هيتس تستطيع ايجاد ما يسمى "المتجهات
الذاتية الرئيسية"، والتي تمثل أكثر المناطق كثافة محتوية على السلطات
والمحاور.
على مهام تنقيب الويب والتي يمكن أن تكون مفيدة جدا تصنيف صفحات الويب  كما هو موضح من قبل تشاكرابارتي وآخرون.
يمكن أن نلاحظ أن تقنيات استخراج البيانات التقليدية لا يمكنها تنفيذ هذه المهام
لأن الجداول العلائقية ليس لها هيكلية الروابط.
3. تنقيب محتوى الويب.
نعني بتنقيب محتوى الويب
استخدام محتويات صفحات الويب لاستخراج المعلومات المفيدة. تصنيف وتجميع صفحات
الويب وفقا لمواضيعهم هي أمثلة على المهام التي تقع ضمن تنقيب محتوى ويب. هذه
المهام هي مماثلة لتلك المستخدمة في استخراج البيانات التقليدية. مع ذلك، هناك
مهام على شبكة الانترنت التي لا تعتبر مهام استخراج التقليدية. تشمل الأمثلة
استخراج آراء العملاء من مراجعات العملاء ومشاركات الشبكات الاجتماعية، واستخراج
مواصفات المنتجات بالإضافة إلى تحليل المشاعر وغيرها الكثير. في الفقرات
التالية، سأقوم بمناقشة المهام الرئيسية المستخدمة في تنقيب محتوى الويب بشكل
أ‌. استخراج البينات المهيكلة: توليد المُجمِّع.
واحدة من المشاكل الواضحة التي تواجهنا عند
استخراج المعلومات هي استخراج بنود المعلومات من صفحات ويب. استخراج المعلومات من
نص اللغة الطبيعية  يُدرس على نطاق واسع من
قبل مجتمعات معالجة اللغة الطبيعية (NLP) البحثية. التحدي من منظور
تنقيب ويب هو استخراج البيانات المهيكلة من صفحات الويب.
يسمى
البرنامج الذي يهدف لاستخراج هذه البيانات "المُجمِّع".
يتم تمثيل البيانات المهيكلة على شبكة الإنترنت عن طريق إدخال البيانات التي تم
استرجاعها من مصدر البيانات الأساسي المهيكلة، والتي تظهر عادة على صفحات الويب من
خلال جداول وقوالب. على نحو متزايد، العديد من المؤسسات قد تنشر البيانات الخاصة
بهم على مواقع الويب الخاصة بهم، وأصبح من المهم استخراج هذه البيانات لأغراض
كثيرة مثل: جمع المعلومات على الويب للتخصيص، ومقارنة المنتجات، بحث الميتا (meta-search) وغيرها الكثير. هناك
العديد من الأساليب المستخدمة في بناء هذا المُجمِّع. ليو يحدد ثلاثة مناهج:
1. النهج اليدوي: يعتمد
هذا النهج كليا على المبرمجين البشريين من خلال مراقبة صفحة ويب وكود المصدر. ثم
يستخرج المبرمج القواعد ومن ثم يطور برنامج قائم على هذه القواعد لاستخراج
المعلومات المستهدفة. هذا النهج من الواضح غير قابل لاستيعاب صفحات مختلفة أخرى.
2. استقراء المُجمِّع: يعتمد هذا
النهج على أساليب التعلم ضمن بيانات معروفة سابقا، حيث يتم تعلم القواعد من صفحات
الموصوفة بشكل مسبق أو سجلات البيانات. ثم يتم تطبيق هذه القواعد على صيغ مماثلة
لاستخراج عناصر البيانات. مثال على نظام يعتمد على هذا النهج هو النظام ستوكر.
3. الاستخراج التلقائي: هذا
النهج يتغلب على جهود وضع العلامات المسبقة يدويا. وهي تعتمد على أساليب التعلم
الغير خاضعة للرقابة،  والتي يتم استخراج
قواعد عناصر البيانات. مثال على هذه التقنية آي إي باد(IEPAD).
ب‌. تكامل المعلومات.
في القسم السابق، ناقشنا بإيجاز كيفية استخراج
البيانات على شبكة الإنترنت وتخزينها في مصدر بيانات مهيكل. مع ذلك، جمع البيانات
من عدد كبير من المواقع على شبكة الإنترنت يضيف بعدا آخر من التعقيد، ألا وهو
تكامل البيانات. من خلال التكامل، فإننا نعني أساسا أمرين:
1. مطابقة الأعمدة في الجداول المختلفة التي تحتوي
على نفس النوع من البيانات.
2. مطابقة القيم التي تكون متطابقة دلاليا، ولكن
تكون مُمَثّلة بشكل مختلف في أماكن مختلفة.
بشكل
عام، تكامل البيانات تم درسه على نطاق واسع في سياق قواعد البيانات العلائقية
ومستودع البيانات؛ الكثير من بحوث تكامل المعلومات المتعلقة بالويب تعاملت مع
تكامل واجهات استعلام الويب. مع ذلك، العديد من الأفكار التي تم تطويرها بالفعل
يمكن تطبيقها على البيانات المستخرجة من الويب أيضا.
إن المشكلة الرئيسية في تكامل المعلومات تعرف بمطابقة المخطط (schema matching). وتهدف إلى إنتاج مخطط عام
واحد من اثنين أو أكثر من المخططات المختلفة. قبل عملية مطابقة المخطط، وعادة ما
يتطلب خطوات ما قبل المعالجة التي يتعين القيام بها بما في ذلك: التقسيم إلى رموز
صغيرة، والتوسع، وتوحيد الكلمات، وإزالة الكلمات التوقف.
أساسي، هناك أنواع مختلفة من المطابقة على النحو الذي اقترحه رام وبيرنشتاين:
1. مطابقة المخطط فقط: يتم
اعتماد معلومات المخطط فقط كالأسماء وانواع البيانات.
2. مطابقة المجال والبيانات فقط: يتم
اعتماد البيانات مع معلومات المجال لكل عمود.
3. مطابقة المخطط، والمجال، والبيانات: يتم
اعتماد البينات مع معلومات المجال لكل عمود بالإضافة لمعلومات المخطط.
وتوجد
عدة طرق لجميع الانواع أعلاه. أما النوع الثاني، وهو مطابقة المجال والبيانات فقط،
وهي الحالة الأكثر شيوعا التي تتم في الويب لأنه غالبا يتم إخفاء المخطط. النوع
الثالث عادة ما يُمثل مزيجا من التقنيات من النوعين الأولين. مناقشة أكثر
تفصيلا لهذه الطرق يمكن العثور عليها في.
ت‌. تنقيب الآراء وتحليل المشاعر.
كجزء من الويب يحتوي على البيانات المهيكلة،
يحتوي أيضا على كمية هائلة من البيانات غير المهيكلة. هذه البيانات عادة ما تكون
نصوص غير مهيكلة. واحدة من مهام التنقيب محتوى الويب الهامة التي تتعامل مع هذه
البيانات هو تنقيب الرأي، الذي يجرد المشاعر الإيجابية أو السلبية. وسائل
الإعلام الاجتماعي ينمو بسرعة على شبكة الانترنت بما في ذلك الوظائف شاغرة،
المراجعات، المدونات، والمنتديات، ومواقع الشبكات الاجتماعية مثل الفيس بوك
وتويتر. هذه المحتويات هي ذات أهمية كبيرة بالنسبة لكثير من الأفراد والمؤسسات
وتساعدهم على اتخاذ القرارات. يمكن للأفراد ان تجد العديد من المرجعات على بعض
المنتجات على شبكة الإنترنت. المؤسسات عادة تهتم في معرفة آراء عملائهم من
المعلومات المتاحة للجمهور على شبكة الإنترنت.
الآراء
يمكن أن تكون عن أي شيء تقريبا بما في ذلك: الخدمات والمنتجات والقضايا
،والموضوعات ،والمعدات الإلكترونية، والتطبيقات، وغيرها الكثير. ويسمى الشيء الذي
يتم تقييمه "بالكيان". يمكن أن يتكون
هذا الكيان من "المكونات" "والصفات". قد يكون المكون له مكونات فرعية
وصفات، وهكذا. دعونا نلقي نظرة على المراجعة التالية كمثال:
"،، ، حصلت على جهاز حاسوب
محمول لينوفو جديد قبل أيام قليلة. إنه حاسوب لطيف. عمر البطارية هو مرضي جدا.
الشاشة نظيفة جدا. جودة الصوت واضحة كذلك، ، ،"
في المثال أعلاه، الكيان هو حاسوب  محمول. أنه
يحتوي على مكونات مثل الشاشة والبطارية. لديه صفات مثل جودة الصوت.
تمثيل أي كيان كشجرة من المكونات التي تحتوي على الكيان نفسه كجذر والمكونات
الاخرى كعُقد. كل عُقدة لديها مجموعة من
الصفات. يمكن أن نشكل أي رأي على أي عقدة أو صفة في هذه الشجرة.
مع ذلك،
عادة ما يتم تبسيط هذه الشجرة إلى مستويين باستخدام مصطلح "الجوانب" والذي يعبر عن كل من المكونات
والصفات. لذلك، الرأي هو في الأساس فكرة سلبية وايجابية، أو محايدة حول كيان أو
جانبا. الصفات بما في ذلك السلبية ،والايجابية، والمحايدة تسمى "توجهات الرأي". ويطلق على الشخص أو المؤسسة
التي تتبنى رأي "صاحب رأي".
لنفرض
الوثائق التي فيها اراء كـ M، الهدف من تنقيب الآراء هو استخراج جميع خماسيات الآراء (ei; aij ; ooijkl; hk; tl) في M، حيث ei هي اسم الكيان، aij هي جانب ei، ooijkl هي توجه الرأي، hk هو صاحب الرأي، tl هو الوقت الذي تم التعبير
فيه عن ذلك الرأي من قبل صاحبه. فبالتالي، استخراج الآراء يتم من خلال تنفيذ المهام التالية:
1. استخراج جميع الكيانات في M وتجميعها في مجاميع، بحيث
كل مجموعة تمثل كيان وحيد ei.
2. استخراج منيع الجوانب وتجميعها في مجاميع، بحيث
كل مجموعة تمثل جانب وحيد aij.
3. استخراج صاحب الرأي ومعلومة الوقت.
4. القيام بتصنيف جوانب العاطفة لتحديد إن كان الرأي
ايجابيا أو سلبيا أو محايدا.
5. وأخيرا، تجميع جميع خماسيات الآراء (ei; aij ; ooijkl; hk; tl) في M كنتيجة من المهام أعلاه.
4. تنقيب استخدام الويب.
يشير تنقيب استخدام شبكة الإنترنت لعملية اكتشاف
أنماط الاستخدام من البيانات على الويب. يتم تمثيل البيانات الأولية المستخدمة
في هذه العملية من خلال سجلات الاستخدام، التي تسجل التفاعلات بين المستخدم وموقع ويب.
هذا يتضمن بيانات مثل نقرات المستخدمين، تاريخ ووقت الوصول، عناوين IP، الخ. سجلات الاستخدام
عادة ما تكون موجودة على خوادم كما حال سجلات الدخول الملقم وسجلات تطبيق ويب.
وعلى غرار عملية استخراج البيانات، غالبا ما تنقسم عملية تنقيب استخدام
الانترنت إلى 3 مراحل، وهي: معالجة مسبقة، اكتشاف الانماط، وتحليل الانماط.
صورة 3 تُظهر هذه المراحل.
المرحلة الأولى، مرحلة ما قبل المعالجة، يتم تحويل بيانات الاستخدام إلى تجريدات،
والتي تمثل التفاعلات لمستخدم ضمن موقع الويب. يمكن أن تشارك أنواع أخرى من
البيانات في هذه المرحلة بما في ذلك بيانات حقيقية في صفحات الموقع، والبيانات
التي تصف بنية صفحات الويب، والبيانات التي تمثل معلومات ديموغرافية عن
في مرحلة
اكتشاف الانماط، يتم تطبيق مجموعة واسعة من الأساليب والتقنيات من مختلف المجالات
مثل الإحصاءات، واستخراج البيانات، وقواعد البيانات، والتعلم الآلي للكشف عن
الانماط المخفية التي تحمل في طياتها سلوكيات المستخدمين.
الأمثلة على التقنيات والطرق المستخدمة في هذا النوع من التنقيب كما يلي:
1. التحليل الإحصائي: باستخدام
الأساليب الإحصائية المختلفة، يمكن أن نجد العديد من المتغيرات التي تهمنا مثل:
تصفح الصفحات، وصفحات التي يتم الوصول إليها في أغلب الأحيان، ووقت العرض للصفحات،
وأطوال المسارات التنقليّة.
2. قواعد تكوين الروابط: توليد
مثل هذه القواعد يمكن أن تستخدم لربط الصفحات أو العناصر التي تم الوصول إليها أو
شراؤها بشكل متكرر من قبل المستخدمين. وهكذا، يتم مساعدة مصممي الويب لتنظيم محتوى
مواقع الويب الخاصة بهم بكفاءة.
3. التكتل: باستخدام تقنيات التكتل، يمكننا اكتشاف مجموعتين،
وهم: مجموعات المستخدمين ومجموعات الصفحات. مجموعات المستخدمين الذين لديهم أنماط
التصفح نفسها يمكن أن تكون مفيدة جدا لفرق التسويق، على سبيل المثال، لتزويدهم
بمحتويات شخصية.
4. أنماط التسلسل: عن طريق تنقيب أنماط التسلسل، يمكننا معرفة
المسارات التنقليّة المتكررة للمستخدمين. كمثال على هذا التنقيب أن يكون شيء من
هذا القبيل "على موقع ويب اتش كاريرز، 10% فقط من المستخدمين زار الصفحة
الرئيسية، ثم صفحة الوظائف، وأخيرا صفحة العرض".
المرحلة الأخيرة، تحليل نمط، الانماط
والإحصاءات التي اكتشفت في المرحلة السابقة يتم تجهيزها لتصفية القواعد أو
الانماط التي لا لزوم لها. يمكن أن تنتج هذه المرحلة النماذج التي يمكن
استخدامها كمدخل لتطبيقات أخرى مثل التصور وأدوات تحليلات الويب ونظم التوصية.
في كثير من الأحيان مطلوب آلية للاستعلام عن المعرفة في هذه المرحلة مثل لغة
الاستعلام الهيكلية (SQL).
5. الخلاصة واتجاهات مستقبلية.
مصدر البيانات كالويب، يُعد جديرا جدا للتنقيب
واستخراج المعرفة. من ناحية، ثراء وتنوع المعلومات على الويب جعله مصدرا قيما
للمعلومات يمكننا من خلاله استخراج الكثير من المعارف المفيدة. من ناحية أخرى،
فإنه يجعل عملية التنقيب أكثر صعوبة وأكثر تعقيدا من عملية تنقيب البيانات
التقليدية، وخاصة في غياب هيكلية محددة مسبقا.
دُرست على نطاق واسع العديد من القضايا البحثية في مجال تنقيب الويب. لكن، كما أن
الشبكة ما زالت تنمو في جميع الأبعاد بما في ذلك الهيكل، والمحتوى، ومعلومات الاستخدام،
لا تزال هناك العديد من المجالات، والتي يمكننا أن تستثمر فيها البحوث. يمكن أن
يتم إجراء مزيد من البحوث في توسيع نطاق مقاييس الويب الصحيحة واجراءات الحساب
لهذه المقاييس بحيث  يمكن دراسة السلوكيات
المختلفة على شبكة الانترنت. باستخدام البيانات نقر المستخدمين، يمكننا أن
نفعل المزيد من الأبحاث حول تطوير طرق لاستخراج عملية صنع القرار في حد ذاته، وليس
فقط النتائج النهائية لهذه العملية؛ هذا يمكن أن يساعد في تحسين عملية ومعرفة
تأثير مختلف أنحاء عملية ما على مقاييس الويب. وقد شوهد أيضا التنقيب في
شبكة الإنترنت كأداة مثالية لكشف ومنع الاحتيال والتهديد. وبالتالي، القضايا
البحثية تشمل التقنيات التي يمكن استخدامها لتطوير طرق لكشف العديد من أنواع