أرشفة الويب
أرشفة الويب هي عملية جمع أجزاء من محتوى الشبكة العنكبوتية العالمية لضمان أن هذه المعلومات محفوظة رقميا في أرشيف للباحثين المستقبليين والمؤرخين والجمهور.
يستخدم أمناء أرشيف الويب عادة برامج زاحف الشبكة لإجراء عمليات الإستخلاص والإلتقاط الآلي، نظرا لحجم المعلومات الهائل وكميتها على الشبكة. تعتبر أرشيف الإنترنت أكبر منظمات أرشفة الويب المستندة على "نهج الزحف المجمع" (bulk crawling approach)؛ حيث أنها تسعى جاهدة للحفاظ على أرشيف للويب بأكمله.
لقد وفرت الورشة الدولية لأرشفة الويب -منذ إنشائها عام 2001- منصة لتشارك الخبرات وتبادل الأفكار، كما ساهم تأسيس الرابطة الدولية لحفظ الإنترنت لاحقا عام 2003 في تيسير التعاون الدولى بصورة كبيرة لتطوير المعايير والأدوات مفتوحة المصدر، الازمة لإنشاء أرشيفات الويب. تضافرت هذه التطورات، مع النسبة المتزايدة من الثقافة الإنسانية التي أنشئت وسجلت على الشبكة، في أن تصبح مواجهة المكتبات ودور المحفوظات لتحديات أرشفة الويب أمرا حتميا لا مفر منه.
تشارك جهات مختلفة أيضا مثل المكتبات الوطنية، الأرشيف الوطني، ومختلف اتحادات المنظمات، في أرشفة محتوى الويب ذي الأهمية الثقافية. تتوفر أيضا برمجيات وخدمات أرشفة الويب التجارية للمنظمات التي تحتاج إلى أرشفة محتوى الويب الخاص بشبكاتهم، وذلك من أجل التأريخ المؤسسي للمنظمة، أو لأغراض قانونية أو تنظيمية.
شملت الممارسات المبكرة لأرشفة الويب إلقاء الضوء على "جائزة موقع الإسبوع" لحفظ سجل هذه المسابقة. كان هناك ممارسة مبكرة أخرى بالإضافة إلى ذلك، تتصمن "قائمة الروابط المهنية" مثل: قائمة منظمة العفو الدولية لمجموعات حقوق الإنسان؛ دليل مواقع الويب الخاص بشركة ياهو!؛ الدليل المفتوح وغيرها.
قامت عدة مواقع للسرد في مجالها بتحديث دوري لمؤشرها الخاص بمواقع الويب الجديرة بالإهتمام بحسب فئة المحتوى، وذلك في منتصف تسعينيات القرن العشرين. اعتبر "دليل مواقع ياهو" عام 1998 أنه قدم اسهامات كبيرة في علم المكتبات الناشئة على الشبكة؛ ليس من حيث نظام التصنيف فقط، بل من حيث اسلوب تصفح المحتوى الذي قامت على تطويره الشركة.
اعتبرت عمليات التماس وتقييم وتصنيف المواقع -من حيث جمعها على نطاق واسع، ثم فرزها يدويا، ثم عرضها إلكترونيا- من أوائل صور تحليل مواقع الويب. تراجعت هذه الطرق اليدوية حتى اختفائها، نتيجة لظهور محركات البحث وتطورها لتعمل استنادا على نظام الخوارزميات الحاسوبية.
يقوم أمناء أرشفة الويب عامة بحفظ أنواع مختلفة من المحتوى، بما في ذلك: صفحات ويب إتش تي إم إل؛ أوراق النمط؛ جافا سكريبت؛ الصور الرقمية والفيديو الرقمي، كما أنهم يقومون بأرشفة البيانات الوصفية عن الموارد التي جمعت، مثل: وقت الوصول؛ نوع الملف (MIME type)؛ وطول المحتوى. تفيد هذه البيانات في إقرار عمليات الاستيثاق وتحديد المنشأ للمجموعة المؤرشفة.
تعتمد أكثر تقنيات أرشفة الويب شيوعا على زواحف الشبكة (عناكب الشبكة) لأتمتتة عمليات جمع صفحات الويب، حيث تقوم هذه البرمجيات عادة باستعرض تلك الصفحات، بنفس الطريقة التي تمكن المستخدمين من مطالعتها من خلال مستعرضات الويب على أجهزتهم المختلفة، وبالتالي توفر طريقة بسيطة نسبيا لتحصيل المحتوى على الشبكة عن بعد. من أمثلة البرامج الزاحفة التي يكثر استخدامها لأرشفة الويب تتضمن ما يلي:
هناك العديد من الخدمات المجانية التي يمكن استخدامها لأرشفة موارد الويب بناء على الطلب، وذلك اعتمادا على تقنيات الزحف على الشبكة مثل: خدمة WebCite، خدمة واي باك مشين وخدمات أخرى.
يشير أرشفة قاعدة البيانات إلى أساليب أرشفة المحتوى الأساسي للمواقع المصممة إستنادا على قواعد البيانات. يتطلب الأمر عادة استخراج محتوى قاعدة البيانات إلى مخطط منطقي قياسي، باستخدام إكس إم إل غالبا. هكذا تصبح المحتويات المؤرشفة من قواعد البيانات المتعددة متاحة باستخدام نظام وصول واحد، متى خزنت في تلك الهيئة القياسية الموحدة.
يتمثل هذا النهج من قبل أدوات DeepArc وXinq التي طورتها كل من المكتبة الوطنية الفرنسية والمكتبة الوطنية الأسترالية على التوالي. تمكن أداة DeepArc من تعيين بنية قاعدة البيانات المترابطة إلى مخطط XML، ثم يصدر المحتوى إلى وثيقة إكس إم إل. تسمح أداة Xinq بعد ذلك بتسليم هذا المحتوى عبر الإنترنت، كما تسمح بتكرار وظائف الاستعلام والاسترجاع الأساسية لقاعدة البيانات، وذلك على الرغم من أن التخطيط الأصلي وسلوك الموقع لا يمكن الحفاظ عليها تماما.
تعتمد أرشفة المعاملات نهج قائم على الحدث؛ حيث يجمع المعاملات الفعلية التي تجري بين خوادم الويب من جهة الموقع ومتصفحات الويب من جهة الزائر. تستخدم تلك المعاملات في المقام الأول كوسيلة لحفظ أدلة من المحتوى الفعلي الذي طالعه زوار موقع ويب معين في تاريخ معين. قد يمثل هذا أهمية خاصة لدى المنظمات التي تحتاج إلى الامتثال للمتطلبات القانونية والتنظيمية من أجل الكشف عن المعلومات والاحتفاظ بها.
يعمل نظام أرشفة المعاملات عادة عن طريق اعتراض كل طلب بروتوكول HTTP واستجابة من خادم الويب، كما يعمل أيضا على تصفية تلك الاستجابات للقضاء على ازدواجية المحتوى، ومن ثم يقوم بتخزينها بصورة دائمة من خلال bitstreams. هناك نظام أرشفة معاملات يتطلب تثبيت برنامج على خادم الويب، وبالتالي لا يمكن استخدامها لجمع المحتوى من موقع بعيد.
تستند محفوظات الويب إلى تقنيات الزحف على شبكة الإنترنت، باعتبارها الوسيلة الرئيسية لتجميع صفحات الويب. تتأثر تلك المحفوظات بالصعوبات التي تواجه البرامج الزاحفة على الشبكة فيما يلي:
ومع ذلك، يجب ملاحظة أن أرشيف الإنترنت بتنسيق أصلى (أي: ذلك الأرشيف الذي يمكن تصفح محتوياته بشكل كامل، من روابط عاملة، ملفات ميديا، ونحو ذلك) يكون متاحا فقط من خلال استخدام تكنولوجيا زاحف الشبكة.
أصبح الويب من الضخامة بحيث جعلت من الزحف على جزء كبير منه يستهلك كمية كبيرة من الموارد التقنية المتاحة، كما أن الويب آخذ في التغير بسرعة، حتى أن أجزاء من موقع ما على الشبكة قد تتغير قبل أن تنتهي البرامج الزاحفة من عمليات إلتقاط محتوياته.
ضبطت بعض خوادم الويب لتقوم بإرجاع الصفحات التي تطلبها البرامج الزاحفة بطريقة مختلفة عن تلك التي تستجيب بها لطلبات مستعرضات الويب المعتادة. يحدث ذلك عادة لخداع محركات البحث كي تقوم بتوجيه حركة الزائرين لموقع ما، كما يحدث غالبا لتجنب المسائلة، أو من أجل تقديم المحتوى المعزز فقط إلى متصفحات الويب القادرة على عرضه بصورة صحيحة لزائري الموقع.
لا يجب على أمناء أرشيف الويب التعامل مع التحديات التقنية لأرشفة محتوى الشبكة فقط، بل ينبغى عليهم أن يتعاملوا مع قوانين الملكية الفكرية أيضا. أفاد بيتر ليمان بأنه "على الرغم من النظرة الشائعة إلى الويب بإعتبارها مصدرا ذي ملكية عامة، فإنها محفوظة الحقوق؛ وبالتالي فإن أمناء محفوظات الويب لا يملكون حقا قانونيا لنسخ الشبكة". ومع ذلك، فإن المكتبات الوطنية في العديد من البلدان لديها الحق القانوني للقيام بنسخ أجزاء من الشبكة بموجب إمتداد الإيداع القانوني.
تسمح بعض محفوظات الويب الخاصة غير الربحية لمالكي المحتوى من القيام بإخفاء أو إزالة المحتويات المؤرشفة التي لا يريدون للجمهور أن يصل إليها، حيث أن هذه الخدمات متاحة للجمهور على الشبكة من خلال مواقع الأرشيف الخاصة بها، ومن أمثلتها: WebCite؛ أرشيف الإنترنت ومؤسسة ذاكرة الإنترنت. توجد بعض الأرشيفات الأخرى تقصر الوصول إليها على مواقع جغرافية معينة فقط، أو أن لديها تنظيم محدد لإستخدام مواردها.
توجد أمثلة للإعتراض على خدمات أرشفة الويب، منها الدعوى القضائية التي أقامها أحد المؤلفين ضد شركة جوجل عام 2006 لقيام خدمتها لأرشفة الويب بحفظ نسخة من قصة قام بنشرها على موقعه، مطالبا الشركة بحذفها من أرشيفهم بدعوى إنتهاكها حقوق الملكية؛ لكن صدر حكم المحكمة لصالح جوجل مفاداه أن عمليات أرشفة الويب للمواد ذات حقوق الملكية الفكرية تدرج تحت بند الاستخدام العادل.
تنطوي عمليات الإدارة لحفظ أصول محتوى الشبكة في أرشيفات الإنترنت على ما يلي:
وعلى هذا، يجب أن تدرج جوانب أخرى بالإضافة إلى مناقشة أساليب جمع محتوى الويب، تتضمن: طرق توفير إمكانية الوصول، وسائل التصديق، وسبل التنظيم. هناك مجموعة من الأدوات الشائعة التي تتناول هذه الخطوات التنظيمية كالتالي: