تنظيم البيانات

تنظيم البيانات هو تنظيم وتكامل البيانات التي تم جمعها من مصادر مختلفة. وهو ينطوي على شرح ونشر ونشر البيانات بحيث يتم الحفاظ على قيمة البيانات مع مرور الوقت ، وتظل البيانات متاحة لإعادة الاستخدام والمحافظة عليها. يتضمن تنظيم البيانات "جميع العمليات اللازمة لإنشاء وصيانة وإدارة البيانات المبدئية والتحكم فيها ، بالإضافة إلى القدرة على إضافة قيمة إلى البيانات". [1] في العلوم ، قد يشير تنسيق البيانات إلى عملية استخراج المعلومات المهمة من النصوص العلمية ، مثل المقالات البحثية من قبل الخبراء ، ليتم تحويلها إلى تنسيق إلكتروني ، مثل إدخال قاعدة بيانات بيولوجية. [2]
في العصر الحديث للبيانات الضخمة ، أصبح تنسيق البيانات أكثر بروزًا ، خاصة فيما يتعلق بمعالجة البرمجيات لأنظمة البيانات الكبيرة الحجم والمعقدة. [3] يستخدم المصطلح أيضًا في الاستخدامات التاريخية والإنسانيات ، [4] حيث تتطلب زيادة البيانات الثقافية والعلمية من مشاريع العلوم الإنسانية الرقمية الخبرة والممارسات التحليلية في تنظيم البيانات. [5] بعبارات عامة ، يشير المعرض إلى مجموعة من الأنشطة والعمليات التي تتم لإنشاء عنصر وإدارته وصيانته والتحقق من صحته. [6] على وجه التحديد ، يعد تنظيم البيانات محاولة لتحديد المعلومات التي تستحق الحفظ والوقت الذي تستغرقه. المستخدم ، بدلاً من قاعدة البيانات نفسها ، يبدأ عادة في تنظيم البيانات ويحتفظ بالبيانات الوصفية. [8] وفقًا لكلية الدراسات العليا في المكتبات والمعلومات بجامعة إلينوي ، "تعد إدارة البيانات بمثابة إدارة نشطة ومستمرة للبيانات من خلال دورة حياتها التي تهمها وتفيدها في المنحة والعلوم والتعليم ؛ وتمكّن أنشطة الإشراف اكتشاف البيانات واسترجاعها ، والحفاظ على الجودة ، والقيمة المضافة ، وتوفير إعادة استخدامها مع مرور الوقت. "[9] يختلف سير عمل تنظيم البيانات عن إدارة جودة البيانات ، وحماية البيانات ، وإدارة دورة الحياة ، وحركة البيانات. [8]
كانت بيانات التعداد متاحة في شكل بطاقة لكمة مجدولة منذ أوائل القرن العشرين وأصبحت إلكترونية منذ الستينيات. [10] يصادف موقع اتحاد الجامعات للبحوث السياسية والاجتماعية (ICPSR) على شبكة الإنترنت بين عام 1962 وتاريخ أول أرشيف لبيانات المسح. [11]
ظهرت خلفية عميقة حول مكتبات البيانات في عدد 1982 من مجلة إلينوي ، Library Trends. [12] للاطلاع على الخلفية التاريخية لحركة أرشيف البيانات ، راجع "احتياجات المعلومات العلمية الاجتماعية للبيانات الرقمية: تطور البنية التحتية لأرشيف البيانات الدولي." [13] تعتمد عملية التصنيف الدقيقة التي تتم داخل أي مؤسسة على حجم البيانات ، ومقدار الضوضاء تحتوي البيانات وماذا يعني الاستخدام المستقبلي للبيانات في نشرها. [3]
أدت الأزمات في بيانات الفضاء إلى إنشاء نموذج نظام معلومات المحفوظات المفتوحة (OAIS) في عام 1999 ، [14] الذي أشرفت عليه اللجنة الاستشارية لأنظمة بيانات الفضاء (CCSDS) ، التي تشكلت في عام 1982. [15]
يستخدم مصطلح تنظيم البيانات في بعض الأحيان في سياق قواعد البيانات البيولوجية ، حيث يتم أولاً الحصول على معلومات بيولوجية محددة من مجموعة من المقالات البحثية ثم تخزينها ضمن فئة محددة من قواعد البيانات. على سبيل المثال ، يمكن الحصول على معلومات حول الأدوية المضادة للاكتئاب من مصادر مختلفة ، وبعد التحقق مما إذا كانت متوفرة كقاعدة بيانات أم لا ، يتم حفظها ضمن فئة مكافحة الاكتئاب في قاعدة بيانات الدواء. تستخدم الشركات أيضًا تنسيق البيانات ضمن عملياتها التشغيلية والاستراتيجية لضمان جودة البيانات ودقتها. يدرس مشروع حزم معلومات النشر (DIPS) لإعادة استخدام المعلومات (DIPIR) بيانات البحوث التي يتم إنتاجها واستخدامها بواسطة علماء الاجتماع الكمي وعلماء الآثار وعلماء الحيوان. الجمهور المقصود هو الباحثون الذين يستخدمون البيانات الثانوية والقيمين الرقميين ومديري المستودعات الرقمية وموظفي مركز البيانات وغيرهم ممن يقومون بجمع المعلومات الرقمية وإدارتها وتخزينها. [18]
تأسس بنك بيانات البروتين في عام 1971 في مختبر بروكهافن الوطني ، ونما ليصبح مشروعًا عالميًا. [19] قاعدة بيانات للبيانات الهيكلية ثلاثية الأبعاد للبروتينات وغيرها من الجزيئات البيولوجية الكبيرة ، يحتوي PDB على أكثر من 120،000 بنية ، وكلها موحدة ، والتحقق من صحة ضد البيانات التجريبية ، ومشروح.
يرجع تاريخ FlyBase ، المستودع الرئيسي للبيانات الوراثية والجزيئية لعائلة الحشرات Drosophilidae ، إلى عام 1992. ويوضح FlyBase كامل جينوم ذبابة الفاكهة السوداء.
اتحاد البيانات اللغوية هو مستودع للبيانات اللغوية ، يرجع تاريخه إلى عام 1992. [21]
بدأ مسح Sloan Digital Sky Survey مسح السماء الليلية في عام 2000. [22] عالم الكمبيوتر جيم جراي ، أثناء عمله في هندسة البيانات في SDSS ، دافع عن فكرة تنسيق البيانات في العلوم. [23]
كان DataNet برنامجًا بحثيًا لمكتب مؤسسة العلوم الوطنية الأمريكية للبنية التحتية السيبرانية ، حيث قام بتمويل مشاريع إدارة البيانات في العلوم. [24] يعد DataONE (شبكة مراقبة البيانات من أجل الأرض) أحد المشروعات الممولة من خلال DataNet ، مما يساعد مجتمع العلوم البيئية على حفظ البيانات ومشاركتها. [25]