جودة البيانات

جودة البيانات
تشير جودة البيانات إلى حالة كمية المعلومات سواءً كانت نوعية أو كمية. هناك المزيد من تعريفات جودة البيانات، ولكن البيانات تعتبر بشكل عام ذات جودة عالية إذا كانت مناسبة للاستخدام المقصود في العمليات وصنع القرار والتخطيط . علاوةً على ذلك، تعتبر البيانات ذات جودة عالية إذ إنها ستمثل بشكل صحيح تكوين العالم الحقيقي التي يشير إليها.
وبخلاف هذه التعريفات والزيادة في عدد مصادر البيانات، تعيش مجتمعات ما بعد الصناعة الأكثر تطوراً بالمعلومات وتكنولوجيا الاتصالات في عالم جودة البيانات وأصبح مصطلح جودة البيانات شائع جداً وكلما زادت جودة البيانات ازدهرت هذه المجتمعات أكثر، تصبح مسألة اتساق البيانات الداخلية مهمة، بغض النظر عن مدى ملاءمتها لأي غرض خارجي معين. غالبًا ما يكون لدى الأشخاص أفكار مختلفة حول جودة البيانات، حتى عند مناقشة نفس مجموعة البيانات المستخدمة لنفس الغرض. في نفس السياق، يتم استخدام إدارة البيانات لتشكيل تعريفات ومعايير جودة البيانات المتفق عليها. في مثل هذه الحالات، قد يلزم تنقية البيانات، بما في ذلك التوحيد القياسي، لضمان جودة البيانات.
التعريفات
يعد تحديد جودة البيانات أمراً صعباً نظراً للسياقات المتعددة التي يتم تستخدم فيها البيانات، ووجهات النظر المختلفة بين المستخدمين النهائيين والمنتجين وأمناء البيانات.
من منظور المستهلك، جودة البيانات هي:
البيانات الصالحة للإستخدام من قبل مستهلكي البيانات
البيانات التي تلبي أو تتجاوز توقعات المستهلك
البيانات التي تفي بمتطلبات الاستخدام المقصود
من منظور الأعمال التجارية، فإن جودة البيانات هي:
البيانات الملاءمة للاستخدام في أدوارها التشغيلية واتخاذ القرار والأدوار الأخرى المقصودة أو التي تثبت التوافق مع المعايير التي وضعت، بحيث يتم لتحقيق الملاءمة للاستخدام
البيانات الملاءمة للاستخدامات المقصودة في العمليات واتخاذ القرار والتخطيط
قدرة البيانات على تلبية متطلبات الأعمال والنظام والمتطلبات الفنية لمؤسسة ما
من المنظور القائم على المعايير، فإن جودة البيانات هي:
الدرجة التي تفي بها مجموعة من الخصائص المتأصلة (أبعاد الجودة) للكائن (البيانات) بالمتطلبات
فائدة البيانات ودقتها وصحتها لتطبيقها
يمكن القول، في جميع هذه الحالات، جودة البيانات هي مقارنة الحالة الفعلية لمجموعة معينة من البيانات بالحالة المرغوبة، والتي يشار إليها غالبًا باسم ملاءمة للاستخدام ، للمواصفات ، لتلبية توقعات المستهلك أو خالية من العيوب أو تفي بالمتطلبات . غالبًا ما تتم صياغة هذه التوقعات والقواعد والمتطلبات بواسطة فرد أو أكثر أو مجموعات أو منظمات معايير أو قوانين ولوائح أو سياسات التوظيف أو سياسات تطوير البرامج.
أبعاد جودة البيانات
عند التعمق أكثر، يتم تحديد تلك التوقعات والمواصفات والمتطلبات من حيث الخصائص أو أبعاد البيانات، أمثلة:
إمكانية الوصول أو التوفر
الدقة أو الصحة
قابلية المقارنة
الكمال أو الشمولية
الاتساق والتماسك والوضوح
المصداقية أو الثقة أو الصيت
المرونة
المعقولية
الملاءمة أو الصلة أو الفائدة
حسن التوقيت أو الكمون
التفرد
الصلاحية أو المعقولية
تشير مراجعة تحديد النطاق المنهجية للأدبيات إلى أن أبعاد جودة البيانات والأساليب ذات البيانات الحقيقية لا تتسق في الأدبيات، ونتيجة لذلك فإن تقييمات الجودة تمثل تحديًا بسبب الطبيعة المعقدة وغير المتجانسة لهذه البيانات.
تاريخ
قبل ظهور تخزين بيانات الكمبيوتر غير المكلف، تم استخدام أجهزة الكمبيوتر الضخمة الحاسوبية للحفاظ على بيانات الاسم والعناوين لخدمات التوصيل. كان هذا حتى يمكن توجيه البريد بشكل صحيح إلى وجهته. استخدمت الحواسيب المركزية قواعد العمل لتصحيح الأخطاء الإملائية الشائعة والأخطاء المطبعية في الإسم والعناوين، وكذلك تتبع العملاء الذين انتقلوا أو ماتوا أو ذهبوا إلى السجن أو المتزوجين أو المطلقين أو من عانى من أي أحداث أخرى غيرت حياتهم، الوكالات الحكومية بدأت في إتاحة البيانات البريدية لعدد قليل من الشركات الخاصة بخدمات الإحالة المرجعية لبيانات العملاء مع السجل الوطني لتغيير العنوان (NCOA) . وفرت هذه التكنولوجيا على الشركات الكبيرة ملايين من الدولارات مقارنةً بالتصحيح اليدوي لبيانات العميل، تم توفير الشركات الكبيرة على الطوابع البريدية، حيث وصلت الفواتير والمواد التسويقية المباشرة إلى العميل المقصود بشكل أكثر دقة، تم بيع جودة البيانات في البداية كخدمة، حيث تم نقل جودة البيانات داخل جدران الشركات، حيث أصبحت تقنية الخادم منخفضة التكلفة ومتاحة بشكل أقوى.
غالبا ما ركزت الشركات التي تركز على التسويق جهودها في مجال الجودة على معلومات الاسم والعنوان، ولكن يتم التعرف على جودة البيانات كخاصية مهمة لجميع أنواع البيانات. يمكن تطبيق مبادئ جودة البيانات على بيانات سلسلة التوريد وبيانات المعاملات وتقريبا كل فئة أخرى من البيانات الموجودة. على سبيل المثال، جعل بيانات سلسلة التوريد مطابقة لمعيار معين له قيمة بالنسبة للمؤسسة من خلال:
تجنب التخزين الزائد لمخزون مشابه ولكنه مختلف قليلا
تجنب المخزون الخاطئ
تحسين فهم مشتريات البائعين للتفاوض على خصومات الحجم
تجنب التكاليف اللوجستية في تخزين وشحن الأجزاء عبر مؤسسة كبيرة.
بالنسبة للشركات التي تبذل جهودًا بحثية كبيرة، يمكن أن تشمل جودة البيانات تطوير بروتوكولات لطرق البحث، وتقليل أخطاء القياس، وفحص حدود البيانات، وجدولة متقاطعة، والنمذجة، واكتشاف الحالات الخارجية، والتحقق من سلامة البيانات، وما إلى ذلك.
ضمان جودة البيانات
ضمان جودة البيانات هو عملية تنميط البيانات لاكتشاف التناقضات والشذوذ الأخرى في البيانات، بالإضافة إلى تنفيذ أنشطة تنقية البيانات (مثل إزالة القيم المتطرفة، واستيفاء البيانات المفقودة ) لتحسين جودة البيانات.
يمكن تنفيذ هذه الأنشطة كجزء من تخزين البيانات أو كجزء من إدارة قاعدة البيانات لجزء موجود من برنامج التطبيق .
مراقبة جودة البيانات
مراقبة جودة البيانات هي عملية التحكم في استخدام البيانات لتطبيق أو عملية. يتم تنفيذ هذه العملية قبل وبعد عملية ضمان جودة البيانات (QA)، والتي تتكون من اكتشاف عدم تناسق البيانات وتصحيحها.
قبل:
يقيد المدخلات، بعد عملية ضمان الجودة، يتم جمع الإحصائيات التالية لتوجيه عملية مراقبة الجودة (QC):
شدة التناقض
عدم الاكتمال
الدقة
الإحكام
مفقود / غير معروف
تستخدم عملية مراقبة جودة البيانات المعلومات من عملية ضمان الجودة لتقرير استخدام البيانات للتحليل أو في تطبيق أو عملية تجارية. مثال عام: إذا وجدت عملية مراقبة جودة البيانات أن البيانات تحتوي على عدد كبير جدًا من الأخطاء أو التناقضات، فإنها تمنع استخدام هذه البيانات في العملية المقصودة مما قد يتسبب في حدوث اضطراب. مثال محدد: قد يؤدي توفير قياسات غير صالحة من عدة أجهزة استشعار إلى ميزة الطيار الآلي على متن طائرة إلى تعطلها. وبالتالي، فإن إنشاء عملية مراقبة الجودة يوفر حماية لاستخدام البيانات.
الاستخدام الأمثل لجودة البيانات
تعد جودة البيانات (DQ) مجالًا متخصصًا مطلوبًا لسلامة إدارة البيانات من خلال تغطية الفجوات في قضايا البيانات. هذه إحدى الوظائف الرئيسية التي تساعد في إدارة البيانات من خلال مراقبة البيانات للعثور على استثناءات لم تكتشفها عمليات إدارة البيانات الحالية. يمكن تحديد فحوصات جودة البيانات على مستوى السمة للتحكم الكامل في خطوات الإصلاح الخاصة بها.
قد تتداخل فحوصات جودة البيانات وقواعد العمل بسهولة إذا لم تكن المنظمة منتبهًا لنطاق جودة البيانات الخاص بها. يجب أن تفهم فرق العمل نطاق جودة البيانات تمامًا لتجنب التداخل. تكون فحوصات جودة البيانات زائدة عن الحاجة إذا كان منطق الأعمال يغطي نفس الوظيفة ويفي بنفس الغرض مثل جودة البيانات. يجب تحديد نطاق جودة البيانات للمنظمة في استراتيجية جودة البيانات وتنفيذها بشكل جيد. قد تتم ترجمة بعض فحوصات جودة البيانات إلى قواعد عمل بعد تكرار حالات الاستثناءات في الماضي.
فيما يلي بعض مجالات تدفق البيانات التي قد تحتاج إلى فحوصات جودة البيانات الدائمة:
يمكن إجراء فحوصات الدقة والاكتمال جودة البيانات على جميع البيانات عند نقطة الدخول لكل سمة إلزامية من كل نظام مصدر. يتم إنشاء قيم قليلة للسمات بعد الإنشاء الأولي للمعاملة ؛ في مثل هذه الحالات، تصبح إدارة هذه الفحوصات صعبة ويجب إجراؤها فورًا بعد الحدث المحدد لمصدر تلك السمة واستيفاء شروط السمة الأساسية الأخرى للمعاملة.
يمكن التحقق من صحة جميع البيانات التي تحتوي على سمات تشير إلى البيانات المرجعية في المؤسسة مقابل مجموعة القيم الصالحة المحددة جيدًا للبيانات المرجعية لاكتشاف قيم جديدة أو متناقضة من خلال التحقق من الصلاحية جودة البيانات. يمكن استخدام النتائج لتحديث البيانات المرجعية المُدارة بموجب إدارة البيانات الرئيسية (MDM) .
قد تخضع جميع البيانات التي يتم الحصول عليها من طرف ثالث إلى الفرق الداخلية للمؤسسة لفحص دقيق مقابل بيانات الطرف الثالث. تعتبر نتائج فحص جودة البيانات هذه ذات قيمة عند إدارتها على البيانات التي قامت بقفزات متعددة بعد نقطة إدخال تلك البيانات ولكن قبل أن يتم التصريح بهذه البيانات أو تخزينها لذكاء المؤسسة.
يمكن التحقق من صحة جميع أعمدة البيانات التي تشير إلى البيانات الرئيسية للتحقق من التناسق . يكتشف فحص جودة البيانات الذي يتم إدارته على البيانات عند نقطة الإدخال بيانات جديدة لعملية إدارة البيانات الرئيسية، لكن فحص جودة البيانات الذي يتم إدارته بعد نقطة الدخول يكتشف فشل (وليس استثناءات) في الاتساق.
مع تحول البيانات، يتم التقاط طوابع زمنية متعددة ومواقع تلك الطوابع الزمنية ويمكن مقارنتها مع بعضها البعض ومدى صلاحيتها للتحقق من قيمتها، وانحلالها، وأهميتها التشغيلية مقابل اتفاقية مستوى خدمة محددة (اتفاقية مستوى الخدمة). يمكن استخدام فحص التوقيت جودة البيانات هذا لتقليل معدل اضمحلال قيمة البيانات وتحسين سياسات الجدول الزمني لحركة البيانات.
عادة ما يتم فصل المنطق المعقد في المنظمة إلى منطق أبسط عبر عمليات متعددة. المعقولية يتحقق جودة البيانات من مثل هذا المنطق المعقد الذي يؤدي إلى نتيجة منطقية ضمن نطاق محدد من القيم أو العلاقات المتبادلة الثابتة (قواعد العمل المجمعة) يمكن التحقق من صحتها لاكتشاف العمليات التجارية المعقدة ولكن الحاسمة والقيم المتطرفة للبيانات، وانحرافها عن العمل كالمعتاد ) التوقعات، وقد توفر استثناءات محتملة تؤدي في النهاية إلى مشكلات في البيانات. قد يكون هذا الفحص عبارة عن قاعدة تجميع عامة بسيطة غارقة في جزء كبير من البيانات أو يمكن أن يكون منطقًا معقدًا على مجموعة من سمات المعاملة المتعلقة بالأعمال الأساسية للمؤسسة. يتطلب فحص جودة البيانات درجة عالية من المعرفة والفطنة في مجال الأعمال. قد يساعد اكتشاف مسائل المعقولية في إجراء تغييرات في السياسة والاستراتيجية من خلال إدارة الأعمال أو البيانات أو كليهما.
هناك العديد من الأماكن في حركة البيانات حيث قد لا تكون فحوصات جودة البيانات مطلوبة. على سبيل المثال، يعد التحقق من جودة البيانات للاكتمال والدقة في الأعمدة غير الفارغة مكررًا للبيانات التي تم الحصول عليها من قاعدة البيانات. وبالمثل، يجب التحقق من صحة البيانات للتأكد من دقتها فيما يتعلق بالوقت الذي يتم فيه تجميع البيانات عبر مصادر مختلفة. ومع ذلك، فهذه قاعدة عمل ولا ينبغي أن تكون في نطاق جودة البيانات.
للأسف، من منظور تطوير البرمجيات، غالبًا ما يُنظر إلى جودة البيانات على أنه شرط غير وظيفي. وعلى هذا النحو، لا يتم أخذ عمليات فحص / عمليات جودة البيانات الرئيسية في الاعتبار في حل البرنامج النهائي. في مجال الرعاية الصحية، تُنشئ التقنيات القابلة للارتداء أو شبكات منطقة الجسم كميات كبيرة من البيانات. مستوى التفاصيل المطلوب لضمان جودة البيانات مرتفع للغاية وغالبًا ما يتم التقليل من شأنه. وينطبق هذا أيضًا على الغالبية العظمى من تطبيقات الصحة المحمولة والسجلات الصحية الإلكترونية وغيرها من الحلول البرمجية المتعلقة بالصحة. ومع ذلك، توجد بعض الأدوات مفتوحة المصدر التي تفحص جودة البيانات. السبب الرئيسي لذلك، ينبع من التكلفة الإضافية المتضمنة إضافة درجة أعلى من الصرامة داخل بنية البرنامج.
أمن البيانات الصحية والخصوصية
يؤدي استخدام الأجهزة المحمولة في مجال الصحة، أو الصحة المتنقلة، إلى خلق تحديات جديدة لأمن البيانات الصحية وخصوصيتها، بطرق تؤثر بشكل مباشر على جودة البيانات. تعد الصحة المحمولة استراتيجية متزايدة الأهمية لتقديم الخدمات الصحية في البلدان منخفضة ومتوسطة الدخل. تُستخدم الهواتف المحمولة والأجهزة اللوحية لجمع البيانات وإعداد التقارير عنها وتحليلها في الوقت الفعلي تقريبًا. ومع ذلك، تُستخدم هذه الأجهزة المحمولة بشكل شائع في الأنشطة الشخصية أيضًا، مما يجعلها أكثر عرضة لمخاطر الأمان التي قد تؤدي إلى انتهاكات البيانات. دون ضمانات أمنية مناسبة، قد يؤدي هذا الاستخدام الشخصي إلى تعريض جودة البيانات الصحية وأمانها وسريتها للخطر.
جودة البيانات في الصحة العامة
أصبحت جودة البيانات محورًا رئيسيًا لبرامج الصحة العامة في السنوات الأخيرة، خاصة مع زيادة الطلب على المساءلة. يجب أن يستند العمل نحو أهداف طموحة تتعلق بمكافحة الأمراض مثل الإيدز والسل والملاريا إلى أنظمة مراقبة وتقييم قوية تنتج بيانات عالية الجودة تتعلق بتنفيذ البرنامج. تسعى هذه البرامج ومدققو البرامج بشكل متزايد إلى أدوات لتوحيد وتبسيط عملية تحديد جودة البيانات، والتحقق من جودة البيانات المبلغ عنها، وتقييم إدارة البيانات الأساسية وأنظمة إعداد التقارير الخاصة بالمؤشرات. ومن الأمثلة على ذلك أداة مراجعة جودة البيانات الخاصة بمنظمة الصحة العالمية و MEASURE Evaluation تعاونت منظمة الصحة العالمية والصندوق العالمي والتحالف العالمي للقاحات والتحصين وتقييم MEASURE لإنتاج نهج منسق لضمان جودة البيانات عبر مختلف الأمراض والبرامج.
جودة البيانات المفتوحة
هناك عدد من الأعمال العلمية المكرسة لتحليل جودة البيانات في مصادر البيانات المفتوحة، مثل ويكيبيديا ويكي بيانات وDBpedia وغيرها. في حالة ويكيبيديا، قد يتعلق تحليل الجودة بالمقال بأكمله تنفذ نمذجة الجودة هناك عن طريق طرق مختلفة. يستخدم بعضهم خوارزميات التعلم الآلي، بما في ذلك الغابة العشوائية، شعاع الدعم الآلي، وغيرها. تختلف طرق تقييم جودة البيانات في ويكيبيانات وDBpedia ومصادر البيانات المترابطة الأخرى.
انظر أيضا
جدار حماية جودة البيانات
تأكيد صحة البيانات
تسجيل الارتباط
جودة المعلومات
إدارة البيانات الرئيسية
مراقبة البيانات
تطبيع قاعدة البيانات
عرض مرئي للمعلومات
تحليل البيانات
إدارة البيانات السريرية
مراجع
قراءة متعمقة
Baamann, Katharina, Data Quality Aspects of Revenue Assurance , Article
Eckerson, W. (2002) Data Warehousing Special Report: Data quality and the bottom line , Article
Ivanov, K. (1972) Quality-control of information: On the concept of accuracy of information in data banks and in management information systems . The University of Stockholm and The Royal Institute of Technology. Doctoral dissertation.
Hansen, M. (1991) Zero Defect Data, MIT. Masters thesis
Kahn, B., Strong, D., Wang, R. (2002) Information Quality Benchmarks: Product and Service Performance, Communications of the ACM, April 2002. pp. 184–192. Article
Price, R. and Shanks, G. (2004) A Semiotic Information Quality Framework, Proc. IFIP International Conference on Decision Support Systems (DSS2004): Decision Support in an Uncertain and Complex World, Prato. Article
Redman, T. C. (2008) Data Driven: Profiting From Our Most Important Business Asset
Wand, Y. and Wang, R. (1996) Anchoring Data Quality Dimensions in Ontological Foundations, Communications of the ACM, November 1996. pp. 86–95. Article
Wang, R., Kon, H. & Madnick, S. (1993), Data Quality Requirements Analysis and Modelling, Ninth International Conference of Data Engineering, Vienna, Austria. Article
Fournel Michel, Accroitre la qualité et la valeur des données de vos clients, éditions Publibook, 2007. ISBN 978-2-7483-3847-8.
Daniel F., Casati F., Palpanas T., Chayka O., Cappiello C. (2008) Enabling Better Decisions through Quality-aware Reports , International Conference on Information Quality (ICIQ), MIT. Article
Jack E. Olson (2003), Data Quality: The Accuracy dimension , Morgan Kaufmann Publishers
Woodall P., Oberhofer M., and Borek A. (2014), A Classification of Data Quality Assessment and Improvement Methods . International Journal of Information Quality 3 (4), 298–321. doi:10.1504/ijiq.2014.068656.
Woodall, P., Borek, A., and Parlikad, A. (2013), Data Quality Assessment: The Hybrid Approach. Information & Management 50 (7), 369–382.
روابط خارجية
دورة جودة البيانات من مركز التعلم الصحي العالمي
علوم المعلومات