جودة البيانات
الاستخدام الأمثل لجودة البيانات

تعد جودة البيانات (DQ) مجالًا متخصصًا مطلوبًا لسلامة إدارة البيانات من خلال تغطية الفجوات في قضايا البيانات. هذه إحدى الوظائف الرئيسية التي تساعد في إدارة البيانات من خلال مراقبة البيانات للعثور على استثناءات لم تكتشفها عمليات إدارة البيانات الحالية. يمكن تحديد فحوصات جودة البيانات على مستوى السمة للتحكم الكامل في خطوات الإصلاح الخاصة بها.
قد تتداخل فحوصات جودة البيانات وقواعد العمل بسهولة إذا لم تكن المنظمة منتبهًا لنطاق جودة البيانات الخاص بها. يجب أن تفهم فرق العمل نطاق جودة البيانات تمامًا لتجنب التداخل. تكون فحوصات جودة البيانات زائدة عن الحاجة إذا كان منطق الأعمال يغطي نفس الوظيفة ويفي بنفس الغرض مثل جودة البيانات. يجب تحديد نطاق جودة البيانات للمنظمة في استراتيجية جودة البيانات وتنفيذها بشكل جيد. قد تتم ترجمة بعض فحوصات جودة البيانات إلى قواعد عمل بعد تكرار حالات الاستثناءات في الماضي.
فيما يلي بعض مجالات تدفق البيانات التي قد تحتاج إلى فحوصات جودة البيانات الدائمة:
يمكن إجراء فحوصات الدقة والاكتمال جودة البيانات على جميع البيانات عند نقطة الدخول لكل سمة إلزامية من كل نظام مصدر. يتم إنشاء قيم قليلة للسمات بعد الإنشاء الأولي للمعاملة ؛ في مثل هذه الحالات، تصبح إدارة هذه الفحوصات صعبة ويجب إجراؤها فورًا بعد الحدث المحدد لمصدر تلك السمة واستيفاء شروط السمة الأساسية الأخرى للمعاملة.
يمكن التحقق من صحة جميع البيانات التي تحتوي على سمات تشير إلى البيانات المرجعية في المؤسسة مقابل مجموعة القيم الصالحة المحددة جيدًا للبيانات المرجعية لاكتشاف قيم جديدة أو متناقضة من خلال التحقق من الصلاحية جودة البيانات. يمكن استخدام النتائج لتحديث البيانات المرجعية المُدارة بموجب إدارة البيانات الرئيسية (MDM) .
قد تخضع جميع البيانات التي يتم الحصول عليها من طرف ثالث إلى الفرق الداخلية للمؤسسة لفحص دقيق مقابل بيانات الطرف الثالث. تعتبر نتائج فحص جودة البيانات هذه ذات قيمة عند إدارتها على البيانات التي قامت بقفزات متعددة بعد نقطة إدخال تلك البيانات ولكن قبل أن يتم التصريح بهذه البيانات أو تخزينها لذكاء المؤسسة.
يمكن التحقق من صحة جميع أعمدة البيانات التي تشير إلى البيانات الرئيسية للتحقق من التناسق . يكتشف فحص جودة البيانات الذي يتم إدارته على البيانات عند نقطة الإدخال بيانات جديدة لعملية إدارة البيانات الرئيسية، لكن فحص جودة البيانات الذي يتم إدارته بعد نقطة الدخول يكتشف فشل (وليس استثناءات) في الاتساق.
مع تحول البيانات، يتم التقاط طوابع زمنية متعددة ومواقع تلك الطوابع الزمنية ويمكن مقارنتها مع بعضها البعض ومدى صلاحيتها للتحقق من قيمتها، وانحلالها، وأهميتها التشغيلية مقابل اتفاقية مستوى خدمة محددة (اتفاقية مستوى الخدمة). يمكن استخدام فحص التوقيت جودة البيانات هذا لتقليل معدل اضمحلال قيمة البيانات وتحسين سياسات الجدول الزمني لحركة البيانات.
عادة ما يتم فصل المنطق المعقد في المنظمة إلى منطق أبسط عبر عمليات متعددة. المعقولية يتحقق جودة البيانات من مثل هذا المنطق المعقد الذي يؤدي إلى نتيجة منطقية ضمن نطاق محدد من القيم أو العلاقات المتبادلة الثابتة (قواعد العمل المجمعة) يمكن التحقق من صحتها لاكتشاف العمليات التجارية المعقدة ولكن الحاسمة والقيم المتطرفة للبيانات، وانحرافها عن  العمل كالمعتاد ) التوقعات، وقد توفر استثناءات محتملة تؤدي في النهاية إلى مشكلات في البيانات. قد يكون هذا الفحص عبارة عن قاعدة تجميع عامة بسيطة غارقة في جزء كبير من البيانات أو يمكن أن يكون منطقًا معقدًا على مجموعة من سمات المعاملة المتعلقة بالأعمال الأساسية للمؤسسة. يتطلب فحص جودة البيانات درجة عالية من المعرفة والفطنة في مجال الأعمال. قد يساعد اكتشاف مسائل المعقولية في إجراء تغييرات في السياسة والاستراتيجية من خلال إدارة الأعمال أو البيانات أو كليهما.
هناك العديد من الأماكن في حركة البيانات حيث قد لا تكون فحوصات جودة البيانات مطلوبة. على سبيل المثال، يعد التحقق من جودة البيانات للاكتمال والدقة في الأعمدة غير الفارغة مكررًا للبيانات التي تم الحصول عليها من قاعدة البيانات. وبالمثل، يجب التحقق من صحة البيانات للتأكد من دقتها فيما يتعلق بالوقت الذي يتم فيه تجميع البيانات عبر مصادر مختلفة. ومع ذلك، فهذه قاعدة عمل ولا ينبغي أن تكون في نطاق جودة البيانات.
للأسف، من منظور تطوير البرمجيات، غالبًا ما يُنظر إلى جودة البيانات على أنه شرط غير وظيفي. وعلى هذا النحو، لا يتم أخذ عمليات فحص / عمليات جودة البيانات الرئيسية في الاعتبار في حل البرنامج النهائي. في مجال الرعاية الصحية، تُنشئ التقنيات القابلة للارتداء أو شبكات منطقة الجسم كميات كبيرة من البيانات. مستوى التفاصيل المطلوب لضمان جودة البيانات مرتفع للغاية وغالبًا ما يتم التقليل من شأنه. وينطبق هذا أيضًا على الغالبية العظمى من تطبيقات الصحة المحمولة والسجلات الصحية الإلكترونية وغيرها من الحلول البرمجية المتعلقة بالصحة. ومع ذلك، توجد بعض الأدوات مفتوحة المصدر التي تفحص جودة البيانات. السبب الرئيسي لذلك، ينبع من التكلفة الإضافية المتضمنة إضافة درجة أعلى من الصرامة داخل بنية البرنامج.