تنظيف البيانات  تنظيف البيانات هو عملية إصلاح أو إزالة البيانات غير الصحيحة أو التالفة أو المنسقة بشكل غير صحيح أو المكررة أو غير المكتملة ضمن مجموعة البيانات. يمكن إجراء تنقية البيانات بشكل تفاعلي مع أدوات تبادل البيانات، أو كمعالجة مجمعة من خلال البرمجة النصية.  عند استخدام البيانات، يتفق معظم الأشخاص على أن الرؤى والتحليلات الخاصة بك جيدة مثل البيانات التي تستخدمها. في الأساس، البيانات المهملة هي عبارة عن تحليل للقمامة، يعد تنظيف البيانات، الذي يشار إليه أيضًا باسم تنقية البيانات وتنقية البيانات، أحد أهم الخطوات لمؤسستك إذا كنت ترغب في إنشاء ثقافة حول اتخاذ قرارات جودة البيانات.  عند الجمع بين مصادر بيانات متعددة، هناك العديد من الفرص لتكرار البيانات أو تسميتها بشكل خاطئ. إذا كانت البيانات غير صحيحة، فإن النتائج والخوارزميات لا يمكن الاعتماد عليها، على الرغم من أنها قد تبدو صحيحة. لا توجد طريقة واحدة مطلقة لوصف الخطوات الدقيقة في عملية تنظيف البيانات لأن العمليات ستختلف من مجموعة بيانات إلى مجموعة بيانات. ولكن من الأهمية بمكان إنشاء نموذج لعملية تنظيف البيانات الخاصة بك حتى تعرف أنك تقوم بذلك بالطريقة الصحيحة في كل مرة. بعد التطهير، يجب أن تكون مجموعة البيانات متسقة مع مجموعات البيانات المماثلة الأخرى في النظام. قد تكون حالات عدم الاتساق التي تم اكتشافها أو إزالتها ناتجة في الأصل عن أخطاء في إدخال المستخدم، أو تلف في الإرسال أو التخزين، أو بسبب تعريفات قاموس البيانات المختلفة لكيانات مماثلة في متاجر مختلفة. يختلف تنظيف البيانات عن التحقق من صحة البيانات في هذا التحقق من الصحة يعني دائمًا رفض البيانات من النظام عند الإدخال ويتم إجراؤها في وقت الإدخال، وليس على دفعات من البيانات.  قد تتضمن العملية الفعلية لتنقية البيانات إزالة الأخطاء المطبعية أو التحقق من صحة القيم وتصحيحها مقابل قائمة معروفة من الكيانات. قد يكون التحقق من الصحة صارمًا (مثل رفض أي عنوان لا يحتوي على رمز بريدي صالح)، أو باستخدام مطابقة غامضة أو تقريبية للسلسلة (مثل تصحيح السجلات التي تتطابق جزئيًا مع السجلات الموجودة والمعروفة). ستعمل بعض حلول تنقية البيانات على تنظيف البيانات عن طريق التحقق المتقاطع مع مجموعة بيانات تم التحقق من صحتها. من الممارسات الشائعة لتطهير البيانات تحسين البيانات، حيث يتم جعل البيانات أكثر اكتمالاً عن طريق إضافة المعلومات ذات الصلة. على سبيل المثال، إلحاق العناوين بأي أرقام هواتف مرتبطة بهذا العنوان. قد يشمل تنقية البيانات أيضًا تنسيق (أو تطبيع) البيانات، وهي عملية تجميع البيانات من «تنسيقات الملفات المختلفة، واصطلاحات التسمية، والأعمدة»، وتحويلها إلى مجموعة بيانات واحدة متماسكة؛ مثال بسيط هو توسيع الاختصارات («st، rd، إلخ» إلى «street، road، إلى آخره»).  ما الفرق بين تنظيف البيانات وتحويلها؟  تنظيف البيانات هو العملية التي تزيل البيانات التي لا تنتمي إلى مجموعة البيانات الخاصة بك. تحويل البيانات هو عملية تحويل البيانات من تنسيق أو بنية إلى أخرى. يمكن أيضًا الإشارة إلى عمليات التحويل على أنها مناوشة البيانات، أو إدارة البيانات، وتحويلها ورسم خرائط لها من نموذج بيانات «خام» إلى تنسيق آخر للتخزين والتحليل. تركز هذه المقالة على عمليات تنظيف تلك البيانات.  كيف تنظف البيانات؟   بينما قد تختلف الأساليب المستخدمة لتنظيف البيانات وفقًا لأنواع البيانات التي تخزنها شركتك، يمكنك اتباع هذه الخطوات الأساسية لرسم إطار عمل لمؤسستك.   فوائد تنظيف البيانات   سيؤدي وجود بيانات نظيفة في النهاية إلى زيادة الإنتاجية الإجمالية والسماح بأعلى جودة للمعلومات في عملية اتخاذ القرار. الفوائد تشمل:  إزالة الأخطاء عند وجود مصادر متعددة للبيانات.  تحدث أخطاء أقل لعملاء أكثر سعادة وموظفين أقل إحباطًا.  القدرة على تعيين الوظائف المختلفة وما تهدف بياناتك إلى القيام به.  مراقبة الأخطاء وإعداد التقارير بشكل أفضل لمعرفة مصدر الأخطاء، مما يسهل إصلاح البيانات غير الصحيحة أو الفاسدة للتطبيقات المستقبلية.  سيؤدي استخدام أدوات تنظيف البيانات إلى زيادة كفاءة ممارسات الأعمال واتخاذ القرارات بشكل أسرع.