بيانات مظلمة

 البيانات المظلمة هي البيانات التي يتم الحصول عليها من خلال مختلف بيانات شبكة الكمبيوتر، ولكنها لا تستخدم في أي طريقة استخلاص رؤى أو صنع القرار. قدرة الشركة على جمع البيانات يمكن أن يتجاوز الإنتاجية التي نحتاجها في تحليل البيانات. في بعض الحالات قد لا تكون الشركة حتى على علم أن البيانات يتم جمعها.  التقديرات تشير إلى أن ما يقرب من 90 في المئة من البيانات التي تم إنشاؤها بواسطة أجهزة الاستشعار وأجهزة التحويل التناظرية إلى الرقمية التحويلات لم تستخدم.
في المختصر البيانات المظلمة يمكن أن تتضمن المعلومات التي تجمعها أجهزة الاستشعار و المعلوماتية.
الشركات تحتفظ بالبيانات المظلمة للعديد من الأسباب ، ويقدر أن معظم الشركات تحلل 1% من البيانات الخاصة بهم. في كثير من الأحيان يتم تخزينها من أجل الامتثال التنظيمي وحفظ السجلات. وتعتقد بعض المنظمات أن البيانات المظلمة يمكن أن تكون مفيدة لهم في المستقبل عندما يحصلوا على تكنولوجيا أفضل في التحليل و ذكاء الأعمال . بسبب أن عملية التخزين غير مكلفة ،يمكن تخزين البيانات بسهولة ويسر. ومع ذلك, تخزين وتأمين البيانات عادة ما ينطوي على زيادة النفقات (أو حتى خطر) من احتمال عودة الربح.

التحليل

الكثير من البيانات المظلمة غير مهيكلة ، وهو ما يعني أن المعلومات في صيغ  قد يكون من الصعب تصنيفها, أو قراءتها من خلال جهاز الكمبيوتر ومن ثم تحليلها. غالبا ما يكون السبب في أن الأعمال لا تقوم بتحليل  البيانات المظلمة بسبب كمية الموارد التي تستهلكها وصعوبة وجود هذه البيانات وتحليلها. وفقا ادورية الكمبيوتر الأسبوعية60% من المنظمات يعتقدون أن تقنيات ذكاء الأعمال الخاصة بهم "غير كافية" و 65% يقولون أن لديهم "إلى حد ما نهج إدارة المحتوى غير المنظم".
العديد من الشركات في هذا القطاع تبحث في إنشاء "أنظمة الكمبيوتر الإدراكية" التي هي قادرة على تحليل منظم للبيانات المظلمة. فإن أنظمة IBM Watson يعتبر من الأنظمة في المستقبل التي من شأنها أن تكون قادرة على تحليل هذه البيانات غير المهيكلة و تكون قادرة على نتائج مجدية من شأنها الاستفادة من الكثير من البيانات المظلمة، لكن في الوقت الحاضر  إما أن يكون من المستحيل أو من الصعب جدا القيام بهذا الأمر. من حيث النظم الحالية, IBM أعان عن نظام عنها IBM سبارك، "يمكن استخراج الرؤى من هذه المعلومات على تقريبا. ما يمكن الشركات من بناء منتجات البيانات الغنية، والخدمات التي تستخدم تلك المعلومات إلى تحويل تجربة العملاء." وعلاوة على ذلك, أنها تعطي تعريفا أوسع حتى من البيانات المظلمة ، كما يتضمن البيانات التي لا يتم تنفيذها حاليا من قبل أنظمة الحوسبة ولكن يمكن أن يكون ، على سبيل المثال في القانون.

العلاقة مع البيانات المظلمة

بيانات مفيدة قد تصبح بيانات مظلمة بعد أن تصبح غير ذات صلة ، كما أنها ليست معالجة سريعة بما فيه الكفاية. وهذا ما يسمى "الرؤى القابلة للتلف" في " تدفق البيانات الحي". على سبيل المثال الموقع الجغرافي لأحد العملاء، ومن المعروف أن الأعمال التجارية يمكن أن تجعل العرض على أساس الموقع ، ومع ذلك إذا كانت هذه البيانات يتم معالجتها على الفور ، قد تكون في غير محلها في المستقبل. وفق IBM حوالي 60 في المئة من البيانات تفقد قيمتها على الفور.  تحليل البيانات فورا وتركها تتحول إلى 'مظلمة' يمكن أن يؤدي إلى خسائر كبيرة للمنظمة من حيث لا يمكن تحديد الهوية.

التخزين

وفقا لصحيفة نيويورك تايمز90% من الطاقة المستخدمة من قبل مراكز البيانات يضيع. إذا لم تكن البيانات المخزنة ، تكاليف الطاقة يمكن توفيرها. وعلاوة على ذلك ، هناك تكاليف مرتبطة بالمعلومات  تحت الاستخدام وبالتالي الفرص الضائعة. وفقا لداتا ماشن (مؤسسة نرويجية) "منظمات بيئات التخزين من أوروبا والشرق الأوسط تتكون من 54 في المئة البيانات المظلمة ، 32 في المئة زائدة ، بيانات عفا عليها الزمن و تافهة، و 14 في المئة بيانات الأعمال الهامة. بحلول عام 2020 ، يمكن أن تضيف ما يصل إلى مبلغ 891 مليار دولار في تخزين وإدارة التكاليف التي يمكن تجنبها."
التخزين المستمر للبيانات المظلمة يمكن ان يضع المؤسسة في خطر ، خاصة إذا كانت هذه البيانات حساسة. في حالة خرق هذا يمكن أن يؤدي إلى مضاعفات خطيرة. يمكن أن تكون مصاعفات مالية وقانونية خطيرة، قد يضر بسمعة المنظمة. على سبيل المثال, خرق سجلات خاصة من العملاء يمكن أن يؤدي إلى سرقة المعلومات الحساسة التي يمكن أن يؤدي إلى سرقة الهوية. مثال آخر يمكن أن يكون خرق شركة تملك معلومات حساسة ، على سبيل المثال فيما يتعلق بالبحث والتطوير. هذه المخاطر يمكن تخفيفها عن طريق تقييم ومراجعة ما إذا كانت هذه البيانات مفيدة مع استخدام التشفير القوي والأمن، إذا ثبت إمكانية التخلص منها ، فينبغي أن يتم التخلص منها بطريقة غير قابلة للاستعادة.

المستقبل

يعتبر عموما أنه مع تقدم أنظمة الحوسبة من أجل تحليل البيانات، سترتفع قيمة البيانات المظلمة. وقد لوحظ أن "البيانات والتحليلات ستكون الأساس للثورة الصناعية الحديثة". طبعا هذا يتضمن البيانات التي تعتبر حاليا "مظلمة" حيث ليس هناك ما يكفي من الموارد. كل هذه البيانات التي يتم جمعها يمكن أن تستخدم في المستقبل لتحقيق أقصى قدر من الإنتاجية و القدرة لدى الشركات لتلبية المستهلكين. علاوة على ذلك, العديد من الشركات لا يدركون قيمة البيانات المظلمة الآن، على سبيل المثال في مجال الرعاية الصحية والتعليم، فالشركات التي تتعامل مع كميات كبيرة من البيانات تساعد في "خدمة الطلاب و المرضى في الطريقة الاستهلاكية والخدمات المالية لتحقيق هدفهم السكان".