بيانات ضخمة

تصغير|200بك|يسار

**البيانات الضخمة** مصطلح يشير إلى مجموعة بيانات تستعصي لضخامتها أو تعقيدها على التخزين أو المعالجة بإحدى الأدوات أو التطبيقات المعتادة لإدارة البيانات. أو ببساطة لتقريب الأفهام، لا يُمكن التعامل معها على حاسوب عادي بمفرده من خلال قاعدة بيانات بسيطة. ومن سمات مجال «**البيانات الضخمة**» استعمال حواسب عديدة لتقاسم الأعمال المطلوبة.

## سماتها

* حجمها،
* وسرعتها (بمعنى معدل تولدها وتغيرها ووجوب معالجتها مباشرة)،
* وتنوعها (انعدام تناسقها وتعدد أنواعها وأنها غير مرتبة)،
* وأهميتها (القيمة المضافة بفهمها)
* وحقيقتها (دقة أدوات القياس ونحو ذلك؛ هل يمكن الاعتماد عليها؟)
وثمة غير السمات الخمسة أعلاه، مثلا عرضتها للسرقة لو كانت حساسة.
## نبذة
تشمل التحديات الالتقاط، والمدة، والتخزين، والبحث، والمشاركة، والنقل، والتحليل والتصور. ويرجع الاتجاه إلي مجموعات **البيانات الضخمة** بسبب المعلومات الإضافية المشتقة من تحليل مجموعة واحدة كبيرة من البيانات ذات الصلة، بالمقارنة مع المجموعات المنفصلة الأصغر حجماً مع نفس الحجم الإجمالي للبيانات، مما يسمح بوجود ارتباطات تكشف «الاتجاهات التجارية المحورية، وتحديد جودة البحث، وربط الاستشهادات القانونية، ومكافحة الجريمة وتحديد ظروف حركة تدفق البيانات في الوقت الحقيقي».

اعتباراً من عام 2012، كانت الحدود المفروضة على حجم مجموعات البيانات الملائمة للمعالجة في مدة معقولة من الوقت خاضعة لوحدة قياس البيانات إكسابايت. عادة ما يواجه العلماء عددا من القيود بسبب مجموعات البيانات الضخمة الموجودة في العديد من المجالات، والتي تتضمن الأرصاد الجوية (علم الطقس)، وعلم الجينات (علم الجينوم)، والمحاكاة الفيزيائية. المعقدة والبحوث البيولوجية والبيئية، وتؤثر القيود أيضاً على بحث الإنترنت (محرك بحث)، وتقنية الأعمال التجارية والتمويل. وتنمو مجموعات البيانات في الحجم بشكل جزئي، ويرجع ذلك لأنها يتم جمعها بشكل متزايد عن طريق أجهزة استشعار المعلومات المتنقلة، والتقنيات الحسية الجوية (الاستشعار عن بعد)، وسجلات البرامج، والكاميرات، والميكروفونات، وأجهزة تحديد ذبذبات الإرسال (تحديد الهوية بإستخدام موجات الراديو) وشبكات استشعار اللاسلكية. وتضاعفت القدرة التكنولوجية العالمية لتخزين المعلومات للفرد الواحد تقريباً كل 40 شهر من الثمانينات، واعتباراً من عام 2012، يتم إنشاء 2.5 كوينتيليون
بايت (2.5 × 1018) من البيانات يوميا. والتحدي بالنسبة للشركات الكبيرة هو تحديد من يجب أن يمتلك مبادرات البيانات الضخمة التي تنتشر على المنظمة بأكملها.

من الصعب العمل مع البيانات الضخمة باستخدام معظم أنظمة إدارة قواعد البيانات العلائقية وإحصائيات سطح المكتب وحزم المحاكاة، حيث يتطلب الأمر بدلاً من ذلك «برامج متوازية واسعة النطاق تعمل على عشرات أو مئات أو حتي آلاف الخوادم». وما يُعتبر «بيانات ضخمة» يختلف باختلاف قدرات المنظمة التي تقوم بإدارة المجموعة، وعلى قدرات التطبيقات التي تستخدم بشكل تقليدي لمعالجة وتحليل مجموعة البيانات في النطاق الخاص بها. «فبالنسبة لبعض المنظمات، ربما تؤدي مواجهة مئات الغيغا بايت من البيانات لأول مرة إلى إعادة النظر في خيارات إدارة البيانات. وبالنسبة للبعض الآخر، ربما يستغرق الأمر عشرات أو مئات تيرابايت من البيانات قبل أن يصبح حجم البيانات شأناً مهماً».

## التعريف
البيانات الضخمة عادة ما تتضمن مجموعات بيانات ذات أحجام تتخطي قدرة البرامج التي يشيع استخدامها لالتقاط وإدارة ومعالجة البيانات في غضون فترة زمنية مقبولة. وبالنسبة لأحجام البيانات الضخمة فهي هدف متحرك باستمرار، فاعتباراً من عام 2012، يتراوح حجمها بين بضع عشرات من تيرابايت إلى العديد من بيتابايت من البيانات في مجموعة واحدة فقط. ومع هذه الصعوبة، يتم تطوير منصات جديدة من أدوات «البيانات الضخمة» للتعامل مع مختلف الجوانب الخاصة بالكميات الكبيرة من البيانات.

في تقرير بحثي وعدد من المحاضرات المتعلقة به عام 2001، قام «دوغ لاني» محلل مجموعة META Group (المعروفة الآن باسم Gartner) بتعريف تحديات نمو البيانات وفرصها كعنصر ثلاثي الأبعاد، بمعني زيادة الحجم (كمية البيانات)، السرعة (سرعة البيانات الصادرة والواردة) والتنوع (تنوع أنواع البيانات ومصادرها). وتقوم Gartner والكثير من الشركات في هذه الصناعة الآن بالاستمرار في استخدام نموذج "3Vs" لوصف البيانات الضخمة. وفي 2012، قامت Gartner بتحديث تعريفها ليصبح كالتالي: «البيانات الضخمة هي أصول معلومات كبيرة الحجم، عالية السرعة، و/أو عالية التنوع تتطلب أشكال جديدة من المعالجة لتعزيز عملية صنع القرار والفهم العميق وتحسين العملية».

تعريف TBDI للبيانات الضخمة: البيانات الضخمة هو مصطلح ينطبق علي الأجسام الضخمة للبيانات التي تتنوع في طبيعتها سواء أكانت منظمة، غير منظمة أو شبه منظمة، بما في ذلك من المصادر الداخلية أو الخارجية للمنظمة، ويتم توليدها بدرجة عالية من السرعة مع نموذج مضطرب، والتي لا تتفق تماماً مع مخازن البيانات التقليدية والمنظمة وتتطلب نظام إيكولوجي قوي ومعقد مع منصة حوسبة عالية الأداء وقدرات تحليلية للالتقاط ومعالجة وتحويل وكشف واستخلاص القيمة والرؤى العميقة في غضون وقت زمني مقبول".

## أمثلة
تتضمن الأمثلة العلم الكبير، سجلات الويب، تحديد الهوية بإستخدام موجات الراديو ، شبكات الاستشعار، الشبكات الاجتماعية، البيانات الاجتماعية  (يرجع هذا لثورة البيانات الاجتماعية)، نصوص الإنترنت والوثائق، فهرسة بحث الإنترنت، تفاصيل سجلات الاتصال، علم الفلك، علوم الغلاف الجوي، علم الجينات، العلوم الكيميائية والبيولوجية وغيرها من البحوث المعقدة وأغلبية المراقبات العسكرية، السجلات الطبية، أرشيفات الصور والتجارة الإلكترونية واسعة النطاق.
### العلوم الكبيرة
تُمثل تجارب مصادم الهدرونات الكبير  حوالي 150 مليون جهاز استشعار تقدم بيانات 40 مليون مرة في الثانية الواحدة. وهناك ما يقرب من 600 مليون تصادم في الثانية الواحدة. وبعد تصفية وتنقيح تسجيلات أكثر من 99.999% من هذه التدفقات، نجد أن هناك 100 تعارض للفائدة في الثانية الواحدة.
* ونتيجة لذلك، بالعمل مع أقل من 0.001% فقط من بيانات تيار الاستشعار، فإن تدفق البيانات من جميع تجارب LHC الأربعة يمثل 25 بيتابايت المعدل السنوي قبل النسخ المتماثل (اعتباراً من 2012). وهذا يصبح تقريباً 200 بيتابايت بعد النسخ المتماثل.
* وإذا تصورنا أن جميع بيانات الاستشعار كان سيتم تسجيلها في LHC، فإن تدفق البيانات كان سيصعب العمل معه للغاية. حيث سيتجاوز تدفق البيانات 150 مليون بيتابايت المعدل السنوي، أو ما يقرب من 500 إكسابايت في اليوم الواحد، قبل النسخ المتماثل. وبالنظر للرقم بشكل نظري، فإنه يصبح مُعادل لـ 500 كوينتيليون بايت (5 x 1020) في اليوم، وهو رقم أعلي 200 مرة تقريباً من جميع المصادر الأخرى المجتمعة في العالم.

### العلوم والأبحاث
* عندما بدأ مسح سلون الرقمي للسماء  بجمع البيانات الفلكية في عام 2000، فإنه قد جمع بيانات في أسابيعه القليلة الأولي أكثر مما تم جمعه في تاريخ علم الفلك بأكمله. ومع استمراره بمعدل 200 جيجا بايت في الليلة، جمع SDSS أكثر من 140 تيرابايت من المعلومات. وعندما يأتي Large Synoptic Survey Telescope خليفة SDSS إلي أرض الواقع في عام 2016، فمن المتوقع أن يقوم بجمع هذه الكمية من البيانات كل خمسة أيام.
* إن فك رموز الجين البشري تستغرق عادة 10 سنوات حتي تتم العملية، ولكن الآن فإن هذه العملية يمكن إنجازها في أسبوع واحد.
* بالنسبة للعلوم الاجتماعية الحسابية – استخدم «توبياس بريس» وآخرون بيانات اتجاهات جوجل  لإثبات أن مستخدمي الإنترنت من البلدان التي لديها ناتج محلي إجمالي أعلي للفرد (GDP) يتجهون للبحث عن معلومات حول المستقبل أكثر من المعلومات المتعلقة بالماضي. وتشير النتائج إلي أنه قد يكون هناك ارتباط بين السلوك عبر الإنترنت والمؤشرات الاقتصادية في العالم الحقيقي. وقد قام مؤلفو هذه الدراسة بفحص تسجيلات جوجل المصنوعة من قبل مستخدمي الإنترنت في 45 دولة مختلفة عام 2010، وقاموا بحساب نسبة حجم البحث للسنة التالية "2011" مقارنة بحجم البحث في السنة السابقة "2009" والذي أطلق عليه اسم «مؤشر التوجه المستقبلي». ثم قاموا بمقارنة التوجه المستقبلي مع الناتج المحلي الإجمالي للفرد الواحد في كل بلد، حيث وجدوا اتجاه قوي للبلدان التي يقوم فيها مستخدمي جوجل بالبحث عن المستقبل بالحصول علي ناتج محلي إجمالي أعلي. وتُلمح النتائج لاحتمال وجود علاقة بين النجاح الاقتصادي للبلد وسلوك مواطنيها في البحث عن المعلومات المأسورة في البيانات الضخمة.

### الحكومة
* في عام 2012، أعلنت إدارة أوباما عن مبادرة التنمية وبحوث البيانات الضخمة والتي تناولت كيفية استخدام البيانات الضخمة لمعالجة المشاكل الهامة التي تواجه الحكومة وقد تألفت المبادرة من 84 برنامج مختلف للبيانات الضخمة موزعة علي 6 دوائر.
* والجدير بالذكر، أن تحليل البيانات الضخمة قد لعب دوراً كبيراً في حملة إعادة انتخاب باراك أوباما الناجحة عام 2012.
* وتمتلك الحكومة الاتحادية للولايات المتحدة 6 من أصل 10 أجهزة كمبيوتر تُعد هي الأكثر نفوذا في العالم والتي يُطلق عليها " Supercomputers".
* وتقوم وكالة الأمن الوطني الأمريكي حالياً ببناء مركز بيانات يوتاه " Utah Data Center"، والذي سيكون قادر علي التعامل مع معلومات تقدر مساحاتها بـ يوتابايت والتي جمعتها وكالة الأمن القومي عبر الإنترنت.

### القطاع الخاص
* يقوم أمازون (موقع) Amazon.com بمعالجة ملايين العمليات الخلفية كل يوم، فضلاً عن استفسارات من أكثر من نصف مليون بائع طرف ثالث. وتعتمد أمازون على تقنية اللينكس بشكل أساسي كي تعمل وسط هذا الكم الهائل من البيانات، واعتباراً من 2005 كانت أمازون تمتلك أكبر 3 قواعد بيانات لينكس في العالم والتي تصل سعتها إلي 7.8، 18.5 و 24.7 تيرابايت.
* ومن ناحية أخرى، يقوم متجر وول مارت Walmart بمعالجة أكثر من مليون معاملة تجارية كل ساعة، والتي يتم استيرادها إلى قواعد بيانات يُقدر أنها تحتوي على أكثر من 2.5 بيتابايت (2560 تيرابايت) من البيانات – وهو ما يوازي 167 ضعف البيانات الواردة في جميع الكتب الموجودة في مكتبة الكونغرس في الولايات المتحدة.
* أما الفيسبوك فيعالج 50 مليار صورة من قاعدة مستخدميه. ويقوم نظام حماية بطاقات الائتمان من الاحتيال " FICO Falcon Credit Card Fraud Detection System" بحماية 2.1 مليار حساب نشط في جميع أنحاء العالم.
* ووفقاً لأحدث الإحصائيات، فإن حجم البيانات التجارية في جميع أنحاء العالم، عبر جميع الشركات، يتضاعف حجمها كل 1.2 سنة.
* وتقوم شركة Windermere Real Estate باستخدام إشارات GPS مجهولة من ما يقرب من 100 مليون سائق لمساعدة مشتري المنازل الجدد لتحديد أوقات قيادتهم من وإلى العمل خلال الأوقات المختلفة لليوم.

### التنمية الدولية
بعد عقود من العمل في مجال الاستخدام الفعال لتكنولوجيا المعلومات والاتصالات من أجل التنمية (أو ICT4D)، فقد قيل أنه يمكن للبيانات الضخمة أن تسهم إسهاماً كبيراً في التنمية الدولية. من ناحية، فإن ظهور البيانات الضخمة يوفر احتماليات فعالة من حيث التكلفة لتحسين عملية صنع القرار في مجالات التنمية الحيوية مثل الرعاية الصحية، العمالة، الإنتاجية الاقتصاد، الجريمة والأمن، الكوارث الطبيعية وإدارة الموارد. ومن ناحية أخرى، فإن جميع المخاوف المتعلقة بالبيانات الضخمة مثل الخصوصية، تحديات التشغيل البيني، والقوة غير محدودة للخوارزميات المنقوصة تتفاقم في البلدان النامية من خلال تحديات التنمية طويلة الأمد مثل الافتقار إلي البنية التحتية التكنولوجية والاقتصادية بالإضافة لندرة الموارد البشرية. «وهذا أدى إلى إحداث نوع جديد من الفجوات التقنية: فجوة في تقصي البيانات لاتخاذ قرارات مستنيرة».

## سوق العمل
لقد تسببت «البيانات الضخمة» في زيادة الطلب على المتخصصين في إدارة المعلومات لهذا البرنامج الضخم، وقد أنفقت عدد من الشركات العالمية مثل Oracle Corporation، IBM، Microsoft، SAP، EMC و HP أكثر من 15 مليار دولار علي شركات البرمجيات المتخصصة فقط في مجال إدارة البيانات والتحليلات. وفي عام 2010، كانت هذه الصناعة مستقلة بذاتها تساوي أكثر من 100 مليار دولار، كما أنها تنمو تقريباً بمعدل 10% سنوياً، أي حوالي ضعفي قطاع البرمجيات ككل.

تقوم البلدان ذات الاقتصاديات المتقدمة باستخدام التقنيات كثيفة البيانات بشكل متزايد. فهناك 4.6 مليار اشتراك للهواتف النقالة حول العالم، وهناك ما بين مليار إلى ملياري شخص يتصل بالإنترنت. وبين عامي 1990 و 2005، ارتقى أكثر من مليار شخص حول العالم بمكانتهم إلى الطبقة المتوسطة مما يعني أن هناك الكثير والكثير من الناس الذين يكسبون المال سوف يصبحون أكثر تثقيفاً والذي يؤدي بدوره إلى نمو المعلومات. لقد كانت قدرة العالم الفعالة لتبادل المعلومات من خلال شبكات الاتصال السلكية واللاسلكية هي 281 بيتابايت في 1986، 471 بيتابايت في 1993، 2.2 إكسابايت في عام 2000، 65 إكسابايت في عام 2007 ويتوقع أن تصل كمية البيانات المتدفقة عبر شبكة الإنترنت إلى 667 إكسابايت سنوياً بحلول عام 2013.

## الخصائص
تصغير|تُظهر هذه الصورة نمو الخصائص الأساسية للبيانات الضخمة المتمثلة في الحجم والسرعة والتنوع.
يمكن وصف البيانات الضخمة بالخصائص التالية:

; الحجم
: كمية البيانات المُولَّدة والمُخزَّنة. يُحدِّد حجم البيانات قيمتها وما يُمكن استخلاصه منها من رؤى، وما إذا كان يُمكن اعتبارها بيانات ضخمة أم لا. عادةً ما يكون حجم البيانات الضخمة أكبر من تيرابايت وبيتابايت.

; متنوع
: نوع البيانات وطبيعتها. كانت التقنيات السابقة، مثل أنظمة إدارة قواعد البيانات العلائقية (RDBMS)، قادرة على التعامل مع البيانات المنظمة بكفاءة وفعالية. إلا أن التحول من البيانات المنظمة إلى شبه المنظمة أو غير المنظمة شكل تحديًا للأدوات والتقنيات الحالية. وقد تطورت تقنيات البيانات الضخمة بهدف أساسي هو جمع وتخزين ومعالجة البيانات شبه المنظمة وغير المنظمة (المتنوعة) التي تُنتج بسرعة عالية وبحجم هائل. لاحقًا، أستكشفت هذه الأدوات والتقنيات واستخدامها للتعامل مع البيانات المنظمة أيضًا، ولكن يُفضل استخدامها للتخزين. في النهاية، ظلت معالجة البيانات المنظمة اختيارية، سواء باستخدام البيانات الضخمة أو أنظمة إدارة قواعد البيانات العلائقية التقليدية. يساعد هذا في تحليل البيانات لتحقيق الاستخدام الأمثل للرؤى الخفية التي تكشفها البيانات التي يتم جمعها عبر وسائل التواصل الاجتماعي، وملفات السجلات، وأجهزة الاستشعار، وما إلى ذلك. تستمد البيانات الضخمة من النصوص والصور والصوت والفيديو، بالإضافة إلى أنها تُكمل الأجزاء المفقودة من خلال دمج البيانات.

; سرعة
: سرعة توليد البيانات ومعالجتها لتلبية المتطلبات والتحديات التي تعترض طريق النمو والتطور. غالبًا ما تتوفر البيانات الضخمة في الوقت الفعلي. وبالمقارنة مع البيانات الصغيرة، يتم إنتاج البيانات الضخمة بشكل أكثر استمرارية. يرتبط نوعان من سرعة البيانات الضخمة: معدل التوليد ومعدل المعالجة والتسجيل والنشر.

;صحة

: تشير مصداقية البيانات أو موثوقيتها إلى جودتها وقيمتها. لا يكفي أن تكون البيانات الضخمة كبيرة الحجم فحسب، بل يجب أن تكون موثوقة أيضًا لتحقيق قيمة في تحليلها. قد تتباين جودة البيانات المُجمّعة بشكل كبير، مما يؤثر على دقة التحليل.

;
:

; قيمة
: القيمة التي يمكن الحصول عليها من خلال معالجة وتحليل مجموعات البيانات الضخمة. ويمكن قياس القيمة أيضًا من خلال تقييم الخصائص الأخرى للبيانات الضخمة. وقد تمثل القيمة أيضًا ربحية المعلومات المستخرجة من تحليل البيانات الضخمة.

; التباين
: تتميز البيانات الضخمة بتغير تنسيقاتها وبنيتها ومصادرها. قد تشمل البيانات الضخمة بيانات منظمة، أو غير منظمة، أو مزيجًا منهما. وقد يتضمن تحليل البيانات الضخمة دمج البيانات الأولية من مصادر متعددة. كما قد تشمل معالجة البيانات الأولية تحويل البيانات غير المنظمة إلى بيانات منظمة.

ومن الخصائص الأخرى المحتملة للبيانات الضخمة ما يلي:

; شامل
: سواء كان النظام بأكمله (أي، n يتم التقاط أو تسجيل جميع البيانات المتاحة من المصادر، أو لا يتم ذلك. قد تشمل البيانات الضخمة جميع البيانات المتاحة من المصادر، أو قد لا تشملها.
:; دقيق الحبيبات وفريد من نوعه في المفردات
:: وعلى التوالي، نسبة البيانات المحددة لكل عنصر جرى جمعه وما إذا كان العنصر وخصائصه مفهرسة أو محددة بشكل صحيح.

;

; العلاقات
: إذا كانت البيانات التي تم جمعها تحتوي على حقول مشتركة من شأنها أن تتيح دمج مجموعات البيانات المختلفة أو إجراء تحليل تجميعي لها.

; امتدادي
: إذا كان من الممكن إضافة أو تغيير الحقول الجديدة في كل عنصر من عناصر البيانات التي جمعت بسهولة.

; قابلية التوسع
: إذا كان حجم نظام تخزين البيانات الضخمة قابلاً للتوسع بسرعة.

## الهندسة المعمارية
نظراً لتعقيدات نظم البيانات الضخمة، فقد كان وجود ممارسات متطورة للهندسة المعمارية الخاصة بالبيانات الضخمة أمر لابد منه. إن الإطار المعماري للبيانات الضخمة (BDAF) هو إطار هيكلي لحلول البيانات الضخمة، والذي يهدف إلى المساعدة في إدارة مجموعة من الأعمال الفنية المتميزة وتنفيذ مجموعة من عناصر التصميم المحددة. إن الغرض من (BDAF) هو فرض الالتزام بنهج تصميم متناسق، الحد من تعقيدات النظام، تعظيم إعادة الاستخدام، تخفيض التبعيات وزيادة الإنتاجية.

إن الإطار المعماري للبيانات الضخمة (BDAF) يضم أربعة أجزاء متكاملة: دومين محدد، منصة، الاعتماد على التفعيل ونموذج محايد تكنولوجياً. وتعتبر مكونات (BDAF) هي نموذج مركزي، تتحكم به الهندسة المعمارية، ويشكل بناء متماسك لمعالجة البيانات الضخمة، بما في ذلك استخراج البيانات، التخزين، المعالجة، التخطيط، التجميع، الإرسال والتواصل، إعداد التقارير، التصور، الرصد، التدفق والتشغيل الآلي.

في عام 2004، نشرت جوجل بحث عن عملية تُدعي MapReduce والتي استخدمت هندسة معمارية مثل هذه. حيث يوفر الإطار الخاص بـ MapReduce نموذج برمجة متوازي والتطبيق المرتبط به لمعالجة كمية هائلة من البيانات. من خلال MapReduce، يتم تقسيم الأطروحات وتوزيعها عبر العقد المتوازية ومعالجتها بشكل متواز (خطوة the Map). ثم يتم تجميع النتائج بعد ذلك وتسليمها (خطوة the Reduce). لقد كان الإطار ناجح بشكل مذهل، لذا أراد البعض تكرار تلك الخوارزمية. ولذلك، أعتُمد تنفيذ إطار MapReduce من قبل مشروع Apache مفتوح المصدر أطلق عليه اسم Hadoop.

إن MIKE2.0 هو نهج مفتوح لإدارة المعلومات يتناول منهجية التعامل مع البيانات الضخمة من حيث التعديل المفيد لمصادر البيانات، التعقيد في العلاقات المتبادلة والصعوبة في حذف (أو تعديل) السجلات الفردية.

## التقنيات
تتطلب البيانات الضخمة تقنيات استثنائية لمعالجة الكميات الكبيرة من البيانات بكفاءة ضمن الوقت المسموح. ويشير تقرير ماكينزي 2011 لبعض التقنيات المناسبة التي تتضمن اختبار A/B، تعلم قاعدة المصادقة، التصنيف، التحليل العنقودي، انصهار وتكامل البيانات، الخوارزميات الجينية، التعلم الآلي، معالجة اللغات الطبيعية، الشبكات العصبية، التعرف علي الأنماط، الكشف عن الأشياء الشاذة، النمذجة التنبؤية، الانحدار، تحليل وجهات النظر، معالجات الإشارات، التعلم الخاضع والغير خاضع للرقابة، المحاكاة، تحليل السلاسل الزمنية والتصور. إن البيانات الضخمة متعددة الأبعاد يمكن أيضاً أن تُمثل مثل tensors، والتي يمكن التعامل معها بكفاءة أكبر من خلال الحسابات التي تعتمد على الموترة مثل التعلم الفضائي الجزئي متعدد الخطي. والتقنيات الإضافية التي يجري تطبيقها على البيانات الضخمة تتضمن قواعد بيانات هائلة تتم معالجتها بشكل متوازي (MPP)، التطبيقات المعتمدة على البحث، شبكات البيانات والتعدين، أنظمة الملفات الموزعة، قواعد البيانات الموزعة، البنية التحتية المعتمدة على التخزين السحابي (التطبيقات، التخزين ومصادر الحوسبة) والإنترنت.

إن بعض وليس كل قواعد البيانات العلائقية MPP لديها القدرة علي تخزين وإدارة بيتابايت من البيانات. والمفهوم ضمنياً هو القدرة على تحميل، مراقبة، النسخ الاحتياطي، وتحقيق الاستخدام الأمثل لجداول البيانات الضخمة في RDBMS.

إن برنامج تحليل بيانات DARPA يستهدف البنية الأساسية لمجموعات البيانات الهائلة، وفي عام 2008 ظهرت هذه التقنية للجمهور مع انطلاقة شركة تُدعي Ayasdi.

إن ممارسي عمليات تحليل البيانات الضخمة عادة ما يكونوا معاديين لمساحات التخزين المشتركة الأبطأ، مُفضلين مساحات التخزين المتصلة والمباشرة (DAS) في جميع أشكالها المختلفة بدءاً من محركات الأقراص الصلبة (SSD) وصولاً إلى أقراص الساتا عالية القدرة والموضوعة داخل عقد معالجة متوازية. وإذا نظرنا إلى البنية المعمارية لمساحات التخزين المشتركة SAN و NAS فسوف نجد أنها بطيئة، معقدة وباهظة الثمن. وهذه الصفات لا تتفق مع أنظمة تحليل البيانات الضخمة التي تقوم على أداء النظام، البنية التحتية والتكلفة المنخفضة.

إن تسليم المعلومات في الوقت الحقيقي أو شبه الحقيقي هي واحدة من الخصائص المميزة لتحليل البيانات الضخمة. وبالتالي، يتم تجنب الخمول كلما وحيثما كان ذلك ممكناً. إن تكلفة SAN في النطاق اللازم لتطبيقات التحليلات تُعد أعلى بكثير جداً من تقنيات التخزين الأخرى.

هناك مزايا وكذلك يوجد عيوب لمساحات التخزين المشتركة في تحليلات البيانات الضخمة، ولكن ممارسي تحليل البيانات الضخمة لم يحبذوا ذلك بدءاً من عام 2011.

## الأنشطة البحثية
في مارس 2012، أعلن البيت الأبيض عن «مبادرة البيانات الضخمة» القومية التي تتألف من 6 إدارات ووكالات فيدرالية تودع أكثر من 200 مليون دولار لمشاريع البيانات الضخمة البحثية.

وقد تضمنت المبادرة National Science Foundation «بعثات في الحوسبة» والتي منحت 10 ملايين دولار على مدى 5 سنوات لمعمل &#x5B; *[[ويكيبيديا:بحاجة لمصدر|<span title="This claim needs references to reliable sources. (September 2011)">بحاجة لمصدر</span>]]* &#x5D; على الرغم من تطوير العديد من المناهج والتقنيات، إلا أنه لا يزال من الصعب تطبيق التعلم الآلي على البيانات الضخمة.

تتمتع بعض قواعد البيانات العلائقية ذات المعالجة المتوازية الضخمة (MPP) بالقدرة على تخزين وإدارة بيانات بحجم بيتابايت. ويتضمن ذلك ضمنيًا القدرة على تحميل جداول البيانات الكبيرة ومراقبتها ونسخها احتياطيًا وتحسين استخدامها في نظام إدارة قواعد البيانات العلائقية. &#x5B;*[[ويكيبيديا:مصادر موثوق بها|مصدر ترويجي؟]]*&#x5D;

يسعى برنامج تحليل البيانات الطوبولوجية التابع لوكالة مشاريع الأبحاث الدفاعية المتقدمة (DARPA) إلى تحديد البنية الأساسية لمجموعات البيانات الضخمة، وفي عام 2008 تم طرح هذه التقنية للعلن مع إطلاق شركة تسمى "Ayasdi". &#x5B; *[[ويكيبيديا:مصادر مستقلة|مطلوب مصدر مستقل]]* &#x5D;

يُبدي ممارسو عمليات تحليل البيانات الضخمة عمومًا معارضةً لأنظمة التخزين المشتركة البطيئة، مفضلين التخزين المباشر ( DAS ) بأشكاله المختلفة، بدءًا من محركات الأقراص الصلبة ( SSD ) وصولًا إلى أقراص SATA عالية السعة المدمجة داخل وحدات المعالجة المتوازية. ويُعتقد أن بنى التخزين المشتركة - مثل شبكة منطقة التخزين (SAN) والتخزين المتصل بالشبكة (NAS) - بطيئة ومعقدة ومكلفة نسبيًا. ولا تتوافق هذه الخصائص مع أنظمة تحليل البيانات الضخمة التي تعتمد على أداء النظام، والبنية التحتية المتاحة، والتكلفة المنخفضة.

يُعدّ توصيل المعلومات في الوقت الفعلي أو شبه الفعلي من السمات المميزة لتحليلات البيانات الضخمة. ولذلك، يُتجنب التأخير قدر الإمكان. البيانات المخزنة في الذاكرة أو القرص المتصل مباشرةً جيدة، بينما البيانات المخزنة في الذاكرة أو القرص على الطرف الآخر من اتصال شبكة تخزين عبر الألياف الضوئية (FC SAN) ليست كذلك. تكلفة شبكة التخزين (SAN) بالحجم المطلوب لتطبيقات التحليلات أعلى بكثير من تقنيات التخزين الأخرى.

## التطبيقات
تصغير|رسم بياني يوضح عدد نقاط البيانات المستخدمة لتدريب أنظمة الذكاء الاصطناعي البارزة من عام 1950 إلى عام 2025
أدى تزايد البيانات الضخمة إلى زيادة الطلب على متخصصي إدارة المعلومات بشكل كبير، لدرجة أن شركات مثل Software AG و Oracle Corporation وIBM وMicrosoft وSAP وEMC وHP وDell أنفقت أكثر من 15 مليون دولار.&nbsp;تُقدّر قيمة هذه الصناعة بأكثر من 100 مليار دولار، موزعة على شركات البرمجيات المتخصصة في إدارة البيانات وتحليلها. في عام 2010، بلغت قيمة هذه الصناعة أكثر من 100 مليار دولار.&nbsp;مليار وكان ينمو بمعدل يقارب 10&nbsp;بنسبة مئوية سنوياً، أي ما يقارب ضعف سرعة نمو قطاع البرمجيات ككل.

تعتمد الاقتصادات المتقدمة بشكل متزايد على التقنيات كثيفة البيانات. هناك 4.6&nbsp;مليار اشتراك في الهواتف المحمولة حول العالم، وما بين 1&nbsp;مليار و2&nbsp;مليار شخص يستخدمون الإنترنت. بين عامي 1990 و2005، أكثر من 1&nbsp;انضم مليار شخص حول العالم إلى الطبقة المتوسطة، مما يعني ارتفاع مستوى التعليم، الأمر الذي أدى بدوره إلى نمو المعلومات. بلغت القدرة الفعلية لتبادل المعلومات عبر شبكات الاتصالات 281 بيتابايت عام 1986، و471 بيتابايت عام 1993، و2.2 إكسابايت عام 2000، و65 إكسابايت عام 2007 وتشير التوقعات إلى أن حجم حركة البيانات على الإنترنت سيبلغ 667 إكسابايت سنويًا بحلول عام 2014 ووفقًا لأحد التقديرات، فإن ثلث المعلومات المخزنة عالميًا عبارة عن نصوص أبجدية رقمية وصور ثابتة، وهو الشكل الأكثر فائدة لمعظم تطبيقات البيانات الضخمة. وهذا يُظهر أيضًا إمكانات البيانات غير المُستغلة بعد (مثل محتوى الفيديو والصوت).

بينما يقدم العديد من البائعين منتجات جاهزة للاستخدام في مجال البيانات الضخمة، يشجع الخبراء على تطوير أنظمة داخلية مصممة خصيصًا إذا كانت الشركة تمتلك القدرات التقنية الكافية.

### حكومة
يُتيح استخدام البيانات الضخمة واعتمادها في العمليات الحكومية تحقيق كفاءة في التكلفة والإنتاجية والابتكار، ولكنه لا يخلو من عيوب. فغالباً ما يتطلب تحليل البيانات تعاوناً بين جهات حكومية متعددة (مركزية ومحلية) لابتكار عمليات جديدة ومتطورة لتحقيق النتائج المرجوة. ومن أبرز المؤسسات الحكومية التي تستخدم البيانات الضخمة وكالة الأمن القومي ( NSA )، التي تراقب أنشطة الإنترنت باستمرار بحثاً عن أنماط محتملة لأنشطة مشبوهة أو غير قانونية قد يرصدها نظامها.

يجمع نظام تسجيل الأحوال المدنية والإحصاءات الحيوية جميع شهادات الحالة من الميلاد إلى الوفاة. ويُعدّ هذا النظام مصدراً هاماً للبيانات الضخمة للحكومات.

### التنمية الدولية
تشير الأبحاث المتعلقة بالاستخدام الفعال لتكنولوجيا المعلومات والاتصالات لأغراض التنمية (المعروفة أيضًا باسم "ICT4D") إلى أن تكنولوجيا البيانات الضخمة يمكن أن تُسهم إسهامًا كبيرًا، ولكنها في الوقت نفسه تُطرح تحديات فريدة أمام التنمية الدولية. وتُتيح التطورات في تحليل البيانات الضخمة فرصًا فعّالة من حيث التكلفة لتحسين عملية صنع القرار في مجالات التنمية الحيوية، مثل الرعاية الصحية، والتوظيف، والإنتاجية الاقتصادية، ومكافحة الجريمة، والأمن، وإدارة الكوارث الطبيعية والموارد.&#x5B;*[[ويكيبيديا:الاستشهاد بمصادر|<span title="This citation requires a reference to the specific page or range of pages in which the material appears. (December 2023)">صفحة&nbsp;</span>]]*[*[[ويكيبيديا:الاستشهاد بمصادر|<span title="This citation requires a reference to the specific page or range of pages in which the material appears. (December 2023)">مطلوب</span>]]*&#x5D;   بالإضافة إلى ذلك، توفر البيانات التي يُنشئها المستخدمون فرصًا جديدة لإيصال صوت من لا يُسمع صوتهم. ومع ذلك، فإن التحديات المزمنة التي تواجه المناطق النامية، مثل البنية التحتية التكنولوجية غير الكافية وندرة الموارد الاقتصادية والبشرية، تُفاقم المخاوف القائمة بشأن البيانات الضخمة، مثل قضايا الخصوصية، وعدم اكتمال المنهجية، وقابلية التشغيل البيني.&#x5B; *[[ويكيبيديا:الاستشهاد بمصادر|<span title="This citation requires a reference to the specific page or range of pages in which the material appears. (December 2023)">صفحة&nbsp;[مطلوب</span>]]* &#x5D; تحدي "البيانات الضخمة من أجل التنمية" المجال حاليًا نحو تطبيق هذه البيانات من خلال التعلم الآلي، والمعروف باسم "الذكاء الاصطناعي من أجل التنمية".

#### فوائد
يُعدّ "مكافحة الفقر بالبيانات" أحد أهم التطبيقات العملية للبيانات الضخمة في مجال التنمية. في عام 2015، قدّر بلومنستوك وزملاؤه مستويات الفقر والثروة المتوقعة من بيانات الهواتف المحمولة الوصفية وفي عام 2016، جمع جان وزملاؤه بين صور الأقمار الصناعية والتعلم الآلي للتنبؤ بالفقر. وباستخدام بيانات التتبع الرقمي لدراسة سوق العمل والاقتصاد الرقمي في أمريكا اللاتينية، يرى هيلبرت وزملاؤه أن لبيانات التتبع الرقمي فوائد عديدة، منها:

* التغطية الموضوعية: بما في ذلك المجالات التي كان من الصعب أو المستحيل قياسها سابقًا
* التغطية الجغرافية: توفير بيانات كبيرة وقابلة للمقارنة لجميع البلدان تقريبًا، بما في ذلك العديد من البلدان الصغيرة التي لا يتم تضمينها عادةً في قوائم الجرد الدولية.
* مستوى التفصيل: توفير بيانات دقيقة تتضمن العديد من المتغيرات المترابطة، وجوانب جديدة، مثل اتصالات الشبكة
* التوقيت الزمني والسلاسل الزمنية: يمكن إنتاج الرسوم البيانية في غضون أيام من جمعها

#### التحديات
في الوقت نفسه، لا يُلغي استخدام بيانات التتبع الرقمية بدلاً من بيانات المسح التقليدية التحديات التقليدية التي تواجه العمل في مجال التحليل الكمي الدولي. تتغير الأولويات، لكن النقاشات الأساسية تبقى كما هي. ومن أبرز هذه التحديات:

* التمثيلية. في حين أن الإحصاءات التنموية التقليدية تهتم بشكل أساسي بتمثيلية عينات المسح العشوائية، فإن بيانات التتبع الرقمية ليست عينة عشوائية على الإطلاق. 
* قابلية التعميم. على الرغم من أن البيانات الرصدية تمثل هذا المصدر بشكل جيد، إلا أنها لا تمثل إلا ما تمثله، لا أكثر. ورغم إغراء التعميم من ملاحظات محددة لمنصة واحدة إلى سياقات أوسع، إلا أن هذا غالبًا ما يكون مضللًا للغاية.
* التنسيق. لا تزال بيانات التتبع الرقمي تتطلب تنسيقًا دوليًا للمؤشرات. ويضيف ذلك تحدي ما يسمى "دمج البيانات"، أي تنسيق المصادر المختلفة.
* فرط البيانات. لا يعتاد المحللون والمؤسسات على التعامل بفعالية مع عدد كبير من المتغيرات، وهو ما يتم بكفاءة باستخدام لوحات المعلومات التفاعلية. لا يزال الممارسون يفتقرون إلى سير عمل معياري يسمح للباحثين والمستخدمين وصناع السياسات بالتعامل مع البيانات بكفاءة وفعالية.

### تمويل
يشهد قطاع التمويل تبنيًا سريعًا لتقنية البيانات الضخمة بهدف تسريع عمليات المعالجة، وتقديم استنتاجات أفضل وأكثر دقة، سواءً داخل المؤسسات المالية أو لعملائها. تتراوح تطبيقات البيانات الضخمة في المجال المالي بين قرارات الاستثمار والتداول (معالجة كميات هائلة من بيانات الأسعار المتاحة، وسجلات أوامر الشراء والبيع، والبيانات الاقتصادية، وغيرها، في آنٍ واحد)، وإدارة المحافظ الاستثمارية (تحسين أداء مجموعة متزايدة من الأدوات المالية، والتي يمكن اختيارها من فئات أصول مختلفة)، وإدارة المخاطر (التصنيف الائتماني بناءً على معلومات موسعة)، وأي جانب آخر يتطلب مدخلات بيانات ضخمة. كما تُعدّ البيانات الضخمة مفهومًا شائعًا في مجال الخدمات المالية البديلة ، ومن أبرز مجالاتها منصات التمويل الجماعي ومنصات تداول العملات الرقمية.

### الرعاية الصحية
استُخدمت تحليلات البيانات الضخمة في الرعاية الصحية لتوفير الطب الشخصي والتحليلات الوصفية ، والتدخل في المخاطر السريرية والتحليلات التنبؤية، والحد من الهدر وتفاوت الرعاية، وإعداد التقارير الآلية الخارجية والداخلية لبيانات المرضى، وتوحيد المصطلحات الطبية وسجلات المرضى. بعض مجالات التحسين لا تزال طموحة أكثر منها مُطبقة فعليًا. إن حجم البيانات المُولّدة داخل أنظمة الرعاية الصحية ليس بالهين. ومع التوسع في استخدام تقنيات الصحة المتنقلة والصحة الإلكترونية والأجهزة القابلة للارتداء، سيستمر حجم البيانات في الازدياد. ويشمل ذلك بيانات السجلات الصحية الإلكترونية ، وبيانات التصوير، والبيانات التي يُولّدها المرضى، وبيانات أجهزة الاستشعار، وغيرها من أشكال البيانات التي يصعب معالجتها. لذا، تزداد الحاجة الآن إلى أن تُولي هذه البيئات اهتمامًا أكبر لجودة البيانات والمعلومات. غالبًا ما تعني البيانات الضخمة " بيانات غير دقيقة "، وتزداد نسبة عدم دقة البيانات مع نمو حجمها. يستحيل إجراء فحص بشري على نطاق البيانات الضخمة، وهناك حاجة ماسة في قطاع الرعاية الصحية إلى أدوات ذكية لضمان دقة المعلومات ومصداقيتها، والتحكم في التعامل مع المعلومات المفقودة. ورغم أن معظم المعلومات في مجال الرعاية الصحية أصبحت إلكترونية، إلا أنها تندرج تحت مظلة البيانات الضخمة، إذ أن معظمها غير منظم ويصعب استخدامه. وقد أثار استخدام البيانات الضخمة في الرعاية الصحية تحديات أخلاقية كبيرة، تتراوح بين المخاطر التي تهدد الحقوق الفردية والخصوصية والاستقلالية، وصولاً إلى الشفافية والثقة.

يُعدّ استخدام البيانات الضخمة في البحوث الصحية واعدًا للغاية، لا سيما في مجال البحوث الطبية الحيوية الاستكشافية، إذ يُمكن للتحليل القائم على البيانات أن يتقدم بوتيرة أسرع من البحوث القائمة على الفرضيات. بعد ذلك، يُمكن اختبار الاتجاهات التي تظهر في تحليل البيانات في البحوث البيولوجية التقليدية القائمة على الفرضيات، وصولًا إلى البحوث السريرية.

ومن المجالات الفرعية ذات الصلة بالتطبيقات، والتي تعتمد بشكل كبير على البيانات الضخمة، في مجال الرعاية الصحية، مجال التشخيص بمساعدة الحاسوب في الطب.&#x5B; *[[ويكيبيديا:الاستشهاد بمصادر|صفحة&nbsp;]]*[ *[[ويكيبيديا:الاستشهاد بمصادر|مطلوب]]*&#x5D; على سبيل المثال، في مراقبة الصرع ، من المعتاد إنشاء ما بين 5 إلى 10 جيجابايت من البيانات يوميًا. وبالمثل، يبلغ متوسط حجم صورة واحدة غير مضغوطة للتصوير المقطعي للثدي 450 ميجابايت من البيانات. هذه مجرد أمثلة قليلة من بين العديد من الأمثلة التي تستخدم فيها التشخيصات بمساعدة الحاسوب البيانات الضخمة. لهذا السبب، اعتُبرت البيانات الضخمة أحد التحديات الرئيسية السبعة التي تحتاج أنظمة التشخيص بمساعدة الحاسوب إلى التغلب عليها للوصول إلى مستوى أداء أعلى.

### تعليم
وجدت دراسة أجراها معهد ماكينزي العالمي نقصًا في 1.5 مليون متخصص ومدير بيانات مدربين تدريبًا عاليًا وعدد من الجامعات أنشأت من بينها جامعة تينيسي وجامعة كاليفورنيا في بيركلي، برامج ماجستير لتلبية هذا الطلب. كما طورت معسكرات تدريب خاصة برامجَ مماثلة، بما في ذلك برامج مدفوعة مثل "حاضنة البيانات" و "الجمعية العامة".  وفي مجال التسويق تحديدًا، تتمثل إحدى المشكلات التي أكد عليها ويدل وكانان في أن التسويق يتضمن عدة مجالات فرعية (مثل الإعلان، والترويج، وتطوير المنتجات، وبناء العلامات التجارية) تستخدم جميعها أنواعًا مختلفة من البيانات.

### وسائط
لفهم كيفية استخدام وسائل الإعلام للبيانات الضخمة، من الضروري أولاً تقديم سياق لآلية عمل هذه الوسائل. وقد أشار نيك كولدري وجوزيف تورو إلى أن العاملين في مجال الإعلام والإعلان يتعاملون مع البيانات الضخمة باعتبارها معلومات قابلة للتنفيذ حول ملايين الأفراد. ويبدو أن هذا القطاع يتجه نحو الابتعاد عن النهج التقليدي المتمثل في استخدام بيئات إعلامية محددة كالصحف والمجلات والبرامج التلفزيونية، ويتجه بدلاً من ذلك إلى الوصول إلى المستهلكين عبر تقنيات تصل إلى الأشخاص المستهدفين في الأوقات والأماكن المثلى. والهدف النهائي هو تقديم أو إيصال رسالة أو محتوى يتوافق (إحصائياً) مع توجهات المستهلك. فعلى سبيل المثال، تقوم بيئات النشر بشكل متزايد بتخصيص الرسائل (الإعلانات) والمحتوى (المقالات) لجذب المستهلكين، وذلك بناءً على بيانات جمعت حصرياً من خلال أنشطة استخراج البيانات المختلفة.

* استهداف المستهلكين (لأغراض الإعلان من قبل المسوقين)
* جمع البيانات
* صحافة البيانات : يستخدم الناشرون والصحفيون أدوات البيانات الضخمة لتقديم رؤى ورسوم بيانية فريدة ومبتكرة.

### تأمين
تجمع شركات التأمين الصحي بيانات حول "المحددات الاجتماعية للصحة"، مثل استهلاك الطعام والتلفزيون، والحالة الاجتماعية، ومقاسات الملابس، وعادات الشراء، والتي تستخدمها للتنبؤ بتكاليف الرعاية الصحية، بهدف رصد المشكلات الصحية لدى عملائها. ويُثار جدل حول ما إذا كانت هذه التنبؤات تُستخدم حاليًا في تحديد الأسعار.

### إنترنت الأشياء (IoT)
تعمل البيانات الضخمة وإنترنت الأشياء بتكامل تام. توفر البيانات المستخرجة من أجهزة إنترنت الأشياء خريطة لترابط هذه الأجهزة. وقد استُخدمت هذه الخرائط من قِبل قطاع الإعلام والشركات والحكومات لاستهداف جمهورها بدقة أكبر ورفع كفاءة وسائل الإعلام. كما يُعتمد إنترنت الأشياء بشكل متزايد كوسيلة لجمع البيانات الحسية، وقد استُخدمت هذه البيانات الحسية في مجالات الطب والتصنيع والنقل

يُعرّف كيفن أشتون، خبير الابتكار الرقمي الذي يُنسب إليه ابتكار هذا المصطلح، إنترنت الأشياء في هذا الاقتباس: "لو كانت لدينا حواسيب تعرف كل شيء عن الأشياء - باستخدام البيانات التي تجمعها دون أي مساعدة منا - لتمكّنا من تتبع كل شيء وحصره، وتقليل الهدر والخسائر والتكاليف بشكل كبير. ولعرفنا متى تحتاج الأشياء إلى استبدال أو إصلاح أو استدعاء، وما إذا كانت جديدة أم قديمة."

### تكنولوجيا المعلومات
برزت البيانات الضخمة، لا سيما منذ عام 2015، في العمليات التجارية كأداةٍ تُساعد الموظفين على العمل بكفاءةٍ أكبر وتبسيط جمع وتوزيع تكنولوجيا المعلومات . يُطلق على استخدام البيانات الضخمة لحلّ مشكلات تكنولوجيا المعلومات وجمع البيانات داخل المؤسسة اسم تحليلات عمليات تكنولوجيا المعلومات (ITOA). من خلال تطبيق مبادئ البيانات الضخمة على مفاهيم الذكاء الاصطناعي والحوسبة المتقدمة، تستطيع أقسام تكنولوجيا المعلومات التنبؤ بالمشكلات المحتملة ومنعها. تُقدّم شركات ITOA منصاتٍ لإدارة الأنظمة تجمع بين مستودعات البيانات المنعزلة وتُستخلص منها رؤىً قيّمة من النظام ككل، بدلاً من الاعتماد على بياناتٍ مُجزّأة.

### علم المسح
بالمقارنة مع جمع البيانات القائم على الاستبيانات، تتميز البيانات الضخمة بانخفاض تكلفة كل نقطة بيانات، وتطبيق تقنيات تحليلية عبر التعلم الآلي واستخراج البيانات، وتشمل مصادر بيانات متنوعة وجديدة، مثل السجلات ووسائل التواصل الاجتماعي والتطبيقات وغيرها من أشكال البيانات الرقمية. منذ عام 2018، بدأ علماء الاستبيانات بدراسة كيفية تكامل البيانات الضخمة مع علم الاستبيانات لتمكين الباحثين والممارسين من تحسين إنتاج الإحصاءات وجودتها. عُقدت ثلاثة مؤتمرات بعنوان "البيانات الضخمة تلتقي علم الاستبيانات" (BigSurv) في الأعوام 2018، 2020(افتراضياً)، 2023، واعتباراً  مؤتمر واحد مُقرر عقده في عام 2025، وعدد خاص في مجلة *مراجعة علوم الحاسوب الاجتماعية*، وعدد خاص في *مجلة الجمعية الإحصائية الملكية*، وعدد خاص في ، وكتاب بعنوان *"البيانات الضخمة تلتقي بالعلوم الاجتماعية"*  من تحرير كريج هيل وخمسة زملاء آخرين من الجمعية الإحصائية الأمريكية. في عام 2021، حصل الأعضاء المؤسسون لشركة BigSurv على جائزة وارن ج. ميتوفسكي للمبتكرين من الجمعية الأمريكية لأبحاث الرأي العام.

### تسويق
تُعدّ البيانات الضخمة ذات أهمية بالغة في مجال التسويق نظرًا لعملية "تحويل بيانات" مستخدمي الإنترنت اليومية إلى بيانات بشكل مستمر، حيث يتم تتبع جميع أنواع البيانات. ويمكن تعريف تحويل بيانات المستهلكين إلى بيانات بأنه قياس العديد من السلوكيات البشرية أو جميعها لأغراض التسويق. إن العالم الرقمي المتنامي بسرعة، والذي يشهد تحويلًا سريعًا للبيانات، يجعل هذه الفكرة ذات صلة بالتسويق، لأن كمية البيانات تنمو باستمرار بشكل هائل. ومن المتوقع أن تزداد من 44 إلى 163 زيتابايت خلال خمس سنوات. غالبًا ما يكون التعامل مع حجم البيانات الضخمة أمرًا صعبًا بالنسبة للمسوقين. ونتيجة لذلك، قد يجد مستخدمو البيانات الضخمة أنفسهم في وضع غير مواتٍ. إذ يصعب تحقيق نتائج خوارزمية مع مجموعات البيانات الضخمة هذه. تُعدّ البيانات الضخمة في التسويق أداة مربحة للغاية يمكن استخدامها من قبل الشركات الكبرى، وتكمن قيمتها في إمكانية التنبؤ بالاتجاهات أو الاهتمامات أو النتائج الإحصائية المهمة بطريقة تركز على المستهلك.

هناك ثلاثة عوامل مهمة في استخدام البيانات الضخمة في التسويق:

# تُتيح البيانات الضخمة للمسوقين رصد أنماط سلوك العملاء، إذ تُحوّل جميع الأنشطة البشرية إلى أرقام مفهومة ليسهل على المسوقين تحليلها واستخدامها في أبحاثهم. إضافةً إلى ذلك، يُمكن اعتبار البيانات الضخمة أداةً مُخصصةً لتوصيات المنتجات. فبفضل فعاليتها في تحليل سلوكيات الشراء وأنماط التصفح لدى العملاء، تُساعد هذه التقنية الشركات على الترويج لمنتجات مُخصصة لعملاء مُحددين. 
# تُعدّ الاستجابة الفورية لمتطلبات السوق أمرًا بالغ الأهمية للمسوقين، نظرًا لقدرتهم على تعديل جهودهم التسويقية ومواكبة الاتجاهات الحالية، مما يُسهم في الحفاظ على أهمية منتجاتهم وخدماتهم لدى المستهلكين. وهذا بدوره يُمكّن الشركات من الحصول على المعلومات اللازمة لتوقع رغبات المستهلكين واحتياجاتهم مسبقًا.
# تُعزز البيانات الضخمة بشكل كبير من قدرة السوق على التكيف مع مختلف الظروف. ويجري تطوير نماذج وخوارزميات جديدة لتقديم تنبؤات مهمة حول بعض الأوضاع الاقتصادية والاجتماعية.
## دراسات الحالة
### حكومة

#### الصين

* تستخدم الحكومة منصة العمليات المشتركة المتكاملة (IJOP) لمراقبة السكان، وخاصة الإيغور. ويتم جمع البيانات البيومترية ، بما في ذلك عينات الحمض النووي، من خلال برنامج للفحوصات الطبية المجانية.
* بحلول عام 2020، تخطط الصين لمنح جميع مواطنيها نقاط "ائتمان اجتماعي" شخصية بناءً على سلوكهم. يُعتبر نظام الائتمان الاجتماعي ، الذي يُطبّق حاليًا تجريبيًا في عدد من المدن الصينية، شكلًا من أشكال المراقبة الجماعية التي تستخدم تقنية تحليل البيانات الضخمة.

#### الهند

* جرى تجربة تحليل البيانات الضخمة لصالح حزب بهاراتيا جاناتا للفوز بالانتخابات العامة الهندية لعام 2014.
* تستخدم الحكومة الهندية العديد من الأساليب للتأكد من كيفية استجابة الناخبين الهنود لإجراءات الحكومة، بالإضافة إلى أفكار لتعزيز السياسات.

#### إسرائيل

* يمكن ابتكار علاجات مخصصة لمرضى السكري من خلال حلول البيانات الضخمة التي تقدمها شركة GlucoMe.

#### المملكة المتحدة
أمثلة على استخدامات البيانات الضخمة في الخدمات العامة:

* بيانات الأدوية الموصوفة: من خلال ربط مصدر كل وصفة طبية وموقعها وتاريخها، تمكنت وحدة بحثية من توضيح ودراسة التأخير الكبير بين طرح أي دواء معين في السوق، وتطبيق إرشادات المعهد الوطني للتميز في الرعاية الصحية على مستوى المملكة المتحدة. يشير هذا إلى أن الأدوية الجديدة أو الأكثر حداثة تستغرق بعض الوقت قبل أن تصل إلى المرضى عمومًا.
* دمج البيانات: قامت إحدى السلطات المحلية بدمج بيانات حول الخدمات، مثل جداول رش الملح على الطرق، مع بيانات حول خدمات الأشخاص المعرضين للخطر، مثل خدمة توصيل الوجبات للمحتاجين. وقد مكّن ربط البيانات السلطة المحلية من تجنب أي تأخيرات مرتبطة بالطقس.

#### الولايات المتحدة

* في عام 2012، أعلنت إدارة أوباما عن مبادرة البحث والتطوير في مجال البيانات الضخمة، لاستكشاف كيفية استخدام البيانات الضخمة لمعالجة المشكلات المهمة التي تواجهها الحكومة. تتألف المبادرة من 84 برنامجًا مختلفًا للبيانات الضخمة موزعة على ست وزارات.
* لعب تحليل البيانات الضخمة دورًا كبيرًا في حملة إعادة انتخاب باراك أوباما الناجحة عام 2012.
* تمتلك الحكومة الفيدرالية الأمريكية أربعة من أقوى عشرة حواسيب عملاقة في العالم.
* أنشأت وكالة الأمن القومي الأمريكية مركز بيانات يوتا. وعند اكتماله، سيتمكن المركز من معالجة كميات هائلة من المعلومات التي تجمعها الوكالة عبر الإنترنت. ولا يُعرف حجم مساحة التخزين بدقة، لكن تشير مصادر حديثة إلى أنها ستكون في حدود بضعة إكسابايت. وقد أثار هذا الأمر مخاوف أمنية تتعلق بسرية البيانات التي يتم جمعها.

### بيع بالتجزئة

* تتعامل وول مارت مع أكثر من مليون معاملة للعملاء كل ساعة، والتي يتم استيرادها إلى قواعد بيانات يقدر أنها تحتوي على أكثر من 2.5 بيتابايت (2560 تيرابايت) من البيانات - أي ما يعادل 167 ضعف المعلومات الموجودة في جميع الكتب الموجودة في مكتبة الكونغرس الأمريكية.
* تستخدم شركة ويندرمير للعقارات معلومات الموقع من حوالي 100 مليون سائق لمساعدة مشتري المنازل الجدد على تحديد أوقات قيادتهم المعتادة من وإلى العمل خلال أوقات مختلفة من اليوم.
* يحمي نظام كشف بطاقات FICO الحسابات في جميع أنحاء العالم.
* تستفيد تجارة التجزئة متعددة القنوات من البيانات الضخمة عبر الإنترنت لتحسين التجارب غير المتصلة بالإنترنت.

### الرياضة
يمكن استخدام البيانات الضخمة لتحسين التدريب وفهم المنافسين، وذلك باستخدام أجهزة الاستشعار الرياضية. كما يُمكن التنبؤ بالفائزين في المباريات باستخدام تحليلات البيانات الضخمة. ويمكن أيضًا التنبؤ بالأداء المستقبلي للاعبين. وبالتالي، تُحدد قيمة اللاعبين ورواتبهم بناءً على البيانات التي يتم جمعها طوال الموسم.

في سباقات الفورمولا 1، تُولّد سيارات السباق المزودة بمئات أجهزة الاستشعار كميات هائلة من البيانات. تجمع هذه الأجهزة بيانات متنوعة، بدءًا من ضغط الإطارات وصولًا إلى كفاءة استهلاك الوقود. وبناءً على هذه البيانات، يقرر المهندسون ومحللو البيانات ما إذا كان ينبغي إجراء تعديلات للفوز بالسباق. إضافةً إلى ذلك، وباستخدام البيانات الضخمة، تحاول فرق السباق التنبؤ بالوقت الذي ستنهي فيه السباق مسبقًا، استنادًا إلى عمليات محاكاة باستخدام البيانات التي جُمعت على مدار الموسم.

### كوفيد-19
خلال جائحة كوفيد-19، برزت البيانات الضخمة كوسيلة للحد من تأثير المرض. وشملت التطبيقات الهامة للبيانات الضخمة الحد من انتشار الفيروس، وتحديد الحالات، وتطوير العلاج الطبي.

استخدمت الحكومات البيانات الضخمة لتتبع المصابين بهدف الحد من انتشار العدوى. ومن أوائل الدول التي تبنت هذه التقنية: الصين، وتايوان، وكوريا الجنوبية، وإسرائيل.

## النشاطات البحثية
عرض البحث المشفر وتكوين المجموعات في البيانات الضخمة في مارس 2014 في الجمعية الأمريكية لتعليم الهندسة. وقد قام غوتام سيواش، من مختبر علوم الحاسوب والذكاء الاصطناعي في معهد ماساتشوستس للتكنولوجيا، بالتعاون مع أمير إسماعيل بور من مجموعة أبحاث جامعة نيو هامبشاير، بدراسة السمات الرئيسية للبيانات *الضخمة،* مثل تكوين المجموعات وترابطها. وركز الباحثان على أمن البيانات الضخمة وتوجه المصطلح نحو وجود أنواع مختلفة من البيانات بشكل مشفر على واجهة الحوسبة السحابية، وذلك من خلال تقديم تعريفات أولية وأمثلة عملية ضمن هذه التقنية. علاوة على ذلك، اقترحا منهجًا لتحديد تقنية التشفير بهدف تسريع البحث في النصوص المشفرة، مما يؤدي إلى تحسينات أمنية في مجال البيانات الضخمة.

في مارس 2012، أعلن البيت الأبيض عن "مبادرة البيانات الضخمة" الوطنية التي تضم ست إدارات ووكالات اتحادية خصصت أكثر من 200 دولار.&nbsp;ملايين الدولارات لمشاريع أبحاث البيانات الضخمة.

تضمنت المبادرة منحة من المؤسسة الوطنية للعلوم بعنوان "رحلات استكشافية في الحوسبة" بقيمة 10 ملايين دولار على مدى خمس سنوات لمختبر AMPLab في جامعة كاليفورنيا، بيركلي. كما تلقى مختبر AMPLab تمويلًا من وكالة مشاريع الأبحاث الدفاعية المتقدمة (DARPA)، وأكثر من 12 جهة راعية صناعية، ويستخدم البيانات الضخمة لمعالجة طيف واسع من المشكلات، بدءًا من التنبؤ بازدحام المرور  وصولًا إلى مكافحة السرطان.

تضمنت مبادرة البيت الأبيض للبيانات الضخمة التزامًا من وزارة الطاقة بتوفير تمويل قدره 25 مليون دولار على مدى خمس سنوات لإنشاء معهد إدارة البيانات وتحليلها وتصورها القابل للتوسع (SDAV)، بقيادة مختبر لورانس بيركلي الوطني التابع لوزارة الطاقة. ويهدف معهد SDAV إلى الجمع بين خبرات ستة مختبرات وطنية وسبع جامعات لتطوير أدوات جديدة لمساعدة العلماء على إدارة البيانات وتصورها على الحواسيب العملاقة التابعة للوزارة.

أعلنت ولاية ماساتشوستس الأمريكية عن مبادرة ماساتشوستس للبيانات الضخمة في مايو 2012، والتي توفر تمويلًا من حكومة الولاية وشركات خاصة لمجموعة متنوعة من المؤسسات البحثية. ويستضيف معهد ماساتشوستس للتكنولوجيا مركز إنتل للعلوم والتكنولوجيا للبيانات الضخمة في مختبر علوم الحاسوب والذكاء الاصطناعي التابع للمعهد، حيث يجمع بين التمويل الحكومي والشركات والمؤسسات والجهود البحثية.

"هورايزون 2020"، وهو برنامجها الإطاري التالي. المفوضية الأوروبية منتدى البيانات الضخمة بين القطاعين العام والخاص، الذي يمتدّ لعامين، من خلال برنامجها الإطاري السابع، بهدف إشراك الشركات والأكاديميين وغيرهم من أصحاب المصلحة في مناقشة قضايا البيانات الضخمة. ويهدف المشروع إلى وضع استراتيجية في مجال البحث والابتكار لتوجيه الإجراءات الداعمة من جانب المفوضية الأوروبية في سبيل التنفيذ الناجح لاقتصاد البيانات الضخمة. وستُستخدم نتائج هذا المشروع كمدخلات لبرنامج "هورايزون 2020"، وهو برنامجها الإطاري التالي.

أعلنت الحكومة البريطانية في مارس 2014 عن تأسيس معهد آلان تورينج، الذي سمي تيمناً برائد الحوسبة ومفكك الشفرات، والذي سيركز على طرق جديدة لجمع وتحليل مجموعات البيانات الضخمة.

في يوم الإلهام ضمن فعاليات تجربة البيانات المفتوحة الكندية (CODE) في حرم ستراتفورد التابع لجامعة واترلو، أوضح المشاركون كيف يمكن لتصور البيانات أن يزيد من فهم مجموعات البيانات الضخمة وجاذبيتها، وأن ينقل قصتها إلى العالم.

العلوم الاجتماعية الحاسوبية&nbsp;يمكن لأي شخص استخدام واجهات برمجة التطبيقات (APIs) التي توفرها شركات البيانات الضخمة، مثل جوجل وتويتر، لإجراء البحوث في العلوم الاجتماعية والسلوكية. غالبًا ما تُقدم هذه الواجهات مجانًا. استخدم توبياس بريس وزملاؤه بيانات جوجل تريندز لإثبات أن مستخدمي الإنترنت من الدول ذات الناتج المحلي الإجمالي للفرد الأعلى يميلون أكثر إلى البحث عن معلومات حول المستقبل مقارنةً بالمعلومات حول الماضي. تشير النتائج إلى وجود صلة محتملة بين السلوكيات عبر الإنترنت والمؤشرات الاقتصادية في العالم الحقيقي. فحص مؤلفو الدراسة سجلات استعلامات جوجل من خلال نسبة حجم عمليات البحث للعام القادم (2011) إلى حجم عمليات البحث للعام السابق (2009)، وهو ما أطلقوا عليه اسم " مؤشر التوجه نحو المستقبل ". قارنوا مؤشر التوجه نحو المستقبل بالناتج المحلي الإجمالي للفرد في كل دولة، ووجدوا ميلًا قويًا لدى الدول التي يستفسر فيها مستخدمو جوجل أكثر عن المستقبل إلى امتلاك ناتج محلي إجمالي أعلى.

قدّم توبياس بريس وزملاؤه هيلين سوزانا موات وإتش . يوجين ستانلي طريقةً لتحديد المؤشرات الإلكترونية التي تسبق تحركات سوق الأسهم، باستخدام استراتيجيات تداول تعتمد على بيانات حجم البحث التي توفرها خدمة جوجل تريندز. ويشير تحليلهم لحجم البحث على جوجل لـ 98 مصطلحًا متفاوت الأهمية المالية، والمنشور في *مجلة ساينتيفيك ريبورتس*، إلى أن الزيادة في حجم البحث عن المصطلحات ذات الصلة المالية غالبًا ما تسبق خسائر كبيرة في الأسواق المالية. 

تُثير مجموعات البيانات الضخمة تحديات خوارزمية لم تكن موجودة سابقاً. ولذلك، يرى البعض ضرورة تغيير أساليب المعالجة بشكل جذري.

### أخذ عينات من البيانات الضخمة
من الأسئلة البحثية المطروحة حول مجموعات البيانات الضخمة: هل من الضروري الاطلاع على البيانات كاملةً لاستخلاص استنتاجات محددة حول خصائصها، أم أن عينةً منها كافية؟ يتضمن مصطلح "البيانات الضخمة" نفسه دلالةً على الحجم، وهي سمةٌ أساسيةٌ لها. لكن أخذ العينات يُتيح اختيار نقاط البيانات المناسبة من بين مجموعة البيانات الأكبر لتقدير خصائص المجتمع الإحصائي ككل. في مجال التصنيع، تتوفر أنواعٌ مختلفةٌ من البيانات الحسية، مثل البيانات الصوتية، والاهتزازية، والضغط، والتيار، والجهد، وبيانات التحكم، على فتراتٍ زمنيةٍ قصيرة. للتنبؤ بفترات التوقف، قد لا يكون من الضروري الاطلاع على جميع البيانات، بل قد تكون عينةٌ منها كافية. يمكن تصنيف البيانات الضخمة وفقًا لفئاتٍ مختلفةٍ من نقاط البيانات، مثل البيانات الديموغرافية، والنفسية، والسلوكية، وبيانات المعاملات. بفضل مجموعات البيانات الضخمة، يستطيع المسوّقون إنشاء واستخدام شرائح مُخصصةٍ من المستهلكين لتحقيق استهدافٍ استراتيجيٍّ أكثر دقة.
## انظر أيضًا

* البيانات
* بيانات غير مؤكدة
* قاعدة البيانات الموزعة
* تحليلات تنبؤية
* تحويل البيانات

## المراجع

## وصلات خارجية

* مقالة البصمة الرقمية وتقاسم البيانات  للكاتب ناثان إيغل بتاريخ 4\11\2014

*
تصنيف:إدارة البيانات
تصنيف:تحليل البيانات
تصنيف:علم الحاسوب
تصنيف:قواعد بيانات
تصنيف:مسائل الحوسبة الموزعة
تصنيف:معالجة المعلومات الاجتماعية
تصنيف:نظام معالجة المعاملات