کلان‌داده

کلان‌داده‌، مه‌داده‌ یا بزرگ‌داده‌  معمولاً به مجموعه داده‌هایی گفته می‌شود که بیش از حد بزرگ یا پیچیده هستند که نمی‌توان با نرم‌افزارهای کاربردی پردازش داده سنتی آنها را پردازش کرد. داده‌های با ورودی‌های زیاد (ردیف‌ها) توان آماری بیشتری را ارائه می‌دهند، در حالی که داده‌های با پیچیدگی بالاتر (ویژگی‌ها یا ستون‌های بیشتر) ممکن است به نرخ کشف نادرست بالاتری منجر شود. در حقیقت می‌توان گفت، مه‌داده حجم وسیعی از اطلاعات است که اگر حجم آن کم باشد قابل تفسیر و برداشت نیست.

چالش‌های تجزیه و تحلیل مه‌داده‌ها شامل جمع‌آوری داده‌ها، ذخیره‌سازی داده‌ها، تجزیه و تحلیل دادها، جستجوی آنها، اشتراک گذاری، انتقال، مصورسازی داده، پرسمان، به روز رسانی، حریم خصوصی اطلاعات و تعیین منبع داده‌است. کلان داده در ابتدا با سه مفهوم کلیدی مرتبط بود: حجم، تنوع و سرعت. بدون سرمایه‌گذاری کافی در تخصص برای صحت کلان داده‌ها، حجم و تنوع داده‌ها می‌تواند هزینه‌ها و خطراتی را ایجاد کند که بیش از ظرفیت سازمان برای ایجاد و گرفتن ارزش از داده‌های بزرگ است. استفاده کنونی از واژه مه‌داده به استفاده از تحلیل پیشگویانه، تحلیل رفتار کاربر یا برخی دیگر از روش‌های پیشرفته تجزیه و تحلیل داده اشاره دارد که ارزش را از داده‌های بزرگ استخراج می‌کند و به ندرت به اندازه خاصی از مجموعه داده‌ها می‌پردازد. «شکی وجود ندارد که حجم داده‌های موجود در حال حاضر واقعاً زیاد است، اما این مهم‌ترین ویژگی این اکوسیستم داده جدید نیست.» تجزیه و تحلیل مجموعه داده‌ها می‌تواند همبستگی‌های جدیدی را برای «پیدا کردن روندهای تجاری، پیشگیری از بیماری‌ها، مبارزه با جرم و جنایت و غیره» پیدا کند.

امروزه اندازه و تعداد مجموعه داده‌های موجود به سرعت رشد کرده‌است زیرا داده‌های فراوانی توسط دستگاه‌هایی مانند دستگاه‌های تلفن همراه، دستگاه‌های ارزان و متعدد سنجش اطلاعات اینترنت اشیا، سنجش از دور، گزارش‌های نرم‌افزارها، دوربین‌ها، میکروفون‌ها، سامانه بازشناسی با امواج رادیویی (RFID)، ریدرها و شبکه‌های حسگر بی‌سیم جمع‌آوری می‌شود.

سیستم‌های مدیریت پایگاه داده رابطه‌ای و بسته‌های نرم‌افزار آماری رومیزی که برای مصورسازی داده‌ها استفاده می‌شوند، اغلب در پردازش و تجزیه و تحلیل مه‌داده‌ها با مشکل مواجه هستند. پردازش و تجزیه و تحلیل داده‌های بزرگ ممکن است نیاز به «نرم افزار موازی گسترده‌ای داشته باشد که بر روی ده‌ها، صدها یا حتی هزاران سرور اجرا می‌شود». اطلاق عنوان "مه‌داده‌" به مجموعه‌ای از داده‌ها، به توانایی‌های کسانی که آن را تجزیه و تحلیل می‌کنند و ابزار آنها بستگی دارد. برای برخی از سازمان‌ها، مواجه شدن با صدها گیگابایت داده برای اولین بار ممکن است نیاز به بازنگری در گزینه‌های مدیریت داده‌ها را ایجاد کند. برای برخی دیگر، ممکن است ده‌ها یا صدها ترابایت طول بکشد تا اندازه داده‌ها به یک موضوع قابل توجه تبدیل شود.»

تعریف 
عبارت big data یا مه‌داده از دهه ۱۹۹۰ مورد استفاده قرار گرفته‌است و برخی رواج آن را به دانشمند علوم رایانه آمریکایی، جان مَشی نسبت می‌دهند. مه‌داده معمولاً شامل مجموعه داده‌هایی است که اندازه آن فراتر از توانایی ابزارهای نرم‌افزاری رایج برای جمع‌آوری، گزینش، مدیریت و پردازش داده‌ها در مدت زمان قابل تحمل است. فلسفه داده‌های بزرگ شامل داده‌های بدون ساختار، نیمه ساختاریافته و ساختاریافته است، با این حال، تمرکز اصلی بر روی داده‌های بدون ساختار است. «اندازه» داده‌های بزرگ یک هدف دائماً در حال حرکت است و از سال ۲۰۱۲ از چند ده ترابایت تا چندین زتابایت داده تغییر کرده‌است. مه‌داده به مجموعه‌ای از روش‌ها و فن‌آوری‌ها با اشکال جدید ادغام نیاز دارد تا بینش‌هایی را از مجموعه‌های داده‌ای که متنوع، پیچیده و در مقیاس وسیع هستند، آشکار کند.

ویژگی‌ها 
کلان داده را می‌توان با ویژگی‌های زیر توصیف کرد:

حجم 
مقدار داده‌های تولید شده و ذخیره شده اندازه داده‌ها ارزش و بینش بالقوه را تعیین می‌کند و اینکه آیا می‌توان آن را مه‌داده در نظر گرفت یا خیر. اندازه مه‌داده معمولاً بزرگتر از ترابایت و پتابایت است.

تنوع 
نوع و ماهیت داده‌ها.

سرعت 
سرعت تولید و پردازش داده‌ها برای پاسخگویی به خواسته‌ها و چالش‌هایی که در مسیر رشد و توسعه قرار دارند. داده‌های بزرگ اغلب در زمان واقعی در دسترس هستند. در مقایسه با داده‌های کوچک، مه‌داده‌ها با استمرار بیشتری تولید می‌شوند. دو نوع سرعت مربوط به مه‌داده عبارتند از فرکانس تولید و فرکانس پردازش، ضبط و انتشار.

صحت 
صحت یا قابلیت اطمینان داده‌ها که به کیفیت داده‌ها و ارزش داده‌ها اشاره دارد. مه‌داده‌ها نه تنها باید از نظر اندازه بزرگ باشند، بلکه باید قابل اعتماد نیز باشند تا در تجزیه و تحلیل آن به ارزش دست یافت. کیفیت داده‌های ضبط شده می‌تواند بسیار متفاوت باشد و بر تجزیه و تحلیل دقیق تأثیر بگذارد.

ارزش 
ارزش اطلاعاتی که می‌توان با پردازش و تجزیه و تحلیل مجموعه داده‌های بزرگ به دست آورد. ارزش را نیز می‌توان با ارزیابی سایر کیفیت‌های کلان داده اندازه‌گیری کرد.

تغییرپذیری 
ویژگی تغییر فرمت‌ها، ساختار یا منابع داده‌های بزرگ. مه‌داده می‌تواند شامل داده‌های ساختاریافته، بدون ساختار یا ترکیبی از داده‌های ساختاریافته و بدون ساختار باشد. تجزیه و تحلیل مه‌داده ممکن است داده‌های خام را از چندین منبع ادغام کند. پردازش داده‌های خام ممکن است شامل تبدیل داده‌های بدون ساختار به داده‌های ساختار یافته نیز باشد.

کاربردها

دولت 
استفاده و پذیرش مه‌داده در فرآیندهای دولتی، امکان افزایش بازدهی را از نظر هزینه، بهره‌وری و نوآوری امکان‌پذیر می‌کند، اما بدون نقص نیست. تجزیه و تحلیل داده‌ها اغلب نیاز به همکاری بخش‌های متعددی از دولت دارد. یک سازمان دولتی رایج که از داده‌های بزرگ استفاده می‌کند، آژانس امنیت ملی آمریکا (NSA) است که فعالیت‌های اینترنت را به‌طور مداوم در جستجوی الگوهای بالقوه فعالیت‌های مشکوک یا غیرقانونی که ممکن است سیستم آنها دریافت کند، رصد می‌کند.

توسعه بین‌المللی 
تحقیقات در مورد استفاده مؤثر از فناوری‌های اطلاعات و ارتباطات برای توسعه نشان می‌دهد که فناوری داده‌های بزرگ می‌تواند سهم مهمی داشته باشد اما همچنین چالش‌های منحصربه‌فردی را برای توسعه بین‌المللی ایجاد کند. پیشرفت‌ها در تجزیه و تحلیل مه‌داده‌ها فرصت‌های مقرون به صرفه را برای بهبود تصمیم‌گیری در زمینه‌های توسعه حیاتی مانند مراقبت‌های بهداشتی، اشتغال، بهره‌وری اقتصادی، جرم و جنایت، امنیت و بلایای طبیعی و مدیریت منابع ارائه می‌دهد.

دارایی و امور مالی 
مه‌داده‌ها به سرعت در امور مالی برای سرعت بخشیدن به پردازش و ارائه استنباط‌های بهتر و آگاهانه تر، هم در داخل و هم برای مشتریان موسسات مالی به کار گرفته می‌شوند. کاربردهای مالی مه‌داده عبارتند از: تصمیم‌گیری در مورد سرمایه‌گذاری و معاملات (پردازش حجم داده‌های قیمتی موجود، دفترهای سفارش محدود، داده‌های اقتصادی و موارد دیگر، به‌طور همزمان)، مدیریت پورتفولیو (بهینه‌سازی بیش از یک مجموعه بزرگ از ابزارهای مالی، به‌طور بالقوه) را شامل می‌شود. انتخاب شده از طبقات مختلف دارایی)، مدیریت ریسک (رتبه‌بندی اعتبار بر اساس اطلاعات گسترده)، و هر جنبه دیگری که در آن ورودی داده‌ها زیاد است.

بهداشت 
تجزیه و تحلیل مه‌داده‌ها در مراقبت‌های بهداشتی با ارائه پزشکی شخصی و تجزیه و تحلیل تجویزی، مداخله ریسک بالینی و تجزیه و تحلیل پیش‌بینی، کاهش تنوع ضایعات و مراقبت، گزارش خودکار داده‌های داخلی و خارجی بیمار، اصطلاحات پزشکی استاندارد و ثبت بیماران مورد استفاده قرار گرفته‌است.

مه‌داده در تحقیقات بهداشتی به ویژه از نظر تحقیقات زیست پزشکی اکتشافی امیدوارکننده است، زیرا تجزیه و تحلیل مبتنی بر داده می‌تواند سریعتر از تحقیقات فرضیه محور به جلو حرکت کند.

جستارهای وابسته 

 داده
 واحدهای حافظه رایانه
 تصمیم‌گیری داده‌محور
 اینترنت اشیاء
 علم داده‌ها
 رایانش ابری
 آپاچی هدوپ

منابع 

 
پردازش تراکنش
پیش‌بینی فناوری
تحلیل داده
مدیریت داده‌ها
مسئله‌های رایانش توزیع‌شده
ویکی‌سازی رباتیک