موضوع مقاله: کلان‌داده | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # کلان‌داده | مقدمه: داده‌های با ورودی‌های زیاد (ردیف‌ها) توان آماری بیشتری را ارائه می‌دهند، در حالی که داده‌های با پیچیدگی بالاتر (ویژگی‌ها یا ستون‌های بیشتر) ممکن است به نرخ کشف نادرست بالاتری منجر شود. | ## بخش 1: کلان‌داده | در حقیقت می‌توان گفت، مه‌داده حجم وسیعی از اطلاعات است که اگر حجم آن کم باشد قابل تفسیر و برداشت نیست. چالش‌های تجزیه و تحلیل مه‌داده‌ها شامل جمع‌آوری داده‌ها، ذخیره‌سازی داده‌ها، تجزیه و تحلیل دادها، جستجوی آنها، اشتراک گذاری، انتقال، مصورسازی داده، پرسمان، به روز رسانی، حریم خصوصی اطلاعات و تعیین منبع داده است. بدون سرمایه‌گذاری کافی در تخصص برای صحت کلان داده‌ها، حجم و تنوع داده‌ها می‌تواند هزینه‌ها و خطراتی را ایجاد کند که بیش از ظرفیت سازمان برای ایجاد و گرفتن ارزش از داده‌های بزرگ است. استفاده کنونی از واژه مه‌داده به استفاده از تحلیل پیشگویانه، تحلیل رفتار کاربر یا برخی دیگر از روش‌های پیشرفته تجزیه و تحلیل داده اشاره دارد که ارزش را از داده‌های بزرگ استخراج می‌کند و به ندرت به اندازهٔ خاصی از مجموعه داده‌ها می‌پردازد. «شکی وجود ندارد که حجم داده‌های موجود در حال حاضر واقعاً زیاد است، اما این مهم‌ترین ویژگی این اکوسیستم داده جدید نیست.» تجزیه و تحلیل مجموعه داده‌ها می‌تواند همبستگی‌های جدیدی را برای «پیدا کردن روندهای تجاری، پیشگیری از بیماری‌ها، مبارزه با جرم و جنایت و غیره» پیدا کند. امروزه اندازه و تعداد مجموعه داده‌های موجود به سرعت رشد کرده است زیرا داده‌های فراوانی توسط دستگاه‌هایی مانند دستگاه‌های تلفن همراه، دستگاه‌های ارزان و متعدد سنجش اطلاعات اینترنت اشیا، سنجش از دور، گزارش‌های نرم‌افزارها، دوربین‌ها، میکروفون‌ها، سامانه بازشناسی با امواج رادیویی (RFID)، ریدرها و شبکه‌های حسگر بی‌سیم جمع‌آوری می‌شود. سیستم‌های مدیریت پایگاه داده رابطه‌ای و بسته‌های نرم‌افزار آماری رومیزی که برای مصورسازی داده‌ها استفاده می‌شوند، اغلب در پردازش و تجزیه و تحلیل مه‌داده‌ها با مشکل مواجه هستند. پردازش و تجزیه و تحلیل داده‌های بزرگ ممکن است نیاز به «نرم‌افزار موازی گسترده‌ای داشته باشد که بر روی ده‌ها، صدها یا حتی هزاران سرور اجرا می‌شود». کاربرد عنوان "مه‌داده‌" به مجموعه‌ای از داده‌ها، به توانایی‌های کسانی که آن را تجزیه و تحلیل می‌کنند و ابزار آنها بستگی دارد. برای برخی از سازمان‌ها، مواجه شدن با صدها گیگابایت داده برای اولین بار ممکن است نیاز به بازنگری در گزینه‌های مدیریت داده‌ها را ایجاد کند. برای برخی دیگر، ممکن است ده‌ها یا صدها ترابایت طول بکشد تا اندازه داده‌ها به یک موضوع قابل توجه تبدیل شود.» تعریف عبارت big data یا مه‌داده از دهه ۱۹۹۰ مورد استفاده قرار گرفته است و برخی رواج آن را به دانشمند علوم رایانه آمریکایی، جان مَشی نسبت می‌دهند. مه‌داده معمولاً شامل مجموعه داده‌هایی است که اندازه آن فراتر از توانایی ابزارهای نرم‌افزاری رایج برای جمع‌آوری، گزینش، مدیریت و پردازش داده‌ها در مدت زمان قابل تحمل است. فلسفه داده‌های بزرگ شامل داده‌های بدون ساختار، نیمه ساختاریافته و ساختاریافته است، با این حال، تمرکز اصلی بر روی داده‌های بدون ساختار است. «اندازه» داده‌های بزرگ یک هدف دائماً در حال حرکت است و از سال ۲۰۱۲ از چند ده ترابایت تا چندین زتابایت داده تغییر کرده است. | ## بخش 2: کلان‌داده | مه‌داده به مجموعه‌ای از روش‌ها و فن‌آوری‌ها با اشکال جدید ادغام نیاز دارد تا بینش‌هایی را از مجموعه‌های داده‌ای که متنوع، پیچیده و در مقیاس وسیع هستند، آشکار کند. کلان داده را می‌توان با ویژگی‌های زیر توصیف کرد: حجم مقدار داده‌های تولید شده و ذخیره شده اندازه داده‌ها ارزش و بینش بالقوه را تعیین می‌کند و اینکه آیا می‌توان آن را مه‌داده در نظر گرفت یا خیر. فناوری‌های قبلی مانند RDBMSs قادر بودند داده‌های ساختاریافته را به صورت کارآمد و مؤثر مدیریت کنند. اما تغییر نوع و ماهیت از ساختاریافته به نیمه‌ساختاریافته یا بدون ساختار، ابزارها و فناوری‌های موجود را به چالش کشید. فناوری‌های داده‌های بزرگ با هدف اصلی جمع‌آوری، ذخیره‌سازی و پردازش داده‌های نیمه‌ساختاریافته و بدون ساختار (تنوع) که با سرعت بالا (سرعت) و حجم عظیم (حجم) تولید می‌شدند، تکامل یافتند. بعداً، این ابزارها و فناوری‌ها برای مدیریت داده‌های ساختاریافته نیز کاوش و استفاده شدند اما ترجیحاً برای ذخیره‌سازی. در نهایت، پردازش داده‌های ساختاریافته هنوز به عنوان یک گزینه نگه داشته شد، یا با استفاده از داده‌های بزرگ یا RDBMSs سنتی. این کمک می‌کند تا داده‌ها را به سمت استفاده مؤثر از بینش‌های پنهانی که از داده‌های جمع‌آوری شده از طریق رسانه‌های اجتماعی، فایل‌های لاگ، حسگرها و غیره نمایان می‌شوند، تجزیه و تحلیل کنیم. داده‌های بزرگ از متن، تصاویر، صوت، ویدیو برداشت می‌کند؛ علاوه بر این، قطعات گمشده را از طریق ادغام داده‌ها تکمیل می‌کند. سرعت سرعت تولید و پردازش داده‌ها برای پاسخگویی به خواسته‌ها و چالش‌هایی که در مسیر رشد و توسعه قرار دارند. دو نوع سرعت مربوط به مه‌داده عبارتند از فرکانس تولید و فرکانس پردازش، ضبط و انتشار. صحت صحت یا قابلیت اطمینان داده‌ها که به کیفیت داده‌ها و ارزش داده‌ها اشاره دارد. مه‌داده‌ها نه تنها باید از نظر اندازه بزرگ باشند، بلکه باید قابل اعتماد نیز باشند تا در تجزیه و تحلیل آن به ارزش دست یافت. کیفیت داده‌های ضبط شده می‌تواند بسیار متفاوت باشد و بر تجزیه و تحلیل دقیق تأثیر بگذارد. | ## بخش 3: کلان‌داده | ارزش ارزش اطلاعاتی که می‌توان با پردازش و تجزیه و تحلیل مجموعه داده‌های بزرگ به دست آورد. مه‌داده می‌تواند شامل داده‌های ساختاریافته، بدون ساختار یا ترکیبی از داده‌های ساختاریافته و بدون ساختار باشد. پردازش داده‌های خام ممکن است شامل تبدیل داده‌های بدون ساختار به داده‌های ساختار یافته نیز باشد. کاربردها دولت استفاده و پذیرش مه‌داده در فرآیندهای دولتی، امکان افزایش بازدهی را از نظر هزینه، بهره‌وری و نوآوری امکان‌پذیر می‌کند، اما بدون نقص نیست. یک سازمان دولتی رایج که از داده‌های بزرگ استفاده می‌کند، آژانس امنیت ملی آمریکا (NSA) است که فعالیت‌های اینترنت را به‌طور مداوم در جستجوی الگوهای بالقوه فعالیت‌های مشکوک یا غیرقانونی که ممکن است سیستم آنها دریافت کند، رصد می‌کند. توسعه بین‌المللی تحقیقات در مورد استفاده مؤثر از فناوری‌های اطلاعات و ارتباطات برای توسعه نشان می‌دهد که فناوری داده‌های بزرگ می‌تواند سهم مهمی داشته باشد اما همچنین چالش‌های منحصربه‌فردی را برای توسعه بین‌المللی ایجاد کند. دارایی و امور مالی مه‌داده‌ها به سرعت در امور مالی برای سرعت بخشیدن به پردازش و ارائه استنباط‌های بهتر و آگاهانه تر، هم در داخل و هم برای مشتریان موسسات مالی به کار گرفته می‌شوند. کاربردهای مالی مه‌داده عبارتند از: تصمیم‌گیری در مورد سرمایه‌گذاری و معاملات (پردازش حجم داده‌های قیمتی موجود، دفترهای سفارش محدود، داده‌های اقتصادی و موارد دیگر، به‌طور همزمان)، مدیریت پورتفولیو (بهینه‌سازی بیش از یک مجموعه بزرگ از ابزارهای مالی، به‌طور بالقوه) را شامل می‌شود. انتخاب شده از طبقات مختلف دارایی)، مدیریت ریسک (رتبه‌بندی اعتبار بر اساس اطلاعات گسترده)، و هر جنبه دیگری که در آن ورودی داده‌ها زیاد است. بهداشت تجزیه و تحلیل مه‌داده‌ها در مراقبت‌های بهداشتی با ارائه پزشکی شخصی و تجزیه و تحلیل تجویزی، مداخله ریسک بالینی و تجزیه و تحلیل پیش‌بینی، کاهش تنوع ضایعات و مراقبت، گزارش خودکار داده‌های داخلی و خارجی بیمار، اصطلاحات پزشکی استاندارد و ثبت بیماران مورد استفاده قرار گرفته است. مه‌داده در تحقیقات بهداشتی به ویژه از نظر تحقیقات زیست پزشکی اکتشافی امیدوارکننده است، زیرا تجزیه و تحلیل مبتنی بر داده می‌تواند سریعتر از تحقیقات فرضیه محور به جلو حرکت کند. اگر در طبیعت به زندگی حیواناتی مانند پنگوئن ، زنبور عسل ، مورچه‌ها و… که یک زیست دسته جمعی را در اثر میلیون‌ها سال یاد گرفته‌اند. | ## جمع‌بندی | این روش کار کردن و زیست آن حیوانات به صورت کلان داده‌ها عمل می‌کند و اگر این نظم را بر روی نرم‌افزار‌ها پیاده و اجرا کنیم ، می‌توانیم به هوشمندی در کلان داد‌ها را برسیم.