موضوع مقاله: تحلیل داده‌ها | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # تحلیل داده‌ها | مقدمه: تحلیل داده، فرایند فهمیدن، پاک‌سازی، آماده‌سازی و تحلیل داده‌هاست که به منظور استخراج اطلاعات سودمند برای تصمیم‌گیری انجام می‌شود. | ## بخش 1: تحلیل داده‌ها | تحلیل داده‌ها امروزه در اغلب شاخه‌های علوم و صنعت از جمله اقتصاد، رشته‌های مهندسی، بازاریابی، پزشکی و غیره کاربُرد دارد. لذا تحلیل داده، فرایند ارزیابی داده با استفاده از ابزارهای آماری و تحلیلی است که هدف از این مهارت تعیین اطلاعات مفید و همچنین کمک به فرایند گرفتن تصمیمات مهم در کار است. داده کاوی، روش خاصی برای تحلیل داده است که بر مدل‌سازی و کشف دانش برای اهداف قابل پیش‌بینی و نه صرفاً توصیفی متمرکز است؛ در حالی‌که هوش کسب‌وکار را پوشش می‌دهد که به‌طور عمده بر تجمع اطلاعات کسب‌وکار متکی است. در کاربردهای آماری، تجزیه‌وتحلیل داده‌ها را می‌توان به آمار توصیفی، تجزیه‌وتحلیل داده‌های اکتشافی (EDA) و تجزیه‌وتحلیل داده‌های تأییدی (CDA) تقسیم کرد. EDA بر کشف ویژگی‌های جدید در داده‌ها و CDA بر تأیید یا تکذیب فرضیه‌های موجود تمرکز دارد. یکپارچه‌سازی داده‌ها پیش زمینه‌ای برای تحلیل داده‌ها است و تحلیل داده با مصورسازی داده و انتشار داده رابطهٔ نزدیکی دارد. سالیان متمادی شناخت، برنامه‌ریزی و مدیریت سازمان‌ها، در گرو صرف زمان بسیار و تجربه وقایع مختلف در محیط کاری و اجرایی بود. همین موضوع سرعت و چابکی مورد نیاز تغییر و تحول به عنوان نیاز حیاتی بقا در شرایط پیچیده بازار و فناوری را تحت تأثیر قرار می‌داد. پس از انقلاب اتوماسیون و ایجاد سیستم‌های اطلاعاتی و نرم‌افزارهای کاربردی که با هدف اولیه مکانیزه کردن فرایندها شکل گرفته بودند، فرصتی شگرف از ذخیره‌سازی داده‌ها و اطلاعات مهیا گردید و آرمانی جدید پدیدار شد. تحلیلگری داده عنوانی است که معرف این رویکرد نوین شناخت، برنامه‌ریزی و مدیریت مبتنی بر تحلیل داده‌ها است و طیف وسیعی از مدل‌ها، روشها، ابزارها و الگوریتم‌ها را شامل می‌شود. تحلیل داده روند به دست آوردن دادهٔ جدید و تبدیل آن به اطلاعاتی مفید در جهت تصمیم‌گیری کاربران است. الزامات داده دادهٔ لازم به عنوان ورودی جهت تحلیل، بر اساس پیش‌نیازهای جهت‌دار یا مشتریانی که از محصول نهایی تحلیل استفاده می‌کنند، مشخص شده‌اند. ماهیت کلی که بر مبنای آن داده جمع‌آوری خواهد شد، واحد آزمایشی نامیده می‌شود (به‌طور مثال، یک فرد یا جمعیت). متغیرهای خاص در رابطه با یک جمعیت (به‌طور مثال سن یا درآمد) می‌تواند مشخص شود و به دست آید. پیش‌نیازها می‌تواند توسط تحلیل‌گران و متولیان داده وسیله ارتباطی باشد؛ مثلاً تجهیزات فناوری اطلاعات که در یک سازمان است. | ## بخش 2: تحلیل داده‌ها | همچنین داده می‌تواند از سنسورهای داخل محیط مانند دوربین‌های ترافیک، ماهواره، وسایل ثبت و غیره جمع‌آوری شود. به‌طور مثال آن‌ها در فرمت ستونی یا ردیفی در یک جدول قرار می‌گیرند (یعنی داده ساختاری) که برای تحلیل بیشتر از نرم‌افزارهای آماری یا صفحه گسترده استفاده می‌کنند. پاک‌سازی داده زمانی که سازماندهی انجام شد، داده ممکن است ناقص، دارای تکرار یا خطا باشد. بسته به نوع داده مانند شماره‌های تماس، آدرس‌های ایمیل، کارمندان و غیره انواع پاک‌سازی داده وجود دارد. روش‌های دادهٔ کمی برای تشخیص داده‌های پرت می‌تواند برای خارج کردن داده‌هایی که اشتباهاً وارد شده هم استفاده شود. بررسی‌کننده‌های غلط املایی می‌تواند برای کاهش مقدار کلمات اشتباه تایپ شده به کار رود اما مشکل اینجاست که کلماتی که خودشان درست‌اند تشخیص داده شود. برای داده اکتشافی، تحلیل‌گر ممکن است چندین روش را به کار ببندد تا پیام موجود در داده را بتواند درک کند. مصورسازی داده نیز به فرمت گرافیکی به کار می‌رود تا دید بیشتری نسبت به پیام‌های درون داده حاصل آید. مدل‌سازی و الگوریتم مدل‌ها یا فرمول‌های ریاضی که به آن‌ها الگوریتم گفته می‌شود، ممکن است بر روی داده به کار بسته شود تا روابط بین متغیرها مانند همبستگی یا نسبت میان علت و معمول شناسایی شود. به‌طور کلی، مدل‌ها برای ارزیابی به متغیری مشخص در داده که بر مبنای دیگر متغیرها است، توسعه می‌یابد که در آن چند خطای باقی‌مانده بسته به دقت مدل وجود دارد (داد ه= مدل + خطا). برای مثال، تحلیل رگرسیون ممکن است برای مدل استفاده شود که تغییر در تبلیغ (متغیر مستقل X) و تغییر در فروش (متغیر وابسته Y) را توضیح می‌دهد. ممکن است به صورت Y = aX + b + error توضیح داده شود که در آن مدل به گونه‌ای طراحی شده که a و b زمانی که مدل Y را برای طیفی از مقادیر X پیش‌بینی می‌کند، خطا را کاهش دهند. ممکن است تحلیل‌گران سعی کنند تا مدل‌هایی بسازند که توصیفی هستند تا تحلیل ساده و نتایج قابل فهم شود. محصول داده محصول داده یک برنامه کامپیوتری است که داده‌ها را گرفته و خروجی تولید می‌کند و آن‌ها را به محیط برمی‌گرداند؛ می‌تواند برحسب یک مدل یا الگوریتم باشد. برای مثال، برنامه‌ای کاربردی که اطلاعات تاریخچه خرید مشتری را تحلیل می‌کند و خریدهایی که ممکن است برای آن مشتری مطلوب باشد را پیشنهاد می‌کند. | ## بخش 3: تحلیل داده‌ها | ارتباط مقاله اصلی: مصورسازی داده هنگامی که داده‌ها مورد تجزیه و تحلیل است، می‌تواند به فرمت‌های مختلف برای کاربران گزارش شود تا نیازهای آن‌ها حمایت شود. هنگام تعیین نحوه انتقال نتایج، تحلیل‌گر ممکن است که روش‌های تجسم داده را برای کمک به شفافیت و کارایی در انتقال پیام به مخاطب در نظر بگیرد. تجسم داده اطلاعات را به صورت جدول‌ها و نمودارها نمایش می‌دهد تا پیام کلیدی موجود در داده قابل انتقال شود. جدول‌ها برای کاربری که به دنبال اعداد خاصی است کمک‌کننده است در حالی که نمودارها (مثلاً نمودار خطی یا نمودار میله‌ای) برای توضیح پیام‌های کمی کمک‌کننده هستند. روش‌های تجزیه‌وتحلیل دادهٔ کمی همچنین ببینید: حل مسئله نویسنده جاناتان کومی چند سری از بهترین تمرین‌ها را برای فهم بهتر دادهٔ کمی توصیه می‌کند که عبارتند از: دادهٔ خام را قبل از اجرای تحلیل‌تان بررسی کنید؛ محاسبات مهم، مانند بررسی ستون داده که از فرمول به دست آمده را مجدداً اجرا کنید؛ کلیات را که حاصل زیرمجموعه‌ها هستند، تأیید کنید؛ روابط بین اعدادی را که می‌بایست مربوط به حالتی قابل پیش‌بینی باشند، مانند نرخ‌ها در طول زمان، چک کنید؛ به منظور ساده‌سازی مقایسه، بخش‌هایی چون تحلیل مقادیر را در هر نفر یا نسبت به تولید ناخالصی داخلی (GDP) یا به عنوان شاخص نسبی در یک سال پایه را به صورت قاعده درآورید؛ مشکلات را به عوامل تحلیلی که منجر به نتیجه می‌شوند، بشکنید. برای متغیرهای تحت بررسی، تحلیل‌گران معمولاً آمار توصیفی به دست می‌آورند (مانند معدل، میانه و انحراف معیار). آن‌ها همچنین ممکن است که توزیع متغیرهای کلیدی را تحلیل کنند تا چگونگی مقادیر مشخص حول میانه را ببینند. مشاوران در مکنزی اند کامپنی، روش شکستن مشکلات کمی به اجزاء آن را اصل MECE نام‌گذاری کردند. به نوبه خود، درآمد کل می‌تواند توسط اجزای آن تحلیل شود؛ از جمله درآمد حاصل از بخش B, A و C (متقابلاً منحصر به فرداند) که باید به درآمد کل (تجمعی کامل) اضافه شوند. تحلیل‌گران ممکن است اندازه‌گیری‌های آماری قوی برای حل مشکلات تحلیلی خاص به کار ببرند. آزمون فرضیه زمانی استفاده می‌شود که فرضیه خاصی دربارهٔ حالت واقعی امور توسط تحلیل‌گر ساخته می‌شود و داده برای تعیین اینکه آیا آن حالت درست است یا غلط، به کار می‌رود. برای مثال، ممکن است فرضیه این باشد که «بیکاران اثری بر تورم ندارند» که مربوط به مفهومی اقتصادی است. آزمون فرضیه شامل در نظر گرفتن احتمال نوع I و نوع II است و مرتبط است به اینکه آیا داده فرضیه را رد می‌کند یا می‌پذیرد. تحلیل رگرسیون زمانی به کار می‌رود که تحلیل‌گر سعی دارد تعیین کند که تا چه میزان متغیرهای مستقل X بر متغیرهای وابسته Y تأثیر می‌گذارند (مثلاً تا چه حد تغییرات نرخ بیکاری X در نرخ تورم Y تأثیر دارد؟). تحلیل شرطی لازم (NCA) در حالتی به‌کار می‌رود که تحلیل‌گر سعی دارد تعیین کند که تا چه میزان متغیر مستقل X, متغیر Y را می‌پذیرد (به‌طور مثال، تا چه میزان نرخ مشخصی از بیکاری (X) برای نرخ تورم (Y) ضروری است). | ## جمع‌بندی | درحالی‌که تحلیل (چند) رگرسیونی منطق افزایشی دارد که در آن هر متغیر X می‌تواند نتیجه‌ای تولید کند و Xها برای یکدیگر جبران می‌کنند (کافی هستند ولی غیر ضروری) و تحلیل شرطی لازم (NCA) منطق ضرورت را به‌کار می‌برد که در آن ممکن است یک یا چند متغیر X نتیجه را بپذیرد ولی شاید موجب تولید آن نباشد (ضروری هستند ولی کافی نیستند).