داده کاوی (data mining) چیست؟

داده کاوی فرآیند استخراج اطلاعات مفید از مجموعه ای از داده ها، اغلب از یک انبار داده یا مجموعه ای از مجموعه داده های مرتبط است. ابزارهای داده کاوی شامل توابع قدرتمند آماری، ریاضی و تحلیلی است. نقش اصلی شما تجزیه و تحلیل مقادیر زیادی از داده ها برای شناسایی روندها، الگوها و روابطی است که تصمیم گیری و برنامه ریزی آگاهانه را امکان پذیر می کند.داده کاوی استخراج طلای قرن 21 داده کاوی اغلب با درخواست های بخش بازاریابی همراه است. بسیاری از مدیران این روش را راهی برای درک بهتر تقاضا و مشاهده اینکه چگونه تغییرات در محصولات، قیمت ها یا تبلیغات بر فروش تاثیر می گذارد، می دانند. اما داده کاوی برای سایر حوزه های تجاری نیز سود زیادی دارد. توسعه دهندگان و طراحان می توانند اثربخشی تغییرات محصول را تجزیه و تحلیل کنند و به دنبال دلایل احتمالی موفقیت یا شکست محصول بر اساس نحوه، زمان و مکان استفاده از محصولات باشند. امکانات خدمات و تعمیرات می تواند بهتر برای ذخیره قطعات یدکی و استقرار پرسنل برنامه ریزی کند. شرکت های خدماتی می توانند از داده کاوی برای شناسایی فرصت های جدید ناشی از روندهای اقتصادی و تغییرات جمعیتی استفاده کنند.داده کاوی هر چه مجموعه داده بزرگتر باشد و تجربیات کاربر بیشتر باشد، مفیدتر و ارزشمندتر می شود. منطقی است که هرچه داده های بیشتری وجود داشته باشد، بینش و هوش بیشتری باید در درون پنهان شود. و همانطور که کاربران با ابزارها راحت تر می شوند و پایگاه داده را درک می کنند، می توانند خلاقیت بیشتری در کاوش و تجزیه و تحلیل خود داشته باشند.چرا باید از داده کاوی استفاده شود؟مزیت اصلی داده کاوی توانایی کشف الگوها و روابط در مقادیر زیاد داده از منابع مختلف است. با افزایش روزافزون داده‌های موجود - از منابع متنوعی مانند رسانه‌های اجتماعی، حسگرهای از راه دور، و گزارش‌های دقیق‌تر در مورد حرکت محصول و فعالیت‌های بازار - داده‌کاوی ابزارهایی را برای بهره‌برداری کامل از داده‌های بزرگ و تبدیل آن‌ها به هوشمندی عملی فراهم می‌کند. علاوه بر این، داده کاوی امکان "فکر خارج از چارچوب" را باز می کند.فرآیند داده کاوی می تواند روابط و الگوهای شگفت انگیز و شگفت انگیزی را در اطلاعات به ظاهر نامرتبط آشکار کند. از آنجایی که اطلاعات تمایل به تکه تکه شدن دارند، به طور سنتی تجزیه و تحلیل کامل آن دشوار یا غیرممکن بوده است. با این حال، بین عوامل خارجی - مانند عوامل جمعیتی یا اقتصادی - و عملکرد محصولات یک شرکت همبستگی وجود دارد. در حالی که مدیران به طور منظم ارقام فروش را بر اساس قلمرو، خط محصول، کانال و منطقه بررسی می کنند، آنها اغلب فاقد زمینه خارجی برای این اطلاعات هستند. تجزیه و تحلیل آنها "آنچه اتفاق افتاده" را آشکار می کند، اما در مورد "چرا این اتفاق افتاده است" چیز کمی می گوید. داده کاوی می تواند این شکاف را برطرف کند.داده کاوی می تواند به دنبال همبستگی با عوامل خارجی باشد. اگرچه همبستگی همیشه دلالت بر علیت ندارد، اما این روندها می توانند شاخص های ارزشمندی برای تصمیمات محصول، کانال و تولید باشند. سایر زمینه های کسب و کار از همین تحلیل سود می برند - از طراحی محصول گرفته تا کارایی عملیاتی تا ارائه خدمات.تاریخچه داده کاویمردم هزاران سال است که داده‌ها را جمع‌آوری و تجزیه و تحلیل می‌کنند و از بسیاری جهات این فرآیند یکسان باقی مانده است: شناسایی اطلاعات مورد نیاز، یافتن منابع داده با کیفیت، جمع‌آوری و ترکیب داده‌ها، استفاده از مؤثرترین ابزارهای موجود برای تجزیه و تحلیل داده‌ها. ، و با استفاده از یافته های استخراج شده. همانطور که محاسبات و سیستم های مبتنی بر داده رشد و تکامل یافته اند، ابزارهای مدیریت و تجزیه و تحلیل داده ها نیز رشد کرده اند. نقطه عطف واقعی در دهه 1960 با توسعه فناوری پایگاه داده رابطه ای و ابزارهای جستجوی زبان طبیعی انسان محور مانند زبان پرس و جو ساخت یافته (SQL) رخ داد. داده ها دیگر تنها از طریق برنامه های برنامه ریزی شده ویژه در دسترس نبودند. این پیشرفت، کاربران تجاری را قادر می سازد تا به صورت تعاملی داده های خود را کاوش کنند و "اسرار" پنهان در آن را کشف کنند.داده کاوی به طور سنتی یک تخصص علم داده بوده است. هر نسل جدید از ابزارهای تجزیه و تحلیل در ابتدا به مهارت های فنی پیشرفته نیاز دارد، اما به سرعت تکامل می یابد و برای کاربران قابل دسترس تر می شود. تعامل - توانایی تعامل با داده ها - گام مهمی به جلو است. بپرسید و جواب بگیرید. و بر اساس آن دانش، سوال دیگری بپرسید. این نوع کاوش داده های بدون ساختار، کاربر را فراتر از محدودیت های طراحی پایگاه داده خاص برنامه می برد و امکان کشف روابطی را که از مرزهای عملکردی و سازمانی عبور می کند، می کند.داده کاوی جزء کلیدی هوش تجاری است. ابزارهای داده کاوی در داشبوردهای اجرایی تعبیه شده‌اند و بینش‌هایی را از داده‌های بزرگ، از جمله داده‌های رسانه‌های اجتماعی، فیدهای حسگر از اینترنت اشیا، دستگاه‌های مبتنی بر مکان، متن بدون ساختار، ویدیو و موارد دیگر امکان‌پذیر می‌سازند. داده‌کاوی مدرن برای مدیریت مقرون‌به‌صرفه داده‌ها از بسیاری از منابع و مقیاس‌بندی در صورت نیاز، به ابر و محاسبات مجازی و پایگاه‌های داده درون حافظه متکی است.داده کاوی چگونه کار می کند؟تقریباً به تعداد داده‌کاوی‌ها رویکردهای داده کاوی وجود دارد. این رویکرد بستگی به ماهیت سؤالات مطرح شده و محتوا و سازماندهی پایگاه داده یا سوابقی دارد که مواد اولیه جستجو و تجزیه و تحلیل را فراهم می کند. با این حال، برخی از مراحل سازمانی و آماده سازی برای آماده سازی داده ها، ابزارها و کاربران لازم است:درک مشکل - یا حداقل منطقه تحقیق. تصمیم گیرنده تجاری که مسئول پروژه داده کاوی است نیاز به درک کلی از حوزه ای دارد که در آن کار خواهد کرد - انواع داده های داخلی و خارجی که بخشی از این تحقیق خواهد بود. فرض بر این است که او شرکت و حوزه های عملکردی درگیر را به خوبی می شناسد.داده ها را جمع آوری کنید. با سیستم ها و پایگاه های داده داخلی خود شروع کنید. آنها را از طریق مدل های داده و ابزارهای ارتباطی مختلف پیوند دهید یا داده ها را در یک انبار داده جمع آوری کنید. این همچنین شامل هرگونه داده از منابع خارجی است که بخشی از عملیات تجاری شما هستند، به عنوان مثال. ب. داده‌های فروش و/یا خدمات، داده‌های اینترنت اشیا یا داده‌های رسانه‌های اجتماعی. حقوق داده‌های خارجی، از جمله داده‌های جمعیتی، داده‌های اقتصادی، و اطلاعات بازار مانند روندهای صنعت و معیارهای مالی را از انجمن‌های تجاری و سازمان‌های دولتی پیدا کنید و به دست آورید. این داده ها را در جعبه ابزار بیاورید (آن را در انبار داده خود ادغام کنید یا به یک محیط داده کاوی پیوند دهید).داده ها را آماده و درک کنید. کارشناسان سازمان خود را برای تعریف، دسته بندی و سازماندهی داده ها بیاورید. گاهی اوقات به این بخش از فرآیند به‌عنوان جدال داده‌ها یا مونگینگ یاد می‌شود. ممکن است برای حذف موارد تکراری، ناسازگاری ها، سوابق ناقص یا فرمت های قدیمی نیاز به پاکسازی برخی از داده ها باشد. آماده‌سازی و پاک‌سازی داده‌ها می‌تواند زمانی که پروژه‌های جدید یا داده‌هایی از حوزه‌های مطالعاتی جدید مورد توجه هستند، یک کار مداوم باشد.آموزش کاربران. شما کلید فراری خود را نیز به نوجوان خود نمی دهید، مگر اینکه او تحصیلات مدرسه رانندگی، آموزش رانندگی و چند رانندگی تحت نظارت با یک راننده مجوز داشته باشد. بنابراین، به داده کاویان آینده خود آموزش مناسب و برخی تمرینات نظارت شده ارائه دهید تا بتوانند با این ابزار قدرتمند آشنا شوند. هنگامی که آنها بر اصول اولیه تسلط یافتند و می توانند به سمت تکنیک های پیشرفته تر حرکت کنند، آموزش بیشتر مناسب خواهد بود.