داده‌کاوی

داده‌کاوی  به مفهوم استخراج اطلاعات نهان یا الگوها و روابط مشخص در حجم زیادی از داده‌ها در یک یا چند بانک اطلاعاتی بزرگ گفته می‌شود. بسیاری از مردم داده کاوی را مترادف واژه‌های رایج کشف دانش در پایگاه‌داده‌ها   می‌دانند. داده‌کاوی، پایگاه‌ها و مجموعه حجیم داده‌ها را در پی کشف و استخراج، مورد تحلیل قرار می‌دهد. این‌گونه مطالعات و کاوش‌ها را به واقع می‌توان همان امتداد و استمرار دانش کهن و همه جا گیر آمار دانست. تفاوت عمده در مقیاس، وسعت و گوناگونی زمینه‌ها و کاربردها، و نیز ابعاد و اندازه‌های داده‌های امروزین است که شیوه‌های ماشینی مربوط به یادگیری، مدل‌سازی، و آموزش را طلب می‌نماید.

 ویژگی‌ها 
یکی از ویژگی‌های کلیدی در بسیاری از ابتکارات مربوط به تأمین امنیت ملی، داده کاوی است. داده کاوی که به عنوان ابزاری برای کشف جرایم، ارزیابی میزان ریسک و فروش محصولات به کار می‌رود، در بر گیرنده ابزارهای تجزیه و تحلیل اطلاعات به منظور کشف الگوهای معتبر و ناشناخته در بین انبوهی از داده هاست. داده کاوی غالباً در زمینه تأمین امنیت ملی به منزله ابزاری برای شناسایی فعالیت‌های افراد خرابکار شامل جابه جایی پول و ارتباطات بین آن‌ها و همچنین شناسایی و ردگیری خود آن‌ها با بررسی سوابق مربوط به مهاجرت و مسافرت هاست.

داده کاوی پیشرفت قابل ملاحظه‌ای را در نوع ابزارهای تحلیل موجود نشان می‌دهد اما محدودیت‌هایی نیز دارد. یکی از این محدودیت‌ها این است که با وجود اینکه به آشکارسازی الگوها و روابط کمک می‌کند اما اطلاعاتی را دربارهٔ ارزش یا میزان اهمیت آن‌ها به دست نمی‌دهد. دومین محدودیت آن این است که با وجود توانایی شناسایی روابط بین رفتارها یا متغیرها لزوماً قادر به کشف روابط علت و معلولی نیست. موفقیت داده کاوی در گرو بهره‌گیری از کارشناسان فنی و تحلیل گران کار آزموده‌ای است که از توانایی کافی برای طبقه‌بندی تحلیل‌ها و تغییر آن‌ها برخوردار هستند.

بهره‌برداری از داده کاوی در دو بخش دولتی و بخش خصوصی رو به گسترش است. صنایعی چون بانکداری، بیمه، بهداشت و بازاریابی آن را عموماً برای کاهش هزینه‌ها، ارتقاء کیفی پژوهش‌ها و بالاتر بردن میزان فروش به کار می‌برند. کاربرد اصلی داده کاوی در بخش دولتی به عنوان ابزاری برای تشخیص جرایم بوده است اما امروزه دامنه بهره‌برداری از آن گسترش روزافزونی یافته و سنجش و بهینه‌سازی برنامه‌ها را نیز در بر می‌گیرد. بررسی برخی از برنامه‌های کاربردی مربوط به داده کاوی که برای تأمین امنیت ملی به کار می‌روند، نشان دهنده رشد قابل ملاحظه‌ای در رابطه با کمیت و دامنه داده‌هایی است که باید تجزیه و تحلیل شوند.

توانایی‌های فنی در داده کاوی از اهمیت ویژه‌ای برخوردارند اما عوامل دیگری نیز مانند چگونگی پیاده‌سازی و نظارت ممکن است نتیجه کار را تحت تأثیر قرار دهند. یکی از این عوامل کیفیت داده‌ها است که بر میزان دقت و کامل بودن آن دلالت دارد. عامل دوم میزان سازگاری نرم‌افزار داده کاوی با بانک‌های اطلاعاتی است که از سوی شرکت‌های متفاوتی عرضه می‌شوند. عامل سومی که باید به آن اشاره کرد به بیراهه رفتن داده کاوی و بهره‌برداری از داده‌ها به منظوری است که در ابتدا با این نیت گردآوری نشده‌اند. حفظ حریم خصوصی افراد عامل دیگری است که باید به آن توجه داشت.

اصولاً به پرسش‌های زیر در زمینه داده کاوی باید پاسخ داده شود:
 سازمان‌های دولتی تا چه حدی مجاز به بهره‌برداری از داده‌ها هستند؟
 آیا از داده‌ها در چارچوبی غیر متعارف بهره‌برداری می‌شود؟
 کدام قوانین حفظ حریم خصوصی ممکن است به داده کاوی مربوط شوند؟

کاوش در داده‌ها بخشی بزرگ از سامانه‌های هوشمند است. سامانه‌های هوشمند زیر شاخه‌ای بزرگ و پرکاربرد از زمینه علمی جدید و پهناور یادگیری ماشینی هستند که خود زمینه‌ای در هوش مصنوعی است. فرایند گروه گروه کردن مجموعه‌ای از اشیا فیزیکی یا مجرد به صورت طبقه‌هایی از اشیا مشابه هم را خوشه‌بندی می‌نامیم.

با توجه به اندازه‌های گوناگونِ (و در اغلب کاربردها بسیار بزرگ و پیچیده) مجموعه‌های داده‌ها، مقیاس‌پذیری الگوریتم‌های به کار رفته معیاری مهم در مفاهیم مربوط به کاوش در داده‌ها است.

کاوش‌های ماشینی در متون حالتی خاص از زمینهٔ عمومی‌تر کاوش در داده‌ها بوده و به آن دسته از کاوش‌ها گفته می‌شود که در آن‌ها داده‌های مورد مطالعه از جنس متون نوشته شده به زبان‌های طبیعی انسانی باشد.

 چیستی 
داده کاوی به بهره‌گیری از ابزارهای تجزیه و تحلیل داده‌ها به منظور کشف الگوها و روابط معتبری که تاکنون ناشناخته بوده‌اند گفته می‌شود. این ابزارها ممکن است مدل‌های آماری، الگوریتم‌های ریاضی و روش‌های یاد گیرنده (Machine Learning Methods) باشند که کار این خود را به صورت خودکار و بر اساس تجربه‌ای که از طریق شبکه‌های عصبی یا درخت‌های تصمیم‌گیری به دست می‌آورند بهبود می‌بخشد. داده کاوی منحصر به گردآوری و مدیریت داده‌ها نبوده و تجزیه و تحلیل اطلاعات و پیش‌بینی را نیز شامل می‌شود
برنامه‌های کاربردی که با بررسی فایل‌های متن یا چند رسانه‌ای به کاوش داده‌ها می‌پردازند پارامترهای گوناگونی را در نظر می‌گیرد که عبارت اند از:
 قواعد انجمنی (Association): الگوهایی که بر اساس آن یک رویداد به دیگری مربوط می‌شود مثلاً خرید قلم به خرید کاغذ.
 ترتیب (Sequence): الگویی که به تجزیه و تحلیل توالی رویدادها پرداخته و مشخص می‌کند کدام رویداد، رویدادهای دیگری را در پی دارد مثلاً تولد یک نوزاد و خرید پوشک.
 پیش‌بینی(Prediction): در پیش‌بینی هدف پیش‌بینی یک متغیر پیوسته می‌باشد. مانند پیش‌بینی نرخ ارز یا هزینه‌های درمانی.
 رده‌بندی یا طبقه‌بندی (Classification): فرایندی برای پیدا کردن مدلی است که رده‌های موجود در داده‌ها را تعریف می‌نماید و متمایز می‌کند، با این هدف که بتوان از این مدل برای پیش‌بینی رده رکوردهایی که برچسب رده آن‌ها (متغیر هدف) ناشناخته می‌باشد، استفاده نمود. در حقیقت در رده‌بندی برخلاف پیش‌بینی، هدف پیش‌بینی مقدار یک متغیر گسسته است. روش‌های مورد استفاده در پیش‌بینی و رده‌بندی عموماً یکسان هستند.
 خوشه‌بندی (Clustering): گروه‌بندی مجموعه‌ای از اعضاء، رکوردها یا اشیاء به نحوی که اعضای موجود در یک خوشه بیشترین شباهت را به یکدیگر و کمترین شباهت را به اعضای خوشه‌های دیگر داشته باشند.
 مصورسازی (visualization): مصورسازی داده‌ها یکی از قدرتمندترین و جذابترین روش‌های اکتشاف در داده‌ها می‌باشد.
برنامه‌های کاربردی که در زمینه تجزیه و تحلیل اطلاعات به کار می‌روند از امکاناتی چون پرس و جوی ساخت یافته (Structured query) که در بسیاری از بانک‌های اطلاعاتی یافت می‌شود و از ابزارهای تجزیه و تحلیل آماری برخوردارند اما برنامه‌های مربوط به داده کاوی در عین برخورداری از این قابلیت‌ها از نظر نوع با آن‌ها تفاوت دارند. بسیاری از ابزارهای ساده برای تجزیه و تحلیل داده‌ها روشی بر پایه راستی آزمایی (verification) را به کار می‌برند که در آن فرضیه‌ای بسط داده شده آنگاه داده‌ها برای تأیید یا رد آن بررسی می‌شوند. به‌طور مثال ممکن است این نظریه مطرح شود که فردی که یک چکش خریده حتماً یک بسته میخ هم خواهد خرید.
کارایی این روش به میزان خلاقیت کاربر برای ارائه فرضیه‌های متنوع و همچنین ساختار برنامه بکار رفته بستگی دارد. در مقابل در داده کاوی روش‌هایی برای کشف روابط بکار برده می‌شوند و به کمک الگوریتم‌هایی روابط چند بعدی بین داده‌ها تشخیص داده شده و آن‌هایی که یکتا (unique) یا رایج هستند شناسایی می‌شوند.
به‌طور مثال در یک فروشگاه سخت‌افزار ممکن است بین خرید ابزار توسط مشتریان با تملک خانه شخصی یا نوع خودرو، سن، شغل، میزان درآمد یا فاصله محل اقامت آن‌ها با فروشگاه رابطه‌ای برقرار شود.

در نتیجه قابلیت‌های پیچیده‌اش برای موفقیت در تمرین داده کاوی دو مقدمه مهم است یکی فرمول واضحی از مشکل که قابل حل باشد و دیگری دسترسی به داده متناسب.
بعضی از ناظران داده کاوی را مرحله‌ای در روند کشف دانش در پایگاه داده‌ها می‌دانند (KDD). مراحل دیگری در روند KDD به صورت تصاعدی شامل، پاکسازی داده، انتخاب داده انتقال داده، داده کاوی، الگوی ارزیابی، و عرضه دانش می‌باشد.
بسیاری از پیشرفت‌ها در تکنولوژی و فرایندهای تجاری بر رشد علاقه‌مندی به داده کاوی در بخش‌های خصوصی و عمومی سهمی داشته‌اند. بعضی از این تغییرات شامل:
 رشد شبکه‌های کامپیوتری که در ارتباط برقرار کردن پایگاه‌ها داده مورد استفاده قرار می‌گیرند.
 توسعه افزایش تکنیکهایی بر پایه جستجو مثل شبکه‌های عصبی و الگوریتم‌های پیشرفته.
 گسترش مدل محاسبه کلاینت سروری که به کاربران اجازه دسترسی به منابع داده‌های متمرکز شده را از روی دسک تاپ می‌دهد.
 و افزایش توانایی به تلفیق داده از منابع غیر متجانس به یک منبع قابل جستجو می‌باشد.

علاوه بر پیشرفت ابزارهای مدیریت داده، افزایش قابلیت دسترسی به داده و کاهش نرخ نگهداری داده نقش ایفا می‌کند. در طول چند سال گذشته افزایش سریع جمع‌آوری و نگهداری حجم اطلاعات وجود داشته است. با پیشنهادهای برخی از ناظران مبنی بر آنکه کمیت داده‌های دنیا به‌طور تخمینی هر ساله دوبرابر می‌گردد. در همین زمان هزینه ذخیره‌سازی داده‌ها به‌طور قابل توجهی از دلار برای هر مگابایت به پنی برای مگابایت کاهش پیدا کرده است. در نتیجهً قدرت محاسبه‌ها در هر ۱۸ – ۲۴ ماه به دوبرابر ارتقاء پیدا کرده است این در حالی است که هزینه قدرت محاسبه رو به کاهش است.
داده کاوی به‌طور معمول در دو حوزه خصوصی و عمومی افزایش پیدا کرده است. سازمان‌ها داده کاوی را به عنوان ابزاری برای بازدید اطلاعات مشتریان کاهش تقلب و اتلاف و کمک به تحقیقات پزشکی استفاده می‌کنند. با اینهمه ازدیاد داده کاوی به طبع بعضی از پیاده‌سازی و پیامد اشتباه را هم دارد. این‌ها شامل نگرانی‌هایی در مورد کیفیت داده‌ای که تحلیل می‌گردد، توانایی کار گروهی پایگاه‌های داده و نرم‌افزارها بین ارگان‌ها و تخطی‌های بالقوه به حریم شخصی می‌باشد. همچنین ملاحظاتی در مورد محدودیت‌هایی در داده کاوی در ارگان‌ها که کارشان تأثیر بر امنیت دارد، نادیده گرفته می‌شود.

 مفهوم مدیریت ذخیره‌سازی و دستیابی اطلاعات 
داده‌های اطلاعاتی به عنوان یکی از منابع حیاتی سازمان شناخته می‌شود و بسیاری از سازمان‌ها با اطلاعات و دانش سازمانی خود مانند سایر دارایی‌های ارزشمندشان برخورد می‌کنند.

نکته: داده اطلاعاتی به اطلاعات خام سازمان گفته می‌شود و اطلاعات به داده‌های پردازش شده. همچنین داده‌های پردازش شده پس از طبقه‌بندی و آنالیز به دانش سازمان تبدیل می‌گردند.

حال تصور نمایید، دسترسی به اطلاعات در شرایطی که داده‌ها به روش نامناسبی نگهداری شوند و یا روش ضابطه‌مندی جهت دستیابی به آن‌ها وجود نداشته باشد تا چه حد مشکل است. برای رسیدن به یک سیستم اطلاعاتی مناسب، داده‌ها می‌بایست به صورتی منطقی طبقه‌بندی و ذخیره شوند تا استفاده از آن‌ها ساده‌تر بوده، با کارایی بیشتری تحلیل شوند، سریعتر مورد استفاده قرار گیرند و در نتیجه مدیریت بهتری بر آن‌ها اعمال شود.

 ساختار بانک اطلاعاتی سازمان 
داده‌های سازمان‌ها در انواع بانک‌های اطلاعاتی و با ساختارهای متنوعی ذخیره می‌گردند. طراحی و سازماندهی این ساختارها، به‌کارگیری و انتقال به بانک‌های اطلاعاتی پیشرفته و بهینه سازی آن‌ها یکی از خدماتی است که توسط واحدهای فناوری اطلاعات ارائه می‌شود.

 کاربردهای داده‌کاوی در علوم رایانه 
در علم رایانه از داده‌کاوی برای کشف الگوی میان داده‌ها استفاده می‌شود، معمولاً داده‌های خام و معمولاً بی‌معنا وارد سیستم شده و پس از پردازش‌های مورد نیاز نتایج حاصل از داده که آن‌ها را اطلاعات می‌نامند، استخراج می‌گردد کاربردهای عمومی داده‌کاوی در علم کامپیوتر عبارتند از:
 کشف الگوی میان داده‌ها
 پیش‌بینی حدودی نتایج
 به‌دست آوردن اطلاعات کاربردی
 تمرکز بر روی داده‌های بزرگ

 مثال 
به عنوان مثال از داده کاوی میتوان در راستای فروش بیشتر محصولات و بازاریابی حرفه ای در فروشگاه های مختلف استفاده کرد. 

 کاربردهای داده‌کاوی در رشته مهندسی صنایع 
در مهندسی صنایع از داده‌کاوی در حوزه‌های مدیریت ارتباط با مشتری، نگهداری و تعمیرات پیشگیرانه، مدیریت زنجیره تأمین، برنامه‌ریزی تولید، کنترل کیفیت، مدیریت پروژه، ایمنی، بهداشت و محیط زیست استفاده می‌شود.

زبان رایج در استفاده از دیتا ماینینگ و تحلیل داده‌ها نرم‌افزار WEKA می‌باشد، اما به تازگی نرم‌افزار Rapidminer نیز با توجه به امکانات زیادش مورد توجه قرار گرفته است.

 کاربردهای داده‌کاوی در رشته مهندسی برق 
 پیش بینی بار(load forecasting) :  پیش بینی مصرف انرژی الکتریکی یکی از امور مهم در حوزه مهندسی برق است که نقش بسیار مهمی در برنامه ریزی، بهره برداری و کنترل سیستم‌های قدرت دارد. پیش بینی بار دقیق، می‌تواند تاثیرات شگرفی بر بهبود تصمیم‌گیری‌های عملیاتی در مورد برنامه ریزی تعمیرات و نگهداری، تخصیص ذخیره مطمئن، برنامه ریزی ورود و خروج واحدها، توزیع اقتصادی و ... داشته باشد. پیش بینی دقیق بار کوتاه مدت با توجه به عوامل متعدد مؤثر بر بار، از قبیل شرایط آب و هوایی، تغییرات دوره ای روزانه، هفتگی، فصلی و عوامل اتفاقی که دارای روابط پیچیده غیرخطی با بار هستند، از پیچیدگی‌های خاص برخوردار می‌باشد و کار بسیار دشواری است. برای حل مشکلات فوق درپیش بینی بار کوتاه مدت، می‌توان از روشهای داده کاوی که قادرند روابط غیرخطی دقیق را از میان  داده‌های ورودی استخراج کنند، کمک گرفت.
 پیش بینی دقیق بار در عملیات و برنامه ریزی سیستم قدرت بسیار مهم است. پیش بینی بار الکتریکی را می‌توان تقسیم کرد به سه دسته پیش بینی بار کوتاه مدت، پیش بینی بار میان مدت و پیش بینی بار بلند مدت پیش بینی بار کوتاه مدت تقاضای بار را از یک پیش بینی می‌کند روز تا چند هفته این به تخمین جریان‌های بار کمک می‌کند که می‌تواند از اضافه بار و در نتیجه جلوگیری کند منجر به اقتصاد و امنیت بیشتر سیستم قدرت شود. پیش بینی بار میان مدت پیش بینی می‌کند تقاضای بار از یک ماه تا چند سال است که اطلاعاتی را برای سیستم قدرت فراهم می‌کند برنامه ریزی و عملیات پیش بینی بار بلند مدت تقاضای بار را از یک سال پیش بینی می‌کند تا بیست سال و عمدتاً برای برنامه ریزی سیستم قدرت است.

 کاربردهای داده کاوی در کتابخانه‌ها

داده کاوی در ابتدا از حوزه تجارت برخاست اما کاربردهای آن در سایر حوزه‌هایی که به گردآوری حجم وسیعی از داده‌ها می‌پردازند که دستخوش تغییرات پویا نیز می‌گردند، مفید شناخته شد. بخش‌هایی مثل بانکداری، تجارت الکترونیک، تجارت سهام، بیمارستان و هتل از این نمونه‌اند.

انتظار می‌رود که استفاده از داده کاوی در بخش آموزش به‌طور عام امکان‌های جدید بسیاری ارائه دهد. برخی کاربردهای داده کاوی در کتابخانه‌ها و قسمت اداری آموزش در ذیل مورد بحث قرار گرفته‌اند.

عملیات کتابداری به‌طور کلی شامل مدیریت مدارک، ارائه خدمات و امور اداره و نگهداری است. هر کدام از این کارکردها با انواع مختلفی از داده‌ها سروکار دارد و به‌طور جداگانه پردازش می‌شود. اگرچه، انجام تحلیل ترکیبی بر این مجموعه‌های داده نیز می‌تواند افق تازه‌ای را بگشاید که به طرح خدمات جدید و تحول رویه‌ها و عملیات جاری کمک نماید. جدول یک برخی از کاربردهای ممکن داده کاوی را که می‌تواند در کتابداری مفید باشد ارائه می‌کند.

 ابزارهای داده‌کاوی 
معروف‌ترین ابزارهای داده‌کاوی برای انجام پروژه‌های داده کاوی به ترتیب پرطرفدار بودن
 آر (زبان برنامه‌نویسی)
 پایتون (زبان برنامه‌نویسی)
رپیدماینر 
 Clementine که نسخه ۱۳ ان با نام SPSS Modeler نامیده می‌شود.
 نرم‌افزار وکا
 متلب
 پری مپ

 نرم‌افزار 
برنامه‌های کاربردی و نرم‌افزارهای داده کاوی متن-باز رایگان
 Carrot2: پلتفرمی برای خوشه بندی متن و نتایج جستجو
 Chemicalize.org: یک کاوشگر ساختمان شیمیایی و موتور جستجوی وب
 ELKI: یک پروژه تحقیقاتی دانشگاهی با تحلیل خوشه‌ای پیشرفته و روش‌های تشخیص داده‌های خارج از محدوده که به زبان جاوا نوشته شده است.
 GATE: یک پردازشگر زبان بومی و ابزار مهندسی زبان.

برنامه‌های کاربردی و نرم‌افزارهای داده کاوی تجاری
 Angoss KnowledgeSTUDIO: ابزار داده کاوی تولید شده توسط Angoss.
 BIRT Analytics: ابزار داده کاوی بصری و تحلیل پیش‌بینی گر تولید شده توسط Actuate Corporation.
 Clarabridge: راه حل تحلیلگر کلاس متن.
 (E-NI(e-mining, e-monitor: ابزار داده کاوی مبتنی بر الگوهای موقتی.
 IBM SPSS Modeler: نرم‌افزار داده کاوی تولید شده توسط IBM
 Microsoft Analysis Services: نرم‌افزار داده کاوی تولید شده توسط مایکروسافت
 Oracle Data Mining: نرم‌افزار داده کاوی تولید شده توسط شرکت اوراکل
 نرم‌افزار وکا

 بررسی اجمالی بازار نرم‌افزارهای داده کاوی 
تا کنون چندین محقق و سازمان بررسی‌هایی را بر روی ابزارهای داده کاوی و راهنمایی‌هایی برای داده کاوها تهیه دیده‌اند. این بررسی‌ها بعضی از نقاط ضعف و قوت بسته‌های نرم‌افزاری را مشخص می‌کنند. همچنین خلاصه‌ای را از رفتارها، اولویت‌ها و دیدهای داده کاوها تهیه کرده‌اند.

بعضی از این گزارش‌ها را در زیر می‌توانید مشاهده نمایید:

 گزارش: 2011 Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery 
 Annual Rexer Analytics Data Miner Surveys تاریخ (2007–2011)Karl Rexer, Heather Allen, & Paul Gearan (2011); Understanding Data Miners, Analytics Magazine, May/June 2011 (INFORMS: Institute for Operations Research and the Management Sciences).

انتقادهای وارد شده به داده‌کاوی
داده‌کاوی شاید جاه طلبانه‌ترین و خطرناک‌ترین زمینه هوش مصنوعی است. انتقاد اول به داده‌کاوی مربوط به روش کار متخصصین این زمینه است. در آمار سنتی و روشی که به نام روش علمی شناخته می‌شود، پژوهشگر بر اساس مشاهدات یا حدس، سوالی را مطرح می‌کند مثلا این که آیا ویتامین سی وقوع و شدت سرماخوردگی را کاهش می‌دهد یا خیر. پس از آن پژوهشگر یک آزمایش کنترل شده ترتیب می‌دهد تا فرضیه خود را آزمایش کند. در نهایت بر اساس تحلیل آماری نتایج تصمیم می‌گیرد که فرضیه را تایید یا رد کند.
داده‌کاوی روش کاملا متفاوتی برای تحلیل دیتا است. در این روش الگوریتمهای داده‌کاوی دنبال الگوها و همبستگی‌ها می‌گردند. زمانی که الگوی جالبی پیدا شد، پژوهشگر ممکن است تئوری از خودش دربیاورد که الگوی یافته شده را توضیح دهد. ممکن است پژوهشگر بر این باور باشد که تحلیل داده‌ها کافی است و دیگر نیازی به تئوری نداریم. داده‌ها بدون تئوری فلسفه خطرناکی است. این روش تحلیل داده‌ها در واقع مغالطه تیرانداز زرنگ است.

انتقاد دوم این است که الگوی یافت شده در الگوریتم‌های داده‌کاوی می‌توانند کاملا تصادفی باشند. برای مثال می‌توانید یک سری داده‌های تصادفی تولید کنید و از آن برای پیش بینی قیمت سهام استفاده کنید. اصلا بعید نیست که تعدادی از متغیرهایی که خودتان به صورت تصادفی ایجاد کردید با قیمت سهام همبستگی قوی مثبت یا منفی داشته باشند. کامپیوترها راهی برای تشخیص معنی دار بودن یا نبودن الگوها ندارند. جان یونیدیس اعتقاد دارد که بیشتر پژوهش‌های پزشکی حتی آنهایی که در مجلات سطح بالا چاپ شدند، اشتباه هستند چرا که از داده‌کاوی در تحلیل نتایج استفاده کرده‌اند. گری اسمیث همین نظر را درباره بیشتر پژوهشهای بازار سهام دارد.

انتقاد سوم که با انتقاد دوم مرتبط است این است که انسانها آن قدر باهوش هستند که برای هر الگوی آماری که پیدا کنند، داستانهایی از خودشان اختراع کنند حتی اگر آن الگوهای آماری نویز (در مقابل سیگنال) باشند. بنابراین یافتن الگوهای آماری هیچ چیز را ثابت نمی‌کند. داستان سرایی برای توضیح الگوها هم به همین ترتیب چیزی را ثابت نمی‌کند.

انتقاد چهارمی که به داده‌کاوی وارد می‌شود این است که الگوریتمهای داده‌کاوی مدلهایی را کشف می‌کنند که گذشته را عالی پیش بینی می‌کنند اما برای پیش بینی آینده به درد نمی‌خورند یا آینده را به خوبی گذشته پیش بینی نمی‌کنند. بنابراین این که کسب کارها، دولتها و شهروندان عادی از این مدل‌ها برای تصمیم‌های مهم استفاده کنند ریسکی و خطرناک است، مخصوصا اگر این الگوریتمها از نوع جعبه سیاه باشند.

 جستارهای وابسته 
 داده‌کاوی با پایتون
آمار
 هوش مصنوعی
 یادگیری ماشینی
 علم داده‌ها
 الگوریتم کریسپ
 محاسبات نرم
 دانش
 مهندسی دانش
 بینایی رایانه‌ای
 شبکه عصبی مصنوعی

 مدل‌سازی علمی

 فلسفه اطلاعات
 تحلیل مولفه‌های اصلی

 منابع 

 پانویس 
 {Data }کلمه‌ای‌ست جمع (با مفرد Datum) که نمی‌شود آن را به واژهٔ مفرد «داده» نسبت داد. عدم رعایت این‌گونه اصول آشکار در دانشنامه‌ای با مقیاس و وسعت جهانی، تناقضات و ناسازگاری‌های معنایی (semantic) بعدی در تعاملات ماشینی با سایر زبان‌ها را در پی می‌آورد.

 پیوند به بیرون 
 دبیرخانه دائمی کنفرانس داده کاوی ایران (Permanent Secretariat of Iran Data Mining Conference)
آکادمی داده‌کاوی

داده‌کاوی
رده:علوم صوری
رده:ویکی‌سازی رباتیک