تراش‌دادن داده
در تکنیک تراش‌دادن داده یک برنامه رایانه ای داده ها را از خروجی های انسان-خواندنی که از برنامه ی دیگری آمده است، استخراج می کند.عمل تراش دادن داده، معمولاً شامل نادیده گرفتن داده های دودویی (معمولاً تصاویر یا داده ی چند رسانه ای)، نادیده گرفتن قالب دهی نمایشگر، نادیده گرفتن برچسب های تکراری، نادیده گرفتن توضیحات زاید، و نادیده گرفتن اطلاعات دیگری است که یا بی ربط اند یا مانع پردازش خودکار می شوند.تراش داده معمولاً، یک تکنیک موردی ناخوشایند است، و «آخرین پناهگاه فرار» می باشد، یعنی موقعی که هیچ ساز و کار دیگری برای تبادل داده در دسترس نیست، از این روش باید استفاده کرد.
دلیل این موضوع، اول، سربار پردازشی و برنامه نویسی بالاتر، می باشد، دلیل بعدی آن است که خروجی های نمایشی که برای مصرف انسان ها درنظر گرفته شده اند، ساختارشان به صورت مکرر تغییر می کند. اگر چه انسان ها به سادگی با این موضوع کنار می آیند، اما برنامه های رایانه ای ممکن است این موضوع را غیر عقلانی بدانند، زیرا به آنها گفته شده است که داده را در یک قالب خاص، و در یک محل خاص، بخوانند. این سیستم ها اطلاعاتی در مورد نحوه بررسی نتایج برای تصدیق آنها ندارند.
تراش صفحه نمایش معمولاً جمع آوری داده های دیداری از یک منبع، مثل پایانه رایانه ای، به جای تجزیه ی داده در تراش صفحه وب است. به خواندن داده ی متنی از صفحه پایانه نمایش رایانه، تراش صفحه نمایش گفته می شود. مثلاً در سیستم های قدیمی که از برنامه کاربردی پردازنده مرکزی (از نوع IBM 3270) بعضی از برنامه های وب منحصراً از تکنیک های «تراش صفحه» برای در اختیار گرفتن صفحه و انتقال داده به خروجی های مدرن استفاده می کنند.
صفحات وب توسط زبان های نشانه گذاری متنی (HTML و XHTML) ساخته شده اند، و به صورت معمول شامل داده های مفیدی در حالت متنی می باشند. با این حال، بیشتر صفحه های وب برای کاربر نهایی انسانی طراحی شده اند و برای استفاده ی خودکار مناسب نیستند. به این دلیل، جعبه ابزارهایی که توانایی تراش صفحه وب دارند ساخته شده اند. یک تراش دهنده ی وب یک رابط برنامه نویسی کاربردی (یا ابزار عمومی) برای استخراج داده از وب سایت می باشد. شرکت هایی مثل سرویس های وب آمازون و گوگل ابزارها، سرویس‌ها، و داده های عمومی تراش وب را، که برای کاربر نهایی رایگان می باشند، ارائه می دهند. انواع جدیدتر تراش صفحه شامل گوش دادن به «» از سرورهای وب می باشد. برای مثال، از JSON معمولاً به عنوان یک سازکار ارتباطی ذخیره سازی بین کارخواه و سرور وب استفاده می شود.
امروزه، شرکت ها سیستم های تراش داده ای را توسعه داده اند که متکی به تکنولوژی هایی در تجزیه ی DOM، بینایی رایانه ای، و پردازش زبان های طبیعی می باشند، و هدف آنها «شبیه سازی پردازش های انسانی است که در هنگام دیدن یک صفحه وب رخ می دهد» می باشد، تا اطلاعات مفیدی را به صورت خودکار استخراج کنند.
وب سایت های بزرگ معمولاً از الگوریتم های دفاعی برای محافظت از داده هایشان در برابر تراش دهنده های داده استفاده می کنند، و نیز از روش هایی برای محدود سازی تعداد درخواست هایی که یک IP یا یک شبکه از IP ها می تواند بفرستد استفاده می کنند. این موضوع باعث یک جنگ در حال پیشرفت بین توسعه دهندگان وب سایت ها و توسعه دهنده‌های تراشگرها شده است.
کاوش گزارش به معنی استخراج داده از گزارش های رایانه ای انسان-خواندنی است. ی سنتی نیاز به یک ارتباط با یک سیستم منبع کاری دارد، استاندارد های مناسب باید به وجود آید ، یا یک رابط برنامه نویسی کاربردی (API) باید ساخته شود، و معمولاً درخواست دهی در آن پیچیده است. با استفاده از انتخاب گزارش دهی استاندارد سیستم منبع، و انتقال خروجی به یک «» (به جای یک چاپگر)، گزارش های ایستا می تواند ایجاد شوند که این گزارش ها برای تحلیل های غیر برخط از طریق کاوش گزارش ها مناسب اند.
در حالیکه تراش داده و تراش وب تعامل با خروجی های پویا را درنظر دارند، کاوش گزارش ها شامل استخراج داده از فایل ها در قالب های انسان خواندنی، مثل HTML، PDF، یا متن می شوند. که این موارد می توانند به صورت ساده از تقریباً هر سیستمی با حائل کردن «خوراک داده» به یک چاپگر، تولید شوند. این دیدگاه می تواند یک راه ساده و سریع برای دستیابی به داده ایجاد کند، که در آن نیازی به برنامه نویسی یک API به یک سیستم منبع نیست.