கேள்வி: தரவு அகழ்தல் என்பது என்ன?
பதில்: தரவு அகழ்தல் ''(Data mining)'' என்பது எந்திரக் கற்றல், புள்ளியியல், தரவுத்தளம் ஆகிய அமைப்புகளின் குறுக்குவெட்டில் உள்ள முறைகளை உள்ளடக்கிய பெரிய தரவுத் தொகுப்புகளில் உள்ள பாணிகளைப் பிரித்தெடுத்துக் கண்டுபிடிக்கும் செயல்முறையாகும். தரவு அகழ்தல், எந்திர கற்றல், புள்ளியியல், தரவுத்தள அமைப்புகளை அமைக்கிறது தரவு அகழ்தல் என்பது கணினி அறிவியல், புள்ளியியலின் ஓர் இடைநிலை துணைத் துறையாகும் , இது தரவுத் தொகுப்பிலிருந்து தகவல்களைப் பிரித்தெடுப்பதற்கும் , மேலும் பயன்படுத்த தகவல்களை புரிந்துகொள்ளக்கூடிய கட்டமைப்பாக மாற்றுவதற்குமான ஒட்டுமொத்த குறிக்கோளுடன் செயல்படுகிறது. தரவு அகழ்தல் என்பது தரவுத்தளங்களில் அறிவு கண்டுபிடிப்பு செயல்முறை அல்லது அதன் பகுப்பாய்வுப் படியாகும். மூலப் பகுப்பாய்வுப் படிகளைத் தவிர , தரவுத்தள, தரவு மேலாண்மையின் கூறுகள், தரவு முன் செயலாக்கம், படிமம், உய்த்துணர்வுக் கருதல்கள், சுவைமை அளவுகள், சிக்கலான கருதல்கள், கண்டுபிடிக்கப்பட்ட கட்டமைப்புகளின் பிந்தைய செயலாக்கம், காட்சிப்படுத்தல், இணையப் புதுப்பித்தல் போன்றவற்றை உள்ளடக்கியது -. " தரவு அகழ்தல் " என்ற சொல் ஒரு தவறான பெயராகும் , ஏனெனில் இதன் குறிக்கோள் பெரிய அளவிலான தரவுகளிலிருந்து பாணிகளையும் அறிவையும் பிரித்தெடுப்பதே தவிர , தரவைப் பிரித்தெடுப்பது அல்ல. இது ஒரு முதன்மைச் சொல்லாகும். மேலும் இது எந்தவொரு பெரிய அளவிலான தரவு அல்லது தகவல் செயலாக்கத்திற்கும் ( திரட்டல், தேக்கல், பகுப்பாய்வு, புள்ளியியல்) மேலும், செயற்கை நுண்ணறிவு (எ. கா. இயந்திர கற்றல், வணிக நுண்ணறிவு) உள்ளிட்ட கணினி முடிவு ஏற்பு அமைப்பின் எந்தவொரு பயன்பாட்டிற்கும் அடிக்கடி பயன்படுத்தப்படுகிறது.[http://www.okairp.org/documents/2005%20Fall/F05_ROMEDataQualityETC.pdf OKAIRP 2005 Fall Conference, Arizona State University] (இது பெரும்பாலும் எந்திரக் கற்றல் பொருட்களை உள்ளடக்கியது) இது நடைமுறை எந்திரக் கற்றல் என்ற புத்தகம் முதலில் வெளிவந்ததும் பெயரிடப்பட்டது. தரவு அகழ்தல் என்ற சொல் சந்தைப்படுத்தல் காரணங்களுக்காக மட்டுமே சேர்க்கப்பட்டது. பெரிய அளவிலான தரவு பகுப்பாய்வு அல்லது உண்மையான முறைகளைக் குறிப்பிடும்போது, செயற்கை நுண்ணறிவு, எந்திர கற்றல் ஆகியனவே மிகவும் பொருத்தமானவை. உண்மையான தரவு அகழ்தல் பணி என்பது , முன்னர் அறியப்படாத தரவுக் குழுக்கள் (கொத்துப் பகுப்பாய்வு), இயல்பற்ற, பதிவுகள் (ஒழுங்கின்மை கண்டறிதல்), சார்புகள் (இணைவு விதி) போன்ற சுவையான பணிகளைப் பிரித்தெடுக்க, பேரளவிலான தரவுகளின் அரைத் தானியங்கி அல்லது தானியங்கி பகுப்பாய்வு ஆகும். இது பொதுவாக இடஞ்சார்ந்த சுட்டுகள் போன்ற தரவுத்தள நுட்பங்களைப் பயன்படுத்துவதை உள்ளடக்கியது. இந்தப் பாணிகள் பின்னர் உள்ளீட்டு தரவுகளின் சுருக்கமாகப் பார்க்கப்படலாம். மேலும் பகுப்பாய்வில் பயன்படுத்தப்படலாம். அல்லது எடுத்துக்காட்டாக எந்திர கற்றல், முன்கணிப்புப் பகுப்பாய்வுகளில் பயன்படுத்தப்படலாம். எடுத்துக்காட்டாக , தரவு அகழ்தல் நடவடிக்கை தரவுகளில் பல குழுக்களை அடையாளம் காணலாம் , பின்னர் அவை ஒரு முடிவலேற்பு அமைப்பு வழி மிகவும் துல்லியமான முன்கணிப்பு முடிவுகளைப் பெற பயன்படுத்தப்படலாம். தரவு திரட்டலோ தரவு ஆயத்தமோ அல்லது முடிவோ , விளக்கமோ அறிக்கையோ தரவு அகழ்தல் நடவடிக்கையின் ஒரு பகுதியல்ல. இருப்பினும் அவை கூடுதல் படிகளாக ஒட்டுமொத்த KDD செயல்முறையைச் சேர்ந்தவை. தரவு பகுப்பாய்விற்கும் தரவு அகழ்வுக்கும் உள்ள வேறுபாடு என்னவென்றால் , தரவு பகுப்பாய்வில் படிமங்கள், கருதுகோள்களைச் சோதிக்க தரவு பகுப்பாய்வு பயன்படுத்தப்படுகிறது. எ. கா. தரவுகளின் அளவைப் பொருட்படுத்தாமல் சந்தைப்படுத்தல் பரப்புரையின் செயல்திறனைப் பகுப்பாய்வு செய்கிறது. இதற்கு மாறாக , தரவு அகழ்தல் எந்திரக் கற்றல், புள்ளியியல் படிமங்களைப் பயன்படுத்தி பேரளவிலான தரவுகளில் இரகசியமாக உள்ள அல்லது மறைக்கப்பட்ட பாணிகளைக் கண்டறிகிறது.Olson, D. L. (2007). Data mining in business services. ''Service Business'', ''1''(3), 181–193. தரவு உளவும் தரவு உள்விவரிப்பும் இரண்டுமே பெரிய மக்கள்தொகை தரவுத் தொகுப்பின் பகுதிகளைப் படிமமாக்கத்துக்குப் பயன்படும் தரவு அகழ்தல் முறைகளைப் பயன்படுத்துவதையே குறிக்கின்றன ( இவை கண்டுபிடிக்கப்பட்ட எந்தவொரு பாணிகளின் செல்லுபடியாகும் தன்மை பற்றியும் நம்பகமான புள்ளியியல் உய்த்துணர்வுகள் செய்யப்படுவதற்கு மிகவும் சிறிய அளவில் பயன்படுத்தலாம்). தரவு அகழாய்வு, தரவு மீன்பிடி, தரவு உளவு இருப்பினும் , இந்த முறைகள் பெருந்தரவு மக்கள் தொகைக்கான பெருந்தரவுச் செய்முறைகளைச் செய்ய, புதிய கருதுகோள்களை உருவாக்குவதில் பயன்படலாம்.
கேள்வி: தரவு அகழ்தல் - பின்புலம் என்பது என்ன?
பதில்: தரவுகளிலிருந்து பாணிகளைக் கையால் பிரித்தெடுப்பது பல நூற்றாண்டுகளாக நிகழ்ந்துவந்தது. தரவுகளில் உள்ள பாணிகளை அடையாளம் காணும் தொடக்கநிலை முறைகளில் பாயேசு தேற்றம் (1700 களில்) பின்னேகும் பகுப்பாய்வு (1800 களில்) ஆகியவை அடங்கும் கணினி தொழில்நுட்பத்தின் பெருக்கமும் அதன் உயர்ந்து வரும் திறனும் தரவு திரட்டல் , தேக்குதல், கையாளுதல் திறனை வியத்தகு முறையில் உய்ர்த்தின. தரவுத் தொகுப்புகள் அளவோடு சிக்கலான தன்மையிலும் வளர்ந்துள்ளதால் , நேரடியான கையால் செய்யும் தரவு பகுப்பாய்வு பெருகியதால், மறைமுகத் தானியங்கி தரவுச் செயலாக்கத்துக்கு வழிவிட்டது. இதற்குக் கணினி அறிவியலில் உள்ள பிற கண்டுபிடிப்புகளும் உதவுகின்றன. குறிப்பாக, எந்திரக் கற்றல் துறையில் நரம்பியல் வலைப்பிணையங்கள் , கொத்துப் பகுப்பாய்வு , மரபணு வழிமுறைகள் (1950 கள்), முடிவெடுத்தல் மரங்கள், முடிவெடுத்தல் விதிகள் (1960 கள்) ஏற்பு திசையன் எந்திரங்கள் போன்றவை. உதவுகின்றன. தரவு அகழ்தல் என்பது மறைக்கப்பட்ட பாணிகளைக் கண்டுபிடிக்கும் நோக்கத்துடன் இந்த முறைகளைப் பயன்படுத்தும் செயல்முறையாகும். பேரளவுத் தரவுத் தொகுப்புகளில். இது பயன்பாட்டு புள்ளியியல், செயற்கை நுண்ணறிவு ஆகியவற்றிலிருந்தான இடைவெளியைக் குறைக்கிறது (இது பொதுவாக தரவுத்தளங்களில் தரவு தேக்கப்பட்டு குறியிடப்பட்ட விதத்தை பயன்படுத்தி உண்மையான கற்றல், கண்டுபிடிப்பு வழிமுறைகளை மிகவும் திறமையாக செயல்படுத்துவதால் தரவுத்தளம் கையாளலுக்கு மிகவும் உதவுகிற கணிதப் பின்புலத்தை வழங்குகிறது).
கேள்வி: தரவு அகழ்தல் - அறிவுகாண் செயல்முறை பற்றி நீங்கள் என்ன அறிந்துள்ளீர்கள்?
பதில்: தரவுத்தளங்களில் அறிவுக் கண்டுபிடிப்பு (KDD)செயல்முறை பொதுவாக பின்வரும் கட்டங்களால் வரையறுக்கப்படுகிறது. # தேர்வு # முன்செயலாக்கம் # உருமாற்றம் # ''தரவு அகழ்தல்'' # விளக்கம் / மதிப்பீடு. இருப்பினும் , தரவு அகழ்தலுக்கான குறுக்குத் தொழில் செந்தரச் செயல்முறை, அதாவது CRISP முறைத் தரவு .அகழ்வு போன்ற கருப்பொருளில் பல வேறுபாடுகளில் அமைகிறது. இது கீழ்வரும் ஆறு கட்டங்களை வரையறுக்கிறது. # வணிகப் புரிதல் # தரவுப் புரிதல் # தரவு ஆயத்தம் # படிமமாக்கம் # மதிப்பீடு # செயற்படுத்தல் அல்லது (1) முன்செயலாக்கம் (2) தரவகழ்தல் (3) முடிவுகள் சரிபார்ப்பு போன்ற எளிய முக்கட்டச் செயல்முறை பயனில் உள்ளது. 2002, 2004, 2007, 2014 ஆம் ஆண்டுகளில் நடத்தப்பட்ட கருத்துக்கணிப்புகள் , CRISP - DM முறை என்பது தரவகழ்தல் வல்லுனர்களால் பயன்படுத்தப்படும் முன்னணி முறையாக ஏற்றம் கண்டது என்பதைக் காட்டுகின்றன. இந்த வாக்கெடுப்புகளில் பெயரிடப்பட்ட மற்ற தரவு அகழ்தல் செந்தரம் செம்மா மட்டுமே. செம்மா இருப்பினும் , 3 முதல் 4 மடங்கு மக்கள் CRISP முறைத் தரவு அகழ்தலைப் பயன்படுத்துவதாக தெரிவித்தனர். பல ஆராய்ச்சியாளர்களும் குழுக்களும் தரவு அகழ்தல் செயல்முறைப் படிமங்கள் பற்றிய மதிப்பீடுகளை வெளியிட்டுள்ளன , மேலும் அஜெவெடோ, சாண்டோசு, CRISP - DM, SEMMA ஆகியவற்றை 2008 ஆம் ஆண்டில் பலர் ஒப்பிட்டனர்.Lukasz Kurgan and Petr Musilek: [http://journals.cambridge.org/action/displayAbstract?fromPage=online&aid=451120 "A survey of Knowledge Discovery and Data Mining process models"] . ''The Knowledge Engineering Review''. Volume 21 Issue 1, March 2006, pp&nbsp;1–24, Cambridge University Press, New York, Azevedo, A. and Santos, M. F. [http://www.iadis.net/dl/final_uploads/200812P033.pdf KDD, SEMMA and CRISP-DM: a parallel overview] . In Proceedings of the IADIS European Conference on Data Mining 2008, pp&nbsp;182–185.
கேள்வி: தரவு அகழ்தல் - தரவு அகழ்தல் குறித்து விரிவாக சொல்லுங்கள்.
பதில்: தரவு அகழ்தலில் பின்வரும்ஆறு பொதுவான வகைப் பணிகள் அடங்கும். * ஒழுங்கின்மை கண்டறிதல் (விளிம்பு/மாற்றம்/விலக்கம் காணல்): இது இயல்பற்ற தரவுப் பதிவுகளை அடையாளம் காணல் ஆகும். அவை சுவையானனதாக இருக்கலாம் அல்லது தரவு பிழைகள் நிலையான வரம்பிற்கு வெளியே இருப்பதால் மேலும் புலனாய்வு தேவைப்படுகிறது. * இணைவு விதி கற்றல் (சார்பு படிமமாக்கம், மாறிகளுக்கு இடையிலான உறவுகளுக்கான தேடல்கள். இணைவு விதிகள் கற்றல்): :எடுத்துக்காட்டாக , ஒரு பல்பொருள் அங்காடி வாடிக்கையாளர் வாங்கும் பழக்கம் குறித்த தரவுகளைத் திரட்டலாம். இணைவு விதிகள் கற்றல் முறையைப் பயன்படுத்தி , எந்தெந்த பொருட்கள் அடிக்கடி இணைந்து வாங்கப்படுகின்றன என்பதை பல்பொருள் அங்காடி தீர்மானிக்க முடியும். மேலும் இந்தத் தகவலைச் சந்தைப்படுத்தல் நோக்கங்களுக்காகப் பயன்படுத்தலாம். இது சிலவேளைகளில் சந்தைக் கூடை பகுப்பாய்வு என்று குறிப்பிடப்படுகிறது. * கொத்தாக்கம்: இது என்பது தரவுகளில் அறியப்பட்ட கட்டமைப்புகளைப் பயன்படுத்தாமல் மாறாக ஏதோ வேறொரு வழியில் தரவுகளில் உள்ள குழுக்களையும் கட்டமைப்புகளையும் கண்டுபிடிக்கும் பணியாகும். * வகைப்படுத்தல்: இது புதிய தரவுகளுக்கு பொருந்தும், அறியப்பட்ட கட்டமைப்பைப் பொதுமைப்படுத்தும் பணி ஆகும். வகைப்பாட்டுக்கு எடுத்துக்காட்டாக , ஒரு மின்னஞ்சல் நிரல் ஒரு மின்னஞ்சலை " நேரானது " அல்லது " வீண் " என வகைப்படுத்த முயற்சிக்கலாம். * பின்னேகும் தரவு: இது தரவுத்தொகுப்புகளுக்கிடையேயான உறவுகளை மதிப்பிடுவதற்கான குறைந்தநிலைப் பிழையுடன் தரவை படிமமாக்கும் ஒரு செயல்பாட்டைக் கண்டறிய முயற்சிக்கிறது. * சுருக்கக் காட்சிப்படுத்தல்: இது அறிக்கை உருவாக்கம் உள்ளிட்ட தரவு தொகுப்பின் மிகவும் கச்சிதமான உருவகத்தை வழங்குகிறது.
கேள்வி: தரவு அகழ்தல் - முடிவுகள் சரிபார்ப்பு என்பது என்ன?
பதில்: படிமம்:Spurious_correlations_-_spelling_bee_spiders.svg தரவு அகழ்தல் முறை தற்செயலாக தவறாகப் பயன்படுத்தப்படலாம். குறிப்பிடத்தக்கதாகத் தோன்றும், ஆனால் எதிர்கால நடத்தையை உண்மையில் கணிக்கமுடியாத, தரவுகளின் புதிய படிமத்தில் மீண்டும் உருவாக்க முடியாத முடிவுகளைத் தரலாம் எனவே சிறிய பயன்பாட்டைக் கொண்டு. மறுஉருவாக்கம் செய்யப்படும். இது சிலவேளைகளில் பல கருதுகோள்களை ஆராய்ந்து சரியான புள்ளியியல் கருதுகோள் செய்முறையைச் செய்யாததால் ஏற்படுகிறது. புள்ளியியல் கருதுகோள் செய்முறை எந்திரக் கற்றலில் இந்த சிக்கலின் எளிய பதிப்பு மிகைப்பொருத்தல் என்று அழைக்கப்படுகிறது , ஆனால் அதே சிக்கல் செயல்முறையின் வெவ்வேறு கட்டங்களிலும் கூட எழலாம். இதனால் ஒரு தொடருந்து / செய்முறைப் பிளவு பொருந்தும்போது, இது நடப்பதைத் தடுக்க போதுமானதாக இருக்காது. தரவுகளிலிருந்து அறிவு கண்டுபிடிப்பின் இறுதி கட்டம் , தரவுச் சுரங்க வழிமுறைகளால் உற்பத்தி செய்யப்படும் பாணிகள் பரந்த தரவுத் தொகுப்பில் நிகழ்கின்றனவா என்பதைச் சரிபார்க்க வேண்டும். வழிமுறைகளால் கண்டறியப்பட்ட அனைத்து வடிவங்களும் செல்லுபடியாக வேண்டிய கட்டாயமில்லை. தரவுச் சுரங்க வழிமுறைகள் பொதுவான தரவுத் தொகுப்பில் இல்லாத பாணிகளைப் பயிற்சி தொகுப்பில் கண்டுபிடிப்பது பொதுவானது. இது மிகைப்பொருத்தல் என்று அழைக்கப்படுகிறது. இதை மேலாள மதிப்பீட்டு தரவு அகழ்தல் வழிமுறைக்குப் பயிற்சி அளிக்கப்படாத தரவுகளின் செய்முறைத் தொகுப்பைப் பயன்படுத்துகிறது. செய்முறைத் தொகுப்பு கற்ற பாணிகள் இந்தச் செய்முறைகட்குப் பயன்படுத்தப்படுகின்றன.இதன் விளைவாக வரும் வெளியீடு விரும்பிய வெளியீட்டுடன் ஒப்பிடப்படுகிறது. எடுத்துக்காட்டாக, மின்னஞ்சல்களின் பயிற்சி தொகுப்பில் பயிற்சி அளிக்கப்படும் " வீண் " மற்றும் " சட்டவியலான " மின்னஞ்சல்களை வேறுபடுத்த முயற்சிக்கும் தரவு அகழ்தல் வழிமுறைப் படிமம். பயிற்சித் தொகுப்பு ஒருமுறை பயிற்சி பெற்ற பிறகு கற்ற பாணிகள் அது பயிற்சி பெறாத மின்னஞ்சல்களின் செய்முறைத் தொகுப்பிற்குப் பயிற்சிதரப் பயன்படுத்தப்படும். பாணிகளின் துல்லியத்தை அவை எத்தனை மின்னஞ்சல்களை சரியாக வகைப்படுத்துகின்றன என்பதிலிருந்து அளவிட முடியும். ROC வளைவுகள் போன்ற வழிமுறையை மதிப்பிடுவதற்கு பல புள்ளயியல் முறைகள் பயன்படுத்தப்படலாம். கற்ற பாணிகள் விரும்பிய செந்தரங்களை நிறைவு செய்யவில்லை என்றால் , முன் செயலாக்கம், தரவு சுரங்க படிகளை மறு மதிப்பீடு செய்து மாற்றுவது கட்டாயம். கற்ற பாணிகள் விரும்பிய செந்தரங்களை நிறைவு செய்தால் , கற்ற பாணிகளை விளக்கி அவற்றை அறிவாக மாற்றுவதே இறுதி கட்டமாகும்.
கேள்வி: தரவு அகழ்தல் - ஆராய்ச்சி என்பது என்ன?
பதில்: இந்தத் துறையில் முதன்மையான தொழில்முறை அமைப்பு கணிப்பு எந்திரங்களுக்கான கழகம் (ACM), சிறப்பு வட்டி குழு (SIG), அறிவு கண்டுபிடிப்பு, தரவு அகழ்வு அமைப்பு (SIGKDD) ஆகியன ஆகும். 1989 முதல் இந்த ACMSIG ஒவ்வொரு ஆண்டும் பன்னாட்டு மாநாட்டை நடத்தி அதன் நடவடிக்கைகளை வெளியிட்டது , மேலும் 1999 முதல் இது " SIGKDD தேட்டங்கள் " என்ற தலைப்பில் ஆண்டுதோறுமான கல்வி இதழை வெளியிட்டுள்ளது.[http://www.kdd.org/explorations/about.php SIGKDD Explorations] , ACM, New York. தரவு அகழ்தலில் நடந்த கணினி அறிவியல் மாநாடுகள் பின்வருமாறு: * சிஐகேஎம் மாநாடு தகவல் மற்றும் அறிவு மேலாண்மை குறித்த ஏசிஎம் மாநாடு சிஐகேஎம் தகவல், அறிவாட்சி குறித்த மாநாடு * எந்திர கற்றல், கோட்பாடுகள், தரவுத்தளங்களில் அறிவு கண்டுபிடிப்பு நடைமுறை பற்றிய ஐரோப்பிய மாநாடு * KDD மாநாடு ACM SIGKDD அறிவு கண்டுபிடிப்பு, தரவு அகழ்தலுக்கான மாநாடு ICDE மாநாடு, SIGMOD மாநாடு, மீப் பெருந்தரவு தளங்கள் குறித்த பன்னாட்டு மாநாடு போன்ற பல தரவு மேலாண்மை / தரவுத்தள மாநாடுகளிலும் தரவு அகழ்தல் தலைப்புகள் அமைந்தன.
கேள்வி: தரவு அகழ்தல் - தனியுரிமைக் கவலைகளும் அறநெறிகளும் பற்றி விளக்கவும்.
பதில்: " தரவு அகழ்தல் " என்ற சொல்லுக்கு தாமே எந்த நெறிமுறைத் தாக்கங்களையும் கொண்டிருக்கவில்லை என்றாலும் , இது பெரும்பாலும் பயனர் நடத்தை (நெறிமுறை மற்றும் பிற) தொடர்பாக தகவல்களை அகழ்வதோடு தொடர்புடையது. தரவு அகழ்தலைப் பயன்படுத்தக்கூடிய வழிகள் சில வேளைகளிலும் சூழல்களிலும் தனியுரிமை சட்டம் சார்ந்த தன்மை, நெறிமுறைகள் குறித்து கேள்விகளை எழுப்பலாம். தனியுரிமை நெறிமுறைகள் குறிப்பாக , தரவு அகழ்தல் அரசு அல்லது தேசியப் பாதுகாப்பு அல்லது சட்டச் செயலாக்க நோக்கங்களுக்காக வணிக தரவுத் தொகுப்புகள் , மொத்த தகவல் விழிப்புணர்வு திட்டம் அல்லது அறிவுரையில் உள்ளவை, தேசியப் பாதுகாப்புச் சட்டச் செயலாக்கம், மொத்த தகவல் விழிப்புணர்வு அறிவுரை சார்ந்த தனியுரிமைக் கவலைகளை எழுப்பியுள்ளது. தரவு அகழ்வுக்குத் தரவு ஆயத்தமும் ஆக்கமும் தேவைப்படுகிறது. இது ரகசியத்தன்மை, தனியுரிமைக் கடமைகளை விட்டுகொடுக்க செய்யும் தகவல் அல்லது பாணிகளைக் கண்டுபிடிக்கும். தனியுரிமை இது ஏற்படுவதற்கான ஒரு பொதுவான வழி தரவு திரட்டலே ஆகும். தரவு தேக்கல், தரவு திரட்டுதல் என்பது தரவை ஒன்றாக இணைப்பதை உள்ளடக்கியது (பகுப்பாய்வு செய்ய உதவும் வகையில் பல்வேறு வாயில்களிலிருந்து அமையலாம்) (ஆனால் இது தனிப்பட்ட நிலைத் தரவை அடையாளம் காணக்கூடியதாகவோ அல்லது வெளிப்படையாகவோ இருக்கலாம்).[http://www.nascio.org/publications/documents/NASCIO-dataMining.pdf ''Think Before You Dig: Privacy Implications of Data Mining & Aggregation''] , NASCIO Research Brief, September 2004 இந்த ஒரு பிரிவே தரவு அகழ்வு அன்று.ஆனால், இது பகுப்பாய்விற்கு முன்னும் பின்னுமான தரவு ஆக்கத்தின் விளைவாகும். தனக்காக ஒரு தனிநபரின் தனியுரிமைக்கு அச்சுறுத்தல் ஏற்படுகிறது. ஒரு முறை தொகுக்கப்பட்ட தரவு அகழ்வுத் தரவு அல்லது புதிதாக தொகுக்கப்பட்ட தரவுகளுக்கான அணுகல் உள்ள எவரும் குறிப்பாக தரவு முதலில் பெயரிடாமல் இருக்கும்போது குறிப்பிட்ட நபர்களை அடையாளம் காண முடியும். . தரவு திரட்டப்படுவதற்கு முன்பு பின்வருவனவற்றை அறிந்திருக்க வேண்டும் என்று பரிந்துரைக்கப்படுகிறது. * தரவு திரட்டலின் நோக்கமும் ஏதேனும் அறியப்பட்ட தரவு அகழ்வுத் திட்டங்களின் நோக்கமும். * தரவு எவ்வாறு பயன்படுத்தப்படும் ? * யார் தரவை அகழ்வு செய்ய.முடியும்? தரவையும் மற்றும் அவற்றின் கொணர்வுகளையும் யார் பயன்படுத்த முடியும்? * தரவுக்கான அணுகலைச் சுற்றியுள்ள பாதுகாப்பின் நிலை. * திரட்டிய தரவை எவ்வாறு புதுப்பிக்க முடியும்?. தனிநபர்களை எளிதில் அடையாளம் காண முடியாதபடி பெயரில்லாமல் மாறும் வகையில் தரவுகளும் மாற்றியமைக்கப்படலாம். இருப்பினும், பெயரில்லாத தரவுத் தொகுப்புகள் கூட தனிநபர்களை அடையாளம் காண வழிவகுக்கும் போதுமான தகவல்களைக் கொண்டிருக்கலாம். இந்நிலை, ஊடகவியலாளர்கள் கவனக்குறைவாக வெளியிடப்பட்ட தேடல் வரலாறுகளின் அடிப்படையில் பல நபர்களைக் கண்டுபிடிக்க முடிந்தபோது, ஏற்பட்டது.[http://www.securityfocus.com/brief/277 ''AOL search data identified individuals''] , SecurityFocus, August 2006 வழங்குநருக்கு வழிவகுக்கும் தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய தகவல்களை கவனக்குறைவாக வெளிப்படுவது நேர்மையான தகவல் நடைமுறைகளை மீறுகிறது. தனிப்பட்ட முறையில் அடையாளம் காணக்கூடிய தகவல், இந்த கவனக்குறைவு, குறிப்பிட்ட நபருக்கு நிதி சார்ந்த உணர்ச்சி சார்ந்த அல்லது உடல் சார்ந்த தீங்கை ஏற்படுத்தும். தனியுரிமை மீறல் ஒரு நிகழ்வு சார்ந்து, வால்கிரீன்சின் புரவலர்கள், தரவு அகழ்தல் நிறுவனங்களுக்கு பரிந்துரைக்கப்பட்ட தகவல்களை அவர்கள் மருந்து நிறுவனங்களுக்கு விற்றதற்காக 2011 ஆம் ஆண்டில் நிறுவனத்திற்கு எதிராக ஒரு வழக்கைத் தாக்கல் செய்தனர்.
கேள்வி: தரவு அகழ்தல் - ஐரோப்பாவின் நிலைமை பற்றி நீங்கள் என்ன அறிந்துள்ளீர்கள்?
பதில்: ஐரோப்பா வலுவான தனியுரிமைச் சட்டங்களைக் கொண்டுள்ளது. மேலும் நுகர்வோரின் உரிமைகளை இன்னும் வலுப்படுத்த முயற்சிகள் நடந்து வருகின்றன. ஐரோப்பா எனினும், அமெரிக்க - ஐரோப்பிய ஒன்றியம் 1998க்கும் 2000 க்கும் இடையில் உருவாக்கப்பட்ட அமெரிக்க காப்பான துறைமுக நெறிமுறைகள் தற்போது ஐரோப்பிய பயனர்களை அமெரிக்க நிறுவனங்களால் தனியுரிமைச் சுரண்டலுக்கு திறம்பட ஆட்படுத்துகின்றன. எட்வர்டு சுனோடனின் உலகளாவிய கண்காணிப்பு வெளிப்பாட்டின் விளைவாக , இந்த ஒப்பந்தத்தை நீக்க விவாதம் அதிகரித்துள்ளது , குறிப்பாக தரவு தேசியப் பாதுகாப்பு நிறுவனம் அமெரிக்காவுடன் முழுமையாக வெளிப்படையான ஒரு உடன்பாட்டை எட்டுவதற்கான முயற்சிகள் தோல்வியடைந்துள்ளன. குறிப்பாக ஐக்கிய இராச்சியத்தில் , நிறுவனங்கள் தரவு அகழ்தலைப் பயன்படுத்தி சில வாடிக்கையாளர்களின் குழுக்களை இலக்காகக் கொண்டு நேர்மையற்ற முறையில் அதிக விலைகளை செலுத்த வேண்டிய கட்டாயத்தில் உள்ளன. இந்த குழுக்கள் குறைந்த சமூக - பொருளாதார நிலை நபர்களாக இருக்க முனைகின்றன. அவர்கள் இலக்கவியல் சந்தை இடங்களில் சுரண்டும் வழிமுறைகளில் ஆர்வமாக இல்லை.
கேள்வி: தரவு அகழ்தல் - அமெரிக்காவில் நிலைமை பற்றி நீங்கள் என்ன அறிந்துள்ளீர்கள்?
பதில்: அமெரிக்காவில் தனியுரிமை குறித்த கவலைகள் அமெரிக்கப் பேராயத்தால் நலவாழ்வுக் காப்பீட்டு பெயர்வுத்திறன், பொறுப்புக்கூறல் சட்டம் (HIPAA) போன்ற ஒழுங்குமுறை கட்டுப்பாடுகள் வழியாகத் தீர்க்கப்பட்டுள்ளன. அமெரிக்க காங்கிரஸ் சுகாதார காப்பீட்டு பெயர்வுத்திறன், பொறுப்புக்கூறல் சட்டம் தனிநபர்கள் தாங்கள் வழங்கும் தகவல்கள், அதன் தற்போதைய, எதிர்கால பயன்பாடுகள் குறித்து தங்கள் தகவலறிந்த ஒப்புதலை வழங்க வேண்டும் என்று கோருகிறது. உயிரித் தொழில்நுட்ப வணிக வீக் இதழில் உள்ள ஒரு கட்டுரையின்படி , " நலவாழ்வுக் காப்பீட்டு பெயர்வுத்திறன், பொறுப்புக்கூறல் சட்டம் ஆராய்ச்சி அரங்கில் நீண்டகால விதிமுறைகளை விட பெரிய பாதுகாப்பை வழங்காது " என்று AAHC கூறுகிறது. மிக முதன்மையாக , தகவலறிந்த ஒப்புதலின் வழியாக பாதுகாப்பதற்கான விதியின் குறிக்கோள் சராசரி தனிநபர்களுக்கு புரிந்துகொள்ள முடியாத அளவை அணுகுவதாகும்.Biotech Business Week Editors (June 30, 2008); ''BIOMEDICINE; HIPAA Privacy Rule Impedes Biomedical Research'', Biotech Business Week, retrieved 17 November 2009 from LexisNexis Academic நலவாழ்வுக் காப்பீட்டு பெயர்வுத்திறன், பொறுப்புக்கூறல் சட்டம், குடும்ப கல்வி உரிமைகள், தனியுரிமை சட்டம் (FERPA) போன்ற அமெரிக்கத் தகவல் தனியுரிமைச் சட்டங்கள் , அத்தகைய ஒவ்வொரு சட்டமும் உரையாற்றும் குறிப்பிட்ட பகுதிகளுக்கு மட்டுமே பொருந்தும். குடும்பக் கல்வி உரிமைகள் , தனியுரிமை சட்டம் அமெரிக்காவில் உள்ள பெரும்பாலான வணிகங்களால் தரவு அகழ்தலைப் பயன்படுத்துவது எந்தச் சட்டத்தாலும் கட்டுப்படுத்தப்படவில்லை.
கேள்வி: தரவு அகழ்தல் - ஐரோப்பாவின் நிலைமை குறித்து விரிவாக சொல்லுங்கள்.
பதில்: ஐரோப்பியப் பதிப்புரிமை தரவுத்தளச் சட்டங்களின் கீழ் , பதிப்புரிமை உரிமையாளரின் ஒப்புதலின்றி பதிப்புரிமை படைப்புகளை (வலை சுரங்கங்கள் போன்றவை) தரவு அகழ்வது சட்டவியலானது அல்ல. ஐரோப்பாவில் ஒரு தரவுத்தளம் தூய தரவாக இருக்கும்போது , பதிப்புரிமை இல்லை..ஆனால் தரவுத்தள உரிமைகள் இருக்கலாம் - எனவே தரவு அகழ்தல் தரவுத்தள வழிகாட்டுதலால் பாதுகாக்கப்படும் அறிவுசார் சொத்துரிமை உரிமையாளர்களின் உரிமைகளுக்கு உட்பட்டது. அறிவுசார் சொத்து தரவுத்தளளஆணை கர்க்ரீவ்சு மீளாய்வின் பரிந்துரையின் பேரில் , உள்ளடக்கத் தரவு அகழ்தலை ஒரு வரம்பாகவும் விதிவிலக்காகவும் ஒப்புதல் அளிக்க இங்கிலாந்து அரசு 2014 ஆம் ஆண்டில் அதன் பதிப்புரிமைச் சட்டத்தைத் திருத்த வழிவகுத்தது.[http://www.out-law.com/en/articles/2014/june/researchers-given-data-mining-right-under-new-uk-copyright-laws/ UK Researchers Given Data Mining Right Under New UK Copyright Laws.] ''Out-Law.com.'' Retrieved 14 November 2014 2009 ஆம் ஆண்டில் தரவடகழ்தலுக்கு விதிவிலக்கு அறிமுகப்படுத்திய ஜப்பானுக்கு அடுத்தபடியாக அவ்வாறு செய்தது. உலகின் இரண்டாவது நாடு இங்கிலாந்து ஆகும். இருப்பினும் , தகவல் கழக ஆணை (2001) இன் கட்டுப்பாடு காரணமாக , இங்கிலாந்து விதிவிலக்கு வணிகவியல் நோக்கங்களுக்காக மட்டுமே உள்ளடக்கத் தரவு அகழ்தலுக்கு ஒப்புதல் அளிக்கிறது. தகவல் கழக ஆணை இங்கிலாந்து பதிப்புரிமைச் சட்டமும் இந்த விதியை ஒப்பந்த விதிமுறைகளாலும் கட்டுத்தளைகளாலும் இசைவு தராது. 2020 ஆம் ஆண்டிலிருந்தும் சுவிட்சர்லாந்து தரவு அகழ்தலை 24d சுவிசு பதிப்புரிமைச் சட்டத்தின் கீழ் சில கட்டுபாடுகளின் கீழ் ஆராய்ச்சித் துறையில் அனுமதிப்பதன் வழி ஒழுங்குபடுத்துகிறது. இந்தக் கட்டுரை 2020 ஏப்ரல் 1ஆம் தேதி முதல் நடைமுறைக்கு வந்தது. ஐரோப்பிய ஆணையம் 2013 ஆம் ஆண்டில் ஐரோப்பாவிற்கான உரிமங்கள் என்ற தலைப்பில் உரை, தரவு அகழ்தலில் பங்குதாரர்களின் விவாதத்திற்கு ஏர்பாடு செய்தது. ஐரோப்பிய ஆணையம் வரம்புகள், விதிவிலக்குகளை விட உரிமம் போன்ற இந்தச் சட்டச் சிக்கலுக்கான தீர்வில் கவனம் செலுத்தியதால் , பல்கலைக்கழகங்களின் பேராளர்கள் ஆராய்ச்சியாளர்கள், நூலகங்கள், குடிமைச் சமூக குழுக்கள், திறந்த அணுகல் வெளியீட்டாளர்கள் மே 2013 இல் பங்குதாரர்களின் உரையாடலை விட்டு வெளியேற வழிவகுத்தது.
கேள்வி: தரவு அகழ்தல் - அமெரிக்காவில் நிலைமை குறித்து விரிவாக சொல்லுங்கள்.
பதில்: அமெரிக்கப் பதிப்புரிமைச் சட்டம், குறிப்பாக நேரியப் பயன்பாட்டிற்கான அதன் விதிகள் அமெரிக்கா, இசுரேல், தைவான், தென் கொரியா போன்ற பிற நேரியப் பயன்பாட்டு நாடுகளில் உள்ளடக்கத் தர்வு அகழ்தலின் சட்டவியலான தன்மையை நிலைநிறுத்துகிறது. அமெரிக்கப் பதிப்புரிமை சட்டம், நேரியப் பயன்பாடு, உள்ளடக்கத் தரவு அகழ்தல் ஆகியன உருமாறும் தன்மை கொண்டதாக இருப்பதால், அது முதன்மை வேலையை மாற்றாது. இது நேரியப் பயன்பாட்டின் கீழ் சட்டவியலானதாக கருதப்படுகிறது. எடுத்துக்காட்டாக , கூகிள் புக் தீர்வின் ஒரு பகுதியான வழக்கின் தலைமை நீதிபதி , இலக்க மயமாக்கல் திட்டம் காண்பிக்கும் உருமாறும் பயன்பாடுகளின் காரணமாக , பதிப்புரிமை புத்தகங்களின் கூகிளின் இலக்க மயமாக்கல் திட்டம் ஓரளவு சட்டவியலானது என்று தீர்ப்பளித்தார்.
கேள்வி: தரவு அகழ்தல் - இலவச திறந்த வாயில் தரவுனாகழ்வு மென்பொருளும் பயன்பாடுகளும் பற்றி விளக்கவும்.
பதில்: பின்வரும் விண்ணப்பங்கள் கட்டற்ற/ திறந்த வாயில் உரிமங்களின் கீழ் கிடைக்கின்றன. பயன்பாட்டு வாயில் குறிமுறைக்கான பொது அணுகலும் கிடைக்கிறது. * கேரட் 2(Carrot2): உரை, தேடல் முடிவுகள் கொத்தாக்கக் கட்டமைப்பு. கேரட் 2 * வேதிமயமாக்கல். org: ஒரு வேதியியல் நிறுவனம் தர்வு அகழ்வு வல்லுனர் வலை தேடுபொறி. * எல்கி9ELKI): ஜாவா மொழியில் எழுதப்பட்ட மேம்பட்ட கொத்துப் பகுப்பாய்வு, வெளிப்புற கண்டறிதல் முறைகளைக் கொண்ட ஒரு பல்கலைக்கழக ஆராய்ச்சி திட்டம். * கேட்(GATE): ஒரு இயற்கை மொழி செயலாக்கம், மொழிப் பொறியியல் கருவி. * கினைம்(KNIME): கான்சுட்டான்சு தகவல் அகழ்வுத் தொழிற்சாலை ஒரு பயனர் நட்பான, விரிவான தரவு பகுப்பாய்வு கட்டமைப்பை உருவாக்குகிறது. * மாபெரும் இணையப் பகுப்பாய்வு (MOA): ஜாவா நிரலாக்க மொழியில் கருத்து சறுக்கல் கருவியுடன் நிகழ்நேர பெருந்தரவு ஓடை அகழ்தல். * மெப்பெக்சு(MEPX): ஒரு மரபணு நிரலாக்க மாறுபாட்டின் அடிப்படையில் பின்னேகும் வகைப்பாட்டுச் சிக்கல்களுக்கான குறுக்கு - தளக் கருவி. * mlpack: C++ மொழியில் எழுதப்பட்ட பயன்படுத்த ஆயத்தமாக உள்ள எந்திர கற்றல் வழிமுறைகளின் தொகுப்பு. * NLTK (Natural Language Toolkit) என்பது பைதான் மொழிக்கான குறியீட்டு மற்றும் புள்ளியியல் இயற்கை மொழிச் செயலாக்கத்திற்கான நூலகங்கள், நிரல்களின் தொகுப்பாகும். * OpenNN: நரம்பியல் வலைப்பினையங்கள் நூலகத்தைத் திறக்கும். * ஆரஞ்சு: பைதான் மொழியில் எழுதப்பட்ட ஒரு கூறு அடிப்படையிலான தரவு அகழ்தல் எந்திரக் கற்றல் மென்பொருள் தொகுப்பு. * PSPP: SPSS PSPP SPSS ஆகியவற்றைப் போன்ற குனு திட்டத்தின் கீழ் தரவு அகழ்தல் புள்ளியியல் மென்பொருள் * R: புள்ளியியல் கணினிகளுக்கான நிரலாக்க மொழி, மென்பொருள் சூழல் - தரவுச் சுரங்கம் மற்றும் கிராபிக்ஸ். ஆர் நிரலாக்க மொழி புள்ளியியல். இது குனு திட்டத்தின் ஒரு பகுதியாகும். * டார்ச்: எந்திரக் கற்றல் வழிமுறைகளுக்கு பரந்த ஆதரவுடன் லுவா நிரலாக்க மொழி, அறிவியல் கணினி கட்டமைப்பிற்கான திறந்த வாயில் ஆழமான கற்றல் நூலகம். * கட்டமைக்கப்படாத தகவல் மேலாண்மைக் கட்டமைப்பு(UIMA ) என்பது உரை , பேச்சலை, காணொலி சார்ந்த கட்டமைக்கப்படாத உள்ளடக்கத்தைப் பகுப்பாய்வு செய்வதற்கான ஒரு கூறு கட்டமைப்பாகும் - இது முதலில் IBM நிறுவனத்தால் உருவாக்கப்பட்டது. * வேக்கா: ஜாவா நிரலாக்க மொழியில் எழுதப்பட்ட எந்திரக் கற்றல் மென்பொருள் பயன்பாடுகளின் தொகுப்பு.
கேள்வி: தரவு அகழ்தல் - தனியுரிமத் தரவதகழ்தல் மென்பொருளும் பயன்பாடுகளும் பற்றி விளக்கவும்.
பதில்: பின்வரும் மென்பொருள் விண்ணப்பங்கள் தனியுரிமை உரிமங்களின் கீழ் கிடைக்கின்றன. * அங்கோசு KnowledgeSTUDIO: தரவு அகழ்தற் கருவி * இலியோன்சால்வர்(LIONsolver): தரவகழ்தல் வணிக நுண்ணறிவு, கற்றல், நுண்ணறிவு உகப்பாக்க (LIONN) அணுகுமுறையை செயல்படுத்தும் படிமமாக்கம் ஆகியவற்றிற்கான ஒருங்கிணைந்த மென்பொருள் பயன்பாடு. லியோன்சால்வர் * பெருநிறுவன நுண்ணறிவால் உருவாக்கப்பட்ட பல்லுறுப்புக்கருவி பகுப்பாய்வாளர்: தரவு, உரை அகழ்தல் மென்பொருள் பாலி அனலிசுட்டு). * மைக்ரோசாப்ட் அனாலிசிசு சர்வீசசு (Microsoft analysis Services): மைக்ரோசாப்ட் வழங்கிய தரவு அகழ்தல் மென்பொருள். * நெட்டோல்(NetOwl): தரவு அகழ்தலைச் செயல்படுத்தும் பன்மொழி உரை, நிறுவன பகுப்பாய்வு ஆக்கங்களின் தொகுப்பு. * ஆரக்கிள் தரவு தரவு அகழ்தல்: ஆரக்கிள் தொழிலிணையத்தின் தரவு அகழ்தல் மென்பொருள். * பிசெவன்(PSeven): பொறியியல் உருவகப்படுத்துதல், பகுப்பாய்வு தானியக்கத்திற்கான தளம். பலதரப்பட்ட தேர்வுமுறை, தரவு அகழ்தொழில் ஆகியவை DATADVANCE நிறுவனத்தால் வழங்கப்படுகின்றன. * குளுக்கோர் ஒமிக்சு தேடுபொறி: தரவு அகழ்தல் மென்பொருள். * விரைவகழ்வி எனும் ரேபிட்மைனர் (RapidMiner): எந்திரக் கற்றல், தரவு அகழ்தல் செய்முறைகளுக்கான சூழல். * சாசு(SAS) நிறுவன அகழ்வி: SAS நிறுவனத்தால் வழங்கப்பட்ட தரவு அகழ்தல் மென்பொருள். * SPSS படிமமாக்கி: IBM நிறுவனம் வழங்கிய தரவு அகழ்தல் மென்பொருள். * புள்ளியியல் தரவு அகழ்வி:( StatSoft) நிறுவனம் வழங்கிய தரவு அகழ்தல் மென்பொருள். * தனாக்கிரா: கற்பிப்பதற்கும் காட்சிப்படுத்தலும் சார்ந்த தரவமகழ்தல் மென்பொருள். * வெர்ட்டிகா ஹெவ்லெட் - பேக்கார்டு(Vertica: Hewlett - Packard) வழங்கிய தரவு அகழ்தல் மென்பொருள். * கூகுள் கிளவுடு இயங்குதளம்: கூகுள் மேலாண்மை தானியங்கித் தனிப்பயன் எம். எல் படிமங்கள். * அமேசான் சேஜ்மேக்கர்: தனிப்பயன் எம். எல் படிமங்களை உருவாக்குவதற்கு அமேசான் வழங்கும் மேலாண்மைச் சேவை.
கேள்வி: தரவு அகழ்தல் - மேலும் படிக்க பற்றி நீங்கள் என்ன அறிந்துள்ளீர்கள்?
பதில்: * Cabena, Peter; Hadjnian, Pablo; Stadler, Rolf; Verhees, Jaap; Zanasi, Alessandro (1997); ''Discovering Data Mining: From Concept to Implementation'', Prentice Hall, * M.S. Chen, J. Han, Philip S. Yu (1996) "[http://cs.nju.edu.cn/zhouzh/zhouzh.files/course/dm/reading/reading01/chen_tkde96.pdf Data mining: an overview from a database perspective] ". ''Knowledge and data Engineering, IEEE Transactions'' on 8 (6), 866–883 * Feldman, Ronen; Sanger, James (2007); ''The Text Mining Handbook'', Cambridge University Press, * Guo, Yike; and Grossman, Robert (editors) (1999); ''High Performance Data Mining: Scaling Algorithms, Applications and Systems'', Kluwer Academic Publishers * Jiawei Han, Micheline Kamber, and Jian Pei. ''Data mining: concepts and techniques''. Morgan kaufmann, 2006. * Trevor Hastie, Robert Tibshirani and Jerome H. Friedman (2001); ''The Elements of Statistical Learning: Data Mining, Inference, and Prediction'', Springer, * Bing Liu (computer scientist) (2007, 2011); ''Web Data Mining: Exploring Hyperlinks, Contents and Usage Data'', Springer Verlag, * * Nisbet, Robert; Elder, John; Miner, Gary (2009); ''Handbook of Statistical Analysis & Data Mining Applications'', Academic Press/Elsevier, * Poncelet, Pascal; Masseglia, Florent; and Teisseire, Maguelonne (editors) (October 2007); "Data Mining Patterns: New Methods and Applications", ''Information Science Reference'', * Tan, Pang-Ning; Steinbach, Michael; and Kumar, Vipin (2005); ''Introduction to Data Mining'', * Theodoridis, Sergios; and Koutroumbas, Konstantinos (2009); ''Pattern Recognition'', 4th Edition, Academic Press, * Weiss, Sholom M.; and Indurkhya, Nitin (1998); ''Predictive Data Mining'', Morgan Kaufmann * (See also Weka (machine learning)) * Ye, Nong (2003); ''The Handbook of Data Mining'', Mahwah, NJ: Lawrence Erlbaum