তত্ত্বাবধানাধীন শিখন

তত্ত্বাবধানাধীন শিখন () হল প্রদত্ত উপাত্ত এবং তার ফলাফল থেকে যান্ত্রিক জ্ঞানার্জন প্রক্রিয়া, যা সংজ্ঞায়িত উপাত্ত সমূহ থেকে একটি ফাংশন খুঁজে নেয়। তত্ত্বাবধীন জ্ঞানার্জনে প্রত্যেকটি তথ্য হলো একেকটি জোড়া, যাতে একটি ইনপুট উপাত্ত (যা সাধারণত একটি ভেক্টর) এবং প্রত্যাশিত ফলাফল উপাত্ত (তত্ত্বাবধায়ক সংকেতও বলা হয়) থাকে। একটি তত্ত্বাবধানাধীন শিখন অ্যালগরিদম প্রদত্ত উপাত্ত গুলোকে বিশ্লেষণ করে এবং একটি ফাংশন তৈরি করে নতুন উপাত্তকে সংজ্ঞায়িত করতে সহায়তা করে। উপযুক্ত ক্ষেত্রে আলগরিদমটি নতুন কোন বস্তু (Object) কে সঠিকভাবে শ্রেণীকরণে (Classification) ভূমিকা রাখতে পারে। এক্ষেত্রে এটি যৌক্তিকভাবে প্রদত্ত উপাত্তের সাথে নতুন উপাত্তের সাধারণ সম্পর্ক (Mapping) তৈরি করে। মানুষ এবং প্রাণী মনস্তত্ত্ববিদ্যায় এটিকে প্রায়ই কনসেপ্ট লার্নিং হিসেবে উল্লেখ করা হয়।
"তত্ত্বাবধানাধীন শিখন" এর কোন সমস্যা সমাধান করতে হলে একজন ব্যক্তিকে অবশ্যই নিম্নোক্ত ধাপসমূহ সম্পন্ন করতে হবে:
অনেকগুলো তত্ত্বাবধানাধীন শিখন অ্যালগরিদম রয়েছে যার প্রত্যেকের রয়েছে নিজস্ব সফলতা এবং সীমাবদ্ধতা। তত্ত্বাবধানাধীন শিখনের সর্বোত্তম ফলাফল দেয় এমন কোনও অ্যালগরিদম এখন পর্যন্ত নেই।
তত্ত্বাবধানাধীন শিখন নিয়ে মূলত চারটি প্রধান বিষয় বিবেচনা করা হয় :
প্রথম বিষয়টি হল ধ্রুবক () এবং ভেদাঙ্কের () মাঝে সমন্বয়। মনে করুন যে, আমাদের কাছে কিছু ভিন্ন ভিন্ন কিন্তু মোটামুটি সমমানের উপাত্ত সেট রয়েছে। যদি একটি উপাত্ত formula_1 এর জন্য অর্জিত ফাংশনে কোনো ধ্রুবক থাকে, তবে এসব উপাত্তগুলো দ্বারা প্রশিক্ষণ দেয়া হলে, স্বাভাবিকভাবেই formula_1 এর ফলাফল প্রদান করার সময় এটি ভুল করবে। যদি বিভিন্ন উপাত্ত এর উপর প্রশিক্ষণ করার সময় বিভিন্ন ফলাফল প্রদান করে তবে ধরা হয় যে formula_1 উপাত্তটির জন্য এর ব্যাপক ভেদাঙ্ক রয়েছে। এক্ষেত্রে অনুমানের ভুলের পরিমাণ ধ্রুবক এবং ভেদাঙ্কের সমষ্টির সঙ্গে সম্পর্কিত। সাধারণভাবে ধ্রুবক এবং ভেদাঙ্কের মাঝে এক প্রকারের সমন্বয় থাকে। নিম্ন ধ্রুবকবিশিষ্ট কোন লার্নিং অ্যালগরিদম অবশ্যই উপাত্ত সংগ্রহের সঙ্গে মানানসই হওয়ার মতো নমনীয়তা ধারণ করতে হবে। কিন্তু যদি লার্নিং অ্যালগরিদম টি খুব বেশি নমনীয় হয়, তবে এটি প্রত্যেকটি উপাত্তের সঙ্গে মানিয়ে নেবে এবং এতে ব্যাপক ভেদাঙ্ক দেখা যাবে। সুতরাং তত্ত্বাবধানাধীন শিখন পদ্ধতিতে এই ধ্রুবক এবং ভেদাঙ্কসমূহ স্বয়ংক্রিয়ভাবে কিংবা ব্যবহারকারী কর্তৃক নির্ধারিত করে দিতে হয়।
দ্বিতীয় বিষয়টি হলো প্রকৃত ফাংশনটির জটিলতার সাপেক্ষে প্রশিক্ষণ উপাত্তের পরিমাণ। যদি প্রকৃত ফাংশনটি সরল আকারের হয়, তবে উচ্চ ধ্রুবক এবং নিম্ন ভেদাঙ্কবিশিষ্ট অনমনীয় প্রশিক্ষণ অ্যালগরিদম সামান্য পরিমাণ উপাত্ত থেকে প্রশিক্ষণ নিতে পারে। কিন্তু যদি প্রকৃত ফাংশনটি ব্যাপক জটিল হয় তবে এটি শুধুমাত্র নিম্ন ধ্রুবক এবং উচ্চ ভেদাঙ্কবিশিষ্ট নমনীয় প্রশিক্ষণ আলগরিদম থেকেই প্রশিক্ষণ নিতে পারে।
তৃতীয় বিষয়টি হলো ইনপুট ক্ষেত্রের মাত্রিকতা। যদি ইনপুট বৈশিষ্ট্য ভেক্টর এর মাত্রা ব্যাপক বড় হয় তবে, যদিও প্রকৃত ফাংশন সামান্য কিছু বৈশিষ্ট্যের উপর নির্ভর করে, প্রশিক্ষণের সমস্যাটি প্রচুর কঠিন হয়ে যায়। কারণ, এক্ষেত্রে বাড়তি মাত্রা গুলো প্রশিক্ষণ অ্যালগরিদমটিকে বিভ্রান্ত করে দেবে এবং উচ্চ ভেদাঙ্ক আনতে বাধ্য করবে। তাই শুধুমাত্র প্রয়োজনীয় বৈশিষ্ট্য গুলো নির্বাচন করা উচিত। প্রয়োজনীয় বৈশিষ্ট্য নির্বাচন এর জন্য বিভিন্ন অ্যালগরিদম রয়েছে। এগুলো মূলত মাত্রিকতা হ্রাসের একটি সাধারণ রূপ।
চতুর্থ বিষয়টি হলো ফলাফল অবাঞ্ছিত মান () এর মাত্রা। মানুষ কিংবা সেন্সরের কারণে যদি প্রত্যাশিত ফলাফল প্রায়ই ভুল হয়, তবে প্রশিক্ষণ অ্যালগরিদমটি প্রদত্ত উপাত্তগুলোর সঙ্গে যথার্থভাবে মিলে যায় এমন কোন ফাংশন খুঁজে পাবে না। ফলে উপাত্ত গুলোর সঙ্গে মানানসই (Fit) হওয়ার জন্য ফাংশন খুঁজতে গিয়ে প্রশিক্ষণ অ্যালগরিদমটি অতিমান্যতার() দিকে ধাবিত হয়। আপনার প্রশিক্ষণ মডেলের ফাংশনটি যদি ব্যাপক জটিল হয় তবে আপনি অতিমান্যতার দিকে ধাবিত হতে পারেন, এমনকি যদি কোন পরিমাপ ত্রুটি নাও হয় তবুও। এই পরিস্থিতিতে প্রত্যাশিত ফাংশনের যে অংশটি সাধারণীকরণ () করা যায় না, তা আপনার প্রশিক্ষণপ্রাপ্ত উপাত্তসমূহকে বিক্ষিপ্ত করে দেয় - যাকে বলা হয় অবাঞ্ছিত নির্ধারক()। যদি কোন একধরনের অবাঞ্ছিত মান বিদ্যমান থাকে তবে নিম্ন ভেদাঙ্ক এবং উচ্চ ধ্রুবকসমৃদ্ধ ফাংশন তুলনামূলক ভালো পারর্ফমেন্স দেয়।
বাস্তবিক ক্ষেত্রে অবাঞ্ছিত মানসমূহ প্রত্যাহার করার জন্য কিছু উপায় রয়েছে, যেমন অতিমান্যতাকে রোধ করার জন্য প্রাকসমাপ্তি() এর পাশাপাশি অস্বাভাবিকতা সনাক্তকরণ এবং প্রশিক্ষণ চলাকালীন অবাঞ্ছিত প্রশিক্ষণ উপাত্ত অপসারণ। 
প্রশিক্ষণ অ্যালগরিদম নির্বাচন এবং প্রয়োগের জন্য অন্যান্য যেসব বিষয় বিবেচনা করা হয় তা নিম্নরূপ
নতুন কোন প্রয়োগ বিবেচনার সময় একজন ইঞ্জিনিয়ার বিভিন্ন প্রশিক্ষণ অ্যালগরিদম হাতে কলমে তুলনা করবেন এবং পরীক্ষা করে দেখবেন কোনটি সবচেয়ে ভালো কাজ করে। (see cross validation). প্রশিক্ষণ অ্যালগোরিদমের পারফরম্যান্স যাচাই অনেক সময় সাপেক্ষ ব্যাপার হতে পারে। সীমাবদ্ধ উপাত্তের ক্ষেত্রে যাচাইকরণের বদলে আরো প্রশিক্ষণ উপাত্ত এবং তথ্যমূলক বৈশিষ্ট্য সঞ্চয়কে প্রাধান্য দিতে হবে। 
অধিক ব্যবহৃত প্রশিক্ষণ অ্যালগরিদমগুল হল: 
একটি প্রশিক্ষণ উপাত্তের সেটformula_4 দেয়া আছে যার গঠন formula_5 যেন formula_6-তম উপাত্তের বৈশিষ্ট্য ভেক্টর formula_7 এবং এর নির্দেশক (অর্থাৎ, শ্রেণী) formula_8, একটি প্রশিক্ষণ অ্যালগরিদম এমন একটি ফাংশন formula_9 খুঁজবে, যেখানে formula_10 হল গ্রহণ ক্ষেত্র (Input Space) এবং
formula_11 হল 'ফলাফল ক্ষেত্র (Output Space)। formula_12 ফাংশনটিকে বলা হয় "অনুমান ক্ষেত্র" (Hypothesis space) নামক সম্ভাব্য সকল ফাংশনের ক্ষেত্র formula_13 এর একটি উপাদান। formula_12 কে মাঝেমাঝে formula_15 আকারে প্রকাশ করা হয় যেখানে সর্বোচ্চ মান : formula_16 দেয়া formula_17 সমূহ formula_12 কে সংজ্ঞায়িত করে। ধরি, formula_19 হল সকল স্কোরিং ফাংশনের ক্ষেত্র।
যদিও formula_13 এবং formula_19 ফাংশনের যেকোনো ক্ষেত্র হতে পারে, অনেক প্রশিক্ষণ অ্যালগরিদম এমনভাবে সম্ভাব্য মডেল তৈরি করে যেন formula_12 শর্তাধীন সম্ভাবনা মডেল formula_23, অথবা formula_24 সংযুক্ত সম্ভাবনা মডেল formula_25 গ্রহণ করে।
formula_24 অথবা formula_12 নির্বাচন করার দুটি মৌলিক পদ্ধতি রয়েছে : প্রযুক্ত ঝুঁকি হ্রাসকরণ এবং গাঠনিক ঝুঁকি হ্রাসকরণ. প্রযুক্ত ঝুঁকি হ্রাস করণ এমন ফাংশন খুঁজে, যা প্রশিক্ষণ উপাত্তের সঙ্গে সর্বোত্তমভাবে মানানসই হয়। গাঠনিক ঝুঁকি হ্রাসকরণ ধ্রুবক-ভেদাঙ্ক সমন্বয় ও নিয়ন্ত্রণ করে।
উভয় ক্ষেত্রে ধরা হয় যে, উপাত্ত সমূহ স্বাধীন এবং সমবিভাজিত formula_28 আকারে বিস্তৃত। কীভাবে একটি ফাংশন প্রশিক্ষণ উপাত্ত সমূহের সঙ্গে মানানসই হয়, তা পরিমাপ করার জন্য একটি ঋণ ফাংশন () formula_29 সংজ্ঞায়িত করা হয়। formula_30 প্রশিক্ষণ উপাত্তের জন্য formula_31 এর বিচ্যুতি formula_32। formula_33 ফাংশনের ঝুঁকি formula_34, formula_12 এর প্রত্যাশিত বিচ্যুতি হিসেবে সংজ্ঞায়িত করা হয়।
প্রশিক্ষণ উপাত্ত হতে হিসাব করা হয়:formula_36
 প্রযুক্ত ঝুঁকি হ্রাসকরণে প্রশিক্ষণ অ্যালগরিদমটি এমন একটি ফাংশন formula_12 খুঁজে যা formula_33 কে ন্যূনতম করে। এভাবে তত্ত্বাবধানাধীন শিখন অ্যালগরিদম formula_12 কে অনুকূল করে এমন ফাংশন দ্বারা খুব সহজেই গঠন করা যায়। যখন formula_12 একটি শর্তাধীন সম্ভাব্য বিভাজন formula_41 এবং ঋণ ফাংশনটি ঋণাত্মক লগারিদম: formula_42, তখন প্রযুক্ত ঝুঁকি হ্রাসকরণ সর্বাধিক সম্ভাব্য অনুমানের () এর মতো হয়।
যখন প্রশিক্ষণ সেটটি যথেষ্ট বড় নয় কিংবা একাধিক উপযুক্ত ফাংশন formula_13 এ অন্তর্ভুক্ত থাকে তখন প্রযুক্ত ঝুঁকি হ্রাসকরণ উচ্চ ভেদাঙ্ক এবং নিম্ন ধ্রুবকের দিকে গমন করে। প্রশিক্ষণ অ্যালগরিদমটি যথাযথ সাধারণীকরণ ব্যতিরেকেই প্রশিক্ষণ উপাত্তগুলো মুখস্থ করতে শুরু করে। একে বলা হয় অতিমান্যতা ()।
গাঠনিক ঝুঁকি হ্রাসকরণ অতিমান্যতা রোধ করতে আনুকূল্যকরণে নিয়মিতকরণ ঋণ যুক্ত করে। নিয়মিতকরণের ঋণকে অকামের রেজার এর প্রয়োগ হিসেবে দেখা যেতে পারে, যা অনেক জটিল ফাংশন থেকে সরলতর ফাংশন কে বেশি প্রাধান্য দেয়।
বিভিন্ন জটিলতার বিভিন্ন ঋণ ব্যবহার করা হয়। উদাহরণস্বরূপ, একটি ক্ষেত্রে formula_12 ফাংশনটি: formula_45 গঠনের একটি রৈখিক ফাংশন। একটি জনপ্রিয় নিয়মিতকরণ ঋণ হল formula_46, যা সহগসমূহের ইউক্লিডীয় নিয়মিতকরণ এর বর্গ যা formula_47 নিয়মিতকরণ নামে পরিচিত। অন্যান্য নিয়মিতকরণ গুলোর মধ্যে রয়েছে formula_48 নিয়মিতকরণ formula_49, formula_50 নিয়মিতকরণ যা অশূন্য formula_51 সমূহের সংখ্যা। ঋণকে formula_52 দ্বারা প্রকাশ করা হয়।
উপর্যুক্ত প্রশিক্ষণ পদ্ধতি গুলো পার্থক্যসূচক প্রশিক্ষণ পদ্ধতি, কেননা তারা এমন একটি ফাংশন formula_12 খুঁজে, যা বিভিন্ন ফলাফল এর মান কে পার্থক্য করে।(দেখুন discriminative model)। বিশেষ ক্ষেত্রে, যখন formula_25 একটি সংযুক্ত সম্ভাবনা বিভাজন এবং ঋণ ফাংশনটি ঋণাত্মক লগারিদম formula_55, তখন ঝুঁকি হ্রাসকরণ অ্যালগরিদম গঠনগত প্রশিক্ষণ শুরু করে। কারণ formula_24 কে গঠনগত মডেল হিসেবে ধরা যেতে পারে, যা ব্যাখ্যা করে কীভাবে উপাত্তগুলোর উৎপত্তি হয়েছিল। গঠনমূলক প্রশিক্ষণ অ্যালগরিদমগুলো প্রায়ই পার্থক্যসূচক অ্যালগরিদমগুলোর চেয়ে সরল এবং সহজে হিসাবযোগ্য।
আদর্শ তত্ত্বাবধানাধীন শিখন সমস্যা বিভিন্ন পদ্ধতিতে সাধারণীকৃত হতে পারে: