র‍্যান্ডম ফরেস্ট

র‍্যান্ডম ফরেস্ট বা র‍্যান্ডম ডিসিশন ফরেস্ট হলো এনসেম্বল লার্নিং-এর এমন একটি পদ্ধতি যা শ্রেণিবিন্যাস (classification), রিগ্রেশন এবং অন্যান্য কাজের জন্য ব্যবহৃত হয়। এটি প্রশিক্ষণের সময় বিপুল সংখ্যক সিদ্ধান্ত বৃক্ষ (decision trees) তৈরির মাধ্যমে কাজ করে। শ্রেণিবিন্যাসের ক্ষেত্রে র‍্যান্ডম ফরেস্টের আউটপুট হয় সেই ক্লাসটি, যা অধিকাংশ বৃক্ষ দ্বারা নির্বাচিত হয়েছে। রিগ্রেশনের ক্ষেত্রে এর আউটপুট হয় বৃক্ষগুলোর করা পূর্বাভাসের গড়। সিদ্ধান্ত বৃক্ষ বা ডিসিশন ট্রিতে তাদের প্রশিক্ষণ সেটের (training set) সাথে অতিরিক্ত খাপ খাইয়ে নেওয়ার (ওভারফিটিং) যে প্রবণতা থাকে, র‍্যান্ডম ফরেস্ট তা সংশোধন করে।

র‍্যান্ডম ডিসিশন ফরেস্টের প্রথম অ্যালগরিদমটি ১৯৯৫ সালে টিন কাম হো তৈরি করেছিলেন। তিনি এটি র‍্যান্ডম সাবস্পেস পদ্ধতি (random subspace method) ব্যবহার করে তৈরি করেন, যা ইউজিন ক্লেইনবার্গের প্রস্তাবিত শ্রেণিবিন্যাসের "স্টোকাস্টিক ডিসক্রিমিনেশন" পদ্ধতি বাস্তবায়নের একটি উপায় ছিল।

পরবর্তীতে লিও ব্রেইম্যান এবং অ্যাডেল কাটলার এই অ্যালগরিদমের একটি বর্ধিত সংস্করণ তৈরি করেন। তারা ২০০৬ সালে "Random Forests"-কে একটি ট্রেডমার্ক হিসেবে নিবন্ধন করেন ( অনুযায়ী এটি মিিনট্যাব ইনকর্পোরেটেড-এর মালিকানাধীন)। এই বর্ধিত সংস্করণে ব্রেইম্যানের "ব্যাগিং" ধারণা এবং বৈশিষ্ট্যের (features) র‍্যান্ডম সিলেকশন একত্রিত করা হয়েছে, যা মূলত হো এবং পরবর্তীতে স্বাধীনভাবে অমিত ও গেমান প্রবর্তন করেছিলেন।

 ইতিহাস 
র‍্যান্ডম ডিসিশন ফরেস্টের সাধারণ পদ্ধতিটি প্রথম ১৯৯৩ সালে সালজবার্গ এবং হিথ প্রস্তাব করেছিলেন। তাদের পদ্ধতিতে একাধিক বৃক্ষ তৈরি করতে র‍্যান্ডমাইজড ডিসিশন ট্রি অ্যালগরিদম ব্যবহার করা হতো এবং পরে মেজরিটি ভোটিংয়ের মাধ্যমে সেগুলোকে একত্রিত করা হতো। এই ধারণাটিকে ১৯৯৫ সালে হো আরও এগিয়ে নিয়ে যান। হো দেখিয়েছিলেন যে, যতক্ষণ পর্যন্ত এই ফরেস্টগুলো নির্দিষ্ট কিছু বৈশিষ্ট্য বা ডাইমেনশনের ওপর সংবেদনশীল থাকে, ততক্ষণ এগুলো নির্ভুলতা হারালে বা অতিরিক্ত প্রশিক্ষণের (overtraining) শিকার না হয়েই আকার ও সক্ষমতা বৃদ্ধি করতে পারে। একইভাবে আরও জটিল ক্লাসিফায়ার (যেমন বড় ফরেস্ট) ক্রমান্বয়ে আরও বেশি নির্ভুল হয়ে ওঠে। ক্লেইনবার্গের স্টোকাস্টিক ডিসক্রিমিনেশন তত্ত্বের মাধ্যমে র‍্যান্ডম ফরেস্টের এই ওভারট্রেনিং প্রতিরোধী ক্ষমতার ব্যাখ্যা পাওয়া যায়।

ব্রেইম্যানের র‍্যান্ডম ফরেস্ট ধারণার প্রাথমিক বিকাশ অমিত এবং গেমানের কাজ দ্বারা প্রভাবিত হয়েছিল। তারা একটি একক বৃক্ষ তৈরির সময় নোড বিভক্ত করার ক্ষেত্রে উপলব্ধ সিদ্ধান্তগুলোর একটি র‍্যান্ডম সাবসেটের মধ্য থেকে খোঁজার ধারণাটি চালু করেন। র‍্যান্ডম ফরেস্টের নকশায় হো-এর র‍্যান্ডম সাবস্পেস সিলেকশন পদ্ধতিও প্রভাবশালী ছিল। সবশেষে র‍্যান্ডমাইজড নোড অপ্টিমাইজেশন ধারণাটি প্রথম প্রবর্তন করেন থমাস জি. ডিটেরিখ।

র‍্যান্ডম ফরেস্টের আনুষ্ঠানিক সূচনা হয় লিও ব্রেইম্যানের একটি গবেষণাপত্রের মাধ্যমে, যা বিশ্বের অন্যতম সর্বাধিক উদ্ধৃত গবেষণাপত্র হিসেবে পরিচিত। এই গবেষণাপত্রটিতে র‍্যান্ডমাইজড নোড অপ্টিমাইজেশন এবং ব্যাগিংয়ের সমন্বয়ে আনকোরিলেটেড বৃক্ষ তৈরির পদ্ধতি বর্ণনা করা হয়েছে। এছাড়া এতে বর্তমানে প্রচলিত র‍্যান্ডম ফরেস্টের ভিত্তি হিসেবে নিচের বিষয়গুলো উল্লেখ করা হয়েছে:

 জেনারালাইজেশন এরর অনুমান করার জন্য আউট-অফ-ব্যাগ এরর ব্যবহার।
 পারমুটেশনের মাধ্যমে ভেরিয়েবল ইম্পর্ট্যান্স পরিমাপ করা।

 অ্যালগরিদম 

 প্রাথমিক ধারণা: ডিসিশন ট্রি লার্নিং 

বিভিন্ন মেশিন লার্নিং কাজের জন্য ডিসিশন ট্রি বা সিদ্ধান্ত বৃক্ষ একটি জনপ্রিয় পদ্ধতি। ট্রেভর হাস্টি এবং তার সহযোগীদের মতে, ট্রি লার্নিং হলো ডেটা মাইনিংয়ের জন্য একটি সহজলভ্য পদ্ধতি, কারণ এটি স্কেলিং বা বৈশিষ্ট্যের মানের অন্যান্য পরিবর্তনের ফলে অপরিবর্তিত থাকে এবং অপ্রাসঙ্গিক বৈশিষ্ট্যের উপস্থিতিতেও কার্যকর থাকে। তবে এটি সব সময় নির্ভুল হয় না।

বিশেষ করে, যে বৃক্ষগুলো অনেক গভীর পর্যন্ত বিস্তৃত হয়, সেগুলো অনেক সময় অস্বাভাবিক প্যাটার্ন তৈরি করে। অর্থাৎ এগুলো প্রশিক্ষণ সেটের সাথে অতিরিক্ত খাপ খাইয়ে নেয় (ওভারফিট), যার ফলে বায়াস (bias) কম থাকলেও ভ্যারিয়েন্স (variance) অনেক বেশি থাকে। র‍্যান্ডম ফরেস্ট হলো একই প্রশিক্ষণ সেটের বিভিন্ন অংশের ওপর প্রশিক্ষিত একাধিক গভীর সিদ্ধান্ত বৃক্ষের গড় বের করার একটি পদ্ধতি, যার মূল লক্ষ্য হলো ভ্যারিয়েন্স কমানো। এর ফলে বায়াস সামান্য বৃদ্ধি পায় এবং মডেলটির ব্যাখ্যাযোগ্যতা কিছুটা কমে যায়, তবে সামগ্রিকভাবে এটি চূড়ান্ত মডেলের কর্মদক্ষতা বহুগুণ বাড়িয়ে দেয়।

ব্যাগিং

র‍্যান্ডম ফরেস্টের প্রশিক্ষণ অ্যালগরিদম ট্রি লার্নারদের (tree learners) ক্ষেত্রে বুটস্ট্র্যাপ অ্যাগ্রিগেশন বা ব্যাগিং নামক সাধারণ কৌশলটি প্রয়োগ করে। একটি প্রশিক্ষণ সেট  = , ...,  এবং এর ফলাফল  = , ...,  দেওয়া থাকলে, ব্যাগিং পদ্ধতিটি বারবার (B বার) প্রশিক্ষণ সেট থেকে প্রতিস্থাপনসহ একটি দৈব নমুনা সংগ্রহ করে এবং এই নমুনাগুলোর ওপর ট্রি তৈরি করে:

প্রশিক্ষণ শেষে, নতুন কোনো নমুনা  এর জন্য সকল একক রিগ্রেশন ট্রির পূর্বাভাসের গড় নিয়ে চূড়ান্ত পূর্বাভাস দেওয়া যেতে পারে:

অথবা শ্রেণিবিন্যাস ট্রির ক্ষেত্রে অধিকাংশের মতামতের (plurality vote) ভিত্তিতে সিদ্ধান্ত নেওয়া হয়।

এই বুটস্ট্র্যাপিং পদ্ধতিটি মডেলের কার্যকারিতা বৃদ্ধি করে কারণ এটি বায়াস (bias) না বাড়িয়েই মডেলের ভ্যারিয়েন্স (variance) কমিয়ে দেয়। এর অর্থ হলো, একটি একক ট্রির পূর্বাভাস তার প্রশিক্ষণ সেটের নয়েজের (noise) প্রতি অত্যন্ত সংবেদনশীল হলেও, অনেকগুলো ট্রির গড় ফলাফল তেমন নয়—যদি ট্রিগুলো একে অপরের সাথে সম্পর্কিত (correlated) না হয়। স্রেফ একটি প্রশিক্ষণ সেটের ওপর অনেকগুলো ট্রি তৈরি করলে সেগুলো একে অপরের সাথে নিবিড়ভাবে সম্পর্কিত হয়ে পড়ে (এমনকি অ্যালগরিদমটি ডিটারমিনিস্টিক হলে একই ট্রি বারবার তৈরি হতে পারে); বুটস্ট্র্যাপ স্যাম্পলিং প্রতিটি ট্রিকে আলাদা আলাদা প্রশিক্ষণ সেট দেখানোর মাধ্যমে তাদের মধ্যে এই সম্পর্ক দূর করার একটি উপায়।

এছাড়াও,  এর ওপর সমস্ত একক রিগ্রেশন ট্রির পূর্বাভাসের পরিমিত ব্যবধান (standard deviation) থেকে পূর্বাভাসের অনিশ্চয়তার একটি অনুমান করা যেতে পারে:

নমুনার (বা ট্রির) সংখ্যা  হলো একটি মুক্ত প্যারামিটার (free parameter)। সাধারণত প্রশিক্ষণ সেটের আকার ও প্রকৃতির ওপর ভিত্তি করে কয়েকশ থেকে কয়েক হাজার ট্রি ব্যবহার করা হয়। ক্রস-ভ্যালিডেশন ব্যবহার করে অথবা আউট-অফ-ব্যাগ ত্রুটি পর্যবেক্ষণের মাধ্যমে -এর মান অপ্টিমাইজ করা যায়। এখানে আউট-অফ-ব্যাগ ত্রুটি বলতে প্রতিটি প্রশিক্ষণ নমুনা -এর ওপর গড় পূর্বাভাস ত্রুটিকে বোঝায়, যেখানে শুধুমাত্র সেই ট্রিগুলো ব্যবহার করা হয় যাদের বুটস্ট্র্যাপ নমুনায়  ছিল না।

কিছু সংখ্যক ট্রি তৈরি করার পর প্রশিক্ষণ ও পরীক্ষার ত্রুটি (test error) সাধারণত একটি নির্দিষ্ট পর্যায়ে এসে স্থির হয়ে যাওয়ার প্রবণতা দেখায়।

ব্যাগিং থেকে র‍্যান্ডম ফরেস্ট

উপরের পদ্ধতিটি ট্রি-র মূল ব্যাগিং অ্যালগরিদম বর্ণনা করে। র‍্যান্ডম ফরেস্ট এতে আরও এক ধরনের ব্যাগিং স্কিম যুক্ত করে: এটি একটি পরিবর্তিত ট্রি লার্নিং অ্যালগরিদম ব্যবহার করে যা শেখার প্রক্রিয়ার প্রতিটি ধাপে বৈশিষ্ট্যগুলোর একটি দৈব উপসেট (random subset of features) নির্বাচন করে। এই প্রক্রিয়াটিকে কখনো কখনো "ফিচার ব্যাগিং" বলা হয়। এটি করার কারণ হলো সাধারণ বুটস্ট্র্যাপ নমুনায় ট্রিগুলোর মধ্যকার পারস্পরিক সম্পর্ক: যদি এক বা একাধিক বৈশিষ্ট্য (feature) ফলাফল নির্ধারণে খুব শক্তিশালী ভূমিকা রাখে, তবে এই বৈশিষ্ট্যগুলো  সংখ্যক ট্রির অধিকাংশেই নির্বাচিত হবে, যা ট্রিগুলোকে একে অপরের সাথে সম্পর্কিত করে তুলবে। বিভিন্ন পরিস্থিতিতে ব্যাগিং এবং র‍্যান্ডম সাবস্পেস প্রজেকশন কীভাবে নির্ভুলতা বৃদ্ধিতে সহায়তা করে, তার একটি বিশ্লেষণ হো প্রদান করেছেন।

সাধারণত,  সংখ্যক বৈশিষ্ট্য বিশিষ্ট একটি শ্রেণিবিন্যাস সমস্যার জন্য প্রতিটি বিভাজনে (split)  (নিচের দিকে পূর্ণসংখ্যায়িত) সংখ্যক বৈশিষ্ট্য ব্যবহার করা হয়। রিগ্রেশন সমস্যার ক্ষেত্রে উদ্ভাবকরা ডিফল্ট হিসেবে সর্বনিম্ন নোড সাইজ ৫ সহ  (নিচের দিকে পূর্ণসংখ্যায়িত) সংখ্যক বৈশিষ্ট্য ব্যবহারের পরামর্শ দেন। বাস্তবে, এই প্যারামিটারগুলোর সেরা মান প্রতিটি সমস্যার ধরন অনুযায়ী টিউন বা সমন্বয় করা উচিত।

এক্সট্রা-ট্রিজ (ExtraTrees)
দৈবচয়ন বা র্যান্ডমাইজেশনের আরও একটি ধাপ যুক্ত করলে 'এক্সট্রিমলি র্যান্ডমাইজড ট্রিজ' বা এক্সট্রা-ট্রিজ (ExtraTrees) পাওয়া যায়। সাধারণ র‍্যান্ডম ফরেস্টের মতো এগুলোও অনেকগুলো একক ট্রির সমষ্টি, তবে এর প্রধান পার্থক্য দুটি: (১) প্রতিটি ট্রি বুটস্ট্র্যাপ নমুনার পরিবর্তে সম্পূর্ণ প্রশিক্ষণ সেট ব্যবহার করে প্রশিক্ষণ দেওয়া হয় এবং (২) উপর থেকে নিচে বিভাজন প্রক্রিয়াটি দৈবভাবে করা হয়: স্থানীয়ভাবে 'সেরা' কাট-পয়েন্ট (যেমন তথ্য প্রাপ্তি বা জিনি ইমপিউরিটি-র ওপর ভিত্তি করে) গণনা করার পরিবর্তে, প্রতিটি বৈশিষ্ট্যের জন্য কতগুলো 'দৈব' কাট-পয়েন্ট নির্বাচন করা হয়। এই মানগুলো বৈশিষ্ট্যের অভিজ্ঞতামূলক সীমার মধ্য থেকে একটি ইউনিফর্ম ডিস্ট্রিবিউশন অনুযায়ী বেছে নেওয়া হয়। এরপর, সমস্ত দৈবভাবে চয়ন করা বিভাজনগুলোর মধ্যে যে বিভাজনটি সবচেয়ে বেশি স্কোর দেয়, সেটি নোড বিভাজনের জন্য নির্বাচিত হয়।

সাধারণ র‍্যান্ডম ফরেস্টের মতো প্রতিটি নোডে কতগুলো দৈব বৈশিষ্ট্য বিবেচনা করা হবে তা নির্ধারণ করে দেওয়া যায়। এই প্যারামিটারের ডিফল্ট মান শ্রেণিবিন্যাসের জন্য  এবং রিগ্রেশনের জন্য , যেখানে  হলো মডেলে থাকা বৈশিষ্ট্যের সংখ্যা।

উচ্চ-মাত্রিক উপাত্তের জন্য র‍্যান্ডম ফরেস্ট
যেসব ক্ষেত্রে বৈশিষ্ট্যের সংখ্যা অনেক বেশি কিন্তু নমুনার শ্রেণিবিন্যাসের জন্য তার খুব সামান্য অংশই তথ্যবহুল, সেখানে সাধারণ র‍্যান্ডম ফরেস্ট পদ্ধতি ভালো কাজ নাও করতে পারে। এক্ষেত্রে পদ্ধতিটিকে মূলত তথ্যবহুল বৈশিষ্ট্য এবং ট্রির ওপর মনোনিবেশ করতে উৎসাহিত করার মাধ্যমে সমস্যার সমাধান করা যায়। এর কিছু পদ্ধতি হলো:

 প্রাক-ছাঁকন (Prefiltering): যেসব বৈশিষ্ট্য মূলত নয়েজ বা অপ্রাসঙ্গিক, সেগুলো বাদ দেওয়া।Dessi, N. & Milia, G. & Pes, B. (2013). Enhancing random forests performance in microarray data classification. Conference paper, 99-103. 10.1007/978-3-642-38326-7_15.Ye, Y., Li, H., Deng, X., and Huang, J. (2008) Feature weighting random forest for detection of hidden web search interfaces. Journal of Computational Linguistics and Chinese Language Processing, 13, 387–404.
 এনরিচড র‍্যান্ডম ফরেস্ট (ERF): প্রতিটি ট্রির প্রতিটি নোডে সাধারণ দৈব নমুনার পরিবর্তে ওয়েটেড (weighted) দৈব নমুনা ব্যবহার করা, যেখানে তথ্যবহুল বৈশিষ্ট্যগুলোকে বেশি গুরুত্ব দেওয়া হয়।Amaratunga, D., Cabrera, J., Lee, Y.S. (2008) Enriched Random Forest. Bioinformatics, 24, 2010-2014.Ghosh D, Cabrera J. (2022) Enriched random forest for high dimensional genomic data. IEEE/ACM Trans Comput Biol Bioinform. 19(5):2817-2828. doi:10.1109/TCBB.2021.3089417.  Amaratunga, D., Cabrera, J., Shkedy, Z. (2014). Exploration and Analysis of DNA Microarray and Other High-Dimensional Data. New York: John Wiley. Second Edition. 0.1002/9781118364505. 
 ট্রি-ওয়েটেড র‍্যান্ডম ফরেস্ট (TWRF): যেসব ট্রি অধিক নির্ভুল পূর্বাভাস দেয় সেগুলোকে বেশি গুরুত্ব বা ওয়েট দেওয়া।Winham, Stacey & Freimuth, Robert & Biernacka, Joanna. (2013). A weighted random forests approach to improve predictive performance. Statistical Analysis and Data Mining. 6. 10.1002/sam.11196.  Li, H. B., Wang, W., Ding, H. W., & Dong, J. (2010, 10-12 Nov. 2010). Trees weighting random forest method for classifying high-dimensional noisy data. Paper presented at the 2010 IEEE 7th International Conference on E-Business Engineering. 

 বৈশিষ্ট্যসমূহ 

 চলকের গুরুত্ব 

র‍্যান্ডম ফরেস্ট রিগ্রেশন বা ক্লাসিফিকেশন সমস্যায় চলকগুলোর গুরুত্ব নির্ধারণ করতে স্বাভাবিকভাবেই ব্যবহৃত হতে পারে। ব্রীম্যানের মূল গবেষণাপত্রে নিচের কৌশলটি বর্ণনা করা হয়েছে এবং এটি আর (R) প্যাকেজ randomForest-এ বাস্তবায়ন করা হয়েছে।

 বিন্যাসভিত্তিক গুরুত্ব 

কোনো ডেটাসেটে  একটি বৈশিষ্ট্যের গুরুত্ব পরিমাপ করার জন্য প্রথমে ওই ডেটার ওপর একটি র‍্যান্ডম ফরেস্ট প্রশিক্ষণ দেওয়া হয়। প্রশিক্ষণের সময় প্রতিটি ডেটা পয়েন্টের জন্য আউট-অফ-ব্যাগ ত্রুটি রেকর্ড করা হয় এবং পুরো ফরেস্টের গড় বের করা হয়। (যদি প্রশিক্ষণের সময় ব্যাগিং ব্যবহার না করা হয়, তবে আমরা পরিবর্তে একটি স্বাধীন টেস্ট সেটের ওপর ত্রুটি গণনা করতে পারি।)

প্রশিক্ষণের পর, আউট-অফ-ব্যাগ স্যাম্পলগুলোতে ওই বৈশিষ্ট্যের মানগুলো বিন্যাস (permute) করা হয় এবং এই পরিবর্তিত ডেটাসেটের ওপর পুনরায় আউট-অফ-ব্যাগ ত্রুটি গণনা করা হয়। সমস্ত ট্রিতে বিন্যাসের আগের এবং পরের আউট-অফ-ব্যাগ ত্রুটির পার্থক্যের গড় করে ওই বৈশিষ্ট্যের গুরুত্ব নির্ণয় করা হয়। এই স্কোরটিকে পার্থক্যের মানক বিচ্যুতি (standard deviation) দ্বারা স্বাভাবিক (normalize) করা হয়।

যেসব বৈশিষ্ট্যের ক্ষেত্রে এই স্কোরটি বেশি আসে সেগুলোকে কম স্কোরের বৈশিষ্ট্যের তুলনায় বেশি গুরুত্বপূর্ণ ধরা হয়। চলকের গুরুত্ব পরিমাপের এই গাণিতিক সংজ্ঞাটি ঝু এবং তার সহযোগীরা বিশ্লেষণ করেছেন।

চলকের গুরুত্ব নির্ণয়ের এই পদ্ধতির কিছু সীমাবদ্ধতা রয়েছে:
 যখন বৈশিষ্ট্যগুলোর বিভিন্ন সংখ্যক মান থাকে, তখন র‍্যান্ডম ফরেস্ট বেশি মানসম্পন্ন বৈশিষ্ট্যগুলোর দিকে ঝুঁকে থাকে। এই সমস্যার সমাধানের মধ্যে রয়েছে আংশিক বিন্যাস এবং পক্ষপাতহীন ট্রি (unbiased trees) তৈরি করা।
 যদি ডেটাতে একই ধরনের প্রাসঙ্গিক সহ-সম্পর্কিত বৈশিষ্ট্যের গ্রুপ থাকে, তবে বড় গ্রুপের চেয়ে ছোট গ্রুপগুলো বেশি গুরুত্ব পায়।
 যদি কলিনিয়ার (collinear) বৈশিষ্ট্য থাকে, তবে প্রক্রিয়াটি গুরুত্বপূর্ণ বৈশিষ্ট্যগুলো শনাক্ত করতে ব্যর্থ হতে পারে। এর একটি সমাধান হলো সহ-সম্পর্কিত বৈশিষ্ট্যের গ্রুপগুলোকে একসাথে বিন্যাস করা।

 অশুদ্ধতা হ্রাসের ভিত্তিতে বৈশিষ্ট্যর গুরুত্ব 
র‍্যান্ডম ফরেস্টের ক্ষেত্রে বৈশিষ্ট্যর গুরুত্ব নির্ণয়ের এই পদ্ধতিটি সেই চলকগুলোকে গুরুত্বপূর্ণ মনে করে যেগুলো বিভাজনের (splitting) সময় অশুদ্ধতা (impurity) অনেক বেশি কমিয়ে দেয়। এটি লিও ব্রীম্যানের Classification and Regression Trees বইটিতে বর্ণনা করা হয়েছে এবং এটি sci-kit learn ও আর (R)-এর ডিফল্ট সংস্করণ। এর সংজ্ঞা হলো:যেখানে 

  হলো একটি বৈশিষ্ট্য
  হলো ফরেস্টে ট্রির সংখ্যা
  হলো -তম ট্রি
  হলো  নোডে পৌঁছানো স্যাম্পল বা নমুনার ভগ্নাংশ
  হলো  ট্রির  নোডে অশুদ্ধতার পরিবর্তন।

একটি নোডে থাকা নমুনার অশুদ্ধতা পরিমাপ হিসেবে নিচের পরিসংখ্যানগুলো ব্যবহার করা যেতে পারে:
এনট্রপি
জিনি সহগ
গড় বর্গীয় ত্রুটি

এরপর সমস্ত বৈশিষ্ট্যের ওপর নরমালাইজ করে 'নরমালাইজড গুরুত্ব' পাওয়া যায়, যাতে সমস্ত গুরুত্বপূর্ণ বৈশিষ্ট্যের যোগফল ১ হয়।

sci-kit learn-এর ডিফল্ট সংস্করণ বিভ্রান্তিকর বৈশিষ্ট্যের গুরুত্ব প্রদান করতে পারে:
 এটি উচ্চ কার্ডিনালিটি (high cardinality) বৈশিষ্ট্যগুলোর দিকে বেশি ঝুঁকে থাকে
 এটি ট্রেনিং পরিসংখ্যান ব্যবহার করে এবং তাই কোনো টেস্ট সেটের ওপর প্রেডিকশনের জন্য বৈশিষ্ট্যের উপযোগিতা প্রতিফলিত করে না।https://scikit-learn.org/stable/auto_examples/inspection/plot_permutation_importance.html ৩১ আগস্ট ২০২৩

 নিকটতম প্রতিবেশীর সাথে সম্পর্ক 
২০০২ সালে লিন এবং জন র‍্যান্ডম ফরেস্ট এবং -নিকটতম প্রতিবেশী অ্যালগরিদম (-NN)-এর মধ্যে একটি সম্পর্কের কথা উল্লেখ করেন। উভয়কেই তথাকথিত ওয়েটেড নেইবারহুড স্কিম (weighted neighborhoods schemes) হিসেবে দেখা যেতে পারে। এগুলো একটি ট্রেনিং সেট  থেকে তৈরি মডেল যা নতুন পয়েন্ট -এর জন্য প্রেডিকশন  প্রদান করে ওই পয়েন্টের "প্রতিবেশী" দেখে, যা একটি ওয়েট ফাংশন  দ্বারা সংজ্ঞায়িত করা হয়:এখানে,  হলো একই ট্রিতে নতুন পয়েন্ট -এর সাপেক্ষে -তম ট্রেনিং পয়েন্টের অ-ঋণাত্মক ওয়েট। যেকোনো -এর জন্য,  পয়েন্টগুলোর ওয়েটের যোগফল অবশ্যই ১ হতে হবে। ওয়েট ফাংশনগুলো নিম্নরূপ:

 -NN-এ,  যদি  বিন্দুটি -এর নিকটতম  সংখ্যক বিন্দুর একটি হয়, অন্যথায় এটি শূন্য।
 একটি ট্রিতে,  যদি  বিন্দুটি -এর মতো একই লিফ বা পাতায় থাকা  সংখ্যক বিন্দুর একটি হয়, অন্যথায় এটি শূন্য।

যেহেতু একটি ফরেস্ট পৃথক ওয়েট ফাংশন  সহ  সংখ্যক ট্রির প্রেডিকশনগুলোর গড় করে, তাই এর প্রেডিকশনগুলো হলো

এটি দেখায় যে পুরো ফরেস্টটি আবারও একটি ওয়েটেড নেইবারহুড স্কিম, যেখানে ওয়েটগুলো পৃথক ট্রির ওয়েটের গড়। এই ব্যাখ্যায় -এর প্রতিবেশীরা হলো সেই  বিন্দুগুলো যারা যেকোনো ট্রি -এর একই পাতায় অবস্থান করে। এইভাবে, -এর প্রতিবেশী এলাকা ট্রির কাঠামোর ওপর এবং ট্রেনিং সেটের কাঠামোর ওপর এক জটিলভাবে নির্ভর করে। লিন এবং জন দেখিয়েছেন যে র‍্যান্ডম ফরেস্ট দ্বারা ব্যবহৃত প্রতিবেশীর আকার প্রতিটি বৈশিষ্ট্যের স্থানীয় গুরুত্বের সাথে খাপ খাইয়ে নেয় (adapt)।

 তত্ত্বাবধানহীন শিক্ষা 
তৈরির প্রক্রিয়ার অংশ হিসেবেই র‍্যান্ডম ফরেস্ট প্রেডিক্টরগুলো পর্যবেক্ষণের মধ্যে একটি বৈসাদৃশ্য পরিমাপের (dissimilarity measure) দিকে নিয়ে যায়। একইভাবে কেউ আনলেবেলড (unlabeled) ডেটার মধ্যেও বৈসাদৃশ্য সংজ্ঞায়িত করতে পারে, যার জন্য একটি ফরেস্টকে মূল "পর্যবেক্ষিত" ডেটা এবং একটি রেফারেন্স ডিস্ট্রিবিউশন থেকে তৈরি কৃত্রিম ডেটার মধ্যে পার্থক্য করতে প্রশিক্ষণ দেওয়া হয়। র‍্যান্ডম ফরেস্ট বৈসাদৃশ্য পরিমাপটি আকর্ষণীয় কারণ এটি মিশ্র চলক টাইপগুলো খুব ভালোভাবে সামলাতে পারে, ইনপুট চলকের মোনোটোনিক পরিবর্তনের ক্ষেত্রে অপরিবর্তিত থাকে এবং আউটলায়ার পর্যবেক্ষণের ক্ষেত্রেও বেশ কার্যকর। র‍্যান্ডম ফরেস্ট বৈসাদৃশ্য পরিমাপটি এর সহজাত চলক নির্বাচনের ক্ষমতার কারণে প্রচুর সংখ্যক সেমি-কন্টিনিউয়াস (semi-continuous) চলক সহজেই পরিচালনা করতে পারে; উদাহরণস্বরূপ, "Addcl 1" র‍্যান্ডম ফরেস্ট বৈসাদৃশ্য পরিমাপ প্রতিটি চলকের গুরুত্ব তার ওপর অন্য চলক কতটা নির্ভরশীল তার ভিত্তিতে ওজন করে। র‍্যান্ডম ফরেস্ট বৈসাদৃশ্য পরিমাপ বিভিন্ন ক্ষেত্রে ব্যবহৃত হয়েছে, যেমন টিস্যু মার্কার ডেটার ওপর ভিত্তি করে রোগীদের ক্লাস্টার বা দল খুঁজে বের করতে।

 বিভিন্ন সংস্করণ 
ডিসিশন ট্রির পরিবর্তে র‍্যান্ডম ফরেস্টে বেস এস্টিমেটর হিসেবে লিনিয়ার মডেল ব্যবহারের প্রস্তাব ও মূল্যায়ন করা হয়েছে, বিশেষ করে মাল্টিনোমিয়াল লজিস্টিক রিগ্রেশন এবং নায়েভ বেয়েস ক্লাসিফায়ার। যেসব ক্ষেত্রে প্রেডিক্টর এবং টার্গেট চলকের মধ্যে সম্পর্ক লিনিয়ার বা রৈখিক হয়, সেখানে বেস লার্নারদের নির্ভুলতা এনসেম্বল লার্নারের মতোই বেশি হতে পারে।

 কার্নেল র‍্যান্ডম ফরেস্ট 
মেশিন লার্নিংয়ে, কার্নেল র‍্যান্ডম ফরেস্ট (KeRF) র‍্যান্ডম ফরেস্ট এবং কার্নেল পদ্ধতির মধ্যে সংযোগ স্থাপন করে। এদের সংজ্ঞা কিছুটা পরিবর্তন করে র‍্যান্ডম ফরেস্টকে কার্নেল পদ্ধতি হিসেবে পুনরায় লেখা যেতে পারে, যা ব্যাখ্যা করা এবং বিশ্লেষণ করা সহজ।

 ইতিহাস 
লিও ব্রীম্যান প্রথম ব্যক্তি যিনি র‍্যান্ডম ফরেস্ট এবং কার্নেল পদ্ধতির মধ্যে সংযোগ লক্ষ্য করেছিলেন। তিনি উল্লেখ করেন যে ট্রির গঠনে i.i.d. র‍্যান্ডম ভেক্টর ব্যবহার করে প্রশিক্ষিত র‍্যান্ডম ফরেস্ট আসলে প্রকৃত মার্জিনের ওপর কাজ করা একটি কার্নেলের সমতুল্য। লিন এবং জন র‍্যান্ডম ফরেস্ট এবং অ্যাডাপ্টিভ নিকটতম প্রতিবেশীর মধ্যে সংযোগ স্থাপন করেন, যা নির্দেশ করে যে র‍্যান্ডম ফরেস্টকে অ্যাডাপ্টিভ কার্নেল এস্টিমেট হিসেবে দেখা যেতে পারে। ডেভিস এবং ঘাহরামানি কার্নেল র‍্যান্ডম ফরেস্ট (KeRF) প্রস্তাব করেন এবং দেখান যে এটি বর্তমান সময়ের আধুনিক কার্নেল পদ্ধতিগুলোর চেয়েও ভালো ফলাফল দিতে পারে। স্কোরনেট প্রথম KeRF এস্টিমেট সংজ্ঞায়িত করেন এবং KeRF এস্টিমেট ও র‍্যান্ডম ফরেস্টের মধ্যে স্পষ্ট সংযোগ তুলে ধরেন। তিনি সেন্টার্ড র‍্যান্ডম ফরেস্ট এবং ইউনিফর্ম র‍্যান্ডম ফরেস্টের (র‍্যান্ডম ফরেস্টের দুটি সরল মডেল) ওপর ভিত্তি করে কার্নেলের স্পষ্ট রূপ প্রকাশ করেন। তিনি এই দুটি KeRF-এর নাম দেন সেন্টার্ড KeRF এবং ইউনিফর্ম KeRF, এবং তাদের ধারাবাহিকতার হারের ঊর্ধ্বসীমা প্রমাণ করেন।

 সংকেত ও সংজ্ঞা 
 প্রাথমিক ধারণা: সেন্টার্ড ফরেস্ট 
সেন্টার্ড ফরেস্ট হলো ব্রীম্যানের মূল র‍্যান্ডম ফরেস্টের একটি সরল মডেল, যা সমস্ত বৈশিষ্ট্যের মধ্যে একটি বৈশিষ্ট্য সমানভাবে নির্বাচন করে এবং পূর্বনির্বাচিত বৈশিষ্ট্য বরাবর সেলের কেন্দ্রে বিভাজন সম্পন্ন করে। যখন  লেভেলের একটি পূর্ণ বাইনারি ট্রি তৈরি হয় তখন অ্যালগরিদমটি বন্ধ হয়ে যায়, যেখানে  হলো অ্যালগরিদমের একটি প্যারামিটার।

 ইউনিফর্ম ফরেস্ট 
ইউনিফর্ম ফরেস্ট হলো ব্রেইম্যানের আদি র‍্যান্ডম ফরেস্টের একটি সরলীকৃত মডেল, যা সমস্ত বৈশিষ্ট্যের মধ্য থেকে একটি বৈশিষ্ট্যকে সুষমভাবে (uniformly) নির্বাচন করে এবং নির্বাচিত বৈশিষ্ট্যের কোষের (cell) একপাশে সুষমভাবে একটি বিন্দুতে বিভাজন সম্পন্ন করে।

 র‍্যান্ডম ফরেস্ট থেকে KeRF 
ধরা যাক, একটি স্বাধীন প্রোটোটাইপ জোড়া  হিসেবে বণ্টিত -মানের স্বাধীন দৈব চলকের একটি প্রশিক্ষণ নমুনা (training sample) হলো , যেখানে । আমাদের লক্ষ্য হলো রিগ্রেশন ফাংশন  প্রাক্কলনের মাধ্যমে দৈব চলক -এর সাথে যুক্ত রেসপন্স  নির্ণয় করা। একটি র‍্যান্ডম রিগ্রেশন ফরেস্ট হলো  সংখ্যক র‍্যান্ডমাইজড রিগ্রেশন ট্রিয়ের একটি সমাহার (ensemble)। ধরি, -তম ট্রি দ্বারা  বিন্দুতে প্রাক্কলিত মান হলো , যেখানে  হলো স্বাধীন দৈব চলক, যা নমুনা  থেকে স্বাধীন এবং একটি সাধারণ দৈব চলক  হিসেবে বণ্টিত। এই দৈব চলকটি নোড বিভাজন এবং ট্রি তৈরির নমুনায়ন পদ্ধতির কারণে সৃষ্ট অনির্দিষ্টতা বর্ণনা করতে ব্যবহৃত হয়। ট্রিগুলোকে একত্রিত করে সসীম ফরেস্ট প্রাক্কলন  তৈরি করা হয়।
রিগ্রেশন ট্রিয়ের ক্ষেত্রে, আমাদের কাছে  রয়েছে, যেখানে  হলো  ধারণকারী কোষ, যা দৈব চলক  এবং ডেটাসেট  দ্বারা নকশা করা হয়েছে, এবং ।

অতএব, সকল -এর জন্য র‍্যান্ডম ফরেস্ট প্রাক্কলনগুলো  শর্তটি পূরণ করে। র‍্যান্ডম রিগ্রেশন ফরেস্টে গড়ের দুটি স্তর থাকে—প্রথমটি একটি ট্রিয়ের নির্দিষ্ট কোষের নমুনাগুলোর ওপর, এবং দ্বিতীয়টি সমস্ত ট্রিয়ের ওপর। ফলে অধিক উপাত্ত বিন্দু সমৃদ্ধ কোষগুলোর পর্যবেক্ষণের অবদান কম ঘনত্বের কোষগুলোর তুলনায় কম হয়। র‍্যান্ডম ফরেস্ট পদ্ধতির উন্নতি এবং ভুল প্রাক্কলন সংশোধনের জন্য স্করনেট KeRF-কে নিম্নোক্তভাবে সংজ্ঞায়িত করেছেন:

যা ফরেস্টের মধ্যে  ধারণকারী কোষগুলোতে থাকা -এর গড় মানের সমান। যদি আমরা  সসীম ফরেস্টের সংযোগ ফাংশনকে (connection function)  হিসেবে সংজ্ঞায়িত করি, অর্থাৎ  ও -এর মধ্যে শেয়ারকৃত কোষের অনুপাত, তবে প্রায় নিশ্চিতভাবে (almost surely) আমরা পাই , যা KeRF-কে সংজ্ঞায়িত করে।

 সেন্টারড KeRF 
লেভেল -এর সেন্টারড (Centered) KeRF-এর গঠন সেন্টারড ফরেস্টের মতোই, তবে এখানে প্রাক্কলন করা হয়  দ্বারা। এর সংশ্লিষ্ট কার্নেল ফাংশন বা সংযোগ ফাংশনটি হলো

 ইউনিফর্ম KeRF 
ইউনিফর্ম KeRF ঠিক ইউনিফর্ম ফরেস্টের মতোই তৈরি করা হয়, তবে প্রাক্কলন করা হয়  দ্বারা। এর সংশ্লিষ্ট কার্নেল ফাংশন বা সংযোগ ফাংশনটি হলো

 বৈশিষ্ট্যসমূহ 
 KeRF এবং র‍্যান্ডম ফরেস্টের সম্পর্ক 
প্রতিটি কোষে বিন্দুর সংখ্যা নিয়ন্ত্রিত থাকলে KeRF এবং র‍্যান্ডম ফরেস্টের মাধ্যমে প্রাপ্ত প্রাক্কলনগুলো কাছাকাছি হয়:

ধরা যাক, এমন কিছু অনুক্রম  বিদ্যমান যে, প্রায় নিশ্চিতভাবে,

তবে প্রায় নিশ্চিতভাবে,

 অসীম KeRF এবং অসীম র‍্যান্ডম ফরেস্টের সম্পর্ক 
যখন ট্রিয়ের সংখ্যা  অসীমের দিকে যায়, তখন আমরা অসীম র‍্যান্ডম ফরেস্ট এবং অসীম KeRF পাই। প্রতিটি কোষে পর্যবেক্ষণের সংখ্যা সীমাবদ্ধ থাকলে এদের প্রাক্কলনগুলো কাছাকাছি হয়:

ধরা যাক, এমন কিছু অনুক্রম  বিদ্যমান যে, প্রায় নিশ্চিতভাবে



তবে প্রায় নিশ্চিতভাবে,

 সংগতি ফলাফল 
ধরা যাক, , যেখানে  হলো একটি কেন্দ্রিক গাউসীয় নয়েজ (centered Gaussian noise), যা  থেকে স্বাধীন এবং এর সসীম ভেদাঙ্ক । এছাড়া,  সুষমভাবে -এর ওপর বণ্টিত এবং  হলো লিফশিৎস অবিচ্ছিন্ন। স্করনেট সেন্টারড KeRF এবং ইউনিফর্ম KeRF-এর সংগতির (consistency) হারের ঊর্ধ্বসীমা প্রমাণ করেছেন।

 সেন্টারড KeRF-এর সংগতি 
যদি  এবং  হয়, তবে এমন একটি ধ্রুবক  বিদ্যমান যে, সকল -এর জন্য,
।

 ইউনিফর্ম KeRF-এর সংগতি 
যদি  এবং  হয়, তবে এমন একটি ধ্রুবক  বিদ্যমান যে,
।

 অসুবিধাসমূহ 
র‍্যান্ডম ফরেস্ট প্রায়শই একটি একক ডিসিশন ট্রিয়ের চেয়ে বেশি নির্ভুলতা অর্জন করলেও, এটি ডিসিশন ট্রিয়ের সহজাত ব্যাখ্যাযোগ্যতা (interpretability) ক্ষুণ্ণ করে। লিনিয়ার মডেল, নিয়ম-ভিত্তিক মডেল এবং অ্যাটেনশন-ভিত্তিক মডেলগুলোর পাশাপাশি ডিসিশন ট্রি হলো মেশিন লার্নিং মডেলগুলোর একটি ক্ষুদ্র পরিবারের অন্তর্ভুক্ত যা সহজে ব্যাখ্যাযোগ্য। এই ব্যাখ্যাযোগ্যতা ডিসিশন ট্রিয়ের অন্যতম প্রধান সুবিধা। এটি ডেভেলপারদের নিশ্চিত করতে সাহায্য করে যে মডেলটি উপাত্ত থেকে বাস্তবসম্মত তথ্য শিখেছে এবং শেষ-ব্যবহারকারীদের মডেলের নেওয়া সিদ্ধান্তের ওপর আস্থা রাখতে সাহায্য করে। উদাহরণস্বরূপ, একটি ডিসিশন ট্রি তার সিদ্ধান্তে পৌঁছানোর জন্য যে পথ অনুসরণ করে তা বোঝা বেশ সহজ, কিন্তু দশ বা শত শত ট্রিয়ের পথ অনুসরণ করা অনেক বেশি কঠিন। কর্মদক্ষতা এবং ব্যাখ্যাযোগ্যতা উভয়ই বজায় রাখতে কিছু মডেল কমপ্রেশন কৌশল র‍্যান্ডম ফরেস্টকে একটি ন্যূনতম "বর্ন-এগেইন" (born-again) ডিসিশন ট্রিয়ে রূপান্তর করতে সাহায্য করে, যা একইভাবে একই সিদ্ধান্তমূলক ফাংশন তৈরি করতে পারে।

র‍্যান্ডম ফরেস্টের আরেকটি সীমাবদ্ধতা হলো, যদি বৈশিষ্ট্যগুলো লক্ষ্যের (target) সাথে রৈখিকভাবে সম্পর্কিত থাকে, তবে র‍্যান্ডম ফরেস্ট বেস লার্নারের নির্ভুলতা বৃদ্ধি নাও করতে পারে। একইভাবে একাধিক শ্রেণীবদ্ধ চলক (categorical variables) বিশিষ্ট সমস্যার ক্ষেত্রেও এটি দেখা যায়।

 আরও দেখুন 







 তথ্যসূত্র 

 আরও পড়ুন 




 বহিঃসংযোগ 
 র‍্যান্ডম ফরেস্ট ক্লাসিফায়ারের বর্ণনা (লিও ব্রেইম্যানের সাইট)
 লিয়াও, অ্যান্ডি এবং উইনার, ম্যাথিউ "র‍্যান্ডমফরেস্টের মাধ্যমে শ্রেণীবিভাগ এবং রিগ্রেশন" R News (২০০২) ভলিউম ২/৩ পৃ. ১৮ (R-এর জন্য র‍্যান্ডম ফরেস্ট প্যাকেজের ব্যবহারের আলোচনা)

বিষয়শ্রেণী:শ্রেণীবিভাগ অ্যালগরিদম
বিষয়শ্রেণী:এনসেম্বল লার্নিং
বিষয়শ্রেণী:ডিসিশন ট্রি
বিষয়শ্রেণী:সিদ্ধান্ত তত্ত্ব
বিষয়শ্রেণী:কম্পিউটেশনাল পরিসংখ্যান