درخت تصمیم کیست؟ توضیح بده.
درخت تصمیم‌گیری (Decision Tree) یک ابزار برای پشتیبانی از تصمیم است که از درخت‌ها برای مدل کردن استفاده می‌کند. درخت تصمیم به‌طور معمول در تحقیق‌ها و عملیات مختلف استفاده می‌شود. به‌طور خاص در آنالیز تصمیم، برای مشخص کردن استراتژی که با بیشترین احتمال به هدف برسد، بکار می‌رود. استفاده دیگر درختان تصمیم، توصیف محاسبات احتمال شرطی است.مثال‌ها.مثال۱.در بازی بیست سؤالی، بازیکن باید یک درخت تصمیم در ذهن خود بسازد که به خوبی موارد را از هم جدا کند تا با کمترین سؤال به جواب برسد. در صورتی بازیکن به جواب می‌رسد که درخت ساخته شده بتواند به خوبی موارد را از هم جدا کند.مثال ۲.فرض کنید نمرات پارسال یک استاد به همکلاسی‌ها را داریم و می‌خواهیم قبول یا مردود شدن خود را تخمین بزنیم؛ بنابراین یک جدول می‌کشیم که در آن ویژگی‌هایی که همه همکلاسی‌ها دارند و برای ما مشخص هستند را فهرست می‌کنیم؛ ویژگی‌هایی مانند جنسیت، تأهل و اشتغال را می‌آوریم؛ بنابراین چنین نتیجه می‌شود:مثال ۳.در مجموعه داده گل زنبق، می‌خواهم نوع زنبقی را تخمین بزنم که بردار ویژگی آن x است؛ بنابراین در متلب:clear allload fisheriris ;% بارگیری مجموعه‌داده گل زنبقiris_tree = fitctree(meas,species); % ایجاد درخت تصمیمview(iris_tree,'mode','graph') % توضیح نمودارx=[6 3 1.5 .3]; % زنبق منdisp(predict(iris_tree,x)) % نتیجه تصمیمکلیات.در آنالیز تصمیم، یک درخت تصمیم به عنوان ابزاری برای به تصویر کشیدن و آنالیز تصمیم، در جایی که مقادیر مورد انتظار از رقابت‌ها متناوباً محاسبه می‌شود، استفاده می‌گردد. یک درخت تصمیم دارای سه نوع گره‌است:نمودار درخت تصمیم‌گیری.یک درخت تصمیم می‌تواند خیلی فشرده در قالب یک دیاگرام، توجه را بر روی مسئله و رابطه بین رویدادها جلب کند.مربع نشان دهنده تصمیم‌گیری، بیضی نشان دهنده فعالیت، و لوزی نشان دهنده نتیجه است.الگوریتم ساخت درخت تصمیم‌گیری.مجموع داده‌ها را با formula_1 نمایش می‌دهیم، یعنی formula_2، به قسمی که formula_3 و formula_4. درخت تصمیم‌گیری سعی می‌کند به صورت بازگشتی داده‌ها را به قسمی از هم جدا کند که در هر گِرِه متغیرهای مستقلِ formula_5 به هم نزدیک شده همسان شوند. هر گِره، زیر مجموعه ای از داده هاست که به صورت بازگشتی ساخته شده‌است. به‌طور دقیق‌تر در گره formula_6 اگر داده ما formula_7 باشد، سعی می‌کنیم یک بُعد از متغیرهایی وابسته را به همراه یک آستانه انتخاب کنیم و داده‌ها را برحسب این بُعد و آستانه به دو نیم تقسیم کنیم، به قسمی که به‌طور متوسط در هر دو نیم متغیرهای مستقل یا formula_5 خیلی به هم نزدیک و همسان شده باشند. این بعد و آستانه را formula_9 می‌نامیم. دامنه formula_10 برابر است با formula_11 و formula_12 یک عدد صحیح است. formula_7 برحسب formula_9 به دو بخش formula_15 و formula_16 به شکل پایین تقسیم می‌شود:formula_17حال سؤال اینجاست که کدام بُعد از متغیرهای وابسته و چه آستانه‌ای را باید انتخاب کرد. به زبان ریاضی باید آن formula_18یی را انتخاب کرد که ناخالصی داده را کم کند. ناخالصی برحسب نوع مسئله تعریفی متفاوت خواهد داشت، مثلاً اگر مسئله یک دسته‌بندی دوگانه است، ناخالصی می‌تواند آنتراپی داده باشد، کمترین ناخالصی زمانی است که هم formula_16 و هم formula_15 از یک دسته داشته باشند، یعنی در هر کدام از این دو گِرِه دو نوع دسته وجود نداشته باشد. برای رگرسیون این ناخالصی می‌تواند واریانس متغیر وابسته باشد. از آنجا که مقدار داده در formula_15 و formula_16 با هم متفاوت است، میانگینی وزن‌دار از هر دو ناخالصی را به شکل پایین محاسبه می‌کنیم. در این معادله formula_23، formula_24 و formula_25:formula_26هدف در اینجا پیدا کردن آن formula_18 یی است که ناخالصی را کمینه کند، یعنی formula_28. حال همین کار را به صورت بازگشتی برای formula_15 و formula_16 انجام می‌دهیم. بعضی از گره‌ها را باید به برگ تبدیل کنیم. معیاری که برای تبدیل یک گره به برگ از آن استفاده می‌کنیم، می‌تواند مقداری حداقلی برای formula_31 (تعداد داده در یک گره) یا عمق درخت باشد. به قسمی که اگر با دو نیم کردن گِره یکی از معیارها عوض شود، گِره را به دو نیم نکرده آن را تبدیل به یک برگ می‌کنیم. معمولاً این دو پارامتر باعث تنظیم مدل (Regularization) می‌شوند. در ابتدای کار گره شامل تمام داده‌ها می‌شود یعنی formula_32.مسئله دسته‌بندی.اگر مسئله ما دسته‌بندی باشد و formula_33 باشد تابع ناخالصی برای گره formula_7 می‌تواند یکی از موارد پایین باشد، در این معادله‌ها formula_35:ناخالصی گینی: formula_36ناخالصی آنتروپی: formula_37ناخالصی خطا: formula_38مسئله رگرسیون.در مسئله رگرسیون ناخالصی می‌تواند یکی از موارد پایین باشد:میانگین خطای مربعات:formula_39میانگین خطای قدر مطلق:formula_40مزایا.در میان ابزارهای پشتیبانی تصمیم، درخت تصمیم و دیاگرام تصمیم دارای مزایای زیر هستند: