در مورد کسب اطلاعات (درخت تصمیم) توضیح بده.
در نظریه اطلاعات و یادگیری ماشین، کسب اطلاعات مترادف واگرایی کولبک-لیبلر است؛ یعنی کسب‌شده درباره یک متغیر تصادفی یا سیگنال از مشاهده متغیر تصادفی دیگر. با این حال، در زمینه درخت‌های تصمیم‌گیری، این اصطلاح مترادف با اطلاعات متقابل است، که مقدار انتظاری شرطی واگرایی کولبک-لیبلر از توزیع احتمال تک‌متغیره از یک متغیر از توزیع شرطی این متغیر با شرط اینکه دیگری داده شود.کسب اطلاعات یک متغیر تصادفی "X" که از مشاهده یک متغیر تصادفی "A" وقتیکه مقدار را می‌گیرد به صورت formula_1 تعریف می‌شود، که واگرایی کولبک-لیبلر توزیع پیشین formula_2 از x از توزیع پسین formula_3 برای "x" موقعی است که "a" داده شود.مقدار انتظاری کسب اطلاعات برابر اطلاعات متقابل از "X" و "A" است، یعنی کاهش انتروپی "X" که توسط یادگیری حالت متغیر تصادفی "A" به دست می‌آید.در یادگیری ماشین، از این مفهوم برای تعریف ترتیب ترجیحی ویژگی‌ها برای بررسی سریع‌ترین روش کاهش حالت "X" است. چنین ترتیبی (که بستگی به بررسی ویژگی‌های قبلی در هر مرحله دارد) یک درخت تصمیم نامیده می‌شود، و در حوزه یادگیری ماشین که یادگیری درخت تصمیم نامیده می‌شود، اعمال می‌شود. معمولا ویژگی با اطلاعات متقابل بالا باید به دیگر ویژگی‌ها ترجیح داده شود.تعریف عمومی.به صورت عام، کسب اطلاعات انتظاری برابر کاهش انتروپی اطلاعات از یک حالت پیشین به یک حالت است که اطلاعاتی گرفته است، به این صورت:که در آن formula_5 برابر انتروپی شرطی formula_6 موقعی است که مقدار formula_7 را داشته باشیم.این موضوع به صورت بدیهی موقعی قابل قبول است که انتروپی به صورت مقدار عدم‌قطعیت یک متغیر تصادفی formula_8 تفسیر شود: با یادگیری (یا فرض) formula_7 درباره formula_8، عدم‌قطعیت ما درباره formula_8 کاهش می‌یابد (یعنی formula_12 مثبت است)، مگر آنکه formula_8 مستقل از formula_7 باشد که در این حالت، formula_15 است، یعنی formula_16 است.تعریف صوری.فرض کنید که به یک مجموعه از مثال‌های آموزشی اشاره کند، که هر کدام حالت formula_17 را دارد که در آن formula_18 برابر مقدار ویژگی formula_19 با مثال formula_20 و برابر برچسب کلاس متناظر است. میزان کسب اطلاعات یک ویژگی به صورت انتروپی شانون formula_21 به این صورت تعریف می‌شود. برای یک مقدار که ویژگی آن را گرفته است، فرض کنید که formula_22 به صورت مجموعه ورودی‌های آموزشی از که در آن ویژگی با مقدار برابر است تعریف شده باشد. آنوقت کسب اطلاعات برای ویژگی برابر تفاضل بین انتروپی شانون پیشین formula_23 از مجموعه آزمایشی و انتروپی شرطی formula_24 است.formula_25اطلاعات متقابل برابر انتروپی کلی برای یک ویژگی است اگر برای هرکدام از مقادیر ویژگی یک طبقه‌بندی یکتا برای ویژگی نتیجه شده قابل ساخت باشد. در این حالت، انتروپی‌های نسبی که از انتروپی کلی کم می‌شود برابر 0 است. بخصوص، مقادیر formula_27 یک افراز از داده‌های مجموعه آموزشی به زیرمجموعه‌های متقابل انحصاری و کامل شامل‌شونده است، که یک formula_28 را روی مقادیر formula_29 از ویژگی القا می‌کند. این توزیع به این صورت است:formula_30. در این نمایش، کسب اطلاعات با داشتن را می‌توان به صورت تفاضل بین انتروپی شانون غیرشرطی از و انتروپی انتظاری با این شرط که با داده شدن را بتوان به صورت تفاضل بین انتروپی شانون غیرشرطی و انتروپی انتظاری مشروط بر تعریف کرد، که در آن مقدار انتظاری نسبت به توزیع القاشده روی مقادیر به دست می‌آید.formula_31مزیت‌ها.کسب اطلاعات خصیصه اساسی است که با آن تصمیم گرفته می‌شود که آیا یک ویژگی باید برای شکستن یک گره استفاده شود یا نه. ویژگی که شکست بهینه دارد، یعنی، بیشترین مقدار کسب اطلاعات در یک گره از یک درخت تصمیم به عنوان ویژگی برای شکستن گره استفاده می‌شود.مفهوم تابع کسب اطلاعات تحت برای تولید درخت‌های تصمیم، و انتخاب شکست بهینه برای یک گره درخت تصمیم قرار می‌گیرد. بعضی از مزیت‌ها شامل:عیوب و ‌راه‌حل‌ها.اگرچه کسب اطلاعات معمولا یک معیار خوب برای تصمیم‌گیری در مورد یک ویژگی است، بی‌عیب نیست. یک مشکل قابل ذکر وقتی رخ می‌دهد که کسب اطلاعات به ویژگی‌هایی اعمال شود که می‌تواند مقادیر متمایز زیادی بپذیرند. برای مثال، فرض کنید که کسی می‌خواهد یک درخت تصمیم برای داده‌ای بسازد که توصیف کننده مشتریان یک کسب‌وکار هستند. از کسب اطلاعات اکثرا برای تصمیم‌گیری در مورد آنکه کدام ویژگی مرتبط‌ترین است استفاده می‌شود، از این‌رو از آن‌ها می‌توان در نزدیکی ریشه درخت آزمون گرفت. یکی از ویژگی‌های ورودی می‌تواند شماره عضویت مشتری باشد، اگر آن‌ها اعضای برنامه عضویت یک کسب‌وکار باشند. این ویژگی دارای اطلاعات متقابل زیادی است، زیرا این ویژگی به صورت یکتا هر مشتری را شناسایی می‌کند، اما ما نمی‌خواهیم که آن را در درخت تصمیم شامل کنیم. دلیل آن بیش‌برازش است، یعنی تصمیم‌گیری در مورد چگونگی تعامل با یک مشتری براساس شماره عضویت برای تعمیم آن به مشتریانی که قبلا ندیده‌ایم نامحتمل است. این موضوع وقتیکه نمونه‌هایی که تست می‌شوند دارای ویژگی چندگانه با مقادیر بسیار متمایزاند هم پیش می‌آید. در این حالت، این منجر به آن می‌شود که کسب اطلاعات هر کدام از این ویژگی‌ها بسیار بیشتر از ویژگی‌هایی باشد که مقادیر متمایز زیاد ندارد.برای جلوگیری از این مشکل، آقای پیشنهاد کرده است که در عوض ویژگی با بیشترین از بین ویژگی‌هایی که کسب اطلاعات‌شان برابر میانگین یا بیشتر است، انتخاب شود. این موضوع درخت تصمیم را دربرابر درنظر گرفتن ویژگی‌هایی با مقادیر متمایز بسیار بزرگ متوازن می‌کند، درحالیکه مزیت غیرعادلانه به ویژگی‌هایی نمی‌دهد که مقدار اطلاعات بسیار کم دارند، زیرا مقدار اطلاعات برابر یا بالاتر از کسب اطلاعات است.