کاهش ابعاد کیست؟ توضیح بده.
در یادگیری ماشین و آمار کاهش بعد یا کاهش ابعاد به معنی انتقال داده از فضای با بعد بیش تر به فضایی با بعد پایین‌تر به شکل تحت نظر (Supervised) است، به گونه ای که داده در فضای با بعد کمتر بتواند به‌طور معنی داری داده اصلی را نمایندگی کند و ویژگی‌های آن را در خود داشته باشد. کار با داده در ابعاد بالا می‌تواند به دلایل گوناگونی نامطلوب باشد؛ داده در ابعاد بالا به دلیل نفرین ابعاد بسیار تنک باشد و همچنین تحلیل داده در ابعاد بالا از لحاظ محاسباتی بسیار کند و پرهزینه است. کاهش ابعاد در شاخه‌هایی که با تعداد زیادی مشاهده و/یا تعداد زیادی ویژگی سروکار دارند مانند پردازش سیگنال یا بینایی ماشین به کار می‌رود. کاهش ابعاد را می‌توان به انتخاب ویژگی و استخراج ویژگی تقسیم کرد.انتخاب ویژگی.هدف نهایی انتخاب ویژگی این است که زیر مجموعه ای از ویژگی‌ها در فضای اصلی را انتخاب کند که حاوی بیش‌ترین اطلاعات موجود در داده‌های اصلی باشند؛ سپس این ویژگی‌ها را به عنوان ویژگی در بعد کاهش یافته معرفی کند. سه روش کلی انتخاب ویژگی شامل پالایش (برای مثال کسب اطلاعات)، روش پوشه (برای مثال جست و جو بر اساس دقت) و روش جاسازی شده (حذف یا افزودن ویژگی‌ها بر اساس خطای تخمین) هستند.برخی از وظایف معمول تحلیل داده مانند خوشه بندی و رگرسیون در فضای کاهش یافته به این روش بهتر و دقیق تر عمل می‌کنند.استخراج ویژگی.استخراج ویژگی داده‌ها را در فضای با ابعاد بزرگ به یک فضای ابعاد کمتر تبدیل می‌کند. تبدیل داده‌ها می‌تواند به شکل خطی باشد، (مانند روش تحلیل مولفه اصلی) اما همچنین بسیاری از تکنیک‌های کاهش ابعاد غیر خطی نیز وجود دارد. روش‌های غیر خطی معمولاً ساده‌تر و سریع ترند اما به خصوص برای داده‌های پیچیده روش‌های غیر خطی دقت بیش تری دارند.برای داده‌های چند بعدی، نماینده تانسور را می‌توان در کاهش ابعاد از طریق یادگیری زیر فضای چندخطی استفاده کرد.تجزیه تحلیل مولفه اصلی (PCA)."مقاله اصلی: تحلیل مولفه‌های اصلی"این روش اصلی‌ترین روش خطی برای کاهش ابعاد است؛ این روش نگاشت خطی داده‌ها را به یک فضا با بعد پایین‌تر انجام می‌دهد، به طوری که میزان توضیح واریانس داده اصلی در داده منتقل شده (به ابعاد کمتر) بیشینه باشد. در عمل، ماتریس واریانس (و بعضی اوقات کوواریانس) داده‌ها ساخته می‌شود و بردار ویژه این ماتریس محاسبه می‌شود. بردارویژه‌هایی که متناظر با بزرگ‌ترین مقادیر ویژه‌ها هستند، بیش‌ترین میزان اطلاعات از داده‌های اصلی را در خود دارند و اکنون می‌توانند برای بازسازی بخش بزرگی از واریانس داده‌های اصلی استفاده شوند. به صورت تخمینی، چندین بردار اول را می‌توان نماینده رفتار کلان داده تفسیر کرد. داده در ابعاد کمتر با استفاده از این بردارهای اصلی همراه با از دست دادن بخشی از اطلاعات (با این امید که توضیح دهندگی واریانس را تا حد خوبی حفظ کند) ساخته می‌شود.هسته PCA.تحلیل مؤلفه اصلی می‌تواند با استفاده از روش هسته به شکل غیر خطی عمل کند. تکنیک حاصل قادر به ساخت نگاشت‌های غیر خطی است که میزان توضیح واریانس را در داده‌های در فضای کوچکتر به حداکثر می‌رساند. در کل این روش از روشی مشابه با PCA استفاده می‌کند، با این تفاوت که به جای استفاده از نگاشت خطی از داده در ابعاد پایین به داده در ابعاد اصلی با استفاده از از نگاشت غیر خطی استفاده می‌کند.هسته مبتنی بر گرافیک PCA.دیگر تکنیک‌های غیر خطی برجسته شامل تکنیک‌های یادگیری منیوفولد، تکنیک‌هایی مانند Isomap، جابجایی خطی محلی (LLE)، خصوصیات لاپلاس و هماهنگی فضایی مماس محلی (LTSA) می‌باشد.این تکنیک‌ها با استفاده از یک تابع هزینه ای که سعی دارد تا خواص محلی را حفظ کند، نماینده ای برای داده اصلی در ابعاد پایین‌تر ایجاد می‌کنند و می‌توانند به عنوان تعریف یک هسته مبتنی بر گراف برای PCA هسته مورد استفاده قرار گیرند.تفکیک کننده خطی (LDA).تفکیک کننده خطی (LDA) یک شاخه از روش جدایی خطی فیشر است. این روش در آمار، تشخیص الگو و یادگیری ماشین برای یافتن ترکیب خطی از ویژگی‌هایی که دو یا چند خوشه یا رویداد را جدا کند استفاده می‌شود.خودرمزگذار.خودرمزگذارها می‌توانند به‌منظور یادگیری توابع غیرخطی کاهش ابعاد مورد استفاده واقع شوند. آن‌ها همچنین امکان اجرای تابع معکوس به منظور برگرداندن داده به ابعاد اصلی را دارند.خود رمزنگارها دارای تعداد زیادی ابرپارامتر هستند که می‌توان برای رسیدن به دقت بهتر یا پردازش سریع تر در کاهش ابعاد از آن‌ها استفاده کرد.نهان کردن همسایه تصادفی با توزیع تی (t-SNE).این روش بیشتر برای مصورسازی دادگان در ابعاد زیاد استفاده می‌شود و از آن جا که ویژگی‌های موجود در داده مانند فاصله بین داده‌ها را خوب حفظ نمی‌کند استفاده از آن برای دیگر عملیات‌ها مانند خوشه‌بندی توصیه نمی‌شود.افکنش و تخمین یکنواخت منیفولد (UMAP).این روش در کل مشابه با روش t-SNE است اما از یک سری فروض اضافه برای تقریب بهتر داده اصلی استفاده می‌کند.کاربردها.برای مجموعه داده‌های با ابعاد بزرگ (یا به عنوان مثال با تعداد ابعاد بیش از ۱۰) کاهش ابعاد معمولاً قبل از اعمال الگوریتم نزدیکترین همسایگان (k-NN) به منظور جلوگیری از مشقت چند بعدی انجام می‌شود.تکنیک کاهش ابعادی که گاهی در علوم اعصاب استفاده می‌شود، ابعاد با حداکثر اطلاعات است که یک نماینده در ابعاد پایین‌تر از یک مجموعه داده را نشان می‌دهد به شکلی که حداکثر ممکن اطلاعات داده اصلی حفظ شوند.