یادگیری عمیق توپولوژیکی (TDL)

حوزه‌ای را در تقاطع توپولوژی و یادگیری عمیق نشان می‌دهد و رویکردهایی را برای تجزیه و تحلیل و یادگیری از داده‌های ساختار یافته در فضاهای توپولوژیکی ارائه می‌دهد. با استفاده از اصول توپولوژی، TDL رویکردی برای درک و پردازش داده‌های پشتیبانی شده در فضاهای توپولوژیکی ارائه می‌دهد.

## انگیزه
یادگیری عمیق معمولی اغلب با این فرض عمل می‌کند که داده‌های مورد بررسی در یک فضای برداری خطی قرار دارند و می‌توانند به طور موثر با استفاده از بردارهای ویژگی مشخص شوند. با این حال، به رسمیت شناختن فزاینده‌ای وجود دارد که این دیدگاه مرسوم ممکن است برای توصیف مجموعه داده‌های مختلف دنیای واقعی ناکافی باشد. برای مثال، مولکول‌ها به‌طور مناسب‌تری به‌عنوان نمودار نشان داده می‌شوند تا بردارهای ویژگی. به طور مشابه، اشیاء سه بعدی، مانند آن‌هایی که در گرافیک کامپیوتری و پردازش هندسه با آن مواجه می‌شوند، بهتر به عنوان مش نمایش داده می‌شوند. به‌علاوه، داده‌هایی که از شبکه‌های اجتماعی سرچشمه می‌گیرند، جایی که بازیگران به روش‌های پیچیده‌ای به هم متصل هستند، توصیف‌های ساده مبتنی بر برداری را به چالش می‌کشند. در نتیجه، علاقه به ادغام مفاهیم از توپولوژی در چارچوب‌های یادگیری عمیق سنتی برای به دست آوردن نمایش ساختاری دقیق‌تر از داده‌های اساسی افزایش یافته است.

## مقدمه ای بر حوزه های توپولوژیکی
یکی از مفاهیم اصلی در یادگیری عمیق توپولوژیکی دامنه‌ای است که این داده‌ها بر اساس آن تعریف و پشتیبانی می‌شوند. در مورد داده‌های اقلیدسی، مانند تصاویر، این دامنه یک شبکه است که مقدار پیکسل تصویر بر روی آن پشتیبانی می‌شود. در یک محیط کلی‌تر، این دامنه ممکن است یک دامنه توپولوژیکی باشد. در مرحله بعد، رایج ترین حوزه‌های توپولوژیکی را که در یک محیط یادگیری عمیق با آن‌ها مواجه می‌شوند، معرفی می‌کنیم. این حوزه‌ها شامل گراف‌ها، کمپلکس‌های ساده، کمپلکس‌های سلولی، کمپلکس‌های ترکیبی و هایپرگراف هستند، اما نه محدود به آن‌ها.

در ادامه، ویژگی‌های اصلی، مزایا و معایب برخی از حوزه‌های توپولوژیکی معمولاً مورد مطالعه را در زمینه‌ی یادگیری عمیق، از جمله مجتمع‌های ساده (انتزاعی)، کمپلکس‌های سلولی منظم، هایپرگراف‌ها و مجتمع‌های ترکیبی مرور می‌کنیم.

### مقایسه‌ی بین حوزه‌های توپولوژیکی
هر یک از حوزه‌های توپولوژیکی برشماری ویژگی‌ها، مزایا و محدودیت‌های خاص خود را دارند:

* مجتمع های ساده
** ساده‌ترین شکل دامنه‌های مرتبه بالاتر.
** برنامه‌های افزودنی مدل‌های مبتنی بر نمودار
** ساختارهای سلسله مراتبی را بپذیرید و آن‌ها را برای کاربردهای مختلف مناسب کنید.
** نظریه هاج را می‌توان به طور طبیعی بر روی کمپلکس‌های ساده تعریف کرد.
** نیاز است که روابط زیرمجموعه‌ای از روابط بزرگ‌تر باشند و محدودیت‌هایی را بر ساختار تحمیل کنند.

* مجتمع‌های سلولی
** تعمیم مجتمع‌های ساده
** انعطاف پذیری بیشتری در تعریف روابط مرتبه بالاتر فراهم کنید.
** هر سلول در یک مجموعه‌ی سلولی همومورفیک به یک توپ باز است که از طریق نقشه‌های متصل به یکدیگر متصل شده اند.
** سلول‌های مرزی هر سلول در مجموعه سلولی نیز سلول‌های موجود در مجتمع هستند.
** به صورت ترکیبی از طریق ماتریس‌های بروز نشان داده می‌شود.

* هایپرگراف‌ها
** اجازه دادن به روابط دلخواه از نوع مجموعه بین موجودیت‌ها.
** روابط توسط روابط دیگر تحمیل نمی‌شوند و انعطاف پذیری بیشتری را فراهم می‌کنند.
** بعد سلول‌ها یا روابط را به صراحت رمزگذاری نکنید.
** زمانی مفید است که روابط در داده‌ها به محدودیت‌های اعمال شده توسط مدل‌های دیگر مانند مجتمع‌های ساده و سلولی پایبند نباشد.

* مجتمع‌های ترکیبی:
** شکاف‌های بین کمپلکس‌های ساده، کمپلکس‌های سلولی و هایپرگراف‌ها را تعمیم دهید و پل بزنید.
** ساختارهای سلسله مراتبی و روابط نوع مجموعه را در نظر بگیرید.
** ترکیب ویژگی‌های مجتمع‌های دیگر در حالی که انعطاف پذیری بیشتری در روابط مدل‌سازی فراهم می‌کند.
** می‌تواند به صورت ترکیبی، مشابه کمپلکس‌های سلولی نمایش داده شود.

### ساختار سلسله مراتبی و روابط نوع مجموعه
ویژگی‌های کمپلکس‌های ساده، کمپلکس‌های سلولی و هایپرگراف‌ها دو ویژگی اصلی روابط را در حوزه‌های مرتبه بالاتر ایجاد می‌کنند، یعنی سلسله مراتب روابط و روابط نوع مجموعه.

#### تابع رتبه
یک تابع رتبه در یک دامنه مرتبه بالاتر X یک تابع حفظ مرتبه rk است: X → Z، که در آن rk(x) یک مقدار صحیح غیر منفی را به هر رابطه x در X متصل می کند و گنجاندن مجموعه را در X حفظ می کند. سلول و ساده مجتمع‌ها نمونه‌های رایج حوزه‌های مرتبه بالاتر هستند که به توابع رتبه و در نتیجه سلسله مراتب روابط مجهز هستند.

#### روابط نوع مجموعه
روابط در یک دامنه مرتبه بالاتر روابط نوع مجموعه نامیده می‌شوند اگر وجود یک رابطه توسط رابطه دیگری در دامنه مستلزم نباشد. هایپرگراف‌ها نمونه‌هایی از دامنه‌های مرتبه بالاتر مجهز به روابط نوع مجموعه را تشکیل می‌دهند. با توجه به محدودیت‌های مدل‌سازی مجتمع‌های ساده، مجتمع‌های سلولی و ابرگراف‌ها، ما مجتمع ترکیبی را توسعه می‌دهیم، یک دامنه مرتبه بالاتر که هم سلسله مراتب روابط و هم روابط نوع مجموعه را دارد.

## یادگیری در فضاهای توپولوژیکی
وظایف یادگیری در TDL را می توان به طور کلی به سه دسته طبقه بندی کرد:

* **طبقه بندی سلول:** پیش بینی اهداف برای هر سلول در یک مجتمع. مثال‌ها شامل تقسیم‌بندی مش مثلثی است، که در آن وظیفه پیش‌بینی کلاس هر وجه یا لبه در یک مش مشخص است.
* **طبقه بندی مجتمع:** پیش بینی اهداف برای کل مجموعه. به عنوان مثال، کلاس هر مش ورودی را پیش بینی کنید.
* **پیش‌بینی سلول:** ویژگی‌های برهم‌کنش‌های سلولی را در یک مجتمع پیش‌بینی می‌کند، و در برخی موارد، پیش‌بینی اینکه آیا یک سلول در مجتمع وجود دارد یا خیر. یک مثال، پیش‌بینی پیوند بین موجودات در لبه‌های یک هایپرگراف است.

در عمل برای انجام وظایف فوق الذکر باید مدل های یادگیری عمیق طراحی شده برای فضاهای توپولوژیکی خاص ساخته و اجرا شوند. این مدل‌ها که به عنوان شبکه‌های عصبی توپولوژیکی شناخته می‌شوند، برای عملکرد مؤثر در این فضاها طراحی شده‌اند.

### شبکه های عصبی توپولوژیکی
شبکه‌های عصبی توپولوژیکی (TNN) در مرکز TDL قرار دارند، معماری‌های تخصصی که برای کار بر روی داده‌های ساختار یافته در حوزه‌های توپولوژیکی طراحی شده‌اند. و کمپلکس های سلولی با استفاده از توپولوژی ذاتی داده ها، TNN ها می توانند هم روابط محلی و هم جهانی را به تصویر بکشند و تجزیه و تحلیل و تفسیر دقیق را ممکن می سازند.

#### ارسال پیام از شبکه های عصبی توپولوژیکی
در یک حوزه توپولوژیکی عمومی، ارسال پیام مرتبه بالاتر شامل تبادل پیام بین موجودیت ها و سلول ها با استفاده از مجموعه ای از توابع همسایگی است.

#### شبکه های عصبی توپولوژیکی بدون عبور پیام
در حالی که اکثر TNN ها از پارادایم ارسال پیام پیروی می کنند. چند مدل پیشنهاد شده است که این مدل نمی افتد. به عنوان مثال، در اهرم اطلاعات هندسی از مجتمع های ساده که در فضاهای چند بعدی با استفاده از مختصات گره جاسازی شده اند. این قابلیت تفسیر و سازگاری هندسی را بدون تکیه بر ارسال پیام ارائه می دهد. علاوه بر این، در یک روش متضاد مبتنی بر ضرر برای یادگیری بازنمایی ساده پیشنهاد شد.

## برنامه های کاربردی
TDL به سرعت در حال یافتن برنامه های جدید در زمینه های مختلف از جمله فشرده سازی داده ها، افزایش ظرفیت بیانی شبکه های عصبی گراف، تشخیص عمل و پیش بینی مسیر است.

## منابع

* حاجیج، م. زمزمی، جی. پاپامارکو، تی. میولن، ن. گوزمان-سانز، آ. رامورتی، ک.ن. Schaub، M. T. (2022)، یادگیری عمیق توپولوژیکی: فراتر از داده های نمودار.
* پاپیلون، م. سنبورن، اس. حاجیج، م. Miolane، N. (2023). "معماری یادگیری عمیق توپولوژیکی: بررسی شبکه های عصبی توپولوژیکی".
* ابلی، س. دیفرارد، ام. Spreemann، G. (2020)، شبکه های عصبی ساده.
* باتیلورو، سی. تستا، ال. گیوستی، ال. ساردلیتی، اس. دی لورنزو، پی. بارباروسا، اس. (2023)، شبکه های عصبی توجه ساده تعمیم یافته.
* یانگ، م. ایسوفی، ای. (1392)، یادگیری کانولوشنال بر روی مجتمع های ساده.
* چن، ی. ژل، ی.ر. پور، H. V. (2022)، "BScNets: بلوک کردن شبکه های عصبی پیچیده ساده"، مجموعه مقالات کنفرانس AAAI در زمینه هوش مصنوعی، 36 (6): 6333-6341.
* حاجیج، م. استوان، ک. زمزمی، جی (2020)، شبکه های عصبی پیچیده سلولی.
* ماگز، ک. هکر، سی. Rieck، B. (2023)، یادگیری بازنمایی ساده با فرم‌های $ k $ عصبی.
* رامورتی، ک.ن. گوزمان سانز، آ. Hajij, M. (2023)، Topo-mlp: یک شبکه ساده بدون ارسال پیام، ص 1-5.
* باتیلورو، سی. دی لورنزو، پی. Ribeiro، A. (سپتامبر 2023)، یادگیری فرهنگ لغت پارامتریک برای نمایش سیگنال توپولوژیکی، IEEE، صفحات 1958-1962.

* حاجیج، م. زمزمی، جی. پاپامارکو، تی. میولن، ن. گوزمان-سانز، آ. رامورتی، ک.ن. Schaub، M. T. (2022). "یادگیری عمیق توپولوژیکی: فراتر رفتن از داده های نمودار"arXiv:
* پاپیلون، م. سنبورن، اس. حاجیج، م. Miolane، N. (2023). "معماری یادگیری عمیق توپولوژیکی: بررسی شبکه های عصبی توپولوژیکی" arXiv:
* حاجیج، م. پاپیلون، م. فرانتزن، اف. آگربرگ، جی. الجبعه، من. بالستر، آر. Miolane، N. (2024). "TopoX: مجموعه ای از بسته های پایتون برای یادگیری ماشین در حوزه های توپولوژیکی"arXiv:
رده:یادگیری عمیق
رده:توپولوژی