نظریه M (چارچوب یادگیری)

در یادگیری ماشین و بینایی رایانه‌ای، نظریهٔ M (M-theory) یک چارچوب یادگیری است که از پردازش پیش‌خور در مسیر شکمی قشر بینایی الهام گرفته شده و در ابتدا برای بازشناسی و دسته‌بندی اشیاء در صحنه‌های دیداری توسعه یافت. نظریهٔ M بعدها در حوزه‌های دیگری مانند بازشناسی گفتار نیز به کار گرفته شد. در برخی وظایف بازشناسی تصویر، الگوریتم‌هایی که بر پایهٔ پیاده‌سازی مشخصی از نظریهٔ M به نام HMAX بنا شده‌اند، به عملکردی در سطح انسان دست یافته‌اند.

اصل بنیادی نظریهٔ M، استخراج بازنمایی‌هایی است که نسبت به انواع گوناگون تبدیل‌های تصویری (مانند جابه‌جایی، تغییر مقیاس، چرخش دوبعدی و سه‌بعدی و سایر تبدیل‌ها) ناوردا هستند. برخلاف رویکردهای دیگر که از بازنمایی‌های ناوردا استفاده می‌کنند، در نظریهٔ M این ناوردایی‌ها به‌صورت صریح در الگوریتم‌ها کدنویسی نمی‌شوند، بلکه از طریق یادگیری به دست می‌آیند. نظریهٔ M همچنین در برخی اصول با نمونه‌برداری فشرده (Compressed Sensing) اشتراک دارد. این نظریه یک معماری یادگیری سلسله‌مراتبی چندلایه را پیشنهاد می‌کند که مشابه ساختار قشر بینایی انسان است.

## شهود

### بازنمایی‌های ناوردا
یکی از چالش‌های اصلی در وظایف بازشناسی دیداری این است که یک شیء واحد می‌تواند در شرایط بسیار متفاوتی مشاهده شود؛ از فاصله‌های گوناگون، با زاویه‌های دید مختلف، تحت شرایط نوری متفاوت، به‌صورت partially پوشیده‌شده و غیره. افزون بر این، برای برخی رده‌های خاص از اشیاء، مانند چهره‌ها، تبدیل‌های بسیار پیچیده‌تری نیز اهمیت دارند؛ برای نمونه، تغییر حالت‌های چهره. در فرایند یادگیری بازشناسی تصاویر، حذف یا تفکیک این تغییرات بسیار سودمند است، زیرا منجر به ساده‌تر شدن مسئلهٔ دسته‌بندی و در نتیجه کاهش چشمگیر پیچیدگی نمونه‌ای مدل می‌شود.

یک آزمایش محاسباتی ساده این ایده را نشان می‌دهد. دو نمونه از یک دسته‌بند برای تمایز میان تصاویر هواپیما و خودرو آموزش داده شدند. برای آموزش و آزمون نمونهٔ اول، تصاویری با زاویه‌های دید دلخواه مورد استفاده قرار گرفت. در مقابل، نمونهٔ دوم تنها تصاویری را دریافت کرد که از یک زاویهٔ دید مشخص مشاهده شده بودند که معادل آموزش و آزمون سامانه بر پایهٔ یک بازنمایی ناوردا از تصاویر است. نتایج نشان داد که دسته‌بند دوم حتی پس از دریافت تنها یک نمونه از هر رده، عملکرد بسیار خوبی داشت، در حالی که عملکرد دسته‌بند اول حتی پس از مشاهدهٔ ۲۰ نمونه نیز نزدیک به حدس تصادفی باقی ماند.

بازنمایی‌های ناوردا در چندین معماری یادگیری، مانند نئوکگنترون‌ها (Neocognitrons)، به کار گرفته شده‌اند. با این حال، بیشتر این معماری‌ها ناوردایی را از طریق ویژگی‌های از پیش طراحی‌شده یا خصوصیات ذاتی خود معماری فراهم می‌کنند. اگرچه این رویکرد برای در نظر گرفتن برخی انواع تبدیل‌ها، مانند جابه‌جایی، مفید است، اما سازگار شدن با انواع دیگر تبدیل‌ها، مانند چرخش سه‌بعدی و تغییر حالت‌های چهره، بسیار غیرساده است. نظریهٔ M چارچوبی را ارائه می‌دهد که نشان می‌دهد چگونه چنین تبدیل‌هایی می‌توانند از طریق یادگیری به دست آیند. افزون بر انعطاف‌پذیری بیشتر، این نظریه همچنین دیدگاهی ارائه می‌کند دربارهٔ این‌که مغز انسان چگونه ممکن است توانایی‌های مشابهی داشته باشد.

### الگوها
یکی دیگر از ایده‌های بنیادی نظریهٔ M از نظر مفهومی به ایده‌هایی در حوزهٔ نمونه‌برداری فشرده نزدیک است. یکی از نتایج حاصل از لم جانسون–لیندن‌اشتراوس بیان می‌کند که تعداد معینی از تصاویر را می‌توان با استفاده از فرافکنی‌های تصادفی در یک فضای ویژگی کم‌بعدیاند، به‌گونه‌ای که فاصله‌های میان تصاویر حفظ شوند. این نتیجه نشان می‌دهد که ضرب داخلی میان تصویر مشاهده‌شده و تصویری دیگر که در حافظه ذخیره شده و «الگو» (Template) نامیده می‌شود، می‌تواند به‌عنوان یک ویژگی برای تمایز آن تصویر از سایر تصاویر مورد استفاده قرار گیرد. این الگو لزوماً نباید به‌طور خاص با تصویر مرتبط باشد و حتی می‌تواند به‌صورت تصادفی انتخاب شود.

### ترکیب الگوها و بازنمایی‌های ناوردا
دو ایده‌ای که در بخش‌های قبلی مطرح شد را می‌توان برای ایجاد چارچوبی برای یادگیری بازنمایی‌های نامتغیر در کنار هم قرار داد. نکته کلیدی این است که چگونه ضرب نقطه‌ای بین تصاویر I و یک الگو t وقتی تصویر تبدیل می‌شود (با تبدیل‌هایی مانند انتقال، چرخش، مقیاس و غیره) رفتار می‌کند. اگر تبدیل g عضوی از یک گروه واحد از تبدیلات باشد، آنگاه رابطه زیر برقرار است.

\langle gI,t \rangle = \langle I,g^{-1}t \rangle  \qquad  (1) 

به بیان دیگر، ضرب داخلی تصویرِ تبدیل‌یافته با یک الگو برابر است با ضرب داخلی تصویر اصلی با الگویِ تبدیل‌یافتهٔ معکوس. برای مثال، اگر تصویر به اندازهٔ ۹۰ درجه چرخانده شود، الگویِ تبدیل‌یافتهٔ معکوس به اندازهٔ ۹۰− درجه چرخانده خواهد شد.

مجموعه حاصلضرب‌های نقطه‌ای یک تصویر را در نظر بگیرید. I به تمام تبدیل‌های ممکن الگو: \lbrace \langle I,g^\prime t\rangle \mid g^\prime \in G \rbrace اگر کسی یک تبدیل اعمال کند g به I ، مجموعه تبدیل می‌شود به \lbrace \langle gI,g^\prime t\rangle \mid g^\prime \in G\rbrace اما به دلیل خاصیت (1)، این برابر است با \lbrace \langle I,g^{-1}g^\prime t\rangle \mid g^\prime \in G\rbrace مجموعه \lbrace g^{-1}g^\prime \mid g^\prime \in G \rbrace برابر است با مجموعه تمام عناصر موجود در G برای دیدن این، توجه داشته باشید که هر g^{-1}g^\prime در است G به دلیل خاصیت بسته بودن گروه‌ها ، و برای هر g^{\prime\prime} در G نمونه اولیه آن وجود دارد g^\prime مانند g^{\prime\prime} = g^{-1}g^\prime (یعنی، g^\prime = gg^{\prime\prime} ). بنابراین، \lbrace \langle I,g^{-1}g^\prime t\rangle \mid g^\prime \in G\rbrace = \lbrace\langle I,g^{\prime\prime}t\rangle \mid g^{\prime\prime} \in G \rbrace می‌توان دید که مجموعه حاصلضرب‌های نقطه‌ای، علی‌رغم اعمال تبدیل روی تصویر، ثابت باقی می‌ماند! این مجموعه به خودی خود می‌تواند به عنوان یک نمایش (بسیار دست و پا گیر) ثابت از یک تصویر عمل کند. نمایش‌های کاربردی‌تری را می‌توان از آن استخراج کرد.

در بخش مقدمه بیان شد که نظریهٔ M امکان یادگیری بازنمایی‌های ناوردا را فراهم می‌کند. این امر از آن‌روست که الگوها و نسخه‌های تبدیل‌یافتهٔ آن‌ها می‌توانند از طریق تجربهٔ دیداری آموخته شوند؛ یعنی با قرار دادن سامانه در معرض دنباله‌هایی از تبدیل‌های اشیاء. به نظر می‌رسد تجربه‌های دیداری مشابهی در دوره‌های آغازین زندگی انسان نیز رخ می‌دهد؛ برای مثال، زمانی که نوزادان اسباب‌بازی‌ها را در دستان خود می‌چرخانند.

از آن‌جا که الگوها ممکن است کاملاً نامرتبط با تصاویری باشند که سامانه در مراحل بعدی تلاش می‌کند آن‌ها را دسته‌بندی کند، خاطرات این تجربه‌های دیداری می‌توانند به‌عنوان مبنایی برای بازشناسی انواع گوناگون اشیاء در مراحل بعدی زندگی عمل کنند. با این حال، همان‌گونه که در ادامه نشان داده می‌شود، برای برخی انواع تبدیل‌ها به الگوهای خاص و اختصاصی نیاز است.

## جنبه‌های نظری

### از مدارها به سنجه‌های توزیعی
برای پیاده‌سازی ایده‌هایی که در بخش‌های پیشین توصیف شدند، لازم است مشخص شود چگونه می‌توان یک بازنمایی ناوردای محاسباتی کارآمد از یک تصویر استخراج کرد. چنین بازنمایی یکتایی برای هر تصویر را می‌توان به‌صورت مجموعه‌ای از توزیع‌های احتمالی یک‌بعدی توصیف کرد؛ یعنی توزیع‌های تجربیِ ضرب‌های داخلی میان تصویر و مجموعه‌ای از الگوهایی که طی فرایند یادگیری بدون نظارت ذخیره شده‌اند.

این توزیع‌های احتمالی نیز به نوبهٔ خود می‌توانند یا به‌وسیلهٔ هیستوگرام‌ها یا از طریق مجموعه‌ای از گشتاورهای آماری آن‌ها توصیف شوند؛ همان‌گونه که در ادامه نشان داده خواهد شد.

مدار O_I مجموعه‌ای از تصاویر است gI تولید شده از یک تصویر واحد I تحت تاثیر اقدامات گروه G, \forall g \in G .

به عبارت دیگر، تصاویر یک جسم و تبدیل‌های آن با یک مدار متناظر هستند. O_I اگر دو مدار یک نقطه مشترک داشته باشند، در همه جا یکسان هستند،  یعنی یک مدار، نمایش ثابت و منحصر به فردی از یک تصویر است. بنابراین، دو تصویر زمانی معادل نامیده می‌شوند که به یک مدار تعلق داشته باشند: I \sim I^\prime اگر \exists g \in G به طوری که I^\prime = gI برعکس، دو مدار متفاوت هستند اگر هیچ یک از تصاویر در یک مدار با هیچ تصویری در مدار دیگر منطبق نباشند. 

یک سوال طبیعی مطرح می‌شود: چگونه می‌توان دو مدار را با هم مقایسه کرد؟ چندین رویکرد ممکن وجود دارد. یکی از آنها از این واقعیت استفاده می‌کند که به طور شهودی دو مدار تجربی صرف نظر از ترتیب نقاطشان، یکسان هستند. بنابراین، می‌توان یک توزیع احتمال را در نظر گرفت P_I ناشی از اقدام گروه بر روی تصاویر I ( gI می‌تواند به عنوان تحقق یک متغیر تصادفی در نظر گرفته شود).

این توزیع احتمال P_I تقریباً به طور منحصر به فردی می‌تواند با این موارد مشخص شود K توزیع‌های احتمال یک بعدی P_{\langle I ,t^k \rangle} ناشی از نتایج (یک بعدی) پیش‌بینی‌ها \langle I,t^k\rangle ، کجا t^k, k = 1,\ldots,K مجموعه‌ای از الگوها (تصاویر تصادفی انتخاب شده) هستند.

در نظر بگیرید n تصاویر X_n \in X بگذارید K \geq \frac{2}{c\varepsilon^2} \log \frac{n}{\delta} ، کجا c یک ثابت جهانی است. سپس

|d(P_I,P_I^\prime)-dK(P_I,P_I^\prime)| \leq \varepsilon,

با احتمال 1 - \delta^2 ، برای همه I, I^\prime\in X_n .

این نتیجه (به طور غیررسمی) می‌گوید که یک نمایش تقریباً ثابت و منحصر به فرد از یک تصویر I را می‌توان از تخمین‌های K توزیع‌های احتمال تک‌بعدی P_{\langle I,t^k \rangle} برای k = 1,\ldots,K شماره K از پیش‌بینی‌های مورد نیاز برای تبعیض n مدارهای القا شده توسط n تصاویر، تا دقت \varepsilon (و با اطمینان 1 - \delta^2 ) است K \geq \frac{2}{c\varepsilon^2} \log \frac{n}{\delta} ، کجا c یک ثابت جهانی است.

برای طبقه‌بندی یک تصویر، می‌توان از «دستورالعمل» زیر استفاده کرد:

# مجموعه‌ای از تصاویر یا اشیاء به‌عنوان الگوها ذخیره می‌شود؛
# تبدیل‌های مشاهده‌شده برای هر الگو ثبت می‌گردد؛
# ضرب داخلی بین تبدیل‌های هر الگو و تصویر مورد نظر محاسبه می‌شود؛
# هیستوگرام مقادیر حاصل، که امضای تصویر نامیده می‌شود، ساخته می‌شود؛
# هیستوگرام به‌دست‌آمده با امضاهای ذخیره‌شده در حافظه مقایسه می‌شود.

تخمین چنین توابع چگالی احتمال یک بعدی P_{\langle I ,t^k \rangle} را می‌توان بر حسب هیستوگرام به صورت زیر نوشت \mu^k_n(I) = 1/\left|G\right| \sum_{i=1}^{\left|G\right|} \eta_n(\langle I, g_i t^k \rangle)  ، کجا \eta_n, n = 1, \ldots, N  مجموعه‌ای از توابع غیرخطی است. این توزیع‌های احتمال یک بعدی را می‌توان با هیستوگرام‌های N-bin یا مجموعه‌ای از گشتاورهای آماری مشخص کرد. به عنوان مثال، HMAX معماری‌ای را نشان می‌دهد که در آن ادغام با یک عملیات حداکثر انجام می‌شود.

### گروه‌های تبدیل نامحدود
در «روش عملی» طبقه‌بندی تصاویر، گروه‌های تبدیل با تعداد محدودی از تبدیل‌ها تقریب زده می‌شوند. چنین تقریب فقط زمانی امکان‌پذیر است که گروه مورد نظر محدود (compact) باشد.

گروه‌هایی مانند تمام جابه‌جایی‌ها و تمام تغییر مقیاس‌های تصویر نامحدود هستند، زیرا امکان اعمال تبدیل‌های دلخواه بزرگ را فراهم می‌کنند. با این حال، این گروه‌ها موضعاً محدود (locally compact) هستند. برای گروه‌های موضعاً محدود، ناوردایی تنها در یک محدودهٔ معین از تبدیل‌ها قابل دستیابی است.

فرض کنید که G_0 زیرمجموعه‌ای از تبدیلات از است G که الگوهای تبدیل‌شده برای آنها در حافظه وجود دارد. برای یک تصویر I و الگو t_k ، فرض کنید که \langle I,g^{-1}t_k\rangle همه جا برابر با صفر است به جز زیرمجموعه‌ای از G_0 این زیرمجموعه، پشتیبانی از نامیده می‌شود. \langle I,g^{-1}t_k\rangle و به صورت زیر نشان داده می‌شود \operatorname{supp}(\langle I, g^{-1}t_k\rangle) می‌توان ثابت کرد که اگر برای یک تبدیل g^\prime ، مجموعه پشتیبانی نیز در داخل قرار خواهد گرفت g^\prime G_0 ، سپس امضای I نسبت به g^\prime  این قضیه محدوده تبدیلاتی را تعیین می‌کند که برای آنها تضمین می‌شود که تغییرناپذیری برقرار باشد.

می‌توان دید که کوچکتر است \operatorname{supp}(\langle I, g^{-1}t_k\rangle) ، هر چه دامنه تبدیلاتی که برای آنها تضمین می‌شود که تغییرناپذیری برقرار باشد، بزرگتر باشد. این بدان معناست که برای گروهی که فقط به صورت محلی فشرده است، همه قالب‌ها دیگر به یک اندازه خوب کار نمی‌کنند. قالب‌های ترجیحی، قالب‌هایی با دامنه نسبتاً کوچک هستند. \operatorname{supp}(\langle gI, t_k\rangle) برای یک تصویر عمومی. این ویژگی محلی‌سازی نامیده می‌شود: قالب‌ها فقط به تصاویری که در محدوده کوچکی از تبدیل‌ها قرار دارند حساس هستند. اگرچه به حداقل رساندن \operatorname{supp}(\langle gI, t_k\rangle) برای کار سیستم کاملاً ضروری نیست، اما تقریب تغییرناپذیری را بهبود می‌بخشد. نیاز به محلی‌سازی همزمان برای انتقال و مقیاس، نوع بسیار خاصی از الگوها را ایجاد می‌کند: توابع گابور . 

مطلوبیت استفاده از الگوهای سفارشی برای گروه‌های غیرفشرده، با اصل یادگیری بازنمایی‌های ناوردا در تضاد است. با این حال، برای برخی انواع دگرگونی‌های تصویری که به‌طور منظم با آن‌ها مواجه می‌شویم، ممکن است الگوها نتیجه سازگاری‌های تکاملی باشند. داده‌های عصب‌زیست‌شناختی نشان می‌دهند که در لایه نخست قشر بینایی، نوعی تنظیم‌شوندگی گابورمانند وجود دارد. بهینگی الگوهای گابور برای انتقال‌ها و مقیاس‌ها، توضیحی محتمل برای این پدیده است.

### دگرگونی‌های غیرگروهی
دگرگونی‌های جالب‌توجه بسیاری از تصاویر، تشکیل گروه نمی‌دهند. برای مثال، دگرگونی‌های تصویری مرتبط با چرخش سه‌بعدی شیء سه‌بعدی متناظر، یک گروه تشکیل نمی‌دهند؛ زیرا تعریف یک تبدیل وارون غیرممکن است (دو شیء ممکن است از یک زاویه یکسان به نظر برسند، اما از زاویه‌ای دیگر متفاوت باشند). با این حال، حتی برای دگرگونی‌های غیرگروهی نیز دستیابی به ناوردایی تقریبی امکان‌پذیر است، به شرطی که شرط مکانی‌بودن برای الگوها برقرار باشد و دگرگونی بتواند به‌صورت محلی خطی‌سازی شود.

همان‌طور که در بخش پیشین اشاره شد، در حالت خاص انتقال‌ها و تغییر مقیاس، شرط مکانی‌بودن را می‌توان با استفاده از الگوهای عمومی گابور برآورده کرد. با این حال، در حالت کلی دگرگونی‌های غیرگروهی، شرط مکانی‌بودن تنها برای دسته‌ای خاص از اشیا قابل برآورده شدن است.به بیان دقیق‌تر، برای برقراری این شرط، الگوها باید شبیه به اشیایی باشند که قصد تشخیص آن‌ها وجود دارد. برای مثال، اگر بخواهیم سیستمی برای تشخیص چهره‌های چرخیده در فضای سه‌بعدی بسازیم، باید از دیگر چهره‌های چرخیده سه‌بعدی به عنوان الگو استفاده کنیم. این امر ممکن است وجود واحدهای تخصص‌یافته‌ای در مغز، مانند بخش مسئول تشخیص چهره، را توضیح دهد.

حتی با وجود الگوهای سفارشی، برای تحقق مکانی‌بودن، نیاز به یک کُدگذاری نویزه‌مانند از تصاویر و الگوها است. این امر به طور طبیعی قابل دستیابی است اگر دگرگونی غیرگروهی در هر لایه‌ای به غیر از لایه اول در معماری سلسله‌مراتبی تشخیص، پردازش شود.

### ساختارهای سلسله‌مراتبی
نخست آنکه، ساختارهای سلسله‌مراتبی به بهترین شکل، هدف «تجزیه و تحلیل» یک صحنه بصری پیچیده با اشیای متعدد که خود از اجزای فراوانی تشکیل شده‌اند و موقعیت نسبی آن‌ها ممکن است به میزان زیادی متفاوت باشد را محقق می‌سازند. در این حالت، عناصر مختلف سیستم باید به اشیا و اجزای گوناگون واکنش نشان دهند. در ساختارهای سلسله‌مراتبی، بازنمایی‌های اجزا در سطوح مختلف سلسله‌مراتب تعبیه، می‌توانند در لایه‌های گوناگونی از سلسله‌مراتب ذخیره شوند.

دوم آنکه، ساختارهای سلسله‌مراتبی که دارای بازنمایی‌های ناوردا برای اجزای اشیا هستند، می‌توانند یادگیری مفاهیم ترکیبی پیچیده را تسهیل کنند. این تسهیل ممکن است از طریق استفاده مجدد از بازنمایی‌های یادگرفته‌شده اجزایی که پیش از این در فرآیند یادگیری مفاهیم دیگر ساخته شده‌اند، رخ دهد. در نتیجه، پیچیدگی نمونه‌ای مورد نیاز برای یادگیری مفاهیم ترکیبی ممکن است به میزان چشمگیری کاهش یابد.

سوم و در نهایت، ساختارهای سلسله‌مراتبی تحمل بهتری در برابر درهم‌ریختگی محیط دارند. مسئله درهم‌ریختگی زمانی پدید می‌آید که شیء هدف در مقابل یک پس‌زمینه ناهمگن قرار گرفته باشد که به عنوان یک عامل حواس‌پرتی برای انجام وظیفه بینایی عمل می‌کند. معماری سلسله‌مراتبی، امضاهای تشخیصی را برای اجزای اشیای هدف فراهم می‌کند که بخش‌هایی از پس‌زمینه را شامل نمی‌شوند و تحت تأثیر تغییرات پس‌زمینه قرار نمی‌گیرند.

در معماری‌های سلسله مراتبی، یک لایه لزوماً نسبت به تمام تبدیل‌هایی که توسط سلسله مراتب به عنوان یک کل انجام می‌شوند، ثابت نیست. برخی از تبدیل‌ها ممکن است از طریق آن لایه به لایه‌های بالایی منتقل شوند، مانند مورد تبدیل‌های غیر گروهی که در بخش قبلی توضیح داده شد. برای سایر تبدیل‌ها، یک عنصر از لایه ممکن است نمایش‌های ثابتی را فقط در محدوده کوچکی از تبدیل‌ها تولید کند. به عنوان مثال، عناصر لایه‌های پایین‌تر در سلسله مراتب میدان بصری کوچکی دارند و بنابراین فقط می‌توانند محدوده کوچکی از تبدیل را انجام دهند. برای چنین تبدیل‌هایی، لایه باید امضاهای *کوواریانت* به جای ثابت ارائه دهد. ویژگی کوواریانس را می‌توان به صورت زیر نوشت: \operatorname{distr}(\langle \mu_l(gI),\mu_l(t)\rangle) = \operatorname{distr}(\langle \mu_l(I),\mu_l(g^{-1}t)\rangle) ، کجا l یک لایه است، \mu_l(I) امضای تصویر روی آن لایه است، و \operatorname{distr} مخفف "توزیع مقادیر عبارت برای همه" است. g \in G «. (یا: "باورم نمی‌شود که آدم‌ها اشتباه می‌کنند.")

## رابطه با زیست‌شناسی
نظریه M مبتنی بر یک نظریه کمی از جریان شکمی قشر بینایی است. درک چگونگی عملکرد قشر بینایی در تشخیص اشیا هنوز یک کار چالش برانگیز برای علوم اعصاب است. انسان‌ها و نخستی‌سانان قادرند اشیا را پس از دیدن تنها چند مثال به خاطر بسپارند و تشخیص دهند، برخلاف سیستم‌های بینایی ماشین پیشرفته که معمولاً برای تشخیص اشیا به داده‌های زیادی نیاز دارند. پیش از این، استفاده از علوم اعصاب بصری در بینایی کامپیوتر به بینایی اولیه برای استخراج الگوریتم‌های استریو (مثلاً  ) و توجیه استفاده از فیلترهای DoG (مشتق گاوسی) و اخیراً فیلترهای گابور محدود شده بود.   هیچ توجه واقعی به ویژگی‌های بیولوژیکی محتمل با پیچیدگی بالاتر نشده است. در حالی که بینایی کامپیوتر جریان اصلی همیشه از بینایی انسان الهام گرفته و به چالش کشیده شده است، به نظر می‌رسد که هرگز از مراحل اولیه پردازش در سلول‌های ساده در V1 و V2 فراتر نرفته است. اگرچه برخی از سیستم‌های الهام‌گرفته از علوم اعصاب - تا درجات مختلف - حداقل بر روی برخی از تصاویر طبیعی آزمایش شده‌اند، اما مدل‌های نوروبیولوژیکی تشخیص اشیا در قشر مغز هنوز برای کار با پایگاه‌های داده تصاویر دنیای واقعی گسترش نیافته‌اند. 

چارچوب یادگیری نظریه M، یک فرضیه جدید در مورد عملکرد محاسباتی اصلی مسیر شکمی مطرح می‌کند: بازنمایی اشیا/تصاویر جدید بر اساس یک امضا، که نسبت به دگرگونی‌هایی که در طول تجربه بینایی آموخته‌شده‌اند، ناوردا است. این امر، تشخیص اشیا را حتی از روی تعداد بسیار معدودی نمونه برچسب‌دار — در حالت حدی، تنها یک نمونه — ممکن می‌سازد.

علوم اعصاب نشان می‌دهد که تابع‌های طبیعی برای محاسبه توسط یک نورون، یک ضرب نقطه‌ای با ابعاد بالا بین یک "قطعه تصویر" و یک قطعه تصویر دیگر (به نام الگو) است که بر حسب وزن‌های سیناپسی (سیناپس‌ها در هر نورون) ذخیره می‌شود. مدل محاسباتی استاندارد یک نورون بر اساس ضرب نقطه‌ای و یک آستانه است. یکی دیگر از ویژگی‌های مهم قشر بینایی این است که از سلول‌های ساده و پیچیده تشکیل شده است. این ایده در ابتدا توسط هوبل و ویزل مطرح شد.  نظریه M از این ایده استفاده می‌کند. سلول‌های ساده ضرب‌های نقطه‌ای یک تصویر و تبدیل‌های الگوها را محاسبه می‌کنند. \langle I,g_it^k\rangle برای i = 1,\ldots,|G| ( |G| تعدادی سلول ساده است). سلول‌های پیچیده مسئول جمع‌آوری و محاسبه هیستوگرام‌های تجربی یا گشتاورهای آماری آن هستند. فرمول زیر برای ساخت هیستوگرام می‌تواند توسط نورون‌ها محاسبه شود:

\frac{1}\sum_{i=1}^\sigma(\langle I,g_it^k\rangle+n\Delta),

کجا \sigma یک نسخه هموار از تابع پله است، \Delta عرض یک بازه هیستوگرام است، و n شماره سطل زباله است.

## کاربردها

### کاربردهای بینایی کامپیوتر
در نویسندگان نظریه M را برای تشخیص چهره بدون محدودیت در عکس‌های طبیعی به کار بردند. برخلاف روش DAR (تشخیص، ترازبندی و تشخیص) که با تشخیص اشیاء و برش دقیق اطراف آنها به طوری که پس‌زمینه بسیار کمی باقی بماند، بهم‌ریختگی را مدیریت می‌کند، این رویکرد به جای تشخیص و ترازبندی یا برش صریح چهره‌ها در زمان آزمایش، به طور ضمنی با ذخیره تبدیلات تصاویر آموزشی (قالب‌ها) تشخیص و ترازبندی را انجام می‌دهد. این سیستم بر اساس اصول نظریه اخیر تغییرناپذیری در شبکه‌های سلسله مراتبی ساخته شده است و می‌تواند از مشکل درهم‌ریختگی که عموماً برای سیستم‌های پیش‌خور مشکل‌ساز است، جلوگیری کند. سیستم سرتاسری حاصل، در این کار سرتاسری، پیشرفت چشمگیری در وضعیت فعلی به دست می‌آورد و به همان سطح عملکرد بهترین سیستم‌هایی که روی تصاویر ترازبندی شده و برش دقیق (بدون داده‌های آموزشی خارجی) کار می‌کنند، می‌رسد. همچنین روی دو مجموعه داده جدیدتر، مشابه LFW، اما دشوارتر، عملکرد خوبی دارد: نسخه‌ای با ناهم‌ترازی (ناهم‌ترازی) قابل توجه از LFW و SUFR-W (برای مثال، دقت مدل در دسته «هم‌ترازی نشده و بدون استفاده از داده‌های خارجی» در LFW، ۸۷.۵۵±۱.۴۱٪ است در حالی که APEM (تطبیق الاستیک احتمالی تطبیقی) پیشرفته، ۸۱.۷۰±۱.۷۸٪ است.

این نظریه همچنین بر طیفی از وظایف تشخیصی اعمال شده است: از تشخیص تک‌شیء ناوردا در محیط‌های درهم‌ریخته تا مسائل طبقه‌بندی چندکلاسه بر روی مجموعه‌داده‌های در دسترس عموم (CalTech5، CalTech101، MIT-CBCL) و وظایف درک صحنه‌های پیچیده (خیابانی) که نیازمند تشخیص اشیاء هم بر اساس شکل و هم بر اساس بافت است (روی مجموعه‌داده StreetScenes).

این رویکرد عملکرد بسیار خوبی دارد: قابلیت یادگیری تنها از روی تعداد معدودی نمونه آموزشی را داراست و نشان داده شده که از چندین سیستم پیچیده‌تر پیشرفته (مانند مدل‌های صورت‌فلکی و سیستم تشخیص چهره مبتنی بر SVM سلسله‌مراتبی) بهتر عمل می‌کند.

یک عنصر کلیدی در این رویکرد، مجموعه‌ای جدید از آشکارسازهای ویژگی است که نسبت به تغییر مقیاس و موقعیت بردباری دارند، از نظر زیستی محتمل هستند و به صورت کمّی با ویژگی‌های تنظیم‌شوندگی سلول‌ها در امتداد مسیر شکمی قشر بینایی مطابقت دارند. این ویژگی‌ها نسبت به مجموعه آموزشی انطباق‌پذیر هستند، هرچند همچنین نشان داده‌ایم که یک مجموعه ویژگی جهان‌شمول که از مجموعه‌ای از تصاویر طبیعی نامرتبط با هر وظیفه طبقه‌بندی آموخته شده، به‌طور مشابه عملکرد خوبی را به دست می‌آورد.

### کاربردهای تشخیص گفتار

این نظریه همچنین می‌تواند برای حوزه تشخیص گفتار تعمیم داده شود. به عنوان مثال، در  تعمیمی از یک نظریه برای یادگیری بدون نظارت بازنمایی‌های بصری ثابت به حوزه شنوایی و ارزیابی تجربی اعتبار آن برای طبقه‌بندی صداهای گفتاری بیان‌شده ارائه شد. نویسندگان به طور تجربی نشان دادند که یک بازنمایی تک‌لایه در سطح تلفن، استخراج‌شده از ویژگی‌های گفتار پایه، دقت طبقه‌بندی قطعه را بهبود می‌بخشد و تعداد نمونه‌های آموزشی را در مقایسه با ویژگی‌های طیفی و کپسترال استاندارد برای یک کار طبقه‌بندی آکوستیک روی مجموعه داده TIMIT کاهش می‌دهد.

## منابع

رده:بینایی رایانه‌ای
رده:یادگیری ماشین
رده:بازشناسی گفتار