پیش‌نویس:تفسیرپذیری مکانیکی

تاریخچه 

اصطلاح «تفسیرپذیری مکانیکی» (Mechanistic Interpretability) توسط کریس اولاه برای توصیف رویکردی به کار رفت که هدف آن «مهندسی معکوس» شبکه‌های عصبی و کشف الگوریتم‌های پیاده‌سازی‌شده درون آن‌ها بود. این اصطلاح نخستین بار در مجموعه مقالات Circuits منتشرشده در مجلهٔ Distill مورد استفاده قرار گرفت.

ریشه‌های این حوزه را می‌توان در پژوهش‌های پیشین دربارهٔ تحلیل نورون‌ها، سرهای توجه و نمایش‌های درونی مدل‌های زبانی جستجو کرد، اما شکل‌گیری آن به‌عنوان یک جریان پژوهشی مستقل عمدتاً به پروژهٔ Circuits و بعدها فعالیت پژوهشگران شرکت Anthropic بازمی‌گردد.

 از مدارهای بینایی تا مدل‌های زبانی 

پژوهش‌های اولیهٔ Circuits بر شناسایی مدارهای محاسباتی در شبکه‌های عصبی کانولوشنی متمرکز بود. هدف این پژوهش‌ها کشف مجموعه‌ای از نورون‌ها و اتصالاتی بود که مسئول تشخیص ویژگی‌های بصری خاص بودند. با ظهور مدل‌های زبانی بزرگ و موفقیت معماری ترنسفورمر، تمرکز این حوزه از بینایی ماشین به پردازش زبان طبیعی منتقل شد.

در سال ۲۰۲۱، مجموعه مقالات Transformer Circuits چارچوبی نظری برای تحلیل مدل‌های ترنسفورمر ارائه کرد و مفهوم مدارهای محاسباتی را به این معماری تعمیم داد.

 کشف سرهای استقرا 

یکی از نخستین موفقیت‌های مهم این حوزه، کشف «سرهای استقرا» (Induction Heads) بود. پژوهشگران نشان دادند که برخی سرهای توجه در مدل‌های ترنسفورمر الگوریتمی ساده برای تشخیص و تکرار الگوها را پیاده‌سازی می‌کنند. این کشف یکی از نخستین شواهد تجربی برای وجود مدارهای محاسباتی قابل شناسایی در مدل‌های زبانی به شمار می‌رود.

 فرضیهٔ برهم‌نهی 

در سال ۲۰۲۲، مقالهٔ Toy Models of Superposition فرضیهٔ «برهم‌نهی» را مطرح کرد. این پژوهش استدلال می‌کرد که شبکه‌های عصبی معمولاً تعداد بسیار بیشتری ویژگی نسبت به تعداد نورون‌های موجود را نمایش می‌دهند و در نتیجه چندین مفهوم مستقل در جهت‌های مشترکی از فضای برداری رمزگذاری می‌شوند.

فرضیهٔ برهم‌نهی توضیحی برای این مشاهده ارائه می‌کرد که بسیاری از نورون‌ها به مفاهیم ظاهراً نامرتبط پاسخ می‌دهند و به همین دلیل تفسیر نورون‌های منفرد اغلب دشوار است.

 حرکت به سوی تک‌معنایی 

در واکنش به مسئلهٔ برهم‌نهی، پژوهشگران Anthropic مفهوم «تک‌معنایی» (Monosemanticity) را مطرح کردند. بر اساس این دیدگاه، اگر بتوان نمایش‌های درونی مدل را به اجزای بنیادی‌تری تجزیه کرد، هر جزء ممکن است تنها با یک مفهوم یا رفتار مشخص مرتبط باشد.

مقالهٔ Towards Monosemanticity: Decomposing Language Models With Dictionary Learning از روش‌های یادگیری فرهنگ لغت و خودرمزگذارهای تنک برای استخراج چنین ویژگی‌هایی استفاده کرد.

 ظهور خودرمزگذارهای تنک 

در سال‌های ۲۰۲۳ و ۲۰۲۴، خودرمزگذارهای تنک (Sparse Autoencoders) به یکی از ابزارهای اصلی تفسیرپذیری مکانیکی تبدیل شدند. این روش‌ها امکان استخراج هزاران ویژگی قابل تفسیر را از مدل‌های زبانی فراهم کردند.

مقالهٔ Sparse Autoencoders Find Highly Interpretable Features in Language Models نشان داد که بسیاری از مفاهیم معنایی و محاسباتی را می‌توان به صورت ویژگی‌های مجزا و قابل تفسیر بازیابی کرد.

 مدارهای ویژگی تنک 

با گسترش استفاده از خودرمزگذارهای تنک، تمرکز پژوهشگران از نورون‌ها به «ویژگی‌ها» (Features) منتقل شد. در این رویکرد، ویژگی‌ها به عنوان واحدهای بنیادی نمایش در مدل در نظر گرفته می‌شوند.

پژوهش Sparse Feature Circuits نشان داد که مدارهای محاسباتی را می‌توان بر اساس ویژگی‌های استخراج‌شده توسط خودرمزگذارهای تنک تعریف کرد، نه صرفاً بر اساس نورون‌ها یا سرهای توجه.

 ردیابی مدارها 

در سال ۲۰۲۵، Anthropic مجموعه پژوهش‌های Circuit Tracing را منتشر کرد. این روش تلاش می‌کند مسیر انتقال اطلاعات را از ورودی تا خروجی مدل دنبال کند و نقش هر ویژگی را در زنجیرهٔ محاسباتی مشخص سازد.

برخی پژوهشگران این رویکرد را گامی به سوی دستیابی به تبیین‌های علّی کامل‌تر از رفتار مدل‌های زبانی دانسته‌اند.

 مفاهیم بنیادی 

 مدار 

مدار (Circuit) مجموعه‌ای از اجزای مدل است که به‌صورت مشترک یک محاسبه یا رفتار خاص را پیاده‌سازی می‌کنند. تحلیل مدارها از نخستین اهداف تفسیرپذیری مکانیکی بوده است.

 ویژگی 

ویژگی (Feature) الگویی در فضای نمایش مدل است که با یک مفهوم، رفتار یا محاسبهٔ خاص ارتباط دارد. در پژوهش‌های جدید، ویژگی‌ها اغلب به‌عنوان واحدهای بنیادی‌تر از نورون‌ها در نظر گرفته می‌شوند.

 برهم‌نهی 

برهم‌نهی (Superposition) به وضعیتی گفته می‌شود که در آن چندین ویژگی مستقل به‌طور هم‌زمان در یک زیر فضای مشترک نمایش داده شوند. این مفهوم یکی از مهم‌ترین توضیحات نظری برای چندمعنایی بودن نورون‌ها محسوب می‌شود.

 تک‌معنایی 

تک‌معنایی (Monosemanticity) فرضیه‌ای است که بر اساس آن ویژگی‌های پنهان مدل را می‌توان به مؤلفه‌هایی تجزیه کرد که هر یک تنها نمایندهٔ یک مفهوم یا رفتار مشخص باشند.

 روش‌ها 

روش‌های مورد استفاده در تفسیرپذیری مکانیکی شامل موارد زیر است:

 تحلیل نورون‌ها
 تحلیل سرهای توجه
 تحلیل مدارها
 مداخله‌های علّی
 فعال‌سازی‌پچینگ (Activation Patching)
 تحلیل بردارهای ویژگی
 خودرمزگذارهای تنک
 ردیابی مدارها
 تحلیل مدارهای ویژگی تنک

این روش‌ها معمولاً با هدف شناسایی سازوکارهای درونی مدل و ارائهٔ توضیح‌های علّی برای رفتار آن به کار می‌روند.