موضوع مقاله: یادگیری عمیق در تصویربرداری فوتوآکوستیک | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # یادگیری عمیق در تصویربرداری فوتوآکوستیک | مقدمه: یادگیری عمیق در تصویربرداری فتواکستیک، روش تصویربرداری ترکیبی تصویربرداری فتواکستیک (PA) را با زمینه به سرعت در حال تکامل یادگیری عمیق ترکیب می‌کند. | ## بخش 1: یادگیری عمیق در تصویربرداری فوتوآکوستیک | تصویربرداری فتواکستیک بر اساس اثر فوتوآکوستیک است که در آن جذب نوری باعث افزایش دما می‌شود که باعث افزایش فشار بعدی از طریق انبساط ترمو الاستیک می‌شود. با توجه به تناسب بین جذب نوری، افزایش دما و افزایش فشار، سیگنال موج فشار اولتراسوند می‌تواند برای تعیین کمیت رسوب اولیه انرژی نوری در بافت استفاده شود. تصویربرداری فتواکستیک کاربردهای یادگیری عمیق در هر دو توموگرافی کامپیوتری فتواکستیک (PACT) و میکروسکوپ فتواکستیک (PAM) دارد. PACT از تحریک نوری میدان وسیع و مجموعه ای از مبدل‌های اولتراسوند بدون تمرکز استفاده می‌کند. مشابه سایر روش‌های توموگرافی کامپیوتری، نمونه در زوایای دید چندگانه تصویربرداری می‌شود، که سپس برای انجام یک الگوریتم بازسازی معکوس بر اساس هندسه تشخیص (معمولاً از طریق پس‌پرژه جهانی، تأخیر و مجموع اصلاح‌شده، یا معکوس زمانی) برای استخراج اولیه توزیع فشار در بافت استفاده می‌شود. در هر نقطه اسکن شده، زمان پرواز صوتی وضوح محوری را ارائه می‌دهد در حالی که فوکوس آکوستیک وضوح جانبی را ایجاد می‌کند. میانگین خطاهای موقعیت محوری و جانبی در ۲۴۱۲ تصویر آزمایشی انتخاب شده به‌طور تصادفی به ترتیب ۰٫۲۸ میلی‌متر و ۰٫۳۷ میلی‌متر بود. پس از اجرای اولیه، کاربردهای یادگیری عمیق در PACT عمدتاً به حذف مصنوعات از بازتاب‌های صوتی، نمونه‌برداری پراکنده، دید محدود و پهنای باند محدود منشعب شده‌اند. همچنین اخیراً برخی کارها در PACT برای استفاده از یادگیری عمیق برای محلی‌سازی جبهه موج انجام شده است. شبکه‌هایی مبتنی بر ادغام اطلاعات از دو بازسازی مختلف برای بهبود بازسازی با استفاده از شبکه‌های مبتنی بر همجوشی یادگیری عمیق وجود دارد. با این حال، این تکنیک نتوانست سیگنال‌های صوتی طنین‌دار ناشی از انعکاس صوتی را در نظر بگیرد، که منجر به ایجاد مصنوعات بازتاب صوتی می‌شود که اطلاعات مکان منبع نقطه فتواکستیک واقعی را خراب می‌کند. در Reiter و همکاران، یک شبکه عصبی کانولوشن (شبیه به یک معماری سبک VGG 16 ساده) استفاده شد که داده‌های فتواکستیک از قبل پرتو شکل گرفته را به عنوان ورودی دریافت کرد و یک نتیجه طبقه‌بندی را که محل منبع نقطه‌ای دوبعدی را مشخص می‌کرد، صادر کرد. یادگیری عمیق برای محلی سازی جبهه موج PA جانستونباو و همکارانش توانستند منبع جبهه‌های موج فوتوآکوستیک را با یک شبکه عصبی عمیق بومی‌سازی کنند. شبکه رمزگذار-رمزگشا از ماژول‌های پیچیدگی باقیمانده، نمونه‌برداری بالا و میدان دید بالا ساخته شده است. برای ایجاد جبهه‌های موج، شبیه‌سازی رو به جلو انتشار نور با جعبه ابزار NIRFast و تقریب انتشار نور انجام شد، در حالی که شبیه‌سازی رو به جلو انتشار صدا با جعبه ابزار K-Wave انجام شد. جبهه موج‌های شبیه‌سازی شده در معرض محیط‌های پراکندگی مختلف و نویز گاوسی قرار گرفتند. میانگین نرخ خطای این شبکه در هنگام بومی سازی هدف زیر ۴۰ میلی‌متر کمتر از ۳۰ میکرون بود و برای اهداف بین ۴۰ میلی‌متر و ۶۰ میلی‌متر میانگین خطای ۱٫۰۶ میلی‌متر داشت. یک آزمایش اعتبار سنجی انجام شد که در آن سرب مدادی در یک محلول درون چربی در عمق ۳۲ میلی‌متر غوطه ور شد. شبکه توانست موقعیت سرب را زمانی که محلول دارای ضریب پراکندگی کاهش یافته ۰، ۵، ۱۰ و ۱۱۵- سانتی‌متر بود، محلی کند. نتایج این شبکه بهبودهایی را نسبت به الگوریتم‌های استاندارد شکل‌دهی پرتو تأخیر و جمع یا فرکانس نشان می‌دهد و جانستونباگ پیشنهاد می‌کند که این فناوری می‌تواند برای شکل‌دهی جبهه موج نوری، تشخیص سلول ملانوم در گردش و جراحی‌های عروقی بلادرنگ استفاده شود. حذف مصنوعات بازتاب صوتی (در حضور چندین منبع و نویز کانال) با تکیه بر کار رایتر و همکاران. این استفاده از یادگیری عمیق بر روی داده‌های شبیه‌سازی شده تولید شده در کتابخانه موج k MATLAB آموزش دیده و سپس نتایج خود را بر روی داده‌های تجربی مجدداً تأیید کرد. بازسازی PACT وضعیت بدی داشت در PACT، بازسازی توموگرافی انجام می‌شود، که در آن برآمدگی‌ها از چندین زوایای جامد با هم ترکیب می‌شوند تا یک تصویر را تشکیل دهند. هنگامی که روش‌های بازسازی مانند پس‌پرده‌کشی فیلتر شده یا معکوس‌سازی زمان، به دلیل نمونه‌برداری تحت نیاز نمونه‌گیری Nyquist Shannon یا با پهنای باند یا دید محدود، مشکلات معکوس ایجاد می‌کنند، بازسازی حاصل حاوی مصنوعات تصویر است. | ## بخش 2: یادگیری عمیق در تصویربرداری فوتوآکوستیک | به حداقل رساندن، اما ظهور رویکردهای یادگیری عمیق راه جدیدی را باز کرده است که از دانش پیشینی آموزش شبکه برای حذف مصنوعات استفاده می‌کند. در روش‌های یادگیری عمیق که به دنبال حذف این نمونه‌برداری‌های پراکنده، پهنای باند محدود، و مصنوعات با دید محدود هستند، گردش کار معمولی شامل ابتدا انجام تکنیک بازسازی نامناسب برای تبدیل داده‌های شکل‌گرفته از قبل به یک نمایش دو بعدی از توزیع فشار اولیه است که شامل مصنوعات سپس، یک شبکه عصبی پیچشی (CNN) برای حذف مصنوعات آموزش داده می‌شود تا نمایشی بدون آرتیفکت از توزیع فشار اولیه واقعیت عینی تولید کند. استفاده از یادگیری عمیق برای حذف مصنوعات نمونه برداری پراکنده هنگامی که چگالی زوایای دید توموگرافی یکنواخت کمتر از آنچه توسط قضیه نمونه‌برداری نایکیست-شانون تجویز می‌شود باشد، گفته می‌شود که سیستم تصویربرداری در حال انجام نمونه‌برداری پراکنده است. نمونه برداری پراکنده معمولاً به عنوان راهی برای پایین نگه داشتن هزینه‌های تولید و بهبود سرعت گرفتن تصویر اتفاق می‌افتد. مرحله فشرده سازی یادمی‌گیرد که تصویر را به یک نمایش نهفته فشرده کند که فاقد مصنوعات تصویربرداری و سایر جزئیات است. سپس فاز رفع فشار با اطلاعات ارسال شده توسط اتصالات باقیمانده ترکیب می‌شود تا جزئیات تصویر پشتی را بدون افزودن جزئیات مرتبط با مصنوعات اضافه کند. FD U-net معماری اصلی U-net را با گنجاندن بلوک‌های متراکم تغییر می‌دهد که به لایه‌ها اجازه می‌دهد از اطلاعات آموخته شده توسط لایه‌های قبلی در بلوک متراکم استفاده کنند. تکنیک دیگری با استفاده از یک معماری ساده مبتنی بر CNN برای حذف مصنوعات و بهبود بازسازی تصویر موج k پیشنهاد شد. حذف مصنوعات با دید محدود با یادگیری عمیق هنگامی که یک ناحیه از زوایای جامد جزئی گرفته نمی‌شود، معمولاً به دلیل محدودیت‌های هندسی، می‌گویند دریافت تصویر دارای دید محدودی است. همان‌طور که توسط آزمایش‌های داوودی و همکاران نشان داده شده است، خرابی‌های دید محدود را می‌توان مستقیماً به عنوان اطلاعات گمشده در حوزه فرکانس تصویر بازسازی شده مشاهده کرد. نمای محدود، مشابه نمونه‌گیری پراکنده، الگوریتم بازسازی اولیه را نامناسب می‌سازد. قبل از یادگیری عمیق، مشکل دید محدود با سخت‌افزار پیچیده مانند منحرف کننده‌های صوتی و آرایه‌های مبدل حلقه شکل کامل و همچنین راه حل‌هایی مانند سنجش فشرده، ضریب وزنی و پس پروجکشن فیلتر شده تکراری بررسی می‌شد. درون یابی هوشمندانه پیکسل و یادگیری عمیق برای بازسازی سریع تر سیگنال‌های دید محدود گوان و همکاران قادر به اعمال یک شبکه FD U برای حذف مصنوعات از تصاویر شبیه‌سازی شده با نمای محدود بازسازی شده PA بود. تصاویر PA بازسازی شده با فرایند معکوس زمانی و داده‌های PA جمع‌آوری شده با ۱۶، ۳۲ یا ۶۴ حسگر به عنوان ورودی به شبکه و تصاویر حقیقت زمین به عنوان خروجی مورد نظر خدمت می‌کردند. این شبکه توانست مصنوعات ایجاد شده در فرایند برگشت زمان را از فانتوم‌های مصنوعی، مغز موش، فوندوس و عروق ریه حذف کند. این فرایند مشابه کار انجام شده برای پاکسازی مصنوعات از تصاویر پراکنده و محدود انجام شده توسط داوودی و همکاران بود. پیشنهاد استفاده از درون یابی مبتنی بر پیکسل به عنوان ورودی به شبکه به جای یک تصویر بازسازی شده است. استفاده از درون یابی عاقلانه پیکسلی، نیاز به تولید یک تصویر اولیه را که ممکن است جزئیات کوچک را حذف کند یا با پوشاندن آنها با مصنوعات غیرقابل بازیابی کند، برطرف می‌کند. برای ایجاد درون یابی مبتنی بر پیکسل، زمان پرواز برای هر پیکسل با استفاده از معادله انتشار موج محاسبه شد. سپس، یک شبکه بازسازی از اندازه‌گیری فشار محاسبه شده از زمان پرواز پیکسل‌ها ایجاد شد. با استفاده از شبکه بازسازی به عنوان ورودی، شبکه FD U توانست تصاویر بازسازی شده بدون مصنوع ایجاد کند. این روش درونیابی مبتنی بر پیکسل سریع‌تر بود و نسبت سیگنال به نویز (PSNR) و شاخص تشابه ساختاری (SSIM) بهتری نسبت به تصاویر بدون مصنوع ایجاد می‌کرد که زمانی که تصاویر معکوس زمانی به عنوان ورودی به شبکه FD U استفاده می‌شدند. این روش درونیابی مبتنی بر پیکسل به‌طور قابل‌توجهی سریع‌تر بود و PSNR و SSIM قابل مقایسه با تصاویر بازسازی‌شده از رویکرد تکراری فشرده محاسباتی داشت. حذف مصنوع با پهنای باند محدود با شبکه‌های عصبی عمیق مشکل پهنای باند محدود در نتیجه پهنای باند فرکانس تشخیص محدود آرایه مبدل اولتراسوند رخ می‌دهد. | ## بخش 3: یادگیری عمیق در تصویربرداری فوتوآکوستیک | این آرایه مبدل مانند یک فیلتر باند گذر در حوزه فرکانس عمل می‌کند و فرکانس‌های بالا و پایین را در سیگنال فوتوآکوستیک تضعیف می‌کند. این پهنای باند محدود می‌تواند باعث ایجاد آرتیفکت و محدود کردن وضوح محوری سیستم تصویربرداری شود. روش معمولی برای حذف مصنوعات و حذف نویز بازسازی‌های پهنای باند محدود قبل از یادگیری عمیق، فیلتر وینر بود که به گسترش طیف فرکانس سیگنال PA کمک می‌کند. مزیت اصلی روش یادگیری عمیق نسبت به فیلتر وینر این است که فیلتر وینر به نسبت سیگنال به نویز اولیه (SNR) بالایی نیاز دارد، که همیشه ممکن نیست، در حالی که مدل یادگیری عمیق چنین محدودیتی ندارد. تلفیقی از اطلاعات برای بهبود تصاویر فتواکستیک با شبکه‌های عصبی عمیق اطلاعات تکمیلی با استفاده از معماری‌های مبتنی بر فیوژن برای بهبود بازسازی تصویر فتواکستیک استفاده می‌شود. از آنجایی که بازسازی‌های مختلف ویژگی‌های متفاوتی را در خروجی ارتقا می‌دهند و از این رو کیفیت و ویژگی‌های تصویر در صورت استفاده از تکنیک بازسازی متفاوت متفاوت است. یک معماری مبتنی بر فیوژن جدید برای ترکیب خروجی دو بازسازی مختلف و ارائه کیفیت تصویر بهتر در مقایسه با هر یک از آن بازسازی‌ها پیشنهاد شد. این شامل به اشتراک گذاری وزن، و ادغام ویژگی‌ها برای دستیابی به بهبود مطلوب در کیفیت تصویر خروجی است. یادگیری عمیق برای بهبود عمق نفوذ تصاویر PA لیزرهای پرانرژی به نور اجازه می‌دهند تا به عمق بافت برسد و ساختارهای عمیق را در تصاویر PA قابل مشاهده باشند. موسسه استاندارد ملی آمریکا حداکثر نوردهی مجاز (MPE) را برای بافت‌های مختلف بیولوژیکی تعیین کرده است. لیزرهایی با مشخصات بالاتر از MPE می‌توانند باعث آسیب مکانیکی یا حرارتی به بافتی شوند که تصویربرداری می‌کنند. منور و همکاران توانست با اعمال معماری U-net بر روی تصاویر ایجاد شده توسط لیزر کم انرژی، نفوذ لیزرهای کم انرژی را که استاندارد MPE را برآورده می‌کنند، افزایش دهد. این شبکه با تصاویری از مغز گوسفند ex vivo ایجاد شده توسط لیزر کم انرژی ۲۰ میلی ژول به عنوان ورودی شبکه و تصاویری از همان مغز گوسفند که توسط لیزر با انرژی بالا ۱۰۰ میلی ژول، ۲۰ میلی ژول بالای MPE ایجاد شده است، آموزش داده شد. به عنوان خروجی مورد نظر یک تابع تلفات حساس ادراکی برای آموزش شبکه برای افزایش نسبت سیگنال به نویز کم در تصاویر PA ایجاد شده توسط لیزر کم انرژی استفاده شد. شبکه آموزش دیده توانست نسبت پیک به پس زمینه را ۴٫۱۹ دسی بل و عمق نفوذ را تا ۵٫۸۸ درصد برای عکس‌های ایجاد شده توسط لیزر کم انرژی یک مغز گوسفند در داخل بدن افزایش دهد. کاربردهای یادگیری عمیق در PAM تفاوت میکروسکوپ فوتو آکوستیک با سایر اشکال توموگرافی فوتو آکوستیک در این است که از تشخیص اولتراسوند متمرکز برای بدست آوردن تصاویر پیکسل به پیکسل استفاده می‌کند. تصاویر PAM به‌عنوان داده‌های حجمی با زمان تفکیک‌شده به‌دست می‌آیند که معمولاً از طریق تبدیل هیلبرت و طرح‌ریزی حداکثر دامنه (MAP) به یک طرح دو بعدی نگاشت می‌شوند. یادگیری عمیق برای حذف مصنوعات حرکتی در PAM دو نوع مصنوع حرکتی اولیه که توسط یادگیری عمیق در PAM مورد توجه قرار می‌گیرد، جابجایی در جهت عمودی و کج است. چن و همکاران از یک شبکه عصبی کانولوشنال سه لایه ساده که هر لایه با یک ماتریس وزن و یک بردار بایاس نشان داده شده بود، به منظور حذف مصنوعات حرکتی PAM استفاده کرد. دو تا از لایه‌های کانولوشن حاوی توابع فعال سازی RELU هستند، در حالی که آخرین لایه هیچ عملکرد فعال سازی ندارد. با استفاده از این معماری، اندازه‌های هسته ۳×۳، ۴×۴، و ۵×۵ مورد آزمایش قرار گرفتند که بزرگ‌ترین اندازه هسته ۵×۵ بهترین نتایج را به همراه داشت. پس از آموزش، عملکرد مدل تصحیح حرکت مورد آزمایش قرار گرفت و به خوبی بر روی داده‌های شبیه‌سازی و in vivo انجام شد. با این وجود، این رویکرد تصویربرداری به‌طور کلی نسبت سیگنال به نویز (SNR) کوچک‌تری را ارائه می‌دهد که می‌تواند تا دو مرتبه قدر کمتر از سیستم‌های حوزه زمان معمولی باشد. برای غلبه بر محدودیت ذاتی SNR دامنه فرکانس PAM، یک شبکه عصبی U Net برای تقویت تصاویر تولید شده بدون نیاز به میانگین‌گیری بیش از حد یا اعمال توان نوری بالا بر روی نمونه استفاده شده است. | ## جمع‌بندی | در این زمینه، دسترسی به PAM بهبود می‌یابد زیرا هزینه سیستم به‌طور چشمگیری کاهش می‌یابد و در عین حال استانداردهای کیفیت تصویر به اندازه کافی بالا برای مشاهدات بیولوژیکی را حفظ می‌کند.