یادگیری عمیق در تصویربرداری فوتوآکوستیک کیست؟ توضیح بده.
یادگیری عمیق در تصویربرداری فتواکستیک، روش تصویربرداری ترکیبی تصویربرداری فتواکستیک (PA) را با زمینه به سرعت در حال تکامل یادگیری عمیق ترکیب می‌کند. تصویربرداری فتواکستیک بر اساس اثر فوتوآکوستیک است که در آن جذب نوری باعث افزایش دما می‌شود که باعث افزایش فشار بعدی از طریق انبساط ترمو الاستیک می‌شود. این افزایش فشار در بافت منتشر می‌شود و از طریق مبدل‌های اولتراسونیک حس می‌شود. با توجه به تناسب بین جذب نوری، افزایش دما و افزایش فشار، سیگنال موج فشار اولتراسوند می‌تواند برای تعیین کمیت رسوب اولیه انرژی نوری در بافت استفاده شود.تصویربرداری فتواکستیک کاربردهای یادگیری عمیق در هر دو توموگرافی کامپیوتری فتواکستیک (PACT) و میکروسکوپ فتواکستیک (PAM) دارد. PACT از تحریک نوری میدان وسیع و مجموعه ای از مبدل‌های اولتراسوند بدون تمرکز استفاده می‌کند. مشابه سایر روش‌های توموگرافی کامپیوتری، نمونه در زوایای دید چندگانه تصویربرداری می‌شود، که سپس برای انجام یک الگوریتم بازسازی معکوس بر اساس هندسه تشخیص (معمولاً از طریق پس‌پرژه جهانی، تأخیر و مجموع اصلاح‌شده، یا معکوس زمانی) برای استخراج اولیه توزیع فشار در بافت استفاده می‌شود. از سوی دیگر، PAM از تشخیص اولتراسوند متمرکز همراه با تحریک نوری با تمرکز ضعیف (PAM با وضوح صوتی یا AR-PAM) یا تحریک نوری با فوکوس دقیق (PAM با وضوح نوری یا OR-PAM) استفاده می‌کند. PAM معمولاً تصاویر را نقطه به نقطه می‌گیرد. از طریق یک الگوی اسکن شطرنجی مکانیکی. در هر نقطه اسکن شده، زمان پرواز صوتی وضوح محوری را ارائه می‌دهد در حالی که فوکوس آکوستیک وضوح جانبی را ایجاد می‌کند.کاربردهای یادگیری عمیق در PACT.اولین کاربرد یادگیری عمیق در PACT توسط Reiter و همکاران بود. که در آن یک شبکه عصبی عمیق برای یادگیری پاسخ‌های تکانه فضایی و مکان‌یابی منابع نقطه ای فوتوآکوستیک آموزش داده شد. میانگین خطاهای موقعیت محوری و جانبی در ۲۴۱۲ تصویر آزمایشی انتخاب شده به‌طور تصادفی به ترتیب ۰٫۲۸ میلی‌متر و ۰٫۳۷ میلی‌متر بود. پس از اجرای اولیه، کاربردهای یادگیری عمیق در PACT عمدتاً به حذف مصنوعات از بازتاب‌های صوتی، نمونه‌برداری پراکنده، دید محدود و پهنای باند محدود منشعب شده‌اند. همچنین اخیراً برخی کارها در PACT برای استفاده از یادگیری عمیق برای محلی‌سازی جبهه موج انجام شده است. شبکه‌هایی مبتنی بر ادغام اطلاعات از دو بازسازی مختلف برای بهبود بازسازی با استفاده از شبکه‌های مبتنی بر همجوشی یادگیری عمیق وجود دارد.استفاده از یادگیری عمیق برای مکان‌یابی منابع نقطه ای فوتوآکوستیک.تکنیک‌های سنتی شکل‌دهی فتواکستیک، انتشار موج فتواکستیک را با استفاده از هندسه آرایه آشکارساز و زمان پرواز برای محاسبه تفاوت‌ها در زمان رسیدن سیگنال PA مدل‌سازی کردند. با این حال، این تکنیک نتوانست سیگنال‌های صوتی طنین‌دار ناشی از انعکاس صوتی را در نظر بگیرد، که منجر به ایجاد مصنوعات بازتاب صوتی می‌شود که اطلاعات مکان منبع نقطه فتواکستیک واقعی را خراب می‌کند. در Reiter و همکاران، یک شبکه عصبی کانولوشن (شبیه به یک معماری سبک VGG 16 ساده) استفاده شد که داده‌های فتواکستیک از قبل پرتو شکل گرفته را به عنوان ورودی دریافت کرد و یک نتیجه طبقه‌بندی را که محل منبع نقطه‌ای دوبعدی را مشخص می‌کرد، صادر کرد.یادگیری عمیق برای محلی سازی جبهه موج PA.جانستونباو و همکارانش توانستند منبع جبهه‌های موج فوتوآکوستیک را با یک شبکه عصبی عمیق بومی‌سازی کنند. شبکه مورد استفاده یک شبکه عصبی کانولوشنال به سبک رمزگذار-رمزگشا بود. شبکه رمزگذار-رمزگشا از ماژول‌های پیچیدگی باقیمانده، نمونه‌برداری بالا و میدان دید بالا ساخته شده است. یک لایه پیچیدگی Nyquist و لایه تبدیل فضایی به عددی قابل تمایز نیز در معماری استفاده شد. جبهه‌های موج PA شبیه‌سازی‌شده به عنوان ورودی برای آموزش مدل خدمت می‌کنند. برای ایجاد جبهه‌های موج، شبیه‌سازی رو به جلو انتشار نور با جعبه ابزار NIRFast و تقریب انتشار نور انجام شد، در حالی که شبیه‌سازی رو به جلو انتشار صدا با جعبه ابزار K-Wave انجام شد. جبهه موج‌های شبیه‌سازی شده در معرض محیط‌های پراکندگی مختلف و نویز گاوسی قرار گرفتند. خروجی شبکه یک نقشه حرارتی بدون مصنوع از موقعیت محوری و جانبی اهداف بود. میانگین نرخ خطای این شبکه در هنگام بومی سازی هدف زیر ۴۰ میلی‌متر کمتر از ۳۰ میکرون بود و برای اهداف بین ۴۰ میلی‌متر و ۶۰ میلی‌متر میانگین خطای ۱٫۰۶ میلی‌متر داشت. با یک تغییر جزئی در شبکه، این مدل توانست محلی سازی چند هدف را در خود جای دهد. یک آزمایش اعتبار سنجی انجام شد که در آن سرب مدادی در یک محلول درون چربی در عمق ۳۲ میلی‌متر غوطه ور شد. شبکه توانست موقعیت سرب را زمانی که محلول دارای ضریب پراکندگی کاهش یافته ۰، ۵، ۱۰ و ۱۱۵- سانتی‌متر بود، محلی کند. نتایج این شبکه بهبودهایی را نسبت به الگوریتم‌های استاندارد شکل‌دهی پرتو تأخیر و جمع یا فرکانس نشان می‌دهد و جانستونباگ پیشنهاد می‌کند که این فناوری می‌تواند برای شکل‌دهی جبهه موج نوری، تشخیص سلول ملانوم در گردش و جراحی‌های عروقی بلادرنگ استفاده شود.حذف مصنوعات بازتاب صوتی (در حضور چندین منبع و نویز کانال).با تکیه بر کار رایتر و همکاران. آلمن و همکاران از یک معماری کامل VGG-16 برای مکان‌یابی منابع نقطه ای و حذف مصنوعات بازتابی در داده‌های خام کانال فوتوآکوستیک (در حضور چندین منبع و نویز کانال) استفاده کرد. این استفاده از یادگیری عمیق بر روی داده‌های شبیه‌سازی شده تولید شده در کتابخانه موج k MATLAB آموزش دیده و سپس نتایج خود را بر روی داده‌های تجربی مجدداً تأیید کرد.بازسازی PACT وضعیت بدی داشت.در PACT، بازسازی توموگرافی انجام می‌شود، که در آن برآمدگی‌ها از چندین زوایای جامد با هم ترکیب می‌شوند تا یک تصویر را تشکیل دهند. هنگامی که روش‌های بازسازی مانند پس‌پرده‌کشی فیلتر شده یا معکوس‌سازی زمان، به دلیل نمونه‌برداری تحت نیاز نمونه‌گیری Nyquist Shannon یا با پهنای باند یا دید محدود، مشکلات معکوس ایجاد می‌کنند، بازسازی حاصل حاوی مصنوعات تصویر است. به‌طور سنتی، این مصنوعات با روش‌های تکراری آهسته مانند تنوع کلی حذف می‌شوند. به حداقل رساندن، اما ظهور رویکردهای یادگیری عمیق راه جدیدی را باز کرده است که از دانش پیشینی آموزش شبکه برای حذف مصنوعات استفاده می‌کند. در روش‌های یادگیری عمیق که به دنبال حذف این نمونه‌برداری‌های پراکنده، پهنای باند محدود، و مصنوعات با دید محدود هستند، گردش کار معمولی شامل ابتدا انجام تکنیک بازسازی نامناسب برای تبدیل داده‌های شکل‌گرفته از قبل به یک نمایش دو بعدی از توزیع فشار اولیه است که شامل مصنوعات سپس، یک شبکه عصبی پیچشی (CNN) برای حذف مصنوعات آموزش داده می‌شود تا نمایشی بدون آرتیفکت از توزیع فشار اولیه واقعیت عینی تولید کند.استفاده از یادگیری عمیق برای حذف مصنوعات نمونه برداری پراکنده.هنگامی که چگالی زوایای دید توموگرافی یکنواخت کمتر از آنچه توسط قضیه نمونه‌برداری نایکیست-شانون تجویز می‌شود باشد، گفته می‌شود که سیستم تصویربرداری در حال انجام نمونه‌برداری پراکنده است. نمونه برداری پراکنده معمولاً به عنوان راهی برای پایین نگه داشتن هزینه‌های تولید و بهبود سرعت گرفتن تصویر اتفاق می‌افتد. معماری شبکه معمولی مورد استفاده برای حذف این نمونه‌برداری‌های پراکنده، U-net و کاملاً متراکم (FD) U-net هستند. هر دوی این معماری‌ها شامل فاز فشرده سازی و رفع فشار هستند. مرحله فشرده سازی یادمی‌گیرد که تصویر را به یک نمایش نهفته فشرده کند که فاقد مصنوعات تصویربرداری و سایر جزئیات است. سپس فاز رفع فشار با اطلاعات ارسال شده توسط اتصالات باقیمانده ترکیب می‌شود تا جزئیات تصویر پشتی را بدون افزودن جزئیات مرتبط با مصنوعات اضافه کند. FD U-net معماری اصلی U-net را با گنجاندن بلوک‌های متراکم تغییر می‌دهد که به لایه‌ها اجازه می‌دهد از اطلاعات آموخته شده توسط لایه‌های قبلی در بلوک متراکم استفاده کنند. تکنیک دیگری با استفاده از یک معماری ساده مبتنی بر CNN برای حذف مصنوعات و بهبود بازسازی تصویر موج k پیشنهاد شد.حذف مصنوعات با دید محدود با یادگیری عمیق.هنگامی که یک ناحیه از زوایای جامد جزئی گرفته نمی‌شود، معمولاً به دلیل محدودیت‌های هندسی، می‌گویند دریافت تصویر دارای دید محدودی است. همان‌طور که توسط آزمایش‌های داوودی و همکاران نشان داده شده است، خرابی‌های دید محدود را می‌توان مستقیماً به عنوان اطلاعات گمشده در حوزه فرکانس تصویر بازسازی شده مشاهده کرد. نمای محدود، مشابه نمونه‌گیری پراکنده، الگوریتم بازسازی اولیه را نامناسب می‌سازد. قبل از یادگیری عمیق، مشکل دید محدود با سخت‌افزار پیچیده مانند منحرف کننده‌های صوتی و آرایه‌های مبدل حلقه شکل کامل و همچنین راه حل‌هایی مانند سنجش فشرده، ضریب وزنی و پس پروجکشن فیلتر شده تکراری بررسی می‌شد. نتیجه این بازسازی بد، مصنوعات تصویربرداری است که می‌توانند توسط CNNها حذف شوند. الگوریتم‌های یادگیری عمیق مورد استفاده برای حذف مصنوعات نمای محدود شامل U net و FD U net، [۳۶] و همچنین شبکه‌های زایای دشمن‌گونه (GANs) و نسخه‌های حجمی U net هستند. یکی از اجرای GAN از یادداشت با استفاده از U net به عنوان یک ژنراتور و VGG به عنوان یک تمایز، با متریک Wasserstein و جریمه گرادیان برای تثبیت آموزش (WGAN GP) بهبود یافت.درون یابی هوشمندانه پیکسل و یادگیری عمیق برای بازسازی سریع تر سیگنال‌های دید محدود.گوان و همکاران قادر به اعمال یک شبکه FD U برای حذف مصنوعات از تصاویر شبیه‌سازی شده با نمای محدود بازسازی شده PA بود. تصاویر PA بازسازی شده با فرایند معکوس زمانی و داده‌های PA جمع‌آوری شده با ۱۶، ۳۲ یا ۶۴ حسگر به عنوان ورودی به شبکه و تصاویر حقیقت زمین به عنوان خروجی مورد نظر خدمت می‌کردند. این شبکه توانست مصنوعات ایجاد شده در فرایند برگشت زمان را از فانتوم‌های مصنوعی، مغز موش، فوندوس و عروق ریه حذف کند. این فرایند مشابه کار انجام شده برای پاکسازی مصنوعات از تصاویر پراکنده و محدود انجام شده توسط داوودی و همکاران بود. برای بهبود سرعت بازسازی و اجازه دادن به شبکه FD U برای استفاده از اطلاعات بیشتر از حسگر، Guan et al. پیشنهاد استفاده از درون یابی مبتنی بر پیکسل به عنوان ورودی به شبکه به جای یک تصویر بازسازی شده است. استفاده از درون یابی عاقلانه پیکسلی، نیاز به تولید یک تصویر اولیه را که ممکن است جزئیات کوچک را حذف کند یا با پوشاندن آنها با مصنوعات غیرقابل بازیابی کند، برطرف می‌کند. برای ایجاد درون یابی مبتنی بر پیکسل، زمان پرواز برای هر پیکسل با استفاده از معادله انتشار موج محاسبه شد. سپس، یک شبکه بازسازی از اندازه‌گیری فشار محاسبه شده از زمان پرواز پیکسل‌ها ایجاد شد. با استفاده از شبکه بازسازی به عنوان ورودی، شبکه FD U توانست تصاویر بازسازی شده بدون مصنوع ایجاد کند. این روش درونیابی مبتنی بر پیکسل سریع‌تر بود و نسبت سیگنال به نویز (PSNR) و شاخص تشابه ساختاری (SSIM) بهتری نسبت به تصاویر بدون مصنوع ایجاد می‌کرد که زمانی که تصاویر معکوس زمانی به عنوان ورودی به شبکه FD U استفاده می‌شدند. این روش درونیابی مبتنی بر پیکسل به‌طور قابل‌توجهی سریع‌تر بود و PSNR و SSIM قابل مقایسه با تصاویر بازسازی‌شده از رویکرد تکراری فشرده محاسباتی داشت. روش pixel wise ارائه شده در این مطالعه فقط برای آزمایش‌های سیلیکونی با محیط همگن ثابت شد، اما Guan معتقد است که روش pixel wise می‌تواند برای رندر PAT زمان واقعی استفاده شود.حذف مصنوع با پهنای باند محدود با شبکه‌های عصبی عمیق.مشکل پهنای باند محدود در نتیجه پهنای باند فرکانس تشخیص محدود آرایه مبدل اولتراسوند رخ می‌دهد. این آرایه مبدل مانند یک فیلتر باند گذر در حوزه فرکانس عمل می‌کند و فرکانس‌های بالا و پایین را در سیگنال فوتوآکوستیک تضعیف می‌کند. این پهنای باند محدود می‌تواند باعث ایجاد آرتیفکت و محدود کردن وضوح محوری سیستم تصویربرداری شود. معماری شبکه عصبی عمیق اولیه که برای حذف مصنوعات با پهنای باند محدود استفاده می‌شود، WGAN-GP و U-Net اصلاح شده است. روش معمولی برای حذف مصنوعات و حذف نویز بازسازی‌های پهنای باند محدود قبل از یادگیری عمیق، فیلتر وینر بود که به گسترش طیف فرکانس سیگنال PA کمک می‌کند. مزیت اصلی روش یادگیری عمیق نسبت به فیلتر وینر این است که فیلتر وینر به نسبت سیگنال به نویز اولیه (SNR) بالایی نیاز دارد، که همیشه ممکن نیست، در حالی که مدل یادگیری عمیق چنین محدودیتی ندارد.تلفیقی از اطلاعات برای بهبود تصاویر فتواکستیک با شبکه‌های عصبی عمیق.اطلاعات تکمیلی با استفاده از معماری‌های مبتنی بر فیوژن برای بهبود بازسازی تصویر فتواکستیک استفاده می‌شود. از آنجایی که بازسازی‌های مختلف ویژگی‌های متفاوتی را در خروجی ارتقا می‌دهند و از این رو کیفیت و ویژگی‌های تصویر در صورت استفاده از تکنیک بازسازی متفاوت متفاوت است. یک معماری مبتنی بر فیوژن جدید برای ترکیب خروجی دو بازسازی مختلف و ارائه کیفیت تصویر بهتر در مقایسه با هر یک از آن بازسازی‌ها پیشنهاد شد. این شامل به اشتراک گذاری وزن، و ادغام ویژگی‌ها برای دستیابی به بهبود مطلوب در کیفیت تصویر خروجی است.یادگیری عمیق برای بهبود عمق نفوذ تصاویر PA.لیزرهای پرانرژی به نور اجازه می‌دهند تا به عمق بافت برسد و ساختارهای عمیق را در تصاویر PA قابل مشاهده باشند. لیزرهای پرانرژی عمق نفوذ بیشتری نسبت به لیزرهای کم انرژی ایجاد می‌کنند. حدود ۸ میلی‌متر عمق نفوذ بیشتر برای لیزرهایی با طول موج بین ۶۹۰ تا ۹۰۰ نانومتر. موسسه استاندارد ملی آمریکا حداکثر نوردهی مجاز (MPE) را برای بافت‌های مختلف بیولوژیکی تعیین کرده است. لیزرهایی با مشخصات بالاتر از MPE می‌توانند باعث آسیب مکانیکی یا حرارتی به بافتی شوند که تصویربرداری می‌کنند. منور و همکاران توانست با اعمال معماری U-net بر روی تصاویر ایجاد شده توسط لیزر کم انرژی، نفوذ لیزرهای کم انرژی را که استاندارد MPE را برآورده می‌کنند، افزایش دهد. این شبکه با تصاویری از مغز گوسفند ex vivo ایجاد شده توسط لیزر کم انرژی ۲۰ میلی ژول به عنوان ورودی شبکه و تصاویری از همان مغز گوسفند که توسط لیزر با انرژی بالا ۱۰۰ میلی ژول، ۲۰ میلی ژول بالای MPE ایجاد شده است، آموزش داده شد. به عنوان خروجی مورد نظر یک تابع تلفات حساس ادراکی برای آموزش شبکه برای افزایش نسبت سیگنال به نویز کم در تصاویر PA ایجاد شده توسط لیزر کم انرژی استفاده شد. شبکه آموزش دیده توانست نسبت پیک به پس زمینه را ۴٫۱۹ دسی بل و عمق نفوذ را تا ۵٫۸۸ درصد برای عکس‌های ایجاد شده توسط لیزر کم انرژی یک مغز گوسفند در داخل بدن افزایش دهد. Manwar ادعا می‌کند که این فناوری می‌تواند در تصویربرداری مغز نوزادان مفید باشد، جایی که تصویربرداری از طریق transfontanelle امکان جستجو برای هر گونه آسیب یا آسیب وجود دارد.کاربردهای یادگیری عمیق در PAM.تفاوت میکروسکوپ فوتو آکوستیک با سایر اشکال توموگرافی فوتو آکوستیک در این است که از تشخیص اولتراسوند متمرکز برای بدست آوردن تصاویر پیکسل به پیکسل استفاده می‌کند. تصاویر PAM به‌عنوان داده‌های حجمی با زمان تفکیک‌شده به‌دست می‌آیند که معمولاً از طریق تبدیل هیلبرت و طرح‌ریزی حداکثر دامنه (MAP) به یک طرح دو بعدی نگاشت می‌شوند. اولین کاربرد یادگیری عمیق در PAM، به شکل یک الگوریتم تصحیح حرکت بود. این روش برای تصحیح مصنوعات PAM که هنگام حرکت یک مدل in vivo در حین اسکن اتفاق می‌افتد، ارائه شده است. این حرکت باعث ایجاد ناپیوستگی عروق می‌شود.یادگیری عمیق برای حذف مصنوعات حرکتی در PAM.دو نوع مصنوع حرکتی اولیه که توسط یادگیری عمیق در PAM مورد توجه قرار می‌گیرد، جابجایی در جهت عمودی و کج است. چن و همکاران از یک شبکه عصبی کانولوشنال سه لایه ساده که هر لایه با یک ماتریس وزن و یک بردار بایاس نشان داده شده بود، به منظور حذف مصنوعات حرکتی PAM استفاده کرد. دو تا از لایه‌های کانولوشن حاوی توابع فعال سازی RELU هستند، در حالی که آخرین لایه هیچ عملکرد فعال سازی ندارد. با استفاده از این معماری، اندازه‌های هسته ۳×۳، ۴×۴، و ۵×۵ مورد آزمایش قرار گرفتند که بزرگ‌ترین اندازه هسته ۵×۵ بهترین نتایج را به همراه داشت. پس از آموزش، عملکرد مدل تصحیح حرکت مورد آزمایش قرار گرفت و به خوبی بر روی داده‌های شبیه‌سازی و in vivo انجام شد.دامنه فرکانس به کمک یادگیری عمیق PAM.ورودی نویزدار، خروجی بدون نویز از طریق U Net و تصاویر دامنه فرکانس زمینی متوسط PA از دو جنین Parhyale hawaiensis بدون برچسب. فلش‌های زرد نشان دهنده غشای سلولی است. میله‌های مقیاس برابر با ۱۰۰ میکرومتر هستند. دامنه فرکانس PAM یک روش تصویربرداری مقرون به صرفه قدرتمند را تشکیل می‌دهد که پرتوهای لیزر مدوله شده با شدت ساطع شده توسط منابع موج پیوسته برای تحریک سیگنال‌های PA تک فرکانس را یکپارچه می‌کند. با این وجود، این رویکرد تصویربرداری به‌طور کلی نسبت سیگنال به نویز (SNR) کوچک‌تری را ارائه می‌دهد که می‌تواند تا دو مرتبه قدر کمتر از سیستم‌های حوزه زمان معمولی باشد. برای غلبه بر محدودیت ذاتی SNR دامنه فرکانس PAM، یک شبکه عصبی U Net برای تقویت تصاویر تولید شده بدون نیاز به میانگین‌گیری بیش از حد یا اعمال توان نوری بالا بر روی نمونه استفاده شده است. در این زمینه، دسترسی به PAM بهبود می‌یابد زیرا هزینه سیستم به‌طور چشمگیری کاهش می‌یابد و در عین حال استانداردهای کیفیت تصویر به اندازه کافی بالا برای مشاهدات بیولوژیکی را حفظ می‌کند.