تشخیص بافت پارچه با بهره گیری از احساسات بصری (مقاله ترجمه شده)

چکیدهبینایی و لامسه جزو دو حس مهم برای انسان ها بوده و اطلاعاتی مکمل برای درک و فهم محیط ارائه می نمایند. علاوه بر این، روبات ها نیز قادر به بهره مندی از چنین توانایی های سنجش چندمنظوره می باشند. در مطالعه حاضر، برای اولین بار (با توجه به اطلاعات در دسترس) به منظور شناسایی بافت پارچه با استفاده از احساسات لامسه ای و بصری، روش تلفیقی جدید تحت عنوان تجزیه و تحلیل آماری کورایانس عمیق (DMCA) با فراگیری فضای پنهان مشترک با هدف به اشتراک گذاری ویژگی ها از طریق حسگرهای بصری و لامسه، معرفی شده است. نتایج به دست آمده از این الگوریتم با بهره گیری از مجموعه داده های جدید که شامل داده های بصری و لامسه جفت شده مربوط به بافت پارچه، چنین نشان داده اند که با استفاده از چارچوب DMCA معرفی شده، عملکرد شناسایی بافت به اندازه بیش از 90% بهبود می یابد. علاوه بر این، بدین نتیجه رسیده شده است که عملکرد مشاهده شده در حسگر بصری و حسگر لامسه از طریق اجرا و پیاده سازی فضای تمثیلی مشترک، نسبت به روش فراگیری از طریق داده های یکپارچه، قادر به بهبود و اصلاح می باشند.مقدمهانسان ها دارای تجارب وسیعی از "لمس به منظور دیدن" و "دیدن به منظور حس نمودن" می باشند. به عنوان مثال، هنگامیکه فردی قصد درک و آشنایی با جسمی را دارد، به منظور "احساس" ویژگی های اصلی آن نظیر اشکال و بافت ها، ابتدا با چشمان خویش به جسم نگاه نموده و بدین ترتیب احساسات لامسه ای خویش را برآورد می نماید. چنین ویژگی های بصری پس از درک و آشنایی با جسم غیرقابل مشاهده می شوند چرا که بینایی توسط دست مستور شده و اثر خویش را از دست می دهد. در چنین وضعیتی، حس لامسه در دست به منظور کمک در "درک" ویژگی های مربوطه، توزیع می گردد. از طریق ردیابی و به اشتراک گذاری این سرنخ ها از طریق حس بینایی و لامسه، می توان اشیا (اجسام) را بهتر "درک" یا "احساس" نمود.در مطالعه حاضر، شناسایی بافت پارچه تحت عنوان حوزه بررسی به منظور اجرا و پیاده سازی این مکانیزم به اشتراک گذاری ویژگی بین حس بینایی و لامسه در روبات ها، در نظر گرفته شده است: حس لامسه قادر به درک بافت های بسیار دقیق نظیر الگوی توزیع نخ در لباس می باشد در حالیکه حس بینایی الگوهای مشابه موجود در بافت (هرچند گاها این بافت درک شده کاملا تار می باشد) را شناسایی می نماید. علاوه بر این، عواملی که تنها در یک ویژگی (خصوصیت) وجود دارند منجر به بدتر شدن عملکرد شناسایی شده اند. به عنوان مثال، مغایرت رنگی در پارچه از طریق بینایی قابل مشاهده بوده اما از منظر حس لامسه قابل درک نمی باشد. هدف از مطالعه حاضر استخراج اطلاعات مشترک از این دو ویژگی و در عین حال حذف این عوامل، می باشد. به منظور فراگیری فضای نهان مشترک حس بینایی و لامسه، در مطالعه حاضر، چارچوبی جدید از ائتلاف عمیق مبنی بر شبکه های عصبی عمیق و تجزیه و تحلیل حداکثر واریانس، معرفی شده است. مجموعه داده ای جدید که شامل جفت داده های بصری و لامسه می باشد نیز در مطالعه، ارائه شده اند. مجموعه داده های مربوط به لباس وی تکمجموعه ای از داده های بصری و لامسه ای مربوط به لباس را با بهره گیری از 100 قطعه لباس روزانه تحت عنوان مجموعه داده ای لباس وی تک، جمع آوری شده اند. البسه به کار گرفته شده از گونه های مختلف و از پارچه هایی با جنس های متنوع با بافت های مختلف، بوده اند. در مقایسه با داده های موجود که تنها شامل تصاویر بصری [2] یا برداشت های لامسه ای [3] از سطوح بافت می باشند، داده هایی که بردرگیرنده دو ویژگی نظیر بینایی و لامسه هستند، هنگامیکه پارچه به مسطح بوده، جمع آوری شده اند. در ابتدا تصاویر رنگی با استفاده از دوربین کانن T20i SLR به صورت تقریبا موازی با خود لباس همراه با چرخش های مختلف در سطح گرفته شده اند تا بدین ترتیب در مجموع بازای هر لباس، ده تصویر در دسترس باشد. در نتیجه، 1000 عکس دیجیتالی در پایگاه داده ای وی تک، موجود می باشد. داده های لامسه ای توسط حسگر GelSight جمع آوری شده اند. همانطور که در شکل 1a نیز نمایش داده شده، فردی حسگر GelSight را در دست گرفته و بر سطح پاچه لباس مد نظر در جهات معمول، فشار می دهد. همانظور که در شکل 1b نیز قابل مشاهده می باشد، با فشار حسگر بر سطح پارچه لباس، مجموعه ای از تصایر مربوط به بافت لباس توسط GelSight گرفته و ذخیره می شوند. در مجموع 96536 تصویر با بهره گیری از GelSight جمع آوری شده است. تمامی داده ها بر اساس ساختار سطحی پارچه لباس بوده و هرگونه زینت سخت موجود در سطح البسه به منظور جلوگیری از نمایان شدن در تصاویر گرفته شده توسط Gelsight یا تصاویر دیجیتالی، حذف شده است. نمونه هایی از تصاویر دیجیتالی و داده های جمع آوری شده توسط GelSight در شکل2ف نمایش داده شده است.روش شناسی و نتایجبه منظور مطابقت داده های بصری و لامسه ای که به خوبی جفت نشده اند، با بهره گیری از تجزیه و تحلیل عمیق حداکثر واریانس (DMCA) ابتدا تمثیل های این دو ویژگی از طریق عبور آنها از لایه های چندگانه انباشته جداگانه تبدیل غیرخطی، محاسبه و سپس با پیاده سازی و اجرای تجزیه و تحلیل حداکثر واریانس، فضای پنهان مشترک برای این دو ویژگی به طوریکه کوواریانس بین این دو تمثیل حداکثر مقدار خویش باشد، محاسبه شده است. به منظور ارزیابی و بررسی روش DMCA معرفی شده در شناسایی بافت لباس، از مجموعه داده ای لباس وی تک استفاده شده است.ابتدا از روش شناسایی تک نمایی کلاسیک با بهره گیری از داده های مربوط به هریک از ویژگی ها، استفاده شده است. هنگام بهره گیری از داده های مربوط به حسگر GelSight و دوربین دیجیتال برای مجموعه آموزش و آزمون، میزان دقت برآورد شده برای شناسایی بافت پارچه برابر با 83.4% یا 85.9% می باشد. این ارقام نشان دهنده، تمثیل های فراگرفته شده توسط شبکه های عمیق به کارگرفته شده برای شناسایی بافت با استفاده از هریک از ویژگی ها به صورت جداگانه، می باشند. با این حال، به ویژه در حوزه رباتیک، دستیابی به داده های مربوط به ویژگی خاص که برای آموزش به کار گرفته شده اند، امری آسان نمی باشد: داده های لامسه ای اغلب در دسترس نبوده یا جمع آوری آنها بسیار دشوار می باشد؛ علاوه بر این، دسترسی به بافت های دارای جزئیات متعلق به اجسام (اشیا) حتی از طریق دوربین های دیجیتال، امری ممکن و آسان نمی باشد. بدین منظور، به منظور آموزش مدل برای شناسایی بافت متقاطع پارچه با بهره گیری از یک ویژگی حسی در عین حال نیز از داده های ویژگی دیگر برای اجرای مدل استفاده شده است. این امر بر اساس این فرض که ویژگی های مشابه بصری بافت ها به احتمال زیاد دارای بافت های لامسه ای مشابه می باشند و برعکس، شکل گرفته است.شایان ذکر است که روش مقطعی شناسایی بافت پارچه عملکردی بدتر نسبت به موارد انجام گرفته توسط روش تک نمایی، است. هنگام ارزیابی داده های برگرفته شده از حسگر GelSight برای آموزش با بهره گیری از مدل آموزش داده شده توسط داده های بصری، دقت به دست آمده برابر با 16.7% بوده است. از سویی دیگر، در وضعیت برعکس، دقت به دست آمده تنها برابر با 14.8% بوده است. دلایل احتمالی این امر، عواملیست که منجر به تفاوت در شکل ظاهری الگوی پارچه مشابه در دو ویژگی مختلف، می باشند. در دوربین، دید، مقیاس، چرخش، انتقال، واریانس رنگ و نور قابل مشاهده می باشند. درمورد احساس لامسه نیز، برداشت های مختلف از الگوهای لباس با توجه به میزان فشارهای مختلف اعمال شده توسط حسگر بر سطح پارچه، تغییر می نمایند. این تفاوت ها بدین معنا می باشند که امکان مناسب نبودن ویژگی های فراگرفته شده توسط یکی از روش ها برای روش دیگر، وجود دارد. به منظور استخراج ویژگی های همبسته بین حس بینایی و لامسه، و حفظ این ویژگی ها برای شناسایی بافت پارچه و در عین حال کاهش تفاوت های بین این دو روش، از روش DMCA معرفی شده به منظور دستیابی به تمثیل مشترک از بافت ها برای این دو ویژگی ها، بهره گرفته شده است.در طی بررسی ها، چنین فرض شده که داده های جمع آوری شده توسط دوربین و GelSight در طی مرحله فراگیری مدل به کارگرفته شده اند در حالیکه، از داده های GelSight یا دوربین تنها در تحلیل های بعدی انجام گرفته با استفاده از داده های جدید، بهره گرفته شده است. تنظیمات به کار گرفته شده در پی بردن به این مساله که آیا چارچوب DMCA قادر به بهره گیری از تمثیل های دارای ابعاد کمتر که در داده های دونمایی اطلاعات را نسبت به موارد فراگرفته شده توسط داده های تک نمایی، بهتر نمایش می دهند، می باشد یا نه، کمک قابل توجهی می نمایند. ابتدا نحوه طبقه بندی بافت پارچه در صورت در دسترس بودن داده های برگرفته از GelSight، بررسی شده است. به دلیل افزایش ابعاد خروجی هنگام بهره گیری از روش DMCA، عملکرد طبقه بندی نیز بهبود می یابد. با ادامه افزایش ابعاد خروجی، میزان دقت روش DMCA نیز کاهش یافته و میزان دقت طبقه بندی انجام گرفته به 90% می رسد. عملکردی مشابه هنگام طبقه بندی گروه های مختلف پارچه با بهر گیری از روش DMCA در صورت در دسترس بودن تصاویر اتخاذشده از دوربین، نیز قابل مشاهده است. عملکرد طبقه بندی روش DMCA با افزایش ابعاد خروجی، افزایش قابل توجهی از خود نشان داده و هنگام ابعاد خروجی به بیش از 20 می رسد، کاهش شدیدی داشته و بدین ترتیب دقت طبقه بندی برابر با 92.6% می گردد.به طور کلی، نتایج به دست آمده چنین نشان داده اند که رویه فراگیری DMCA معرفی شده هنگام استفاده از تمثیل های مشترک لامسه-بصری چه در شناسایی لامسه ای چه در شناسایی بصری بافت پارچه، عملکرد قابل توجهی از خود ارائه می دهد. این امرثابت می نماید که DMCA نه تنها ابزاری قدرتمند برای ویژگی های ساخت دست بشر می باشد، بلکه، برای ابزاری مناسب و قدرتمند برای ویژگی های فراگرفته شده توسط شبکه های عمیق نیز است. علاوه بر این، چنین نمایش داده شده است که استفاده از داده های مدل دیگر در مرحله یادگیری تنها هنگام بهره گیری از یک ویژگی در مرحله آزمون، منجر به بهبود عملکرد شناسایی می گردد. جزئیات بیشتر در [4] ارائه شده است.این مقاله در سال 2018 و در کارگاه ICRA 2018 با موضوع "لمس فعال برای ادراک و تعامل: چگونه طبیعت الهام بخش رباتیک است"، توسط آزمایشگاه علوم کامپیوتر و هوش مصنوعی منتشر شده و در سایت ای ترجمه جهت دانلود ارائه شده است. در صورت نیاز به دانلود رایگان اصل مقاله انگلیسی و ترجمه آن می توانید به پست دانلود ترجمه مقاله تشخیص بافت پارچه با بهره گیری از احساسات بصری در سایت ای ترجمه مراجعه نمایید.