عملیات سرچ تصاویر گوگل به چه صورت انجام میشود؟

طبق مطالعاتی که در این زمینه انجام دادم به این نتیجه رسیدم که جستجوی تصاویر در گوگل از طریق تصویر، جزء راز های گوگل هست و هر چه در اینترنت یافتم جز حدس و گمان نبود. بنابراین تصمیم گرفتم با توجه به مطالعات و جستجوهایی که انجام دادم این مطلب را پیاده سازی کنم.به نظر میرسد که گوگل از ترکیب چندین تکنیک مختلف برای جستجوی تصاویر استفاده می‍‍‍کند.یکی از تکنیک‍هایی که به نظر میرسد گوگل از آن برای یافتن تصاویر مشابه استفاده می‍کند، تکنیک جستجوی عکس معکوس (Reverse image search) می‍باشد که یک تکنیک جستجوی تصویر مبتنی بر محتواست (content-based image retrieval (CBIR)) و شامل یک تصویر نمونه برای سیستم CBIRاست که سپس جستجوی خود را بر اساس آن انجام می‍دهد. جستجوی عکس معکوس به کاربران این امکان را می‌دهد که محتوایی را پیدا کنند که مربوط به یک تصویر نمونه خاص است یا محبوبیت یک تصویر را بررسی کنند و همچنین نسخه‌های دستکاری شده و آثار مشتق شده را کشف کنند.الگوریتم های متداول جستجوی عکس معکوس عبارتند از:تبدیل ویژگی تغییر ناپذیر مقیاس (Scale-invariant feature transform(SIFT)): یک الگوریتم بینایی ماشین برای تشخیص، استخراج، توصیف و تطبیق ویژگی های محلی در تصاویر است و کاربردهای متنوعی در تشخیص اشیا، ناوبری رباتیک، ترکیب تصویر، مدل سازی سه بعدی، تشخیص حرکت، ردیابی ویدئو و ... دارد.مناطق بیرونی با حداکثر پایداری (Maximally stable extremal regions(MSER))درخت واژگان (Vocabulary tree یا Bag-of-words model)مراحل کلی در هنگامیکه جستجو بر اساس تصویر انجام می‍شود تا از یک تصویر ارسالی به نتایج جستجوی برگشتی برسد به شرح زیر است:1. تجزیه و تحلیل تصویر: تصویر ارسال شده برای یافتن شناسه‍هایی مانند رنگ‍ها، نقاط، خطوط و بافت‍ها تجزیه و تحلیل می‍شود. در تجزیه و تحلیل تصویر به نظر میرسد از تکنیک تطبیق الگو (Pattern Matching) استفاده می‍شود. از این طریق لبه‍های داخل تصویر مشخص شده و ویژگی‍های اصلی به صورت بردار در دیتابیس ذخیره می‍شوند. سپس از تکنیک‍های هوش مصنوعی و یادگیری عمیق جهت درک محتوا استفاده می‍شود. هوش مصنوعی یک تصویر را بررسی می‍کند و گروهی از ویژگی‍ها را با احتمالات رخ داد هر کدام، گزارش می‍دهد که همه آنها به عنوان متا تگ برای تصویر استفاده می‍شود. اصطلاح «محتوا» در این زمینه ممکن است به رنگ‌ها، شکل‌ها، بافت‌ها یا هر اطلاعات دیگری که می‌تواند از خود تصویر مشتق شود اشاره کند (CBIR).2. ایجاد پرس و جو: این ویژگی‍های متمایز تصویر برای ایجاد یک عبارت جستجو استفاده می‍شود.3. تطبیق تصویر: تطبیق داده های متا دیتا و بررسی کردن محتوای داده‌ها و جمع‌بندی آنها انجام می‍شود و تصاویر مطابقت داده شده با پرس و جو مشخص می‍شوند.4. بازگشت نتایج: الگوریتم‌های جستجو و تطبیق گوگل، تصاویر مشابه را به عنوان نتایج به کاربر بر می‌گردانند.هسته اصلی الگوریتم موتور جستجوی تصویر گوگل بر تطبیق عبارت‍های جستجو با متن مرتبط با تصاویر متکی است. نمونه ای از متن مرتبط با تصاویر شامل موارد زیر است:نام فایلابرداده های تصویری مانند ابرداده EXIFمتن از صفحه وب که تصویر از آن پیوند داده شده استمتن از صفحه وب که تصویر به آن پیوند داردلنگر متن هایپرلینک ها به تصویرعنوان تصویرهنگامی که رتبه‌بندی اولیه نتایج جستجوی تصویر ایجاد شد، تصاویر برتر دوباره پردازش می‌شوند تا در نتایج جستجو، تصویر مرتبط‌تری ارائه شود. در این پردازش مجدد، به تصاویری که شبیه‌ترین تصاویر در زیر مجموعه هستند، ارتباط بیشتری داده می‌شود و تصاویری که خیلی متفاوت هستند، مجدداً رتبه‌بندی یا حتی حذف می‌شوند. برای اینکه نتایج مرتبط تری ارائه شود، عملیات‌های زیر نیز ممکن است انجام شود:حذف یا وزن بیشتر به تصاویر دارای چهره، بر اساس احتمال این که پرس و جو برای یافتن تصویر یک شخص باشدحذف یا وزن دادن بیشتر به تصاویر با نشانه ها یا اشیاء خاصوزن بیشتر به تصاویر با کیفیت بالاترنکات برجسته در مورد نحوه عملکرد موتور جستجوی تصویریک تصویر باید حاوی عبارات مرتبط در متا داده و متن اطراف خود و با کیفیت بالا باشد. همچنین، تصویر باید به اندازه کافی شبیه به تصاویر دیگر باشد تا گوگل بداند مرتبط است.برخی از نکات برجسته:اصطلاحات با تصاویر مرتبط هستند و برای مطابقت با پرس و جو استفاده می شوندگوگل از TF-IDF برای ارزیابی ارتباط یک عبارت با یک تصویر استفاده می کندهرچه عبارات مرتبط با تصاویر مرتبط باشد، احتمال بازیابی تصاویر در حین جستجو بیشتر استهر چه یک تصویر شبیه به همه تصاویر رتبه بندی شده برای یک پرس و جو بیشتر باشد، رتبه بهتری خواهد داشتمنحصر به فرد بودن تصویر به عنوان بخشی از امتیاز کیفیت تصویر محاسبه می شودشباهت با استفاده از شباهت ویژگی و داده های کلیک کاربران تخمین زده می شودوزن همه ویژگی های تصویر بسته به پرس و جو یکسان نیستهرچه کیفیت تصویر بالاتر باشد، رتبه بهتری خواهد داشتتغییرات کوچک تصاویر ممکن است منجر به این شود که تصاویر تکراری، منحصر به فرد در نظر گرفته شوندنشانه‌ها، اشیاء و افراد برای گوگل هنگام تجزیه و تحلیل تصاویر مهم می‌باشداجزای اصلی موتور جستجوی تصویرماژول ها (یا نرم افزارهای) جداگانه در موتور جستجوی تصویر در پردازش پرس و جو، پردازش تصاویر و رتبه بندی نتایج جستجو نقش دارند. موتور جستجوی تصویر از تمام این ماژول‍های مجزا در الگوریتم خود استفاده می‍کند.ماژول خزیدن تصویرماژول شرایط تصویرماژول ویژگی های تصویرماژول شباهت تصویرماژول احتمالاتماژول نمایه سازی تصویرسرور جستجوی تصویرماژول امتیازدهی و رتبه بندیمخزن تصاویر و فهرست تصاویرReference:[1] https://www.jcchouinard.com/google-image-search-engine/[2] https://en.wikipedia.org/wiki/Reverse_image_search[3] https://www.stanventures.com/blog/image-algorithm-seo/[4] https://www.linkedin.com/pulse/how-google-using-ai-computer-vision-lens-janak-sawale/[5] https://dsp.stackexchange.com/questions/5995/what-algorithm-does-google-use-for-its-search-by-image-site[6] https://www.quora.com/How-does-a-Google-image-search-engine-work[7] https://en.wikipedia.org/wiki/Scale-invariant_feature_transform[8] https://en.wikipedia.org/wiki/Maximally_stable_extremal_regions[9] https://en.wikipedia.org/wiki/Bag-of-words_model_in_computer_vision[10] https://en.wikipedia.org/wiki/Content-based_image_retrieval[11] https://en.wikipedia.org/wiki/Google_Images[12] https://en.wikipedia.org/wiki/Exif[13] https://www.jcchouinard.com/tf-idf/