Устройство искусственной системы видения типа "глаз стрекозы"

Полезная модель может найти применение в устройствах наблюдения, робототехнике, в устройствах для обнаружения целей, определения местоположения, распознавания и навигации без столкновений наземных и аэрокосмических транспортных средств, инструментах для эндоскопии, в цифровых камерах, которые имитируют полусферические сложные фасеточные глаза, известные в биологии.
Известно, что у членистоногих, например, у стрекоз, муравьев, короедов, мух эволюция создала удивительно сложный класс систем визуализации сширокоугольным полем зрения, низкими аберрациями, высокой четкостью движения и бесконечной глубиной поля – фасеточные глаза [А. Сергеев, А. Благодатский. Насекомые и бионика: загадки зрительного аппарата // Природа, № 1, 2015; Руководство по физиологии органов чувств насекомых / Под ред. Г. А. Мазохина-Поршнякова. М., 1983; Warrant, E. &Nillson, D.-E.Invertebrate Vision Ch. 1 (Cambridge Univ. Press, 2006); Dudley, R.The Biomechanics of Insect Flight: Form, Function, Evolution Ch. 5 (Princeton Univ. Press, 2000); Floreano, D., Zufferey, J.-C., Srinivasan, M. V. & Ellington, C. Flying Insects and Robot Ch. 10 (Springer, 2009).].Они представляют собой сильно выпуклые полусферы, разделенные на многие тысячи маленьких линз – фасеток с числом линз от нескольких сотен до нескольких десятков тысяч. Чем больше фасеток, тем большим разрешением обладает оптическая система. Размеры фасетки обычно лежат в пределах примерно от 10λ до 100λ, где λ - длина волны используемого излучения. Линза (фасетка) имеет очень ограниченный угол зрения и «видит» только тот крошечный участок находящегося перед глазами предмета, на который направлено продолжение оптической оси данной линзы. Так как линзы тесно прилегают друг к другу, а при этом их оси расходятся лучеобразно, то сложный глаз охватывает предмет в целом, причем изображение предмета получается мозаичным (то есть составленным из множества отдельных кусочков). Следствием этого является то, что сложный глаз может точно и одновременно осуществлять визуализацию изображений нескольких объектов в поле зрения,
Таким образом, основное назначение фасетки – это собрать электромагнитное излучение в узком конусе и передать его чувствительному элементу. В технике аналогом таких устройств могут выступать линзы и рупорные или зеркальные антенны. При этом, например, рупор может иметь большее сечение раскрыва круглой формы или прямоугольной, или шестиугольной, или произвольной форм и с максимальным раскрывом примерно от 5λ до 100λ, а минимальный раскрыв определяется размером чувствительной площадки фотоприемника. Такая система видения позволяет видеть различные объекты одновременно во всех направлениях.
Одним из основных компонент системы 3D-визуализации следующего поколения являются матрицы микролинз, поскольку она обладает некоторыми хорошими оптическими свойствами, такими как чрезвычайно большие углы обзора, низкие аберрации и искажения, высокое временное разрешение и бесконечная глубина резкости.
Известно, что в отличие от систем видения на основе объективов «рыбий глаз» система видения с фасеточным глазом имеет почти бесконечную глубину резкости, т.е. эта система позволяет видеть все вокруг, и все, как близко, так и далеко, способностью обнаруживать быстрые движения объектов [ZahraM.Bagheri, StevenD. Wiederman, BenjaminS. Cazzolato, StevenGraingerandDavidC. O'Carroll. Properties of neuronal facilitation that improve target tracking in natural pursuit simulations // The Royal Society Interface, Published:06 July 2015, https://doi.org/10.1098/rsif.2015.0083].
Известна система видения на основе искусственного «глаза стрекозы» [Jun Tanida, Tomoya Kumagai, Kenji Yamada, Shigehiro Miyatake, Kouichi Ishida, Takashi Morimoto, Noriyuki Kondou, Daisuke Miyazaki, and Yoshiki Ichioka. Thin observation module by bound optics (TOMBO): concept and experimental verification // Applied Optics, 40(11), P.1806-P.1813], состоящая из матрицы идентичных микролинз, расположенных на плоскости, ПЗС- камеры и системы экранов, расположенных между линзами и ПЗС-камерой.
В качестве микролинзы применялась диэлектрическая линза диаметром, примерно равным 500λ (на длине волны 500 нм) с фокусным расстоянием 1300λ, изготовленного из листового стекла Nippon.
Недостатком устройства является малый угол обзора, обусловленный размещением матрицы микролинз на плоской поверхности, невысокая чувствительность приемных устройств, обусловленная не эффективностью взаимодействия приемного элемента с оптическим излучением в области фокуса линзы, большая толщина системы микролинза – приемное устройство за счет большой величины фокусного расстояния микролинзы.
Известна полусферическая камера для сложных глаз (SCECAM), которая аналогична глазу плодовой мушки и состоящая из трех последовательно расположенных подсистем: полусферического сложного глаза, оптической ретрансляционной системы и КМОП-датчика изображения [Chengyong Shi, Yuanyuan Wang, Chenyang Liu, Taisheng Wang, Hongxin Zhang, Wuxia Liao, Zhijun Xu, Weixing Yu. SCECam: a spherical compound eye camera for fast location and recognition of objects at a large field of view // Optics Express, v.25, N 26, 25 Dec. 2017, 32333].
За счет введения промежуточной оптической ретрансляционной системы изогнутая фокальная плоскость после полусферического сложного глаза может быть преобразована и спроецирована на плоскую фокальную плоскость датчика изображения.
Полусферическая матрица из 4400 микролинз диаметром около 500 мкм (около 1000λ) и с фокусным расстоянием порядка 1,28 мм, выполненная из материала с показателем преломления равным N=1,49, располагалась на полусфере диаметром 40 мм. Ширина диаграммы направленности каждой линзы 2.4 градуса. Физический размер камеры SCECam составляют 40 мм × 40 мм × 80 мм.
Достоинством системы видения является большой угол обзора (до 122,4°) с 4400 линзами и приемными элементами, что позволяет обнаруживать и находить быстро движущиеся объекты с очень высокой скоростью.
Известна всенаправленная камера, реализованная путем наложения КМОП-датчиков изображения на поверхность сферической структуры [Hossein Afshari, Laurent Jacques, Luigi Bagnato, Alexandre Schmid, Pierre Vandergheynst, Yusuf Leblebici. The PANOPTIC Camera: A Plenoptic Sensor with Real-Time Omnidirectional Capability // J. Sign Process 2013, 70, pp. 305-328, DOI 10.1007/s11265-012-0668-4], состоящая из идентичных датчиков изображения, расположенных на полусфере. Диаметр полусферы, на которой размещены около 30 приемных элементов, составляет примерно 129 мм.
Известна система видения [Hansong Zeng, Hassan Borteh, and Yi Zhao. A Bioispired 3D Artifical Compound Eye with Focus-Tunable Single Lenses // 15th International Conference on Miniaturized Systems for Chemistry and Life Sciences October 2-6, 2011, Seattle, Washington, USА], состоящая из множества жидких микролинз, расположенных на полусферической поверхности и заключенных в совместимые мембраны, гибкой базовой диафрагмы, интеллектуальной микрофлюидной системы и приемных излучение элементов.
Матрица микролинз изготовлена из широкодоступного материала PDMS с использованием стандартного процесса мягкой литографии. Микролинзы заполнены преломляющим веществом - минеральное масло (SigmaAldrich, показатель преломления, равный 1,33, на длине волны λ=532 нм). Фокусирующая способность одиночной линзы регулируется путем регулировки давления, приводящего в действие преломляющую среду.
Достоинством устройства является возможность оперативной регулировки фокусного расстояния микролинз.
Недостатком полусферических систем видения являются невысокая чувствительность приемных устройств, обусловленная не эффективностью взаимодействия приемного элемента с оптическим излучением в области фокуса линзы, сложностью размещения и юстировки приемной матрицы в фокусах линз, большая толщина системы микролинза – приемное устройство.
В качестве прототипа выбрано полусферическое устройство построения изображения оптического диапазона длин волн, состоящее матрицы идентичных диэлектрических выпуклых линз на цилиндрическом основании равномерно расположенных на тонкой полусферической поверхности и фотоприемных устройств (кремниевый фотоприемник (фотодиод)), каждое из которых расположено в фокусе линзы, при этом сигналы с приемных устройств подавались в обрабатывающее устройство [YoungMinSong, YizhuXie, ViktorMalyarchuk, JianliangXiao, InhwaJung, Ki-JoongChoi, ZhuangjianLiu, HyunsungPark, ChaofengLu, Rak-HwanKim, RuiLi, KennethB. Crozier, YonggangHuang&JohnA. Rogers.  Digital cameras with designs inspired by the arthropod eye // Nature, 2 MAY 2013, Vol 497, 95-99, doi:10.1038/nature12083.].
В устройстве использовалось порядка 180 выпуклых диэлектрических линз диаметром 0,4 мм из эластомерного поли(диметилсилоксана) (PDMS, с показателем преломления n < 1,43) на цилиндрическом основании высотой 0,4 мм с шириной диаграммы направленности одиночного элемента порядка 9,7 градусов и равномерно расположенных на полусферической тонкой поверхности с радиусом 6,96 мм. В фокусе линз с фокусным расстоянием 1,35 мм были расположены кремниевые фотодиоды, сигналы с которых подавались в обрабатывающее устройство.
Достоинством устройства является широкое поле зрения (порядка 160 градусов) и бесконечная глубина изображаемого пространства.
Недостатком устройства являются невысокая чувствительность приемных устройств, обусловленная не эффективностью взаимодействия приемного элемента с оптическим излучением в области фокуса линзы, сложностью размещения и юстировки фотоприемной матрицы в фокусах линз, большая толщина системы микролинза – приемное устройство.
Задачей заявляемой полезной модели является устранение указанных недостатков, а именно разработка устройства системы видения, аналогичной «глаз стрекозы», имеющего высокую чувствительность приемных устройств, малую толщину системы микролинза – фотоприемное устройство.
Поставленная задача решается тем, устройство системы видения, аналогичной «глазу стрекозы», состоящее из матрицы идентичных диэлектрических линз равномерно расположенных на тонкой полусферической поверхности и приемных устройств, каждое из которых расположено в фокусе линзы, при этом сигналы с приемных устройств подавались в обрабатывающее устройство, новым является то, что линзы выполнены в виде мезоразмерных диэлектрических частиц с характерным размером не менее λ, где λ - длина волны используемого излучения, с относительным коэффициентом преломления материала лежащего в диапазоне примерно от 1,4 до 1,7, формирующие на их внешней границе с противоположной стороны от падающего излучения области с повышенной интенсивностью излучения с поперечными размерами порядка λ/3 - λ/4, а приемные устройства расположены непосредственно на теневой поверхности частицы в этой области с повышенной интенсивностью излучения.
Полезная модель поясняется чертежами.
На Фиг.1 приведена схема устройства системы видения аналогичная «глазу стрекозы».
На Фиг. 2 приведены примеры формирования на внешней границе диэлектрической мезоразмерной частицы с противоположной стороны от падающего излучения области с повышенной интенсивностью излучения с поперечными размерами порядка λ/3 - λ/4 для частиц с характерным размером 3λ сферической формы (а), цилиндрической формы (б), кубоида (в), кругового конуса (г), усеченного конуса (д), пирамиды (е).
Обозначения: 1 - мезоразмерная диэлектрическая частица, 2 – фотоприемное устройство, 3 – обрабатывающее устройство, 4 - область с повышенной интенсивностью излучения с поперечными размерами порядка λ/3 - λ/4, 5 – полусферическая поверхность.
Известно, что фундаментальный рэлеевский критерий разрешения оптических систем заключается в том, что минимальный размер различимого объекта несколько меньше длины волны используемого излучения и принципиально ограничен дифракцией этого излучения [Борн М., Вольф Э. Основы оптики. - М.: Мир, 1978].Невозможность сфокусировать свет в свободном пространстве в пятно с размерами меньше некоторого дифракционного предела следует и из соотношения типа соотношения неопределенностей Гейзенберга [Minin I.V., Minin O.V. Experimental verification 3D subwavelength resolution beyond the diffraction limit with zoneplate in millimeter wave // Microwave and Optical Technology Letters, Vol. 56, No. 10, October 2014, 2436-2439].
Под преодолением дифракционного предела понимается фокусировка излучения в пятно с размерами меньше, чем у пятна Эйри [Борн М., Вольф Э. Основы оптики. - М.: Мир, 1978].
Преодолеть дифракционный предел в оптике можно различными способами, например, с помощью эффекта «фотонной наноструи» (например, см. A.Heifetz et al. Experimental confirmation of backscattering enhancement induced by a photonic jet // Appl.Phys.Lett., 89, 221118 (2006)). Поперечный размер фотонной наноструи составляет 1/3 … 1/4 длины волны излучения, что меньше дифракционного предела классической линзы.
Термин фотонная струя был введен в 2004 году [Z.G. Chen, A. Taflove, andV. Backman. Photonic nano jet enhancement of back scattering of light by nano particles: a potential novel visible-light ultramicroscopy technique // Optics Express, vol. 12, pp. 1214-1220, Apr 2004] для описания области фокусировки с пространственными размерами менее дифракционного предела и возникающей вблизи диэлектрического цилиндра или сферы, при освещении их оптическим излучением. Указывалось, что усиление поля, наблюдаемое в фотонной струе, не может быть предсказано из приближения геометрической оптики.
При этом формировать локальные области концентрирования электромагнитной энергии вблизи поверхности мезоразмерных диэлектрических частиц возможно с помощью частиц различной формы, например, в форме сферы, усеченной сферы, многоугольной призмы, многоугольной пирамиды, кубоида, кругового конуса, цилиндра и т.д. при облучении их электромагнитной волной с плоским волновым фронтом и т.д. [I.V.Mininand O.V.Minin. Diffractive optics and nano photonics: Resolution below the diffraction limit, Springer, 2016 http://www.springer.com/us/book/9783319242514#aboutBook; И.В. Минин, О.В. Минин. Фотоника изолированных диэлектрических частиц произвольной трехмерной формы - новое направление оптических информационных технологий // Вестник НГУ. Серия: Информационные технологии, 2014, №4, С.4-10; Minin I.V., Minin O.V., Kharitoshin N.A. Localized high field enhancements from hemispherical 3D mesoscale dielectric particles in the reflection mode // 16th International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices June 29 - July 3, 2015; V. Pacheco-Pena, M. Beruete, I. V. Minin, O. V. Minin. Terajets produced by 3D dielectric cuboids // Appl. Phys. Lett. V.105, 084102 (2014)].
Работа устройства осуществляется следующим образом. Электромагнитное излучение освещает диэлектрическую мезоразмерную частицу 1, которая формирует на своей теневой стороне область с повышенной интенсивностью излучения с поперечными размерами порядка λ/3 - λ/4 4. Диэлектрические мезоразмерные частицы 1 располагаются равномерно на полусферической поверхности 5. В области с повышенной интенсивностью излучения с поперечными размерами порядка λ/3 - λ/4 4 размещаются фотоприемные элементы 2, например, фотодиоды или лавинные фотодиоды. Сигналы с фотоприемных элементов поступают в обрабатывающее устройство 3. Фотоприемные элементы 2, например, могут размещаться на полусферической поверхности и непосредственно присоединяться к теневой поверхности мезоразмерных частичек 1. Общее построение изображения следует из точечной выборки приемным элементом 2 изображений, сформированных на каждой мезоразмерной частице 1. Таким образом, каждый омматидий вносит один пиксель в другую область результирующего изображения. Каждая мезоразмерная частица 1 создает свое небольшое изображение объекта (точку). Мезоразмерная частица 1 имеет очень ограниченный угол зрения и «видит» только тот крошечный участок находящегося перед глазами предмета, на который направлено продолжение ее оптической оси. Так как мезоразмерные частицы 1 плотно прилегают друг к другу на полусферической поверхности, а при этом их оси расходятся лучеобразно, то полусферическая система видения охватывает предмет в целом, причем изображение предмета получается мозаичным (то есть составленным из множества отдельных кусочков).
В результате проведенных исследований было установлено, что диэлектрические мезоразмерные частицы формируют на своей теневой стороне область с повышенной интенсивностью излучения с поперечными размерами порядка λ/3 - λ/4 при характерном размере частицы от λ до 1000λ, где λ - длина волны используемого излучения.
При коэффициенте преломления материала мезоразмерной частицы менее примерно 1.4 поперечный размер локальной области концентрации поля становится порядка и более дифракционного предела и не обеспечивает значительного повышения интенсивности электромагнитного поля на ее границе. При коэффициенте преломления материала мезоразмерной частицы примерно более 1,7 локальная концентрация электромагнитного поля возникает внутри частицы и не может быть использовано для повышения чувствительности приемного устройства.
Повышение чувствительности фотоприемного элемента достигается за счет более эффективного взаимодействия электромагнитного поля в области фокусировки излучения с фотоприемником. Это достигается за счет локализации электромагнитного поля в поперечном размере порядка λ/3 – λ/4.
Установлено, что, например, для мезоразмерной частицы с характерным размером порядка длины волны излучения интенсивность света непосредственно на границе частицы превосходит падающую интенсивность примерно в 7-8 раз, для частицы с характерными размерами порядка двух длин волн - примерно в 20 раз. Для частиц большего размера величина этого отношения увеличивается еще сильнее.
По сравнению с линзами эффект увеличения интенсивности электромагнитного излучения в области фокуса составляет 1.5-2 раза, так ка для идеальной линзы поперечный размер области фокусировки равен λ/2.
Малая толщина системы микролинза – фотоприемное устройство обеспечивается тем, что область фокусировки излучения располагается на теневой стороне частицы, т.е. фокусное расстояние стремиться к 0.
Изготовление мезоразмерных диэлектрических частичек, расположенных на тонкой сферической поверхности возможно, например, методом литья и отверждения полимера в прецизионной алюминиевой форме с микрообработкой [Young Min Song, Yizhu Xie, Viktor Malyarchuk, Jianliang Xiao, InhwaJung, Ki-Joong Choi, Zhuangjian Liu, Hyunsung Park, Chaofeng Lu, Rak-HwanKim, RuiLi, KennethB. Crozier, YonggangHuang&JohnA. Rogers.  Digital cameras with designs inspired by the arthropod eye // NATURE, 2 MAY 2013, VOL 497, 95, doi:10.1038/nature12083.], методамимикрообработкинаосновефемтосекундноголазераиметодетермомеханическогоизгиба [H. W. Liu, F. Chen, Q. Yang, P. B. Qu, S. G. He, X. H. Wang, J. H. Si, and X. Hou, Fabrication of bioinspired omnidirectional and gapless microlens array for wide field-of-view detections // Appl. Phys. Lett. 100, 133701 (2012); Z. Deng, F. Chen, Q. Yang, H. Bian, G. Du, J. Yong, C. Shan, and X. Hou, Dragonfly-Eye-Inspired Artificial Compound Eyes with Sophisticated Imaging // Adv. Funct. Mater. 26, 1995–2001 (2016).], методами мягкой литографии [M. J. Wang, T. S. Wang, H. H. Shen, J. L. Zhao, Z. Y. Zhang, J. L. Du, and W. X. Yu, Subtle control on hierarchic reflow for the simple and massive fabrication of biomimetic compound eye arrays in polymers for imaging at a large field of view // J. Mater. Chem. C Mater. Opt. Electron. Devices 4, 108–112 (2016)] с последующим процессом термического тиснения [H. W. Liu, F. Chen, Q. Yang, P. B. Qu, S. G. He, X. H. Wang, J. H. Si, and X. Hou Fabrication of bioinspired omnidirectional and gapless microlens array for wide field-of-view detections // Appl. Phys. Lett. 100, 133701 (2012); W. K. Kuo, G. F. Kuo, S. Y. Lin, and H. H. Yu,  Fabrication and characterization of artificial miniaturized insect compound eyes for imaging // Bioinspir. Biomim.10(5), 056010 (2015)], с использованием ультрафиолетового излучения [J. Chen, J. Cheng, D. Zhang, and S.-C. Chen, Precision UV imprinting system for parallel fabrication of large- area micro-lens arrays on non-planar surfaces // Precis. Eng. 44, 70–74 (2016).]и другими известными методами, обзор которых приведен, например, в [Wei Yuan, Li Hua Li, Wing Bun Lee and Chang Yuen Chan. Fabrication of Microlens Array and Its Application: A Review // J. Mech. Eng. (2018) 31:16 https://doi.org/10.1186/s10033-018-0204-y].
2
В качестве материала мезоразмерных частиц могут использоваться различные материалы, например, SiOс коэффициентом преломления 1,538 на длине волны 0,7 мкм, полиэстер, с коэффициентом преломления 1,59 на длине волны 0,532 мкм, различные виды стекол, ситаллы, кварц, полиметилметакрилат, полистирол, поликарбонаты [Справочник конструктора оптико-механ. приборов/Под ред. В.А. Панова. - Л.: Машиностроение, 1980.] с относительными коэффициентами преломления материала лежащего в диапазоне от 1,4 до 1,7.Могут использоваться и другие полимеры и материалы, обеспечивающие пропускание излучения в нужном диапазоне.
Известны полусферические матрицы фотоприемников и методы их изготовления, например, с использованием эластомерной мембраны с пневматической накачкой, метод создания изогнутых монолитных кремниевых структур на основе микроструктурировании монолитной кремниевой матрицы с использованием процесса глубокого реактивного ионного травления; метод изготовления на гибкой кремниевой подложке по технологии CCD на которую мозаично наносятся структуры приемных элементов с минимально возможным размером и т.д. [Heung Cho Ko, Mark P Stoykovich, Jizhou Song, Viktor Malyarchuk, Won Mook Choi, Chang-Jae Yu, Joseph B Geddes 3rd, Jianliang Xiao, Shuodao Wang, Yonggang Huang, John A Rogers. A hemispherical electronic eye camera based on compressible silicon optoelectronics // Nature 454, 748–753 (2008); InhwaJ unga, Jianliang Xiao, Viktor Malyarchuka , Chaofeng Lub, Ming Lic, Zhuangjian Liu, Jongseung Yoon, Yonggan Huangc, and John A. Rogers. Dynamically tunable hemispherical electronic eye camera system with adjustable zoom capability. // Proc. Natl Acad. Sci. USA 108, 1788–1793 (2011); Hung, P. J., Jeong, K., Liu, G. L. & Lee, L. P. Microfabricated suspensions for electrical connections on the tunable elastomer membrane // Appl. Phys. Lett. 85, 6051–6053 (2004), https://doi.org/10.1063/1.1835553 ; Jeong, K., Kim, J. & Lee, L. P. Biologically inspired artificial compound eyes // Science 312, 557–561 (2006); Dinyari, R., Rim, S.-B., Huang, K., Catrysse, P. B. &Peumans, P. Curving monolithic silicon for nonplanar focal plane array applications // Appl. Phys. Lett. 92, 191114 (2008); Xu, X., Davanco, M., Qi, X. F. & Forrest, S. R. Direct transfer patterning on three dimensionally deformed surfaces at micrometer resolutions and its application to hemispherical focal plane detector arrays //  Org. Electron. 9, 1122–1127 (2008)].
Достигаемый в такой системе видения полезный эффект выражается в разработке устройства системы видения, аналогичной «глазу стрекозы», имеющего высокую чувствительность приемных устройств, малую толщину системы микролинза – фотоприемное устройство.