Source: https://patents.google.com/patent/JP6244061B2/en
Timestamp: 2019-07-23 07:59:49
Document Index: 571908447

Matched Legal Cases: ['art 22', 'art 12', 'art 12', 'art 22', 'art 12', 'art 520']

JP6244061B2 - Distance image acquiring apparatus and the distance image acquiring method - Google Patents
Distance image acquiring apparatus and the distance image acquiring method Download PDF
JP6244061B2
JP6244061B2 JP2017509157A JP2017509157A JP6244061B2 JP 6244061 B2 JP6244061 B2 JP 6244061B2 JP 2017509157 A JP2017509157 A JP 2017509157A JP 2017509157 A JP2017509157 A JP 2017509157A JP 6244061 B2 JP6244061 B2 JP 6244061B2
JP2017509157A
JPWO2016157601A1 (en
神谷　毅
2015-03-30 Priority to JP2015069131 priority Critical
2015-03-30 Priority to JP2015069131 priority
2015-11-11 Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
2015-11-11 Priority to PCT/JP2015/081776 priority patent/WO2016157601A1/en
2017-11-24 Publication of JPWO2016157601A1 publication Critical patent/JPWO2016157601A1/en
2017-12-06 Publication of JP6244061B2 publication Critical patent/JP6244061B2/en
本発明は距離画像取得装置及び距離画像取得方法に係り、特に測距領域内の被写体に対して２次元に分布する構造化光を投射し、被写体の距離を示す距離画像を取得する技術に関する。 The present invention relates to a distance image acquiring apparatus and the distance image acquiring method, by projecting structured light, in particular distributed in two dimensions for an object distance measuring zone, to a technique for acquiring a distance image showing the distance to the subject.
従来、この種の距離画像取得装置は、投射部から測距領域内の被写体に対して２次元に分布する構造化光のドットパターンを投射し、撮像部により被写体を撮像し、被写体上で反射するドットパターンを含む第１の画像を取得する。 Conventionally, this kind of distance image acquiring apparatus, the dot pattern of the structured light distributed in two dimensions for an object in the distance measurement area from the projection unit is projected, imaging a subject by the imaging unit, reflected by the object obtaining a first image including a dot pattern. また、投射部からドットパターンを投射せずに撮像部により被写体を撮像し、ドットパターンの背景となる第２の画像を取得し、第１の画像から第２の画像を減算し、減算結果に基づいて距離画像（３次元距離情報）を三角測量法に基づいて演算し取得する（特許文献１）。 Also, imaging a subject by an imaging unit from the projection unit without projecting a dot pattern to obtain a second image as a background of the dot pattern, the second image is subtracted from the first image, the subtraction result based calculated obtained based distance images (three-dimensional distance information) on triangulation method (Patent Document 1).
特許文献２は、一つの距離計測装置に複数の投射部（投影部）を備え、複数の投射部がそれぞれ投射したパターンを撮像部で混同しないように、複数の投射部が一つずつ順番に投射を行い撮像すること、又は複数の投射部から投射するパターン光を別の色にすることが記載されている。 Patent Document 2 includes a plurality of projecting portions on one of the distance measuring device (projection portion), a pattern in which a plurality of projecting portions are projected respectively to avoid confusion by the imaging unit, the plurality of projection portions one by one sequentially to imaging performed projection, or it is described that the plurality of pattern light projected from the projection unit to another color.
特開２０１１−１６９７０１号公報 JP 2011-169701 JP 特開２０１４−１１５１０７号公報 JP 2014-115107 JP
特許文献１に記載の距離画像取得装置では、複数台の距離画像取得装置により同一の被写体の距離計測を同時に行うと、複数台の距離画像取得装置からそれぞれ投射されるドットパターンが混在し、距離画像を取得することができないという問題がある。 In the distance image acquiring apparatus described in Patent Document 1, when a plurality of distance image acquiring apparatus distance measurement of the same subject at the same time, a dot pattern to be projected from each of a plurality of range images acquisition device are mixed, the distance there is a problem of not being able to get the image. １台の距離画像取得装置では距離画像を取得できない大きさの対象物体の距離計測を複数台の距離画像取得装置で同時に行いたい場合や、他者が距離画像取得装置を使っていることを知らずに使用者自らも距離画像取得装置を使う場合がある。 If you want to simultaneously distance measurement of an object the size of which can not obtain the distance image in one range image acquisition device by a plurality of distance image acquiring device, without knowing that others are using a distance image acquiring apparatus there is a case to use the user himself distance image capture device to. 特に、距離画像を直接表示等せずに他の用途に用いており、使用者自身が距離画像取得を行っている自覚が無い場合には、同時に同一場所で距離画像取得装置を使用してしまう可能性が高い。 In particular, the distance image is used for other purposes without direct display or the like, if there is no awareness of the user himself is performing a distance image acquisition, thus using the distance image acquiring device at the same place at the same time Probability is high.
特許文献２に記載の技術は、一台の装置に複数の投射部を設けた場合に、その一台の装置の撮像部でのパターンの混同を回避する技術であり、複数台の装置のそれぞれに設けられた複数の投射部からパターンを投射する場合への適用は困難である。 The technique described in Patent Document 2, when provided with a plurality of projecting portions on a single device, a technique for avoiding confusion pattern at the imaging unit of the single apparatus, each of the plurality of devices application to the case of projecting a pattern from a plurality of projecting portions provided on is difficult.
なぜなら、特許文献２に記載のように一台の装置に複数の投射部を設けた場合には、一台の装置内で統括制御を行うＣＰＵ（Central Processing Unit）から、複数の投射部のそれぞれに対して投射タイミング又は波長域を指示することにより、複数の投射部の時分割又は波長域分割（周波数分割ともいう）の制御を容易に行うことが可能であるが、互いに独立した複数台の装置のそれぞれに投射部が設けられている場合には、自機のＣＰＵから他機の投射部に対して、投射タイミング又は波長域を直接指示することができないからである。 This is because, in the case of providing a plurality of projecting portions on a single device as described in Patent Document 2, a CPU (Central Processing Unit) for performing overall control in the single apparatus, each of the plurality of projecting portions against by instructing a projection timing or wavelength bands, it is possible to easily control (also referred to as frequency division) division or wavelength bands time division multiple projection portions, independent of the plurality of mutually If you are projecting portions respectively provided in the apparatus, to the projection portion of the other apparatus from own apparatus of CPU, it is not possible to indicate the projection timing or wavelength bands directly. また、仮に、複数台の装置を統括制御するマスタ装置を新たに設けて、マスタ装置からスレーブ装置としての複数の装置それぞれに対して投射タイミング又は波長域を通信で指示する構成を想定してみると、マスタ装置の新設が必要なだけでなく、各装置の独立性を失わせることになるので、特に一般ユーザが自由に使用する端末への適用は難しい。 Also, if, by providing a new master device that comprehensively controls a plurality of devices, try to assume a configuration that instructs the communication projection timing or wavelength bands with respect to each of a plurality of devices as the master device slave device When not only require new master device, it means that loss of independence of each device, it is difficult in particular applications of general users to the terminal to be used freely.
本発明はこのような事情に鑑みてなされたもので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、精度の良い距離画像を取得することができる距離画像取得装置及び距離画像取得方法を提供することを目的とする。 The present invention has been made in view of such circumstances, even if the own apparatus and the other apparatus of the same shape of the structured light pattern is projected at the same time, based on the projected pattern from the own apparatus, the precision and to provide a distance image acquiring apparatus and the distance image acquiring method capable of obtaining a good range image.
上記目的を達成するために本発明の一の態様に係る距離画像取得装置は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射する投射部と、投射部から基線長だけ離れて並設され、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する撮像部と、撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別する判別部と、少なくとも判別部により第２のパターンが含まれないと判別された撮像画像から、第１のパターンを抽出するパターン抽出部と、パターン抽出部により抽出された第１のパターンに基づいて、測距領域内の被写 Distance image acquiring apparatus according to an aspect of the present invention in order to achieve the above object, projecting a first pattern of the structured light distributed in two dimensions for an object distance measuring zone in a plurality of wavelength bands a projection unit which, apart base line length are arranged from the projection unit, and imaging with sensitive to each of the plurality of wavelength regions, a plurality of wavelengths and a plurality of captured images including a first pattern reflected by the object an imaging unit that generates a plurality of captured images corresponding to the respective frequency band, the captured image, the determination unit for determining whether or not includes a second pattern of the projected structured light from another range image acquisition device If, from the captured image is determined to not contain a second pattern at least discriminator, a pattern extraction unit for extracting a first pattern, based on the first pattern extracted by the pattern extraction unit, measuring calcar region of the shooting の距離を示す距離画像を取得する距離画像取得部と、を備える。 And an distance image acquiring unit that acquires a distance image showing the distance.
この構成によれば、判別部により第２のパターン（他機から投射したパターンである）が含まれないと判別された撮像画像内のパターン（自機から投射した第１のパターンである）に基づいて、距離画像が取得されるので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射された第１のパターンに基づいて精度の良い距離画像を取得することができる。 According to this configuration, the second pattern by the identification portion (a pattern projected from the other machine) (a first pattern projected from the own apparatus) pattern of non judged to be within the captured image contains based on, the distance image is acquired, the own device and the other device, even if the structured light pattern having the same shape are projected simultaneously, good distance accuracy on the basis of the first pattern projected from the own apparatus image can be acquired.
上記の投射部の「構造化光の第１のパターンを複数の波長域で投射する」は、「構造化光の第１のパターンを複数の波長域で投射する機能を持つこと」を意味し、また、複数の波長域で同時に投射する場合（同時投射）と、順次に波長域を切替えて投射する場合（順次投射）があって、本発明はいずれの場合も含む。 "Projecting the first pattern of the structured light in a plurality of wavelength ranges" of the projection portion, means "having a function of projecting the first pattern of the structured light in a plurality of wavelength ranges" Further, when simultaneously projecting a plurality of wavelength bands (the simultaneous projection), there is a case where projected sequentially switch the wavelength region (sequential projection), the invention includes both cases. 上記の撮像部の「複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する」は、「複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する機能を持つこと」を意味し、また、複数の波長域で同時に撮像する場合（同時撮像）と、順次に波長域を切替えて撮像する場合（順次撮像）があって、本発明はいずれの場合も含む。 Captured with "sensitive to each of the plurality of wavelength regions of the imaging unit, a plurality of captured images corresponding to each of the plurality of wavelength regions a plurality of captured images including a first pattern reflected by the object resulting "is" captured with sensitive to each of the plurality of wavelength regions, a plurality of captured images corresponding to each of the plurality of wavelength regions a plurality of captured images including a first pattern reflected by the object means that "with a function to be generated, also, any case of simultaneously captured by a plurality of wavelength bands (the simultaneous imaging), there is a case where imaging sequentially switch the wavelength region (sequential imaging), the present invention is in the case of including. また、上記の撮像部の「撮像画像を生成する」は、撮像信号を読み出すこと、即ち単に撮像部の受光素子から電荷を撮像信号として読み出す場合を含む。 Further, "generates a captured image" of the image pickup unit includes a case of reading to read the image signal, i.e. simply charge from the light receiving element of the imaging unit as an image pickup signal.
上記の判別部の「撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別する」は、撮像部により撮像した後に実際に撮像画像に第２のパターンが含まれるか否かの判別を行う場合と、撮像部により撮像する前に予め撮像画像に第２のパターンが含まれることになるか否かの判別を行う場合があって、本発明はいずれの場合も含む。 The determination unit "in the captured image, whether or not include a second pattern of the projected structured light from another range image acquisition device", actually captured image after imaging by the imaging unit in the case of performing determination of whether or not include the second pattern, there is a case where the previously captured image will contain a second pattern judged whether or not prior to imaging by the imaging unit the present invention includes both cases.
上記の抽出部の「判別部により第２のパターンが含まれないと判別された撮像画像から、第１のパターンを抽出する」は、判別部により第２のパターンが含まれないと判別する前に予め撮像画像からパターンを抽出しておく場合（即ち第２のパターンが含まれないと判別した後に抽出済のパターンを第１のパターンとして距離画像取得に用いる場合）と、判別部により第２のパターンが含まれないと判別した後に撮像画像から第１のパターンの抽出を行う場合があって、本発明はいずれの場合も含む。 "From the captured image that has been determined not contain a second pattern by the determination unit, extracting a first pattern" of the extraction unit before is determined not contain a second pattern by the determination unit If you leave extract a pattern from the pre-captured image (i.e., the case of using the distance image acquired as a first pattern extraction already pattern after determining that the second pattern is not included), the second by the discrimination unit there are cases where the extraction from the captured image after it is determined that the pattern is not contained in the first pattern, the present invention includes both cases.
本発明の他の態様に係る距離画像取得装置は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射する投射部と、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する撮像部と、複数の撮像画像を加算した加算画像から、第１のパターンを抽出するパターン抽出部と、パターン抽出部により抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、を備える。 Other distance image acquiring apparatus according to the embodiment of the present invention includes a projection unit for projecting the first pattern of the structured light distributed in two dimensions for an object distance measuring zone in a plurality of wavelength bands, a plurality of captured with sensitivity to each wavelength region, an imaging unit that generates a plurality of captured images corresponding to each of the plurality of wavelength regions a plurality of captured images including a first pattern reflected by the object, a plurality of from the addition image obtained by adding the captured image, a pattern extraction unit for extracting a first pattern, based on the first pattern extracted by the pattern extraction unit, acquires a distance image showing the distance of an object distance measuring zone comprising a distance image acquiring unit for, a.
この構成によれば、投射部から第１のパターンが複数の波長域で投射されて、撮像部により複数の波長域のそれぞれに感度をもって撮像することで複数の波長域のそれぞれに対応する複数の撮像画像が生成され、複数の撮像画像を加算した加算画像から距離画像取得用のパターン（自機から投射した第１のパターンである）が抽出されるので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射された第１のパターンに基づいて精度の良い距離画像を取得することができる。 According to this arrangement, the first pattern from the projection portion is projected in a plurality of wavelength regions, a plurality by imaging with sensitive to each of the plurality of wavelength ranges by the imaging unit of the plurality corresponding to the respective wavelength ranges captured image is generated, the pattern for the range image acquired from the added image by adding a plurality of captured images (a first pattern projected from the own apparatus) is extracted from the own apparatus and other apparatus of the same shape even if the pattern of the structured light is projected at the same time, it is possible to get a good range image precision on the basis of the first pattern projected from the ship.
本発明の他の態様に係る距離画像取得装置において、第１のパターン及び第２のパターンは、それぞれドットパターンであり、判別部は、撮像画像中のドットパターンのドット数が投射部から投射された第１のパターンのドット数を越えている場合に、撮像画像に第２のパターンが含まれると判別することが好ましい。 In other distance image acquiring apparatus according to the embodiment of the present invention, the first pattern and the second pattern is a dot pattern, respectively, determining unit, the number of dots of the dot pattern in the captured image is projected from the projection unit If the first pattern exceeds the number of dots of the, it is preferable to determine that includes a second pattern in the captured image. 即ち、撮像画像に他機から投射された第２のパターンが含まれるか否かをドット数に基づいて迅速に判別することが可能になる。 That is, it is possible to quickly determine based on whether it contains a second pattern that is projected from the other apparatus in the captured image to the number of dots.
本発明の更に他の態様に係る距離画像取得装置において、他の距離画像取得装置から第２のパターンの投射の波長域を示すビーコン情報を受信するビーコン情報受信部を備え、判別部は、ビーコン情報によって示される波長域での撮像画像に第２のパターンが含まれると判別する。 In addition the distance image acquiring apparatus according to another aspect of the present invention, includes beacon information receiver for receiving beacon information indicating the wavelength region of the projection of the second pattern from the other distance image acquiring apparatus, the determination unit, a beacon It determines that the second pattern included in the captured image in the wavelength range indicated by the information. 即ち、複数台の距離画像取得装置を統括制御するマスタ装置を新設することなく、撮像前に予め撮像画像に第２のパターンが含まれるか否かの判別を行うことができる。 That can be done without new master device that comprehensively controls a plurality of distance image acquiring apparatus, a determination of whether or not include a second pattern in advance captured image before capturing.
本発明の更に他の態様に係る距離画像取得装置において、投射部から第１のパターンを複数の波長域のそれぞれで順次投射させる光変調部を備え、撮像部は、光変調部での波長域の切替えに同期して、複数の波長域のうちで投射部から投射中の第１のパターンの波長域のみに感度をもって撮像する。 Further in the distance image acquiring apparatus according to another embodiment includes a light modulation unit for sequentially projected on each of the plurality of wavelength regions a first pattern from the projection unit, the imaging unit of the present invention, the wavelength range in the optical modulating unit in synchronization with the switching of imaging with only sensitive in the wavelength region of the first pattern in the projection from the projection unit of the plurality of wavelength regions.
本発明の更に他の態様に係る距離画像取得装置において、投射部は、第１のパターンを複数の波長域で同時に投射する。 In addition the distance image acquiring apparatus according to another aspect of the present invention, the projection portion is simultaneously projects a first pattern at a plurality of wavelengths. 撮像部は、複数の波長域のそれぞれに感度をもつ複数種類の受光素子を有する。 Imaging unit includes a plurality of kinds of light-receiving element having sensitivity to each of a plurality of wavelengths. 即ち、高フレームレートの距離画像生成が可能になる。 That allows the distance image generating high frame rate.
本発明の更に他の態様に係る距離画像取得装置において、撮像部に入射する光の透過波長域を切替える透過波長域切替デバイスと、透過波長域切替デバイスにより撮像部に入射する光の透過波長域を切替えることで、撮像部に複数の波長域のそれぞれに感度をもって撮像させる透過波長域制御部と、を備える。 Further in the distance image acquiring apparatus according to another embodiment, the transmission wavelength range switching device for switching a transmission wavelength range of light incident on the imaging unit, the transmission wavelength range of the light incident on the imaging unit by transmission wavelength range switching device of the present invention by switching the, and a transmission wavelength range control unit for imaging with sensitive to each of the plurality of wavelength regions in the imaging unit.
本発明の更に他の態様に係る距離画像取得方法は、投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射するステップと、投射部から基線長だけ離れて並設された撮像部により、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成するステップと、撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別するステップと、少なくとも第２のパターンが含まれないと判別された撮像画像から、第１のパターンを抽出するステップと、抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得 Furthermore the distance image acquiring method according to another aspect of the present invention includes the steps of projecting the first pattern of the structured light distributed in two dimensions for an object in the distance measurement area from the projection portion at a plurality of wavelength bands , the imaging unit that is arranged apart base length from the projection unit, and imaging with sensitive to each of the plurality of wavelength regions, a plurality of wavelengths and a plurality of captured images including a first pattern reflected by the object a step of determining and generating a plurality of captured images corresponding to the respective frequency band, the captured image, whether or not include a second pattern of the projected structured light from another range image acquisition device, from at least the second pattern is not included as judged captured image, extracting a first pattern, based on the first pattern extracted, distance image showing the distance of an object distance measuring zone get the るステップと、を含む。 Includes a step that, a.
本発明の他の態様に係る距離画像取得方法において、投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射するステップと、投射部から基線長だけ離れて並設された撮像部により、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成するステップと、複数の撮像画像を加算した加算画像から、第１のパターンを抽出するステップと、抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得するステップと、を含む。 In the distance image acquiring method according to another aspect of the present invention, the steps of projecting the first pattern of the structured light distributed in two dimensions for an object in the distance measurement area from the projection portion at a plurality of wavelength ranges, the imaging unit that is arranged apart base length from the projection unit, and imaging with sensitive to each of the plurality of wavelength regions, a plurality of wavelength ranges a plurality of captured images including a first pattern reflected by the object generating a plurality of captured images corresponding to the respective, the added image by adding a plurality of captured images, extracting a first pattern, based on the first pattern extracted, ranging area including acquiring a distance image showing the distance of an object within the.
本発明によれば、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、精度の良い距離画像を取得することができる。 According to the present invention, it is possible even when the own apparatus and the other apparatus of the same shape of the structured light pattern is projected at the same time, based on the projected pattern from the own apparatus, to get a good range image accuracy .
本発明に係る距離画像取得装置の第１の実施形態を示す外観図である。 The first embodiment of the distance image acquiring apparatus according to the present invention is an external view showing. 距離画像取得装置における距離画像取得の原理を説明するために用いる図である。 Distance is a diagram used for explaining the principle of the distance image acquired in the image acquisition device. 第１の実施形態の距離画像取得装置の内部構成例を示すブロック図である。 Is a block diagram showing an internal configuration example of a distance image acquiring apparatus of the first embodiment. 自機からドットパターンを投射した時に他機からドットパターンが投射されていない状態で撮像して得られた撮像画像の一例を示す図である。 Is a diagram illustrating an example of a captured image obtained by imaging in a state of not being projected dot pattern from other devices when projecting a dot pattern from the ship. 自機からドットパターンを投射した時に他機からドットパターンが投射されている状態で撮像して得られた撮像画像の一例を示す図である。 Is a diagram illustrating an example of a captured image obtained by imaging in a state where the dot pattern from other machines are projected when projecting a dot pattern from the ship. 複数の波長域のそれぞれに感度をもって撮像する撮像部の一例の受光素子配列を示す図である。 It is a diagram illustrating an example of a light-receiving element array of the image portion to be imaged with sensitive to each of the plurality of wavelength regions. 第１の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 It is a flowchart showing a flow of processing for an example of a distance image acquiring method in the first embodiment. 第１の実施形態における距離画像取得方法の他の例について処理の流れを示すフローチャートである。 It is a flowchart showing a flow of processing of another example of the distance image acquiring method in the first embodiment. 第２の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 It is a flowchart showing a flow of processing for an example of a distance image acquiring method in the second embodiment. 第３の実施形態の距離画像取得装置の内部構成例を示すブロック図である。 Is a block diagram showing an internal configuration example of a distance image acquiring apparatus of the third embodiment. 自機から投射された第１のパターンと他機から投射された第２のパターンとに生じる加算値の差の説明に用いる説明図である。 It is an explanatory diagram used for explaining the difference between the first pattern and the added value generated in the second pattern projected from the other machine that is projected from the own apparatus. 第３の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 It is a flowchart showing a flow of processing for an example of a distance image acquiring method according to the third embodiment. 透過波長域切替デバイスの一例を説明するために用いる図である。 It is a diagram used for explaining an example of a transmission wavelength range switching device. 距離画像取得装置の一例であるスマートフォンの外観図である。 Distance is an external view of the smartphone is an example of an image acquisition apparatus. スマートフォンの構成を示すブロック図である。 Is a block diagram showing the configuration of a smart phone.
以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施の形態について説明する。 The following describes embodiments of the distance image acquiring apparatus and the distance image acquiring method according to the present invention with reference to the accompanying drawings.
図１は、本発明に係る距離画像取得装置１０の一例の外観を示す外観図である。 Figure 1 is an external view showing an example appearance of a range image acquisition device 10 according to the present invention.
図１に示すように距離画像取得装置１０は、投射部１２と撮像部１４とを有し、シャッターボタン１１の操作による撮像指示入力が加えられると、後に詳しく説明するが、撮像領域（測距領域）内の被写体の距離（深度情報）を示す距離画像を取得する。 Range image acquisition device 10, as shown in Figure 1, and a projection unit 12 and the imaging unit 14, the imaging instruction input by the operation of the shutter button 11 is applied, will be described in detail later, the imaging area (ranging acquiring a distance image showing the distance of the subject region) (depth information).
ここで、距離画像取得装置１０は、静止画撮像と同様に１フレーム分の距離画像を取得する静止画モードと、動画撮像と同様に所定のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）で連続する距離画像を取得する動画モードとを有し、これらの静止画モードと動画モードとは操作部２８（図３）のモード選択部の操作により適宜選択可能になっている。 The distance image acquiring unit 10, a still image mode for acquiring one frame of the range image similar to the still image capturing, moving image as well as a predetermined frame rate (e.g., 30 frames / sec., 60 frames / and a video mode for acquiring a distance image continuous in seconds), and these still image mode and moving image mode has become appropriately selected by the mode selection unit of the operation of the operating unit 28 (FIG. 3). そして、静止画モードが選択されているときにシャッターボタン１１をワンプッシュすると、１フレーム分の距離画像を取得し、動画モードが選択されているときにシャッターボタン１１をワンプッシュすると、所定のフレームレートで連続する距離画像の取得を開始し、再度シャッターボタン１１をワンプッシュすると、距離画像の取得を停止する。 When the shutter button 11 one push when the still image mode is selected, obtains a distance image for one frame, the shutter button 11 one push when the video mode is selected, a given frame start the acquisition of the distance image to be continuous at a rate, stopping the one push the shutter button 11 again, the acquisition of the distance image.
図２は、距離画像取得装置１０における距離画像取得の原理を説明するために用いる図である。 Figure 2 is a diagram for use in explaining the principle of the distance image acquired in the distance image acquiring apparatus 10.
図２に示すように距離画像の取得時に投射部１２は、測距領域内の被写体に対して２次元に分布する構造化光のパターン（第１のパターン）を投射する。 Projecting portion at the time of acquisition of the distance image as shown in FIG. 2 12 projected pattern of the structured light distributed in two dimensions for an object in the distance measurement area (first pattern). 本実施形態では、構造化光の第１のパターンとして、マトリクス状のドットパターンを被写体に投射する。 In the present embodiment, as the first pattern of the structured light, projecting the matrix dot pattern on the object. 以下、投射部１２から投射される構造化光の第１のパターンを、「第１のドットパターン」ということもある。 Hereinafter, a first pattern of the structured light projected from the projection unit 12, is sometimes referred to as "first dot pattern".
撮像部１４は、被写体上で反射する第１のドットパターンを含む画像を撮像する。 Imaging unit 14 captures an image including a first dot pattern reflected on the object. 撮像部１４は、図２に示すように投射部１２から基線長Ｌだけ離れて並設されており、投射部１２から投射される第１のドットパターンと、撮像部１４により撮像される第１のドットパターンとの対応する各ドット間には被写体の距離に応じた視差が発生する。 Imaging unit 14 is arranged from the projection portion 12 spaced by a base length L as shown in FIG. 2, the first dot pattern projected from the projection unit 12, the first to be imaged by the imaging unit 14 between each dot corresponding to the dot pattern of the parallax is generated in accordance with the distance to the subject. 従って、投射部１２から投射される第１のドットパターンの各ドットの、撮像部１４により撮像されるイメージセンサ上の受光位置（図示せず）に基づいて三角測量法を用いて被写体の距離を示す距離画像を求めることができる。 Thus, for each dot of the first dot pattern projected from the projection unit 12, the distance of an object using a triangulation method based on the light reception position on the image sensor is captured by the imaging unit 14 (not shown) You can determine the distance image shown.
尚、本実施形態の投射部１２は、図２に示すようにマトリクス状の第１のドットパターンを投射するが、これに限らず、ドット間隔がランダム（疑似ランダム）のドットパターンを投射してもよいし、メッシュ状のパターンを投射してもよい。 Incidentally, the projection portion 12 of this embodiment is to project a first dot pattern matrix as shown in FIG. 2, the invention is not limited to this, the dot interval is by projecting a dot pattern of random (pseudo random) it may be projected a mesh pattern.
図３は、上記の距離画像取得装置１０の内部構成例を示すブロック図である。 Figure 3 is a block diagram showing an internal configuration example of the above-mentioned range image acquisition device 10.
距離画像取得装置１０は、前述した投射部１２及び撮像部１４の他に、ＡＤ（Analog-to-Digital）変換器１６、インターフェース回路１８、中央処理装置（ＣＰＵ：Central Processing Unit）２０、光変調部２２、駆動部２６、操作部２８、通信部３０、及び記憶部３２を備えている。 Range image acquisition device 10, in addition to the projection unit 12 and the imaging unit 14 described above, AD (Analog-to-Digital) converter 16, an interface circuit 18, a central processing unit (CPU: Central Processing Unit) 20, an optical modulation part 22, the drive unit 26, and operation unit 28, a communication unit 30, and storage unit 32.
投射部１２は、発光ダイオード（ＬＥＤ：Light Emitting Diode）１２Ａと、回折光学素子１２Ｂと、投射光学系として機能する投射レンズ１２Ｃとから構成されている。 Projecting portion 12, light-emitting diodes: and (LED Light Emitting Diode) 12A, a diffractive optical element 12B, and a projection lens 12C which functions as a projection optical system. ＬＥＤ１２Ａは、近赤外ＬＥＤを用いてよい。 LED12A may use a near-infrared LED.
回折光学素子１２Ｂは、光の回折現象を利用して光強度分布を変換する素子として機能し、本例ではＬＥＤ１２Ａから発光された光を入射し、図２に示したマトリクス状の第１のドットパターンに変換する。 The diffractive optical element 12B utilizes the diffraction of light to function as an element for converting the light intensity distribution, in this embodiment enters the light emitted from the LEDs 12A, the first dot matrix shown in FIG. 2 to convert to a pattern. 投射レンズ１２Ｃは、回折光学素子１２Ｂにより変換された光の第１のドットパターンを、撮像部１４による撮像領域（測距領域）と同じ測距領域の被写体に投射する。 Projection lens 12C is a first dot pattern of the converted light by the diffractive optical element 12B, to project the object the same distance measurement area and the imaging area (ranging area) by the imaging unit 14.
撮像部１４は、結像レンズ１４Ａとイメージセンサ１４Ｂとから構成されている。 Imaging unit 14 is composed of an imaging lens 14A and the image sensor 14B. 結像レンズ１４Ａは、被写体からの反射光（投射部１２から投射され、被写体にて反射する第１のドットパターンを含む光像）をイメージセンサ１４Ｂに結像させる。 An imaging lens 14A is reflected light from an object to image the (from the projection part 12, the light image including the first dot pattern reflected by the subject) in the image sensor 14B.
イメージセンサ１４Ｂは、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。 The image sensor 14B is constituted by a CMOS image sensor which is driven CMOS (Complementary Metal-Oxide Semiconductor) driver, and a timing generator having a vertical driver and a horizontal driver and the like. 尚、イメージセンサ１４Ｂは、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。 Incidentally, the image sensor 14B is not limited to the CMOS type, XY address type or CCD may be (Charge Coupled Device) type image sensor.
イメージセンサ１４Ｂは、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、特定の波長域の光のみを通過させるバンドパスフィルタ、又は特定の波長域以外の波長域の光を除去するカットフィルタが設けられている。 The image sensor 14B are arranged a plurality of light receiving elements (photodiodes) in two dimensions, on the incident surface side of the plurality of light receiving elements, a band-pass filter passing only light of a specific wavelength range, or a specific wavelength cut filter is provided for removing light in a wavelength range other than the range. これにより、イメージセンサ１４Ｂの複数の受光素子は、特定の波長域の光に対して感度をもった画素として機能する。 Thus, a plurality of light receiving elements of the image sensor 14B functions as a pixel having a sensitivity to light of a specific wavelength range.
イメージセンサ１４Ｂは、図示しないタイミングジェネレータから加えられるタイミング信号（シャッター制御信号）により露光期間が制御され、イメージセンサ１４Ｂの各受光素子には、露光期間に入射する光の光量に対応する電荷が蓄積される。 The image sensor 14B, the exposure period by the timing signal applied from the timing generator (not shown) (shutter control signal) is controlled, the respective light receiving elements of the image sensor 14B, charges corresponding to the amount of light incident on the exposure period accumulation It is. そして、イメージセンサ１４Ｂからは、被写体にて反射した第１のドットパターンの入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログの撮像信号）が読み出される。 Then, from the image sensor 14B, the pixel signals corresponding to the amount of incident light of the first dot pattern reflected by the object (analog image signal corresponding to the charge accumulated in each pixel) are read out. 尚、被写体に環境光が照射され、環境光中に投射部１２から投射される投射光の波長域の成分が含まれている場合には、環境光中の投射光と同じ波長域の成分は、ノイズ信号として撮像信号に含まれることになる。 Incidentally, the ambient light is irradiated to the object, if it contains components in the wavelength region of the projection light projected from the projection unit 12 in the environmental light, the components having the same wavelength region as the projection light in the ambient light It will be included in the image pickup signal as a noise signal.
イメージセンサ１４Ｂから読み出されたアナログの撮像信号は、ＡＤ変換器１６によりデジタルの撮像信号（画像データ）に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してＣＰＵ２０に取り込まれる。 Analog image signal read from the image sensor 14B, due AD converter 16 is converted into a digital imaging signal (image data) is taken into CPU20 via the interface circuit 18 which functions as an image input controller. 尚、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器１６は省略することができる。 Note that the CMOS type image sensor, or can include an AD converter, the AD converter 16 in this case can be omitted.
ＣＰＵ２０は、詳細については後述するが、操作部２８での指示入力に応じて距離画像取得装置１０の露光制御、光変調部２２、及び駆動部２６等の各部を統括的に制御するデバイス制御部としての機能と、パターン抽出部２０Ａ、距離画像取得部２０Ｂ、及び判別部２０Ｃとしての機能とを有する。 CPU20 is described later in detail, the device control unit for centrally controlling the exposure control range image acquisition device 10 in accordance with an instruction input from the operation unit 28, the light modulation unit 22, and the respective parts such as the driving unit 26 It has a function as a pattern extraction section 20A, a distance image acquiring unit 20B, and a function as discrimination portion 20C.
パターン抽出部２０Ａは、インターフェース回路１８を介して入力する画像データとしての撮像画像から、第１のドットパターンを抽出する。 Pattern extraction unit 20A, from the captured image as an image data input via the interface circuit 18 to extract the first dot pattern. 例えば適当な閾値を設定し、この閾値に基づいて入力する画像データを２値化処理することにより、第１のドットパターンのみを示す画像データ（２値画像データ）を抽出する。 For example to set the appropriate threshold, by binarizing the image data to be input on the basis of this threshold value, it extracts the image data (binary image data) showing only first dot pattern.
距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のドットパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得（生成）する。 Distance image acquiring section 20B, based on the first dot pattern extracted by the pattern extraction section 20A, a distance image showing the distance of a subject distance measurement area to obtain (generation). 例えば、第１のドットパターンを示す２値画像データに基づいて第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置（例えば、各ドットの重心の位置）を求め、求めた第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置に基づいてドット毎に被写体の距離を算出し、これにより測距領域内の被写体の距離を示す距離画像を取得（生成）する。 For example, the position on the image sensor 14B of each dot of the first dot pattern based on the binary image data of a first dot pattern (e.g., the position of the center of gravity of each dot) seeking, first dot obtained It calculates the distance to the subject for each dot on the basis of the position on the image sensor 14B of each dot of the pattern, thereby obtaining a distance image showing the distance of an object distance measuring zone (generation). 尚、距離画像は、測距領域内の被写体の距離を示す２次元の距離情報であるが、距離情報を距離に対応する輝度値や色情報に置き換えることにより、距離画像を画像として視認することができる。 The distance image is a two-dimensional distance information indicating the distance of an object distance measuring zone, by replacing the luminance value or color information corresponding to the distance information on the distance, to visually recognize the distance image as an image can.
判別部２０Ｃは、他の距離画像取得装置（以下、単に「他機」という）から構造化光のパターン（第２のパターン）が投射されているか否かを判別する。 Determination unit 20C, another range image acquisition apparatus (hereinafter, simply referred to as "another apparatus") of structured light from the pattern (second pattern) is equal to or is projected. 以下、他機から構造化光の第２のパターンとしてマトリクス状のドットパターンを被写体に投射する場合を例に説明し、他機から投射される構造化光の第２のパターンを、「第２のドットパターン」ということもある。 Hereinafter, a case of projecting the matrix dot pattern to the object as a second pattern of structured light from another machine described as an example, the second pattern of the structured light projected from another machine, "second there is also a thing called dot pattern ". 即ち、判別部２０Ｃは、撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する。 That is, the determination unit 20C determines whether includes a second dot pattern projected from the other equipment in the captured image.
光変調部２２は、投射部１２から投射される第１のドットパターンを時間的に変調させる。 Optical modulating section 22, first causing a dot pattern temporally modulated to be projected from the projection unit 12. 駆動部２６は、ＣＰＵ２０からの指示の従って投射部１２を駆動する。 Driving unit 26 drives the thus projecting portion 12 of the instruction from the CPU 20. 操作部２８は、電源スイッチ、シャッターボタン１１、モード選択部等を含み、操作部２８での指示入力はＣＰＵ２０に加えられる。 Operation unit 28 includes a power switch, a shutter button 11, includes a mode selection unit or the like, an instruction is entered from the operation unit 28 is added to the CPU 20. 通信部３０は、他の周辺機器又はアクセスポイントとの間で近距離無線を行う。 The communication unit 30 performs short-range wireless to and from other peripheral devices or access points. 例えば他の距離画像取得装置との間でビーコン情報等の送受信を行う。 For example to send and receive such beacon information with other distance image acquiring apparatus. 記憶部３２は、距離画像取得に必要な情報、及びＣＰＵ２０で実行されるプログラムを記憶する。 Storage unit 32, information required for distance image acquisition, and stores the programs executed by the CPU 20.
次に、自機と他機からドットパターンが同時に投射される場合でも、自機から投射されたドットパターン（第１のドットパターン）のみに基づいて距離画像を取得する本実施形態の要部構成について、説明する。 Then, even when the dot pattern is projected simultaneously from own apparatus and the other apparatus, main structure of the present embodiment for obtaining a distance image based on only the dot pattern projected from own device (the first dot pattern) for, it is described.
投射部１２は、測距領域内の被写体に対して第１のドットパターンを複数の波長域で投射する。 Projection unit 12 projects the first dot pattern for an object distance measuring zone in a plurality of wavelength regions. 撮像部１４は、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のドットパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する。 Imaging unit 14 takes an image with a sensitivity to each of the plurality of wavelength regions, a plurality of captured images corresponding to respective a plurality of captured images including a first dot pattern reflected by the object of the plurality of wavelength bands generated. パターン抽出部２０Ａは、撮像画像から、ドットパターンを抽出する。 Pattern extraction unit 20A, from the captured image, and extracts a dot pattern. 判別部２０Ｃは、撮像画像中のドットパターンのドット数が投射部１２から投射された第１のドットパターンのドット数を越えている場合には、撮像画像に第２のドットパターンが含まれると判別し、撮像画像中のドットパターンのドット数が投射部１２から投射された第１のドットパターンのドット数以下である場合には、撮像画像に第２のドットパターンが含まれないと判別する。 Determination unit 20C, when the number of dots of the dot pattern in the captured image exceeds the number of dots of the first dot pattern projected from the projection unit 12, is contained a second dot pattern in the captured image discriminated, when dots of the dot pattern in the captured image is less than the number of dots of the first dot pattern projected from the projection unit 12 determines that no includes a second dot pattern in the captured image . 距離画像取得部２０Ｂは、判別部２０Ｃにより第２のドットパターンが含まれないと判別された撮像画像からパターン抽出部２０Ａにより抽出されたドットパターン（第１のドットパターンである）に基づいて、測距領域内の被写体の距離を示す距離画像を取得する。 Distance image acquiring unit 20B, based on the discrimination portion 20C by the dot pattern extracted by the pattern extraction unit 20A from the determination captured image and does not include the second dot pattern (the first is a dot pattern), acquiring a distance image showing the distance of an object distance measuring zone.
図４は、自機からドットパターンを投射した時に他機からドットパターンが投射されていない状態で撮像部１４により撮像して得られた撮像画像の一例を示す図である。 Figure 4 is a diagram showing one example of the imaged image obtained by imaging by the imaging unit 14 in a state where no dot pattern is projected from the other apparatus when projecting a dot pattern from the ship. 図４に示された撮像画像は、自機の投射部１２から投射されて測距領域Ａ内の被写体で反射された第１のドットパターンのみを含むため、前述の閾値を用いた２値化処理のように簡単な画像処理を行うことにより第１のドットパターンを抽出することができる。 Captured image shown in FIG. 4, to include only the first dot pattern reflected by the object in focus detection zone A is projected from the projection unit 12 of the own device, binarized using a threshold value of the above it can be extracted first dot pattern by performing a simple image processing as processing. しかしながら、自機から第１のドットパターンを投射した時に他機から第２のドットパターンが投射され、且つ自機の第１のドットパターンの投射の波長域と他機の第２のドットパターン投射の波長域とが重なる場合、図５に示すように撮像部１４により撮像して得られた撮像画像の測距領域Ａ内に第１のドットパターンと第２のドットパターンとが重複する重複領域Ｂが存在し、且つ第１のドットパターンと第２のドットパターンとはドット形状が同一であるため、第１のドットパターンのみを抽出することができない。 However, the second dot pattern from the other machine when projecting the first dot pattern from the own device is projected, and the second dot pattern projection wavelength region and other machines projection of the first dot pattern of its own If the wavelength region of overlap, overlapping region where the first dot pattern and the second dot pattern overlap in the focus detection zone a of the captured image obtained by imaging by the imaging unit 14 as shown in FIG. 5 there are B, and for the first dot pattern and the second dot pattern dot shape is the same, it is impossible to extract only the first dot pattern.
しかしながら、上述の構成によれば、判別部２０Ｃにより第２のドットパターンが含まれないと判別された撮像画像からパターン抽出部２０Ａにより抽出されたドットパターン（第１のドットパターンである）に基づいて、測距領域内の被写体の距離を示す距離画像が取得される。 However, according to the configuration described above, based on the discrimination portion 20C by the dot pattern extracted by the pattern extraction unit 20A from the determination captured image and does not include the second dot pattern (the first is a dot pattern) Te, distance image showing the distance of an object distance measuring area is obtained.
図６は、複数の波長域のそれぞれに感度をもって撮像する撮像部１４の一例の受光素子配列を示す図である。 Figure 6 is a diagram showing an example of a light receiving element array of the image portion 14 for imaging with sensitivity to each of a plurality of wavelengths. 本例の撮像部１４のイメージセンサ１４Ｂは、受光の波長域が異なる４種類の受光素子（第１の受光素子Ｅ１、第２の受光素子Ｅ２、第３の受光素子Ｅ３、第４の受光素子Ｅ４）が互いに隣接して構成された受光素子セット１４Ｓが、一平面（受光面）上に２次元状に配列されて構成されている。 The image sensor 14B of the imaging unit 14 of the present embodiment, the light receiving element of the four wavelength ranges of the light receiving different (first light receiving element E1, the second light receiving element E2, a third light receiving element E3, the fourth light receiving element light-receiving element sets 14S that E4) is configured adjacent to each other, one plane (are constituted by two-dimensionally arranged on the light receiving surface). 尚、本例では波長域数が「４」であるが、本発明における波長域数は特に限定されず、波長域数が「２」或いは「３」でもよいし、「５」以上でもよい。 In the present embodiment, but the number of wavelength regions is "4", the wavelength region number in the present invention is not particularly limited, and may wavelength region number even "2" or "3" may be a "5" or more. 即ち、受光素子セット１４Ｓを構成する受光素子の種類の数は「４」に限定されない。 That is, the number of kinds of light receiving elements constituting the light receiving element set 14S is not limited to "4".
複数の波長域のそれぞれに感度をもって撮像するため、複数の受光素子Ｅ１、Ｅ２、Ｅ３、Ｅ４の入射面側には、バンドパスフィルタ又はカットフィルタが設けられている。 For imaging with sensitive to each of the plurality of wavelength regions, the incident surface side of the plurality of light receiving elements E1, E2, E3, E4, band-pass filter or cut-off filter is provided. バンドパスフィルタ又はカットフィルタの配設態様には各種ある。 The arrangement mode of the band-pass filter or a cut filter there is a variety. 例えば、第１の受光素子Ｅ１には第１の波長域の光のみを透過させるバンドパスフィルタを設け、第２の受光素子Ｅ２には第２の波長域の光のみを透過させるバンドパスフィルタを設け、第３の受光素子Ｅ３には第３の波長域の光のみを透過させるバンドパスフィルタを設け、第４の受光素子Ｅ４には第４の波長域の光のみを透過させるバンドパスフィルタを設ける態様がある。 For example, the first light receiving element E1 provided a band-pass filter that transmits only light of the first wavelength range, the the second light receiving element E2 band pass filter that transmits only light of the second wavelength region provided, the third light receiving element E3 provided a band-pass filter that transmits only light in the third wavelength range, the the fourth light receiving element E4 band pass filter that transmits only light of a fourth wavelength range there is a mode provided. 現実的には各波長域のみを透過可能なバンドパスフィルタの製造の困難性やコストなどの理由により、カットフィルタを用いた態様を採用することができる。 The practical reasons such as difficulty and cost of manufacturing the band-pass filter which can transmit only the wavelength range can be adopted a mode using a cut filter. 複数の受光素子のうちの一つにはフィルタを設けない構成としてもよい。 The one of the plurality of light receiving elements may not be provided a filter.
図６の受光素子配列を持つ撮像部１４を用いて、次の二つの撮像モードでの撮像が可能になる。 Using the imaging unit 14 having a light-receiving element array of FIG. 6, allowing imaging in the next two imaging modes.
第１の撮像モードでは、複数の波長域（本例では４波長域）のそれぞれで発光する複数種類のＬＥＤ１２Ａが設けられた投射部１２を用い、且つ光変調部２２により投射部１２から第１のドットパターンを複数の波長域のそれぞれで順次投射させる。 In the first imaging mode, using the projection portion 12 in which a plurality of types of LED12A is provided that emits light at each of the plurality of wavelength bands (4 wavelength region in this example), and by the light modulating section 22 from the projection portion 12 first the dot pattern sequentially projected on each of the plurality of wavelength regions. この第１の撮像モードでは、撮像部１４は、光変調部２２での波長域の切替えに同期して、複数の波長域のうちで少なくとも投射部１２から投射中の第１のドットパターンの波長域に感度をもって撮像する。 In the first imaging mode, the imaging unit 14 in synchronization with the switching of the wavelength region in the optical modulating portion 22, the wavelength of the first dot pattern being projected from at least a projection portion 12 of the plurality of wavelength bands imaging with sensitivity range.
第２の撮像モードでは、複数の波長域（本例では４波長域）のそれぞれで発光する複数種類のＬＥＤ１２Ａ又は複数の波長域にわたり発光するＬＥＤ１２Ａが設けられた投射部１２を用い、且つ光変調部２２により投射部１２から第１のドットパターンを複数の波長域で同時に投射させる。 In the second imaging mode, using the projection portion 12 LED12A is provided which emits light over the plurality of types of LED12A or wavelength range to emit light in each of the plurality of wavelength bands (4 wavelength region in this example), and the light modulation It is projected simultaneously on multiple wavelength regions of the first dot pattern from the projection part 12 by the part 22. この第２の撮像モードでは、撮像部１４は、複数の波長域のそれぞれに感度をもって、複数の波長域で同時に撮像する。 In this second imaging mode, the imaging unit 14, with a sensitivity to each of the plurality of wavelength bands are simultaneously captured by a plurality of wavelengths.
図７は、第１の実施形態の距離画像取得装置１０を用いた距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。 Figure 7 is a flowchart showing a process flow of an example of a distance image acquiring method using a distance image acquiring apparatus 10 of the first embodiment, showing the flow of processing executed in accordance with mainly a program under the control of the CPU 20. 本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。 This process is a range image acquisition processing in the moving image mode, for example, is started when the shutter button 11 is one push.
まず、ＣＰＵ２０は、波長域を示す変数ｉを初期値である「１」に設定する（ステップＳ１０２）。 First, CPU 20 sets a variable i indicating the wavelength range which is the initial value "1" (step S102).
次に、投射部１２に、第１のドットパターンを第ｉの波長域で投射させる（ステップＳ１０４）。 Then, the projection portion 12, to project the first dot pattern in the wavelength region of the i (step S104).
次に、撮像部１４に、第ｉの波長域に感度をもって撮像させる（ステップＳ１０６）。 Next, the imaging unit 14, is captured with a sensitivity in the wavelength region of the i (step S106). 撮像部１４で生成されたアナログの撮像信号（撮像画像）は、ＡＤ変換器１６によりデジタルの撮像信号に変換され、インターフェース回路１８により記憶部３２に記憶される。 Analog image signal generated by the imaging unit 14 (captured image) is the AD converter 16 is converted into a digital imaging signal is stored in the storage unit 32 by the interface circuit 18. 即ち、投射部１２から第ｉの波長域で投射された第１のドットパターンを含む撮像画像（以下「第ｉの波長域の撮像画像」という）が、記憶部３２に記憶される。 That is, the captured image including the first dot pattern projected in the wavelength range of the i from projection unit 12 (hereinafter referred to as "captured image in the wavelength band of the i") is stored in the storage unit 32.
次に、パターン抽出部２０Ａにより、第ｉの波長域の撮像画像からドットパターンを抽出する（ステップＳ１０８）。 Then, the pattern extracting section 20A, and extracts a dot pattern from the wavelength range of the captured image of the i (step S108).
次に、判別部２０Ｃにより、第ｉの波長域の撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する（ステップＳ１１０）。 Next, the determination unit 20C, determines whether includes a second dot pattern projected from the other equipment in the captured image in the wavelength band of the i (step S110). 本実施形態では、撮像画像から抽出されたドットパターンのドット数が投射部１２から投射された第１のドットパターンのドット数を越えている場合に、撮像画像に第２のドットパターンが含まれると判別する。 In the present embodiment, when the number of dots of the dot pattern extracted from the captured image exceeds the number of dots of the first dot pattern projected from the projection unit 12 includes a second dot pattern in the captured image it is determined that.
例えば、図４に示す第１のドットパターンが投射部１２から投射されている場合、第１のドットパターンの数は７０ドットである。 For example, if the first dot pattern shown in FIG. 4 is projected from the projection unit 12, the number of the first dot pattern is 70 dots. 例えば、図５に示すように、撮像画像の測距領域Ａ内に第１のドットパターンと第２のドットパターンとが重複する重複領域Ｂが存在する場合、撮像画像から検出されるドットパターンの数は自機の投射部１２から投射された第１のドットパターンのドット数（図４では７０ドット）を超える。 For example, as shown in FIG. 5, if the overlapping region B of the first dot pattern and the second dot pattern in the distance measurement area A of the captured image overlap is present, a dot pattern detected from the captured image the number exceeds the number of dots of the first dot pattern projected from the projection unit 12 of its own (in Fig. 4 70 dots). 図５では１１５ドット（＝７０ドット＋４５ドット）である。 A In Figure 5 115 dots (= 70 dots + 45 dots). このように撮像画像から抽出されたドットパターンのドット数が、実際に投射された第１のドットパターンのドット数を越えている場合、判別部２０Ｃは撮像画像に第２のドットパターンが含まれると判定する。 Thus the number of dots of the dot pattern extracted from the captured image, if it exceeds the actual number of dots of the first dot pattern projected, determination unit 20C includes a second dot pattern in the captured image It determines that.
第ｉの波長域の撮像画像に第２のドットパターンが含まれると判別された場合（ステップＳ１１０でＹＥＳの場合）、ＣＰＵ２０は、波長域を示す変数ｉが波長域数Ｎ（本例では「４」）に等しいか否かを判定する（ステップＳ１１２）。 If it is determined that the second dot pattern is included in the captured image in the wavelength band of the i (YES in step S110), CPU 20, in the variable i is a wavelength region number N (this example showing the wavelength range " 4 ") to determine whether equal (step S112). ステップＳ１１２でＮＯの場合、波長域を示す変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ１１４）、ステップＳ１０４に戻り、次の波長域で投射、撮像及びパターン抽出を行う（ステップＳ１０４〜Ｓ１０８）。 If NO in step S112, performs an increment (i = i + 1) of the variable i indicating the wavelength range (step S114), the process returns to step S104, the projection in the following wavelength range, for imaging and pattern extraction (step S104~ S108).
第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判定された場合（ステップＳ１１０でＮＯの場合）、距離画像取得部２０Ｂにより、第ｉの波長域の撮像画像から抽出されたドットパターン（即ち第１のドットパターン）に基づいて、距離画像を取得する（ステップＳ１１６）。 If the second dot pattern is determined to not be included in the captured image in the wavelength band of the i (NO in step S110), the distance image acquiring unit 20B, are extracted from the wavelength range of the captured image of the i based on the dot pattern (i.e. a first dot pattern) was to obtain a distance image (step S116).
ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ１１８）、継続すると判定した場合（ステップＳ１１８でＹＥＳの場合）、波長域を示す変数ｉを「１」に初期化し（ステップＳ１０２）、ステップＳ１０４〜Ｓ１１８を繰り返す。 CPU20 determines whether or not to continue a distance image obtained (step S118), (YES in step S118) when it is determined to continue, and initializes a variable i indicating the wavelength region to "1" (step S102 ), repeat the step S104~S118. 継続しないと判定した場合（ステップＳ１１８でＮＯの場合）、本処理を終了する。 If it is determined not to continue (NO in step S118), the process ends. 本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。 This processing is the distance image acquired in the moving image mode, and ends the shutter button 11 is one push again.
他機から全ての波長域で第２のドットパターンが投射されている場合、ステップＳ１１２でＹＥＳとなり、ＣＰＵ２０により他処理が実行される（ステップＳ１３０）。 When the second dot pattern in all wavelength regions are projected from other equipment, the answer is YES at step S112, another processing is executed by the CPU 20 (step S130). 他処理は適宜行えばよく、例えば本例とは実施形態が異なる他の距離画像取得処理により距離画像を取得することが好ましい。 Other processing may be performed as appropriate, for example, it is preferable that the present embodiment embodiment acquires the range image by different other range image acquisition processing. 他機が複数の波長域の全てにわたり第２のドットパターンを投射する可能性が無い環境での距離画像取得では、通常は他処理（ステップＳ１３０）に進まないので、他処理としてエラー処理を行ってもよい。 The range image acquisition in possible free environment to another machine that projects a second dot pattern across all of the plurality of wavelength regions, so usually does not proceed to another process (step S130), performs the error process as another process it may be. 他機が複数の波長域の全てにわたり第２のドットパターンを投射する可能性がある環境でも、その可能性が低ければ、例えば他機からの第２のドットパターン投射の終了まで待つ待機処理を行ってもよい。 Even in an environment where other machines are likely to project a second dot pattern across all of the plurality of wavelength regions, if is lower its potential, the standby process of waiting for example until the end of the second dot pattern projected from the other machine it may be carried out.
図８は、第１の実施形態の距離画像取得装置１０を用いた距離画像取得方法の他の例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。 Figure 8 is a flowchart showing a process flow of another example of the distance image acquiring method using a distance image acquiring apparatus 10 of the first embodiment, the flow of processing executed in accordance with mainly a program under the control of the CPU20 show. 本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。 This process is a range image acquisition processing in the moving image mode, for example, is started when the shutter button 11 is one push.
まず、投射部１２により、複数の波長域で同時に、第１のドットパターンを測距領域内の被写体に投射させる（ステップＳ２０２）。 First, the projection unit 12, simultaneously on multiple wavelength regions, to project the first dot pattern on the subject distance measurement area (step S202). 即ち、波長域数を「Ｎ」とすると、第１の波長域から第Ｎの波長域までの広波長域で、第１のドットパターンを投射する。 That is, when the wavelength band number is "N", a wide wavelength range from the first wavelength range to the wavelength region of the N, projecting the first dot pattern.
次に、撮像部１４に、複数の波長域のそれぞれ（第１の波長域から第Ｎの波長域までのそれぞれの波長域）に感度をもって、測距領域内の被写体を撮像させる（ステップＳ２０４）。 Next, the imaging unit 14, with a sensitivity to the (respective wavelength ranges from the first wavelength range to the wavelength region of the N) each of the plurality of wavelength bands, to capture a subject distance measurement area (step S204) . 即ち、第１の波長域の撮像画像から第Ｎの波長域の撮像画像まで、Ｎ枚の撮像画像が記憶部３２に記憶される。 That is, from a first wavelength region of the captured image to the captured image in the wavelength band of the N, N pieces of captured image is stored in the storage unit 32.
次に、ＣＰＵ２０は、波長域を示す変数ｉを初期値である「１」に設定する（ステップＳ２０６）。 Next, CPU 20 sets a variable i indicating the wavelength range which is the initial value "1" (step S206).
次に、パターン抽出部２０Ａにより、第ｉの波長域の撮像画像からドットパターンを抽出する（ステップＳ２０８）。 Then, the pattern extracting section 20A, and extracts a dot pattern from the wavelength range of the captured image of the i (step S208).
次に、判別部２０Ｃにより、第ｉの波長域の撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する（ステップＳ２１０）。 Next, the determination unit 20C, determines whether includes a second dot pattern projected from the other equipment in the captured image in the wavelength band of the i (step S210).
第ｉの波長域の撮像画像に第２のドットパターンが含まれると判定された場合（ステップＳ２１０でＹＥＳの場合）、ＣＰＵ２０は、波長域を示す変数ｉが波長域数Ｎに等しいか否かを判定する（ステップＳ２１２）。 If it is determined that the second dot pattern is included in the captured image in the wavelength band of the i (YES in step S210), CPU 20 determines whether the variable i indicating the wavelength region is equal to the wavelength region number N determining (step S212). ステップＳ２１２でＮＯの場合、波長域を示す変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ２１４）、次の波長域でドットパターン抽出を行う（ステップＳ２０８）。 If NO in step S212, the performing increment (i = i + 1) of the variable i indicating the wavelength range (step S214), performs dot pattern extracted in the following wavelength range (step S208).
第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判定された場合（ステップＳ２１０でＮＯの場合）、距離画像取得部２０Ｂにより、第ｉの波長域の撮像画像から抽出されたドットパターン（即ち第１のドットパターン）に基づいて、距離画像を取得する（ステップＳ２１６）。 If the second dot pattern is determined to not be included in the captured image in the wavelength band of the i (NO in step S210), the distance image acquiring unit 20B, are extracted from the wavelength range of the captured image of the i based on the dot pattern (i.e. a first dot pattern) was to obtain a distance image (step S216).
ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ２１８）、継続すると判定した場合（ステップＳ２１８でＹＥＳの場合）、ステップＳ２０２〜Ｓ２１８を繰り返す。 CPU20 determines whether or not to continue a distance image obtained (step S218), if it is determined to continue (YES at step S218), repeats step S202～S218. 継続しないと判定した場合（ステップＳ２１８でＮＯの場合）、本処理を終了する。 If it is determined not to continue (NO in step S218), the process ends. 本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。 This processing is the distance image acquired in the moving image mode, and ends the shutter button 11 is one push again.
ステップＳ２３０は、図７に示したステップＳ１３０と同様であり、説明を省略する。 Step S230 is similar to step S130 of FIG. 7, a description thereof will be omitted.
第２実施形態の距離画像取得装置１０の内部構成について、図３を用いて説明する。 The internal structure of the range image acquisition device 10 of the second embodiment will be described with reference to FIG. 以下では、主に第１実施形態の距離画像取得装置１０と異なる点について説明し、第１実施形態で既に説明した内容は省略する。 Hereinafter, mainly the first described as range image acquisition device 10 of the embodiment differs from the, contents which have already been described in the first embodiment will be omitted.
本実施形態の通信部３０は、他機（他の距離画像取得装置）から直接又はアクセスポイントを介して、第２のドットパターンの投射の波長域を示す情報（以下、「波長域情報」という）を含むビーコン情報を受信する。 The communication unit 30 of the present embodiment, directly or via the access point from another machine (other distance image acquiring device), information indicating the wavelength region of the projection of the second dot pattern (hereinafter, referred to "wavelength band information" ) receives the beacon information including. 即ち、通信部３０は、ビーコン情報受信部として機能する。 That is, the communication unit 30 functions as a beacon information receiving unit.
本実施形態の判別部２０Ｃは、ビーコン情報のうちの波長域情報によって示される波長域の撮像画像に第２のドットパターンが含まれると判別する。 Determination unit 20C of the present embodiment, it is determined that the second dot pattern is included in the captured image of the wavelength range indicated by the wavelength range information in the beacon information.
図９は、第２の実施形態の距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。 Figure 9 is a flowchart showing a process flow of an example of a distance image acquiring method of the second embodiment, showing the flow of processing executed in accordance with mainly a program under the control of the CPU 20. 本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。 This process is a range image acquisition processing in the moving image mode, for example, is started when the shutter button 11 is one push.
まず、ＣＰＵ２０は、他の距離画像取得装置１０から発信されているビーコン情報を通信部３０により受信したか否かを判定する（ステップＳ３０２）。 First, CPU 20 determines whether or not a beacon has been received information that is transmitted from another range image acquisition device 10 by the communication unit 30 (step S302). ビーコン情報の通信可能範囲内に他の距離画像取得装置１０が存在し、且つ他の距離画像取得装置１０がビーコン情報を発信している場合、通信部３０によりビーコン情報が受信される。 Other range image acquisition device 10 is present in the communicable range of the beacon information, and other distance image capture device 10 may have transmitted the beacon information, beacon information is received by the communication unit 30. 通信部３０は、受信したビーコン情報に、タイムスタンプを付加して、記憶部３２に記憶させる。 Communication unit 30, the received beacon information, and adds a time stamp in the storage unit 32. ＣＰＵ２０は、ビーコン情報に付加されたタイムスタンプを参照することにより、ビーコン情報が一定時間以内に受信されたか否かを判定することができる。 CPU20 refers to the time stamp added to the beacon information, it is possible to determine whether the beacon information is received within a predetermined time.
通信部３０によりビーコン情報が受信された場合（ステップＳ３０２でＹＥＳの場合）、ＣＰＵ２０は、受信されたビーコン情報から波長域情報を抽出する（ステップＳ３０４）。 If the beacon information by the communication unit 30 is received (YES in step S302), CPU 20 extracts the wavelength region information from the received beacon information (step S304).
次に、ＣＰＵ２０は、波長域を示す変数ｉを初期値である「１」に設定する（ステップＳ３０６）。 Next, CPU 20 sets a variable i indicating the wavelength range which is the initial value "1" (step S306).
次に、判別部２０Ｃにより、第ｉの波長域の撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する（ステップＳ３０８）。 Next, the determination unit 20C, determines whether includes a second dot pattern projected from the other equipment in the captured image in the wavelength band of the i (step S308). 即ち、判別部２０Ｃは、ビーコン情報中の波長域情報が第ｉの波長域を示す場合、第ｉの波長域の撮像画像に第２のドットパターンが含まれると判別し、ビーコン情報中の波長域情報が第ｉの波長域とは異なる波長域を示す場合、第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判別する。 That is, the determination unit 20C, when the wavelength band information in the beacon information indicates the wavelength region of the i, determines that the second dot pattern is included in the captured image in the wavelength band of the i, wavelength in beacon information If the frequency information indicates different wavelength ranges from the wavelength band of the i, it is determined that the captured image in the wavelength band of the i does not include the second dot pattern.
第ｉの波長域の撮像画像に第２のドットパターンが含まれると判定された場合（ステップＳ３０８でＹＥＳの場合）、ＣＰＵ２０は、波長域を示す変数ｉが波長域数Ｎに等しいか否かを判定する（ステップＳ３１０）。 If it is determined that the second dot pattern is included in the captured image in the wavelength band of the i (YES in step S308), CPU 20 determines whether the variable i indicating the wavelength region is equal to the wavelength region number N determining (step S310). ステップＳ３１０でＮＯの場合、波長域を示す変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ３１２）、ステップＳ３０８に戻り、次の波長域での判別を行う（ステップＳ３０８）。 If NO in step S310, the perform increment of the variable i indicating the wavelength range (i = i + 1) (step S312), the process returns to step S308, performs the determination at the next wavelength range (step S308).
第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判定された場合（ステップＳ３０８でＮＯの場合）、投射部１２により第１のドットパターンを第ｉの波長域で投射し（ステップＳ３１４）、撮像部１４により少なくとも第ｉの波長域に感度をもって撮像し（ステップＳ３１６）、パターン抽出部２０Ａにより第ｉの波長域の撮像画像から第１のドットパターンを抽出し（ステップＳ３１８）、距離画像取得部２０Ｂにより第１のドットパターンに基づいて距離画像を取得する（ステップＳ３２０）。 The case where i is a second dot pattern on the captured image of the wavelength range of the determined not included (NO in step S308), the first dot pattern projected in the wavelength region of the i by the projection portion 12 (step S314), and imaged with a sensitivity in the wavelength region of at least the i by the imaging unit 14 (step S316), it extracts the first dot pattern from the wavelength range of the captured image of the i by the pattern extraction section 20A (step S318 ), and it acquires the range image based on the distance image acquiring unit 20B to the first dot pattern (step S320).
ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ３２２）、継続すると判定した場合（ステップＳ３２２でＹＥＳの場合）、ステップＳ３０２〜Ｓ３２２を繰り返す。 CPU20 determines whether or not to continue a distance image obtained (step S322), if it is determined to continue (YES at step S322), repeats step S302～S322. 継続しないと判定した場合（ステップＳ３２２でＮＯの場合）、本処理を終了する。 If it is determined not to continue (NO in step S322), the process ends. 本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。 This processing is the distance image acquired in the moving image mode, and ends the shutter button 11 is one push again.
ステップＳ３３０は、図７に示したステップＳ１３０と同様であり、説明を省略する。 Step S330 is similar to step S130 of FIG. 7, a description thereof will be omitted.
図１０は、本発明に係る第３の実施形態の距離画像取得装置１００の内部構成例を示すブロック図である。 Figure 10 is a block diagram showing a third embodiment example of the internal configuration of the distance image acquiring apparatus 100 according to the present invention. 図１０において、図３に示した第１実施形態の距離画像取得装置１０と同様の構成要素には同じ符号を付してある。 10, the same components as the range image acquisition device 10 of the first embodiment shown in FIG. 3 are denoted by the same reference numerals. 以下では、主として第１実施形態とは異なる点について説明し、第１実施形態で既に説明した内容は省略する。 The following section describes the differences from the predominantly first embodiment, the contents already described in the first embodiment is omitted.
本実施形態の距離画像取得装置１００のＣＰＵ２０は、パターン抽出部２０Ａと、距離画像取得部２０Ｂと、判別部２０Ｃと、加算画像生成部２０Ｄを備える。 CPU20 of the range image acquisition apparatus 100 of this embodiment includes a pattern extraction section 20A, a distance image acquiring unit 20B, and the determination unit 20C, an addition image generation unit 20D.
投射部１２は、測距領域内の被写体に対して第１のドットパターンを複数の波長域で同時に投射する。 Projecting portion 12 simultaneously projects a first dot pattern on the object distance measuring area in a plurality of wavelength regions. 撮像部１４は、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のドットパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する。 Imaging unit 14 takes an image with a sensitivity to each of the plurality of wavelength regions, a plurality of captured images corresponding to respective a plurality of captured images including a first dot pattern reflected by the object of the plurality of wavelength bands generated. 加算画像生成部２０Ｄは、複数の撮像画像を加算して、加算画像を生成する。 Adding image generation unit 20D adds the plurality of captured images to generate a sum image. パターン抽出部２０Ａは、加算画像から第１のドットパターンを抽出する。 Pattern extraction unit 20A extracts a first dot pattern from the added image. 距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のドットパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する。 Distance image acquiring section 20B, based on the first dot pattern extracted by the pattern extraction unit 20A, and acquires a distance image showing the distance of an object distance measuring zone. 本実施形態では判別部２０Ｃの省略が可能であるが、後述のように判別部２０Ｃを用いることで、更に精度の良い距離画像を取得することが、好ましい。 In the present embodiment can be omitted in the determination unit 20C, by using the determination unit 20C as described later, to acquire a better range image accuracy, preferably.
次に、パターン抽出部２０Ａによる加算画像からの第１のドットパターンの抽出例を説明する。 Next, the extraction of the first dot pattern from the sum image by the pattern extraction unit 20A.
自機から複数の波長域（本例では第１の波長域から第４の波長域までの四つの波長域である）で同時に第１のドットパターンを連続波で投射し、他機からは一波長域で第２のドットパターンが連続波で投射されるとする。 (In this example four, which is the wavelength region of from the first wavelength range to the fourth wavelength band) a plurality of wavelength bands from the own device projects a first dot pattern simultaneously in a continuous wave one from another machine a second dot pattern is projected in a continuous wave in the wavelength range. 撮像部１４により一定の露光期間で露光を行って、加算画像生成部２０Ｄにより複数の波長域にわたって画素値（受光素子の蓄積電荷量に相当する）の加算を行う。 Performing exposure with a constant exposure time by the imaging unit 14 performs addition of the pixel values ​​over a plurality of wavelength ranges by adding image generation section 20D (corresponding to the amount of charges stored in the light receiving element). そうすると、図１１に示すように、自機から複数の波長域で同時に投射された第１のドットパターンと、他機から投射された第２のドットパターンとでは、加算値に大きな差が生じる。 Then, as shown in FIG. 11, first with one of the dot pattern projected simultaneously on multiple wavelength regions from ship, and the second dot pattern projected from the other equipment, the large difference in sum value occurs. 連続波で投射を行うのではなく、パルス波で投射を行う場合でも、撮像部１４での露光期間（受光期間）を適切に設定することにより、加算値に適切な差を生じさせることができる。 Instead of performing projection in a continuous wave, even when performing projection with a pulse wave, by appropriately setting the exposure period (light receiving time) of the imaging unit 14, it is possible to produce an appropriate difference in sum value .
そこで、パターン抽出部２０Ａは、加算画像中のドットパターンを構成する複数の画素のうちで、加算値（加算画像の画素値である）が閾値以上である画素は、第１のドットパターンの画素であると判定する。 Therefore, the pattern extracting unit 20A, among the plurality of pixels constituting the dot pattern in the added image, pixel total values ​​(the pixel value of the added image) is equal to or larger than the threshold, the pixel of the first dot pattern It determines that it is. また、パターン抽出部２０Ａは、加算値が閾値未満である画素は第２のドットパターンの画素であると判定する。 The pattern extraction unit 20A, pixel sum value is less than the threshold is determined to be a pixel of the second dot pattern. 即ち、閾値に基づいて２値化処理することにより、加算画像から第１のドットパターンのみを示す画像データ（２値画像データ）を分離して抽出する。 That is, by binarization processing based on a threshold, separates and extracts image data (binary image data) showing only first dot pattern from the added image.
尚、加算画像に第１のドットパターンと第２のドットパターンとのドットの重なりが存在する場合、そのドットの重なりを構成する画素は、第１のドットパターンの画素であると判定される。 In the case where the first dot pattern overlap of dots of the second dot pattern is present in the added image, pixels constituting the overlap of the dots is determined to be a pixel of the first dot pattern.
他の態様として、ヒストグラムを用いる態様がある。 In other embodiments, there is a mode using a histogram. 具体的には、加算画像中のドットパターンを構成する複数の画素を対象に、画素値の出現頻度を示すヒストグラムを生成し、第１の画素のグループと第１の画素のグループよりも相対的に画素値が低い第２の画素のグループとに分類し、第１の画素のグループのみによって構成されるドットパターンを第１のドットパターンとして識別する。 More specifically, for multiple pixels constituting the dot pattern in the added image, it generates a histogram indicating the frequency of occurrence of pixel values, relative than groups and group of the first pixel of the first pixel classified into the second group of pixels whose pixel value is low, identify the dot pattern constituted only by the first group of pixels as a first dot pattern. このようにヒストグラムを用いて、加算画像から第１のドットパターンのみを分離して抽出することが可能である。 Thus by using a histogram, it is possible to extract and separate only the first dot pattern from the added image.
ところで、もしも他機から複数の波長域（ただし自機よりも少ない波長域数である）で第２のドットパターンが投射されている場合、閾値の大小によっては、図１１中に点線で示すように、第２のドットパターンの加算値が閾値よりも高くなる可能性がある。 However, if when the second dot pattern at a plurality of wavelength regions from another machine (except a small wavelength region number than own device) is projected, by the magnitude of the threshold, as indicated by a dotted line in FIG. 11 , the sum of the second dot pattern may be higher than the threshold value. このような場合、判別部２０Ｃにより、加算画像から抽出されるドットパターンのドットの数が投射部１２から実際に投射された第１のドットパターンの数を超えていると判別されるので、パターン抽出部２０Ａでは閾値を高くして加算画像からドットパターンを再抽出する。 In such a case, the discrimination unit 20C, since it is determined to exceed the number of first dot pattern in the number of dots of the dot pattern extracted from the sum image is actually projected from the projection unit 12, the pattern by increasing the extraction unit threshold at 20A reextracted dot pattern from the added image. つまり、加算画像から抽出されるドットパターンのドットの数が投射部１２から実際に投射された第１のドットパターンの数以下になるまで閾値を高くして、再抽出を行うことにより、適切なパターン抽出を行うことができる。 In other words, by increasing the threshold value until the number following the first dot pattern in the number of dots of the dot pattern extracted from the sum image is actually projected from the projection unit 12, by performing the re-extraction, suitable it is possible to perform the pattern extraction.
図１２は、第３の実施形態の距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。 Figure 12 is a flowchart showing a process flow of an example of a third distance image acquiring method embodiments of the shows the flow of processing executed in accordance with mainly a program under the control of the CPU 20. 本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。 This process is a range image acquisition processing in the moving image mode, for example, is started when the shutter button 11 is one push.
ステップＳ４０２及びＳ４０４は、それぞれ、図８に示した第１の実施形態の処理のステップＳ２０２及びＳ２０４と同様である。 Step S402 and S404 are respectively the same as steps S202 and S204 of the processing of the first embodiment shown in FIG. 概要を説明すると、投射部１２により、第１のドットパターンを波長域数Ｎに対応する複数の波長域で同時に投射し（ステップＳ４０２）、撮像部１４により、波長域数Ｎに対応する複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のドットパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する（ステップＳ４０４）。 To explain the outline, the projection portion 12, the first dot pattern projected simultaneously on multiple wavelength regions corresponding to the wavelength region number N (step S402), the imaging unit 14, a plurality of corresponding to the wavelength region number N captured with sensitivity to each wavelength region, it generates a plurality of captured images corresponding to each of the plurality of wavelength regions a plurality of captured images including a first dot pattern reflected by the object (step S404).
次に、加算画像生成部２０Ｄにより、複数の撮像画像（第１の波長域の撮像画像から第Ｎの波長域の撮像画像まで）を加算して、加算画像を生成する（ステップＳ４０６）。 Then, by adding image generation unit 20D, adds the plurality of captured images (from the first wavelength band of the captured image to the captured image in the wavelength band of the N), the generating the sum image (step S406). 即ち、加算画像生成部２０Ｄは、波長域数Ｎに対応する複数の撮像画像にわたって、互いに対応する画素位置の画素同士で画素値を加算することにより、加算値によって構成される加算画像を生成する。 That is, adding image generation unit 20D is across a captured image corresponding to the wavelength region number N, by adding the pixel value in the pixels to the pixel positions corresponding to each other, to generate an added image constructed by adding value .
次に、パターン抽出部２０Ａにより、加算画像から第１のドットパターンを抽出する（ステップＳ４０８）。 Then, the pattern extracting section 20A, and extracts the first dot pattern from the added image (step S408).
次に、距離画像取得部２０Ｂにより、加算画像から抽出された第１のドットパターンに基づいて、距離画像を取得する（ステップＳ４１０）。 Then, the distance image acquiring unit 20B, on the basis of the first dot pattern extracted from the sum image, obtains a distance image (step S410).
次に、ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ４１２）、継続すると判定した場合（ステップＳ４１２でＹＥＳの場合）、ステップＳ４０２〜Ｓ４１２を繰り返す。 Then, CPU 20 determines whether or not to continue a distance image obtained (step S412), if it is determined to continue (YES at step S412), repeats step S402～S412. 継続しないと判定した場合（ステップＳ４１２でＮＯの場合）、本処理を終了する。 If it is determined not to continue (NO in step S412), the process ends. 本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。 This processing is the distance image acquired in the moving image mode, and ends the shutter button 11 is one push again.
図１２では、本実施形態の理解を容易にするため、距離画像取得処理の開始から終了まで複数の波長域でドットパターン投射する場合を例に示したが、本発明はこのような場合に限定されない。 In Figure 12, for easy understanding of the present embodiment showed an example in which the dot pattern projected by a plurality of wavelength bands from the start of the range image acquisition process to the end, the present invention is limited to such a case not. まず投射部１２により一つの波長域でドットパターン投射を行って、判別部２０Ｃにより一つの波長域の撮像画像に第２のドットパターンが含まれないと判別された場合（即ち他機から第２のドットパターンが投射されていないと判別された場合）、その一つの波長域の撮像画像から抽出した第１のドットパターンに基づいて距離画像を取得し、判別部２０Ｃにより一つの波長域の撮像画像に第２のドットパターンが含まれると判別された場合（即ち他機から第２のドットパターンが投射されていると判別された場合）、投射部１２での第１のドットパターンの投射を一波長域から複数の波長域に切替え、且つ加算画像の生成を行って、加算画像から抽出したドットパターンに基づいて距離画像を生成することが、好ましい。 First performing a dot pattern projection at one wavelength region by the projection unit 12, if it is determined not contain a second dot pattern on the captured image of one wavelength region by the identification portion 20C (i.e. from another machine second If the dot pattern is determined to not projected), it acquires a distance image based on the first dot pattern extracted from the captured image in the wavelength range of the single, imaging of one wavelength region by the identification portion 20C If the second dot pattern is determined to be included in the image (i.e. when the second dot pattern from the other device is judged to have been projected), the projection of the first dot pattern of the projection portion 12 switching a plurality of wavelength bands from a wavelength region, and performs generation of added image, to generate a distance image based on the dot pattern extracted from the added image, preferably.
＜複数の波長域で撮像する態様のバリエーション＞ <Variation of embodiment for capturing a plurality of wavelength bands>
本発明における撮像部は、図６に示した撮像部１４（複数の波長域のそれぞれに感度をもつ複数種類の受光素子を有する撮像部の一例である）には、特に限定されない。 Imaging unit in the present invention, the imaging unit 14 shown in FIG. 6 (which is an example of an image pickup section having a plurality of light receiving elements sensitive to each of the plurality of wavelength regions) is not particularly limited.
例えば、図１３に例示する透過波長域切替デバイス５１を用いてもよい。 For example, it may be a transmission wavelength band switching device 51 illustrated in FIG. 13. 本例の透過波長域切替デバイス５１は、透過波長域が異なる複数の透過フィルタ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄが撮像部１４の光軸方向に直交する方向Ｓに沿ってライン状に配列されて構成されている。 Transmission wavelength range switching device 51 of this embodiment, a plurality of transmission filters 51A which transmission wavelength range is different, 51B, 51C, 51D are arranged in a line along a direction S perpendicular to the optical axis direction of the imaging unit 14 configured It is. ＣＰＵ２０は、図示を省略した駆動機構を介して透過波長域切替デバイス５１を方向Ｓに沿ってスライドさせることにより、撮像部１４に入射する光の透過波長域を切替える。 CPU20, by sliding the transmission wavelength range switching device 51 along a direction S via a drive mechanism (not shown), switches the transmission wavelength range of the light incident on the imaging unit 14. 即ち、ＣＰＵ２０は、透過波長域切替デバイス５１により撮像部１４に入射する光の透過波長域を切替えることで、撮像部１４に複数の波長域のそれぞれに感度をもって撮像させる透過波長域制御部として機能する。 That, CPU 20 is the transmission wavelength range switching device 51 by switching the transmission wavelength range of the light incident on the imaging unit 14, functions as a transmission wavelength range control unit for imaging with sensitive to each of the plurality of wavelength regions in the imaging unit 14 to.
本例の透過波長域切替デバイス５１を用いる場合、光変調部２２は、投射部１２から第１のドットパターンを複数の波長域のそれぞれで順次投射させる。 When using a transmission wavelength range switching device 51 of the present embodiment, the light modulating unit 22 sequentially to project respectively from the projection part 12 of the first plurality of wavelength regions a dot pattern. また、撮像部１４は、光変調部２２での波長域の切替えに同期して、複数の波長域のうちで投射部１２から投射中の第１のドットパターンの波長域のみに感度をもって撮像する。 The imaging unit 14 in synchronization with the switching of the wavelength region in the optical modulating portion 22, to image with only sensitive in a wavelength range of the first dot pattern being projected from the projection unit 12 among the plurality of wavelength bands . 即ち、前述の第２の撮像モードで撮像を行う。 That is, the imaging in the second imaging mode described above.
尚、複数の透過フィルタ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄをライン状に配列してスライドさせる場合を例に説明したが、このような場合に本発明は限定されない。 The plurality of transmission filters 51A, 51B, 51C, has been described as an example the case of sliding by arranging 51D linearly, the present invention in such a case is not limited. 例えば、複数の透過フィルタを輪状に配列した透過波長域切替デバイスを回動させる場合でもよい。 For example, it may be the case for rotating a plurality of transmission wavelength range switching device the transmission filter are arranged in annular.
また、駆動機構により透過フィルタを選択する場合を説明したが、本発明はこのような場合に限定されない。 Also, a case has been described for selecting a transmission filter by the drive mechanism, the present invention is not limited to such a case. 撮像部１４への入射光の波長を光学的に切替えるデバイスを透過波長域切替デバイスとして用いてよい。 The device for switching the wavelength of the incident light to the imaging unit 14 optically may be used as a transmission wavelength range switching device.
本発明を適用可能な態様は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の撮像が可能なデジタルカメラ、ビデオカメラが距離画像取得機能を搭載しているものでもよく、また、距離画像取得機能に加えて距離画像取得機能以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。 Applicable aspects of the present invention is mounted, the distance image is not limited to it and the distance image acquiring apparatus comprising a single function of acquiring a general color imaging is possible digital camera, a video camera distance image acquiring function may be one that, also, the distance image acquisition function in addition to the distance image acquisition function functions other than (call function, communication function, other computer function) is also applicable to a mobile equipment comprising . 本発明を適用可能な他の態様としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。 Other aspects to which the present invention can be applied, for example, a cellular phone or smart phone, PDA (Personal Digital Assistants), portable game machines and the like. 以下、本発明を適用可能なスマートフォンの一例について説明する。 Hereinafter, an example of applicable smartphone present invention.
図１４は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示す斜視図である。 Figure 14 is a perspective view showing the external appearance of the smartphone 500 is an embodiment of the range image acquisition device.
図１４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。 Smartphone 500 shown in FIG. 14 has a plate-shaped casing 502, a display panel 521 as a display section on one surface of the casing 502, the display input and an operation panel 522 as an input unit are integrated It has a part 520. また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、投射部５４２とを備えている。 The housing 502 includes a speaker 531, a microphone 532, an operation unit 540, a camera unit 541, and a projection portion 542. 尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。 The configuration of the housing 502 is not limited to this, for example, may or possible to use a construction where an input unit and the display unit is independent, also possible to use a construction having the folding structure and a slide mechanism.
図１５は、図１４に示したスマートフォン５００の構成を示すブロック図である。 Figure 15 is a block diagram showing the configuration of a smart phone 500 shown in FIG. 14. 図１５に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、撮像部として機能するカメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。 As shown in FIG. 15, as main components of the smartphone 500, a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541 that functions as an imaging unit, a storage unit 550 When provided with an external input and output unit 560, a GPS (Global Positioning System) receiver 570, a motion sensor unit 580, a power supply unit 590, a main control unit 501. また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。 Further, as the main function of the smart phone 500, a wireless communication function for performing mobile radio communication via the base station apparatus the mobile communication network.
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。 The wireless communication unit 510 receives an instruction from the main control unit 501 performs a wireless communication to the base station apparatus accommodated in the mobile communication network. この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。 Using this wireless communication, it performs audio data, various files of data such as image data, and transmission and reception of an electronic mail data, the reception of such Web data or streaming data.
表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。 Display input unit 520 is controlled by the main control unit 501, the transmitting image (still and moving) and character information such as the visually user by displaying the information, it detects a user operation on the display information, a so-called touch panel, and a display panel 521, and an operation panel 522. 生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。 When viewing the generated three-dimensional image, the display panel 521 is preferably a three-dimensional display panel.
表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。 Display panel 521, LCD (Liquid Crystal Display), OELD (Organic Electro-Luminescence Display) are those used as display devices and the like.
操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。 Operation panel 522 is placed viewable image that is displayed on the display surface of the display panel 521 is a device for detecting one or more of the coordinates is manipulated by a user's finger or stylus. このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。 Operation of this device by a user's finger or touch pen, and outputs a detection signal generated due to the operation to the main control unit 501. 次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。 Then, the main control unit 501, based on the detection signals received, it detects the operation position on the display panel 521 (coordinates).
図１４に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。 As shown in FIG. 14, but constitute a display input unit 520 together the display panel 521 and the operation panel 522 of the smartphone 500, a placement such as the operation panel 522 completely covers the display panel 521 ing. この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。 When employing this arrangement, the operation panel 522, for the region outside the display panel 521 may have a function of detecting a user operation. 換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。 In other words, the operation panel 522, the detection region for overlapping portion that overlaps the display panel 521 (hereinafter, referred to as a display region) and the detection region of the outer edge portion that does not overlap the display panel 521 the other (hereinafter, the non-display region referred to as) and may comprise.
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。 Although it may be perfectly matched to the size of the size and the display panel 521 of the display area, it is not always necessary to match the two. また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。 The operation panel 522, and the outer edge portion may be provided with two sensitive areas of the inner portion of the others. 更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。 Furthermore, the width of the outer edge portion is intended to be designed appropriately according to the size of the housing 502. 更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。 Furthermore, as the position detection method employed in the operation panel 522, a matrix switch method, a resistance film type, surface acoustic wave type, an infrared type, electromagnetic induction type, an electrostatic capacitance method and the like, adopt any method it is also possible to.
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。 Call unit 530, a speaker 531 and a microphone 532, and outputs the voice input user is converted into voice data which can be processed by the main control unit 501 to the main control unit 501 through the microphone 532, the wireless communication unit 510 or decodes the audio data received by the external input unit 560 and outputs from the speaker 531. また、図１４に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。 Further, as shown in FIG. 14, for example, it can be mounted on the same surface as the surface where the display input unit 520 to a speaker 531 and a microphone 532 are provided.
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。 Operation unit 540 is a hardware key using a key switch, is intended for receiving an instruction from the user. 例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。 For example, the operation unit 540, the lower portion of the display portion of the housing 502 of the smartphone 500 is mounted on the lower side, when depressed by a finger or the like turned on, turned off by the restoring force of a spring and release the finger press button is a type of switch.
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。 Storage unit 550 stores control programs and control data of the main control unit 501, in association with the address data such as the name and telephone number of the communication partner, transmitted and received e-mail data, Web data downloaded by Web browsing, downloaded content storing data and is intended for temporarily storing and streaming data. また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。 The storage unit 550 is constituted by an external storage unit 552 having a smartphone internal internal storage unit 551 and the detachable external memory slot. 尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia Incidentally, each of the internal storage unit 551 and an external storage unit 552 included in a storage unit 550, a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia
card micro type）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。 card micro type), card type memory (e.g., Micro SD (TM) memory, etc.), RAM (Random Access Memory), is implemented using a storage medium such as a ROM (Read Only Memory).
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area External input and output unit 560 is plays a role of an interface with all external devices connected to the smartphone 500, such as communication with other external devices (e.g., such as a Universal Serial Bus) or a network (e.g., Internet, wireless LAN (Local Area
Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。 The IrDA), UWB (Ultra Wideband) (registered trademark), etc. ZigBee (ZigBee) (R)): Network), Bluetooth (Bluetooth) (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association it is for direct or indirect connection.
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。 The external device connected to the smartphone 500, for example, wired / wireless headset, wired / wireless external charger, wired / wireless data port, a memory card (Memory card) which is connected via a card socket and SIM (Subscriber Identity Module card) / UIM (User Identity Module card) cards, audio and video I / O (Input / Output) external audio and video equipment that is connected via a terminal, external audio-video equipment are wirelessly connected, wired / smartphones are wirelessly connected, wired / wireless connection to the personal computer, wired / wireless connection to the PDA, an earphone, and the like. 外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。 External input and output unit, and to transmit the data received transmission from such an external device to the interior of the components of the smartphone 500, be as internal data of the smartphone 500 is transmitted to an external device it can.
ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。 GPS receiver 570 receives an instruction from the main control unit 501 receives a GPS signal transmitted from a GPS satellite ST1 to STn, run the positioning calculation process based on a plurality of GPS signals received, the smart phone 500 latitude, longitude detects the position consisting altitude. ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。 GPS receiver 570, wireless communication unit 510 or the external input and output unit 560 (e.g., wireless LAN) when you can obtain location information from, it is also possible to detect the position by using the position information.
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。 The motion sensor unit 580, for example, and the like a three-axis acceleration sensor, according to an instruction of the main control unit 501 detects the physical movement of the smartphone 500. スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。 By detecting the physical movement of the smartphone 500, the direction and the acceleration of movement of the smartphone 500 it is detected. この検出結果は、主制御部５０１に出力されるものである。 The detection result is to be output to the main control unit 501.
電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。 Power supply unit 590 receives an instruction from the main control unit 501, the respective portions of the smartphone 500, and supplies the electric power stored in battery (not shown).
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。 The main control unit 501 includes a microprocessor, operates in accordance with a control program and control data storage unit 550 stores, in which controls all the units of the smartphone 500. また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。 The main control unit 501, via the wireless communication unit 510, provided in order to perform voice communication and data communication, the mobile communication control function of controlling each unit of the communication system, the application processing function.
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。 Application processing function is realized by the main control unit 501 operates in accordance with application software storage unit 550 stores. アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。 The application processing function, for example, e-mail function to perform and an infrared communication function of performing counterpart device and data communication by controlling the external input and output unit 560, sending and receiving e-mail, and the like Web browsing function for browsing Web pages .
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。 The main control unit 501, based on image data such as streaming data downloaded received data and (data of a still image or a moving image), an image processing functions such as displaying on the display input unit 520 images. 画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。 The image processing function, the main control unit 501 decodes the image data, by performing image processing on the decoded result, it refers to the function of displaying the image on the display input unit 520.
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。 Further, the main control unit 501 executes display control for the display panel 521, an operation unit 540, the operation detection control for detecting a user operation through the operation panel 522.
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。 By the execution of the display control, the main control unit 501, displays the icon and the software key, such as a scroll bar in order to start the application software, or to display the window in order to create an e-mail. 尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。 Note that the scroll bar, for such a large image which can not be fit in the display area of ​​the display panel 521, refers to the software key for receiving an instruction to move the display portion of the image.
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。 Moreover, by the execution of the operation detection control, the main control unit 501 receives or detects a user operation through the operation unit 540, through the operation panel 522, the operation and for the icons, the input of a character string to the input column of the window or, or, it accepts a request for scrolling display image through the scroll bar.
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。 Further, the main control unit 501 by the execution of the operation detection control, the operating position on the operation panel 522, or overlapping portion that overlaps the display panel 521 (display area), the outer edge portion (the non-display region that does not overlap the display panel 521 otherwise ) or determined, it comprises sensitive area and the operation panel 522, the touch panel control function of controlling the display position of the software keys.
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。 The main control unit 501 detects a gesture operation on the operation panel 522, in accordance with the detected gesture operation may be executed a predetermined function. ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。 The gesture operation, rather than the conventional simple touch operation, etc. or the locus with a finger, or specify multiple locations simultaneously, or a combination thereof, for at least one of a plurality of positions operation for drawing the locus means.
カメラ部５４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。 The camera unit 541 is an imaging device for electronic imaging using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge-Coupled Device).
この場合、カメラ部５４１は、１つのイメージセンサ内に互いに受光の波長域が異なる複数の受光素子が設けられており、且つカラー撮像用の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）が混在して２次元配列されたものが好ましい。 In this case, the camera unit 541 is a wavelength region of the light receiving each other in one of the image sensor provided different light receiving elements, and the light receiving element for color imaging (R pixels, G pixels, B pixels) Mixed those arranged in two-dimensional form is preferred. 即ち、カメラ部５４１のイメージセンサとしては、カラー撮像用のＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、距離画像取得用のバンドパスフィルタ又はカットフィルタが設けられた画素（投射光のみに感度を有する画素）とが混在するものを使用することが好ましい。 That is, the image sensor of the camera unit 541, R pixel RGB color filters are provided for color imaging, G and B pixels and the pixels of the distance image band pass filter or cut-off filter for acquisition is provided ( it is preferable to use one pixel) and are mixed with a sensitivity only to the projection light.
投射部５４２は、ＬＥＤを有し、距離画像の取得時に光の第１のドットパターンを投射する。 Projection unit 542 includes a LED, which projects a first dot pattern of light at the time of acquisition of the distance image. また、ＬＥＤは、光通信機能を有するスマートフォン５００の場合、光通信の光源として使用することも可能である。 Moreover, LED, when the smart phone 500 with an optical communication function, can be used as optical communication light source.
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。 The camera unit 541 is controlled by the main control unit 501, converts the image data of the visible light obtained by the imaging, for example, the compressed image data such as JPEG (Joint Photographic coding Experts Group), recorded in the storage unit 550 or, it can be output through the external input and output unit 560 and the wireless communication unit 510, similarly to record the distance image showing the distance of an object in the storage unit 550, output through the external input and output unit 560 and the wireless communication unit 510 can do. 図１４に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。 In the smartphone 500 shown in FIG. 14, camera unit 541 is mounted on the same surface as the display input unit 520, the mounting position of the camera unit 541 is not limited thereto, be mounted on the back of the display input unit 520 it may, alternatively, a plurality of cameras 541 may be mounted. 尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。 Incidentally, when a plurality of cameras 541 are mounted may or imaging, alone switch the camera unit 541 to be subjected to imaging, or may be imaged using a plurality of camera unit 541 at the same time.
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。 The camera unit 541 may be used for various functions of the smartphone 500. 例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。 For example, to display the image acquired by the camera unit 541 to the display panel 521, as one of the operation input of the operation panel 522, the image of the camera unit 541 can be utilized. また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。 Also, when the GPS receiver 570 detects the position, it is also possible to detect the position with reference to the images from the camera unit 541. 更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。 Furthermore, with reference to the image from the camera unit 541, without using the three-axis acceleration sensor, or in combination with triaxial acceleration sensor, to determine the direction of the optical axis of the camera portion 541 of the smartphone 500 and, it is also possible to determine the current use environment. 勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。 Of course, it is also possible to use an image from the camera unit 541 in the application software.
例えば投射部５４２によって本発明における投射部を構成してよい。 For example it may constitute a projection section of the present invention by the projecting portion 542. 例えばカメラ部５４１によって本発明における撮像部を構成してよい。 It may constitute an imaging unit in the present invention by, for example, the camera unit 541. 例えば主制御部５０１によって本発明における判別部、パターン抽出部、距離画像取得部、及び加算画像生成部を構成してよい。 For example determination unit in the present invention by the main control unit 501, the pattern extracting unit, a distance image acquiring unit, and may constitute an addition image generation unit. 図示を省略したがスマートフォン５００に本発明における光変調部及びビーコン情報受信部を設ける。 Although not shown providing an optical modulation part and beacon information receiving unit in the present invention the smartphone 500.
尚、本発明は、連続した距離画像を取得する場合（動画モード）には特に限定されず、１フレーム分の距離画像取得を行う場合（静止画モード）で実施可能であることは、言うまでもない。 The present invention is not particularly limited in the case of obtaining the distance image continuous (moving image mode), 1 case of a frame of the distance image acquiring be practiced by (still image mode) is needless to say .
本発明は、上述した実施形態には限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 The present invention is not limited to the above embodiments, it is needless to say various modifications are possible without departing from the scope of the present invention.
１０、１００…距離画像取得装置、１２…投射部、１４…撮像部、１６…ＡＤ変換器、１８…インターフェース回路、２０…ＣＰＵ、２０Ａ…パターン抽出部、２０Ｂ…距離画像取得部、２０Ｃ…判別部、２０Ｄ…加算画像生成部、２２…光変調部、２６…駆動部、２８…操作部、３０…通信部、３２…記憶部、５１…透過波長域切替デバイス 10,100 ... distance image acquiring unit, 12 ... projection section, 14 ... imaging unit, 16 ... AD converter, 18 ... interface circuit, 20 ... CPU, 20A ... pattern extraction unit, 20B ... distance image acquiring unit, 20C ... determination parts, 20D ... adding image generation unit, 22 ... optical modulation unit, 26 ... drive section, 28 ... operation unit, 30 ... communication unit, 32 ... storage unit, 51 ... transmission wavelength range switching device
測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射する投射部と、 A projection unit for projecting the first pattern of the structured light distributed in two dimensions for an object distance measuring zone in a plurality of wavelength ranges,
前記投射部から基線長だけ離れて並設され、前記複数の波長域のそれぞれに感度をもって撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記複数の波長域のそれぞれに対応する複数の撮像画像を生成する撮像部と、 Are arranged apart base length from the projection unit, and imaging with a sensitivity to each of the plurality of wavelength ranges, said plurality of wavelengths and a plurality of captured images including the first pattern reflected by the object an imaging unit that generates a plurality of captured images corresponding to the respective frequency,
前記撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別する判別部と、 In the captured image, and a determination unit for determining whether or not includes a second pattern of the projected structured light from another range image acquisition device,
少なくとも前記判別部により前記第２のパターンが含まれないと判別された撮像画像から、前記第１のパターンを抽出するパターン抽出部と、 At least from said captured image is judged not included the second pattern by the identification portion, the pattern extraction unit for extracting the first pattern,
前記パターン抽出部により抽出された前記第１のパターンに基づいて、前記測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、 Based on the first pattern extracted by the pattern extraction unit, a distance image acquiring unit that acquires a distance image showing the distance of the object of the distance measuring area,
前記第１のパターン及び前記第２のパターンは、それぞれドットパターンであり、 The first pattern and the second pattern is a dot pattern, respectively,
前記判別部は、前記撮像画像中のドットパターンのドット数が前記投射部から投射された前記第１のパターンのドット数を越えている場合に、前記撮像画像に前記第２のパターンが含まれると判別する距離画像取得装置。 The determination unit, when the number of dots of the dot pattern in the captured image exceeds the number of dots of the first pattern projected from the projection unit includes a second pattern in the captured image range image acquisition device to determine that.
前記他の距離画像取得装置から前記第２のパターンの投射の波長域を示すビーコン情報を受信するビーコン情報受信部を備え、 Includes beacon information receiver for receiving beacon information indicating the wavelength region of the projection of the second pattern from the other distance image acquiring apparatus,
前記判別部は、前記ビーコン情報によって示される波長域での撮像画像に前記第２のパターンが含まれると判別する請求項１に記載の距離画像取得装置。 The determination unit, a distance image acquiring apparatus according to claim 1 to determine that includes the second pattern in the captured image in a wavelength band indicated by the beacon information.
前記投射部から前記第１のパターンを前記複数の波長域のそれぞれで順次投射させる光変調部を備え、 Comprising a light modulation unit for sequentially projected on each of the plurality of wavelength ranges of the first pattern from said projection unit,
前記撮像部は、前記光変調部での波長域の切り換えに同期して、前記複数の波長域のうちで前記投射部から投射中の前記第１のパターンの波長域のみに感度をもって撮像する請求項１から４のいずれか一項に記載の距離画像取得装置。 The imaging unit in synchronization with the switching of the wavelength region in the light modulation unit, to image with only sensitive in the wavelength region of the first pattern being projected from the projection unit among the plurality of wavelength ranges according distance image acquiring apparatus according to any one of claim 1 4.
前記投射部は、前記第１のパターンを前記複数の波長域で同時に投射する請求項１から４のいずれか一項に記載の距離画像取得装置。 The projection unit, a distance image acquiring apparatus according to claim 1, any one of 4 to simultaneously projecting the first pattern in the plurality of wavelength ranges.
前記撮像部は、前記複数の波長域のそれぞれに感度をもつ複数種類の受光素子を有する請求項１から６のいずれか一項に記載の距離画像取得装置。 The imaging unit, the plurality of distance image acquiring apparatus according to any one of claims 1 to 6 having a plurality of kinds of light-receiving element having sensitivity to the respective wavelength ranges.
前記撮像部に入射する光の透過波長域を切替える透過波長域切替デバイスと、 A transmission wavelength range switching device for switching a transmission wavelength range of light incident to the imaging unit,
前記透過波長域切替デバイスにより前記撮像部に入射する光の透過波長域を切替えることで、前記撮像部に前記複数の波長域のそれぞれに感度をもって撮像させる透過波長域制御部と、 Said transmission wavelength range switching device by a switching the transmission wavelength range of light incident to the imaging unit, the transmission wavelength range control part which has a sensitivity to imaging to each of the plurality of wavelength regions in the imaging unit,
を備える請求項１から６のいずれか一項に記載の距離画像取得装置。 Distance image acquiring apparatus according to any one of claims 1 to 6, comprising a.
投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射するステップと、 A step of projecting the first pattern of the structured light distributed in two dimensions for an object in the distance measurement area from the projection portion at a plurality of wavelength ranges,
前記投射部から基線長だけ離れて並設された撮像部により、前記複数の波長域のそれぞれに感度をもって撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記複数の波長域のそれぞれに対応する複数の撮像画像を生成するステップと、 By the only base length from the projection unit imaging unit that is arranged away imaged with sensitivity to each of the plurality of wavelength regions, a plurality of captured images including the first pattern reflected by the object generating a plurality of captured images corresponding to each of the plurality of wavelength ranges,
前記撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別するステップと、 In the captured image, a step of determining whether or not includes a second pattern of the projected structured light from another range image acquisition device,
少なくとも前記第２のパターンが含まれないと判別された撮像画像から、前記第１のパターンを抽出するステップと、 From at least the second pattern is not included as judged captured image, a step of extracting said first pattern,
前記抽出された第１のパターンに基づいて、前記測距領域内の被写体の距離を示す距離画像を取得するステップと、 A step of, based on the first pattern is extracted, and acquires a distance image showing the distance of the object of the distance measuring area,
前記撮像画像中のドットパターンのドット数が前記投射部から投射された前記第１のパターンのドット数を越えている場合に、前記撮像画像に前記第２のパターンが含まれると判別するステップと、 A step of determining the number of dots of the dot pattern in the captured image when exceeds the number of dots of the first pattern projected from the projection unit includes a second pattern in the captured image ,
前記第１のパターン及び前記第２のパターンは、それぞれドットパターンである距離画像取得方法。 The first pattern and the second pattern, the distance image acquiring method is a dot pattern, respectively.
JP2017509157A 2015-03-30 2015-11-11 Distance image acquiring apparatus and the distance image acquiring method Active JP6244061B2 (en)
JP2015069131 2015-03-30
PCT/JP2015/081776 WO2016157601A1 (en) 2015-03-30 2015-11-11 Range image acquisition apparatus and range image acquisition method
JPWO2016157601A1 JPWO2016157601A1 (en) 2017-11-24
JP6244061B2 true JP6244061B2 (en) 2017-12-06
ID=57004135
JP2017509157A Active JP6244061B2 (en) 2015-03-30 2015-11-11 Distance image acquiring apparatus and the distance image acquiring method
US (1) US9953433B2 (en)
JP (1) JP6244061B2 (en)
CN (1) CN107429998B (en)
DE (1) DE112015006245B4 (en)
WO (1) WO2016157601A1 (en)
CN107683403A (en) * 2015-06-09 2018-02-09 富士胶片株式会社 Distance Image Acquisition Device And Distance Image Acquisition Method
JP2005221333A (en) * 2004-02-04 2005-08-18 Hokuyo Automatic Co Range sensor and mutual interference suppression method of range sensor
DE102009037553A1 (en) * 2009-08-17 2011-02-24 Baumer Innotec Ag Sensor for contact-free detection of local and global presence or absence of transparent protective layer on substrate, has light pattern projector consisting of element for generating light pattern and projection lens
JP6351201B2 (en) * 2012-12-06 2018-07-04 キヤノン株式会社 Distance measuring apparatus and method
JP6289254B2 (en) * 2014-05-02 2018-03-07 キヤノン株式会社 The image processing apparatus, information processing method and program
JP2017198470A (en) * 2016-04-25 2017-11-02 キヤノン株式会社 Measurement device, measurement method, system, and goods manufacturing method
2015-11-11 JP JP2017509157A patent/JP6244061B2/en active Active
2015-11-11 DE DE112015006245.9T patent/DE112015006245B4/en active Active
2015-11-11 CN CN201580077965.3A patent/CN107429998B/en active IP Right Grant
2015-11-11 WO PCT/JP2015/081776 patent/WO2016157601A1/en active Application Filing
2017-09-22 US US15/712,545 patent/US9953433B2/en active Active
DE112015006245B4 (en) 2019-05-23
CN107429998B (en) 2018-10-02
DE112015006245T5 (en) 2017-12-14
JPWO2016157601A1 (en) 2017-11-24
US9953433B2 (en) 2018-04-24
WO2016157601A1 (en) 2016-10-06
US20180012372A1 (en) 2018-01-11
CN107429998A (en) 2017-12-01
CN103188016A (en) 2013-07-03 Information provision system, server, terminal device, information provision method, display control method and recording medium
JP5697801B2 (en) 2015-04-08 An imaging apparatus and an automatic focusing method
JP5931206B2 (en) 2016-06-08 The image processing apparatus, an imaging apparatus, a program and an image processing method
JP5755814B2 (en) 2015-07-29 An image processing apparatus, method, program, and an imaging apparatus
JP5777825B2 (en) 2015-09-09 Imaging device, abnormal oblique incident light detecting method and program, and recording medium
JP5542247B2 (en) 2014-07-09 Imaging device and an imaging apparatus
US9479691B2 (en) 2016-10-25 Image capture device and focus control method
JP5756572B2 (en) 2015-07-29 An image processing apparatus and method, and an imaging apparatus
JP2011055397A (en) 2011-03-17 Visible light communication system
WO2013153711A1 (en) 2013-10-17 Portable electronic device and display control method
JP5799178B2 (en) 2015-10-21 The imaging device and focus control method
JP5540612B2 (en) 2014-07-02 Guidance display system and the guide display method
2017-08-30 A529 Written submission of copy of amendment under section 34 (pct)
2017-09-04 A871 Explanation of circumstances concerning accelerated examination
Ref document number: 6244061