Source: https://patents.google.com/patent/JP2006099749A/en
Timestamp: 2018-12-16 12:00:58
Document Index: 618821015

Matched Legal Cases: ['art 5', 'art 6', 'art 5', 'art 7', 'art 6', 'art 5', 'art 11', 'art 11', 'art 11', 'art 11', 'art 14', 'art 11', 'art 11', 'art 11']

JP2006099749A - Gesture switch - Google Patents
Gesture switch Download PDF
JP2006099749A
JP2006099749A JP2005246812A JP2005246812A JP2006099749A JP 2006099749 A JP2006099749 A JP 2006099749A JP 2005246812 A JP2005246812 A JP 2005246812A JP 2005246812 A JP2005246812 A JP 2005246812A JP 2006099749 A JP2006099749 A JP 2006099749A
JP2005246812A
JP4692159B2 (en )
Naoya Ruike
栄次 中元
睦裕 山中
淳之 広野
直哉 類家
<P>PROBLEM TO BE SOLVED: To provide a user-friendly gesture switch capable of extracting a specific portion of a person without being affected by a background of a detection target area. <P>SOLUTION: This gesture switch has: a distance image sensor DS continuously generating a distance image with a distance value to an object Ob present in the detection target area as a pixel value; a specific portion extraction part 5 extracting the specific portion of the person present in the detection target area on the basis of the distance image generated by the distance image sensor DS; a gesture recognition part 6 recognizing a prescribed gesture inside a specific space on the basis of time-series data on shape of the specific portion extracted by the specific portion extraction part 5; and a control part 7 imparting control output previously associated to the gesture recognized by the gesture recognition part 6 to control target equipment. The specific portion extraction part 5 binarizes the distance image with a value obtaining by adding a prescribed value to the minimum distance value in each distance image as a threshold value, and extracts an area wherein it becomes the threshold value or below as the specific portion. <P>COPYRIGHT: (C)2006,JPO&NCIPI
本発明は、ジェスチャースイッチに関するものである。 The present invention relates to a gesture switches.
従来から、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って直接操作する（触れる）ことなく制御対象機器を制御するためのマンマシンインタフェースの一例として、人の手首から先の手の動きを検出し、検出した手の動き（ジェスチャー）に基づいて制御対象機器へ制御出力を与えるジェスチャスイッチが提案されている（例えば、特許文献１，２参照）。 Conventionally, as an example of a control target device and the control target went to the control of the switch, such as the location of the equipment to operate directly (touch) man-machine interface for controlling the control target device without, ahead from the wrist of the person of detecting the movement of the hand, a gesture switches provide control outputs to the control target device based on the detected hand movements (gestures) has been proposed (e.g., see Patent documents 1 and 2).
ここにおいて、特許文献１，２には、ジェスチャーを検出する方法として、人の筋電信号を利用する方法が記載され、また、特許文献２には、ジェスチャーを検出する方法として、１台あるいは複数台のカメラによって撮像された画像に適宜の画像処理を施して人の特定部位を抽出し、ジェスチャーを認識する方法が記載されている。 Here, Patent Documents 1 and 2, as a method for detecting a gesture, a method is described for use myoelectrogram human, Patent Document 2 discloses, as a method for detecting a gesture, one or more extracting a specific portion of a person subjected to appropriate image processing on the image captured by the base camera, how to recognize the gesture is described.
特開２０００−１３８８５８号公報 JP 2000-138858 JP 特開平７−２４８８７３号公報 JP-7-248873 discloses
ところで、上記特許文献１，２に開示された人の筋電信号を利用してジェスチャーを検出する方法を採用したジェスチャースイッチでは、筋電信号を検出するための検出装置を人が装着する必要があり、使い勝手が良くなかった。 Meanwhile, in the gesture switch employing the method for detecting a gesture by using EMG human disclosed in Patent Documents 1 and 2, it requires that a detection device for detecting a myoelectric signal person wears Yes, ease of use was not good.
これに対して、上記特許文献２に開示された画像処理によりジェスチャーを検出する方法を採用したジェスチャースイッチでは、人が何も装着する必要がないので、使い勝手が良いという利点がある。 In contrast, in the gesture switch employing a method of detecting a gesture by the disclosed image processing in Patent Document 2, since there is no need to mount any person, there is an advantage that good usability.
しかしながら、上記特許文献２に開示された画像処理によりジェスチャーを検出する方法を採用したジェスチャースイッチでは、カメラにより検知対象エリアを撮像して得られる画像が濃淡画像なので、特定部位の輪郭を抽出する際に背景などの影響を受けやすいという不具合があった。 However, in the gesture switch employing a method of detecting a gesture by image processing disclosed in Patent Document 2, since an image obtained by imaging the detection target area by the camera is gray image when extracting the contour of the specific portion there is a problem that will easily be affected by the background to.
本発明は上記事由に鑑みて為されたものであり、その目的は、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位の抽出が可能なジェスチャースイッチを提供することにある。 The present invention has been made in view of the above circumstances, and its object is without need to touch performing a switch for controlling the control target device and the control target device to the installation site, moreover, good usability, and, in the extraction of the specific portion of the human without being influenced by the background of the detection target area to provide a gesture switches possible.
請求項１の発明は、検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサと、距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部と、特定部位抽出部により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部と、ジェスチャー認識部により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器へ与える制御部とを備えることを特徴とする。 The invention of claim 1, the detection based on the distance value to the object present in the detection target area and range image sensor continuously generates a distance image as a pixel value, the range image sensor generates the range image object a specific site extracting unit for extracting a specific portion of a person present in the area, the gesture recognizing a predetermined gesture in a specific space based on time-series data of the shape of the specific portion extracted by the specific site extracting section a recognition unit, characterized in that it comprises a control unit providing a associated beforehand control outputs the recognized gesture by gesture recognition unit to the control target device. なお、検知対象エリアの存在する物体とは人体を含むものである。 Note that the present object of the detection target area is intended to include human body.
この発明によれば、検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する１つの距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位が特定部位抽出部にて連続的に抽出され、ジェスチャー認識部において特定部位抽出部から出力されるデータに基づいて特定空間内での人の所定のジェスチャーが認識されるので、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位を抽出することが可能となる。 According to the invention, present in the detection target area based distance value to an object existing in the detection target area in the distance image and the distance image generated in one range image sensor continuously generates the pixel values specific portion of the human is continuously extracted at a specific site extracting unit, since the predetermined gesture of a person in a particular space is recognized based on the data output from the specific site extracting unit in the gesture recognition unit, the control without the need to touch carried out such as a switch for control of the target device and the control target device to the installation location, moreover, good ease of use without the need for human wearing anything, and, being influenced by the background of the detection target area it is possible to extract a specific portion of the people without.
請求項２の発明は、請求項１の発明において、前記制御部は、前記距離画像における前記特定空間の画素数に対する前記特定部位の画素数の割合が規定値を超えているときに前記制御出力を前記制御対象機器へ与えることを特徴とする。 The invention of claim 2 is the invention of claim 1, wherein the control unit, the control output when the ratio of the number of pixels the specific site to the number of pixels the specific space in the distance image exceeds a specified value characterized in providing a to the control target device.
この発明によれば、前記特定空間以外の空間での人の前記制御対象機器の制御を意図しない動きがジェスチャーとして認識されても前記制御対象機器へ前記制御出力が与えられるのを防止することができる。 According to the present invention, it is possible to prevent the said control output controls the control target device of the human in a space other than the specific space be recognized unintended motion as a gesture to the control target device is given it can.
請求項３の発明は、請求項１または請求項２の発明において、前記特定部位抽出部は、前記距離画像を所定の閾値で２値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする。 The invention of claim 3 is the invention of claim 1 or claim 2, wherein the specific site extracting section binarizes the range image with a predetermined threshold value, to extract an area equal to or less than the threshold value as said specific site the features.
この発明によれば、閾値を適宜設定することにより、例えば、人の全身や上半身などを前記特定部位として抽出することが可能となり、人の全身や上半身を使ったジェスチャーの認識が可能となる。 According to the present invention, by setting the threshold appropriately, for example, it is possible to extract such as human systemic and upper body as said specific site, it is possible to recognize gestures using human systemic and upper body.
請求項４の発明は、請求項１または請求項２の発明において、前記特定部位抽出部は、前記距離画像毎に最小の距離値に所定値を加算した値を閾値として前記距離画像を２値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする。 The invention of claim 4 is the invention of claim 1 or claim 2, wherein the specific site extracting unit, the distance image binary value obtained by adding a predetermined value to the minimum distance value for each of the range image as a threshold value However, and extracts an area equal to or less than the threshold value as the specific site.
この発明によれば、所定値を適宜設定することにより、例えば、前記距離画像センサへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を前記特定部位として容易に抽出することが可能となる。 According to the present invention, by appropriately setting the predetermined value, for example, when used in to perform gestures in the previous section than the wrist by holding the hand to the range image sensor, than the wrist of the human hand the previous sections and can be easily extracted as the specific site.
請求項５の発明は、請求項４の発明において、前記特定部位抽出部は、前記距離画像センサへ向けられる手の手首よりも先の部分を前記特定部位として想定して前記所定値が設定されており、前記ジェスチャー認識部は、前記特定部位抽出部により抽出された前記特定部位である手の指および手のひらそれぞれの３Ｄ重心を特徴量として特徴量の時系列データに基づいてジェスチャーを認識することを特徴とする。 The invention of claim 5 is the invention of claim 4, wherein the specific site extracting unit, the predetermined value is set to the previous sections and than the wrist of the hand directed to the range image sensor is assumed as the specific site and which, the gesture recognition unit to recognize the gesture based finger and palm respective 3D centroid hand the which is the specific site extracted by the specific site extracting unit in the time-series data of the feature quantity as a feature quantity the features.
この発明によれば、前記距離画像センサへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用するにあたって、前記ジェスチャー認識部におけるジェスチャーの認識性能を向上させることができる。 According to the present invention, when used and to perform gestures in the previous section than the wrist by holding the hand to the range image sensor, it is possible to improve the recognition performance of the gesture in the gesture recognition unit.
請求項６の発明は、請求項１または請求項２の発明において、前記特定部位抽出部は、前記距離画像において最小の距離値となる画素の周囲領域に関して閾値以下となる画素の数が一定値となるように前記閾値を調整して前記距離画像を前記閾値で２値化し、前記閾値以下となる領域を前記特定部位として抽出することを特徴とする。 The invention of claim 6 is the invention of claim 1 or claim 2, wherein the specific site extracting unit number constant value of the pixel equal to or less than the threshold value with respect to the surrounding region of the pixel having the minimum distance value in the distance image binarizing the distance image by adjusting the threshold value in the threshold value such that, and extracts an area equal to or less than the threshold value as said specific site.
この発明によれば、例えば、前記距離画像センサへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を前記特定部位として安定して抽出することが可能となる。 According to the present invention, for example, when used in to perform gestures in the previous section than the wrist by holding the hand to the range image sensor, stably previous portion than the wrist of the human hand as the specific site and it is possible to extract.
請求項７の発明は、請求項３ないし請求項６の発明において、前記特定部位抽出部は、前記距離画像における入力判定領域についてのみ２値化を行うことを特徴とする。 The invention of claim 7 is the invention of claims 3 to 6, the specific site extracting unit, and performs binarization only the input determination region in the distance image.
この発明によれば、前記距離画像における全画素について２値化を行う場合に比べて、前記特定部位抽出部の処理速度の高速化を図れる。 According to the present invention, as compared with a case where the binarization for all the pixels in the distance image, thereby to speed up the processing speed of the specific site extracting unit.
請求項１の発明では、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位を抽出することが可能となるという効果がある。 In the first aspect of the present invention, the control target equipment and the control target there is no need to switch or the like for the control touch to go to the installation location of the equipment, moreover, good ease of use without the need for human wearing anything, and, there is an effect that it becomes possible to extract a specific portion of the human without being influenced by the background of the detection target area.
本実施形態のジェスチャースイッチは、図１に示すような構成であって、検知対象エリアに存在する物体Ｏｂまでの距離値を画素値とする距離画像を連続的に生成する距離画像センサＤＳと、距離画像センサＤＳで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部５と、特定部位抽出部５により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部６と、ジェスチャー認識部６により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器（図示せず）へ与える制御部７とを備える。 Gestures switch of the present embodiment, such a structure as shown in FIG. 1, a distance image sensor DS for generating a distance image as a pixel value distance values ​​to the object Ob existing in the detection target area continuously, the distance between the specific site extracting unit 5 for extracting a specific portion of a person present in the detection target area based on the distance image generated by the image sensor DS, chronological shape of the particular part extracted by the specific site extracting unit 5 a gesture recognition unit 6 recognizes the predetermined gesture in a specific space based on such data gives the associated beforehand control outputs the recognized gesture by gesture recognition unit 6 to the control target device (not shown) and a control unit 7. ここにおいて、距離画像センサＤＳは、例えば、図２（ａ）に示すように部屋Ｒの天井１３１に設置したり、同図（ｂ）に示すように部屋Ｒの天井１３１側の角に設置したり、同図（ｃ）に示すように部屋Ｒの壁１３２に設置すればよいが、距離画像センサＤＳの設置場所は特に限定するものではなく、特定部位抽出部５において抽出したい特定部位に応じて適宜決めればよい（特定部位の例については図３を参照して後述する）。 Here, the range image sensor DS, for example, placed on the corner of the ceiling 131 side of the room R as shown in or installed on a ceiling 131 of a room R as shown in FIG. 2 (a), FIG. (B) or, it may be installed on a wall 132 of a room R as shown in FIG. 5 (c), but the distance location of the image sensor DS is not particularly limited, depending on the specific region to be extracted in a specific site extracting unit 5 it may be determined appropriately Te (described later with reference to FIG. 3 for an example of a specific site). なお、図２（ａ）（ｂ）（ｃ）中の一点鎖線で囲まれた空間Ｅは距離画像センサＤＳの検知対象エリアを模式的に示している。 Incidentally, FIG. 2 (a) (b) (c) space E surrounded by a dashed line in is a detection target area of ​​the distance image sensor DS is schematically shown.
距離画像センサＤＳは、検知対象エリア（対象空間）Ｅに光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子１を備える。 Distance image sensor DS is provided with a light source 2 for irradiating light to the detection target area (target space) E, a light detecting element electrical output of the output value that reflects the amount of received light and receiving light are obtained from the target space equipped with a 1. 対象空間に存在する物体Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから物体Ｏｂでの反射光が光検出素子１に入射する（到達する）までの時間（「飛行時間」と呼ぶ）によって求める。 Distance to the object Ob to be present in a subject space, the light reflected from the light source 2 on the object Ob from the light to the target space is irradiated is incident on the light detecting element 1 (to reach) to the time ( "time of flight determined by "hereinafter). ただし、飛行時間はナノ秒レベルの非常に短い時間であるから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。 However, the flight time is because it is very short time nanosecond, using the modulated intensity-modulated light so that the intensity of the light to be irradiated on the object space is changed periodically in a fixed cycle, the received intensity-modulated light obtaining time of flight using the phase of the time.
すなわち、図５（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψが飛行時間に相当するから、位相差ψを求めることにより物体Ｏｂまでの距離を求めることができる。 That is, as shown in FIG. 5 (a), by the intensity of light radiated into space from the light source 2 is changed as indicated by a curve b, the light receiving amount of light received by the light detecting element 1 changes as shown in curve B if, because the phase difference [psi is equivalent to the flight time, it is possible to determine the distance to the object Ob by obtaining the phase difference [psi. また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。 Further, the phase difference [psi, can be calculated using the amount of light received curve B obtained by the plurality of timing curve b. 例えば、曲線イにおける位相が０度、９０度、１８０度、２７０度のタイミングで求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。 For example, the phase is 0 degrees in the curve b, 90 degrees, 180 degrees, the amount of light received curve B obtained at the timing of 270 degrees is assumed to be, respectively A0, A1, A2, A3 (received light amount A0, A1, A2, shows the A3 in the shaded area). ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の時間Ｔｗで積算した受光光量を用いる。 However, the amount of received light A0, A1, A2, A3 in each phase, using a light-receiving amount obtained by integrating a predetermined time Tw not the instantaneous value. いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、物体Ｏｂまでの距離が変化せず）、かつ物体Ｏｂの反射率にも変化がないものとする。 Now, while obtaining the light-receiving amount A0, A1, A2, A3, the phase difference ψ is not changed (that is, does not change the distance to the object Ob), and as there is no change in the reflectivity of the object Ob to. また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。 Further, the intensity of light emitted from the light source 2 is modulated by a sine wave, the intensity of light received by the light detecting element 1 at the time t is assumed to be represented by A · sin (ωt + δ) + B. ここに、Ａは振幅、Ｂは外光成分、ωは角振動数、δは位相である。 Here, A is the amplitude, B is an external light component, omega is the angular frequency, [delta] is the phase. 光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を時間Ｔｗの積算値ではなく瞬時値とすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。 If instantaneous values ​​rather than the integrated value of the light-receiving amount A0, A1, A2, A3 the time Tw which is received by the light detecting element 1, light-receiving amount A0, A1, A2, A3 can be expressed as follows.
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ A0 = A · sin (δ) + B
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ A1 = A · sin (π / 2 + δ) + B
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ A2 = A · sin (π + δ) + B
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ A3 = A · sin (3π / 2 + δ) + B
ここに、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。 Here, [delta] = because it is -ψ, A0 = -A · sin (ψ) + B, A1 = A · cos (ψ) + B, A2 = A · sin (ψ) + B, A3 = -A · cos (ψ ) + a B, consequently, the relationship between the received light amount A0, A1, A2, A3 and the phase difference ψ is expressed by the following equation.
ψ＝ｔａｎ −１ ｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝ …（式１） ψ = tan -1 {(A2- A0) / (A1-A3)} ... ( Equation 1)
式１では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として時間Ｔｗにおける積算値を用いても式１で位相差ψを求めることができる。 While using the instantaneous value of the Formula 1 light-receiving amount A0, A1, A2, A3, it can determine the phase difference ψ in equation 1 even using the integrated value at time Tw as the light receiving amount A0, A1, A2, A3 it can.
上述のように対象空間に照射する光の強度を変調するために、発光源２としては、例えば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。 To modulate the intensity of light irradiated to the target space as described above, as the light source 2, such as a combination of a plurality of light emitting diodes which are arranged on one plane, a semiconductor laser and a divergent lens It is used. また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。 Further, the light emitting source 2 is driven by a modulation signal which is a predetermined modulation frequency output from the control circuit unit 3, the light emitted from the light source 2 intensity is modulated by the modulation signal. 制御回路部３では、例えば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。 The control circuit unit 3, modulating the intensity of light emitted from the light source 2, for example a sine wave of 20MHz. なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。 The intensity of light emitted from the light source 2 in addition to modulating a sine wave, triangular wave, may be modulated in such a sawtooth wave, short, as long as modulating the intensity at a constant period, any configuration the may be adopted.
光検出素子１は、規則的に配列された複数個の感光部１１を備える。 Light detecting element 1 is provided with a plurality of photosensitive portions 11 which are regularly arranged. また、感光部１１への光の入射経路には受光光学系８が配置される。 Further, the incident path of light to the photosensitive portion 11 is disposed the light receiving optical system 8. 感光部１１は光検出素子１において対象空間からの光が受光光学系８を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。 Photosensitive portion 11 is a portion in the photodetector element 1 is light from the target space is incident through the light receiving optical system 8, and generates charge of an amount according to the amount of received light at the photosensitive unit 11. また、感光部１１は、平面格子の格子点上に配置され、例えば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。 The photosensitive unit 11 is arranged on lattice points of a plane grating, for example, a vertical direction (i.e., vertical direction) and horizontal direction (i.e., horizontal direction) and in a matrix form in sequence arranged by a plurality at equal intervals It is.
受光光学系８は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。 Receiving optical system 8 associates the viewing direction when viewing the object space from the light detecting element 1 and the exposed portion 11. すなわち、受光光学系８を通して各感光部１１に光が入射する範囲を、受光光学系８の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。 That is, the range in which light in the light-sensitive portion 11 through the light receiving optical system 8 is incident, may be regarded as the vertex center of the light receiving optical system 8 and a small cone-shaped field of the apex angle which is set for each photosensitive unit 11 . したがって、発光源２から放射され対象空間に存在する物体Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系８の光軸を基準方向として物体Ｏｂの存在する方向を知ることができる。 Therefore, the reflected light reflected by the object Ob existing in the target space is emitted from the light source 2 when incident on the photosensitive unit 11, the position of the photosensitive unit 11 which receives the reflected light, the optical axis of the light receiving optical system 8 it is possible to know the direction of presence of the object Ob as the reference direction.
受光光学系８は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系８の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系８の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する物体Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。 Since being positioned such light receiving optical system 8 is generally perpendicular to the optical axis in a plane having an array of photosensitive part 11, the center of the light receiving optical system 8 as the origin, and the vertical and horizontal planes having an array of photosensitive part 11 by setting the orthogonal coordinate system with the direction of the three axes and the optical axis of the light receiving optical system 8, the angle (a so-called azimuth and elevation) of each when the location of the object Ob existing in the target space expressed in spherical coordinates corresponding to the photosensitive unit 11. なお、受光光学系８は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。 The light receiving optical system 8, it is also possible in which the optical axis is arranged to intersect at an angle other than 90 degrees relative to a plane having an array of photosensitive part 11.
本実施形態では、上述のように、物体Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。 In the present embodiment, as described above, to determine the distance to the object Ob, the light receiving timing of the four points to synchronize the change in intensity of light irradiated to the object space from the light source 2 light intensity A0, A1, A2, seeking A3. したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。 Therefore, it is necessary to control the timing for obtaining the light-receiving amount A0, A1, A2, A3 of the objective. また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。 Further, since the amount of charges generated in the photosensitive unit 11 in one period of the intensity change of the light irradiated to the object space from the light source 2 is small, it is desirable to integrate the charge over a plurality of cycles. そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１において利用できる電荷を生成する領域の面積を変化させることにより各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。 Therefore, it provided with a plurality of charge accumulation portion 13 to accumulate respective charges generated in the photosensitive portion 11 as shown in FIG. 1, each by varying the area of ​​the region that generates charges available in the photosensitive unit 11 a plurality of sensitivity control unit 12 for adjusting the sensitivity of the photosensitive portion 11 respectively are provided.
各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。 Each sensitivity control unit 12, the sensitivity control unit 12 to be higher at any timing out of the four points mentioned above the sensitivity of the photosensitive portion 11 corresponding light receiving amount of the light-sensitive portion 11 sensitivity is increased the timing A0, since mainly generate charges corresponding to A1, A2, A3, it is possible to integrate charge corresponding to the received light amount A0, A1, A2, A3 in the charge accumulation portion 13 corresponding to the photosensitive unit 11.
ところで、感度制御部１２は感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部１３に集積された電荷は必ずしも受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。 Incidentally, since the sensitivity control unit 12 is used to vary the generation amount of charge of each period by changing the area of ​​the region that generates charges available in the photosensitive section 11 (substantial light receiving area), the charge accumulation unit charges accumulated in 13 is not necessarily only the charge quantity of received light A0, A1, A2, A3 are generated in the period obtained, also to mixed charges generated in other periods. いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。 Now, the sensitivity control unit 12, the sensitivity of the period for generating a charge corresponding to received light amount A0, A1, A2, A3 alpha, and the sensitivity of the period other than that and beta, the photosensitive unit 11 is proportional to the amount of received light charge It shall be generated. この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が蓄積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が蓄積される。 In this condition, the charge integration unit 13 for integrating charges corresponding to the amount of received light A0 is, αA0 + β (A1 + A2 + A3) + βAx (Ax is the amount of light received during other periods of the light-receiving amount A0, A1, A2, A3 are obtained) is proportional to charges are accumulated, the charge accumulation section 13 for accumulating charge corresponding to received light amount A2 may, αA2 + β (A0 + A1 + A3) + βAx proportional to charge is accumulated. 上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、Ａ２−Ａ０＝（α−β）（Ａ２−Ａ０）になり、同様にしてＡ１−Ａ３＝（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。 As described above, when obtaining the phase difference ψ is sought (A2-A0), it becomes A2-A0 = (α-β) (A2-A0), A1-A3 = similarly (alpha- since becomes β) (A1-A3), (A2-A0) / (A1-A3) is a than would theoretically the same value regardless of the presence or absence of contamination of the charge, position obtaining even charge is mixed phase difference ψ is the same value.
感光部１１と感度制御部１２と電荷集積部１３とを備える光検出素子１は１つの半導体装置として構成され、光検出素子１には電荷集積部１３に集積された電荷を半導体装置の外部に取り出すために電荷取出部１４が設けられる。 Light detecting element 1 having the photosensitive portion 11 and the sensitivity control unit 12 and the charge accumulating portion 13 is configured as a single semiconductor device, to the outside of the semiconductor device charges integrated in the charge accumulation portion 13 to the light detecting element 1 charge take-out portion 14 is provided to retrieve. 電荷取出部１４はＣＣＤイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。 Charge take-out portion 14 has the same structure as the vertical transfer portion and the horizontal transfer section in a CCD image sensor.
上述したように各感光部１１では受光光量に応じた量の電荷を生成するから、上述した各受光光量Ａ０、Ａ１、Ａ２、Ａ３は物体Ｏｂの明るさを反映している。 Because generates charge of an amount according to the amount of received light in each of the photosensitive portions 11 as described above, the light receiving amount A0, A1, A2, A3 described above reflects the brightness of the object Ob. つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３の加算値あるいは平均値は濃淡画像における濃度値に相当する。 That is, the addition value or average value of the received light amount A0, A1, A2, A3 corresponds to the density value of the gray image. 換言すれば、各感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３から物体Ｏｂまでの距離を求めるほか、物体Ｏｂの濃度値も得ることが可能になる。 In other words, in addition to determining the distance from the light-receiving amount A0, A1, A2, A3 in each photosensitive unit 11 to the object Ob, it is possible to obtain also the concentration value of the object Ob. しかも、同じ位置の感光部１１を用いて物体Ｏｂの距離と濃度値とを求めるから、同じ位置について濃度値と距離との両方の情報を得ることが可能になる。 Moreover, since obtaining the distance and the density value of the object Ob using a photosensitive portion 11 of the same position, it is possible to obtain both the information of the density value and the distance for the same location.
電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において対象空間内の物体Ｏｂまでの距離が上述した式１を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３から算出される。 Charge take-out portion 14 charges taken out from given as an image signal to the image generation unit 4, the distance to the object Ob in the target space in the image generation unit 4 by using the equation 1 above the amount of received light A0, A1, A2 , it is calculated from A3. すなわち、画像生成部４では各感光部１１に対応した各方向における物体Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。 That is, the distance to the object Ob in the direction corresponding to the photosensitive portion 11, the image generation unit 4 is calculated, the three-dimensional information of the target space is calculated. この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。 With this three-dimensional information may be pixel values ​​of the pixels match each direction of the target space to generate a range image is a distance value. また、画像生成部４では各感光部１１で得られた濃度値に基づいて対象空間の濃淡画像を生成する。 Further, to produce a gray-scale image of the object space based on the concentration values ​​obtained with each photosensitive portion 11, the image generation unit 4. すなわち、画像生成部４は濃淡画像と距離画像とを生成する。 That is, the image generation unit 4 generates a grayscale image and the distance image. なお、濃淡画像は受光光量Ａ０、Ａ１、Ａ２、Ａ３の平均値を濃淡値に用いるようにすれば、発光源２からの光の影響を除去できる。 Incidentally, grayscale image is the joint use of such an average value of the received light amount A0, A1, A2, A3 in gray values, can eliminate the influence of light from the light source 2.
この構成によって、光検出素子１に設けた感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３から対象空間の濃淡値と距離値とを求めることができ、ほぼ同時刻の濃淡画像と距離画像とを得ることができる。 This configuration, an amount of light received photosensitive portion 11 provided on the light detecting element 1 A0, A1, A2, A3 from can seek the density value and the distance value of the target space, grayscale image and the distance image of approximately the same time it is possible to obtain the door. しかも濃淡画像と距離画像との各画素は対象空間の同じ方向の情報を持つから、濃淡画像と距離画像とから得られる情報を併せて用いることにより、濃淡画像のみを用いる場合よりも対象空間に関して多くの情報を得ることができる。 Moreover since each pixel of the grayscale image and the distance image having the same direction of the information of the target space, by using in combination the information obtained from the grayscale image and the distance image, with respect to the object space than when using only gray image You can get more information.
以下に光検出素子１の具体的構造例を説明する。 Illustrating a specific structural example of the light detecting element 1 below. 図６に示す光検出素子１は、複数個（例えば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、１枚の半導体基板上に形成される。 Light detecting element 1 shown in FIG. 6, a plurality (e.g., 100 100 ×) of the photosensitive portion 11 of a which was arranged in a matrix, are formed on a single semiconductor substrate. 感光部１１のうち垂直方向の各列では一体に連続する半導体層２１を共用するとともに半導体層２１を垂直方向への電荷（本実施形態では、電子を用いる）の転送経路として用い、さらに各列の半導体層２１の一端から電荷を受け取って水平方向に電荷を転送するＣＣＤである水平転送部Ｔｈ（図７参照）を半導体基板に設ける構成を採用することができる。 (In the present embodiment, using electron) charges of the semiconductor layer 21 in the vertical direction with sharing the semiconductor layer 21 to be integrally continuous in each column in the vertical direction of the photosensitive portion 11 used as the transfer path, and each column it can receive from one end of the semiconductor layer 21 charges to adopt a configuration in which the horizontal transfer section Th is a CCD for transferring charges in the horizontal direction (see FIG. 7) on the semiconductor substrate.
すなわち、図７に示すように、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造であって、フレーム・トランスファ（ＦＴ）方式のＣＣＤイメージセンサと類似した構造になる。 That is, as shown in FIG. 7, a structure in which the semiconductor layer 21 is also used as a transfer path of the charge and the photosensitive portion 11, the structure similar to the CCD image sensor of the frame transfer (FT) method. また、ＦＴ方式のＣＣＤイメージセンサと同様に、感光部１１を配列した撮像領域Ｄａに隣接して遮光された蓄積領域Ｄｂを設けてあり、蓄積領域Ｄｂに蓄積した電荷を水平転送部Ｔｈに転送する。 Similar to the CCD image sensor of the FT type, is provided with a storage region Db which is shielded adjacent the imaging region Da having an array of photosensitive part 11, charges accumulated in the accumulation region Db to the horizontal transfer unit Th Transfer to. 撮像領域Ｄａから蓄積領域Ｄｂへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Ｔｈでは１水平期間に１水平ライン分の電荷を転送する。 Transfer of charge from the imaging region Da to the storage area Db is performed once in a vertical blanking period, and transfers the one horizontal line of the charge to one horizontal period in the horizontal transfer unit Th. 図１に示した電荷取出部１４は、半導体層２１における垂直方向への電荷の転送経路としての機能とともに水平転送部Ｔｈを含む機能を表している。 Charge take-out portion 14 shown in FIG. 1 represents a function that includes a horizontal transfer unit Th together function as a transfer path for electric charges in the vertical direction in the semiconductor layer 21. ただし、電荷集積部１３は蓄積領域Ｄｂを意味するのではなく、撮像領域Ｄａにおいて電荷を集積する機能を表している。 However, the charge accumulation unit 13 does not mean storage area Db, represent the function of the integrated charge in the imaging area Da. 言い換えると、蓄積領域Ｄｂは電荷取出部１４に含まれる。 In other words, the storage region Db is contained in the charge take-out portion 14.
半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。 The semiconductor layer 21 Yes added impurities, the main surface of the semiconductor layer 21 is covered with an insulating film 22 made of oxide film, are arranged a plurality of control electrode 23 through the insulating film 22 on the semiconductor layer 21 . この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。 This light detecting element 1 is a structure known as a MIS device, one of ordinary MIS device that includes a control electrode 23 of the plurality in a region functioning as a light detecting element 1 (five in the illustrated example) different from the. 絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。 Insulating film 22 and the control electrode 23 is selected material so that the light of the light with the same wavelength to be irradiated on the object space from the light source 2 is transmitted is when the semiconductor layer 21 is the light incident thereon through the insulating film 22, semiconductor layer 21 inside the charge of is generated. 図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。 Conductivity type semiconductor layer 21 in the illustrated embodiment is an n-type, use electronic e as the charge generated by light irradiation. 図６は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図６の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。 Figure 6 is an illustration only areas corresponding to one photosensitive unit 11, a semiconductor substrate a charge with a region in the (not shown) having the structure of FIG. 6 as described above is a plurality arranged takeout structure is provided as a part 14. 電荷取出部１４として設ける垂直転送部は、図６の左右方向に電荷を転送することを想定しているが、図６の面に直交する方向に電荷を転送する構成を採用することも可能である。 Vertical transfer section provided as a charge take-out portion 14, it is assumed that the transfer charges in the horizontal direction of FIG. 6, it is also possible to employ a structure for transferring charges in a direction perpendicular to the plane of FIG. 6 is there. また、電荷を図６の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。 Also, when transferring charges in the horizontal direction of FIG. 6, the width in the lateral direction of the control electrode 23 desirably set to about 1 [mu] m.
この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。 In the light detecting element 1 of this structure, when applying a positive control voltage + V to the control electrode 23, the potential well (depletion layer) 24 for integrating electrons e are formed at positions corresponding to the control electrode 23 in the semiconductor layer 21 that. つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部でのホールとの再結合により消滅する。 In other words, when light is irradiated to the semiconductor layer 21 in a state where the control voltage is applied to the control electrode 23 so as to form a potential well 24 in the semiconductor layer 21, some of the electrons e generated in the vicinity of the potential well 24 is integrated in the potential well 24 is trapped in the potential well 24, the remainder of the electrons e to disappear by recombination with holes in the deep portion of the semiconductor layer 21. また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部でのホールとの再結合により消滅する。 Also, electrons e generated at a location remote from the potential well 24 disappear by recombination with holes in the deep portion of the semiconductor layer 21.
ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。 Because the potential well 24 is formed at a portion corresponding to the control electrode 23 by applying a control voltage, by varying the number of control electrode 23 for applying a control voltage, the potential well along the main surface of the semiconductor layer 21 24 (in other words, the area of ​​the region that generates charges available in the light-receiving surface) of the area can be changed. つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。 In other words, varying the number of control electrode 23 for applying a control voltage means adjusting the sensitivity of the sensitivity control unit 12. 例えば、図６（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図６（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図６（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図６（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。 For example, in the case of applying a control voltage + V to the three control electrodes 23 as shown in FIG. 6 (a), in the case of applying a control voltage + V to one of the control electrodes 23 as shown in FIG. 6 (b) , there is to change the area of ​​the potential well 24 is occupied on a light receiving surface, since a large area of ​​the potential well 24 towards the state of FIG. 6 (a), with respect to the amount of light in comparison to the state of FIG. 6 (b) the proportion of the charge that can use this in is increased, so that the increased sensitivity of the substantially exposed portion 11. このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。 Thus, the photosensitive portion 11 and the sensitivity control unit 12 is said to be composed of the semiconductor layer 21 and the insulating film 22 and the control electrode 23. ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。 Potential well 24 functions as a charge accumulation portion 13 from retaining an electric charge generated by light irradiation.
ポテンシャル井戸２４から電荷を取り出すには、ＦＴ方式のＣＣＤと同様の技術を採用すればよく、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（例えば、図６の右方向）に転送することができる。 To retrieve the charge from the potential well 24, may be employed techniques similar to CCD of FT method, after the electrons e are integrated in the potential well 24, controls the control voltage of different applied patterns that during accumulation of charge the electrons e are integrated in the potential well 24 by applying to the electrodes 23 in one direction (e.g., rightward in FIG. 6) can be transferred to. つまり、半導体層２１をＣＣＤの垂直転送部と同様に電荷の転送経路に用いることができる。 In other words, it is possible to use a semiconductor layer 21 on the transfer path of the CCD of the same charge as the vertical transfer portion. さらに、電荷は図７に示した水平転送部Ｔｈを転送され、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。 Moreover, charges are transferred to the horizontal transfer unit Th shown in FIG. 7, it is taken out from the electrodes (not shown) provided on the semiconductor substrate to the outside of the light detecting element 1. 要するに、制御電極２３への制御電圧の印加パターンを制御することにより、各感光部１１ごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。 In short, by controlling the application pattern of the control voltage to the control electrode 23, that controls the sensitivity of each photosensitive unit 11, are integrated charge generated by light irradiation, and transfers the further integrated charge can.
本実施形態における感度制御部１２は、利用できる電荷を生成する領域の面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする期間にのみ高感度とし（電荷を生成する領域の面積を大きくし）、他の期間には低感度にする。 Sensitivity control unit 12 in the present embodiment, the sensitivity of the photosensitive portion 11 a than switching to high and low two stages by switching the area of ​​the region for generating the available charge in the large and small stages, the quantity of received light A0, A1, A2, the charges corresponding to one of A3 and sensitive only to the period to be generated by the photosensitive unit 11 (to increase the area of ​​the region that generates charges), the other periods to low sensitivity. 高感度にする期間と低感度にする期間とは、発光源２を駆動する変調信号に同期させて設定される。 The period of the time and low sensitivity to high sensitivity, is set in synchronization with the modulation signal for driving the light source 2. また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。 Also, derived is a charge to the outside of the light detecting element 1 through the charge take-out portion 14 after the integrated charge in the potential well 24 over a plurality of cycles of the modulation signal. 変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（例えば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。 The over a plurality of cycles of the modulation signal are integrated charge, within one period of the modulation signal short period to produce the available photosensitive unit 11 is a charge (e.g., if the frequency of the modulated signal and 20MHz 50 ns 1 less than a quarter of), since charges generated is small. つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と雑音電荷（外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。 In other words, shot by integrating a plurality of periods of the charge of the modulated signal, which is generated inside the signal charges (light source 2 charges corresponding to light irradiated from) the noise charge (external light component and the light detecting element 1 It can be made larger the ratio of the charge) corresponding to the noise, a large SN ratio.
ところで、位相差ψを求めるのに必要な４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。 Meanwhile, if the electric charge corresponding to the four kinds of the light-receiving amount A0, A1, A2, A3 necessary for obtaining a phase difference ψ to produce a single photosensitive portion 11, but the resolution is high regarding gaze direction, each problem that the time difference to determine a charge corresponding to the amount of received light A0, A1, A2, A3 becomes large. 一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４種類の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。 On the other hand, if each generate a charge corresponding to the respective received light amount A0, A1, A2, A3 in four photosensitive portion 11, smaller time difference to determine a charge corresponding to the respective received light amount A0, A1, A2, A3 but resolution is reduced about viewing direction deviation occurs in the viewing direction for obtaining four types of charges. そこで、本実施形態では、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用している。 Therefore, in this embodiment, by using the two photosensitive portions 11 adopts a configuration for generating two by two kinds of charges corresponding to the received light amount A0, A1, A2, A3 in one period of the modulation signal . つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしている。 That is, used in the two photosensitive portions 11 in the set, the light from the same viewing direction into two photosensitive portions 11 to be set so that incident.
上述の構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。 By adopting the above configuration, relatively high resolution viewing direction, and the light-receiving amount A0, A1, A2, the charges corresponding to A3 can be reduced a time difference to be generated. つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している物体Ｏｂについても距離の検出精度を比較的高く保つことができる。 That is, by being less time difference for generating a charge corresponding to the amount of received light A0, A1, A2, A3, relatively high Keeping the detection accuracy of the distance also object Ob which is moving in the target space can. なお、本実施形態の構成では、１個の感光部１１で４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系８の設計によって向上させることが可能である。 In the configuration of this embodiment, the resolution of the viewing direction than the case of generating one photosensitive unit 11 with four light-receiving amount A0, A1, A2, A3 corresponding to the charge is reduced, the viewing direction the resolution can be enhanced by the design of compact and light-receiving optical system 8 of the photosensitive portion 11.
以下に動作を具体的に説明する。 Specifically describing the operation below. 図６に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するためのポテンシャルの障壁を形成するものであって、２個の感光部１１を組にして用いる場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。 In the example shown in FIG. 6, there is shown an example in which the one photosensitive unit 11 five control electrodes 23, on both sides of the two control electrodes 23, the charge in the photosensitive section 11 (electronic e) be one charge the photosensitive portion 11 adjacent to form a potential barrier to prevent the outflow while generating, adjacent when used in the two photosensitive portions 11 in the set between the potential well 24 of the photosensitive unit 11, since the barrier in either of the photosensitive portion 11 is formed, so that it is only necessary provision of the control electrode 23 of triplicate on each photosensitive unit 11. この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。 This configuration, the area occupied per one of the photosensitive portion 11 is reduced, it becomes possible to suppress a decrease in the viewing direction of resolution while using to two photosensitive portions 11 in pairs.
ここでは、図８に示すように、組にした２個の感光部１１にそれぞれ設けた３個ずつの制御電極２３を区別するために各制御電極２３に（１）〜（６）の数字を付す。 Here, as shown in FIG. 8, each control electrode 23 in order to distinguish the control electrode 23 of triplicate provided respectively on the two photosensitive portions 11 was set numbers (1) to (6) subjecting. （１）〜（６）の数字を付与した制御電極２３を有する２個の感光部１１は、１つの視線方向に対応しておりイメージセンサにおける画素を構成する。 (1) two photosensitive portions 11 having a control electrode 23 which has been applied a number of - (6) constitutes a pixel in the image sensor corresponds to one of the viewing direction. なお、１画素ずつの感光部１１に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。 Incidentally, in association with the photosensitive portion 11 of one pixel, that respectively provide an overflow drain desired.
図８（ａ）（ｂ）はそれぞれ制御電極２３に異なる印加パターンで制御電圧＋Ｖを印加した状態（半導体基板に設けた図示しない基板電極と制御電極２３との間に制御電圧＋Ｖを印加した状態）を示しており、ポテンシャル井戸２４の形状からわかるように、図８（ａ）では１画素となる２個の感光部１１のうち制御電極（１）〜（３）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）のうちの中央の制御電極（５）に正の制御電圧＋Ｖを印加している。 Figure 8 (a) (b) is a state of applying a control voltage + V between each control electrode 23 in a state of applying a control voltage + V at different applied patterns (substrate electrode (not shown) provided on the semiconductor substrate and the control electrode 23 ) shows a, as can be seen from the shape of the potential well 24, a positive control voltage + V to the control electrode (1) to (3) of the two photosensitive portions 11 to be 1 pixel in FIG. 8 (a) with applied, and applying a positive control voltage + V to the central control electrode of the remaining control electrode (4) to (6) (5). また、図８（ｂ）では制御電極（１）〜（３）のうちの中央の制御電極（２）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）に正の制御電圧＋Ｖを印加している。 Also, with applying a positive control voltage + V to the central control electrode (2) of shown in FIG. 8 (b) the control electrode (1) to (3), the remaining control electrode (4) to (6) It applies a positive control voltage + V. つまり、１画素を構成する２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを交互に入れ換えている。 That is, it interchanged application pattern of the control voltage + V applied to the two photosensitive portions 11 constituting one pixel alternately. ２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを入れ換えるタイミングは、変調信号における逆位相の（位相が１８０度異なる）タイミングになる。 Timing interchanging application pattern of the control voltage + V applied to the two photosensitive portions 11 of the opposite phase in the modulation signal becomes (a phase difference of 180 degrees) timing. なお、各感光部１１に設けた３個の制御電極２３に同時に制御電圧＋Ｖを印加している期間以外は、各感光部１１に設けた中央部の１個の制御電極２３（つまり、制御電極（２）（５））にのみ制御電圧＋Ｖを印加し、他の制御電極２３は０Ｖに保つ状態とする。 Each photosensitive unit except period in which application of a control voltage + V at the same time three control electrodes 23 provided in the 11, one control electrode 23 of the central portion provided in the photosensitive unit 11 (i.e., the control electrode (2) (5)) only by applying a control voltage + V to the other control electrode 23 is a state kept at 0V.
例えば、１画素を構成する２個の感光部１１において受光光量Ａ０、Ａ２に対応する電荷を交互に生成する場合は、図５のように、一方の感光部１１で受光光量Ａ０に対応する電荷を生成するために３個の制御電極（１）〜（３）に制御電圧＋Ｖを印加している間に、他方の感光部１１では受光光量Ａ２に対応する電荷を保持するために１個の制御電極（５）にのみ制御電圧＋Ｖを印加する。 For example, when generating a charge corresponding to the amount of received light A0, A2 in the two photosensitive portions 11 constituting one pixel alternately, as in FIG. 5, the charge corresponding to the amount of received light A0 at one of the photosensitive portion 11 during the application of the control voltage + V to the three control electrodes (1) to (3) in order to generate, one to hold the other of the photosensitive portion 11, electric charge corresponding to the amount of received light A2 only the control electrode (5) for applying a control voltage + V. 同様にして、一方の感光部１１で受光光量Ａ２に対応する電荷を生成するために３個の制御電極（４）〜（６）に制御電圧＋Ｖを印加している間には、他方の感光部１１では受光光量Ａ０に対応する電荷を保持するために１個の制御電極（２）にのみ制御電圧＋Ｖを印加する。 Similarly, between the application of the one photosensitive unit 11 three control electrodes (4) to produce a charge corresponding to the amount of received light A2 to (6) to the control voltage + V, while the photosensitive only applying a control voltage + V to one of the control electrodes to hold charges corresponding to part 11 in the light receiving amount A0 (2). また、受光光量Ａ０、Ａ２に対応する電荷を生成する期間以外では制御電極（２）（５）にのみ制御電圧＋Ｖを印加する。 Further, other than the period for generating a charge corresponding to the amount of received light A0, A2 applies only the control voltage + V to the control electrode (2) (5). 図５（ｂ）（ｃ）に受光光量Ａ０、Ａ２に対応する電荷を蓄積する際の各制御電極（１）〜（６）に対する制御電圧＋Ｖの印加のタイミングを示す。 FIG 5 (b) (c) to the amount of received light A0, the control electrode at the time of accumulating charges corresponding to A2 (1) shows the timing of the application of the control voltage + V with respect to (6). 図５（ｂ）（ｃ）において斜線部が制御電圧＋Ｖを印加している状態を示し、空白部が制御電極（１）〜（６）に電圧を印加していない状態を示している。 Figure in 5 (b) (c) shows a state in which the hatched portion is applied a control voltage + V, and shows a state in which a blank portion is not applying a voltage to the control electrode (1) to (6).
１画素を構成する２個の感光部１１において受光光量Ａ１、Ａ３に対応する電荷を生成する場合も同様であって、受光光量Ａ０、Ａ２に対応する電荷を生成する場合とは制御電極２３に制御電圧＋Ｖを印加するタイミングが、変調信号の位相における９０度異なる点が相違するだけである。 A similar case of generating a charge corresponding to the amount of received light A1, A3 in the two photosensitive portions 11 constituting one pixel, the control electrode 23 and the case of generating a charge corresponding to the amount of received light A0, A2 timing of applying the control voltage + V is only 90 degrees different from the phase of the modulation signal are different. また、受光光量Ａ０、Ａ１に対応する電荷を生成する期間と、受光光量Ａ１、Ａ３に対応する電荷を生成する期間との間で撮像領域Ｄａから蓄積領域Ｄｂに電荷を転送する。 Moreover, transfers and duration to generate a charge corresponding to the amount of received light A0, A1, a charge storage region Db from the imaging area Da between the period for generating a charge corresponding to the amount of received light A1, A3. つまり、受光光量Ａ０に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ２に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ０、Ａ２に対応する電荷を外部に取り出す。 In other words, corresponding to together are accumulated in the potential well 24 corresponding to the charge control electrodes corresponding to the amount of received light A0 (1) - (3), electric charges corresponding to the amount of received light A2 control electrode (4) to (6) Once stored in the potential well 24 which, taking out these charges corresponding to the received light amount A0, A2 to the outside. 次に、受光光量Ａ１に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ３に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ１、Ａ３に対応する電荷を外部に取り出す。 Then, while being accumulated in the potential well 24 corresponding to the charge control electrodes corresponding to the amount of received light A1 (1) ~ (3), the charge control electrodes corresponding to the amount of received light A3 (4) ~ (6) Once stored in the corresponding potential well 24, take out these charges corresponding to the amount of received light A1, A3 to outside. このような動作を繰り返すことによって、４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２回の読出動作で光出力素子１の外部に取り出すことができ、取り出した電荷を用いて位相差ψを求めることが可能になる。 By repeating this operation, four sections received light quantity A0, A1, A2, can be taken out of the light output device 1 charges corresponding to A3 in two read operation, by using the charge taken out it is possible to determine the phase difference [psi. なお、例えば３０フレーム毎秒の画像を得るためには、受光光量Ａ０、Ａ２に対応する電荷を生成する期間と受光光量Ａ１、Ａ３に対応する電荷を生成する期間とは６０分の１秒よりも短い期間とする。 Incidentally, for example, in order to obtain an image of 30 frames per second, the amount of received light A0, A2 period and the amount of received light to generate a corresponding charge to A1, than 1/60 second as a period for generating charges corresponding to A3 a short period of time.
上述の例では３個の制御電極２３（（１）〜（３）または（４）〜（６））に同時に印加する制御電圧と、１個の制御電極２３（（２）または（５））にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸２４の面積は変化するもののポテンシャル井戸２４の深さは等しくなっている。 In the above example three control electrodes 23 and the control voltage applied ((1) to (3) or (4) - (6)) at the same time, one of the control electrodes 23 ((2) or (5)) since only have equal to the control voltage applied to, the area of ​​the potential well 24 the depth of the potential well 24 of those changes are equal. この場合、制御電圧を印加していない制御電極２３（（１）（３）または（４）（６））において生成された電荷は、同程度の確率でポテンシャル井戸２４に流れ込む。 In this case, electric charge generated in the control voltage the control electrode 23 is not applied ((1) (3) or (4) (6)) flows into the potential well 24 at comparable probability. つまり、感光部１１を構成する３個の制御電極２３のうちの１個にのみ制御電圧＋Ｖを印加することによって電荷集積部１３として機能している領域と、３個の制御電極２３のすべてに制御電圧＋Ｖを印加している領域との両方に同程度の量の電荷が流れ込む。 In other words, a region functioning as a charge accumulation portion 13 by applying only the control voltage + V to one of the three control electrodes 23 constituting the photosensitive unit 11, to all three control electrodes 23 comparable amount of charge both in the area the application of the control voltage + V flows. つまり、電荷を保持しているポテンシャル井戸２４に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。 That is, since noise components flowing into the potential well 24 that holds the electric charge is relatively large, causing to lower the dynamic range.
そこで、図９のように、小面積のポテンシャル井戸２４の深さを大面積のポテンシャル井戸２４の深さよりも小さく設定するのが望ましく、組になる２個の感光部１１に設けた各３個の制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧が、１個の制御電極（２）または（５）にのみ印加する制御電圧よりも高くなるように設定するのが望ましい。 Therefore, as shown in FIG. 9, it is desirable to set smaller than the depth of the potential well 24 having a large area the depth of the potential well 24 having a small area, the three provided on the two photosensitive portions 11 to be set a control electrode (1) to (3) or (4) to control voltage applied at the same time (6), one control electrode (2) or (5) the control voltage applied only to be higher than setting it is desirable to. このように、主として電荷（電子ｅ）を生成しているポテンシャル井戸２４を、主として電荷の保持を行っているポテンシャル井戸２４よりも深くすることにより、制御電圧を印加していない制御電極（１）（３）または（４）（６）に対応する部位で生じた電荷は、深いほうのポテンシャル井戸２４に流れ込みやすくなる。 Thus, primarily charge a potential well 24 which generates (electrons e), by deeper than the potential well 24 is performed primarily retaining the charge, not applied a control voltage control electrode (1) (3) or (4) charge generated in the portion corresponding to (6), easily flow into the potential well 24 of the deeper. つまり、制御電極２３に一定の制御電圧＋Ｖを印加する場合に比較すると、電荷を保持するポテンシャル井戸２４に流れ込む雑音成分を低減することができる。 That is, when compared with the case of applying a constant control voltage + V to the control electrode 23, it is possible to reduce the noise component which flows into the potential well 24 for holding a charge.
なお、上述した距離画像センサＤＳの構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４期間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４期間は９０度以外の適宜の間隔で設定することが可能である。 In the configuration example of the range image sensor DS described above, are set so that the distance of the phase is by 90 ° 4 period corresponding to the amount of received light A0, A1, A2, A3 in one period of the modulation signal but four periods when the phase is known to the modulation signal can be set at appropriate intervals other than 90 degrees. ただし、間隔が異なれば位相差ψを求める算式は異なる。 However, a different formula for determining the phase difference ψ Different intervals. また、４期間の受光光量に対応した電荷を取り出す周期は、物体Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４個の信号電荷を取り出すことも必須ではない。 The period for taking out the charges corresponding to the received light amount of the 4 periods, does not change reflectance and the ambient light component of the object Ob, and if the even phase difference ψ unchanged time, within one period of the modulation signal it is not required also to take out four of the signal charge. さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。 Further, when there is the influence of the disturbance light as sunlight or illumination light, to place an optical filter that transmits only wavelengths of the light emitted from the light source 2 in front of the photosensitive portion 11 is desirable. 図８、図９を用いて説明した構成例では、感光部１１ごとに３個ずつの制御電極２３を対応付けているが、制御電極２３を４個以上設けるようにしてもよい。 8, in the configuration example described with reference to FIG. 9, but in association with the control electrodes 23 of three each per photosensitive unit 11, may be provided a control electrode 23 4 or more. また、上述の例ではＦＴ方式のＣＣＤイメージセンサと同様の構成を採用しているが、インターライン・トランスファ（ＩＴ）方式、フレーム・インターライン・トランスファ（ＦＩＴ）方式と同様の構成を採用することも可能である。 Although in the above example adopts the same configuration as the CCD image sensor of FT type, interline transfer (IT) type, employing the same configuration as the frame interline transfer (FIT) method it is also possible.
次に、上述した距離画像センサＤＳで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部５について説明する。 It will now be described a specific site extracting unit 5 for extracting a specific portion of a person present in the detection target area based on the distance image generated by the distance image sensor DS mentioned above. ここでは、距離画像を生成する際の光検出素子１への外光成分の入射を低減するために、発光源２から赤外線を対象空間に照射し、光検出素子１の前方に赤外線透過フィルタを配置しているものとする。 Here, in order to reduce entrance of external light components to the light detecting element 1 when generating a distance image by irradiating infrared rays onto the target space from the light source 2, the infrared transmission filter in front of the light detecting element 1 it is assumed that the arrangement. したがって、濃淡画像は赤外線に対する濃淡画像になる。 Thus, grayscale image becomes gray image against infrared.
本実施形態のジェスチャースイッチでは、図１に示すように、距離画像センサＤＳの画像生成部４で生成された距離画像は特定部位抽出部５に与えられ、特定部位抽出部５では、距離画像に基づいて検知対象エリアに存在する人の特定部位が抽出され、ジェスチャー認識部６では、特定部位抽出部５から出力されるデータに基づいて特定空間（ここにおいて、特定空間は、検知対象エリアと同じ空間、つまり、距離画像の全範囲として規定してもよいし、検知対象エリア内の一部の空間、つまり、距離画像の一部の小領域として規定してもよい）内での所定のジェスチャーが認識される。 Gestures switch of the present embodiment, as shown in FIG. 1, the distance image sensor DS of the distance image generated by the image generation unit 4 is given to a specific site extracting section 5, the specific site extracting section 5, the distance image specific portion of a person present in the detection target area based are extracted, the gesture recognition unit 6, the specific space (herein based on the data outputted from the specific site extracting unit 5, a specific space is the same as the detection target area space, i.e., may be defined as the entire range of the distance image, part of the space within the detection target area, that is, the distance portion of the predetermined gesture in the small region may be defined as) the image There are recognized. 要するに、本実施形態のジェスチャースイッチでは、検知対象エリアＥに存在する物体Ｏｂまでの距離値を画素値とする距離画像を連続的に生成する１つの距離画像センサＤＳで生成された距離画像に基づいて検知対象エリアＥに存在する人の特定部位が特定部位抽出部５にて連続的に抽出され、ジェスチャー認識部６において特定部位抽出部５から出力されるデータに基づいて特定空間内での人の所定のジェスチャーが認識されるので、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアＥの背景に影響されずに人の特定部位を抽出することが可能となる。 In short, the gestures switch of the present embodiment, based on one of the distance image sensor DS The generated distance image for generating a distance image as a pixel value distance values ​​to the object Ob existing in the detection target area E continuously detecting a specific site of a person present in the target area E is continuously extracted at a specific site extracting unit 5, a human in a specific space based on the data outputted from the specific site extracting unit 5 in the gesture recognition unit 6 Te since the predetermined gesture of is recognized, without the need to touch carried out such as a switch for the control of the control target device and the control target device to the installation location, moreover, good ease of use without the need of people wears nothing and, it is possible to extract a specific portion of the human without being influenced by the background of the detection target area E.
上述のように距離画像センサＤＳの画像生成部４で生成された距離画像は距離画像センサＤＳから物体Ｏｂまでの距離値を画素値とするものであり、特定部位抽出部５では、距離画像から人の特定部位を抽出するにあたって、距離画像毎に最小の距離値に所定値を加算した値を閾値として距離画像を２値化し、閾値以下となる領域を特定部位として抽出するようになっている。 Distance image generated by the image generation unit 4 of the distance image sensor DS as described above are for the pixel value distance values ​​to the object Ob from the range image sensor DS, the specific site extracting unit 5, a distance image when extracting a specific portion of the human, a distance image value obtained by adding a predetermined value for each of the range image to the smallest distance value as the threshold is binarized, so as to extract a region equal to or less than the threshold value as a specific portion . したがって、所定値を適宜設定することにより、例えば、距離画像センサＤＳへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を特定部位として容易に抽出することが可能となる。 Therefore, by properly setting the predetermined value, for example, the distance image when the sensor to the DS by holding the hand and use to perform the gestures in the previous section than the wrist, the tip portion than the wrist of the human hand it is possible to easily extracted as the specific site. この場合、距離画像センサＤＳから特定部位抽出部５へ図３（ａ）に示すような距離画像（距離画像データ）が与えられたとすると、特定部位抽出部５では図３（ｂ）に示すような２値化画像が得られ（距離画像において距離値が閾値以下の画素では２値化画像の画素を白とし、距離画像において距離値が閾値よりも大きな画素では２値化画像の画素を黒としてある）、このような２値化画像から白領域Ｗを特定部位（手の手首よりも先の部分）として抽出する。 In this case, when the distance from the image sensor DS to a specific site extracting unit 5 FIGS. 3 (a) to indicate such distances image (distance image data) is given, as shown in FIG. 3, specific site extracting section 5 (b) pixels of the binarized image distance value in the following pixel threshold and white in the binarized image is obtained (distance images, black pixels of the binarized image distance value in the distance image has a large pixel than the threshold value as there) is extracted as such binarized image identified white area W from the site (previous section than the wrist of the hand). 図３（ａ）の距離画像は、距離値に応じて画素の色を４段階に変化させた例を示しており、画像生成部４において基準距離値としてＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５（Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４＜Ｌ５）を設定し、距離値が基準距離値Ｌ１以下の画素からなる領域をＦ１、距離値が基準距離値Ｌ１よりも大きく基準距離値Ｌ２以下の画素からなる領域をＦ２、距離値が基準距離値Ｌ２よりも大きく基準距離値Ｌ３以下の画素からなる領域をＦ３、距離値が基準距離値Ｌ３よりも大きく基準距離値Ｌ４以下の画素からなる領域をＦ４、距離値が基準距離値Ｌ４よりも大きな画素からなる領域をＦ５とすれば、領域Ｆ１が白色、領域Ｆ５が黒色、領域Ｆ２が白色に近い灰色、領域Ｆ４が黒に近い灰色、領域Ｆ３が領域Ｆ２と領域Ｆ４との中間的な灰色 Figure 3 distance image (a) in accordance with the distance value shows an example of changing the color of a pixel in four stages, L1 as a reference distance value in the image generation unit 4, L2, L3, L4, L5 ( L1 <L2 <L3 <L4 <L5) is set for a region distance value is a region composed of the reference distance value L1 following pixel F1, the larger the reference distance value L2 or less pixels than the distance value is a reference distance value L1 the F2, distance value an area is composed of larger reference distance value L3 or less pixels than the reference distance value L2 F3, a region where the distance value is a larger reference distance value L4 less pixels than the reference distance value L3 F4, the distance if an area value is the larger pixels than the reference distance value L4 and F5, region F1 white, area F5 is black, gray area F2 is close to white, gray area F4 is close to black, region F3 is a region F2 intermediate gray and area F4 なるような距離画像を生成している（なお、図３（ａ）中の点Ｐは距離値が最小となる画素の位置を示している）。 And generating a distance image such that (Note, P point in FIG. 3 (a) shows the position of the pixel distance value is minimized). 一方、図３（ｂ）の２値化画像は、人の手の手首よりも先の部分が白領域Ｗとなるように上記所定値を設定してあるときの２値化画像を示している。 On the other hand, the binarized image of FIG. 3 (b) shows a binarized image when so that previous partial than the wrist of the human hand the white region W is set to the predetermined value .
ところで、特定部位抽出部５において距離画像から人の特定部位を抽出する方法は上述の例に限らず、例えば、距離画像を所定の閾値で２値化し、閾値以下となる領域を人体の輪郭として抽出するようすれば、閾値を適宜設定することにより、例えば、人の全身や上半身などを上記特定部位として抽出することが可能となり、人の全身や上半身を使ったジェスチャーの認識が可能となる。 Meanwhile, a method of extracting a specific portion of the human from the distance image in a specific site extracting unit 5 is not limited to the examples described above, for example, a distance image is binarized with a predetermined threshold value, a region to be the threshold value or less as the body contour if to extract, by setting the threshold appropriately, for example, it is possible to extract such as human systemic and upper body as said specific site, it is possible to recognize gestures using human systemic and upper body. また、特定部位抽出部５が、距離画像において最小の距離値となる画素の周囲領域に関して閾値以下となる画素の数が一定値となるように上記閾値を調整して上記距離画像を上記閾値で２値化し、上記閾値以下となる領域を特定部位として抽出するようにすれば、例えば、距離画像センサＤＳへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を特定部位として安定して抽出することが可能となる。 Moreover, the specific site extracting section 5, the distance number of pixels equal to or less than the threshold value with respect to the surrounding region of the pixel having the minimum distance value in the image by adjusting the threshold so that a constant value the distance image with the threshold value binarized, if to extract an area equal to or less than the threshold value as the specific site, for example, distance image your hand to the sensor DS when used to perform the gestures in the previous section than the wrist, human than the wrist of the hand and it is possible to stably extract a preceding part as a specific site. この場合の特定部位抽出部５では、以下の流れ（ａ）〜（ｅ）で閾値が調整される。 In specific site extracting unit 5 in this case, the threshold value is adjusted in the following flow (a) ~ (e).
（ａ）距離画像から距離値が最小値となる画素を探し基準画素とする処理を行う。 (A) Distance distance value from an image to perform processing for the reference pixel locate the pixel having the minimum value.
（ｂ）閾値の初期値を上記最小値とする処理を行う。 The (b) the initial value of the threshold performs processing to the minimum value.
（ｃ）上記距離画像において上記基準画素の周辺領域で距離値が閾値以下となる画素の画素数を調べる処理を行う。 (C) In the range image performs processing to check the number of pixels of the distance value in the peripheral region is equal to or less than a threshold of the reference pixel.
（ｄ）画素数が所定の一定値以下の場合には、閾値に値１を加算して（ｃ）の処理に戻り、一定値を超えている場合には、次の処理へ移行する。 In (d) if the number of pixels is equal to or less than a predetermined constant value, to return to the adding the value 1 to threshold (c) processing, if it exceeds the predetermined value, the flow advances to the next step.
（ｅ）画素数＞上記一定値となる直前の閾値を最終的な閾値として決定する。 (E) the number of pixels> to determine the threshold value immediately before the above-mentioned predetermined value as the final threshold.
また、特定部位抽出部５が距離画像における特定の入力判定領域についてのみ２値化を行って上記閾値との比較結果に基づいて上記特定部位の抽出を行うようにすれば、距離画像における全画素について２値化を行う場合に比べて、特定部位抽出部５の処理速度の高速化を図れる。 Further, if to perform the extraction of the specific portion based on a comparison result between the threshold by performing a binarization only for certain input determination region at the specific site extracting section 5 a distance image, all pixels in the distance image as compared with the case of performing the binarization for, thereby to speed up the processing speed of a specific site extracting unit 5.
ジェスチャー認識部６では、例えば、特定部位抽出部５において抽出された特定部位に関する形状（情報）の時系列データに基づいてジェスチャーを認識する。 The gesture recognition unit 6, for example, recognizes the gesture based on the time-series data of the shape for a particular site that was extracted in a specific site extracting section 5 (information). この場合、ジェスチャー認識部６において、ジェスチャーを認識するにあたっては、例えば、図４に示すような特定部位の形状における手の５本の指の３Ｄ重心Ｏ１〜Ｏ５および手のひらの３Ｄ重心Ｏ６を特徴量として特徴量の時系列データをＨＭＭ（Hidden Markov Model）により学習してジェスチャーを認識するようにすれば、距離画像センサＤＳへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用するにあたって、ジェスチャー認識部６におけるジェスチャーの認識性能（ジェスチャー認識の精度）を向上させることができる。 In this case, the gesture recognition unit 6, the carrying recognizes gestures, for example, feature amounts 3D centroid O1~O5 and palm 3D centroid O6 of the five fingers of the hand in the shape of a particular site, such as shown in FIG. 4 if the feature amount time series data of to recognize gestures learned by HMM (Hidden Markov Model), the range image sensor to the DS by holding the hand to perform the gestures in the previous section than the wrist used as in, it is possible to improve the recognition performance of the gesture in the gesture recognition unit 6 (the accuracy of the gesture recognition). なお、上述の特徴量としては、指の３Ｄ重心に限らず、指の傾きや、指の数などを特徴量として規定してもよい。 As the feature amounts described above, not only the 3D centroid of the finger, the inclination and the fingers, such as the number of fingers may be defined as a feature amount. また、ジェスチャーの認識方法も上述の方法以外の周知の方法を採用してもよく、特定部位抽出部５において抽出された特定部位に関する形状の時系列データに基づいてジェスチャーを認識するにあたって、例えば、指の数が時間経過とともに１本→２本→３本と変化した場合（つまり、特定部位の形状が時系列的に変化した場合）に所定のジェスチャーが行われたと認識するようにしてもよいし、また、所定の形状（例えば、一般的に片手でじゃんけんをするときの「ぐう」、「ちょき」、「ぱあ」などの形状）が規定時間以上継続された場合に所定のジェスチャーが行われたと認識するようにし、且つ、所定の形状が上記規定時間未満しか継続されない場合にはジェスチャーとは認識しないようにしてもよい。 Further, a method of recognizing gestures even may employ well-known method other than the method described above, when recognizing the gesture based on the time-series data of the shape for a particular site that was extracted in a specific site extracting unit 5, for example, If the number of fingers is changed and one → 2 present → 3 present over time (i.e., the shape of the specific portion chronologically case of change) may be recognized as the predetermined gesture is performed and, also, a predetermined shape predetermined gesture is performed when (e.g., typically with one hand "even-" when the Janken, "scissors", the shape such as "Pa") is continued specified time or more and a so as to recognize, and, may not recognize the gesture if the predetermined shape not continue less than the specified time. ここで、上記規定時間を適宜設定しておけば、制御対象機器の制御を意図していない手の動きがジェスチャーとして認識されて制御対象機器へ制御出力が与えられるのを防止することができる。 Here, if appropriately setting the prescribed time, it is possible movement of the hand which is not intended to control the control target device is prevented from controlling the output is recognized as a gesture to the control target device is given.
制御部７は、ジェスチャーと制御出力とをあらかじめ対応付けたテーブルを記憶したメモリ（図示せず）を備えており、ジェスチャー認識部６にて認識されたジェスチャーに対応する制御出力を制御対象機器へ与えるようになっている。 Control unit 7 is provided with a memory storing in advance correspondence table and a gesture control output (not shown), a control output corresponding to the recognized gesture in the gesture recognition unit 6 to the control target device It is made as to give. ここにおいて、図１０（ａ）に示すように、距離画像センサＤＳの検知対象エリアＥ内に所定のジェスチャーによる入力を受けつけるための空間として２つの入力空間（ここでは、上述の特定空間）Ｇ１，Ｇ２を設定しておき、人Ｍが入力空間Ｇ２近傍で所定のジェスチャーを行った場合、制御部７が、図１０（ｂ）に示すように距離画像において入力空間Ｇ２に対応する入力領域Ｈ２（図示例では、入力空間Ｇ１に対応する入力領域Ｈ１は黒領域となっている）の画素数に対する特定部位の画素（閾値以下となる領域であって白領域Ｗとなっている）の画素数の割合が規定値を超えているときに上記制御出力を制御対象機器へ与えるようにすれば、上記特定空間以外の空間での人の制御対象機器の制御を意図しない動きがジェスチャーとし Here, FIG. 10 (a), a distance two predetermined input space as a space for accepting input by (here, the specific space described above) gesture image sensor DS of the detection target area E G1, have set up G2, when the human M performs a predetermined gesture in the input space G2 near the control unit 7, and FIG. 10 (b) in the input region corresponding to the input space G2 in distance image as shown H2 ( in the illustrated example, input area H1 corresponding to the input space G1 is a specific site to the number of pixels are) a black area pixel number of pixels (a region equal to or less than the threshold value has a white area W) if to give the control output to the controlled target device when the ratio exceeds a specified value, the control of the control target device of the human in a space other than the specified space unintended movement and gesture 認識されても制御対象機器へ制御出力が与えられるのを防止することができる。 Be recognized can be prevented from control output to the control target device is given. 人Ｍが入力空間Ｇ１の近傍でジェスチャーを行った場合も同様であるから、入力空間Ｇ１，Ｇ２とを互いに異なる制御対象機器へ割り当てることも可能となる。 Since human M is the same when performing the gesture in the vicinity of the input space G1, it is possible to assign the input space G1, G2 to different control target devices. また、図１１に示すように、距離画像センサＤＳの検知対象エリアＥ内に所定のジェスチャーによる入力を受けつけるための空間である１つの入力空間（ここでは、特定空間）Ｇを設定しておき、人Ｍが入力空間Ｇ近傍でジェスチャーを行った場合にも、制御部７が、距離画像において入力空間Ｇに対応する入力領域の画素数に対する特定部位の画素数の割合が規定値を超えているときに上記制御出力を制御対象機器へ与えるようにすれば、上記特定空間以外の空間での人の制御対象機器の制御を意図しない動きがジェスチャーとして認識されても制御対象機器へ制御出力が与えられるのを防止することができる。 Further, as shown in FIG. 11, the distance one predetermined input space is a space for accepting input by (here, specific space) gesture image sensor DS of the detection target area E may be set to G, even when a person M has performed gesture input space G vicinity, the control unit 7, the ratio of the number of pixels at a specific site to the number of pixels input area corresponding to the input space G in distance image exceeds a specified value if to give the control output to the controlled target device when said control output to control the control target device of the human in space other than the specified space to recognized even controlled equipment unintended motion as a gesture gives it is can be prevented.
なお、図１２（ａ）に示すように距離画像センサＤＳの検知対象エリアＥが設定される部屋Ｒに、図１２（ｂ）に示すように仮想の立体空間にあるマニプレータ５０を画面に表示する表示装置Ｕを設け、人Ｍの手Ｈを特定部位として特定部位抽出部５により抽出し、表示装置Ｕの画面上に上記マニプレータ５０を操作する仮想の手Ｈ'を表示させて人Ｍの手Ｈの動きに仮想の手Ｈ'の動きを同調させるようにしてもよい（図１２（ａ）（ｂ）中の矢印はそれぞれ手Ｈ，Ｈ'の動く方向を示している）。 Incidentally, in the room R in which the detection target area E of the range image sensor DS as shown in FIG. 12 (a) is set to display the manipulator 50 in a virtual three-dimensional space, as shown in FIG. 12 (b) on the screen It provided a display device U, extracted by the specific site extracting unit 5 to the hand H of a human M as a particular site, the hands of the virtual hand H 'to display the person M to operate the manipulator 50 on the screen of the display device U virtual hand H to the movement of H 'may be configured to tune the movement (FIG. 12 (a) (b) each arrow hand H in, H' indicates the direction of movement of). 要するに、特定部位抽出部５により抽出された手Ｈの動きを、仮想空間の制御対象機器の操作の動きとして利用してもよい。 In short, the movement of the hand H extracted by the specific site extracting section 5, may be utilized as a movement of the operation of the controlled equipment in virtual space.
本実施形態のジェスチャースイッチの基本構成は実施形態１と略同じであって、感度制御部１２の具体的な構成において、電荷集積部１３に与える電荷の割合を調節する技術として、感光部１１から電荷集積部１３への通過率を調節する技術と、感光部１１から電荷を廃棄する廃棄率を調節する技術との両方の技術を用いている点が相違する。 The basic configuration of the gesture switch of this embodiment is substantially the same as that in Embodiment 1, the specific configuration of the sensitivity control unit 12, as a technique of adjusting the ratio of the charge to be given to the charge accumulation unit 13, a photosensitive unit 11 a technique of adjusting the pass rate of the charge accumulation section 13, points different from that using both techniques and technology of adjusting the discard rate of discarding charge from the photosensitive unit 11. 他の構成は実施形態１と同じなので図示および説明を省略する。 Omitted illustration and description The other structures are the same as Embodiment 1.
感度制御部１２において通過率と廃棄率とを調節する技術では、図１３に示すように、感光部１１と電荷集積部１３との間にゲート電極１２ａを設け、ゲート電極１２ａに印加する通過電圧を変化させることにより、感光部１１から電荷集積部１３への電荷の移動（つまり、通過率）を制御する。 In the technique of regulating the passage rate and loss rate in the sensitivity control unit 12, as shown in FIG. 13, a gate electrode 12a disposed between the photosensitive portion 11 and the charge accumulation portion 13, it passes through the voltage applied to the gate electrode 12a by varying the controls the movement of charge into the charge accumulation section 13 from the photosensitive section 11 (i.e., passing rate). また、電荷廃棄部１２ｃを設け、電荷廃棄部１２ｃに付設した廃棄電極１２ｂに印加する廃棄電圧を変化させることにより、感光部１１から電荷廃棄部１２ｃへの電荷の移動（つまり、廃棄率）を制御する。 Further, the charge discarding portion 12c provided, by changing the waste voltage applied to the discarding electrode 12b which is attached to the charge discarding portion 12c, the movement of charges to the charge discarding portion 12c from the photosensitive section 11 (i.e., discard rate) Control. 電荷集積部１３は感光部１１ごとに一対一に対応するように設けられ、電荷廃棄部１２ｃは複数個の感光部１１に共通させて一対多に対応するように設けられる。 Charge integration unit 13 is provided so as to correspond one-to-one to each photosensitive unit 11, charge discarding unit 12c by common to a plurality of photosensitive part 11 is provided so as to correspond one-to-many. 図示例では、光検出素子１のすべての感光部１１で１組の廃棄電極１２ｂおよび電荷廃棄部１２ｃを共用している。 In the illustrated example, in all the photosensitive portion 11 of the light detecting element 1 share a set of discarded electrode 12b and the charge discarding unit 12c.
感度を制御するために、感光部１１からの電荷の廃棄を行わずに感光部１１から電荷集積部１３への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部１１において電荷が暫時残留するから、感光部１１で生成された電荷のうち不要な残留電荷が、利用する電荷（以下、信号電荷という）に雑音成分として混入する。 To control the sensitivity, it is conceivable to perform only the control of the passing rate of the photosensitive unit 11 without discarding charge from the photosensitive portion 11 to the charge accumulation section 13, photosensitive Without discarding charge since the charge in the part 11 remains briefly, the photosensitive unit 11 unnecessary residual charge of the charges generated by the is, the charge utilized (hereinafter, referred to as signal charge) mixed as noise components. したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極１２ａに印加する通過電圧だけでなく廃棄電極１２ｂに印加する廃棄電圧を制御する。 Therefore, in order to prevent contamination of the residual charge of the signal charge, and it controls the waste voltage applied to discard the electrode 12b not only pass voltage applied to the gate electrode 12a. なお、電荷集積部１３には発光源２から空間に照射される光の変調信号の複数周期（数万〜数十万周期）において変調信号に同期する特定の区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。 The light receiving amount of a particular section to the charge accumulation portion 13 to synchronize the modulation signal in the plurality of cycles of the modulation signal of the light irradiated into the space from the light source 2 (tens of thousands or hundreds of thousands cycles) A0, A1, A2 to integrate charge corresponding to A3, take out the accumulated signal charge in each accumulation of the charge of each section to integrate charge in the following section. ここで、電荷集積部１３に得られた信号電荷は実施形態１と同様に電荷取出部１４（図１参照）により取り出される。 Here, the signal charges obtained in the charge accumulation portion 13 is taken out by the first embodiment in the same manner as the charge take-out portion 14 (see FIG. 1).
図１３に示した感度制御部１２を備える光検出素子１は、オーバーフロードレインを備えたＣＣＤイメージセンサにより実現することができ、ＣＣＤイメージセンサにおける電荷の転送方式としてはインターライントランスファ（ＩＴ）方式を採用している。 Light detecting element 1 having the sensitivity control unit 12 shown in FIG. 13 can be realized by a CCD image sensor with an overflow drain, the interline transfer (IT) method as a transfer method of the charge in the CCD image sensor It has been adopted.
図１４に縦型オーバーフロードレインを備えるインターライントランスファ方式のＣＣＤイメージセンサの構成を示す。 It shows the configuration of a CCD image sensor of the interline transfer type comprising a vertical overflow drain 14. 図示例は、感光部１１となるフォトダイオード４１を水平方向と垂直方向とに複数個ずつ（図では３×４個）配列した２次元イメージセンサであって、垂直方向に配列したフォトダイオード４１の各列の右側方にＣＣＤからなる垂直転送レジスタ４２を備え、フォトダイオード４１および垂直転送レジスタ４２が配列された領域の下方にＣＣＤからなる水平転送レジスタ４３を備える。 Illustrated example, by a plurality of photodiodes 41 serving as a photosensitive portion 11 in the horizontal and vertical directions a two-dimensional image sensor array (3 × 4 in the drawing), the photodiode 41 arranged in the vertical direction with a vertical transfer register 42 composed of CCD on the right side of each column includes a horizontal transfer register 43 composed of CCD below a region where the photodiode 41 and the vertical transfer register 42 are arranged. 垂直転送レジスタ４２は各フォトダイオード４１ごとに２個ずつの転送電極４２ａ，４２ｂを備え、水平転送レジスタ４３は各垂直転送レジスタ４２ごとに２個ずつの転送電極４３ａ，４３ｂを備える。 The vertical transfer register 42 comprises a transfer electrode 42a, 42b of the two on each photodiode 41, the horizontal transfer register 43 comprises a transfer electrode 43a, 43b of the two on each vertical transfer register 42.
フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３とは１枚の半導体基板４０上に形成され、半導体基板４０の主表面には、フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３との全体を囲む形でアルミニウム電極であるオーバーフロー電極４４が、半導体基板４０の全周に亘って絶縁膜を介さずに半導体基板４０に直接接触するように設けられる。 The photodiode 41 and the vertical transfer register 42 and horizontal transfer register 43 are formed on one semiconductor substrate 40, the main surface of the semiconductor substrate 40, the photodiode 41 and the vertical transfer register 42 and horizontal transfer register 43 overflow electrode 44 is an aluminum electrode in the form of surrounding the entire is provided in direct contact with the semiconductor substrate 40 without passing through the entire circumference over the insulating film of the semiconductor substrate 40. オーバーフロー電極４４に半導体基板４０に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード４１で生成された電子（電荷）はオーバーフロー電極４４を通して廃棄される。 Electrons generated in the photodiode 41 by applying an appropriate waste voltage becomes positive with respect to the semiconductor substrate 40 to the overflow electrode 44 (charge) are discarded through the overflow electrode 44. オーバーフロー電極４４は、感光部１１であるフォトダイオード４１において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極１２ｂとして機能し、オーバーフロー電極４４に廃棄電圧を印加する電源が感光部１１で生成された電子（電荷）を廃棄する電荷廃棄部１２ｃとして機能する。 Overflow electrode 44, since waste voltage is applied at the time of discarding the undesired electric charges of the generated charges in the photo diode 41 which is a photosensitive unit 11 functions as a waste electrode 12b, applies a waste voltage to the overflow electrode 44 Power There functions as a charge discarding portion 12c of discarding electrons (charge) generated by the photosensitive unit 11. 半導体基板４０の表面はフォトダイオード４１に対応する部位を除いて遮光膜４６（図１５参照）により覆われる。 The surface of the semiconductor substrate 40 is covered with a light shielding film 46 (see FIG. 15) except for a portion corresponding to the photodiode 41.
図１４に示したＣＣＤイメージセンサについて、１個のフォトダイオード４１に関連する部分を切り出して図１５に示す。 For CCD image sensor shown in FIG. 14, FIG. 15 is cut out portions associated with one photodiode 41. 半導体基板４０にはｎ形半導体を用い、半導体基板４０の主表面にはフォトダイオード４１と垂直転送レジスタ４２とに跨る領域にｐ形半導体からなるウェル領域３１を形成している。 An n-type semiconductor in the semiconductor substrate 40, the main surface of the semiconductor substrate 40 to form a well region 31 made of p-type semiconductor in a region that spans the photodiode 41 and the vertical transfer register 42. ウェル領域３１は、フォトダイオード４１に対応する領域に比較して垂直転送レジスタ４２に対応する領域の厚み寸法が大きくなるように形成してある。 Well region 31 is formed so that the thickness dimension of the region corresponding to the vertical transfer register 42 as compared to the region corresponding to the photodiode 41 increases. ウェル領域３１のうちフォトダイオード４１に対応する領域にはｎ ＋形半導体層３２を重ねて設けてあり、ウェル領域３１とｎ ＋形半導体層３２とのｐｎ接合によってフォトダイオード４１が形成される。 In the region corresponding to the photodiode 41 of the well region 31 is provided with overlapping the n + -type semiconductor layer 32, the photodiode 41 is formed by the pn junction between the well region 31 and the n + -type semiconductor layer 32. フォトダイオード４１の表面にはｐ ＋形半導体からなる表面層３３を積層してある。 The surface of the photo diode 41 are stacked the surface layer 33 made of p + -type semiconductor. 表面層３３はフォトダイオード４１で生成された電荷を垂直転送レジスタ４２に移動させる際に、ｎ ＋形半導体層３２の表面付近が電荷の通過経路にならないように制御する目的で設けてある。 Surface layer 33 when moving the electric charges generated by the photodiode 41 to the vertical transfer register 42, the vicinity of the surface of the n + -type semiconductor layer 32 is provided for the purpose of controlling so as not to pass through the path of the charge. このような構造は、埋込フォトダイオードとして知られている。 Such a structure is known as a buried photodiode.
ウェル領域３１のうち垂直転送レジスタ４２に対応する領域にはｎ形半導体からなる蓄積転送層３４を重ねて設けてある。 In a region corresponding to the vertical transfer register 42 of the well region 31 is provided overlapping the storage transfer layer 34 made of n-type semiconductor. 蓄積転送層３４の表面と表面層３３の表面とは略同一平面であって、蓄積転送層３４の厚み寸法は表面層３３の厚み寸法よりも大きくしてある。 The surface of the surface and the surface layer 33 of the storage transfer layer 34 is a substantially coplanar, the thickness dimension of the storage transfer layer 34 is made larger than the thickness of the surface layer 33. 蓄積転送層３４は、表面層３３とは接触しているが、ｎ ＋形半導体層３２との間には、表面層３３と不純物濃度が等しいｐ ＋形半導体からなる分離層３５が介在する。 Storage transfer layer 34 is in contact to the surface layer 33, between the n + -type semiconductor layer 32, the surface layer 33 and the impurity concentration of the same p + -type semiconductor isolation layer 35 is interposed. 蓄積転送層３４の表面には、絶縁膜４５を介して転送電極４２ａ，４２ｂが配置される。 On the surface of the storage transfer layer 34, transfer electrodes 42a via the insulating film 45, 42b are arranged. 転送電極４２ａ，４２ｂは１個のフォトダイオード４１に対して２個ずつ設けられ、垂直方向において２個の転送電極４２ａ，４２ｂのうちの一方は他方よりも広幅に形成される。 Transfer electrodes 42a, 42b are provided two by two with respect to one photodiode 41, two transfer electrodes 42a in the vertical direction, 42b is one of formed on wider than the other. 具体的には、図１６のように、１個のフォトダイオード４１に対応する２個の転送電極４２ａ，４２ｂのうち狭幅の転送電極４２ｂは平板状に形成されており、広幅の転送電極４２ａは、幅狭の転送電極４２ｂと同一平面上に配列され一対の転送電極４２ｂの間に配置される平板状の部分と、平板状の部分の垂直方向（図１６の左右方向）における両端部からそれぞれ延長され転送電極４２ｂの上に重複する湾曲した部分とを備える。 Specifically, as shown in FIG. 16, two transfer electrodes 42a corresponding to one photodiode 41, the transfer electrodes 42b of the narrow among 42b is formed in a plate shape, wide transfer electrodes 42a includes a flat portion disposed between the narrow transfer electrodes 42b are arranged on the same plane and a pair of transfer electrodes 42b, from both ends in the vertical direction of the plate-like portions (left and right direction in FIG. 16) extended respectively and a curved portion overlapping on the transfer electrode 42b. ここに、絶縁膜４５はＳｉＯ ２により形成され、また転送電極４２ａ，４２ｂはポリシリコンにより形成され、各転送電極４２ａ，４２ｂは絶縁膜４５を介して互いに絶縁されている。 Here, the insulating film 45 is formed by SiO 2, also the transfer electrodes 42a, 42b are formed of polysilicon, the transfer electrodes 42a, 42b are insulated from each other via the insulating film 45. さらに、フォトダイオード４１に光を入射させる部位を除いて光検出素子１の表面は遮光膜４６により覆われる。 Further, the surface of the light detecting element 1 except for the part through which light enters the photodiode 41 is covered with a light shielding film 46. ウェル領域３１において垂直転送レジスタ４２に対応する領域および蓄積転送層３４は垂直転送レジスタ４２の全長に亘って形成され、したがって、蓄積転送層３４には広幅の転送電極４２ａと狭幅の転送電極４２ｂとが交互に配列される。 Region and storage transfer layer 34 corresponding to the vertical transfer register 42 in the well region 31 is formed over the entire length of the vertical transfer register 42, therefore, the transfer electrodes 42b of the wide transfer electrodes 42a and narrow in the storage transfer layer 34 bets are alternately arranged.
上述した光検出素子１では、フォトダイオード４１が感光部１１に相当し、転送電極４２ａがゲート電極１２ａに相当し、オーバーフロー電極４４が廃棄電極１２ｂに相当し、垂直転送レジスタ４２が電荷集積部１３および電荷取出部１４の一部として機能する。 In the light detecting element 1 described above, the photodiode 41 corresponds to the photosensitive unit 11, transfer electrodes 42a corresponds to the gate electrode 12a, the overflow electrode 44 corresponds to discard the electrode 12b, the vertical transfer register 42 are charge integration section 13 and functions as a part of the charge take-out portion 14. また、水平転送レジスタ４３も電荷取出部１４の一部になる。 The horizontal transfer register 43 is also a part of the charge take-out portion 14. すなわち、フォトダイオード４１に光が入射すれば電荷が生成され、フォトダイオード４１で生成された電荷のうち垂直転送レジスタ４２に信号電荷として引き渡される電荷の割合は転送電極４２ａに印加する通過電圧とオーバーフロー電極４４に印加する廃棄電圧との関係によって決めることができる。 That is, the photodiode 41 the light is generated charge if the incident, pass voltage and the overflow rate of the charge is to be applied to the transfer electrodes 42a to be passed as signal charges to the vertical transfer register 42 of the electric charges generated by the photodiode 41 it can be determined by the relationship between the waste voltage applied to the electrode 44. 転送電極４２ａに通過電圧を印加すると蓄積転送層３４にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。 Is a potential well formed and applied to the storage transfer layer 34 to pass voltage to the transfer electrodes 42a, it is possible to control the depth of the potential well under the control of the pass voltage. したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード４１から垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。 Therefore, it is possible to adjust the ratio of the charge by controlling the time and for applying the depth and pass voltage potential wells, delivered from the photodiode 41 to the vertical transfer register 42. また、オーバーフロー電極４４に印加する廃棄電圧を制御すれば、フォトダイオード４１と半導体基板４０との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。 Further, by controlling the waste voltage applied to the overflow electrode 44, because it is possible to control the potential gradient between the photodiode 41 and the semiconductor substrate 40, by controlling the time for applying a potential gradient and waste voltage , it is possible to adjust the ratio of charge to be delivered to the vertical transfer register 42.
フォトダイオード４１から垂直転送レジスタ４２に引き渡された信号電荷は、上述した４区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３のうちの各１区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷が集積されるたびに読み出される。 The signal charges transferred to the vertical transfer register 42 from the photodiode 41, the received light amount A0 of four sections as described above, A1, A2, the light receiving amount A0 of the first section of A3, A1, A2, a signal corresponding to A3 It is read each time a charge is integrated. 例えば、受光光量Ａ０に相当する信号電荷が各フォトダイオード４１に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量Ａ１に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。 For example, when the signal charges corresponding to the amount of received light A0 is integrated in the potential well that is formed corresponding to the photodiodes 41 reads the signal charges, signal charges then corresponds to the amount of received light A1 is integrated into the potential well that again and repeats the operation of reading out the signal charge.
実施形態１のジェスチャースイッチのブロック図である。 It is a block diagram of a gesture switches of the first embodiment. 同上に用いる距離画像センサの設置場所の説明図である。 It is an illustration of the location of the range image sensor used in the same as above. 同上の動作説明図である。 It is an operation explanatory view of the same. 同上の動作説明図である。 It is an operation explanatory view of the same. 同上の動作説明図である。 It is an operation explanatory view of the same. 同上に用いる光検出素子の要部の動作説明図である。 It is an operation explanatory view of the main part of the light detection element used in ibid. 同上に用いる光検出素子の平面図である。 It is a plan view of the photodetector element used in ibid. 同上に用いる光検出素子の要部の動作説明図である。 It is an operation explanatory view of the main part of the light detection element used in ibid. 同上に用いる光検出素子の要部の動作説明図である。 It is an operation explanatory view of the main part of the light detection element used in ibid. 同上の他の構成例の動作説明図である。 It is an operation explanatory diagram of another configuration example of the same. 同上の他の構成例の動作説明図である。 It is an operation explanatory diagram of another configuration example of the same. 同上の他の構成例の動作説明図である。 It is an operation explanatory diagram of another configuration example of the same. 実施形態２のジェスチャースイッチにおける感度制御部の構成例を示すブロック図である。 Is a block diagram showing a configuration example of a sensitivity control unit in the gesture switches embodiment 2. 同上に用いる光検出素子の構成例を示す平面図である。 It is a plan view showing a configuration example of the light detection element used in ibid. 図１４に示した光検出素子の要部分解斜視図である。 Exploded perspective view of an essential part of the light detecting device shown in FIG. 14. 図１５のＡ−Ａ線断面図である。 It is a sectional view along line A-A of Figure 15.
１ 光検出素子 ２ 発光源 ３ 制御回路部 ４ 画像生成部 ５ 特定部位抽出部 ６ ジェスチャー認識部 ７ 制御部 １１ 感光部 Ｏｂ 物体 ＤＳ 距離画像センサ 1 photodetecting element 2 emission sources 3 control circuit unit 4 image generating unit 5 specific site extracting section 6 gesture recognizing section 7 control unit 11 exposed portion Ob object DS range image sensor
検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサと、距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部と、特定部位抽出部により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部と、ジェスチャー認識部により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器へ与える制御部とを備えることを特徴とするジェスチャースイッチ。 A distance image sensor for generating a distance image as a pixel value distance values ​​to objects existing in the detection target area continuously particular person present in the detection target area based on the distance image generated by the distance image sensor a specific site extracting section that extracts a region, and recognizing the gesture recognition unit a predetermined gesture in a particular space on the basis of the time-series data of the shape of the specific portion extracted by the specific site extracting unit, the gesture recognition unit gestures switch; and a control unit which gives associated beforehand control outputs the recognized gesture to the control target device by.
前記制御部は、前記距離画像における前記特定空間の画素数に対する前記特定部位の画素数の割合が規定値を超えているときに前記制御出力を前記制御対象機器へ与えることを特徴とする請求項１記載のジェスチャースイッチ。 Wherein the control unit, according to claim, wherein said control output to provide to the control target device when the ratio of the number of pixels the specific site to the number of pixels the specific space in the distance image exceeds a specified value 1 gesture switch described.
前記特定部位抽出部は、前記距離画像を所定の閾値で２値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする請求項１または請求項２記載のジェスチャースイッチ。 The specific site extracting unit, the distance image is binarized with a predetermined threshold value, according to claim 1 or gestures switch according to claim 2, wherein extracting the region equal to or less than the threshold value as the specific site.
前記特定部位抽出部は、前記距離画像毎に最小の距離値に所定値を加算した値を閾値として前記距離画像を２値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする請求項１または請求項２記載のジェスチャースイッチ。 The specific site extracting unit, and wherein the distance image is binarized, and extracts an area to be the threshold value or less as the specific site value obtained by adding a predetermined value to the minimum distance value for each of the range image as a threshold value claim 1 or gestures switch according to claim 2, wherein.
前記特定部位抽出部は、前記距離画像センサへ向けられる手の手首よりも先の部分を前記特定部位として想定して前記所定値が設定されており、前記ジェスチャー認識部は、前記特定部位抽出部により抽出された前記特定部位である手の指および手のひらそれぞれの３Ｄ重心を特徴量として特徴量の時系列データに基づいてジェスチャーを認識することを特徴とする請求項４記載のジェスチャースイッチ。 The specific site extracting unit, the distance being assumed the predetermined value is set to the previous part as the specific site than the wrist of the hand directed to the image sensor, the gesture recognition unit, the specific site extracting section gestures switch according to claim 4, wherein the recognizing gestures based on the feature amount time series data of the fingers and the palm respective 3D centroid of the hand is the specific portion extracted as a feature quantity by.
前記特定部位抽出部は、前記距離画像において最小の距離値となる画素の周囲領域に関して閾値以下となる画素の数が一定値となるように前記閾値を調整して前記距離画像を前記閾値で２値化し、前記閾値以下となる領域を前記特定部位として抽出することを特徴とする請求項１または請求項２記載のジェスチャースイッチ。 The specific site extracting unit 2 minimum number of pixels equal to or less than the threshold value with respect to the surrounding region of the distance value that the pixel is the range image by adjusting the threshold so that a constant value in the range image with the threshold value binarized claim 1 or gestures switch according to claim 2, wherein an area equal to or less than the threshold value and extracts as the specific site.
前記特定部位抽出部は、前記距離画像における入力判定領域についてのみ２値化を行うことを特徴とする請求項３ないし請求項６のいずれかに記載のジェスチャースイッチ。 The specific site extracting unit gestures switch according to any one of claims 3 to 6, characterized in that performing the binarization only the input determination region in the distance image.
JP2005246812A 2004-08-31 2005-08-26 Gesture switch Expired - Fee Related JP4692159B2 (en)
JP2004252966 2004-08-31
JP2005246812A JP4692159B2 (en) 2004-08-31 2005-08-26 Gesture switch
JP2006099749A true true JP2006099749A (en) 2006-04-13
JP4692159B2 JP4692159B2 (en) 2011-06-01
ID=36239430
JP2005246812A Expired - Fee Related JP4692159B2 (en) 2004-08-31 2005-08-26 Gesture switch
JP (1) JP4692159B2 (en)
JP2010181981A (en) * 2009-02-03 2010-08-19 Panasonic Electric Works Co Ltd Operation display device
JP2012008998A (en) * 2010-06-23 2012-01-12 Ind Technol Res Inst Method for recognizing three-dimensional control point and computer-readable recording medium using the same
JP2012173098A (en) * 2011-02-21 2012-09-10 Stanley Electric Co Ltd Indicated position detector
JP2012220366A (en) * 2011-04-11 2012-11-12 Optex Co Ltd Distance image camera and object surface shape recognition method using the same
WO2013035553A1 (en) * 2011-09-07 2013-03-14 日東電工株式会社 User interface display device
WO2014002803A1 (en) * 2012-06-25 2014-01-03 オムロン株式会社 Motion sensor, method for detecting object action, and game device
JP2014006727A (en) * 2012-06-25 2014-01-16 Omron Corp Motion sensor and object action detection method
JP2014004154A (en) * 2012-06-25 2014-01-16 Omron Corp Game machine
CN103562821A (en) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 Information processing device, information processing method, and recording medium
JP2014099184A (en) * 2008-03-04 2014-05-29 Qualcomm Inc Enhanced gesture-based image manipulation
CN104025154A (en) * 2012-02-07 2014-09-03 日本系统工具株式会社 Gesture recognition device using vehicle steering wheel, hand recognition method and program therefor
KR101517932B1 (en) * 2013-06-27 2015-05-06 에이오스 주식회사 The apparatus and method of stereo camera system with wide angle lens applicable for hand gesture recognition
CN104908048A (en) * 2014-03-14 2015-09-16 本田技研工业株式会社 Motion estimation device, robot, and motion estimation method
US9990540B2 (en) 2015-05-18 2018-06-05 Honda Motor Co., Ltd. Operation estimation apparatus, robot, and operation estimation method
JPH1165744A (en) * 1997-08-21 1999-03-09 Sharp Corp Inputting device
JP2002150440A (en) * 2000-11-13 2002-05-24 Fujitsu General Ltd Detector for object of monitoring
CN103562821B (en) * 2011-04-28 2016-11-09 日本电气方案创新株式会社 The information processing apparatus, information processing method and a recording medium
JP2013069273A (en) * 2011-09-07 2013-04-18 Nitto Denko Corp Motion detection method of input body and input device using the same
JP2013069272A (en) * 2011-09-07 2013-04-18 Nitto Denko Corp User interface display device
CN104025154B (en) * 2012-02-07 2016-06-22 日本系统工具株式会社 Using a steering wheel and a hand gesture recognition device recognition method
US9789393B2 (en) 2012-06-25 2017-10-17 Omron Corporation Motion sensor, object-motion detection method, and game machine
US9684824B2 (en) 2014-03-14 2017-06-20 Honda Motor Co., Ltd Motion estimation device, robot, and method to estimate reaction of a person
JP4692159B2 (en) 2011-06-01 grant