(57)【要約】  【課題】太陽光や照明や背景などに影響されずに監視対象空間が安全な状態にあるか否かを確認可能な安全確認装置を提供する。  【解決手段】発光源２から監視対象空間に照射された光が監視対象空間内の物体Ｏｂで反射され光検出素子１の各感光部１１で受光されるまでの強度変調光の位相差を物体Ｏｂまでの距離に換算した距離値を画素値とする距離画像を生成する画像生成部４と、監視対象空間の監視開始前に画像生成部４で生成された距離画像を背景距離画像として記憶する背景距離画像記憶部５と、監視開始後に画像生成部４で生成された距離画像からなる監視距離画像と背景距離画像記憶部に記憶されている背景距離画像とを比較して監視対象空間に監視開始前には存在しなかった物体Ｏｂが存在するか否かを基準にして安全な状態にあるか否かを判断する状態判断部６とを備える。【選択図】      図１
2006155423.tif 000002
【特許請求の範囲】
【請求項１】
強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され監視対象空間を撮像する光検出素子と、発光源から監視対象空間に照射された光が監視対象空間内の物体で反射され各感光部で受光されるまでの強度変調光の位相差を物体までの距離に換算した距離値を画素値とする距離画像を生成する画像生成部と、監視対象空間の監視開始前に画像生成部で生成された距離画像を背景距離画像として記憶する背景距離画像記憶部と、監視開始後に画像生成部で生成された距離画像からなる監視距離画像と背景距離画像記憶部に記憶されている背景距離画像とを比較して監視開始前には存在しなかった物体が存在するか否かを基準にして安全な状態か否かを判断する状態判断部とを備えることを特徴とする安全確認装置。
【請求項２】
前記状態判断部は、前記監視対象空間の監視特定エリアに監視開始前には存在しなかった物体が存在した場合に前記監視対象空間が不安全な状態にあると判断することを特徴とする請求項１記載の安全確認装置。
【請求項３】
前記状態判断部にて前記監視対象空間が不安全な状態にあると判断されたときに警報出力を発生する警報出力部を備えることを特徴とする請求項２記載の安全確認装置。
【請求項４】
前記画像生成部の出力に基づいて監視開始後に監視対象空間に存在する物体の形状を推定する形状推定部を備え、前記状態判断部は、不安全な状態と判断したときに形状推定部にて推定された物体の形状に基づいて不安全な状態の不安全レベルを判定し、前記警報出力部は、前記状態判断部から与えられる不安全レベルの情報に基づいて警報出力の警報レベルを変化させることを特徴とする請求項３記載の安全確認装置。
【請求項５】
前記状態判断部は、前記監視対象空間を距離画像内で複数の監視エリアに区画してあるとともに、各監視エリア毎に警戒レベルの重み付けをしてあり、不安全な状態と判断したときに、監視開始前には存在しなかった物体が存在する監視エリアに重み付けされている警戒レベルの情報を前記警報出力部に対して出力し、前記警報出力部は、警戒レベルの情報に基づいて警報出力の警報レベルを変化させることを特徴とする請求項３記載の安全確認装置。
【請求項６】
前記状態判断部は、前記監視対象空間に関して予め設定された特定エリアのみについて前記監視距離画像と前記背景距離画像との比較を行うことを特徴とする請求項１ないし請求項５のいずれかに記載の安全確認装置。
【請求項７】
前記画像生成部が距離画像を生成する機能の他に前記各感光部の受光光量である濃淡値を画素値とし各画素が距離画像の各画素と１対１で対応する濃淡画像を生成する機能を有し、前記監視対象空間の監視開始前に前記画像生成部において距離画像とともに生成された濃淡画像を表示するモニタ装置を具備しモニタ装置に表示された濃淡画像内で前記特定エリアを設定する特定エリア設定手段を備えることを特徴とする請求項６記載の安全確認装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象空間が監視開始前と同じ安全な状態にあるかを確認可能な安全確認装置に関するものである。
【背景技術】
【０００２】
従来から、この種の安全確認装置として、例えば工場などにおいて監視対象空間をＣＣＤカメラなどの撮像手段により撮像して得られる画像を利用して監視対象空間を監視し、監視対象空間内に障害物となる物体（人、ロボットなど）が存在しないときに安全状態と判断する監視装置が提案されている（例えば、特許文献１参照）。なお、このような監視装置は、例えば、工場内などで稼動されるロボットや無人搬送車などに搭載して用いたり、工場内などにおけるロボットや無人搬送車などの移動経路の上方に設置して用いられる。
【０００３】
上述の特許文献１に開示された監視装置では、監視対象空間を予め撮像手段により撮像して得られた画像からなる背景画像と監視開始後に監視対象空間を撮像手段により撮像して得られた画像との差画像を求め、差画像に基づいて監視対象空間内に障害物となる物体が存在しない安全な状態にあるか障害物となる物体が存在する不安全な状態にあるかを判断するようになっている。
【特許文献１】特開平１０−１４３６６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述の特許文献１に開示された監視装置では、撮像手段としてＣＣＤカメラなどの一般的なＴＶカメラを使用しており、撮像手段により監視対象空間を撮像して得られる画像が濃淡画像であって、監視対象空間内の明暗に関する情報しか得られないので、太陽光や照明や背景などの影響を受けて不安全な状態を検知できないことがあった。
【０００５】
本発明は上記事由に鑑みて為されたものであり、その目的は、太陽光や照明や背景などに影響されずに監視対象空間が安全な状態にあるか否かを確認可能な安全確認装置を提供することにある。
【課題を解決するための手段】
【０００６】
請求項１の発明は、強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され監視対象空間を撮像する光検出素子と、発光源から監視対象空間に照射された光が監視対象空間内の物体で反射され各感光部で受光されるまでの強度変調光の位相差を物体までの距離に換算した距離値を画素値とする距離画像を生成する画像生成部と、監視対象空間の監視開始前に画像生成部で生成された距離画像を背景距離画像として記憶する背景距離画像記憶部と、監視開始後に画像生成部で生成された距離画像からなる監視距離画像と背景距離画像記憶部に記憶されている背景距離画像とを比較して監視開始前には存在しなかった物体が存在するか否かを基準にして安全な状態か否かを判断する状態判断部とを備えることを特徴とする。なお、監視対象空間に存在する物体とは人体を含む概念である。
【０００７】
この発明によれば、監視対象空間に存在する物体までの距離値を画素値とする距離画像に基づいて監視開始前には存在しなかった物体が存在するか否かを基準にして安全な状態か否かが判断されるので、太陽光や照明や背景などの影響を受けずに監視対象空間が安全な状態にあるか否かを確認することが可能となる。
【０００８】
請求項２の発明は、請求項１の発明において、前記状態判断部は、前記監視対象空間の監視特定エリアに監視開始前には存在しなかった物体が存在した場合に前記監視対象空間が不安全な状態にあると判断することを特徴とする。
【０００９】
この発明によれば、監視特定エリアに監視開始前には存在しなかった物体が存在した場合のみ不安全な状態にあると判断させることができる。すなわち、監視特定エリア外のエリアのみにおいて監視開始前に存在しなかった物体があらわれた場合（監視距離画像と背景距離画像との差分画像に変化があらわれた場合）には、安全な状態と判断することになり、監視特定エリア内において監視開始前に存在しなかった物体があらわれた場合（監視距離画像と背景距離画像との差分画像に変化が起こった場合）にのみ不安定な状態と判断することができる。
【００１０】
請求項３の発明は、請求項２の発明において、前記状態判断部にて前記監視対象空間が不安全な状態にあると判断されたときに警報出力を発生する警報出力部を備えることを特徴とする。
【００１１】
この発明によれば、前記監視対象空間が不安全な状態にあると判断されたときには警報出力が発生するので、前記監視対象空間が不安全な状態のときに前記監視対象空間へ他の物体（例えば、人体、ロボット、無人搬送車など）が入り込むのを防止することが可能となり、前記監視対象空間での事故の発生を未然に防ぐことが可能となる。
【００１２】
請求項４の発明は、請求項３の発明において、前記画像生成部の出力に基づいて監視開始後に監視対象空間に存在する物体の形状を推定する形状推定部を備え、前記状態判断部は、不安全な状態と判断したときに形状推定部にて推定された物体の形状に基づいて不安全な状態の不安全レベルを判定し、前記警報出力部は、前記状態判断部から与えられる不安全レベルの情報に基づいて警報出力の警報レベルを変化させることを特徴とする。
【００１３】
この発明によれば、監視開始後に前記監視対象空間に存在する物体の形状と数との組み合わせに基づいて警報出力の警報レベルが変化するので、前記監視対象領域の安全性の高低に応じて警報レベルを変化させることが可能となる。
【００１４】
請求項５の発明は、請求項３の発明において、前記状態判断部は、前記監視対象空間を距離画像内で複数の監視エリアに区画してあるとともに、各監視エリア毎に警戒レベルの重み付けをしてあり、不安全な状態と判断したときに、監視開始前には存在しなかった物体が存在する監視エリアに重み付けされている警戒レベルの情報を前記警報出力部に対して出力し、前記警報出力部は、警戒レベルの情報に基づいて警報出力の警報レベルを変化させることを特徴とする。
【００１５】
この発明によれば、距離画像内の全域において警戒レベルが同じである場合に比べて、前記警報出力部から、より適切な警報出力を発生させることが可能となる。
【００１６】
請求項６の発明は、請求項１ないし請求項５の発明において、前記状態判断部は、前記監視対象空間に関して予め設定された特定エリアのみについて前記監視距離画像と前記背景距離画像との比較を行うことを特徴とする。
【００１７】
この発明によれば、前記監視対象空間に関する距離画像の全エリアについて前記監視距離画像と前記背景距離画像との比較を行う場合に比べて、前記状態判断部の処理速度の高速化を図れる。
【００１８】
請求項７の発明は、請求項６の発明において、前記画像生成部が距離画像を生成する機能の他に前記各感光部の受光光量である濃淡値を画素値とし各画素が距離画像の各画素と１対１で対応する濃淡画像を生成する機能を有し、前記監視対象空間の監視開始前に前記画像生成部において距離画像とともに生成された濃淡画像を表示するモニタ装置を具備しモニタ装置に表示された濃淡画像内で前記特定エリアを設定する特定エリア設定手段を備えることを特徴とする。
【００１９】
この発明によれば、前記特定エリアを濃淡画像内で設定することができるので、前記特定エリアを距離画像内で設定する場合に比べて前記特定エリアの設定作業が容易になる。
【発明の効果】
【００２０】
請求項１の発明では、監視対象空間の照明や背景などの影響を受けずに監視対象空間が安全な状態にあるか否かを確認することが可能となるという効果がある。
【発明を実施するための最良の形態】
【００２１】
以下、本実施形態の安全確認装置について図１を参照して説明するが、まず、本実施形態の安全確認装置で用いる距離画像センサ１０の基本構成について説明する。
【００２２】
距離画像センサ１０は、監視対象空間に光を照射する発光源２を備えるとともに、監視対象空間からの光を受光し受光光量を反映した出力が得られる光検出素子１を備える。監視対象空間に存在する物体Ｏｂまでの距離は、発光源２から監視対象空間に光が照射されてから物体Ｏｂでの反射光が光検出素子１に入射する（到達する）までの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間はナノ秒レベルの非常に短い時間であるから、監視対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。
【００２３】
すなわち、図２（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψが飛行時間に相当するから、位相差ψを求めることにより物体Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。例えば、曲線イにおける位相が０度、９０度、１８０度、２７０度のタイミングで求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の受光期間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、物体Ｏｂまでの距離が変化せず）、かつ物体Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは直流成分（外光成分と反射光成分との平均値）、ω（＝２πｆ）は角振動数、δは初期位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を受光期間Ｔｗの積算値ではなく瞬時値とし、変調信号の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…；ただし、ｆは変調信号の周波数）における受光光量を、Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂとすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。なお、反射光成分とは、発光源２から放射され物体Ｏｂにより反射された後に光検出素子１に入射する光の成分を意味する。
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
図２では位相差がψであるから、光検出素子１の受光光量に関する波形の初期位相δ（時刻ｔ＝０の位相）は−ψになる。つまり、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
ψ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝    …（式１）
式１では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として受光期間Ｔｗにおける積算値を用いても式１で位相差ψを求めることができる。
【００２４】
また、光検出素子１で受光される光の強度をＡ・ｃｏｓ（ωｔ＋δ）＋Ｂとする場合、つまり変調信号の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…）における受光光量を、Ａ０＝Ａ・ｃｏｓ（δ）＋Ｂとすれば、位相差ψを次式で求めることができる。
ψ＝ｔａｎ−１｛（Ａ１−Ａ３）／（Ａ０−Ａ２）｝
この関係は、変調信号に同期させるタイミングを９０度ずらした関係である。また、距離値の符号は正であるから、位相差ψを求めたときに符号が負になる場合には、ｔａｎ−１の括弧内の分母または分子の各項の順序を入れ換えるか括弧内の絶対値を用いるようにしてもよい。
【００２５】
上述のように監視対象空間に照射する光の強度を変調するために、発光源２としては、例えば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、例えば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。
【００２６】
光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系１９が配置される。感光部１１は光検出素子１において監視対象空間からの光が受光光学系１９を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。また、感光部１１は、平面格子の格子点上に配置され、例えば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
【００２７】
受光光学系１９は、光検出素子１から監視対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系１９を通して各感光部１１に光が入射する範囲を、受光光学系１９の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する物体Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系１９の光軸を基準方向として物体Ｏｂの存在する方向を知ることができる。
【００２８】
受光光学系１９は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系１９の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系１９の光軸とを３軸の方向とする直交座標系を設定すれば、監視対象空間に存在する物体Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系１９は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。
【００２９】
本実施形態では、上述のように、物体Ｏｂまでの距離を求めるために、発光源２から監視対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。
【００３０】
各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。
【００３１】
以下では、感度制御部１２の具体的な構成として、感光部１１で生成された電荷のうち電荷集積部１３に与える電荷の割合を調節する技術と、実質的に感光部１１として機能する部位の面積を変化させる技術とを示す。電荷集積部１３に与える電荷の割合を調節する技術には、感光部１１から電荷集積部１３への電荷の通過率を調節する技術と、感光部１１から電荷を廃棄する廃棄率を調節する技術と、通過率と廃棄率との両方を調節する技術とがある。
【００３２】
感度制御部１２において通過率と廃棄率とを調節する技術では、図３に示すように、感光部１１と電荷集積部１３との間にゲート電極１２ａを設け、ゲート電極１２ａに印加する通過電圧を変化させることにより、感光部１１から電荷集積部１３への電荷の移動（つまり、通過率）を制御する。また、電荷廃棄部１２ｃを設け、電荷廃棄部１２ｃに付設した廃棄電極１２ｂに印加する廃棄電圧を変化させることにより、感光部１１から電荷廃棄部１２ｃへの電荷の移動（つまり、廃棄率）を制御する。電荷集積部１３は感光部１１ごとに一対一に対応するように設けられ、電荷廃棄部１２ｃは複数個の感光部１１に共通させて一対多に対応するように設けられる。図示例では、光検出素子１のすべての感光部１１で１組の廃棄電極１２ｂおよび電荷廃棄部１２ｃを共用している。
【００３３】
感度を制御するために、感光部１１からの電荷の廃棄を行わずに感光部１１から電荷集積部１３への電荷の通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部１１において電荷が暫時残留するから、感光部１１で生成された電荷のうち不要な残留電荷が、利用する電荷（以下、信号電荷という）に雑音成分として混入する。したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極１２ａに印加する通過電圧だけでなく廃棄電極１２ｂに印加する廃棄電圧を制御する。
【００３４】
ゲート電極１２ａと廃棄電極１２ｂとを用いて感度を制御するには、ゲート電極１２ａに印加する通過電圧を一定電圧に保つことにより感光部１１で生成された電荷を電荷集積部１３に通過可能としておき、感光部１１で生成された電荷のうち信号電荷に用いる電荷が生成される期間以外には感光部１１から電荷廃棄部１２ｃに電荷が移動するように廃棄電極１２ｂに廃棄電圧を印加する。要するに、感光部１１において信号電荷として用いる電荷が生成される期間にのみ電荷廃棄部１２ｃへの電荷の廃棄を行わず、他の期間には電荷廃棄部１２ｃに電荷を廃棄することにより、信号電荷として用いようとする期間に生成された電荷のみを電荷集積部１３に集積する。
【００３５】
いま、図４（ａ）のような変調信号により発光源２から空間に照射される光の強度が変調されているとする。電荷集積部１３には変調信号の複数周期（数万〜数十万周期）において変調信号に同期する特定の区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。例えば、受光光量Ａ０に相当する電荷を変調信号の数万周期について集積すると、この受光光量Ａ０に相当する信号電荷を一旦外部に取り出し、その後、受光光量Ａ１に相当する電荷を変調信号の数万周期について集積する。
【００３６】
図４は受光光量Ａ０に相当する電荷を集積している状態を示しており、図４（ｂ）に示すようにゲート電極１２ａに印加する通過電圧を一定電圧に保っている。また、受光光量Ａ０に相当する電荷としては、変調信号の位相が０〜９０度の区間において感光部１１で生成された電荷を採用している。つまり、廃棄電極１２ｂには、図４（ｃ）のように変調信号の位相が９０〜３６０度の区間において、感光部１１で生成される電荷を不要電荷とするように廃棄電圧を印加する。この制御により、図４（ｄ）のように所望の区間の受光光量Ａ０に対応した信号電荷を電荷集積部１３に集積することが可能になる。図４に示す処理は変調信号の数万〜数十万周期について行われ、この期間に電荷集積部１３に得られた信号電荷は受光光量Ａ０に対応する受光出力として電荷取出部１４により取り出される。
【００３７】
電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において、監視対象空間内の物体Ｏｂまでの距離が、上述した式１を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する受光出力から算出される。すなわち、画像生成部４では各感光部１１に対応した各方向における物体Ｏｂまでの距離が算出され、監視対象空間の三次元情報が算出される。この三次元情報を用いると、監視対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。
【００３８】
なお、上述の制御では、廃棄電極１２ｂに廃棄電圧を印加している期間においてゲート電極１２ａにも一定電圧である通過電圧を印加しているが、廃棄電圧と通過電圧との大小関係を適宜に設定すれば、不要電荷を廃棄している期間には信号電荷がほとんど集積されないようにすることができる。また、変調信号の数万〜数十万周期について電荷を集積しているのは、集積する電荷量を多くすることによって高感度化するためであり、変調信号を例えば２０ＭＨｚと設定すれば、３０フレーム／秒で信号電荷を取り出すとしても、数十万周期以上の集積が可能になる。
【００３９】
上述したように、廃棄電極１２ｂを備えた電荷廃棄部１２ｃを設け、感光部１１に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部１２ｃに積極的に廃棄しているから、感光部１１において電荷集積部１３に信号電荷を与えていない期間に感光部１１で生成される電荷はほとんどが不要電荷として廃棄されることになり、信号電荷への雑音成分の混入が大幅に抑制される。
【００４０】
上述の例では、ゲート電極１２ａに一定電圧である通過電圧を印加している期間に廃棄電極１２ｂに廃棄電圧を印加する期間と印加しない期間とを設けることによって、廃棄電圧が印加されていない期間において感光部１１に生成された電荷を信号電荷として用いているが、図５に示すように、ゲート電極１２ａに通過電圧を印加する期間と廃棄電極１２ｂに廃棄電圧を印加する期間とが重複しないように制御してもよい。
【００４１】
図５は受光光量Ａ０に対応する信号電荷を集積する場合の動作を示している。図５（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、ゲート電極１２ａには、図５（ｂ）のように、受光光量Ａ０に対応するタイミングで通過電圧を印加する。ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図５（ｃ）のように、電荷集積部１３に受光光量Ａ０に相当する信号電荷を集積する期間以外において廃棄電圧を印加し、信号電荷を集積する期間以外では感光部１１で生成した電荷を不要電荷として電荷廃棄部１２ｃに廃棄する。このような制御によって、図５（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。
【００４２】
図５に示す制御では、ゲート電極１２ａに通過電圧を印加している期間と廃棄電極１２ｂに廃棄電圧を印加している期間とが異なるから、図４に示した制御例のように通過電圧と廃棄電圧との大小関係を考慮しなくとも通過電圧と廃棄電圧との大きさを独立して制御することができ、結果的に通過電圧および廃棄電圧の制御が容易になり、感光部１１で受光した光量に対して信号電荷を取り込む割合である感度の制御が容易になるとともに、感光部１１で生成された電荷のうち不要電荷として廃棄する割合の制御が容易になる。また、図５に示す制御例では、電荷集積部１３に信号電荷を集積する期間はゲート電極１２ａに印加する通過電圧により規定されるから、廃棄電極１２ｂに廃棄電圧を印加する期間を短縮することが可能であり、例えば、ゲート電極１２ａに通過電圧を印加する直前の所定期間にのみ廃棄電極１２ｂに廃棄電圧を印加することも可能である。
【００４３】
図５に示す制御を行えば、感光部１１で生成した電荷を電荷集積部１３に信号電荷として集積していない期間において感光部１１で生成される電荷をほとんど不要電荷として廃棄するから、信号電荷への雑音成分の混入が大幅に抑制されることになる。
【００４４】
通過電圧と廃棄電圧との制御例としては、図６に示すように、廃棄電極１２ｂに印加する廃棄電圧を一定電圧に保って感光部１１で生成された電荷の一部をつねに廃棄するようにしてもよい。図６の制御例では、ゲート電極１２ａに通過電圧を印加する期間と印加しない期間とを設け、通過電圧を印加する期間を電荷集積部１３に信号電荷を集積する期間としている。
【００４５】
図６は受光光量Ａ０に相当する信号電荷を集積する場合の動作を示している。図６（ａ）は発光源２から空間に照射される光の強度を変調する変調信号を示しており、電荷集積部１３に設けたゲート電極１２ａには、図６（ｂ）のように、受光光量Ａ０に対応する期間に通過電圧が印加され、感光部１１において生成された電荷を受光光量Ａ０に相当する信号電荷として電荷集積部１３に集積する。つまり、ゲート電極１２ａに通過電圧を印加する期間は、変調信号の位相における０度から一定期間（図示例では０〜９０度）に設定され、この期間において感光部１１から電荷集積部１３への電荷の移動が可能になる。一方、廃棄電極１２ｂには、図６（ｃ）のように、直流電圧である一定電圧の廃棄電圧がつねに印加され、感光部１１で生成された電荷の一部をつねに不要電荷として電荷廃棄部１２ｃに廃棄する。上述の制御では、信号電荷を電荷集積部１３に集積する期間にのみゲート電極１２ａに通過電圧を印加しているから、図６（ｄ）のように受光光量Ａ０に相当する信号電荷を取り出すことが可能になる。
【００４６】
図６に示す制御では、ゲート電極１２ａに通過電圧を印加しているか否かにかかわらず廃棄電極１２ｂに一定電圧の廃棄電圧を印加しているから、感光部１１において生成された電荷のうち電荷集積部１３に信号電荷として集積されなかった不要電荷は、廃棄電荷として電荷廃棄部１２ｃに廃棄される。ここで、感光部１１で生成された電荷の一部を信号電荷として電荷集積部１３に集積する期間においても感光部１１から電荷廃棄部１２ｃへの電荷の廃棄が継続しているから、信号電荷を電荷集積部１３に適正に集積するために、通過電圧と廃棄電圧との大小関係を考慮する必要がある。ただし、廃棄電圧は一定電圧であって廃棄電極１２ｂにつねに印加しているだけであるから、実際には通過電圧のみを制御すればよく、制御自体は容易である。
【００４７】
図３に示した感度制御部１２を備える光検出素子１は、オーバーフロードレインを備えたＣＣＤイメージセンサにより実現することができる。ＣＣＤイメージセンサにおける電荷の転送方式はどのようなものでもよく、インターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式のいずれであってもよい。
【００４８】
図７に縦型オーバーフロードレインを備えるインターライントランスファ方式のＣＣＤイメージセンサの構成を示す。図示例は、感光部１１となるフォトダイオード４１を水平方向と垂直方向とに複数個ずつ（図では３×４個）配列した２次元イメージセンサであって、垂直方向に配列したフォトダイオード４１の各列の右側方にＣＣＤからなる垂直転送レジスタ４２を備え、フォトダイオード４１および垂直転送レジスタ４２が配列された領域の下方にＣＣＤからなる水平転送レジスタ４３を備える。垂直転送レジスタ４２は各フォトダイオード４１ごとに２個ずつの転送電極４２ａ，４２ｂを備え、水平転送レジスタ４３は垂直転送レジスタ４２の垂直方向の列ごとに２個ずつの転送電極４３ａ，４３ｂを備える。
【００４９】
フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３とは１枚の半導体基板４０上に形成され、半導体基板４０の主表面には、フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３との全体を囲む形でアルミニウム電極であるオーバーフロー電極４４が、半導体基板４０の全周に亘って絶縁膜を介さずに半導体基板４０に直接接触するように設けられる。オーバーフロー電極４４に半導体基板４０に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード４１で生成された電子（電荷）はオーバーフロー電極４４を通して廃棄される。オーバーフロー電極４４は、感光部１１であるフォトダイオード４１において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極１２ｂとして機能し、オーバーフロー電極４４に廃棄電圧を印加する電源が感光部１１で生成された電子（電荷）を廃棄する電荷廃棄部１２ｃとして機能する。半導体基板４０の表面はフォトダイオード４１に対応する部位を除いて遮光膜４６（図８参照）により覆われる。
【００５０】
図７に示したＣＣＤイメージセンサについて、１個のフォトダイオード４１に関連する部分を切り出して図８に示す。半導体基板４０にはｎ形半導体を用い、半導体基板４０の主表面にはフォトダイオード４１と垂直転送レジスタ４２とに跨る領域にｐ形半導体からなるウェル領域３１を形成している。ウェル領域３１は、フォトダイオード４１に対応する領域に比較して垂直転送レジスタ４２に対応する領域の厚み寸法が大きくなるように形成してある。ウェル領域３１のうちフォトダイオード４１に対応する領域にはｎ＋形半導体層３２を重ねて設けてあり、ウェル領域３１とｎ＋形半導体層３２とのｐｎ接合によってフォトダイオード４１が形成される。フォトダイオード４１の表面にはｐ＋形半導体層からなる表面層３３を積層してある。表面層３３はフォトダイオード４１で生成された電荷を垂直転送レジスタ４２に移動させる際に、ｎ＋形半導体層３２の表面付近が電荷の通過経路にならないように制御する目的で設けてある。このような構造は、埋込フォトダイオードとして知られている。
【００５１】
ウェル領域３１のうち垂直転送レジスタ４２に対応する領域にはｎ形半導体からなる蓄積転送層３４を重ねて設けてある。蓄積転送層３４の表面と表面層３３の表面とは略同一平面であって、蓄積転送層３４の厚み寸法は表面層３３の厚み寸法よりも大きくしてある。蓄積転送層３４は、表面層３３とは接触しているが、ｎ＋形半導体層３２との間には、表面層３３と不純物濃度が等しいｐ＋形半導体層からなる分離層３５が介在する。蓄積転送層３４の表面には、絶縁膜４５を介して転送電極４２ａ，４２ｂが配置される。転送電極４２ａ，４２ｂは１個のフォトダイオード４１に対して２個ずつ設けられ、垂直方向において２個の転送電極４２ａ，４２ｂのうちの一方は他方よりも広幅に形成される。具体的には、図９のように、１個のフォトダイオード４１に対応する２個の転送電極４２ａ，４２ｂのうち狭幅の転送電極４２ｂは平板状に形成されており、広幅の転送電極４２ａは、幅狭の転送電極４２ｂと同一平面上に配列され一対の転送電極４２ｂの間に配置される平板状の部分と、平板状の部分の垂直方向（図９の左右方向）における両端部からそれぞれ延長され転送電極４２ｂの上に重複する湾曲した部分とを備える。ここに、絶縁膜４５はＳｉＯ２により形成され、また転送電極４２ａ，４２ｂはポリシリコンにより形成され、各転送電極４２ａ，４２ｂは絶縁膜４５を介して互いに絶縁されている。さらに、フォトダイオード４１に光を入射させる部位を除いて光検出素子１の表面は遮光膜４６により覆われる。ウェル領域３１において垂直転送レジスタ４２に対応する領域および蓄積転送層３４は垂直転送レジスタ４２の全長に亘って形成され、したがって、蓄積転送層３４には広幅の転送電極４２ａと狭幅の転送電極４２ｂとが交互に配列される。
【００５２】
上述した光検出素子１では、フォトダイオード４１が感光部１１に相当し、転送電極４２ａがゲート電極１２ａに相当し、オーバーフロー電極４４が廃棄電極１２ｂに相当し、垂直転送レジスタ４２が電荷集積部１３および電荷取出部１４の一部として機能する。また、水平転送レジスタ４３も電荷取出部１４の一部になる。すなわち、フォトダイオード４１に光が入射すれば電荷が生成され、フォトダイオード４１で生成された電荷のうち垂直転送レジスタ４２に信号電荷として引き渡される電荷の割合は転送電極４２ａに印加する通過電圧とオーバーフロー電極４４に印加する廃棄電圧との関係によって決めることができる。転送電極４２ａに通過電圧を印加すると蓄積転送層３４にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード４１から垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。また、オーバーフロー電極４４に印加する廃棄電圧を制御すれば、フォトダイオード４１と半導体基板４０との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。通過電圧と廃棄電圧とは図４ないし図６に示した制御例のように制御すればよい。
【００５３】
フォトダイオード４１から垂直転送レジスタ４２に引き渡された信号電荷は、上述した４区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３のうちの各１区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷が集積されるたびに読み出される。例えば、受光光量Ａ０に相当する信号電荷が各フォトダイオード４１に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量Ａ１に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。なお、各受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷を集積する期間は等しく設定しておく。
【００５４】
ところで、上述した制御例のうち、図４に示す制御例では、感光部１１（フォトダイオード４１）で生成された電荷（電子）を電荷集積部１３（垂直転送レジスタ４２）に対してつねに引き渡しているから、電荷集積部１３に集積された電荷は必ずしも目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、目的外の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が集積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が集積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、（Ａ２−Ａ０）に相当する値を電荷集積部１３に集積した電荷から求めると（α−β）（Ａ２−Ａ０）になり、同様にして（Ａ１−Ａ３）に相当する値は（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
【００５５】
上述した構成例では、ＣＣＤイメージセンサを光検出素子１に用い、電荷集積部１３に通過させる電荷の量と、電荷廃棄部１２ｃに廃棄する電荷の量との少なくとも一方を制御することにより感度制御部１２を構成する例を示したが、以下に示す光検出素子１の感度制御部１２は、感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させるものである。
【００５６】
以下に光検出素子１の具体的構造例を説明する。図１０に示す光検出素子１は、複数個（例えば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、例えば１枚の半導体基板上に形成される。１個の感光部１１は不純物を添加した半導体層２１に酸化膜からなる絶縁膜２２を介して複数個（図では５個）の制御電極２３を配列した構成を有する。図示例では制御電極２３が並ぶ方向（左右方向）が垂直方向であり、感光部１１で生成した電荷（本実施形態では、電子を用いる）を取り出す際には、垂直転送レジスタにより電荷を垂直方向に転送した後、水平転送レジスタを用いて水平方向に転送される。つまり、垂直転送レジスタと水平転送レジスタとにより電荷取出部１４が構成される。垂直転送レジスタおよび水平転送レジスタの構成には、ＣＣＤイメージセンサにおけるインターライントランスファ（ＩＴ）方式、フレームトランスファ（ＦＴ）方式、フレームインターライントランスファ（ＦＩＴ）方式と同様の構成を採用することができる。
【００５７】
すなわち、垂直方向に並ぶ各感光部１１が一体に連続する半導体層２１を共用するとともに半導体層２１を垂直転送レジスタに用いれば、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造になり、ＦＴ方式のＣＣＤイメージセンサと同様にして電荷を垂直方向に転送することができ、また、感光部１１から転送ゲートを介して垂直転送レジスタに電荷を転送すれば、ＩＴ方式またはＦＩＴ方式のＣＣＤイメージセンサと同様にして電荷を転送することができる。
【００５８】
上述のように、半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から監視対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図１０は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図１０の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送レジスタは、図１０の左右方向に電荷を転送することを想定しているが、図１０の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。
【００５９】
この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部での再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部での再結合により消滅する。
【００６０】
ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。例えば、図１０（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図１０（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図１０（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図１０（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。
【００６１】
上述したように、ポテンシャル井戸２４から電荷を取り出すには、ＣＣＤイメージセンサと同様の技術を採用する。例えば感光部１１を垂直転送レジスタとして用いる場合は、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（例えば、図の右方向）に転送することができる。あるいはまた、感光部１１とは別に設けた垂直転送レジスタに転送ゲートを介して感光部１１から電荷を転送する構成を採用することもできる。垂直転送レジスタからは水平転送レジスタに電荷を引き渡し、水平転送レジスタを転送された電荷は、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。
【００６２】
図１０に示す構成における感度制御部１２は、利用できる電荷を生成する面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする期間にのみ高感度とし（電荷を生成する面積を大きくし）、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源２を駆動する変調信号に同期させて設定される。具体的には、変調信号に同期する特定の区間（特定位相の区間）において、電荷を生成する面積を大きくして感光部１１で生成した電荷を集積し、上記特定区間以外の他の区間において、電荷を生成する面積を小さくして感光部１１で生成した電荷を蓄積する。すなわち、感光部１１において、電荷を集積する機能と蓄積する機能とが交互に実現される。ここで、集積とは電荷を集めることを意味し、蓄積とは電荷を保持することを意味する。言い換えると、図１０に示す構成では、感光部１１に設けた電荷集積部１３の大きさ（面積）を変化させることにより、電荷を集積する期間には感光部１１で生成された電荷の集積率を大きくし、電荷を蓄積する期間には感光部１１で生成された電荷の集積率を小さくするのである。
【００６３】
また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（例えば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と不要電荷（主に外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。
【００６４】
ところで、位相差ψを求めるのに必要な４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４区間の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用してもよい。つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしてもよい。
【００６５】
この構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、監視対象空間の中で移動している物体Ｏｂについても距離の検出精度を比較的高く保つことができる。なお、この構成では、１個の感光部１１で４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系１９の設計によって向上させることが可能である。
【００６６】
以下に動作を具体的に説明する。図１０に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するためのポテンシャルの障壁を形成するものであって、２個の感光部１１を画素とする場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１でポテンシャルの障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を画素としながらも視線方向の分解能の低下を抑制することが可能になる。
【００６７】
なお、上述した距離画像センサ１０の構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４区間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４区間は９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４区間の受光光量に対応した電荷を取り出す周期は、物体Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４区間の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。
【００６８】
ところで、上述した距離画像センサ１０では、各感光部１１において受光光量に応じた量の電荷を生成するから、各受光光量Ａ０、Ａ１、Ａ２、Ａ３は物体Ｏｂの明るさを反映している。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３から得られる直流成分Ｂは濃淡画像における濃度値に相当する。換言すれば、各感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３を用いると、物体Ｏｂまでの距離を求めるほか、物体Ｏｂの濃度値も得ることが可能になる。しかも、同じ位置の感光部１１を用いて物体Ｏｂの距離と濃度値とを求めるから、同じ位置について濃度値と距離値との両方の情報を得ることが可能になる。そこで、本実施形態の画像生成部４では距離画像とともに濃淡画像を生成し、同じ感光部１１から距離画像と濃淡画像とを生成する。したがって、画像生成部４では、監視対象空間の同じ位置についてほぼ同時刻の距離値と濃度値とを求めることが可能になる。濃度値としては、受光光量Ａ０、Ａ１、Ａ２、Ａ３の平均値（つまり、直流成分Ｂ）を用いるから、発光源２からの強度変調の光の影響を除去できる。ただし、距離画像を生成する際の光検出素子１への外光成分の入射を低減するために、発光源２から赤外線を対象空間に照射し、光検出素子１の前方に赤外線透過フィルタを配置してあり、濃淡画像は赤外線に対する濃淡画像になる。
【００６９】
次に、上述の距離画像センサ１０を用いた安全確認装置の全体構成について説明する。
【００７０】
本実施形態の安全確認装置は、図１に示すように、上述の距離画像センサ１０と、監視対象空間の監視開始前に距離画像センサ１０の画像生成部４で生成された監視対象空間の距離画像を背景距離画像として記憶するメモリからなる背景距離画像記憶部５と、監視開始後に画像生成部４で生成された監視対象空間の距離画像からなる監視距離画像と背景距離画像記憶部５に記憶されている背景距離画像とを比較して監視対象空間に監視開始前には存在しなかった物体が存在するか否かを基準にして安全な状態か否かを判断する状態判断部６と、状態判断部６にて監視対象空間が不安全な状態にあると判断されたときに警報出力を発生する警報出力部７とを備えている。なお、画像生成部４、状態判断部６、警報出力部７、後述の形状推定部８などの各機能はマイクロコンピュータで適宜のプログラムを実行することにより実現される。
【００７１】
状態判断部６では、監視距離画像と背景距離画像との差分画像（対応する各画素ごとの差分を画素値に持つ画像）を生成し（つまり、異なる時刻の距離画像から差分画像を生成し）、差分画像の監視特定エリアにおいて距離値が所定値を超える画素数が閾値以下の場合には安全な状態にある（監視対象空間が監視開始前と同じ状態にある）と判断し、閾値を超えている場合には不安全な状態にある（監視対象空間に監視開始前には存在しなかった物体Ｏｂが存在する状態にある）と判断する。
【００７２】
一方、状態判断部６での判断結果が与えられる警報出力部７において発生する警報出力は、例えば、ロボット、無人搬送車、警報装置などの制御対象機器へ与えられれる。なお、制御対象機器が、監視対象空間外から監視対象空間内へ移動して監視対象空間外へ戻ったり、監視対象空間を横切ったりするロボットや無人搬送車の場合には、警報出力を受け取った制御対象機器が、監視対象空間の外で移動を一時的に停止するように構成すればよい。なお、ロボットや無人搬送車などの制御対象機器が移動を再開するタイミングについては、例えば、状態判断部６にて安全な状態と判断されたときに警報出力部７から警報出力の発生を解除するようにし、警報出力部７からの警報出力がなくなったときに移動を再開するようにすればよい。また、制御対象機器が警報装置（例えば、ブザー、ランプ、音声出力装置など）の場合には、警報装置は安全確認装置に設けたものでもよいし、安全確認装置とは別に、例えば、天井や、工場内の安全を管理している防災センター内に設置されたものでもよい。ここで、安全確認装置あるいは当該安全確認装置の近くに警報装置を設置しておけば、例えば、監視開始前に監視対象空間内に存在しなかった人が物体Ｏｂとみなされて結果的に警報装置が発報した場合には、監視対象空間内に入り込んでしまった人による迅速な対処が可能となるし、監視開始前に監視対象空間内に存在しなかったロボットや無人搬送者などが物体Ｏｂとみなされて警報装置が発報した場合には、監視対象空間外の人による迅速な対処が可能となる。
【００７３】
しかして、本実施形態の安全確認装置では、監視対象空間に存在する物体Ｏｂまでの距離値を画素値とする距離画像に基づいて監視開始前には存在しなかった物体が存在するか否かを基準にして安全な状態か否かが判断されるので、太陽光や照明や背景などの影響を受けずに監視対象空間が安全な状態にあるかを確認することが可能となる。また、状態判断部６は、例えば、監視対象空間の監視特定エリアに監視開始前には存在しなかった物体が存在した場合に監視対象空間が不安全な状態にあると判断するようにすれば、監視特定エリアに監視開始前には存在しなかった物体が存在した場合のみ不安全な状態にあると判断させることができる。すなわち、監視特定エリア外のエリアのみにおいて差分画像に変化があらわれた場合には、安全な状態と判断することになる。したがって、例えば、工場内に無人搬送車を走行させる場合には、無人搬送車の走行区域内を監視特定エリアと設定することによって、当該エリア内に差分画像の変化が起こった場合にのみ不安定な状態と判断することができる。また、状態判断部６にて監視対象空間が不安全な状態にあると判断されたときには警報出力部７から警報出力が発生するので、監視対象空間が不安全な状態のときに監視対象空間へ他の物体（例えば、人体、ロボット、無人搬送車など）が入り込むのを防止することが可能となり、監視対象空間での事故の発生を未然に防ぐことが可能となる。
【００７４】
ところで、本実施形態の安全確認装置は、画像生成部４にて生成された距離画像に基づいて監視対象空間内に監視開始前には存在しなかった物体Ｏｂの形状を推定する形状推定部８を備えており、状態判断部６が形状推定部８にて推定された物体Ｏｂの形状に基づいて不安全な状態の不安全レベル（不安全レベルは安全性が低いほど高い値となる）を判定可能となっている。したがって、状態判断部６が不安全な状態と判断したときに不安全レベルの情報を警報出力部７へ与えるようにし、警報出力部７が状態判断部６から受け取った不安全レベルの情報に基づいて警報出力の警報レベルを変化させるようにすれば、監視開始後に監視対象空間に存在する物体Ｏｂの形状と数との組み合わせに基づいて警報出力の警報レベルが変化するので、監視対象領域の安全性の高低に応じて警報レベルを変化させることが可能となる。なお、例えば、上述の制御対象機器が出力光の異なる複数のランプを備えた警報装置（例えば、出力光が赤色のランプと、出力光が橙色のランプと、出力光が青色のランプとを備えた警報装置）であれば、警報レベルに応じてあらかじめ対応づけた出力光のランプを点灯させるようにすればよい。また、制御対象機器が無人搬送車や移動可能なロボットであれば、例えば、警報レベルに応じて、移動速度を減速したり、移動を停止させるようにすればよい。
【００７５】
形状推定部８において距離画像を用いて物体Ｏｂの形状を推定するにあたっては、まず距離画像を用いて物体Ｏｂを抽出する。物体Ｏｂを自動的に抽出するには、例えば距離画像に対して微分処理を行った後に２値化して物体Ｏｂのエッジに相当する領域を抽出し、抽出された領域のうち物体Ｏｂを抽出しようとする距離範囲内に存在する領域を物体Ｏｂの候補領域とし、さらに候補領域がひとかたまりになるか否かを評価し（例えば、隣接する２個の候補領域間の三次元空間での距離差が規定値以下である場合に、両候補領域を連続した１つの物体Ｏｂに含まれる領域とみなす）、さらに、ひとかたまりになる領域（つまり、連結領域）に囲まれる画素数と距離値とを用いて物体Ｏｂの大きさを評価すればよい（同じ物体Ｏｂであれば、画素数は距離の二乗に反比例する）。あるいはまた、物体Ｏｂが移動する場合には、距離画像の距離値を微分した後に２値化し、異なる時刻の距離画像から得られる２値化した画像の差分をとれば、移動した物体Ｏｂを抽出することができる。さらにまた、着目する物体Ｏｂを背景から分離するために、上述の差分画像について微分および２値化を行えば物体Ｏｂの存在する領域の抽出が容易になる。
【００７６】
形状推定部８では、上述のような方法で物体Ｏｂの存在する領域を抽出した後、周知のテンプレートマッチングの技術を用いて物体Ｏｂの形状と数を推定して推定結果を状態判断部６へ与える。一方、状態判断部６は、形状推定部８から与えられた推定結果に基づいて、例えば、監視開始前には存在せず監視開始後に監視対象空間に存在する物体Ｏｂが人あるいは無人搬送車のいずれか一方である場合には、その数が多いほど不安全レベルが高いと判定し、監視開始前には存在せず監視開始後に監視対象空間に存在する物体Ｏｂが無人搬送車と人とである場合には、いずれか一方が存在する場合よりも不安全レベルが高いと判定する。要するに、状態判断部６は、形状推定部８にて推定された物体の形状と数との組み合わせに基づいて不安全レベルを判定する。
【００７７】
ところで、状態判断部６においてあらかじめ監視対象空間を距離画像内で複数の監視エリアに区画するとともに、各監視エリア毎に警戒レベルの重み付けをしておき、不安全な状態と判断したとき監視開始前には存在しなかった物体Ｏｂが存在する監視エリアに重み付けされている警戒レベルの情報を警報出力部７に対して出力し、警報出力部７が警戒レベルの情報に基づいて警報出力の警報レベルを変化させるようにすれば、警報出力部７が、例えば、監視開始前には存在しなかった物体Ｏｂが存在する監視エリアの警戒レベルが低いほど警報レベルを低くし、警戒レベルが高いほど警報レベルを高くすることにより、距離画像内の全域において警戒レベルが同じである場合に比べて、警報出力部７から、より適切な警報出力を発生させることが可能となる。
【００７８】
また、上述の説明から明らかなように、距離画像センサ１０の画像生成部４は距離画像を生成する機能の他に各感光部１１の受光光量である濃淡値を画素値とし各画素が距離画像の各画素と１対１で対応する濃淡画像を生成する機能を有しているが、本実施形態の安全確認装置では、利用者が濃淡画像内（濃淡画像の画面上）で監視対象空間に関して安全な状態にあるか不安全な状態にあるかを判断する対象とする特定エリアを利用者が予め設定することができるようになっている。すなわち、図１に示した構成では、利用者が濃淡画像から上記特定エリアを設定するために、画像生成部４において生成された濃淡画像を表示するモニタ装置９ａと、モニタ装置９ａに表示された濃淡画像内で上記特定エリアを設定するためのマウスのようなポインティングデバイスからなる位置指定装置９ｂとを備えている。なお、本実施形態では、モニタ装置９ａと位置指定装置９ｂとで、濃淡画像内で特定エリアを設定する特定エリア設定手段を構成している。
【００７９】
ここにおいて、状態判断部６では、監視対象空間に関して予め特定エリアが設定されている場合には、当該特定エリアのみについて監視距離画像と背景距離画像との比較を行うようになっており、監視対象空間に関する距離画像の全エリアについて監視距離画像と背景距離画像との比較を行う場合に比べて、状態判断部６の処理速度の高速化を図れる。
【００８０】
また、上記特定エリアを濃淡画像内で設定することができるので、距離画像を見慣れていない利用者にとっては上記特定エリアを監視開始前の距離画像内で設定する場合に比べて上記特定エリアの設定作業が容易になり、特に監視対象空間内に物体Ｏｂが存在しない状態を安全な状態として規定する場合、距離画像内で特定エリアを指定する場合よりも、特定エリアの設定が容易になる。
【００８１】
上記特定エリアの設定は具体的には例えば以下の手順で行われる。上記特定エリアの設定時にはモニタ装置９ａの画面上に規定の大きさの矩形領域が自動的に表示されるようにしておき、この矩形領域を利用者が位置指定装置９ｂを用いて所望の位置付近に移動させる（マウスであればドラッグする）。次に、矩形領域の左上の角を所望の位置に調節し（ドラッグする）、矩形領域の左上位置を決定する（クリックボタンを押す）。その後、矩形領域の右下の角を所望位置に調節し（ドラッグして矩形領域を拡大縮小し）、矩形領域の右下位置を決定する（クリックボタンを押す）。このような操作により、つまり、モニタ画面９ａ上の濃淡画像上で特定エリアの２点を指定することにより、モニタ装置９ａの画面上で矩形状の特定エリアを設定することができる。なお、濃淡画像上で設定する特定エリアの濃淡画像上での形状は、２点指示による矩形に限定するものではなく、多点指示による任意の形状としてもよい。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上における感度制御部の構成例を示すブロック図である。
【図４】同上の動作例を示す説明図である。
【図５】同上の他の動作例を示す説明図である。
【図６】同上のさらに他の動作例を示す説明図である。
【図７】同上に用いる光検出素子の構成例を示す平面図である。
【図８】図７に示した光検出素子の要部分解斜視図である。
【図９】図８のＡ−Ａ線断面図である。
【図１０】同上に用いる光検出素子の要部の動作説明図である。
【符号の説明】
【００８３】
１  光検出素子
２  発光源
３  制御回路部
４  画像生成部
５  背景距離画像記憶部
６  状態判断部
７  警報出力部
８  形状推定部
９ａ  モニタ装置
９ｂ  位置指定装置
１０  距離画像センサ
１１  感光部
１９  受光光学系
Ｏｂ  物体
【図１】
2006155423.tif 000003
【図２】
2006155423.tif 000004
【図３】
2006155423.tif 000005
【図４】
2006155423.tif 000006
【図５】
2006155423.tif 000007
【図６】
2006155423.tif 000008
【図７】
2006155423.tif 000009
【図８】
2006155423.tif 000010
【図９】
2006155423.tif 000011
【図１０】
2006155423.tif 000012