(57)【要約】【課題】監視領域に存在する対象物をより正確に監視できる監視装置を提供する。【解決手段】第１の平面４と第１の平面４と異なる第２の平面５ａで画成される監視領域３に存在する対象物２を監視する監視装置１において、監視領域３の第１の平面４と第２の平面５ａにパターンを形成するパターン光を投影する投影装置１１と、前記パターン光が投影された、対象物２の存在する監視領域３を撮像する撮像装置１２と、前記撮像された像上のパターンの移動を測定する測定手段１４とを備え、測定手段１４は、監視領域３に対象物２が存在しないときに第１の平面４と第２の平面５ａに投影されたパターン光を基準として、前記移動を測定するように構成される監視装置１とする。【選択図】  図１
2005005912.tif 000002
【特許請求の範囲】
【請求項１】
第１の平面と前記第１の平面と異なる第２の平面で画成される監視領域に存在する対象物を監視する監視装置において；
前記監視領域の第１の平面と前記第２の平面にパターンを形成するパターン光を投影する投影装置と；
前記パターン光が投影された、前記対象物の存在する監視領域を撮像する撮像装置と；
前記撮像された像上のパターンの移動を測定する測定手段とを備え；
前記測定手段は、前記監視領域に前記対象物が存在しないときに前記第１の平面と前記第２の平面に投影されたパターン光を基準として、前記移動を測定するように構成された；監視装置。
【請求項２】
前記測定手段は、前記測定されたパターンの移動に基づいて、前記投影装置と前記撮像装置の各位置と、前記第１の平面と前記第２の平面の各位置とに基づいて、前記対象物に投影されたパターン光の三次元位置を算出するように構成された；請求項１に記載の監視装置。
【請求項３】
前記第１の平面が床面に平行な面であり、前記第２の平面が壁面に平行な面であり、前記監視領域は前記床面に平行な面と前記壁面に平行な面とで画成される空間であり、前記投影装置と前記撮像装置は、前記床面に平行な面と前記壁面に平行な面に対向する位置に配置される；請求項１又は請求項２に記載の監視装置。
【請求項４】
前記測定手段により測定されたパターンの移動に基づいて、前記対象物の姿勢を判定する判定手段を備える；請求項１乃至請求項３のいずれか１項に記載の監視装置。
【請求項５】
前記判定手段は、前記測定されたパターンの移動に関する情報をブロック化して、ニューラルネットワークに入力することで、判定結果を得る；請求項４に記載の監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、監視装置に関し、特に監視領域に存在する対象物をより正確に監視できる監視装置に関するものである。
【０００２】
【従来の技術】
空間内、例えばトイレや浴室、ベッド等での対象物、例えば人物の動きを検出する動き検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、ベッドが存在する室内に二次元の格子状パターンに分割されたスポット（輝点）を投影し、投影されたスポットを撮像した画像の各スポットの座標の変化から、前記室内での人物の位置・姿勢状態を監視する装置があった（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平９−２５３０５７号公報  （第３−５頁、第１−４図）
【０００４】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、パターンの移動量を測定する際の測定範囲と分解能が相反してしまう。例えば分解能を上げると、移動量の測定範囲が狭くなってしまう。言い換えれば、高い分解能で十分な測定範囲を測定することが難しかった。このため、例えば対象物を監視する際に行なう姿勢の測定の精度を低下させていた。
【０００５】
そこで本発明は、監視領域に存在する対象物をより正確に監視できる監視装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば図１に示すように、第１の平面４と第１の平面４と異なる第２の平面５ａで画成される監視領域３に存在する対象物２を監視する監視装置１において；監視領域３の第１の平面４と第２の平面５ａにパターンを形成するパターン光を投影する投影装置１１と；前記パターン光が投影された、対象物２の存在する監視領域３を撮像する撮像装置１２と；前記撮像された像上のパターンの移動を測定する測定手段１４とを備え；測定手段１４は、監視領域３に対象物２が存在しないときに第１の平面４と第２の平面５ａに投影されたパターン光を基準として、前記移動を測定するように構成される。
【０００７】
このように構成すると、投影装置１１と、撮像装置１２と、測定手段１４とを備えているので、監視領域３の第１の平面４と第２の平面５ａにパターンを形成するパターン光を投影し、前記パターン光が投影された、対象物２の存在する監視領域３を撮像する。そして、前記撮像された像上のパターンの移動を測定することで、例えば監視領域３に対象物２が存在することで移動した前記像上のパターンを測定できる。さらに、測定手段１４は、監視領域３に対象物２が存在しないときに第１の平面４と第２の平面５ａに投影されたパターン光を基準として、前記移動を測定するように構成されるので、例えば監視領域３での人物２の存在を正確に測定できない領域を実質的に小さくできる即ち監視領域３に存在する対象物２をより正確に監視できる監視装置１とすることができる。
【０００８】
また請求項２に記載のように、請求項１に記載の監視装置１では、測定手段１４は、前記測定されたパターンの移動に基づいて、投影装置１１と撮像装置１２の各位置と、第１の平面４と第２の平面５ａの各位置とに基づいて、対象物２に投影されたパターン光の三次元位置を算出するように構成するとよい。
【０００９】
また請求項３に記載のように、請求項１又は請求項２に記載の監視装置１では、第１の平面４が床面に平行な面であり、第２の平面５ａが壁面に平行な面であり、監視領域３は前記床面に平行な面と前記壁面に平行な面とで画成される空間であり、投影装置１１と撮像装置１２は、前記床面に平行な面と前記壁面に平行な面に対向する位置に配置するとよい。
【００１０】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置１では、例えば図５に示すように、測定手段１４により測定されたパターンの移動に基づいて、対象物２の姿勢を判定する判定手段２３を備えるとよい。
【００１１】
また請求項５に記載のように、請求項４に記載の監視装置１では、判定手段２３は、前記測定されたパターンの移動に関する情報をブロック化して、ニューラルネットワークに入力することで、判定結果を得るようにするとよい。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。
【００１３】
図１は、本発明による実施の形態である監視装置としての室内監視装置１の模式的斜視図である。室内監視装置１は、第１の平面と前記第１の平面と異なる第２の平面で画成される監視領域に存在する対象物を監視するように構成されている。本実施の形態では監視領域はトイレ３である。また、第１の平面と第２の平面とは典型的には交差し、さらに典型的には直交する。さらにここでは、第１の平面が床面４に平行な面であり、第２の平面が壁面としての正面壁面５ａに平行な面であり、トイレ３は、床面４に平行な面と正面壁面５ａに平行な面とで画成される空間である。なお床面４に平行な面は床面４と一致してもよい。また正面壁面５ａに平行な面も正面壁面５ａと一致してもよい。即ち床面４に平行な面は床面４であってもよいし、正面壁面５ａに平行な面は正面壁面５ａであってもよい。本実施の形態では、第１の平面は床面４であり、第２の平面は正面壁面５ａである。またここで平行とは、およそ平行であることを含む概念である。さらに、この平行な面は、実際の平面だけでなく仮想的な平面を含むものとする。また、前記空間は、典型的にはさらに床面４に対向する天井６と正面壁面５ａに対向する第２の壁面としての裏面壁面５ｂを有する閉空間である。前記閉空間はトイレ３を形成している。また、対象物は、典型的には、トイレ３でその姿勢を変化させるものである。本実施の形態では、対象物は人物２の場合で説明する。
【００１４】
ここで、本実施の形態で用いるトイレ３について説明する。トイレ３は、床面４と、床面４に直交する（典型的には鉛直に配置される）ように形成された平面が周囲に４面形成されている。平面は、正面壁面５ａと（図中手前）、正面壁面５ａに対向する裏面壁面５ｂと（図中奥）、正面壁面５ａに直交し、互いに対向する２つの側面壁面５ｃ（図中右）、５ｄ（図中左）がある。さらに上記各壁面の上部には、床面４とおよそ平行に配置された天井６が形成されている。さらに床面４には、便器７が載置されている。便器７は、床面４の裏面壁面５ｂ近傍に載置されている。さらに、正面壁面５ａには、不図示の扉が形成されており、人物２は、この扉により正面壁面５ａからトイレ３内に侵入、またはトイレ３内から退室できる。
【００１５】
室内監視装置１は、監視領域としてのトイレ３の第１の平面としての床面４と前記第２の平面としての正面壁面５ａにパターンを形成するパターン光を投影する投影装置１１と、前記パターン光が投影された、対象物としての人物２の存在するトイレ３を撮像する撮像装置１２とを備えている。また室内監視装置１は、演算装置２０を備えている。演算装置２０は、室内監視装置１全体を制御するものである。投影装置１１と撮像装置１２は、床面４と正面壁面５ａに対向する位置に配置される。さらに言えば、投影装置１１と撮像装置１２は、天井６と裏面壁面５ｂの近傍に配置される。本実施の形態では、投影装置１１と撮像装置１２は、裏面壁面５ｂのおよそ上部に配置される。なお、本実施の形態では、パターンは、２つの側面壁面５ｃ、５ｄにも形成される。また、トイレ３に人物２が存在するときには、パターンは人物２にも投影される。さらに本実施の形態では、投影されるパターンは、図４で後述する略正方格子状に配列された複数の輝点で形成される。
【００１６】
さらに、室内監視装置１は、撮像装置１２により撮像された像上のパターンの移動を測定する測定手段としての測定装置１４を備えている。投影装置１１と撮像装置１２は、測定装置１４に電気的に接続され、測定装置１４に制御されている。なお、本実施の形態では、測定装置１４は、演算装置２０と一体に構成されている。
【００１７】
まず、投影装置１１と撮像装置１２の設置について説明する。前述のように、投影装置１１と撮像装置１２は、裏面壁面５ｂの上方に配置されている。撮像装置１２は、投影装置１１から間隔ｄをもって配置されている。なお、投影装置１１と撮像装置１２の距離を基線長という。基線長は、三角測量法の基線方向の投影装置１１と撮像装置１２の間隔である。基線方向は、本実施の形態では、およそ床面４且つ正面壁面５ａに平行な方向である。
【００１８】
投影装置１１と撮像装置１２は、それぞれその光軸を、床面４の垂直方向に対して、傾けて設置する。図示では、床面４の垂直方向に対して角度θで傾けた場合を示している。また、さらに、投影装置１１と撮像装置１２のそれぞれの光軸を、互いに平行方向に向けて設置している。本実施の形態では、θ≒３０°であるが、室内（トイレ３）の縦横比によって適宜定めるが、２０〜６０°とするとよい。
【００１９】
なお、本実施の形態では、投影装置１１と撮像装置１２は、筐体１８内に収納されて設置されている。このようにすることで、例えばトイレ３を利用する人物２に撮像装置（ＣＣＤカメラ）の設置を意識させずに済む。また、筐体１８により投影装置１１や撮像装置１２を保護することができる。
【００２０】
なお、室内監視装置１は、測定装置１４により撮像装置１２により撮像された像上のパターンの移動を測定するように構成されているものである。例えば図２に示すように、投影装置１１と撮像装置１２を天井６のおよそ中央部に、それぞれその光軸を、床面４の垂直方向に向けて配置した場合には、対象物（ここでは人物２）の高さ又は高さ方向の動きが大きくなればなるほど、パターンを形成する輝点の移動量も大きくなる。このため、図６で後述する概念によると、輝点の移動量が大きいと、比較すべき輝点が隣の輝点の基準位置を飛び越してしまう現象が起こることがある。この場合、隣の輝点から移動したと判断され、測定される輝点の移動量は小さくなってしまう。即ち、正確に輝点の移動量を測定できない。さらに言えば人物２までの距離を正確に測定出来なくなる場合がある。図２の場合のように、例えばこの現象が人物２の頭部で発生してしまうと、頭部の高さが正確に測定できない。いわば頭部が死角となってしまう。ひいては人物２の存在が正確に測定できなくなってしまう。また、パターン（輝点）の移動量を測定する際の測定範囲と分解能が相反してしまうので、例えばこの飛び越えが発生しないように測定範囲を広げると、十分な分解能が得られなくなる。なお、ここで言う死角とは、例えばパターンの移動を正確に測定できない領域のことである。ひいては撮像装置１２の画角内で上記の輝点の飛び越えを発生してしまう領域のことをいう。
【００２１】
このため、室内監視装置１は、投影装置１１と撮像装置１２を図１で前述したように設置することで、輝点の飛び越えの影響を大幅に低減することができる。
例えば図３に示す場合を説明する。この実施の形態では、第１の平面としての床面４と第２の平面としての正面壁面５ａに基準となるパターンが投影されている。投影装置１１と撮像装置１２は、便器７の上方に設置されており、投影装置１１と撮像装置１２から正面壁面５ａまでの距離は、床面４までの距離より小さい。したがって、投影装置１１と撮像装置１２から正面壁面５ａに向かう方向では輝点の飛び越えが発生する領域が小さくなる。すなわち死角は便器７の上方の小さい部分となり、便器７上ではしゃがんだり、便器７に腰掛ける人物２が死角に入る可能性が低くなる。言い換えれば、人物２が立っている場合では、輝点の飛び越えが発生する範囲の外で、輝点が人物２の体に投影されるので、正確な測定が行なえる（（ａ）の状態）。また、人物２が便器７に座っている場合にも、輝点の飛び越えが発生する範囲の外に人物２が存在することになるので、正確な測定が行なえる（（ｂ）の状態）。このように、室内監視装置１は、投影装置１１と撮像装置１２を図１で前述したように設置することで、後述の人物２の姿勢の判定を安定且つ正確に行なうことができるようになる。
【００２２】
なお、ここで便器７の上面も基準となるパターンが投影される、いわば第３の平面としてもよい。そのときは、投影装置１１と撮像装置１２から便器７までの距離が床面４までの距離より小さいので、死角をさらに小さくすることができる。
【００２３】
また、側面壁面５ｃ、５ｄも基準となるパターンが投影される、いわば第４の平面としてもよい。このようにすると、例えば人物２が側面壁面５ｃ又は５ｄに寄って立った場合でも、後述の人物２の姿勢の判定を安定且つ正確に行なうことができる。
【００２４】
さらに、投影装置１１と撮像装置１２をこのように設置することで、天井６の中央部に設置する場合（図２参照）と比較して、例えばトイレ３の中央に人物２が立った場合に人物２に投影されるパターン（輝点の数）が飛躍的に多くなり、取得できる情報量が増大する。
【００２５】
図４の模式的斜視図を参照して、室内監視装置１に適した投影装置１１について説明する。なおここでは、説明のために、監視領域に含まれる撮像装置１２に正対する平面を平面１０２とし、後述のレーザ光束Ｌ１を平面１０２に対して垂直に投射する場合で説明する。なお、正対するとは、例えば真直ぐ対することである。投影装置１１は、可干渉性の光束を発生する光束発生手段としての光束発生部１０５と、ファイバーグレーティング１２０（以下、単にグレーティング１２０という）とを備えている。光束発生部１０５により投射される可干渉性の光束は、典型的には赤外光レーザである。光束発生部１０５は、平行光束を発生するように構成されている。光束発生部１０５は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束Ｌ１である。そしてレーザ光束Ｌ１は、断面が略円形状の光束である。
なお、この略円形状は、略楕円形状を含む概念である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。
【００２６】
またここでは、グレーティング１２０は、平面１０２に平行に（Ｚ軸に直角に）配置される。グレーティング１２０に、レーザ光束Ｌ１を、Ｚ軸方向に入射させる。するとレーザ光束Ｌ１は、個々の光ファイバー１２１により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面１０２に複数の輝点アレイであるパターン１１ａが投影される。なお、グレーティング１２０を平面１０２に平行に配置するとは、例えば、グレーティング１２０を構成するＦＧ素子１２２の各光ファイバー１２１の軸線を含む平面と、平面１０２とが平行になるように配置することである。
【００２７】
また、グレーティング１２０は、２つのＦＧ素子１２２を含んで構成される。
本実施の形態では、各ＦＧ素子１２２の平面は、互いに平行である。以下、各ＦＧ素子１２２の平面を素子平面という。また、本実施の形態では、２つのＦＧ素子１２２の光ファイバー１２１の軸線は、互いにほぼ直交している。
【００２８】
ＦＧ素子１２２は、例えば、直径が数１０ミクロン、長さ１０ｍｍ程度の光ファイバー１２１を数１０〜数１００本程度、平行にシート状に並べて構成したものである。また、２つのＦＧ素子１２２は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、２つのＦＧ素子１２２の互いの距離は、パターン１１ａの投影に差支えない程度とする。レーザ光束Ｌ１は、典型的には、グレーティング１２２の素子平面に対して垂直に入射させる。
【００２９】
このように、投影装置１１は、２つのＦＧ素子１２２を含んで構成されたグレーティング１２０が光学系となるので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置１１は、グレーティング１２０を用いることで、単純な構成で、複数の輝点１１ｂをパターン１１ａとして監視領域に投影できる。なお、パターン１１ａは、典型的には正方格子状に配列された複数の輝点１１ｂである。また、パターン１１ａは、ＦＧ素子１２２に入射した光束の光軸が平面１０２に垂直な場合、光軸付近では正方格子状に配列された複数の輝点１１ｂとなるが、光軸から離れるにしたがって、格子の間隔に若干のズレを生じる。また、輝点の形状は楕円形を含む略円形である。
【００３０】
図１に戻って説明する。撮像装置１２は、典型的にはＣＣＤカメラである。撮像装置１２は、結像光学系１３ａ（図６参照）と撮像素子１５（図６参照）を有するものである。撮像素子１５は、典型的にはＣＣＤ撮像素子である。また、撮像素子１５として、ＣＣＤの他にＣＭＯＳ構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。
【００３１】
撮像装置１２は、前述の光束発生部１０５（図４参照）により発生されるレーザ光束Ｌ１の波長の周辺部以外の波長の光を減光するフィルタ１３ｂ（図６参照）を備えるとよい。フィルタ１３ｂは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系１３ａの光軸上に配置するとよい。このようにすると、撮像装置１２は、撮像素子１５に受光する光のうち、投影装置１１より投影されたパターン１１ａの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部１０５により発生されるレーザ光束Ｌ１は、典型的には赤外光レーザの光束である。また、レーザ光束Ｌ１は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置１２による撮像を、照射のタイミングに同期させて行うようにする。
【００３２】
図５のブロック図を参照して、室内監視装置１の構成例について説明する。前述のように、演算装置２０は、測定装置１４と一体に構成されている。さらにここでは、測定装置１４は、後述の制御部２１に一体に構成される。そして投影装置１１と、撮像装置１２は、測定装置１４に電気的に接続されており、制御されている。本実施の形態では、演算装置２０は、投影装置１１と、撮像装置１２に対し遠隔的に配置されている。具体的には、例えば、トイレ３とは別の部屋に設置される。また演算装置２０は、典型的にはパソコン等のコンピュータである。
なお本実施の形態では、演算装置２０は、投影装置１１と撮像装置１２と別に設置する場合で説明するが、投影装置１１と撮像装置１２のどちらか一方又は両方と一体に設置してもよく、例えば投影装置１１と撮像装置１２が収納された筐体１８内に収納して設置してもよい。
【００３３】
まず測定装置１４について説明する。測定装置１４は、撮像装置１２で撮像された像上のパターンの移動を測定するものである。測定装置１４は、撮像装置１２で撮像した像を取得できるように構成されている。なお、測定装置１４は、撮像装置１２で撮像した像を例えばデータとして、さらに典型的にはデジタルデータとして取得する。さらに測定装置１４は、撮像装置１２により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量（以下移動量という）を測定することをいう。さらに、測定される輝点の移動量は、輝点の移動方向を含む概念である。
即ち、測定される輝点の移動量には、移動した方向の情報も含まれるものとする。さらにここでは、測定装置１４は、測定したパターンの移動に基づいて、人物２に投影されたパターンを形成する各輝点の三次元座標を算出するように構成される。
【００３４】
さらに、測定装置１４は、トイレ３に人物２が存在しないときに床面４と正面壁面５ａに投影されたパターン光を基準として、パターンを形成する各輝点の移動を測定するように構成されている。
【００３５】
さらに、測定装置１４は、測定されたパターンの移動に基づいて、投影装置１１と撮像装置１２の各位置と、床面４と正面壁面５ａの各位置とに基づいて、人物２に投影されたパターン光の三次元位置としての三次元座標を算出するように構成されている。
【００３６】
ここで、測定装置１４による輝点（パターン）の移動の測定について詳述する。測定装置１４は、撮像装置１２からそれぞれ取得した異なる２時点の像に基づいて、輝点の移動を測定するように構成されている。異なる２時点は、任意の時点（現在）と、トイレ３に人物２が存在しないときの時点とする。以下、任意の時点（現在）で取得した像を取得像、トイレ３に人物２が存在しない時点に取得した像を基準像として説明する。なお、基準像は、記憶部３１内に保存される。
【００３７】
ここで、取得像と基準像は、例えば撮像装置１２により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。即ち、取得像と基準像は、各々の時点で、投影装置１１の投影により形成されたパターン１１ａの像である。なお、本実施の形態では、基準像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部３１に保存される。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。
【００３８】
また、輝点の移動量は、記憶部３１に保存された基準像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数（何画素移動したか）を計数することで求められる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。
【００３９】
なお上記では、輝点の位置情報を比較する場合で説明したが、基準像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。
【００４０】
さらに、測定装置１４により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。
【００４１】
測定装置１４は、以上のような、輝点の移動の測定を、パターン１１ａを形成する各輝点毎に行うように構成される。即ち複数の輝点の位置が複数の測定点となる。
【００４２】
ここで、図６の概念的斜視図を参照して、輝点の移動の概念について説明する。ここでは、解りやすく、対象領域を平面１０２、対象物を物体１０３として説明する。さらにここでは、説明のために、前述の基準像と取得像を用いる場合で説明する。なお基準像は、物体１０３が平面１０２に存在しないときのパターン１１ａの像であり、取得像は、物体１０３が平面１０２に存在しているときのパターン１１ａとして説明する。
【００４３】
図中物体１０３が、平面１０２上に載置されている。またＸＹ軸を平面１０２内に置くように、直交座標系ＸＹＺがとられており、物体１０３はＸＹ座標系の第１象限に置かれている。一方、図中Ｚ軸上で平面１０２の上方には、投影装置１１と、撮像装置１２とが配置されている。撮像装置１２は、投影装置１１によりパターン１１ａが投影された平面１０２を撮像する。即ち平面１０２上に載置された物体１０３を撮像する。
【００４４】
撮像装置１２の結像光学系としての結像レンズ１３ａは、ここでは、その光軸がＺ軸に一致するように配置されている。なおここでは、座標系ＸＹＺの原点を結像レンズ１３ａの位置とする。そして、結像レンズ１３ａは、平面１０２あるいは物体１０３上のパターン１１ａの像を、撮像装置１２の撮像素子１５の結像面１５’（イメージプレーン）に結像する。結像面１５’は、結像レンズ１３ａから距離はｌ（エル）（結像レンズ１３ａの焦点とほぼ等しい）の位置に配置されている。結像面１５’は、典型的にはＺ軸に直交する面である。さらに、結像面１５’内に直交座標系ｕｖをとり、Ｚ軸が、ｕｖ座標系の原点（０，０，ｌ）を通るようにする。平面１０２から結像レンズ１３ａと等距離で、結像レンズ１３ａからＹ軸の負の方向に距離ｄ（基線長ｄ）だけ離れたところに、投影装置１１が配置されている。即ち、投影装置１１の配置された座標は（０，−ｄ，０）である。物体１０３と平面１０２には、投影装置１１により複数の輝点１１ｂが形成するパターン１１ａが投影される。なお、ｖ軸方向は、三角測量法の基線方向でもある。
【００４５】
投影装置１１により平面１０２に投影されたパターン１１ａは、物体１０３が存在する部分では、物体１０３に遮られ平面１０２には到達しない。ここで物体１０３が存在していれば、平面１０２上の点１０２ａに投射されるべき輝点１１ｂは、物体１０３上の点１０３ａに投射される。輝点１１ｂが点１０２ａから点１０３ａに移動したことにより、また結像レンズ１３ａと投影装置１１とが距離ｄ（基線長ｄ）だけ離れているところから、結像面１５’上では、点１０２ａ’（ｕ，ｖ）に結像すべきところが点１０３ａ’（ｕ，ｖ＋δ）に結像する。即ち、物体１０３が存在しない時点と物体１０３が存在する時点とは、輝点１１ｂの像がｖ軸方向にδだけ移動することになる。
【００４６】
これは、例えば図７に示すように、撮像素子１５の結像面１５’に結像した輝点は、高さのある物体１０３により、δだけｖ軸方向に移動することになる。
【００４７】
このように、この輝点の移動量δを測定することにより、物体１０３上の点１０３ａの位置が三次元的に特定できる。即ち、例えば点１０３ａの三次元座標がわかる。このように、ある点が、物体１０３が存在しなければ結像面１５’上に結像すべき点と、結像面１５’上の実際の結像位置との差を測定することにより、物体１０３の三次元座標が測定できる。あるいは、結像レンズ１３ａから物体１０３上の各点までの距離が測定できる。また、輝点１１ｂの対応関係が不明にならない程度に、パターン１１ａのピッチ、即ち輝点１１ｂのピッチを細かくすれば、物体１０３の三次元座標はそれだけ詳細に測定できることになる。
【００４８】
なお本実施の形態では、横６４０×縦４８０ピクセルの画像を取得した場合には、輝点の位置（重心位置）から、縦５０ピクセル、横１ピクセルの範囲内に輝点が存在するときに移動量δを測定するようにしている。移動量δが１ピクセル以上であれば、その輝点が移動したものと判断するようにして処理するデータ量を減らすようにしてもよい。
【００４９】
さらに、図６に戻って三次元座標の算出について説明する。三次元座標（Ｘ，Ｙ，Ｚ）は、結像レンズ１３ａから平面１０２までの距離をｈとすると、次式（１）、（２）、（３）で算出できる。
ΔＺ＝ｈ２δ／（ｄｌ＋ｈδ）          ………（１）
Ｘ＝ｕ（ｈ−ΔＺ）／ｌ            ………（２）
Ｙ＝（ｖ＋δ）（ｈ−ΔＺ）／ｌ      ………（３）
以上のようにして、人物２に投影された輝点の三次元座標を算出できる。
【００５０】
ここで、トイレ３での基準像のパターンを形成する各輝点の三次元座標の算出について説明する。前述のようにここでは、基準像は、トイレ３に人物２が存在しないとき（以下空室時という）の各輝点の位置に関する座標を含む位置情報である。
【００５１】
ここで、図８を参照して、基準像の輝点の三次元座標の算出方法について説明する。図８は空室時の撮像装置１２により撮像された像を示す。まず、空室時に投影された輝点１１ｂの三次元座標を求めるために、床面４、正面壁面５ａ、側面壁面５ｃ、５ｄ、便器７の上面（例えば便座）などの平面の面方程式と、投影された輝点１１ｂと結像レンズ１３ａ（図６参照）を結ぶ直線の方程式を連立して解く。そして、トイレ３の上記各平面が画面上のどの領域に対応しているのかを光学配置から算出し、測定装置１４に記憶させるようにする。
【００５２】
図示するように、トイレ３には、床面４、正面壁面５ａ、側面壁面５ｃ、５ｄ、便器７の上面の５個の平面が存在すると仮定する。ここで、予めトイレ３の高さ、奥行、幅、投影装置１１及び撮像装置１２の設置位置を入力しておく。次に、正面壁面５ａと床面４の交わる直線上の２点を指定する。その２点と投影装置１１と撮像装置１２の光学配置より、投影装置１１と撮像装置１２の設置角度θが求まり、各平面の領域分割をする。なお、便器７上面の領域については、例えば手動で領域を囲み、記憶させるようにするとよい。
【００５３】
次に、図９の模式的斜視図を参照して、各平面、即ち床面４、正面壁面５ａ、側面壁面５ｃ、５ｄ、便器７の上面の面方程式について説明する。なお、以下に示す面方程式は、投影装置１１及び撮像装置１２の設置位置、撮像装置１２の角度、画角と、便器７の上面の高さ（便座の高さ）、トイレ３の高さの情報等を用いて、各平面の面方程式を導出した。またここで図示のように、トイレ３の高さをＨ、幅をＷ、奥行をＤとし、投影装置１１と撮像装置１２のそれぞれその光軸の床面４の垂直方向に対する設置角度をθとする。以下に床面４、正面壁面５ａ、側面壁面５ｃ、５ｄ、便器７の上面の面方程式を示す。
床面４      ：  ＺＣｏｓθ―ＹＳｉｎθ＝Ｈ          ………（４）
正面壁面５ａ：  ＹＣｏｓθ＋ＺＳｉｎθ＝Ｄ          ………（５）
側面壁面５ｃ：  Ｘ＝−Ｗ／２                  ………（６）
側面壁面５ｄ：  Ｘ＝Ｗ／２                    ………（７）
便器７の上面：  ＺＣｏｓθ―ＹＳｉｎθ＝Ｈ−ｓｅａｔＨ    ………（８）
【００５４】
また、各平面に投影される各輝点の三次元座標を求めるには、各輝点と結像レンズ１３ａ（図６参照）の中心を結ぶ直線の方程式を求める必要がある。輝点は、結像レンズ１３ａ通して、結像面１５’（図６参照）に結像する。言い換えれば、投影された輝点は、結像面１５’に結像した輝点と結像レンズ１３ａの中心点を結んだ直線の延長線上にある。したがって、結像面１５’上の輝点の位置、結像レンズ１３ａから結像面１５’までの距離を用いて、結像レンズ１３ａと輝点を結ぶ直線の方程式が次式（９）と求められる。
【数１】
2005005912.tif 000003
なお、ｌ（エル）は、前述したように、結像レンズ１３ａから結像面１５’までの距離である（結像レンズ１３ａの焦点とほぼ等しい）。この式に平面方程式の一般的な形ａＸ＋ｂＹ＋ｃＺ＝ｄを代入すると各輝点の三次元座標が次式で求められる。
【数２】
2005005912.tif 000004
以上のようにして、トイレ３に人物２が存在しないときに投影された（基準像）の各輝点の三次元座標を算出できる。
【００５５】
なお、対象物（ここでは人物２）が存在するときの三次元座標の算出は、以下のように行なう。まず、撮像装置１２に正対した平面に基準となる輝点が含まれるものとして、式（１）から式（３）に従って、図６に示す座標系での輝点の位置（三次元座標）を求める。次にこの位置を、撮像装置１２の結像レンズ１３ａ（図６参照）の主面の位置と光軸の方向θ（図１参照）とから、監視領域（ここではトイレ３）の位置に座標変換する。
【００５６】
図５に戻って、演算装置２０について説明する。演算装置２０は、室内監視装置１を制御する制御部２１を有している。さらに制御部２１には、記憶部３１が接続されている。記憶部３１は、撮像装置１２から取得した像を時系列的に記憶するようにするとよい。また記憶部３１には算出された情報等のデータが記憶できる。
【００５７】
制御部２１には、後述の姿勢判定部２３の判定結果を出力する情報出力手段としてのディスプレイ４０が接続されている。ディスプレイ４０は典型的にはＬＣＤである。
【００５８】
また制御部２１には、室内監視装置１を操作するための情報を入力する入力装置３５が接続されている。入力装置３５は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置３５は、演算装置２０に外付けするものとして図示されているが、内蔵されていてもよい。
【００５９】
さらに、制御部２１内には、測定装置１４により測定されたパターンの移動に基づいて、人物２の姿勢を判定する判定手段としての姿勢判定部２３が備えられている。
【００６０】
姿勢判定部２３は、測定装置１４により測定されたパターンの移動に関する情報としての形状情報をブロック化して、ニューラルネットワークに入力することで、判定結果を得るように構成されている。なお、姿勢判定部２３により判定する人物２の姿勢は、典型的には、立っている、座っている、倒れているといった姿勢である。本実施の形態では、上記３種類の姿勢を判定する場合で説明する。
さらに、本実施の形態では、前記姿勢に加え、トイレ３内の不在も判定する。以下、姿勢判定部２３による人物２の姿勢の判定について説明する。
【００６１】
姿勢判定部２３は、測定装置１４で算出された人物２に投影された各輝点の三次元座標に基づいて、人物２の形状情報を生成するように構成されている。形状情報とは、人物２の形状を示す情報であり、ここでは、測定装置１４で算出された人物２に投影された各輝点の三次元座標を、床面４と正面壁面５ａに直交する平面に投影した二次元座標に変換した情報である。言い換えれば、側面壁面５ｃ（図１参照）から見た人物２の形状を示す情報である。
【００６２】
図１０にこのように生成した形状情報の例を示す。なお、図１０では、判りやすく、形状情報を、トイレ３での撮像装置１２の画角、便器７の位置、形状を表示した画像に重ねて表示したものを示している。
【００６３】
さらに、姿勢判定部２３は、前記生成した形状情報をブロック化するように構成されている。さらに言えば、姿勢判定部２３は、形状情報を、投影される輝点の間隔よりも広い領域のブロック毎の情報に変換する。具体例としては、トイレ３内の空間を所定の間隔に区切った領域をブロックとして、そのブロック内にある形状情報をまとめた情報量の少ないデータに変換する。所定の間隔は、例えばトイレ３内で１５ｃｍ程度に相当する間隔である。ブロック毎の情報は例えば２進数データで示すとよい。この場合には、例えばブロック内に形状情報があれば１、全く無ければ０、といったように変換するとよい。
【００６４】
図１１、１２にこのように形状情報をブロック化した情報の例を示す。なお、図１０と同様に、トイレ３の画像に重ねて表示したものを示している。また、
図１１は、図１０の形状情報をブロック化した情報の例である。さらに図１２は、人物２の各姿勢でのブロック化した情報の例であり、（ａ）が立っている姿勢、（ｂ）が便器７の上面（便座）に座っている姿勢、（ｃ）が倒れている姿勢を示している。
【００６５】
さらに、姿勢判定部２３は、前記ブロック化した情報をニューラルネットワークに入力することで、人物２の姿勢の判定結果を得るように構成されている。なお、ここでは、三次元座標を二次元座標に投影した上でブロック化した情報をニューラルネットワークに入力する場合で説明するが、測定装置１４により算出された三次元座標のまま、あるいはそれをブロック化してニューラルネットワークに入力してもよい。それによって、トイレ幅方向の位置や、傾きも情報に加わるので、判定の精度向上や、より詳細な判定ができる。本実施の形態では、ニューラルネットワークに入力することで得られる人物２の姿勢の判定結果は、「立っている」、「座っている」、「倒れている」の３つの姿勢である。ニューラルネットワークは、典型的にはフィードフォワード型ニューラルネットワークである。
図１３のブロック図に、姿勢判定部２３による人物２の姿勢の判定の概念を示す。
【００６６】
ここでニューラルネットワークについて説明する。ニューラルネットワークモデルは、人間の脳での情報処理メカニズムをヒントに考案された情報処理モデルである。本実施の形態では、ニューラルネットワークのモデルの１つであるバックプロパゲーションアルゴリズムを用いている場合で説明する。
【００６７】
バックプロパゲーションアルゴリズムについて説明する。図１４に示すように、ニューラルネットワークモデルは、ユニットと呼ばれる多入力、１出力素子がシナプス結合と呼ばれる、一方向だけに信号が伝わり、ある重みを持った結合で結ばれている。また、ユニットはそれらの重みと入力値を掛けた値の総和を入力とし、応答関数ｆ（ｘ）による変形の後、出力される。この出力が各ユニットの状態となる。今回は応答関数ｆ（ｘ）には、準線形の飽和型の特性をもたせるため、シグモイド関数を用いた。
【００６８】
また、図１５に示すように、図１４のユニットが、入力層、中間層、出力層からなる階層構造で結ばれたネットワークを多層パーセプトロンと言う。そして、このネットワークから出されたデータを正解である教師信号と比較して、その誤差を極小化させるように、各結合の重みを更新することにより、ネットワークに学習させる方法をバックプロパゲ−ションアルゴリズムという。バックプロパゲ−ションアルゴリズムは、各入力に対する出力と、理想の出力（教師信号）の誤差を用いて、ユニット間の重みを更新（学習）していくものである。また、バックプロパゲ−ションアルゴリズムは、複雑な入力出関係を学習することが可能な方法であると言われている。
【００６９】
図１６に示すように、姿勢判定部２３は、以上ようなニューラルネットワークを用いて人物２の姿勢を判定する。なおここでは、学習済みのニューラルネットワークのデータにより、人物２の姿勢の判定を行う場合を示している。またニューラルネットワークへの入力は、図１１で前述したブロック化した情報である。さらに、各ブロックの出力が各入力層ユニットの出力に相当する。このブロック数、即ち入力層ユニットの数は、好ましくは１００〜２００程度である。また、中間層ユニット数は２〜５程度でよい。図示するように、図１２（ａ）に示した人物２が「立っている」場合の情報が入力されると、出力層の中で、「立っている」のユニットがもっとも高い値を持ち、入力データが「立っている」であることがわかる。
【００７０】
以上のように、本実施の形態の室内監視装置１は、監視領域としてのトイレ３の床面４と正面壁面５ａにパターンを形成するパターン光を投影する投影装置１１と、前記パターン光が投影された、対象物としての人物２の存在するトイレ３を撮像する撮像装置１２と、撮像装置１２により撮像された像上のパターンの移動を測定する測定手段としての測定装置１４を備え、測定装置１４は、トイレ３に人物２が存在しないときに床面４と正面壁面５ａに投影されたパターン光を基準として、パターンを形成する各輝点の移動を測定するように構成されている。このように構成されていることで、例えばトイレ３に人物２が存在することにより、人物２にパターンが投影されることで、撮像装置１２により撮像された像上でパターンが移動し、さらにこの移動量を測定することで、人物２の形状を測定できる。これにより、トイレ３に存在する人物２をより正確に監視できる。
【００７１】
さらに、投影装置１１と撮像装置１２は、床面４と正面壁面５ａに対向する位置に配置されるので、例えば必要な測定範囲と分解能を用意に確保できる。さらに言えばパターンを形成する輝点の移動量を測定する際に発生する輝点の飛び越えの影響を大幅に低減できる。しかも、トイレ３の人物２に多くの輝点が当り、多くの位置情報（三次元座標）を得ることができる。
【００７２】
また、室内監視装置１は、測定装置１４により測定されたパターンの移動に基づいて、人物２の姿勢を判定する姿勢判定部２３を備え、姿勢判定部２３は、測定装置１４により測定されたパターンの移動に関する情報としての形状情報をブロック化して、ニューラルネットワークに入力することで、判定結果を得るように構成されている。このように構成することで、例えば姿勢判定部２３は、測定装置１４で算出された人物２に投影された各輝点の三次元座標に基づいて、三次元座標を二次元座標に変換した人物２の形状情報を生成し、前記生成した形状情報をさらにブロック化するので、ニューラルネットワークに入力する情報量を少なくできる。即ち処理が容易になる。また、人物２の姿勢の判定結果をニューラルネットワークに入力することで得るので、人物２の様々な姿勢に対して判定を行う系の応答を最適化し、トイレ３に存在する人物２をより正確に監視できる。
【００７３】
また、室内監視装置は、トイレ３に人物２が進入し、人物２がどのようなの姿勢（立っている、座っている、倒れている）にあるか、また退出したかといった一連の動きを簡単な装置で追従することができる。このように室内監視装置１は、例えば、人物２の姿勢を判断して、人物２が倒れたとかどうかといった監視を非常に容易に行なうことができる。さらに簡易な装置で高速処理が可能である。
【００７４】
以上の実施の形態では、監視装置として室内監視装置１である場合で説明したが、これに限られない。なお、監視は測定を含む概念であり、例えば本実施の形態の室内監視装置１は、対象物の位置分布を測定することもできる。
【００７５】
【発明の効果】
以上のように、本発明によれば、第１の平面と前記第１の平面と異なる第２の平面で画成される監視領域に存在する対象物を監視する監視装置において、前記監視領域の第１の平面と前記第２の平面にパターンを形成するパターン光を投影する投影装置と、前記パターン光が投影された、前記対象物の存在する監視領域を撮像する撮像装置と、前記撮像された像上のパターンの移動を測定する測定手段とを備え、前記測定手段は、前記監視領域に前記対象物が存在しないときに前記第１の平面と前記第２の平面に投影されたパターン光を基準として、前記移動を測定するように構成することで、例えば監視領域３での人物２の存在を正確に測定できない領域を実質的に小さくできる即ち監視領域に存在する対象物をより正確に監視できる監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である室内監視装置の概略を示す模式的外観図である。
【図２】本発明の実施の形態である投影装置と撮像装置を天井の中央部に配置した場合を説明する模式的側面図である。
【図３】本発明の実施の形態である投影装置と撮像装置を床面と正面壁面に対向する位置に配置した場合を説明する模式的側面図である。
【図４】本発明の実施の形態である投影装置を説明する模式的斜視図である。
【図５】本発明の実施の形態である室内監視装置の構成例を示すブロック図である。
【図６】本発明の実施の形態での輝点の移動の概念について説明する概念的斜視図である。
【図７】図６の場合での結像面に結像した輝点について説明する模式図である。
【図８】本発明の実施の形態でのトイレに人物が存在しない時に撮像装置により撮像された像を示す模式的平面図である。
【図９】本発明の実施の形態である床面、正面壁面、側面壁面、便器の上面の各面方程式について説明する模式的斜視図である。
【図１０】本発明の実施の形態である姿勢判定部により生成した形状情報の例を示す模式図である。
【図１１】図１０の場合での形状情報をブロック化した情報の例を示す模式図である。
【図１２】図１０の場合での形状情報をブロック化した情報の例であり、（ａ）人物が立っている姿勢を示す模式図、（ｂ）人物が便器の上面に座っている姿勢を示す模式図、（ｃ）人物が倒れている姿勢を示す模式図である。
【図１３】本発明の実施の形態で用いる、姿勢判定部による人物２の姿勢の判定の概念を示すブロック図である。
【図１４】本発明の実施の形態で用いる、ニューラルネットワークのユニットについて説明するブロック図である。
【図１５】本発明の実施の形態で用いる、バックプロパゲ−ションアルゴリズムについて説明するブロック図である。
【図１６】本発明の実施の形態で用いる、姿勢判定部によるニューラルネットワークを用いた人物２の姿勢の判定の概念を示すブロック図である。
【符号の説明】
１  室内監視装置
２  人物
３  トイレ
４  床面
５ａ  正面壁面
６  天井
７  便器
１１  投影装置
１１ａ  パターン
１１ｂ  輝点
１２  撮像装置
１４  測定装置
２０  演算装置
２１  制御部
２３  姿勢判定部
４０  ディスプレイ
１０２  平面
１０３  物体
１０５  光束発生部
１２０  グレーティング
１２１  光ファイバー
１２２  ＦＧ素子
【図１】
2005005912.tif 000005
【図２】
2005005912.tif 000006
【図３】
2005005912.tif 000007
【図４】
2005005912.tif 000008
【図５】
2005005912.tif 000009
【図６】
2005005912.tif 000010
【図７】
2005005912.tif 000011
【図８】
2005005912.tif 000012
【図９】
2005005912.tif 000013
【図１０】
2005005912.tif 000014
【図１１】
2005005912.tif 000015
【図１２】
2005005912.tif 000016
【図１３】
2005005912.tif 000017
【図１４】
2005005912.tif 000018
【図１５】
2005005912.tif 000019
【図１６】
2005005912.tif 000020