(57)【要約】【課題】  装置を運用しながら、誤った判断をした際に、同じ誤りを繰り返さずに徐々に監視の条件に適応することのできる監視装置及びソフトウエアプログラムを提供する。【解決手段】  監視領域３に存在する対象物２を監視する監視装置において、対象物２の形状又は動きに関する情報を得る測定手段１４と；測定手段１４により得られた対象物２の形状又は動きに関する情報をニューラルネットワークの入力層Ｓに入力することで出力層Ｒから得られる出力に基づいて、対象物２の状態を判定する判定手段２３と；判定手段２３が対象物２が危険な状態であると判定した際に、警報を発する警報手段４１と；警報を解除する警報解除手段４２とを備え；判定手段２３は、警報解除手段４２によって警報が解除された際に、入力層Ｓと出力層Ｒとを関連付ける重み係数Ｗｉを変更する追加学習を行うように構成される監視装置。【選択図】  図５
2006325164.tif 000002
【特許請求の範囲】
【請求項１】
監視領域に存在する対象物を監視する監視装置において；
前記対象物の形状又は動きに関する情報を得る測定手段と；
前記測定手段により得られた前記対象物の形状又は動きに関する情報をニューラルネットワークの入力層に入力することで出力層から得られる出力に基づいて、前記対象物の状態を判定する判定手段と；
前記判定手段が前記対象物が危険な状態であると判定した際に、警報を発する警報手段と；
前記警報を解除する警報解除手段とを備え；
前記判定手段は、前記警報解除手段によって前記警報が解除された際に、前記入力層と前記出力層とを関連付ける重み係数を変更する追加学習を行う、
監視装置。
【請求項２】
前記判定手段によって判定される前記対象物の状態は、前記対象物が危険な状態と安全な状態とを含み、
前記判定手段は、予め設定される前記測定手段により得られた前記対象物の形状又は動きに関する第１の情報であって、該情報に基づいては前記対象物が安全な状態と判定しない第１の情報と、前記解除された警報が発せられる直前の一定期間の前記測定手段により得られた前記対象物の形状又は動きに関する第２の情報であって、該情報に基づいて前記対象物が危険な状態と判定した第２の情報とを用いて、前記重み係数を変更する追加学習を行う、
請求項１に記載の監視装置。
【請求項３】
前記判定手段が前記対象物の状態を判定した際に、当該判定の直前の一定期間の前記測定手段により得られた前記対象物の形状又は動きに関する情報を一時的に記憶し、前記警報手段が警報を発する際には、前記記憶した情報を保持し続ける記憶手段を備える；
請求項１又は請求項２に記載の監視装置。
【請求項４】
前記監視領域にパターンを形成するパターン光を投影する投影装置と；
前記パターン光が投影された、前記対象物の存在する監視領域を撮像する撮像装置とを備え；
前記測定手段は、前記撮像された像上のパターンの移動を測定するように構成され、
前記対象物の形状又は動きに関する情報は、前記測定されたパターンの移動に関する情報である、
請求項１乃至請求項３のいずれか１項に記載の監視装置。
【請求項５】
コンピュータにインストールして、該コンピュータを監視装置として作動させるソフトウエアプログラムであって；
監視領域に存在する対象物を監視する処理において；
前記対象物の形状又は動きに関する情報を得る処理と；
前記得られた前記対象物の形状又は動きに関する情報をニューラルネットワークの入力層に入力することで出力層から得られる出力に基づいて、前記対象物の状態を判定する処理と；
前記判定する処理で前記対象物が危険な状態であると判定した際に、警報を発する処理と；
前記警報を解除する処理と；
前記警報を解除する処理によって前記警報が解除された際に、前記入力層と前記出力層とを関連付ける重み係数を変更する追加学習を行う処理とを実行するように前記コンピュータを制御する；
ソフトウエアプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置及びソフトウエアプログラムに関し、特に装置を運用しながら、誤った判断をした際に、同じ誤りを繰り返さずに徐々に監視の条件に適応することのできる監視装置及びソフトウエアプログラムに関するものである。
【背景技術】
【０００２】
空間内、例えばトイレや浴室、ベッド等での対象物、例えば人物の動きを検出する動き検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、トイレ等の室内に二次元の格子状パターンに分割されたスポット（輝点）を投影し、投影されたスポットを撮像した画像の各スポットの座標の変化から、前記室内での人物の位置・姿勢状態を監視する装置があった（例えば、特許文献１参照。）。
【特許文献１】特開２００５−００５９１２号公報  （第３−１１頁、第１−１２図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら以上のような従来の装置によれば、例えば、危険な状態であると判別されるべき姿勢について、予め想定されていないような姿勢を取った場合に、誤った判断をする可能性や、監視する空間ごとに危険な姿勢は異なってくる場合があった。このような種々の監視の条件について、予め全ての姿勢を網羅することは不可能であった。
【０００４】
そこで本発明は、装置を運用しながら、誤った判断をした際に、同じ誤りを繰り返さずに徐々に監視の条件に適応することのできる監視装置及びソフトウエアプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に係る発明による監視装置は、例えば図５又は図１７に示すように、監視領域３に存在する対象物２を監視する監視装置において；対象物２の形状又は動きに関する情報を得る測定手段１４と；測定手段１４により得られた対象物２の形状又は動きに関する情報をニューラルネットワークの入力層Ｓに入力することで出力層Ｒから得られる出力に基づいて、対象物２の状態を判定する判定手段２３と；判定手段２３が対象物２が危険な状態であると判定した際に、警報を発する警報手段４１と；警報を解除する警報解除手段４２とを備え；判定手段２３は、警報解除手段４２によって警報が解除された際に、入力層Ｓと出力層Ｒとを関連付ける重み係数Ｗｉを変更する追加学習を行うように構成される。
【０００６】
このように構成すると、測定手段は、対象物の形状又は動きに関する情報を取得し、判定手段は、当該取得した情報をニューラルネットワークの入力層に入力することで出力層から得られる出力に基づいて、対象物の状態を判定する。さらに、警報手段は、判定手段により対象物が危険な状態であると判定された際に、警報を発する。さらに、判定手段は、警報が警報解除手段によって解除された際に、入力層と出力層とを関連付ける重み係数を変更する追加学習を行うので、装置を運用しながら、誤った判断をした際に、同じ誤りを繰り返さずに徐々に監視の条件に適応することのできる監視装置を提供することができる。
【０００７】
また請求項２に記載のように、請求項１に記載の監視装置では、例えば図５又は図１７に示すように、判定手段２３によって判定される対象物２の状態は、対象物２が危険な状態と安全な状態とを含み、判定手段２３は、予め設定される測定手段１４により得られた対象物２の形状又は動きに関する第１の情報であって、該情報に基づいては対象物２が安全な状態と判定しない第１の情報と、解除された警報が発せられる直前の一定期間の測定手段１４により得られた対象物２の形状又は動きに関する第２の情報であって、該情報に基づいて対象物２が危険な状態と判定した第２の情報とを用いて、重み係数Ｗｉを変更する追加学習を行うように構成してもよい。
【０００８】
このように構成すると、判定手段は、予め設定される対象物の形状又は動きに関する第１の情報であって、該情報に基づいては対象物が安全な状態と判定しない第１の情報と、解除された警報が発せられる直前の一定期間の対象物の形状又は動きに関する第２の情報であって、該情報に基づいて対象物が危険な状態と判定した第２の情報とを用いて、重み係数を変更する追加学習を行うので、例えば、誤って危険な状態であると判定してしまった情報を安全な状態であると判定するように修正することができる。さらに、絶対に安全な状態であると判別してはいけない情報まで、安全な状態であると判別してしまうようなことを防止することができる。したがって、より正確な状態の判定を行うことができる。
【０００９】
また請求項３に記載のように、請求項１又は請求項２に記載の監視装置では、例えば図５又は図１７に示すように、判定手段２３が対象物の状態を判定した際に、当該判定の直前の一定期間の測定手段１４により得られた対象物２の形状又は動きに関する情報を一時的に記憶し、警報手段４１が警報を発する際には、記憶した情報を保持し続ける記憶手段３１を備えるように構成してもよい。
【００１０】
このように構成すると、記憶手段は、判定手段が対象物の状態を判定した際に、当該判定の直前の一定期間の測定手段により得られた対象物の形状又は動きに関する情報を一時的に記憶する。さらに、警報手段が警報を発する際には、記憶した情報を保持し続けるので、保持し続けた情報を第２の情報として用いることができる。
【００１１】
また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の監視装置では、例えば図５又は図１７に示すように、監視領域３にパターンを形成するパターン光を投影する投影装置１１と；パターン光が投影された、対象物の存在する監視領域を撮像する撮像装置１２とを備え；測定手段１４は、撮像された像上のパターンの移動を測定するように構成され、対象物２の形状又は動きに関する情報は、測定されたパターンの移動に関する情報であるように構成してもよい。
【００１２】
このように構成すると、投影装置は、監視領域にパターンを形成するパターン光を投影し、撮像装置は、パターン光が投影された、対象物の存在する監視領域を撮像する。測定手段は、撮像された像上のパターンの移動を測定するので、該測定されたパターンの移動に基づいて、対象物に投影されたパターン光の三次元位置を算出することができ、さらに、該三次元位置に基づいて対象物の形状又は動きに関する情報として測定されたパターンの移動に関する情報を算出することができる。したがって、より正確な対象物の形状又は動きに関する情報を取得することができる。
【００１３】
上記目的を達成するために、請求項５に係る発明によるソフトウエアプログラムは、例えば図５又は図１８に示すように、  コンピュータにインストールして、該コンピュータを監視装置として作動させるソフトウエアプログラムであって；監視領域３に存在する対象物２を監視する処理において；対象物２の形状又は動きに関する情報を得る処理（Ｓ１１４）と；得られた対象物２の形状又は動きに関する情報をニューラルネットワークの入力層Ｓ（例えば、図１７参照）に入力することで出力層Ｒ（例えば、図１７参照）から得られる出力に基づいて、対象物２の状態を判定する処理（Ｓ１１６）と；判定する処理（Ｓ１１６）で対象物２が危険な状態であると判定した際に、警報を発する処理（Ｓ１２４）と；警報を解除する処理（Ｓ１２６）と；  警報を解除する処理（Ｓ１２６）によって警報が解除された際に、入力層Ｓと出力層Ｒとを関連付ける重み係数Ｗｉを変更する追加学習を行う処理（Ｓ１３２）とを実行するようにコンピュータを制御するように構成される。
【００１４】
このように構成すると、対象物の形状又は動きに関する情報を取得し、当該取得した情報をニューラルネットワークの入力層に入力することで出力層から得られる出力に基づいて、対象物の状態を判定する。さらに、判定する処理により対象物が危険な状態であると判定された際に、警報を発する。さらに、警報が解除された際に、入力層と出力層とを関連付ける重み係数を変更する追加学習を行うので、装置を運用しながら、誤った判断をした際に、同じ誤りを繰り返さずに徐々に監視の条件に適応することのできるソフトウエアプログラムを提供することができる。
【発明の効果】
【００１５】
以上のように本発明によれば、監視領域に存在する対象物を監視する監視装置において、対象物の形状又は動きに関する情報を得る測定手段と、測定手段により得られた対象物の形状又は動きに関する情報をニューラルネットワークの入力層に入力することで出力層から得られる出力に基づいて、対象物の状態を判定する判定手段と、判定手段が対象物が危険な状態であると判定した際に、警報を発する警報手段と、警報を解除する警報解除手段とを備え、判定手段は、警報解除手段によって警報が解除された際に、入力層と出力層とを関連付ける重み係数を変更する追加学習を行うように構成されるので、装置を運用しながら、誤った判断をした際に、同じ誤りを繰り返さずに徐々に監視の条件に適応することのできる監視装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。また、本実施の形態で用いられる主な数式には、数式（１）から数式（２４）までがある。これらの数式については、順次説明していく。また、図１９に、数式（１）から数式（２４）についてまとめた図を示す。以下の説明では、適宜図１９を参照する。
【００１７】
図１は、本発明の実施の形態に係る監視装置としての室内監視装置１の模式的斜視図である。室内監視装置１は、第１の平面と前記第１の平面と異なる第２の平面で画成される監視領域に存在する対象物を監視するように構成されている。本実施の形態では監視領域はトイレ３であり、室内監視装置１は、典型的には、対象物の位置を測定して対象物を監視するように構成されている。また、第1の平面と第２の平面とは典型的には交差し、さらに典型的には直交する。さらにここでは、第1の平面が床面４に平行な面であり、第２の平面が壁面としての正面壁面５ａに平行な面、及び側面壁面５ｃ、側面壁面５ｄに平行な面である。トイレ３は、床面４に平行な面と正面壁面５ａに平行な面、及び側面壁面５ｃ、側面壁面５ｄに平行な面とで画成される空間である。なお床面４に平行な面は床面４と一致してもよい。また正面壁面５ａに平行な面も正面壁面５ａと一致してもよい。同様に、側面壁面５ｃ、側面壁面５ｄに平行な面も側面壁面５ｃ、側面壁面５ｄと一致してもよい。即ち床面４に平行な面は床面４であってもよいし、正面壁面５ａに平行な面は正面壁面５ａであってもよい。本実施の形態では、第１の平面は床面４であり、第２の平面は正面壁面５ａである。さらに、側面壁面５ｃ、側面壁面５ｄに平行な面は側面壁面５ｃ、側面壁面５ｄであってもよい。本実施の形態では、第１の平面は床面４であり、第２の平面は正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄである。またここで平行とは、およそ平行であることを含む概念である。さらに、この平行な面は、実際の平面だけでなく仮想的な平面を含むものとする。また、前記空間は、典型的にはさらに床面４に対向する天井６と正面壁面５ａに対向する裏面壁面５ｂ、及び側面壁面５ｃ、側面壁面５ｄを有する閉空間である。前記閉空間はトイレ３を形成している。また、対象物は、典型的には、トイレ３でその姿勢を変化させるものである。本実施の形態では、対象物は人物２の場合で説明する。
【００１８】
ここで、本実施の形態で用いるトイレ３について説明する。トイレ３は、床面４と、床面４に直交する（典型的には鉛直に配置される）ように形成された平面が周囲に４面形成されている。平面は、正面壁面５ａと（図中手前）、正面壁面５ａに対向する裏面壁面５ｂと（図中奥）、正面壁面５ａに直交し、互いに対向する第２の平面としての２つの側面壁面５ｃ（図中右）、５ｄ（図中左）がある。さらに上記各壁面の上部には、床面４とおよそ平行に配置された天井６が形成されている。さらに床面４には、便器７が載置されている。便器７は、床面４の裏面壁面５ｂ近傍に載置されている。さらに、正面壁面５ａには、不図示の扉が形成されており、人物２は、この扉により正面壁面５ａからトイレ３内に進入、またはトイレ３内から退室できる。なお、本実施の形態では、第１の平面としての床面４に対して、本発明の第２の平面の関係にある平面としては、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの３面があるが、いずれか１面しかない場合の実施の形態もあり得る。また、本実施の形態では、後述する投影装置１１の設置角度等の関係から、裏面壁面５ｂは、投影装置１１によってパターン光が投影される第２の平面ではないが、設置角度等に応じて、裏面壁面５ｂもパターン光が投影される第２の平面となることがある。
【００１９】
室内監視装置１は、監視領域であるトイレ３の第1の平面としての床面４と前記第２の平面としての正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄにパターンを形成するパターン光を投影する投影装置１１と、前記パターン光が投影された、対象物としての人物２の存在するトイレ３を撮像する撮像装置１２とを備えている。また室内監視装置１は、演算装置２０を備えている。演算装置２０は、室内監視装置１全体を制御するものである。投影装置１１と撮像装置１２は、床面４と正面壁面５ａに対向する位置に配置される。さらに言えば、投影装置１１と撮像装置１２は、天井６と裏面壁面５ｂの近傍に配置される。本実施の形態では、投影装置１１と撮像装置１２は、裏面壁面５ｂのおよそ上部に配置される。また、トイレ３に人物２が存在するときには、パターンは人物２にも投影される。さらに本実施の形態では、投影されるパターンは、図４で後述する略正方格子状に配列された複数の輝点１１ｂで形成される。
【００２０】
さらに、室内監視装置１は、対象物としての人物２の形状又は動きに関する情報を得る測定装置１４を備えている。測定装置１４は、典型的には後述するように、撮像装置１２により撮像された像上のパターンの移動を測定するように構成され、ここでは、人物２の形状又は動きに関する情報は、前記測定されたパターンの移動に関する情報である。投影装置１１と撮像装置１２は、測定装置１４に電気的に接続され、測定装置１４に制御されている。なお、本実施の形態では、測定装置１４は、演算装置２０と一体に構成されている。
【００２１】
まず、投影装置１１と撮像装置１２の設置について説明する。前述のように、投影装置１１と撮像装置１２は、裏面壁面５ｂの上方に配置されている。撮像装置１２は、投影装置１１から間隔ｄをもって配置されている。なお、投影装置１１と撮像装置１２の距離（前記間隔ｄ）を基線長という。基線長は、三角測量法の基線方向の投影装置１１と撮像装置１２の間隔である。基線方向は、本実施の形態では、およそ床面４且つ正面壁面５ａに平行な方向である。
【００２２】
投影装置１１と撮像装置１２は、それぞれその光軸を、床面４の垂直方向に対して、傾けて設置する。すなわち、図示では、投影装置１１と撮像装置１２の床面４に対する設置角度として、床面４の垂直方向に対して角度θで傾けた場合を示している。また、さらに、投影装置１１と撮像装置１２のそれぞれの光軸を、互いに略平行方向に向けて設置している。本実施の形態では、θ≒３０°であるが、室内（トイレ３）の縦横比によって適宜定めるが、１５〜６０°とするとよい。また、本実施の形態では、投影装置１１は、光軸が床面４と交差するように配設されている。
【００２３】
なお、本実施の形態では、投影装置１１と撮像装置１２は、筐体１８内に収納されて設置されている。このようにすることで、例えばトイレ３を利用する人物２に撮像装置（ＣＣＤカメラ）の設置を意識させずに済む。また、筐体１８により投影装置１１や撮像装置１２を保護することができる。
【００２４】
なお、室内監視装置１は、測定装置１４により撮像装置１２により撮像された像上のパターンの移動を測定するように構成されているものである。例えば図２に示すように、投影装置１１と撮像装置１２を天井６のおよそ中央部に、それぞれその光軸を、床面４の垂直方向に向けて配置した場合には、対象物（ここでは人物２）の高さ又は高さ方向の動きが大きくなればなるほど、パターンを形成する輝点の移動量も大きくなる。このため、図６で後述する概念によると、輝点の移動量が大きいと、比較すべき輝点が隣の輝点の基準位置を飛び越してしまう現象が起こることがある。この場合、隣の輝点から移動したと判断され、測定される輝点の移動量は小さいことになってしまう。即ち、正確に輝点の移動量を測定できない。さらに言えば、人物２までの距離を正確に測定出来なくなる場合がある。図２の場合のように、例えばこの現象が人物２の頭部で発生してしまうと、頭部の高さが正確に測定できない。いわば頭部が死角となってしまう。ひいては人物２の存在が正確に測定できなくなってしまう。また、パターン（輝点）の移動量を測定する際の測定範囲と分解能が相反してしまうので、例えば、この飛び越えが発生しないように測定範囲を広げると、十分な分解能が得られなくなる。なお、ここで言う死角とは、例えばパターンの移動を正確に測定できない領域のことである。ひいては撮像装置１２の画角内で上記の輝点の飛び越えを発生してしまう領域のことをいう。
【００２５】
このため、室内監視装置１は、投影装置１１と撮像装置１２を図１で前述したように設置することで、輝点の飛び越えの影響を大幅に低減することができる。例えば、図３に示す場合を説明する。この実施の形態では、第１の平面としての床面４と第２の平面としての正面壁面５ａ、側面壁面５ｃ（図１参照）、側面壁面５ｄ（図１参照）に基準となるパターンが投影されている。投影装置１１と撮像装置１２は、便器７の上方に設置されており、例えば、投影装置１１と撮像装置１２から正面壁面５ａまでの距離は、床面４までの距離より小さい。したがって、投影装置１１と撮像装置１２から正面壁面５ａに向かう方向では輝点の飛び越えが発生する領域が小さくなる。すなわち死角は便器７の上方の小さい部分となり、便器７上ではしゃがんだり、便器７に腰掛ける人物２が死角に入る可能性が低くなる。言い換えれば、人物２が立っている場合では、輝点の飛び越えが発生する範囲の外で、輝点が人物２の体に投影されるので、正確な測定が行なえる（（ａ）の状態）。また、人物２が便器７に座っている場合にも、輝点の飛び越えが発生する範囲の外に人物２が存在することになるので、正確な測定が行なえる（（ｂ）の状態）。このように、室内監視装置１は、投影装置１１と撮像装置１２を図１で前述したように設置することで、後述の人物２の状態の判定を安定且つ正確に行なうことができるようになる。
【００２６】
なお、投影装置１１と撮像装置１２をこのように設置することで、天井６の中央部に設置する場合（図２参照）と比較して、例えばトイレ３の中央に人物２が立った場合に人物２に投影されるパターン（輝点の数）が飛躍的に多くなり、取得できる情報量が増大する。
【００２７】
図４の模式的斜視図を参照して、室内監視装置１に適した投影装置１１について説明する。なおここでは、説明のために、監視領域に含まれる撮像装置１２に正対する平面を平面１０２とし、後述のレーザ光束Ｌ１を平面１０２に対して垂直に投射する場合で説明する。なお、正対するとは、例えば真直ぐ対することである。投影装置１１は、可干渉性の光束を発生する光束発生手段としての光束発生部１０５と、ファイバーグレーティング１２０（以下、単にグレーティング１２０という）とを備えている。光束発生部１０５により投射される可干渉性の光束は、典型的には近赤外光レーザである。光束発生部１０５は、平行光束を発生するように構成されている。光束発生部１０５は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束Ｌ１である。そしてレーザ光束Ｌ１は、断面が略円形状の光束である。なお、この略円形状は、略楕円形状を含む概念である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。
【００２８】
またここでは、グレーティング１２０は、平面１０２に平行に（Ｚ軸に直角に）配置される。グレーティング１２０に、レーザ光束Ｌ１を、Ｚ軸方向に入射させる。するとレーザ光束Ｌ１は、個々の光ファイバー１２１により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面１０２に複数の輝点アレイであるパターン１１ａが投影される。なお、グレーティング１２０を平面１０２に平行に配置するとは、例えば、グレーティング１２０を構成するＦＧ素子１２２の各光ファイバー１２１の軸線を含む平面と、平面１０２とが平行になるように配置することである。
【００２９】
また、グレーティング１２０は、２つのＦＧ素子１２２を含んで構成される。本実施の形態では、各ＦＧ素子１２２の平面は、互いに平行である。以下、各ＦＧ素子１２２の平面を素子平面という。また、本実施の形態では、２つのＦＧ素子１２２の光ファイバー１２１の軸線は、互いにほぼ直交している。
【００３０】
ＦＧ素子１２２は、例えば、直径が数１０ミクロン、長さ１０ｍｍ程度の光ファイバー１２１を数１０〜数１００本程度、平行にシート状に並べて構成したものである。また、２つのＦＧ素子１２２は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、２つのＦＧ素子１２２の互いの距離は、パターン１１ａの投影に差支えない程度とする。レーザ光束Ｌ１は、典型的には、グレーティング１２０の素子平面に対して垂直に入射させる。
【００３１】
このように、投影装置１１は、２つのＦＧ素子１２２を含んで構成されたグレーティング１２０が光学系となるので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置１１は、グレーティング１２０を用いることで、単純な構成で、複数のパターン光としての輝点１１ｂをパターン１１ａとして監視領域に投影できる。なお、パターン１１ａは、典型的には正方格子状に配列された複数の輝点１１ｂである。また、パターン１１ａは、ＦＧ素子１２２に入射した光束の光軸が平面１０２に垂直な場合、光軸付近では正方格子状に配列された複数の輝点１１ｂとなるが、光軸から離れるにしたがって、格子の間隔に若干のズレを生じる。また、輝点の形状は楕円形を含む略円形である。
【００３２】
図１に戻って説明する。撮像装置１２は、典型的にはＣＣＤカメラである。撮像装置１２は、結像光学系１３ａ（図６参照）と撮像素子１５（図６参照）を有するものである。撮像素子１５は、典型的にはＣＣＤ撮像素子である。また、撮像素子１５として、ＣＣＤの他にＣＭＯＳ構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。
【００３３】
撮像装置１２は、前述の光束発生部１０５（図４参照）により発生されるレーザ光束Ｌ１の波長の周辺部以外の波長の光を減光するフィルタ１３ｂ（図６参照）を備えるとよい。フィルタ１３ｂは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系１３ａの光軸上に配置するとよい。このようにすると、撮像装置１２は、撮像素子１５に受光する光のうち、投影装置１１より投影されたパターン１１ａの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部１０５により発生されるレーザ光束Ｌ１は、典型的には赤外光レーザの光束である。また、レーザ光束Ｌ１は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置１２による撮像を、照射のタイミングに同期させて行うようにする。
【００３４】
図５は、本発明の実施の形態に係る室内監視装置１の構成例を示すブロック図である。本図を参照して、室内監視装置１の構成例について説明する。前述のように、演算装置２０は、測定装置１４と一体に構成されている。さらにここでは、測定装置１４は、後述の制御部２１に一体に構成される。そして投影装置１１と、撮像装置１２は、測定装置１４に電気的に接続されており、制御されている。本実施の形態では、演算装置２０は、投影装置１１と、撮像装置１２に対し遠隔的に配置されている。具体的には、例えば、トイレ３とは別の部屋に設置される。また演算装置２０は、典型的にはパソコン等のコンピュータである。なお本実施の形態では、演算装置２０は、投影装置１１と撮像装置１２と別に設置する場合で説明するが、投影装置１１と撮像装置１２のどちらか一方又は両方と一体に設置してもよく、例えば投影装置１１と撮像装置１２が収納された筐体１８内に収納して設置してもよい。
【００３５】
演算装置２０は、上述したように、室内監視装置１を制御する制御部２１を有している。さらに制御部２１には、記憶手段としての記憶部３１が接続されている。記憶部３１は、撮像装置１２から取得した像を時系列的に記憶するようにするとよい。また記憶部３１には算出された情報等のデータが記憶できる。なお、記憶部３１は、像そのものではなく、像中の輝点（重心）位置（人物不在の時の基準位置と、各時点のデータとしての輝点位置）か、輝点位置から計算した空間内の３次元位置を記憶するように構成してもよい。この場合、像そのものを記憶するよりもメモリが節約できて好適である。
【００３６】
制御部２１は、前述した前記対象物の形状又は動きに関する情報としての測定されたパターンの移動に関する情報を得る測定装置１４と、測定装置１４により得られた前記対象物の形状又は動きに関する情報としての測定されたパターンの移動に関する情報をニューラルネットワークの入力層Ｓ（図１７参照）に入力することで出力層Ｒ（図１７参照）から得られる出力に基づいて、人物２の状態を判定する判定手段としての状態判定部２３とを備える。なお、ここで、状態判定部２３は、言い換えれば、測定装置１４により測定されたパターンの移動に基づいて、人物２の状態を判定する手段である。また、本実施の形態では、状態判定部２３は、測定装置１４により得られた前記対象物の形状又は動きに関する情報としての測定されたパターンの移動に関する情報をブロック化して、ニューラルネットワークの入力層Ｓ（図１７参照）に入力するように構成されている。
【００３７】
さらに、制御部２１は、状態判定部２３が人物２が危険な状態であると判定した際に、警報を発する警報手段としての警報装置４１に警報信号を送信する警報信号部２８を含んで構成される。また、制御部２１には、警報信号部２８を介して警報装置４１によって発せられる警報を解除するための警報解除手段としての警報解除ボタン４２と、状態判定部２３が人物２が危険な状態ではないと判定している際に、何らかの事情により人物２の意思で警報装置４１に警報を発せさせるための緊急通報ボタン４３とが接続されている。状態判定部２３は、警報解除ボタン４２によって警報が解除された際に、ニューラルネットワークの入力層Ｓ（図１７参照）と出力層Ｒ（図１７参照）とを関連付ける重み係数としての各結合の重みＷｉを変更する追加学習を行うように構成される。
【００３８】
さらに、上述した記憶部３１は、本実施の形態では、状態判定部２３が人物２の状態を判定した際に、当該判定の直前の一定期間の測定装置１４により得られた測定されたパターンの移動に関する情報、あるいは、対象物の位置又は移動に関する情報を一時的に記憶し、警報装置４１が警報を発する際には、一時的に記憶した情報を保持し続けるように構成される。
【００３９】
さらに、制御部２１は、パターン光１１ｂの投影範囲に比較して十分に広いものと仮想した仮想平面８（図９参照）に投光され、投影装置１１と撮像装置１２との光学配置に基づいて算出される仮想のパターン光の位置と、実際に撮像されるパターン光の位置とを比較して、測定装置１４が撮像装置１２により撮像された像上のパターンの移動を測定する際の正面壁面５ａ（図１参照）、側面壁面５ｃ（図１参照）、側面壁面５ｄ（図１参照）上での基準の位置を算出する基準位置算出手段としての基準位置算出部２４とを含んで構成されている。
【００４０】
また、制御部２１は、投影装置１１と撮像装置１２との光学配置に基づいて算出される、床面４（図１参照）上での投影装置１１の光軸上のパターン光１１ｂが撮像されるべき位置と、床面４（図１参照）上に実際に投影され、撮像装置１２によって撮像されたパターン光１１ｂであって、床面４（図１参照）上での前記投影装置１１の光軸上のパターン光１１ｂが撮像されるべき位置に最も近いパターン光１１ｂの位置に基づいて、投影装置１１の光軸の傾きを補正する光軸角補正手段としての光軸角度補正部２５と、床面４上の実際のパターンに関してハフ変換を実行して第１の角度ピークを算出し、前記仮想平面８（図９参照）上の一定範囲の仮想のパターン光によって形成される仮想のパターンに関してハフ変換を実行して、投影装置１１を投影装置１１の光軸周りに一定角度回転させる毎に第２の角度ピークを算出し、第１の角度ピークと第２の角度ピークとが略一致した際の、光軸周りの回転角を、投影装置１１の実際の回転角として設定する回転角算出手段としての回転角算出部２６を含んで構成される。さらに、制御部２１は、各基準の位置の正面壁面５ａ（図１参照）、側面壁面５ｃ（図１参照）、側面壁面５ｄ（図１参照）に垂直な方向の位置に関する頻度ヒストグラムに応じて正面壁面５ａ（図１参照）、側面壁面５ｃ（図１参照）、側面壁面５ｄ（図１参照）の位置を特定する第２の平面特定手段としての壁面特定部２７を含んで構成される。
【００４１】
制御部２１には、状態判定部２３の判定結果を出力する情報出力手段としてのディスプレイ４０と、室内監視装置１を操作するための情報を入力する入力装置３５が接続されている。ディスプレイ４０は典型的にはＬＣＤである。入力装置３５は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置３５は、演算装置２０に外付けするものとして図示されているが、内蔵されていてもよい
以下、上記各構成について詳細に説明する。
【００４２】
まず測定装置１４について説明する。測定装置１４は、撮像装置１２で撮像された像上のパターンの移動を測定するものである。測定装置１４は、撮像装置１２で撮像した像を取得できるように構成されている。なお、測定装置１４は、撮像装置１２で撮像した像を例えばデータとして、さらに典型的にはデジタルデータとして取得する。さらに測定装置１４は、撮像装置１２により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量（以下移動量という）を測定することをいう。さらに、測定される輝点の移動量は、輝点の移動方向を含む概念である。即ち、測定される輝点の移動量には、移動した方向の情報も含まれるものとする。さらにここでは、測定装置１４は、測定したパターンの移動に基づいて、人物２に投影されたパターンを形成する各輝点の三次元座標を算出するように構成される。
【００４３】
さらに、測定装置１４は、トイレ３に人物２が存在しないときに床面４（図１参照）と正面壁面５ａ（図１参照）、側面壁面５ｃ（図１参照）、側面壁面５ｄ（図１参照）に投影されたパターン光としての輝点を基準として、パターンを形成する各輝点の移動を測定するように構成されている。
【００４４】
さらに、測定装置１４は、測定されたパターンの移動に基づいて、投影装置１１と撮像装置１２の各位置及び設置角度と、床面４と正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの各位置とに応じた人物２に投影されたパターン光の三次元位置としての三次元座標を算出するように構成されている。
【００４５】
ここで、測定装置１４による輝点（パターン）の移動の測定について詳述する。測定装置１４は、撮像装置１２からそれぞれ取得した異なる２時点の像に基づいて、輝点の移動を測定するように構成されている。異なる２時点は、任意の時点（現在）と、トイレ３に人物２が存在しないときの時点とする。以下、任意の時点（現在）で取得した像を取得像、トイレ３に人物２が存在しない時点に取得した像を基準像として説明する。すなわち、輝点（パターン）の移動は、基準像を基準として測定される。なお、基準像は、記憶部３１内に保存される。
【００４６】
なお、取得像の取得間隔は、例えば装置の処理速度や、上述のように検出したい移動の内容により適宜決めるとよいが、例えば０．１〜３秒、好ましくは０．１〜０．５秒程度とするとよい。ここでは０．１〜０．２５秒とする。また、より短い時間間隔で像を取得し、平均化またはフィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有効である。
【００４７】
ここで、取得像と基準像は、例えば撮像装置１２により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。即ち、取得像と基準像は、各々の時点で、投影装置１１の投影により形成されたパターン１１ａ（図６参照）の像である。なお、本実施の形態では、基準像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部３１に保存される。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。
【００４８】
また、輝点の移動量は、記憶部３１に保存された基準像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数（何画素移動したか）を計数することで求められる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。
【００４９】
なお上記では、輝点の位置情報を比較する場合で説明したが、基準像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。
【００５０】
さらに、測定装置１４により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。
【００５１】
なお、投影装置１１と撮像装置１２とは、ある程度距離を離して設置するとよい。このようにすることで、距離ｄ（基線長ｄ、図１３参照）が長くなるので、輝点の移動を敏感に検出できるようになる（検出感度がよくなる）。なお、基線長は長く取ることが好ましいが、短くてもよい。但しこの場合には、小さな動きを検出しにくくなるが、輝点の重心位置を検出するようにすれば、小さな動きの検出も可能である。基線長を短く取ると図２、図３を参照して説明した死角領域が小さくなる。
【００５２】
測定装置１４は、以上のような、輝点の移動の測定を、パターン１１ａ（図６参照）を形成する各輝点１１ｂ（図６参照）毎に行うように構成される。即ち複数の輝点１１ｂの位置が複数の測定点となる。
【００５３】
図６は、本発明の実施の形態での輝点の移動の概念について説明する概念的斜視図である。ここで、本図を参照して、輝点の移動の概念について説明する。ここでは、解りやすく、対象領域を平面１０２、対象物を物体１０３として説明する。さらにここでは、説明のために、前述の基準像と取得像を用いる場合で説明する。なお基準像は、物体１０３が平面１０２に存在しないときのパターン１１ａの像であり、取得像は、物体１０３が平面１０２に存在しているときのパターン１１ａとして説明する。
【００５４】
図中物体１０３が、平面１０２上に載置されている。またＸＹ軸を平面１０２内に置くように、直交座標系ＸＹＺがとられており、物体１０３はＸＹ座標系の第１象限に置かれている。一方、図中Ｚ軸上で平面１０２の上方には、投影装置１１と、撮像装置１２とが配置されている。撮像装置１２は、投影装置１１によりパターン１１ａが投影された平面１０２を撮像する。即ち平面１０２上に載置された物体１０３を撮像する。
【００５５】
撮像装置１２の結像光学系としての結像レンズ１３ａは、ここでは、その光軸がＺ軸に一致するように配置されている。なおここでは、座標系ＸＹＺの原点を結像レンズ１３ａの位置とする。そして、結像レンズ１３ａは、平面１０２あるいは物体１０３上のパターン１１ａの像を、撮像装置１２の撮像素子１５の結像面１５’（イメージプレーン）に結像する。結像面１５’は、結像レンズ１３ａから距離はｌ（エル）（結像レンズ１３ａの焦点とほぼ等しい）の位置に配置されている。結像面１５’は、典型的にはＺ軸に直交する面である。さらに、結像面１５’内に直交座標系ｕｖをとり、Ｚ軸が、ｕｖ座標系の原点（０，０，ｌ）を通るようにする。平面１０２から結像レンズ１３ａと等距離で、結像レンズ１３ａからＹ軸の負の方向に距離ｄ（基線長ｄ）だけ離れたところに、投影装置１１が配置されている。即ち、投影装置１１の配置された座標は（０，−ｄ，０）である。物体１０３と平面１０２には、投影装置１１により複数の輝点１１ｂが形成するパターン１１ａが投影される。なお、ｖ軸方向は、三角測量法の基線方向でもある。
【００５６】
投影装置１１により平面１０２に投影されたパターン１１ａは、物体１０３が存在する部分では、物体１０３に遮られ平面１０２には到達しない。ここで物体１０３が存在していれば、平面１０２上の点１０２ａに投射されるべき輝点１１ｂは、物体１０３上の点１０３ａに投射される。輝点１１ｂが点１０２ａから点１０３ａに移動したことにより、また結像レンズ１３ａと投影装置１１とが距離ｄ（基線長ｄ）だけ離れているところから、結像面１５’上では、点１０２ａ’（ｕ，ｖ）に結像すべきところが点１０３ａ’（ｕ，ｖ＋δ）に結像する。即ち、物体１０３が存在しない時点と物体１０３が存在する時点とは、輝点１１ｂの像がｖ軸方向にδだけ移動することになる。
【００５７】
これは、例えば図７に示すように、撮像素子１５の結像面１５’に結像した輝点は、高さのある物体１０３により、δだけｖ軸方向に移動することになる。
【００５８】
このように、この輝点の移動量δを測定することにより、物体１０３上の点１０３ａの位置が三次元的に特定できる。即ち、例えば点１０３ａの三次元座標がわかる。このように、ある点が、物体１０３が存在しなければ結像面１５’上に結像すべき点と、結像面１５’上の実際の結像位置との差を測定することにより、物体１０３の三次元座標が測定できる。あるいは、結像レンズ１３ａから物体１０３上の各点までの距離が測定できる。また、輝点１１ｂの対応関係が不明にならない程度に、パターン１１ａのピッチ、即ち輝点１１ｂのピッチを細かくすれば、物体１０３の三次元座標はそれだけ詳細に測定できることになる。
【００５９】
なお本実施の形態では、横６４０×縦４８０ピクセルの画像を取得した場合には、輝点の位置（重心位置）から、縦５０ピクセル、横１ピクセルの範囲内に輝点が存在するときに移動量δを測定するようにしている。移動量δが１ピクセル以上であれば、その輝点が移動したものと判断するようにして処理するデータ量を減らすようにしてもよい。
【００６０】
さらに、図６に戻って三次元座標の算出について説明する。三次元座標（Ｘ，Ｙ，Ｚ）は、結像レンズ１３ａから平面１０２までの距離をｈとすると、図１９に示す数式（１）、（２）、（３）で算出できる。
以上のようにして、移動量δを算出することで、人物２に投影された輝点の三次元座標を算出でき、対象物の三次元形状情報を得ることができる。
【００６１】
ここで、トイレ３での基準像のパターンを形成する各輝点の三次元座標の算出について説明する。前述のようにここでは、基準像は、トイレ３に人物２が存在しないとき（以下空室時という）の各輝点の位置に関する座標を含む位置情報である。
【００６２】
図８は、本発明の実施の形態でのトイレ３の床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの境界とトイレ３に人物２が存在しない時に撮像装置１２により撮像された像の一例を示す模式的平面図である。ここで、投影装置１１、撮像装置１２は、実際には上述したように、設置角度として光軸を床面４の垂直方向に対して角度θだけ傾けて設置される（図１参照）。したがって、投影装置１１（図１参照）から投影されるパターン１１ａは、図６で述べたような単純な平面（例えば、図６に示す平面１０２）に投影されるわけではなく、幾つかの平面、すなわち、本図で示すように、床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄが組み合わさった平面に投影される。輝点（パターン）の移動は、上述したように基準像を基準として測定されることから、各平面上での基準像の位置を算出する必要がある。
【００６３】
そこで、基準位置算出部２４は、実際のパターン光１１ｂの投影範囲に比較して十分に広いものと仮想した仮想平面８（図９参照）に投光され、投影装置１１と撮像装置１２との光学配置に基づいて算出される仮想のパターン光１１ｂの位置と、実際に撮像されるパターン光１１ｂの位置とを比較して、測定装置１４が撮像装置１２により撮像された像上のパターンの移動を測定する際の正面壁面５ａ（図１参照）、側面壁面５ｃ（図１参照）、側面壁面５ｄ（図１参照）上での基準の位置、すなわち、基準像を算出するように構成される。
【００６４】
図９は、本発明の実施の形態に係る投影装置１１によって投影されるパターン１１ａの一例を示す図であり、（ａ）は、トイレ３に投影される場合の模式的斜視図、（ｂ）は、仮想平面８に投影される場合の模式的斜視図である。なお、（ａ）では、トイレ３室内の様子を見やすくするため、天井６、正面壁面５ａ、側面壁面５ｄを想像線により図示してある。
【００６５】
ここで、パターン光１１ｂの投影範囲に比較して十分に広いものと仮想した仮想平面８とは、例えば、図６で述べたような平面１０２のように、投影装置１１から投影されたパターン１１ａが、当該仮想平面８と交差するような他の平面に遮られたりせずに投影される理想的な平面である。ここでは、仮想平面は、以下で説明する基準位置算出部２４による基準像の位置の算出が可能な程度に広い平面であればよい。
【００６６】
仮想平面８は、図９（ｂ）に示すように、本実施の形態では、床面４と略平行な平面であり、投影装置１１からの距離が、床面４と投影装置１１との距離と略等しい位置にある平面である。また、ここでの投影装置１１と撮像装置１２は、トイレ３室内に設置される場合と同様に、それぞれその光軸を、床面４の垂直方向に対して角度θだけ傾けて設置されるものとして仮想する。言い換えれば、本実施の形態では、仮想平面８は、トイレ３において正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ、便器７等が取り払われた状態の床面４であって、十分広い面積に拡張された床面４を想定すればよい。仮想平面８に投光される仮想のパターン１１ａを形成する仮想のパターン光としての輝点１１ｂの結像面１５’（図６参照）上での位置は、投影装置１１と撮像装置１２との光学配置に基づいて算出することができる。
【００６７】
ここで、投影装置１１と撮像装置１２との光学配置は、少なくとも投影装置１１又は撮像装置１２に関する床面４に対する設置高さ、ここでは、結像レンズ１３ａ（図６参照）から床面４までの設置高さｈ、及び上述した設置角度としての光軸の角度θに基づいて定められる。さらに、当該光学配置は、典型的には、設置高さｈ、光軸角度θに加えて、設計上予め決められる数値、すなわち、基線長ｄや、撮像装置１２の結像面１５’（図６参照）と結像レンズ１３ａ（図６参照）との距離ｌ（≒結像レンズ焦点距離、図６参照）、投影装置１１のレーザ波長λ、ファイバー径ｒ１、ｒ２、レーザ光がＦＧ素子１２２（図４参照）を通過する際の出力角度φＸ、φＹ等の種々の値によって定まる。したがって、投影装置１１と撮像装置１２との光学配置に基づいて算出するとは、典型的には、光学配置を決定づけるこれらの種々の数値に基づいて算出することをいう。投影装置１１と撮像装置１２との光学配置に基づいて算出するというときには、これらの光学配置を決定づける種々の数値の全てを用いて算出する場合だけでなく、該種々の数値のうち少なくとも設置高さｈ、光軸角度θを含むいくつかの数値を用いて算出する場合を含む。すなわち、光学配置を決定づける数値のうち少なくとも設置高さｈ、光軸角度θを用いて算出すれば、投影装置１１と撮像装置１２との光学配置に基づいて算出したということができる。
【００６８】
ここでは、ＦＧ素子１２２（図４参照）から出力される輝点１１ｂの投影角度は、ＦＧ素子１２２（図４参照）のファイバー径ｒ１、ｒ２とレーザ波長λに依存する。レーザ光がＦＧ素子１２２を通過すると、回折光として輝点１１ｂが広がるので、基準位置算出部２４は、レーザ光がＦＧ素子１２２（図４参照）を通過する際の出力角度φＸ、φＹを図１９に示す数式（４）、（５）で近似して算出することができる。ここで、ｎ、ｍは正数であり、輝点１１ｂのインデックスである。
【００６９】
さらに、基準位置算出部２４は、設置高さｈ、光軸角度θから図１９に示す数式（６）、（７）を用いて、輝点１１ｂのインデックスｍ、ｎに対応した仮想の輝点１１ｂの三次元座標に応じた結像面１５’（図６参照）上での位置座標ｕideal，ｍ，ｎ、ｖideal，ｍ，ｎを算出することができる。基準位置算出部２４は、以上のようにして算出した仮想の輝点１１ｂ群の結像面１５’上での位置座標を基準として、図９（ａ）に示すように、実際に床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５に投光される輝点１１ｂの実際に撮像される輝点１１ｂの結像面１５’（図６参照）上での位置座標ｕreal，ｍ，ｎ、ｖreal，ｍ，ｎから空室時の各輝点１１ｂの仮想の移動量δを算出する。基準位置算出部２４は、算出した各移動量δと数式（１）、（２）、（３）（図１９参照）から、空室時でのトイレ３の形状に則した、各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量の測定のための基準の三次元座標を算出する。
【００７０】
ところで、撮像装置１２の光軸と投影装置１１の光軸が平行であることが理想であるが、実際にはある程度誤差が生じる。実際の光軸や輝点群は、実際にはこの傾きの影響を受ける。そこで、光軸角度補正部２５（図５参照）は、投影装置１１と撮像装置１２との光学配置に基づいて算出される床面４（図１参照）上での投影装置１１の光軸上のパターン光としての輝点１１ｂ（図６参照）が撮像されるべき位置ｕideal，０，０、ｖideal，０，０と、床面４（図１参照）上に実際に投影され、撮像装置１２によって撮像されたパターン光としての輝点１１ｂであって、位置ｕideal，０，０、ｖideal，０，０に最も近い輝点１１ｂの位置に基づいて、投影装置１１の光軸の傾きを補正するように構成される。
【００７１】
傾きのない理想の状態における投影装置１１のレーザ光軸の結像面１５’（図６参照）上での位置座標ｕideal，光軸、ｖideal，光軸は、設置高さｈ、光軸角度θ、基線長ｄに基づいて図１９に示す数式（８）、（９）となる。したがって、投影装置１１と撮像装置１２との光学配置に基づいて算出される床面４（図１参照）上での投影装置１１の光軸上の輝点１１ｂ（図６参照）が撮像されるべき位置の、結像面１５’（図６参照）上での座標ｕideal，０，０、ｖideal，０，０も、同様に、図１９に示す数式（８）、（９）であらわすことができる。実際に取得した輝点群の中で、位置座標ｕideal，０，０、ｖideal，０，０に近い輝点１１ｂの結像面１５’（図６参照）上の位置座標をｕreal、ｖrealと仮定する。そのときの撮像装置１２の光軸とレーザ光軸の傾きGapｕ、Gapｖは、図１９に示す数式（１０）、（１１）と表される。
【００７２】
上述した数式（４）、（５）（図１９参照）で算出される出力角度φＸ、φＹにレーザ光軸の傾きGapｕ、Gapｖを補正すると、光軸補正後の出力角度φ’Ｘ、φ’Ｙは、図１９に示す数式（１２）、（１３）で算出することができる。光軸角度補正部２５（図５参照）は、以上のようにして、光学配置に基づいて算出される床面４（図１参照）上での投影装置１１の光軸上の輝点１１ｂ（図６参照）が撮像されるべき位置に応じた結像面１５’（図６参照）上での位置座標ｕideal，０，０、ｖideal，０，０と、床面４上に実際に投影され、床面４上での光軸の位置に最も近い輝点１１ｂ（図６参照）の位置に応じた結像面１５’（図６参照）上での位置座標ｕreal、ｖrealに基づいて、投影装置１１と撮像装置１２の設置角度、すなわち、予め定められている光学配置としての光軸角度θに対する実際の投影装置１１の光軸角度のずれを算出して、投影装置１１の光軸の傾きを補正することができる。言い換えれば、投影装置１１の光軸と撮像装置１２の光軸との平行からのずれの補正量を算出して、投影装置１１の光軸の傾きを補正することができる。
【００７３】
基準位置算出部２４は、光軸角度補正部２５によって算出された出力角度φ’Ｘ、φ’Ｙを用いて、上述した数式（６）、（７）（図１９参照）に出力角度φＸ＝φ’Ｘ、φＹ＝φ’Ｙを代入する。これにより、基準位置算出部２４は、光軸角度補正部２５によって補正された光軸の傾きに応じて、光軸補正後の仮想の輝点１１ｂの結像面１５’（図６参照）上での位置座標ｕ’ideal，ｍ，ｎ、ｖ’ideal，ｍ，ｎを算出し、上述したように、当該位置座標ｕ’ideal，ｍ，ｎ、ｖ’ideal，ｍ，ｎと実際の位置座標ｕreal，ｍ，ｎ、ｖreal，ｍ，ｎから、各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量の測定のための基準の三次元座標を算出することができる。
【００７４】
ここで再び図８を参照する。測定装置１４（図５参照）が測定できる輝点移動量δは、上述したような飛び越えが発生しない範囲、すなわち、隣接する輝点までの距離に制限される。そこで、本実施の形態では、この検出範囲を広くするため、投影装置１１のＦＧ素子１２２（図４参照）を基線方向（ｖ軸方向）に対して光軸周りに回転させて使用する。ＦＧ素子１２２を回転させて使用することで、本図に示すように、正方格子状のパターン１１ａは、基線方向に対して傾きを有することになる。本実施の形態のように、基線方向に対する投影装置１１の光軸周りの回転量をＦＧ素子１２２の回転角αとすると、この回転角αを算出して、当該回転角αに応じて各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量の測定のための基準の三次元座標を算出すれば、より正確な、基準の三次元座標とすることができる。従って、より正確な人物２の状態の判別をすることができる。なお、基線方向に対する投影装置１１の光軸周りの回転量、すなわち、ＦＧ素子１２２の回転角αは、基線方向に対する正方格子状のパターン１１ａの回転角ということもできる。また、ここで、投影装置１１を光軸周りに回転させて使用するという場合、要するに、正方格子状のパターン１１ａが基線方向に対して傾きを有するように回転させて使用すればよく、必ずしも、投影装置１１の全体を回転させて使用しなくともよい。
【００７５】
そこで、回転角算出部２６は、床面４上の実際のパターン１１ａに関してハフ変換（Ｈｏｕｇｈ変換）を実行して第１の角度ピークを算出し、前記仮想平面８（図９参照）上の一定範囲の仮想のパターン光１１ｂによって形成される仮想のパターン１１ａに関してハフ変換を実行して、投影装置１１のＦＧ素子１２２を投影装置１１の光軸周りに一定角度回転させる毎に、すなわち、ここでは０°から１８０°まで０．１°刻みで仮定したときの各回転角α毎に第２の角度ピークを算出し、第１の角度ピークと第２の角度ピークとが略一致した際の、光軸周りの回転角αを、投影装置１１の実際の回転角αとして設定するように構成される。
【００７６】
ここで、仮想平面８（図９参照）上の一定範囲の領域の仮想のパターン１１ａの三次元座標に応じた結像面１５’（図６参照）上での各位置座標は、仮想平面８（図９参照）と同じ平面上に位置する床面４上のパターン１１ａの三次元座標に応じた結像面１５’（図６参照）上での各位置座標とのみ一致しているはずである。したがって、ここでは、仮想平面８（図９参照）上の一定範囲の領域として、図８に示す取得画像のうち、破線で示す床面４を含む床面領域を仮定する。回転角算出部２６は、床面４上の実際のパターン１１ａに関してハフ変換（Ｈｏｕｇｈ変換）を実行して第１の角度ピークを算出する。さらに、回転角算出部２６は、仮想平面８（図９参照）上の床面領域の仮想のパターン１１ａに関してハフ変換を実行して第２の角度ピークを算出する。
【００７７】
図１０は、本発明の実施の形態に係るハフ変換の概念について説明する図である。ここで、本図を参照してハフ変換について説明する。線図形の解析を行うようなデジタル画像処理において、直線的な線分を見つけ出すことは重要な作業である。係る線分を見つけ出す方法のうち数学的な計算論理をベースとした線分検出方法の一例としてハフ変換がある。ハフ変換は、Ｐ．Ｖ．Ｃ．Ｈｏｕｇｈによって考案された手法であり、直線の検出や円の検出に用いられる。この手法は、多数決原理に基づいており、本実施の形態のように、点（ここでは輝点１１ｂ）が線状（ここでは正方格子状）に顕著に分布している場合に有効である。また、複数の直線を同時に検出できる利点もある。
【００７８】
以下、本図を参照してハフ変換の一般的な概略を説明する。一般的に直線の式は、図１０に示す数式（ａ）で表すことができる。ここで、数式（ａ）中、ａ０、ｂ０は定数である。この直線上に任意のＭ個の点、｛（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・、（ｘＭ，ｙＭ）｝を選んだとすると、図１０に示す数式（ｂ）が成り立つ。ここで、数式（ｂ）中ｉ＝１、２、・・・、Ｍである。
【００７９】
ここでａ０、ｂ０を変数とみなして（ａ，ｂ）平面を考えると、ｘ−ｙ座標系のある１点（ｘｉ，ｙｉ）が与えられたとき、 そこを通るすべての直線を表す式は、図１０に示す数式（ｃ）となる。
【００８０】
数式（ｃ）で示す直線は、点（ｘｉ，ｙｉ）ごとに異なるが、 上記のように点（ｘｉ，ｙｉ）が、数式（ａ）で示す直線上の点であるとすれば、すべて点（ａ０、ｂ０）を通るはずである。上記と同じことを極座標系で考えると、ｘ−ｙ座標系のある１点（ｘｉ，ｙｉ）が与えられたとき、それを通るすべての直線群は、図１０に示す数式（ｄ）で表すことができる。
【００８１】
ここで、図１０のグラフに示すように、ρは原点から直線への垂線の長さ、θαは当該垂線とｘ軸との角度である。この場合、ρ、θαの値をρ０、θα０に固定すれば、（ｘ，ｙ）
平面上での１本の直線を特定したことになる。
【００８２】
したがって、ρ０＝ｘｃｏｓθα０＋ｙｓｉｎθα０上の任意のＭ個の点、｛（ｘ１，ｙ１）、（ｘ２，ｙ２）、・・・、（ｘＭ，ｙＭ）｝に対応する（θα，ρ）平面上の曲線は、全て（θα０、ρ０）で交わる。θαは、−πからπまで有限の範囲を細かく分割すればよく、また、ρもある程度の大きさまで取ればよいので、ハフ変換による直線検出は、（θα，ρ）平面上で実行されるのが一般的である。すなわち、候補点（ｘｉ，ｙｉ）の集合が与えられたとき、全ての曲線が最も多く交差する点（θα０、ρ０）を見つければ、数式（ａ）で表す直線を抽出することができる。
【００８３】
例えば、いま点Ａ：（−２，０）、点Ｂ：（０，２）、点Ｃ：（４，６）の３点が与えられたとき、それぞれに対して、点Ａ：ρ０＝−２ｃｏｓθα０、点Ｂ：ρ０＝２ｓｉｎθα０、点Ｃ：ρ０＝４ｃｏｓθα０＋６ｓｉｎθα０が成り立つ。ここで、当該３つの式に関してθα０、ρ０について解くと、θα０＝１３５°、ρ０＝√２となる。よってこの３点から抽出される直線はｙ＝ｘ＋２となる。
【００８４】
なお、ハフ変換による直線の検出には、例えば、1線が実線でも、破線でも、 一部かすれていても抽出できる、2線の太さにばらつきがあってもよい、3画素ごとに独立な写像のため並列処理による高速化が可能、4線が画像中に何本あっても一括処理できる、等の利点がある。
【００８５】
回転角算出部２６は、床面４上の床面領域の実際のパターン１１ａに関してハフ変換を実行して、第１の角度ピークとして、実際の輝点１１ｂ群から抽出される直線の支配的な角度θreal，α０を算出する。さらに、回転角算出部２６は、仮想平面８（図９参照）上の床面領域の仮想のパターン１１ａに関してハフ変換を実行して、第２の角度ピークとして、仮想平面８（図９参照）上の床面領域の仮想の輝点１１ｂ群から抽出される直線の支配的な角度θideal，α０を算出する。
【００８６】
ここで、回転角算出部２６は、角度θideal，α０を算出する際には、まず、回転角αを、０°から１８０°まで０．１°刻みで仮定したときの各回転角αについての仮想のパターン１１ａの位置座標を算出する。具体的には、回転角算出部２６は、上述した数式（１２）、（１３）（図１９参照）で算出される光軸補正後の出力角度φ’Ｘ、φ’Ｙに、回転角αを導入することで得られる回転角補正後の出力角度φ’’Ｘ、φ’’Ｙを、図１９に示す数式（１４）、（１５）に基づいて各回転角毎に算出する。回転角算出部２６は、出力角度φ’’Ｘ、φ’’Ｙを用いて、上述した数式（６）、（７）（図１９参照）に出力角度φＸ＝φ’’Ｘ、φＹ＝φ’’Ｙを代入する。これにより、０°から１８０°まで０．１°刻みに仮定される各回転角αに応じて、仮想の輝点１１ｂの結像面１５’（図６参照）上での各位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎを算出する。回転角算出部２６は、床面領域の仮想の輝点１１ｂにより形成される仮想のパターン１１ａに関して、０°から１８０°まで０．１°刻みで仮定したときの各回転角αごとにハフ変換を実行して、角度θideal，α０を算出する。
【００８７】
回転角算出部２６は、角度θreal，α０と各回転角毎の角度θideal，α０とを比較して、角度θreal，α０と角度θideal，α０とが、略一致した際の回転角αを、実際のＦＧ素子１２２の回転角αとして設定する。なお、ここで、角度θreal，α０と角度θideal，α０とが略一致した際の回転角αは、角度θreal，α０と角度θideal，α０とが完全に一致した際の回転角αだけでなく、角度θreal，α０と角度θideal，α０とが最も近い際の回転角αとしてもよい。この場合、当該最も近い場合の回転角を、実際のＦＧ素子１２２の回転角αとする。ここでは、回転角αを０°から１８０°まで０．１°刻みに仮定しているので、角度θreal，α０と角度θideal，α０とが最も近い際の回転角を実際の回転角αとしてもほとんど誤差はない。
【００８８】
基準位置算出部２４は、回転角算出部２６によって設定された実際のＦＧ素子１２２の回転角αに応じた回転角補正後の出力角度φ’’Ｘ、φ’’Ｙを用いて、上述した数式（６）、（７）（図１９参照）に出力角度φＸ＝φ’’Ｘ、φＹ＝φ’’Ｙを代入する。これにより、基準位置算出部２４は、回転角算出部２６によって設定された実際のＦＧ素子１２２の回転角αに応じて、回転角補正後の仮想の輝点１１ｂの結像面１５’（図６参照）上での位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎを算出し、上述したように、当該位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎと実際の位置座標ｕreal，ｍ，ｎ、ｖreal，ｍ，ｎから、各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量の測定のための基準の三次元座標を算出することができる。言い換えれば、基準位置算出部２４は、回転角算出部２６によって設定された実際のＦＧ素子１２２の回転角αにおける仮想の輝点１１ｂの位置と、実際に撮像されたパターン光輝点１１ｂの位置に基づいて、各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量の測定のための基準の三次元座標を算出しているということができる。
【００８９】
なお、基準位置算出部２４は、すべての回転角についての出力角度φ’’Ｘ、φ’’Ｙの算出、位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎの算出、角度θideal，α０の算出をそれぞれ一括で行い、その後、各角度θideal，α０とθreal，α０を比較して実際の回転角αを設定してもよいし、各回転角毎に出力角度φ’’Ｘ、φ’’Ｙ、位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎ、角度θideal，α０を算出し、その都度比較を行って回転角αを設定してもよい。各回転角毎にその都度比較を行って回転角αを設定する場合には、適切な回転角αが見つかった場合に、以降の処理を省略することで計算量を軽減することができる。また、基準位置算出部２４は、実際の回転角αに応じた各仮想の輝点１１ｂの位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎを算出する際に、回転角算出部２６が実際の回転角αを設定する際に算出した各位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎを読み出すことで、位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal を算出したものとしても良い。この場合、回転角算出部２６が算出した各位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎを記憶部３１（図５参照）に記憶しておくことで、計算量を少なくすることができる。
【００９０】
上述したように、基準位置算出部２４によって算出される光軸補正、回転角補正後の仮想の輝点１１ｂ群の結像面１５’（図６参照）上での位置座標ｕ’’ideal，ｍ，ｎ、ｖ’’ideal，ｍ，ｎと実際の位置座標ｕreal，ｍ，ｎ、ｖreal，ｍ，ｎから、各輝点１１ｂの仮想の移動量δを算出し、数式（１）、（２）、（３）（図１９参照）に代入することで、空室時の各壁面上での輝点１１ｂ群の三次元位置、すなわち、床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの移動量の測定のための基準となる三次元座標を算出することができる。さらに言えば、床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの移動量の測定のための基準となる三次元座標に基づいて、トイレ３を画成する壁面の位置を特定することができる。
【００９１】
ただし、理想的には、壁面上の輝点は、ここでトイレの形状がきれいに表れるはずだが、実際には、ノイズや補正しきれないパラメータの影響により、きれいにトイレの形状が表れない場合がある。
【００９２】
図１１は、本発明の実施の形態に係る光軸補正、回転角補正後の仮想の輝点１１ｂ群に基づいて算出した床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量測定の基準位置となる三次元座標をプロットした投影図である。（ａ）は、正面壁面５ａ側から裏面壁面５ｂ方向を見た図、（ｂ）は、側面壁面５ｃ側から側面壁面５ｄ方向を見た図である。
【００９３】
壁面特定部２７は、各基準の位置の正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄに垂直な方向の位置に関する頻度ヒストグラムに応じて正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置を特定するように構成される。すなわち、本図中下段に示す各平面上の輝点１１ｂの位置の頻度ヒストグラムをとることにより、その頻度の最も大きいところに壁面位置を求めることができる。
【００９４】
ここで、投影装置１１、撮像装置１２が取り付けられている裏面壁面５ｂと、設置高さｈの基準となっている床面４の位置は既に特定されている。頻度ヒストグラムのピークを取る位置に壁面があるものと推定できることから、図１１（ａ）下段の頻度ヒストグラムより、側面壁面５ｃ、側面壁面５ｄの位置を特定することができ、両壁面の相対的な位置関係からトイレ３の幅Ｗ（図９（ａ）も参照）を特定することができる。同様に、図１１（ｂ）下段の頻度ヒストグラムより、正面壁面５ａの値を特定することができ、正面壁面５ａと裏面壁面５ｂとの相対的な位置関係からトイレ３の奥行きＤ（図９（ａ）も参照）を特定することができる。
【００９５】
本図中、例えば図１１（ａ）の投影図中に、特定された側面壁面５ｄよりも外側にプロットされている輝点１１ｂが存在しているが、当該輝点１１ｂは、上述したようにノイズや補正しきれないパラメータの影響による誤差と見ることができる。そこで、本実施の形態では、当該誤差を軽減してより正確な移動量δの測定を行うため、基準位置算出部２４は、特定された正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置に基づいて補正された移動量測定の基準位置となる三次元座標を算出するように構成される。
【００９６】
図１２は、本発明の実施の形態に係るトイレ３のＸ軸（図６参照）を通る断面の模式的線図である。なお、本図は、側面壁面５ｃ方向を見るように図示し、便器７や撮像装置１２の結像レンズ１３ａ、結像面１５’以外の構成等、以下の説明に応じて省略できるものは適宜省略して図示してある。
【００９７】
ここで、特定された正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置に基づいて、各面上での基準となる各輝点１１ｂの三次元座標を算出するには、各輝点１１ｂと結像レンズ１３ａの中心を結ぶ直線の方程式を求める必要がある。輝点は、結像レンズ１３ａを通して、結像面１５’に結像する。言い換えれば、床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄに投影された輝点は、結像面１５’に結像した輝点と結像レンズ１３ａの中心点を結んだ直線の延長線上にある。したがって、結像面１５’上の輝点の位置（Δｕ，Δｖ）、結像レンズ１３ａから結像面１５’までの結像レンズ焦点距離ｌを用いて、結像レンズ１３ａと輝点を結ぶ直線の方程式が、図１９に示す数式（１６）と求められる。
【００９８】
数式（１６）から、Ｚ＝（ｌ／Δｕ）・Ｘ、Ｙ＝（Δｖ／Δｕ）・Ｘを導きだし、これを平面方程式の一般的な形ａＸ＋ｂＹ＋ｃＺ＝ｄに代入すると、その平面上の各輝点の三次元座標のうちのＸ座標が、図１９に示す数式（１７）で求められる。同様に、数式（１６）から、Ｚ＝（ｌ／Δｖ）・Ｙ、Ｘ＝（Δｕ／Δｖ）・Ｙを導きだし、ａＸ＋ｂＹ＋ｃＺ＝ｄに代入すると、その平面上の各輝点の三次元座標のうちのＹ座標が、図１９に示す数式（１８）で求められる。さらに、数式（１６）から、Ｘ＝（Δｕ／ｌ）・Ｚ、Ｙ＝（Δｖ／ｌ）・Ｚを導きだし、ａＸ＋ｂＹ＋ｃＺ＝ｄに代入すると、その平面上の各輝点の三次元座標のうちのＺ座標が、図１９に示す数式（１９）で求められる。
【００９９】
トイレ３には、床面４、正面壁面５ａ、側面壁面５ｃ、５ｄ、便器７の上面の５個の平面が存在すると仮定する。ここで、トイレ３の奥行Ｄ、幅Ｗ、投影装置１１、撮像装置１２の設置高さｈ、光軸角度θ、便器７の高さＨseatを入力しておく（図９（ａ）も参照）。なお、投影装置１１、撮像装置１２の設置高さｈの代わりに、トイレ高さＨを用いてもよいが、投影装置１１は、床面４の方向に輝点１１ｂを投影しているので、投影装置１１よりも上方の壁面は、実質的に輝点１１ｂの移動の測定には関係しない。よって、ここでは設置高さｈを用いることとしている。
【０１００】
図１９に示す数式（２０）、（２１）、（２２）、（２３）、（２４）に、床面４、正面壁面５ａ、側面壁面５ｃ、５ｄ、便器７の上面の５個の平面の面方程式を示す。ここで、それぞれが、上述した面の方程式ａＸ＋ｂＹ＋ｃＺ＝ｄに相当するものと考え、数式（１７）、（１８）、（１９）のａ、ｂ、ｃ、ｄに、数式（２０）、（２１）、（２２）、（２３）、（２４）の対応する値を代入すれば、床面４、正面壁面５ａ、側面壁面５ｃ、５ｄ、便器７の上面上の輝点１１ｂの三次元座標が、結像面１５’上の輝点の位置（Δｕ，Δｖ）から求まる。なお、ここで、Δｕ，Δｖは、上述した結像面１５’上での実際の輝点の位置座標ｕreal，ｍ，ｎ、ｖreal，ｍ，ｎに相当する。
【０１０１】
例えば、床面４上の輝点１１ｂの場合は、ａ＝０、ｂ＝−ｓｉｎθ、ｃ＝ｃｏｓθ、ｄ＝ｈを、数式（１７）、（１８）、（１９）に代入することで、床面４の上面上の輝点１１ｂの三次元座標が算出される。上述したように、すでに各輝点１１ｂの概ねの位置は、各仮想の輝点１１ｂとの比較で求められているので、各輝点１１ｂがいずれの面上にあるかは判っているものとすると、各輝点１１ｂに対応する面方程式としての数式（２０）、（２１）、（２２）、（２３）、（２４）と、数式（１７）、（１８）、（１９）とを用いて、各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量の測定のための基準の輝点の三次元座標を算出することができる。
【０１０２】
以上のようにして、基準位置算出部２４は、壁面特定部２７によって特定された正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置に基づいて補正された移動量測定の基準位置となる輝点の三次元座標を算出することで、ノイズや補正しきれないパラメータの影響による誤差を軽減することができる。
【０１０３】
なお、対象物（ここでは人物２）が存在するときの測定装置１４による三次元座標の算出は、以下のように行なう。まず、撮像装置１２に正対した平面に基準となる輝点が含まれるものとして、数式（１）から数式（３）に従って、当該輝点の基準位置からの移動量δにより、図６に示す座標系での輝点の位置（三次元座標）を求める。次にこの位置を、撮像装置１２の結像レンズ１３ａ（図６参照）の主面の位置と光軸の方向θ（図１参照）とから、監視領域（ここではトイレ３）の位置に座標変換する。
【０１０４】
状態判定部２３（図５参照）は、上述したように、測定装置１４により測定されたパターンの移動に基づいて、人物２の状態を判定するように構成される。具体的には、状態判定部２３は、測定装置１４により得られた人物２の形状又は動きに関する情報、ここでは、パターン１１ａの移動に関する情報としての形状情報をブロック化して、ニューラルネットワークの入力層に入力することで出力層から得られる出力に基づいて、人物２の状態を判定するように構成されている。なお、状態判定部２３により判定する人物２の状態は、典型的には、危険な状態と安全な状態の２種類を含む。危険な状態は、例えば、人物２が倒れている状態等の人物２の身体に異常が起こったと推測できる状態である。
以下、状態判定部２３による人物２の姿勢の判定について説明する。
【０１０５】
図１３は、本発明の実施の形態に用いる形状情報と、形状情報をブロック化した情報の一例を示す模式図である。本図中、上段に形状情報、下段にブロック化した情報を図示する。なお、本図（ａ）は、人物２が立っている姿勢を示す模式図、（ｂ）は、人物２が便器７の上面に座っている姿勢を示す模式図、（ｃ）は、人物２が倒れている姿勢を示す模式図である。また、本図では、形状情報、形状情報をブロック化した情報を、判りやすくするため、これらの情報を床面４、便器７の位置、形状を表示した画像に重ね合わせ、側面壁面５ｄ側から見た画像として示している。
【０１０６】
ここで、上述した測定装置１４は、算出された人物２に投影された各輝点の三次元座標に基づいて、人物２の形状情報を生成するように構成されている。形状情報とは、人物２の形状を示す情報であり、ここでは、測定装置１４で算出された人物２に投影された各輝点の三次元座標を、移動した全輝点について、トイレ３室内の三次元空間にプロットした情報である。
【０１０７】
状態判定部２３は、さらに、測定装置１４が生成した形状情報をブロック化するように構成されている。さらに言えば、状態判定部２３は、形状情報を、投影される輝点の間隔よりも広い領域のブロック毎の情報に変換する。具体例としては、トイレ３内の空間を所定の間隔に区切った領域をブロックとして、そのブロック内にある形状情報をまとめた情報量の少ないデータに変換する。所定の間隔は、例えばトイレ３内で１５ｃｍ程度に相当する間隔である。ここでは、ブロックは、トイレ３の空間を１５ｃｍの立方体のメッシュ状に分割して、幅方向に６個×高さ方向に１４個×奥行方向に１２個、計１００８個にブロック化した。ブロック毎の情報は例えば２進数データで示すとよい。この場合には、例えばブロック内に形状情報（輝点）があれば１、全く無ければ０、といったように変換するとよい。
【０１０８】
さらに、状態判定部２３は、前記ブロック化した情報をニューラルネットワークに入力することで、人物２の状態の判定結果を得るように構成されている。本実施の形態では、ニューラルネットワークに入力することで得られる人物２の状態の判定結果は、「危険な状態」、「安全な状態」の２つの状態である。ニューラルネットワークは、典型的にはフィードフォワード型ニューラルネットワークである。
図１４のブロック図に、状態判定部２３による人物２の状態の判定の概念を示す。
【０１０９】
ここでニューラルネットワークについて説明する。ニューラルネットワークモデルは、人間の脳での情報処理メカニズムをヒントに考案された情報処理モデルである。本実施の形態では、ニューラルネットワークのモデルの1つであるフィードフォワード型ネットワークにおいてバックプロパゲーションアルゴリズム（誤差逆伝播アルゴリズム）を用いている場合で説明する。
【０１１０】
バックプロパゲーションアルゴリズムについて説明する。図１５に示すように、ニューラルネットワークモデルは、ユニットと呼ばれる多入力、１出力素子がシナプス結合と呼ばれる、一方向だけに信号が伝わり、ある重みを持った結合で結ばれている。また、ユニットはそれらの重みと入力値を掛けた値の総和を入力とし、応答関数ｆ（ｘ）による変形の後、出力される。この出力が各ユニットの状態となる。今回は応答関数ｆ（ｘ）には、準線形の飽和型の特性をもたせるため、シグモイド関数を用いた。
【０１１１】
また、図１６に示すように、図１５のユニットが、入力層、中間層、出力層からなる階層構造で結ばれたネットワークを多層パーセプトロンと言う。そして、このネットワークから出されたデータを正解である教師信号と比較して、その誤差を極小化させるように、入力層、中間層、出力層を相互に関連づける重み係数としての各結合の重みＷｉを変更、更新することにより、ネットワークに学習させる方法をバックプロパゲ−ションアルゴリズムという。バックプロパゲ−ションアルゴリズムは、各入力に対する出力と、理想の出力（教師信号）の誤差を用いて、ユニット間の重みＷｉを更新（学習）していくものである。また、バックプロパゲ−ションアルゴリズムは、複雑な入出力関係を学習することが可能な方法であると言われている。
【０１１２】
図１７に示すように、状態判定部２３は、以上ようなニューラルネットワークを用いて人物２の状態を判定する。なおここでは、学習済みのニューラルネットワークのデータにより、人物２の状態の判定を行う場合を示している。またニューラルネットワークへの入力は、図１３で前述したブロック化した情報である。さらに、各ブロックの出力が各入力層Ｓの出力に相当する。すなわち、ここでは、入力層Ｓの数は、ブロックの数と等しい１００８個である。また、中間層Ａの数は、例えば、２〜５個程度、ここでは３個である。出力層Ｒは安全ノード、危険ノードの２個とした。
【０１１３】
状態判定部２３は、安全ノードの出力が危険ノードの出力よりも高い値を示したときは、トイレ３内の人物２は安全な状態であると判定し、逆に危険ノードの出力が安全ノードの出力よりも高い値を示したときは、危険な状態であると判定する。例えば、本図では、安全な状態の一例として、図１３（ａ）に示した人物２が「立っている」場合の情報が入力されると、出力層Ｒの中で、安全ノードの方が危険ノードよりも高い値を持ち、入力データが「安全な状態」であることがわかる。
【０１１４】
なお、ここでは、まず最初に、ニューラルネットワークの学習段階として、模擬トイレを用いて、被験者に実際にトイレを利用する姿勢と、転倒時の姿勢の演技を行い、その中から、安全な状態２５００シーンの形状情報と、危険な状態２５００シーンの形状情報とを抽出し、学習セットとする。そして、教師信号として、安全な状態の形状情報については、安全ノードに１、危険ノードに０を、逆に危険な状態の形状情報については、安全ノードに０、危険ノードに１を与え、バックプロパゲ−ションアルゴリズムにて各結合の重みＷｉを設定する。なお、１シーンは、１つの取得像に応じた画像データであり、したがって、例えば、２５００シーンの形状情報を取得するという場合には、２５００個の取得像に応じた画像データを取得するということである。
【０１１５】
ここで、再び図５を参照する。状態判定部２３は、上述のように、学習させたデータにより、トイレ３室内の人物２の安否の判定を行う。状態判定部２３は、人物２が危険な状態であると判定し、当該危険な状態が、例えば３秒から６０秒、好ましくは５秒から１５秒、ここでは、５秒以上続いた場合に、上述した警報信号部２８に危険信号を送信する。警報信号部２８は、危険信号を受信すると、当該警報信号部２８に接続され、トイレ３内に設置されている警報装置４１に警報信号を送信する。警報装置４１は、例えば、音声や警報音等を発生させるスピーカによって構成されており、警報信号を受信すると、音声や警報音等を発生させ、トイレ３内の人物２に警報を発する。なお、警報装置４１は、スピーカでなくても警報を発せられるものであればなんでもよく、例えば、文字情報等によって警報を発するモニタなどでもよい。
【０１１６】
さらに、警報信号部２８には、トイレ３内に設置される警報解除ボタン４２と緊急通報ボタン４３とが接続されている。警報解除ボタン４２は、例えば、警報装置４１によって警報が発せられた際に、実際には人物２が安全な状態であった場合、すなわち、状態判定部２３による危険な状態の判定が誤っていた場合に、人物２が当該警報解除ボタン４２を押すことで、警報解除信号を警報信号部２８に送信するように構成される。警報信号部２８は、警報解除信号を受信すると警報を解除する。
【０１１７】
警報信号部２８は、例えば３秒から３０秒、好ましくは５秒から１０秒、ここでは、７秒間警報が解除されなかった場合には、通報信号を通報装置（不図示）に送信し、例えば、別室に待機している医師や看護士等に対して人物２が危険な状態であることを通報する。緊急通報ボタン４３は、状態判定部２３による状態の判定には関係なく、人物２が当該緊急通報ボタン４３を押すことで、緊急通報信号を警報信号部２８に送信するように構成される。警報信号部２８は、緊急通報信号を受信すると、同様に通報信号を通報装置（不図示）に送信する。
【０１１８】
状態判定部２３は、さらに、警報解除ボタン４２によって前記警報が解除された際に、入力層Ｓ（図１７参照）と出力層Ｒ（図１７参照）とを関連付ける結合の重みＷｉを変更、更新する追加学習を行うように構成される。これらの結合の重みＷｉは、上述のように、初期では予め多くの一般的と考えられる学習パターンにより学習して決定された数値が記憶されている。ただし、実際に使用する上では、使用者の特性や使用環境により、事前の学習では当てはまらなかった状態が発生することが考えられ、それに合わせた追加の学習が実使用上必要である。具体的には、状態判定部２３は、予め設定される測定装置１４により得られた人物２の形状又は動きに関する第１の情報であって、該情報に基づいては人物２が安全な状態と判定しない第１の情報としての第１の形状情報と、警報解除ボタン４２によって解除された警報が発せられる直前の一定期間の測定装置１４により得られた人物２の形状又は動きに関する第２の情報であって、該情報に基づいて人物２が危険な状態と判定した第２の情報としての第２の形状情報を用いて、前記結合の重みＷｉを変更する追加学習を行うように構成される。
【０１１９】
ここで、第１の形状情報は、例えば、完全に床に倒れているような状態など、どのような監視の条件であっても危険な状態であると判定される形状情報である。第２の形状情報は、言い換えれば、人物２が危険の状態であると判定したが、実際には、安全の状態であった場合の情報、すなわち、誤って危険な状態であると判定してしまった形状情報である。状態判定部２３は、警報がトイレ３の利用者である人物２により解除されたら、その姿勢は安全な状態であったものとして追加学習を行う。
【０１２０】
状態判定部２３は、ニューラルネットワークの出力により、人物２が危険な状態であると判定した場合、上述したようにまずトイレ３内部に対して警告を行う。ニューラルネットワークの出力が常に正しいとは限らないため、その判定が間違っていた場合に誤警報が起こる場合がある。人物２のある姿勢が、実は安全な状態であるにもかかわらず、ニューラルネットワークの出力によって危険な状態と判断する場合、同じ監視領域内で同一の人物２が再び同じ姿勢をとる可能性は非常に高い。この場合、再び誤った判定、誤警報が起こってしまう。頻繁に誤報を起こしてしまうことは、危険を察知するシステムとして好ましくなく、またユーザの使用意欲を失わせてしまう。
【０１２１】
そこで、本実施の形態では、状態判定部２３は、第１の形状情報と第２の形状情報とを用いて、前記結合の重みＷｉを変更する追加学習を行う。ここで、第１の形状情報と第２の形状情報の２種類の形状情報を用いるのは、誤って危険な状態であると判定してしまった第２の形状情報のみを用いて、追加学習を行うと、本来、危険な状態と判断すべき形状情報にまで影響を与えてしまう可能性があるためである。つまり、絶対に安全な状態であると判別してはいけない形状情報まで、安全な状態であると判別してしまうことを防止するために、誤って危険な状態であると判定してしまった第２の形状情報に、どのような監視の条件であっても危険な状態であると判定される第１の形状情報を加えた追加学習データを用いて追加学習を行う。
【０１２２】
なお、警報解除ボタン４２によって前記警報が解除された際に、誤って危険な状態であると判定してしまった第２の形状情報を、初期のニューラルネットワークの学習段階に用いた安全な状態２５００シーンの形状情報、危険な状態２５００シーンの形状情報に加えて、すべてのデータで再学習することが理想の学習であることは間違いない。しかし、この方法では、一般的には、最初の学習で用いる形状情報が非常に多く、さらに、新たに追加した第２の形状情報とともに再学習させると、非常に膨大な学習時間がかかる。また、警報解除ボタン４２によって前記警報が解除された際に、その都度、膨大な時間をかけて再学習をしなければならず、また、追加する第２の形状情報もその都度に増え続けることになる。本実施の形態のように、第２の形状情報に、第１の形状情報を加えた追加学習データを用いて追加学習を行うことで、例えば、上記のような、再学習と比較して少ない保持データで高速に、各結合の重みＷｉを更新できる。また、学習用のデータが増え続けてしまうようなこともない。
【０１２３】
具体的には、まず、初期のニューラルネットワークの学習段階で用いた危険な状態２５００シーンの形状情報の中から、どのような使用状態おいても危険な状態であると推定できる姿勢についての形状情報を、例えば、３０シーンから５００シーン、好ましくは、５０シーンから２００シーン、ここでは、１００シーン選び出し、それを記憶部３１に記憶する。一般的な学習用データを取得したトイレ（監視領域）に対して実際に使用されるトイレ（監視領域）では、物が置いてあったり形状が異なる場合があることから、他のトイレ（監視領域）で実際に危険な状態であるとは限らない。よって、トイレ（監視領域）の使用状況や使用者の特徴等に関わりなく危険の状態であると判別できる姿勢の形状情報を、人の目視で選び出しておく。この選び出した形状情報を、第１の形状情報とする。
【０１２４】
第２の形状情報は、本実施の形態では、状態判定部２３が人物２の状態を判定した際に、上述した記憶部３１に一時的に記憶される当該判定の直前の一定期間のパターンの移動に関する形状情報で、警報装置４１が警報を発する際に、記憶部３１にそのまま保持し続けられた情報を用いる。ここで、当該判定の直前の一定期間の形状情報は、例えば、判定前３秒から３０秒における１０シーンから１００シーン、好ましくは、２０シーンから６０シーン、ここでは、４０シーンの形状情報とする。
【０１２５】
すなわち、記憶部３１に一時的に記憶される形状情報は、状態判定部２３による人物２の状態の判定にともなって、随時更新されていく。記憶部３１は、警報装置４１が警報を発した際に、その直前の４０シーンの形状情報を、放棄せずにそのまま保持し続ける。ここで、上述したように、警報装置４１は、危険な状態が一定期間、ここでは、５秒以上続いたときに警報を発するので、警報装置４１が警報を発した直前の一定期間は危険な状態の判定になっていることになる。その後、警報解除ボタン４２によって前記警報が解除された場合には、ここで記憶部３１に保持し続けた形状情報が、実際は安全な状態であるにもかかわらず、誤って危険な状態であると判定してしまった第２の形状情報であることになる。
【０１２６】
なお、記憶部３１が一定期間の形状情報を放棄せずにそのまま保持し続ける際は、一時的な記憶の更新を中断することで、保持し続けてもよいし、記憶部３１に第２の形状情報を記憶するための領域を形成しておき、当該領域に当該形状情報を記憶させておいてもよい。要するに、放棄されずに、追加学習の際に呼び出せればよい。
【０１２７】
状態判定部２３は、追加学習のための教師信号として、どのような監視の条件であっても危険な状態であると判定される１００シーンの第１の形状情報については、安全ノードに０、危険ノードに１を、誤って危険な状態であると判定してしまった４０シーンの第２の形状情報ついては、安全ノードに１、危険ノードに０を与え、バックプロパゲ−ションアルゴリズムにてこれまでの各結合の重みＷｉを出発点にして更新する。
【０１２８】
図１８は、本発明の実施の形態に係る室内監視装置１による処理工程の概略を示すフロー図である。本図を参照して室内監視装置１による床面４と床面４とは異なる正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄで画成されるトイレ３に存在する人物２の位置を測定する方法、ここでは位置を測定して、人物２の状態を監視する方法について説明する。なお、室内監視装置１の構成については適宜図５又は図９を参照する。なお、室内監視装置１の構成の説明と重複する説明はできる限り省略するものとする。
【０１２９】
まず、投影工程として、トイレ３の床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄに対して、投影装置１１によるパターン１１ａを形成するパターン光（輝点）１１ｂの投影を開始し（Ｓ１００）、撮像工程として、パターン光（輝点）１１ｂが投影されたトイレ３の撮像装置１２による撮像を開始する（Ｓ１０２）。投影装置１１によるパターン光（輝点）１１ｂの投影は、監視が終了するまで継続される。撮像装置１２による撮像も、同様に、監視が終了するまで０．１〜０．２５秒程度の取得間隔で継続される。また、ここでは、トイレ３は空室の状態、すなわち、人物２が存在しない状態であり、後述する第２の基準位置算出工程（Ｓ１１２）までは、当該空室の状態で各工程は実行される。言い換えれば、第２の基準位置算出工程（Ｓ１１２）までの各処理は、室内監視装置１の自動設定のための処理と言うことができる。
【０１３０】
次に、光軸角度補正工程として、光軸角度補正部２５によって、投影装置１１と撮像装置１２との光学配置に基づいて算出される、床面４上での投影装置１１の光軸上のパターン光１１ｂが撮像されるべき位置と、床面４上に実際に投影され、撮像装置１２によって撮像されたパターン光１１ｂであって、床面４上での投影装置１１の光軸上のパターン光１１ｂが撮像されるべき位置に最も近いパターン光１１ｂの位置に基づいて、投影装置１１の光軸の傾きを補正する（Ｓ１０４）。
【０１３１】
さらに、回転角算出工程として、回転角算出部２６によって、床面４上の床面領域の実際のパターン１１ａに関してハフ変換を実行して、第１の角度ピークとして、床面４上の実際の輝点１１ｂ群から抽出される直線の支配的な角度θreal，α０を算出する。さらに、仮想平面８上の床面領域の仮想のパターン１１ａに関してハフ変換を実行して、投影装置１１のＦＧ素子１２２を投影装置１１の光軸周りに０°から１８０°まで０．１°刻みで仮定したときの各回転角α毎に、第２の角度ピークとして、仮想平面８上の床面領域の仮想の輝点１１ｂ群から抽出される直線の支配的な角度θideal，α０を算出する。角度θreal，α０と各回転角α毎の角度θideal，α０とが略一致した際の、光軸周りの回転角αを、投影装置１１の実際の回転角αとして設定する（Ｓ１０６）。
【０１３２】
次に、第１の基準位置算出工程として、基準位置算出部２４によって、パターン光１１ｂの投影範囲に比較して十分に広いものと仮想した仮想平面８（図９参照）に投光され、投影装置１１と撮像装置１２との光学配置に基づいて算出される光軸補正、回転角補正後の仮想のパターン光（輝点）１１ｂの位置を算出する。さらに、光軸補正、回転角補正後の仮想のパターン光（輝点）１１ｂの位置と実際に撮像されるパターン光１１ｂの位置とを比較して、測定装置１４が撮像装置１２により撮像された像上のパターンの移動を測定する際の正面壁面５ａ（図１参照）、側面壁面５ｃ（図１参照）、側面壁面５ｄ（図１参照）上での基準の位置を算出する。すなわち、基準像を算出し、各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での移動量の測定のための基準の三次元座標を算出する（Ｓ１０８）。
【０１３３】
次に、壁面特定工程として、壁面特定部２７によって、各基準の位置の正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄに垂直な方向の位置に関する頻度ヒストグラム（図１１参照）に応じて正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置を特定する。すなわち、各平面上の輝点１１ｂの位置の頻度ヒストグラムをとることにより、その頻度の最も大きいところに壁面位置を求める（Ｓ１１０）。
【０１３４】
続いて、第２の基準位置算出工程として、基準位置算出部２４によって、特定された正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置に基づいて補正された移動量測定の基準位置となる三次元座標を算出する（Ｓ１１２）。以上で室内監視装置１の自動設定のための処理は終了する。以降の処理は、トイレ３内に人物２が存在する状態で実行される。
【０１３５】
次に、測定工程として、以上のようにして算出した、トイレ３が空室時の各輝点１１ｂの床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上でのパターン光（輝点）１１ｂの三次元座標を基準として、測定装置１４によって、撮像装置１２で実際に撮像された像上の各パターン光（輝点）１１ｂの移動量δを測定する。さらに、測定した当該移動量に基づいて人物２に投影された各パターン光（輝点）１１ｂの三次元座標を算出し、人物２の形状又は動きに関する情報としての形状情報（図１３参照）を生成する（Ｓ１１４）。
【０１３６】
さらに、状態判定工程として、状態判定部２３によって、測定装置１４が生成した形状情報をブロック化し（図１３参照）、ニューラルネットワークの入力層Ｓ（図１７参照）に入力することで出力層Ｒ（図１７参照）から得られる出力に基づいて、人物２の状態を判定する（Ｓ１１６）。また、ここで、記憶部３１は、当該判定の直前の４０シーンの形状情報を一時的に記憶しておく。
【０１３７】
状態判定部２３は、出力層Ｒの安全ノードの出力が危険ノードの出力よりも高い値を示したときは、トイレ３内の人物２は安全な状態であると判定し（Ｓ１１８；ＮＯ）、Ｓ１２０に移行して、さらに監視を継続する場合（Ｓ１２０；ＹＥＳ）は、測定工程（Ｓ１１４）に戻って、以降の各処理を繰り返し実行する。監視を継続しない場合（Ｓ１２０；ＮＯ）には、監視を終了する。
【０１３８】
出力層Ｒの危険ノードの出力が安全ノードの出力よりも高い値を示したときは、危険な状態であると判定し（Ｓ１１８；ＹＥＳ）、危険な状態が５秒以上継続したか否かを判定する（Ｓ１２２）。５秒以上継続していない場合（Ｓ１２２；ＮＯ）は、測定工程（Ｓ１１４）に戻って、以降の各処理を繰り返し実行する。５秒以上継続していない場合（Ｓ１２２；ＹＥＳ）は、状態判定部２３は、警報信号部２８に危険信号を送信し、次段の警報発報工程（Ｓ１２４）に移行する。
【０１３９】
警報発報工程では、危険信号を受信した警報信号部２８によって、警報装置４１に警報信号が送信され、当該警報装置４１によってトイレ３内の人物２に対して警報が発せられる（Ｓ１２４）。このとき、状態判定工程（Ｓ１１６）で、記憶部３１に、一時的に記憶しておいた４０シーンの形状情報を放棄せずに、後述する追加学習工程（Ｓ１３２）で用いるための第２の形状情報として保持し続ける。
【０１４０】
続いて、警報信号部２８によって、人物２が当該警報解除ボタン４２を押すことで、警報が解除されたか否かを判断し（Ｓ１２６）、警報が解除されたと判断した場合（Ｓ１２６；ＹＥＳ）は、追加学習工程（Ｓ１３２）に移行する。
【０１４１】
警報が解除されていないと判断した場合（Ｓ１２６；ＮＯ）は、警報信号部２８によって、警報が解除されない期間が、７秒間以上継続したか否かを判断し（Ｓ１２８）、７秒間以上継続していない場合に（Ｓ１２８；ＮＯ）は、Ｓ１２６に戻って、以降の各処理を繰り返し実行する。
【０１４２】
７秒間以上継続した場合に（Ｓ１２８；ＹＥＳ）は、通報工程として、警報信号部２８によって、通報装置（不図示）に通報信号を送信し、例えば、別室に待機している医師や看護士等に対して人物２が危険な状態であることを通報し（Ｓ１３０）、監視を終了する。
【０１４３】
Ｓ１３２の追加学習工程では、状態判定部２３によって、予め記憶部３１に記憶されているどのような監視の条件であっても危険な状態であると判定される１００シーンの第１の形状情報と、警報発報工程（Ｓ１２４）で放棄せずに記憶部３１に記憶し続けていた誤って危険な状態であると判定してしまった４０シーンの第２の形状情報とを用いて、ニューラルネットワークの追加学習を行う。状態判定部２３は、追加学習のための教師信号として、第１の形状情報については、安全ノードに０、危険ノードに１を、第２の形状情報ついては、安全ノードに１、危険ノードに０を与え、バックプロパゲ−ションアルゴリズムにて各結合の重みＷｉを更新する。
【０１４４】
追加学習工程（Ｓ１３２）が実行されると、続いてＳ１２０に移行して、さらに監視を継続する場合（Ｓ１２０；ＹＥＳ）は、測定工程（Ｓ１１４）に戻って、以降の各処理を繰り返し実行する。監視を継続しない場合（Ｓ１２０；ＮＯ）には、監視を終了する。
【０１４５】
なお、ここで、演算装置２０の各部での各処理、上述の方法は、コンピュータにインストールして、該コンピュータを室内監視装置として作動させ、各処理を実行するようにコンピュータを制御するソフトウエアプログラムとして実現することが可能であり、係るソフトウエアプログラムを記録する記録媒体としても実現可能である。ソフトウエアプログラムはコンピュータ内蔵のプログラム部（不図示）に記録されて使用されても良く、外付けの記憶装置やＣＤ−ＲＯＭに記録され、プログラム部（不図示）に読み出されて使用されても良く、またインターネットからプログラム部（不図示）にダウンロードされて使用されても良い。
【０１４６】
以上で説明した本発明の実施の形態に係る室内監視装置１又はソフトウエアプログラムによれば、状態判定部２３は、警報解除ボタン４２によって前記警報が解除された際に、入力層Ｓ（図１７参照）と出力層Ｒ（図１７参照）とを関連付ける結合の重みＷｉを更新する追加学習を行うように構成される。したがって、例えば、危険な状態であると判別されるべき姿勢について、予め想定されていないような姿勢を取った際に、誤った判断をしてしまった場合や、監視する空間ごとに危険な状態の姿勢は異なってくる場合等の種々の監視の条件に対して、装置を運用しながら、誤った判断をした際に、同じ誤りを繰り返さずに、徐々に監視の条件に適応して、誤報の少ない正確な判断をすることができる監視装置及びソフトウエアプログラムを提供することができる。
【０１４７】
また、言い換えれば、装置の設置の際に、設置する監視の空間に対応させて、細かな設定をする必要がないため、必ずしも専門的な知識を有するものが設置する必要がなく、すなわち、容易に室内監視装置１を設置することができる。さらに、追加学習では、第２の形状情報に、第１の形状情報を加えた追加学習データを用いて追加学習を行うことで、例えば、上述したように、再学習と比較して少ない保持データで高速に、各結合の重みＷｉを更新できる。また、学習用のデータが増え続けてしまうようなこともない。
【０１４８】
また、状態判定部２３は、予め設定される測定装置１４により得られた人物２の形状又は動きに関する第１の情報であって、該情報に基づいては人物２が安全な状態と判定しない第１の形状情報と、誤って危険な状態であると判定してしまった第２の形状情報を用いて、前記結合の重みＷｉを変更する追加学習を行うように構成される。これにより、追加学習後の状態の判定で、追加学習前に誤って危険な状態であると判定してしまった形状情報を安全な状態であると判定するだけでなく、絶対に安全な状態であると判別してはいけない形状情報まで、安全な状態であると判別してしまうようなことを防止することができる。
【０１４９】
また、以上で説明した本発明の実施の形態に係る室内監視装置１又はソフトウエアプログラムによれば、基準位置算出部２４は、パターン光１１ｂの投影範囲に比較して十分に広いものと仮想した仮想平面８に投光され、投影装置１１と撮像装置１２との光学配置に基づいて算出される仮想のパターン光の位置と、実際に撮像されるパターン光１１ｂの位置とを比較して、測定装置１４が撮像装置１２により撮像された像上のパターンの移動を測定する際の床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの基準の位置を算出するように構成される。したがって、例えば、監視する空間の形状や広さ、空間内に設置されているもの、便座の位置、大きさや形状等の種々の条件にあわせて、装置の設置の度に基本的な初期設定を手動で行う必要がなく、装置の設置作業を簡略化することのできる室内監視装置１又はソフトウエアプログラムを提供することができる。
【０１５０】
さらに、光軸角度補正部２５は、投影装置１１と撮像装置１２との光学配置に基づいて算出される、床面４上での投影装置１１の光軸上のパターン光１１ｂが撮像されるべき位置と、床面４上に実際に投影され、撮像装置１２によって撮像されたパターン光１１ｂであって、床面４上での投影装置１１の光軸上のパターン光１１ｂが撮像されるべき位置に最も近いパターン光１１ｂの位置に基づいて、投影装置１１の光軸の傾きを補正するように構成される。したがって、撮像装置１２の光軸と投影装置１１の光軸との傾きの誤差を補正することができ、基準位置算出部２４は、補正された投影装置１１の光軸の傾きに応じた光軸角度補正後の仮想のパターン光（輝点）１１ｂに基づいて、パターンの移動を測定する際の床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの基準の位置を算出することで、当該傾きの影響を排除することができる。したがって、移動の測定をより正確に行うことができ、結果的に、状態判定部２３による人物２の状態の判定もより正確に行うことができる。
【０１５１】
また、回転角算出部２６は、床面４上の実際のパターン１１ａに関してハフ変換を実行して第１の角度ピークを算出し、前記仮想平面８上の一定範囲の仮想のパターン光１１ｂによって形成される仮想のパターン１１ａに関してハフ変換を実行して、投影装置１１のＦＧ素子１２２を投影装置１１の光軸周りに一定角度回転させる毎に第２の角度ピークを算出する。回転角算出部２６は、第１の角度ピークと第２の角度ピークとが略一致した際の、光軸周りの回転角αを、投影装置１１の実際の回転角αとして設定することができる。したがって、基準位置算出部２４は、設定された回転角αに応じた回転角補正後の仮想のパターン光（輝点）１１ｂに基づいて、パターンの移動を測定する際の床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの基準の位置を算出することで、当該回転角αの影響を排除することができる。したがって、測定装置１４（図５参照）による輝点移動量δの測定において、上述したような飛び越えが発生しない範囲、すなわち、検出範囲を広くとるために、投影装置１１のＦＧ素子１２２（図４参照）を基線方向（ｖ軸方向）に対して回転させて使用しても、移動の測定を正確に行うことができる。結果的に、状態判定部２３による人物２の状態の判定もより正確に行うことができる。
【０１５２】
さらに、壁面特定部２７は、以上のようにして算出されたパターン光（輝点）１１ｂの各基準の位置の正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄに垂直な方向の位置に関する頻度ヒストグラム（図１１参照）に応じて正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置を特定する。基準位置算出部２４は、壁面特定部２７によって特定された正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄの位置に基づいて、補正されたパターンの移動を測定する際の床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの基準の位置を算出する。これにより、基準の位置の算出におけるノイズや補正しきれないパラメータの影響による誤差を軽減することができる。
【０１５３】
また、以上のように、本実施の形態の室内監視装置１は、トイレ３の床面４と正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上にパターンを形成するパターン光を投影する投影装置１１と、前記パターン光が投影された、対象物としての人物２の存在するトイレ３を撮像する撮像装置１２と、トイレ３に人物２が存在しないときに床面４と正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄに投影されたパターン光を基準として、撮像された像上のパターンの移動を測定し、該測定されたパターンの移動に基づいて、人物２に投影されたパターン光の三次元位置を算出する測定装置１４を備える。
【０１５４】
このように構成されていることで、例えばトイレ３に人物２が存在することにより、人物２にパターンが投影されることで、撮像装置１２により撮像された像上でパターンが移動し、さらにこの移動量を測定することで、人物２の形状を測定できる。これにより、トイレ３に存在する人物２をより正確に監視できる。
【０１５５】
さらに、投影装置１１と撮像装置１２は、床面４と正面壁面５ａに対向する位置に配置されるので、例えば必要な測定範囲と分解能を容易に確保できる。さらに言えばパターンを形成する輝点の移動量を測定する際に発生する輝点の飛び越えの影響を大幅に低減できる。しかも、トイレ３の人物２に多くの輝点が当り、多くの位置情報（三次元座標）を得ることができる。
【０１５６】
また、室内監視装置１は、測定装置１４により測定されたパターンの移動に基づいて、人物２の状態を判定する状態判定部２３を備え、状態判定部２３は、測定装置１４により測定されたパターンの移動に関する情報としての形状情報をブロック化して、ニューラルネットワークに入力することで、判定結果を得るように構成されている。
【０１５７】
このように構成することで、例えば状態判定部２３は、測定装置１４で算出された人物２に投影された各輝点の三次元座標に基づいた人物２の形状情報を、さらにブロック化するので、ニューラルネットワークに入力する情報量を少なくできる。即ち処理が容易になる。また、人物２の状態の判定結果をニューラルネットワークに入力することで得るので、人物２の状態に対して判定を行う系の応答を最適化し、トイレ３に存在する人物２をより正確に監視できる。
【０１５８】
また、室内監視装置は、トイレ３に人物２が進入し、人物２がどのような状態にあるか、また退出したかといった一連の動きを単純な装置で追従することができる。このように室内監視装置１は、例えば、人物２の状態を判断して、人物２が倒れたとかどうかといった監視を非常に容易に行なうことができる。さらに簡易な装置で高速処理が可能である。
【０１５９】
なお、本発明の実施の形態である室内監視装置１又はソフトウエアプログラムは、上述した実施の形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。以上の説明では、監視装置として室内監視装置１である場合で説明したが、これに限られない。なお、監視は測定を含む概念であり、例えば本実施の形態の室内監視装置１は、対象物の位置分布を測定することもできる。また、状態判定部２３がブロック化してニューラルネットワークに入力する情報は、測定装置１４によって測定されたパターンの移動に関する情報であるものとして説明したが、これに限らず、対象物の形状又は動きに関する情報であれば何でもよい。
【０１６０】
また、以上の説明では、基準位置算出部２４は、光軸角度補正、回転角補正後の仮想のパターン光（輝点）１１ｂに基づいて、パターンの移動を測定する際の床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの基準の位置を算出し、さらに、床面４、正面壁面５ａ、側面壁面５ｃ、側面壁面５ｄ上での各輝点１１ｂの位置を特定し、当該特定された位置に基づいて、補正された当該基準の位置を算出するものとして説明した。しかしながら、光軸角度補正、回転角補正、壁面位置特定後の補正の３つの補正を、必ず行う必要はなく、例えば、３つの補正のうちの２つを組み合わせてもよい。ただし、上記３つの補正を行った方が、基準位置の算出をより正確に行うことができることはいうまでもない。
【０１６１】
また、以上の説明では、第１の平面は床面４であるものとして説明したが、例えば、投影装置１１、撮像装置１２の光軸が正面壁面５ａと交差するように配設されている場合には、正面壁面５ａを第１の平面、床面４、側面壁面５ｃ、側面壁面５ｄを第２の平面としてもよい。この場合、光学配置として結像レンズ１３ａから床面４までの設置高さｈの代わりに、結像レンズ１３ａから正面壁面５ａまでの水平方向の距離が分かっていればよい。また、この場合、仮想平面８は、正面壁面５ａを含むようなパターン光１１ｂの投影範囲に比較して十分に広い平面を仮想すればよい。
【０１６２】
また、光軸角度補正部２５（図５参照）は、投影装置１１と撮像装置１２の設置角度、すなわち、予め定められている光学配置としての光軸角度θに対する実際の投影装置１１の光軸角度のずれを算出して、投影装置１１の光軸の傾きを補正するものとして説明したが、予め定められている光学配置としての光軸角度θに対する実際の撮像装置１２の光軸角度のずれを算出して、撮像装置１２の光軸の傾きを補正してもよいし、投影装置１１、撮像装置１２両方の光軸の傾きを補正してもよい。ただし、本実施の形態のように、撮像装置１２の光軸角度のずれを補正しなくとも、設置高さｈ等は、撮像装置１２の光軸角度が若干ずれている程度であれば、大きな誤差にはならないので、特に問題はない。
【０１６３】
なお、以上の説明では、状態判定部２３は、測定装置１４により得られた前記対象物の形状又は動きに関する情報としての測定されたパターンの移動に関する情報をブロック化して、ニューラルネットワークの入力層Ｓ（図１７参照）に入力するものとして説明したが、必ずブロック化しなければならないわけではない。例えば、壁以外で検出した輝点群の重心位置や慣性主軸の方向などをニューラルネットの入力パラメータとすることができる。また、測定装置１４により得られた前記対象物の動きに関する情報を用いて入力する際も、必ずしもブロック化する必要はない。
【０１６４】
また、以上の説明では入力装置３５、ディスプレイ４０を備えるものとして説明したが、これらの代わりにより単純な構成として、装置の操作上、リセットや装置の起動・終了を行うスイッチ類と、その状況を表示する何らかのインジケータを備える構成としても良い。
【０１６５】
なお、ニューラルネットについては、各層のノード数を識別対象の特性に応じて吟味する必要がある。入力層Ｓ数は、人物２の状態の判定にどの程度の空間分解能が必要かで決まっており、以上の説明では、ブロックの数と等しく１００８個とした。出力層Ｒの数は識別したいカテゴリ数で決まっている。以上の説明では、安全ノード、危険ノードの２個とした。中間層Ａの数は、判定が可能な範囲でできるだけ少ないことが望ましく、これが多すぎると、未学習の入力パターンに対する判定が正しく得られないケースが多くなる、すなわち、汎化能力が低くなる場合がある。以上の説明では、３個とした。
【０１６６】
出力層Ｒの数は、安全ノード、危険ノードの２個としたが、例えば、人物２が立っている状態、座っている状態、倒れている状態の様に、人物２の姿勢に関してカテゴリ分けして、その姿勢から安全、危険を判定するように構成しても良い。
【０１６７】
また、以上で用いた階層型のニューラルネットの代わりに、自己組織化マップ型のニューラルネットを用いることができる場合がある。これは、階層型とは異なり、基本的には入力層Ｓと出力層Ｒのみ構造で、入力パターンに対して、出力層Ｒで最も高い出力を得たノードとその周囲のノードが更に高い出力を得られるように結合を強めていく、教師無し学習を行うニューラルネットである。多くの学習パターンを提示している内に、自然に、類似した入力パターンに対して、出力層の近い位置のノードが発火するようになる。したがって、出力層Ｒのノード位置を安全、危険の判定に対応させることで、判定機能を持たせることができる。ここでも、同じ考え方で，追加学習のパターンを提示することにより、追加学習を行うことができる。
【図面の簡単な説明】
【０１６８】
【図１】本発明の実施の形態に係る室内監視装置の概略を示す模式的外観図である。
【図２】本発明の実施の形態に係る投影装置と撮像装置を天井の中央部に配置した場合を説明する模式的側面図である。
【図３】本発明の実施の形態に係る投影装置と撮像装置を床面と正面壁面に対向する位置に配置した場合を説明する模式的側面図である。
【図４】本発明の実施の形態に係る投影装置を説明する模式的斜視図である。
【図５】本発明の実施の形態に係る室内監視装置の構成例を示すブロック図である。
【図６】本発明の実施の形態での輝点の移動の概念について説明する概念的斜視図である。
【図７】図６の場合での結像面に結像した輝点について説明する模式図である。
【図８】本発明の実施の形態でのトイレの床面、正面壁面、側面壁面、側面壁面の境界とトイレに人物が存在しない時に撮像装置により撮像された像の一例を示す模式的平面図である。
【図９】本発明の実施の形態に係る投影装置によって投影されるパターンの一例を示す図であり
【図１０】本発明の実施の形態に係るハフ変換の概念について説明する図である。
【図１１】本発明の実施の形態に係る光軸補正、回転角補正後の仮想の輝点群に基づいて算出した床面、正面壁面、側面壁面、側面壁面上での移動量測定の基準位置となる三次元座標をプロットした投影図である。
【図１２】本発明の実施の形態に係るトイレのＸ軸（図６参照）を通る断面の模式的線図である。
【図１３】本発明の実施の形態に用いる形状情報と、形状情報をブロック化した情報の一例を示す模式図である。
【図１４】本発明の実施の形態で用いる、状態判定部による人物の状態の判定の概念を示すブロック図である。
【図１５】本発明の実施の形態で用いる、ニューラルネットワークのユニットについて説明するブロック図である。
【図１６】本発明の実施の形態で用いる、バックプロパゲ−ションアルゴリズムについて説明するブロック図である。
【図１７】本発明の実施の形態で用いる、状態判定部によるニューラルネットワークを用いた人物の状態の判定の概念を示すブロック図である。
【図１８】本発明の実施の形態に係る室内監視装置による処理工程の概略を示すフロー図である。
【図１９】本実施の形態で用いられる主な数式についてまとめた図である。
【符号の説明】
【０１６９】
１    室内監視装置
２    人物
３    トイレ
４    床面
５ａ    正面壁面
５ｂ    裏面壁面
５ｃ    側面壁面
５ｄ    側面壁面
６    天井
７    便器
８    仮想平面
１１ａ    パターン
１１ｂ    パターン光（輝点）
１１    投影装置
１２    撮像装置
１３ａ    結像レンズ
１４    測定装置
１５’    結像面
１５    撮像素子
１８    筐体
２０    演算装置
２１    制御部
２３    状態判定部
２４    基準位置算出部
２５    光軸角度補正部
２６    回転角算出部
２７    壁面特定部
２８    警報信号部
３１    記憶部
３５    入力装置
４０    ディスプレイ
４１    警報装置
４２    警報解除ボタン
４３    緊急通報ボタン
１０２    平面
１０３    物体
１０５    光束発生部
１２０    グレーティング
１２１    光ファイバー
１２２    ＦＧ素子
Ｒ    出力層
Ｓ    入力層
Ａ    中間層
Ｗｉ    結合の重み
【図１】
2006325164.tif 000003
【図２】
2006325164.tif 000004
【図３】
2006325164.tif 000005
【図４】
2006325164.tif 000006
【図５】
2006325164.tif 000007
【図６】
2006325164.tif 000008
【図７】
2006325164.tif 000009
【図８】
2006325164.tif 000010
【図９】
2006325164.tif 000011
【図１０】
2006325164.tif 000012
【図１２】
2006325164.tif 000013
【図１３】
2006325164.tif 000014
【図１４】
2006325164.tif 000015
【図１５】
2006325164.tif 000016
【図１６】
2006325164.tif 000017
【図１７】
2006325164.tif 000018
【図１８】
2006325164.tif 000019
【図１９】
2006325164.tif 000020
【図１１】
2006325164.tif 000021