(57)【要約】【課題】ベッド及びベッド周辺の領域で行う被監視者の所定の動作を精度よく検知することができる行動監視装置及び行動監視方法を提供する。【解決手段】行動監視装置１０は、距離画像を取得する距離画像取得部２０と、距離画像を直交座標系の３次元データに変換する座標変換部３０と、ベッド面を格子状に複数の領域に分割し、各分割領域内に投影された３次元データのベッド面法線方向の距離測定値から代表値を決定する代表値決定部５０と、第１基準値以上の代表値を有する分割領域を候補領域と決定する候補領域決定部７０と、候補領域と決定された領域に対応する距離画像部分に頭部が存在しているか否かを判定する頭部判定部６０と、候補領域に頭部が存在していることを、被監視者が所定の行動を行っていると判定する行動判定部８０と、所定の行動を行っていることを通知する通知部１００とを備える。【選択図】図９Ｂ
2019130218.tif 000002
【特許請求の範囲】
【請求項１】
被監視者、ベッド及び前記ベッドの周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する距離画像取得部と、
前記距離画像の各々の画素値が示す距離測定値に基づいて、前記距離画像を直交座標系の３次元データに変換する座標変換部と、
ベッド面を格子状に複数の領域に分割し、ベッド面上方に存在する前記直交座標系の３次元データを前記ベッド面上に投影し、前記各分割領域内に投影された３次元データのベッド面法線方向の距離測定値から各分割領域ごとに代表値を決定する代表値決定部と、
各々の前記分割領域の代表値と予め定めた第１基準値とを比較し、前記第１基準値以上の前記代表値を有する前記分割領域を、候補領域と決定する候補領域決定部と、
前記候補領域と決定された領域に対応する距離画像部分に前記被監視者の頭部が存在しているか否かを判定する頭部判定部と、
前記頭部判定部が判定した前記頭部が、前記候補領域に存在していることから、前記被監視者が所定の行動を行っていると判定する行動判定部と、
前記被監視者が前記所定の行動を行っていることを通知する通知部とを備える
行動監視装置。
【請求項２】
さらに、前記直交座標系に変換された３次元データに基づいて、前記ベッドと略平行な平面を抽出し、抽出した前記ベッドと略平行な各々の平面と、予め設定されている前記ベッドの大きさを示す情報とを比較し、大きさが略同一である場合に、大きさが略同一となった平面を前記ベッドの位置と決定するベッド位置判定部を備え、
前記行動判定部は、前記ベッド位置判定部が前記ベッドの位置を決定した後に、前記被監視者が所定の行動を行っているか否かの判定を行う
請求項１に記載の行動監視装置。
【請求項３】
前記ベッド位置判定部は、前記代表値が前記ベッド面よりも低い値として設定された第２基準値以下である場合に、前記ベッドの位置を決定した状態に対して、前記ベッドに位置ずれが発生していると判定して、前記ベッドの位置を再度決定する
請求項２に記載の行動監視装置。
【請求項４】
前記ベッド位置判定部は、
前記ベッドに位置ずれが発生していると判定した場合、前記ベッドの位置を決定した状態に対して、前記ベッドの存在が検知されないと判定された非検知領域を抽出し、
前記ベッドの中心位置から前記非検知領域に向かう方向とは反対方向に、ベッド面計測領域をずらし、
前記ベッドに位置ずれが発生していると判定しなくなるまでこれを行う
請求項３に記載の行動監視装置。
【請求項５】
前記行動判定部は、
前記候補領域と決定された領域に対応する距離画像部分に前記頭部が存在していることを判定した領域が前記ベッドの周囲となる近傍領域である場合、前記所定の行動として、前記被監視者が離床していることを判定し、
前記候補領域と決定された領域に対応する距離画像部分に前記頭部が存在していることを、前記行動判定部が判定した領域が前記ベッドと前記ベッドの周囲となる近傍領域との境界である場合、前記所定の行動として、前記被監視者が端座位の姿勢であることを判定し、
前記候補領域と決定された領域に対応する距離画像部分に前記頭部が存在していることを、前記行動判定部が判定した領域が、前記ベッド面内の場合、前記所定の行動として、起き上がりの姿勢であることを判定する
請求項１〜４のいずれか１項に記載の行動監視装置。
【請求項６】
前記代表値決定部は、
予め前記ベッド面だけの状態で各々の前記分割領域に応じたベッド面代表値を決定し、
前記行動監視装置が前記被監視者を監視する場合に、前記代表値から前記ベッド面代表値を減算して算出した値を代表値と決定する
請求項１〜５のいずれか１項に記載の行動監視装置。
【請求項７】
さらに、前記ベッドの周囲となる近傍領域であって、前記被監視者が前記ベッドから落下する危険性があると判定される領域を、落下検知領域として設定する落下検知領域設定部と、
前記落下検知領域内での高さの変化により、前記ベッドからの落下を判定する落下判定部とを備える
請求項１〜６のいずれか１項に記載の行動監視装置。
【請求項８】
前記落下検知領域設定部は、
前記ベッド面を基準とする直交座標系の３次元データから法線ベクトルを算出し、
前記ベッド面の法線ベクトルと直交する法線ベクトルを有する領域を、前記ベッドに隣接する壁と判定し、
前記壁と判定した領域を、前記落下検知領域から除外する
請求項７に記載の行動監視装置。
【請求項９】
さらに、前記被監視者が前記ベッドと前記ベッドの周囲となる近傍領域との間で移動する方向を示す情報を記憶する記憶部を備え、
前記落下検知領域設定部は、前記移動する方向をベッド入り口方向と設定し、前記ベッド入り口方向と反対方向の前記ベッドに隣接する領域を前記落下検知領域として設定する
請求項７又は８に記載の行動監視装置。
【請求項１０】
被監視者、ベッド及び前記ベッドの周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する工程と、
前記距離画像の各々の画素値が示す距離測定値に基づいて、前記距離画像を直交座標系の３次元データに変換する工程と、
ベッド面を格子状に複数の領域に分割し、ベッド面上方に存在する前記直交座標系の３次元データを前記ベッド面上に投影し、各分割領域内に投影された３次元データのベッド面法線方向の距離測定値から各分割領域ごとに代表値を決定する工程と、
各々の前記分割領域の代表値と予め定めた第１基準値とを比較し、前記第１基準値以上の前記代表値を有する前記分割領域を、候補領域と決定する工程と、
前記候補領域と決定された領域に対応する距離画像部分に前記被監視者の頭部が存在しているか否かを判定する工程と、
前記判定する工程で判定した前記頭部が、前記候補領域に存在していることを判定すると、前記被監視者が所定の行動を行っていると判定する工程と、
前記被監視者が前記所定の行動を行っていることを通知する工程とを含む
行動監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、行動監視装置及び行動監視方法に関する。
【背景技術】
【０００２】
従来では、画素値が物体までの距離である距離画像を生成するとともに視野領域に監視対象であるベッドの全体が含まれる距離画像取得部と、距離画像から認識したベッドとベッドの周囲となる近傍領域とにおいて、人が占有する領域を検出する頭部判定部と、検出したベッドと頭部判定部により検出した人の領域との組み合わせによりベッドに対する人の動作を判別する行動判定部と、行動判定部による判定結果を報知する通知部とを備える行動監視装置が開示されている（例えば特許文献１参照）。
【０００３】
行動を見守られる被監視者と、被監視者の行動の基準となる対象物とを撮影した撮影画像を取得する画像取得部と、撮影画像の背景として設定された背景画像と撮影画像との差分から、撮影画像の前景領域を抽出する前景抽出部と、前景領域が見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、被監視者の対象物に関する行動を推定する行動判定部とを備える、情報処理装置が開示されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５７７１７７８号公報
【特許文献２】特許第６１１５３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の行動監視装置では、布団を被っている場合など、被監視者の領域を精度よく判断することができない場合がある。また、特許文献２の行動監視装置では、例えば、撮影画像の背景差分処理によって抽出した前景画像に、人以外の動く物体、例えば、カーテン、椅子等が含まれてしまう。このため、この情報処理装置によって、見守り対象者の行動を検知しても、人以外の物体まで検知してしまうことがある。
【０００６】
そこで、本開示は、ベッド及びベッドの周辺となる近傍領域で行う被監視者の所定の動作を精度よく検知することができる行動監視装置及び行動監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本開示の一態様に係る行動監視装置は、被監視者、ベッド及び前記ベッドの周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する距離画像取得部と、前記距離画像の各々の画素値が示す距離測定値に基づいて、前記距離画像を直交座標系の３次元データに変換する座標変換部と、ベッド面を格子状に複数の領域に分割し、ベッド面上方に存在する前記直交座標系の３次元データを前記ベッド面上に投影し、前記各分割領域内に投影された３次元データのベッド面法線方向の距離測定値から各分割領域ごとに代表値を決定する代表値決定部と、各々の前記分割領域の代表値と予め定めた第１基準値とを比較し、前記第１基準値以上の前記代表値を有する前記分割領域を、候補領域と決定する候補領域決定部と、前記候補領域と決定された領域に対応する距離画像部分に前記被監視者の頭部が存在しているか否かを判定する頭部判定部と、前記頭部判定部が判定した前記頭部が、前記候補領域に存在していることから、前記被監視者が所定の行動を行っていると判定する行動判定部と、前記被監視者が前記所定の行動を行っていることを通知する通知部とを備える。
【０００８】
また、本開示の一態様に係る行動監視方法は、被監視者、ベッド及び前記ベッドの周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する工程と、前記距離画像の各々の画素値が示す距離測定値に基づいて、前記距離画像を直交座標系の３次元データに変換する工程と、ベッド面を格子状に複数の領域に分割し、ベッド面上方に存在する前記直交座標系の３次元データを前記ベッド面上に投影し、前記各分割領域内に投影された３次元データのベッド面法線方向の距離測定値から各分割領域ごとに代表値を決定する工程と、各々の前記分割領域の代表値と予め定めた第１基準値とを比較し、前記第１基準値以上の前記代表値を有する前記分割領域を、候補領域と決定する工程と、前記候補領域と決定された領域に対応する距離画像部分に前記被監視者の頭部が存在しているか否かを判定する工程と、前記判定する工程で判定した前記頭部が、前記候補領域に存在していることを判定すると、前記被監視者が所定の行動を行っていると判定する工程と、前記被監視者が前記所定の行動を行っていることを通知する工程とを含む。
【発明の効果】
【０００９】
本開示によれば、ベッド及びベッドの周辺となる近傍領域で行う被監視者の所定の動作を精度よく検知することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１に係る行動監視方法を示すブロック図である。
【図２】図２は、実施の形態１に係る行動監視装置、ベッド及びの被監視者を示す模式図である。
【図３】図３は、被監視者、ベッド及びベッドの周囲となる近傍領域を示す距離画像を例示する説明図である。
【図４】図４は、実施の形態１に係る行動監視装置において、ベッド面を抽出する手段を例示する説明図である。
【図５】図５は、実施の形態１に係る行動監視装置において、現在のベッドの位置に補正する手段について例示する説明図である。
【図６Ａ】図６Ａは、被監視者がベッドで寝姿勢の状態でのベッド面における、領域分割を例示した図である。
【図６Ｂ】図６Ｂは、被監視者がベッドで起き上がりの姿勢となった状態でのベッド面における、領域分割を例示した図である。
【図７】図７は、実施の形態１に係る行動監視装置において、報知部に報知した一例である。
【図８】図８は、各々の領域分割の代表値を図３の距離画像上に対応させて例示した説明図である。
【図９Ａ】図９Ａは、実施の形態１に係る行動監視装置の初期設定動作を示すフローチャートである。
【図９Ｂ】図９Ｂは、実施の形態１に係る行動監視装置の行動監視動作を示すフローチャートである。
【図１０】図１０は、実施の形態２に係る行動監視装置を示すブロック図である。
【図１１】図１１は、落下検知領域を示す説明図である。
【図１２】図１２は、被監視者がベッドで寝姿勢の状態のベッド面における、領域分割を例示した説明図である。
【図１３】図１３は、被監視者のベッド入り口方向を例示した説明図である。
【図１４】図１４は、実施の形態２に係る行動監視装置の行動監視動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の実施の形態について、図面を参照しながら説明する。以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１２】
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
【００１３】
以下、本開示の実施の形態に係る行動監視装置及び行動監視方法について説明する。
【００１４】
（実施の形態１）
［構成］
本開示の実施の形態に係る行動監視システム１の構成について説明する。
【００１５】
図１は、実施の形態１に係る行動監視方法を示すブロック図である。図２は、実施の形態１に係る行動監視装置１０、ベッド３及びの被監視者を示す模式図である。
【００１６】
図１に示すように、行動監視システム１の行動監視装置１０は、ベッド３上の被監視者を監視することで、ベッド３上で寝姿勢となっている被監視者が起き上がりの姿勢となったことを検知することができる装置である。行動監視システム１では、行動監視装置１０が被監視者の起き上がりを検知すると、通知部１００が被監視者の起き上がり情報等を、報知部に出力することで、病院、高齢者施設、介護施設等のスタッフに被監視者の起き上がりを認識させる。
【００１７】
図１及び図２に示すように、行動監視システム１は、行動監視装置１０と、報知部１１１、１１２とを備える。
【００１８】
行動監視装置１０は、距離画像取得部２０と、座標変換部３０と、ベッド位置判定部４０と、代表値決定部５０と、頭部判定部６０と、候補領域決定部７０と、行動判定部８０と、記憶部９０と、通知部１００とを備える。
【００１９】
距離画像取得部２０は、被監視者、ベッド３及びベッド３の周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する。距離画像取得部２０は、取得した距離画像を座標変換部３０に出力する。
【００２０】
距離画像は、画素値を距離画像取得部２０から対象物までの距離値とした画像であり、距離画像を生成する技術として、例えば、対象領域からの受光のみを行うパッシブ型、対象領域に投光した光を受光するアクティブ型のいずれでもよい。本実施の形態では、距離画像取得部２０は、例えば、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラ、距離画像センサ等である。距離画像取得部２０は、例えば、強度変調光を対象領域に投光する投光装置と、物体で反射された強度変調光を受光する撮像装置とを有する。距離画像取得部２０では、光の強度を一定周期の変調信号で変調した強度変調光を対象領域に投光し、対象領域に存在する物体での反射光が受光されるまでの時間を、強度変調光の投受光の位相差として検出してもよい。ここでいう対象領域は、本実施の形態では、被監視者、ベッド３、及びベッド３の周囲となる近傍領域である。
【００２１】
このことから距離画像取得部２０は、強度変調光の投受光の位相差を物体までの距離に換算する機能を有する。なお、投光する光は、物体の表面で反射され、かつ、人に知覚されない光として、近赤外線を採用しているが、可視光であってもよい。
【００２２】
距離画像を直交座標系の３次元データに変換する手段について図２を用いて説明する。
【００２３】
図２に示すように、座標変換部３０は、距離画像の各々の画素値が示す距離測定値に基づいて、距離画像をベッド面３ａを基準とする直交座標系であるベッド面座標系の３次元データに変換する。したがって、ベッド面座標系のY2軸方向は高さを示し、本実施の形態では、ベッド面３ａからの相対的な高さであるが、床面からの高さであってもよい。つまり、ベッド面３ａより低い場合はマイナスの高さとなる。
【００２４】
距離画像取得部２０が取得した距離画像は、球面座標系である。このため、球面座標系の距離画像は、対象空間である実空間の各位置との対応関係が判りにくく、実空間に存在する物体を基準にした領域を指定するには不便である。このため、座標変換部３０は、球面座標系の距離画像から、ベッド面３ａ基準の直交座標系の各座標値を有した３次元データを生成する座標変換を行う。最初に、座標変換部３０は、球面座標系の距離画像を、距離画像取得部２０の位置を基準とした直交座標系であるカメラ座標系の３次元データに変換する。カメラ座標系では、距離画像取得部２０から、被監視者、ベッド３及びベッド３の周囲となる近傍領域を見た場合の直交座標系各軸方向の距離を示している。
【００２５】
しかし、カメラ座標系で示された３次元データでは、床面に対する、被監視者、ベッド３及びベッド３の周囲となる近傍領域の高さを直接表していない。そこで、座標変換部３０は、図２のカメラ座標系（X1、Y1、Z1）の３次元データを、ベッド面３ａを基準とした直交座標系であるベッド面座標系（X2、Y2、Z2）の３次元データに変換する。これにより、ベッド面座標系で表された３次元データには、ベッド面３ａからのY2軸方向に床面法線方向の高さが表される。座標変換部３０は、ベッド位置判定部４０、代表値決定部５０、頭部判定部６０等に対してベッド面座標系で表された３次元データを出力する。
【００２６】
ベッド面座標系は、ベッド面３ａの基準点を原点とすると、ベッド３の幅方向をX2軸、ベッド３の高さ方向をY2軸、及びベッド３の長手方向をZ2軸とする座標系である。
【００２７】
なお、球面座標系から、直交座標系であるカメラ座標系への変換、並びに、直交座標系であるカメラ座標系から直交座標系であるベッド面座標系への変換の詳細については、公知であるため、その説明を省略する。カメラ座標系からベッド面座標系への変換時には後述するベッド面３ａ検出時にベッド３ａ面の向きより求まる回転行列、平行移動ベクトルを使用する。
【００２８】
このように、被監視者、ベッド３及びベッド３の周囲となる近傍領域を撮像した球面座標系の距離画像をベッド面座標系の３次元データに変換した。図３は、被監視者、ベッド３及びベッド３の周囲となる近傍領域を、距離画像の各画素の距離値を、ベッド面座標系のY2軸方向の値で置き換えたもので例示する説明図である。したがって、画像の濃淡値はベッド面法線方向の高さを直接表したものになる。
【００２９】
図３の破線は、ベッド面３ａの領域を示している。図３の（ａ）は被監視者がベッド３で寝姿勢の状態、図３の（ｂ）〜（ｅ）は被監視者がベッド３で寝姿勢の状態から起き上がりの姿勢、図３の（ｆ）は被監視者がベッド３で寝姿勢の状態から座位姿勢を示す。図３の（ａ）〜（ｆ）につれて、各画素の濃度値はベッド３上の被監視者の高さ方向の移動に対応して変化し、被監視者がベッド３から起き上がっていることが判る。
【００３０】
ベッド面３ａの抽出について、図４を用いて説明する。
【００３１】
図４は、実施の形態に係る行動監視装置１０において、ベッド面３ａを抽出する手段を例示する説明図である。
【００３２】
図４に示すように、ベッド位置判定部４０は、カメラ座標系に変換された３次元データに基づいて、ベッド３と略平行な平面を抽出する。ベッド位置判定部４０は、抽出したベッド３と略平行な各々の平面と、予め設定されているベッド３の大きさを示す情報を使いベッド３の位置を決定する。
【００３３】
具体的には、ベッド位置判定部４０は、カメラ座標系の３次元データに対して３次元ハフ変換を行って平面を抽出する。図２に示されるように行動監視装置１０内に含まれる距離画像取得部２０の光軸方向となるカメラ座標系のZ1軸方向と、床面法線方向とのなす角度、及びカメラ座標系の原点と床面との距離は設置時に、凡その値が推定される。３次元ハフ変換により検出された平面のうち、法線方向がカメラ座標系のZ1軸と床面法線方向となす角度に略等しく、かつ、検出された平面からカメラ座標系の原点までの距離が、カメラ座標系の原点と床面との距離に略等しいものの中で、３次元ハフ変換の投票値が最大のものを床面を表す平面と決定する。次に、決定された床面の法線方向と略等しい法線方向を持ち、床面との距離がベッド３の高さと略等しい平面、かつ、３次元ハフ変換の投票値が床面の次に大きいものをベッド面３ａ領域と決定する。図４の（ａ）において破線が床面を、実線がベッド面３ａを示す。
【００３４】
次にベッド位置判定部４０は、検出されたベッド面３ａ領域を表す平面上に３次元ハフ変換時にベッド３領域検出投票に寄与した３次元データ点を投影する。投影された３次元データ点は図４の（ｂ）に示されるように、投影された点が白、それ以外の点が黒となる二値画像化する。この二値画像を使い、図４の（ｃ）に示されるように、ベッド３領域の中心と、ベッド３領域の長手方向である主軸方向とを算出する。次に、ベッド位置判定部４０は、ベッド３領域と他の領域との境界部分に対して、膨張及び収縮処理による穴埋めを行い、この境界を平滑化する。ベッド位置判定部４０は、ラベリング処理によって最大面積となる領域をベッド３領域と決定する。そして、ベッド位置判定部４０は、決定したベッド３領域に対して、予め記憶部９０に格納されているベッド３の大きさを当てはめる。こうして、ベッド位置判定部４０は、ベッド３領域が示すベッド面３ａを抽出する。
【００３５】
抽出されたベッド面３ａの主軸方向にベッド面座標系のZ2軸を、主軸方向と直交する方向にX2軸を、ベッド面３ａの法線方向にY2軸を設定する。ベッド面座標系の原点はベッド３領域の中心に設定する。ここで設定されたベッド面座標系とカメラ座標系との関係より、これらの二つの座標系間の関係を表す、回転行列、平行移動ベクトルを求める。
【００３６】
また、ベッド位置判定部４０は、後述する代表値が、後述する第２基準値以下であるか否かを判定する。床面に対するベッド面３ａ及び被監視者の高さを示す代表値が第２基準値以下となれば、代表値が変化したことを意味するため、この場合は、ベッド３の位置ずれが発生したと考えられる。そこで、ベッド位置判定部４０は、代表値がベッド面３ａよりも低い値として設定された第２基準値以下である場合に、ベッド３の位置を決定した状態に対して、ベッド３に位置ずれが発生していると判定して、ベッド３の位置を再度決定する。言い換えれば、代表値決定部５０は、決定していたベッド３領域の位置を、現在のベッド３の位置に補正する。
【００３７】
次に、ベッド３の位置ずれによって、現在のベッド３の位置に補正する手段について、図５を用いて説明する。
【００３８】
図５は、実施の形態１に係る行動監視装置１０において、現在のベッド３の位置に補正する手段について例示する説明図である。図５では、破線の領域は当初にベッド３を配置していた領域であり、実線の領域はベッド３をずらした後の領域であり、一点鎖線は当初のベッド面計測領域であり、二点鎖線は補正後のベッド面計測領域であることを示す。
【００３９】
図５に示すように、ベッド位置判定部４０は、ベッド３に位置ずれが発生していると判定した場合、ベッド３の位置を決定した状態に対して、ベッド３の存在が検知されないと判定された非検知領域を抽出する。ベッド位置判定部４０は、ベッド３の中心位置から非検知領域に向かう方向とは反対方向に、ベッド面計測領域をずらす。ベッド位置判定部４０は、ベッド３に位置ずれが発生していると判定しなくなるまでこれを行う。つまり、ベッド位置判定部４０は、ベッド３の位置を決定した後にベッド３の位置ずれが発生した場合では、ベッド３の位置ずれが発生した方向を特定し、位置ずれが発生した方向に追従するように、ベッド面計測領域を、二点鎖線で示す矢印に向かってずらしてゆく。こうして、ベッド位置判定部４０は、ベッド３に位置ずれが発生しても、ベッド３の位置を特定する。そして、ベッド位置判定部４０は、決定したベッド３の位置を示すベッド位置情報を代表値決定部５０に出力する。
【００４０】
これは、ベッド３は、常に固定されているとは限らず、移動してしまうことがある。このため、ベッド３が移動すると、被監視者の位置を正確に検出することができなくなる恐れがある。このため、ベッド位置判定部４０は、所定の期間ごとにベッド３の位置を判定する。なお、ベッド３の位置ずれを検知する手段については、これに限定されず、公知の手段を用いてもよい。
【００４１】
次に、代表値を決定する手段について説明する。
【００４２】
代表値決定部５０は、ベッド面座標系の３次元データを、ベッド面３ａ上においてX2軸、Z2軸方向に平行に分割した複数の分割領域に投影される３次元データ点のY2軸方向の値から分割領域ごとに代表値を決定する。代表値決定部５０は、座標変換部３０からベッド面座標系の３次元データ、ベッド位置判定部４０からベッド位置情報を取得する。ここでいう代表値は、例えば、ベッド面３ａからの高さであるが、床面からの高さであってもよい。
【００４３】
代表値決定部５０は、ベッド面３ａ座標変換系のX2、Z2面で、ベッド３及びベッド３の周囲となる近傍領域を図６Ａに示すように、複数の領域に分割する。図６Ａは、被監視者がベッド３で寝姿勢の状態のベッド面３ａにおける、領域分割を例示した図である。
【００４４】
図６Ａに示すように、具体的には、代表値決定部５０は、３次元データをベッド面座標系のX2軸、Z2軸の２軸にそれぞれを分割する、つまり、本実施の形態では格子状に分割することで複数の分割領域を生成する。本実施の形態では、ベッド３の長手方向に並んで１０個の領域に区切り、さらに、ベッド３の短手方向に並んで５個の領域に区切る。これにより、５０個の分割領域を生成する。分割領域のＸ軸方向及びＺ軸方向の大きさは、共に２０ｃｍ程度となり、被監視者のベッド上での起き上がり動作を検出するのに適切な大きさとなる。
【００４５】
さらに、代表値決定部５０は、ベッド３の近傍領域においても複数の領域に区切る。本実施の形態では、長手方向に並んで１０個の領域に区切っている。これにより、ベッド３の近傍領域に２０個の分割領域を生成する。なお、これらの分割領域の個数、サイズはこれらの数には限定されない。
【００４６】
代表値決定部５０は、各々の分割領域に含まれる複数のベッド面座標系の３次元データから算出したY2軸方向の値を、代表値に決定する。代表値は、例えば、各々の分割領域内に投影された複数の３次元データ点のY2軸方向の値の平均値から算出することで求められる。代表値決定部５０が投影された３次元データ点の平均値を算出する処理は単純な計算で済むため、代表値決定部５０に大きな演算負荷を与えない。
【００４７】
また、代表値の算出は、各々の分割領域に投影された３次元データ点のY2軸方向の値から、所定のパーセンタイル値によって決定してもよい。パーセンタイル値は、例えば、５０よりも大きなパーセンタイル値であればよく、任意に設定することができる。
【００４８】
また、代表値の求め方はこれに限定されず、投影された３次元データ点のY2軸方向の値の最頻値であってもよく、予め設定された第２基準値よりも大きい値を持つ投影された３次元データ点のY2軸方向の値から平均値を算出してもよい。
【００４９】
また、個々の分割領域に投影された３次元データ点数が予め定めた点数より少ない場合、また、上記で決定された代表値が予め定めたベッド３上での高さ方向の計測値の範囲より外れる場合は代表値無しとし、候補領域判定対象から外す。
【００５０】
これにより、分割された各々の分割領域に対応した代表値が決定される。代表値決定部５０は、各々の分割領域に対応した代表値を候補領域決定部７０に出力する。
【００５１】
また、代表値決定部５０は、予めベッド面３ａだけの状態で各々の分割領域に応じたベッド面代表値を決定する。代表値決定部５０は、行動監視装置１０が被監視者を監視する場合に、代表値からベッド面代表値を減算して算出した値を代表値と決定する。つまり、ベッド３の高さが変化することによって代表値が異なることがあるため、代表値決定部５０は、被監視者がベッド面３ａに存在する場合と、被監視者がベッド面３ａに存在しない場合とのそれぞれの代表値を算出し、一方の代表値から他方の代表値を減算する。
【００５２】
このように、代表値決定部５０が、各々の分割領域ごとに、決定した代表値を図８に示す。図８は、各々の領域分割の代表値を図３の距離画像上に対応させて例示した説明図である。図８において、黒または白で表示された領域は、投影された３次元データ点数が少ない、または、決定された代表値がベッド３上での高さ方向の計測値の範囲を外れ、候補領域判定の対象外となった領域を示す。
【００５３】
図８の実線は、ベッド面３ａの領域を示している。図８の（ａ）は被監視者がベッド３で寝姿勢の状態、図８の（ｂ）〜（ｅ）は被監視者がベッド３で寝姿勢の状態から起き上がりの姿勢、図８の（ｆ）は被監視者がベッド３で寝姿勢の状態から座位姿勢を示す。図８の（ａ）〜（ｆ）につれて、ベッド面中央部の代表値が大きくなり被監視者がベッド３から起き上がっていることが判る。
【００５４】
次に、候補領域を決定する手段について、図６Ｂを用いて説明する。
【００５５】
図６Ｂは、被監視者がベッド３で起き上がりの姿勢となった状態でのベッド面３ａにおける、領域分割を例示した図である。図６Ｂでは、被監視者がベッド３から起き上がりの姿勢となった場合に、複数の分割領域に区切った状態での候補領域を太い実線で示す。
【００５６】
候補領域決定部７０は、代表値決定部５０から各々の分割領域に対応した代表値を取得する。候補領域決定部７０は、各々の分割領域の代表値と予め定めた第１基準値とを比較し、第１基準値以上の代表値を有する分割領域を、候補領域と決定する。つまり、各々の分割領域の代表値は、ベッド面３ａからの高さを意味している。このため、被監視者がベッド３から起き上がりの姿勢では、各々の分割領域の内、代表値が高くなっている分割領域が存在する。候補領域決定部７０は、第１基準値以上となる代表値が高くなっている分割領域を抽出し、抽出した分割領域を候補領域とする。ここでいう第１基準値は、被監視者がベッド３で寝姿勢の状態においての、ベッド面３ａに対する被監視者の高さよりも高く設定している。被監視者は、ベッド面３ａで、仰向けの姿勢、うつ伏せの姿勢、横向きの姿勢、仰向けの姿勢で膝を立てる姿勢等といった様々な姿勢をとる。ここでの横向きの姿勢は、寝返りを打つ状態をも含む。このため、これらの姿勢を検知しないように適切に第１基準値を設定する。なお、第１基準値は、例えば、被監視者の座高の高さの数十パーセント以上といった数値として算出してもよい。候補領域決定部７０は、決定した候補領域を頭部判定部６０に出力する。
【００５７】
本実施の形態では、候補領域算出方法として第１基準値以上の値を持つ領域としているが、他の方法として、例えば、最も高い代表値を持つ領域を候補領域に選出するようにしてもよい。また、第１基準値の設定方法として、過去に被監視者がベッド３で起き上がりの姿勢をした頭部の高さから、第１基準値を割り出してもよい。
【００５８】
頭部判定部６０は、候補領域決定部７０で決定された候補領域に対応する距離画像部分に被監視者の頭部が存在しているか否かの判定を行う。本実施の形態では、頭部判定部６０は、被監視者の頭部形状を、ニューラルネットワークを用いて学習し、この学習されたニューラルネットワークを用いて、候補領域に頭部が存在するかどうかを判定する。
【００５９】
例えば、被監視者がベッド３で寝ている場合に、布団を跳ね上げたりすることが起こりうる。この場合では、布団の形状と頭部の形状とを区別することができるかという問題がある。この場合でも、布団の場合と頭部の場合とでは、床面に対する距離の違い、つまり高さの違いで区別がつかない場合でも、形状の違いによって頭部か、布団かを判定することができる。
【００６０】
候補領域内に頭部が存在すると頭部判定部６０が判定した場合、つまり、候補領域に対応する距離画像部分から頭部を示す領域を、頭部判定部６０が抽出できた場合、頭部判定部６０は、候補領域内に頭部を検出したことを示す判定結果を行動判定部８０に出力する。
【００６１】
行動判定部８０は、頭部判定部６０が判定した頭部が、候補領域に存在していることから、被監視者が所定の行動を行っていると判定する。具体的には、行動判定部８０は、頭部を検出した候補領域が、ベッド３の周囲となる近傍領域である場合、所定の行動として、被監視者が離床していることを判定する。また、行動判定部８０は、頭部を検出した候補領域が、ベッド３とベッド３の周囲となる近傍領域との境界である場合、所定の行動として、被監視者が端座位の姿勢であることを判定する。さらに、行動判定部８０は、頭部を検出した候補領域が、ベッド面３ａ内の場合、所定の行動として、起き上がりの姿勢であることを判定する。
【００６２】
また、行動判定部８０は、ベッド位置判定部４０がベッド３の位置ずれを検知した場合、ベッド３の位置を現在のベッド３の位置に補正した後、つまりベッド位置判定部４０がベッド３の位置を決定した後に、被監視者が所定の行動を行っているか否かの判定を行う。
【００６３】
図７に示すように、通知部１００は、所定の行動を行っていることを報知部１１１、１１２に通知する。図７は、実施の形態１に係る行動監視装置１０において、報知部１１１、１１２が通知する内容を示す一例である。
【００６４】
例えば、被監視者が離床している場合は図７の（ａ）、被監視者が端座位の姿勢である場合は図７の（ｂ）、被監視者が起き上がりの姿勢である場合は図７の（ｃ）で示している。通知部１００は、図７の（ａ）〜（ｃ）に示すように、所定の行動に合わせて表示させる文字を適宜変更してもよく、さらに、通知する音声、光の色等も適宜変更してもよい。
【００６５】
記憶部９０は、ベッド情報、判定基準値、被監視者がベッド３とベッド３の周囲となる近傍領域との間で移動する方向を記憶する。ベッド情報には、カメラ座標系とベッド面座標系間の関係を示す回転行列、平行移動ベクトル、分割領域の情報が含まれる。記憶部９０は、不揮発性のメモリであってもよく、例えば、ＳＲＡＭ等の揮発性のメモリであってもよい。
【００６６】
通知部１００は、被監視者が所定の行動を行っていることを報知部１１１、１１２に通知する。通知部１００は、ネットワークを介して報知部１１１、１１２と接続されている。通知部１００は、例えば、通信モジュールである。
【００６７】
報知部は、ネットワークを介して、通知部１００と接続されている。報知部は、例えば、病院、高齢者施設、介護施設等のパーソナルコンピュータ１１２、スマートフォン等の端末装置１１１等の装置であり、単に、モニタ等の表示部、スピーカ等でもよい。
【００６８】
［動作］
次に、行動監視装置１０及び行動監視方法の動作について説明する。
【００６９】
図９Ａは、実施の形態１に係る行動監視装置１０の初期設定動作を示すフローチャートである。初期設定動作では被監視者が居ない状態で、ベッドおよびベッド３の周囲となる近傍領域を計測し、ベッド３の位置を自動で検出し、ベッド３の位置を示す情報である、カメラ座標系とベッド面座標系と間の関係を示す回転行列、平行移動ベクトルを算出する。この初期設定動作は行動監視動作を行う前の事前処理である。
【００７０】
最初に、行動監視装置１０は入力装置より、カメラ座標系のZ1軸と床面法線方向とのなす角度、カメラ座標系の原点と床面との距離、ベッド３の高さの概略値を読み込む（Ｓ１）。入力装置はキーボードやタブレット等の一般的なものでよく図では省略して示していない。図９Ａに示すように、まず、距離画像取得部２０は、ベッド３及びベッド３の周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する（Ｓ２）。距離画像取得部２０は、取得した距離画像を、座標変換部３０に出力する。ステップＳ２は、距離画像を取得する工程である。
【００７１】
次に、座標変換部３０は、距離画像を表す各々の画素値が示す距離測定値に基づいて、球面座標系の距離画像を、距離画像取得部２０の位置を基準とした直交座標系であるカメラ座標系の３次元データに変換する（Ｓ３）。ステップＳ３は、距離画像をカメラ座標系の３次元データに変換する工程である。
【００７２】
次に、ベッド位置判定部４０は、距離画像からカメラ座標系の３次元データ点群に変換された計測値から、カメラ座標系とベッド座標系間の変換を表す回転行列、平行移動ベクトルを決定する。３次元データ点群に対して３次元ハフ変換を適用し平面を抽出する（Ｓ４）。
【００７３】
次に、検出された平面のうち、平面の法線方向とカメラ座標系のZ1軸となす角度が、カメラ座標系のZ1軸と床面法線方向となす角度に略等しいものを検出する（Ｓ５）。
【００７４】
次に、検出された平面のうち、平面からカメラ座標系の原点までの距離が、カメラ座標系の原点と床面との距離に略等しいものを検出する（Ｓ６）。
【００７５】
次に、上記ステップＳ５、ステップＳ６の両方で検出されたものの中で、３次元ハフ変換の投票値が最大のものを床面と決定する（Ｓ７）。
【００７６】
次に、ベッド位置判定部４０は、決定された床面の法線方向を算出する（Ｓ８）。
【００７７】
次に、ベッド位置判定部４０は、検出された平面のうち、法線方向が床面の法線方向と略等しいものを検出する（Ｓ９）。
【００７８】
次に、検出された平面のうち、床面との距離がベッドの高さと略等しいものを検出する（Ｓ１０）。
【００７９】
次に、ベッド位置判定部４０は、上記ステップＳ９、ステップＳ１０の両方で検出されたものの中で、３次元ハフ変換の投票値が床面の次に大きいものをベッド面３ａと決定する（Ｓ１１）。
【００８０】
次に、ベッド位置判定部４０は、ベッド面検出に寄与した３次元データ点を検出されたベッド面に投影し投影された点が白、それ以外の点が黒となる二値画像を作成する（Ｓ１２）。
【００８１】
次に、ベッド位置判定部４０は、二値画像からベッド中心、主軸方向を算出する（Ｓ１３）。次に、ステップＳ１３で検出されたベッド中心をベッド面座標系の原点、主軸方向をベッド面座標系のZ2軸、ベッド面内でZ2軸に直交する方向をベッド面座標系のX2軸、ベッド面の法線方向をY2軸としてベッド面座標系を決定する（Ｓ１４）。
【００８２】
次に、ベッド位置判定部４０は、カメラ座標系とベッド面座標系間の回転行列、平行移動ベクトルを算出する（Ｓ１５）。
【００８３】
図９Ｂは、実施の形態１に係る行動監視装置１０の行動監視動作を示すフローチャートである。
【００８４】
図９Ｂに示すように、まず、行動監視装置１０はベッド情報、判定基準値を記憶部９０へ読み込む（Ｓ２１）。次に、距離画像取得部２０は、被監視者、ベッド３及びベッド３の周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する（Ｓ２２）。距離画像取得部２０は、取得した距離画像を、座標変換部３０に出力する。ステップＳ２２は、距離画像を取得する工程である。
【００８５】
次に、座標変換部３０は、距離画像を表す各々の画素値が示す距離測定値に基づいて、ベッド面３ａを基準とする直交座標系であるベッド面座標系の３次元データに変換する（Ｓ２３）。座標変換部３０は、最初に、球面座標系の距離画像を、距離画像取得部２０の位置を基準とした直交座標系であるカメラ座標系の３次元データに変換する。次に、座標変換部３０は、カメラ座標系の３次元データを、ベッド面３ａを基準とした直交座標系であるベッド面座標系の３次元データに変換する。座標変換部３０は、ベッド位置判定部４０、代表値決定部５０、頭部判定部６０等に対して３次元データを出力する。ステップＳ２３は、距離画像をベッド面座標系の３次元データに変換する工程である。
【００８６】
次に、ベッド位置判定部４０は、記憶部９０に読み込まれたベッド情報に基づいて、ベッド３の位置を決定する（Ｓ２４）。
【００８７】
次に、ベッド位置判定部４０は、ベッド３に位置ずれが発生しているか否かを判定する（Ｓ２５）。ベッド３に位置ずれが発生していると判定した場合（Ｓ２５でYES）、ベッド位置判定部４０は、ベッド３の中心位置から非検知領域に向かう方向とは反対方向に対して、ベッド面計測領域をずらし、現在のベッド３の位置に補正する（Ｓ２６）。
【００８８】
一方、ベッド３に位置ずれが発生していないと、ベッド位置判定部４０が判定した場合（Ｓ２５でNO）、行動監視装置１０は、ステップＳ２７に進む。ベッド位置判定部４０は、決定したベッド３の位置を示すベッド位置情報を代表値決定部５０に出力する。
【００８９】
次に、代表値決定部５０は、複数の分割領域ごとに代表値を決定する（Ｓ２７）。具体的には、代表値決定部５０は、分割領域ごとに、ベッド面３ａに対する法線方向の成分であるベッド面座標系で表された３次元データ点のY2軸成分の値から代表値を決定する。代表値決定部５０は、決定した代表値を候補領域決定部７０に出力する。ステップＳ２７は、代表値を決定する工程である。
【００９０】
なお、ステップＳ２７では、ベッド３の高さが変化することによって代表値が異なることがあるため、代表値決定部５０は、予め被監視者がベッド面３ａに存在しない場合の代表値を決定しておき、行動監視時に被監視者がベッド面３ａに存在する場合に決定した代表値から、被監視者がベッド面３ａに存在しない場合の代表値を減算して、代表値を決定してもよい。
【００９１】
次に、候補領域決定部７０は、各々の分割領域の代表値と予め定めた第１基準値とを比較し、第１基準値以上の代表値を有する分割領域を、候補領域と決定する（Ｓ２８）。候補領域決定部７０は、決定した候補領域を頭部判定部６０に出力する。
【００９２】
次に、頭部判定部６０は、候補領域に頭部が存在しているか否かの判定を行う（Ｓ２９）。ステップＳ２９は、候補領域に頭部が存在しているか否かを判断する工程である。
【００９３】
候補領域に頭部が存在していると、頭部判定部６０が判定した場合、行動判定部８０は、候補領域に対応する距離画像内に頭部が撮像されていると決定する（Ｓ２９でYES）。
【００９４】
一方、候補領域に頭部が存在していないと、頭部判定部６０が判定した場合（Ｓ２９でNO）、行動監視装置１０は、行動監視処理が終了かどうかを判断し（Ｓ３２）、継続の場合（Ｓ３２でNO）はステップＳ２２へ進み、終了の場合（Ｓ３２でYES）は処理を終了する（Ｓ３２）。
【００９５】
次に、行動判定部８０は、頭部の位置を判定する（Ｓ３０）。ステップＳ３０は、行動の種類を判別する工程である。
【００９６】
頭部が存在していることを判定した領域が、ベッド３の周囲となる近傍領域であることを、頭部判定部６０が判定すると（Ｓ３０Ａ）、行動判定部８０は、被監視者が離床していることを示す離床情報を、通信部に送信する。ステップＳ３０Ａは、所定の行動を行っていることを通知する工程の一例である。
【００９７】
そして、通信部は、被監視者が離床していることを報知部１１１、１１２へ通知する。こうして、病院、高齢者施設、介護施設等のスタッフは、被監視者が離床していることを認識する。
【００９８】
また、頭部が存在していることを判定した領域が、ベッド３とベッド３の周囲となる近傍領域との境界であることを、頭部判定部６０が判定すると（Ｓ３０Ｃ）、行動判定部８０は、被監視者が端座位の姿勢であることを示す端座位情報を、通信部に送信する。ステップＳ３０Ｃは、所定の行動を行っていることを通知する工程の一例である。
【００９９】
そして、通信部は、被監視者が端座位の姿勢であることを報知部１１１、１１２へ通知する。こうして、病院、高齢者施設、介護施設等のスタッフは、被監視者が端座位の姿勢であることを認識する。
【０１００】
頭部が存在していることを判定した領域が、ベッド３上であることを、頭部判定部６０が判定した場合、行動判定部８０は、被監視者が起き上がりの姿勢を行っていることを示す起き上がり情報を、通信部に送信する（Ｓ３１）。ステップＳ３０Ｂは、所定の行動を行っていることを通知する工程の一例である。
【０１０１】
そして、通信部は、被監視者が起き上がりの姿勢であることを報知部１１、１１２へ通知する。こうして、病院、高齢者施設、介護施設等のスタッフは、被監視者の起き上がりの姿勢であることを認識する。
【０１０２】
［作用効果］
次に、本実施の形態における行動監視装置１０及び行動監視方法の作用効果について説明する。
【０１０３】
上述したように、本実施の形態に係る行動監視装置１０において、被監視者、ベッド３及びベッド３の周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する距離画像取得部２０と、距離画像の各々の画素値が示す距離測定値に基づいて、距離画像を直交座標系の３次元データに変換する座標変換部３０と、ベッド面３ａを格子状に複数の領域に分割し、ベッド面３ａ上方に存在する直交座標系の３次元データをベッド面３ａ上に投影し、各分割領域内に投影された３次元データのベッド面法線方向の距離測定値から各分割領域ごとに代表値を決定する代表値決定部５０と、各々の分割領域の代表値と予め定めた第１基準値とを比較し、第１基準値以上の代表値を有する分割領域を、候補領域と決定する候補領域決定部７０と、候補領域と決定された領域に対応する距離画像部分に被監視者の頭部が存在しているか否かを判定する頭部判定部６０と、頭部判定部６０が判定した頭部が、候補領域に存在していることから、被監視者が所定の行動を行っていると判定する行動判定部８０と、被監視者が所定の行動を行っていることを通知する通知部１００とを備える。
【０１０４】
このように、代表値決定部５０は、ベッド面座標系で表された３次元データを、直交座標系のX2軸及びZ2軸にそれぞれ分割した複数の分割領域ごとに、ベッド面３ａに対する法線方向の成分であるベッド面座標系のY2軸方向の値から代表値を決定する。候補領域決定部７０は各々の分割領域の代表値と予め定めた第１基準値とを比較し、第１基準値以上の代表値を有する分割領域を、候補領域と決定する。頭部判定部６０が判定した頭部が、候補領域に存在していることから、行動判定部８０が被監視者による所定の行動を行っていると判定する。このため、ベッド面３ａにおける被監視者が所定の行動以外の行動、例えば、寝返り、手の動き、足の動き等といった、ベッド３での被監視者の単なる動きを誤検知し難い。
【０１０５】
したがって、この行動監視装置１０では、ベッド３及びベッド３の周辺となる近傍領域で行う被監視者の所定の動作を精度よく検知することができる。
【０１０６】
特に、代表値決定部５０は、複数の分割領域ごとに、ベッド面３ａに対する法線方向の成分であるベッド面座標系のY2軸方向の値から代表値を決定する。このため、区画された分割領域ごとに代表値を決定することで、候補領域内の全ての３次元データと第１基準値とをそれぞれ比較する必要もないため、演算処理量を減らすことができる。
【０１０７】
特に、このような行動監視装置及び行動監視方法では、被監視者の行動を精度よく検知することで、被監視者の座位から離床までの一連の動きの中で発生する、被監視者の転倒事故を抑制することができる。
【０１０８】
また、本実施の形態に係る行動監視方法は、被監視者、ベッド３及びベッド３の周囲となる近傍領域を撮像することで、画素値が物体までの距離を示す距離画像を取得する工程と、距離画像の各々の画素値が示す距離測定値に基づいて、距離画像を直交座標系の３次元データに変換する工程と、ベッド面３ａを格子状に複数の領域に分割し、ベッド面３ａ上方に存在する直交座標系の３次元データをベッド面３ａ上に投影し、各分割領域内に投影された３次元データのベッド面法線方向の複数の距離測定値から各分割領域ごとに代表値を決定する工程と、各々の分割領域の代表値と予め定めた第１基準値とを比較し、第１基準値以上の代表値を有する分割領域を、候補領域と決定する工程と、候補領域と決定された領域に対応する距離画像部分に被監視者の頭部が存在しているか否かを判定する工程と、判定する工程で判定した頭部が、候補領域に存在していることを判定すると、被監視者が所定の行動を行っていると判定する工程と、被監視者が所定の行動を行っていることを通知する工程とを含む。
【０１０９】
この方法においても、上述と同様の作用効果を奏する。
【０１１０】
また、本実施の形態に係る行動監視装置１０は、さらに、直交座標系に変換された３次元データに基づいて、ベッド３と略平行な平面を抽出し、抽出したベッド３と略平行な各々の平面と、予め設定されているベッド３の大きさを示す情報とを比較し、大きさが略同一である場合に、大きさが略同一となった平面をベッド３の位置と決定するベッド位置判定部４０を備える。そして、行動判定部８０は、ベッド位置判定部４０がベッド３の位置を決定した後に、被監視者が所定の行動を行っているか否かの判定を行う。
【０１１１】
このように、ベッド位置判定部４０は、３次元データからベッド３の位置を決定する。これにより、ベッド３の位置が変わったとしても、ベッド位置判定部４０は、自動的にベッド３の位置を把握することができる。このため、ユーザがベッド３の位置を設定し直すといった手間を省くことができる。
【０１１２】
また、本実施の形態に係る行動監視装置１０において、ベッド位置判定部４０は、代表値がベッド面３ａよりも低い値として設定された第２基準値以下である場合に、ベッド３の位置を決定した状態に対して、ベッド３に位置ずれが発生していると判定して、ベッド３の位置を再度決定する。
【０１１３】
このように、ベッド位置判定部４０は、代表値が第２基準値以下である場合に、ベッド３の位置を決定した状態に対して、ベッド３に位置ズレが発生していると判定する。ベッド位置判定部４０は、行動判定部８０が被監視者が所定の行動を行っているか否かの判定をする前に、ベッド３の位置を再度決定する。このため、ベッド３の位置ズレが発生した状態で、被監視者が所定の行動を行っているか否かの判定を行うこともない。その結果、正しいベッド３の位置に基づいて、ベッド３及びベッド３周辺の領域で行う被監視者の所定の動作を精度よく検知することができる。
【０１１４】
また、本実施の形態に係る行動監視装置１０において、ベッド位置判定部４０は、ベッド３に位置ずれが発生していると判定した場合、ベッド３の位置を決定した状態に対して、ベッド３の存在が検知されないと判定された非検知領域を抽出する。ベッド位置判定部４０は、ベッド３の中心位置から非検知領域に向かう方向とは反対方向に、ベッド面計測領域をずらす。そして、ベッド位置判定部４０は、ベッド３に位置ずれが発生していると判定しなくなるまでこれを行う。
【０１１５】
このように、ベッド位置判定部４０は、ベッド３に位置ずれが発生していると判定した場合、ベッド３の中心位置から非検知領域に向かう方向とは反対方向に対して、ベッド面計測領域をずらし、現在のベッド３の位置に補正する。このため、ベッド位置判定部４０は、ベッド３が移動しても、ベッド３の位置を確実に把握することができる。その結果、正しいベッド３の位置に基づいて、ベッド３及びベッド３の周辺となる近傍領域で行う被監視者の所定の動作を、より精度よく検知することができる。
【０１１６】
また、本実施の形態に係る行動監視装置１０において、行動判定部８０は、候補領域と決定された領域に対応する距離画像部分に頭部が存在していることを判定した領域がベッド３の周囲となる近傍領域である場合、所定の行動として、被監視者が離床していることを判定する。また、行動判定部８０は、候補領域と決定された領域に対応する距離画像部分に頭部が存在していることを、行動判定部８０が判定した領域が、ベッド３とベッド３の周囲となる近傍領域との境界である場合、所定の行動として、被監視者が端座位の姿勢であることを判定する。そして、行動判定部８０は、候補領域と決定された領域に対応する距離画像部分に頭部が存在していることを、行動判定部８０が判定した領域が、ベッド面３ａ内の場合、所定の行動として、起き上がりの姿勢であることを判定する。
【０１１７】
このように、行動判定部８０は、所定の行動として、被監視者が離床していること、被監視者が端座位の姿勢であること、起き上がりの姿勢であることを判定する。つまり、行動判定部８０は、被監視者が存在する位置に応じて、被監視者の行動を判定することができる。
【０１１８】
また、本実施の形態に係る行動監視装置１０において、代表値決定部５０は、予めベッド面３ａだけの状態で各々の分割領域に応じたベッド面代表値を決定する。そして、代表値決定部５０は、行動監視装置１０が被監視者を監視する場合に、代表値からベッド面代表値を減算して算出した値を代表値と決定する。
【０１１９】
ベッド３の種類によってそれぞれベッド３の高さは異なり、ベッド３の高さによって代表値が異なることがあるが、代表値決定部５０は、被監視者がベッド面３ａに存在する状態での各々の分割領域の代表値から、予めベッド面３ａだけの状態で各々の分割領域に応じたベッド面代表値を減算して、代表値を算出する。このため、ベッド３の高さに影響されない代表値を算出することができる。このため、候補領域の妥当性を高めることができる。
【０１２０】
（実施の形態２）
本実施の形態に係る行動監視装置及び行動監視方法について説明する。
【０１２１】
被監視者がベッドから落下しているか否かを監視する場合、ベッドの周辺における近傍領域を監視すればよいことが判る。ここで、行動監視装置は、被監視者がベッドから落下する領域を認定することができれば、距離画像の全てを処理の対象とする必要はない。したがって、被監視者がベッドから落下する領域を予め絞っておけば、行動監視装置が距離画像の全てを処理する必要はない。被監視者がベッドから落下する領域は、ベッドの周囲における近傍領域において、全ての領域であるとは限らない。例えば、ベッドの端縁に沿って壁、棚等の障害物が配置されていることがある。この場合では、ベッドに隣接して障害物が配置されている領域では、被監視者がベッドから落下することはない。このため、障害物が配置されている領域を、距離画像に示されるベッドの周囲における近傍領域から除外すればよい。このように、被監視者がベッドから落下しない領域を、距離画像の処理の対象とせず、被監視者がベッドから落下する危険性のある領域だけを、距離画像の処理の対象とすることで、行動監視装置及び行動監視方法では、行動監視装置に掛かる演算処理の負担を軽減する。
【０１２２】
［構成］
本実施の形態の行動監視装置２１０及び行動監視方法の構成は、特に明記しない場合は、実施の形態１と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
【０１２３】
図１０は、実施の形態２に係る行動監視方法を示すブロック図である。
【０１２４】
図１０に示すように、行動監視装置１０は、距離画像取得部２０、座標変換部３０、ベッド位置判定部４０、代表値決定部５０、頭部判定部６０、候補領域決定部７０、行動判定部８０及び記憶部９０の他に、落下検知領域設定部２２０と、落下判定部２３０とを備える。
【０１２５】
行動判定部８０は、座標変換部３０からベッド面座標系の３次元データを取得すると、被監視者がベッド３に対してどの方向に向かって移動したか、又は、ベッド３からどの方向に向かってベッド３以外の領域へ移動したかを判定する。つまり、行動判定部８０は、ベッド３に対する被監視者の移動方向を判定する。行動判定部８０は、頭部判定部６０からの頭部領域を示す情報に基づいてベッド３に対する被監視者の移動方向を示す移動情報を記憶部９０に格納する。
【０１２６】
次に、落下検知領域について、図１１及び図１２を用いて説明する。
【０１２７】
図１１は、落下検知領域を示す説明図である。図１２は、被監視者がベッド３で寝姿勢の状態のベッド面３ａにおける、領域分割を例示した説明図である。
【０１２８】
図１１に示すように、落下検知領域設定部２２０は、ベッド３の周囲における近傍領域であって、被監視者がベッド３から落下する危険性があると判断される領域を、落下検知領域として設定する。被監視者がベッド３から落下する危険性があると判定される領域は、ベッド３以外の領域からベッド面３ａ上に対して移動することが可能な、ベッド３の周囲における近傍領域であると考えられる。このため、ベッド３の周囲における近傍領域、かつ、ベッド面３aへの移動が可能な領域を、距離画像取得部２０が検知する落下検知領域とする。
【０１２９】
落下検知領域設定部２２０は、ベッド面座標系の３次元データから法線ベクトルを算出する。また、落下検知領域設定部２２０は、ベッド面３ａの法線ベクトルと直交する法線ベクトルを有する領域を、障害物に隣接する壁と判定する。これは、ベッド３が壁、棚などの障害物に隣接して配置されることがある。この場合、被監視者は、障害物が存在する領域とベッド３との間で移動することはできない。そこで、落下検知領域設定部２２０は、画素値ごとに法線ベクトルを算出することで、ベッド３の周囲における周辺領域から障害物が存在する場所を特定する。
【０１３０】
落下検知領域設定部２２０は、壁と判定した領域を、落下検知領域から除外する。つまり、行動判定部８０は、ベッド面座標系の３次元データからベッド３の全周囲に渡って近傍領域が存在しているものと認識しており、ベッド３に隣接して障害物が存在していても、障害物が存在する領域においても判定の対象とする。このことから、被監視者は、ベッド３が障害物に隣接している部分からは、ベッド３に移動することができないため、障害物が存在する領域を、落下検知領域から除外する。
【０１３１】
次に、ベッド入り口方向について、図１３を用いて説明する。
【０１３２】
図１３は、被監視者のベッド入り口方向を例示した説明図である。
【０１３３】
図１３に示すように、落下検知領域設定部２２０は、被監視者の移動する方向をベッド入り口方向と設定し、ベッド入り口方向と反対方向のベッド３に隣接する領域を落下検知領域として設定する。ベッド３に入ったり、ベッド３から出たりする方向、つまり移動方向は、被監視者が落下する危険性が高いものであると考えられる。このため、落下検知領域設定部２２０は、記憶部９０に格納されている移動情報に基づいて、ベッド３に隣接する領域を落下検知領域として設定する。例えば、被監視者がベッド３に入る方向をベッド入り口方向と設定すると、ベッド３に対するベッド入り口方向と反対方向のベッド３に隣接する領域、言い換えれば、ベッド入り口方向と交差するベッド３の端縁に隣接する領域を、落下検知領域として設定する。
【０１３４】
落下判定部２３０は、落下検知領域内でのベッド面座標系の３次元データの高さの変化により、ベッド３からの落下を判定する。つまり、落下判定部２３０は、落下検知領域内で人が落下しているか否かを判定する。落下判定部２３０は、落下検知領域内で高さが変化していると判定した場合、被監督者がベッド３から落下していることを示す落下情報を通知部１００に出力する。
【０１３５】
記憶部９０は、行動判定部８０からベッド３に対する被監視者の移動方向を示す移動情報を取得する。記憶部９０は、被監視者がベッド３とベッド３の周囲となる近傍領域との間で移動する方向を示す情報を記憶する。
【０１３６】
［動作］
次に、行動監視装置２１０及び行動監視方法の動作について説明する。
【０１３７】
図１４は、実施の形態２に係る行動監視装置２１０の行動監視動作を示すフローチャートである。
【０１３８】
図１４に示すように、まず、落下検知領域設定部２２０は、ベッド３の周囲の床面領域であって、被監視者がベッド３から落下する危険性があると判定される領域を、落下検知領域として設定する（Ｓ４１）。
【０１３９】
次に、落下検知領域設定部２２０は、ベッド面座標系の３次元データから法線ベクトルを算出し、ベッド面３ａの法線ベクトルと直交する法線ベクトルを有する領域を壁と判定する（Ｓ４２）。
【０１４０】
次に、落下検知領域設定部２２０は、壁と判定した領域を、落下検知領域から除外し、新しい落下検知領域を生成する（Ｓ４３）。例えば、落下検知領域設定部２２０は、図６Ｂのベッド３の両側にある近傍領域から、図１２で示すベッド３の一方の縁に壁が配置された近傍領域を除いた、落下検知領域を生成する。
【０１４１】
次に、落下判定部２３０は、落下検知領域内でベッド面座標系の３次元データの高さが変化しているか否かを判定する（Ｓ４４）。つまり、落下判定部２３０は、被監督者が、ベッド３から落下しているか否かを判定する。
【０１４２】
落下判定部２３０は、落下検知領域内で高さが変化していると判定した場合（Ｓ４４でYES）、被監督者がベッド３から落下していることを示す落下情報を通知部１００に出力する（Ｓ４５）。そして、通知部１００は、報知部に落下情報を出力する。これにより、報知部は、被監督者がベッド３から落下していることを報知することで、スタッフは、被監督者がベッド３から落下していることを認知する。
【０１４３】
一方、落下判定部２３０は、落下検知領域内で高さが変化していない、または、ほとんど変化していないと判定した場合（Ｓ４４でNO）、この処理を終了する。
【０１４４】
［作用効果］
次に、本実施の形態における行動監視装置２１０の作用効果について説明する。
【０１４５】
上述したように、本実施の形態に係る行動監視装置２１０は、さらに、ベッド３の周囲となる近傍領域であって、被監視者がベッド３から落下する危険性があると判定される領域を、落下検知領域として設定する落下検知領域設定部２２０と、落下検知領域内でのベッド面座標系の３次元データの高さの変化により、ベッド３からの落下を判定する落下判定部２３０とを備える。
【０１４６】
このように、落下検知領域設定部２２０は、被監視者がベッド３から落下する危険性があると判定される領域を、落下検知領域として設定する。また、落下判定部２３０は、落下検知領域内でのベッド面座標系の３次元データの高さの変化により、ベッド３からの落下を判定する。このため、距離画像の全ての画素値を対象に演算処理を行う場合に比べて、設定された落下検知領域に対して、落下判定部２３０が落下の判定することで、行動監視装置２１０に掛かる演算処理の負担を軽減することができる。
【０１４７】
また、本実施の形態に係る行動監視装置２１０において、落下検知領域設定部２２０は、ベッド面３ａを基準とする直交座標系の３次元データから法線ベクトルを算出する。そして、落下検知領域設定部２２０は、ベッド面３ａの法線ベクトルと直交する法線ベクトルを有する領域を、ベッド３に隣接する壁と判定し、壁と判定した領域を、落下検知領域から除外する。
【０１４８】
このように、落下検知領域設定部２２０は、ベッド面座標系の３次元データから法線ベクトルを算出して、法線ベクトルに基づいてベッド３に隣接する壁を判定する。壁と判定した領域を、落下検知領域から除外する。このため、壁と判定した領域以外の領域を落下検知領域とした、被監視者がベッド３から落下する危険性のある領域だけを、距離画像の処理の対象とすることで、行動監視装置２１０に掛かる演算処理の負担を軽減することができる。
【０１４９】
また、本実施の形態に係る行動監視装置２１０は、さらに、被監視者がベッド３とベッド３の周囲となる近傍領域との間で移動する方向を示す情報を記憶する記憶部９０を備える。そして、落下検知領域設定部２２０は、移動する方向をベッド入り口方向と設定し、ベッド入り口方向と反対方向のベッド３に隣接する領域を落下検知領域として設定する。
【０１５０】
このように、落下検知領域設定部２２０は、被監視者が移動する方向をベッド入り口方向と設定し、ベッド入り口方向と反対方向のベッド３に隣接する領域を落下検知領域として設定する。
【０１５１】
本実施の形態においては、実施の形態１と同様の作用効果を奏する。
【０１５２】
（その他変形例等）
以上、本開示について、実施の形態１、２に基づいて説明したが、本開示は、上記実施の形態１、２に限定されるものではない。
【０１５３】
また、上記実施の形態に係る行動監視装置及び行動監視方法に含まれる各処理部は、典型的に集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１５４】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５５】
なお、上記各実施の形態１、２において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１５６】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。
【０１５７】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１５８】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１５９】
その他、実施の形態１、２に対して当業者が思いつく各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態１、２における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【符号の説明】
【０１６０】
３  ベッド
３ａ  ベッド面
１０、２１０  行動監視装置
２０  距離画像取得部
３０  座標変換部
４０  ベッド位置判定部
５０  代表値決定部
７０  候補領域決定部
６０  頭部判定部
８０  行動判定部
９０  記憶部
１００  通知部
１１１  報知部（スマートフォン等の端末機器）
１１２  報知部（パーソナルコンピュータ）
２２０  落下検知領域設定部
２３０  落下判定部
【図１】
2019130218.tif 000003
【図２】
2019130218.tif 000004
【図３】
2019130218.tif 000005
【図４】
2019130218.tif 000006
【図５】
2019130218.tif 000007
【図６Ａ】
2019130218.tif 000008
【図６Ｂ】
2019130218.tif 000009
【図７】
2019130218.tif 000010
【図８】
2019130218.tif 000011
【図９Ａ】
2019130218.tif 000012
【図９Ｂ】
2019130218.tif 000013
【図１０】
2019130218.tif 000014
【図１１】
2019130218.tif 000015
【図１２】
2019130218.tif 000016
【図１３】
2019130218.tif 000017
【図１４】
2019130218.tif 000018