(57)【要約】【課題】  演算能力の比較的低いＣＰＵでも高い精度で人物の状態を判断できる動作認識装置を提供する。【解決手段】  カメラ１から取得した３次元情報からグレースケール画像及び距離画像を生成する３次元データ入力部２１と、ベッド４隅の位置データを基にベッドエリアを把握するベッドエリア把握部２２と、距離画像及びグレースケール画像からベッド上の人物の頭部と両肩の中心を検出し、更に両肩の中心から見た頭部方向を推定する頭部検出・頭部方向推定部２３と、求めた頭部の中心、両肩の中心、及びベッド４隅の６点をワールド座標系に変換する座標変換部２４と、ワールド座標系に変換されたデータと頭部方向とを基に頭部の位置及び方向とベッド位置との関係が特定の条件を満たしたら、通知すべき特定の動作状態にあると判断する動作判定部２５と、特定動作状態にあることを報知動作する結果出力部２６とを有する。【選択図】  図１
2017038777.tif 000002
【特許請求の範囲】
【請求項１】
ベッド全体を上方から撮像して画像情報と距離情報を得る情報取得手段と、
取得した前記情報からベッド上の人物の動作を判定する動作認識手段とを有する動作認識装置であって、
前記動作認識手段は、入手した前記情報から画像データ及び距離データを生成する３次元データ入力部と、
前記画像データのベッド４隅の位置データを基にベッドエリアを把握するベッドエリア把握部と、
前記画像データ及び前記距離データから、ベッド上の人物の頭部と両肩の中心を検出し、更に検出した両肩の中心から見た頭部方向を推定する頭部検出・頭部方向推定部と、
求めた頭部の中心、両肩の中心、及び前記ベッド４隅の６点をワールド座標系に変換する座標変換部と、
ワールド座標系に変換されたデータと推定した前記頭部方向とを基に、頭部の位置及び方向とベッド位置との関係が特定の条件を満たしたら特定動作検出信号を出力する動作判定部と、
前記特定動作検出信号を受けて報知動作する結果出力部とを有することを特徴とする動作認識装置。
【請求項２】
前記動作判定部は、推定された前記頭部方向が上向きであり、且つ頭部の位置が所定の高さを超えたら、ベッド上の人物が起き上がったと判断することを特徴とする請求項１記載の動作認識装置。
【請求項３】
前記動作判定部は、推定された前記頭部方向が前記ベッドエリアから外を向き、且つ前記頭部中心が前記ベッドエリアから横方向に一定距離離れたら、離床発生と判断することを特徴とする請求項１又は２記載の動作認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベッド上の人物を見守るためにカメラで撮像し、その撮像画像から人物の起き上がりや離床を検出する動作認識装置に関する。
【背景技術】
【０００２】
ベッド上の人物がベッドから転落したり、徘徊による事故を防止するために各種センサを用いて人物を見守り、異常発生を検知したら関係者に通知するシステムが開発されている。そのようなシステムの中で、非接触で見守り対象者に関する３次元データを入手し、このデータを基に人物の離床等の発生を防止する技術が提案されている。
例えば特許文献１では、赤外線レーザーセンサを使用してベッド上の被介護者の動作を把握して、起き上がりや離床を検出する構成が開示されている。また特許文献２では、画素値に撮像対象の患者までの距離データを有する画像を生成する距離画像センサを用い、合わせて検出したベッド位置と比較して患者の動作を判別する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１４９７３１号公報
【特許文献２】特開２０１２−３００４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
見守り対象者に関する３次元データを入手して、人物の動作を判別する上記特許文献の技術は、それまでの２次元データから判断する技術に比べて高い精度で判別することが可能となった。しかしながら、何れの技術も３次元データを取得するセンサ装置がベッドの斜め上方に設置されている。このような構成の場合、センサ装置から見守り対象者を精度良く把握するためには、センサ装置から得られた距離画像をワールド座標系に配置し直したポイントクラウド等のデータに一度変換する必要があるため、演算量が多くＣＰＵの負担が大きかった。また、その後の認識処理を行う際も、ポイントクラウド等のデータを用いた処理となるため演算量が多く、高い性能のＣＰＵが必要であった。
【０００５】
そこで、本発明はこのような問題点に鑑み、ワールド座標系に変換するデータ量自体を削減することで、演算能力の比較的低いＣＰＵでも高い精度で人物の状態を判断できる動作認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決する為に、請求項１の発明は、ベッド全体を上方から撮像して画像情報と距離情報を得る情報取得手段と、取得した情報からベッド上の人物の動作を判定する動作認識手段とを有する動作認識装置であって、動作認識手段は、入手した情報から画像データ及び距離データを生成する３次元データ入力部と、画像データのベッド４隅の位置データを基にベッドエリアを把握するベッドエリア把握部と、画像データ及び距離データから、ベッド上の人物の頭部と両肩の中心を検出し、更に検出した両肩の中心から見た頭部方向を推定する頭部検出・頭部方向推定部と、求めた頭部の中心、両肩の中心、及びベッド４隅の６点をワールド座標系に変換する座標変換部と、ワールド座標系に変換されたデータと推定した頭部方向とを基に、頭部の位置及び方向とベッド位置との関係が特定の条件を満たしたら特定動作検出信号を出力する動作判定部と、特定動作検出信号を受けて報知動作する結果出力部とを有することを特徴とする。
この構成によれば、画像データと距離データを基に、ベッド上の人物の動作を判断するため、起き上がり動作や離床動作を高い精度で判断することが可能となる。一方で、ワールド座標系に変換するデータ量は６点と僅かで済むため、演算量を少なくでき高速で検出できる。
【０００７】
請求項２の発明は、請求項１に記載の構成において、動作判定部は、推定された頭部方向が上向きであり、且つ頭部の位置が所定の高さを超えたら、ベッド上の人物が起き上がったと判断することを特徴とする。
この構成によれば、患者の頭部の向きと頭部の高さとから起き上がりを判定するため、高い精度で起き上がりを判定できる。
【０００８】
請求項３に発明は、請求項１又は２に記載の構成において、動作判定部は、推定された頭部方向がベッドエリアから外を向き、且つ頭部中心がベッドエリアから横方向に一定距離離れたら、離床発生と判断することを特徴とする。
この構成によれば、患者の頭部の向きとベッドエリアからの距離とから離床を判定するため、高い精度で離床を判定できる。
【発明の効果】
【０００９】
本発明によれば、距離画像と画像情報の双方のデータを基に、ベッド上の人物の動作を判断するため、起き上がり動作や離床動作を高い精度で判断することが可能となる。一方で、ワールド座標系に変換するデータ量は６点と僅かで済むため、演算量を少なくでき高速で検出できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る動作認識装置の一例を示す機能説明図である。
【図２】情報取得手段の設置位置を示す説明図である。
【図３】グレースケール画像の説明図である。
【図４】距離画像の説明図である。
【図５】認識したベッドエリアを距離画像上に表示した説明図である。
【図６】図５の画像に、両肩の中心点及び頭部の中心点を加えた説明図である。
【図７】６点をワールド座標系に変換する説明図である。
【図８】起き上がり判定の説明図であり、（ａ）はベッドに伏した状態、（ｂ）は起き上がりの判定の状態をそれぞれ示している。
【図９】離床判定の説明図であり、（ａ）は離床動作直前の状態、（ｂ）は離床と判定する状態をそれぞれ示している。
【図１０】離床判定の他の説明図であり。（ａ）は離床動作直前の状態、（ｂ）は離床と判定する状態をそれぞれ示している。
【発明を実施するための形態】
【００１１】
以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る動作認識装置の一例を示す機能説明図であり、１は見守り対象を撮像して画像情報と距離情報を得る情報取得手段としてのカメラ、２は見守り対象の動作を判定する動作認識手段である。
カメラ１は、例えばステレオカメラ、ＴＯＦ（Time of Flight）カメラ、或いはＲＧＢ−Ｄカメラ（カラー画像に加えて距離画像を取得できるカメラ）等が使用できる。動作認識手段２は、３次元データ入力部２１、ベッドエリア把握部２２、頭部検出・頭部方向推定部２３、データ変換部２４、動作判定部２５、結果出力部２６を備えている。
【００１２】
図２はカメラ１の設置位置説明図であり、図２に示すようにベッドＢを上方から撮像するよう、且つベッドに伏した患者Ｋの頭部上方に設置され、例えば病室天井に設置される。このように、ここでは動作認識装置を病院に設置して入院患者を見守る場合を説明する。
【００１３】
３次元データ入力部２１は、カメラ１から取得した３次元画像情報を基に、画像データとしてのグレースケール画像と、距離データとしての距離画像を生成して出力する。
【００１４】
ベッドエリア把握部２２は、ベッドの４隅の位置を取得してベッドエリアを把握する。ベッド４隅の位置は、取得されたグレースケール画像と距離画像からテンプレートマッチング等の画像認識技術で取得できるが、予めベッド４隅にマーカーを取り付けて検出する簡易な手法を用いて取得しても良い。
尚、ベッド４隅の把握は、ユーザーに入力してもらっても良く、例えばグレースケール画像をモニタに表示して、ベッドの４隅をタッチ操作等で座標入力して把握しても良い。
【００１５】
頭部検出・頭部方向推定部２３は、３次元データ入力部２１が出力するグレースケール画像と距離画像とから、まず頭部の中心（中心点）と両肩の中心（中寸点）を検出する。検出する手法としては、ＨＯＧ（Histogram of Oriented Gradients）等の局所特徴量とRandom Forests等の学習とを組み合わせた手法等を用いても良いし、ディープラーニング等の手法を用いても良い。
こうして頭部の中心と両肩の中心とを検出したら、そのデータを基に両肩の中心から見た頭部中心の方向（頭部方向）を推定する。
【００１６】
データ変換部２４は、検出した頭部中心と両肩の中心、そしてベッドの４隅の点をワールド座標系に配置（変換）する。この変換により、３次元空間上にベッドと患者の頭部と両肩の中心が投影されるので、頭部検出・頭部方向推定部２３が推定した頭部方向も同時に投影でき、見守り機能に必要な判定を行う３次元情報を得ることができる。
【００１７】
動作判定部２５は、ワールド座標系に変換されたデータ及び推定した頭部方向の情報を基に患者の動作を判断し、特定の動作状態にあると判断したら信号を結果出力部２６に出力する。例えば、頭部が横向きの状態から天井方向へ向きを変えてベッドから離れて高い位置へ移動したら、患者が起き上がったと判定する。また、頭部方向がベッドの外を向き、且つ頭部中心がベッドエリアから一定距離離れたら離床と判定する。
【００１８】
結果出力部２６は、動作判定部２５が出力する信号を受けて報知動作する。例えば、音声メッセージの報音や、ディスプレイへの表示で報知し、ナースステーションに常駐する看護師に異常発生を認識させる。
尚、ベッドエリア把握部２２、頭部検出・頭部方向推定部２３，データ変換部２４、及び動作判定部２５は、ＣＰＵ或いはＤＳＰに所定のプログラムを実行させることで実現できる。
【００１９】
以下、画像図を参照して動作検出の流れを説明する。図３はカメラ１から取得した情報を基に３次元データ入力部２１が出力するグレースケール画像、図４は同様に３次元データ入力部２１が出力する距離画像である。
グレースケール画像からは、患者の状態やベッドエリアを判別することは可能であるが、３次元で各点の位置を把握することはできない。一方、図４の距離画像では、距離を画像の濃淡により表示している。具体的に、カメラ１に近いほど濃い色（黒）で表示し、遠いほど薄い色（白）で表示しており、相対的距離を把握できる。
【００２０】
図５は、こうして取得した距離画像上に、ベッドエリア把握部２２で取得したベッドエリアＢ１を表示した画像図であり、図６は頭部検出・頭部方向推定部２３で検出した頭部中心Ｍ１及び両肩の中心Ｍ２を更に表示した画像図を示している。
【００２１】
こうして求めたベッドの４隅と、頭部中心Ｍ１と両肩の中心Ｍ２が、データ変換部２４においてワールド座標系に変換される。図７は、ベッドの４隅と頭部中心Ｍ１と両肩の中心Ｍ２の６点をワールド座標系に変換した状態を示す説明図である。
尚、図７では両肩の中心Ｍ２から見た頭部中心Ｍ１（図示せず）の方向を矢印Ｐ１で示している。この頭部方向は、頭部検出・頭部方向推定部２３が推定した頭部方向と一致している。
【００２２】
図８〜１０は患者の動作判定の説明図であり、座標変換したデータや頭部方向データによる動作判定をこの図を参照して具体的に説明する。図８は起き上がり判定の説明図であり、（ａ）はベッドに伏した状態、（ｂ）は起き上がりの判定の状態をそれぞれ示し、真横から見た状態に変換して表示している。起き上がり等の動作判定は図８に示すように視点を変換することで容易に判定できる。
患者がベッドＢに伏している状態では、図８（ａ）に示すように、頭部方向Ｐ１は横方向（正確には、ベッド内でベッド長手方向）を向いているが、起き上がると図８（ｂ）に示すように、頭部方向Ｐ１が上方（例えば、角度Ａ１が４５°以上）を向いた状態となり、ベッドＢの上方へ一定距離Ｈ１（例えば、５０ｃｍ）離れる。この状態を検出したら起き上がり発生と判断して起き上がり検知信号（特定動作検出信号）を出力する。距離の判断は、例えば図８（ａ）に示すベッドＢの長手方向の長さＬ１を約２メートルと仮定することで判断できる。
この起き上がり検知信号を受けた結果出力部２６は、見守り対象の患者が起き上がったことを報知する。
【００２３】
離床動作は、図９、１０に示す動作から判断できる。何れも横方向から見た状態に変換しているが、図８と異なり枕側から見た横方向で表示している。図９（ａ）は離床動作直前の状態、図９（ｂ）は離床と判定する状態をそれぞれ示し、図９に示すように頭部の位置がベッドＢから一定距離Ｌ２（例えば８０ｃｍ）以上離れたら離床と判断して、離床発生信号（特定動作検出信号）を出力する。
また図１０（ａ）は離床動作直前の状態、図１０（ｂ）は離床と判定する状態をそれぞれ示し、図１０に示すように頭部がベッドＢの外に出て、且つ頭部方向Ｐ１の延長線ＰＬがベッドＢの領域外へ出た場合も離床と判断して離床発生信号を出力する。
そして、離床発生信号を受けた結果出力部２６は、見守り対象の患者が離床したことを報知する。
【００２４】
このように、画像データと距離データを基に、ベッドＢ上の人物の動作を判断するため、起き上がり動作や離床動作を高い精度で判断することが可能となる。一方で、ワールド座標系に変換するデータ量は６点と僅かで済むため、演算量を少なくでき高速で検出できる。
そして、患者の頭部方向Ｐ１と頭部の高さとから起き上がりを判定するため、高い精度で起き上がりを判定できるし、患者の頭部の向きとベッドエリアＢ１からの距離Ｌ２とから離床を判定するため、高い精度で離床を判定できる。
【００２５】
尚、上記実施形態では、起き上がり動作や離床の検出を説明したが、それ以外の動作、例えばベッドからの転落を検出することも可能でる。例えば、検出した頭部（頭部中心Ｍ１）がベッドエリアＢ１から外れ、且つベッドＢより低い位置に留まったら転落発生と推定できる。
また、３次元データ入力部２１において、カメラ１の撮像画像をグレースケール画像に変換しているが、カメラ１の撮像画像をカラー画像のままデジタルデータ（画像データ）に変換するだけで出力しても良く、その後の頭部検出等は可能である。
【産業上の利用可能性】
【００２６】
上記実施形態では、病院に入院している患者を見守る場合について説明したが、本発明の動作認識装置は、介護施設において被介護者を見守る際に活用できるし、家庭において、認知症の家族を見守る場合に利用できる。
【符号の説明】
【００２７】
１・・カメラ（情報取得手段）、２・・動作認識手段、２１・・３次元データ入力部、２２・・ベッドエリア把握部、２３・・頭部検出・頭部方向推定部、２４・・データ変換部（座標変換部）、２５・・動作判定部、２６・・結果出力部、Ｐ１・・頭部方向、Ｂ・・ベッド。
【図１】
2017038777.tif 000003
【図２】
2017038777.tif 000004
【図３】
2017038777.tif 000005
【図４】
2017038777.tif 000006
【図５】
2017038777.tif 000007
【図６】
2017038777.tif 000008
【図７】
2017038777.tif 000009
【図８】
2017038777.tif 000010
【図９】
2017038777.tif 000011
【図１０】
2017038777.tif 000012