(57)【要約】【課題】  離床の事前動作である端座位の姿勢を検知する特定姿勢検出装置を提供する。【解決手段】  病室内を撮影するカメラ１と、カメラの撮像映像からベッドのエリアを検出するベッド検出部３と、カメラ１の撮像映像から検出した人物の姿勢を推定する姿勢推定部４と、ベッドエリアの検出結果及び姿勢推定結果の学習サンプルを基に、端座位検出のためのパラメータを決定する学習部５と、ベッド検出部３の検出情報及び姿勢推定部４の推定情報を基に、学習部５が決定したパラメータを使用して患者の端座位を検出する端座位検出部６とを有し、姿勢推定部４は撮像した人物の画像から少なくとも首及び骨盤の左右端部の３点の骨格の座標情報から姿勢を推定する。【選択図】  図１
2020087040.tif 000002
【特許請求の範囲】
【請求項１】
室内を撮影するカメラと、
前記カメラの撮像映像からベッドのエリアを検出するベッド検出部と、
前記カメラの撮像映像から検出した人物の姿勢を推定する姿勢推定部と、
ベッドエリアの検出結果及び姿勢推定結果の学習サンプルを基に、端座位検出のためのパラメータを決定する学習部と、
前記ベッド検出部の検出情報及び前記姿勢推定部の推定情報を基に、前記学習部が決定したパラメータを使用して患者の端座位を検出する端座位検出部とを有することを特徴とする特定姿勢検出装置。
【請求項２】
前記姿勢推定部は、撮像した人物の画像から、少なくとも首、右骨盤及び左骨盤の３点の骨格の座標情報を入手し、その座標情報から姿勢を推定することを特徴とする請求項１記載の特定姿勢検出装置。
【請求項３】
前記端座位検出部は、４層ニューラルネットワークを用いて端座位を検出することを特徴とする請求項１又は２記載の特定姿勢検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮像映像により患者を見守り、患者の離床事故の発生を防止するために離床前の姿勢を検知する特定姿勢検出装置に関する。
【背景技術】
【０００２】
近年、病院や高齢者施設で転倒による事故が多発している。この転倒による事故を防ぐために、離床する事前の状態を検出する方法が検討されている。
例えば、特許文献１では、画像全体の動きから患者の輪郭を把握して起き上がり動作を推定した。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２９２６６号公報
【特許文献２】特開２０１７−３８７７７号公報
【非特許文献】
【０００４】
【非特許文献１】井上円・安井俊之・田口亮・梅崎太造：「患者みまもり機能の自働化に向けたベッド位置の検出」，電学論C, Vol.138, No.6, pp.670-677 (2018)
【非特許文献２】Z. Cao, T. Simon, S. E. Wei, & Y. Sheikh : “Realtime multi-person 2d pose estimation using part affinity fields”, In IEEE Conference on Computer Vision and Pattern Recognition, Vol.1, No.2 p.7 (2017)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の技術は、少ない演算量でベッド上での患者の起き上がり動作を検出できた。しかしながら、起き上がり動作が全て離床に繋がるわけでは無いため、離床動作の前兆を把握するには、他の動作或いは姿勢の検出が必要であった。
この離床の前兆となる動作或いは姿勢を検討した結果、離床動作はベッド上の患者がまずベッドから足を出し、ベッドに腰掛ける端座位の姿勢をとることが判った。
【０００６】
そこで、本発明はこのような問題点に鑑み、離床の事前動作である端座位の姿勢を検知する特定姿勢検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決する為に、請求項１の発明に係る特定姿勢検出装置は、室内を撮影するカメラと、カメラの撮像映像からベッドのエリアを検出するベッド検出部と、カメラの撮像映像から検出した人物の姿勢を推定する姿勢推定部と、ベッドエリアの検出結果及び姿勢推定結果の学習サンプルを基に、端座位検出のためのパラメータを決定する学習部と、ベッド検出部の検出情報及び姿勢推定部の推定情報を基に、学習部が決定したパラメータを使用して患者の端座位を検出する端座位検出部とを有することを特とする。
この構成によれば、検出したベッドエリア情報と推定した姿勢情報とを基に端座位を検出、即ちベッド上の患者がベッドから足を出してベッドに腰掛けた状態を検出するため、立ち上がって離床する事前の姿勢を確実に検知できる。そのため、患者の離床を事前に通知することが可能となるし、この姿勢を検出すること無く離床する人物を検知しても、それは患者ではないと判断でき、看護師の離床動作を患者の離床と誤検知するのを防止できる。
【０００８】
請求項２の発明は、請求項１に記載の構成において、姿勢推定部は、撮像した人物の画像から、少なくとも首、右骨盤及び左骨盤の３点の骨格の座標情報を入手し、その座標情報から姿勢を推定することを特徴とする。
この構成によれば、少なくとも３点の座標情報から姿勢を推定することで、少ない演算量で推定できるし、骨格情報を基に推定することで誤検出を削減できる。
【０００９】
請求項３の発明は、請求項１又は２に記載の構成において、端座位検出部は、４層ニューラルネットワークを用いて端座位を検出することを特徴とする。
この構成によれば、端座位の姿勢を高精度で検出できる。
【発明の効果】
【００１０】
本発明によれば、検出したベッドエリア情報と推定した姿勢情報とを基に端座位を検出、即ちベッド上の患者がベッドから足を出してベッドに腰掛けた状態を検出するため、立ち上がって離床する事前の姿勢を確実に検知できる。そのため、患者の離床を事前に通知することが可能となるし、この姿勢を検出すること無く離床する人物を検知しても、それは患者ではないと判断でき、看護師の離床動作を患者の離床と誤検知するのを防止できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る特定姿勢検出装置の一例を示すブロック図である。
【図２】ベッドエリアの識別と骨格の位置情報との推定を説明する画像説明図である。
【図３】学習サンプルの説明図である。
【図４】４層ニューラルネットワークの説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定姿勢検出装置の一例を示すブロック図である。
１はカメラ、２はカメラの撮像画像を一時的に保持する画像保存部、３はカメラ１の撮像画像からベッドのエリアを検出するベッド検出部、４はカメラ１の撮像画像から検出した人物の姿勢を推定する姿勢推定部、５は学習データを蓄積した学習部、６は端座位を検出する端座位検出部である。
尚、画像保存部２、ベッド検出部３、姿勢推定部４、学習部５、端座位検出部６は動作プログラムをインストールしたＣＰＵ或いはＤＳＰにより一体に構成できるし、パーソナルコンピュータにより実行できる。
【００１３】
カメラ１は、病院の患者や被介護者等の見守り対象者（以下、単に「患者」とする。）を撮像するために患者の居る病室等の部屋の上部に設置され、ベッドを含む部屋全体が撮像される。
【００１４】
画像保存部２は、例えばＲＡＭで構成され、カメラ１で撮影された画像（画像フレーム）が後段のベッド検出部３或いは姿勢推定部４で画像処理が行われるまで一次記憶される。
【００１５】
ベッド検出部３は、カメラ１の撮像画像からベッドエリアを把握する。手法としては、例えば特許文献２のベッドエリア把握手法が利用できるし、非特許文献１の機械学習によるベッド位置の推定手法を用いることができる。
【００１６】
姿勢推定部４は、カメラ１の撮像画像から人物を検出してその人物の端座位を推定する。端座位の推定は、上半身の特定部位の位置から推定が成され、首、右骨盤及び左骨盤の３点の位置情報を入手し、姿勢が推定される。
骨格の位置情報は、例えば骨格の位置情報を推定する非特許文献２の手法を使用して入手することができる。
例として、ベッド上で起き上がった人物を撮像した画像に対する姿勢推定結果を図２に示す。図２では、入手したベッド上の人物Ｆの体の首Ｐ１、右骨盤Ｐ２、左骨盤Ｐ３の３点の位置を示し、首と右骨盤を結ぶ線、首と左骨盤を結ぶ線を白の破線で示している。尚、図２に示す黒の破線は、ベッド検出部３が検出したベッドエリアを示している。
【００１７】
学習部５は、ベッド検出部３の手法によりベッド位置を変更した様々な状態でベッドエリアを検出した検出結果、及び姿勢推定部４の手法により様々な姿勢を推定した姿勢推定結果から成る学習サンプルを、正例と負例に分類して保存し、これらの学習データを基に識別器のパラメータを決定する。
例えば端座位の学習サンプルの正例と負例の分類の一例を図３に示している。図３（ａ）は離床シーンの様々なパターンを示し、図３（ｂ）はこの様々なパターンを端座位（正例），端座位以外（負例）として分類した状態を示している。こうした学習により端座位を判断するための識別手段が構築される。
【００１８】
端座位検出部６は、４層ニューラルネットワークを用いて画像から検出した人物が離床前のベッド隅部での端座位状態にあるか判定する。図４は４層ニューラルネットワークの概略を示し、Ｌ１は入力層、Ｌ２は第１中間層、Ｌ３は第２中間層、Ｌ４は出力層である。
入力層Ｌ１はベッド検出部３が検出したベッドエリア情報であるベッド４隅の座標情報と、姿勢推定部４が推定した骨格３点の座標情報が入力される。第１中間層Ｌ２、第２中間層Ｌ３では、学習部５の情報を基に生成された重みが使用されて演算される。
出力層Ｌ４では、ノード数２の２クラス分類問題としてsoftmax関数を用いて尤度が算されて出力され、ベッドに腰掛けた端座位にあるか判定される。この判定により、例えば図２に示すような、ベッドの隅に人物が腰掛けている状態が端座位状態にあると判定され、端座位が検出される。
尚、識別器は、ベッド検出に例えばSVMや部分空間法、人物の姿勢検出に例えばAdaBoostなど様々な手法が適応できる。
【００１９】
このように、検出したベッドエリア情報と推定した姿勢情報とを基に端座位を検出、即ちベッド上の患者がベッドから足を出してベッドに腰掛けた状態を検出するため、立ち上がって離床する事前の姿勢を確実に検知できる。そのため、患者の離床を事前に通知することが可能となるし、この姿勢を検出すること無く離床する人物を検知しても、それは患者ではないと判断でき、看護師の離床動作を患者の離床と誤検知するのを防止できる。
また、首、右骨盤、左骨盤の３点の座標情報から姿勢を推定することで、少ない演算量で推定できるし、骨格情報を基に推定するため誤検出を削減できる。更に４層ニューラルネットワークを使用して端座位を判定するため、端座位の姿勢を高精度で検出できる。
【００２０】
尚、上記実施形態では、首、右骨盤、左骨盤の３点の座標情報を基に姿勢を推定しているが、例えば頭部の座標を加えて４点の骨格情報を基に推定しても良いし、更に他の部位の座標を加えて姿勢を推定しても良い。
【符号の説明】
【００２１】
１・・カメラ、２・・画像保存部、３・・ベッド検出部、４・・姿勢推定部、５・・学習部、６・・端座位検出部。
【図１】
2020087040.tif 000003
【図２】
2020087040.tif 000004
【図３】
2020087040.tif 000005
【図４】
2020087040.tif 000006