(57)【要約】【課題】  入手した病室の画像からベッドエリアを認識し易い画像に変換し、加えて演算量を削減できる手法を用いてベッド位置を特定する特徴量抽出装置を提供する。【解決手段】  カメラ１から入手した室内画像を保持する画像保持部２と、室内画像を上空から俯瞰した俯瞰画像に変換する視点変換処理部３と、俯瞰画像に対して画像全体を走査する走査処理部４と、走査処理で着目した個々の座標に対して撮像されるベッドを上回るサイズで予め設定された領域を切り出し処理し、メモリに保存する切り出し処理部５と、撮像されるベッドを下回るサイズで予め設定された非探索領域を備えたマスク画像を生成する形状マスク部６と、生成されたマスク画像をメモリに保存された領域に適用して画像特徴を抽出し、抽出した画像特徴からベッド位置を特定するベッド抽出部７とを備えた。【選択図】  図１
2020096234.tif 000002
【特許請求の範囲】
【請求項１】
画像取得手段から入手した室内画像を保持する画像保持部と、
前記室内画像を上空から俯瞰した俯瞰画像に変換する視点変換処理部と、
前記俯瞰画像に対して画像全体を走査する走査処理部と、
走査処理の際に着目した個々の座標毎に、撮像されるベッドを上回るサイズで予め設定された領域を切り出し処理してメモリに保存する切り出し処理部と、
撮像されるベッドを下回るサイズで予め設定された非探索領域を備えたマスク画像を生成する形状マスク部と、
生成された前記マスク画像を、前記メモリに保存された個々の前記領域に適用して画像特徴を抽出し、抽出した画像特徴からベッド位置を特定するベッド抽出部とを備えたことを特徴とするベッド位置特定装置。
【請求項２】
前記形状マスク部は、前記マスク画像の非探索領域を輝度情報を削除して設定することを特徴とする請求項１記載のベッド位置特定装置。
【請求項３】
前記形状マスク部は、前記マスク画像の非探索領域を輝度情報の計算をスキップするフラグを保持させて設定することを特徴とする請求項１記載のベッド位置特定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、病室に備え付けられたカメラの撮像映像により患者を見守る技術に関し、特に患者とベッドの位置関係を把握するために患者が伏しているベッド位置を特定するベッド位置特定装置に関する。
【背景技術】
【０００２】
近年、病院や高齢者施設での転倒事故を防止する為に、患者の離床動作を検出する取り組みがなされている。また、その一環としてベッド位置を特定する取り組み（例えば、特許文献１参照）がなされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１３９３８８号公報
【非特許文献】
【０００４】
【非特許文献１】M. Nieto, L. Salgado, F. Jaureguizar and J. Cabrera: “Stabilization of Inverse Perspective Mapping Images Based on Robust Vanishing Point Estimation,” Proc. 2007 IEEE Intelligent Vehicles Symposium, pp.315-320 (2007)
【非特許文献２】D. G. Lowe:“Distinctive Image Features from Scale-Invariant Keypoints”, Inter-national Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.
【非特許文献３】C. Harris and M. Stephens: “A combined corner and edge detector.” Alvey Vision Conference, pp. 147-152, 1988.
【非特許文献４】N. Dalal, B. Triggs: “Histograms of Oriented Gradients for Human Detection” In IEEE Conference on Computer Vision and Pattern Recognition, vol.1, pp.886-893, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上記特許文献１は、着目領域全体の画像特徴からベッドを推定している為、検出精度と処理速度の２点において問題があった。
まず検出精度の問題とは、検出判定に不必要な領域まで含めた特徴抽出を行うことによる検出精度の低下であった。一般的に病院や施設のベッド内は布団が置かれている。また、布団の形状は個々のベッド毎に異なり、同一の形状は一つとして存在しない。このように不均一な形状の物体から画像特徴を収集しても、ベッドを特定する情報は得られないと考えるのが妥当である。また、得られた画像に対して、一般的に知られている機械学習を適用した場合、学習時に学習データの多数を占める布団形状を学習してしまい、実運用時の検出性能が低下する懸念が生じた。
【０００６】
そして処理速度の問題とは、着目領域全体から画像特徴を算出した際に生じる計算時間の問題である。ＨＯＧ特徴を例とすると、例えば１００×２００画素の長方形の入力画像に対して、ＨＯＧ特徴のセルと呼ばれる着目領域を５×５画素に設定した場合、処理対象となるセルは８００に上る。更に画像全体で必要なセルの計算量は、画像を走査して得られる着目領域の個数に応じて必要となり、安価な計算機を用いた場合に実時間での処理が困難となる懸念が生じた。
【０００７】
そこで、本発明はこのような問題点に鑑み、入手した病室の画像からベッドエリアを認識し易い画像に変換し、加えて演算量を削減できる手法を用いてベッド位置を特定する特徴量抽出装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決する為に、請求項１の発明に係るベッド位置特定装置は、画像取得手段から入手した室内画像を保持する画像保持部と、室内画像を上空から俯瞰した俯瞰画像に変換する視点変換処理部と、俯瞰画像に対して画像全体を走査する走査処理部と、走査処理の際に着目した個々の座標毎に、撮像されるベッドを上回るサイズで予め設定された領域を切り出し処理してメモリに保存する切り出し処理部と、撮像されるベッドを下回るサイズで予め設定された非探索領域を備えたマスク画像を生成する形状マスク部と、生成されたマスク画像を、メモリに保存された個々の領域に適用して画像特徴を抽出し、抽出した画像特徴からベッド位置を特定するベッド抽出部とを備えたことを特徴とする。
この構成によれば、まず入手した画像が俯瞰画像に変換されるため、抽出するベッド形状を長方形にでき、ベッドを把握し易い。そして、ベッドの内部に相当する領域を非探索領域としたマスク画像を用いて画像特徴を抽出し、ベッド位置を特定する。よって、検出精度の低下を招く布団の不均一な情報の除去が可能となりベッド位置特定の精度が向上するし、演算量を削減できる。
【０００９】
請求項２の発明は、請求項１に記載の構成において、形状マスク部は、マスク画像の非探索領域を輝度情報を削除して設定することを特徴とする。
この構成によれば、ベッドの内部領域に相当する特定の領域の輝度情報を削除する簡易な操作で非探索領域を設定できる。
【００１０】
請求項３の発明は、請求項１に記載の構成において、形状マスク部は、マスク画像の非探索領域を輝度情報の計算をスキップするフラグを保持させて設定することを特徴とする。
この構成によれば、ベッドの内部領域に相当する特定の領域の輝度情報の計算がスキップさせる簡易な操作で非探索領域を設定できる。
【発明の効果】
【００１１】
本発明によれば、入手した画像が俯瞰画像に変換されるため、抽出するベッド形状を長方形にでき、ベッドを把握し易い。そして、ベッドの内部に相当する領域を非探索領域としたマスク画像を用いて画像特徴を抽出し、ベッド位置を特定する。よって、検出精度の低下を招く布団の不均一な情報の除去が可能となりベッド位置特定の精度が向上するし、演算量を削減できる。
【図面の簡単な説明】
【００１２】
【図１】ベッド位置特定装置の一例を示すブロック図である。
【図２】カメラの撮像画像で、画像保持部の保持画像を示す。
【図３】図２の画像を俯瞰画像に変換した図である。
【図４】画像走査処理の説明図である。
【図５】マスク画像の説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係るベッド位置特定装置の一例を示すブロック図であり、１は撮像素子を備えたカメラ、２はカメラ１の撮像画像を一時的に保持する画像保持部、３は撮像画像を俯瞰画像に変換する視点変換処理部、４は画像全体を走査する走査処理部、５は走査処理においてベッドサイズ相当の小領域をメモリ（図示せず）に切り出し処理する切り出し処理部、６は画像特徴の抽出処理を削減するためのマスク画像を生成する形状マスク部、７はベッドを抽出してその位置を特定するベッド抽出部である。
但し、視点変換処理部３、走査処理部４、切り出し処理部５、形状マスク部６、ベッド抽出部７は、プログラムされたＤＳＰ或いはＣＰＵにより一体に構成され、例えばパーソナルコンピュータを使用して構成できる。
【００１４】
カメラ１は、見守り対象者である患者を撮像するために、患者が居る部屋の天井或いは天井付近に設置され、ベッドを含む部屋全体を撮像するよう配置されている。そして、カメラ１からは連続する画像フレームから成る動画が出力される。
【００１５】
画像保持部２は、例えばＲＡＭで構成され、カメラ１が撮像した画像が後段の視点変換処理部３等で画像処理がスムーズに実施されるよう画像を一時保管する。画像保持部２には、図２に示すようなカメラ１が撮像した画像が保存される。図２において、Ｂが抽出対象のベッドである。
【００１６】
視点変換処理部３では、画像保持部２で保存された室内画像に対して逆射影変換（例えば、非特許文献１参照）を行い、俯瞰画像を生成して出力する。
この逆射影変換は以下の様に行われる。予め定めた３×３の平面射影行列Ｐを用いて入力画像を変換する。
具体的に、３×３の平面射影行列Ｐを用いて入力画像の座標（ｘ、ｙ）を俯瞰図の座標（ｘ'、ｙ'）に変換する。ここで，平面射影行列Ｐを求める方法について述べる。はじめに平面射影行列を式（１）とする。
【００１７】
【数１】
2020096234.tif 000003
すると，次の式（２）の関係が成り立つ。
【数２】
2020096234.tif 000004
【００１８】
ここで，ｓは定数である。また、平面射影行列のｐ１１、ｐ１２、ｐ２１、ｐ２２は座標位置に不変の固定倍率の拡大縮小を含む回転、ｐ１３，ｐ２３は平行移動、ｐ３１，ｐ３２は座標位置に応じて拡大縮小の倍率を変換し台形形状を操作するパラメータである。この行列式を解くと次の式（３）、（４）、（５）の関係が得られる。
【００１９】
【数３】
2020096234.tif 000005
【数４】
2020096234.tif 000006
【数５】
2020096234.tif 000007
【００２０】
更に，式（５）を式（３）、式（４）に代入してｓを消去し、ｘ'、ｙ'について求めると，以下の式（６），（７）が得られる。
【００２１】
【数６】
2020096234.tif 000008
【数７】
2020096234.tif 000009
【００２２】
式（６）、式（７）について、入力画像と変換後の俯瞰図との間で対応する座標を４組与える事で８個の未知数が得られ，平面射影行列Ｐが求まる。
図３は、こうして図２の画像を基に生成した俯瞰画像を示している。
【００２３】
走査処理部４では、右上から左下までの座標を走査する。そして、切り出し処理部５では走査処理部４で着目した座標のそれぞれを起点として、予め設定された画像中のベッドサイズに対して例えば１０％大きいサイズの小領域をメモリ上に切り出す。尚、ここで言う座標は、画像上で隣接する複数の画素（例えば５×５の画素）から成るセルを示す。
結果、図４に示すように画像の全領域を網羅し、且つ重なり部を有する小領域画像が切り出される。
【００２４】
形状マスク部６では、切り出し処理部５により切り出された小領域画像に対して、予め設定されたベッド内の掛布団に相当するエリアの輝度情報を消去する非探索領域が設定される。例えば、図３の俯瞰画像が７２０×７８０画素の画像であり、ベッド領域は１００×２００画素程度になる。そして、このような画素数の場合、非探索領域に設定される掛布団領域は少領域画像中央の例えば９０×１９０画素程度と、少領域の８５％程度となる。こうして設定された領域の輝度を消去して非探索外領域とする。
【００２５】
図５はこの形状マスク部６が生成したマスク画像を示し、Ｓはセル、Ｍは非探索領域を示している。マスク画像は、切り出し処理部５が切り出す小領域画像と同一のサイズで形成され、非探索領域Ｍはその中央に大きく形成されている。従って、上述したように、マスク画像の外形はベッドサイズより例えば１０％大きい形状となり、非探索領域Ｍはベッド上の掛け布団を消去するよう作用する。結果、消去した領域の計算量を削減できる。
例えば、計算対象のセル数を、全セル個数を対象とした場合の例えば８００個から、最外周のセルの個数１１８個に削減する事ができ、計算量をおよそ８５（％）削減する事が可能となる。
【００２６】
ベッド抽出部７では、形状マスク部６を作用させた小領域画像の輝度情報から画像特徴を抽出する。画像特徴の抽出は、ＳＩＦＴ（例えば、非特許文献２参照）やコーナを表現するＨａｒｒｉｓコーナ（例えば、非特許文献３参照）、または画像の勾配を表すＨＯＧ（例えば、非特許文献４参照）等、物体の形状を表現する画像特徴を用いて行われる。
【００２７】
こうして、病室の俯瞰画像を生成することで、ベッド形状は俯瞰画像上で縦横比率がほぼ１：２の長方形に固定することができる。そして、着目領域（小領域画像）をベッドサイズよりも少し大きいサイズに設定することで、ベッド外枠は着目領域内の例えば最外周のセルだけで計算することが可能となる。
そこで、最外周以外の内部の画素情報をすべて除去するためのマスク処理を施したマスク画像を用いて特徴抽出を行う事で、検出精度の低下を招く布団の不均一な情報の除去が可能となるし、計算対象のセル数を大きく削減する事ができる。
【００２８】
このように、入手した画像が俯瞰画像に変換されるため、抽出するベッド形状を長方形にでき、ベッドを把握し易い。そして、ベッドの内部に相当する領域を非探索領域としたマスク画像を用いて画像特徴を抽出し、ベッド位置を特定する。よって、検出精度の低下を招く布団の不均一な情報の除去が可能となるし、ベッド位置特定の精度を上げ且つ演算量を削減できる。
また、ベッドの内部領域に相当する特定の領域の輝度情報を削除する簡易な操作で非探索領域を設定できる。
【００２９】
尚、非探索領域の指定方法としては、探索要否のフラグを持たせても良く、切り出し処理部が探索不要のフラグを小領域内のベッド内の布団部分に相当する特定エリアに配置する簡易な操作で非探索領域を設定でき、ベッドの内部に相当する特定の領域の輝度情報の計算がスキップされるため、ベッド位置特定の精度を落とすことなく演算量を削減できる。
また、切り出し処理部５が生成する小領域画像のサイズを、上記実施形態ではベッドより１０％程度大きいサイズとしているが、このサイズに限定するものでなく、５％〜２０％の間で設定すると良い。加えて、少領域画像の内部に設定する非探索領域Ｍは、ベッドの外周が隠れない大きさであれば良く、ベッドサイズの５０％程度の大きさであっても良い。
更に、上記実施形態では、撮像素子を備えたカメラ１を画像取得手段とし、その撮像画像を用いてベッド位置を特定しているが、距離情報を取得できる距離画像センサの生成画像を用いても良い。
【符号の説明】
【００３０】
１・・カメラ、２・・画像保持部、３・・視点変換処理部、４・・走査処理部、５・・切り出し処理部、６・・形状マスク部、７・・ベッド抽出部。
【図１】
2020096234.tif 000010
【図２】
2020096234.tif 000011
【図３】
2020096234.tif 000012
【図４】
2020096234.tif 000013
【図５】
2020096234.tif 000014