(57)【特許請求の範囲】
【請求項１】
動画像を解析することにより被介護者の生理状態を観測する被介護者観測装置において、
前記被介護者が撮影された一連の動画像における画像上に局所領域を複数設定する局所領域設定手段と、
前記局所領域設定手段によって画像上に設定した複数の局所領域に含まれる明度情報をそれぞれ解析する明度解析手段と、
前記明度解析手段によって解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域として抽出する抽出手段と、
判定手段とよりなり、
前記判定手段は、
前記抽出手段によって変化領域として抽出された複数の局所領域から構成される部分集合の分散値が第２のしきい値より小さく、かつ、前記複数の局所領域の数が最大要素数である部分集合を選択し、この選択された部分集合に含まれる各局所領域の数及び位置を調査し、
この調査した局所領域の数が第３のしきい値より大きい場合は、前記被介護者が寝返りなどの非呼吸体動による変化が画面の広範囲にわたって生じたと判定し、
また、この調査した局所領域の数が前記第３のしきい値より小さく、かつ、それら局所領域の位置が近接している場合は、前記被介護者の胸部周辺の動きを計測していると判定する
ことを特徴とする被介護者観測装置。
【請求項２】
動画像を解析することにより被介護者の生理状態を観測する被介護者観測装置において、
前記被介護者が撮影された一連の動画像における画像上に局所領域を複数設定する局所領域設定手段と、
前記局所領域設定手段によって画像上に設定した複数の局所領域に含まれる明度情報をそれぞれ解析する明度解析手段と、
前記明度解析手段によって解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域として抽出する抽出手段と、
判別手段とよりなり、
前記判別手段は、
前記複数の局所領域の中の一部の局所領域のみが変化領域の場合は正常呼吸中であると判別し、前記複数の局所領域の中の一定数以上の局所領域が変化領域であって、かつ、複数個がほぼ同時に変化を出力した場合は寝返り等の非呼吸体動と判別する
ことを特徴とする請求項１に記載の被介護者観測装置。
【請求項３】
動画像を解析することにより被介護者の生理状態をコンピュータによって観測する被介護者観測方法において、
前記被介護者が撮影された一連の動画像における画像上に局所領域をコンピュータによって複数設定する局所領域設定ステップと、
前記局所領域設定ステップにおいて画像上に設定した複数の局所領域に含まれる明度情報をそれぞれコンピュータによって解析する明度解析ステップと、
前記明度解析ステップにおいて解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域としてコンピュータによって抽出する抽出ステップと、
コンピュータによって判定する判定ステップとよりなり、
前記判定ステップは、
前記抽出ステップにおいて変化領域として抽出された複数の局所領域から構成される部分集合の分散値が第２のしきい値より小さく、かつ、前記複数の局所領域の数が最大要素数である部分集合を選択し、この選択された部分集合に含まれる各局所領域の数及び位置を調査し、
この調査した局所領域の数が第３のしきい値より大きい場合は、前記被介護者が寝返りなどの非呼吸体動による変化が画面の広範囲にわたって生じたと判定し、
また、この調査した局所領域の数が前記第３のしきい値より小さく、かつ、それら局所領域の位置が近接している場合は、前記被介護者の胸部周辺の動きを計測していると判定する
ことを特徴とする被介護者観測方法。
【請求項４】
動画像を解析することにより被介護者の生理状態をコンピュータによって観測する被介護者観測方法において、
前記被介護者が撮影された一連の動画像における画像上に局所領域をコンピュータによって複数設定する局所領域設定ステップと、
前記局所領域設定ステップにおいて画像上に設定した複数の局所領域に含まれる明度情報をそれぞれコンピュータによって解析する明度解析ステップと、
前記明度解析ステップにおいて解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域としてコンピュータによって抽出する抽出ステップと、
コンピュータによって判定する判別ステップとよりなり、
前記判別ステップは、
前記複数の局所領域の中の一部の局所領域のみが変化領域の場合は正常呼吸中であると判別し、前記複数の局所領域の中の一定数以上の局所領域が変化領域であって、かつ、複数個がほぼ同時に変化を出力した場合は寝返り等の非呼吸体動と判別する
ことを特徴とする被介護者観測方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を解析することにより被介護者の生理状態を観測する装置または方法に関するものである。。
【０００２】
【従来の技術】
近年、我が国においても高齢者の占める割合が増加傾向にあり、２０２０年には６５歳以上の高齢者が全人口の４分の１を超え、この状態が１世紀続くと予想されている。これに伴い、寝たきりや痴呆といった介護の必要な人（以下、「被介護者」という）の数も大幅に増加する。要介護高齢者の発生率は加齢に伴い増加し、現在、６５〜６９才では１．５％程度であるが、８５才以上では２４％に達する。一方、この介護を行う人自体も配偶者などの高齢者が５割以上を占めており、深刻な社会問題となりつつある。このため、被介護者の生理状態を非接触で簡便に観測し、異常が発生したときに警報を発する装置及び方法が期待されており、被介護者を撮影した動画像上の局所領域の差分情報を解析することにより呼吸に伴う体動を計測する手法が提案され、注目を集めている（石原  他、「ビデオ信号差分処理による在宅医療支援システム」、日本ＭＥ学会  包括医療におけるマルチメディア研究会報告集、ｖｏｌ．２，Ｎｏ．１，ｐｐ．１−  ４，１９９７．７  ）。
【０００３】
上記提案方法においては、体動を観測するために差分を行う局所領域は観測者が予め手動で設定せねばならず、この設定に熟練を要し、かつ、被介護者が寝返り等の呼吸以外の大きな体動を行った際にはこの局所領域を手動で再設定せねばならず、簡便に利用できないといった課題があった。
【０００４】
そのため、エッジ及び明度分布を測定・解析することにより局所領域の最適な位置を自動設定する方法も提案されている（渡辺  他、「画像処理装置及び被介護者観測装置」、特願平９−２４２６７３号）。
【０００５】
【発明が解決しようとする課題】
上記の従来の被介護者観測装置においては、被介護者の体動を観測するために差分を行う局所領域は画像中に１カ所に限定されていたため、局所領域の設定時は呼吸パターンが観測できないという問題点があった。
【０００６】
また、被介護者が寝返りなどの非呼吸体動が発生した場合に、これを確実に検出することが困難であるといった問題点があった。
【０００７】
図１から図４に基づいてその従来の被介護者観測装置について説明する。
【０００８】
図１の被介護者Ｓ１が椅子に座っている状態を例に、画像の時間差分による呼吸モニタリング装置Ｓ３の動作原理を示す。
【０００９】
呼吸モニタリング装置Ｓ３に接続されたＴＶカメラＳ２により撮影された画像の撮影領域Ｓ４から適切な局所領域（ＲＯＩ）Ｓ５を選択し、この領域Ｓ５に含まれる各画素について時間差分を行い、この総和を計算する。
【００１０】
例えば、呼吸によりＴＶカメラＳ２に対し左右に体動をしている肩の周辺に、肩周辺の服、及び背景の明度が各々一様になるように局所領域Ｓ５を設定したとする。
【００１１】
図２（ａ）に示すように、呼吸状態での肩の背景の境界のエッジをａ、背景の明度をＸ、肩周辺の服の明度をＹとする。
【００１２】
図２（ｂ）に示すように、呼気によりΔｔ秒後に肩のエッジがｂまで動き、この動いた部分の面積をＡとすると、時間差分量は（Ｙ−Ｘ）Ａとなる。
【００１３】
図２（ｃ）に示すように、呼吸による体動は周期的な動きとなるため、２Δｔ後には肩エッジはａの位置に戻り、時間差分量は（Ｘ−Ｙ）Ａとなる。
【００１４】
以下、図２（ｅ）に示すように、３Δｔ、４Δｔ後の時間差分量は、（Ｙ−Ｘ）Ａと（Ｘ−Ｙ）Ａを交互に繰り返す。
【００１５】
これをグラフに示したのが図３で、２Δｔを周期、振幅が（Ｙ−Ｘ）Ａの周期波形となる（本例では、Ｙ＞Ｘと仮定している。これが逆になると、グラフは時間軸に対称に反転するが、周期は変化しない）。
【００１６】
そして、被介護者の呼吸が停止した場合は体動が観測されなくなり、時間差分量が０に近くなるため、容易に検知できる。
【００１７】
しかし、一般的には被介護者は図１のように椅子に座っているよりは図４に示すように寝ている状態が多く、適切な局所領域を自動的に選択することは容易ではない。また、体のひねりなどの呼吸以外の大きな体動を行った場合は、必ずしもこの局所領域において被形の周期、振幅が変化するわけではない。呼吸による変化は胸周囲に局在するのに対して、寝返り、伸びなどの非呼吸体動は体全体が動くため、大局的に観測することにより安定に検出が行う必要がある。
【００１８】
そこで本発明は、以上の点を鑑み、被介護者の呼吸パターンを間断なく計測でき、かつ、非呼吸体動等の発生を確実に検出するための被介護者観測装置及びその方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
請求項１の発明は、動画像を解析することにより被介護者の生理状態を観測する被介護者観測装置において、前記被介護者が撮影された一連の動画像における画像上に局所領域を複数設定する局所領域設定手段と、前記局所領域設定手段によって画像上に設定した複数の局所領域に含まれる明度情報をそれぞれ解析する明度解析手段と、前記明度解析手段によって解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域として抽出する抽出手段と、判定手段とよりなり、前記判定手段は、前記抽出手段によって変化領域として抽出された複数の局所領域から構成される部分集合の分散値が第２のしきい値より小さく、かつ、前記複数の局所領域の数が最大要素数である部分集合を選択し、この選択された部分集合に含まれる各局所領域の数及び位置を調査し、この調査した局所領域の数が第３のしきい値より大きい場合は、前記被介護者が寝返りなどの非呼吸体動による変化が画面の広範囲にわたって生じたと判定し、また、この調査した局所領域の数が前記第３のしきい値より小さく、かつ、それら局所領域の位置が近接している場合は、前記被介護者の胸部周辺の動きを計測していると判定することを特徴とする被介護者観測装置である。
【００２０】
上記被介護者観測装置の動作状態について説明する。
【００２１】
局所領域設定手段は、前記被介護者が撮影された一連の動画像における画像上に局所領域を複数設定する。
【００２２】
明度解析手段は、前記局所領域設定手段によって画像上に設定した複数の局所領域に含まれる明度情報をそれぞれ解析する。
【００２３】
抽出手段は、前記明度解析手段によって解析された複数の局所領域の明度情報に基づいて前記被介護者の動き情報を抽出する。
【００２４】
これにより、被介護者の生理状態を非接触で観測し、異常が発生したときに警報を発する装置及び方法を簡便に実施することが可能となる。
【００２５】
請求項２の発明は、動画像を解析することにより被介護者の生理状態を観測する被介護者観測装置において、前記被介護者が撮影された一連の動画像における画像上に局所領域を複数設定する局所領域設定手段と、前記局所領域設定手段によって画像上に設定した複数の局所領域に含まれる明度情報をそれぞれ解析する明度解析手段と、前記明度解析手段によって解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域として抽出する抽出手段と、判別手段とよりなり、前記判別手段は、前記複数の局所領域の中の一部の局所領域のみが変化領域の場合は正常呼吸中であると判別し、前記複数の局所領域の中の一定数以上の局所領域が変化領域であって、かつ、複数個がほぼ同時に変化を出力した場合は寝返り等の非呼吸体動と判別することを特徴とする請求項１に記載の被介護者観測装置である。
【００２６】
請求項３の発明は、動画像を解析することにより被介護者の生理状態をコンピュータによって観測する被介護者観測方法において、前記被介護者が撮影された一連の動画像における画像上に局所領域をコンピュータによって複数設定する局所領域設定ステップと、前記局所領域設定ステップにおいて画像上に設定した複数の局所領域に含まれる明度情報をそれぞれコンピュータによって解析する明度解析ステップと、前記明度解析ステップにおいて解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域としてコンピュータによって抽出する抽出ステップと、コンピュータによって判定する判定ステップとよりなり、前記判定ステップは、前記抽出ステップにおいて変化領域として抽出された複数の局所領域から構成される部分集合の分散値が第２のしきい値より小さく、かつ、前記複数の局所領域の数が最大要素数である部分集合を選択し、この選択された部分集合に含まれる各局所領域の数及び位置を調査し、この調査した局所領域の数が第３のしきい値より大きい場合は、前記被介護者が寝返りなどの非呼吸体動による変化が画面の広範囲にわたって生じたと判定し、また、この調査した局所領域の数が前記第３のしきい値より小さく、かつ、それら局所領域の位置が近接している場合は、前記被介護者の胸部周辺の動きを計測していると判定することを特徴とする被介護者観測方法である。
【００２７】
請求項４の発明は、動画像を解析することにより被介護者の生理状態をコンピュータによって観測する被介護者観測方法において、前記被介護者が撮影された一連の動画像における画像上に局所領域をコンピュータによって複数設定する局所領域設定ステップと、前記局所領域設定ステップにおいて画像上に設定した複数の局所領域に含まれる明度情報をそれぞれコンピュータによって解析する明度解析ステップと、前記明度解析ステップにおいて解析された複数の局所領域の情報の中で第１のしきい値以上の値を有する局所領域を変化領域としてコンピュータによって抽出する抽出ステップと、コンピュータによって判定する判別ステップとよりなり、前記判別ステップは、前記複数の局所領域の中の一部の局所領域のみが変化領域の場合は正常呼吸中であると判別し、前記複数の局所領域の中の一定数以上の局所領域が変化領域であって、かつ、複数個がほぼ同時に変化を出力した場合は寝返り等の非呼吸体動と判別することを特徴とする被介護者観測方法である。
【００３０】
【発明の実施の形態】
以下、本発明の一実施例を説明する。
【００３１】
本実施例では、局所領域を複数設定することにより、非呼吸体動の検出性能を大幅に向上すると共に、呼吸自動モニタリングを間断なく確実に行う呼吸モニタリング装置Ｓ６を図５から図８に基づいて説明する。
【００３２】
図５は、就寝中の被介護者Ｓ１の状態を観測する説明図であり、呼吸モニタリング装置Ｓ６に接続されたＴＶカメラＳ２により撮影された画像の撮影領域Ｓ４から複数の局所領域を選択し、その観測を行うものである。
【００３３】
（呼吸モニタリング装置Ｓ６）
図６は、本実施例による呼吸モニタリング装置Ｓ６の全体構成である。
【００３４】
呼吸モニタリング装置Ｓ６は、局所領域位置・大きさ設定部Ｓ７と呼吸パターン測定部Ｓ８より構成される。
【００３５】
局所領域位置・大きさ設定部Ｓ７は、時間差分を行う局所領域候補の位置と大きさを複数個設定する。
【００３６】
呼吸パターン測定部Ｓ８は、この各局所領域に含まれる画素の時間差分を逐次計算、解析することにより、呼吸パターングラフと呼吸数を蓄積・表示する。
【００３７】
（局所領域位置・大きさ設定部Ｓ７）
図７は、局所領域位置・大きさ設定部Ｓ７の詳細な構成例である。
【００３８】
本実施例では、局所領域の形状は画像平面上の矩形領域とする。局所領域の中心位置は、局所領域中心アドレス設定部Ｓ９により設定され、Ｘ方向、Ｙ方向の大きさは各々独立に、Ｘ方向サイズ設定部Ｓ１０、Ｙ方向サイズ設定部Ｓ１１により設定される。各局所領域は図８（ａ）に示すように、重なりがないように設定することも可能であり、また、図８（ｂ）に示すように、一部が重なり合うように設定することも可能である。
【００３９】
（呼吸パターン測定部Ｓ８）
図９は、呼吸パターン測定部Ｓ８の詳細な構成例である。
【００４０】
呼吸パターン測定部Ｓ８は、時間差分計算部Ｓ１２と呼吸トレンド情報抽出部Ｓ１３とよりなる。
【００４１】
時間差分計算部Ｓ１２は、局所領域位置・大きさ設定部Ｓ７で設定した各局所領域内の差分値Ｄ（ｔ）を計算する。差分値Ｄ（ｔ）は、各時刻ｔにおける、呼吸周期から与えられる一定間隔ｋの画像間の差分値である。
【００４２】
本実施例では以下の式で与えられる絶対値差分の総和値を採用する。しかし、これに限定されるものではない。
【００４３】
【数１】
0003575979.tif 000002
ここで、ｋは差分する時間間隔、（ｘ，ｙ）は、この局所領域に含まれる各点のｘ，ｙ座標、Ｉｘ，ｙ  （ｔ）はこの点の時刻ｔにおける明度である。
【００４４】
呼吸トレンド情報抽出部Ｓ１３は、この差分値Ｄ（ｔ）を解析することにより、呼吸数などの呼吸トレンド情報を計測し記憶する。
【００４５】
図１０に示すように、呼吸トレンド情報抽出部Ｓ１３は、差分値パターン解析部Ｓ１４と統合判定部Ｓ１５とメモリＳ１６より構成される。
【００４６】
差分値パターン解析部Ｓ１４では、各時点における各局所領域ｉの差分値Ｄｉ（ｔ）の集合から、一定のしきい値以上の値を持つものを変化領域として抽出し、さらに、これら抽出した結果の各部分集合の平均値、分散値を計算する。
【００４７】
統合判定部Ｓ１５では、これら各部分集合の中で分散値が一定のしきい値より小さい最大要素数のものを選択し、この選択された部分集合に含まれる各局所領域の数及び位置を調べる。
【００４８】
この調べた局所領域の数が一定のしきい値より大きい場合は、寝返りなどの非呼吸体動による変化が画面の広範囲に渡って生じたと判定し、呼吸パターン表示の一時停止などの処理を行う。
【００４９】
また、この調べた局所領域の数がしきい値以下かつ位置が近接している場合は、胸部周辺の動きを計測していると判定し、この部分集合に対応する差分値の平均値を統合呼吸変化量として選択し、呼吸パターン表示、呼吸数計測などの処理に利用するためにメモリＳ１６に記憶する。
【００５０】
さらに、この調べた局所領域の数がしきい値以下かつ位置が近接していない場合は、ＴＶ画面のちらつきの投影などの外乱による変化が混入したと判定し、この場合も呼吸パターン表示の一時停止などの処理を行う。
【００５１】
変  更  例
なお、本発明は上記実施例に記載した内容に限定されるものではない。
【００５２】
例えば、呼吸パターン測定部Ｓ８において、各局所領域における呼吸トレンド情報をメモリＳ１６に記憶したが、この代わり、またはこれと併用して呼吸トレンドパターン出力部を設け、画面に表示しても構わない。
【００５３】
また、呼吸トレンドパターンを表示する代わり、またはこれと合わせて、ブザー等の警報音を出力することも可能である。
【００５４】
さらに、複数の局所領域における呼吸トレンドパターンを統合解析する呼吸トレンド解析部を設け、例えば局所領域の一部のみで変化が観測できる場合は正常呼吸中、局所領域の一定数以上の複数個がほぼ同時に変化を出力した場合は寝返り等の非呼吸体動、などと判定する機能を付加することも可能である。
【００５５】
以上のように、本発明は、上記実施例、変更例に限らずその趣旨を逸脱しない範囲で種々変形して実施できる。
【００５６】
【発明の効果】
本発明の被介護者観測装置及びその方法であると、被介護者の生理状態を非接触で観測し、異常が発生したときに警報を発する装置及び方法を簡便に実施することが可能となり、この社会的、実用的効果は多大である。
【図面の簡単な説明】
【図１】椅子に座った状態の呼吸モニタリングの動作原理の説明図である。
【図２】画面の時間差の分割を示した図である。
【図３】呼吸パターンの出力例を示した図である。
【図４】従来の就寝中の呼吸モニタリングの動作原理の説明図である。
【図５】従来の就寝中の呼吸モニタリングの動作原理の説明図である。
【図６】本実施例による呼吸モニタリング装置Ｓ６の全体構成である。
【図７】局所領域位置・大きさ設定部Ｓ７の詳細な構成例である。
【図８】局所領域の認定方式を示す図である。
【図９】呼吸パターン測定部Ｓ８の詳細な構成例である。
【図１０】呼吸トレンド情報抽出部Ｓ１３の詳細な構成例である。
【符号の説明】
Ｓ６      呼吸モニタリング装置
Ｓ７      局所領域位置・大きさ設定部
Ｓ８      呼吸パターン測定部
Ｓ９      アドレス設定部
Ｓ１０    Ｘ方向サイズ設定部
Ｓ１１    Ｙ方向サイズ設定部
Ｓ１２    時間差分計算部
Ｓ１３    呼吸トレンド情報抽出部
Ｓ１４    差分値パターン解析部
Ｓ１５    統合判定部
Ｓ１６    メモリ
【図１】
0003575979.tif 000003
【図２】
0003575979.tif 000004
【図３】
0003575979.tif 000005
【図４】
0003575979.tif 000006
【図５】
0003575979.tif 000007
【図６】
0003575979.tif 000008
【図７】
0003575979.tif 000009
【図８】
0003575979.tif 000010
【図９】
0003575979.tif 000011
【図１０】
0003575979.tif 000012