(57)【要約】      （修正有）【課題】簡易な処理で人体の転倒を検出する情報処理装置、情報処理方法及びプログラムを提出する。【解決手段】情報処理装置は、画像から人体を検出する人体検出部と、所定の期間に渡った人体検出部による人体の検出結果に係る時系列統計情報に基づいた複数の条件のうち少なくとも１つを満たす場合に、人体が転倒状態にあると検出する転倒検出部とを有する。転倒検出部は、予め定められたルールに基づいて、各状態間の遷移を検出する。さらに、立位状態（Ｓ４１０）から転倒状態（Ｓ４２０）への状態変化に基づいて、人体が転倒したことを検出する。【選択図】図４
2020145504.tif 000002
【特許請求の範囲】
【請求項１】
画像から人体を検出する検出手段と、
所定の期間に渡った前記検出手段による人体の検出結果に係る時系列統計情報に基づいた複数の条件のうち少なくとも１つを満たす場合に、当該人体は転倒状態と検出する転倒検出手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記人体の立位状態を検出する立位検出手段をさらに有し、
前記転倒検出手段は、前記立位状態において、前記複数の条件のうち少なくとも１つを満たす場合に、前記転倒状態を検出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記複数の条件は、前記人体の複数の部位の検出頻度の差異に基づく条件を含むことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記複数の条件は、前記人体の複数の部位の所定の期間における検出頻度を示すヒストグラムの差異に基づく条件を含むことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記複数の条件は、検出された人体のサイズが所定の割合以上減少し、かつ、前記人体のサイズが前記所定の割合以上減少してから所定の時間、人体の位置及びサイズに変化がないことを含むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記複数の条件は、検出された人体の画像における領域が所定の領域の外縁と重ならない状態で、当該人体が検出されなくなることを含むことを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記立位検出手段は、人体検出に係る時系列情報に基づいて、立位状態を判定することを特徴とする請求項２に記載の情報処理装置。
【請求項８】
情報処理装置が実行する情報処理方法であって、
画像から人体を検出する検出ステップと、
所定の期間に渡った前記検出手段による人体の検出結果に係る時系列統計情報に基づいた複数の条件のうち少なくとも１つを満たす場合に、当該人体は転倒状態と検出する転倒検出ステップと
を含むことを特徴とする情報処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
病院や介護施設において利用者の安全確保や見守りの為に監視カメラが設置されている。これらの監視カメラ映像を解析して、利用者の転倒を検知するシステムがある。特許文献１には、フレーム間差分映像から人体の転倒の有無を判定する技術が開示されている。また、特許文献２には、画像上の人体の位置やサイズの変化から人物の転倒などの行動判別を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−９６１９号公報
【特許文献２】特許第６１３７４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、フレーム間差分や背景差分による手法は人体の位置やサイズを正確に求めることが難しい。これは人体領域の重複や、背景領域と人体領域の輝度や色の類似によって、前後のフレームで所定の差分量に達しない場合があるためである。一方、深層学習により構成したニューラルネットワークを用いて映像から転倒を検知する方式は精度に優れるが、様々な姿勢において、人体を検出し転倒を検知するためには膨大な処理を必要とし、計算機資源を要する。
【０００５】
本発明はこのような問題点に鑑みなされたもので、簡易な処理で人体の転倒を検出することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、情報処理装置であって、画像から人体を検出する検出手段と、所定の期間に渡った前記検出手段による人体の検出結果に係る時系列統計情報に基づいた複数の条件のうち少なくとも１つを満たす場合に、当該人体は転倒状態と検出する転倒検出手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、簡易な処理で人体の転倒を検出することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置のハードウェア構成図である。
【図２】情報処理装置の機能構成図である。
【図３】転倒シーンの説明図である。
【図４】転倒検出処理の説明図である。
【図５】第２のルールの説明図である。
【図６】情報処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
図１は、本実施形態に係る情報処理装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶Ｉ／Ｆ１０４、入出力Ｉ／Ｆ１０５及びネットワークＩ／Ｆ１０６を有している。各部は、バス接続されている。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。外部記憶Ｉ／Ｆ１０４は、外部記憶装置１０７と通信する。外部記憶装置１０７は、各種データや各種プログラム等を記憶する。
【００１１】
入出力Ｉ／Ｆ１０５は、キーボード１２１、マウス１２２、不図示のタッチパネル等の入力デバイス、ディスプレイ１２３等の出力デバイスと通信する。またネットワークＩ／Ｆ１０６は、ネットワーク１３０と通信し画像を受信したり、検知結果を送信したりする。情報処理装置１００は、例えば汎用のＰＣ（パーソナルコンピューター）、スマートホン、タブレット、で実現可能であり、特定のデバイス形態に依存するものではない。
【００１２】
図２は、情報処理装置１００の機能構成図である。情報処理装置１００は、通信処理部２０１、画像取得部２０２、前処理部２０３、人体検出部２０４、追尾部２０５、統計量作成部２０６及び履歴ＤＢ２０７を有している。情報処理装置１００はさらに、検出領域設定部２０８、転倒検出部２０９、結果生成部２１０、受付部２１１及び表示処理部２１２を有している。
【００１３】
通信処理部２０１は、ネットワーク１３０経由で画像を受信する。画像取得部２０２は、取得した画像を復号化し、ＲＡＭ１０３等の記憶部に格納する。受付部２１１は、ユーザ操作に応じた指示を受け付ける。表示処理部２１２は、各種情報をディスプレイ１２３に表示するよう制御する。
【００１４】
前処理部２０３は、特徴量が抽出しやすいように画像を補正する。人体検出部２０４は、複数の部位検出結果を統合して人体を検出する。「部位」とは、例えば、人体の頭部、顔、上半身、全身、右側面、左側面である。人体検出部２０４は、部位検出部２０４１及び結果統合部２０４２を有している。
【００１５】
部位検出部２０４１は、画像から人体の各部位を検出する。結果統合部２０４２は、各部位の検出結果を統合する。部位検出部２０４１は、各部位に対応する強判別器によってこれらを検出する。強判別器は例えば複数の弱判別器のカスケード接続によって構成される。弱判別器はエッジや色などの画像特徴のパターンを検出する。画像特徴の最適な検出パターンは機械学習によって得られる。結果統合部２０４２は、強判別器による部位の検出結果を統合して人体を検出する。統合方法は例えば各部位の重み付き和による評価関数が用いられる。
【００１６】
追尾部２０５は、人体検出部２０４により検出された人体を複数フレーム間で対応付けることで、画像に含まれる人体の追尾を行う。統計量作成部２０６は、各部位の時系列統計情報を作成する。時系列統計情報は、各部位の検出結果の時系列に沿った統計情報であり、例えば各部位のある期間における検出頻度を示すヒストグラムである。履歴ＤＢ２０７には、時系列統計情報が格納される。
【００１７】
検出領域設定部２０８は、ユーザ操作に応じて受付部２１１を介して受け付けた設定指示に従い、画像における人体検出エリアを設定する。転倒検出部２０９は、検出領域設定部２０８により設定された人体検出エリアにおいて、画像における人体の転倒を検出する。結果生成部２１０は、転倒検出処理の結果を示す結果情報を生成する。結果情報は、表示部２０１２により表示される。他の例としては、結果情報は、ネットワーク１３０を介して他の機器へ送信されてもよい。
【００１８】
図３は、人体が転倒するシーンである転倒シーンの説明図である。図３に示す撮影画像３００は、介護施設の一室の撮影画像である。撮影画像３００には、人体３３１とベッド３３２が映っている。転倒時には、図３（ａ）に示すように立位状態の人体３３１が映った後、図３（ｂ）に示すように人体３３１が転倒し、図３（ｃ）に示すように、床に伏せる。検出対象領域３１０は、人体が転倒しているかの判定の対象となる領域である。検出対象領域３１０は、ユーザ操作に応じて設定される。検出対象領域３１０は、転倒が予想される領域に設定されるのが望ましい。
【００１９】
図４は、転倒検出部２０９による転倒検出処理の説明図である。転倒検出部２０９は、図４に示す状態遷移モデルに従い、初期状態（Ｓ４００）、人体が立っている状態を示す立位状態（Ｓ４１０）、及び、人体が転倒している状態を示す転倒状態（Ｓ４２０）を検出する。初期状態（Ｓ４００）からは立位状態（Ｓ４１０）に遷移する。立位状態（Ｓ４１０）からは初期状態（Ｓ４００）又は転倒状態（Ｓ４２０）に遷移する。転倒状態（Ｓ４２０）からは立位状態（Ｓ４１０）に遷移する。転倒検出部２０９は、予め定められたルールに基づいて、各状態間の遷移を検出する。さらに、転倒検出部２０９は、立位状態（Ｓ４１０）から転倒状態（Ｓ４２０）への状態変化に基づいて、人体の転倒を検出する。
【００２０】
転倒検出部２０９は、立位検出ルールに基づいて、初期状態（Ｓ４００）から、立位状態（Ｓ４１０）への遷移を検出する。本処理を、立位検出処理と称する。立位検出ルールは、図３（ａ）に示すように、検出対象領域３１０において人体を検出することである。より具体的には、立位検出ルールは、連続する所定数のフレームにおいて全身又は上半身を一定のフレーム枚数以上（または所定時間以上）検出することである。このように、立位検出ルールは、時系列情報を用いた検出ルールである。転倒検出部２０９は、立位検出ルールを満たす場合に、立位状態への遷移を検出する。転倒検出部２０９は、例えば直近１０フレームにおいて上半身を７フレーム以上検知した場合に立位状態への遷移を検出する。
【００２１】
転倒検出部２０９は、転倒検出ルールに基づいて、立位状態（Ｓ４１０）から転倒状態（Ｓ４２０）への遷移を検出する。本処理を、転倒検出処理と称する。転倒検出ルールは、第１のルール、第２のルール、第３のルール及び第４のルールの４つのルールを含む。本実施形態における転倒検出部２０９は、例えば、第１のルールを満たし、かつ第３のルールを満たす場合に、転倒状態（Ｓ４２０）への遷移を検出する。また本実施形態における転倒検出部２０９は、第２のルールを満たす場合に、転倒状態（Ｓ４２０）への遷移を検出するようにしてもよい。また、転倒検出部２０９は、第４のルールを満たす場合に、転倒状態（Ｓ４２０）へ遷移するようにしてもよい。
【００２２】
第１のルールは、人体検出サイズが所定時間で一定割合以上減少したことである。図３（ａ）、（ｂ）に示すように、転倒により人体３３１のサイズが小さくなることに対応する。転倒検出部２０９は、例えば直近の５フレームで人体のサイズが３０％以上減少した場合に第１のルールを満たすと判定する。ここでサイズには、人体検出枠の幅、高さ、面積を利用可能である。転倒検出部２０９は、フィルタを用いてサイズの現在値を推定し、推定値ベースでサイズの差分を求めてもよい。推定値はαβフィルタ等のフィルタを用いて求めることが可能である。第２のルールは、部位検出パターンが過去と異なることである。ここで、部位検出パターンとは、各部位の所定期間における検出頻度を示すヒストグラムである。第２のルールについては、図５を参照しつつ後に詳述する。
【００２３】
第３のルールは、一定時間以上、人体位置、サイズ、部位検出パターンに変化がないことである。図３（ｃ）の状態に対応したものである。転倒検出部２０９は、連続する観測値の差分が事前に定めた微小なしきい値の範囲内にある場合に、人体位置、サイズ、部位検出パターンに変化がないと判定する。第４のルールは、一定時間人体を検出しないことである。これも、図３（ｃ）の状態に対応したものである。図３（a）に示す枠３２１や図３（ｂ）に示す枠３２２は、画像から検出された人体３３１の位置を示す枠（以下、人体検出枠）である。第４のルールでは、人体検出枠が画像の外縁に接していない状態（若しくは、人体検出枠内の領域と画像の外縁とが重ならない状態）から、当該人体が一定時間検出されない場合、第４のルールを満たすと判定する（転倒状態を検出する）。一方、検出された人体の人体検出枠が画像の外縁に接している状態（若しくは、人体検出枠内の領域と画像の端とが重なる状態）から、当該人体が検出されなくなった場合、当該人体が画面外に移動したとして、転倒状態を検出しない。なお、画像の外縁に代わりに検出対象領域３１０の外縁を用いて、第４のルールを満たすかを判定してもよい。このように、転倒検出部２０９は、検出された人体の画像における領域が所定の領域の外縁と重なる状態で、当該人体が検出されなくなった場合、転倒を検出しないものとする。一方、検出された人体の画像における領域が所定の領域の外縁と重ならない状態で、当該人体が検出されなくなった場合、転倒を検出するものとする。なお、ここでの所定の領域の外縁とは、例えば、画像全体が示す領域の外縁でもよいし、検出対象領域３１０の外縁であってもよい。
【００２４】
図５は、第２のルールの説明図である。チャート５００は転倒前後における人体部位の検出結果を示している。例えば頭部の検出結果が現在から過去へと上から下に時系列で並んでおり、最も上が直近の検出結果、下に行くほど過去の検出結果となっている。なお、点５０１は、検出を示す。転倒検出部２０９は、過去の検出期間５１０と直近の検出期間５２０に関して、部位検出パターンとして、部位検出頻度ヒストグラムを作成する。過去の期間５１０に対する部位検出頻度ヒストグラムは５１１であり、頻度の合計が１となるように正規化されている。この期間は転倒前であり、頭部、上半身、全身が検出されている。一方、直近の期間である期間５２０の部位検出頻度ヒストグラムは５２１であり、同様に頻度の合計が１となるように正規化されている。この期間は転倒後であり、右側面と上半身が検出されており、転倒前のヒストグラム５１１とパターンが異なる。すなわち、転倒前後においてヒストグラムのパターンに差異が生じている。
【００２５】
次に、転倒検出部２０９は、ヒストグラムのパターンが異なることを類似度や相関により判定する。一般にデータ列｛（ｘｉ，ｙｉ）（ｉ＝１，２，…，ｎ）｝が与えられたとき、
【数１】
2020145504.tif 000003
をデータｘ＝｛ｘｉ｝，ｙ＝｛ｙｉ｝の相加平均として、相関係数rは（式１）により求めることができる。
【数２】
2020145504.tif 000004
このとき、ｒが所定の値、例えば０．５以下であれば、転倒検出部２０９は、ヒストグラムの相関値が低い、すなわち部位検出パターンが過去と異なると判定する。
【００２６】
また、他の例としては、転倒検出部２０９は、ヒストグラムを構成する各要素をベクトルとみなして、（式２）により、類似度ｓを求めてもよい。
ｓ＝ｃｏｓθ＝（ｈ１，ｈ２)    ０≦ｓ≦１          …（式２）
類似度は２つのベクトルの成す角度に依存し、１に近いほど類似度が大きい。そこで、転倒検出部２０９は、例えば、類似度ｓが０．５以下の場合に、ヒストグラムのパターンが異なる、すなわち部位検出パターンが過去と異なると判定する。
【００２７】
なお、過去の検出期間５１０と直近の検出期間５２０は一定の間隔を設ける。これは連続した期間をとると人体が転倒する過程の連続的な変化を観測する結果、２つのヒストグラムにおける差分が明確に現れない場合がある為である。５１０と５２０に示すように所定時間離れた部位検出頻度ヒストグラムを比較することによって、人体の転倒を検出できる。
【００２８】
上述の通り、転倒検出部２０９は、第１のルールを満たし、かつ第３のルールを満たす場合に、転倒状態と判定する。転倒検出部２０９はまた、第２のルールを満たす場合に、転倒状態と判定する。また、転倒検出部２０９は、第４のルールを満たす場合に、転倒状態と判定する。このように、転倒検出部２０９は、所定の時間にわたって検出された人体の部位の統計を示す情報である時系列統計情報に基づいた複数の条件のうち少なくとも１つを満たす場合に、転倒状態を検出する。
【００２９】
図６は、情報処理装置１００による情報処理を示すフローチャートである。Ｓ６０１において、画像取得部２０２は、通信処理部２０１を介して外部装置から撮影画像を取得する。次に、Ｓ６０２において、人体検出部２０４は、人体検出処理を行う。このとき、人体検出部２０４は、前述した方式により顔、頭部等の部位をそれぞれ検出する。次に、Ｓ６０３において、追尾部２０５は、人体追尾を実施する。人体追尾は、Ｓ６０２で検出された人体領域を、過去の人体情報と紐づけて履歴として保持するものである。次に、Ｓ６０４において、統計量作成部２０６は、検出した人体に関わる時系列統計情報を作成、更新する。
【００３０】
Ｓ６０５において、転倒検出部２０９は、撮影画像に基づいて、検出された人体が図４を参照しつつ説明した状態遷移モデルにおける初期状態であるか否かを判定する。転倒検出部２０９は、初期状態の場合には（Ｓ６０５でＹＥＳ）、処理をＳ６０８へ進める。転倒検出部２０９は、初期状態でない場合には（Ｓ６０５でＮＯ）、処理をＳ６０６へ進める。Ｓ６０８において、転倒検出部２０９は、立位検出処理を行う。転倒検出部２０９は、立位状態が検出された場合には（Ｓ６０９でＹＥＳ）、処理をＳ６１０へ進める。転倒検出部２０９は、立位状態が検出されなかった場合（Ｓ６０９でＮＯ）、処理をＳ６１１へ進める。Ｓ６１０において、転倒検出部２０９は、立位状態と判定し、その後処理をＳ６２０へ進める。Ｓ６１１において、転倒検出部２０９は、初期状態であると判定し、その後処理をＳ６２０へ進める。
【００３１】
Ｓ６２０において、結果生成部２１０は、結果情報を生成する。そして、表示処理部２１２は、結果情報を表示するよう制御する。なお、初期状態と判定された場合には、結果生成部２１０は、初期状態であり、転倒が検出されなかった旨の結果情報を生成する。同立位状態と判定された場合には、結果生成部２１０は、立位状態であり、転倒が検出されなかった旨の結果情報を生成する。次に、Ｓ６２１において、受付部２１１は、終了指示を受け付けたか否かを判断する。受付部２１１は、終了指示を受け付けた場合には（Ｓ６２１でＹＥＳ）、処理を終了する。受付部２１１は、終了指示を受け付けなかった場合には（Ｓ６２１でＮＯ）、処理をＳ６０１へ進める。
【００３２】
Ｓ６０６において、転倒検出部２０９は、立位状態か否かを判定する。転倒検出部２０９は、立位状態の場合には（Ｓ６０６でＹＥＳ）、処理をＳ６１２へ進める。転倒検出部２０９は、立位状態でない場合には（Ｓ６０６でＮＯ）、処理をＳ６０７へ進める。Ｓ６１２において、転倒検出部２０９は、転倒検出処理を行う。転倒検出部２０９は、転倒状態が検出された場合には（Ｓ６１３でＹＥＳ）、処理をＳ６１４へ進める。転倒検出部２０９は、転倒状態が検出されなかった場合には（Ｓ６１３でＮＯ）、処理をＳ６１５へ進める。Ｓ６１４において、転倒検出部２０９は、転倒状態と判定し、その後処理をＳ６２０へ進める。Ｓ６１５において、転倒検出部２０９は、立位状態と判定し、その後処理をＳ６２０へ進める。なお、転倒状態と判定された場合には、結果生成部２１０は、転倒が検出された旨の結果情報を生成する。そして、表示処理部２１２は、転倒が検出された旨の結果情報を表示するよう制御する。
【００３３】
Ｓ６０７において、転倒検出部２０９は、転倒状態か否かを判定する。転倒検出部２０９は、転倒状態の場合には（Ｓ６０７でＹＥＳ）、処理をＳ６１６へ進める。転倒検出部２０９は、転倒状態でない場合には（Ｓ６０７でＮＯ）、処理をＳ６２０へ進める。なお、この場合には、Ｓ６２０において、結果生成部２１０は、エラーを示す検出結果を生成する。Ｓ６１６において、転倒検出部２０９は、転倒後所定時間が経過しているか否かを判定する。転倒検出部２０９は、所定時間が経過している場合には（Ｓ６１６でＹＥＳ）、処理をＳ６１７へ進める。転倒検出部２０９は、所定時間が経過していない場合には（Ｓ６１６でＮＯ）、処理をＳ６１９へ進める。Ｓ６１７において、転倒検出部２０９は、転倒検出において参照したデータをクリアする。次に、Ｓ６１８において、転倒検出部２０９は、初期状態と判定し、その後処理をＳ６２０へ進める。一方、Ｓ６１９においては、転倒検出部２０９は、転倒状態と判定し、その後処理をＳ６２０へ進める。
【００３４】
以上の通り、情報処理装置１００は、時系列統計情報に基づいた複数の条件のうち１つを満たす場合に転倒状態と判定する。これにより、情報処理装置１００は、人体の服装や背景に依存することなく、簡易な処理で、人体の転倒を検出することができる。
【００３５】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００３６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３７】
１００  情報処理装置
２０４  人体検出部
２０６  統計量作成部
２０９  転倒検出部
【図１】
2020145504.tif 000005
【図２】
2020145504.tif 000006
【図３】
2020145504.tif 000007
【図４】
2020145504.tif 000008
【図５】
2020145504.tif 000009
【図６】
2020145504.tif 000010