(57)【要約】  従来とは異なる方法で人物の行動を判別できる画像処理システムを提供する。人物の行動を判別することが可能な画像処理システム（３００）は、ベッドを撮影して得られる設定画像（３０）内の領域であってベッドを含む領域と他の領域との境界の設定を受け付けるための境界受付部（２４０）と、設定画像（３０）と同じ視点からベッドを撮影して得られる入力画像内において人物領域を検出するための人物検出部（１２０）と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部（１４０）とを備える。
2016181837.tif 000002
【特許請求の範囲】
【請求項１】
人物の行動を判別することが可能な画像処理システムであって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備える、画像処理システム。
【請求項２】
前記判別部は、前記境界と前記人物領域とが重なっている部分の幅に応じて、前記行動を判別する、請求項１に記載の画像処理システム。
【請求項３】
前記人物検出部は、前記入力画像内において前記人物の足領域を検出し、
前記判別部は、前記入力画像内における前記境界と前記足領域との重なり方に基づいて、前記人物の行動を判別する、請求項１または２に記載の画像処理システム。
【請求項４】
前記物体は、寝具であり、
前記判別部によって判別される行動は、起床および入床の少なくとも一方を含む、請求項１〜３のいずれか１項に記載の画像処理システム。
【請求項５】
前記判別部は、前記境界と前記人物領域とが重なっている部分の幅が所定値を超えた場合に、前記人物の行動が前記起床または前記入床であると判別する、請求項４に記載の画像処理システム。
【請求項６】
前記画像処理システムは、前記入力画像内における前記人物の動作方向を検出するための方向検出部をさらに備え、
前記判別部は、
前記幅が前記所定値を超え、かつ、前記動作方向が前記入力画像内の前記物体領域の内側から外側に向いている場合に、前記人物が前記寝具から起床していると判別し、
前記幅が前記所定値を超え、かつ、前記動作方向が前記入力画像内の前記物体領域の外側から内側に向いている場合に、前記人物が前記寝具に入床していると判別する、請求項５に記載の画像処理システム。
【請求項７】
前記人物検出部は、前記人物領域の形状と、前記人物領域内の画像情報との少なくとも一方の情報を用いて、前記人物の特定の部位を検出する、請求項１〜６のいずれか１項に記載の画像処理システム。
【請求項８】
前記画像処理システムは、設定された前記境界のうちから前記判別部の行動判別処理に用いる境界部分の設定を受け付けるための境界部分受付部をさらに備える、請求項１〜７のいずれか１項に記載の画像処理システム。
【請求項９】
人物の行動を判別することが可能な画像処理装置であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備える、画像処理装置。
【請求項１０】
人物の行動を判別することが可能な画像処理方法であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するステップと、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するステップとを備える、画像処理方法。
【請求項１１】
人物の行動を判別することが可能な画像処理プログラムであって、
前記画像処理プログラムは、コンピュータに、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するステップと、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するステップとを実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理技術に関し、特に、人物の行動を判別するための画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
画像から人物の行動を判別するための画像処理技術がある。この画像処理技術は、たとえば、高齢者等の介護を要する被介護者の行動を見守る画像処理装置に応用されている。画像処理装置は、被介護者が転倒等を伴う行動を取ったことを検出し、そのことを介護者に報知する。これにより、介護者は、被介護者の転倒等を未然に防ぐことができる。【０００３】
このような画像処理装置に関して、特開２０１４−９０９１３号公報（特許文献１）は、患者を撮像したカメラの撮像映像を基に、患者が上半身を起こした状態や離床を検出することができるナースコールシステムを開示している。特開２０１４−１７４６２７号公報（特許文献２）は、簡易な方法で見守り対象者の行動を推定する情報処理装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−９０９１３号公報
【特許文献２】特開２０１４−１７４６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されるナースコールシステムは、患者が上半身を起こした状態や患者の離床を看護師に通報する。腰の悪い患者は、上半身を十分に起こすことができないことがある。そのため、患者は、上半身を起こす前にベッドから足を出して離床しようとする。特許文献１に開示されるナースコールシステムは、患者が上半身を起こした状態を検出した時点で看護師に通報するため、通報のタイミングが遅く、ベッドからの転倒や転落が十分に防止できない。また、ベッドから離れた状態を検出したタイミングで通報が行なわれると、通報のタイミングが遅すぎて、ベッドからの転倒や転落が十分に防止され得ない。【０００６】
特許文献２に開示される情報処理装置は、オプティカルフローを用いて画像内で患者がベッドからはみ出した大きさを検出し、当該大きさが所定の大きさを超えた場合に、患者がベッドの柵を越えたこと報知する。図２０に示されるように、患者９を斜めから撮影するようにカメラが設置されている場合、患者９は、上半身を起こしただけで画像上においてベッド２０からはみ出る。そのため、特許文献２に開示される情報処理装置においては、患者９への誤報が増加し、患者９の負担が増加する。また、カメラが患者９の真上に設置されている場合で、患者９がベッドから足を先に降ろして離床するときには、画像上では、足を床に垂直に降ろす動きを示すオプティカルフローがほとんど表れない。そのため、特許文献２に開示される情報処理装置は、患者９の行動を正確に検出できず、転倒や転落の発生を十分に防止できない。【０００７】
したがって、従来とは異なる方法で患者や被介護者等の人物の行動を判別でき、当該人物の転倒や転落の発生を低減することが可能な画像処理システムが望まれている。【０００８】
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、従来とは異なる方法で人物の行動を判別できる画像処理システムを提供することである。他の局面における目的は、従来とは異なる方法で人物の行動を判別できる画像処理装置を提供することである。さらに他の局面における目的は、従来とは異なる方法で人物の行動を判別できる画像処理方法を提供することである。さらに他の局面における目的は、従来とは異なる方法で人物の行動を判別できる画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００９】
ある局面に従うと、人物の行動を判別することが可能な画像処理システムは、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。【００１０】
好ましくは、判別部は、境界と人物領域とが重なっている部分の幅に応じて、行動を判別する。【００１１】
好ましくは、人物検出部は、入力画像内において人物の足領域を検出する。判別部は、入力画像内における境界と足領域との重なり方に基づいて、人物の行動を判別する。【００１２】
好ましくは、物体は、寝具である。判別部によって判別される行動は、起床および入床の少なくとも一方を含む。【００１３】
好ましくは、判別部は、境界と人物領域とが重なっている部分の幅が所定値を超えた場合に、人物の行動が起床または入床であると判別する。【００１４】
好ましくは、画像処理システムは、入力画像内における人物の動作方向を検出するための方向検出部をさらに備える。判別部は、幅が所定値を超え、かつ、動作方向が入力画像内の物体領域の内側から外側に向いている場合に、人物が寝具から起床していると判別し、幅が所定値を超え、かつ、動作方向が入力画像内の物体領域の外側から内側に向いている場合に、人物が寝具に入床していると判別する。【００１５】
好ましくは、人物検出部は、人物領域の形状と、人物領域内の画像情報との少なくとも一方の情報を用いて、人物の特定の部位を検出する。【００１６】
好ましくは、画像処理システムは、設定された境界のうちから判別部の行動判別処理に用いる境界部分の設定を受け付けるための境界部分受付部をさらに備える。【００１７】
他の局面に従うと、人物の行動を判別することが可能な画像処理装置は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。【００１８】
さらに他の局面に従うと、人物の行動を判別することが可能な画像処理方法は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するステップと、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するステップとを備える。【００１９】
さらに他の局面に従うと、人物の行動を判別することが可能な画像処理プログラムは、コンピュータに、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するステップと、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するステップとを実行させる。
【発明の効果】
【００２０】
ある局面において、従来とは異なる方法で人物の行動を判別できる。
本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態に従う画像処理システムの構成の一例を示す図である。
【図２】人物を真上から撮影して得られた時系列の画像を示す図である。
【図３】ベッドの長手方向を含むように人物を斜めから撮影して得られた時系列の画像を示す図である。
【図４】ベッドの短手方向を含むように人物を斜めから撮影して得られた画像を示す図である。
【図５】第１の実施の形態に従う画像処理システムの画面遷移図を示す図である。
【図６】メイン画面の一例を示す図である。
【図７】設定モードトップ画面の一例を示す図である。
【図８】領域設定画面の一例を示す図である。
【図９】平常時画面の一例を示す図である。
【図１０】発報時画面の一例を示す図である。
【図１１】第１の実施の形態に従う画像処理システムの機能構成の一例を示すブロック図である。
【図１２】第１の実施の形態に従う画像処理システムが実行する画像処理を示すフローチャートである。
【図１３】行動判別処理を示すフローチャートである。
【図１４】人物検出処理を概略的に示す概念図である。
【図１５】第１の実施の形態に従う画像処理システムの主要なハードウェア構成を示すブロック図である。
【図１６】選択画面の一例を示す図である。
【図１７】第２の実施の形態に従う画像処理システムの機能構成の一例を示すブロック図である。
【図１８】入力画像の中心がベッド領域の手前にある例を示す図である。
【図１９】入力画像の中心がベッド領域に含まれている例を示す図である。
【図２０】人物を斜めから撮影して得られた画像を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
【００２３】
＜第１の実施の形態＞
［画像処理システム３００の構成］
図１を参照して、画像処理システム３００の構成について説明する。図１は、画像処理システム３００の構成の一例を示す図である。
【００２４】
画像処理システム３００は、たとえば、被介護者１０の行動を見守るために用いられる。図１に示されるように、画像処理システム３００は、画像処理装置としての室内端末１００と、管理サーバー２００とを含む。室内端末１００および管理サーバー２００は、ネットワーク４００を介して互いに接続されている。
【００２５】
室内端末１００は、たとえば、医療施設、介護施設、宅内等に設置される。室内端末１００は、後述するカメラ１０５（図１５参照）を備える。図１には、カメラ１０５が被介護者１０およびベッド２０を天井から撮影している様子が示されている。室内端末１００は、カメラ１０５から得られた時系列の画像（映像）に基づいて被介護者１０の行動を判別する。一例として、室内端末１００が判別可能な行動は、被介護者１０の起床および入床の少なくとも１つを含む。ここでいう「起床」とは、被介護者１０がベッド２０上で目を覚ましてから立ち上がるまでの行動のことをいう。「入床」とは、被介護者１０がベッド２０に近付いてからベッド２０に入るまでの行動のことをいう。
【００２６】
室内端末１００は、報知対象の行動（たとえば、起床等）を検出すると、当該行動の種類を示す情報を管理サーバー２００に送信する。報知対象の行動として起床が検出されると、管理サーバー２００は、被介護者１０が起床したことを介護者に報知する。これにより、介護者は、被介護者１０がベッド２０から立ち上がることを支援することができ、被介護者１０の起床時に生じる転倒や転落を未然に防ぐことができる。
【００２７】
なお、図１には、画像処理システム３００が１つの室内端末１００を備えている例が示されているが、画像処理システム３００は、複数の室内端末１００を備えてもよい。また、図１には、画像処理システム３００が１つの管理サーバー２００を備えている例が示されているが、画像処理システム３００は、複数の管理サーバー２００を備えてもよい。さらに、図１には、室内端末１００と管理サーバー２００とが別個の装置として構成されているが、室内端末１００と管理サーバー２００とは一体的に構成されてもよい。
【００２８】
［画像処理システム３００の処理概要］
図２〜図４を参照して、第１の実施の形態に従う画像処理システム３００の処理概要について説明する。図２は、被介護者１０を真上から撮影して得られた時系列の画像を示す図である。図３は、ベッド２０の長手方向を含むように被介護者１０を斜めから撮影して得られた時系列の画像を示す図である。図４は、ベッド２０の短手方向を含むように被介護者１０を斜めから撮影して得られた画像を示す図である。
【００２９】
画像処理システム３００は、入力画像３２Ａから人物領域１２を抽出する。画像処理システム３００は、人物領域１２とベッド境界４０との重なり方に基づいて、被介護者１０の行動を判別する。ベッド境界４０は、入力画像３２Ａ内のベッド領域と他の領域との境界の一部または全部である。ベッド境界４０は、後述するように予め設定されている。
【００３０】
ある局面において、入力画像３２Ｂに示されるように、画像処理システム３００は、ベッド境界４０と人物領域１２とが重なっている部分の幅（すなわち、重なり幅Ｗ１）に応じて、被介護者１０の行動を判別する。画像処理システム３００は、重なり幅Ｗ１が所定値（以下、「閾値Ｔｈｗ」ともいう。）を超えた場合に、被介護者１０の行動が起床または入床であると判別する。
【００３１】
入力画像３２Ｃに示されるように、ベッド境界４０と人物領域１２との重なり部分が複数ある場合には、画像処理システム３００は、重なり幅Ｗ２，Ｗ３の合計に応じて、被介護者１０の行動を判別する。画像処理システム３００は、重なり幅Ｗ２，Ｗ３の合計が閾値Ｔｈｗを超えた場合に、被介護者１０がベッド２０から起床している、または被介護者１０がベッド２０に入床していると判別する。なお、画像処理システム３００は、重なり幅Ｗ２の左端と重なり幅Ｗ３の右端との間の幅を閾値Ｔｈｗと比較してもよい。
【００３２】
被介護者１０は、上半身を十分に起こすことができない場合、上半身を起こす前にベッドから足を出して離床しようとする。画像処理システム３００は、ベッド境界４０と人物領域１２との重なり方に応じて、被介護者１０の行動を判別するため、被介護者１０が上半身を起こす前に被介護者１０の起床を判別できる。画像処理システム３００が被介護者１０の起床を介護者に報知することで、介護者は、被介護者１０の元に素早く駆け付けることができる。その結果、介護者は、被介護者１０が転倒したり、被介護者１０がベッド２０から転落したりすることを未然に防ぐことができる。
【００３３】
好ましくは、画像処理システム３００は、入力画像３２Ａ〜３２Ｃの人物領域１２の形状と、当該人物領域１２内の画像情報との少なくとも一方の情報を用いて、被介護者１０の特定の部位を検出する。当該特定の部位は、被介護者１０の足を含む。画像処理システム３００は、ベッド境界４０と入力画像３２Ａ〜３２Ｃ内の足領域との重なり方に基づいて、被介護者１０の行動を判別する。これにより、画像処理システム３００は、被介護者１０の足がベッド２０からはみ出た状態を検出することができ、画像処理システム３００は、ベッド２０から出ようとする被介護者１０の行動をより正確に検出できる。
【００３４】
さらに好ましくは、画像処理システム３００は、入力画像３３Ａ〜３３Ｃ内における被介護者１０の動作方向を検出する。画像処理システム３００は、重なり幅Ｗ１が閾値Ｔｈｗを超え、かつ、動作方向がベッド領域の内側から外側に向いている場合に、被介護者１０がベッド２０から起床していると判別する。また、画像処理システム３００は、重なり幅Ｗ１が閾値Ｔｈｗを超え、かつ、動作方向がベッド領域の外側から内側に向いている場合に、被介護者１０がベッド２０に入床していると判別する。画像処理システム３００は、被介護者１０の動作方向を行動判別処理に用いることで、被介護者１０の行動をより正確に判別できる。
【００３５】
なお、図２では、被介護者１０を真上から撮影して得られた入力画像３２Ａ〜３２Ｃを用いて行動判別処理を行なう例について説明を行なったが、被介護者１０は、必ずしも真上から撮影されなくともよい。たとえば、図３の入力画像３３Ａ〜３３Ｃに示されるように、被介護者１０は、ベッド２０の長手方向を含むように斜めから撮影されてもよい。この場合、ベッド境界４０は、ベッド２０の上面とベッド２０の側面との境界として管理者によって設定される。
【００３６】
また、図４の入力画像３４に示されるように、被介護者１０は、ベッド２０の短手方向を含むように斜めから撮影されてもよい。この場合、画像処理システム３００は、カメラの角度、ベッド２０の角度、およびベッド２０の位置の少なくとも１つの情報に応じて、行動判別に用いる閾値Ｔｈｗを補正する。画像処理システム３００は、補正後の閾値Ｔｈｗと重なり幅Ｗ４とを比較する。あるいは、画像処理システム３００は、重なり幅Ｗ４を補正し、補正後の重なり幅Ｗ４と閾値Ｔｈｗとを比較してもよい。
【００３７】
また、上述では、人物領域１２とベッド境界４０との重なり部分に基づいて、重なり幅Ｗ１〜Ｗ４を検出する例について説明を行なったが、重なり幅Ｗ１〜Ｗ４は、他の方法で検出されてもよい。たとえば、画像処理システム３００は、足形状のテンプレートを予め保持し、当該テンプレートと類似する部分をベッド境界４０の近傍で探索する。画像処理システム３００は、類似したテンプレートのサイズに応じて重なり幅Ｗ１〜Ｗ４を決定する。
【００３８】
他にも、画像処理システム３００は、足の幅を有する肌色領域を可視光画像内で探索し、当該肌色領域とベッド境界４０との重なり幅Ｗ１〜Ｗ４を検出してもよい。他にも、画像処理システム３００は、サーモグラフィ画像から高温領域を探索し、当該高温領域とベッド境界４０との重なり幅Ｗ１〜Ｗ４を検出してもよい。また、行動判別に用いられる特徴量としては、重なり幅Ｗ１〜Ｗ４ではなく、ベッド境界４０からはみ出した領域の面積やはみ出した量（たとえば、ベッド端からの距離）等の別の特徴量が用いられてもよい。
【００３９】
［画像処理システム３００の画面遷移］
図５〜図１０を参照して、画像処理システム３００に表示される画面例について説明する。図５は、画像処理システム３００の画面遷移図を示す図である。
【００４０】
画像処理システム３００は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面３１０を表示する。管理者は、メイン画面３１０からは、設定モードトップ画面３２０または平常時画面３４０に遷移させることができる。管理者は、設定モードトップ画面３２０からは、メイン画面３１０または領域設定画面３３０に遷移させることができる。管理者は、領域設定画面３３０からは、設定モードトップ画面３２０に遷移させることができる。管理者は、平常時画面３４０からは、メイン画面３１０または発報時画面３５０に遷移させることができる。管理者は、発報時画面３５０からは、平常時画面３４０に遷移させることができる。
【００４１】
以下では、メイン画面３１０、設定モードトップ画面３２０、領域設定画面３３０、平常時画面３４０、および発報時画面３５０の画面例について順に説明する。
【００４２】
（メイン画面３１０）
図６は、メイン画面３１０の一例を示す図である。画像処理システム３００は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面３１０を表示する。
【００４３】
メイン画面３１０は、行動判別処理の開始を受け付けるためのボタン３１２と、行動判別処理に関する設定画面を開くためのボタン３１４とを含む。画像処理システム３００は、ボタン３１２の押下を検出した場合には、平常時画面３４０を表示する。また、画像処理システム３００は、ボタン３１４の押下を検出した場合には、設定モードトップ画面３２０を表示する。
【００４４】
（設定モードトップ画面３２０）
図７は、設定モードトップ画面３２０の一例を示す図である。設定モードトップ画面３２０は、画像処理システム３００の初期設定時やメンテナンス時に表示される。
【００４５】
設定モードトップ画面３２０は、行動判別処理に関するパラメータの設定を受け付ける。たとえば、設定モードトップ画面３２０は、後述するカメラ１０５のフレームレートに関するパラメータを受け付ける。また、設定モードトップ画面３２０は、カメラ１０５から出力される画像の明るさに関するパラメータを受け付ける。さらに、設定モードトップ画面３２０は、被介護者の行動の検出感度に関するパラメータを受け付ける。さらに、設定モードトップ画面３２０は、カメラ１０５を設置する天井の高さに関するパラメータを受け付ける。設定モードトップ画面３２０の「更新」ボタンが押下されると、各パラメータは、画像処理システム３００に反映される。
【００４６】
画像処理システム３００は、ボタン３２２の押下を検出した場合には、領域設定画面３３０を表示する。画像処理システム３００は、ボタン３２４の押下を検出した場合には、メイン画面３１０を表示する。
【００４７】
設定モードトップ画面３２０は、他のパラメータの入力を受け付けてもよい。たとえば、設定モードトップ画面３２０は、カメラ１０５に関するパラメータとして、入力画像のコントラストに関するパラメータ、カメラのズーム調整に関するパラメータ、およびカメラのパンチルト調整に関するパラメータ等を受け付けてもよい。他にも、設定モードトップ画面３２０は、室内端末１００から画像処理システム３００に送信する画像の圧縮率等を受け付けてもよい。他にも、設定モードトップ画面３２０は、起床または入床等の行動を判別する時間帯等の設定を受け付けてもよい。
【００４８】
（領域設定画面３３０）
図８は、領域設定画面３３０の一例を示す図である。領域設定画面３３０は、設定画像３０（基準画像）に対するベッド境界４０の設定を受け付ける。設定されたベッド境界４０は、上述したように、行動判別処理で用いられる。
【００４９】
領域設定画面３３０は、たとえば、点４１Ａ〜４１Ｄの設定を受け付けることでベッド境界４０の設定を受け付ける。一例として、点４１Ａ〜４１Ｄは、マウス操作に連動するポインタ３３２によって入力される。画像処理システム３００は、管理者によって設定されたベッド境界４０を保存する操作を受け付けたことに基づいて、設定画像３０内でベッド境界４０を特定するための情報（たとえば、座標等）を記憶する。
【００５０】
なお、図８では、ベッド境界４０を設定する方法として、点４１Ａ〜４１Ｄを設定する例について説明を行なったが、ベッド境界４０は、他の方法で設定されてもよい。たとえば、領域設定画面３３０は、線の設定を受け付けることでベッド境界４０の設定を受け付けてもよい。他の方法としては、領域設定画面３３０は、面の設定を受け付けることでベッド境界４０の設定を受け付ける。この場合、管理者は、領域設定画面３３０に対するドラッグ操作によりベッド２０が写っている範囲を指定する。このように、ベッド境界４０の設定方法としては、ベッド領域とその他の領域との境界の一部または全部を指定することが可能な任意の方法が採用され得る。
【００５１】
また、図８では、ベッド境界４０を設定する方法として、矩形の境界を設定する例について説明を行なったが、ベッド境界４０は、他の形状で設定されもよい。たとえば、ベッド境界４０は、円形、楕円形、多角形（たとえば、六角形）等のその他の形状で設定されてもよい。あるいは、ベッド境界４０の形状は、線、弧等であってもよい。当該線や弧は、所定の太さを有していてもよい。
【００５２】
また、図８では、ポインタ３３２でベッド境界４０を設定する例について説明を行なったが、ベッド境界４０は、タッチ操作等のその他の操作で設定されもよい。
【００５３】
また、図８では、ベッド２０に対してベッド境界４０を設定する例について説明を行なったが、境界が設定される対象物は、ベッドに限定されない。たとえば、境界が設定される対象物は、布団等の寝具、椅子、被介護者によって利用されるその他の物体を含む。
【００５４】
また、図８では、ベッド境界４０が管理者によって手動で設定される例について説明を行なったが、画像処理システム３００は、エッジ抽出やテンプレートマッチングなどの画像処理によってベッド境界４０を自動で検出してもよい。あるいは、画像処理システム３００は、３Ｄセンサ、ベッド２０の脚に取り付けられた位置センサ、圧力センサを有するカーペット等、その他のセンサによってベッド境界４０を検出してもよい。
【００５５】
（平常時画面３４０）
図９は、平常時画面３４０の一例を示す図である。平常時画面３４０は、画像処理システム３００による行動判別処理の実行中において、監視対象の被介護者１０が危険を伴わない行動（たとえば、就寝等）を取っているときに表示される画面である。一例として、画像処理システム３００は、被介護者１０を撮影して得られた画像（映像）をそのまま平常時画面３４０として表示する。
【００５６】
（発報時画面３５０）
図１０は、発報時画面３５０の一例を示す図である。発報時画面３５０は、画像処理システム３００による行動判別処理の実行中において、監視対象の被介護者１０が危険を伴う行動を取ったときに表示される画面である。画像処理システム３００は、発報時画面３５０を表示する前に発報時画面３５０の表示の可否を管理者に問い合わせてもよい。
【００５７】
図１０に示されるように、画像処理システム３００は、被介護者１０が起床したことを検出したことに基づいて、被介護者１０の起床を介護者に報知する。ある局面において、画像処理システム３００は、メッセージ３５２によって被介護者１０の起床を介護者に報知する。他の局面において、画像処理システム３００は、音声等の音によって被介護者１０の起床を介護者に報知する。さらに他の局面において、画像処理システム３００は、被介護者１０の起床の検出時における画像または映像を表示する。これにより、万が一、画像処理システム３００が誤発報を行なった場合であっても、介護者は、行動検出時における被介護者１０の行動を画像または映像で確認できる。そのため、被介護者１０の元に無駄に駆け付けずに済む。
【００５８】
なお、報知対象になる行動は、起床に限定されない。たとえば、報知対象になる行動は、入床、離床、被介護者１０に危険が生じるその他の行動を含む。
【００５９】
［画像処理システム３００の機能構成］
図１１を参照して、画像処理システム３００の機能について説明する。図１１は、画像処理システム３００の機能構成の一例を示すブロック図である。図１１に示されるように、画像処理システム３００は、室内端末１００と、管理サーバー２００とを備える。以下では、室内端末１００および管理サーバー２００の機能について順に説明する。
【００６０】
（室内端末１００の機能構成）
図１１に示されるように、室内端末１００は、機能構成として、受信部１１０と、人物検出部１２０と、方向検出部１３０と、判別部１４０と、送信部１６０とを含む。
【００６１】
受信部１１０は、設定画像３０（図８参照）に対して設定されたベッド境界４０を管理サーバー２００から受信する。受信部１１０は、受信したベッド境界４０を記憶装置１０６に格納する。
【００６２】
人物検出部１２０は、設定画像３０と同じ視点から物体（たとえば、ベッド）を撮影して得られる入力画像内において人物領域を検出する。人物検出処理の詳細については後述する（図１４参照）。
【００６３】
方向検出部１３０は、入力画像内の物体（たとえば、ベッド）に対する被介護者の動作方向を検出する。一例として、方向検出部１３０は、ベッド境界４０内に占める人物領域の面積の変化に基づいて、入力画像内における被介護者の動作方向を検出する。たとえば、当該面積が前回の面積と比べて所定値以上減少した場合に、方向検出部１３０は、被介護者がベッド領域の内側から外側に動いていると判断する。当該面積が前回の面積と比べて所定値以上増加した場合に、方向検出部１３０は、被介護者がベッド領域の外側から内側に動いていると判断する。なお、方向検出部１３０は、人物検出部１２０によって検出された人物領域の位置の変化に基づいて動作方向を検出してもよい。
【００６４】
判別部１４０は、入力画像内における人物領域と、入力画像内におけるベッド境界４０との重なり方に基づいて、被介護者の行動を判別する。行動判別処理の詳細については後述する（図１３参照）。
【００６５】
送信部１６０は、カメラ１０５（図１５参照）から得られた設定画像３０と、判別部１４０によって判別された行動の種類とを管理サーバー２００に送信する。
【００６６】
（管理サーバー２００の機能構成）
引き続き図１１を参照して、管理サーバー２００の機能構成について説明する。図１１に示されるように、管理サーバー２００は、機能構成として、受信部２１０と、報知部２３０と、境界受付部２４０と、送信部２５０とを含む。
【００６７】
受信部２１０は、カメラ１０５（図１５参照）から得られた設定画像３０と、判別部１４０によって判別された行動の種類とを室内端末１００から受信する。
【００６８】
報知部２３０は、報知対象の行動が検出された場合に、当該行動が検出されたことを報知する。報知対象の行動は、たとえば、起床、入床、離床、監視対象の被介護者に危険が伴うその他の行動を含む。報知手段の一例として、報知部２３０は、行動の種類を示す情報をメッセージとして表示したり、音声によって出力したりする。あるいは、報知部２３０は、介護者が有する携帯端末（図示しない）に行動の種類を示す情報をメッセージとして表示させたり、当該携帯端末に音声を出力させたり、当該携帯端末を振動させたりする。
【００６９】
境界受付部２４０は、ベッドを撮影して得られる設定画像３０内の領域であってベッドを含む領域と他の領域との間のベッド境界４０の設定を受け付ける。ベッド境界４０は、ベッド領域と他の領域との間における一部または全部に相当する。好ましくは、ベッド境界４０は、ベッドのエッジ部分の一部または全部に相当する。さらに好ましくは、ベッド境界４０は、ベッドの上面の境界の一部または全部に相当する。
【００７０】
送信部２５０は、境界受付部２４０が受け付けた設定画像３０に対するベッド境界４０の設定を室内端末１００に送信する。
【００７１】
［画像処理システム３００の制御構造］
図１２〜図１４を参照して、画像処理システム３００の制御構造について説明する。図１２は、画像処理システム３００が実行する画像処理を示すフローチャートである。図１２の処理は、室内端末１００のＣＰＵ１０２（図１５参照）や、管理サーバー２００のＣＰＵ２０２（図１５参照）によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
【００７２】
ステップＳ５０において、画像処理システム３００は、監視対象の被介護者を撮影して得られた画像を本実施の形態に従う画像処理プログラムに入力する。
【００７３】
ステップＳ６０において、画像処理システム３００は、上述の判別部１４０（図１１参照）として、行動判別処理を実行する。行動判別処理の詳細については後述する（図１３参照）。
【００７４】
ステップＳ７０において、画像処理システム３００は、本実施の形態に従う画像処理を終了するか否かを判断する。たとえば、画像処理システム３００は、管理者から処理を中断する操作を受け付けた場合に、本実施の形態に従う画像処理を終了すると判断する（ステップＳ７０においてＹＥＳ）。そうでない場合には（ステップＳ７０においてＮＯ）、画像処理システム３００は、制御をステップＳ８０に切り替える。
【００７５】
ステップＳ８０において、画像処理システム３００は、次の入力画像をカメラ１０５から取得する。これにより、画像処理システム３００は、時系列の画像に対して本実施の形態に従う画像処理を順次実行する。
【００７６】
（行動判別処理）
図１３および図１４を参照して、図１２のステップＳ６０で実行される行動判別処理について詳細に説明する。図１３は、行動判別処理を示すフローチャートである。図１４は、図１３のステップＳ１００で実行される人物検出処理を概略的に示す概念図である。
【００７７】
ステップＳ１００において、画像処理システム３００は、上述の人物検出部１２０（図１１参照）として、入力画像から人物領域を検出する。人物領域は、たとえば、入力画像から背景画像を差分する背景差分や、撮影時刻が前後である画像を差分する時間差分によって検出される。
【００７８】
図１４には、背景差分によって入力画像３２から人物領域１２を抽出する処理が概略的に示されている。より具体的には、画像処理システム３００は、人物が写っていない背景画像３５を予め取得しておく。背景画像３５は、上述の設定画像３０（図８参照）と同一の画像であってもよいし、設定画像３０とは別に得られた画像であってもよい。
【００７９】
画像処理システム３００は、カメラ１０５（図１５参照）から入力画像３２を取得すると、入力画像３２から背景画像３５を差分する。これにより、画像処理システム３００は、入力画像３２から背景を除いた背景差分画像３６を得ることができる。画像処理システム３００は、所定値以上の画素値を有する領域を人物領域１２とする。
【００８０】
なお、人物領域１２は、図１４に示される方法とは異なる方法で抽出されてもよい。たとえば、画像処理システム３００は、被介護者１０の特徴的な部分（すなわち、特徴量）をテンプレートとして予め準備しておき、入力画像３２を走査することにより当該テンプレートと類似する領域を探索する。画像処理システム３００は、入力画像３２内でテンプレートと類似する領域を探索できた場合には、当該領域を人物領域１２とする。他にも、人物領域１２は、オプティカルフローやトラッキング等のその他の画像処理技術によって抽出されてもよい。
【００８１】
好ましくは、画像処理システム３００は、人物領域１２から足領域を抽出する。足領域の抽出方法は任意である。一例として、画像処理システム３００は、肌色度合い、輝度等の画素値情報、人物領域１２の幅等の形状情報、オプティカルフロー等の動き情報が予め定められた範囲内にあるか否かを判断し、予め定められた範囲内にあるという条件を満たす領域を足領域として抽出する。あるいは、画像処理システム３００は、足形状のテンプレートを予め保持し、当該テンプレートと類似する部分をベッド境界４０の近傍で探索する。画像処理システム３００は、当該テンプレートと類似する領域を探索できた場合には、当該領域を足領域とする。
【００８２】
ステップＳ１０２において、画像処理システム３００は、上述の方向検出部１３０（図１１参照）として、入力画像内の物体（たとえば、ベッド）に対する被介護者の動作方向を検出する。一例として、画像処理システム３００は、ベッド領域に占める人物領域の面積Ｓ１の変化に基づいて、画像内における被介護者の動作方向を検出する。たとえば、今回の面積Ｓ１が前回の面積Ｓ１と比べて所定値以上減少した場合に、画像処理システム３００は、被介護者がベッドの内側から外側の方向に動いていると判断する。今回の面積Ｓ１が前回の面積Ｓ１と比べて所定値以上増加した場合に、方向検出部１３０は、被介護者がベッドの外側から内側の方向に動いていると判断する。なお、画像処理システム３００は、ベッド領域外に占める人物領域の面積Ｓ２の変化に基づいて、画像内における被介護者の動作方向を検出してもよい。
【００８３】
ステップＳ１１０において、画像処理システム３００は、入力画像内における被介護者の移動方向がベッドの内側から外側の方向を向いているか否かを判断する。画像処理システム３００は、入力画像内における人物の移動方向がベッドの内側から外側に向いていると判断した場合（ステップＳ１１０においてＹＥＳ）、制御をステップＳ１２０に切り替える。そうでない場合には（ステップＳ１１０においてＮＯ）、画像処理システム３００は、行動判別処理を終了する。
【００８４】
ステップＳ１２０において、画像処理システム３００は、ベッド境界４０と人物領域１２との重なり幅Ｗが閾値Ｔｈｗよりも大きいか否かを判断する。画像処理システム３００は、重なり幅Ｗが閾値Ｔｈｗよりも大きいと判断した場合（ステップＳ１２０においてＹＥＳ）、制御をステップＳ１２２に切り替える。そうでない場合には（ステップＳ１２０においてＮＯ）、画像処理システム３００は、行動判別処理を終了する。
【００８５】
ステップＳ１２２において、画像処理システム３００は、上述の報知部２３０（図１１参照）として、被介護者が起床したことを報知する。報知手段の一例として、画像処理システム３００は、行動の種類を示す情報をメッセージとして表示したり、音声によって出力したりする。あるいは、画像処理システム３００は、介護者が有する携帯端末（図示しない）に行動の種類を示す情報をメッセージとして表示させたり、当該携帯端末に音声を出力させたり、当該携帯端末を振動させたりする。
【００８６】
［画像処理システム３００のハードウェア構成］
図１５を参照して、画像処理システム３００のハードウェア構成の一例について説明する。図１５は、画像処理システム３００の主要なハードウェア構成を示すブロック図である。図１５に示されるように、画像処理システム３００は、室内端末１００と、管理サーバー２００と、ネットワーク４００とを含む。室内端末１００および管理サーバー２００は、ネットワーク４００を介して接続されている。以下では、室内端末１００のハードウェア構成と、管理サーバー２００のハードウェア構成とについて順に説明する。
【００８７】
（室内端末１００のハードウェア構成）
図１５に示されるように、室内端末１００は、ＲＯＭ（Read  Only  Memory）１０１と、ＣＰＵ１０２と、ＲＡＭ（Random  Access  Memory）１０３と、ネットワークＩ／Ｆ（インタフェース）１０４と、カメラ１０５と、記憶装置１０６とを含む。
【００８８】
ＲＯＭ１０１は、オペレーティングシステム（ＯＳ：Operating  System）、室内端末１００で実行される制御プログラム等を格納する。ＣＰＵ１０２は、オペレーティングシステムや室内端末１００の制御プログラム等の各種プログラムを実行することで、室内端末１００の動作を制御する。ＲＡＭ１０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
【００８９】
ネットワークＩ／Ｆ１０４には、アンテナやＮＩＣ（Network  Interface  Card）等の通信機器が接続される。室内端末１００は、当該通信機器を介して、他の通信端末との間でデータを送受信する。他の通信端末は、たとえば、管理サーバー２００、その他の端末等を含む。室内端末１００は、本実施の形態に従う各種の処理を実現するための画像処理プログラム１０８を、ネットワーク４００を介してダウンロードできるように構成されてもよい。
【００９０】
カメラ１０５は、たとえば、監視カメラまたは被写体を撮影することが可能なその他の撮像装置である。なお、カメラ１０５は、室内端末１００と別個に構成されてもよいし、図１５に示されるように室内端末１００と一体的に構成されてもよい。
【００９１】
記憶装置１０６は、たとえば、ハードディスクや外付けの記憶装置等の記憶媒体である。一例として、記憶装置１０６は、設定画像に対して設定されたベッド境界４０と、本実施の形態に従う各種の処理を実現するための画像処理プログラム１０８とを記憶する。ベッド境界４０は、設定画像や入力画像内でベッドが写っている領域を特定するための情報である。たとえば、ベッド境界４０は、ベッドの端点を示す座標値で示される。
【００９２】
なお、画像処理プログラム１０８は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像処理システム３００の趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム１０８によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、少なくとも１つのサーバーが本実施の形態に従う処理を実現する、所謂クラウドサービスのような形態で管理サーバー２００が構成されてもよい。
【００９３】
（管理サーバー２００のハードウェア構成）
次に、管理サーバー２００のハードウェア構成について説明する。図１５に示されるように、管理サーバー２００は、ＲＯＭ２０１と、ＣＰＵ２０２と、ＲＡＭ２０３と、ネットワークＩ／Ｆ２０４と、モニタ２０５と、記憶装置２０６とを含む。
【００９４】
ＲＯＭ２０１は、オペレーティングシステム、管理サーバー２００で実行される制御プログラム等を格納する。ＣＰＵ２０２は、オペレーティングシステムや管理サーバー２００の制御プログラム等の各種プログラムを実行することで、管理サーバー２００の動作を制御する。ＲＡＭ２０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
【００９５】
ネットワークＩ／Ｆ２０４には、アンテナやＮＩＣ等の通信機器が接続される。管理サーバー２００は、当該通信機器を介して、他の通信端末との間でデータを送受信する。他の通信端末は、たとえば、室内端末１００、その他の端末等を含む。管理サーバー２００は、本実施の形態に従う各種の処理を実現するためのプログラムを、ネットワーク４００を介してダウンロードできるように構成されてもよい。
【００９６】
モニタ２０５は、本実施の形態に従う画像処理プログラム２０８を実行することで表示される各種画面を表示する。たとえば、モニタ２０５は、メイン画面３１０（図６参照）、設定モードトップ画面３２０（図７参照）、領域設定画面３３０（図８参照）、平常時画面３４０（図９参照）、および発報時画面３５０（図１０参照）等の画面を表示する。なお、モニタ２０５は、タッチセンサ（図示しない）と組み合わされてタッチパネルとして実現されてもよい。タッチパネルは、ベッド境界４０の設定操作や画面の切り替え操作等をタッチ操作で受け付ける。
【００９７】
記憶装置２０６は、たとえば、ハードディスクや外付けの記憶装置等の記憶媒体である。一例として、記憶装置２０６は、本実施の形態に従う各種の処理を実現するための画像処理プログラム２０８を記憶する。
【００９８】
［小括］
以上のようにして、本実施の形態に従う画像処理システム３００は、ベッド境界と人物領域との重なり方に基づいて被介護者の行動を判別する。これにより、画像処理システム３００は、ベッド境界を通過していることを検出でき、被介護者の起床や入床等を検出できる。画像処理システム３００が被介護者の起床等を介護者に報知することで、介護者は、被介護者の元に素早く駆け付けることができる。その結果、介護者は、被介護者が転倒したり、被介護者がベッドから転落したりすることを未然に防ぐことができる。
【００９９】
＜第２の実施の形態＞
［概要］
第１の実施の形態に従う画像処理システム３００は、予め設定されたベッド境界を全て用いて被介護者の行動を判別していた。これに対して、第２の実施の形態に従う画像処理システム３００Ａは、予め設定されたベッド境界を部分的に用いて被介護者の行動を判別する。
【０１００】
以下では、図１６を参照して、第２の実施の形態に従う画像処理システム３００Ａの概要について説明する。図１６は、選択画面３６０の一例を示す図である。選択画面３６０は、設定されたベッド境界４０の内から判別処理に用いる境界（以下、「境界部分」ともいう。）の選択を受け付ける。
【０１０１】
図１６の例では、マウス操作に連動するポインタ３３２によって境界部分４３が選択されている。境界部分４３は、ベッド境界４０の一辺に相当する。画像処理システム３００Ａは、選択された境界部分４３と人物領域との重なり方に応じて被介護者の行動を判別する。すなわち、画像処理システム３００Ａは、選択されなかった境界部分については行動判別処理に用いない。これにより、画像処理システム３００Ａは、被介護者が起床するときに通過しない境界を除外することができるので、被介護者の起床を誤検出することを低減することができる。
【０１０２】
なお、図１６では、行動判別処理に用いられる境界部分が選択される例について説明したが、行動判別処理に用いられない境界部分が選択されてもよい。
【０１０３】
また、境界部分は、他の方法で選択されてもよい。たとえば、画像処理システム３００Ａは、ベッド領域の長辺を境界部分として自動的に選択してもよい。あるいは、画像処理システム３００Ａは、画像中心からの距離、ベッドの柵の有無等の情報に基づいて、境界部分を自動的に選択してもよい。あるいは、起床時または入床時には被介護者が特定の境界部分を通過するという点に着目して、画像処理システム３００Ａは、人物領域との重なりが頻繁に生じるベッド端を境界部分として自動的に選択してもよい。
【０１０４】
さらに、選択画面３６０は、複数の境界部分の選択を受け付けてもよい。複数の境界部分が選択された場合、画像処理システム３００Ａは、後述するように、それぞれの境界部分の位置に応じて行動判別処理を変えてもよい。
【０１０５】
［画像処理システム３００Ａの機能構成］
図１７を参照して、第２の実施の形態に従う画像処理システム３００Ａの機能について説明する。図１７は、画像処理システム３００Ａの機能構成の一例を示すブロック図である。図１７に示されるように、画像処理システム３００Ａは、室内端末１００と、管理サーバー２００とを備える。画像処理システム３００Ａにおいては、管理サーバー２００が境界部分受付部２４５をさらに備える点で第１の実施の形態に従う画像処理システム３００とは異なる。その他の機能構成については上述の通りであるので、それらの機能構成については説明を繰り返さない。
【０１０６】
境界部分受付部２４５は、設定されたベッド境界４０のうちから行動判別処理に用いる境界部分の設定を受け付ける。一例として、境界部分受付部２４５は、ベッド境界４０の端辺のうちから特定の辺を選択する操作を受け付け、選択された辺を境界部分とする。境界部分受付部２４５は、選択された境界部分を送信部２５０に出力する。
【０１０７】
［画像処理システム３００Ａの行動判別処理］
図１８および図１９を参照して、第２の実施の形態に従う画像処理システム３００Ａの行動判別処理について説明する。図１８は、入力画像３７の画像中心４５がベッド境界４０の手前（下側）にある例を示す図である。図１９は、入力画像３８の画像中心４５がベッド境界４０に含まれている例を示す図である。
【０１０８】
入力画像内の被介護者の写り方やベッドの写り方は、入力画像内の位置に応じて変わる。そのため、人物領域とベッド境界との重なり方も、被介護者の位置やベッドの位置に応じて変わる。この点に着目して、画像処理システム３００Ａは、入力画像内におけるベッド境界４０の位置に応じて、同一の行動に対する行動判別処理を変える。異なる言い方をすれば、画像処理システム３００Ａは、ベッド境界４０とカメラ１０５（図１５参照）との位置関係に応じて行動判別処理を変える。
【０１０９】
一例として、画像処理システム３００Ａは、ベッド境界４０（あるいは境界部分４３）に対する画像中心４５の位置を特定し、特定した位置に応じて行動判別処理を変える。たとえば、図１８に示されるように、画像中心４５がベッド境界４０の手前（下側）に位置しているとする。この場合、画像処理システム３００Ａは、表５０の「手前」を選択し、当該「手前」に予め関連付けられている行動判別処理を実行する。また、図１９に示されるように、画像中心４５がベッド境界４０内に位置しているとする。この場合、画像処理システム３００Ａは、表５０の「直上」を選択し、当該「直上」に予め関連付けられている行動判別処理を実行する。
【０１１０】
なお、ベッド境界４０（あるいは、境界部分４３）とカメラ１０５（図１５参照）との位置関係を特定する方法は、図１８および図１９に示される例に限定されない。たとえば、カメラ１０５が斜め下向きにあおり角を有するように設置されているとする。この場合、画像処理システム３００Ａは、予め設定されているあおり角、または入力画像から自動的に算出されるあおり角度に基づいて、入力画像内におけるカメラ１０５の直下の位置（画像中心ではない）を算出する。画像処理システム３００Ａは、算出した位置とベッド境界４０との位置関係に応じて行動判別処理を変える。
【０１１１】
［小括］
以上のようにして、第２の実施の形態に従う画像処理システム３００Ａは、ベッド境界４０のうちから行動判別処理に用いる境界部分の選択を受け付ける。画像処理システム３００Ａは、選択された境界部分と人物領域との重なり方に応じて被介護者の行動を判別する。これにより、画像処理システム３００Ａは、被介護者が起床するときに通過しない境界を除外することができるので、被介護者の起床を誤検出することを低減することができる。
【０１１２】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【０１１３】
９  患者、１０  被介護者、１２  人物領域、２０  ベッド、３０  設定画像、３２，３２Ａ〜３２Ｃ，３３Ａ〜３３Ｃ，３４，３７，３８  入力画像、３５  背景画像、３６  背景差分画像、４０  ベッド境界、４１Ａ〜４１Ｄ  点、４３  境界部分、４５  画像中心、１００  室内端末、１０１，２０１  ＲＯＭ、１０２，２０２  ＣＰＵ、１０３，２０３  ＲＡＭ、１０４，２０４  ネットワークＩ／Ｆ、１０５  カメラ、１０６，２０６  記憶装置、１０８，２０８  画像処理プログラム、１１０，２１０  受信部、１２０  人物検出部、１３０  方向検出部、１４０  判別部、１６０，２５０  送信部、２００  管理サーバー、２０５  モニタ、２３０  報知部、２４０  境界受付部、２４５  境界部分受付部、３００，３００Ａ  画像処理システム、３１０  メイン画面、３１２，３１４，３２２，３２４  ボタン、３２０  設定モードトップ画面、３３０  領域設定画面、３３２  ポインタ、３４０  平常時画面、３５０  発報時画面、３５２  メッセージ、３６０  選択画面、４００  ネットワーク。
【図１】
2016181837.tif 000003
【図２】
2016181837.tif 000004
【図３】
2016181837.tif 000005
【図４】
2016181837.tif 000006
【図５】
2016181837.tif 000007
【図６】
2016181837.tif 000008
【図７】
2016181837.tif 000009
【図８】
2016181837.tif 000010
【図９】
2016181837.tif 000011
【図１０】
2016181837.tif 000012
【図１１】
2016181837.tif 000013
【図１２】
2016181837.tif 000014
【図１３】
2016181837.tif 000015
【図１４】
2016181837.tif 000016
【図１５】
2016181837.tif 000017
【図１６】
2016181837.tif 000018
【図１７】
2016181837.tif 000019
【図１８】
2016181837.tif 000020
【図１９】
2016181837.tif 000021
【図２０】
2016181837.tif 000022
【手続補正書】
【提出日】平成28年11月15日(2016.11.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物の行動を判別することが可能な画像処理システムであって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備え、
前記判別部は、前記境界と前記人物領域とが重なっている部分の幅に応じて、前記行動を判別する、画像処理システム。
【請求項２】
人物の行動を判別することが可能な画像処理システムであって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備え、
前記人物検出部は、前記入力画像内において前記人物の足領域を検出し、
前記判別部は、前記入力画像内における前記境界と前記足領域との重なり方に基づいて、前記行動を判別する、画像処理システム。
【請求項３】
人物の行動を判別することが可能な画像処理システムであって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備え、
前記物体は、寝具であり、
前記判別部によって判別される行動は、起床および入床の少なくとも一方を含み、
前記判別部は、前記境界と前記人物領域とが重なっている部分の幅が所定値を超えた場合に、前記行動が前記起床または前記入床であると判別する、画像処理システム。
【請求項４】
前記画像処理システムは、前記入力画像内における前記人物の動作方向を検出するための方向検出部をさらに備え、
前記判別部は、
前記幅が前記所定値を超え、かつ、前記動作方向が前記入力画像内の前記物体領域の内側から外側に向いている場合に、前記人物が前記寝具から起床していると判別し、
前記幅が前記所定値を超え、かつ、前記動作方向が前記入力画像内の前記物体領域の外側から内側に向いている場合に、前記人物が前記寝具に入床していると判別する、請求項３に記載の画像処理システム。
【請求項５】
前記人物検出部は、前記人物領域の形状と、前記人物領域内の画像情報との少なくとも一方の情報を用いて、前記人物の特定の部位を検出する、請求項１〜４のいずれか１項に記載の画像処理システム。
【請求項６】
前記画像処理システムは、設定された前記境界のうちから前記判別部の行動判別処理に用いる境界部分の設定を受け付けるための境界部分受付部をさらに備える、請求項１〜５のいずれか１項に記載の画像処理システム。
【請求項７】
人物の行動を判別することが可能な画像処理装置であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備え、
前記判別部は、前記境界と前記人物領域とが重なっている部分の幅に応じて、前記行動を判別する、画像処理装置。
【請求項８】
人物の行動を判別することが可能な画像処理装置であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備え、
前記人物検出部は、前記入力画像内において前記人物の足領域を検出し、
前記判別部は、前記入力画像内における前記境界と前記足領域との重なり方に基づいて、前記行動を判別する、画像処理装置。
【請求項９】
人物の行動を判別することが可能な画像処理装置であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するための判別部とを備え、
前記物体は、寝具であり、
前記判別部によって判別される行動は、起床および入床の少なくとも一方を含み、
前記判別部は、前記境界と前記人物領域とが重なっている部分の幅が所定値を超えた場合に、前記行動が前記起床または前記入床であると判別する、画像処理装置。
【請求項１０】
人物の行動を判別することが可能な画像処理方法であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するステップと、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するステップとを備え、
前記判別するステップは、前記境界と前記人物領域とが重なっている部分の幅に応じて、前記行動を判別する、画像処理方法。
【請求項１１】
人物の行動を判別することが可能な画像処理方法であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するステップと、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するステップとを備え、
前記検出するステップは、前記入力画像内において前記人物の足領域を検出し、
前記判別するステップは、前記入力画像内における前記境界と前記足領域との重なり方に基づいて、前記行動を判別する、画像処理方法。
【請求項１２】
人物の行動を判別することが可能な画像処理方法であって、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するステップと、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するステップとを備え、
前記物体は、寝具であり、
前記判別するステップで判別される行動は、起床および入床の少なくとも一方を含み、
前記判別するステップは、前記境界と前記人物領域とが重なっている部分の幅が所定値を超えた場合に、前記行動が前記起床または前記入床であると判別する、画像処理方法。
【請求項１３】
人物の行動を判別することが可能な画像処理プログラムであって、
前記画像処理プログラムは、コンピュータに、
物体を撮影して得られる基準画像内の領域であって前記物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、
前記基準画像と同じ視点から前記物体を撮影して得られる入力画像内において人物領域を検出するステップと、
前記入力画像内における前記境界と前記人物領域との重なり方に基づいて、前記人物の行動を判別するステップとを実行させ、
前記判別するステップは、前記境界と前記人物領域とが重なっている部分の幅に応じて、前記行動を判別する、画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
ある局面に従うと、人物の行動を判別することが可能な画像処理システムは、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。判別部は、境界と人物領域とが重なっている部分の幅に応じて、行動を判別する。
他の局面に従うと、人物の行動を判別することが可能な画像処理システムは、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。人物検出部は、入力画像内において人物の足領域を検出する。判別部は、入力画像内における境界と足領域との重なり方に基づいて、行動を判別する。
他の局面に従うと、人物の行動を判別することが可能な画像処理システムは、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。物体は、寝具である。判別部によって判別される行動は、起床および入床の少なくとも一方を含む。判別部は、境界と人物領域とが重なっている部分の幅が所定値を超えた場合に、行動が起床または入床であると判別する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
他の局面に従うと、人物の行動を判別することが可能な画像処理装置は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。判別部は、境界と人物領域とが重なっている部分の幅に応じて、行動を判別する。
他の局面に従うと、人物の行動を判別することが可能な画像処理装置は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。人物検出部は、入力画像内において人物の足領域を検出し、判別部は、入力画像内における境界と足領域との重なり方に基づいて、行動を判別する。
他の局面に従うと、人物の行動を判別することが可能な画像処理装置は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるための境界受付部と、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するための人物検出部と、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するための判別部とを備える。物体は、寝具である。判別部によって判別される行動は、起床および入床の少なくとも一方を含む。判別部は、境界と人物領域とが重なっている部分の幅が所定値を超えた場合に、行動が起床または入床であると判別する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
他の局面に従うと、人物の行動を判別することが可能な画像処理方法は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するステップと、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するステップとを備える。判別するステップは、境界と人物領域とが重なっている部分の幅に応じて、行動を判別する。
他の局面に従うと、人物の行動を判別することが可能な画像処理方法は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するステップと、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するステップとを備える。検出するステップは、入力画像内において人物の足領域を検出する。判別するステップは、入力画像内における境界と足領域との重なり方に基づいて、行動を判別する。
他の局面に従うと、人物の行動を判別することが可能な画像処理方法は、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するステップと、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するステップとを備える。物体は、寝具である。判別するステップで判別される行動は、起床および入床の少なくとも一方を含む。判別するステップは、境界と人物領域とが重なっている部分の幅が所定値を超えた場合に、行動が起床または入床であると判別する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
他の局面に従うと、人物の行動を判別することが可能な画像処理プログラムは、コンピュータに、物体を撮影して得られる基準画像内の領域であって物体を含む物体領域と他の領域との境界の設定を受け付けるステップと、基準画像と同じ視点から物体を撮影して得られる入力画像内において人物領域を検出するステップと、入力画像内における境界と人物領域との重なり方に基づいて、人物の行動を判別するステップとを実行させる。判別するステップは、境界と人物領域とが重なっている部分の幅に応じて、行動を判別する。
【国際調査報告】
2016181837.tif 000023
2016181837.tif 000024