(57)【要約】【課題】他者の支援を必要とする要支援者の検出を高精度に行うことが可能な監視装置及び監視方法を提供する。【解決手段】撮像手段によって撮像された画像情報を解析して当該画像情報に含まれる人物の動作状態を検出し、この動作状態を表す状態情報を生成して前記記憶手段に保存する第１検出手段と、前記記憶手段に記憶された前記状態情報のうち、同一の人物について生成された複数の前記状態情報間の差分を検出し、前記差分に応じた動作状態を予め定めた規則に基づいて、検出した差分に対応する動作状態を検出し、この動作状態を表す前記状態情報を生成して前記記憶手段に保存する第２検出手段と、他者の支援を必要とする要支援者に特有の動作状態を定めた判定条件に基づいて、この判定条件に該当する状態情報を前記記憶手段から検索する検索手段と、前記検索手段により前記記憶手段から検索された前記状態情報を提示する提示手段と、を備える。【選択図】図１
2010238179.tif 000002
【特許請求の範囲】
【請求項１】
人物の動作状態を表す情報であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する記憶手段と、
撮像手段によって撮像された画像情報を取得する取得手段と、
前記画像情報を解析して当該画像情報に含まれる人物の動作状態を検出し、この動作状態を表す前記状態情報を生成して前記記憶手段に保存する第１検出手段と、
前記記憶手段に記憶された前記状態情報のうち、同一の人物について生成された複数の前記状態情報間の差分を検出し、前記差分に応じた動作状態を予め定めた規則に基づいて、検出した差分に対応する動作状態を検出し、この動作状態を表す前記状態情報を生成して前記記憶手段に保存する第２検出手段と、
他者の支援を必要とする要支援者に特有の動作状態を定めた判定条件に基づいて、この判定条件に該当する状態情報を前記記憶手段から検索する検索手段と、
前記検索手段により前記記憶手段から検索された前記状態情報を提示する提示手段と、
を備えることを特徴とする監視装置。
【請求項２】
前記状態情報は、前記名詞として前記人物の動作が発生した時刻を含み、
前記第２検出手段は、前記記憶手段から、前記時刻が連続する複数の前記状態情報間の差分を検出し、検出した差分に対応する前記人物の動作状態を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の監視装置。
【請求項３】
前記規則は、比較元の前記状態情報の前記動詞又は前記名詞と、比較先の前記状態情報の前記動詞又は前記名詞とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記人物の動作状態とを含み、
前記第２検出手段は、第１状態情報の前記動詞又は名詞が前記比較元の前記状態情報の前記動詞又は前記名詞と一致し、第２状態情報の前記動詞又は名詞が前記比較先の前記状態情報の前記動詞又は前記名詞と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記人物の動作状態を検出すること、
を特徴とする請求項１又は２に記載の監視装置。
【請求項４】
前記状態情報は、前記動作の主格となる人物を表す主格と、前記主格による前記動作の対象となる物体を表す対象格とを前記名詞として含み、
前記判定条件は、前記動詞と前記対象格が表す物体との組み合わせに応じて定められた条件を含み、
前記検索手段は、前記状態情報に含まれる前記動詞と前記対象格との組み合わせが、前記規則の前記条件に定められた前記動詞及び前記対象格との組み合わせに一致するものを前記記憶手段から検索することを特徴とする請求項１〜３の何れか一項に記載の監視装置。
【請求項５】
前記対象格には、前記主格が表す人物の存在位置周辺に存在する物品を示す物品識別情報が含まれること、
を特徴とする請求項４に記載の監視装置。
【請求項６】
前記状態情報は、前記主格が表す人物の特徴を表す名詞として当該人物の視線方向を含み、
前記対象格には、前記主格が表す人物の視線方向の先に存在する物品を示す物品識別情報が含まれること、
を特徴とする請求項４又は５に記載の監視装置。
【請求項７】
取得手段が、撮像手段によって撮像された前記人物の画像情報を取得する取得ステップと、
第１検出手段が、前記画像情報を解析して当該画像情報に含まれる人物の動作状態を検出し、検出した動作状態であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を生成して記憶手段に保存する第１検出ステップと、
第２検出手段が、前記記憶手段に保存された前記状態情報のうち、同一の人物について生成された複数の前記状態情報間の差分を検出し、前記差分に応じた動作状態を予め定めた規則に基づいて、検出した差分に対応する動作状態を検出し、この動作状態を表す前記状態情報を生成して前記記憶手段に保存する第２検出ステップと、
検索手段が、他者の支援を必要とする要支援者に特有の動作状態を定めた判定条件に基づいて、この判定条件に該当する状態情報を前記記憶手段から検索する検索ステップと、
提示手段が、前記検索ステップで検索された前記状態情報を提示する提示ステップと、
を含むことを特徴とする監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラなどの撮像手段により撮像された画像情報から他者の支援が必要な要支援者を検出する監視装置及び監視方法に関する。
【背景技術】
【０００２】
従来から、監視カメラなどで撮影した画像を分析して、人物などの監視対象物の行動を認識する認識装置が知られている。例えば、特許文献１では、空間内を通行する各通行人の位置をトラッキングして、各通行人の位置座標の時間的変化を求めることで、所定空間を所定時間内に通行した通行人の通行軌跡を導出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４６６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法のように、各通行人の行動を通行軌跡から解析するのみでは、各人がおかれた状況を十分に把握することは困難である。このため、例えば、周辺の地理に不案内な人物や、身障者や高齢者などの他者の支援を必要とする者（要支援者）が通行人の中に含まれていたとしても、通行軌跡のみではこれら要支援者の行動を高精度に検出することができず、結果として要支援者に対し適切な支援を行うことができない可能性がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、他者の支援を必要とする要支援者の検出を高精度に行うことが可能な監視装置及び監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる監視装置は、人物の動作状態を表す情報であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する記憶手段と、撮像手段によって撮像された画像情報を取得する取得手段と、前記画像情報を解析して当該画像情報に含まれる人物の動作状態を検出し、この動作状態を表す前記状態情報を生成して前記記憶手段に保存する第１検出手段と、前記記憶手段に記憶された前記状態情報のうち、同一の人物について生成された複数の前記状態情報間の差分を検出し、前記差分に応じた動作状態を予め定めた規則に基づいて、検出した差分に対応する動作状態を検出し、この動作状態を表す前記状態情報を生成して前記記憶手段に保存する第２検出手段と、他者の支援を必要とする要支援者の動作状態を定めた判定条件に基づいて、この判定条件に該当する状態情報を前記記憶手段から検索する検索手段と、前記検索手段により前記記憶手段から検索された前記状態情報を提示する提示手段と、を備えることを特徴とする。
【０００７】
また、本発明にかかる監視方法は、取得手段が、撮像手段によって撮像された前記人物の画像情報を取得する取得ステップと、第１検出手段が、前記画像情報を解析して当該画像情報に含まれる人物の動作状態を検出し、検出した動作状態であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を生成して記憶手段に保存する第１検出ステップと、第２検出手段が、前記記憶手段に保存された前記状態情報のうち、同一の人物について生成された複数の前記状態情報間の差分を検出し、前記差分に応じた動作状態を予め定めた規則に基づいて、検出した差分に対応する動作状態を検出し、この動作状態を表す前記状態情報を生成して前記記憶手段に保存する第２検出ステップと、検索手段が、他者の支援を必要とする要支援者の動作状態を定めた判定条件に基づいて、この判定条件に該当する状態情報を前記記憶手段から検索する検索ステップと、提示手段が、前記検索ステップで検索された前記状態情報を提示する提示ステップと、を含むことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、人物の動作状態を表す状態情報と、要支援者に特有の動作状態を定めた判定条件とを比較して、この判定条件に該当する状態情報のみを検索して提示することができるため、他者の支援を必要とする要支援者の検出を高精度に行うことができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施の形態にかかる監視システムの構成を示すブロック図である。
【図２】図２は、状態情報ＤＢに記憶される状態情報のデータ構造の一例を示す図である。
【図３】図３は、状態情報ＤＢに記憶される状態情報の具体例を示す図である。
【図４】図４は、規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。
【図５】図５は、図４に示した行動間の遷移関係を表す図である。
【図６】図６は、図４に示した行動間の遷移関係を表す図である。
【図７】図７は、要支援者判定情報ＤＢに記憶された要支援者判定情報のデータ構造の一例を示す図である。
【図８】図８は、要支援者判定情報ＤＢに記憶された要支援者判定情報のデータ構造の一例を示す図である。
【図９】図９は、環境情報ＤＢに記憶された環境情報のデータ構造の一例を示す図である。
【図１０】図１０は、本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。
【図１１】図１１は、本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【図１２】図１２は、本実施の形態における要支援者判定処理の全体の流れを示すフローチャートである。
【図１３】図１３は、図７に示した要支援者判定情報についての検索処理の手順を示したフローチャートである。
【図１４】図１４は、図８に示した要支援者判定情報についての検索処理の手順を示したフローチャートである。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる監視装置及び監視方法の最良な実施の形態を詳細に説明する。
【００１１】
本実施の形態にかかる監視装置は、監視カメラで撮像した画像情報から、監視対象物である人物の行動（動作状態）を解析し、解析結果を深層格フレーム構造で表して記憶部に保存する。そして、記憶部に保存した深層格フレームを相互に比較することによって、さらに人物の行動を検出する。具体的には、各人物の行動が事前に定めた後述する状態情報の組み合わせに一致する場合に、この組み合わせに応じた所定の行動が発生したことを検出する。
【００１２】
以下では、監視カメラからの情報を用いて所定の領域を監視する監視装置の例について説明する。なお、適用可能な装置は本実施の形態に限られず、画像情報を解析して物体の動作を検出する機能を備える装置であればあらゆる装置に適用できる。
【００１３】
本実施の形態について、添付図面を参照して説明する。まず、本実施の形態が適用される監視システムの構成例について説明する。図１は、本実施の形態にかかる監視システム１０の構成を示すブロック図である。図１に示すように、監視システム１０は、監視装置１００と監視センタ２００とを備えている。監視装置１００と監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。
【００１４】
監視センタ２００は、監視領域の異常を検知した監視装置１００からの通報を受け、待機中の要員（例えば、警備員など）に対して要支援者が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防などの関係機関への通報を行う。
【００１５】
監視装置１００は、複数台の監視カメラ１１０と、監視操作部１２０とを備えている。
【００１６】
監視カメラ１１０は、監視対象である監視領域を撮像し、撮像した画像情報を画像取得部１２１に出力する。なお、監視カメラ１１０から出力される画像情報には、各監視カメラ１１０を識別するための識別子が付与されているものとする。また、監視カメラ１１０が設置される場所は特に問わないものとするが、例えば、駅舎やデパートなどの所定の建造物内や、当該建造物周辺の屋外や通路周辺に設置される。
【００１７】
次に、監視操作部１２０について説明する。監視操作部１２０は、画像取得部１２１と、第１検出部１２２と、第２検出部１２３と、ＨＤＤ（Hard Disk Drive）１２４と、要支援者検索部１２５と、制御部１２６と、操作パネル１２７と、送受信部１２８と、を備えている。
【００１８】
画像取得部１２１は、監視カメラ１１０と接続可能なインタフェースなどを有し、監視カメラ１１０から入力される画像情報を取得する。
【００１９】
第１検出部１２２は、画像取得部１２１によって取得された画像情報を解析することにより、当該画像情報に含まれた人物の動作状態を検出する。また、第１検出部１２２は、検出した動作状態を後述する深層格フレーム構造で表した状態情報を生成し、状態情報ＤＢ１２４１に保存する。
【００２０】
具体的に、第１検出部１２２は、画像情報から人物領域を検出することにより、この人物領域に対応する人物が「存在する」という動作状態を検出する。また、第１検出部１２２は、検出した人物の視線方向を検出することにより、当該人物の「見る」という動作状態を検出する。
【００２１】
なお、第１検出部１２２が人物を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンと照合することにより人物を抽出する方法などの、公知・公用の方法を適用することができる。また、第１検出部１２２が人物の視線方向を検出する方法としては、顔領域パターンと照合することで顔領域の検出とともに視線方向を検出する方法などの、公知・公用の方法を適用することができる。
【００２２】
第２検出部１２３は、後述する状態情報ＤＢ１２４１に記憶された状態情報のうち、同一の人物について生成された複数の状態情報間の差分を検出し、この差分に応じた動作状態を予め定めた後述する規則に基づいて、検出した差分に対応する動作状態を検出する。また、第２検出部１２３は、検出した動作状態を表す状態情報を生成して状態情報ＤＢ１２４１に保存する。具体的に、第２検出部１２３は、状態情報ＤＢ１２４１に保存された状態情報のうち、同一の主格毎に時刻が連続する２つの状態情報を取得する
【００２３】
ＨＤＤ１２４は、物体の動作検出に関する各種データを記憶する。具体的に、ＨＤＤ１２４は、状態情報ＤＢ（データベース）１２４１と、規則ＤＢ１２４２と、要支援者判定情報ＤＢ１２４３と、環境情報ＤＢ１２４４と、を格納している。なお、各ＤＢを、光ディスク、メモリカードなどのＨＤＤ１２４以外の記憶媒体に格納するよう構成してもよいし、監視操作部１２０外部の記憶媒体（例えば、データベースサーバなど）に格納するよう構成してもよい。
【００２４】
状態情報ＤＢ１２４１は、人物の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。
【００２５】
図２は、状態情報ＤＢ１２４１に記憶される状態情報のデータ構造の一例を示す図である。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤと、人物の動作（行動）の種類を表す体行動名と、人物の顔部の動作の種類を表す顔行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格及び道具格が含まれる。
【００２６】
主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、顔部の特徴を表す顔特徴、歩幅や歩速などを表す歩容特徴、水平成分についての視線方向を表す視線方向（横）、上下成分についての視線方向を表す視線方向（縦）、マスクの有無、サングラスの有無、性別、年代及び身長などの要素を含む。
【００２７】
場所格は、動作や状態が起こる場所（位置）を表す。時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻及び動作が発生した年月日などを表す。
【００２８】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作などを行う起点の位置を表す場所情報及び起点での主格の属性を表す属性情報を含む。
【００２９】
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作などを行う終点の位置を表す場所情報及び終点での主格の属性を表す属性情報を含む。
【００３０】
対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ及び固有の情報である属性情報を含む。
【００３１】
道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ及び固有の情報である属性情報を含む。
【００３２】
なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。
【００３３】
図３は、状態情報ＤＢ１２４１に記憶される状態情報の具体例を示す図である。この図３では、特定の場所（位置：−０．７２，−２．９３，１．００）に存在する（体行動名）人物Ａ（主格）について、視線方向（横：３°、縦：−５°）で“見る”（顔行動名）という顔行動が検出されたときに第１検出部１２２により生成される状態情報の一例を示している。この場合、属性格には、人物Ａについての顔特徴を示す顔情報、歩容の特徴を示す歩容情報、視線方向、身長高などの具体的な値が設定される。また、場所格及び時間格には、体行動名や顔行動名が検出された際の、人物Ａの位置や時刻に関する具体的な値が設定される。
【００３４】
図１に戻り、規則ＤＢ１２４２は、第２検出部１２３が、状態情報ＤＢ１２４１に保存された時系列的に連続する格フレームを比較して、人物の動作状態を検出するときに参照する行動検出規則を記憶する。図４は、規則ＤＢ１２４２に記憶される行動検出規則のデータ構造の一例を示す図である。
【００３５】
図４に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される動作の状態情報とを対応付けた形式となっている。
【００３６】
前格フレーム及び後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。
【００３７】
前格フレーム及び後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名及び格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。
【００３８】
例えば、図４の第１行目の行動検出規則では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる体位置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる体位置が「Ｂ」であるとき、第２検出部１２３により、格フレーム１と格フレーム２との間に差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、第２検出部１２３により、「検出される状態情報」欄に記載された行動名の行動「移動する」が検出される。
【００３９】
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、図４の第９行目の行動検出規則では、行動名「振り向く」の行動を検出する条件として、体位置が同一で且つ前格フレームに含まれる視線方向［Ｘ］と、後格フレームに含まれる視線方向［Ｙ］との差が、所定の閾値ＴＨ４以上となることが設定されている。
【００４０】
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。例えば、図４の第１行目の行動検出規則において、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる体位置Ａ及び後格フレームに含まれる体位置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の体位置Ａ及び目標格の体位置Ｂとして保存する例が示されている。また、この際の移動速度を属性格の歩容情報の歩速Ｖとして保存する例が示されている。
【００４１】
図４において、検出される状態情報の格情報の「対象格−体位置［ｎ］の物体ＩＤ（ｎはＡ、Ｂ又はＣ）」とは、後述する環境情報に基づいて導出される情報であって、該当する体位置周辺に物体が存在する場合に、その物体の物体ＩＤが対象ＩＤとして格納されることを意味している。また、「対象格−視線方向［Ｘ］の物体ＩＤ」とは、後述する環境情報に基づいて導出される情報であって、体位置［Ａ］から視線方向［Ｘ］の先に物体が存在する場合に、その物体の物体ＩＤが対象ＩＤとして格納されることを意味している。
【００４２】
なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。
【００４３】
図５は、図４に示した行動間の遷移関係を表す図であって、行動名「存在する」を起点とした行動間の遷移関係を示している。また、図６は、図４に示した行動間の遷移関係を表す図であって、行動名「見る」を起点とした行動間の遷移関係を示している。
【００４４】
図５及び図６に示す楕円（ノード）は、検出される行動名の一例を表している。また、ノード間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。例えば、「位置座標（体位置）の変異」という基準は、図４では行動名「移動する」を検出する第１行目の行動検出規則に対応する。すなわち、ノードＮ１１の行動名「存在する」に対応する複数の状態情報を比較することにより、「位置座標の変異」、つまり「場所格−体位置」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。なお、図５及び図６において、ノードＮ１１の行動名「存在する」及びノードＮ２１の行動名「見る」が、第１検出部１２２により検出される状態（動作）である。
【００４５】
第２検出部１２３は、第１検出部１２２により生成され、状態情報ＤＢ１２４１に保存された状態情報のうち、同一の主格毎に時刻が連続する２つの状態情報を読み出し、図４に示した行動検出規則に基づいて、これらの状態情報から新たな動作状態を検出する。具体的に、第２検出部１２３は、図５に示した行動名「存在する」の系列において、ノードＮ１２の「滞在する」やノードＮ１３の「移動する」を検出し、図６に示した行動名「見る」の系列において、ノードＮ２２の「振り向く」やノードＮ２３の「凝視する」を検出する。そして、第２検出部１２３は、検出した動作状態を表す状態情報を図２に示した格フレームの形式で生成し、状態情報ＤＢ１２４１に保存する。
【００４６】
また、第２検出部１２３は、自己が生成し、状態情報ＤＢ１２４１に保存した状態情報のうち、同一の主格毎に時刻が連続する２つの状態情報を再帰的に読み出し、図４に示した行動検出規則に基づいて、これらの状態情報から新たな動作状態を検出する。具体的に、第２検出部１２３は、図５に示した行動名「存在する」の系列において、ノードＮ１３１〜１３３の「通常移動」、「低速移動」及び「不定速移動」や、ノードＮ１４の「往復する」、ノードＮ１５の「うろつく」及びノードＮ１６の「立ち止まる」を検出し、図６に示した行動名「見る」の系列において、ノードＮ２４の「きょろきょろする」を検出する。そして、第２検出部１２３は、検出した動作状態を表す状態情報を図２に示した格フレームの形式で生成し、状態情報ＤＢ１２４１に保存する。
【００４７】
図１に戻り、要支援者判定情報ＤＢ１２４３は、他者の支援を必要とする者（以下、要支援者という）に特有の動作状態を表す行動パターンとして予め定められた要支援者判定情報を記憶する。ここで、図７は、要支援者判定情報ＤＢ１２４３に記憶された要支援者判定情報のデータ構造の一例を示す図であって、道案内を必要とする者（以下、要案内者という）を判定するための条件を示している。
【００４８】
図７に示すように、要支援者判定情報は、要案内者の動作の種類を表す行動名と、要案内者の動作に関連する深層格（格情報）と、当該深層格が満たすべき条件とを含んでいる。例えば、行動名が「うろつく」である場合であって、かつ場所格の体位置が「地図板」又は「表示板」、すなわち、地図板前や表示板前でうろうろしている場合を要案内者の行動として記憶している。また、行動名が「凝視する」である場合であって、かつ場所格の体位置が「地図板」又は「表示板」、すなわち、地図板や表示板を凝視している場合を要案内者の行動として記憶している。さらに、行動名が「きょろきょろ」である場合であって、かつ場所格の体位置が「地図板」又は「表示板」、すなわち、地図板前や表示板前できょろきょろしている場合を要案内者の行動として記憶している。
【００４９】
また、図８は、要支援者判定情報ＤＢ１２４３に記憶された要支援者判定情報のデータ構造の一例を示す図であって、身障者や高齢者などの介護者を必要とする者（以下、要介護者という）を判定するための条件を示している。
【００５０】
図８に示すように、この要支援者判定情報は、図７と同様に、要介護者の動作の種類を表す行動名と、要案内者の動作に関連する深層格（格情報）と、当該深層格が満たすべき条件とを含んでいる。例えば、行動名が「滞在する」である場合を要介護者の行動として記憶している。また、行動名が「低速移動」である場合である場合を要介護者の行動として記憶している。また、行動名が「不定速移動」である場合を要介護者の行動として記憶している。さらに、行動名が「移動する」である場合であって且つ場所格の体位置が「手すりが存在する場所」、すなわち、手すりが設けられた位置を移動している場合を要介護者の行動として記憶している。
【００５１】
なお、要支援者判定情報ＤＢ１２４３に記憶される行動名や、深層格の種類などは、予めユーザによって記憶されものとするが、上記図７、図８の例に限らないものとする。
【００５２】
図１に戻り、環境情報ＤＢ１２４４は、監視カメラ１１０が撮影するエリアに関する環境情報を記憶する。図９は、環境情報ＤＢ１２４４に記憶された環境情報のデータ構造の一例を示す図である。
【００５３】
図９に示すように、環境情報は、各監視カメラ１１０を識別する識別子と、各監視カメラ１１０の撮像範囲を示すエリア情報と、撮像範囲内に固定的に配置されている主要な物体の物体ＩＤ及びその存在座標と、が関連付けて登録されている。ここで、エリア情報とは、撮像範囲を所定の座標系で表したものである。例えば、識別子１の監視カメラ１１０の撮像範囲（エリア情報Ａ１）には、（Ｘ１、Ｙ１）の位置に当該撮像範囲周辺の地図を掲示する地図板が存在することを示している。また、識別子２の監視カメラ１１０の撮像範囲（エリア情報Ａ２）には、（Ｘ２、Ｙ２）の位置に当該撮像範囲周辺に存在する店舗の表示板が存在することを示している。また、識別子３の監視カメラ１１０の撮像範囲（エリア情報Ａ３）には、（Ｘ３、Ｙ３）の位置に存在する通路に手すりが設けられていること示している。
【００５４】
図１に戻り、要支援者検索部１２５は、要支援者判定情報ＤＢ１２４３に記憶されている要支援者判定情報に適合する状態情報を状態情報ＤＢ１２４１から検索することにより、要支援者の有無を判定する。具体的には、要支援者検索部１２５は、状態情報ＤＢ１２４１に記憶されている状態情報のうち、状態情報の行動名が要支援者判定情報の行動名と一致し、且つ状態情報の格要素のうち要支援者判定情報の格情報に記載された格要素が要支援者判定情報の条件を満たす状態情報を検索する。そして、要支援者検索部１２５は、条件を満たす状態情報の主格である人物が要支援者であると判定する。
【００５５】
制御部１２６は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などにより構成され、ＨＤＤ１２４に予め記憶された所定のプログラムを実行することで、監視操作部１２０の各部を統括的に制御する。また、制御部１２６は、ＨＤＤ１２４に予め記憶された所定のプログラムを実行することで、上述した第１検出部１２２、第２検出部１２３及び要支援者検索部１２５を機能部として実現させる。
【００５６】
操作パネル１２７は、ＬＣＤ（Liquid  Crystal  Display）などの表示パネルから構成される。操作パネル１２７には、監視カメラ１１０から入力される画像情報や監視装置１００に関する各種の情報が表示され、液晶パネル上に表示された操作ボタンの押下により、監視操作部１２０に対して情報が入力される。
【００５７】
送受信部１２８は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１２８は、監視カメラ１１０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１２８は、要支援者検索部１２５により判定結果を監視センタ２００に送信する。
【００５８】
次に、上記のように構成された本実施の形態にかかる監視装置１００による、画像情報からの動作検出処理について、図１０を用いて説明する。画像からの動作検出処理とは、監視カメラ１１０で撮影された画像情報から人物などの動作状態を検出する処理をいう。図１０は、本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。
【００５９】
まず、画像取得部１２１は、監視カメラ１１０が撮影した画像情報を入力する（ステップＳ１１）。次に、第１検出部１２２が、画像情報から人物領域を検出する（ステップＳ１２）。次に、第１検出部１２２は、人物領域が検出されたか否かを判断する（ステップＳ１３）。人物領域が検出されなかった場合は（ステップＳ１３；Ｎｏ）、次の画像情報を入力して処理を繰り返す（ステップＳ１１）。
【００６０】
人物領域が検出された場合（ステップＳ１３；Ｙｅｓ）、第１検出部１２２は、体行動名＝「存在する」の格フレームを生成し（ステップＳ１４）、時間格の「年月日」及び「時刻」に現在の年月日及び時刻をそれぞれ格納する（ステップＳ１５）。なお、生成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。また、現在の年月日及び時刻は、図示しないＲＴＣ（Real  Time  Clock）などの計時手段から取得を行うものとする。
【００６１】
続いて、第１検出部１２２は、画像情報に付加された当該画像情報を撮影した監視カメラ１１０の識別子に基づいて、当該識別子に対応するエリア情報を環境情報ＤＢ１２４４の環境情報から特定すると、このエリア情報内における人物の存在座標を算出する（ステップＳ１６）。そして、第１検出部１２２は、ステップＳ１６で算出した存在座標を場所格に格納する（ステップＳ１７）。
【００６２】
また、第１検出部１２２は、ステップＳ１４〜Ｓ１７と並行して、人物同定処理（ステップＳ１８、ステップＳ１９）、顔検出処理（ステップＳ２０〜ステップＳ２２）、体型判定処理（ステップＳ２３、ステップＳ２４）及び歩容検出処理（ステップＳ２５、ステップＳ２６）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。
【００６３】
人物同定処理では、第１検出部１２２は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（ステップＳ１８）。そして、第１検出部１２２は、同定した人物に既に割り当てたエージェントＩＤ（図２のＡｇｔＩＤ）を、生成した格フレームの主格に格納する（ステップＳ１９）。
【００６４】
顔検出処理では、第１検出部１２２は、顔領域パターンと照合する方法などによって顔領域を検出する（ステップＳ２０）。また、第１検出部１２２は、照合結果に応じて、顔情報や視線方向、マスクの有無及びサングラスの有無などの情報を属性格に格納する（ステップＳ２１）。また、視線方向が検出された場合、第１検出部１２２は、顔行動名に「見る」を格納する（ステップＳ２２）。
【００６５】
体型判定処理では、第１検出部１２２は、照合した人物パターンに予め付与された身長や性別、年代を求める方法などにより、検出した人物の身長、性別及び年代を判定する（ステップＳ２３）。そして、第１検出部１２２は、判定した身長、性別及び年代を、生成した格フレームの属性格に格納する（ステップＳ２４）。
【００６６】
歩容検出処理では、第１検出部１２２は、主に検出した人物領域の脚部を解析することにより、歩幅、脚長、姿勢などの歩容情報を検出する（ステップＳ２５）。なお、画像情報が静止画像である場合、この静止画像から検出可能な項目のみを検出するものとする。例えば、画像情報が静止画像である場合には、歩速を検出することは困難であるため、この項目を空欄とする。そして、第１検出部１２２は、検出した歩容情報を、作成した格フレームの属性格に格納する（ステップＳ２６）。
【００６７】
続いて、第１検出部１２２は、これまでに作成した格フレームを状態情報として状態情報ＤＢに保存し（ステップＳ２７）、画像情報からの動作検出処理を終了する。
【００６８】
次に、本実施の形態にかかる監視装置１００による状態情報からの動作検出処理について図１１を用いて説明する。状態情報からの動作検出処理とは、状態情報ＤＢ１２４１に保存されている状態情報から人物などの動作（行動）を検出する処理をいう。図１１は、本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【００６９】
まず、第２検出部１２３は、状態情報ＤＢ１２４１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を読み出す（ステップＳ３１）。次に、第２検出部１２３は、取得した第１格フレームと同一の主格で且つ時間的に連続する格フレーム（以下、第２格フレームという）を状態情報ＤＢ１２４１から取得する（ステップＳ３２）。
【００７０】
次に、第２検出部１２３は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１２４２から検索する（ステップＳ３３）。具体的には、第２検出部１２３は、第１格フレーム及び第２格フレームの行動名が、それぞれ行動検出規則の前格フレーム及び後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。
【００７１】
例えば、第１格フレーム及び第２格フレームの行動名が共に「存在する」であり、第１格フレームの体位置（体位置Ａとする）と、第２格フレームの体位置（体位置Ｂとする）とが異なる場合、図４に示すような規則ＤＢ１２４２の第１行目の行動検出規則が検出される。
【００７２】
次に、第２検出部１２３は、行動検出規則が検出されたか否かを判断し、検出された場合には（ステップＳ３４；Ｙｅｓ）、検出した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを生成する（ステップＳ３５）。例えば、図４の第１行目の行動検出規則が検出された場合、行動名「移動する」の格フレームが生成される。
【００７３】
なお、行動名が「移動する」の場合（通常移動、低速移動、不定速移動の場合を含む）には、第１格フレームの場所格（体位置）が源泉格の場所情報に、第２格フレームの場所格（体位置）が目標格の場所情報に格納される。また、第１格フレーム及び第２格フレームにおける体位置の差と時刻の差とに基づいて、歩速が算出され歩容情報の歩速に格納される。
【００７４】
行動検出規則が検出されなかった場合（ステップＳ３４；Ｎｏ）、または、格フレームを生成後、第２検出部１２３は、未処理の格フレームが存在するか否かを判断する（ステップＳ３６）。
【００７５】
未処理の格フレームが存在する場合（ステップＳ３６；Ｙｅｓ）、第２検出部１２３は、次の格フレームを取得して処理を繰り返す（ステップＳ３１）。未処理の格フレームが存在しない場合は（ステップＳ３６；Ｎｏ）、状態情報からの動作検出処理を終了する。
【００７６】
なお、上述したように、第２検出部１２３は、自己が生成し、状態情報ＤＢ１２４１に保存した状態情報についても、本動作検出処理を実行し、図４に示した行動検出規則に基づいて、これらの状態情報から新たな動作状態を検出する。
【００７７】
また、図４に示した「検出される状態情報」の格情報において、対象格に体位置の物体ＩＤを格納する行動名（移動する、移動する（通常移動）、移動する（低速移動）、移動する（不定速移動）、うろつく）については、場所格又は目標格の体位置に基づいて、対応する環境情報の物体ＩＤを特定するものとする。
【００７８】
具体的に、第２検出部１２３は、場所格又は目標格の体位置（存在座標）が含まれる環境情報を環境情報ＤＢ１２４４から参照し、体位置周辺に物品が存在する場合には、この物品の物品ＩＤを対象格の対象ＩＤに格納するとともに、その属性情報に「体行動」を格納する。なお、体位置の周辺と判定する範囲は、任意に設定することが可能であるとする。
【００７９】
また、図４に示した「検出される状態情報」の格情報において、対象格に視線方向の物体ＩＤを格納する行動名（きょろきょろする、凝視する）については、場所格の体位置及び視線方向に基づいて、対応する環境情報の物体ＩＤを特定するものとする。
【００８０】
具体的に、第２検出部１２３は、場所格の体位置（存在座標）が含まれる環境情報を環境情報ＤＢ１２４４から参照し、この存在座標の位置から視線方向の先に物体が存在する場合には、この物体の物体ＩＤを対象格の対象ＩＤに格納するとともに、その属性情報に「顔行動」を格納する。なお、存在座標の位置から所定の範囲内に存在する物体のみを、存在判定の対象としてもよい。
【００８１】
このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。
【００８２】
次に、このように構成された本実施の形態にかかる監視装置１００による要支援者判定処理について図１２を用いて説明する。図１２は、本実施の形態における要支援者判定処理の全体の流れを示すフローチャートである。なお、図１２に示す各処理では、図７及び図８に示した要支援者判定情報が、ユーザや監視センタ２００によって予め要支援者判定情報ＤＢ１２４３に記憶され、さらに操作パネル１２７などからユーザによって要支援者判定を行うための指示がなされたものとする。
【００８３】
まず、要支援者検索部１２５は、要支援者判定情報ＤＢ１２４３を参照して、記憶されている要支援者判定情報を読み込む（ステップＳ４１）。そして、読み込んだ要支援者判定情報をキーにして、その要支援者判定情報を含む格フレームを状態情報ＤＢ１２４１の中から検索する検索処理を実行する（ステップＳ４２）。
【００８４】
以下、図１３、図１４を参照して、ステップＳ４２の検索処理について説明する。ここで、図１３は、図７に示した要支援者判定情報についての検索処理の手順を示したフローチャートである。
【００８５】
要支援者検索部１２５は、状態情報ＤＢ１２４１の中に、「地図板」又は「表示板」を対象格に含む深層格フレームが存在するか否かを判定する(ステップＳ５１)。ここで、地図板又は表示板を対象格に含む深層格フレームが一つも存在しないと判定した場合(ステップＳ５１；Ｎｏ)、図１２のステップＳ４３に直ちに移行する。
【００８６】
一方、「地図板」又は「表示板」を対象格に含む格フレームが存在すると判定した場合(ステップＳ５１；Ｙｅｓ)、要支援者検索部１２５は、該当する格フレーム各々について、体行動名に「うろつく」が記されているか否かを判定する（ステップＳ５２）。ここで、要支援者検索部１２５は、体行動名に「うろつく」が記されていると判定した格フレームについて(ステップＳ５２；Ｙｅｓ)、その格フレームを操作パネル１２７に表示することで、要案内者が存在することを提示し(ステップＳ５５)、図１２のステップＳ４３に直ちに移行する。
【００８７】
また、要支援者検索部１２５は、顔行動名に「凝視」が記されていると判定した格フレームについて(ステップＳ５２；Ｎｏ→ステップＳ５３；Ｙｅｓ)、その格フレームを操作パネル１２７に表示することで、要案内者が存在することを提示し(ステップＳ５５)、図１２のステップＳ４３に移行する。
【００８８】
さらに、要支援者検索部１２５は、体行動名に「きょろきょろ」が記されていると判定した格フレームについて(ステップＳ５２；Ｎｏ→ステップＳ５３；Ｎｏ→ステップＳ５４；Ｙｅｓ)、その格フレームを操作パネル１２７に表示することで、要案内者が存在することを提示し(ステップＳ５５)、図１２のステップＳ４３に移行する。
【００８９】
これにより、図７に示した要支援者判定情報の条件に該当する格フレームが、操作パネル１２７に表示されることになる。なお、何れの条件にも該当しないと判定された格フレームについては（ステップＳ５２；Ｎｏ→ステップＳ５３；Ｎｏ→ステップＳ５４；Ｎｏ）、何もせずに図１２のステップＳ４３に移行する。
【００９０】
また、図８に示した要支援者判定情報についての検索処理は、図１４に示したようになる。ここで、図１４は、図８に示した要支援者判定情報についての検索処理の手順を示したフローチャートである。
【００９１】
要支援者検索部１２５は、状態情報ＤＢ１２４１が記憶する状態情報の中に、体行動名に「滞在する」が記された格フレームが存在するか否かを判定する(ステップＳ６１)。ここで、体行動名に「滞在する」が記されていると判定した格フレームについては(ステップＳ６１；Ｙｅｓ)、その格フレームを操作パネル１２７に表示することで、要介護者が存在することを提示し(ステップＳ６５)、図１２のステップＳ４３に移行する。
【００９２】
また、要支援者検索部１２５は、状態情報ＤＢ１２４１が記憶する状態情報の中に、体行動名に「低速移動」が記された格フレームが存在するか否かを判定する(ステップＳ６１；Ｎｏ→ステップＳ６２)。ここで、体行動名に「低速移動」が記されていると判定した格フレームについては(ステップＳ６２；Ｙｅｓ)、その格フレームを操作パネル１２７に表示することで、要介護者が存在することを提示し(ステップＳ６５)、図１２のステップＳ４３に移行する。
【００９３】
また、要支援者検索部１２５は、状態情報ＤＢ１２４１が記憶する状態情報の中に、体行動名に「不定速度移動」が記された格フレームが存在するか否かを判定する(ステップＳ６１；Ｎｏ→ステップＳ６２；Ｎｏ→ステップＳ６３)。ここで、体行動名に「不定速度移動」が記されていると判定した格フレームについては(ステップＳ６３；Ｙｅｓ)、その格フレームを操作パネル１２７に表示することで、要介護者が存在することを提示し(ステップＳ６５)、図１２のステップＳ４３に移行する。
【００９４】
さらに、要支援者検索部１２５は、状態情報ＤＢ１２４１が記憶する状態情報の中に、体行動名が「移動する」で且つ対象格の物品ＩＤが「手すりが存在する通路」に該当する格フレームが存在するか否かを判定する(ステップＳ６１；Ｎｏ→ステップＳ６２；Ｎｏ→ステップＳ６３；Ｎｏ→ステップＳ６４)。ここで、体行動名が「移動する」で且つ体位置が「手すりが存在する場所」に該当すると判定した格フレームについては(ステップＳ６４；Ｙｅｓ)、その格フレームを操作パネル１２７に表示することで、要介護者が存在することを提示し(ステップＳ６５)、図１２のステップＳ４３に移行する。
【００９５】
これにより、図８に示した要支援者判定情報の条件に該当する格フレーム、即ち、要案内者や要介護者の存在が操作パネル１２７に表示されることになる。なお、何れの条件にも該当しないと判定された格フレームについては（ステップＳ６１；Ｎｏ→ステップＳ６２；Ｎｏ→ステップＳ６３；Ｎｏ→ステップＳ６４；Ｎｏ）、何もせずに図１２のステップＳ４３に移行する。
【００９６】
図１２に戻り、要支援者検索部１２５は、要支援者判定情報ＤＢ１２４３に記憶されているすべての要支援者判定情報の規則を参照したか否かを判定し（ステップＳ４３）、すべての要支援者判定情報の規則を参照していないと判定した場合（ステップＳ４３；Ｎｏ）、ステップＳ４１に戻り、以降の処理を繰り返す。一方、すべての要支援者判定情報の規則を参照したと判定した場合（ステップＳ４３；Ｙｅｓ）、要支援者判定処理が終了する。
【００９７】
以上のように、本実施の形態にかかる監視装置では、人物の動作状態を表す状態情報と、要支援者に特有の動作状態を定めた判定条件とを比較して、この判定条件に該当する状態情報のみを検索して提示することができるため、要支援者の検出を高精度に行うことができる。
【００９８】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【００９９】
例えば、上記実施形態では、監視カメラ１１０が撮影する撮影範囲に存在する固定的な物体を、環境情報ＤＢ１２４４に記憶された環境情報に基づいて特定する形態としたが、これに限らず、人物領域の抽出と同様に、各物品の形状パターンを用いたパターン認識を行うことで、撮影範囲内に存在する物品を特定する形態としてもよい。
【０１００】
また、上記実施形態では、要支援者判定処理の判定結果を、操作パネル１２７に表示することで提示を行う形態としたが、これに限らず、送受信部１２８を介して監視センタ２００に送信する形態としてもよい。
【産業上の利用可能性】
【０１０１】
以上のように、本発明にかかる監視装置及び監視方法は、カメラなどの撮像手段による撮像された画像情報から人物の動作を検出するのに有用であり、特に、他者の支援を必要とする要支援者の動作を検出する場合に有用である。
【符号の説明】
【０１０２】
１０  監視システム
１００  監視装置
１１０  監視カメラ
１２０  監視操作部
１２１  画像取得部
１２２  第１検出部
１２３  第２検出部
１２４  ＨＤＤ
１２４１  状態情報ＤＢ
１２４２  規則ＤＢ
１２４３  要支援者判定情報ＤＢ
１２４４  環境情報ＤＢ
１２５  要支援者検索部
１２６  制御部
１２７  操作パネル
１２８  送受信部
２００  監視センタ
３００  ネットワーク
【図１】
2010238179.tif 000003
【図２】
2010238179.tif 000004
【図３】
2010238179.tif 000005
【図４】
2010238179.tif 000006
【図５】
2010238179.tif 000007
【図６】
2010238179.tif 000008
【図７】
2010238179.tif 000009
【図８】
2010238179.tif 000010
【図９】
2010238179.tif 000011
【図１０】
2010238179.tif 000012
【図１１】
2010238179.tif 000013
【図１２】
2010238179.tif 000014
【図１３】
2010238179.tif 000015
【図１４】
2010238179.tif 000016