(57)【要約】【課題】人物の行動パターンの構造を簡易にしながらも正確な行動推定を行うこと。【解決手段】警備装置１００において、物体の動作状態を表す情報であって、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素とを含み、動詞と格要素との間の意味関係を示す格フレームによって表された状態ＤＢ１５１と、対象となる物体である対象物と、対象物に対して検出可能な検出行動と、対象物に対して取り得る行動である導出行動とを対応付けた対象物登録ＤＢ１５３と、格フレームに登録された動詞と行動の位置に関する行動位置情報とが、対象物登録情報における対象物と検出行動とに一致するか否かを判断し、一致する場合には、対象物と導出行動に基づいて状態情報を更新することにより行動推定を行う行動推定部１４１とを備えた。【選択図】        図１
2010170212.tif 000002
【特許請求の範囲】
【請求項１】
物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞と前記名詞との間の意味関係を示す状態情報を記憶する状態記憶手段と、
対象となる前記物体である対象物と、前記対象物に対して検出可能な検出行動と、前記対象物に対して取り得る行動である導出行動とを対応付けた対象物登録情報を記憶する対象物登録情報記憶手段と、
前記対象物登録情報に基づいて、前記状態情報を更新することにより行動推定を行う行動推定手段と、
を備えたことを特徴とする行動推定装置。
【請求項２】
前記行動推定手段は、前記状態情報に登録された動詞と前記行動の位置に関する行動位置情報とが、前記対象物登録情報における前記対象物と前記検出行動とに一致するか否かを判断し、一致する場合には、前記対象物と前記導出行動に基づいて前記状態情報を更新することにより行動推定を行うことを特徴とする請求項１に記載の行動推定装置。
【請求項３】
前記行動推定手段は、前記状態情報の前記動詞を前記導出行動に置換することにより、前記状態情報を更新することを特徴とする請求項２に記載の行動推定装置。
【請求項４】
前記行動推定手段は、前記動詞として前記導出行動を設定した状態情報を新たに生成することにより前記状態情報を更新することを特徴とする請求項１〜３のいずれか一つに記載の行動推定装置。
【請求項５】
前記状態情報は、前記動作の主体となる物体を表す主体情報による前記動作の対象となる他の物体を表す対象情報を前記名詞として含み、
前記行動推定手段は、さらに、前記行動位置情報を前記対象情報に設定することにより前記状態情報を更新することを特徴とする請求項１〜４のいずれか一つに記載の行動推定装置。
【請求項６】
前記状態情報は、前記動作が生じた位置を表す場所情報を前記名詞として含み、
前記行動位置情報は、前記場所情報であり、
前記行動推定手段は、前記場所情報を前記対象情報に設定することにより前記状態情報を更新することを特徴とする請求項５に記載の行動推定装置。
【請求項７】
前記状態情報は、前記動作の起点を示す源泉情報と、前記動作の終点を示す目標情報とを前記名詞として含み、
前記行動位置情報は、前記目標情報であり、
前記行動推定手段は、前記目標情報を前記対象情報に設定することにより前記状態情報を更新することを特徴とする請求項５または６に記載の行動推定装置。
【請求項８】
行動推定装置で実行される行動推定方法であって、
前記行動推定装置は、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞と前記名詞との間の意味関係を示す状態情報を記憶する状態記憶手段と、対象となる前記物体である対象物と、前記対象物に対して検出可能な検出行動と、前記対象物に対して取り得る行動である導出行動とを対応付けた対象物登録情報を記憶する対象物登録情報記憶手段と、を備え、
前記対象物登録情報に基づいて、前記状態情報を更新することにより行動推定を行う行動推定ステップ、
を含むことを特徴とする行動推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の行動を推定する行動推定装置および方法に関する。
【背景技術】
【０００２】
人物の行動を推定する従来の行動推定装置としては、宅内の状態をカメラで撮像したり、赤外線センサやマイクで宅内の人物の体動を検出して、これらの撮像結果や検出結果の時系列信号により、宅内での人物の行動が通常状態であるか、非通常状態であるかの行動推定を行う技術がある（例えば、特許文献１参照）。このような行動推定の手法では、より正確な行動推定を行うことが必要となってくる。
【０００３】
【特許文献１】特開２００５−３０９９６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような行動推定の手法では、人物の行動パターンには種々のものが考えられるため、通常状態か非通常状態かを判定するための時系列信号のパターンを多種多様な人物の行動パターンに応じて多数保持しておく必要があり、行動推定装置で保持する行動パターンの構造が複雑化するという問題がある。
【０００５】
一方、行動の対象となる対象物に主眼をおいて考えてみた場合、対象物に対する人物の行動はある程度限られており、人物がとるすべての行動が各対象物においてとられるわけではない。
【０００６】
本発明は、上記に鑑みてなされたものであって、人物の行動パターンの構造を簡易にしながらも正確な行動推定を行うことができる行動推定装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかる行動推定装置は、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞と前記名詞との間の意味関係を示す状態情報を記憶する状態記憶手段と、対象となる前記物体である対象物と、前記対象物に対して検出可能な検出行動と、前記対象物に対して取り得る行動である導出行動とを対応付けた対象物登録情報を記憶する対象物登録情報記憶手段と、前記対象物登録情報に基づいて、前記状態情報を更新することにより行動推定を行う行動推定手段と、を備えたことを特徴とする。
【０００８】
また、本発明にかかる行動推定方法は、行動推定装置で実行される行動推定方法であって、前記行動推定装置は、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞とを含み、前記動詞と前記名詞との間の意味関係を示す状態情報を記憶する状態記憶手段と、対象となる前記物体である対象物と、前記対象物に対して検出可能な検出行動と、前記対象物に対して取り得る行動である導出行動とを対応付けた対象物登録情報を記憶する対象物登録情報記憶手段と、を備え、前記対象物登録情報に基づいて、前記状態情報を更新することにより行動推定を行う行動推定ステップ、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、人物の行動パターンの構造を簡易にしながらも正確な行動推定を行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下に添付図面を参照して、この発明にかかる行動推定装置および方法の最良な実施の形態を詳細に説明する。
【００１１】
本実施の形態にかかる行動推定装置は、監視カメラで撮像した画像情報から、監視対象物である人物の行動（動作状態）を解析し、解析結果を深層格フレーム構造で表して記憶部に保存する。そして、記憶部に保存した深層格フレームを相互に比較することによって、さらに人物の行動を検出して、検出した行動を深層格フレームとして記憶部に登録する。一方、アフォーダンス理論により求めた対象物に対して人物が取りうる行動を予め定めておき、本実施の形態にかかる行動推定装置は、人物の行動を示す深層格フレームを、本来の行動を加味して更新する。
【００１２】
なお、以下では、監視カメラや各種センサからの情報を用いて所定領域を警備する警備装置として行動推定装置を実現した例について説明する。適用可能な装置は警備装置に限られず、画像情報を解析して物体の動作を検出する機能を備える装置であればあらゆる装置に適用できる。
【００１３】
本実施の形態について、添付図面を参照して説明する。まず、本実施の形態が適用される監視システムの構成例について説明する。図１は、本実施の形態にかかる監視システム１０の構成を示すブロック図である。図１に示すように、監視システム１０は、警備装置１００と監視センタ２００とを備えている。警備装置１００と監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。
【００１４】
監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。
【００１５】
警備装置１００は、センサ１１０と、監視カメラ１２０と、警備操作部１３０とを備えている。
【００１６】
センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。
【００１７】
監視カメラ１２０は、警備対象である監視領域を撮像する。監視カメラ１２０は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置されている。
【００１８】
次に、警備操作部１３０について説明する。警備操作部１３０は、検知情報受信部１３１と、画像情報取得部１３２と、警備状態切替部１３３と、操作パネル制御部１３４と、操作パネル１３５と、送受信部１３６と、警備状態記憶部１３７と、第１検出部１３８と、状態取得部１３９と、第２検出部１４０と、行動推定部１４１と、ＨＤＤ（Hard Disk Drive）１５０と、を備えている。
【００１９】
検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号である。センサ１１０が複数設置されている場合、検知情報は検知信号およびセンサ１１０を識別するセンサＩＤを含む。画像情報取得部１３２は、監視カメラ１２０によって撮像された画像情報を取得する。
【００２０】
警備状態切替部１３３は、操作パネル制御部１３４によって受付けた警備状態を警備状態記憶部１３７に格納する。
【００２１】
警備状態記憶部１３７は、現在の警備装置１００の警備状態である警備モードまたは警備解除モードのいずれかを記憶する。なお、警備状態記憶部１３７は、ハードディスク、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００２２】
ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、警備領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいう。また、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。
【００２３】
操作パネル１３５は、警備装置１００に関する情報が表示され、警備装置１００に対して情報が入力される。操作パネル１３５は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１３５への表示情報の出力や、操作パネル１３５から入力された入力情報の取得等の操作パネル１３５に対する制御を行う。
【００２４】
送受信部１３６は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１３６は、監視カメラ１２０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１３６は、センサ１１０から検知情報を受信した場合で、かつ警備状態記憶部１３７に記憶された現在の警備状態に警備モードが記憶されている場合に、警報情報を監視センタ２００に送信する。
【００２５】
ＨＤＤ１５０は、物体の動作検出に関する各種データを記憶する。具体的には、ＨＤＤ１５０は、状態情報ＤＢ（データベース）１５１と、規則ＤＢ１５２と、対象物登録ＤＢ１５３と、環境ＤＢ１５４と、を格納している。なお、各ＤＢを、光ディスク、メモリカードなどのＨＤＤ１５０以外の記憶媒体に格納するように構成してもよい。
【００２６】
なお、第１検出部１３８、第２検出部１４０、ＨＤＤ１５０等を監視センタ２００に設け、センサ１１０や監視カメラ１２０で得られた情報を監視センタ２００に送り、行動推定を監視センタで行うように構成してもよい。
【００２７】
状態情報ＤＢ１５１は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。
【００２８】
図２は、状態情報ＤＢ１５１に記憶される状態情報のデータ構造の一例を示す図である。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格（場所情報）、時間格（時間情報）、源泉格、目標格、対象格、および道具格が含まれる。
【００２９】
主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、顔情報、および歩容情報等を含む。
【００３０】
顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。
【００３１】
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、体位置、手位置、顔位置、および脚部位置等を含む。
【００３２】
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および動作が発生した年月日等を表す。
【００３３】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。
【００３４】
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および終点での主格の属性を表す属性情報を含む。
【００３５】
対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。
【００３６】
道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。
【００３７】
なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。
【００３８】
図３は、状態情報ＤＢ１５１に記憶される状態情報の具体例を示す図である。図３は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。
【００３９】
図１に戻り、規則ＤＢ１５２は、後述する第２検出部１４０が、状態情報ＤＢ１５１に保存された格フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図４は、規則ＤＢ１５２に記憶される行動検出規則のデータ構造の一例を示す図である。
【００４０】
図４に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。
【００４１】
前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。
【００４２】
前格フレームおよび後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。例えば、図４では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる体位置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる体位置が「Ｂ」であるとき、格フレーム１と格フレーム２との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。
【００４３】
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Ｂと、後格フレームに含まれる頭部位置Ｃとが、Ｂ＞Ｃの関係を満たすことが条件として設定されている。
【００４４】
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる体位置Ａおよび後格フレームに含まれる体位置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の体位置Ａおよび目標格の体位置Ｂとして保存する例が示されている。
【００４５】
なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。
【００４６】
図５は、検出される行動間の遷移関係を表す図である。具体的には、図５は、画像情報から検出される行動と、状態情報ＤＢ１５１に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。
【００４７】
なお、この基準は、図４の規則ＤＢ１５２に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図４では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名５０１（存在する）に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。
【００４８】
なお、図５の行動名５０１〜５０４は、後述する第１検出部１３８によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第２検出部１４０によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名５１１〜５１３は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。
【００４９】
図１に戻り、対象物登録ＤＢ１５３は、行動の対象の物体である対象物を登録したデータベースである。図６は、対象物登録ＤＢ１５３の内容の一例を示す説明図である。対象物登録ＤＢ１５３は、図６に示すように、対象物（名称）と、対象物に対する行動と、導出行動と、操作とを対応付けて登録されている。
【００５０】
対象物に対する行動は、第１検出部１３８，第２検出部１４０により深層格フレームを用いて検出可能な対象物に対する人物の行動（検出行動）である。導出行動は、アフォーダンスにより対象物に対して取り得る行動を示している。ここで、アフォーダンスとは、対象物たる物体の持つ属性（形、色、材質等）が、物体自身をどう取り扱ったら良いかについてのメッセージをユーザに対して発しているとする考えであり、本実施の形態では、対象物ごとに、この対象物に対して取りうる行動を、対象物登録ＤＢ１５３の導出行動に予め設定している。
【００５１】
操作は、後述する行動推定部１４１により状態情報ＤＢ１５１の深層格フレームを更新する際に、既存の深層格フレームを書き換えるか、新たに格フレームを生成するかを定めている。「書き換え」が既存の深層格フレームを書き換えることを示し、「追加挿入」が新たに格フレームを生成することを示す。
【００５２】
図６の例では、例えば、人物を主体とした場合に、対象物「インターホン」に対して、対象物に対する行動として「触る、手を伸ばす」が登録されているが、この対象物に対して取りうる行動は「押す」であるので、導出行動には「押す」が登録されている。
【００５３】
また、人物を主体とするのではなく、対象物を主体とする場合、対象物「玄関」に対して、対象物に対する行動として「しゃがむ、滞在する」が登録されているが、この対象物に対して取りうる行動は「ピッキング」であるので、導出行動には「ピッキング」が登録されている。
【００５４】
また、図６の例では、例えば、対象物「椅子」に対して、対象物に対する行動として「しゃがむ」が登録されているが、この対象物に対して取りうる行動は「座る」であるので、導出行動には「座る」が登録されている。
【００５５】
さらに、図６の例では、例えば、対象物「扉」に対して、対象物に対する行動として「移動する」が登録されているが、この対象物に対して取りうる行動は「開ける」であるので、導出行動には「開ける」が登録されている。
【００５６】
図１に戻り、環境ＤＢ１５４は、対象物の識別情報や位置を定めたデータベースである。図７は、環境ＤＢ１５４のデータの内容の一例を示す説明図である。環境ＤＢ１５４は、図７に示すように、対象物（名称）と、対象物を一意に特定するための識別情報である対象ＩＤと、対象物の配置位置を示す位置座標とを対応付けて登録されている。
【００５７】
図１に戻り、行動推定部１４１は、深層格フレームに登録された行動名と行動の位置に関する行動位置情報としての場所格、源泉格、目標格とが、対象物登録ＤＢ１５３における「対象物」と「対象物に対する行動」とに一致するか否かを判断し、一致する場合には、対象物を深層格フレームの対象格に設定し、導出行動を深層格フレームの行動名に設定することにより状態ＤＢ１５１を更新して行動推定を行うものである。
【００５８】
より具体的には、行動推定部１４１は、まず環境ＤＢ１５４を参照して、深層格フレームで場所格、源泉格、目標格に登録された位置座標が対象物の位置座標と同一位置あるいは対象物の位置座標の近傍かを判断する。
【００５９】
すなわち、行動推定部１４１は、対象物の位置座標と、場所格、源泉格、目標格であらわされる人物の位置座標（足元、手先などの位置座標）が互いに同じ位置もしくは近傍位置にある場合に、人物が対象物に接触していると判断している。具体的には、対象物が椅子の場合には、環境ＤＢ１５４で椅子に対して登録されている椅子の位置座標またはその近傍に、深層格フレームから人物の場所格の位置座標が達した場合に、行動推定部１４１は、人物の対象物「椅子」への行動と判断するのである。
【００６０】
同様に、対象物「インターホン」の場合には、環境ＤＢ１５４に登録されたインターホンの位置座標またはその近傍に、深層格フレームから人物の目標格の手先の位置座標が達した場合に、人物の対象物「インターホン」に対する行動と判断する。
【００６１】
そして、行動推定部１４１は、場所格、源泉格、目標格に登録された位置座標が対象物の位置座標と同一位置あるいは対象物の位置座標の近傍である場合に、人物の行動がその位置の対象物に対するものであると判断し、対象物登録ＤＢ１５３を参照して、当該対象物と深層格フレームの行動名の組に一致する「対象物」と「対象物に対する行動」のレコードがあるか否かを検索する。そして、行動推定部１４１は、そのようなレコードが検索された場合に、検索された「対象物」と「対象物に対する行動」に対応する「導出行動」を対象物に対して人物が本来とるべき行動であると判断する。
【００６２】
そして、そのレコードにおける「操作」が「書き換え」の場合には、行動推定部１４１は、検出された「導出行動」で深層格フレームの行動名を書き換える。また、行動推定部１４１は、対象物の対象ＩＤを深層格フレームの対象格に設定する。これにより、状態情報ＤＢ１５１が更新される。
【００６３】
また、検索されたレコードにおける「操作」が「追加挿入」の場合には、行動推定部１４１は、検出された「導出行動」を行動名とし、対象物の対象ＩＤを対象格に設定した新たな深層格フレームを生成して状態情報ＤＢ１５１に登録する。
【００６４】
例えば、対象物がインターホンである場合に、深層格フレームからは、対象物に対する行動として「インターホンに向かって腕を伸ばす」という行動が検出される。一方、インターホンに対してアフォーダンス理論から導出される行動は「インターホンを押している」である。このため、本実施の形態では、対象物登録ＤＢ１５３において対象物「インターホン」に対して、対象物に対する行動として「触る、手を伸ばす」と登録し、一方、導出行動として「押す」と登録しておく。そして、行動推定部１４１により上述の処理を行うことによって、深層格フレームの行動名には「押す」が登録され、対象格にはインターホンの対象ＩＤが登録されることになる。このため、不審行動を検出する場合に、対象物に対して取り得る行動を検出することができる。
【００６５】
次に、このように構成された本実施の形態にかかる警備装置１００による画像からの動作検出処理について図８を用いて説明する。画像からの動作検出処理とは、監視カメラ１２０で撮影された画像情報から人物等の動作（行動）を検出する処理をいう。図８は、本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。
【００６６】
まず、画像情報取得部１３２は、監視カメラ１２０が撮影した画像情報を入力する（ステップＳ６０１）。次に、第１検出部１３８が、画像情報から人物領域を検出する（ステップＳ６０２）。次に、第１検出部１３８は、人物領域が検出されたか否かを判断する（ステップＳ６０３）。人物領域が検出されなかった場合は（ステップＳ６０３：ＮＯ）、次の画像情報を入力して処理を繰り返す（ステップＳ６０１）。
【００６７】
人物領域が検出された場合（ステップＳ６０３：ＹＥＳ）、第１検出部１３８は、行動名＝「存在する」の格フレームを作成する（ステップＳ６０４）。なお、作成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。
【００６８】
次に、第１検出部１３８は、検出した人物領域の各部位の検出位置を場所格へ格納する（ステップＳ６０５）。例えば、第１検出部１３８は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、体位置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。
【００６９】
第１検出部１３８は、ステップＳ６０４〜ステップＳ６０５と並行して、人物同定処理（ステップＳ６０６〜ステップＳ６０７）、顔検出処理（ステップＳ６０８〜ステップＳ６１０）、体型判定処理（ステップＳ６１１〜ステップＳ６１２）、および歩容検出処理（ステップＳ６１３〜ステップＳ６１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。
【００７０】
人物同定処理では、第１検出部１３８は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（ステップＳ６０６）。そして、第１検出部１３８は、同定した人物に既に割り当てられているエージェントＩＤ（図２のＡｇｔＩＤ）を、作成した格フレームの主格に格納する（ステップＳ６０７）。
【００７１】
顔検出処理では、第１検出部１３８は、顔領域パターンと照合する方法などによって顔領域を検出する（ステップＳ６０８）。また、第１検出部１３８は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（ステップＳ６０９）。視線方向が検出された場合は、第１検出部１３８は、行動名＝「見る」の格フレームを作成する（ステップＳ６１０）。
【００７２】
体型判定処理では、第１検出部１３８は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（ステップＳ６１１）。そして、第１検出部１３８は、判定した体型を、作成した格フレームの属性格に格納する（ステップＳ６１２）。
【００７３】
歩容検出処理では、第１検出部１３８は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報を検出する（ステップＳ６１３）。歩速は、例えば連続する画像情報の脚部の位置を比較することにより算出することができる。そして、第１検出部１３８は、検出した歩容情報を、作成した格フレームの属性格に格納する（ステップＳ６１４）。
【００７４】
次に、第１検出部１３８は、画像情報から物体を検出する（ステップＳ６１５）。なお、物体検出処理は、人物領域検出処理（ステップＳ６０２）とともに実行してもよい。
【００７５】
次に、第１検出部１３８は、物体が検出されたか否かを判断する（ステップＳ６１６）。物体が検出された場合（ステップＳ６１６：ＹＥＳ）、第１検出部１３８は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の格フレームを作成する（ステップＳ６１７）。
【００７６】
具体的には、第１検出部１３８は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の格フレームを新たに作成する。また、第１検出部１３８は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の格フレームを新たに作成する。
【００７７】
ステップＳ６１６で物体が検出されなかったと判断された場合（ステップＳ６１６：ＮＯ）、またはステップＳ６１７で新たな格フレームを作成後、第１検出部１３８は、これまでに作成した格フレームを状態情報ＤＢに保存し（ステップＳ６１８）、画像からの動作検出処理を終了する。
【００７８】
次に、本実施の形態にかかる警備装置１００による状態情報からの動作検出処理について図９を用いて説明する。状態情報からの動作検出処理とは、状態情報ＤＢ１５１に保存されている状態情報から人物等の動作（行動）を検出する処理をいう。図９は、本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【００７９】
まず、状態取得部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（ステップＳ７０１）。次に、状態取得部１３９は、取得した第１格フレームと時間的に連続する格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（ステップＳ７０２）。
【００８０】
次に、第２検出部１４０は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１５２から検索する（ステップＳ７０３）。具体的には、第２検出部１４０は、第１格フレームおよび第２格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。
【００８１】
例えば、第１格フレームおよび第２格フレームの行動名が共に「存在する」であり、第１格フレームの体位置（体位置Ａとする）と、第２格フレームの体位置（体位置Ｂとする）とが異なる場合、図４に示すような規則ＤＢ１５２の最初の行動検出規則が検索される。
【００８２】
次に、第２検出部１４０は、行動検出規則が検索されたか否かを判断し（ステップＳ７０４）、検索された場合は（ステップＳ７０４：ＹＥＳ）、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する（ステップＳ７０５）。
【００８３】
行動検出規則が検索されなかった場合（ステップＳ７０４：ＮＯ）、または、格フレームを作成後、第２検出部１４０は、未処理の格フレームが存在するか否かを判断する（ステップＳ７０６）。
【００８４】
未処理の格フレームが存在する場合（ステップＳ７０６：ＹＥＳ）、状態取得部１３９は、次の格フレームを取得して処理を繰り返す（ステップＳ７０１）。未処理の格フレームが存在しない場合は（ステップＳ７０６：ＮＯ）、状態情報からの動作検出処理を終了する。
【００８５】
このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。
【００８６】
次に、本実施の形態の警備装置１００による行動推定処理について説明する。図１０は、行動推定処理の手順を示すフローチャートである。
【００８７】
まず、行動推定部１４１は、状態ＤＢ１５１の状態情報の深層格フレームから格要素としての行動名、場所格、源泉格、目標格を入力する（ステップＳ１００１）。なお、場所格、源泉格、目標格は、すべて入力する必要はなく、対象物によって入力する格要素を異なるように構成してもよい。
【００８８】
そして、入力された場所格、源泉格、目標格に設定された位置座標の近傍（その位置座標も含む）の位置座標を有する対象物を環境ＤＢ１５４から検索する（ステップＳ１００２）。
【００８９】
そして、検索結果にこのような対象物が存在するか否かを判断し（ステップＳ１００３）、存在しない場合には（ステップＳ１００３：Ｎｏ）、処理を終了する。
【００９０】
一方、検索結果で対象物が存在すると判断された場合には（ステップＳ１００３：Ｙｅｓ）、行動推定部１４１は、検索された対象物と入力された行動名の組をキーにして対象物登録ＤＢ１５３を検索する（ステップＳ１００４）。
【００９１】
そして、その検索結果に、キーである対象物と行動名の組に一致する対象物と対象物に対する行動の組が対象物登録ＤＢ１５３に存在するか否かを判断し（ステップＳ１００５）、存在しない場合には（ステップＳ１００５：Ｎｏ）、処理を終了する。
【００９２】
一方、対象物と行動名の組に一致する対象物と対象物に対する行動の組が対象物登録ＤＢ１５３に存在する場合には（ステップＳ１００５：Ｙｅｓ）、行動推定部１４１は、対象物登録ＤＢ１５３から、対象物と対象物に対する行動の組に対応する導出行動と操作を取得する（ステップＳ１００６）。
【００９３】
そして、行動推定部１４１は、取得した操作の内容を判断する（ステップＳ１００７）。取得した操作の内容が「書き換え」である場合には（ステップＳ１００７：書き換え）、行動推定部１４１は、深層格フレームの行動名を導出行動の内容に書き換え、さらに対象格をステップＳ１００２で検索された対象物の対象ＩＤに書き換えることにより深層格フレームを更新する（ステップＳ１００８）。
【００９４】
一方、ステップＳ１００７において、取得した操作の内容が「追加挿入」である場合には（ステップＳ１００７：追加挿入）、行動推定部１４１は、行動名を導出行動の内容に設定し、さらに対象格をステップＳ１００２で検索された対象物の対象ＩＤに設定した新たな深層格フレームを生成し、状態情報ＤＢ１５１に登録する（ステップＳ１００９）。
【００９５】
このような処理により、状態情報ＤＢ１５１がアフォーダンス理論により導出した行動を利用した深層格フレームを有するデータベースに更新される。
【００９６】
例えば、対象物がインターホンである場合を考える。図１１は、対象物がインターホンである場合の深層格フレームの一例を示す説明図である。図１１に示す深層格フレームからは、対象物に対する行動として「インターホンに向かって腕を伸ばす」という行動が検出される。一方、インターホンに対してアフォーダンス理論により導出される行動は「インターホンを押している」である。
【００９７】
このため、本実施の形態では、対象物登録ＤＢ１５３において対象物「インターホン」に対して、対象物に対する行動として「触る、手を伸ばす」と登録し、一方、導出行動として「押す」と登録しておく（図６参照）。
【００９８】
そして、行動推定部１４１により上述の処理を行うことによって、深層格フレームの行動名には「押す」が登録され、対象格にはインターホンの対象ＩＤが登録されることになる。図１２は行動推定部１４１による更新後の深層格フレームの一例を示す説明図である。この図１２に示す深層格フレームを用いて不審行動を検出すると、対象物に対して取り得る行動を検出することができる。
【００９９】
このため、本実施の形態では、検出すべき行動の数を減少させ、不審行動の判定に用いるデータベース等を簡易な構造にすることができるとともに、自然言語から不審行動を登録する際に、検出できる行動を意識せずに容易に登録することができる。従って、本実施の形態によれば、人物の行動パターンの構造を簡易にしながらも正確な行動推定を行うことができる。
【０１００】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【０１０１】
【図１】本実施の形態にかかる監視システムの構成を示すブロック図である。
【図２】状態情報ＤＢに記憶される状態情報のデータ構造の一例を示す図である。
【図３】状態情報ＤＢに記憶される状態情報の具体例を示す図である。
【図４】規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。
【図５】検出される行動間の遷移関係を表す図である。
【図６】対象物登録ＤＢのデータ構造の一例を示す図である。
【図７】環境ＤＢのデータ構造の一例を示す図である。
【図８】本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。
【図９】本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【図１０】本実施の形態における行動推定処理の手順を示すフローチャートである。
【図１１】対象物がインターホンである場合の深層格フレームの一例を示す説明図である。
【図１２】対象物がインターホンである場合の更新後の深層格フレームの一例を示す説明図である。
【符号の説明】
【０１０２】
１０  監視システム
１００  警備装置
１１０  センサ
１２０  監視カメラ
１３０  警備操作部
１３１  検知情報受信部
１３２  画像情報取得部
１３３  警備状態切替部
１３４  操作パネル制御部
１３５  操作パネル
１３６  送受信部
１３７  警備状態記憶部
１３８  第１検出部
１３９  状態取得部
１４０  第２検出部
１４１  行動推定部
１５０  ＨＤＤ
１５１  状態情報ＤＢ
１５２  規則ＤＢ
１５３  対象物登録ＤＢ
１５４  環境ＤＢ
２００  監視センタ
３００  ネットワーク
【図１】
2010170212.tif 000003
【図２】
2010170212.tif 000004
【図３】
2010170212.tif 000005
【図４】
2010170212.tif 000006
【図５】
2010170212.tif 000007
【図６】
2010170212.tif 000008
【図７】
2010170212.tif 000009
【図８】
2010170212.tif 000010
【図９】
2010170212.tif 000011
【図１０】
2010170212.tif 000012
【図１１】
2010170212.tif 000013
【図１２】
2010170212.tif 000014