(57)【要約】【課題】個人情報の登録を不要にして、対象とする人物に情報を確認させることができるようにする。【解決手段】提供する情報に緊急性がある場合は、デジタルサイネージのカメラに検出対象者もしくは同一グループの人物が撮影されているか否かを判定し、撮影されている場合にはそのデジタルサイネージを提供情報の表示対象として決定し、撮影されていない場合は行動予測を行って、表示対象のデジタルサイネージを決定する。一方、緊急性がない場合は、検出対象者の視線がデジタルサイネージに向いている場合に、そのデジタルサイネージに提供情報を表示させるようにする。【選択図】図１
2015002477.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮影された検出対象者の行動に基づいて、情報を表示させる表示装置を決定する情報処理装置であって、
前記カメラによって撮影された映像と、前記検出対象者に提供する提供情報と、前記映像および提供情報の属性情報とを取得する取得手段と、
前記取得手段によって取得された映像および属性情報に基づいて前記検出対象者の行動を解析し、前記解析した行動に基づいて前記提供情報を表示させる表示装置を決定する決定手段と、
前記決定手段によって決定された表示装置に前記提供情報と、前記提供情報の表示要求とを送信する送信手段とを有することを特徴とする情報処理装置。
【請求項２】
前記映像から前記検出対象者の人体部分を抽出した画像を生成する生成手段をさらに有し、
前記送信手段は、さらに前記生成手段によって生成された画像を前記表示装置に送信することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記検出対象者又は前記検出対象者と関係のある人物が閲覧することができる表示装置に決定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記検出対象者の視線が向いている表示装置に決定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
前記決定手段は、前記検出対象者の移動方向を予測することにより前記検出対象者の行動を解析し、前記解析した行動に基づいて前記提供情報を表示させる表示装置を決定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項６】
カメラと、前記カメラによって撮影された検出対象者の行動を解析する情報処理装置と、前記検出対象者に関連する提供情報を表示する表示装置とがネットワークを介して接続されている情報処理システムであって、
前記情報処理装置は、
前記カメラによって撮影された映像と、前記検出対象者に提供する提供情報と、前記映像および提供情報の属性情報とを取得する取得手段と、
前記取得手段によって取得された映像および属性情報に基づいて前記検出対象者の行動を解析し、前記解析した行動に基づいて前記提供情報を表示させる表示装置を決定する決定手段と、
前記決定手段によって決定された表示装置に前記提供情報と、前記提供情報の表示要求とを送信する送信手段とを有し、
前記表示装置は、前記送信手段によって送信された提供情報を表示することを特徴とする情報処理システム。
【請求項７】
カメラによって撮影された検出対象者の行動に基づいて、情報を表示させる表示装置を決定する情報処理方法であって、
前記カメラによって撮影された映像と、前記検出対象者に提供する提供情報と、前記映像および提供情報の属性情報とを取得する取得工程と、
前記取得工程において取得された映像および属性情報に基づいて前記検出対象者の行動を解析し、前記解析した行動に基づいて前記提供情報を表示させる表示装置を決定する決定工程と、
前記決定工程において決定された表示装置に前記提供情報と、前記提供情報の表示要求とを送信する送信工程とを有することを特徴とする情報処理方法。
【請求項８】
カメラによって撮影された検出対象者の行動に基づいて、情報を表示させる表示装置を決定する情報処理装置を制御するためのプログラムであって、
前記カメラによって撮影された映像と、前記検出対象者に提供する提供情報と、前記映像および提供情報の属性情報とを取得する取得工程と、
前記取得工程において取得された映像および属性情報に基づいて前記検出対象者の行動を解析し、前記解析した行動に基づいて前記提供情報を表示させる表示装置を決定する決定工程と、
前記決定工程において決定された表示装置に前記提供情報と、前記提供情報の表示要求とを送信する送信工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、個人情報が登録されていない人物に関係する情報を提供するために用いて好適な情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、監視カメラやライブカメラなどの設置が増加しており、不審者を検出するセキュリティ用途の利用が進んでいる。このセキュリティ用途としては、顔認証技術を利用して登録者以外の人物が建物に侵入したことを検知して、警告するシステムなどがある。また、ＧＰＳなどを利用した位置検出技術など他の技術と連携して不審者などを検出するシステムも提案されている。
【０００３】
特許文献１には、監視カメラとＲＦＩＤとを利用して、校内の不審者を検出するシステムが提案されている。このシステムでは、校内に入る人物を監視カメラで撮影して、登録済のＲＦＩＤを携帯していない場合に、不審者として検出するものとしている。
【０００４】
一方、メールアドレスや興味、嗜好などの個人情報を登録することによりその人に適した広告やニュース、情報を携帯端末などに配信する技術が知られている。さらにこの技術を応用して、ＥＣサイトで利用履歴から協調フィルタリング技術を利用したお薦めするアイテムを予測する技術も知られている。セキュリティ用途以外の用途で顔認証技術を利用したサービスとして、個人情報を登録しなくてもカメラ映像から検出した情報を利用してこのようなサービスを取り込むシステムも提案されている。特許文献２には、カメラ映像から顔認識技術を利用して検出対象者の年齢や性別を検出し、その年齢や性別のカテゴリーに適した広告をデジタルサイネージに表示する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１００６６号公報
【特許文献２】特開２０１１−２７９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２に記載の方法では、属性の一致する不特定多数の人に、そのカテゴリーに適した広告をデジタルサイネージに表示するものである。ところが、個人情報が登録されていない特定の人物に対して個別の情報を伝えたい場合には、個別の情報を伝達することが難しく、複数の表示装置からどの表示装置に表示すればよいか判別できない。
【０００７】
本発明は前述の問題点に鑑み、個人情報の登録を不要にして、対象とする人物に情報を確認させることができるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明に係る情報処理装置は、カメラによって撮影された検出対象者の行動に基づいて、情報を表示させる表示装置を決定する情報処理装置であって、前記カメラによって撮影された映像と、前記検出対象者に提供する提供情報と、前記映像および提供情報の属性情報とを取得する取得手段と、前記取得手段によって取得された映像および属性情報に基づいて前記検出対象者の行動を解析し、前記解析した行動に基づいて前記提供情報を表示させる表示装置を決定する決定手段と、前記決定手段によって決定された表示装置に前記提供情報と、前記提供情報の表示要求とを送信する送信手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、個人情報の登録を不要にして、対象とする人物に情報を確認させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る情報処理装置および情報処理システムの構成例を示す図である。
【図２】検出対象者に提供情報を確認させるシステムを説明するための図である。
【図３】実施形態に係る情報処理装置による提供情報を表示させる処理手順の一例を示すフローチャートである。
【図４】検出対象者を含むグループが撮影され、緊急の提供情報が表示された状態を説明するための図である。
【図５】検出対象者を含むグループが撮影され、一般の提供情報が表示された状態を説明するための図である。
【図６】検出対象者の行動を予測する方法を説明するための図である。
【図７】不審者の存在を一般の人に知らせるシステムを説明するための図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１（ａ）は、本実施形態に係る情報処理装置１００の構成例を示すブロック図である。
図１（ａ）において、情報処理装置１００は、ＣＰＵであるデータ処理部１１５、メモリである記憶部１１１、ディスプレイである表示部１１６、キーボードやマウスなどの入力部１１３、およびネットワークＩ／Ｆ部１１７で構成されている。なお、記憶部１１１には映像データ１２０、属性情報１２１、および提供情報１２２がそれぞれ格納されている。
【００１２】
図１（ｂ）は、本実施形態に係る情報処理システムの構成例を示す図である。
図１（ｂ）に示すように、本実施形態に係る情報処理システムでは、情報処理装置１００と、Ｎ台の表示装置（デジタルサイネージ）１６１〜１６Ｎと、Ｍ台の監視カメラ１７１〜１７Ｍとがネットワークに接続されている。なお、ネットワークは有線でも無線でもかまわない。また、Ｍ台の監視カメラ１７１〜１７Ｍの一部または全部が、デジタルサイネージ１６１〜１６Ｎに組み込まれた構成であってもよく、別々の装置とした構成であってもよい。
【００１３】
なお、これらのデジタルサイネージ１６１〜１６Ｎの内部構成については、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ、通信Ｉ／Ｆ、スピーカ等を有しており、情報処理装置１００から提供情報１２２などを受信すると、これらの情報を表示する。
【００１４】
次に、本実施形態の概要について説明する。本実施形態では、情報の提供対象者の情報などがない場合でも、情報の提供対象者に提供情報を通知できるように、カメラから得た情報に基づいて複数のデジタルサイネージから情報の表示対象とするデジタルサイネージを決定する。例えば、図２に示すように、３台のデジタルサイネージ２０１、２０２、２０３があり、検出対象者２０４を撮影している監視カメラ２０５があるものとする。また、各デジタルサイネージにもカメラが搭載されており、検出対象者２０４を撮影することができる。
【００１５】
図２に示す例の場合、提供情報を表示するデジタルサイネージとして、中央のデジタルサイネージ２０２に決定する。このとき、その他のデジタルサイネージ２０１、２０３は通常の広告などを継続して表示する。そして、デジタルサイネージ２０２は、通常の広告を中断して、多数の人が写っている映像から検出対象者２０４の顔または人体部分を抽出した画像と提供情報とを共に表示する。これにより、検出対象者２０４は、自分だけが写っている画像を確認することによって自分宛ての情報と分かり、個人情報の分からない人物に対して情報を伝達することができる。
【００１６】
次に、本実施形態に係る情報処理装置１００の処理の内容について、図３を参照しながら説明する。
【００１７】
図３は、本実施形態に係る情報処理装置１００による提供情報を表示させる処理手順の一例を示すフローチャートである。なお、図３に示す各処理は、データ処理部１１５が制御プログラムを実行することにより実現される。また、複数のカメラにより検出対象者が撮影され、その映像データ、属性情報および提供情報がリアルタイムに記憶部１１１に記憶されているものとする。なお、情報量が多いため、記憶部１１１の代わりに他の記憶装置を情報処理装置１００とは別の装置として設け、比較的新しい映像データのみを記憶部１１１に記憶するようにしてもよい。
【００１８】
まず、検出対象者の情報が入力されることにより処理を開始する。ここで、検出対象者の情報は、ユーザの操作により入力部１１３から入力される情報である。具体的な情報としては、記憶部１１１に記憶された映像データの中から選択して、その映像にタグ付けして検出対象者の情報とする。
【００１９】
そして、ステップＳ３０１において、入力情報として、カメラに撮影された１つまたは複数の最新の映像データ１２０と提供情報１２２とその映像データおよび提供情報の属性情報１２１とを記憶部１１１から取得する。
【００２０】
ここで、属性情報の例としては、検出対象者の人物ＩＤや緊急度、情報の対象者（一般人を含むか否か）、検出対象者の移動方向、検出対象者の移動速度、検出対象者の現在位置などの情報がある。さらには同一グループの人物ＩＤ、各デジタルサイネージまでの距離などの情報がある。これらの属性情報は、事前に外部でカメラの映像を解析して属性を判断して抽出された情報であり、ユーザによって情報が付与されたものであってもよい。例えば、検出対象者の移動方向、移動速度、および現在位置については、カメラの位置と映像とから取得できる。また、顔認証や人体追尾の技術により、異なる映像から同一人物か否かを判定して人物ＩＤを付与することができる。
【００２１】
なお、公知の顔認証や人体追尾の技術を用いて映像の人物が検出対象者か否かを判別する処理については、情報処理装置１００のデータ処理部１１５が行ってもよく、他の装置が行ってもよい。他の装置で行う場合には、他の装置で顔認証や人体追尾の処理を行った後に、記憶部１１１に映像データ１２０を記憶するとともに、この処理結果を属性情報として保持するようにする。
【００２２】
次に、ステップＳ３０２において、得られた属性情報の緊急度を参照し、緊急性があるか否かを判定する。このとき、得られた提供情報を解析して、緊急性に関連した語句が含まれている場合や提供情報が緊急性のある内容である場合に、緊急性があると判定するようにしてもよい。例えば、提供情報に「至急係員に連絡してください。」という語句が含まれている場合には、「至急」という単語があるため、緊急性ありと判定できる。これに対して、提供情報が商品をレコメンドする内容などである場合には緊急性がないと判定できる。また、検出対象者の属性情報から判定する場合には、例えば、病人、けが人、迷子、落し物などの属性を含む場合には緊急性があると判定できる。この判定の結果、緊急性がある場合はステップＳ３０３へ進み、緊急性がない場合はステップＳ３０８へ進む。
【００２３】
次のステップＳ３０３においては、ステップＳ３０１で取得した映像データに基づいて検出対象者が少なくとも１つのデジタルサイネージに搭載されたカメラで現在撮影されているか否かを判定する。図４（ａ）には、デジタルサイネージ４０１に組み込まれたカメラ４０２により検出対象者４０３が撮影されている様子を示している。例えばカメラ４０２により検出対象者４０３が撮影されている場合には、検出対象者４０３は最も近いデジタルサイネージ４０１で提供情報を確認することができると予想することができる。写っているか否かの判定は、カメラから得られる現在の映像データを、公知の顔認証や人体追尾の技術により解析し、検出対象者が含まれているか否かにより判定する。
【００２４】
また、入力情報として得られた検出対象者の画像の顔や服装の特徴量を比較マッチングしてもよい。この判定の結果、少なくとも１台のカメラで撮影されている場合はステップＳ３０６へ進み、そうでない場合はステップＳ３０３へ進む。
【００２５】
次のステップＳ３０４においては、検出対象者と同一グループである人物、例えば検出対象者と行動を共にしている人物が、少なくとも１台のデジタルサイネージに搭載されたカメラで現在撮影されているか否かを判定する。行動を共にしている人物がデジタルサイネージに表示された提供情報を確認できる場合には、検出対象者にその情報を伝達できるため、緊急の場合、検出対象者と同一グループの関係のある人物に対しても情報を提供する。例えば、図４（ｂ）に示すように、検出対象者４１３と人物４１４、４１５とが同一グループである場合、デジタルサイネージ４１１に組み込まれているカメラ４１２に、同一グループの人物４１４が写っていると判定する。この判定の結果、同一グループの人物が撮影されている場合はステップＳ３０６へ進み、そうでない場合はステップＳ３０５へ進む。
【００２６】
同一グループの人物か否かについては、その人物に関し、今までに撮影された映像を公知の顔認証や人体追尾の技術により解析し、その人物が検出対象者と同時に出現している確率や、映像内での人物間の距離の平均値などに基づいて判定する。そして、これらの数値が特定の閾値以上であれば、同一グループであると判定する。このとき、１つのカメラだけではなく複数のカメラで高い値が得られる場合には、同一グループである確率は高い。
【００２７】
次のステップＳ３０５においては、カメラによって撮影された過去の映像および他の監視カメラの現在の映像から検出対象者の行動を予測する。図６（ａ）は、検出対象者の行動を予測する処理手順を説明するための図である。
【００２８】
図６（ａ）に示す例では、４方にデジタルサイネージ６０１〜６０４が設置されているものとする。撮影領域６０５〜６０８は、それぞれのデジタルサイネージ６０１〜６０４に組み込まれているカメラの撮影領域である。また、撮影領域６０９、６１０は、不図示の他のカメラの撮影領域を表わしている。ベクトル６１２は、検出対象者６１１の移動方向と移動速度とを表わしている。図６（ａ）に示す例の場合、デジタルサイネージ６０１に組み込まれているカメラの撮影領域６０５に移動すると予測できる。
【００２９】
図６（ｂ）は、検出対象者の行動を予測する具体的な処理手順を説明するための図である。
図６（ｂ）において、撮影領域６５２は、デジタルサイネージ６５１に組み込まれているカメラの撮影領域である。移動ベクトル６５４は検出対象者６５３の移動方向と移動速度とを表わしている。また、直線６５５は検出対象者６５３とデジタルサイネージ６５１とを結ぶ直線であり、角度６５６は直線６５５と検出対象者６５３の移動ベクトル６５４との角度である。また、ベクトル６５７はデジタルサイネージ６５１へ向かうベクトルである。
【００３０】
図６（ｂ）に示す例の場合には、検出対象者６５３がデジタルサイネージ６５１へ向かうベクトル６５７を計算する。そして、各デジタルサイネージに向かうベクトルと距離との組み合わせを比較して、どのデジタルサイネージの撮影領域に到達するか行動を予測する。
【００３１】
また、過去のカメラの映像から行動パターンの統計を取って、各デジタルサイネージに向かう確率を計算して行動を予測してもよい。この場合、検出対象者の位置、性別、年代、一緒に行動しているグループの人数、移動方向、移動速度などから統計を取ることにより正確な確率が得られる。さらに過去のカメラの映像から各デジタルサイネージの撮影領域に到達する時間の平均値を計算することも可能であり、そのデータを参照して確率を計算してもよい。また、機械学習を利用することもできる。例えば、性別や年代などの検出対象者の属性を特徴として事前学習を行い、検出対象者がどの撮影領域に移動するかを識別してもよい。
【００３２】
次に、ステップＳ３０６において、複数のデジタルサイネージの中から表示対象のデジタルサイネージを決定する。例えば、ステップＳ３０３やステップＳ３０４で検出対象者または同一グループの人物を撮影していると判定した場合には、映像に検出対象者又は同一グループの人物が含まれていることから検出対象者の行動を解析できているとみなす。したがってこの場合は、その撮影を行っているカメラの撮影範囲から閲覧することができるデジタルサイネージに決定する。また、それ以外の場合は、行動予測の結果に基づいて表示対象のデジタルサイネージを決定する。
【００３３】
例えば、図６（ａ）に示す例でデジタルサイネージを決定する場合、各デジタルサイネージに組み込まれているカメラの撮影領域に向かう確率を計算する。デジタルサイネージ６０１〜６０４に組み込まれているカメラの撮影領域に向かう確率が、それぞれ０．４５、０．３５、０．１０、０．１０であり、閾値を０．３０とした場合、表示対象として２台のデジタルサイネージ６０１、６０２に決定する。
【００３４】
次に、ステップＳ３０７において、ステップＳ３０６で決定したデジタルサイネージにネットワークＩ／Ｆ部１１７から提供情報を送信するともに、提供情報の表示要求を送信する。このとき、緊急性がある場合は、対象を明確にするために、現在または過去の映像データから検出対象者の画像を切り出す。そして、提供情報とともに、生成した検出対象者の画像をデジタルサイネージに送信する。この結果、緊急性がある場合はデジタルサイネージにおいて検出対象者の画像とともに提供情報を表示し、緊急性がない場合は提供情報のみを表示する。
【００３５】
例えば、図４（ａ）に示す例のように、緊急性がある場合には、多数の人物が写っている映像から検出対象者４０３の人体部分または顔部分を抽出して検出対象者の画像４０７と提供情報４０６とを表示する。一方、緊急性がない場合には、図５に示すように、検出対象者の画像は出さずに商品広告のように提供情報のみ表示する。なお、行動を予想して表示対象のデジタルサイネージを決定した場合は、検出対象者または同一グループの人物が、決定したデジタルサイネージを閲覧できる範囲に到達する時間を予想して、その時刻に表示することも可能である。
【００３６】
一方、ステップＳ３０８においては、検出対象者が少なくとも１つのデジタルサイネージに搭載されたカメラにより撮影されているか否かを判定する。この処理はステップＳ３０３と同等の処理であるため、詳細な説明は省略する。この判定の結果、検出対象者が撮影されている場合はステップＳ３０９へ進み、そうでない場合は表示するデジタルサイネージはないものとして処理を終了する。
【００３７】
なお、本実施形態では、検出対象者がカメラの撮影範囲にいる場合には、デジタルサイネージを閲覧することができるものとみなしているが、これらの範囲を別々に設定してもよい。この場合、別途設定した閲覧可能な範囲に検出対象者がいるか否かを予測し、ステップＳ３０３、Ｓ３０４およびＳ３０８の判定で、検出対象者が撮影されているか否かを判定するのではなく、その閲覧可能な範囲に検出対象者がいるか否かを判定してもよい。
【００３８】
次のステップＳ３０９においては、検出対象者の視線を検出し、デジタルサイネージに着目しているか否かを判定する。この判定の結果、デジタルサイネージに着目している場合はステップＳ３０６へ進み、そうでない場合は、表示するデジタルサイネージはないものとして処理を終了する。
【００３９】
例えば、図５に示す例のように、デジタルサイネージ５０１に組み込まれているカメラ５０２により撮影されている検出対象者５０３の視線がデジタルサイネージ５０１に向いているか否かを判定する。なお、検出対象者の視線は、現在の映像における顔の向きや黒目の位置などから検出することが可能である。また、検出対象者などに提供情報を閲覧させるために、提供情報を表示する際に視線や距離、緊急度などを判断して注意を喚起する音または音声を併せて出力させてもよい。
【００４０】
以上のように本実施形態によれば、カメラにより撮影されている検出対象者に情報を伝達するために、個人情報の登録を不要にすることができる。このように検出対象者らが閲覧できるデジタルサイネージを予測し、情報を提供するデジタルサイネージを決定して、限定的に表示することにより、検出対象者に情報を伝達することができる。なお、限定的に提供情報を表示することにより表示対象に決定されなかったデジタルサイネージでは通常広告を表示することが可能となる。
【００４１】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。なお、本実施形態に係る情報処理装置および情報処理システムは図１と同様であるため、説明は省略する。また、基本的な処理手順についても図３と同様である。第１の実施形態では、病人、けが人、迷子、落し物した人などの検出対象者に提供情報を確認させることを想定した例である。これに対して本実施形態では、不審者などの検出対象者がいることを提供情報として周りの人々の不特定多数に確認してもらうことを想定している。
【００４２】
この場合、属性情報として検出対象者が周囲に及ぼす影響の度合いなどが追加される。このような情報を含む場合には、図３のステップＳ３０２の処理では緊急性があると判定する。そして、ステップＳ３０６で表示対象となるデジタルサイネージを決定する処理では、図７（ａ）および図７（ｂ）に示すように、検出対象者の移動方向および移動速度の重みを大きくし、影響の度合いによって閾値を変化させる。つまり影響の度合いが高い場合には閾値を下げて、表示対象となるデジタルサイネージの台数を多くする。また、検出対象者に刺激を与えないように、検出対象者が確認できるデジタルサイネージには、あえて提供情報を表示しないように決定することも可能である。
【００４３】
また、図７（ｃ）に示すように、検出対象者からの距離や影響の度合いによって、表示のみならず、音声を出力するようにすることも可能である。検出対象者の影響の度合いが閾値より大きい場合、または検出対象者までの距離が閾値より近い場合には、表示を大きくしたり、点滅して情報を表示したり、注意を喚起する音も大きくしたりする。これにより情報を受ける対象者である一般の人に対して、強く注意を喚起することが可能となる。
【００４４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４５】
１１１  記憶部
１１５  データ処理部
１１７  ネットワークＩ／Ｆ部
【図１】
2015002477.tif 000003
【図２】
2015002477.tif 000004
【図３】
2015002477.tif 000005
【図４】
2015002477.tif 000006
【図５】
2015002477.tif 000007
【図６】
2015002477.tif 000008
【図７】
2015002477.tif 000009