(57)【要約】【課題】処理負荷を軽減しつつ、ユーザが撮像画像内の特定のオブジェクトを容易に選択できるようにする。【解決手段】情報処理装置４００は、撮像装置によって撮像された撮像画像を取得する画像取得手段と、撮像画像における第一の位置が指定されると、画像取得手段により取得された撮像画像から、撮像画像における第一の位置に応じた領域に含まれるオブジェクトの画像を抽出する抽出手段と、抽出手段により抽出されたオブジェクトの画像を表示手段に表示させる表示制御手段と、表示制御手段により表示手段に表示されたオブジェクトの中から選択されたオブジェクトを対象とした処理を実行させる制御手段と、を備える。【選択図】      図４
2018125587.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された撮像画像を取得する画像取得手段と、
前記撮像画像における第一の位置が指定されると、前記画像取得手段により取得された撮像画像から、前記撮像画像における前記第一の位置に応じた領域に含まれるオブジェクトの画像を抽出する抽出手段と、
前記抽出手段により抽出された前記オブジェクトの画像を表示手段に表示させる表示制御手段と、
前記表示制御手段により前記表示手段に表示された前記オブジェクトの中から選択されたオブジェクトを対象とした処理を実行させる制御手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記画像取得手段により取得された前記撮像画像における前記第一の位置に応じた領域に含まれる前記オブジェクトを検出する検出手段と、
前記検出手段により検出された前記オブジェクトの特徴を抽出する特徴抽出手段と、をさらに備え、
前記抽出手段は、前記特徴抽出手段により前記特徴を抽出できた前記オブジェクトの画像を抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像取得手段は、前記撮像装置によって時系列上連続して撮像された撮像画像を取得し、
前記抽出手段は、前記ユーザにより前記第一の位置が指定された前記撮像画像が撮像された時点を含む一定期間に撮像された前記撮像画像から、前記オブジェクトの画像を抽出し、
前記表示制御手段は、前記抽出手段により抽出された前記一定期間における前記オブジェクトの画像を前記表示手段に表示させることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記抽出手段により前記一定期間の間に前記オブジェクトの画像を抽出できなくなった場合、前記抽出手段により前記一定期間の間において抽出された前記オブジェクトの画像を映像として繰り返し前記表示手段に表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記抽出手段により前記一定期間の間に前記オブジェクトの画像を抽出できなくなった場合、前記抽出手段により前記一定期間において時系列上最後に抽出された前記オブジェクトの画像を前記表示手段に表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記第一の位置に応じた領域を、当該領域内の所定のオブジェクトの移動に合わせて移動させる移動手段をさらに備えることを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記所定のオブジェクトは、前記ユーザにより前記第一の位置が指定された前記撮像画像における、前記第一の位置に最も近い位置に存在するオブジェクトであることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記抽出手段は、複数の前記オブジェクトの画像を抽出し、
前記表示制御手段は、前記抽出手段により抽出された複数の前記オブジェクトの画像を前記表示手段に並べて表示させることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記抽出手段は、複数の前記オブジェクトの画像を抽出し、
前記表示制御手段は、前記抽出手段により抽出された複数の前記オブジェクトの画像を、前記撮像画像上の前記オブジェクト間の位置関係に対応させて前記表示手段に表示させることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項１０】
前記第一の位置に応じた領域は、前記第一の位置を中心とした領域であることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記オブジェクトは人物であることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
請求項１から１１のいずれか１項に記載の情報処理装置と、
前記撮像装置と、を備えることを特徴とする情報処理システム。
【請求項１３】
撮像装置によって撮像された撮像画像を取得するステップと、
前記撮像画像における第一の位置が指定されると、前記撮像画像から、前記撮像画像における前記第一の位置に応じた領域に含まれるオブジェクトの画像を抽出するステップと、
抽出された前記オブジェクトの画像を表示手段に表示させるステップと、
前記表示手段に表示された前記オブジェクトの中から選択されたオブジェクトを対象とした処理を実行させるステップと、を含むことを特徴とする情報処理方法。
【請求項１４】
コンピュータを、請求項１から１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、数百台の監視カメラの映像を人に代わってシステムが自動で監視するなど、監視支援技術を用いた映像監視システムのニーズが高まっている。映像監視システムの利用方法として、特定の人物を複数のカメラに跨って追跡（モニタリング）するものがある。ここで、追跡対象となる人物は、ユーザが実際の映像に映し出された人物の中から指定することが多い。
特許文献１には、撮像画像から人物をすべて抽出し、抽出された人物を追跡対象候補として一人ずつ表示し、表示された人物のうちユーザが指定した人物を追跡対象として選択する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１０９５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術にあっては、画像内のすべての人物を抽出して追跡対象候補とするため、画像内に多数の人物が存在する場合や高解像度の画像である場合、人物抽出処理の負荷が大きい。また、追跡対象候補が多数存在する場合、ユーザは追跡対象を選択することが困難である。
そこで、本発明は、処理負荷を軽減しつつ、ユーザが撮像画像内の特定のオブジェクトを容易に選択できるようにすることを目的としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、撮像装置によって撮像された撮像画像を取得する画像取得手段と、前記撮像画像における第一の位置が指定されると、前記画像取得手段により取得された撮像画像から、前記撮像画像における前記第一の位置に応じた領域に含まれるオブジェクトの画像を抽出する抽出手段と、前記抽出手段により抽出された前記オブジェクトの画像を表示手段に表示させる表示制御手段と、前記表示制御手段により前記表示手段に表示された前記オブジェクトの中から選択されたオブジェクトを対象とした処理を実行させる制御手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、処理負荷を軽減しつつ、ユーザが撮像画像内の特定のオブジェクトを容易に選択できるようにすることができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態における情報処理システムの構成例を示す図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】情報処理装置の機能ブロック図である。
【図４】情報処理装置において解析される画像の一例である。
【図５】第一の実施形態におけるＵＩ画面の一例である。
【図６】情報処理装置の動作を説明するフローチャートである。
【図７】第二の実施形態におけるＵＩ画面の一例である。
【図８】検索対象エリアの移動について説明する図である。
【図９】第三の実施形態における情報処理装置の機能ブロック図である。
【図１０】検索対象エリアを移動させる処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【０００９】
（第一の実施形態）
図１は、本実施形態における情報処理システム１００の構成例を示す図である。本実施形態における情報処理システム１００は、ネットワークカメラから取得した映像（画像）を解析し、店舗や施設内を監視する監視システムである。ここで、監視対象は、百貨店、スーパー、コンビニエンスストア、レンタルビデオ店といった店舗にとどまらず、ショッピングモールや地域全体とすることもできる。この情報処理システム１００は、ネットワークカメラから取得した映像から特定のオブジェクトを認識し、複数のネットワークカメラに跨って上記特定のオブジェクトを追跡するシステムとして利用することができる。
情報処理システム１００は、複数のネットワークカメラ（以下、単に「カメラ」という。）２００と、録画サーバ３００と、情報処理装置４００と、クライアント装置５００とを備える。カメラ２００、録画サーバ３００、情報処理装置４００およびクライアント装置５００は、ネットワーク６００を介して接続されている。なお、カメラ２００の台数は、監視領域に応じて適宜設定するものとし、情報処理システム１００は、数百台を超えるカメラ２００を用いた大規模な監視システムとすることもできる。
【００１０】
カメラ２００は、監視対象の画像を時系列上連続して撮像し、撮像した撮像画像（映像）をネットワーク経由で送信可能な撮像装置である。カメラ２００は、ネットワーク６００を介して録画サーバ３００に映像を送信することができる。録画サーバ３００は、カメラ２００から映像を受信し、受信した映像を保存すると共に、情報処理装置４００やクライアント装置５００に対して映像を送信する。なお、本実施形態では、カメラ２００が録画サーバ３００に映像を送信する場合について説明するが、カメラ２００が撮像した映像を、例えばパーソナルコンピュータ（ＰＣ）やタブレットといった映像を送信可能なデバイスが録画サーバ３００に送信してもよい。
【００１１】
情報処理装置４００は、映像解析サーバであり、録画サーバ３００から受信した映像をユーザによる解析指示に基づいて解析し、解析結果を保存する。なお、情報処理装置４００における映像解析を行う機能以外をクライアント装置５００が有するようにしてもよい。また、カメラ２００が映像解析を行う機能を有するようにしてもよい。また、情報処理装置４００は、必要に応じて解析結果をクライアント装置５００に送信する。本実施形態では、情報処理装置４００は、ユーザによる指示に基づいて、カメラ２００によって撮像された映像から追跡対象とするオブジェクトを選択する処理を実施する。また、情報処理装置４００は、カメラ２００によって撮像された映像から追跡対象とするオブジェクトを認識し、複数のカメラ２００に跨って当該オブジェクトを追跡する追跡処理を行う機能を有していてもよい。
なお、本実施形態では、ユーザは、情報処理装置４００を操作して解析指示を行う場合について説明するが、クライアント装置５００を操作して情報処理装置４００に解析指示を送信してもよい。また、本実施形態では、カメラ２００によって撮像された映像は、録画サーバ３００を経由して情報処理装置４００に入力される場合について説明するが、カメラ２００から直接情報処理装置４００へ映像が送信されてもよい。
【００１２】
クライアント装置５００は、情報処理装置４００から送信された解析結果を受信する端末として利用することができる。クライアント装置５００は、ＰＣにより構成することができる。なお、クライアント装置５００は、タブレット等の端末でも代用可能である。また、クライアント装置５００は、ユーザからの要求を受け付け、その要求に基づき録画サーバ３００に録画の指示を行う機能を有していてもよい。
【００１３】
図２は、情報処理装置４００のハードウェア構成例を示す図である。
情報処理装置４００は、ＣＰＵ４１と、ＲＯＭ４２と、ＲＡＭ４３と、外部記憶装置４４と、ネットワークＩ／Ｆ４５と、入力機器Ｉ／Ｆ４６と、ディスプレイＩ／Ｆ４７とを備える。また、情報処理装置４００は、キーボード４８と、マウス４９と、ディスプレイ５０と、システムバス５１とをさらに備える。
ＣＰＵ４１は、情報処理装置４００における動作を統括的に制御するものであり、システムバス５１を介して、各構成部（４２〜４７）を制御する。ＲＯＭ４２は、ＣＰＵ４１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＲＯＭ４２は、使用者が電気的にプログラムを書き込むことができるＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）であってもよいし、製造するときに内容を書き込むマスクＲＯＭであってもよい。なお、上記プログラムは、外部記憶装置４４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
【００１４】
ＲＡＭ４３は、ＣＰＵ４１の主メモリ、ワークエリア等として機能する。つまり、ＣＰＵ４１は、処理の実行に際してＲＯＭ４２から必要なプログラム等をＲＡＭ４３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。外部記憶装置４４は、ＣＰＵ４１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶することができる。また、外部記憶装置４４は、ＣＰＵ４１がプログラムを用いた処理を行うことにより得られる各種データや各種情報等を記憶することができる。外部記憶装置４４は、例えば、ＳＳＤ、ＨＤＤ、ＦＤＤ、ＭＯドライブ、ＣＤドライブ、ＤＶＤドライブ、Ｂｌｕ−ｒａｙ（登録商標）ドライブ等の不揮発性の記憶装置とすることができる。
【００１５】
ネットワークＩ／Ｆ４５は、イントラネットなどのネットワークに接続するための通信制御を処理する。ネットワークＩ／Ｆ４５は、ユーザの環境に応じてさまざまな通信インタフェースを適用することができる。例えば、ネットワークＩ／Ｆ４５は、有線や無線のＬＡＮのインタフェースで構成することができる。
入力機器Ｉ／Ｆ４６は、キーボード４８やマウス４９といった入力機器からの信号を処理するものであり、情報処理装置４００の操作およびデータ入出力に用いられる。ディスプレイＩ／Ｆ４７は、ディスプレイ５０と接続されている。ディスプレイ５０は表示部であり、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイまたはプロジェクタと、その制御回路とを用いて構成することができる。システムバス５１は、情報処理装置４００内の各構成部（４１〜４７）間の各種データのやり取りおよび電力の供給をするものである。システムバス５１は、アドレス線、データ線、制御線、電源線、グラウンド線等からなる。
【００１６】
図３は、情報処理装置４００の機能ブロック図である。図３に示す情報処理装置４００の各部の機能は、ＣＰＵ４１がプログラムを実行することで実現することができる。ただし、図３に示す情報処理装置４００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ４１の制御に基づいて動作する。
情報処理装置４００は、映像取得部４０１と、映像表示部４０２と、位置指定部４０３と、オブジェクト検出部４０４と、特徴抽出部４０５と、を備える。オブジェクト検出部４０４や特徴抽出部４０５は映像解析部として機能する。さらに、情報処理装置４００は、映像切出し部４０６と、切出し映像表示部４０７と、オブジェクト選択部４０８と、メッセージ表示部４０９と、追跡部４１０と、を備える。
【００１７】
映像取得部４０１は、カメラ２００によって撮像された映像（時系列上連続して撮像された撮像画像）を録画サーバ３００経由で取得し、映像表示部４０２、オブジェクト検出部４０４および映像切出し部４０６に出力する。ここで、映像取得部４０１は、カメラ２００によって撮像された映像を、数十秒ごとの映像として取得してもよいし、フレーム毎に画像として取得してもよい。映像表示部４０２は、映像取得部４０１から受け取った映像をディスプレイ５０に表示させる表示制御を行う。その際、映像表示部４０２は、映像取得部４０１から受け取った映像をユーザインタフェース画面（ＵＩ画面）に表示させ、ユーザが、映像上の任意の位置を指定できるようにする。
【００１８】
図４は、情報処理装置４００の解析対象となる映像１０の一例である。本実施形態では、映像１０は、監視カメラであるカメラ２００によって撮像された監視対象の映像であり、映像１０内には多数の人物１１が映っていることを想定している。ユーザは、この映像１０の中から追跡対象とする任意の人物を選択することができる。
多数の人物が撮像された映像からユーザが特定のオブジェクト（人物）を追跡対象として指定する場合、人物同士の重なりなどにより追跡対象としたい人物の指定が難しく、意図した人物とは異なる人物を選択してしまう場合がある。さらに、映像内において人物が動いている場合にも、追跡対象としたい人物の指定が難しく、意図した人物とは異なる人物を選択してしまう場合がある。そこで、本実施形態では、情報処理装置４００は、ユーザが映像内で指定した位置を含む領域を、ユーザが追跡対象として選択したい人物が存在する領域であるとして、当該領域を、人物を検索する対象とする領域（検索対象領域）として決定する。そして、情報処理装置４００は、検索対象領域内に存在する人物を抽出し、抽出した人物を追跡対象候補（選択対象候補）としてユーザに提示し、ユーザに追跡対象を選択させる。
【００１９】
図３に戻って、位置指定部４０３は、ユーザがマウス４９を用いてディスプレイ５０に表示された映像上において指定した任意の位置に関する情報を取得し、その位置情報をオブジェクト検出部４０４に出力する。オブジェクト検出部４０４は、位置指定部４０３から受け取った位置情報に基づいて、映像取得部４０１から受け取った映像における検索対象領域を特定する。そして、オブジェクト検出部４０４は、特定した検索対象領域内に存在するオブジェクトを検出する。オブジェクト検出部４０４は、１つの映像から複数のオブジェクトを検出可能である。
本実施形態においては、オブジェクトは人物であるものとして説明する。映像から人物を検出する方法としては、人物の頭部シルエット（パターン）を検出する方法を用いることができる。ただし、人物を検出する方法は上記に限定されるものではなく、任意の方法を用いることができる。なお、本実施形態では、選択対象であるオブジェクトが人物である場合について説明するが、オブジェクトは人物に限定されるものではなく、例えば、自動車や動物であってもよい。また、オブジェクト検出処理以外の種々の映像解析処理を行うようにしてもよい。例えば、動体を検出してもよい。
【００２０】
特徴抽出部４０５は、オブジェクト検出部４０４において検出されたオブジェクトの特徴を抽出する。本実施形態では、特徴抽出部４０５は、人物の特徴として、人物の顔もしくは全身を抽出し、特徴量を数値化して保持することができる。なお、特徴抽出部４０５は、人物の特徴として歩容（歩き方）を抽出してもよい。特徴抽出部４０５により抽出する特徴の種類は、予め設定されていてもよいし、ユーザにより設定可能であってもよい。
映像切出し部４０６は、映像取得部４０１から受け取った映像から、オブジェクト検出部４０４により検出されたオブジェクトの映像を切り出す（抽出する）。このとき、映像切出し部４０６は、特徴抽出部４０５において特徴を抽出できた（所定数以上の十分な特徴を抽出できた）オブジェクトに対してのみ、映像の切り出しを行うようにしてもよい。これは、特徴抽出できなかった人物は追跡対象として選択しても適切に追跡できないため、事前に追跡対象候補から除外し、追跡可能な人物のみを追跡対象候補とするためである。
【００２１】
切出し映像表示部４０７は、映像切出し部４０６において切り出された映像（切出し映像）をディスプレイ５０に表示させる表示制御を行う。その際、切出し映像表示部４０７は、複数のオブジェクトにそれぞれ対応する切出し映像を、例えばチェックボックス等と共にＵＩ画面に並べて表示させ、ユーザが、複数のオブジェクトのうち少なくとも１つを選択できるようにする。
オブジェクト選択部４０８は、ユーザが、切出し映像表示部４０７によって表示されたＵＩ画面を操作して選択したオブジェクトに関する情報を取得し、追跡対象として決定する。オブジェクト選択部４０８は、複数のオブジェクトに関する情報を同時に取得することも可能である。メッセージ表示部４０９は、オブジェクト検出部４０４によってオブジェクトが検出できなかった場合や、特徴抽出部４０５によって特徴を抽出できなかったオブジェクトが存在する場合に、エラーメッセージをディスプレイ５０に表示させる表示制御を行う。追跡部４１０は、オブジェクト選択部４０８による指示に基づいて画像を解析し、オブジェクトの追跡を行う。具体的には、追跡部４１０は、オブジェクト選択部４０８により決定された追跡対象、つまり、ユーザにより選択されたオブジェクトを追跡する処理を行う。
【００２２】
図５（ａ）は、映像表示部４０２および切出し映像表示部４０７においてディスプレイ５０に表示されるＵＩ画面５０１の一例である。ＵＩ画面５０１は、映像表示部４０２が映像取得部４０１から取得した映像を表示する映像表示領域５０２を有する。本実施形態では、映像表示部４０２は、映像表示領域５０２に映像（動画）を表示させる場合について説明するが、画像（静止画）を表示させてもよい。ユーザは、映像表示領域５０２に表示された映像を確認し、映像上における追跡対象としたい人物が存在する位置を、マウス４９を用いて指示（クリック）することができる。すると、映像表示部４０２は、ユーザがマウス４９によって指示した点を中心とした所定の大きさの円状の領域を、検索対象領域５０３として映像上に重畳表示する。検索対象領域５０３の大きさは、予めシステムにおいて定めておくことができる。ただし、検索対象領域５０３の大きさは、カメラ毎に変更できるようにしてもよいし、撮像時の人物のサイズによって動的に変更してもよい。
【００２３】
また、検索対象領域５０３は円状に限定されるものではなく、任意の形状であってよい。さらに、検索対象領域５０３の指示方法は上記に限定されるものではなく、ユーザが検索対象領域５０３を、マウス４９を用いて囲むように指定してもよい。さらに、本実施形態では、検索対象領域５０３は、映像の一部の領域である場合について説明するが、被写体とカメラとの距離が近い場合や、人物があまり映らないカメラである場合には、検索対象領域５０３を画面全体（映像全体）に拡大してもよい。
【００２４】
切出し映像表示部４０７は、検索対象領域５０３内に存在する人物のうち、特徴が抽出でき追跡可能な人物（追跡対象候補）の切出し映像を、選択ウィンドウ５０４に一覧で表示し、ユーザに追跡対象とする人物を選択させる。ここで、選択ウィンドウ５０４は、検索対象領域５０３に重ならない位置に、映像表示領域５０２に重ねて表示させることができる。
図５（ｂ）に示すように、選択ウィンドウ５０４は、追跡対象候補の人物の切出し映像を表示する人物表示領域５０４ａを有する。本実施形態では、切出し映像表示部４０７は、複数のフレームから構成される切出し映像（動画）を人物表示領域５０４ａに表示させる場合について説明するが、画像（静止画）を表示させてもよい。この人物表示領域５０４ａには、追跡対象候補の人物をすべて表示させることができる。
また、選択ウィンドウ５０４は、ユーザが追跡対象候補の人物のうち追跡対象とする人物を選択するためのチェックボックス５０４ｂを有する。チェックボックス５０４ｂは、追跡対象候補の人物にそれぞれ対応して設けられており、ユーザは、同時に複数の追跡対象の人物を選択可能となっている。なお、人物の選択方法は、チェックボックス５０４ｂを用いた方法に限定されるものではなく、追跡対象候補の人物をナンバリングし、ユーザが追跡対象とする人物の番号を指定する方法であってもよい。
【００２５】
さらに、選択ウィンドウ５０４は、ユーザが選択した追跡対象の人物を確定するためのＯＫボタン５０４ｃを有する。ユーザは、チェックボックス５０４ｂが少なくとも１つ選択されている状態でＯＫボタン５０４ｃを押下することで、１または複数の追跡対象の人物を指定することができる。また、チェックボックス５０４ｂを外した状態でＯＫボタン５０４ｃを押下することで、追跡対象の人物指定をキャンセルすることもできる。なお、人物指定をキャンセルするために、別途キャンセルボタンを設けてもよい。また、図５（ａ）に示す例では、選択ウィンドウ５０４を映像表示領域５０２に重ねて表示する場合について説明したが、映像表示領域５０２外に表示するようにしてもよい。
【００２６】
次に、本実施形態における情報処理装置４００の動作について、図６を参照しながら説明する。つまり、情報処理装置４００が、カメラ２００の映像を取得し、取得した映像をＵＩ画面５０１の映像表示領域５０２に表示させる動作について説明する。また、情報処理装置４００が、ユーザにより指定された検索対象領域５０３内に存在する人物の映像を抽出し、抽出した映像を追跡対象候補の映像として選択ウィンドウ５０４に表示させる動作について説明する。
【００２７】
情報処理装置４００は、ＣＰＵ４１が必要なプログラムを読み出して実行することにより、図６に示す各処理を実現することができる。ただし、上述したように、図３に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図６の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ４１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
まずＳ１では、映像取得部４０１は、カメラ２００の映像を録画サーバ３００経由で取得する。Ｓ２では、映像表示部４０２は、Ｓ１において取得された映像をディスプレイ５０に表示し、Ｓ３に移行する。このとき、映像表示部４０２は、上記映像を、図５（ａ）に示すようにＵＩ画面５０１の映像表示領域５０２に表示する。
【００２８】
Ｓ３では、位置指定部４０３は、Ｓ２においてＵＩ画面５０１に表示された映像内の任意の位置の指定を受け付け、ユーザが意図する映像内の位置情報を取得する。Ｓ４では、オブジェクト検出部４０４は、Ｓ３において取得された位置情報をもとに検索対象領域５０３を決定し、検索対象領域５０３に含まれる人物を検出する。ここで、検索対象領域５０３は、Ｓ３においてユーザにより指定された位置を含む領域とすることができる。具体的には、オブジェクト検出部４０４は、ユーザがマウス４９により指定した１点を中心とした所定の大きさの領域を検索対象領域５０３として人物検出処理を行う。
オブジェクト検出部４０４は、検索対象領域５０３内に存在するすべての人物を検出するものとする。また、オブジェクト検出部４０４は、ユーザにより映像上の位置が指定された時点を含む一定期間に撮像された撮像画像から人物を検出する。例えば、オブジェクト検出部４０４は、ユーザがＵＩ画面５０１において映像上の位置を指定した時点から遡って一定期間（例えば、数秒間）の映像を用いて、人物検出処理を行ってもよい。これにより、ユーザによる位置指定のタイミングが、実際に指定したい時間よりも少し遅れることを想定した人物検出処理を行うことができる。
【００２９】
オブジェクト検出部４０４は、人物検出処理の結果、人物が検出されたか否かを判定し、人物が検出されていない場合にはＳ５に移行し、メッセージ表示部４０９は、エラーメッセージをディスプレイ５０に表示させ、Ｓ１に戻る。一方、Ｓ４においてオブジェクト検出部４０４により人物が検出された場合には、Ｓ６に移行する。
Ｓ６では、特徴抽出部４０５は、Ｓ４においてオブジェクト検出部４０４により検出された人物の特徴を抽出し、所定数以上の特徴を抽出できた人物の有無を判定する。そして、特徴抽出部４０５は、所定数以上の特徴を抽出できた人物が存在する場合にはＳ７に移行し、所定数以上の特徴を抽出できた人物が存在しない場合にはＳ５に移行する。つまり、Ｓ４において検出された人物のうち、所定数以上の特徴が抽出できなかった人物は、追跡対象候補から除外される。
所定数以上の特徴が抽出できない例としては、例えばＳ４においてシルエットとして人物を認識できたが、目鼻口といった特徴は抽出できなかった場合や、顔の特徴は抽出できたが全身の特徴が抽出できなかった場合等がある。なお、ここでは所定数以上の特徴を抽出できたか否かを判定する場合について説明したが、顔、全身、歩き方といった複数の特徴のうちどれを重視するかを予め設定しておき、重視する特徴が抽出できたか否かを判定するようにしてもよい。
【００３０】
Ｓ７では、映像切出し部４０６は、Ｓ４において検出された人物のうちＳ６において特徴を抽出できた人物の映像を、Ｓ１において取得された映像から切り出し、Ｓ８に移行する。このＳ７では、映像切出し部４０６は、静止画ではなく複数のフレームから構成される動画を切り出す。このとき、映像切出し部４０６は、Ｓ４における人物検出処理と同様に、ユーザにより映像上の位置が指定された時点を含む一定期間に撮像された撮像画像から人物の映像を切り出す。具体的には、映像切出し部４０６は、ユーザがＵＩ画面５０１において映像上の位置を指定した時点から遡って一定期間（例えば、数秒間）の映像を用いて、人物の映像を切り出す。この切り出し映像は、人物の移動に合わせて全体映像内における位置およびサイズが変動することになる。
【００３１】
Ｓ８では、切出し映像表示部４０７は、Ｓ７において切り出された切出し映像を選択表示するための選択ウィンドウ５０４をディスプレイ５０に表示させる。図５（ｂ）に示す人物表示領域５０４ａには、Ｓ５において特徴抽出できた人物の数だけ切出し映像の表示エリアが準備される。そして、Ｓ９では、切出し映像表示部４０７は、選択ウィンドウ５０４に設けられた人物表示領域５０４ａに、Ｓ６において特徴抽出できたすべての人物の切出し映像を表示させ、Ｓ１０に移行する。
このとき、切出し映像表示部４０７は、切出し映像を表示する際、表示中に映像が最終フレームに達した場合は最初のフレームに戻って表示を続ける（リピート表示する）。なお、切出し映像表示部４０７は、上述した一定期間の間に、追跡対象候補となる人物が検索対象領域５０３外に移動して切出し映像を抽出できなくなっている場合には、抽出できている期間の切出し映像をリピート表示してもよい。また、この場合、切出し映像表示部４０７は、追跡対象候補となる人物が映っている最後のフレーム、つまり、上記一定期間における時系列上最後に抽出された追跡対象候補となる人物の画像を静止画表示してもよい。
また、ここでは特徴抽出できたすべての人物の切出し映像を表示させる場合について説明したが、特徴抽出できた人物の中からさらに絞り込みを行って切出し映像を表示させるようにしてもよい。例えば、フィルタリング項目として、人物の性別、年齢、服装の色、移動の有無、移動方向などを抽出し、ユーザが指定したフィルタリング項目に基づいて絞り込み表示させてもよい。
【００３２】
Ｓ１０では、オブジェクト選択部４０８は、Ｓ９において選択ウィンドウ５０４に表示された追跡対象候補の中からユーザが選択した人物に関する情報を取得し、追跡対象を決定して処理を終了する。オブジェクト選択部４０８は、画像を解析して人物の追跡を行う追跡部４１０に、ユーザにより選択された人物の追跡を実行させる。追跡部４１０は、図３に示すように情報処理装置４００の内部に設けてもよいし、外部に設けてもよい。外部に設けた場合は、オブジェクト選択部４０８は、選択された人物を特定可能な情報をその外部の追跡部に出力することで、追跡処理を実行させる。このように、オブジェクト選択部４０８は追跡処理を実行させる制御部としても機能する。ユーザは、映像内において追跡対象とする人物を同時に複数人選択可能であり、オブジェクト選択部４０８は、同時に複数人を追跡対象として決定することができる。なお、選択されたユーザを追跡する以外にも種々の処理に応用可能である。例えば、選択されたユーザの顔を登録する処理であってもよいし、選択されたユーザの年齢や性別等を検出する処理であってもよい。
なお、本実施形態では、図６に示すすべての処理が情報処理装置４００において動作する場合について説明したが、操作関連の処理はクライアント装置５００において行われてもよい。
【００３３】
以上説明したように、本実施形態における情報処理装置４００は、撮像装置であるカメラ２００によって撮像された撮像画像を取得し、取得した撮像画像をディスプレイ５０に表示させる。なお、本実施形態では、情報処理装置４００がカメラ２００によって撮像された撮像画像をディスプレイ５０に表示させる場合について説明したが、情報処理装置４００以外の装置がディスプレイ５０に撮像画像を表示させるようにしてもよい。また、情報処理装置４００は、撮像画像上で指定された、撮像画像における位置に関する情報を取得し、撮像画像から、上記指定された位置に応じた領域である検索対象領域に含まれるオブジェクトの画像を抽出する。そして、情報処理装置４００は、抽出されたオブジェクトの画像をディスプレイ５０に表示させ、表示されたオブジェクトの中から選択されたオブジェクトに関する情報を取得する。
このように、情報処理装置４００は、ユーザによる選択操作に基づいて、選択対象候補となるオブジェクトをユーザに提示し、選択対象を選択させることができる。したがって、撮像画像に多数のオブジェクトが撮像されている場合であっても、ユーザは、意図したオブジェクトを容易かつ適切に選択することができる。また、情報処理装置４００は、ユーザにより指定された位置に応じた領域を検索対象領域としてオブジェクトの画像を抽出するので、選択対象候補を絞り込んでユーザに提示することができる。さらに、情報処理装置４００は、撮像画像全体からオブジェクトの画像を抽出する必要がないため、カメラ２００が高解像度化および高フレームレート化に対応している場合であっても、処理負荷が増大することを抑制することができる。また、情報処理装置４００は、ユーザにより位置指定がなされるまでオブジェクトの画像を抽出する処理を行わないで済むため、処理負荷の軽減が実現できる。
【００３４】
また、情報処理装置４００は、検索対象領域に含まれるオブジェクトの特徴を抽出し、十分な特徴を抽出できたオブジェクトの画像を、選択対象候補となるオブジェクトの画像として抽出する。したがって、ユーザにより選択されたオブジェクトは、追跡対象として確実に追跡処理を行うことができる。例えば、オブジェクトが人物である場合、顔の特徴を抽出できない人物は追跡不可能であるとして追跡対象候補から外すといった処理が可能である。
【００３５】
さらに、情報処理装置４００は、ユーザにより指定された位置を中心とした領域を検索対象領域として設定するので、ユーザが意図したオブジェクトを確実に選択対象候補に含めることができる。また、このとき情報処理装置４００は、ユーザにより位置指定がなされた撮像画像が撮像された時点を含む一定期間に撮像された撮像画像から、オブジェクトの画像を抽出することができる。したがって、ユーザによる位置指定のタイミングが実際に指定したいタイミングからずれてしまった場合であっても、情報処理装置４００は、ユーザが意図したオブジェクトの画像を適切に抽出することができる。また、情報処理装置４００は、複数のオブジェクトの画像を選択対象候補の画像として抽出した場合、複数のオブジェクトの画像をディスプレイ５０に並べて表示する。したがって、ユーザは、意図したオブジェクトを容易かつ適切に選択することができる。
【００３６】
さらに、情報処理装置４００は、オブジェクトの画像を一定期間の映像として抽出し、オブジェクトの映像をユーザに提示してもよい。その際、オブジェクトの映像が最終フレームに達した場合は最初のフレームに戻して繰り返し表示してもよい。この場合、ユーザは、より適切に意図したオブジェクトを選択することが可能となる。また、一定期間の間にオブジェクトが検索対象領域外に移動するなどによりオブジェクトの画像を抽出できなくなった場合には、オブジェクトが検索対象領域内に存在している期間の映像を繰り返し表示してもよいし、時系列上最後の画像を表示してもよい。これにより、オブジェクトの映像の表示期間が上記一定期間に満たない場合であっても、ユーザに適切に選択対象候補を提示することができる。
このように、本実施形態における情報処理装置４００は、処理負荷を軽減しつつ、ユーザが撮像画像内の特定のオブジェクトを容易に選択できるようにすることができる。
【００３７】
（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、図５（ｂ）に示すように、選択ウィンドウ５０４において、追跡対象候補のオブジェクトを一列に並べて表示させる場合について説明した。この第二の実施形態では、実際の撮像画像上のオブジェクト間の位置関係に対応させた配置で追跡対象候補のオブジェクトを表示させる場合について説明する。追跡対象候補となるオブジェクトが多数検出された場合、単純に複数のオブジェクトを並列に表示させた場合、ユーザは意図したオブジェクトが選択ウィンドウ中のどの位置にいるのかが分からず、選択に時間がかかる場合がある。本実施形態では、映像内での各オブジェクトの相対的な位置関係が分かる選択ウィンドウを表示させる場合について説明する。
【００３８】
図７は、本実施形態における切出し映像表示部４０７が表示させる選択ウィンドウ５１４の一例である。この選択ウィンドウ５１４は、実際にカメラ２００によって撮像された撮像画像における人物の位置関係をＵＩ画面上保持したままで、人物を選択可能に表示させた構成を有する。図７に示す選択ウィンドウ５１４は、検索対象領域５１３内に特徴抽出まで行えた人物１１ａ〜１１ｄが存在する場合の表示例である。
選択ウィンドウ５１４は、人物１１ａ〜１１ｄの切出し映像を表示するための人物表示領域５１４ａ〜５１４ｄを有する。これら人物表示領域５１４ａ〜５１４ｄの選択ウィンドウ５１４上における位置関係は、実際にカメラ２００によって撮像された撮像画像における人物１１ａ〜１１ｄの位置関係と同じである。ユーザは、人物表示領域５１４ａ〜５１４ｄにそれぞれ設けられたチェックボックスのうち、追跡対象とする人物に対応するチェックボックスにチェックを入れ、ＯＫボタン５１４ｅを押下することで、追跡対象の人物を確定することができる。
【００３９】
以上のように、本実施形態における情報処理装置４００は、選択ウィンドウ５１４において、複数の追跡対象候補となるオブジェクトの切出し映像を、撮像画像上のオブジェクト間の位置関係に対応させて表示部に表示させる。したがって、ユーザは追跡対象のオブジェクトの選択を直感的に行うことができる。
【００４０】
（第三の実施形態）
次に、本発明の第三の実施形態について説明する。
上述した第一の実施形態および第二の実施形態では、図５（ａ）に示す検索対象領域５０３の位置は映像上固定である場合について説明した。第三の実施形態では、映像内のオブジェクトの移動に応じて検索対象領域を移動させる場合について説明する。
例えば、ユーザが追跡対象として指定した人物の一部が他の人物と重なって人物検出や特徴抽出ができない場合、ユーザが追跡対象として指定した人物は追跡対象候補から除外されてしまう。しかしながら、人物が映像内を移動する間に人物間の重なりが無くなり、ユーザが追跡対象として指定した人物についての人物検出や特徴抽出が可能になる場合がある。そこで、本実施形態では、検索対象領域を人物の移動に合わせて移動させる場合について説明する。
【００４１】
図８（ａ）は、カメラ２００によって撮像された映像１０Ａに対してユーザが指定した検索対象領域５２３の初期状態である。図８（ｂ）は、ユーザが指定した初期状態の検索対象領域５２３と、初期状態から時間が少し経過したときの検索対象領域５３３とを示す図である。なお、図８（ｂ）においては、検索対象領域外の人物については図示を省略している。
検索対象領域５３３は、ユーザが指定した検索対象領域５２３内の所定の人物の移動に合わせて検索対象とする領域を移動させたものである。ここで、上記所定の人物は、ユーザにより位置指定がなされた時点でのカメラ２００の撮像画像における、ユーザにより指定された位置に最も近い位置に存在する人物とすることができる。つまり、検索対象領域の移動は、初期状態の検索対象領域５２３の中心に最も近い人物の移動に合わせて行うことができる。なお、上記所定の人物は、初期状態の検索対象領域５２３の中心に最も近い人物に限定されるものではなく、ユーザが任意に選択してもよい。
【００４２】
図８（ｂ）に示す例では、検索対象領域５２３内の中心に最も近い人物１１ｅの移動に合わせて、検索対象領域５２３を検索対象領域５３３まで移動させている。この移動の間にも検索対象領域における人物検出および特徴抽出は続けられる。したがって、検索対象領域５２３内の領域２１において複数の人物が重なって撮像されており、人物検出や特徴抽出ができない場合であっても、移動後の検索対象領域５３３内の領域２２において人物の重なりが無くなれば、人物検出や特徴抽出が可能となる。
【００４３】
図９は、本実施形態における情報処理装置４００Ａの機能ブロック図である。情報処理装置４００Ａは、領域移動制御部４１１が追加されていることを除いては、図３に示す情報処理装置４００と同様の構成を有する。したがって、この図９において、図３の情報処理装置４００と同一構成を有する部分には同一ステップ番号を付し、以下、構成の異なる部分を中心に説明する。
領域移動制御部４１１は、図８（ａ）および図８（ｂ）を用いて説明したように、人物１１ｅの移動とともに検索対象領域を移動させる制御を行う。
【００４４】
図１０は、情報処理装置４００Ａが実行する検索対象領域の移動処理の手順を示すフローチャートである。この図１０に示す処理は、図６の追跡対象選択シーケンスと連動して動作するものとする。本シーケンスの開始は、図６のＳ４における人物検出実施後に開始することができる。
まずＳ２１では、領域移動制御部４１１は、図８（ｂ）に示すユーザが指定した検索対象領域５２３の中心に最も近い人物１１ｅを移動データ（移動情報）の取得対象とする所定の人物として決定し、Ｓ２２に移行する。Ｓ２２では、映像取得部４０１は、カメラ２００の画像（フレーム）を録画サーバ３００経由で取得し、Ｓ２３に移行する。
【００４５】
Ｓ２３では、領域移動制御部４１１は、Ｓ２２において取得された画像をもとにＳ２１において決定した所定の人物１１ｅの移動検出を行う。そして、領域移動制御部４１１は、人物１１ｅが移動していると判断した場合にはＳ２４に移行し、人物１１ｅが移動していないと判断した場合にはＳ２２に戻る。Ｓ２４では、領域移動制御部４１１は、Ｓ２１において決定された人物１１ｅの移動データを取得し、Ｓ２５に移行する。ここで、上記移動データは、画像上の移動距離とすることができる。
Ｓ２５では、領域移動制御部４１１は、Ｓ２４において取得された移動データをもとに検索対象領域を移動させ、Ｓ２６に移行する。Ｓ２６では、領域移動制御部４１１は、ユーザによる追跡対象の人物の選択が完了したか否かを判定し、完了していれば処理を終了し、完了していなければＳ２２に戻る。ここで、人物の選択が完了しているか否かは、図６のＳ１０における人物選択の完了の判定をもとに判断することができる。
【００４６】
以上のように、本実施形態における情報処理装置４００は、検索対象領域を、当該検索対象領域内の所定のオブジェクトの移動に合わせて移動させる。したがって、ユーザが追跡したい人物を指示しようとした瞬間にその人物が他の人物の後ろに隠れてしまった場合であっても、人物の重なりが解消されてユーザが追跡したい人物が再び現れた場合には、追跡対象候補としてユーザに提示することが可能になる。このように、情報処理装置４００は、ユーザの意図したオブジェクトを確実に選択させることができる。
【００４７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４８】
１００…情報処理システム、２００…ネットワークカメラ、４００…情報処理装置、４０１…映像取得部、４０２…映像表示部、４０３…位置指定部、４０４…オブジェクト検出部、４０５…特徴抽出部、４０６…映像切出し部、４０７…切出し映像表示部、４０８…オブジェクト選択部
【図１】
2018125587.tif 000003
【図２】
2018125587.tif 000004
【図３】
2018125587.tif 000005
【図４】
2018125587.tif 000006
【図５】
2018125587.tif 000007
【図６】
2018125587.tif 000008
【図７】
2018125587.tif 000009
【図８】
2018125587.tif 000010
【図９】
2018125587.tif 000011
【図１０】
2018125587.tif 000012