(57)【要約】      （修正有）【課題】複数の撮像手段の撮像範囲に跨っている行列を、ユーザが容易に確認できるようにする。【解決手段】表示システム１０００において、情報処理装置２００は、複数の撮像装置１００Ａ、１００Ｂによってそれぞれ撮像された画像から、複数の物体を含む行列領域をそれぞれ抽出する行列領域抽出部２０８と、行列領域抽出部により抽出された行列領域に関する情報を取得する行列情報管理部２０７と、行列領域抽出部により抽出された行列領域のうち関連性を有する複数の行列領域を、行列情報管理部により取得された情報に応じた表示方法で表示部２０４に表示させる表示制御手段と、を備える。【選択図】図１
2019121987.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段によってそれぞれ撮像された画像から、複数の物体を含む行列領域をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された行列領域に関する情報を取得する取得手段と、
前記抽出手段により抽出された行列領域のうち関連性を有する複数の行列領域を、前記取得手段により取得された情報に応じた表示方法で表示装置に表示させる表示制御手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記抽出手段により抽出された複数の行列領域のうち関連性を有する複数の行列領域を合成する合成手段をさらに備え、
前記表示制御手段は、
前記合成手段により合成された画像を前記表示装置に表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記行列領域に関する情報は、行列の位置、行列の方向、行列の長さおよび行列の待ち時間の少なくとも１つに関する情報を含むことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、
前記行列の位置に関する情報に基づいて、前記関連性を有する複数の行列領域を、実際の行列の位置に対応するよう配置して表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記表示制御手段は、
前記行列の方向に関する情報に基づいて、前記関連性を有する複数の行列領域を、直線状に整列するよう変形して表示させることを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記表示制御手段は、
前記行列の長さに関する情報に基づいて、前記関連性を有する複数の行列領域を、前記行列の長さに対応した長さに変形して表示させることを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記表示制御手段は、
前記行列の待ち時間に関する情報に基づいて、前記関連性を有する複数の行列領域を、前記行列の待ち時間に対応した長さに変形して表示させることを特徴とする請求項３から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記複数の撮像手段によってそれぞれ撮像された画像を前記表示装置へ表示させる第二の表示制御手段をさらに備え、
前記抽出手段は、
前記第二の表示制御手段により表示された画像内における前記行列領域の設定を受け付け、当該行列領域を抽出することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
複数の撮像手段によってそれぞれ撮像された画像から、複数の物体を含む行列領域を抽出するステップと、
抽出された前記行列領域に関する情報を取得するステップと、
抽出された前記行列領域のうち関連性を有する複数の行列領域を、前記行列領域に関する情報に応じた表示方法で表示装置に表示させるステップと、を含むことを特徴とする情報処理方法。
【請求項１０】
請求項１から８のいずれか１項に記載の情報処理装置と、
前記撮像手段をそれぞれ有し、前記情報処理装置とネットワークを介して接続された複数の撮像装置と、
前記情報処理装置とネットワークを介して接続された前記表示装置と、を備えることを特徴とする表示システム。
【請求項１１】
コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置により撮像された画像を解析して行列の待ち時間を予測する技術が注目されている。このような技術を用いることによって、行列の様子や待ち時間のデータを収集することができる。また、収集したデータを用いて、行列を形成する利用者に待ち時間を案内することもできる。
特許文献１には、撮像装置により撮像された画像を解析して待ち行列を識別し、模式化した待ち行列を表示することで、利用者が行列の様子を容易に確認できるようにするシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４０２５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、行列が複数の撮像装置の撮像範囲に跨って存在する場合、各々の画像に部分的に撮像された行列を確認することになり、利用者は行列全体の様子を把握することが困難になる。上記特許文献１に記載の技術では、この点については全く考慮されていない。
そこで、本発明は、複数の撮像手段の撮像範囲に跨って存在する行列を、ユーザが容易に確認できるようにすることを課題としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、複数の撮像手段によってそれぞれ撮像された画像から、複数の物体を含む行列領域をそれぞれ抽出する抽出手段と、前記抽出手段により抽出された行列領域に関する情報を取得する取得手段と、前記抽出手段により抽出された行列領域のうち関連性を有する複数の行列領域を、前記取得手段により取得された情報に応じた表示方法で表示装置に表示させる表示制御手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、複数の撮像手段の撮像範囲に跨って存在する行列を、ユーザが容易に確認できるようにすることができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態における表示システムの構成例を示す図である。
【図２】情報処理装置における表示制御処理手順を示すフローチャートである。
【図３】複数の撮像装置によって撮像される画像の一例である。
【図４】行列領域を表示する表示画面の一例である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【０００９】
（第一の実施形態）
図１は、本実施形態における表示システム１０００の構成例である。
本実施形態における表示システム１０００は、複数の撮像装置によって撮像された画像を解析し、解析結果をユーザに提示するシステムである。具体的には、表示システム１０００は、複数の撮像装置によって撮像された画像から、それぞれ複数の物体（本実施形態では、人体）を含む行列領域を抽出する。そして、表示システム１００は、抽出された行列領域のうち、関連性を有する複数の行列領域を、行列領域の情報（以下、「行列情報」ともいう。）に応じた表示方法で表示する。ここで、関連性を有する複数の行列領域は、複数の撮像装置の撮像領域に跨って存在する同じ行列を構成する行列領域であり、表示システム１００は、複数の撮像装置の撮像領域に跨って存在する行列を、ユーザが容易に確認できるように表示する。
なお、本実施形態では、行列を形成する物体を人体として説明するが、当該物体は、例えば車や動物などであってもよい。
【００１０】
図１に示すように、表示システム１０００は、複数の撮像装置１００Ａおよび１００Ｂと、情報処理装置２００と、を備える。撮像装置１００Ａおよび１００Ｂと情報処理装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。
撮像装置１００Ａおよび１００Ｂは、画像を撮像するカメラである。撮像装置１００Ａおよび１００Ｂは、例えば、監視に用いられる監視カメラなどとすることができる。撮像装置１００Ａおよび１００Ｂは、ネットワーク３００を介して撮像した画像を情報処理装置２００へ送信する。
【００１１】
撮像装置１００Ａおよび１００Ｂは、壁面や天井等に設置することができ、１枚以上の画像を含む映像を撮像するカメラであってもよい。また、撮像装置１００Ａおよび１００Ｂは、ＰｏＥ（Ｐｏｗｅｒ  Ｏｖｅｒ  Ｅｔｈｅｒｎｅｔ（登録商標））に対応していてもよいし、ＬＡＮケーブル等を介して電力が供給される構成でもよい。さらに、図１では、２台の撮像装置１００Ａ、１００Ｂがネットワーク３００に接続されているが、ネットワーク３００には２台以上の撮像装置が接続されていればよく、接続台数は図１に示す数に限定されない。
【００１２】
次に、撮像装置１００Ａの構成について説明する。本実施形態において、撮像装置１００Ａと撮像装置１００Ｂとは同様の構成を有するため、以下、撮像装置１００Ａの構成についてのみ説明する。
撮像装置１００Ａは、撮像部１０１Ａと、通信部１０２Ａと、ＣＰＵ１０３Ａと、記憶部１０４Ａと、を備える。
撮像部１０１Ａは、撮像光学系を構成するレンズ群及び撮像素子を備える。レンズ群は、入射光を結像するための光学レンズを有し、入射光を撮像素子に集光させる。撮像素子は、光をアナログ画像信号に変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等で構成することができる。撮像部１０１Ａは、撮像素子から得られるアナログ画像信号に画像処理を施し、信号を符号化して符号化画像信号を出力する。
【００１３】
通信部１０２Ａは、情報処理装置２００を含む外部機器との間の無線または有線の通信インタフェースを提供する。すなわち、通信部１０２Ａは、無線通信により情報処理装置２００等の外部機器と通信することができる。この無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚ−Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。
また、通信部１０２Ａは、有線のＬＡＮにより情報処理装置２００等の外部機器と通信してもよい。この有線ＬＡＮとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等の構成が挙げられる。なお、通信部１０２Ａは、外部機器と通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
【００１４】
ＣＰＵ１０３Ａは、撮像装置１００Ａの各部における演算や論理判断等の処理を行う演算処理部であり、システムバスを介して各構成部（１０１Ａ、１０２Ａおよび１０４Ａ）を制御する。撮像装置１００Ａの機能や処理は、ＣＰＵ１０３Ａが記憶部１０４Ａに格納されているプログラムを読み出し、このプログラムを実行することにより実現されてもよい。
記憶部１０４Ａは、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の電気的に消去可能な不揮発性メモリにより構成される。また、記憶部１０４Ａは、ＣＰＵ１０３Ａの主メモリ、ワークメモリとして機能するＲＡＭ、外部メモリ、着脱可能な記憶媒体等を含んでもよい。この記憶部１０４Ａには、ＣＰＵ１０３Ａが使用する各種情報が記録される。記憶部１０４Ａには、例えば、撮像部１０１Ａにより撮像された画像を記憶してもよい。
【００１５】
次に、情報処理装置２００の構成について説明する。
情報処理装置２００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）であってもよいし、タブレット端末、スマートフォン等の携帯用端末であってもよい。
情報処理装置２００は、通信部２０１、ＣＰＵ２０２、記憶部２０３、表示部２０４、および入力部２０５を備える。また、情報処理装置２００は、行列領域設定部２０６、行列情報管理部２０７、行列領域抽出部２０８、行列合成判断部２０９および行列領域合成部２１０を備える。
【００１６】
通信部２０１は、上述した撮像装置１００Ａの通信部１０２Ａと同様に、撮像装置１００Ａおよび１００Ｂを含む外部機器との間の無線または有線の通信インタフェースを提供する。通信部２０１Ａは、ネットワーク３００を介して撮像装置１００Ａ、１００Ｂから画像を受信するとともに、撮像装置１００Ａ、１００Ｂとの間でそれぞれ各種情報の通信を行う。
ＣＰＵ２０２は、上述した撮像装置１００ＡのＣＰＵ１０３Ａと同様に、情報処理装置２００の各部における演算や論理判断等の処理を行う演算処理部であり、システムバスを介して各構成部（２０１、２０３〜２１０）を制御する。
記憶部２０３は、上述した撮像装置１００Ａの記憶部１０４Ａと同様に、ＥＥＰＲＯＭ等の電気的に消去可能な不揮発性メモリにより構成される。また、記憶部２０３は、ＣＰＵ２０２の主メモリ、ワークメモリとして機能するＲＡＭ、外部メモリ、着脱可能な記憶媒体等を含んでもよい。
【００１７】
表示部２０４は、撮像装置１００Ａ、１００Ｂから受信した画像を表示したり、後述する行列領域や行列情報を表示したりする。なお、本実施形態では、情報処理装置２００が表示部２０４を備える構成について説明するが、上記構成に限定されるものではない。例えば、情報処理装置２００は、表示部２０４を備えず、外部の表示装置（クライアント装置）に画像を表示させる表示制御を行ってもよい。
入力部２０５は、マウス入力、キーボード入力、タッチ入力等の各種ユーザインタフェース（ＵＩ）を介してユーザからの指示入力を受け付ける。入力部２０５に、例えば撮像装置１００Ａの設定を変更する指示が入力されると、ＣＰＵ２０２は、入力された情報に基づいて撮像装置１００Ａの設定を変更するための制御命令を生成し、通信部２０１を介して撮像装置１００Ａへ生成された制御命令を出力する。このように、入力部２０５へ入力された情報に基づいて、情報処理装置２００は、撮像装置１００Ａ、１００Ｂの設定を適宜変更することができる。
【００１８】
行列領域設定部２０６は、撮像装置１００Ａ、１００Ｂにより撮像された画像から行列領域を設定する。行列領域設定部２０６は、ユーザが指定した行列領域に関する情報をもとに、行列領域を設定することができる。この場合、ユーザは、表示部２０４に表示された撮像装置１００Ａ、１００Ｂの画像を確認しながらマウス等の各種ＵＩを操作して、画像内における行列領域を指定する。そして、行列領域設定部２０６は、入力部２０５が受け付けた上記のユーザの指定をもとに行列領域を設定する。
なお、行列領域設定部２０６は、撮像装置１００Ａ、１００Ｂにより撮像された画像を解析し、画像に存在する人体の移動速度や、人体の密集度の高い領域を検出することで、行列領域を設定してもよい。その際、行列領域の設定には、任意のアルゴリズムを用いることができる。
【００１９】
行列情報管理部２０７は、行列領域設定部２０６により設定された行列領域に関する情報（行列情報）を管理する。行列情報は、行列の識別番号２０７ａ、行列の位置情報２０７ｂ、行列の方向と長さ２０７ｃおよび行列の待ち時間２０７ｄの少なくとも１つを含む。以下、行列情報管理部２０７が管理する行列情報について具体的に説明する。
行列の識別番号２０７ａは、複数の撮像装置が撮像している行列を区別するための番号であり、関連性を有する行列領域には同じ識別番号が付与される。ここで、関連性を有する行列領域とは、同じ行列を構成する行列領域である。行列の識別番号２０７ａは、ユーザが、画像の行列領域を指定する際に、撮像装置１００Ａ、１００Ｂの画像を確認しながら設定してもよい。また、後述する行列合成判断部２０９が、複数の画像間における対応点を検出した際に、関連性を有する行列領域同士で同じ識別番号を付与するようにしてもよい。
【００２０】
行列の位置情報２０７ｂは、行列領域設定部２０６により設定された行列領域の位置に関する情報である。行列の位置情報２０７ｂは、撮像装置１００Ａ、１００Ｂの位置と、撮像装置１００Ａ、１００Ｂの撮像方向および撮像画角とに基づいて決定することができる。ここで、撮像装置１００Ａ、１００Ｂの位置情報は、不図示のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により取得することができる。なお、撮像装置１００Ａ、１００Ｂの位置情報を取得する方法は、ＧＰＳを用いる方法に限定されるものではなく、屋内測位技術などの測位技術によって取得する方法であってもよい。
【００２１】
行列の方向と長さ２０７ｃは、行列領域設定部２０６により設定された行列領域の方向と長さに関する情報である。行列の方向は、行列領域を形成する人体の動き方向とすることができる。人体の動き方向は、行列領域を形成する人体と同じ人体を異なるフレームで検出し、当該人体を追跡することにより検出することができる。例えば、人体に含まれる色のヒストグラムの類似度をもとに人体を追跡し、人体の動き方向を検出すればよい。行列の長さは、行列領域を形成する人体の数をもとに計測することができる。
行列の待ち時間２０７ｄは、行列領域設定部２０６により設定された行列領域を形成する人の待ち時間である。行列の待ち時間２０７ｄは、実際に行列で待っている人の待ち時間を計測して設定してもよいし、待ち行列理論に基づいて待ち時間を推定してもよい。なお、待ち時間を推定する方法には、任意のアルゴリズムを用いることができる。
【００２２】
行列領域抽出部２０８は、行列領域設定部２０６により設定された行列領域を、撮像装置１００Ａ、１００Ｂによって撮像された画像からそれぞれ切り出す。
行列合成判断部２０９は、複数の撮像装置によって撮像された画像からそれぞれ抽出された行列領域が、関連性を有する行列領域であるか否か、つまり、同じ行列であるか否かを判断する。例えば、行列合成判断部２０９は、複数の撮像装置によってそれぞれ撮像された画像ごとに局所特徴量を抽出し、抽出した局所特徴量により画像間の点対応を検出することにより、同じ行列であるかを判断することができる。また、行列合成判断部２０９は、行列情報管理部２０７が管理する行列の識別番号２０７ａおよび位置情報２０７ｂをもとに、同じ行列であるかを判断してもよい。
【００２３】
行列領域合成部２１０は、行列領域抽出部２０８により抽出された行列領域を、行列合成判断部２０９による判断結果をもとに合成し、合成した画像を表示部２０４に表示させる表示制御を行う。画像の合成に際し、行列領域合成部２１０は、局所特徴量による画像間の点対応を検出し、検出した点対応を用いて画像間の移動量および変形量を推定する。そして、行列領域合成部２１０は、推定した移動量および変形量に従って画像の移動および変形を実行し、画像を合成する。また、本実施形態では、行列領域合成部２１０は、行列情報に基づいて、行列領域の合成方法を変更する。つまり、行列領域合成部２１０は、行列情報に基づいて、行列領域の表示方法を変更する。行列領域の合成方法（表示方法）の詳細については後述する。
なお、行列領域の合成方法には、任意のアルゴリズムを用いることができる。また、関連性を有する行列領域で画像間の点対応が存在しない場合は、行列領域の位置情報をもとに、存在しない行列領域を考慮した合成を行ってもよい。
【００２４】
以上のように、本実施形態における情報処理装置２００は、複数の撮像装置によってそれぞれ撮像された画像から、複数の物体を含む行列領域をそれぞれ抽出し、抽出された行列領域に関する情報（行列情報）を取得する。そして、情報処理装置２００は、画像から抽出された行列領域のうち関連性を有する複数の行列領域を、行列情報に応じた表示方法で表示部２０４に表示させる表示制御を行う。このように、情報処理装置２００は、複数の撮像装置によってそれぞれ撮像された関連性を有する行列領域を、関連付けて表示部２０４へ表示することができる。このため、ユーザは、複数の撮像装置の撮像範囲に跨って存在する行列の様子を容易に確認することができる。
【００２５】
次に、本実施形態におけるカメラ１００の動作について説明する。
図２は、情報処理装置２００が実行する表示制御処理の一例を示すフローチャートである。この図２の処理は、例えば、撮像装置１００Ａおよび１００Ｂにより画像の撮像が開始されたタイミングで開始される。ただし、図２の処理の開始タイミングは、上記のタイミングに限らない。
情報処理装置２００は、ＣＰＵ２０２が必要なプログラムを記憶部２０３から読み出して実行することにより、図２に示す処理を実現することができる。ただし、図１に示す情報処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図２の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２０２の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２６】
まずＳ１において、情報処理装置２００は、撮像装置１００Ａによって撮像された第１の画像を取得する。次にＳ２では、情報処理装置２００は、Ｓ１において取得された第１の画像において行列領域が設定されているか否かを判定し、行列領域が設定されてしない場合にはＳ３に移行し、行列領域が設定されている場合にはＳ４に移行する。Ｓ３では、情報処理装置２００は、Ｓ１において取得された第１の画像における行列領域の設定を行う。
Ｓ４では、情報処理装置２００は、撮像装置１００Ｂによって撮像された第２の画像を取得する。ここで、第２の画像は、Ｓ１において取得された第１の画像と同じタイミングで撮像された画像とする。次にＳ５では、情報処理装置２００は、Ｓ４において取得された第２の画像において行列領域が設定されているか否かを判定し、行列領域が設定されてしない場合にはＳ６に移行し、行列領域が設定されている場合にはＳ７に移行する。Ｓ６では、情報処理装置２００は、Ｓ４において取得された第２の画像における行列領域の設定を行う。
【００２７】
Ｓ７では、情報処理装置２００は、第１の画像および第２の画像においてそれぞれ設定された行列領域の情報を収集する。次に、Ｓ８では、情報処理装置２００は、第１の画像および第２の画像に同じ行列を構成する行列領域が存在するか否かを判定し、存在する場合にはＳ９に移行し、存在しない場合にはＳ１０に移行する。Ｓ９では、情報処理装置２００は、同じ行列を構成する行列領域を合成する。次に、Ｓ１０では、情報処理装置２００は、行列ごとに合成された画像を表示する。最後に、Ｓ１１では、情報処理装置２００は、撮像装置１００Ａ、１００Ｂによって撮像された次の画像が存在するか否かを判定し、次の画像が存在する場合にはＳ１へ戻り、次の画像が存在しない場合には処理を終了する。
【００２８】
以下、行列領域の表示例について具体的に説明する。
図３は、複数の撮像装置によって撮像された画像の一例である。この図３において、画像３１０は、第１の撮像装置によって撮像された画像、画像３２０は、第２の撮像装置によって撮像された画像、画像３３０は、第３の撮像装置によって撮像された画像、画像４１０は、第４の撮像装置によって撮像された画像を示している。
第１の撮像装置および第２の撮像装置は、同じ行列を撮像しており、第１の撮像装置の画像３１０には、行列領域３１１と行列領域３１２とが含まれ、第２の撮像装置の画像３２０には、行列領域３２１が含まれる。行列領域３１１、３１２および３２１は、タクシー３１３を待つ人により形成される同じ待ち行列を構成する。また、第３の撮像装置および第４の撮像装置は、同じ行列を撮像しており、第３の撮像装置の画像３３０には、行列領域３３１が含まれ、第４の撮像装置の画像３４０には、行列領域３４１が含まれる。行列領域３３１および３４１は、タクシー３４３を待つ人により形成される同じ待ち行列を構成する。第４の撮像装置の画像３４０には、さらに、行列領域３４２が含まれる。行列領域３４２は、タクシー３４４を待つ人により形成される待ち行列を構成する。
【００２９】
第１〜第４の撮像装置により、それぞれ図３に示す画像３１０〜３４０が撮像された場合、情報処理装置２００は、各画像から上記の行列領域を抽出し、抽出された複数の行列領域のうち、同じ行列を構成する行列領域を合成して表示部２０４へ表示させる。
上述したように、行列領域３１１、３１２および３２１は、同じ行列を構成する行列領域である。したがって、情報処理装置２００は、行列領域３１１、３１２および３２１を合成して表示部２０４に表示させる。同様に、情報処理装置２００は、行列領域３３１および３４１を合成して表示部２０４に表示させる。
行列領域の合成に際し、情報処理装置２００は、画像間の点対応を用いて単純に複数の行列領域を合成してもよい。つまり、同じ行列を構成する複数の行列領域を、実際の行列の位置に対応するよう配置して表示させてもよい。また、情報処理装置２００は、合成する行列領域の行列情報に基づいて、行列領域の合成方法を変更してもよい。
【００３０】
図４は、行列領域を表示する表示画面４００の一例である。この表示画面４００は、情報処理装置２００の表示部２０４に表示される画面である。
行列４０１は、図３の行列領域３１１、３１２および３２１を合成した行列である。この行列４０１は、行列を直線で表示するよう、行列領域３１１、３１２および３２１を変形して合成したものである。ここで、画像の変形は、画像の反転、回転、移動、拡大および縮小の少なくとも１つを含む。
具体的には、行列４０１は、図３の行列領域３１１を変形した行列領域３１１Ａと、図３の行列領域３２１を変形した行列領域３２１Ａと、図３の行列領域３１２を変形した行列領域３１２Ａとを含む。行列領域３１１Ａは、行列の方向が反対方向となるように行列領域３１１を反転させた画像である。行列領域３２１Ａは、行列の方向が一方向（図４では左右方向）となるように、行列領域３２１を部分的に反転、移動した画像である。また、行列領域３１１Ａ、３１２Ａおよび３２１Ａは、行列を形成する人が等間隔で表示されるように行列の長さを縮小した画像である。
【００３１】
また、行列領域３１１Ａと行列領域３２１Ａとの間の行列領域３５１Ａと、行列領域３２１Ａと行列領域３１２Ａとの間の行列領域３５２Ａとは、複数の撮像装置の画像に存在しない行列領域である。これら行列領域３５１Ａおよび３５２Ａは、図３に示す領域３５１および３５２にそれぞれ対応しており、行列領域３１１、３１２および３２１の位置情報をもとに生成され、合成することができる。
このように、関連性を有する複数の行列領域の方向がそれぞれ異なる場合、情報処理装置２００は、当該複数の行列領域を、直線状に整列するよう変形して表示させる。これにより、行列の方向を一方向に揃えることができ、ユーザは、全体の行列の長さを容易に確認することができる。また、このとき情報処理装置２００は、行列を形成する人を等間隔で表示するよう行列領域を変形して表示させる。つまり、情報処理装置２００は、関連性を有する複数の行列領域を、実際の行列の長さに対応した長さに変形して表示させる。これにより、ユーザは、行列待ちをする人数を容易に把握することができる。
【００３２】
行列４０２は、図３の行列領域３３１および３４１を合成した行列である。この行列４０２は、行列４０１と同様に、行列を直線で表示するよう、行列領域３３１および３４１を変形して合成したものである。さらに、行列４０２は、行列領域３３１および３４１を、行列の待ち時間に応じた長さに変形して合成している。
具体的には、行列４０２は、図３の行列領域３３１を変形した行列領域３３１Ａと、図３の行列領域３４１を変形した行列領域３４１Ａとにより構成される。行列領域３３１Ａは、行列の方向が一方向（図４では左右方向）となるように行列領域３３１を回転させ、行列の待ち時間に応じた長さに縮小した画像である。行列領域３４１Ａは、行列の待ち時間に応じた長さに行列領域３４１を縮小した画像である。
【００３３】
図３のタクシー３４３の待ち行列の１人当たりの待ち時間が、タクシー３１３やタクシー３４４の待ち行列の１人当たりの待ち時間と比較して短い場合、図４に示すように、行列を形成する人の間隔を他の行列と比較して狭くする。これにより、行列４０２の長さを待ち時間に応じて短く表示することができ、タクシー３４３の待ち時間が少ないことをユーザに提示することができる。つまり、ユーザは、行列の長さにかかわらず待ち時間を適切に把握することができる。
行列４０３は、行列領域３４２Ａにより構成される。図３の行列領域３４２は、他に関連性を有する行列領域が存在しないため、合成は行われずそのまま行列領域３４２Ａとして表示される。
【００３４】
以上説明したように、本実施形態における情報処理装置２００は、複数の撮像装置によってそれぞれ撮像された画像から、複数の物体を含む行列領域をそれぞれ抽出し、抽出された行列領域に関する情報（行列情報）を取得する。そして、情報処理装置２００は、抽出された行列領域のうち関連性を有する複数の行列領域を、行列情報に応じた表示方法で表示部２０４に表示させる。
このように、情報処理装置２００は、関連性を有する行列が複数の撮像装置の撮像範囲に跨って存在する場合、複数の撮像装置によって撮像された行列の画像を適切に配置して表示させることができる。したがって、ユーザは、複数の撮像装置によって撮像された行列を容易に確認することができる。ここで、関連性を有する行列は、例えば、同じタクシー乗り場にてタクシーを待つ複数の人により形成される１つの行列とすることができる。これにより、ユーザは、複数の撮像装置によって撮像された同じ行列の全体像を容易に把握することができる。
【００３５】
また、情報処理装置２００は、抽出された複数の行列領域のうち関連性を有する複数の行列領域を合成し、合成された画像を表示部２０４に表示させる。このように、情報処理装置２００は、関連性を有する複数の行列領域の画像を１つの画像に合成して表示させるので、ユーザは、複数の撮像装置によって撮像された行列を容易かつ適切に確認することができる。
ここで、上記行列情報は、行列の位置、行列の方向、行列の長さおよび行列の待ち時間の少なくとも１つに関する情報を含む。したがって、情報処理装置２００は、行列の長さや待ち時間といった行列の様子を、ユーザが確認しやすい形で適切に表示させることができる。
【００３６】
具体的には、情報処理装置２００は、行列の位置情報に基づいて、関連性を有する複数の行列領域を、実際の行列の位置に対応するよう配置して表示させることができる。また、情報処理装置２００は、行列の方向に基づいて、関連性を有する複数の行列領域を、直線状に整列するよう変形して表示させることもできる。さらに、情報処理装置２００は、関連性を有する複数の行列領域を、行列の長さに対応した長さに変形して表示させるもできる。また、情報処理装置２００は、関連性を有する複数の行列領域を、行列の待ち時間に対応した長さに変形して表示させるもできる。
したがって、実際の行列が複雑な形状であっても、ユーザは、行列の長さを容易に把握することができる。また、ユーザは、行列の実際の長さにかかわらず、行列の待ち時間を把握することも可能である。
【００３７】
さらに、情報処理装置２００は、複数の撮像装置によってそれぞれ撮像された画像を表示部２０４へ表示させ、表示された画像内における行列領域の設定をユーザから受け付けることで、行列領域を設定し抽出するようにしてもよい。この場合、画像から行列領域を適切に抽出することができる。また、情報処理装置２００は、ユーザが指定した行列領域を抽出するので、ユーザが確認したい行列を表示させることができ、ユーザの要求に応じた表示制御が可能となる。
【００３８】
（変形例）
上記実施形態においては、複数の撮像装置によって撮像された画像からそれぞれ抽出された行列領域のうち関連性を有する複数の行列領域を、行列情報に応じた合成方法により合成して表示させる場合について説明した。しかしながら、関連性を有する複数の行列領域を１つの画像に合成せず、当該複数の行列領域を行列情報に応じた表示方法により表示させるだけでもよい。例えば、複数の行列領域を、行列情報に基づいて変形し、互いに近接させて表示するようにしてもよい。
また、上記実施形態においては、図４に示すように、表示画面４００に行列の画像のみを表示させる場合について説明したが、行列の画像とともに行列情報を表示させてもよい。その場合、表示画面４００に表示させる行列情報をユーザが選択可能であってもよい。
【００３９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４０】
１００Ａ、１００Ｂ…撮像装置、２００…情報処理装置、２０１…通信部、２０２…ＣＰＵ、２０３…記憶部、２０４…表示部、２０５…入力部、２０６…行列領域設定部、２０７…行列情報管理部、２０８…行列領域抽出部、２０９…行列合成判断部、２１０…行列領域合成部、３００…ネットワーク
【図１】
2019121987.tif 000003
【図２】
2019121987.tif 000004
【図３】
2019121987.tif 000005
【図４】
2019121987.tif 000006