(57)【要約】  データ処理装置は、各カメラが撮影した撮影画像それぞれを取得する。データ処理装置２は、撮影画像を画像認識することにより、撮影画像を撮影した撮影側カメラと、撮影画像に被写体として写っている被写体カメラとの相対的な位置関係を算出する。データ処理装置２は、撮影画像それぞれについて算出された位置関係を集約して、１のカメラを基準とした、他のカメラの相対的な位置および向きを算出する。算出結果に基づいて、ユーザによる撮影画像の選択を支援するためのユーザインタフェースを生成する。
2008087974.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラの位置関係を管理するデータ処理装置であって、
前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得部と、
個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識部と、
検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出部と、
前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定部と、
前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算部と、
算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理部とを備える
ことを特徴とするデータ処理装置。
【請求項２】
前記判定部は、前記相対情報において座標系の基準となる原点カメラが基準カメラであるか判定し、基準カメラではないと判定され、かつ、前記相対情報の撮影側カメラまたは被写体カメラが所定の条件を満たす場合に、前記変換をすると判定する
ことを特徴とする請求項１記載のデータ処理装置。
【請求項３】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、算出された相対情報それぞれを保持するデータ管理部を含み、
前記判定部は、前記データ管理部に保持されている相対情報それぞれを順次読み出し、読み出した相対情報の撮影側カメラと被写体カメラのいずれもが、基準カメラでもなく、かつ、前記相対位置情報において基準情報が登録されているカメラでもない場合は、当該読み出した相対情報を前記データ管理部に返還する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項４】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されていないものである場合、当該相対情報に示される撮影側カメラと被写体カメラとの位置関係を前記基準情報として前記相対位置情報に登録する
ことを特徴とする請求項１記載のデータ処理装置。
【請求項５】
前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されているものである場合、当該相対情報を前記相対位置情報に追加することなく破棄する
ことを特徴とする請求項４記載のデータ処理装置。
【請求項６】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラでない場合、前記変換をすると判定する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項７】
前記相対情報変換演算部は、
前記基準情報に示される、基準カメラと前記判定にかかる相対情報の原点カメラとの位置関係を用いて、当該相対情報を、基準カメラの座標系を基準とした、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラの座標および／または撮影方向を示す情報へと変換する
ことを特徴とする請求項６記載のデータ処理装置。
【請求項８】
前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラである場合、当該相対情報を前記相対位置情報に追加することなく破棄する
ことを特徴とする請求項６記載のデータ処理装置。
【請求項９】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報において原点カメラを基準とした座標系における位置関係が示されているカメラが基準カメラである場合であって、当該相対情報の原点カメラが前記相対位置情報において基準情報が登録されていないものである場合、前記変換をすると判定する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項１０】
前記相対情報変換演算部は、
前記相対情報に示されるカメラ間の位置関係の逆ベクトルを算出することにより、基準カメラの座標系を基準とした原点カメラの座標および／または撮影方向を示す情報への前記変換を行う
ことを特徴とする請求項９記載のデータ処理装置。
【請求項１１】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報の原点カメラが基準カメラではない場合であって、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラが前記相対位置情報において基準情報が登録されているものである場合、前記変換をすると判定する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項１２】
前記相対情報変換演算部は、
前記基準情報に示される、前記判定にかかる相対情報の原点カメラとの位置関係が示されているカメラと基準カメラとの位置関係と、当該相対情報に示される、撮影側カメラと被写体カメラとの位置関係とを用いてベクトル演算することにより、基準カメラの座標系を基準とした撮影側カメラの座標および撮影方向を示す情報への前記変換を行う
ことを特徴とする請求項１１記載のデータ処理装置。
【請求項１３】
前記データ処理装置は、さらに、
前記生成された相対位置情報に基づいて、前記複数のカメラのうち基準カメラの座標系を基準とした各カメラの座標および向きを示す画像データを生成して、生成した画像データを用いて、各撮影画像データを選択するためのユーザインタフェースを表示部に表示させる画像選択支援部を備える
ことを特徴とする請求項１記載のデータ処理装置。
【請求項１４】
前記ユーザインタフェースは、
生成した前記画像データを表示するカメラ間位置関係表示領域と、
選択されたカメラの撮影画像データを表示する撮影画像表示領域とを含み、
前記画像選択支援部は、
前記撮影画像表示領域において表示されている撮影画像データの撮影側カメラの撮影範囲に入っているカメラの、当該撮影画像データにおける位置を特定する位置特定部と、
前記位置特定部により特定された位置に基づいた位置に、カメラを識別する画像である被写体識別画像を当該撮影画像データにオーバーレイ表示するオーバーレイ表示部とを含む
ことを特徴とする請求項１２記載のデータ処理装置。
【請求項１５】
前記画像選択支援部は、
前記オーバーレイ表示部によりオーバーレイ表示されている被写体識別画像を選択する操作を受け付けると、選択された被写体識別画像により識別されるカメラの撮影画像を前記撮影画像表示領域に表示する
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１６】
前記オーバーレイ表示部は、各カメラに色を割り当てて、各カメラの被写体識別画像を、そのカメラに割り当てた色によりオーバーレイ表示し、
前記画像選択支援部は、各カメラを示す画像が、各カメラに割り当てられた色により視覚的に区別されて表示されるよう前記画像データを生成する
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１７】
前記オーバーレイ表示部は、
撮影画像データを撮影した撮影側カメラから前記被写体識別画像により示されるカメラまでの距離を視覚的に区別できるよう、前記被写体識別画像を前記距離に応じてそれぞれ異なる態様で表示する
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１８】
前記位置特定部は、
表示されている撮影画像データの撮影側カメラを基準カメラとした前記相対位置情報に示される各カメラの座標または前記撮影側カメラを原点カメラとする相対情報の少なくともいずれか一方、および、当該撮影側カメラの撮影範囲を示す撮影範囲情報に基づいて、前記特定を行う
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１９】
前記位置特定部は、前記撮影範囲に入っているカメラそれぞれについて、前記撮影画像データにおいて被写体として写っている被写体カメラであるか、隠れたカメラであるかを、前記相対位置情報に示される各カメラの座標に基づいて判定し、
前記オーバーレイ表示部は、撮影範囲に入っているカメラが被写体カメラであるか、あるいは隠れたカメラであるかを視覚的に区別できる態様で前記被写体識別画像をオーバーレイ表示する
ことを特徴とする請求項１８記載のデータ処理装置。
【請求項２０】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記データ処理装置は、所定の時刻ごとに前記相対位置情報を生成し、
所定の時刻における相対位置情報において、前記基準情報のない不定カメラがある場合、その所定の時刻の前後の時刻における相対位置情報に示される不定カメラの座標および撮影方向に基づいて、基準カメラの座標系を基準とした、前記所定の時刻における前記不定カメラの座標および撮影方向を補完する
ことを特徴とする請求項１記載のデータ処理装置。
【請求項２１】
複数のカメラの位置関係を管理するデータ処理方法であって、
前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、
個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、
検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、
前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、
前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、
算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含む
ことを特徴とするデータ処理方法。
【請求項２２】
複数のカメラの位置関係を管理するための各ステップをデータ処理装置に実行させる制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記制御プログラムは、
前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、
個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、
検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、
前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、
前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、
算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含む
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラの位置関係を算出する技術、および、算出した位置関係に基づいてユーザインタフェースを生成する技術に関する。
【背景技術】
【０００２】
複数のカメラが互いに撮影しあう、または撮影しうる状況にある場合、各カメラの位置関係を示す情報が有用であることがある。
例えば、人などの移動体にウェアラブルカメラを装着して、ウェアラブルカメラで撮影しながら各移動体がそれぞれ移動する場合（例えば会議やパーティなどで各人がカメラを装着する場合）、それぞれのカメラは、特定の被写体を撮影し続けることもなく、撮影対象が不定となることがある。この場合、ユーザは、撮影画像を見ただけでは、撮影画像に写っていない情報について知ることが出来ない。例えば、被写体の陰に隠れた物体が何であるか、などである。しかし、各カメラの位置関係がわかっていると、ユーザは、例えば、被写体の陰を撮影しているカメラを容易に特定することができる。また、撮影された場の状況を異なる角度から見ることも容易となる。【０００３】
上記利点は一例であるが、このように、各カメラの位置関係を示す情報はさまざまな用途に用いうるため、このような情報を容易に生成したいという要望がある。
このような要望を満たすために、以下の方法が考えられる。
例えば、無線通信を行う基地局や、GPS（Global Positioning System）を用いることにより、各カメラのグローバル座標系における位置を測定する。各カメラについてグローバル座標系における位置が求まると、これを用いて、カメラ同士の位置関係を算出することができる。なお、基地局を用いて現在地を割り出す技術が、下記の特許文献１および２に記載されている。
【特許文献１】日本国特許公開公報  特開１０−２３９４１６
【特許文献２】日本国特許公開公報  特開２００５−８６５７９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記のように、グローバル座標系における位置を求めるには、GPSや基地局などが必要となる。つまり、屋内や地下など衛星からの電波が届かない場所ではGPSを用いた位置関係の算出は困難であるし、また、基地局を用いて位置を求めるには、基地局を適切に設置する必要がある。
そこで、本発明は、GPSや基地局など、グローバル座標系における位置を測定する手段を用いることなく、各カメラの位置関係を算出することができるデータ処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、複数のカメラの位置関係を管理するデータ処理装置であって、前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得部と、個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識部と、検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出部と、前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定部と、前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算部と、算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理部とを備えることを特徴とする。
【発明の効果】
【０００６】
上記データ処理装置は、画像認識を行うことにより、まず、撮影画像データについて撮影を行った撮影カメラと、撮影画像データに被写体として写った被写体カメラとの位置関係が、各撮影画像データについて算出される。算出の結果、相対情報が生成される。
この相対情報を用いると、例えば、ある相対情報にはカメラ１とカメラ２の位置関係が示されていて、ある相対情報にはカメラ２とカメラ３との位置関係が示されていれば、これらを合成することで、カメラ１とカメラ３の位置関係を算出しうる。この処理を繰り返すことにより、各カメラの位置関係を算出することができる。【０００７】
上記データ処理装置は、判定部を備えることにより、必要であれば相対情報変換演算部を用いて相対情報の変換を行うことができる。このように変換を行うことで、上記合成を行うことができ、その結果、複数のカメラのうち１のカメラの座標系を基準とした各カメラの座標および撮影方向を示す情報（相対位置情報）が得られる。
したがって、上記データ処理装置は、GPSや基地局など、外部と通信するための構成を備えずとも、カメラ間の位置関係を算出することができる。つまり、カメラ間の位置関係を算出するための制約が緩くなる。【０００８】
上記構成において、具体的には、前記判定部は、前記相対情報において座標系の基準となる原点カメラが基準カメラであるか判定し、基準カメラではないと判定され、かつ、前記相対情報の撮影側カメラまたは被写体カメラが所定の条件を満たす場合に、前記変換をすると判定するデータ処理装置である。
この構成により、基準カメラが撮影した撮影画像に基づく相対情報以外の相対情報を、相対位置情報の生成に用いることができる。【０００９】
この構成において、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、算出された相対情報それぞれを保持するデータ管理部を含み、前記判定部は、前記データ管理部に保持されている相対情報それぞれを順次読み出し、読み出した相対情報の撮影側カメラと被写体カメラのいずれもが、基準カメラでもなく、かつ、前記相対位置情報において基準情報が登録されているカメラでもない場合は、当該読み出した相対情報を前記データ管理部に返還することとするとよい。【００１０】
相対情報が相対位置情報の生成に用いることが出来ない場合であっても、他のカメラと基準カメラとの位置関係が算出された後であれば、その他のカメラにかかる相対情報を用いて、さらに相対位置情報に情報を追加しうる。
上記構成によると、相対情報が相対位置情報の生成に用いることが出来ない場合は、いったん相対情報をデータ管理部に返還するので、カメラ間の位置関係をより精度よく求めることができる。【００１１】
また、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されていないものである場合、当該相対情報に示される撮影側カメラと被写体カメラとの位置関係を前記基準情報として前記相対位置情報に登録するとすることもできる。【００１２】
この構成により、相対位置情報を効率良く生成することが出来る。
この構成において、前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されているものである場合、当該相対情報を前記相対位置情報に追加することなく破棄するとすることもできる。【００１３】
これにより、相対位置情報に既に登録されている情報が再度登録されるのを防ぐことができ、相対位置情報が冗長になるのを避けることが出来る。
また、具体的には、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラでない場合、前記変換をすると判定するデータ処理装置である。【００１４】
この場合において、前記相対情報変換演算部は、前記基準情報に示される、基準カメラと前記判定にかかる相対情報の原点カメラとの位置関係を用いて、当該相対情報を、基準カメラの座標系を基準とした、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラの座標および／または撮影方向を示す情報へと変換することとしてもよい。【００１５】
これにより、基準カメラとの位置関係が既知のカメラが撮影側カメラの場合に、この撮影側カメラが写している被写体カメラについての、基準カメラの座標系を基準とした座標および向きを相対位置情報に登録することが出来る。
また、前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラである場合、当該相対情報を前記相対位置情報に追加することなく破棄することとしてもよい。【００１６】
これにより、相対位置情報に既に登録されている情報が再度登録されるのを防ぐことができ、相対位置情報が冗長になるのを避けることが出来る。
また、具体的には、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報において原点カメラを基準とした座標系における位置関係が示されているカメラが基準カメラである場合であって、当該相対情報の原点カメラが前記相対位置情報において基準情報が登録されていないものである場合、前記変換をすると判定するデータ処理装置である。【００１７】
この場合において、前記相対情報変換演算部は、前記相対情報に示されるカメラ間の位置関係の逆ベクトルを算出することにより、基準カメラの座標系を基準とした原点カメラの座標および／または撮影方向を示す情報への前記変換を行うこととしてもよい。
これにより、基準カメラを撮影している撮影側カメラについての、基準カメラの座標系を基準とした座標および向きを相対位置情報に登録することが出来る。【００１８】
また、具体的には、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報の原点カメラが基準カメラではない場合であって、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラが前記相対位置情報において基準情報が登録されているものである場合、前記変換をすると判定するデータ処理装置である。【００１９】
この場合において、前記相対情報変換演算部は、前記基準情報に示される、前記判定にかかる相対情報の原点カメラとの位置関係が示されているカメラと基準カメラとの位置関係と、当該相対情報に示される、撮影側カメラと被写体カメラとの位置関係とを用いてベクトル演算することにより、基準カメラの座標系を基準とした撮影側カメラの座標および撮影方向を示す情報への前記変換を行うこととしてもよい。【００２０】
これにより、基準カメラとの位置関係が既知のカメラを撮影している撮影側カメラがある場合に、この撮影側カメラについて、基準カメラの座標系を基準とした座標および向きを相対位置情報に登録することができる。
ここで、上記生成される相対位置情報を用いて、以下のようにしてもよい。
すなわち、前記データ処理装置は、さらに、前記生成された相対位置情報に基づいて、前記複数のカメラのうち基準カメラの座標系を基準とした各カメラの座標および向きを示す画像データを生成して、生成した画像データを用いて、各撮影画像データを選択するためのユーザインタフェースを表示部に表示させる画像選択支援部を備えることとしてもよい。【００２１】
これにより、ユーザが撮影画像データを選択するのを支援することができる。
また、この場合において、前記ユーザインタフェースは、生成した前記画像データを表示するカメラ間位置関係表示領域と、選択されたカメラの撮影画像データを表示する撮影画像表示領域とを含み、前記画像選択支援部は、前記撮影画像表示領域において表示されている撮影画像データの撮影側カメラの撮影範囲に入っているカメラの、当該撮影画像データにおける位置を特定する位置特定部と、前記位置特定部により特定された位置に基づいた位置に、カメラを識別する画像である被写体識別画像を当該撮影画像データにオーバーレイ表示するオーバーレイ表示部とを含むこととしてもよい。【００２２】
これによると、撮影画像データに被写体として写っている被写体カメラがどのカメラであるか、ユーザに容易に識別させることができる。
また、この場合において、前記画像選択支援部は、前記オーバーレイ表示部によりオーバーレイ表示されている被写体識別画像を選択する操作を受け付けると、選択された被写体識別画像により識別されるカメラの撮影画像を前記撮影画像表示領域に表示することとしてもよい。【００２３】
また、前記オーバーレイ表示部は、各カメラに色を割り当てて、各カメラの被写体識別画像を、そのカメラに割り当てた色によりオーバーレイ表示し、前記画像選択支援部は、各カメラを示す画像が、各カメラに割り当てられた色により視覚的に区別されて表示されるよう前記画像データを生成することとしてもよい。
また、前記オーバーレイ表示部は、撮影画像データを撮影した撮影側カメラから前記被写体識別画像により示されるカメラまでの距離を視覚的に区別できるよう、前記被写体識別画像を前記距離に応じてそれぞれ異なる態様で表示することとしてもよい。【００２４】
また、この場合において、前記位置特定部は、表示されている撮影画像データの撮影側カメラを基準カメラとした前記相対位置情報に示される各カメラの座標または前記撮影側カメラを原点カメラとする相対情報の少なくともいずれか一方、および、当該撮影側カメラの撮影範囲を示す撮影範囲情報に基づいて、前記特定を行うこととしてもよい。
これによると、各カメラの座標に基づいて前記特定を行うので、相対位置情報を用いて前記特定を行った場合は、撮影画像データにおいて被写体として写っていないカメラについても、そのカメラの位置を撮影画像データに表示することができる。【００２５】
さらに、前記位置特定部は、前記撮影範囲に入っているカメラそれぞれについて、前記撮影画像データにおいて被写体として写っている被写体カメラであるか、隠れたカメラであるかを、前記相対位置情報に示される各カメラの座標に基づいて判定し、前記オーバーレイ表示部は、撮影範囲に入っているカメラが被写体カメラであるか、あるいは隠れたカメラであるかを視覚的に区別できる態様で前記被写体識別画像をオーバーレイ表示することとしてもよい。【００２６】
これにより、被写体として写っていないカメラが存在することを、ユーザに容易に認識させることができる。
また、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記データ処理装置は、所定の時刻ごとに前記相対位置情報を生成し、所定の時刻における相対位置情報において、前記基準情報のない不定カメラがある場合、その所定の時刻の前後の時刻における相対位置情報に示される不定カメラの座標および撮影方向に基づいて、基準カメラの座標系を基準とした、前記所定の時刻における前記不定カメラの座標および撮影方向を補間することとしてもよい。【００２７】
これにより、位置関係が不明なカメラがあったとしても、前後の時間帯の相対位置情報を用いて、その位置関係を補間することができる。
また、本発明は、複数のカメラの位置関係を管理するデータ処理方法であって、前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含むことを特徴とするデータ処理方法でもある。【００２８】
また、本発明は、複数のカメラの位置関係を管理するための各ステップをデータ処理装置に実行させる制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記制御プログラムは、前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含むことを特徴とする記録媒体でもある。
【図面の簡単な説明】
【００２９】
【図１】本発明における、各カメラの撮影状況の一例を示す図。
【図２】本発明のデータ処理システムの概略を示す機能ブロック図。
【図３】相対情報算出部６の詳細を示す機能ブロック図。
【図４】二次元マーカー３０を示す図。
【図５】マッチングテーブル３６を示す図。。
【図６】撮影画像に写った二次元マーカー３０を示す図。
【図７】撮影側カメラと被写体カメラとの相対的な位置関係を示す図。
【図８】相対情報を示す図。
【図９】位置関係算出部７の詳細を示す機能ブロック図。
【図１０】キューに登録されている相対情報を示す図。
【図１１】相対位置情報６０を示す図。
【図１２】データ処理装置２の動作の全体を示すフローチャート。
【図１３】相対情報算出部６の動作の詳細を示すフローチャート。
【図１４】位置関係算出部７の動作の詳細を示すフローチャート。
【図１５】データ判定部５４による判定処理の詳細を示す図。
【図１６】対象カメラと撮影側カメラとが同一の場合における、変換演算の演算方法を示す図。
【図１７】基準カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図。
【図１８】対象カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図。
【図１９】画像選択支援部８により生成される画像の一例を示す図。
【図２０】ユーザインタフェースの一例を示す図。
【図２１】ユーザインタフェースの一例を示す図。
【図２２】各カメラを基準とした他カメラとの位置関係を示す図。
【図２３】ユーザインタフェースの一例を示す図。
【図２４】被写体カメラに隠れたカメラの有無の判定方法を示す図。
【図２５】表示端末１０００の外装を示す図。
【図２６】データ処理システムの構成を示す図。
【符号の説明】
【００３０】
１  カメラ
２  データ処理装置
３  表示部
６  相対情報算出部
７  位置関係算出部
８  画像選択支援部
１１  撮影画像取得部
１２  同時刻撮影画像抽出部
１３  撮影側カメラ識別部
１４  画像認識部
１５  被写体カメラ識別部
１６  被写体カメラ情報算出部
１７  被写体カメラ向き算出部
１８  被写体カメラ座標算出部
１９  相対情報生成部
５１  相対情報取得部
５２  基準カメラ設定部
５３  データ管理部
５４  データ判定部
５５  相対位置情報管理部
５６  相対情報変換演算部
【発明を実施するための最良の形態】
【００３１】
＜実施の形態１＞
以下、本発明にかかるデータ処理装置、および、データ処理装置を用いたデータ処理システムについて、一実施形態を、図面を用いて説明する。
１  概要
図１は、本発明における、各カメラの撮影状況の一例を示す図である。【００３２】
本発明では、図１に示すように、各人がカメラ（１ａ、１ｂ、１ｃ、・・）を装着して撮影を行う状況を想定している。そして、各カメラが撮影した撮影画像に基づいて、各カメラの位置関係を算出する。また、カメラと人とは一対一に対応しているものとする。各人は、動き回っていても良いし、あまり移動しなくてもよい。本発明では、各時刻におけるカメラ間の相対的な位置関係、すなわち各人の位置関係を算出する。【００３３】
なお、本実施形態では、カメラ間の位置関係を算出すると、算出した位置関係を用いて、カメラが撮影した撮影画像の選択を支援する画像選択支援システムを提供することとしている。他にも、算出した位置関係を、そのまま画像として表示するだけでも有用であり、カメラ間の位置関係は、様々な用途に用いることができる。
以下、具体的に説明する。【００３４】
２  構成
図２は、本発明のデータ処理システムの概略を示す機能ブロック図である。
図２に示すように、データ処理システムは、複数のカメラ（１ａ、１ｂ、１ｃ、・・）と、データ処理装置２と、表示部３とからなる。
２．１  カメラ
複数のカメラ（１ａ、１ｂ、１ｃ、・・）のそれぞれは、本実施形態では、所定時間間隔で静止画の撮影を行う。なお、各カメラが撮影する静止画には、撮影を行ったカメラを識別する情報や、撮影を行った撮影日時などの情報がメタデータとして付与される。【００３５】
２．２  データ処理装置２
データ処理装置２は、後述する位置関係算出部７により、複数のカメラの位置関係を管理する。具体的には、データ処理装置２は、カメラそれぞれが生成する撮影画像を、各カメラから受信し、受信した撮影画像に基づいて、ある時点における各カメラの位置関係を算出する。なお、位置関係とは、あるカメラを基準としたときの、他のカメラの座標および向きのことをいう。【００３６】
また、算出した位置関係を用いて様々な処理を行うことができるが、本実施形態では、データ処理装置２は、後述する画像選択支援部８により、ユーザが各カメラの撮影画像を選択するのを支援するユーザインタフェースを生成する。データ処理装置２の詳細な構成は後述する「２．４  データ処理装置２の詳細」において説明する。
２．３  表示部３
表示部３は、データ処理装置２から出力される画像信号を受信して、受信した画像信号に基づいて画像を表示する。例えばLCD（Liquid Crystal Display）、PDP（Plasma Display Panel）、有機EL（Organic Electro-Luminescence）などとして実現される。【００３７】
２．４  データ処理装置２の詳細
ここで、データ処理装置２を詳しく説明する。
図２に示すように、データ処理装置２は、相対情報算出部６と、位置関係算出部７と、画像選択支援部８とを含んでいる。
相対情報算出部６は、複数のカメラそれぞれが生成する撮影画像を取得して、撮影画像それぞれを解析し、撮影画像それぞれについて、撮影画像を撮影した撮影側カメラと、撮影画像に被写体として写った被写体カメラとの相対的な位置関係を算出する。具体的には図３を用いて後述する。【００３８】
位置関係算出部７は、撮影画像それぞれについての相対情報算出部６の算出結果に基づいて、複数のカメラのうち１のカメラを基準としたときの、各カメラの相対的な位置関係を算出する。具体的には図９を用いて後述する。
画像選択支援部８は、位置関係算出部７の算出結果に基づいて、ユーザインタフェースを生成し、ユーザインタフェースを表示部３に表示させるための画像信号を表示部３に出力する。【００３９】
２．５  相対情報算出部６の詳細
ここで、相対情報算出部６を、詳しく説明する。
図３は、相対情報算出部６の詳細を示す機能ブロック図である。
相対情報算出部６は、撮影画像取得部１１と、同時刻撮影画像抽出部１２と、撮影側カメラ識別部１３と、画像認識部１４と、被写体カメラ識別部１５と、被写体カメラ情報算出部１６と、被写体カメラ向き算出部１７と、被写体カメラ座標算出部１８と、相対情報生成部１９とからなる。【００４０】
２．５．１  撮影画像取得部１１
撮影画像取得部１１は、各カメラが撮影した撮影画像を取得する。例えば、各カメラと接続したり、各カメラの撮影画像を記録した記録媒体と接続し、記録媒体から撮影画像を読み出したりする等により各カメラの撮影画像を取得する。
２．５．２  同時刻撮影画像抽出部１２
同時刻撮影画像抽出部１２は、各撮影画像にメタデータとして付与されている撮影日時を参照して、各カメラから取得した撮影画像それぞれのうち、予め設定されている設定時刻に基づいて、撮影画像を抽出する。【００４１】
２．５．３  撮影側カメラ識別部１３
撮影側カメラ識別部１３は、撮影画像に付されたメタデータを参照し、撮影画像の撮影を行った撮影側カメラの識別情報を取得する。
２．５．４  画像認識部１４
画像認識部１４は、撮影画像の画像認識を行って、撮影画像に被写体として写っている被写体カメラを識別するための領域を検出する。具体的には、本実施形態では、二次元マーカーを用いて、上記検出を行うこととする。詳細は図４等を用いて後述する。【００４２】
２．５．５  被写体カメラ識別部１５
被写体カメラ識別部１５は、画像認識によって検出された領域に基づいて、被写体カメラの識別情報を取得する。詳細は図４等を用いて後述する。
２．５．６  被写体カメラ情報算出部１６
被写体カメラ情報算出部１６は、撮影画像について、撮影側カメラと被写体カメラとの相対的な位置関係を算出する。本実施形態では、撮影側カメラのカメラ座標系を基準とした場合の、撮影側カメラと被写体カメラとの位置関係を算出する。【００４３】
具体的には、被写体カメラ情報算出部１６は、被写体カメラ向き算出部１７と、被写体カメラ座標算出部１８とを含んでいる。
被写体カメラ向き算出部１７は、撮影側カメラのカメラ座標系を基準とした場合の、被写体カメラの向きを算出する。ここで、被写体カメラの向きとは、被写体カメラが撮影を行っている方向のことをいう。【００４４】
また、被写体カメラ座標算出部１８は、撮影側カメラのカメラ座標系を基準とした場合の、被写体カメラの座標を算出する。
２．５．６．１  被写体カメラ識別部１５等の詳細な説明の概略
ここで、被写体カメラ識別部１５と被写体カメラ情報算出部１６とについて詳しく説明する。すなわち、撮影画像の画像認識を行って、
（ｉ）被写体カメラ識別部１５が被写体カメラを識別し、
（ｉｉ）被写体カメラ情報算出部１６が被写体カメラと撮影側カメラとのうちいずれか一方のカメラ座標系を基準とした場合の、他方のカメラの相対的な座標および向きを算出する方法について説明する。【００４５】
本実施形態では、具体的には、各カメラの所定位置に二次元マーカーを付しておき、撮影側カメラが撮影した撮影画像に写っている二次元マーカーを画像認識部１４が撮影画像から検出する。
こうすることにより、被写体カメラ識別部１５や被写体カメラ情報算出部１６は、（ｉ）被写体カメラの識別や、（ｉｉ）上記相対的な座標および向きの算出を行う。なお、マーカーのパラメータ（マーカーの大きさ、形状など）やカメラのパラメータ（焦点距離、撮像解像度など）が既知のときに、撮影画像に写った二次元マーカーを検出して、（ｉ）二次元マーカーの識別と、（ｉｉ）カメラと二次元マーカーとの相対的な位置関係の算出とを行う技術は、様々なものが知られており、実際に用いられている。例えば、非特許文献  Kato, H., Billinghurst, M. (1999) Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System. In Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). October, San Francisco, USA.
などの文献により公知となっている。そこで、以下の説明では、詳細な説明は省略し、本実施形態における具体的な実施方法を簡単に説明することとする。【００４６】
２．５．６．２  被写体カメラ識別部１５の詳細
まず、（ｉ）被写体カメラ識別部１５が被写体カメラを識別する方法について説明する。
図４は、二次元マーカー３０を示す図である。
二次元マーカー３０は、図示するように４つの頂点を有する四角形の形状をしており、カメラそれぞれの所定位置に付されている。なお、二次元マーカー３０のパラメータ（マーカーの寸法、大きさ、形状など）や、各カメラのパラメータ（焦点距離、撮像解像度など）は、既知であるとする。本実施形態では、図示するように、カメラを基準としたカメラ座標系における所定の座標に二次元マーカー３０を配置する。すなわち、カメラ座標系における二次元マーカー３０の座標は既知である。なお、カメラ座標系（Xc,Yc,Zc）は、カメラの焦点位置を原点とし、画像平面に垂直な方向（つまり、カメラが撮影する方向）をZ軸とする。そして、画像平面のx軸、y軸に平行な方向をそれぞれX軸、Y軸とする。【００４７】
二次元マーカー３０は、図示するように、カメラ識別領域３１を有している。カメラ識別領域３１は、二次元マーカー３０が付されているカメラを識別するための領域である。
各カメラを識別するために、本実施形態では、二次元コード（2D code）を用いることとしている。具体的には、カメラ識別領域３１は、図４に示すように、４行×４列の小領域に分けられ、それぞれの小領域は２色に塗り分けられる。例えば、それぞれの小領域は、白色か黒色のいずれかが塗られる。そして、カメラごとに、各小領域の白色と黒色との塗り分け方が固有のものとなっている。【００４８】
なお、カメラごとの塗り分け方は、図５に示すように、マッチングテーブル３６として画像認識部１４において保持している。マッチングテーブル３６の１件のレコードは、図５に示すように、カメラ識別情報３７と、コードパターン３８とからなる。すなわち、マッチングテーブル３６では、カメラを識別するカメラ識別情報と、各カメラに固有の二次元コードのパターンを示す情報とが対応づけられている。【００４９】
上述のように、本実施形態では、各カメラの所定位置に、それぞれのカメラに固有のコードパターンを有する二次元マーカー３０を付しておく。そして、図６に示すように、二次元マーカー３０が撮影画像に写っていると、画像認識部１４は、撮影画像を画像認識することにより二次元マーカー３０の輪郭線を検出する。そして、被写体カメラ識別部１５は、検出された二次元マーカー３０のカメラ識別領域３１のコードパターンを、マッチングテーブル３６のコードパターンと比較し、パターンマッチングを行うことで、この二次元マーカー３０が付されている被写体カメラを識別する。【００５０】
２．５．６．３  被写体カメラ情報算出部１６の詳細
次に、（ｉｉ）撮影側カメラと被写体カメラとの相対的な座標および向きを算出する方法について説明する。本実施形態では、上記非特許文献に記載の技術を用いることとする。
上記非特許文献に記載された技術による演算により、撮影側カメラを基準とした場合の、撮影画像に写っている二次元マーカー３０の向きと座標が算出される。ここで、二次元マーカー３０の向きは、被写体カメラが撮影している方向とほぼ同一であるとする。すなわち、二次元マーカー３０の向きを、被写体カメラの向きと近似できるものとする。また、被写体カメラと、被写体カメラに配置されている二次元マーカー３０との相対的な位置関係は既知であるので、撮影側カメラを基準とした場合の二次元マーカー３０の座標を修正して被写体カメラの座標を算出する。【００５１】
このようにして、被写体カメラ情報算出部１６は、撮影側カメラを基準とした場合の、被写体カメラの向きおよび被写体カメラの座標を算出する。算出した被写体カメラの向き、座標は、図７に示すように表される。
図７は、撮影側カメラと被写体カメラとの相対的な位置関係を示す図である。なお、本実施形態では、撮影側カメラを基準とするカメラ座標系における被写体カメラの座標を（X, Y, Z）とすると、Y軸の値" Y "は、X軸の値" X "やZ軸の値"Z "と比べて小さいものと想定している。そこで、撮影側カメラと被写体カメラの相対的な位置は、X軸の値" X "を" x "、Z軸の値" Z "を" y "として、（x, y）からなる二次元の座標として表すこととする。また、被写体カメラの向きは、撮影側カメラを基準としたカメラ座標系のZ軸（すなわち、図７に示すy軸）を基準とした、時計回り方向を正とした角度によって表している。【００５２】
２．５．７  相対情報生成部１９
相対情報算出部６の説明に戻る。
相対情報生成部１９は、撮影画像それぞれについて、相対情報を生成する。生成した相対情報を、位置関係算出部７へ出力する。
２．５．７．１  相対情報
ここで、相対情報について説明する。図８は、相対情報（８０ａ、８０ｂ、・・）を示す図である。図８に示すように、１件の相対情報は、撮影時刻８１と、撮影側カメラ識別情報８２と、被写体カメラ識別情報８３と、被写体カメラ向き８４と、被写体カメラ座標８５とを対応づけたものである。【００５３】
２．５．７．２  相対情報の詳細
相対情報のうち、撮影時刻８１は、撮影画像が撮影された時刻を示し、同時刻撮影画像抽出部１２の抽出にかかる時刻と対応している。
撮影側カメラ識別情報８２は、撮影側カメラを示しており、撮影側カメラ識別部１３により取得される識別情報と対応している。【００５４】
被写体カメラ識別情報８３は、被写体カメラを示しており、被写体カメラ識別部１５により取得される識別情報と対応している。
被写体カメラ向き８４は、被写体カメラの相対的な向きを示し、被写体カメラ向き算出部１７の算出結果と対応している。
被写体カメラ座標８５は、被写体カメラの相対的な座標を示し、被写体カメラ座標算出部１８の算出結果と対応している。【００５５】
以上、相対情報算出部６について説明した。
２．６  位置関係算出部７
次に、位置関係算出部７の詳細を説明する。
図９は、位置関係算出部７の詳細を示す機能ブロック図である。
位置関係算出部７は、１のカメラを基準とした他のカメラの相対的な向きや座標を示す相対位置情報６０を生成する。図９に示すように、位置関係算出部７は、相対情報取得部５１と、基準カメラ設定部５２と、データ管理部５３と、データ判定部５４と、相対位置情報管理部５５と、相対情報変換演算部５６とからなる。【００５６】
２．６．１  相対情報取得部５１
以下、順に詳しく説明すると、相対情報取得部５１は、相対情報算出部６により出力される相対情報を、逐次、取得する。取得した相対情報をデータ管理部５３に出力する。
２．６．２  基準カメラ設定部５２
基準カメラ設定部５２は、１のカメラを基準とした各カメラの向きおよび座標を算出するための、基準となるカメラ（基準カメラ）を設定する。基準カメラの設定方法は、例えば、後述するデータ管理部５３がキューに登録した相対情報の、１件目のものの撮影側カメラ識別情報８２に示される撮影側カメラを基準とする等、さまざまな方法が考えられる。【００５７】
２．６．３  データ管理部５３
データ管理部５３は、所定の設定時刻の相対情報それぞれを管理する。
具体的には、データ管理部５３は、相対情報取得部５１から出力される相対情報を受け付けて、例えば図１０に示すようにキューに登録して管理する。詳しくは「３．３  位置関係算出部７の動作」において説明する。【００５８】
ここで、キューに登録されている相対情報を示す図１０について説明する。
上述のように、キューには、相対情報が登録されている。キューからは、番号８６に示す番号順に相対情報が出力される。なお、キューに登録されている各相対情報の、撮影側カメラ識別情報８２等は、既に図８において説明したものと同様であるため説明を省略する。また、同図では、相対情報のうち、撮影時刻８１を省略して記載している。【００５９】
２．６．４  データ判定部５４
データ判定部５４は、相対位置情報６０の生成のための処理の一部を行う。具体的には、データ判定部５４は、相対情報を取得し、取得した相対情報それぞれについて、相対情報が相対位置情報６０の生成に用いることができるか、また、「２．６．６  相対情報変換演算部５６」において後述する相対情報変換演算部５６による変換演算が必要か（変換するか否か）を判定する。なお、変換演算とは、受け付けた相対情報を、基準カメラを基準とした他カメラの位置関係を示す情報に変換することをいう。データ判定部５４は、判定結果に応じて、相対情報の出力先を制御したり、相対情報を破棄したりする。詳しくは図１５を用いて後述する。【００６０】
２．６．５  相対位置情報管理部５５
相対位置情報管理部５５は、相対位置情報６０を管理する。
ここで、相対位置情報６０を詳細に説明する。
図１１は、相対位置情報６０を示す図である。
相対位置情報６０の１件のレコードは、時刻６１と、基準カメラ６２と、対象カメラ６３と、相対的な位置６４と、相対的な向き６５とを含む。【００６１】
時刻６１は、カメラ間の位置関係が、どの時刻におけるものかを示す。
基準カメラ６２は、カメラ間の相対的な位置関係を算出する際の、基準となるカメラを示す。基準カメラ６２は、上記基準カメラ設定部５２により設定されたカメラである。
対象カメラ６３は、基準カメラ６２に示されるカメラを基準としたときの、相対的な位置関係を算出する対象となるカメラ（対象カメラ）を示す。【００６２】
相対的な向き６５は、基準カメラ６２に示されるカメラを基準としたときの、対象カメラの向きを示す。対象カメラの向きは、この例では、基準カメラを基準としたカメラ座標系のZ軸（撮影する方向）を基準とした、時計回り方向を正とした角度によって表している。
相対的な位置６４は、基準カメラ６２に示されるカメラを基準としたときの、対象カメラの位置（座標）を示す。対象カメラの位置は、この例では、基準カメラのカメラ座標系の、X軸をx軸、Z軸をy軸としたxy平面の座標として表している。【００６３】
所定の設定時刻における相対情報それぞれは、相対情報変換演算部５６による変換演算等を経て、図１１に相対位置情報６０として示すように、１のカメラを基準とした各カメラの相対的な向きおよび座標を示すものとなる。なお、図１１では、カメラ"Ａ"が基準カメラとなっている。
２．６．６  相対情報変換演算部５６
位置関係算出部７の説明に戻る。【００６４】
相対情報変換演算部５６は、データ判定部５４から相対情報を受け付けて、相対情報に示される、撮影側カメラと被写体カメラとの位置関係を、基準カメラの座標系を基準としたものに変換する。詳しくは図１６〜図１８を用いて後述する。
３  動作
次に、データ処理装置２の動作について説明する。【００６５】
３．１  データ処理装置２の全体の動作
図１２は、データ処理装置２の動作の全体を示すフローチャートである。
図１２に示すように、データ処理装置２の相対情報算出部６は、同時刻に撮影された撮影画像それぞれについて、撮影側カメラを基準とした被写体カメラの向きおよび座標を算出する（Ｓ１０００）。相対情報算出部６は、この算出により、撮影画像それぞれについて相対情報を生成し、生成した相対情報それぞれを、位置関係算出部７へ出力する。【００６６】
位置関係算出部７は、複数の相対情報を受け付けて、１のカメラを基準とした各カメラの向きおよび座標を算出して相対位置情報６０を生成する（Ｓ２０００）。
３．２  相対情報算出部６の動作
ここで、相対情報算出部６によるステップＳ１０００の動作について、詳細に説明する。【００６７】
図１３は、相対情報算出部６の動作の詳細を示すフローチャートである。
相対情報算出部６は、各カメラが撮影した撮影画像を、撮影画像取得部１１により取得する。
同時刻撮影画像抽出部１２は、取得した撮影画像のうち、予め設定されている設定時刻を含んだ所定の時間帯に撮影された撮影画像を抽出する（Ｓ１１）。例えば、設定時刻を含む数秒間の間に撮影された撮影画像を抽出する。相対情報算出部６は、ステップＳ１１において、撮影画像を抽出した数を記憶する（Ｓ１３）。具体的には、例えば、変数"ｎ"に、ステップＳ１１において撮影画像を抽出した数を格納する。【００６８】
ｎ  ＝  撮影画像を抽出した数
また、変数"ｉ"を初期化し、"ｉ"に値"０"を格納する。
ｉ  ＝  ０
ここで、変数"ｎ"は、抽出された撮影画像の総数を示す。また、変数"ｉ"は、抽出された撮影画像のうち、相対情報を生成するための処理がなされた数を示す。ステップＳ１１において抽出された撮影画像それぞれは、例えば、撮影画像を示す識別子がキューに格納され、以降、１つずつ処理の対象となり、相対情報が生成される。【００６９】
撮影側カメラ識別部１３は、処理の対象となる１の撮影画像を示す識別子をキューから読み出し、当該識別子に示される撮影画像のメタデータを参照し、メタデータから当該撮影画像の撮影側カメラの識別情報を抽出して記憶する（Ｓ１５）。
画像認識部１４は、ステップＳ１５において撮影側カメラ識別部１３の処理の対象となった撮影画像の画像認識を行い、二次元マーカーの検出を試みる。二次元マーカーが検出されれば、被写体カメラ識別部１５は、当該撮影画像に写った被写体カメラの識別情報を取得して記憶する（Ｓ１７）。なお、ステップＳ１７において、二次元マーカー３０が検出されなかった場合、相対情報算出部６は、変数"ｉ"に１を加算して（ｉ  ＝  ｉ  ＋  １）、ステップＳ１５の処理を行って新たにキューから識別子を読み出して以降の処理を行う。【００７０】
また、ステップＳ１７において画像認識部１４により二次元マーカーが検出された場合、被写体カメラ向き算出部１７は、撮影側カメラを基準としたカメラ座標系における、被写体カメラの相対的な向きを算出する（Ｓ１９）。また、被写体カメラ座標算出部１８は、撮影側カメラを基準としたカメラ座標系における、被写体カメラの相対的な座標を算出する（Ｓ２１）。【００７１】
相対情報生成部１９は、ステップＳ１５、Ｓ１７、Ｓ１９、Ｓ２１で得られた情報、および、ステップＳ１１において抽出が行われた設定時刻を対応づけて、１の撮影画像についての相対情報を生成する。相対情報生成部１９は、生成した相対情報を、位置関係算出部７へ出力し（Ｓ２３）、変数"ｉ"に１を加算する。
ｉ  ＝  ｉ＋１
ステップＳ１１において抽出されたすべての撮影画像について、相対情報を生成したか判断する（Ｓ２５）。具体的には、変数"ｉ"が、変数"ｎ"以上か判断する。ステップＳ２５において、すべての撮影画像について相対情報を生成していなければ（すなわち、まだ相対情報を生成していない撮影画像があれば）（Ｓ２５：ＮＯ）（ｉ＜ｎ）、キューに蓄積された、次の撮影画像について、ステップＳ１５以降の処理を行って相対情報を生成する。【００７２】
ステップＳ２５においてすべての撮影画像について相対情報を生成したと判断されると（Ｓ２５：ＹＥＳ）、相対情報算出部６の動作が終了する。
３．３  位置関係算出部７の動作
次に、位置関係算出部７によるステップＳ２０００の動作について、詳細に説明する。
図１４は、位置関係算出部７の動作の詳細を示すフローチャートである。【００７３】
位置関係算出部７は、相対情報取得部５１により、同一時刻の相対情報を取得する（Ｓ２００１）。
次に、位置関係算出部７は、データ管理部５３により、相対情報取得部５１が取得した同一時刻の相対情報を図１０に示すような例えばキュー等により保持する（Ｓ２００２）。【００７４】
そして、位置関係算出部７は、基準カメラ設定部５２により、位置関係の基準とする基準カメラを設定する（Ｓ２００３）。
次に、位置関係算出部７は、保持している相対情報を、データ管理部５３により、順次、データ判定部５４に送信する（Ｓ２００４）。
次に、位置関係算出部７は、データ判定部５４により、データ管理部５３から受信した相対情報の、以降の処理方法を判定する。詳細は図１５を用いて後述するが、データ判定部５４は、判定結果に応じて、相対情報を、
（ｉ）相対位置情報管理部５５に送信したり、
（ｉｉ）破棄したり、
（ｉｉｉ）相対情報変換演算部５６に送信したり、
（ｉｖ）データ管理部５３に返還したりする。【００７５】
位置関係算出部７は、上記（ｉ）の場合は、データ判定部５４から相対位置情報管理部５５へと送信される相対情報を、図１１に示す相対位置情報６０において保持する。
また、上記（ｉｉｉ）の場合は、位置関係算出部７は、データ判定部５４から相対情報変換演算部５６へと送信される相対情報を、相対情報変換演算部５６により変換する。この変換については図１６〜図１８を用いて後述する。位置関係算出部７は、変換後の相対情報を、相対情報変換演算部５６から相対位置情報管理部５５に送信して相対位置情報６０において保持する。【００７６】
また、上記（ｉｖ）の場合は、データ判定部５４からデータ管理部５３に返還される相対情報を、データ管理部５３により、例えばキューの末尾に登録する（Ｓ２００５）。
位置関係算出部７は、
（ａ）データ管理部５３が保持していた全ての相対情報を相対位置情報６０に反映させたか、
（ｂ）データ管理部５３により保持されている相対情報が、これ以上、相対位置情報６０に反映できなくなると、処理を終了する。【００７７】
なお、上記（ａ）は、つまり、データ管理部５３がキュー等により保持している相対情報が無くなったことを意味している。また、上記（ｂ）は、つまり、データ管理部５３が保持しているいずれの相対情報の撮影側カメラ識別情報８２と被写体カメラ識別情報８３を参照しても、相対位置情報管理部５５が保持している相対位置情報６０の基準カメラもしくは対象カメラと一致するものが無くなったことを意味している。【００７８】
３．４  データ判定部５４の詳細な動作
ここで、ステップＳ２００５の、データ判定部５４による判定処理の詳細について説明する。
まず概略を説明する。
相対位置情報管理部５５において管理されている相対位置情報６０は、基準カメラと対象カメラとの位置関係を示すものである。【００７９】
したがって、相対情報の撮影側カメラまたは被写体カメラが、基準カメラであったり、または、相対位置情報６０の各レコードの対象カメラに含まれていれば、その相対情報を用いて、相対位置情報６０にレコードを追加しうる。
図１５は、データ判定部５４による判定処理の詳細を示す図である。以下の例では、データ判定部５４は、まず、相対情報の撮影側カメラが、
（ｉ）基準カメラであるか（Ｓ９１）、
（ｉｉ）相対位置情報６０に対象カメラとして含まれているか判定する（Ｓ９７）。【００８０】
続いて、相対情報の被写体カメラが、
（ｉｉｉ）基準カメラであるか（Ｓ１０３）、
（ｉｖ）相対位置情報６０に対象カメラとして含まれているか判定する（Ｓ１０７）。
上記各ステップにおいて、相対情報の撮影側カメラや被写体カメラが、相対位置情報６０において基準カメラあるいは対象カメラとして含まれていなければ、相対位置情報６０にレコードを追加することができないので、その相対情報を、データ管理部５３に返還する（Ｓ１１１）。【００８１】
概略の説明に続いて、図１５を用いて具体的に説明する。
（ｉ）データ判定部５４は、ステップＳ２００４においてデータ管理部５３から出力された相対情報を受け付けると、相対情報の撮影側カメラ識別情報８３を参照し、撮影側カメラ識別情報８３に示されるカメラ（撮影側カメラ）が、基準カメラ設定部５２において設定した基準カメラであるか判定する（Ｓ９１）。【００８２】
ステップＳ９１において、撮影側カメラが基準カメラと一致する場合（Ｓ９１：ＹＥＳ）、データ判定部５４は、相対情報の被写体カメラ識別情報８３に示されるカメラ（被写体カメラ）と、相対位置情報管理部５５に保持されている相対位置情報６０の、各レコードの対象カメラ６３とを参照し、被写体カメラが、相対位置情報６０の対象カメラに既に存在するか判定する（Ｓ９３）。【００８３】
ステップＳ９３において、相対情報の被写体カメラが、相対位置情報の各レコードの対象カメラに存在しない場合（Ｓ９３：ＮＯ）について説明する。この場合、相対情報に示される撮影側カメラと被写体カメラとの位置関係（被写体カメラの向きおよび座標）は、まだ相対位置情報６０に反映されていないことになる。したがって、データ判定部５４は、相対情報の撮影側カメラ識別情報８２に示されるカメラを基準カメラ６２とし、相対情報の被写体カメラ８３に示されるカメラを対象カメラ６３とする情報を相対位置情報管理部５５に出力する（Ｓ９５）。相対位置情報管理部５５は、このデータ判定部５４から出力される情報を受け付けて、受け付けた情報を、相対位置情報６０に追加する。【００８４】
また、ステップＳ９３において、相対情報の被写体カメラが、相対位置情報の各レコードの対象カメラに存在する場合（Ｓ９３：ＹＥＳ）について説明する。この場合、既に相対情報に示される撮影側カメラと被写体カメラとの位置関係は相対位置情報６０に登録されていることになるので、データ判定部５４は、相対情報を破棄する（Ｓ１０１）。
（ｉｉ）ステップＳ９１において、相対情報の撮影側カメラが基準カメラと一致しない場合（Ｓ９１：ＮＯ）について説明する。【００８５】
この場合、データ判定部５４は、相対位置情報６０の、各レコードの対象カメラ６３を参照し、相対情報の撮影側カメラが、相対位置情報６０の対象カメラに既に存在するか判定する（Ｓ９７）。
ステップＳ９７において、肯定的な判定がされる場合、つまり、相対情報の撮影側カメラが、相対位置情報６０の各レコードの対象カメラに存在する場合（Ｓ９７：ＹＥＳ）について説明する。この場合は、基準カメラと撮影側カメラとの位置関係および撮影側カメラと被写体カメラとの位置関係が既知であるので、基準カメラと被写体カメラとの位置関係を算出しうる。しかし、基準カメラと被写体カメラとが同一であると、基準カメラと被写体カメラとの位置関係は相対位置情報６０に既に含まれていることとなる。そこで、データ判定部５４は、相対情報の被写体カメラが、相対位置情報の基準カメラと同一か判定する（Ｓ９９）。【００８６】
ステップＳ９９において肯定的な判定がされる場合は（Ｓ９９：ＹＥＳ）、データ判定部５４は、相対情報を破棄する（Ｓ１０１）。
ステップＳ９９において否定的な判定がされる場合（Ｓ９９：ＮＯ）は、また基準カメラと被写体カメラとの位置関係が相対位置情報６０に含まれていない。そこで、この位置関係を算出するために、データ判定部５４は、相対情報を、相対情報変換演算部５６に出力する（Ｓ１０５）。【００８７】
上記の各処理により、撮影側カメラが相対位置情報６０の基準カメラまたは対象カメラに含まれる場合に、相対情報を用いて相対位置情報６０にレコードを追加する等することができる。
（ｉｉｉ）相対情報の撮影側カメラが相対位置情報６０の基準カメラや対象カメラに含まれない場合であっても、相対情報の被写体カメラが相対位置情報６０の基準カメラや対象カメラに含まれているのであれば、その相対情報を用いて、相対位置情報６０にレコードを追加しうる。そこで、ステップＳ９７において否定的な判定がされる場合（Ｓ９７：ＮＯ）には、データ判定部５４は、被写体カメラが相対位置情報６０の基準カメラあるいは対象カメラに含まれるか否かに基づいて相対情報の出力先を制御する。【００８８】
以下、具体的に説明すると、ステップＳ９７において、相対情報の撮影側カメラが相対位置情報６０の対象カメラに存在しない場合（Ｓ９７：ＮＯ）、データ判定部５４は、相対情報の被写体カメラが、基準カメラと同一であるか否かを判定する（Ｓ１０３）。
ステップＳ１０３において、肯定的な判定がされる場合（Ｓ１０３：ＹＥＳ）、つまり被写体カメラと基準カメラとが同一である場合（撮影側カメラが基準カメラを撮影しているケース）、データ判定部５４は、相対情報を、相対情報変換演算部５６へ出力する（Ｓ１０５）。【００８９】
（ｉｖ）ステップＳ１０３において否定的な判定がされる場合（Ｓ１０３：ＮＯ）、データ判定部５４は、相対位置情報６０の各レコードの対象カメラを参照して、相対情報の被写体カメラが、相対位置情報６０の対象カメラに含まれているか判定する（Ｓ１０７）。
ステップＳ１０７において肯定的に判定される場合（Ｓ１０７：ＹＥＳ）は、被写体カメラと対象カメラとが同一で、基準カメラと対象カメラとの位置関係、および、撮影側カメラと被写体カメラとの位置関係が既知であるので、基準カメラと撮影側カメラとの位置関係を算出しうる。そこで、データ判定部５４は、相対情報を、相対情報変換演算部５６へ出力する（Ｓ１０５）。【００９０】
ステップＳ１０７において否定的に判定される場合（Ｓ１０７：ＮＯ）、この相対情報は、相対位置情報６０の各レコードとのつながりがないため、相対位置情報６０にレコードを追加することができない。そのため、データ判定部５４は、相対情報を、データ管理部５３に返還する（Ｓ１１１）。なお、データ管理部５３は、返還された相対情報をキューの末尾に登録する。【００９１】
３．５  相対情報変換演算部５６の詳細な動作
ここで、ステップＳ１０５によって相対情報変換演算部５６へ相対情報が出力された後、相対情報変換演算部５６で行われることとなる変換演算について説明する。  相対情報変換演算部５６において変換演算が行われるのは、以下の３つの場合である。すなわち、
（ｉ）ステップＳ９９において、否定的な判定がされる場合（Ｓ９９：ＮＯ）
（ｉｉ）ステップＳ１０３において、肯定的な判定がされる場合（Ｓ１０３：ＹＥＳ）
（ｉｉｉ）ステップＳ１０７において、肯定的な判定がされる場合（Ｓ１０７：ＹＥＳ）
である。【００９２】
相対情報変換演算部５６は、データ判定部５４から相対情報が送られてくると（Ｓ１０５）、上記の３つのいずれの場合に該当するかに応じて、変換演算の演算方法を制御する。以下、（ｉ）〜（ｉｉｉ）について、順に説明する。
まず、（ｉ）ステップＳ９９において、否定的な判定がされた場合について説明する。
図１６は、対象カメラと撮影側カメラとが同一の場合における、変換演算の演算方法を示す図である。【００９３】
図１６では、基準カメラを"ｉ"、対象カメラ（撮影側カメラ）を"ｊ"、被写体カメラを"ｋ"としている。なお、以降の説明では、例えばカメラ"ｓ"とカメラ"ｔ"があったとき、カメラ"ｔ"を基準としたxy平面の座標系におけるカメラ"ｓ"の座標を（Xs_t, Ys_t）と表す。なお、y軸は、基準となるカメラの撮影方向を示す。また、角度をWs_tと表したとき、これは、カメラ"ｔ"を基準としたカメラ座標系におけるカメラ"ｓ"の向いている方向を示す。なお、図１６〜図１８では、座標（Xs_t, Ys_t）や角度Ws_tのアンダーバー"_"に代えて矢印を記載している。また、図１６〜図１８では、角度Ws_tを、オメガを用いて記載している。【００９４】
図１６を用いて説明すると、相対情報変換演算部５６は、データ判定部５４がステップＳ９９において否定的な判定をした後、データ判定部５４から送られてくる相対情報を受け付ける。相対情報変換演算部５６は、相対位置情報６０を参照して、相対位置情報６０に含まれる各レコードのうち、相対情報の撮影側カメラと同一のカメラが対象カメラに含まれるレコードを検索する。検索されたレコードには、基準カメラと対象カメラ（撮影側カメラ）との位置関係が示されている。したがって、相対位置情報６０から検索した、基準カメラを基準とした場合の対象カメラ（撮影側カメラ）の座標および向きを示すレコードと、データ判定部５４から受け付けた相対情報（撮影側カメラを基準とした場合の被写体カメラの座標および向き）とをベクトル合成することで、基準カメラを基準とした場合の被写体カメラの座標および向きを算出することができる。詳細は図１６に示した通りであり、基準カメラ"ｉ"を基準としたカメラ座標系における被写体カメラ"ｋ"の座標（Xk_i, Yk_i）および向きWk_iは、以下の通りとなる。【００９５】
すなわち、
Xk_i = Xj_i + (cosWj_i・Xk_j + sinWj_i・Yk_j)
Yk_i = Yj_i + (- sinWj_i)・Xk_j + cosWj_i・Yk_j
Wk_i = Wj_i + Wk_j
である。【００９６】
こうして座標（Xk_i, Yk_i）および向きWk_iを算出すると、相対情報変換演算部５６は、相対位置情報６０に追加するためのレコードを生成する。レコードに含まれる各パラメータは、以下の通りである。すなわち、基準カメラ６２は"ｉ"、対象カメラ６３は"ｋ"、相対的な向き６４は「Wk_i」、相対的な位置６５は「（Xk_i, Yk_i）」である。このレコードを生成すると、相対情報変換演算部５６は、生成したレコードを相対位置情報管理部５５に出力する。なお、相対位置情報管理部５５では、出力されたレコードを受け付けて、相対位置情報６０に追加する。【００９７】
次に、（ｉｉ）ステップＳ１０３において、肯定的な判定がされた場合について説明する。
図１７は、基準カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図である。図１７では、基準カメラ（被写体カメラ）を"ｉ"、撮影側カメラを"ｑ"としている。基準カメラと被写体カメラとが同一の場合とは、言い換えると、撮影側カメラが基準カメラを撮影している場合である。したがって、基準カメラを基準としたカメラ座標系における撮影側カメラの向きおよび座標を算出するには、相対情報に示される、撮影側カメラを基準とした場合の被写体カメラ（基準カメラ）の座標および向きを示すベクトルの逆ベクトルを算出すればよい。詳細は図１７に示したとおりであり、基準カメラ"ｉ"を基準としたカメラ座標系における撮影側カメラ"ｑ"の座標（Xq_i, Yq_i）および向きWq_iは、以下の通りとなる。【００９８】
すなわち、
Xq_i = cosWi_q・( - Xi_q) + (- sinWi_q)・(- Yi_q)
Yq_i = sinWi_q・(- Xi_q) + cosWi_q・(- Yi_q)
Wq_i = 360 - Wi_q
である。【００９９】
変換演算を行うと、相対情報変換演算部５６は、相対位置情報６０に追加するためのレコードを生成する。このレコードの各パラメータについて説明すると、基準カメラ６２は"ｉ"、対象カメラ６３は"ｑ"、相対的な向き６４は「Wq_i」、相対的な位置６５は「（Xq_i, Yq_i）」である。相対情報変換演算部５６は、生成したレコードを相対位置情報管理部５５に出力する。【０１００】
次に、（ｉｉｉ）ステップＳ１０７において、肯定的な判定がされた場合について説明する。
図１８は、対象カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図である。図１８では、基準カメラを"ｉ"、対象カメラ（被写体カメラ）を"ｍ"、撮影側カメラを"ｐ"としている。この場合は、まず、撮影側カメラのカメラ座標系を基準とした被写体カメラ（対象カメラ）の座標および向きを示すベクトルの逆ベクトルを求める。そうすると、被写体カメラ（対象カメラ）のカメラ座標系を基準とした撮影側カメラの座標および向きが求まる。後は、図１６の場合と同様である。詳細は図１８に示したとおりであり、基準カメラ"ｉ"を基準としたカメラ座標系における撮影側カメラ"ｐ"の座標（Xp_i, Yp_i）および向きWp_iは、以下の通りとなる。【０１０１】
すなわち、
Xp_i = Xm_i + cosWm_i・Xp_m + sinWm_i・Yp_m
Yp_i = Ym_i + (- sinWm_i)・Xp_m + cosWm_i・Yp_m
Wp_i = Wm_i + Wp_m
である。【０１０２】
ここで、Xp_m、Yp_m、Wp_mは、図示するように、
Xp_m = cosWm_p・(- Xm_p) + (- sinWm_p)・(- Ym_p)
Yp_m = sinWm_p・(- Xm_p) + cosWm_p・(- Ym_p)
Wp_m = 360 - Wm_p
である。【０１０３】
変換演算を行うと、相対情報変換演算部５６は、相対位置情報６０に追加するためのレコードを生成する。このレコードの各パラメータについて説明すると、基準カメラ６２は"ｉ"、対象カメラ６３は"ｐ"、相対的な向き６４は「Wp_i」、相対的な位置６５は「（Xp_i, Yp_i）」である。相対情報変換演算部５６は、生成したレコードを相対位置情報管理部５５に出力する。【０１０４】
以上で、位置関係算出部７の動作についての説明を終える。
３．６  画像選択支援部８の動作
次に、画像選択支援部８の動作について説明する。
画像選択支援部８は、ある設定時刻についての相対位置情報６０を、相対位置情報管理部５５から取得する。【０１０５】
画像選択支援部８は、取得した相対位置情報６０に含まれる各レコードの、対象カメラ６３や相対的な向き６４や相対的な位置６５を参照して、１のカメラを基準とする他のカメラの相対的な位置関係を示す画像を生成する。このようにして画像選択支援部８により生成される画像の一例を、図１９に示す。
図１９の画像７０ａにおいては、カメラ"Ａ"を基準とした場合の他カメラの座標および向きが示されている。図１９において、"Ａ"や"Ｂ"などの記号は、それぞれのカメラ（カメラＡ、カメラＢ、・・）を示す。参照符号を用いて説明すると、カメラ７１はカメラＡ、カメラ７２はカメラＢである。以下同様に、カメラ７３はカメラＣ、カメラ７４はカメラＤ、カメラ７５はカメラＥ、カメラ７６はカメラＦ、カメラ７７はカメラＧである。また、図１９において、"Ａ"や"Ｂ"など、カメラを示す記号から伸びている矢印は、各カメラの向きを示す。【０１０６】
画像選択支援部８は、このようにして各カメラの位置関係を示す画像を生成すると、生成した画像を用いて、ユーザが画像選択を行うためのユーザインタフェースを生成する。図２０、図２１は、ユーザインタフェースの一例を示す図である。
ユーザインタフェース９０（ユーザインタフェース９０の一例として、図２０では、ユーザインタフェース９０ａ、９０ｂの２つを示し、図２１ではユーザインタフェース９０ｃ、９０ｄの２つを示している。）は、撮影画像表示領域９１と、カメラ間位置関係表示領域９２と、カメラ識別情報表示領域９３とを含む。【０１０７】
撮影画像表示領域９１は、ユーザにより選択されたカメラの撮影画像を表示する領域である。画像選択支援部８は、相対位置情報６０の時刻６１と、選択されたカメラの識別子とを用いて、撮影画像のメタデータと比較することにより、表示対象に該当する撮影画像を特定して読み出して表示する。
なお、本実施形態では、撮影画像を表示するのみならず、撮影画像に写っている被写体カメラを特定して識別する画像データ（被写体識別画像９６）を撮影画像にオーバーレイ表示している。【０１０８】
被写体識別画像９６の表示態様は、様々なものが考えられる。
例えば、撮影画像に写っている被写体カメラを中心とした円形の画像と、被写体カメラを識別するための情報とを被写体識別画像９６としてオーバーレイ表示する。こうすることで、撮影画像に写っている被写体カメラをユーザが認識しやすくし、また、その被写体カメラがどのカメラかをユーザが識別することが容易となる。この他にも、色や他の形状等、様々な方法によって各カメラを特定し識別してもよい。【０１０９】
また、色によって各カメラを識別する場合、撮影画像表示領域９１における、被写体カメラを識別するための色と、カメラ間位置関係表示領域９２における各カメラの色とを、同一のカメラは同じ色とすることで、カメラ間の位置関係をユーザが容易に把握できるようにしてもよい。また、カメラ間位置関係表示領域９２における基準カメラの色と、撮影画像表示領域９１の枠（撮影画像の縁）の色やカメラ識別情報表示領域９３の色とを同じ色としてもよい。こうすることで、撮影画像表示領域９１に表示されている撮影画像が、どのカメラにより撮影されたものかを容易に識別することができる。【０１１０】
なお、被写体カメラの、撮影画像における位置は、既に相対情報算出部６において画像認識部１４の画像認識により特定されているので、これにより被写体識別画像９６の表示位置を決定するとよい。この他に、相対情報を参照し、撮影側カメラを基準としたカメラ座標系における被写体カメラの座標に基づいて、撮影画像において被写体カメラが写っている領域を推定し、推定した領域に被写体識別画像９６を表示してもよい。カメラの焦点距離等の各パラメータが既知であれば、上記推定を行うことができる。【０１１１】
また、被写体識別画像９６を、撮影画像を撮影した撮影側カメラから被写体カメラまでの距離を識別できる態様で表示してもよい。例えば、撮影側カメラから被写体カメラまでの距離に応じて、被写体識別画像９６の大きさを変化させたり、色を変化させたりする等、さまざまな方法が考えられる。
例えば、ユーザインタフェース９０ａでは、被写体識別画像９６ｂと被写体識別画像９６ｃを表示している。被写体識別画像９６ｂは、被写体カメラがカメラＢであることを示し、また、被写体識別画像９６ｃは、被写体カメラがカメラＣであることを示している。【０１１２】
なお、図２０ではカメラの識別子を表示しているが、被写体カメラの装着者（人物など）の名称を表示してもよい。
カメラ間位置関係表示領域９２は、１のカメラを基準とした場合の他カメラの座標および向きを示す画像（図１９で示した画像７０ａなど）を表示する領域である。画像選択支援部８は、上記画像において、各カメラを示す記号（カメラ７１など）と、各カメラが撮影した撮影画像とを対応づけておく。ユーザインタフェース９０においては、ユーザがカメラ７１などの記号を選択すると、選択したカメラの撮影画像が撮影画像表示領域９１に表示される。【０１１３】
なお、撮影画像表示領域９１に表示されている被写体識別画像９６と、その被写体識別画像９６が示す被写体カメラの撮影画像とを対応づけておき、被写体識別画像９６がユーザにより選択されると、その被写体識別画像９６に対応するカメラの撮影画像が撮影画像表示領域９１に表示されることとしてもよい。例えば、ユーザインタフェース９０ａの例では、被写体識別画像９６ｃがユーザにより選択されると、撮影画像表示領域９１に、カメラＣの撮影画像が表示される。【０１１４】
なお、図２０では、ユーザがいずれのカメラを選択したかを容易に認識できるよう、画像選択支援部８は、ユーザにより選択されたカメラを、他のカメラと区別して表示する。例えば、図示するように、カメラ間位置関係表示領域９２において、選択されたカメラを、反転して表示する。
カメラ識別情報表示領域９３は、撮影画像表示領域９１に表示されている撮影画像がいずれのカメラにより撮影されたものかを表示する領域である。すなわち、ユーザにより選択されたカメラを表示するための領域である。【０１１５】
なお、図２０のユーザインタフェース９０ａは、ユーザがカメラＡを選択した場合の例である。以下同様に、ユーザインタフェース９０ｂは、ユーザがカメラＢを選択した場合の例であり、図２１のユーザインタフェース９０ｃは、ユーザがカメラＣを選択した場合の例であり、ユーザインタフェース９０ｄは、ユーザがカメラＤを選択した場合の例である。【０１１６】
以上説明したようなユーザインタフェース９０を、画像選択支援部８は生成して表示部３において表示させる。なお、ユーザによるカメラ選択操作を受け付けるための操作受付部は、どのようなものであってもよい。例えば、表示部３をタッチパネルとしてユーザの操作を受け付けてもよい。この場合、各カメラを示す記号や、被写体識別画像９６が表示部３において表示されている部分をユーザがタッチパネルに触れることにより選択すると、選択されたカメラの撮影画像が撮影画像表示領域９１に表示される。また、データ処理装置２に操作受付部（キーボード、マウス、タッチパッドなどの入力手段）が備わっていてもよいし、ネットワークを介してユーザの操作内容がデータ処理装置２に入力されるものであってもよい。【０１１７】
また、上記ユーザインタフェース９０において、各カメラが撮影した撮影画像をサムネイル表示してもよい。
（選択されたカメラを基準とした画像を生成）
また、画像選択支援部８は、上記実施の形態の説明の他に、以下のようにしてもよい。
すなわち、画像選択支援部８は、ユーザがカメラを選択する都度、選択されたカメラを基準として、他カメラの座標および向きを示す画像を生成し、生成した画像を、カメラ間位置関係表示領域９２に表示することとしてもよい。【０１１８】
図２２は、各カメラを基準とした他カメラとの位置関係を示す図である。
図２２に示されるぞれぞれの画像が、カメラが選択される都度、カメラ間位置関係表示領域９２に表示される。なお、カメラＡが選択されている場合を、カメラ間位置関係表示領域９２ａとして示している。以下同様に、カメラＢがユーザにより選択されている場合をカメラ間位置関係表示領域９２ｂ、カメラＣがユーザにより選択されている場合をカメラ間位置関係表示領域９２ｃ、カメラＤがユーザにより選択されている場合をカメラ間位置関係表示領域９２ｄとして示している。【０１１９】
このようにして、各カメラを基準とした画像を生成するには、以下の方法が考えられる。例えば、カメラが選択される都度、選択されたカメラを基準カメラとした相対位置情報６０を位置関係算出部７により算出して上記画像を生成してもよい。また、あるカメラについて、他のカメラとの位置関係を示す画像を生成した後は、他のカメラが選択される都度、上記生成した画像を回転させたり縮小拡大させたりすることにより、選択されたカメラを基準カメラとした上記画像を表示することとしてもよい。【０１２０】
（被写体カメラの向きを表示）
また、図２３にユーザインタフェース９０ｅ、９０ｆとして示すように、撮影画像表示領域９１において、被写体カメラの向き（撮影方向）を示す画像であるカメラ撮影方向９７をオーバーレイ表示することとしてもよい。
ユーザインタフェース９０ｅにおいては、例えば、カメラＢの撮影方向をカメラ撮影方向９７ｂなどとして、矢印の形状で表示している。【０１２１】
なお、各カメラの向きは相対位置情報６０や相対情報により既知であるため、向きと矢印形状の画像とを予め対応づけておくか、向きに応じて矢印形状の画像を回転させることにより、カメラ撮影方向９７をオーバーレイ表示させることができる。
（隠れたカメラを表示）
また、撮影画像表示領域９１において、例えばユーザインタフェース９０ｅの撮影画像表示領域９１に示すように、物体などに隠れているカメラ（例えば、カメラＣに隠れているカメラＧ）に対しても被写体識別画像９６を表示することとしてもよい。なお、カメラが隠れていることが判別できるような態様で被写体識別画像９６を表示してもよい。ユーザインタフェース９０ｅの例では、円形の画像を点線で被写体識別画像９６ｅとして表示している。つまり、隠れていないカメラについての被写体識別画像９６と異なる態様で表示するとよい。なお、この場合においても、隠れているカメラについての向き（カメラ撮影方向９７ｇ）を表示してもよいし、表示しなくてもよい。なお、隠れたカメラの、撮影画像における位置は、以下のように特定する。まず、隠れたカメラが存在するか判定し（判定方法は後述する）、存在する場合は、隠れたカメラを特定する。そして、その撮影画像の撮影側カメラを基準カメラとした相対位置情報６０を参照し、相対位置情報６０に示される、隠れたカメラの座標と、撮影側カメラのカメラパラメータ（焦点距離により示される撮影範囲等の情報）とを用いて、撮影画像における隠れたカメラの位置を特定する。このようにして特定した位置に、被写体識別画像９６を、カメラが隠れていることが判別できるような態様で表示する。【０１２２】
なお、隠れているカメラが存在するか否かの判定は、例えば、ある撮影画像について、撮影側カメラの撮影範囲に入っているカメラを抽出する。撮影側カメラを基準カメラとした相対位置情報６０を生成し、撮影側カメラの画角等が既知であれば、撮影範囲内のカメラを抽出できる。そして、その撮影側カメラの撮影画像において、画像認識により被写体カメラとして識別された被写体カメラを特定する。上記撮影範囲内にあるカメラ群から、被写体カメラを取り除くと、隠れたカメラが特定される。【０１２３】
図２３のユーザインタフェース９０ｅを参照しながら説明すると、カメラＡの撮影範囲内（撮影範囲９４ａ）には、カメラＢ、カメラＣ、カメラＧが含まれており、これらのカメラが抽出される。カメラＡの撮影画像では、カメラＢとカメラＣが被写体カメラとして写っている。抽出されたカメラＢ、カメラＣ、カメラＧから、被写体カメラを取り除くと、カメラＧが残っている。このカメラＧが、隠れたカメラであると特定される。【０１２４】
ここで、隠れているカメラが存在するか否かの判定は、以下のようにしてもよい。以下の例では、他のカメラに隠れたカメラの有無を判定することができる。
具体的には、画像選択支援部８は、撮影画像表示領域９１において表示されている撮影画像を撮影したカメラを基準カメラ（ユーザインタフェース９０ｅの例では、カメラＡ）として相対位置情報６０を位置関係算出部７に算出させる。そして、画像選択支援部８は、この基準カメラの撮影画像において写っている被写体カメラを特定する（同図の例ではカメラＢ、カメラＣ）。例えば、基準カメラが撮影側カメラである相対情報を参照することで特定する。【０１２５】
画像選択支援部８は、被写体カメラを特定すると、基準カメラの位置を原点とするカメラ座標系において、原点と被写体カメラの座標とを通る直線を求める（同図の例では、カメラＡとカメラＢの座標を通る直線、および、カメラＡとカメラＣの座標を通る直線）。画像選択支援部８は、この直線の傾きを基準とした一定範囲の傾きの直線により示される領域に、他のカメラが存在するか判定する。【０１２６】
画像選択支援部８は、上記判定において存在すると判定した場合であって、そのカメラの基準カメラからの距離が、その直線にかかる被写体カメラと基準カメラとの距離より長い場合は、被写体カメラに隠れているカメラであると判定する。
このことを、図２４を用いて簡単に説明する。
図２４は、被写体カメラに隠れたカメラの有無の判定方法を示す図である。【０１２７】
上述の例と同様、カメラＡを基準カメラとし、カメラＣを被写体カメラとしている。
カメラＡの座標（原点）と、カメラＣの座標とを通る直線を、実線１０１で示している。また、この直線の傾きを基準とした一定範囲の傾きの直線により示される領域を、点線１０２ａおよび点線１０２ｂで示している。この点線１０２ａおよび１０２ｂにより示される領域の中に、図示するように、カメラＧが存在する。この場合、画像選択支援部８は、カメラＧが被写体カメラ（カメラＣ）に隠れていると判定する。【０１２８】
（撮影範囲を表示）
また、各カメラの撮影範囲をユーザインタフェース９０において表示してもよい。図２３の例では、カメラ間位置関係表示領域９２において、カメラの撮影範囲を示す撮影範囲９４を表示している。ユーザインタフェース９０ｅの例では、カメラＡの撮影範囲を撮影範囲９４ａ、ユーザインタフェース９０ｆの例では、カメラＢの撮影範囲を撮影範囲９４ｂとして表示している。【０１２９】
また、撮影範囲外のカメラと、撮影範囲内のカメラとを区別できるように表示してもよい。例えば、図２３の例では、撮影範囲内にあることを示す画像である撮影範囲内画像９８（９８ｂ、９８ｃ）を表示している。また、撮影範囲内であっても、他のカメラに隠れているカメラである場合は、隠れていないカメラと区別できる態様で表示してもよい。ユーザインタフェース９０ｅの例では、撮影範囲内画像９８とは異なる態様で、例えば点線９９（９９ｇ）で示すことにより、カメラＧが隠れたカメラであることを示している。【０１３０】
４  実施の形態２
＜実施の形態２＞
次に、実施の形態２について説明する。
本発明の実施の形態２に係る表示端末１０００は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーパッド、アダプタ、スピーカ等から構成されるコンピュータシステムである。前記ＲＯＭまたは前記ハードディスクユニットには、コンピュータプログラムが記憶されており、前記コンピュータプログラムがＲＡＭ上に読み出され、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、表示端末１０００はその機能を達成する。【０１３１】
表示端末１０００の外装は、図２５に示すように、ディスプレイ１００１、キーパッド１００２、アダプタ１００３から構成される。
表示端末１０００は、具体的には、実施の形態１においてデータ処理装置２として説明した構成を備えている。また、実施の形態１では、データ処理装置２と表示部３とは別々のものとして説明したが、表示端末１０００は、データ処理装置２のみならず表示部３をもディスプレイ１００１として備えている。なお、表示端末１０００は、データ処理装置２と同等の構成により算出したカメラ間の位置関係を、カメラを装着したユーザ同士の位置関係としてディスプレイ１００１に表示する。そして、ユーザの指定をキーパッド１００２により受け付けて、受け付けたユーザの装着しているカメラの撮影画像をディスプレイ１００１に表示する。【０１３２】
ディスプレイ１００１には、図２０〜図２３に示すような、表示端末１０００の内部処理により算出されたユーザ同士の位置関係や、キーパッド１００２を操作することにより指定されたユーザが装着するカメラが撮影した撮影画像等が表示される。ここで、ユーザの指定は、ディスプレイ１００１がタッチパネルの場合、ディスプレイ１００１が表示したユーザ同士の位置関係上のユーザ位置やユーザが装着するカメラが撮影した画像上のユーザ位置を指定することで可能である。【０１３３】
キーパッド１００２を操作することで、表示端末１０００の内部処理により算出されるユーザ同士の位置関係の算出対象とするユーザや時間帯を設定したり、ディスプレイに表示されたユーザからユーザ同士の位置関係の算出対象とするユーザを指定したり、ユーザ同士の位置関係やユーザが装着するカメラが撮影した画像を連続的に表示する指示をしたり、連続的な表示を停止して表示する指示をしたりする等を行う。【０１３４】
アダプタ１００３は、インターネットアダプタやカードスロットであり、表示端末１０００は、アダプタ１００３を介して複数のユーザが装着するカメラが撮影した画像等を取得する。表示端末１０００は、アダプタ１００３を介して取得した複数のユーザが装着するカメラが撮影した画像を用いて、内部処理によりユーザ同士の位置関係を算出する等を行う。【０１３５】
表示端末１０００は、内部処理により、実施の形態１において説明した処理を行う。複数のユーザが装着するカメラが撮影した画像が、動画といったように時間的に連続した状態で取得される場合は、同時刻の撮影画像を抽出し、抽出した撮影画像に基づいて、上記実施の形態１で説明した方法で、複数ユーザ同士の位置関係を算出する。また、連続的に算出された複数ユーザ同士の位置関係を時間的に連続させてディスプレイ１００１に表示するように指示をする。【０１３６】
ここで、算出不可能なユーザ同士の位置関係が存在する時刻の以前や以降の時刻のユーザ同士の位置関係に関する情報を活用して、算出不可能であったユーザ位置（基準となる他ユーザに対する相対位置）を補完するとしてもよい。
補完の仕方は、算出可能であった直前と直後の時刻におけるユーザ位置の中心点を取る方法、以前や以降のユーザ位置に基づき曲線近時により求める方法等、何であってもよい。【０１３７】
また、加速度センサや速度センサ等、ユーザの移動を計測する他センサのセンシングデータを用いて、算出不可能であったユーザ位置を補間するとしてもよい。
なお、上記においては、ディスプレイ１００１は、１画面から構成される例を示しているが、複数画面から構成されるとしてもよい。例えば、２画面から構成されてもよく、その場合、片方の１画面にユーザ同士の位置関係が表示され、もう片方の１画面に指定されたユーザが装着するカメラが撮影した画像が表示される。また、この場合、表示端末１０００の内部処理は、表示対象を複数画面に割り振って表示するように指示する。【０１３８】
なお、上記においては、表示端末１０００の外装として図２５に示す例を用いて説明したが、これに限らない。例えば、パーソナルコンピュータやＰＤＡ、電子手帳等のような形態の端末であってもよい。
なお、上記においては、表示端末１０００は、ユーザが装着するカメラが撮影した画像を取得するアダプタ１００３、ユーザ同士の位置関係を算出する内部処理を担当する部分、端末の処理を操作するためのキーパッド１００２、算出されたユーザ同士の位置関係や指定されたユーザが装着するカメラが撮影した画像等が表示されるディスプレイ１００１を全て搭載している形態となっているが、表示端末１０００がその一部を搭載し、他のデバイスがその他の部分を搭載する、といったようなシステムであってもよい。例えば、図２６に示すような構成である。【０１３９】
図２６に示すシステムは、ＳＴＢ（Set Top Box）デバイス２００１と、ＴＶデバイス２００２と、図示しないコントローラからなる。
ＳＴＢデバイス２００１は、ＨＤＤレコーダ、ＤＶＤレコーダ、コンポ等であり、上記表示端末１０００のうち、ユーザが装着するカメラが撮影した画像を取得するアダプタ１００３とユーザ同士の位置関係を算出する内部処理を担当する部分とを搭載する。【０１４０】
ＴＶデバイス２００２は、ＰＤＰ、ＬＣＤ等であり、前記ＳＴＢと接続され、上記表示端末１０００のうち、算出されたユーザ同士の位置関係や指定されたユーザが装着するカメラが撮影した画像等が表示されるディスプレイ１００１を搭載する。
前記ＳＴＢまたは前記ＴＶデバイスを操作するコントローラが、端末の処理を操作するためのキーパッド１００２を搭載する。【０１４１】
５  変形例
（１）被写体カメラ識別部１５
（１−１）識別方法
上記実施の形態の説明では、撮影画像に写った被写体カメラを識別するために、二次元コードを用いたが、被写体カメラの識別方法は、これに限らない。例えば、色や二次元マーカー３０の形状や文字や模様など、様々な方法が考えられる。要するに、カメラごとに固有の情報を割り当てておけばよい。【０１４２】
例えば、各カメラを識別できるよう、各カメラに色を割り当てておく。そして、二次元マーカー３０（またはカメラ識別領域３１）の色を判別して、二次元マーカー３０が付されたカメラを識別することとしてもよい。形状についても、同様に、各カメラに固有の二次元マーカー３０の形状をカメラそれぞれに割り当てておけば、この形状を判別することで各カメラを識別することができる。【０１４３】
（１−２）画像認識の対象
また、画像認識部１４の画像認識により、カメラに付された二次元マーカー３０を検出するとしたが、必ずしも二次元マーカー３０を用いる方法に限定されるものではない。要するに、被写体カメラを識別できればよいので、画像認識の対象は、二次元マーカー３０の他に、被写体カメラそのものや、被写体カメラを装着したユーザに関するものなどであってもよい。【０１４４】
例えば、撮影画像に写った被写体カメラそのものを、画像認識によって識別してもよいし、被写体カメラを装着しているユーザの顔や服装など、ユーザの特徴的な部分を画像認識することにより被写体カメラを識別することとしてもよい。具体的には、例えば、ユーザの服装に識別用のマーカを付しておいてもよい。この場合、撮影画像において、被写体カメラが、そのカメラを装着しているユーザ自身により隠れていても、上記識別用のマーカにより、被写体カメラを識別することができる。
（２）被写体カメラ情報算出部１６
上記実施の形態の説明では、被写体カメラと撮影側カメラとの位置関係を算出するものとして説明した。【０１４５】
ここで、位置関係とは、あるカメラを基準としたときの、他のカメラの座標および向きのことをいうと説明したが、座標と向きのうちいずれか一方を指すこともある。例えば、各カメラがそれほど移動せず、カメラの向き（撮影方向）が変わるという場合など、他のカメラの座標を算出する必要がない場合もある。カメラが固定されている場合などである。【０１４６】
そのため、本発明においては、位置関係算出部７は、他のカメラの座標は算出の対象とせず、他のカメラの向きのみを算出することとしてもよい。
また、位置関係算出部７は、その逆に、他のカメラの座標のみを算出して各カメラの相対的な位置関係を算出することとしてもよい。例えば、各カメラの向いている方向が同方向で固定されている場合などがありうる。
（３）基準カメラ設定部５２
基準カメラは基準カメラ設定部５２により設定されるが、上記実施の形態の他に、以下のようにしてもよい。【０１４７】
（３−１）計算量に基づいて基準カメラ設定
例えば、キューに登録されている各相対情報を参照して、各相対情報に含まれる各撮影側カメラや各被写体カメラを基準とした場合に、相対位置情報６０を生成するのに要する計算量を見積もって、見積もった計算量に基づいて基準カメラを設定する。例えば、計算量が最小となるカメラを基準カメラとする、としてもよい。【０１４８】
（３−２）指定に基づいて基準カメラ設定
このほかに、基準カメラをあるカメラに固定してもよい。
また、ユーザの指定により基準カメラを設定することとしてもよい。ユーザの指定の都度、相対位置情報６０が生成されることとしてもよい。
（４）相対情報の生成方法
上記実施の形態では、相対情報算出部６が、各カメラの撮影画像を取得し、取得した撮影画像それぞれについて相対情報を生成するものとして説明した。【０１４９】
これに限らず、相対情報は、データ処理装置２の外部で生成されてもよい。例えば、各カメラが相対情報を生成し、データ処理装置２は、各カメラから、撮影画像と相対情報とを受け付ける、としてもよい。すなわち、相対情報算出部６は、データ処理装置２の外部にあってもよい。
（５）撮影画像
上記実施の形態では、各カメラは、所定時間間隔で静止画の撮影を行うとしたが、カメラが撮影するものは、静止画に限らず動画でもよい。【０１５０】
一般に、静止画撮影よりも動画撮影の方が、画像の解像度は低くなる。そして、一般的に、画像の解像度が高いほど、例えば、比較的遠距離の二次元マーカーを撮影画像から検出できるなど、相対情報を精度よく算出できる場合がある。
しかし、カメラ間の距離によっては、より解像度の低い、動画撮影でも十分に精度よくカメラ間の相対的な位置関係、および、１のカメラを基準とした他カメラの相対的な位置および向きを算出することができる。
（６）被写体カメラ情報算出部１６
上述の実施の形態の説明では、被写体カメラ情報算出部１６は、撮影側カメラのカメラ座標系を基準とした場合の、撮影側カメラと被写体カメラとの位置関係を算出するものとしている。これに限らず、被写体カメラ情報算出部１６は、被写体カメラのカメラ座標系を基準とした、撮影側カメラと被写体カメラとの位置関係を算出することとしてもよい。すなわち、相対情報を、撮影側カメラの相対的な向きと座標とを示すものとしてもよい。なお、この場合、相対情報は、被写体カメラを基準とした座標系における撮影側カメラの相対的な向きと座標を示すものとなっているので、上記データ判定部５４や相対情報変換演算部５６等の説明において、「撮影側カメラ」と「被写体カメラ」とが入れ替わることとなる。【０１５１】
また、上記実施の形態では、「２．５．６．２  被写体カメラ識別部１５の詳細」において、図７を用いて、撮影側カメラと被写体カメラの相対的な位置は、カメラ座標系におけるY軸の値" Y "を無視して、二次元の座標として表すこととして説明しているが、これに限らず、Y軸の値を含めてもよい。つまり相対的な位置が３次元の座標値により示されるものとしてもよい。
（７）設定時刻の更新と相対位置情報６０の生成
上記実施の形態１の説明では、所定の設定時刻の相対情報に基づいて、相対位置情報６０を生成することとしたが、設定時刻を更新して、各設定時刻における相対位置情報６０を生成してもよい。また、このように、各時刻において相対位置情報６０を生成することとすると、ある設定時刻において基準カメラからの座標等が不明な不明カメラがあったとしても、その前後の時刻における相対位置情報６０等を参照して、前後の時刻における座標値をもとに、例えば中間点の座標が、上記設定時刻における不明カメラの座標であると推定し、これにより、上記設定時刻における当該不明カメラの座標を補完することができる。【０１５２】
また、上記実施の形態１の説明では、データ判定部５４は、ステップＳ１０１により相対情報を破棄しているが、破棄しなくてもよい。この場合、上記補完により相対位置情報６０が更新されたときに、破棄しなかった相対情報と、更新された相対位置情報６０をもとに、新たに相対位置情報６０を更新しうる。
（８）その他
また、複数のカメラを基準カメラとして、カメラごとに相対位置情報６０を生成して保持していてもよい。【０１５３】
また、本発明の位置関係算出方法により算出した３人のユーザが装着したカメラ同士の位置関係に基づき、同時に測距センサ等を搭載して、算出した３位置を基準として、他カメラの位置を三点測量の要領で算出してもよい。
本発明の位置関係算出方法により算出した、ユーザが装着したカメラ同士の位置関係に基づき、同時に加速度センサ等を搭載して、算出した位置関係からの移動経路を算出して、カメラ同士の位置関係を算出してもよい。【０１５４】
６  補足
以上のように本発明にかかるデータ処理装置、およびデータ処理システムについて実施の形態に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施の形態で示したデータ処理装置等に限られないことは勿論である。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。【０１５５】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。【０１５６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。【０１５７】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。【０１５８】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。【０１５９】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１６０】
本発明にかかるデータ処理装置は、例えば、複数のユーザがカメラを装着しているという特徴を活かし、カメラを装着したユーザ同士の位置関係を検出し、検出したユーザ同士の位置関係に基づき、ユーザが装着したカメラの撮影画像を選択するためのインタフェースを構築するための技術として有用である。
【図１】
2008087974.tif 000003
【図２】
2008087974.tif 000004
【図３】
2008087974.tif 000005
【図４】
2008087974.tif 000006
【図５】
2008087974.tif 000007
【図６】
2008087974.tif 000008
【図７】
2008087974.tif 000009
【図８】
2008087974.tif 000010
【図９】
2008087974.tif 000011
【図１０】
2008087974.tif 000012
【図１１】
2008087974.tif 000013
【図１２】
2008087974.tif 000014
【図１３】
2008087974.tif 000015
【図１４】
2008087974.tif 000016
【図１５】
2008087974.tif 000017
【図１６】
2008087974.tif 000018
【図１７】
2008087974.tif 000019
【図１８】
2008087974.tif 000020
【図１９】
2008087974.tif 000021
【図２０】
2008087974.tif 000022
【図２１】
2008087974.tif 000023
【図２２】
2008087974.tif 000024
【図２３】
2008087974.tif 000025
【図２４】
2008087974.tif 000026
【図２５】
2008087974.tif 000027
【図２６】
2008087974.tif 000028
【手続補正書】
【提出日】平成21年6月25日(2009.6.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラの位置関係を算出する技術、および、算出した位置関係に基づいてユーザインタフェースを生成する技術に関する。
【背景技術】
【０００２】
複数のカメラが互いに撮影しあう、または撮影しうる状況にある場合、各カメラの位置関係を示す情報が有用であることがある。
例えば、人などの移動体にウェアラブルカメラを装着して、ウェアラブルカメラで撮影しながら各移動体がそれぞれ移動する場合（例えば会議やパーティなどで各人がカメラを装着する場合）、それぞれのカメラは、特定の被写体を撮影し続けることもなく、撮影対象が不定となることがある。この場合、ユーザは、撮影画像を見ただけでは、撮影画像に写っていない情報について知ることが出来ない。例えば、被写体の陰に隠れた物体が何であるか、などである。しかし、各カメラの位置関係がわかっていると、ユーザは、例えば、被写体の陰を撮影しているカメラを容易に特定することができる。また、撮影された場の状況を異なる角度から見ることも容易となる。
【０００３】
上記利点は一例であるが、このように、各カメラの位置関係を示す情報はさまざまな用途に用いうるため、このような情報を容易に生成したいという要望がある。
このような要望を満たすために、以下の方法が考えられる。
例えば、無線通信を行う基地局や、GPS（Global PositioningSystem）を用いることにより、各カメラのグローバル座標系における位置を測定する。各カメラについてグローバル座標系における位置が求まると、これを用いて、カメラ同士の位置関係を算出することができる。なお、基地局を用いて現在地を割り出す技術が、下記の特許文献１および２に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開１０−２３９４１６号公報
【特許文献２】特開２００５−８６５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のように、グローバル座標系における位置を求めるには、GPSや基地局などが必要となる。つまり、屋内や地下など衛星からの電波が届かない場所ではGPSを用いた位置関係の算出は困難であるし、また、基地局を用いて位置を求めるには、基地局を適切に設置する必要がある。
そこで、本発明は、GPSや基地局など、グローバル座標系における位置を測定する手段を用いることなく、各カメラの位置関係を算出することができるデータ処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、複数のカメラの位置関係を管理するデータ処理装置であって、前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得部と、個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識部と、検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出部と、前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定部と、前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算部と、算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理部とを備えることを特徴とする。
【発明の効果】
【０００７】
上記データ処理装置は、画像認識を行うことにより、まず、撮影画像データについて撮影を行った撮影カメラと、撮影画像データに被写体として写った被写体カメラとの位置関係が、各撮影画像データについて算出される。算出の結果、相対情報が生成される。
この相対情報を用いると、例えば、ある相対情報にはカメラ１とカメラ２の位置関係が示されていて、ある相対情報にはカメラ２とカメラ３との位置関係が示されていれば、これらを合成することで、カメラ１とカメラ３の位置関係を算出しうる。この処理を繰り返すことにより、各カメラの位置関係を算出することができる。
【０００８】
上記データ処理装置は、判定部を備えることにより、必要であれば相対情報変換演算部を用いて相対情報の変換を行うことができる。このように変換を行うことで、上記合成を行うことができ、その結果、複数のカメラのうち１のカメラの座標系を基準とした各カメラの座標および撮影方向を示す情報（相対位置情報）が得られる。
したがって、上記データ処理装置は、GPSや基地局など、外部と通信するための構成を備えずとも、カメラ間の位置関係を算出することができる。つまり、カメラ間の位置関係を算出するための制約が緩くなる。
【０００９】
上記構成において、具体的には、前記判定部は、前記相対情報において座標系の基準となる原点カメラが基準カメラであるか判定し、基準カメラではないと判定され、かつ、前記相対情報の撮影側カメラまたは被写体カメラが所定の条件を満たす場合に、前記変換をすると判定するデータ処理装置である。
この構成により、基準カメラが撮影した撮影画像に基づく相対情報以外の相対情報を、相対位置情報の生成に用いることができる。
【００１０】
この構成において、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、算出された相対情報それぞれを保持するデータ管理部を含み、前記判定部は、前記データ管理部に保持されている相対情報それぞれを順次読み出し、読み出した相対情報の撮影側カメラと被写体カメラのいずれもが、基準カメラでもなく、かつ、前記相対位置情報において基準情報が登録されているカメラでもない場合は、当該読み出した相対情報を前記データ管理部に返還することとするとよい。
【００１１】
相対情報が相対位置情報の生成に用いることが出来ない場合であっても、他のカメラと基準カメラとの位置関係が算出された後であれば、その他のカメラにかかる相対情報を用いて、さらに相対位置情報に情報を追加しうる。
上記構成によると、相対情報が相対位置情報の生成に用いることが出来ない場合は、いったん相対情報をデータ管理部に返還するので、カメラ間の位置関係をより精度よく求めることができる。
【００１２】
また、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されていないものである場合、当該相対情報に示される撮影側カメラと被写体カメラとの位置関係を前記基準情報として前記相対位置情報に登録するとすることもできる。
【００１３】
この構成により、相対位置情報を効率良く生成することが出来る。
この構成において、前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されているものである場合、当該相対情報を前記相対位置情報に追加することなく破棄するとすることもできる。
【００１４】
これにより、相対位置情報に既に登録されている情報が再度登録されるのを防ぐことができ、相対位置情報が冗長になるのを避けることが出来る。
また、具体的には、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラでない場合、前記変換をすると判定するデータ処理装置である。
【００１５】
この場合において、前記相対情報変換演算部は、前記基準情報に示される、基準カメラと前記判定にかかる相対情報の原点カメラとの位置関係を用いて、当該相対情報を、基準カメラの座標系を基準とした、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラの座標および／または撮影方向を示す情報へと変換することとしてもよい。
【００１６】
これにより、基準カメラとの位置関係が既知のカメラが撮影側カメラの場合に、この撮影側カメラが写している被写体カメラについての、基準カメラの座標系を基準とした座標および向きを相対位置情報に登録することが出来る。
また、前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラである場合、当該相対情報を前記相対位置情報に追加することなく破棄することとしてもよい。
【００１７】
これにより、相対位置情報に既に登録されている情報が再度登録されるのを防ぐことができ、相対位置情報が冗長になるのを避けることが出来る。
また、具体的には、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報において原点カメラを基準とした座標系における位置関係が示されているカメラが基準カメラである場合であって、当該相対情報の原点カメラが前記相対位置情報において基準情報が登録されていないものである場合、前記変換をすると判定するデータ処理装置である。
【００１８】
この場合において、前記相対情報変換演算部は、前記相対情報に示されるカメラ間の位置関係の逆ベクトルを算出することにより、基準カメラの座標系を基準とした原点カメラの座標および／または撮影方向を示す情報への前記変換を行うこととしてもよい。
これにより、基準カメラを撮影している撮影側カメラについての、基準カメラの座標系を基準とした座標および向きを相対位置情報に登録することが出来る。
【００１９】
また、具体的には、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記判定部は、前記相対情報の原点カメラが基準カメラではない場合であって、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラが前記相対位置情報において基準情報が登録されているものである場合、前記変換をすると判定するデータ処理装置である。
【００２０】
この場合において、前記相対情報変換演算部は、前記基準情報に示される、前記判定にかかる相対情報の原点カメラとの位置関係が示されているカメラと基準カメラとの位置関係と、当該相対情報に示される、撮影側カメラと被写体カメラとの位置関係とを用いてベクトル演算することにより、基準カメラの座標系を基準とした撮影側カメラの座標および撮影方向を示す情報への前記変換を行うこととしてもよい。
【００２１】
これにより、基準カメラとの位置関係が既知のカメラを撮影している撮影側カメラがある場合に、この撮影側カメラについて、基準カメラの座標系を基準とした座標および向きを相対位置情報に登録することができる。
ここで、上記生成される相対位置情報を用いて、以下のようにしてもよい。
すなわち、前記データ処理装置は、さらに、前記生成された相対位置情報に基づいて、前記複数のカメラのうち基準カメラの座標系を基準とした各カメラの座標および向きを示す画像データを生成して、生成した画像データを用いて、各撮影画像データを選択するためのユーザインタフェースを表示部に表示させる画像選択支援部を備えることとしてもよい。
【００２２】
これにより、ユーザが撮影画像データを選択するのを支援することができる。
また、この場合において、前記ユーザインタフェースは、生成した前記画像データを表示するカメラ間位置関係表示領域と、選択されたカメラの撮影画像データを表示する撮影画像表示領域とを含み、前記画像選択支援部は、前記撮影画像表示領域において表示されている撮影画像データの撮影側カメラの撮影範囲に入っているカメラの、当該撮影画像データにおける位置を特定する位置特定部と、前記位置特定部により特定された位置に基づいた位置に、カメラを識別する画像である被写体識別画像を当該撮影画像データにオーバーレイ表示するオーバーレイ表示部とを含むこととしてもよい。
【００２３】
これによると、撮影画像データに被写体として写っている被写体カメラがどのカメラであるか、ユーザに容易に識別させることができる。
また、この場合において、前記画像選択支援部は、前記オーバーレイ表示部によりオーバーレイ表示されている被写体識別画像を選択する操作を受け付けると、選択された被写体識別画像により識別されるカメラの撮影画像を前記撮影画像表示領域に表示することとしてもよい。
【００２４】
また、前記オーバーレイ表示部は、各カメラに色を割り当てて、各カメラの被写体識別画像を、そのカメラに割り当てた色によりオーバーレイ表示し、前記画像選択支援部は、各カメラを示す画像が、各カメラに割り当てられた色により視覚的に区別されて表示されるよう前記画像データを生成することとしてもよい。
また、前記オーバーレイ表示部は、撮影画像データを撮影した撮影側カメラから前記被写体識別画像により示されるカメラまでの距離を視覚的に区別できるよう、前記被写体識別画像を前記距離に応じてそれぞれ異なる態様で表示することとしてもよい。
【００２５】
また、この場合において、前記位置特定部は、表示されている撮影画像データの撮影側カメラを基準カメラとした前記相対位置情報に示される各カメラの座標または前記撮影側カメラを原点カメラとする相対情報の少なくともいずれか一方、および、当該撮影側カメラの撮影範囲を示す撮影範囲情報に基づいて、前記特定を行うこととしてもよい。
これによると、各カメラの座標に基づいて前記特定を行うので、相対位置情報を用いて前記特定を行った場合は、撮影画像データにおいて被写体として写っていないカメラについても、そのカメラの位置を撮影画像データに表示することができる。
【００２６】
さらに、前記位置特定部は、前記撮影範囲に入っているカメラそれぞれについて、前記撮影画像データにおいて被写体として写っている被写体カメラであるか、隠れたカメラであるかを、前記相対位置情報に示される各カメラの座標に基づいて判定し、前記オーバーレイ表示部は、撮影範囲に入っているカメラが被写体カメラであるか、あるいは隠れたカメラであるかを視覚的に区別できる態様で前記被写体識別画像をオーバーレイ表示することとしてもよい。
【００２７】
これにより、被写体として写っていないカメラが存在することを、ユーザに容易に認識させることができる。
また、前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、前記データ処理装置は、所定の時刻ごとに前記相対位置情報を生成し、所定の時刻における相対位置情報において、前記基準情報のない不定カメラがある場合、その所定の時刻の前後の時刻における相対位置情報に示される不定カメラの座標および撮影方向に基づいて、基準カメラの座標系を基準とした、前記所定の時刻における前記不定カメラの座標および撮影方向を補間することとしてもよい。
【００２８】
これにより、位置関係が不明なカメラがあったとしても、前後の時間帯の相対位置情報を用いて、その位置関係を補間することができる。
また、本発明は、複数のカメラの位置関係を管理するデータ処理方法であって、前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含むことを特徴とするデータ処理方法でもある。
【００２９】
また、本発明は、複数のカメラの位置関係を管理するための各ステップをデータ処理装置に実行させる制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記制御プログラムは、前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含むことを特徴とする記録媒体でもある。
【図面の簡単な説明】
【００３０】
【図１】本発明における、各カメラの撮影状況の一例を示す図。
【図２】本発明のデータ処理システムの概略を示す機能ブロック図。
【図３】相対情報算出部６の詳細を示す機能ブロック図。
【図４】二次元マーカー３０を示す図。
【図５】マッチングテーブル３６を示す図。。
【図６】撮影画像に写った二次元マーカー３０を示す図。
【図７】撮影側カメラと被写体カメラとの相対的な位置関係を示す図。
【図８】相対情報を示す図。
【図９】位置関係算出部７の詳細を示す機能ブロック図。
【図１０】キューに登録されている相対情報を示す図。
【図１１】相対位置情報６０を示す図。
【図１２】データ処理装置２の動作の全体を示すフローチャート。
【図１３】相対情報算出部６の動作の詳細を示すフローチャート。
【図１４】位置関係算出部７の動作の詳細を示すフローチャート。
【図１５】データ判定部５４による判定処理の詳細を示す図。
【図１６】対象カメラと撮影側カメラとが同一の場合における、変換演算の演算方法を示す図。
【図１７】基準カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図。
【図１８】対象カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図。
【図１９】画像選択支援部８により生成される画像の一例を示す図。
【図２０】ユーザインタフェースの一例を示す図。
【図２１】ユーザインタフェースの一例を示す図。
【図２２】各カメラを基準とした他カメラとの位置関係を示す図。
【図２３】ユーザインタフェースの一例を示す図。
【図２４】被写体カメラに隠れたカメラの有無の判定方法を示す図。
【図２５】表示端末１０００の外装を示す図。
【図２６】データ処理システムの構成を示す図。
【発明を実施するための形態】
【００３１】
＜実施の形態１＞
以下、本発明にかかるデータ処理装置、および、データ処理装置を用いたデータ処理システムについて、一実施形態を、図面を用いて説明する。
１  概要
図１は、本発明における、各カメラの撮影状況の一例を示す図である。
【００３２】
本発明では、図１に示すように、各人がカメラ（１ａ、１ｂ、１ｃ、・・）を装着して撮影を行う状況を想定している。そして、各カメラが撮影した撮影画像に基づいて、各カメラの位置関係を算出する。また、カメラと人とは一対一に対応しているものとする。各人は、動き回っていても良いし、あまり移動しなくてもよい。本発明では、各時刻におけるカメラ間の相対的な位置関係、すなわち各人の位置関係を算出する。
【００３３】
なお、本実施形態では、カメラ間の位置関係を算出すると、算出した位置関係を用いて、カメラが撮影した撮影画像の選択を支援する画像選択支援システムを提供することとしている。他にも、算出した位置関係を、そのまま画像として表示するだけでも有用であり、カメラ間の位置関係は、様々な用途に用いることができる。
以下、具体的に説明する。
【００３４】
２  構成
図２は、本発明のデータ処理システムの概略を示す機能ブロック図である。
図２に示すように、データ処理システムは、複数のカメラ（１ａ、１ｂ、１ｃ、・・）と、データ処理装置２と、表示部３とからなる。
２．１  カメラ
複数のカメラ（１ａ、１ｂ、１ｃ、・・）のそれぞれは、本実施形態では、所定時間間隔で静止画の撮影を行う。なお、各カメラが撮影する静止画には、撮影を行ったカメラを識別する情報や、撮影を行った撮影日時などの情報がメタデータとして付与される。
【００３５】
２．２  データ処理装置２
データ処理装置２は、後述する位置関係算出部７により、複数のカメラの位置関係を管理する。具体的には、データ処理装置２は、カメラそれぞれが生成する撮影画像を、各カメラから受信し、受信した撮影画像に基づいて、ある時点における各カメラの位置関係を算出する。なお、位置関係とは、あるカメラを基準としたときの、他のカメラの座標および向きのことをいう。
【００３６】
また、算出した位置関係を用いて様々な処理を行うことができるが、本実施形態では、データ処理装置２は、後述する画像選択支援部８により、ユーザが各カメラの撮影画像を選択するのを支援するユーザインタフェースを生成する。データ処理装置２の詳細な構成は後述する「２．４  データ処理装置２の詳細」において説明する。
２．３  表示部３
表示部３は、データ処理装置２から出力される画像信号を受信して、受信した画像信号に基づいて画像を表示する。例えばLCD（Liquid Crystal Display）、PDP（Plasma Display Panel）、有機EL（OrganicElectro-Luminescence）などとして実現される。
【００３７】
２．４  データ処理装置２の詳細
ここで、データ処理装置２を詳しく説明する。
図２に示すように、データ処理装置２は、相対情報算出部６と、位置関係算出部７と、画像選択支援部８とを含んでいる。
相対情報算出部６は、複数のカメラそれぞれが生成する撮影画像を取得して、撮影画像それぞれを解析し、撮影画像それぞれについて、撮影画像を撮影した撮影側カメラと、撮影画像に被写体として写った被写体カメラとの相対的な位置関係を算出する。具体的には図３を用いて後述する。
【００３８】
位置関係算出部７は、撮影画像それぞれについての相対情報算出部６の算出結果に基づいて、複数のカメラのうち１のカメラを基準としたときの、各カメラの相対的な位置関係を算出する。具体的には図９を用いて後述する。
画像選択支援部８は、位置関係算出部７の算出結果に基づいて、ユーザインタフェースを生成し、ユーザインタフェースを表示部３に表示させるための画像信号を表示部３に出力する。
【００３９】
２．５  相対情報算出部６の詳細
ここで、相対情報算出部６を、詳しく説明する。
図３は、相対情報算出部６の詳細を示す機能ブロック図である。
相対情報算出部６は、撮影画像取得部１１と、同時刻撮影画像抽出部１２と、撮影側カメラ識別部１３と、画像認識部１４と、被写体カメラ識別部１５と、被写体カメラ情報算出部１６と、被写体カメラ向き算出部１７と、被写体カメラ座標算出部１８と、相対情報生成部１９とからなる。
【００４０】
２．５．１  撮影画像取得部１１
撮影画像取得部１１は、各カメラが撮影した撮影画像を取得する。例えば、各カメラと接続したり、各カメラの撮影画像を記録した記録媒体と接続し、記録媒体から撮影画像を読み出したりする等により各カメラの撮影画像を取得する。
２．５．２  同時刻撮影画像抽出部１２
同時刻撮影画像抽出部１２は、各撮影画像にメタデータとして付与されている撮影日時を参照して、各カメラから取得した撮影画像それぞれのうち、予め設定されている設定時刻に基づいて、撮影画像を抽出する。
【００４１】
２．５．３  撮影側カメラ識別部１３
撮影側カメラ識別部１３は、撮影画像に付されたメタデータを参照し、撮影画像の撮影を行った撮影側カメラの識別情報を取得する。
２．５．４  画像認識部１４
画像認識部１４は、撮影画像の画像認識を行って、撮影画像に被写体として写っている被写体カメラを識別するための領域を検出する。具体的には、本実施形態では、二次元マーカーを用いて、上記検出を行うこととする。詳細は図４等を用いて後述する。
【００４２】
２．５．５  被写体カメラ識別部１５
被写体カメラ識別部１５は、画像認識によって検出された領域に基づいて、被写体カメラの識別情報を取得する。詳細は図４等を用いて後述する。
２．５．６  被写体カメラ情報算出部１６
被写体カメラ情報算出部１６は、撮影画像について、撮影側カメラと被写体カメラとの相対的な位置関係を算出する。本実施形態では、撮影側カメラのカメラ座標系を基準とした場合の、撮影側カメラと被写体カメラとの位置関係を算出する。
【００４３】
具体的には、被写体カメラ情報算出部１６は、被写体カメラ向き算出部１７と、被写体カメラ座標算出部１８とを含んでいる。
被写体カメラ向き算出部１７は、撮影側カメラのカメラ座標系を基準とした場合の、被写体カメラの向きを算出する。ここで、被写体カメラの向きとは、被写体カメラが撮影を行っている方向のことをいう。
【００４４】
また、被写体カメラ座標算出部１８は、撮影側カメラのカメラ座標系を基準とした場合の、被写体カメラの座標を算出する。
２．５．６．１  被写体カメラ識別部１５等の詳細な説明の概略
ここで、被写体カメラ識別部１５と被写体カメラ情報算出部１６とについて詳しく説明する。すなわち、撮影画像の画像認識を行って、
（ｉ）被写体カメラ識別部１５が被写体カメラを識別し、
（ｉｉ）被写体カメラ情報算出部１６が被写体カメラと撮影側カメラとのうちいずれか一方のカメラ座標系を基準とした場合の、他方のカメラの相対的な座標および向きを算出する方法について説明する。
【００４５】
本実施形態では、具体的には、各カメラの所定位置に二次元マーカーを付しておき、撮影側カメラが撮影した撮影画像に写っている二次元マーカーを画像認識部１４が撮影画像から検出する。
こうすることにより、被写体カメラ識別部１５や被写体カメラ情報算出部１６は、（ｉ）被写体カメラの識別や、（ｉｉ）上記相対的な座標および向きの算出を行う。なお、マーカーのパラメータ（マーカーの大きさ、形状など）やカメラのパラメータ（焦点距離、撮像解像度など）が既知のときに、撮影画像に写った二次元マーカーを検出して、（ｉ）二次元マーカーの識別と、（ｉｉ）カメラと二次元マーカーとの相対的な位置関係の算出とを行う技術は、様々なものが知られており、実際に用いられている。例えば、非特許文献  Kato, H., Billinghurst, M. (1999) MarkerTracking and HMD Calibration for a video-based Augmented Reality ConferencingSystem. In Proceedings of the 2nd International Workshop on Augmented Reality(IWAR 99). October, San Francisco, USA.
などの文献により公知となっている。そこで、以下の説明では、詳細な説明は省略し、本実施形態における具体的な実施方法を簡単に説明することとする。
【００４６】
２．５．６．２  被写体カメラ識別部１５の詳細
まず、（ｉ）被写体カメラ識別部１５が被写体カメラを識別する方法について説明する。
図４は、二次元マーカー３０を示す図である。
二次元マーカー３０は、図示するように４つの頂点を有する四角形の形状をしており、カメラそれぞれの所定位置に付されている。なお、二次元マーカー３０のパラメータ（マーカーの寸法、大きさ、形状など）や、各カメラのパラメータ（焦点距離、撮像解像度など）は、既知であるとする。本実施形態では、図示するように、カメラを基準としたカメラ座標系における所定の座標に二次元マーカー３０を配置する。すなわち、カメラ座標系における二次元マーカー３０の座標は既知である。なお、カメラ座標系（Xc,Yc,Zc）は、カメラの焦点位置を原点とし、画像平面に垂直な方向（つまり、カメラが撮影する方向）をZ軸とする。そして、画像平面のx軸、y軸に平行な方向をそれぞれX軸、Y軸とする。
【００４７】
二次元マーカー３０は、図示するように、カメラ識別領域３１を有している。カメラ識別領域３１は、二次元マーカー３０が付されているカメラを識別するための領域である。
各カメラを識別するために、本実施形態では、二次元コード（2D code）を用いることとしている。具体的には、カメラ識別領域３１は、図４に示すように、４行×４列の小領域に分けられ、それぞれの小領域は２色に塗り分けられる。例えば、それぞれの小領域は、白色か黒色のいずれかが塗られる。そして、カメラごとに、各小領域の白色と黒色との塗り分け方が固有のものとなっている。
【００４８】
なお、カメラごとの塗り分け方は、図５に示すように、マッチングテーブル３６として画像認識部１４において保持している。マッチングテーブル３６の１件のレコードは、図５に示すように、カメラ識別情報３７と、コードパターン３８とからなる。すなわち、マッチングテーブル３６では、カメラを識別するカメラ識別情報と、各カメラに固有の二次元コードのパターンを示す情報とが対応づけられている。
【００４９】
上述のように、本実施形態では、各カメラの所定位置に、それぞれのカメラに固有のコードパターンを有する二次元マーカー３０を付しておく。そして、図６に示すように、二次元マーカー３０が撮影画像に写っていると、画像認識部１４は、撮影画像を画像認識することにより二次元マーカー３０の輪郭線を検出する。そして、被写体カメラ識別部１５は、検出された二次元マーカー３０のカメラ識別領域３１のコードパターンを、マッチングテーブル３６のコードパターンと比較し、パターンマッチングを行うことで、この二次元マーカー３０が付されている被写体カメラを識別する。
【００５０】
２．５．６．３  被写体カメラ情報算出部１６の詳細
次に、（ｉｉ）撮影側カメラと被写体カメラとの相対的な座標および向きを算出する方法について説明する。本実施形態では、上記非特許文献に記載の技術を用いることとする。
上記非特許文献に記載された技術による演算により、撮影側カメラを基準とした場合の、撮影画像に写っている二次元マーカー３０の向きと座標が算出される。ここで、二次元マーカー３０の向きは、被写体カメラが撮影している方向とほぼ同一であるとする。すなわち、二次元マーカー３０の向きを、被写体カメラの向きと近似できるものとする。また、被写体カメラと、被写体カメラに配置されている二次元マーカー３０との相対的な位置関係は既知であるので、撮影側カメラを基準とした場合の二次元マーカー３０の座標を修正して被写体カメラの座標を算出する。
【００５１】
このようにして、被写体カメラ情報算出部１６は、撮影側カメラを基準とした場合の、被写体カメラの向きおよび被写体カメラの座標を算出する。算出した被写体カメラの向き、座標は、図７に示すように表される。
図７は、撮影側カメラと被写体カメラとの相対的な位置関係を示す図である。なお、本実施形態では、撮影側カメラを基準とするカメラ座標系における被写体カメラの座標を（X, Y, Z）とすると、Y軸の値" Y "は、X軸の値" X "やZ軸の値"Z"と比べて小さいものと想定している。そこで、撮影側カメラと被写体カメラの相対的な位置は、X軸の値" X "を" x"、Z軸の値" Z "を" y "として、（x, y）からなる二次元の座標として表すこととする。また、被写体カメラの向きは、撮影側カメラを基準としたカメラ座標系のZ軸（すなわち、図７に示すy軸）を基準とした、時計回り方向を正とした角度によって表している。
【００５２】
２．５．７  相対情報生成部１９
相対情報算出部６の説明に戻る。
相対情報生成部１９は、撮影画像それぞれについて、相対情報を生成する。生成した相対情報を、位置関係算出部７へ出力する。
２．５．７．１  相対情報
ここで、相対情報について説明する。図８は、相対情報（８０ａ、８０ｂ、・・）を示す図である。図８に示すように、１件の相対情報は、撮影時刻８１と、撮影側カメラ識別情報８２と、被写体カメラ識別情報８３と、被写体カメラ向き８４と、被写体カメラ座標８５とを対応づけたものである。
【００５３】
２．５．７．２  相対情報の詳細
相対情報のうち、撮影時刻８１は、撮影画像が撮影された時刻を示し、同時刻撮影画像抽出部１２の抽出にかかる時刻と対応している。
撮影側カメラ識別情報８２は、撮影側カメラを示しており、撮影側カメラ識別部１３により取得される識別情報と対応している。
【００５４】
被写体カメラ識別情報８３は、被写体カメラを示しており、被写体カメラ識別部１５により取得される識別情報と対応している。
被写体カメラ向き８４は、被写体カメラの相対的な向きを示し、被写体カメラ向き算出部１７の算出結果と対応している。
被写体カメラ座標８５は、被写体カメラの相対的な座標を示し、被写体カメラ座標算出部１８の算出結果と対応している。
【００５５】
以上、相対情報算出部６について説明した。
２．６  位置関係算出部７
次に、位置関係算出部７の詳細を説明する。
図９は、位置関係算出部７の詳細を示す機能ブロック図である。
位置関係算出部７は、１のカメラを基準とした他のカメラの相対的な向きや座標を示す相対位置情報６０を生成する。図９に示すように、位置関係算出部７は、相対情報取得部５１と、基準カメラ設定部５２と、データ管理部５３と、データ判定部５４と、相対位置情報管理部５５と、相対情報変換演算部５６とからなる。
【００５６】
２．６．１  相対情報取得部５１
以下、順に詳しく説明すると、相対情報取得部５１は、相対情報算出部６により出力される相対情報を、逐次、取得する。取得した相対情報をデータ管理部５３に出力する。
２．６．２  基準カメラ設定部５２
基準カメラ設定部５２は、１のカメラを基準とした各カメラの向きおよび座標を算出するための、基準となるカメラ（基準カメラ）を設定する。基準カメラの設定方法は、例えば、後述するデータ管理部５３がキューに登録した相対情報の、１件目のものの撮影側カメラ識別情報８２に示される撮影側カメラを基準とする等、さまざまな方法が考えられる。
【００５７】
２．６．３  データ管理部５３
データ管理部５３は、所定の設定時刻の相対情報それぞれを管理する。
具体的には、データ管理部５３は、相対情報取得部５１から出力される相対情報を受け付けて、例えば図１０に示すようにキューに登録して管理する。詳しくは「３．３  位置関係算出部７の動作」において説明する。
【００５８】
ここで、キューに登録されている相対情報を示す図１０について説明する。
上述のように、キューには、相対情報が登録されている。キューからは、番号８６に示す番号順に相対情報が出力される。なお、キューに登録されている各相対情報の、撮影側カメラ識別情報８２等は、既に図８において説明したものと同様であるため説明を省略する。また、同図では、相対情報のうち、撮影時刻８１を省略して記載している。
【００５９】
２．６．４  データ判定部５４
データ判定部５４は、相対位置情報６０の生成のための処理の一部を行う。具体的には、データ判定部５４は、相対情報を取得し、取得した相対情報それぞれについて、相対情報が相対位置情報６０の生成に用いることができるか、また、「２．６．６  相対情報変換演算部５６」において後述する相対情報変換演算部５６による変換演算が必要か（変換するか否か）を判定する。なお、変換演算とは、受け付けた相対情報を、基準カメラを基準とした他カメラの位置関係を示す情報に変換することをいう。データ判定部５４は、判定結果に応じて、相対情報の出力先を制御したり、相対情報を破棄したりする。詳しくは図１５を用いて後述する。
【００６０】
２．６．５  相対位置情報管理部５５
相対位置情報管理部５５は、相対位置情報６０を管理する。
ここで、相対位置情報６０を詳細に説明する。
図１１は、相対位置情報６０を示す図である。
相対位置情報６０の１件のレコードは、時刻６１と、基準カメラ６２と、対象カメラ６３と、相対的な位置６４と、相対的な向き６５とを含む。
【００６１】
時刻６１は、カメラ間の位置関係が、どの時刻におけるものかを示す。
基準カメラ６２は、カメラ間の相対的な位置関係を算出する際の、基準となるカメラを示す。基準カメラ６２は、上記基準カメラ設定部５２により設定されたカメラである。
対象カメラ６３は、基準カメラ６２に示されるカメラを基準としたときの、相対的な位置関係を算出する対象となるカメラ（対象カメラ）を示す。
【００６２】
相対的な向き６５は、基準カメラ６２に示されるカメラを基準としたときの、対象カメラの向きを示す。対象カメラの向きは、この例では、基準カメラを基準としたカメラ座標系のZ軸（撮影する方向）を基準とした、時計回り方向を正とした角度によって表している。
相対的な位置６４は、基準カメラ６２に示されるカメラを基準としたときの、対象カメラの位置（座標）を示す。対象カメラの位置は、この例では、基準カメラのカメラ座標系の、X軸をx軸、Z軸をy軸としたxy平面の座標として表している。
【００６３】
所定の設定時刻における相対情報それぞれは、相対情報変換演算部５６による変換演算等を経て、図１１に相対位置情報６０として示すように、１のカメラを基準とした各カメラの相対的な向きおよび座標を示すものとなる。なお、図１１では、カメラ"Ａ"が基準カメラとなっている。
２．６．６  相対情報変換演算部５６
位置関係算出部７の説明に戻る。
【００６４】
相対情報変換演算部５６は、データ判定部５４から相対情報を受け付けて、相対情報に示される、撮影側カメラと被写体カメラとの位置関係を、基準カメラの座標系を基準としたものに変換する。詳しくは図１６〜図１８を用いて後述する。
３  動作
次に、データ処理装置２の動作について説明する。
【００６５】
３．１  データ処理装置２の全体の動作
図１２は、データ処理装置２の動作の全体を示すフローチャートである。
図１２に示すように、データ処理装置２の相対情報算出部６は、同時刻に撮影された撮影画像それぞれについて、撮影側カメラを基準とした被写体カメラの向きおよび座標を算出する（Ｓ１０００）。相対情報算出部６は、この算出により、撮影画像それぞれについて相対情報を生成し、生成した相対情報それぞれを、位置関係算出部７へ出力する。
【００６６】
位置関係算出部７は、複数の相対情報を受け付けて、１のカメラを基準とした各カメラの向きおよび座標を算出して相対位置情報６０を生成する（Ｓ２０００）。
３．２  相対情報算出部６の動作
ここで、相対情報算出部６によるステップＳ１０００の動作について、詳細に説明する。
【００６７】
図１３は、相対情報算出部６の動作の詳細を示すフローチャートである。
相対情報算出部６は、各カメラが撮影した撮影画像を、撮影画像取得部１１により取得する。
同時刻撮影画像抽出部１２は、取得した撮影画像のうち、予め設定されている設定時刻を含んだ所定の時間帯に撮影された撮影画像を抽出する（Ｓ１１）。例えば、設定時刻を含む数秒間の間に撮影された撮影画像を抽出する。相対情報算出部６は、ステップＳ１１において、撮影画像を抽出した数を記憶する（Ｓ１３）。具体的には、例えば、変数"ｎ"に、ステップＳ１１において撮影画像を抽出した数を格納する。
【００６８】
ｎ  ＝  撮影画像を抽出した数
また、変数"ｉ"を初期化し、"ｉ"に値"０"を格納する。
ｉ  ＝  ０
ここで、変数"ｎ"は、抽出された撮影画像の総数を示す。また、変数"ｉ"は、抽出された撮影画像のうち、相対情報を生成するための処理がなされた数を示す。ステップＳ１１において抽出された撮影画像それぞれは、例えば、撮影画像を示す識別子がキューに格納され、以降、１つずつ処理の対象となり、相対情報が生成される。
【００６９】
撮影側カメラ識別部１３は、処理の対象となる１の撮影画像を示す識別子をキューから読み出し、当該識別子に示される撮影画像のメタデータを参照し、メタデータから当該撮影画像の撮影側カメラの識別情報を抽出して記憶する（Ｓ１５）。
画像認識部１４は、ステップＳ１５において撮影側カメラ識別部１３の処理の対象となった撮影画像の画像認識を行い、二次元マーカーの検出を試みる。二次元マーカーが検出されれば、被写体カメラ識別部１５は、当該撮影画像に写った被写体カメラの識別情報を取得して記憶する（Ｓ１７）。なお、ステップＳ１７において、二次元マーカー３０が検出されなかった場合、相対情報算出部６は、変数"ｉ"に１を加算して（ｉ  ＝  ｉ  ＋  １）、ステップＳ１５の処理を行って新たにキューから識別子を読み出して以降の処理を行う。
【００７０】
また、ステップＳ１７において画像認識部１４により二次元マーカーが検出された場合、被写体カメラ向き算出部１７は、撮影側カメラを基準としたカメラ座標系における、被写体カメラの相対的な向きを算出する（Ｓ１９）。また、被写体カメラ座標算出部１８は、撮影側カメラを基準としたカメラ座標系における、被写体カメラの相対的な座標を算出する（Ｓ２１）。
【００７１】
相対情報生成部１９は、ステップＳ１５、Ｓ１７、Ｓ１９、Ｓ２１で得られた情報、および、ステップＳ１１において抽出が行われた設定時刻を対応づけて、１の撮影画像についての相対情報を生成する。相対情報生成部１９は、生成した相対情報を、位置関係算出部７へ出力し（Ｓ２３）、変数"ｉ"に１を加算する。
ｉ  ＝  ｉ＋１
ステップＳ１１において抽出されたすべての撮影画像について、相対情報を生成したか判断する（Ｓ２５）。具体的には、変数"ｉ"が、変数"ｎ"以上か判断する。ステップＳ２５において、すべての撮影画像について相対情報を生成していなければ（すなわち、まだ相対情報を生成していない撮影画像があれば）（Ｓ２５：ＮＯ）（ｉ＜ｎ）、キューに蓄積された、次の撮影画像について、ステップＳ１５以降の処理を行って相対情報を生成する。
【００７２】
ステップＳ２５においてすべての撮影画像について相対情報を生成したと判断されると（Ｓ２５：ＹＥＳ）、相対情報算出部６の動作が終了する。
３．３  位置関係算出部７の動作
次に、位置関係算出部７によるステップＳ２０００の動作について、詳細に説明する。
図１４は、位置関係算出部７の動作の詳細を示すフローチャートである。
【００７３】
位置関係算出部７は、相対情報取得部５１により、同一時刻の相対情報を取得する（Ｓ２００１）。
次に、位置関係算出部７は、データ管理部５３により、相対情報取得部５１が取得した同一時刻の相対情報を図１０に示すような例えばキュー等により保持する（Ｓ２００２）。
【００７４】
そして、位置関係算出部７は、基準カメラ設定部５２により、位置関係の基準とする基準カメラを設定する（Ｓ２００３）。
次に、位置関係算出部７は、保持している相対情報を、データ管理部５３により、順次、データ判定部５４に送信する（Ｓ２００４）。
次に、位置関係算出部７は、データ判定部５４により、データ管理部５３から受信した相対情報の、以降の処理方法を判定する。詳細は図１５を用いて後述するが、データ判定部５４は、判定結果に応じて、相対情報を、
（ｉ）相対位置情報管理部５５に送信したり、
（ｉｉ）破棄したり、
（ｉｉｉ）相対情報変換演算部５６に送信したり、
（ｉｖ）データ管理部５３に返還したりする。
【００７５】
位置関係算出部７は、上記（ｉ）の場合は、データ判定部５４から相対位置情報管理部５５へと送信される相対情報を、図１１に示す相対位置情報６０において保持する。
また、上記（ｉｉｉ）の場合は、位置関係算出部７は、データ判定部５４から相対情報変換演算部５６へと送信される相対情報を、相対情報変換演算部５６により変換する。この変換については図１６〜図１８を用いて後述する。位置関係算出部７は、変換後の相対情報を、相対情報変換演算部５６から相対位置情報管理部５５に送信して相対位置情報６０において保持する。
【００７６】
また、上記（ｉｖ）の場合は、データ判定部５４からデータ管理部５３に返還される相対情報を、データ管理部５３により、例えばキューの末尾に登録する（Ｓ２００５）。
位置関係算出部７は、
（ａ）データ管理部５３が保持していた全ての相対情報を相対位置情報６０に反映させたか、
（ｂ）データ管理部５３により保持されている相対情報が、これ以上、相対位置情報６０に反映できなくなると、処理を終了する。
【００７７】
なお、上記（ａ）は、つまり、データ管理部５３がキュー等により保持している相対情報が無くなったことを意味している。また、上記（ｂ）は、つまり、データ管理部５３が保持しているいずれの相対情報の撮影側カメラ識別情報８２と被写体カメラ識別情報８３を参照しても、相対位置情報管理部５５が保持している相対位置情報６０の基準カメラもしくは対象カメラと一致するものが無くなったことを意味している。
【００７８】
３．４  データ判定部５４の詳細な動作
ここで、ステップＳ２００５の、データ判定部５４による判定処理の詳細について説明する。
まず概略を説明する。
相対位置情報管理部５５において管理されている相対位置情報６０は、基準カメラと対象カメラとの位置関係を示すものである。
【００７９】
したがって、相対情報の撮影側カメラまたは被写体カメラが、基準カメラであったり、または、相対位置情報６０の各レコードの対象カメラに含まれていれば、その相対情報を用いて、相対位置情報６０にレコードを追加しうる。
図１５は、データ判定部５４による判定処理の詳細を示す図である。以下の例では、データ判定部５４は、まず、相対情報の撮影側カメラが、
（ｉ）基準カメラであるか（Ｓ９１）、
（ｉｉ）相対位置情報６０に対象カメラとして含まれているか判定する（Ｓ９７）。
【００８０】
続いて、相対情報の被写体カメラが、
（ｉｉｉ）基準カメラであるか（Ｓ１０３）、
（ｉｖ）相対位置情報６０に対象カメラとして含まれているか判定する（Ｓ１０７）。
上記各ステップにおいて、相対情報の撮影側カメラや被写体カメラが、相対位置情報６０において基準カメラあるいは対象カメラとして含まれていなければ、相対位置情報６０にレコードを追加することができないので、その相対情報を、データ管理部５３に返還する（Ｓ１１１）。
【００８１】
概略の説明に続いて、図１５を用いて具体的に説明する。
（ｉ）データ判定部５４は、ステップＳ２００４においてデータ管理部５３から出力された相対情報を受け付けると、相対情報の撮影側カメラ識別情報８３を参照し、撮影側カメラ識別情報８３に示されるカメラ（撮影側カメラ）が、基準カメラ設定部５２において設定した基準カメラであるか判定する（Ｓ９１）。
【００８２】
ステップＳ９１において、撮影側カメラが基準カメラと一致する場合（Ｓ９１：ＹＥＳ）、データ判定部５４は、相対情報の被写体カメラ識別情報８３に示されるカメラ（被写体カメラ）と、相対位置情報管理部５５に保持されている相対位置情報６０の、各レコードの対象カメラ６３とを参照し、被写体カメラが、相対位置情報６０の対象カメラに既に存在するか判定する（Ｓ９３）。
【００８３】
ステップＳ９３において、相対情報の被写体カメラが、相対位置情報の各レコードの対象カメラに存在しない場合（Ｓ９３：ＮＯ）について説明する。この場合、相対情報に示される撮影側カメラと被写体カメラとの位置関係（被写体カメラの向きおよび座標）は、まだ相対位置情報６０に反映されていないことになる。したがって、データ判定部５４は、相対情報の撮影側カメラ識別情報８２に示されるカメラを基準カメラ６２とし、相対情報の被写体カメラ８３に示されるカメラを対象カメラ６３とする情報を相対位置情報管理部５５に出力する（Ｓ９５）。相対位置情報管理部５５は、このデータ判定部５４から出力される情報を受け付けて、受け付けた情報を、相対位置情報６０に追加する。
【００８４】
また、ステップＳ９３において、相対情報の被写体カメラが、相対位置情報の各レコードの対象カメラに存在する場合（Ｓ９３：ＹＥＳ）について説明する。この場合、既に相対情報に示される撮影側カメラと被写体カメラとの位置関係は相対位置情報６０に登録されていることになるので、データ判定部５４は、相対情報を破棄する（Ｓ１０１）。
（ｉｉ）ステップＳ９１において、相対情報の撮影側カメラが基準カメラと一致しない場合（Ｓ９１：ＮＯ）について説明する。
【００８５】
この場合、データ判定部５４は、相対位置情報６０の、各レコードの対象カメラ６３を参照し、相対情報の撮影側カメラが、相対位置情報６０の対象カメラに既に存在するか判定する（Ｓ９７）。
ステップＳ９７において、肯定的な判定がされる場合、つまり、相対情報の撮影側カメラが、相対位置情報６０の各レコードの対象カメラに存在する場合（Ｓ９７：ＹＥＳ）について説明する。この場合は、基準カメラと撮影側カメラとの位置関係および撮影側カメラと被写体カメラとの位置関係が既知であるので、基準カメラと被写体カメラとの位置関係を算出しうる。しかし、基準カメラと被写体カメラとが同一であると、基準カメラと被写体カメラとの位置関係は相対位置情報６０に既に含まれていることとなる。そこで、データ判定部５４は、相対情報の被写体カメラが、相対位置情報の基準カメラと同一か判定する（Ｓ９９）。
【００８６】
ステップＳ９９において肯定的な判定がされる場合は（Ｓ９９：ＹＥＳ）、データ判定部５４は、相対情報を破棄する（Ｓ１０１）。
ステップＳ９９において否定的な判定がされる場合（Ｓ９９：ＮＯ）は、また基準カメラと被写体カメラとの位置関係が相対位置情報６０に含まれていない。そこで、この位置関係を算出するために、データ判定部５４は、相対情報を、相対情報変換演算部５６に出力する（Ｓ１０５）。
【００８７】
上記の各処理により、撮影側カメラが相対位置情報６０の基準カメラまたは対象カメラに含まれる場合に、相対情報を用いて相対位置情報６０にレコードを追加する等することができる。
（ｉｉｉ）相対情報の撮影側カメラが相対位置情報６０の基準カメラや対象カメラに含まれない場合であっても、相対情報の被写体カメラが相対位置情報６０の基準カメラや対象カメラに含まれているのであれば、その相対情報を用いて、相対位置情報６０にレコードを追加しうる。そこで、ステップＳ９７において否定的な判定がされる場合（Ｓ９７：ＮＯ）には、データ判定部５４は、被写体カメラが相対位置情報６０の基準カメラあるいは対象カメラに含まれるか否かに基づいて相対情報の出力先を制御する。
【００８８】
以下、具体的に説明すると、ステップＳ９７において、相対情報の撮影側カメラが相対位置情報６０の対象カメラに存在しない場合（Ｓ９７：ＮＯ）、データ判定部５４は、相対情報の被写体カメラが、基準カメラと同一であるか否かを判定する（Ｓ１０３）。
ステップＳ１０３において、肯定的な判定がされる場合（Ｓ１０３：ＹＥＳ）、つまり被写体カメラと基準カメラとが同一である場合（撮影側カメラが基準カメラを撮影しているケース）、データ判定部５４は、相対情報を、相対情報変換演算部５６へ出力する（Ｓ１０５）。
【００８９】
（ｉｖ）ステップＳ１０３において否定的な判定がされる場合（Ｓ１０３：ＮＯ）、データ判定部５４は、相対位置情報６０の各レコードの対象カメラを参照して、相対情報の被写体カメラが、相対位置情報６０の対象カメラに含まれているか判定する（Ｓ１０７）。
ステップＳ１０７において肯定的に判定される場合（Ｓ１０７：ＹＥＳ）は、被写体カメラと対象カメラとが同一で、基準カメラと対象カメラとの位置関係、および、撮影側カメラと被写体カメラとの位置関係が既知であるので、基準カメラと撮影側カメラとの位置関係を算出しうる。そこで、データ判定部５４は、相対情報を、相対情報変換演算部５６へ出力する（Ｓ１０５）。
【００９０】
ステップＳ１０７において否定的に判定される場合（Ｓ１０７：ＮＯ）、この相対情報は、相対位置情報６０の各レコードとのつながりがないため、相対位置情報６０にレコードを追加することができない。そのため、データ判定部５４は、相対情報を、データ管理部５３に返還する（Ｓ１１１）。なお、データ管理部５３は、返還された相対情報をキューの末尾に登録する。
【００９１】
３．５  相対情報変換演算部５６の詳細な動作
ここで、ステップＳ１０５によって相対情報変換演算部５６へ相対情報が出力された後、相対情報変換演算部５６で行われることとなる変換演算について説明する。  相対情報変換演算部５６において変換演算が行われるのは、以下の３つの場合である。すなわち、
（ｉ）ステップＳ９９において、否定的な判定がされる場合（Ｓ９９：ＮＯ）
（ｉｉ）ステップＳ１０３において、肯定的な判定がされる場合（Ｓ１０３：ＹＥＳ）
（ｉｉｉ）ステップＳ１０７において、肯定的な判定がされる場合（Ｓ１０７：ＹＥＳ）
である。
【００９２】
相対情報変換演算部５６は、データ判定部５４から相対情報が送られてくると（Ｓ１０５）、上記の３つのいずれの場合に該当するかに応じて、変換演算の演算方法を制御する。以下、（ｉ）〜（ｉｉｉ）について、順に説明する。
まず、（ｉ）ステップＳ９９において、否定的な判定がされた場合について説明する。
図１６は、対象カメラと撮影側カメラとが同一の場合における、変換演算の演算方法を示す図である。
【００９３】
図１６では、基準カメラを"ｉ"、対象カメラ（撮影側カメラ）を"ｊ"、被写体カメラを"ｋ"としている。なお、以降の説明では、例えばカメラ"ｓ"とカメラ"ｔ"があったとき、カメラ"ｔ"を基準としたxy平面の座標系におけるカメラ"ｓ"の座標を（Xs_t,Ys_t）と表す。なお、y軸は、基準となるカメラの撮影方向を示す。また、角度をWs_tと表したとき、これは、カメラ"ｔ"を基準としたカメラ座標系におけるカメラ"ｓ"の向いている方向を示す。なお、図１６〜図１８では、座標（Xs_t, Ys_t）や角度Ws_tのアンダーバー"_"に代えて矢印を記載している。また、図１６〜図１８では、角度Ws_tを、オメガを用いて記載している。
【００９４】
図１６を用いて説明すると、相対情報変換演算部５６は、データ判定部５４がステップＳ９９において否定的な判定をした後、データ判定部５４から送られてくる相対情報を受け付ける。相対情報変換演算部５６は、相対位置情報６０を参照して、相対位置情報６０に含まれる各レコードのうち、相対情報の撮影側カメラと同一のカメラが対象カメラに含まれるレコードを検索する。検索されたレコードには、基準カメラと対象カメラ（撮影側カメラ）との位置関係が示されている。したがって、相対位置情報６０から検索した、基準カメラを基準とした場合の対象カメラ（撮影側カメラ）の座標および向きを示すレコードと、データ判定部５４から受け付けた相対情報（撮影側カメラを基準とした場合の被写体カメラの座標および向き）とをベクトル合成することで、基準カメラを基準とした場合の被写体カメラの座標および向きを算出することができる。詳細は図１６に示した通りであり、基準カメラ"ｉ"を基準としたカメラ座標系における被写体カメラ"ｋ"の座標（Xk_i, Yk_i）および向きWk_iは、以下の通りとなる。
【００９５】
すなわち、
Xk_i = Xj_i + (cosWj_i・Xk_j + sinWj_i・Yk_j)
Yk_i = Yj_i + (- sinWj_i)・Xk_j + cosWj_i・Yk_j
Wk_i = Wj_i + Wk_j
である。
【００９６】
こうして座標（Xk_i, Yk_i）および向きWk_iを算出すると、相対情報変換演算部５６は、相対位置情報６０に追加するためのレコードを生成する。レコードに含まれる各パラメータは、以下の通りである。すなわち、基準カメラ６２は"ｉ"、対象カメラ６３は"ｋ"、相対的な向き６４は「Wk_i」、相対的な位置６５は「（Xk_i, Yk_i）」である。このレコードを生成すると、相対情報変換演算部５６は、生成したレコードを相対位置情報管理部５５に出力する。なお、相対位置情報管理部５５では、出力されたレコードを受け付けて、相対位置情報６０に追加する。
【００９７】
次に、（ｉｉ）ステップＳ１０３において、肯定的な判定がされた場合について説明する。
図１７は、基準カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図である。図１７では、基準カメラ（被写体カメラ）を"ｉ"、撮影側カメラを"ｑ"としている。基準カメラと被写体カメラとが同一の場合とは、言い換えると、撮影側カメラが基準カメラを撮影している場合である。したがって、基準カメラを基準としたカメラ座標系における撮影側カメラの向きおよび座標を算出するには、相対情報に示される、撮影側カメラを基準とした場合の被写体カメラ（基準カメラ）の座標および向きを示すベクトルの逆ベクトルを算出すればよい。詳細は図１７に示したとおりであり、基準カメラ"ｉ"を基準としたカメラ座標系における撮影側カメラ"ｑ"の座標（Xq_i, Yq_i）および向きWq_iは、以下の通りとなる。
【００９８】
すなわち、
Xq_i = cosWi_q・( - Xi_q)+ (- sinWi_q)・(- Yi_q)
Yq_i = sinWi_q・(- Xi_q)+ cosWi_q・(- Yi_q)
Wq_i = 360 - Wi_q
である。
【００９９】
変換演算を行うと、相対情報変換演算部５６は、相対位置情報６０に追加するためのレコードを生成する。このレコードの各パラメータについて説明すると、基準カメラ６２は"ｉ"、対象カメラ６３は"ｑ"、相対的な向き６４は「Wq_i」、相対的な位置６５は「（Xq_i, Yq_i）」である。相対情報変換演算部５６は、生成したレコードを相対位置情報管理部５５に出力する。
【０１００】
次に、（ｉｉｉ）ステップＳ１０７において、肯定的な判定がされた場合について説明する。
図１８は、対象カメラと被写体カメラとが同一の場合における、変換演算の演算方法を示す図である。図１８では、基準カメラを"ｉ"、対象カメラ（被写体カメラ）を"ｍ"、撮影側カメラを"ｐ"としている。この場合は、まず、撮影側カメラのカメラ座標系を基準とした被写体カメラ（対象カメラ）の座標および向きを示すベクトルの逆ベクトルを求める。そうすると、被写体カメラ（対象カメラ）のカメラ座標系を基準とした撮影側カメラの座標および向きが求まる。後は、図１６の場合と同様である。詳細は図１８に示したとおりであり、基準カメラ"ｉ"を基準としたカメラ座標系における撮影側カメラ"ｐ"の座標（Xp_i, Yp_i）および向きWp_iは、以下の通りとなる。
【０１０１】
すなわち、
Xp_i = Xm_i + cosWm_i・Xp_m + sinWm_i・Yp_m
Yp_i = Ym_i + (- sinWm_i)・Xp_m + cosWm_i・Yp_m
Wp_i = Wm_i + Wp_m
である。
【０１０２】
ここで、Xp_m、Yp_m、Wp_mは、図示するように、
Xp_m = cosWm_p・(- Xm_p)+ (- sinWm_p)・(- Ym_p)
Yp_m = sinWm_p・(- Xm_p)+ cosWm_p・(- Ym_p)
Wp_m = 360 - Wm_p
である。
【０１０３】
変換演算を行うと、相対情報変換演算部５６は、相対位置情報６０に追加するためのレコードを生成する。このレコードの各パラメータについて説明すると、基準カメラ６２は"ｉ"、対象カメラ６３は"ｐ"、相対的な向き６４は「Wp_i」、相対的な位置６５は「（Xp_i, Yp_i）」である。相対情報変換演算部５６は、生成したレコードを相対位置情報管理部５５に出力する。
【０１０４】
以上で、位置関係算出部７の動作についての説明を終える。
３．６  画像選択支援部８の動作
次に、画像選択支援部８の動作について説明する。
画像選択支援部８は、ある設定時刻についての相対位置情報６０を、相対位置情報管理部５５から取得する。
【０１０５】
画像選択支援部８は、取得した相対位置情報６０に含まれる各レコードの、対象カメラ６３や相対的な向き６４や相対的な位置６５を参照して、１のカメラを基準とする他のカメラの相対的な位置関係を示す画像を生成する。このようにして画像選択支援部８により生成される画像の一例を、図１９に示す。
図１９の画像７０ａにおいては、カメラ"Ａ"を基準とした場合の他カメラの座標および向きが示されている。図１９において、"Ａ"や"Ｂ"などの記号は、それぞれのカメラ（カメラＡ、カメラＢ、・・）を示す。参照符号を用いて説明すると、カメラ７１はカメラＡ、カメラ７２はカメラＢである。以下同様に、カメラ７３はカメラＣ、カメラ７４はカメラＤ、カメラ７５はカメラＥ、カメラ７６はカメラＦ、カメラ７７はカメラＧである。また、図１９において、"Ａ"や"Ｂ"など、カメラを示す記号から伸びている矢印は、各カメラの向きを示す。
【０１０６】
画像選択支援部８は、このようにして各カメラの位置関係を示す画像を生成すると、生成した画像を用いて、ユーザが画像選択を行うためのユーザインタフェースを生成する。図２０、図２１は、ユーザインタフェースの一例を示す図である。
ユーザインタフェース９０（ユーザインタフェース９０の一例として、図２０では、ユーザインタフェース９０ａ、９０ｂの２つを示し、図２１ではユーザインタフェース９０ｃ、９０ｄの２つを示している。）は、撮影画像表示領域９１と、カメラ間位置関係表示領域９２と、カメラ識別情報表示領域９３とを含む。
【０１０７】
撮影画像表示領域９１は、ユーザにより選択されたカメラの撮影画像を表示する領域である。画像選択支援部８は、相対位置情報６０の時刻６１と、選択されたカメラの識別子とを用いて、撮影画像のメタデータと比較することにより、表示対象に該当する撮影画像を特定して読み出して表示する。
なお、本実施形態では、撮影画像を表示するのみならず、撮影画像に写っている被写体カメラを特定して識別する画像データ（被写体識別画像９６）を撮影画像にオーバーレイ表示している。
【０１０８】
被写体識別画像９６の表示態様は、様々なものが考えられる。
例えば、撮影画像に写っている被写体カメラを中心とした円形の画像と、被写体カメラを識別するための情報とを被写体識別画像９６としてオーバーレイ表示する。こうすることで、撮影画像に写っている被写体カメラをユーザが認識しやすくし、また、その被写体カメラがどのカメラかをユーザが識別することが容易となる。この他にも、色や他の形状等、様々な方法によって各カメラを特定し識別してもよい。
【０１０９】
また、色によって各カメラを識別する場合、撮影画像表示領域９１における、被写体カメラを識別するための色と、カメラ間位置関係表示領域９２における各カメラの色とを、同一のカメラは同じ色とすることで、カメラ間の位置関係をユーザが容易に把握できるようにしてもよい。また、カメラ間位置関係表示領域９２における基準カメラの色と、撮影画像表示領域９１の枠（撮影画像の縁）の色やカメラ識別情報表示領域９３の色とを同じ色としてもよい。こうすることで、撮影画像表示領域９１に表示されている撮影画像が、どのカメラにより撮影されたものかを容易に識別することができる。
【０１１０】
なお、被写体カメラの、撮影画像における位置は、既に相対情報算出部６において画像認識部１４の画像認識により特定されているので、これにより被写体識別画像９６の表示位置を決定するとよい。この他に、相対情報を参照し、撮影側カメラを基準としたカメラ座標系における被写体カメラの座標に基づいて、撮影画像において被写体カメラが写っている領域を推定し、推定した領域に被写体識別画像９６を表示してもよい。カメラの焦点距離等の各パラメータが既知であれば、上記推定を行うことができる。
【０１１１】
また、被写体識別画像９６を、撮影画像を撮影した撮影側カメラから被写体カメラまでの距離を識別できる態様で表示してもよい。例えば、撮影側カメラから被写体カメラまでの距離に応じて、被写体識別画像９６の大きさを変化させたり、色を変化させたりする等、さまざまな方法が考えられる。
例えば、ユーザインタフェース９０ａでは、被写体識別画像９６ｂと被写体識別画像９６ｃを表示している。被写体識別画像９６ｂは、被写体カメラがカメラＢであることを示し、また、被写体識別画像９６ｃは、被写体カメラがカメラＣであることを示している。
【０１１２】
なお、図２０ではカメラの識別子を表示しているが、被写体カメラの装着者（人物など）の名称を表示してもよい。
カメラ間位置関係表示領域９２は、１のカメラを基準とした場合の他カメラの座標および向きを示す画像（図１９で示した画像７０ａなど）を表示する領域である。画像選択支援部８は、上記画像において、各カメラを示す記号（カメラ７１など）と、各カメラが撮影した撮影画像とを対応づけておく。ユーザインタフェース９０においては、ユーザがカメラ７１などの記号を選択すると、選択したカメラの撮影画像が撮影画像表示領域９１に表示される。
【０１１３】
なお、撮影画像表示領域９１に表示されている被写体識別画像９６と、その被写体識別画像９６が示す被写体カメラの撮影画像とを対応づけておき、被写体識別画像９６がユーザにより選択されると、その被写体識別画像９６に対応するカメラの撮影画像が撮影画像表示領域９１に表示されることとしてもよい。例えば、ユーザインタフェース９０ａの例では、被写体識別画像９６ｃがユーザにより選択されると、撮影画像表示領域９１に、カメラＣの撮影画像が表示される。
【０１１４】
なお、図２０では、ユーザがいずれのカメラを選択したかを容易に認識できるよう、画像選択支援部８は、ユーザにより選択されたカメラを、他のカメラと区別して表示する。例えば、図示するように、カメラ間位置関係表示領域９２において、選択されたカメラを、反転して表示する。
カメラ識別情報表示領域９３は、撮影画像表示領域９１に表示されている撮影画像がいずれのカメラにより撮影されたものかを表示する領域である。すなわち、ユーザにより選択されたカメラを表示するための領域である。
【０１１５】
なお、図２０のユーザインタフェース９０ａは、ユーザがカメラＡを選択した場合の例である。以下同様に、ユーザインタフェース９０ｂは、ユーザがカメラＢを選択した場合の例であり、図２１のユーザインタフェース９０ｃは、ユーザがカメラＣを選択した場合の例であり、ユーザインタフェース９０ｄは、ユーザがカメラＤを選択した場合の例である。
【０１１６】
以上説明したようなユーザインタフェース９０を、画像選択支援部８は生成して表示部３において表示させる。なお、ユーザによるカメラ選択操作を受け付けるための操作受付部は、どのようなものであってもよい。例えば、表示部３をタッチパネルとしてユーザの操作を受け付けてもよい。この場合、各カメラを示す記号や、被写体識別画像９６が表示部３において表示されている部分をユーザがタッチパネルに触れることにより選択すると、選択されたカメラの撮影画像が撮影画像表示領域９１に表示される。また、データ処理装置２に操作受付部（キーボード、マウス、タッチパッドなどの入力手段）が備わっていてもよいし、ネットワークを介してユーザの操作内容がデータ処理装置２に入力されるものであってもよい。
【０１１７】
また、上記ユーザインタフェース９０において、各カメラが撮影した撮影画像をサムネイル表示してもよい。
（選択されたカメラを基準とした画像を生成）
また、画像選択支援部８は、上記実施の形態の説明の他に、以下のようにしてもよい。
すなわち、画像選択支援部８は、ユーザがカメラを選択する都度、選択されたカメラを基準として、他カメラの座標および向きを示す画像を生成し、生成した画像を、カメラ間位置関係表示領域９２に表示することとしてもよい。
【０１１８】
図２２は、各カメラを基準とした他カメラとの位置関係を示す図である。
図２２に示されるぞれぞれの画像が、カメラが選択される都度、カメラ間位置関係表示領域９２に表示される。なお、カメラＡが選択されている場合を、カメラ間位置関係表示領域９２ａとして示している。以下同様に、カメラＢがユーザにより選択されている場合をカメラ間位置関係表示領域９２ｂ、カメラＣがユーザにより選択されている場合をカメラ間位置関係表示領域９２ｃ、カメラＤがユーザにより選択されている場合をカメラ間位置関係表示領域９２ｄとして示している。
【０１１９】
このようにして、各カメラを基準とした画像を生成するには、以下の方法が考えられる。例えば、カメラが選択される都度、選択されたカメラを基準カメラとした相対位置情報６０を位置関係算出部７により算出して上記画像を生成してもよい。また、あるカメラについて、他のカメラとの位置関係を示す画像を生成した後は、他のカメラが選択される都度、上記生成した画像を回転させたり縮小拡大させたりすることにより、選択されたカメラを基準カメラとした上記画像を表示することとしてもよい。
【０１２０】
（被写体カメラの向きを表示）
また、図２３にユーザインタフェース９０ｅ、９０ｆとして示すように、撮影画像表示領域９１において、被写体カメラの向き（撮影方向）を示す画像であるカメラ撮影方向９７をオーバーレイ表示することとしてもよい。
ユーザインタフェース９０ｅにおいては、例えば、カメラＢの撮影方向をカメラ撮影方向９７ｂなどとして、矢印の形状で表示している。
【０１２１】
なお、各カメラの向きは相対位置情報６０や相対情報により既知であるため、向きと矢印形状の画像とを予め対応づけておくか、向きに応じて矢印形状の画像を回転させることにより、カメラ撮影方向９７をオーバーレイ表示させることができる。
（隠れたカメラを表示）
また、撮影画像表示領域９１において、例えばユーザインタフェース９０ｅの撮影画像表示領域９１に示すように、物体などに隠れているカメラ（例えば、カメラＣに隠れているカメラＧ）に対しても被写体識別画像９６を表示することとしてもよい。なお、カメラが隠れていることが判別できるような態様で被写体識別画像９６を表示してもよい。ユーザインタフェース９０ｅの例では、円形の画像を点線で被写体識別画像９６ｅとして表示している。つまり、隠れていないカメラについての被写体識別画像９６と異なる態様で表示するとよい。なお、この場合においても、隠れているカメラについての向き（カメラ撮影方向９７ｇ）を表示してもよいし、表示しなくてもよい。なお、隠れたカメラの、撮影画像における位置は、以下のように特定する。まず、隠れたカメラが存在するか判定し（判定方法は後述する）、存在する場合は、隠れたカメラを特定する。そして、その撮影画像の撮影側カメラを基準カメラとした相対位置情報６０を参照し、相対位置情報６０に示される、隠れたカメラの座標と、撮影側カメラのカメラパラメータ（焦点距離により示される撮影範囲等の情報）とを用いて、撮影画像における隠れたカメラの位置を特定する。このようにして特定した位置に、被写体識別画像９６を、カメラが隠れていることが判別できるような態様で表示する。
【０１２２】
なお、隠れているカメラが存在するか否かの判定は、例えば、ある撮影画像について、撮影側カメラの撮影範囲に入っているカメラを抽出する。撮影側カメラを基準カメラとした相対位置情報６０を生成し、撮影側カメラの画角等が既知であれば、撮影範囲内のカメラを抽出できる。そして、その撮影側カメラの撮影画像において、画像認識により被写体カメラとして識別された被写体カメラを特定する。上記撮影範囲内にあるカメラ群から、被写体カメラを取り除くと、隠れたカメラが特定される。
【０１２３】
図２３のユーザインタフェース９０ｅを参照しながら説明すると、カメラＡの撮影範囲内（撮影範囲９４ａ）には、カメラＢ、カメラＣ、カメラＧが含まれており、これらのカメラが抽出される。カメラＡの撮影画像では、カメラＢとカメラＣが被写体カメラとして写っている。抽出されたカメラＢ、カメラＣ、カメラＧから、被写体カメラを取り除くと、カメラＧが残っている。このカメラＧが、隠れたカメラであると特定される。
【０１２４】
ここで、隠れているカメラが存在するか否かの判定は、以下のようにしてもよい。以下の例では、他のカメラに隠れたカメラの有無を判定することができる。
具体的には、画像選択支援部８は、撮影画像表示領域９１において表示されている撮影画像を撮影したカメラを基準カメラ（ユーザインタフェース９０ｅの例では、カメラＡ）として相対位置情報６０を位置関係算出部７に算出させる。そして、画像選択支援部８は、この基準カメラの撮影画像において写っている被写体カメラを特定する（同図の例ではカメラＢ、カメラＣ）。例えば、基準カメラが撮影側カメラである相対情報を参照することで特定する。
【０１２５】
画像選択支援部８は、被写体カメラを特定すると、基準カメラの位置を原点とするカメラ座標系において、原点と被写体カメラの座標とを通る直線を求める（同図の例では、カメラＡとカメラＢの座標を通る直線、および、カメラＡとカメラＣの座標を通る直線）。画像選択支援部８は、この直線の傾きを基準とした一定範囲の傾きの直線により示される領域に、他のカメラが存在するか判定する。
【０１２６】
画像選択支援部８は、上記判定において存在すると判定した場合であって、そのカメラの基準カメラからの距離が、その直線にかかる被写体カメラと基準カメラとの距離より長い場合は、被写体カメラに隠れているカメラであると判定する。
このことを、図２４を用いて簡単に説明する。
図２４は、被写体カメラに隠れたカメラの有無の判定方法を示す図である。
【０１２７】
上述の例と同様、カメラＡを基準カメラとし、カメラＣを被写体カメラとしている。
カメラＡの座標（原点）と、カメラＣの座標とを通る直線を、実線１０１で示している。また、この直線の傾きを基準とした一定範囲の傾きの直線により示される領域を、点線１０２ａおよび点線１０２ｂで示している。この点線１０２ａおよび１０２ｂにより示される領域の中に、図示するように、カメラＧが存在する。この場合、画像選択支援部８は、カメラＧが被写体カメラ（カメラＣ）に隠れていると判定する。
【０１２８】
（撮影範囲を表示）
また、各カメラの撮影範囲をユーザインタフェース９０において表示してもよい。図２３の例では、カメラ間位置関係表示領域９２において、カメラの撮影範囲を示す撮影範囲９４を表示している。ユーザインタフェース９０ｅの例では、カメラＡの撮影範囲を撮影範囲９４ａ、ユーザインタフェース９０ｆの例では、カメラＢの撮影範囲を撮影範囲９４ｂとして表示している。
【０１２９】
また、撮影範囲外のカメラと、撮影範囲内のカメラとを区別できるように表示してもよい。例えば、図２３の例では、撮影範囲内にあることを示す画像である撮影範囲内画像９８（９８ｂ、９８ｃ）を表示している。また、撮影範囲内であっても、他のカメラに隠れているカメラである場合は、隠れていないカメラと区別できる態様で表示してもよい。ユーザインタフェース９０ｅの例では、撮影範囲内画像９８とは異なる態様で、例えば点線９９（９９ｇ）で示すことにより、カメラＧが隠れたカメラであることを示している。
【０１３０】
４  実施の形態２
＜実施の形態２＞
次に、実施の形態２について説明する。
本発明の実施の形態２に係る表示端末１０００は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーパッド、アダプタ、スピーカ等から構成されるコンピュータシステムである。前記ＲＯＭまたは前記ハードディスクユニットには、コンピュータプログラムが記憶されており、前記コンピュータプログラムがＲＡＭ上に読み出され、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、表示端末１０００はその機能を達成する。
【０１３１】
表示端末１０００の外装は、図２５に示すように、ディスプレイ１００１、キーパッド１００２、アダプタ１００３から構成される。
表示端末１０００は、具体的には、実施の形態１においてデータ処理装置２として説明した構成を備えている。また、実施の形態１では、データ処理装置２と表示部３とは別々のものとして説明したが、表示端末１０００は、データ処理装置２のみならず表示部３をもディスプレイ１００１として備えている。なお、表示端末１０００は、データ処理装置２と同等の構成により算出したカメラ間の位置関係を、カメラを装着したユーザ同士の位置関係としてディスプレイ１００１に表示する。そして、ユーザの指定をキーパッド１００２により受け付けて、受け付けたユーザの装着しているカメラの撮影画像をディスプレイ１００１に表示する。
【０１３２】
ディスプレイ１００１には、図２０〜図２３に示すような、表示端末１０００の内部処理により算出されたユーザ同士の位置関係や、キーパッド１００２を操作することにより指定されたユーザが装着するカメラが撮影した撮影画像等が表示される。ここで、ユーザの指定は、ディスプレイ１００１がタッチパネルの場合、ディスプレイ１００１が表示したユーザ同士の位置関係上のユーザ位置やユーザが装着するカメラが撮影した画像上のユーザ位置を指定することで可能である。
【０１３３】
キーパッド１００２を操作することで、表示端末１０００の内部処理により算出されるユーザ同士の位置関係の算出対象とするユーザや時間帯を設定したり、ディスプレイに表示されたユーザからユーザ同士の位置関係の算出対象とするユーザを指定したり、ユーザ同士の位置関係やユーザが装着するカメラが撮影した画像を連続的に表示する指示をしたり、連続的な表示を停止して表示する指示をしたりする等を行う。
【０１３４】
アダプタ１００３は、インターネットアダプタやカードスロットであり、表示端末１０００は、アダプタ１００３を介して複数のユーザが装着するカメラが撮影した画像等を取得する。表示端末１０００は、アダプタ１００３を介して取得した複数のユーザが装着するカメラが撮影した画像を用いて、内部処理によりユーザ同士の位置関係を算出する等を行う。
【０１３５】
表示端末１０００は、内部処理により、実施の形態１において説明した処理を行う。複数のユーザが装着するカメラが撮影した画像が、動画といったように時間的に連続した状態で取得される場合は、同時刻の撮影画像を抽出し、抽出した撮影画像に基づいて、上記実施の形態１で説明した方法で、複数ユーザ同士の位置関係を算出する。また、連続的に算出された複数ユーザ同士の位置関係を時間的に連続させてディスプレイ１００１に表示するように指示をする。
【０１３６】
ここで、算出不可能なユーザ同士の位置関係が存在する時刻の以前や以降の時刻のユーザ同士の位置関係に関する情報を活用して、算出不可能であったユーザ位置（基準となる他ユーザに対する相対位置）を補完するとしてもよい。
補完の仕方は、算出可能であった直前と直後の時刻におけるユーザ位置の中心点を取る方法、以前や以降のユーザ位置に基づき曲線近時により求める方法等、何であってもよい。
【０１３７】
また、加速度センサや速度センサ等、ユーザの移動を計測する他センサのセンシングデータを用いて、算出不可能であったユーザ位置を補間するとしてもよい。
なお、上記においては、ディスプレイ１００１は、１画面から構成される例を示しているが、複数画面から構成されるとしてもよい。例えば、２画面から構成されてもよく、その場合、片方の１画面にユーザ同士の位置関係が表示され、もう片方の１画面に指定されたユーザが装着するカメラが撮影した画像が表示される。また、この場合、表示端末１０００の内部処理は、表示対象を複数画面に割り振って表示するように指示する。
【０１３８】
なお、上記においては、表示端末１０００の外装として図２５に示す例を用いて説明したが、これに限らない。例えば、パーソナルコンピュータやＰＤＡ、電子手帳等のような形態の端末であってもよい。
なお、上記においては、表示端末１０００は、ユーザが装着するカメラが撮影した画像を取得するアダプタ１００３、ユーザ同士の位置関係を算出する内部処理を担当する部分、端末の処理を操作するためのキーパッド１００２、算出されたユーザ同士の位置関係や指定されたユーザが装着するカメラが撮影した画像等が表示されるディスプレイ１００１を全て搭載している形態となっているが、表示端末１０００がその一部を搭載し、他のデバイスがその他の部分を搭載する、といったようなシステムであってもよい。例えば、図２６に示すような構成である。
【０１３９】
図２６に示すシステムは、ＳＴＢ（Set Top Box）デバイス２００１と、ＴＶデバイス２００２と、図示しないコントローラからなる。
ＳＴＢデバイス２００１は、ＨＤＤレコーダ、ＤＶＤレコーダ、コンポ等であり、上記表示端末１０００のうち、ユーザが装着するカメラが撮影した画像を取得するアダプタ１００３とユーザ同士の位置関係を算出する内部処理を担当する部分とを搭載する。
【０１４０】
ＴＶデバイス２００２は、ＰＤＰ、ＬＣＤ等であり、前記ＳＴＢと接続され、上記表示端末１０００のうち、算出されたユーザ同士の位置関係や指定されたユーザが装着するカメラが撮影した画像等が表示されるディスプレイ１００１を搭載する。
前記ＳＴＢまたは前記ＴＶデバイスを操作するコントローラが、端末の処理を操作するためのキーパッド１００２を搭載する。
【０１４１】
５  変形例
（１）被写体カメラ識別部１５
（１−１）識別方法
上記実施の形態の説明では、撮影画像に写った被写体カメラを識別するために、二次元コードを用いたが、被写体カメラの識別方法は、これに限らない。例えば、色や二次元マーカー３０の形状や文字や模様など、様々な方法が考えられる。要するに、カメラごとに固有の情報を割り当てておけばよい。
【０１４２】
例えば、各カメラを識別できるよう、各カメラに色を割り当てておく。そして、二次元マーカー３０（またはカメラ識別領域３１）の色を判別して、二次元マーカー３０が付されたカメラを識別することとしてもよい。形状についても、同様に、各カメラに固有の二次元マーカー３０の形状をカメラそれぞれに割り当てておけば、この形状を判別することで各カメラを識別することができる。
【０１４３】
（１−２）画像認識の対象
また、画像認識部１４の画像認識により、カメラに付された二次元マーカー３０を検出するとしたが、必ずしも二次元マーカー３０を用いる方法に限定されるものではない。要するに、被写体カメラを識別できればよいので、画像認識の対象は、二次元マーカー３０の他に、被写体カメラそのものや、被写体カメラを装着したユーザに関するものなどであってもよい。
【０１４４】
例えば、撮影画像に写った被写体カメラそのものを、画像認識によって識別してもよいし、被写体カメラを装着しているユーザの顔や服装など、ユーザの特徴的な部分を画像認識することにより被写体カメラを識別することとしてもよい。具体的には、例えば、ユーザの服装に識別用のマーカを付しておいてもよい。この場合、撮影画像において、被写体カメラが、そのカメラを装着しているユーザ自身により隠れていても、上記識別用のマーカにより、被写体カメラを識別することができる。
（２）被写体カメラ情報算出部１６
上記実施の形態の説明では、被写体カメラと撮影側カメラとの位置関係を算出するものとして説明した。
【０１４５】
ここで、位置関係とは、あるカメラを基準としたときの、他のカメラの座標および向きのことをいうと説明したが、座標と向きのうちいずれか一方を指すこともある。例えば、各カメラがそれほど移動せず、カメラの向き（撮影方向）が変わるという場合など、他のカメラの座標を算出する必要がない場合もある。カメラが固定されている場合などである。
【０１４６】
そのため、本発明においては、位置関係算出部７は、他のカメラの座標は算出の対象とせず、他のカメラの向きのみを算出することとしてもよい。
また、位置関係算出部７は、その逆に、他のカメラの座標のみを算出して各カメラの相対的な位置関係を算出することとしてもよい。例えば、各カメラの向いている方向が同方向で固定されている場合などがありうる。
（３）基準カメラ設定部５２
基準カメラは基準カメラ設定部５２により設定されるが、上記実施の形態の他に、以下のようにしてもよい。
【０１４７】
（３−１）計算量に基づいて基準カメラ設定
例えば、キューに登録されている各相対情報を参照して、各相対情報に含まれる各撮影側カメラや各被写体カメラを基準とした場合に、相対位置情報６０を生成するのに要する計算量を見積もって、見積もった計算量に基づいて基準カメラを設定する。例えば、計算量が最小となるカメラを基準カメラとする、としてもよい。
【０１４８】
（３−２）指定に基づいて基準カメラ設定
このほかに、基準カメラをあるカメラに固定してもよい。
また、ユーザの指定により基準カメラを設定することとしてもよい。ユーザの指定の都度、相対位置情報６０が生成されることとしてもよい。
（４）相対情報の生成方法
上記実施の形態では、相対情報算出部６が、各カメラの撮影画像を取得し、取得した撮影画像それぞれについて相対情報を生成するものとして説明した。
【０１４９】
これに限らず、相対情報は、データ処理装置２の外部で生成されてもよい。例えば、各カメラが相対情報を生成し、データ処理装置２は、各カメラから、撮影画像と相対情報とを受け付ける、としてもよい。すなわち、相対情報算出部６は、データ処理装置２の外部にあってもよい。
（５）撮影画像
上記実施の形態では、各カメラは、所定時間間隔で静止画の撮影を行うとしたが、カメラが撮影するものは、静止画に限らず動画でもよい。
【０１５０】
一般に、静止画撮影よりも動画撮影の方が、画像の解像度は低くなる。そして、一般的に、画像の解像度が高いほど、例えば、比較的遠距離の二次元マーカーを撮影画像から検出できるなど、相対情報を精度よく算出できる場合がある。
しかし、カメラ間の距離によっては、より解像度の低い、動画撮影でも十分に精度よくカメラ間の相対的な位置関係、および、１のカメラを基準とした他カメラの相対的な位置および向きを算出することができる。
（６）被写体カメラ情報算出部１６
上述の実施の形態の説明では、被写体カメラ情報算出部１６は、撮影側カメラのカメラ座標系を基準とした場合の、撮影側カメラと被写体カメラとの位置関係を算出するものとしている。これに限らず、被写体カメラ情報算出部１６は、被写体カメラのカメラ座標系を基準とした、撮影側カメラと被写体カメラとの位置関係を算出することとしてもよい。すなわち、相対情報を、撮影側カメラの相対的な向きと座標とを示すものとしてもよい。なお、この場合、相対情報は、被写体カメラを基準とした座標系における撮影側カメラの相対的な向きと座標を示すものとなっているので、上記データ判定部５４や相対情報変換演算部５６等の説明において、「撮影側カメラ」と「被写体カメラ」とが入れ替わることとなる。
【０１５１】
また、上記実施の形態では、「２．５．６．２  被写体カメラ識別部１５の詳細」において、図７を用いて、撮影側カメラと被写体カメラの相対的な位置は、カメラ座標系におけるY軸の値" Y "を無視して、二次元の座標として表すこととして説明しているが、これに限らず、Y軸の値を含めてもよい。つまり相対的な位置が３次元の座標値により示されるものとしてもよい。
（７）設定時刻の更新と相対位置情報６０の生成
上記実施の形態１の説明では、所定の設定時刻の相対情報に基づいて、相対位置情報６０を生成することとしたが、設定時刻を更新して、各設定時刻における相対位置情報６０を生成してもよい。また、このように、各時刻において相対位置情報６０を生成することとすると、ある設定時刻において基準カメラからの座標等が不明な不明カメラがあったとしても、その前後の時刻における相対位置情報６０等を参照して、前後の時刻における座標値をもとに、例えば中間点の座標が、上記設定時刻における不明カメラの座標であると推定し、これにより、上記設定時刻における当該不明カメラの座標を補完することができる。
【０１５２】
また、上記実施の形態１の説明では、データ判定部５４は、ステップＳ１０１により相対情報を破棄しているが、破棄しなくてもよい。この場合、上記補完により相対位置情報６０が更新されたときに、破棄しなかった相対情報と、更新された相対位置情報６０をもとに、新たに相対位置情報６０を更新しうる。
（８）その他
また、複数のカメラを基準カメラとして、カメラごとに相対位置情報６０を生成して保持していてもよい。
【０１５３】
また、本発明の位置関係算出方法により算出した３人のユーザが装着したカメラ同士の位置関係に基づき、同時に測距センサ等を搭載して、算出した３位置を基準として、他カメラの位置を三点測量の要領で算出してもよい。
本発明の位置関係算出方法により算出した、ユーザが装着したカメラ同士の位置関係に基づき、同時に加速度センサ等を搭載して、算出した位置関係からの移動経路を算出して、カメラ同士の位置関係を算出してもよい。
【０１５４】
６  補足
以上のように本発明にかかるデータ処理装置、およびデータ処理システムについて実施の形態に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施の形態で示したデータ処理装置等に限られないことは勿論である。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（LargeScale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１５５】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１５６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１５７】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【０１５８】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０１５９】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１６０】
本発明にかかるデータ処理装置は、例えば、複数のユーザがカメラを装着しているという特徴を活かし、カメラを装着したユーザ同士の位置関係を検出し、検出したユーザ同士の位置関係に基づき、ユーザが装着したカメラの撮影画像を選択するためのインタフェースを構築するための技術として有用である。
【符号の説明】
【０１６１】
１  カメラ
２  データ処理装置
３  表示部
６  相対情報算出部
７  位置関係算出部
８  画像選択支援部
１１  撮影画像取得部
１２  同時刻撮影画像抽出部
１３  撮影側カメラ識別部
１４  画像認識部
１５  被写体カメラ識別部
１６  被写体カメラ情報算出部
１７  被写体カメラ向き算出部
１８  被写体カメラ座標算出部
１９  相対情報生成部
５１  相対情報取得部
５２  基準カメラ設定部
５３  データ管理部
５４  データ判定部
５５  相対位置情報管理部
５６  相対情報変換演算部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラの位置関係を管理するデータ処理装置であって、
前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得部と、
個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識部と、
検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出部と、
前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定部と、
前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算部と、
算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理部とを備える
ことを特徴とするデータ処理装置。
【請求項２】
前記判定部は、前記相対情報において座標系の基準となる原点カメラが基準カメラであるか判定し、基準カメラではないと判定され、かつ、前記相対情報の撮影側カメラまたは被写体カメラが所定の条件を満たす場合に、前記変換をすると判定する
ことを特徴とする請求項１記載のデータ処理装置。
【請求項３】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、算出された相対情報それぞれを保持するデータ管理部を含み、
前記判定部は、前記データ管理部に保持されている相対情報それぞれを順次読み出し、読み出した相対情報の撮影側カメラと被写体カメラのいずれもが、基準カメラでもなく、かつ、前記相対位置情報において基準情報が登録されているカメラでもない場合は、当該読み出した相対情報を前記データ管理部に返還する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項４】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されていないものである場合、当該相対情報に示される撮影側カメラと被写体カメラとの位置関係を前記基準情報として前記相対位置情報に登録する
ことを特徴とする請求項１記載のデータ処理装置。
【請求項５】
前記判定部は、前記相対情報の原点カメラが基準カメラである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが、前記相対位置情報において基準情報が登録されているものである場合、当該相対情報を前記相対位置情報に追加することなく破棄する
ことを特徴とする請求項４記載のデータ処理装置。
【請求項６】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラでない場合、前記変換をすると判定する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項７】
前記相対情報変換演算部は、
前記基準情報に示される、基準カメラと前記判定にかかる相対情報の原点カメラとの位置関係を用いて、当該相対情報を、基準カメラの座標系を基準とした、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラの座標および／または撮影方向を示す情報へと変換する
ことを特徴とする請求項６記載のデータ処理装置。
【請求項８】
前記判定部は、前記相対情報の原点カメラが、前記相対位置情報において基準情報が登録されているものである場合であって、当該相対情報において原点カメラの座標系を基準とする座標および撮影方向が示されているカメラが基準カメラである場合、当該相対情報を前記相対位置情報に追加することなく破棄する
ことを特徴とする請求項６記載のデータ処理装置。
【請求項９】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報において原点カメラを基準とした座標系における位置関係が示されているカメラが基準カメラである場合であって、当該相対情報の原点カメラが前記相対位置情報において基準情報が登録されていないものである場合、前記変換をすると判定する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項１０】
前記相対情報変換演算部は、
前記相対情報に示されるカメラ間の位置関係の逆ベクトルを算出することにより、基準カメラの座標系を基準とした原点カメラの座標および／または撮影方向を示す情報への前記変換を行う
ことを特徴とする請求項９記載のデータ処理装置。
【請求項１１】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記判定部は、前記相対情報の原点カメラが基準カメラではない場合であって、当該相対情報において原点カメラの座標系を基準とした位置関係が示されているカメラが前記相対位置情報において基準情報が登録されているものである場合、前記変換をすると判定する
ことを特徴とする請求項２記載のデータ処理装置。
【請求項１２】
前記相対情報変換演算部は、
前記基準情報に示される、前記判定にかかる相対情報の原点カメラとの位置関係が示されているカメラと基準カメラとの位置関係と、当該相対情報に示される、撮影側カメラと被写体カメラとの位置関係とを用いてベクトル演算することにより、基準カメラの座標系を基準とした撮影側カメラの座標および撮影方向を示す情報への前記変換を行う
ことを特徴とする請求項１１記載のデータ処理装置。
【請求項１３】
前記データ処理装置は、さらに、
前記生成された相対位置情報に基づいて、前記複数のカメラのうち基準カメラの座標系を基準とした各カメラの座標および向きを示す画像データを生成して、生成した画像データを用いて、各撮影画像データを選択するためのユーザインタフェースを表示部に表示させる画像選択支援部を備える
ことを特徴とする請求項１記載のデータ処理装置。
【請求項１４】
前記ユーザインタフェースは、
生成した前記画像データを表示するカメラ間位置関係表示領域と、
選択されたカメラの撮影画像データを表示する撮影画像表示領域とを含み、
前記画像選択支援部は、
前記撮影画像表示領域において表示されている撮影画像データの撮影側カメラの撮影範囲に入っているカメラの、当該撮影画像データにおける位置を特定する位置特定部と、
前記位置特定部により特定された位置に基づいた位置に、カメラを識別する画像である被写体識別画像を当該撮影画像データにオーバーレイ表示するオーバーレイ表示部とを含む
ことを特徴とする請求項１２記載のデータ処理装置。
【請求項１５】
前記画像選択支援部は、
前記オーバーレイ表示部によりオーバーレイ表示されている被写体識別画像を選択する操作を受け付けると、選択された被写体識別画像により識別されるカメラの撮影画像を前記撮影画像表示領域に表示する
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１６】
前記オーバーレイ表示部は、各カメラに色を割り当てて、各カメラの被写体識別画像を、そのカメラに割り当てた色によりオーバーレイ表示し、
前記画像選択支援部は、各カメラを示す画像が、各カメラに割り当てられた色により視覚的に区別されて表示されるよう前記画像データを生成する
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１７】
前記オーバーレイ表示部は、
撮影画像データを撮影した撮影側カメラから前記被写体識別画像により示されるカメラまでの距離を視覚的に区別できるよう、前記被写体識別画像を前記距離に応じてそれぞれ異なる態様で表示する
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１８】
前記位置特定部は、
表示されている撮影画像データの撮影側カメラを基準カメラとした前記相対位置情報に示される各カメラの座標または前記撮影側カメラを原点カメラとする相対情報の少なくともいずれか一方、および、当該撮影側カメラの撮影範囲を示す撮影範囲情報に基づいて、前記特定を行う
ことを特徴とする請求項１４記載のデータ処理装置。
【請求項１９】
前記位置特定部は、前記撮影範囲に入っているカメラそれぞれについて、前記撮影画像データにおいて被写体として写っている被写体カメラであるか、隠れたカメラであるかを、前記相対位置情報に示される各カメラの座標に基づいて判定し、
前記オーバーレイ表示部は、撮影範囲に入っているカメラが被写体カメラであるか、あるいは隠れたカメラであるかを視覚的に区別できる態様で前記被写体識別画像をオーバーレイ表示する
ことを特徴とする請求項１８記載のデータ処理装置。
【請求項２０】
前記相対位置情報管理部は、前記相対位置情報を保持しており、１のカメラについて、基準カメラの座標系を基準とした座標および撮影方向を示す基準情報を、逐次、各カメラについて受け付けることにより、保持している相対位置情報を更新し、
前記データ処理装置は、所定の時刻ごとに前記相対位置情報を生成し、
所定の時刻における相対位置情報において、前記基準情報のない不定カメラがある場合、その所定の時刻の前後の時刻における相対位置情報に示される不定カメラの座標および撮影方向に基づいて、基準カメラの座標系を基準とした、前記所定の時刻における前記不定カメラの座標および撮影方向を補完する
ことを特徴とする請求項１記載のデータ処理装置。
【請求項２１】
複数のカメラの位置関係を管理するデータ処理方法であって、
前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、
個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、
検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、
前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、
前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、
算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含む
ことを特徴とするデータ処理方法。
【請求項２２】
複数のカメラの位置関係を管理するための各ステップをデータ処理装置に実行させる制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記制御プログラムは、
前記複数のカメラが撮影した複数の異なった撮影画像データを取得する撮影画像取得ステップと、
個々の前記撮影画像データに対して画像認識処理を施すことにより、被写体カメラを特定するための所定の検出対象データを検出する画像認識ステップと、
検出された個々の検出対象データに基づいて、撮影画像データの撮影側カメラまたは被写体カメラのいずれか一方の座標系を基準とする他方のカメラの座標および撮影方向を示す相対情報を算出する算出ステップと、
前記算出部により算出された相対情報それぞれについて、前記複数のカメラのうち基準カメラの座標系を基準とした、他カメラの座標および撮影方向を示す情報へと相対情報を変換するか否かを判定する判定ステップと、
前記判定部による判定結果に応じて、前記変換を行う相対情報変換演算ステップと、
算出された相対情報それぞれのうち、相対情報において座標系の基準となる原点カメラが基準カメラのものと、前記相対情報変換演算部により変換された情報とを集約することにより、前記基準カメラの座標系を基準とした各カメラの座標および撮影方向を示す相対位置情報を生成する相対位置情報管理ステップとを含む
ことを特徴とする記録媒体。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008087974.tif 000029
【図２】
2008087974.tif 000030
【図３】
2008087974.tif 000031
【図４】
2008087974.tif 000032
【図５】
2008087974.tif 000033
【図６】
2008087974.tif 000034
【図７】
2008087974.tif 000035
【図８】
2008087974.tif 000036
【図９】
2008087974.tif 000037
【図１０】
2008087974.tif 000038
【図１１】
2008087974.tif 000039
【図１２】
2008087974.tif 000040
【図１３】
2008087974.tif 000041
【図１４】
2008087974.tif 000042
【図１５】
2008087974.tif 000043
【図１６】
2008087974.tif 000044
【図１７】
2008087974.tif 000045
【図１８】
2008087974.tif 000046
【図１９】
2008087974.tif 000047
【図２０】
2008087974.tif 000048
【図２１】
2008087974.tif 000049
【図２２】
2008087974.tif 000050
【図２３】
2008087974.tif 000051
【図２４】
2008087974.tif 000052
【図２５】
2008087974.tif 000053
【図２６】
2008087974.tif 000054
【国際調査報告】
2008087974.tif 000055
2008087974.tif 000056