(57)【要約】【課題】複数の撮像部からの画像を用いた画像処理において、複数のオブジェクトのうち特定のオブジェクトの処理精度の低下を抑えつつ全体の演算量を抑制できるようにする。【解決手段】画像処理装置は、撮像空間を異なる視点から撮像する複数の撮像部により撮像された複数の画像を処理する。ここで、画像処理装置は、撮像空間内の複数のオブジェクトのうち、特定オブジェクトのための画像処理を、他のオブジェクトのための画像処理よりも多くの撮像部により撮像された画像を用いて実行する。【選択図】  図１
2019016161.tif 000002
【特許請求の範囲】
【請求項１】
撮像空間を異なる視点から撮像する複数の撮像部により撮像された複数の画像を処理する画像処理装置であって、
前記撮像空間内の複数のオブジェクトのうち、特定オブジェクトのための画像処理を、他のオブジェクトのための画像処理よりも多くの撮像部により撮像された画像を用いて実行する処理手段、を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理は、処理対象のオブジェクトの三次元モデルを生成する処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理は、処理対象のオブジェクトの任意視点からの画像をレンダリングする処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特定オブジェクトのための画像処理が、前記他のオブジェクトのための画像処理よりも多くの撮像部により撮像された画像を用いて実行されるように、前記特定オブジェクトのための画像処理に用いる画像を提供する撮像部と、前記他のオブジェクトのための画像処理を用いる画像を提供する撮像部とをそれぞれ選択する選択手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の撮像部による撮像空間に存在するオブジェクトを、識別情報を付与して管理する管理手段と、
ユーザが指定した識別情報が付与されたオブジェクトを前記特定オブジェクトに設定する設定手段と、をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の撮像部による撮像空間に設定された注目領域の内部に存在するオブジェクトを前記特定オブジェクトに設定する設定手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
ユーザからの指示に従って前記撮像空間に前記注目領域を指定する指定手段をさらに備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記設定手段は、前記指定された注目領域内のオブジェクトの動きに追従して前記注目領域の位置、大きさ、形状の少なくとも一つを変化させることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記設定手段は、前記指定された注目領域内の複数のオブジェクトの動きに追従して、前記複数のオブジェクトが注目領域内に存在するように前記注目領域の位置、大きさ、形状の少なくとも一つを変化させることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記設定手段は、前記指定された注目領域を包含するように前記注目領域の大きさまたは形状を変更することを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記設定手段は、前記指定された注目領域内のオブジェクトの動きを追跡している間は、前記注目領域に新たに入ったオブジェクトは動きの追跡対象としないことを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記処理手段は、前記注目領域内の前記特定オブジェクトと前記注目領域内の所定の位置との距離に基づいて、前記複数の撮像部から選択する撮像部の組合せを変更することを特徴とする請求項６乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記距離が大きくなるほど選択される撮像部の数が減少することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記処理手段は、使用する撮像部を前記複数の撮像部から一定の間隔ごとに撮像部を選択し、前記一定の間隔は前記距離が大きくなるほど広くなることを特徴とする請求項１２または１３に記載の画像処理装置。
【請求項１５】
前記処理手段は、前記複数の撮像部のうち前記注目領域に近い側から優先して撮像部を選択することを特徴とする請求項６乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
撮像空間を異なる視点から撮像する複数の撮像部により撮像された複数の画像を処理する画像処理方法であって、
前記撮像空間内の複数のオブジェクトのうち、特定オブジェクトのための画像処理を、他のオブジェクトのための画像処理よりも多くの撮像部により撮像された画像を用いて実行する処理工程と、を有することを特徴とする画像処理方法。
【請求項１７】
コンピュータを請求項１乃至１５のうち何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数カメラからの画像を処理する画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
一般に、三次元モデリング手法では、撮像空間の周囲に配置した複数のカメラから得られる複数のカメラ画像に基づいて、立体形状である被写体（以下、オブジェクト）の三次元モデルデータを生成する。三次元モデリング手法の一つに視体積交差法もしくはＶｉｓｕａｌＨｕｌｌ（以降ＶｉｓｕａｌＨｕｌｌに統一して呼称）と呼ばれる三次元モデル生成手法がある。ＶｉｓｕａｌＨｕｌｌでは、三次元モデルの対象となるオブジェクトについて、各カメラからの画像上のオブジェクトのシルエットを、カメラの光学主点位置から仮想的にオブジェクト方向に逆投影する。その結果、光学主点位置を頂点とし、断面がオブジェクトのシルエットとなる錐体領域が形成される。そして、カメラ毎に形成された錐体領域の重複領域（論理積）をオブジェクトの三次元モデルとする。ＶｉｓｕａｌＨｕｌｌは、各カメラの画像から算出された特徴量をマッチングさせ、それら特徴量間の位置関係から三次元モデルを生成する手法と比較して、原理的に凸面の精度が低いが高速な処理が可能である。
【０００３】
なお、ＶｉｓｕａｌＨｕｌｌ、特徴量のマッチングを用いる手法のいずれにしても、周囲に配置するカメラの数を多くする程、三次元モデルの精度は向上するが演算時間が増加する。特許文献１では、三次元モデルを高速に生成することを目的として、最初に三次元モデルの概形をＶｉｓｕａｌＨｕｌｌで求め、詳細を特徴量のマッチングを用いて求めることで、精度を維持しながら演算量の抑制を行う構成が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２７１９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された方法では、オブジェクトが複数存在する場合に、三次元モデルの精度が複数のオブジェクトについて一様に変化する。特許文献１の方法では、注目するオブジェクトの精度を維持しつつ、全体の演算量を下げたいという要求には対応できない。
【０００６】
そこで、本発明は、複数の撮像部からの画像を用いた画像処理において、複数のオブジェクトのうち特定のオブジェクトの処理精度の低下を抑えつつ全体の演算量を抑制できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
撮像空間を異なる視点から撮像する複数の撮像部により撮像された複数の画像を処理する画像処理装置であって、
前記撮像空間内の複数のオブジェクトのうち、特定オブジェクトのための画像処理を、他のオブジェクトのための画像処理よりも多くの撮像部により撮像された画像を用いて実行する処理手段を備える。
【発明の効果】
【０００８】
本発明によれば、複数の撮像部からの画像を用いた画像処理において、複数のオブジェクトのうち特定のオブジェクトの処理精度の低下を抑えつつ全体の演算量を抑制できるようにすることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第一から第四実施形態の画像処理装置の機能構成例を示すブロック図。
【図２】第一実施形態における三次元モデル生成処理を示すフローチャート。
【図３】（ａ）第一実施形態の、注目オブジェクトと使用される撮像部の関係の一例を示す図、（ｂ）非注目オブジェクトと使用される撮像部の関係の一例を示す概念図。
【図４】第一実施形態におけるシルエット内外判断処理を示すフローチャート。
【図５】第一実施形態の選択部の機能構成例を示すブロック図。
【図６】第一実施形態における使用する撮像部の選択処理を示すフローチャート。
【図７】第一実施形態における注目オブジェクトとオブジェクトＩＤの関係を記録したテーブルを示す図。
【図８】第二実施形態の選択部の機能構成例を示すブロック図。
【図９】第二実施形態における使用する撮像部の選択処理を示すフローチャート。
【図１０】第二実施形態における領域指定操作画面を示す図。
【図１１】（ａ）は、第二実施形態における注目領域内のオブジェクトと使用される撮像部の関係の一例を示す図、（ｂ）は注目領域外のオブジェクトと使用される撮像部の関係の一例を示す図。
【図１２】（ａ）（ｂ）は、第三実施形態における注目領域と注目オブジェクトの関係の一例を示す図。
【図１３】（ａ）（ｂ）は、第三実施形態における注目領域と注目オブジェクトの関係の一例を示す図。
【図１４】第三実施形態における注目領域の再設定処理を示すフローチャート。
【図１５】（ａ）（ｂ）は、第四実施形態における注目領域と注目オブジェクトの関係の一例を示す図。
【図１６】第四実施形態における、使用する撮像部の選択処理を示すフローチャート。
【図１７】第五実施形態における画像処理装置の機能構成例を示すブロック図。
【図１８】実施形態による画像処理装置のハードウエア構成例を示すブロック図。
【発明を実施するための形態】
【００１０】
＜第一実施形態＞
図１を用いて第一実施形態の画像処理システムの構成を説明する。画像処理システムは、複数の撮像部１０１ａ〜ｚ、複数の前景抽出部１０２ａ〜ｚ、画像処理装置１１０を含む。なお、画像処理装置１１０としてＰＣ（Personal Computer）、ＷＳ（Work Station）、各種サーバなどのコンピュータ装置を用いることができるが、本実施形態では特に種類は問わない。
【００１１】
図１８は、本実施形態の画像処理装置１１０のハードウエア構成例を示すブロック図である。ＣＰＵ２１は、中央処理装置（Central Processing Unit）であり、ＲＯＭ２２またはＲＡＭ２３に格納されたプログラムを実行することにより情報処理装置の全体を制御する。たとえば、ＣＰＵ２１は、記憶装置２５に格納されている所定のプログラムをＲＡＭ２３にロードし、ＲＡＭ２３にロードされたプログラムを実行することにより、例えば図１に示される画像処理装置１１０の各機能部を実現する。ＲＯＭ２２は読み取り専用の不揮発性メモリである。ＲＡＭ２３は、随時読み書きが可能なメモリである。ＲＡＭ２３として、ＤＲＡＭ（Dynamic RAndam Memory）を用いることができる。表示装置２４は、ＣＰＵ２１の制御下で種々の表示を行う。
【００１２】
記憶装置２５はたとえばハードディスクなどで構成される大容量の記憶装置である。記憶装置２５には、複数の撮像部から得られた画像、前景画像などを格納することができる。入力装置２６は、画像処理装置１１０への種々のユーザ入力を受け付ける。インターフェース２７は、画像処理装置１１０と外部装置とを接続するためのインターフェースであり、本実施形態では、複数の前景抽出部１０２が接続される。なお、前景抽出部１０２と画像処理装置１１０とは、ＬＡＮなどのネットワークを介して接続されてもよい。その場合、インターフェース２７は、ネットワークインターフェースとして機能する。バス２８は上述の各構成を相互に通信可能に接続する。
【００１３】
なお、画像処理装置１１０において実現される各機能部は、ＣＰＵ２１が所定のプログラムを実行することにより実現されるものとしたが、これに限られるものではない。例えば、演算を高速化するためのＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウエアが利用されてもよい。すなわち、画像処理装置１１０の各機能部は、ソフトウエアと専用ＩＣなどのハードウエアとの協働で実現されてもよいし、一部またはすべての機能がハードウエアのみで実現されてもよい。また、画像処理装置１１０を複数用いることにより各機能部の処理を分散させて実行するような構成が用いられても良い。
【００１４】
図１に戻り、本実施形態の画像処理システムを構成する各部について説明する。撮像部１０１ａ〜ｚは、デジタル画像を撮像する機器であり、一般的なデジタルカメラやデジタルビデオカメラを用いることができる。撮像部１０１ａ〜ｚのそれぞれは、撮像空間をそれぞれ異なる視点から撮像するように配置されており、デジタル画像として定められたフレームレートで動画の撮像を行う。撮像部１０１ａ〜ｚは同じフレームレートかつ同じタイミングで、すなわち同期して撮像を実施する。なお複数の撮像部１０１ａ〜ｚの撮像範囲が一部重複していても構わない。
【００１５】
前景抽出部１０２ａ〜ｚは、撮像部１０１ａ〜ｚで撮像した画像を受け、画像全体から前景を抽出する。ここで前景とは、人物やボールなどのオブジェクトとして認識される画像領域を指す。どのようなオブジェクトを前景として抽出すべきかについては、ユーザ等が予め指定することができる。前景を抽出する方法としては、背景差分情報を用いる方法がある。この方法では、例えば、あらかじめ背景画像として、前景が存在しない状態を撮影しておき、撮像された画像と背景画像との差分値が閾値より大きい領域を前景と判定する。なお、前景を抽出する手法は、特徴量や機械学習を用いる手法など、上記に限られず様々な手法があり、本実施形態では前景を抽出する手法は問わない。
【００１６】
なお、前景抽出部１０２は、前景を抽出する際に、前景として抽出した画素を「１」、前景ではない画素を「０」とする２値で示したシルエット画像を生成することとする。シルエット画像は三次元モデル生成部１０６で使用される。以降、本件においては前景と呼称した場合にシルエット画像も含まれることとする。
【００１７】
画像処理装置１１０は、それぞれが異なる視野範囲を撮像する複数の撮像部１０１により撮像された複数の画像（本実施形態ではそれらから抽出された前景）を処理する。画像処理装置１１０において、前景受信部１０３は前景抽出部１０２ａ〜ｚの各々から抽出された前景を受信し、読出部１０４から指示された前景を出力する。本実施形態では前景受信部１０３は前景抽出部１０２ａ〜ｚの各々とネットワーク接続されている。ネットワーク接続には、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）が用いられるがこれに限定されない。前景受信部１０３は、ネットワークを介して、それぞれの撮像部１０１、前景抽出部１０２からのデータ（前景）を集約し、格納する。なお、前景受信部１０３と前景抽出部１０２との接続はネットワーク接続に限定されるものではない。例えば、画像伝送用のインターフェースであるＳＤＩ（Serial Digital Interface）やＤＶＩ（Digital Visual Interface）等でもよい。
【００１８】
読出部１０４は選択部１０９から指定された前景を前景受信部１０３から読み出して三次元モデル生成部１０６に提供する。三次元モデルの生成には全ての撮像部１０１の前景を使用することも考えられるが、本実施形態では、三次元モデルの生成のために使用される前景が選択部１０９によって選択される。この選択部１０９の詳細については後述する。
【００１９】
カメラパラメータ設定部１０５は撮像部１０１ａ〜ｚについての情報をカメラパラメータとして設定し、三次元モデル生成部１０６に渡す。ここで、カメラパラメータは各々の撮像部１０１の世界座標上の三次元位置、姿勢（カメラの向き）、焦点距離、主点（カメラ画像上の中心）を含む。なお、カメラパラメータはあらかじめカメラ位置を校正するための校正パターンを撮影し、校正パターンを基準として定義される三次元座標と二次元のカメラ座標との座標変換を行うことにより測定、算出されているものとする。選択部１０９は、処理対象が特定オブジェクトであるか否かに基づいて、複数の撮像部１０１のうち、画像処理（三次元モデルの生成）に用いる画像（前景）を提供する撮像部を選択する。なお、以下、特定オブジェクトを注目オブジェクトと称する。読出部１０４は、複数の撮像部１０１のうち、選択部１０９により選択された撮像部から提供された画像（前景）を、前景受信部１０３から読み出し、三次元モデル生成部１０６に提供する。なお本実施形態では選択部１０９が撮像部を選択する例を中心に説明するが、撮像部の選択に代えて、画像を選択するようにしてもよい。
【００２０】
三次元モデル生成部１０６はカメラパラメータ設定部１０５より提供されたカメラパラメータと、読出部１０４から提供された前景とを用いて三次元モデルを生成する。本実施形態では三次元モデルの生成手法としてＶｉｓｕａｌＨｕｌｌを用いる。ＶｉｓｕａｌＨｕｌｌでは、各カメラから見た錐体の共通部分が求めたい三次元モデルとなるが、演算アルゴリズムとして大きくＶＩＭ（Volume intersection method）とＳＣＭ（Space carving method）がある。本実施形態ではＳＣＭを使用する。ＳＣＭでは、三次元空間中の個々の立方体を各々の撮像部１０１の平面に逆投影した時、全ての撮像部１０１の前景の内部に逆投影される立方体は前景として残し、それ以外は削除する。三次元空間中の個々の立方体を一般的にボクセルと呼び、ＶｉｓｕａｌＨｕｌｌにおいて前景のことをシルエットと呼ぶ。また、単純化のために、まずは前景となるオブジェクトが一つ、例えば人物が一人のみの場合を説明し、複数のオブジェクトが存在する場合については別途後述する。
【００２１】
本実施形態によるＶｉｓｕａｌＨｕｌｌの処理について図２のフローチャートを用いて説明する。まず、選択部１０９は、１つの前景オブジェクトの三次元モデルを生成するのに使用される前景を提供する撮像部を、オブジェクト設定部１０８からの情報に従って選択する（Ｓ１０１）。これらオブジェクト設定部１０８と選択部１０９の処理の詳細は後述する。次に、読出部１０４は、選択部１０９により選択された撮像部１０１（前景抽出部１０２）から提供された前景を読み出す（Ｓ１０２）。
【００２２】
ここで、使用する前景画像を提供する撮像部１０１の選択について図３（ａ）および図３（ｂ）の概念図を参照して説明する。図３（ａ）および図３（ｂ）では撮像部１０１の配置と前景オブジェクト（以下、オブジェクト３０１ａ〜ｃ、３０２ａ〜ｇ）の位置を俯瞰図で示している。また、撮像部１０１からの線分は撮像部１０１の向き（撮像方向）を表しており、それらの向きはフィールド中心３０３を向いている。なお、オブジェクトの数、位置等は図示のものに限定されない。
【００２３】
オブジェクト設定部１０８はこれらの前景オブジェクトの中から、たとえばユーザ操作に応じて、注目オブジェクトを設定する。以下、オブジェクト３０１ａ〜ｃが注目オブジェクトに設定されたとして説明する。三次元モデルの生成の対象となる前景オブジェクトが注目オブジェクト（オブジェクト３０１ａ、３０１ｂ、３０１ｃのいずれか）である場合、全ての撮像部１０１の画像から得られた前景が三次元モデル生成の処理に使用される。図３（ａ）は三次元モデルの生成の対象となる前景オブジェクトが注目オブジェクトの場合を示している。図３（ａ）では、撮像部１０１ａ〜ｔがグラウンド（撮像空間）を取り囲むように配置されており、撮像空間内の注目オブジェクトの三次元モデルの生成には撮像部１０１ａ〜ｔにより撮影された画像から取得された前景が使用される。すなわち、注目オブジェクトの三次元モデルの生成において、選択部１０９は撮像部１０１ａ〜ｔの全てを選択する。
【００２４】
また、図３（ｂ）は、三次元モデルの生成の対象となる前景オブジェクトが注目オブジェクト以外の非注目オブジェクト（オブジェクト３０２ａ〜ｇのいずれか）である場合を示す。図３（ｂ）の例では、非注目オブジェクトの三次元モデルの生成には、４台の撮像部１０１ａ、ｇ、ｋ、ｑにより撮像された画像から取得された前景が使用される。すなわち、撮像空間内の非注目オブジェクトの三次元モデルの生成において、選択部１０９は撮像部１０１ａ、ｇ、ｋ、ｑを選択する。ただし、注目オブジェクト、非注目オブジェクトの三次元モデルの生成に用いられる撮像部の台数、配置は上記に限定されない。ただし、撮像部の台数に関しては、処理対象が注目オブジェクトに設定されている場合に選択部１０９が選択する撮像部の数よりも、処理対象が注目オブジェクトに設定されていない場合に選択部１０９が選択する撮像部の数が少なくなる。このように、選択部１０９は、処理対象のオブジェクトが注目オブジェクトであるか非注目オブジェクトであるかによって、三次元モデルの生成に使用する撮像部（前景）を選択する。
【００２５】
次に、前景受信部１０３に格納されている複数の画像（前景）のうち、選択部１０９により選択された撮像部から提供された画像（前景）を用いて、処理対象のオブジェクトに対して画像処理が実行される。本実施形態では、三次元モデル生成部１０６が、選択部１０９により選択された撮像部の画像から得られる前景を用いて、三次元モデル生成空間の全座標（世界座標）を対象に三次元モデルを生成する画像処理を行う（Ｓ１０３〜Ｓ１０８）。なお、三次元モデル生成部１０６は画像処理装置１１０に含まれるＣＰＵ２１を演算装置、ＲＡＭ２３を演算の作業領域として利用する。
【００２６】
本例では三次元モデル生成空間の座標をｘ、ｙ、ｚの三次元で表現するものとし、あらかじめ定められた大きさの空間におけるｘ、ｙ、ｚの全座標を処理の対象としてループ処理を実行する（Ｓ１０３、Ｓ１０８）。各ループ処理では、全座標のうちの処理対象の座標について、シルエット内外判断処理を実施する（Ｓ１０５）。このシルエット内外判断処理は、選択部１０９による選択結果に従って読出部１０４が読み出した前景に対して実行される（Ｓ１０４、Ｓ１０６）。従って、Ｓ１０４〜Ｓ１０６のループは、選択部１０９により選択された撮像部の数だけ繰り返される。
【００２７】
Ｓ１０５で実行されるシルエット内外判断処理について、図４のフローチャートを参照して説明する。まず、三次元モデル生成部１０６は、処理対象の世界座標を撮像部１０１の撮像部座標に射影変換する（Ｓ５０１）。世界座標とは処理対象の三次元空間において基準となる原点を定め、その原点からの位置を三次元空間上で共通となる座標として扱うものである。本実施形態ではあらかじめ処理対象となる三次元空間上の座標は世界座標に変換してあるものとする。これに対して撮像部座標とは、撮像部１０１から撮影した画像上の座標を指す。世界座標を撮像部座標に変換するための射影変換の行列値はカメラパラメータから決定される。
【００２８】
次に、三次元モデル生成部１０６は、射影変換によって求められた撮像部座標位置の前景（シルエット画像）の値を読み出す（Ｓ５０２）。三次元モデル生成部１０６は、Ｓ５０２で読み出した値が１か否かを判断する（Ｓ５０３）。読み出した値が「１」の場合（Ｓ５０３でＹＥＳ）、三次元モデル生成部１０６は、その撮像部座標がシルエット内であると判断して、三次元上の座標毎に持っているシルエット内フラグを「１」とする（Ｓ５０４）。他方、前景データのシルエット画像から読み出した値が「０」の場合（Ｓ５０３でＮＯ）、三次元モデル生成部１０６は、その撮像部座標がシルエット外であると判断して、シルエット内フラグを「０」とする（Ｓ５０５）。
【００２９】
なお、射影変換後の撮像部座標が撮影した画像上の座標範囲を超えるケースが存在する。本実施形態ではそのような撮像部座標を「シルエット外」として扱うがこれに限られるものではなく、その他の判断ロジックが用いられてもよい。例えば、見えていない範囲なので判断不可としてその他（判断不可）とする、後段の判断ロジック上の都合であえてシルエット内とする、などが考えられる。このように、撮像部座標が画像上の座標範を超えるケースについては種々のアルゴリズムが考えられる。
【００３０】
使用すべき全ての前景についてシルエット内外判定処理を終えると、処理はＳ１０４〜Ｓ１０６のループを抜ける。続いて、三次元モデル生成部１０６は、シルエット内外判断結果を用いてモデル生成処理を実施する（Ｓ１０７）。より具体的には、選択部１０９により選択された撮像部の台数分のシルエット内外の判断結果であるシルエット内フラグを総合的に判断して、その座標を「残す」か、または「削る」か、を決定する。
【００３１】
本実施形態では、処理対象となった全ての前景においてシルエット内フラグが「１」であった場合は「残す」判断とする。また、処理対象の前景のうち１つでもシルエット内フラグが「０」であった場合、その座標は「削る」判断とする。なお、この判断のアルゴリズムはあくまで一例であり、種々のアルゴリズムを採用できる。たとえば、「残す」か「削る」かを判断するためのアルゴリズムは、前述のようにシルエット内フラグの決め方において撮像部座標外の射影結果をどう扱うかとも関連する。また、処理対象の前景について得られたシルエット内フラグのうち、「１」であるシルエット内フラグの数がある閾値以上であった場合に「残す」と判断するようにしてもよい。
【００３２】
Ｓ１０７の処理を終えた段階で、三次元空間上のある処理対象の座標について、各撮像部から見た錐体の共通領域を残す処理が完了し、当該処理対象の座標を三次元モデルとするかどうかが確定する。したがって、上記処理（Ｓ１０４〜Ｓ１０７）を三次元空間上のｘ、ｙ、ｚ全てについて実施すると、「残す」と判断された座標に基づいて、対象となる前景オブジェクトのモデルが生成される。生成されたモデルは三次元空間上のボクセルの集合である点群フォーマットとして出力される。
【００３３】
三次元モデル生成部１０６が出力した三次元モデルは記憶部１０７に格納される。記憶部１０７は、例えば画像処理装置１１０に内蔵されているＨＤＤ（Hard Disk Drive）である。他に、記憶部１０７として、例えば、画像処理装置１１０に内蔵されたＳＳＤ（Solid State Drive）が用いられてもよいし、ＨＤＤとＳＳＤの組み合わせが用いられてもよい。なお、処理対象となる前景オブジェクトが複数の場合には、上述の三次元生成処理が各オブジェクトについて実行される。
【００３４】
上述のように三次元空間上の全座標について、使用する撮像部の数に応じたループ（Ｓ１０４〜Ｓ１０６）が存在するため、使用する撮像部の数を抑えることは演算量の低減に大きく寄与する。ただし、使用する撮像部の数と生成される三次元モデルの精度とはトレードオフの関係にあるため、一律に使用する撮像部の数を抑えると演算量は低減されるが、モデルの精度が一律に低下してしまい、望ましい精度を維持できない。そこで、本実施形態では、オブジェクト設定部１０８と選択部１０９を設けることで、前景オブジェクト毎に使用する前景を決定することで、注目オブジェクトの三次元モデルの精度は維持しつつ、全体の演算量を抑制することを可能にしている。
【００３５】
次に、オブジェクト設定部１０８や選択部１０９に注目した詳細な構成と処理について図５の機能ブロック図および図６のフローチャートを参照して説明する。
【００３６】
オブジェクト設定部１０８により注目オブジェクトの設定が実施される。以下では、図３（ａ）のような俯瞰画面からユーザが、オブジェクト３０１ａ〜ｃを注目オブジェクトとして選択した場合について述べる。この時、オブジェクト設定部１０８は、図７のテーブル８０１に示すように、撮像空間に存在するオブジェクト３０１ａ〜ｃ、３０２ａ〜ｇに識別情報であるオブジェクトＩＤを付与して、これらオブジェクトを管理している。また、オブジェクト設定部１０８は、注目オブジェクトに設定されたオブジェクトについて注目ＩＤを「１」に設定する。図７の例では、テーブル８０１において、オブジェクトＩＤが１〜３であるオブジェクト３０１ａ〜ｃが、注目オブジェクトに設定されている。ユーザは、たとえば、俯瞰画面において所望のオブジェクトの表示領域にタッチすることで注目オブジェクトの指定を行うことができる。あるいは、テーブル８０１で管理されたオブジェクトＩＤを指定することで注目オブジェクトを指定できるようにしてもよい。その場合、俯瞰画面において、各オブジェクトの近傍にオブジェクトＩＤを重畳表示させて、表示上のオブジェクトに付されたオブジェクトＩＤをユーザに認識させる。
【００３７】
次に、選択部１０９の処理の詳細について図５および図６を用いて説明する。ＩＤ入力部６０１は、三次元モデル生成部１０６から現在の処理対象のオブジェクトＩＤを受け取り、ＩＤ判断部６０２へ送る。ＩＤ判断部６０２はオブジェクト設定部１０８により生成されたテーブル８０１を参照して、ＩＤ入力部６０１から受け取ったオブジェクトＩＤの注目ＩＤにしたがって、処理対象のオブジェクトが注目オブジェクトか否かを判断する。決定部６０３は、ＩＤ判断部６０２による判断の結果に基づいて使用する撮像部を決定し、読出部１０４へ読み出し指示を送る。
【００３８】
ＩＤ判断部６０２、決定部６０３の処理について、図６のフローチャートによりさらに説明する。まず、ＩＤ判断部６０２は、テーブル８０１の参照により、処理対象のオブジェクトＩＤの注目ＩＤが「１」となっているか判断する（Ｓ７０１）。注目ＩＤが「１」と判断された場合（Ｓ７０１でＹＥＳ）、決定部６０３は、使用する前景を提供する撮像部として注目オブジェクト向けの撮像部を選択するよう決定する（Ｓ７０２）。本実施形態では、図３（ａ）に示されるように、撮像部１０１ａ〜ｔのすべてが選択される。一方、注目ＩＤが「１」ではない判断された場合（Ｓ７０１でＮＯ）、決定部６０３は、使用する前景を提供する撮像部として非注目オブジェクト向けの撮像部を選択するよう決定する（Ｓ７０３）。本実施形態では、図３（ｂ）に示されるように、撮像部１０１ａ、ｇ、ｋ、ｑが選択される。
【００３９】
以上の処理の結果、注目オブジェクトと判断されるオブジェクト３０１ａ、３０１ｂ、３０１ｃの三次元モデル生成においては、撮像部１０１ａ〜ｔから提供される前景全てが読み出される。また、注目オブジェクトと判断されないオブジェクト３０２ａ〜ｇの三次元モデル生成においては、撮像部１０１ａ、１０１ｇ、１０１ｋ、１０１ｑから提供される前景が読み出される。読み出された前景は三次元モデル生成部１０６に入力され、それぞれのオブジェクトの三次元モデルの生成に用いられる。
【００４０】
処理対象のオブジェクトが複数存在する場合、それぞれのオブジェクトにテーブル８０１（図７）で示すようなオブジェクトＩＤを割り振る前に、各オブジェクトを認識する処理が必要となる。三次元空間の中に存在するオブジェクトを検知・認識するためには、何らかの手段で三次元空間を探索する必要がある。一例としてＶｉｓｕａｌＨｕｌｌの処理が利用可能である。処理で使用するボクセルの大きさを想定されるオブジェクトが含まれるような大きな単位の立方体として、三次元空間全体に対して実施する。残ったボクセルをそれぞれ独立したオブジェクトとみなして扱う方法がある。その他、何らかの特徴量検出や機械学習によって行う手段などもあり得るが本件では探索手法については問わない。求められたオブジェクトそれぞれに対して、上述の三次元モデル生成処理が実施される。
【００４１】
以上のように、第一実施形態によれば、注目オブジェクトの三次元モデルの生成に、非注目オブジェクトの三次元モデルの生成よりも多くの数の前景が用いられる。その結果、注目オブジェクトの三次元モデルの精度は維持しつつ、全体の演算量を抑制することが可能となる。
【００４２】
なお、上記実施形態では、三次元モデルの生成処理において、ＶｉｓｕａｌＨｕｌｌの処理アルゴリズムとしてＳＣＭを用いたが、ＶＩＭを用いる場合にも対応可能である。ＶＩＭにおいても全ての撮像部１０１の前景を参照するが、上述の選択部１０９により、非注目オブジェクトについては限定された前景を使用するようにすればよい。このようにＶＩＭ方式で処理した場合においても全体の演算量を抑制することが可能である。
【００４３】
また、第一実施形態では注目オブジェクトに全ての撮像部の前景を使用するとしたが、必ずしも全てである必要はない。実現するシステム毎の全体の処理量と三次元モデルに求められる精度のバランスにより適切な量（撮像部の数）を設定すればよい。また、非注目オブジェクトに使用する撮像部の数も同様であり、第一実施形態では４つとしたが、注目オブジェクトに使用する撮像部の数よりも少ない数であれば具体的な台数については問わない。
【００４４】
＜第二実施形態＞
第一実施形態では、オブジェクト設定部１０８によりユーザ指定された前景オブジェクトを注目オブジェクトに設定し、使用する撮像部の組み合わせを切り替えた。第二実施形態では、撮像空間に指定された領域に存在する前景オブジェクトを注目オブジェクトに設定し、使用する撮像部の組合せを切り替える。第二実施形態による画像処理システムの構成および全体的な処理は第一実施形態（図１、図２、図３（ｂ））と同様である。第二実施形態では、オブジェクト設定部１０８と選択部１０９の構成および処理が第一実施形態と異なっており、以下、主にこれらについて説明する。
【００４５】
図８は、第二実施形態による選択部１０９の機能構成例を示すブロック図である。図９は、第二実施形態による、選択部１０９の処理を示すフローチャートである。図１０は、第二実施形態による注目領域の設定を説明する図である。
【００４６】
オブジェクト設定部１０８により、撮像空間に注目領域が設定される。第二実施形態では、図１０のような操作画面１１０１からユーザが注目領域を指定する。具体的には、操作画面１１０１は、指定された領域が三次元表示されている表示画面１１０２と、領域を指定するための領域全体の俯瞰画面である領域指定画面１１０３を含む。ユーザは領域指定画面１１０３上で領域指定ポインタ１１０５を操作デバイスであるマウスによって操作し、注目領域１１０４を設定する。マウスによって２点を指定すると指定された２点を頂点とする矩形領域が、注目領域１１０４として設定される。高さ方向の指定についてはあらかじめ定められた固定値が用いられ、三次元の注目領域１１０６が設定され、表示画面１１０２に表示される。なお、領域指定画面１１０３における領域の指定方法は２点指定の矩形表現以外に、４点全てを指定した任意の四角形指定でもよく、円形での指定や、自由曲線での指定など領域の形状を定める手段について何等制限はない。また、指定するデバイスについても制限はなく、マウス以外にタッチパッドや十字キーなどでも良い。また、高さ方向について固定値を用いたが、ユーザが指定できるようにしてもよい。
【００４７】
次に、第二実施形態の選択部１０９の詳細について説明する。三次元モデル生成部１０６から現在の処理対象であるオブジェクトの座標（オブジェクト座標）を座標入力部９０１で受け、領域判断部９０２へ送る。領域判断部９０２はオブジェクト設定部１０８から送られる注目領域の情報と座標入力部９０１からのオブジェクト座標を比較し、判断結果を決定部６０３へ送る。ここで、注目領域の情報とは、図１０で設定された三次元の注目領域１１０６の範囲を示す座標の情報である。たとえば、注目領域の情報は、ｘ、ｙ、ｚの三次元座標についてどの範囲が注目領域であるかを示す。なお、注目領域の情報を保持する形式について何等制限はない。たとえば、最も単純には、注目領域に含まれる全ての座標をリスト化して保持してもよい。あるいは、何らかの数式によって注目領域を表現したものでもよい。単純な矩形指定であればｘ、ｙ、ｚの座標値のそれぞれの範囲を規定することで設定領域を示すことが可能である。決定部６０３は上述の照合結果から読み出す前景を提供する撮像部を決定し、読出部１０４へ読み出し指示を送る。
【００４８】
次に、第二実施形態の選択部１０９による、撮像部の選択処理について図９のフローチャートを用いて説明する。まず、領域判断部９０２は、処理対象の世界座標（座標入力部９０１が取得したオブジェクト座標）が、オブジェクト設定部１０８で設定された注目領域内かどうかを判断する（Ｓ１００１）。処理対象の世界座標が注目領域に含まれる場合（Ｓ１００１でＹＥＳ）には、決定部６０３は、使用する前景を提供する撮像部として、注目オブジェクト向けの撮像部１０１を選択する（Ｓ１００２）。他方、処理対象の世界座標が注目領域に含まれない場合（Ｓ１００１でＮＯ）は、決定部６０３は、使用する前景を提供する撮像部として、非注目オブジェクト向けの撮像部１０１を選択する（Ｓ１００３）。たとえば、図１１（ａ）に示されるように、注目領域に含まれると判断されたオブジェクト３０１ａ、３０１ｂ、３０１ｃは、注目オブジェクトと判断される。そして、これらオブジェクトの三次元モデルの生成に使用される前景を提供する撮像部として、撮像部１０１ａ〜ｔの全てが選択される。また、図１１（ｂ）に示されるように、注目領域１１０４の外側に存在するオブジェクト３０２ａ〜ｇは、非注目オブジェクトと判断される。そして、これらオブジェクトの三次元モデルの生成に使用される前景を提供する撮像部として、撮像部１０１ａ、１０１ｇ、１０１ｋ、１０１ｑが選択される。
【００４９】
以上のように、第二実施形態によれば、個別のオブジェクトに注目するのではなく、例えばサッカーのゴール前などのような、ユーザが指定した特定の領域に存在するオブジェクトに注目した対応が可能となる。また、ゴール前から出て行ったプレイヤーの注目度を下げ、ゴール前に入ってきたプレイヤーの注目度を上げるような対応が注目オブジェクトを領域として指定することによって可能となる。
【００５０】
なお、オブジェクトが注目領域内にあるか否かの判定の基準としては、
・オブジェクトの全体が注目領域内の場合にそのオブジェクトは注目領域内であると判定する、
・オブジェクトの少なくとも一部が注目領域内の場合にそのオブジェクトは注目領域内であると判定する、
・オブジェクトの中心（重心）が注目領域内であればそのオブジェクトは注目領域内であると判定する、など、種々の基準が考えられる。本注目領域にオブジェクトの一部でもかかっていた場合にそのオブジェクトを注目オブジェクトとすることで、オブジェクトの一部だけが高精細になって画質的な劣化を起こさないようにすることができる。
【００５１】
＜第三実施形態＞
第二実施形態では、設定された注目領域は固定であった。第三実施形態では、注目オブジェクトの移動に応じて注目領域を移動および／または変形させる構成を説明する。第三実施形態は、第二実施形態からオブジェクト設定部１０８の処理を変更したものであり、以下、主として第二実施形態と相違する構成について説明する。
【００５２】
まず、指定された注目領域内のオブジェクトの動きに追従して注目領域の位置を変化させる（移動させる）構成を説明する。図１２（ａ）、図１２（ｂ）は、第三実施形態による注目領域の設定方法を説明する図である。図１２（ａ）においてユーザが注目領域１４０１を設定したとする。注目領域の設定方法は第二実施形態と同様である。注目領域１４０１にはオブジェクト１４０２が存在している。図１２（ｂ）は図１２（ａ）の状態から一定時間が経過した状態を示しており、図１２（ｂ）では、オブジェクト１４０２がオブジェクト１５０２の位置に移動している。その結果、注目領域１４０１も、オブジェクト１４０２の移動に追従して、注目領域１５０１に再設定されている。
【００５３】
図１３（ａ）、図１３（ｂ）は、第三実施形態による注目領域の設定方法の別の例を説明する図である。図１３（ａ）、（ｂ）では、指定された注目領域内のオブジェクトの動きに追従して注目領域の大きさまたは形状を変化させる。図１３（ａ）においてユーザが注目領域１６０１を設定したとする。注目領域１６０１には人物であるオブジェクト１６０２とボールであるオブジェクト１６０３が存在している。図１３（ｂ）は図１３（ａ）の状態から一定時間が経過した状態を示しており、オブジェクト１６０２は移動していないがオブジェクト１６０３がオブジェクト１７０２の位置に移動している。注目領域１６０１のままではオブジェクト１６０２とオブジェクト１７０２の領域をカバーしきれないが、これらオブジェクトを含む注目領域として注目領域１７０１が再設定される。
【００５４】
上述した２つのケースにおける注目領域の再設定処理について図１４のフローチャートを参照して説明する。まず、オブジェクト設定部１０８は、ユーザの手動操作に応じて、撮像空間に注目領域を設定する（Ｓ１８０１）。注目領域が設定されると、オブジェクト設定部１０８は、注目領域に含まれるオブジェクトを検知する（Ｓ１８０２）。オブジェクトを検知するための手段は問わないが、オブジェクトの移動を追跡するために、オブジェクトを他のオブジェクトと区別して認識する必要がある。そのため、特徴量を抽出して、オブジェクトを認識、区別する。そのような特徴量を抽出するためのアルゴリズムとしては、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）がある。
【００５５】
特徴量の抽出により、オブジェクトの数、それぞれのオブジェクトを個別認識する特徴量と位置情報が得られる。オブジェクトは大きさを持つため、オブジェクトの位置情報の持ち方はオブジェクト中心の座標で持つとする。なお、オブジェクトの外郭立方体領域であるバウンディングボックスや座標中心から一定範囲の球形など、座標の範囲でオブジェクトの位置情報を管理するようにしてもよい。
【００５６】
オブジェクト設定部１０８は、ユーザがあらかじめ定めた一定時間毎に、注目領域内のオブジェクトが移動したかどうかを判断する（Ｓ１８０３）。例えば、オブジェクト設定部１０８は、オブジェクトの検知を再度行い、得られたオブジェクトの位置情報を前回検知した位置情報と比較することにより移動量を取得する。そして、オブジェクト設定部１０８は、取得された移動量があらかじめ定められた閾値を超えていた場合は、オブジェクトが移動したと判断する。
【００５７】
オブジェクトが移動したと判断された場合（Ｓ１８０３でＹＥＳ）、移動前の注目領域内のオブジェクトが移動した位置を含むように、注目領域の再設定を行う（Ｓ１８０４）。たとえば、図１２（ａ）、図１２（ｂ）で示したように注目領域に含まれる１つのオブジェクトに追従する場合、そのオブジェクトの位置（例えば重心）と注目領域の相対位置が維持されるように移動する。この場合、注目領域の大きさは変更されない。また、図１３（ａ）、図１３（ｂ）で示したように注目領域に含まれる複数のオブジェクトに追従する場合、最初に設定された注目領域を包含し、かつ、追従する複数のオブジェクトを含むように注目領域が変形される。
【００５８】
なお、注目領域内のオブジェクトが移動したかを判断する（Ｓ１８０３）際に、新たに注目領域内に入ってきたオブジェクトは無視される。すなわち、Ｓ１８０１で注目領域が設定されたときにＳ１８０２で検出されたオブジェクトを移動の追跡対象の注目オブジェクトとし、Ｓ１８０３以降のループで新たに注目領域に入ってきたオブジェクトは追跡対象としない。移動前のオブジェクトと対応が取れないためである。また、注目領域の再設定（Ｓ１８０４）が行われた結果、注目領域に新たに含まれることになったオブジェクトは、Ｓ１８０３における移動を判断するための注目オブジェクトとして、すなわち移動の追跡対象として使用されない。ただし、三次元モデルの生成に関しては、移動前の注目領域であっても移動後の注目領域であっても、注目領域に存在するオブジェクトは注目オブジェクトとして扱われる。このように、時刻の経過に伴うオブジェクトの移動に合わせて、移動の検知（Ｓ１８０３）と注目領域の再設定（Ｓ１８０４）が実施される。ユーザから再設定処理の終了指示がなされると（Ｓ１８０５）、注目領域の再設定処理の完了となる。
【００５９】
なお、一度設定した注目領域を、第三実施形態で説明したように注目領域内のオブジェクトの追従により移動／変形するか、第二実施形態のように固定するかをユーザが選択可能としてもよい。また、試合の途中などでオブジェクト設定部１０８から手動で注目領域を変更できるようにしてもよい。
【００６０】
以上のように、第三実施形態によれば、一旦指定した注目領域に含まれるオブジェクトが移動した場合にも、ユーザが注目領域を再設定することなく、注目領域内のオブジェクトに自動的に追従することが可能となる。
【００６１】
＜第四実施形態＞
第一実施形態〜第三実施形態では、三次元モデル生成の処理対象が注目オブジェクトか否かに応じて使用する撮像部（前景）の組合せを変更した。第四実施形態では、注目領域内の注目オブジェクトと注目領域内の所定の位置との距離に基づいて、複数の撮像部から選択する撮像部の組合せを変更する。第四実施形態は構成としては図１に示した第一実施形態の構成と同様である。選択部１０９の処理が一部異なっており、図１５（ａ）、図１５（ｂ）および図１６を用いて説明する。ただし、選択部１０９の構成は、第二実施形態（図８）と同様である。なお、以下では、注目領域内の所定の位置として、注目領域の中心を用いた例を説明する。
【００６２】
図１５（ａ）では注目領域が１９０１として設定されている。注目領域１９０１内に存在するオブジェクトは注目オブジェクトに設定される。ここで、注目領域１９０１の中心１９０２に対し、オブジェクト１９０３は近傍に位置しており、全ての撮像部１０１ａ〜ｔの前景を使用して三次元モデル生成が実施される。一方、図１５（ｂ）で示すように、オブジェクト２００１は注目領域１９０１に含まれている。ここで、オブジェクト２００１は、注目領域の中心１９０２から離れた位置に存在するため、撮像部１０１ａ、ｃ、ｅ、ｇ、ｉ、ｋ、ｍ、ｏ、ｑ、ｓの１０台分の前景を使用して三次元モデル生成が実施される。
【００６３】
次に図１６のフローチャートを参照して選択部１０９の処理について述べる。
【００６４】
選択部１０９の領域判断部９０２は、処理対象の注目オブジェクトが注目領域に含まれると判断した場合に（Ｓ１００１でＹＥＳ）、その注目オブジェクトと注目領域の中心との距離を算出する（Ｓ２００１）。距離を算出する際に使用するオブジェクトの位置はオブジェクトの中心とする。なお、前述のようにオブジェクトは大きさを持つため、オブジェクトの位置の表現は様々あり、中心に限定されるものではない。
【００６５】
決定部６０３は、Ｓ２００１で算出された注目領域の中心と処理対象のオブジェクトとの距離に応じて、三次元モデル生成に使用する前景を提供する撮像部を選択する（Ｓ２００２）。決定部６０３は、注目領域内の所定の位置と処理対象のオブジェクトとの距離（Ｓ２００１で算出された距離）が大きくなるほど選択する撮像部の数を減少させる。本実施形態では、距離とどの撮像部を選択するかの関係はあらかじめテーブルとして所持しているものとする。例えば、算出した距離をｘとし、閾値をαとすると、以下のようなテーブルとなる。
・ｘ＜α：全ての撮像部１０１を使用
・ｘ≧α：撮像部１０１ａ、ｃ、ｅ、ｇ、ｉ、ｋ、ｍ、ｏ、ｑ、ｓを使用
【００６６】
処理対象のオブジェクトが注目領域内になかった場合（Ｓ１００１でＮＯ）、決定部６０３は、使用する前景を提供する撮像部として、非注目オブジェクト向けの撮像部１０１を選択する（Ｓ１００３）。この処理は第二実施形態（図９のＳ１００１、Ｓ１００３）と同様である。なお、本実施形態では注目領域の中心とオブジェクトとの距離を用いたがこれに限られるものではない。たとえば、ユーザが注目領域内に設定した任意の点とオブジェクトとの距離を用いてもよいし、ある所定のオブジェクト（例えばゴール、あるいは、ボール）の中心と処理対象のオブジェクトとの距離を用いてもよい。
【００６７】
また、図１５（ｂ）では使用する撮像部１０１を全体の配置の中で一つおきに選択しているが、この選択方法に限定されるものではない。例えば、使用する撮像部１０１を全体の配置の中で二つおきに選択するようにしてもよい。複数の撮像部が撮像空間の周囲に等間隔に配置されている状況において、使用する撮像部を一定数毎に選択すると、三次元モデルにおける精度低下は視野に依存しなくなる。また、本実施形態では注目領域がグラウンドの左半分に偏って設定されている。そのため、注目領域に近い撮像部をより重視し、図１５（ａ）の撮像部１０１ａ〜ｄ、１０１ｎ〜ｔまでを使用するとしても良い。ただし、三次元モデルを生成する場合、各々の撮像部１０１がカバーする視野角が重要となる。端的には撮影できていない、すなわち見えていない範囲が存在する場合、その範囲について正しく三次元モデル生成することは原理的に不可能であるためである。そのため、生成するモデルの精度、さらにはどの向きからの精度が大事であるかも含めてユーザが選択、決定し、前述のテーブルとしてあらかじめ設定するものとする。
【００６８】
以上のように第四実施形態によれば、注目領域に含まれるオブジェクトの中でも三次元モデル精度の優先度を段階的に設定することでより全体の演算量を抑制することが可能となる。なお、オブジェクトの優先度の設定方法は、注目領域内におけるオブジェクトの位置に限らず、種々の方法を採用することが可能である。例えば、ユーザが予めオブジェクトごとに優先度を設定してもよいし、ユーザが優先度高の領域と、優先度中の領域と、優先度低の領域を指定するようにしてもよい。また、同じ領域内のオブジェクトであっても、特定のチームの選手の優先度を高くするようにしてもよい。さらに、撮影対象が球技であれば、ボールからの距離に応じて自動でオブジェクトの優先度が決定されるようにしてもよい。このように、オブジェクトの優先度の設定方法は種々の方法がある。
【００６９】
＜第五実施形態＞
第一実施形態〜第四実施形態では、複数の画像（前景）を用いた画像処理として、処理対象の三次元モデルを生成する処理を例示した。第五実施形態では、画像処理として、処理対象の任意視点からの画像をレンダリングする処理を適用する場合を説明する。第五実施形態の画像処理装置の構成を図１７に示す。レンダリング部２２０１と画像出力部２２０２以外は第一実施形態の構成と同様である。また、記憶部１０７が前景受信部１０３の直後に接続されており、全撮像部の１０１の画像は全て記憶部１０７に格納される。読出部１０４が選択部１０９からの指示に従って前景を読み出す対象が記憶部１０７となっている。
【００７０】
レンダリング部２２０１は第一実施形態などの三次元モデル生成処理とは異なる処理となり、生成された三次元モデルに対して着色し、ユーザが望む視点からの２次元座標に射影した状態をレンダリング結果として出力する。ユーザが望む視点についての情報は仮想の撮像部からの視点である仮想視点として、カメラパラメータと同様の形式で入力される。なお、前景オブジェクトの三次元モデルは記憶部１０７に記憶されており、読出部１０４により読み出されてレンダリング部２２０１に提供されるものとする。三次元モデルを生成する構成は、前景受信部１０３に設けられてもよいし、画像処理装置１１０に設けられてもよいし、これら装置とは別の装置に設けられてもよい。また、三次元モデルは、第一実施形態〜第四実施形態で説明した方法で生成されたものでもよい。
【００７１】
出力したレンダリング結果は画像出力部２２０２に送付され、画像出力部２２０２はレンダリング結果を画像形式に変換して出力する。出力する画像形式はＤＶＩとするが、形式は問わない。ＤＶＩの他に、ＳＤＩや動画ファイルをネットワーク上にストリーミング出力する方式等がある。
【００７２】
レンダリング部２２０１はユーザが望む視点を仮想視点設定部２２０３から受け取り、仮想視点からの視野に含まれるオブジェクトを判定する。レンダリング部２２０１から選択部１０９に渡される情報は第一実施形態同様にこれらのオブジェクトのオブジェクトＩＤである。
【００７３】
オブジェクト設定部１０８、選択部１０９の処理についても第一実施形態と同様であり、レンダリング処理に使用する撮像部（前景）が選択される。レンダリング処理においても、撮像部（前景）の数が処理負荷に影響を与えるパラメータとなる。例えば、レンダリング処理の一部では、ある視点から見た色を着色する場合に、撮像部１０１のそれぞれから見えている色を参照し、レンダリング対象と近い撮像部１０１の色に重みづけしつつ混合（ミックス処理）する。このようにレンダリング処理においても複数の撮像部の前景データを参照する処理が存在するため、図１７に示すような構成により注目オブジェクトとなるレンダリング対象のみ精度を維持しつつ、全体の演算量を低減することが可能となる。
【００７４】
また、第二実施形態、第三実施形態、第四実施形態で説明した撮像部の選択方法も図１７の構成に適用することが可能であり、レンダリング処理についてもそれぞれ第二実施形態、第三実施形態、第四実施形態と同様の効果を持つ。また、上記では三次元モデルを用いたレンダリング（いわゆるモデルベースレンダリング）への適用例を説明したがこれに限られるものではない。たとえば、三次元モデルを用いないイメージベースレンダリングにも本発明を適用することが可能である。
【００７５】
以上第一〜第四実施形態によれば、特定のオブジェクトの三次元モデルの生成の精度よりも、他のオブジェクトの三次元モデルの生成の精度を低くする。また第五実施形態によれば、特定のオブジェクトのレンダリングのために用いる撮像部の数よりも、他のオブジェクトのレンダリングのために用いる撮像部の数を少なくする。これにより、特定のオブジェクトの処理精度の低下を抑えつつ、全体の演算量を抑制できる。なお、上述の実施形態では、注目オブジェクトの設定方法の例として、ユーザが注目オブジェクトを個別に指定する方法や、ユーザが注目領域を指定する方法を挙げて説明した。しかし上記の方法に限らない。例えば、球技の試合を撮影している場合は、ボールの近くに存在している選手を、注目オブジェクトとして自動で認識するようにしてもよいし、単位時間あたりの動き量が大きい選手を注目オブジェクトとして自動で認識するようにしてもよい。また、人が密集している領域に存在するオブジェクトを注目オブジェクトとして自動で認識するようにしてもよい。また、複数の方法をユーザが任意に選択できるようにしてもよい。
【００７６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７７】
１０１：撮像部、１０２：前景抽出部、１０３：前景受信部、１０４：読出部、１０５：カメラパラメータ設定部、１０６：三次元モデル生成部、１０７：記憶部、１０８：設定部、１０９：選択部、１１０：画像処理装置
【図１】
2019016161.tif 000003
【図２】
2019016161.tif 000004
【図３】
2019016161.tif 000005
【図４】
2019016161.tif 000006
【図５】
2019016161.tif 000007
【図６】
2019016161.tif 000008
【図７】
2019016161.tif 000009
【図８】
2019016161.tif 000010
【図９】
2019016161.tif 000011
【図１０】
2019016161.tif 000012
【図１１】
2019016161.tif 000013
【図１２】
2019016161.tif 000014
【図１３】
2019016161.tif 000015
【図１４】
2019016161.tif 000016
【図１５】
2019016161.tif 000017
【図１６】
2019016161.tif 000018
【図１７】
2019016161.tif 000019
【図１８】
2019016161.tif 000020