(57)【要約】【課題】画像生成領域をまたいで仮想視点が移動する場合であっても仮想視点画像に生じるブレを抑制する。【解決手段】画像処理装置１０２は、仮想視点が２つの画像生成領域１３０Ｘ、１３０Ｙをまたがって移動する際に、この２つの画像生成領域１３０Ｘ、１３０Ｙにおける座標系のずれを補正する補正座標系を用いて、仮想視点の移動先の画像生成領域１３０Ｙにおける仮想視点に対応する仮想視点画像を生成する。【選択図】図３
2020135128.tif 000002
【特許請求の範囲】
【請求項１】
指定される視点に関する指示を取得する取得手段と、
前記取得手段により取得した指示と、複数の撮像装置により撮像されて得られた画像と、に基づいて、前記視点に対応する画像を生成する生成手段と、を有し、
前記生成手段により画像を生成するための座標系を有する少なくとも２つの画像生成領域を前記視点がまたがって移動する指示を前記取得手段により取得することに従い、前記少なくとも２つの画像生成領域における前記座標系のずれを補正する補正座標系にも基づいて、移動先における視点に対応する画像を生成することを特徴とする画像処理装置。
【請求項２】
前記補正座標系を取得する補正手段を、さらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記視点が前記少なくとも２つの画像生成領域をまたがって移動する指示を前記取得手段により取得することに従い、前記複数の撮像装置により撮像されて得られた画像と、前記移動先の画像生成領域における前記座標系とに基づいて、前記少なくとも２つの画像生成領域の共通領域における特定の視点に対応する画像を生成し、
前記補正手段は、前記特定の視点に対応する画像と、前記複数の撮像装置により撮像されて得られた画像と前記移動元の画像生成領域における前記座標系とに基づき生成された前記特定の視点に対応する画像と、に基づいて、前記補正座標系を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記生成手段により生成された前記少なくとも２つの画像生成領域それぞれにおける前記特定の視点に対応する２つの画像のブレを算出し、当該ブレに基づいて、前記補正座標系を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補正手段は、前記ブレとして、前記指定される視点の移動元における画像を基準とした他の画像の６軸方向の補正量を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記補正手段は、前記少なくとも２つの画像生成領域における前記座標系の差分を算出し、当該差分を用いて、前記補正座標系を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記補正座標系に関する情報は、記憶手段に記憶されていることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
指定される視点に関する指示を取得する取得手段と、
前記取得手段により取得した指示と、複数の撮像装置により撮像されて得られた画像と、に基づいて、前記視点に対応する画像を生成する生成手段と、を有し、
前記生成手段により画像を生成するための座標系を有する少なくとも２つの画像生成領域を前記視点がまたがって移動する指示を前記取得手段により取得することに従い、前記少なくとも２つの画像生成領域における前記座標系のずれを補正する補正視点にも基づいて、移動先における視点に対応する画像を生成することを特徴とする画像処理装置。
【請求項９】
前記補正視点を取得する補正手段を、さらに有することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記視点が前記少なくとも２つの画像生成領域をまたがって移動する指示を前記取得手段により取得することに従い、前記複数の撮像装置により撮像されて得られた画像と、前記移動先の画像生成領域における前記座標系とに基づいて、前記少なくとも２つの画像生成領域の共通領域における特定の視点に対応する画像を生成し、
前記補正手段は、前記特定の視点に対応する画像と、前記複数の撮像装置により撮像されて得られた画像と前記移動元の画像生成領域における前記座標系とに基づき生成された前記特定の視点に対応する画像と、に基づいて、前記補正視点を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記補正手段は、前記生成手段により生成された前記少なくとも２つの画像生成領域それぞれにおける前記特定の視点に対応する２つの画像のブレを算出し、当該ブレに基づいて、前記補正視点を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記補正手段は、前記ブレとして、前記指定される視点の移動元における画像を基準とした他の画像の６軸方向の補正量を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項１３】
前記複数の画像生成領域は、複数の撮像装置群ごとに対応することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
指定される視点に関する指示を取得する取得工程と、
前記取得工程において取得された指示と、複数の撮像装置により撮像されて得られた画像と、に基づいて、前記視点に対応する画像を生成する生成工程と、を有し、
前記生成工程において画像を生成するための座標系を有する少なくとも２つの画像生成領域を前記視点がまたがって移動する指示を前記取得工程において取得することに従い、前記少なくとも２つの画像生成領域における前記座標系のずれを補正する補正座標系にも基づいて、移動先における視点に対応する画像を生成することを特徴とする画像処理方法。
【請求項１５】
指定される視点に関する指示を取得する取得工程と、
前記取得工程において取得された指示と、複数の撮像装置により撮像されて得られた画像と、に基づいて、前記視点に対応する画像を生成する生成工程と、を有し、
前記生成工程において画像を生成するための座標系を有する少なくとも２つの画像生成領域を前記視点がまたがって移動する指示を前記取得工程において取得することに従い、前記少なくとも２つの画像生成領域における前記座標系のずれを補正する補正視点にも基づいて、移動先における視点に対応する画像を生成することを特徴とする画像処理方法。
【請求項１６】
コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
近年、仮想視点画像の実用化が進んでいる。仮想視点画像の生成においては、複数のカメラが実空間と仮想空間の座標の対応付け（キャリブレーション）を行った上で撮像により得られた画像から生成され得る。このキャリブレーションの方法としては、特許文献１で開示されている方法を用いることができる。
仮想視点画像の生成をより高精細に行うための方法として、複数のカメラからなるカメラグループを構成し、当該複数のカメラグループの撮像範囲を重複させる方法がある。このようなカメラグループを複数設けることで、各カメラグループに所属するカメラの撮像画像を用いて、仮想視点画像の生成対象となる画像生成領域が複数設定される。そして、この構成により仮想視点画像の生成対象とする空間を広げることが可能となる。
【０００３】
仮想視点を、画像生成領域をまたいで移動させる場合があるため、１つの仮想視点画像の生成対象とする空間に対して複数の画像生成領域を設定する場合であっても全てのカメラを１つの座標空間でキャリブレーションすることが望ましい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５３７１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、撮像対象によっては、全てのカメラを１つの座標空間でキャリブレーションすることが困難な場合がある。その場合、画像生成領域ごとに実空間に対してキャリブレーションを行うことが考えられるが、実空間と仮想空間の座標の対応が、画像生成領域ごとにずれてしまうことがある。これにより、仮想視点が画像生成領域をまたいで移動する場合、画像生成領域の変化前後において仮想視点画像にブレが生じてしまう。
【０００６】
本発明は上記課題に鑑みてなされたものであり、画像生成領域をまたいで仮想視点が移動する場合であっても仮想視点画像に生じるブレを抑制することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するための手段として、本発明の画像処理装置は以下の構成を有する。すなわち、指定される視点に関する指示を取得する取得手段と、前記取得手段により取得した指示と、複数の撮像装置により撮像されて得られた画像と、に基づいて、前記視点に対応する画像を生成する生成手段と、を有し、前記生成手段により画像を生成するための座標系を有する少なくとも２つの画像生成領域を前記視点がまたがって移動する指示を前記取得手段により取得することに従い、前記少なくとも２つの画像生成領域における前記座標系のずれを補正する補正座標系にも基づいて、移動先における視点に対応する画像を生成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像生成領域をまたいで仮想視点が移動する場合であっても仮想視点画像に生じるブレを抑制することが出来る。
【図面の簡単な説明】
【０００９】
【図１】仮想視点画像生成システムと想視点画像生成の対象空間を示す図。
【図２】仮想カメラの移動例を示す図。
【図３】（ａ）は画像処理装置の機能構成例を示す図、（ｂ）は画像処理装置のハードウェア構成例を示す図。
【図４】画像処理装置の動作を示すフローチャート。
【図５】カメラグループ切り替え時における仮想視点画像を説明するための図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１１】
尚、以下の実施形態では、参照符号内において参照番号の後ろに付与したアルファベットのみが異なる用語については、同一機能を持つ装置の別インスタンスを示すものとする。例えば、カメラ１Ａとカメラ１Ｂは同一の機能を持つ別インスタンスを示している。
【００１２】
（仮想視点画像生成システムの構成）
図１に本実施形態における仮想視点画像システム１００の概略的な構成と仮想視点画像生成の対象空間を示す。尚、画像は静止画だけでなく動画も含むものとする。仮想視点画像システム１００は、画像処理装置１０２と、（撮像装置（カメラ）１１０Ａ〜１１０Ｄを含んで構成される。仮想視点画像システム１００では、カメラ１１０Ａ〜１１０Ｄが撮像対象中心１２０Ｘにおおよその撮像範囲の中心を合わせることで、１つの画像生成領域１３０Ｘを構成している。図１では４つのカメラ１１０Ａ〜１１０Ｄから１つのカメラグループが構成されているが、１つのカメラグループを構成するカメラの数はこれに限定されない。また、画像生成領域１３０Ｙは、カメラ１１０Ａ〜１１０Ｄとは別のカメラ群が撮像対象中心１２０Ｙにおおよその撮像範囲の中心を合わせることで構成される別の画像生成領域である。また、共通領域１４０は、画像生成領域１３０Ｘと画像生成領域１３０Ｙの少なくとも一部が重なり合う領域である。各カメラグループに属するカメラ群は、カメラグループごとにキャリブレーションされているものとする。すなわち、各カメラグループに対する画像生成領域において、それぞれの仮想空間座標（仮想視点画像を生成するための空間座標系）が定義されている。
【００１３】
また、カメラ１１０Ａ〜１１０Ｄは、通信ケーブル１０４Ａ〜１０４Ｄによりデイジーチェーン構成で接続され、さらに画像処理装置１０２と接続される構成としている。ただし、この接続形態はデイジーチェーン構成に限定されるものではなく、各カメラ１１０と画像処理装置１０２間でデータ伝送が可能な接続形態であればよい。通信ケーブル１０４は例えばＥｔｈｅｒｎｅｔケーブルとする。画像処理装置１０２は、例えばサーバとして機能し、各カメラ１１０で撮像した画像を上述の通信ケーブル１０４を介して受信し、仮想視点画像を生成する。
【００１４】
（画像処理装置の構成）
図３（ａ）と図３（ｂ）に、本実施形態における画像処理装置１０２の構成例を示す。画像処理装置１０２は、入力部３２３（図３（ｂ））を介した仮想視点（以下では、仮想カメラという）の位置の指示入力により定まる位置で撮像される仮想視点画像を生成する装置である。図３（ａ）は画像処理装置１０２の機能構成例を示す。位置決定部３０１は、入力部３２３を介して仮想カメラ位置の指示入力を受信し、ある１フレームの仮想視点画像を生成する際の仮想カメラ位置を決定する。また、位置決定部３０１は、決定した仮想カメラ位置における仮想カメラの撮像範囲（撮像画角）や撮像方向を決定する。なお、仮想カメラ位置は、画像処理装置１０２や他の装置により自動で指定されてもよい。
仮想カメラ位置や撮像方向などを含む情報は仮想カメラ情報３１１として境界検出部３０２および画像生成部３０３に出力される。本実施形態では、仮想カメラは移動可能であることを想定する。図２に、本実施形態における仮想カメラの移動例を示す。図２に示す例では、初期位置として位置２１０Ａに存在する仮想カメラは、共通領域１４０に差し掛かる位置２１０Ｂ（境界）を経由して、別のカメラグループの撮像範囲である画像生成領域１３０Ｙにおける位置２１０Ｃまで移動する。
【００１５】
境界検出部３０２は、仮想カメラ情報３１１に含まれる仮想カメラ位置がカメラグループによる画像生成領域の境界にあるか否か、すなわち、仮想視点が複数のカメラグループによる複数の画像生成領域の少なくとも２つの画像生成領域をまたがって移動しているか否かを判定する。また、境界検出部３０２は、仮想カメラ位置が画像生成領域の境界にある場合はどの画像生成領域の境界かを判定する。そして境界検出部３０２は、仮想カメラ位置が画像生成領域の境界ある場合に移動先の画像生成領域（移動先の画像生成領域におけるカメラグループに関する情報等）を、境界情報３１２として画像生成部３０３に出力する。
【００１６】
画像取得部３０５は画像処理装置１０２に接続されるカメラ（撮像装置群）により撮像された画像を取得し、画像生成部３０３に出力する。画像生成部３０３は、画像取得部３０５により取得された画像から、仮想カメラ情報３１１に含まれる仮想カメラ位置において撮像される仮想視点画像３１３（すなわち仮想視点における仮想視点画像）を生成する。仮想視点画像は、仮想カメラが位置する画像生成領域において定義された仮想空間座標もしくは後述する補正座標において生成される。仮想視点画像の生成方法には周知の種々の方法がある。例えば、図１に示した複数のカメラ１１０により撮像され画像取得部３０５により取得された画像から、対象空間内の注目物を抽出して３次元形状データ（３次元モデル）を構成し、それを任意の位置から撮像した場合に得られる画像として生成する方法がある。この注目物は、例えば撮像対象がサッカーであれば、選手やボールなどの移動体である。仮想視点画像の生成方法はこれに限定されるものではなく、複数のカメラを用いて対象空間を撮像した画像を用いて仮想視点画像を生成するあらゆる方法を用いてもよい。画像生成部３０３により生成された仮想視点画像は、出力部３２４（図３（ｂ））により出力され、ユーザ等により使用される。
【００１７】
画像生成部３０３は更に、境界情報３１２が入力された場合、当該境界情報３１２に対応する補正座標３１５を座標補正部３０４から受け取ってなければ、移動先の画像生成領域における仮想視点画像を生成する。この場合、画像生成部３０３は、生成した仮想視点画像を、移動先の仮想視点画像３１４として座標補正部３０４に出力する。なお補正座標３１５については後述する。画像生成部３０３は、補正座標３１５を受け取ると、次のフレーム以降、補正対象となる画像生成領域における仮想視点画像の生成においては、この補正座標３１５を用いることができる。
【００１８】
座標補正部３０４は、仮想視点画像３１３と移動先の仮想視点画像３１４を入力として、これらの画像を比較することで、一方の仮想視点画像を基準とした場合のもう一方の仮想視点画像の差分を検出する。そして、座標補正部３０４は、検出した差分に基づいて補正後の仮想空間座標として補正座標３１５を算出し、画像生成部３０３に対して出力する。
【００１９】
次に、画像処理装置１０２のハードウェア構成について説明する。図３（ｂ）は画像処理装置１０２のハードウェア構成例を示す。記憶部３２１はＲＯＭ、ＲＡＭの両方、もしくは、いずれか一方により構成され、後述する各種動作を行うためのプログラム等の各種情報を記憶する。なお、記憶部３２１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。制御部３２２はＣＰＵまたはＭＰＵの１つ以上により構成され、記憶部３２１に記憶されたプログラムを実行することにより画像処理装置１０２全体を制御する。尚、制御部３２２は、記憶部３２１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）との協働により画像処理装置１０２全体を制御するようにしてもよい。入力部３２３は、ユーザからの各種操作入力の受付を行う。出力部３２４は、外部に対して各種出力を行う。
【００２０】
（処理の流れ）
図４は、本実施形態における画像処理装置１０２の動作を示すフローチャートである。本フローチャートは仮想カメラが初期位置から仮想視点画像の生成を終了する位置まで移動する際の動作を示す。以下、図２のように仮想カメラの位置が位置２０１Ａから位置２１０Ｃへ移動する場合を例に説明する。本フローチャートは、画像処理装置１０２の制御部３２２が記憶部３２１に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。
【００２１】
ステップＳ４０１において、位置決定部３０１は初期化処理を行う。ここでは、仮想カメラの初期情報（初期位置、撮像方向、撮像範囲などを含む）の設定に加え、必要に応じて仮想カメラの画質設定などが行われる。なお、仮想カメラの画質とは、仮想視点に対応する画像における画質のことをいう。
【００２２】
ステップＳ４０２からステップＳ４０８の処理は、ある１フレームの仮想視点画像を生成するために行う処理である。ステップＳ４０２において、位置決定部３０１は入力部３２３を介して仮想カメラ位置の指示入力を受信し、１フレームの仮想視点画像を生成する際の仮想カメラ位置と仮想カメラの撮像範囲（撮影画角）を決定する。当該指示には、仮想カメラの移動、撮像方向、焦点の変更等が含まれ得る。仮想カメラ位置の指示入力は、あらかじめ設定されたカメラパスの変更によるものでもよいし、仮想視点画像を視聴するユーザによるインタラクティブな操作処理によるものでもよい。仮想カメラの移動、撮像方向、焦点の変更等により、当該フレームにおける仮想カメラの撮像範囲（撮影画角）が決定される。
【００２３】
ステップＳ４０３において、画像生成部３０３は、仮想カメラが位置する画像生成領域において仮想カメラが撮像することにより得られる仮想視点画像（仮想視点における仮想視点画像）を生成する。例えば、画像生成部３０３は、ステップＳ４０２において決定された撮像範囲において、仮想空間内の３次元モデルを仮想的に撮像することで得られる画像を生成する。図２を参照すると、仮想カメラ情報３１１に含まれる仮想カメラ位置が位置２１０Ａの場合は、画像生成部３０３は画像生成領域１３０Ｘにおける仮想視点画像を生成する。
【００２４】
ステップＳ４０４において、境界検出部３０２は、仮想カメラ位置が画像生成領域１３０Ｘと画像生成領域１３０Ｙの境界にあるか、すなわち、仮想カメラ位置が移動して共通領域１４０内に入ったか否かを判定する。仮想カメラ位置が両画像生成領域の境界にない場合（Ｓ４０４でＮＯ）、処理はステップＳ４０９へ進む。仮想カメラ位置が両画像生成領域の境界にある場合（Ｓ４０４でＹＥＳ）、境界検出部３０２は、境界情報３１２を画像生成部３０３に出力する。図２を参照すると、仮想カメラ位置が位置２１０Ａから位置２１０Ｂに移った場合に両画像生成領域の境界にあると判定される。
【００２５】
ステップＳ４０５において、仮想カメラの移動先の画像生成領域における仮想空間座標が補正済みか否かにより処理が分岐される。具体的には、画像生成部３０３は、ステップＳ４０４の処理により受け取った境界情報３１２に対応する補正座標３１５をすでに座標補正部３０４から受け取っているか否かにより処理が分岐される。座標補正部３０４から補正座標３１５が入力されていれば（Ｓ４０５でＹＥＳ）、処理はステップＳ４０９に進む。座標補正部３０４から補正座標３１５が入力されていなければ（Ｓ４０５でＮＯ）、処理はステップＳ４０６に進む。例えば、補正座標３１５が入力される場合（Ｓ４０５でＹＥＳ）とは、後述する方法で２つの画像生成領域で補正座標３１５が過去に算出された場合がある。この場合には、補正座標３１５は、記憶部３２１に記憶される。
【００２６】
ステップＳ４０６において、画像生成部３０３は、仮想カメラの移動先の画像生成領域における仮想空間座標を用いた仮想視点画像の生成を行う。図２を参照すると、カメラ位置が位置２１０Ｂの場合は、画像生成部３０３は、画像生成領域１３０Ｘにおける仮想視点画像（仮想視点画像３１３）をすでにステップＳ４０３で生成済みである。本ステップでは、画像生成部３０３は、画像生成領域１３０Ｙにおける仮想視点画像である、移動先の仮想視点画像３１４を生成する。画像生成部３０３は、生成した仮想視点画像３１３と移動先の仮想視点画像３１４を座標補正部３０４に出力する。
【００２７】
ステップＳ４０７とＳ４０８の処理において、座標補正部３０４は、仮想視点画像３１３と移動先の仮想視点画像３１４を入力として、補正座標３１５を算出する。まず、ステップＳ４０７において、座標補正部３０４は、画像生成領域１３０Ｘ（移動元の画像生成領域）を基準とした、画像生成領域１３０Ｙ（移動先の画像生成領域）の仮想座標空間のシフトベクトルを算出する。この処理は、特定の視点に対応する、画像生成領域１３０Ｘと１３０Ｙのそれぞれに対して生成された仮想視点画像（すなわち仮想視点画像３１３と移動先の仮想視点画像３１４）を比較し、ブレを算出する処理に相当する。この処理には、デジタルカメラなどで用いられる周知の画像処理ベースのブレ補正技術が適用可能である。座標補正部３０４は、仮想視点画像３１３と移動先の仮想視点画像３１４を比較することにより、当該ブレ補正技術を用いて、６軸方向の補正量を算出する。座標補正部３０４は更に、この補正量より、画像生成領域１３０Ｘを基準とした、画像生成領域１３０Ｙの仮想座標空間のシフトベクトルを算出する。
【００２８】
ステップＳ４０８では、座標補正部３０４は、ステップＳ４０７にて算出されたたシフトベクトルから、画像生成領域１３０Ｙにおける仮想視点画像生成に用いられるべき補正座標系を算出し、補正座標３１５として画像生成部３０３に出力する。なお、補正座標３１５の導出方法は上記の方法に限定されず、他の算出方法や記憶部３２１に予め格納されている補正座標を用いてもよい。例えば、仮想視点画像３１３と移動先の仮想視点画像３１４から、画像生成領域１３０Ｘ、１３０Ｙそれぞれにおける仮想空間座標を導出できる場合、直接的にその差分から補正座標３１５を算出してもよい。
【００２９】
次にステップＳ４０９において、画像取得部３０５は当該フレームが仮想視点画像生成の最終フレームであるか否かを判定する。最終フレームでなければ処理は再びステップＳ４０２に戻り、最終フレームであれば本フローチャートの動作を終了する。処理がステップＳ４０２に戻った後のステップＳ４０３では、画像生成部３０３は、仮想カメラが画像生成領域１３０Ｙにある間は補正座標３１５を用いて仮想視点画像を生成することができる。
【００３０】
これにより、画像生成領域１３０Ｙにおける仮想座標空間と画像生成領域１３０Ｘにおける仮想座標空間が実空間に対してシームレスにマッピングされることとなり、仮想カメラの画像生成領域間の移動において、仮想視点画像のブレは抑制される。
【００３１】
図５を参照して、仮想空間座標の補正の有無による仮想視点画像の変化を説明する。図５（ａ）〜（ｄ）は、カメラグループ切り替え時における仮想視点画像を説明するための図である。図５（ａ）は、図５（ｂ）〜（ｄ）で示す仮想視点画像を生成する際の仮想カメラ位置２１０Ｂとその周辺の構成を示している。仮想カメラ位置２１０Ｂにおいて、選手５０１、選手５０２およびボール５０３を含む仮想視点画像を生成する場合を考える。図５（ｂ）は画像生成領域１３０Ｘにおいて生成された仮想視点画像５０４、図５（ｃ）は画像生成領域１３０Ｙにおいて生成された仮想視点画像５０５を示す。仮想視点画像５０４と５０５を重ね合わせたものが、図５（ｄ）に示した重畳した仮想視点画像５０６である。なおこの図では、仮想視点画像５０５を点線で示している。カメラグループごとに独立にキャリブレーションを行い、仮想空間座標にズレが存在している状態だと、図５（ｄ）に示した通り、同一の仮想カメラ位置で生成した仮想視点画像にズレが生じてしまう。その結果、仮想カメラがカメラグループ間を移動し、仮想視点画像の生成に用いるカメラグループが切り替わる瞬間に仮想視点画像のブレが生じる。一方、本実施形態によれば、仮想空間座標のズレを補償するための補正座標を用いることにより、画像生成領域１３０Ｙにおける仮想座標空間と画像生成領域１３０Ｘにおける仮想座標空間が実空間に対してシームレスにマッピングされ、このブレは抑制される。また、この仮想空間座標のズレの補正処理は、カメラグループが切り替わる瞬間の一度のみ行えばよい。
【００３２】
なお、本実施形態では、カメラグループ間のキャリブレーションズレの補正を仮想空間座標の補正により行ったが、仮想カメラ位置を補正することによっても同様の効果を得ることが可能である。すなわち、図４におけるＳ４０８で求めたシフトベクトルに基づいて、座標補正部３０４が仮想カメラ位置を補正して補正仮想カメラ位置（補正仮想視点（座標系のずれを補正する補正視点））を決定するように構成しても良い。その場合、画像生成部３０３は、移動先の画像生成領域においては、補正仮想視点を用いて仮想視点画像を生成することができる。
【００３３】
また、本実施形態では、移動先の画像生成領域における仮想空間座標を移動元の画像生成領域における仮想空間座標に補正したが、２つの画像生成領域の共通領域において、両仮想空間座標の略中間となるような補正座標を生成するように構成しても良い。その場合、当該共通領域のみ補正座標が使用されることとなる。
【００３４】
また、本実施形態では、２つのカメラグループによる２つの画像生成領域を移動する仮想カメラについて説明したが、３つ以上のカメラグループによる３つ以上の画像生成領域を移動する仮想カメラについても、本実施形態を適用可能である。この場合、仮想カメラが少なくとも２つの画像生成領域を移動する際に仮想空間座標（仮想カメラの位置）の補正処理が行われ得る。
【００３５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３６】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００３７】
１０２  画像処理装置、１３０  画像生成領域、３０１  位置決定部、３０３  画像生成部
【図１】
2020135128.tif 000003
【図２】
2020135128.tif 000004
【図３】
2020135128.tif 000005
【図４】
2020135128.tif 000006
【図５】
2020135128.tif 000007