(57)【要約】【課題】形状の精度が低いオブジェクトが含まれる仮想視点画像が生成される虞を低減する。【解決手段】画像処理装置であって、オブジェクトを含む撮影対象領域を複数のカメラで撮影することで得られる画像を取得する取得手段と、複数のカメラが向けられる注視点の位置を示す情報を取得する注視点取得手段と、３次元空間におけるオブジェクトを表示させるオブジェクト表示領域を、前記注視点取得手段により取得される情報に基づいて設定する領域設定手段と、前記領域設定手段により設定される前記オブジェクト表示領域に含まれるオブジェクトが表示される仮想視点画像を、前記取得手段により取得される画像に基づいて生成する生成手段とを備える。【選択図】  図２
2019197279.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを含む撮影対象領域を複数のカメラで撮影することで得られる画像を取得する取得手段と、
複数のカメラが向けられる注視点の位置を示す情報を取得する注視点取得手段と、
３次元空間におけるオブジェクトを表示させるオブジェクト表示領域を、前記注視点取得手段により取得される情報に基づいて設定する領域設定手段と、
前記領域設定手段により設定される前記オブジェクト表示領域に含まれるオブジェクトが表示される仮想視点画像を、前記取得手段により取得される画像に基づいて生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
オブジェクトの３次元形状を推定する推定手段を有し、
前記領域設定手段は、前記オブジェクト表示領域として、オブジェクトの３次元形状を推定する形状推定領域を設定し、
前記推定手段は、前記領域設定手段により設定される前記形状推定領域内のオブジェクトの３次元形状を推定し、
前記生成手段は、前記形状推定領域に含まれるオブジェクトが表示される仮想視点画像を、前記推定手段による推定結果と前記取得手段により取得される画像とに基づいて生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域設定手段は、前記注視点から所定の距離範囲を前記形状推定領域として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域設定手段は、前記注視点の位置を中心とした直方体状の空間を前記形状推定領域として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記領域設定手段は、前記注視点が複数存在する場合、注視点ごとに前記形状推定領域を設定することを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記推定手段による前記オブジェクトの３次元形状の推定結果の用途情報を、ユーザ操作に基づいて設定する用途設定手段をさらに備え、
前記領域設定手段は、前記注視点の位置を示す情報と、前記用途情報とに基づいて、前記形状推定領域を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記領域設定手段は、前記用途情報に応じて、前記オブジェクトの３次元形状の推定に用いられる、３次元空間を構成するボクセルのサイズを変更することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記領域設定手段は、前記用途情報が示す用途が仮想視点画像の生成である場合は、前記用途が仮想視点画像の生成ではない場合よりも細かいボクセルのサイズに設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記推定手段は、前記形状推定領域外のオブジェクトの３次元形状を、前記形状推定領域内のオブジェクトの３次元形状の解像度よりも低い解像度でさらに推定し、
前記生成手段は、前記形状推定領域内のオブジェクトの３次元形状と、前記形状推定領域外のオブジェクトの３次元形状とに基づいて、前記仮想視点画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
オブジェクトの３次元形状を推定する推定手段と、
前記推定手段により３次元形状を推定されたオブジェクトが前記オブジェクト表示領域に含まれるか否かを判定する判定手段とを有し、
前記生成手段は、前記領域設定手段により設定される前記オブジェクト表示領域に含まれるオブジェクトが表示される仮想視点画像を、前記推定手段による推定結果と前記判定手段による判定の結果と前記取得手段により取得される画像とに基づいて生成することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
画像処理装置の制御方法であって、
オブジェクトを含む撮影対象領域を複数のカメラで撮影することで得られる画像を取得する取得工程と、
複数のカメラが向けられる注視点の位置を示す情報を取得する注視点取得工程と、
３次元空間におけるオブジェクトを表示させるオブジェクト表示領域を、前記注視点取得工程により取得される情報に基づいて設定する領域設定工程と、
前記領域設定工程により設定される前記オブジェクト表示領域に含まれるオブジェクトが表示される仮想視点画像を、前記取得工程により取得される画像に基づいて生成する生成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１２】
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関し、特に、被写体を複数の方向から撮影した画像と仮想視点情報に基づいて、仮想視点画像を生成する技術に関するものである。
【背景技術】
【０００２】
サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができる仮想視点画像の生成技術が注目されている。特許文献１では、複数のカメラを異なる位置に設置して多視点から被写体（オブジェクト）を撮影し、当該撮影により得られた多視点画像を用いて被写体の３次元形状を推定する方法や仮想視点画像を生成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３４５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数のカメラによる撮影画像に基づいて仮想視点画像を生成する場合に、カメラとオブジェクトの配置によっては、形状の精度が低いオブジェクトが含まれる仮想視点画像が生成される場合がある。例えば、サッカーの試合を撮影する場合に、複数のカメラが向けられる注視点を一方のゴール付近に寄せた場合、他方のゴール付近のオブジェクトを画角内に含むカメラが少なくなる。この場合に、特許文献１に記載の技術を用いると、他方のゴール付近のオブジェクトの形状推定精度が低下し、生成される仮想視点画像に歪な形状のオブジェクト画像が含まれてしまうことがある。仮想視点画像内に形状の精度が低いオブジェクトが含まれると、仮想視点画像を見る視聴者に違和感を与えてしまう虞がある。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、形状の精度が低いオブジェクトが含まれる仮想視点画像が生成される虞を低減することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成する本発明に係る画像処理装置は、
オブジェクトを含む撮影対象領域を複数のカメラで撮影することで得られる画像を取得する取得手段と、
複数のカメラが向けられる注視点の位置を示す情報を取得する注視点取得手段と、
３次元空間におけるオブジェクトを表示させるオブジェクト表示領域を、前記注視点取得手段により取得される情報に基づいて設定する領域設定手段と、
前記領域設定手段により設定される前記オブジェクト表示領域に含まれるオブジェクトが表示される仮想視点画像を、前記取得手段により取得される画像に基づいて生成する生成手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、形状の精度が低いオブジェクトが含まれる仮想視点画像が生成される虞を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理システム構成の一例を示す図である。
【図２】本発明の一実施形態に係る画像処理装置が実施する処理の手順を示すフローチャートである。
【図３】本発明の一実施形態に係る複数のカメラを配置する例を示す模式図である。
【図４】本発明の一実施形態に係る形状推定領域の一例を示す模式図である。
【図５】本発明の一実施形態に係るＳ２２０の処理の詳細な手順を示すフローチャートである。
【図６】本発明の一実施形態に係る形状推定領域の設定方法に関する模式図である。
【図７】本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
［概要］
本実施形態では、カメラが注視する位置である注視点に向けられた複数のカメラの画像から仮想視点画像生成する際に、形状推定の対象となる領域を設定し、その領域内の被写体（オブジェクト）の３次元形状を推定し、該領域の被写体を含む仮想視点画像を生成する例を説明する。具体的には、オブジェクトを含む撮影対象領域を複数のカメラで撮影することで得られる画像を取得する。複数のカメラが向けられる注視点の位置を示す情報を取得する。３次元空間におけるオブジェクトを表示させるオブジェクト表示領域を、取得された注視点の位置を示す情報に基づいて設定する。設定されるオブジェクト表示領域に含まれるオブジェクトが表示される仮想視点画像を、取得される画像に基づいて生成する。
【００１１】
［システム構成］
図１は、本実施形態に係る画像処理システムの構成例を示す図である。本実施形態に係る画像処理システムは、撮影装置１、画像処理装置２、及び表示装置３を含んで構成される。撮影装置１は１台以上のカメラで構成される。画像処理装置２は、撮影装置１により撮影された画像と各カメラのパラメータを取得し、被写体の３次元形状を推定する。そして、仮想視点画像を生成し、その画像を表示装置３に送信する。表示装置３は、受信した仮想視点画像をディスプレイなどに出力する。
【００１２】
［画像処理装置の機能構成］  図１に示されるように、画像処理装置２は、カメラ情報取得部１１０、用途設定部１２０、注視点取得部１２５、形状推定領域設定部１３０、形状推定部１４０、及び仮想視点画像生成部１５０を備えている。各処理部の機能は、図７を参照して後述するＣＰＵ１００１がＲＯＭ１００２やＲＡＭ１００３から読み出したコンピュータプログラムを実施することにより実現される。
【００１３】
カメラ情報取得部１１０は、撮影装置１から、撮影装置１を構成している各カメラのカメラ情報を取得して、取得したカメラ情報を形状推定部１４０へ出力する。また、各カメラにより撮影された画像も形状推定部１４０に入力される。用途設定部１２０は、後述のキーボードなどの入力装置１００６を用いたユーザ操作により、形状推定結果の用途情報を設定し、設定した用途情報を形状推定領域設定部１３０へ出力する。注視点取得部１２５は、注視すべき点を示す注視点の情報を算出して取得する。形状推定領域設定部１３０は、注視点の情報と、用途情報とに応じて、形状推定領域情報を設定し、該設定した形状推定領域情報を形状推定部１４０へ出力する。
【００１４】
形状推定部１４０は、形状推定領域内の被写体の３次元形状を推定し、推定した３次元形状の情報を仮想視点画像生成部１５０へ出力する。仮想視点画像生成部１５０は、マウスなどの入力装置１００６を用いたユーザ操作により入力された仮想視点の情報と、カメラ情報取得部１１０により取得されたカメラ情報と、推定した３次元形状の情報とを用いて仮想視点画像を生成する。そして生成した仮想視点画像を、表示装置３へ出力する。表示装置３は受信した仮想視点画像をディスプレイなどの表示画面へ出力する。
【００１５】
［画像処理装置のハードウェア構成］
ここで、図７を参照して、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を説明する。画像処理装置１０は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５を備え、入力装置１００６及び表示装置３と接続されている。
【００１６】
ＣＰＵ１００１は、本実施形態に係る画像処理装置２の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問わない。
【００１７】
記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。
【００１８】
バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。表示装置３は、液晶ディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。
【００１９】
［処理］
続いて、図２のフローチャートを参照しながら、本実施形態に係る画像処理装置２が実施する処理の手順を説明する。本フローチャートでは、ステップＳ２１０は撮影装置１から各カメラのカメラ情報を取得するステップである。ステップＳ２２０は被写体の形状を推定する領域を設定するステップである。ステップＳ２３０は設定した領域内の被写体の形状を推定するステップである。ステップＳ２４０は形状推定結果とカメラ情報と画像を用いて仮想視点画像を生成するステップである。以下に、詳細なフローを説明する。
【００２０】
＜Ｓ２１０＞
ステップＳ２１０において、カメラ情報取得部１１０は、撮影装置１からカメラ情報として各カメラで撮影した画像、各カメラのカメラ情報としての外部パラメータ及び内部パラメータを取得する。ここで、外部パラメータはカメラの位置と姿勢の情報である、内部パラメータはカメラの焦点距離と画像中心の情報である。
【００２１】
本実施形態に係る撮影装置１の配置例を図３に示す。本実施形態において、カメラ３１０は、競技場３２０の周囲を囲むように複数台、配置される。ただし、撮影対象、カメラ配置や台数はこれに限定されない。撮影装置１は１台以上のカメラ３１０で構成され、各カメラは注視点３３０を観察するように設定される。本実施形態に係る処理は、少なくとも１台のカメラを必要とするが、カメラ台数に上限はない。また、異なる注視点とそれを観察する撮影装置をさらに増やしてもよい。すなわち、撮影対象の場所に設置される複数の撮影装置１は、ある注視点に向けられる撮影装置群と、別の注視点に向けられる撮影装置群とを含んでいてもよい。
【００２２】
本実施形態では、世界座標系３４０のｘ軸は競技場３２０の長辺方向に、ｙ軸は短辺方向に平行とし、ｚ軸はｘｙ平面に対して垂直方向とする。競技場３２０の実際のサイズは、長辺方向の長さと短辺方向の長さ、垂直方向の高さを、例えばユーザがマウスやキーボード等の入力装置により予め手動で入力することで設定することができる。
【００２３】
＜Ｓ２２０＞
ステップＳ２２０において、形状推定領域設定部１３０は、被写体の３次元形状を推定する対象となる形状推定領域を設定する。以下、図４を用いて形状推定領域４１０について説明する。形状推定領域４１０は、世界座標系３４０で表された注視点３３０の位置に基づいて設定される、被写体の３次元形状を推定する３次元の領域である。例えば、注視点３３０から所定の距離範囲を形状推定領域４１０として設定する。形状推定領域４１０は、例えば、注視点３３０からの距離で表した場合、ｘｙ平面で割られた半球状の形状となる。
【００２４】
なお、形状はこれに限定されない。例えば、直方体の対角上の２頂点を入力し、注視点３３０の位置を中心とした直方体状の空間として形状推定領域を設定してもよい。また、注視点３３０の位置を中心とする例に限られるものではなく、注視点３３０の位置を囲む直方体状の空間として形状推定領域を設定してもよい。また、ハフ変換のような線を検出する画像処理手法により、各カメラの画像から競技場の白線やその交点を検出し、直方体形状の形状推定領域の底面を設定してもよい。この場合、形状推定領域の高さ情報は、仮想視点画像を生成する対象のスポーツなどに合わせてユーザが任意に設定してもよい。後述のＳ２３０における形状推定処理では、形状推定領域４１０内の被写体の形状が推定される。注視点が複数存在する場合は、形状推定領域もそれぞれ設定する。
【００２５】
ここで、図５のフローチャートを用いて、Ｓ２２０の形状推定領域を設定する処理について詳細に説明する。なお、ここで説明する形状推定領域の設定処理は、注視点３３０を中心とする形状推定領域を設定する場合の処理であり、設定される形状推定領域の形状等によって以下の設定処理は適宜変更される。また、ユーザが形状推定領域を指定する場合には、形状推定領域設定部１３０は、ユーザ操作によって入力された情報に基づいて形状推定領域を設定する。
【００２６】
＜Ｓ２２００＞
ステップＳ２２００において、用途設定部１２０は、ユーザが入力した用途情報を取得する。用途は、例えば、仮想視点画像生成又は選手運動解析とする。
【００２７】
＜Ｓ２２１０＞
ステップＳ２２１０において、形状推定領域設定部１２０は、３次元空間をボクセル分割する。その際、用途設定部１２０により設定された用途情報が示す用途が仮想視点画像生成である場合、被写体を高解像度で表示できるように細かいボクセルのサイズに設定する。一方、用途が選手運動解析である場合、被写体の位置が推定できる程度にボクセルを粗く設定する。すなわち、用途に応じて、被写体の３次元形状の推定に用いられる、３次元空間を構成するボクセルのサイズを変更する。
【００２８】
例えば、図６に示すように、入力された競技場３２０のサイズで定義された３次元空間６１０を、均一なサイズ（解像度）のボクセル６２０で充填し、各ボクセル値を０に設定する。本実施形態において、０は形状推定領域外、１は第１の注視点の形状推定領域、２は第２の注視点の形状推定領域とし、各注視点の数に合わせて、各注視点の形状推定領域を識別できるようにボクセル値を設定する。ボクセルの実世界のサイズは、競技場のサイズと同様に、ユーザがあらかじめ設定する。
【００２９】
＜Ｓ２２２０＞
ステップＳ２２２０において、形状推定領域設定部１２０は、用途設定部１２０により設定された用途情報が示す用途が仮想視点画像生成であるか否かを判定する。用途が仮想視点画像生成である場合、ステップＳ２２３０へ進む。一方、用途が仮想視点画像生成ではない、すなわち、選手運動解析である場合、ステップＳ２２３１へ進む。
【００３０】
＜Ｓ２２３０＞
ステップＳ２２３０において、注視点取得部１２５は、形状推定の対象となるボクセルを設定するために、注視点３３０の位置（座標）の情報を取得する。注視点３３０の座標は世界座標系３４０で表され、競技場３２０の平面上（ｚ＝０）にあると仮定する。注視点の座標は、撮影装置１を構成するいずれかのカメラの外部パラメータから算出できる該カメラの視線ベクトルとｚ＝０の平面との交点を算出することで得られる。注視点の数が複数の場合、該注視点を観察する撮影装置を構成するいずれかのカメラにおいて、同様の方法で該注視点の座標を推定できる。
【００３１】
＜Ｓ２２３１＞
ステップＳ２２３１において、形状推定領域設定部１３０は、ステップＳ２２１０で設定した全ボクセルを形状推定対象とするため、全ボクセルの値を１に設定し、形状推定領域設定処理を終了し、図２のＳ２３０へ進む。
【００３２】
＜Ｓ２２４０＞
ステップＳ２２４０において、形状推定領域設定部１３０は、ステップＳ２２３０で取得した注視点３３０の位置（座標）に基づいて、形状推定領域を設定する。具体的には、全ボクセルを走査し、各ボクセルの代表点（例えば、ボクセルの中心点）と注視点３３０との３次元距離６３０を算出する。そして、あらかじめ設定した閾値と該３次元距離を比較し、閾値以下であれば、形状推定領域として該ボクセル値を１に設定する。複数の注視点が存在する場合、注視点ごとにＩＤを設定し、各ボクセルと各注視点との距離を算出し、最も近い注視点との距離が閾値以下である場合、該注視点のＩＤをボクセル値に設定する。
【００３３】
＜Ｓ２２５０＞
ステップＳ２２５０において、形状推定領域設定部１３０は、全ボクセルの形状推定領域の判定を完了したか否かを判定する。判定が完了した場合、形状推定領域設定処理を終了し、図２のＳ２３０へ進む。一方、未判定のボクセルが残っている場合、ステップＳ２２４０に戻る。
【００３４】
＜Ｓ２３０＞
図２のステップ２３０に戻る。ステップＳ２３０において、形状推定部１４０は、形状推定領域設定部１３０で設定した形状推定領域内の被写体の３次元形状を推定する。以下、形状推定部１４０による形状推定処理について説明する。
【００３５】
まず、カメラ情報取得部１１０で取得した画像について被写体のシルエット画像を生成する。シルエット画像は、被写体を撮影した撮影画像から、予め撮影した背景画像との差分を算出し、閾値以上をシルエット（前景領域）とする背景差分法などの一般的な手法で生成できる。本実施形態では、前景領域の画素値は１を、背景領域の画素値は０とする。
【００３６】
次に、シルエット画像とカメラ情報とを用いて、被写体の形状情報を推定する。３次元形状を推定するため、ステップＳ２２０で形状推定領域として設定されたボクセルを、各カメラのカメラパラメータを用いて、各カメラ画像座標に変換する。変換後の座標におけるシルエット画像の画素値が１であるカメラの台数を数え、設定した値以上であれば、該ボクセルを被写体の形状であると判定する。この判定を形状推定領域内の全ボクセルについて実施することで、該形状推定領域内の被写体の３次元形状を推定する。この処理の結果、被写体の３次元形状を表現したボリュームデータが得られる。
【００３７】
なお、注視点が複数存在する場合は、まず、各ボクセル値に設定された注視点のＩＤに基づいて、該注視点を観察する撮影装置の情報を取得する。そして、該撮影装置を構成する各カメラの画像座標に、各ボクセルの座標を変換し、見えているカメラの台数を数える。カメラの台数が設定した閾値以上であれば、該ボクセルは被写体の形状であると判定する。同様に、全ボクセルについてこの処理を繰り返せば、複数の注視点が設定された場合でも、被写体の３次元形状を形状推定領域に基づいて推定できる。
【００３８】
＜Ｓ２４０＞
ステップＳ２４０において、仮想視点画像生成部１５０は、ステップＳ２３０で推定した形状情報（３次元のボクセル集合）に色を付け、それを仮想視点の画像平面上に射影して被写体領域の前景画像を生成する処理を行う。さらに、仮想視点から見た背景画像を生成する処理を実行する。そして、生成した背景画像に前景画像を重ねることで仮想視点画像を生成する。生成した仮想視点画像は表示装置３へ送信する。
【００３９】
［前景画像の生成］
まず、仮想視点画像の前景画像を生成するために、撮影に用いたカメラの画像を用いて、ステップＳ２３０で推定した被写体の３次元形状を構成するボクセルの色を算出する。まず、各ボクセルがいずれのカメラから見えるかを判定する。このとき、複数の注視点が設定されている場合、ボクセル値として設定されている注視点のＩＤに基づいて、注視点を観察している撮影装置を構成するカメラにおいて、いずれのカメラから見えるかを判定する。そして、該ボクセルが見えているカメラの中から仮想視点に近いカメラを選択し、最近傍のカメラに該ボクセルを射影する。
【００４０】
射影されたボクセルの座標に最も近い画素の色を取得し、それを該ボクセルの色とする。この処理を各ボクセルにおいて繰り返すことで、ボクセルに色付けすることができる。色が付いたボクセルを既知のＣＧレンダリング手法によりレンダリングすることで、ステップＳ２３０で設定した形状推定領域４１０内の被写体が表示される前景画像を生成することができる。
【００４１】
なお、ステップＳ２２１０で設定した全ボクセルを処理対象として被写体の３次元形状を推定し、その結果を用いて、各ボクセルが形状推定領域内であるか否かを判定しながらレンダリングすることでも、同様に仮想視点画像の前景画像を生成することができる。すなわち、被写体の３次元形状は全ボクセルを対象として推定するものの、レンダリング及び表示の対象とするのは設定された表示対象領域内のボクセルに限定してもよい。この判定は、被写体の３次元形状を構成する各ボクセルの代表点と注視点３３０との距離を算出することで判定できる。また、ある被写体の３次元形状の全体又は一部（例えば重心）が設定領域内に含まれるかを判定し、含まれる場合にはその被写体の３次元形状の全体を表示の対象とし、そうでない場合にはその被写体の３次元形状の全体を表示の対象から外してもよい。
【００４２】
また、形状推定領域４１０内だけでなく、形状推定領域外のボクセルも色付け処理を実施し、競技場全体の仮想視点画像を生成してもよい。
【００４３】
また、形状推定部１４０は、形状推定領域外の被写体の３次元形状を、形状推定領域内の被写体の３次元形状の解像度よりも低い解像度でさらに推定してもよい。すなわち、形状推定領域外を含む全領域の被写体を３次元形状の推定の候補としつつ、形状推定領域内の被写体の３次元形状の推定を優先して行ってもよい。そして、仮想視点生成部１５０は、形状推定領域内の被写体の３次元形状と、形状推定領域外の被写体の推定された３次元形状とに基づいて、仮想視点画像を生成してもよい。例えば、形状推定領域内と形状推定領域外とでボクセルのサイズ（解像度）や色付けするボクセルの間引き方を変えてもよい。具体的には、形状推定領域内のボクセルは全て色付け処理を実施し、形状推定領域外のボクセルは例えば隣接する８つのボクセルを１つのボクセルと見なして色付け処理を実施する。これにより、仮想視点画像の生成時間を短縮することができる。さらに、この場合、形状推定領域外の歪な被写体画像をぼかし、目立たなくする効果も得られる。また、撮影対象の領域全体を、優先して形状推定を行う形状推定領域と、システム処理負荷や処理時間に余裕がある場合に形状推定の対象となる形状推定候補の領域と、形状推定の対象とはならない非形状推定領域とに分割してもよい。
【００４４】
［背景画像の生成］
次に、仮想視点画像の背景画像を生成する。まず、背景３Ｄモデルにおいてフィールドの４つの角の頂点を取得する。背景３Ｄモデルは、予め作成され、システム内に保存しておいたＣＧモデルを用いる。４つの頂点を、仮想視点に近い２台のカメラ（カメラ１、カメラ２とする）と仮想視点のカメラ座標系に射影する。仮想視点とカメラ１、仮想視点とカメラ２の対応点を用いて、仮想視点とカメラ１との間の射影行列１と、仮想視点とカメラ２との間の射影行列２を算出する。仮想視点の背景画像の各画素値を算出するために、各画素の座標を射影行列１と射影行列２とを用いて、それぞれの背景画像に射影し、それらの点の画素値を取得する。そして、得られた２つの画素値の平均を算出することで背景画像の画素値とする。
【００４５】
このようにして得られた仮想視点画像の背景画像上に、生成した前景画像を重ねることで仮想視点画像を生成できる。すなわち、生成される仮想視点画像は、撮影対象領域全体の背景画像に、形状推定領域内のオブジェクトの前景画像が合成された画像となる。ただし、生成される背景画像の範囲も形状推定領域に限定されてもよい。また、仮想視点画像を生成する方法はこの方法に限定されず、他の方法であってもよい。
【００４６】
以上説明したように、本実施形態によれば、被写体の３次元形状推定の領域を注視点の位置に基づいて限定することができる。そして、限定された形状推定領域内の被写体の３次元形状を推定し、仮想視点画像を生成することで、歪んだ被写体画像が表示されてしまうことを防ぐことができる。さらには、歪んだ被写体形状を負荷のかかる前景画像生成処理に含めないことにより、処理負荷を軽減する効果も得られる。
【００４７】
また、ステップＳ２２２０によって用途ごとに形状推定領域を切り替えることで、それぞれの目的に合った画像や被写体の３次元形状を生成することができる。
【００４８】
なお、本実施形態では撮影装置１から画像やカメラ情報を取得したが、これに限定されず、一度記憶装置に格納してから処理を行ってもよい。また、本実施形態では表示装置３に出力して表示を行ったが、これに限定されず、たとえば、記憶装置を接続して保存したり、プリンタに接続して静止画として印刷したりしてもよい。また、形状推定領域の設定もこれに限定されず、底面の形状や３次元の形状を不図示のユーザが任意で生成することにより行ってもよい。なお、注視点は平面上以外にも設定できる。例えば、吊り輪などの競技では空中に注視点を設定してもよい。
【００４９】
なお、本実施形態では用途ごとに形状推定領域を切り替える例を説明したが、用途設定部１２０を省略して固定で用いても構わない。例えば、用途を「仮想視点画像生成」のみとして、形状推定領域の位置、形状等を固定にしても構わない。この場合、それらの情報を形状推定領域設定部１３０の不揮発性のメモリ等に記録しておくこと等により実現できる。
【００５０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
１：撮影装置、２：画像処理装置、３：表示装置、１１０：カメラ情報取得部、１２０：用途設定部、１２５：注視点取得部、１３０：形状推定領域設定部、１４０：形状推定部、１５０：仮想視点画像生成部
【図１】
2019197279.tif 000003
【図２】
2019197279.tif 000004
【図３】
2019197279.tif 000005
【図４】
2019197279.tif 000006
【図５】
2019197279.tif 000007
【図６】
2019197279.tif 000008
【図７】
2019197279.tif 000009