(57)【要約】      （修正有）【課題】注視すべきオブジェクトをより効果的に表す仮想視点画像を生成する。【解決手段】複数の撮像手段で撮像した撮像画像から得た形状情報から、互いに独立したオブジェクトに分類し、分類した各オブジェクトを、注視オブジェクトか非注視オブジェクトのいずれかに設定する注視オブジェクト設定部と、仮想視点を設定する仮想視点設定部と、着目オブジェクトが注視オブジェクトであるか、非注視オブジェクトであって仮想視点から見て他の注視オブジェクトを遮らないように位置しているかのいずれかを満たす場合には、着目オブジェクトを非透明化オブジェクトとして決定し、着目オブジェクトが非注視オブジェクトであって仮想視点から見て他の注視オブジェクトを遮るように位置している場合には、着目オブジェクトを透明化オブジェクトとして決定し、この結果に基づき、仮想視点から見た仮想視点画像を生成するレンダリング部と、を有する。【選択図】図３
2018055644.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段で撮像した撮像画像から、設定した仮想視点位置から見た仮想視点画像を生成する画像処理装置であって、
前記撮像画像から得た形状情報から、互いに独立したオブジェクトに分類する分類手段と、
分類した各オブジェクトを、注視オブジェクト、非注視オブジェクトのいずれかに設定するオブジェクト設定手段と、
仮想視点を設定する仮想視点設定手段と、
着目オブジェクトが注視オブジェクトである、或いは、前記着目オブジェクトが前記非注視オブジェクトであって前記仮想視点から見て他の前記注視オブジェクトを遮らないように位置している、のいずれかを満たす場合に、前記着目オブジェクトを非透明化オブジェクトとして決定し、
前記着目オブジェクトが前記非注視オブジェクトであって前記仮想視点から見て他の前記注視オブジェクトを遮るように位置している場合に、前記着目オブジェクトを透明化オブジェクトとして決定する決定手段と、
該決定手段による決定の結果に基づき、前記仮想視点から見た仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記透明化オブジェクトを除外した、非透明化オブジェクトに基づき前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記非透明化オブジェクトについては、前記仮想視点から見える部分についてレンダリングを行い、前記透明化オブジェクトについては仮想視点から見た場合の輪郭を表す線のみを描画する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記仮想視点の位置と注視オブジェクトとの距離をＬ、
前記仮想視点の位置と非注視オブジェクトとの距離をＬ’
前記仮想視点の位置を基準にし、前記注視オブジェクトと前記非注視オブジェクトのなす角度をθとしたとき、
前記生成手段は、
Ｌ＜Ｌ’の場合には、前記非注視オブジェクトの透明度αが０となって、
θが小さいほど、又は、Ｌが小さいほど、前記非注視オブジェクトの透明度αを大きくする関数Ｆ（Ｌ，Ｌ’、θ）を用いる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、前記仮想視点からの前記注視オブジェクトまでの距離が最短と最長となる範囲を被写界深度とし、当該範囲から外れるほど大きくぼかして描画する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
複数の撮像手段で撮像した撮像画像から、設定した仮想視点位置から見た仮想視点画像を生成する画像処理装置の制御方法であって、
前記撮像画像から得た形状情報から、互いに独立したオブジェクトに分類する分類工程と、
分類した各オブジェクトを、注視オブジェクト、非注視オブジェクトのいずれかに設定するオブジェクト設定工程と、
仮想視点を設定する仮想視点設定工程と、
着目オブジェクトが注視オブジェクトである、或いは、前記着目オブジェクトが前記非注視オブジェクトであって前記仮想視点から見て他の前記注視オブジェクトを遮らないように位置している、のいずれかを満たす場合に、前記着目オブジェクトを非透明化オブジェクトとして決定し、
前記着目オブジェクトが前記非注視オブジェクトであって前記仮想視点から見て他の前記注視オブジェクトを遮るように位置している場合に、前記着目オブジェクトを透明化オブジェクトとして決定する決定工程と、
該決定工程による決定の結果に基づき、前記仮想視点から見た仮想視点画像を生成する生成工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点位置から撮像した画像に基づき、設定した仮想視点からの画像を生成する技術に関するものである。
【背景技術】
【０００２】
複数のカメラで撮像した画像から、オブジェクト（例えば人物等）の立体モデルを求め、本来はカメラが存在しない任意の視点（以下、仮想視点）における画像（以下、仮想視点画像）を、複数の撮像画像から生成する技術が知られている（特許文献１）。
【０００３】
また、仮想視点画像に、更なる情報を付加する技術も知られている。例えば、特許文献２は、仮想視点画像に広告を表示する技術を開示し、特許文献３は仮想視点画像に説明情報を付加する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５０１１２２４号公報
【特許文献２】特許第５５９３３５６号公報
【特許文献３】特許第５２９５４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献２、３の技術は、表示効果を上げるため、付加的に情報を仮想視点画像に追加するものである。しかしながら、仮想視点画像内のオブジェクトそのものを、より効果的に表示するという観点からは、未だ不十分である。
【０００６】
本発明は、かかる点に鑑みなされたものであり、注視すべきオブジェクトそのものを、より効果的に表す仮想視点画像を生成する技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数の撮像手段で撮像した撮像画像から、設定した仮想視点位置から見た仮想視点画像を生成する画像処理装置であって、
前記撮像画像から得た形状情報から、互いに独立したオブジェクトに分類する分類手段と、
分類した各オブジェクトを、注視オブジェクト、非注視オブジェクトのいずれかに設定するオブジェクト設定手段と、
仮想視点を設定する仮想視点設定手段と、
着目オブジェクトが注視オブジェクトである、或いは、前記着目オブジェクトが前記非注視オブジェクトであって前記仮想視点から見て他の前記注視オブジェクトを遮らないように位置している、のいずれかを満たす場合に、前記着目オブジェクトを非透明化オブジェクトとして決定し、
前記着目オブジェクトが前記非注視オブジェクトであって前記仮想視点から見て他の前記注視オブジェクトを遮るように位置している場合に、前記着目オブジェクトを透明化オブジェクトとして決定する決定手段と、
該決定手段による決定の結果に基づき、前記仮想視点から見た仮想視点画像を生成する生成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、注視すべきオブジェクトをより効果的に表す仮想視点画像を生成することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における画像処理システムの構成図。
【図２】実施形態における情報処理装置のハードウェアブロック構成図。
【図３】実施形態における画像処理装置の機能ブロック構成図。
【図４】実施形態におけるオブジェクトテーブルの例を示す図。
【図５】実施形態のシステムで生成される仮想視点画像の例を示す図。
【図６】実施形態のシステムで生成される他の仮想視点画像の効果を示す図。
【図７】実施形態におけるオブジェクト分類部の分類処理を示すフローチャート。
【図８】実施形態におけるレンダリング部の処理内容を示すフローチャート。
【図９】透明度の設定の例を示す図。
【発明を実施するための形態】
【００１０】
以下図面に従って本発明に係る実施形態を詳細に説明する。
【００１１】
図１は実施形態における画像処理システムの撮像環境と構成を示している。図示の如く、本システムは複数のカメラ１０１と、各カメラで撮像した撮像画像を受信、蓄積、仮想視点画像を生成する情報処理装置１１０で構成される。カメラ１０１と情報書類装置１１０間の通信路は有線、無線を問わない。
【００１２】
そして、実施形態では、図示の如く、サッカーのフィールドを取り囲むように複数のカメラ１０１を配置する例を示している。撮影対象のサッカーフィールドは、グラウンド１２１、人（プレイヤー等）１２２、ボール１２３、ゴールポスト１２４が配置されている。また、これら参照符号１２０番台を、実施形態では、オブジェクトとして表現する。なお、図示ではカメラ１０１が１０台であることを示しているが、この数に特に制限はない。この数が、多いほど、オブジェクトの死角が少なくなり、より正確な仮想視点画像が生成できる。また、サッカーフィールドを例示するのに特に理由はない。あくまで、具体例を示すことで、本実施形態の理解を容易にするためであると理解されたい。
【００１３】
情報処理装置１０２は、パーソナルコンピュータ等に代表される装置と同様の構成であって、具体的には図２の構成である。図示の如く、情報処理装置１０２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部記憶装置としてのハードディスク（HDD）２０４を有する。更に、キーボード２０５、マウス２０６、表示制御部２０７及び表示装置２０８、複数のカメラ１０１から撮像画像を受信するためのインターフェース（Ｉ／Ｆ）２０９を有する。
【００１４】
ＨＤＤ２０４には、ＯＳ（オペレーティングシステム）や、画像処理装置として機能するためのアプリケーションプログラムが格納されている。また、先に説明した複数のカメラ１０１から受信した撮像画像も、このＨＤＤ２０４に格納されるものである。本装置の電源がＯＮになると、ＣＰＵ２０１は、ＲＯＭ２０２のプログラムを実行することでで、ＨＤＤ２０４からＯＳがＲＡＭ上にロードし、実行する。そして、ＯＳ上が稼働している下で、ＨＤＤ２０４からアプリケーションをＲＡＭ２０３にロードし、実行されることで、情報処理装置が画像処理装置として機能することになる。
【００１５】
各カメラ１０１の設置位置、視線方向、並びにカメラパラメータ（焦点距離等）に係る情報（以下、入力視点情報という）が、情報処理装置が有するＨＤＤ２０４に保持されているものとする。また、複数のカメラ１０１が撮像した画像がインターフェース２０９を介して受信され、既にＨＤＤ２０４に格納されているものとする。
【００１６】
図３は、情報処理装置１０２のＣＰＵがアプリケーションプログラムを実行して、画像処理装置として機能している場合の機能ブロック構成図である。なお、図示における一部の機能部は、ハードウェアで実現しても構わない。
【００１７】
実施形態における画像処理装置は、画像入力部３０１、視点情報保持部３０２、形状生成部３０３、モデル情報保持部３０４、オブジェクト分類部３０５、注視オブジェクト設定部３０６、仮想視点設定部３０７、レンダリング部３０８、出力部３０９を有する。
【００１８】
各構成については、後述する説明から明らかにするが、本実施形態の特徴を分かりやすく説明すると、以下の通りである。
【００１９】
位置、視線方向が既知の複数のカメラ１０１でオブジェクト（１つとは限らない）を含む画像を撮像すると、周知の技術（例えば特許文献１）により、オブジェクトの３次元の形状を表す形状情報を得ることができる。３次元空間でのオブジェクトの形状が定義できるわけであるから、各カメラ１０１による撮像画像に対応するデプス画像を演算によって求めることができる。なお、ここで言うデプス画像とは、カメラの視点とオブジェクトの表面上の点との間の距離を表す画素の集合である。また、同じ理由で、カメラ１０１が存在しない任意の視点位置、つまり、仮想視点の視線方向のデプス画像も生成できるのは理解できよう。仮想視点から見えるデプス画像が出来上がると、そのデプス画像上の画素の色は、現実の撮像画像における対応する位置の画素値を参照すれば求めることができる。この処理を繰り返せば、仮想視点から見たデプス画像に基づく、仮想視点画像が生成できることになる。
【００２０】
通常、仮想視点画像を生成する際には、その仮想視点からのデプス画像をまず求める。そして、そのデプス画像上の任意の位置Ｐの色を決定する場合には、位置Ｐをデプス画像として持つ２つの撮像画像内の画素値を用いて算出する。具体的には次の通りである。
【００２１】
【数１】
2018055644.tif 000003
【００２２】
さて、先に説明したように、設定する仮想視点の位置やその視線方向に特に制限はない。しかしながら、例えば、注視したいオブジェクトＡを含む仮想視点画像を生成するはずが、その際の仮想視点とオブジェクトＡとの間に他のオブジェクトＢが位置してしまって、肝心のオブジェクトＡがオブジェクトＢで遮られてしまう、という場合が起こる。このような場合、オブジェクトＢによってオブジェクトＡが邪魔されない位置に仮想視点をずらした上で、仮想視点画像を生成せざるを得ない。つまり、ユーザは、当初設定した仮想視点位置をあきらめなければならない。本実施形態は、図３に示す構成により、他のオブジェクトで邪魔されないで、ユーザが望むアングルで、注視したいオブジェクトを含む仮想視点画像を生成するものである。以下に具体例を説明する。
【００２３】
例えば、プレイヤー１２２やボール１２３を、グラウンド１２１よりも下から見た仮想視点画像を生成する場合には、グラウンド１２１というオブジェクトを透明化する。図５はこの際の仮想視点画像の例を示している。ただし、プレイヤーのシューズの裏側等、複数のカメラ１０１でも死角になっていた部位があるので、そのような死角部位については、現実に撮像した画像中の最寄りの画素（シューズのエッジの画素）の色で補間することで生成する。
【００２４】
図６（ａ）は、プレイヤー６０１〜６０３が、ボールを囲むようにしている仮想視点画像の例を示している。今、ユーザが注視したいのがプレイヤー６０１であるとする。しかし、同図の場合、設定した仮想視点と注視したいプレイヤー６０１との間には、プレイヤー６０３が存在し、プレイヤー６０１が良く見えない。そこで、本実施形態では、プレイヤー６０３を透明化することで、同図（ｂ）のように、意図したプレイヤー６０１とボール６０４を含む仮想視点画像を生成するものである。
【００２５】
本実施形態では、ユーザは、注視したいオブジェクトを設定（選択）する操作を行うだけであり、透明化させるオブジェクトを明示的に設定する必要はない。透明化するか否かは、非注視オブジェクトの中から、仮想視点との相対的な位置関係に従って自動的に決定していく。例えば、図６（ａ）では、プレイヤー６０１が注視したいオブジェクトとして設定されるものの、プレイヤー６０２，６０３に対しては格別な設定は行わない。そして、プレイヤー６０２は、プレイヤー６０１の仮想視点からの妨げになっていないので、同図（ｂ）では、プレイヤー６０３は透明化するものの、プレイヤー６０２は仮想視点画像の一部として描画されることになる。
【００２６】
以下、上記を実現する実施形態の画像処理装置の処理を、図３を参照して説明する。
【００２７】
画像入力部３０１は、ＨＤＤ２０４から、複数のカメラ１０１によって同時刻に撮像した撮像画像を入力し、形状生成部３０３に供給する。形状生成部３０３は、画像入力部３０１から供給された複数の撮像画像と、視点情報保持部３０２に保持された視点情報（各カメラの設置位置、視線方向、焦点距離等の情報）とを用いて、複数のオブジェクトの３次元空間における形状を表す形状情報を公知の技術（例えば特許文献１）を用いて生成する。なお、ＨＤＤ２０４に格納されている各撮像画像は、その撮像画像を撮像したカメラを特定する情報のカメラＩＤをファイル名として格納されているものとする。また、視点情報保持部３０２内に保持されている各カメラの視点情報も、カメラＩＤと対応付けられて管理されているものとする。
【００２８】
なお、形状生成部３０３が生成した形状情報は、この段階では、複数のオブジェクトが区別がつかない状態となっている。形状生成部３０３は、生成した形状情報をオブジェクト分離部３０５に供給する。
【００２９】
モデル情報保持部３０４は、識別することになるオブジェクト（実施形態では、グラウインド、ゴールポスト、ボール、人）の３次元のモデル情報と、そのモデル情報で識別しる下限の個数を予め記憶保持している。例えば、ゴールポストは２つ識別することが設定されている。
【００３０】
オブジェクト分離部３０５は、モデル情報保持部３０４に格納された各オブジェクトのモデル情報を、形状生成部３０３からの形状情報にマッチングすることで、各々を独立したオブジェクトとして、オブジェクトテーブル（ＲＡＭ２０３に確保されるものとする）に登録していく。
【００３１】
なお、形状生成部３０３が生成した形状情報は、グラウンドを介してゴールポスト、ボール、人間の形状が接続された状態となっている。そこで、まず、グラウンドのモデルを形状情報にマッチングし、グラウンドのオブジェクトを決定する。そして、グラウンドのオブジェクトを表す部分系情報を、形状生成部３０３からの形状情報から、削除する。この結果、グラウンド以外のオブジェクトは、空間的に孤立したオブジェクトとすることができる。従って、この後は、オブジェクト分離部３０５は、次に分離すべきのオブジェクト（例えばゴールポスト）についても、マッチングを行い、オブジェクトテーブルに登録することを繰り返していけば良い。なお、各種類のオブジェクトが、その下限の数の検出にまで至らなかった場合には、エラー処理を行うものとする。
【００３２】
図４は、作成されたオブジェクトテーブルの例を示している。図示の如く、オブジェクトテーブルは、オブジェクトＩＤ、種類、部分形状情報、位置姿勢情報、注視フラグ、透明化フラグのフィールドで構成される。ここで、種類、部分形状情報、位置姿勢情報については、これまでの説明から明らかであるので、その説明は不要であろう。オブジェクトＩＤは、オブジェクト分類部３０５が各オブジェクトを分類する際に、内部的に発番するものであって、各オブジェクトを特定する情報である。注視フラグ、透明化フラグについては、以下の説明から明らかにする。
【００３３】
図７は、実施形態におけるオブジェクト分類部３０５の処理内容を示すフローチャートである。以下同図に従って、その処理内容を説明する。
【００３４】
オブジェクト分類部３０５は、Ｓ７０１にて、形状生成部３０３からの形状情報と、モデル情報保持部３０４に保持されたモデル情報を取得する。そして、オブジェクト分類部３０５は、Ｓ７０２にて、モデル情報内の１つのオブジェクトのモデルを用いて、形状情報にマッチングすることで、該当するモデルにマッチする部分形状がどの位置に、どの向き（姿勢）で存在するかを探索していく。そして、オブジェクト分類部３０５が、マッチする部分形状が発見したと判断すると（Ｓ７０３）、処理をＳ７０４に進める。このＳ７０４にて、オブジェクト分類部３０５は、探索したモデルの種類を判定すると共に、オブジェクトＩＤを発番する。そして、Ｓ７０５にて、オブジェクト分類部３０５は、オブジェクトＩＤ、モデルの種類、部分形状情報、部分形状情報が示すオブジェクトの３次元空間内の位置及びモデルがマッチした姿勢を表す位置姿勢情報をオブジェクトテーブルに登録する。そして、Ｓ７０６にて、オブジェクト分類部３０５は、同じ部分形状情報が重複して登録することが無いように、形状情報から、登録済みとなった部分形状情報を削除する。この後、オブジェクト分類部３０５は、処理をＳ７０２に戻し、オブジェクトの分類を、探索できなくなるまで繰り返す。なお、先に説明したように、各種類のオブジェクトが、その下限数に満たない場合にはエラー処理を行うものとする。以上が実施形態におけるオブジェクト分類部３０５の処理である。
【００３５】
オブジェクトテーブルが生成されると、注視オブジェクト設定部３０６は、ユーザに対して、どのオブジェクトを注視したいのかを設定させる。具体例としては、例えば生成されたオブジェクトテーブルの全オブジェクトの部分形状情報に基づき、或る適当な仮想視点での仮想視点画像を生成し、表示装置２０８に表示する。そして、ユーザにキーボード２０５やマウス２０６による操作を促し、注視したいオブジェクトを１つ以上設定させる（注視したいオブジェクトの数の上限は、オブジェクトテーブルに登録されたオブジェクトの数となる）。図４のオブジェクトテーブルにおける「注視フラグ」は、そのオブジェクトが注視したいオブジェクトであるか否かを示す情報である。“１”はそのオブジェクトが注視したいオブジェクト（以下、注視オブジェクト）であることを示し、“０”は注視しなくても良いオブジェクト（以下、非注視オブジェクト）であることを示している。
【００３６】
仮想視点設定部３０７は、ユーザによるキーボード２０５やマウス２０６からの操作に従い、仮想の視点位置や視線方向を示す仮想視点情報を設定し、その仮想視点情報をレンダリング部３０８に供給する。
【００３７】
そして、レンダリング部３０８は、オブジェクトテーブルと、仮想視点情報に基づき、設定した仮想視点から見える仮想視点画像を生成し、出力部３０９に出力する。出力部３０９による仮想視点画像の出力先は表示装置２０８、或いは／及び、ＨＤＤ２０４となる。出力先が表示装置２０８の場合には仮想視点画像の表示となり、ＨＤＤ２０４の場合にはファイルとして保存となる。
【００３８】
ここで実施形態におけるレンダリング部３０８の処理を、図８のフローチャートに従って以下に説明する。
【００３９】
まず、Ｓ８０１にて、レンダリング部３０８は、仮想視点設定部３０７が設定した仮想視点を入力する。そして、Ｓ８０２にて、レンダリング部３０８は、オブジェクトテーブルから１つのオブジェクト（以下、着目オブジェクト）の情報を入力する。Ｓ８０３にて、レンダリング部３０８は、着目オブジェクトの注視フラグから、着目オブジェクトが非注視オブジェクトであるか否かを判定する。着目オブジェクトが非注視オブジェクトである場合には、レンダリング部３０８は、Ｓ８０４にて、オブジェクトテーブルの位置姿勢情報を参照して、着目オブジェクトが、仮想視点から見て、少なくとも１つの注視オブジェクトを遮るか否かを判定する。この判定は、例えば次のようなもので良いであろう。
・仮想視点の位置と注視オブジェクト（の重心位置）との距離をＬ、
・仮想視点の位置と着目オブジェクト（非注視オブジェクト）との距離をＬ’
・仮想視点の位置を基準にし、注視オブジェクトと着目オブジェクトのなす角度をθ
・予め設定された閾値Ｔｈ
と定義する。このとき、次の条件
条件：Ｌ＞Ｌ’かつθ＜Ｔｈ    …（１）
を満足する注視オブジェクトが存在するとき、着目オブジェクト（非注視オブジェクト）が、仮想視点から見て注視オブジェクトを遮るように位置していると判断する。
【００４０】
なお、判定速度が遅くなるが、判断精度を高めるために、各オブジェクトのサイズ、仮想視点との距離や仮想視点での表示倍率等を加味しても構わない。
【００４１】
さて、Ｓ８０４の判定にて、着目オブジェクト（非注意オブジェクト）が、注視オブジェクトを遮ると判断した場合、レンダリング部３０８は処理をＳ８０５に進め、着目オブジェクトを透明化するものとして決定する。このため、レンダリング部３０８は、オブジェクトテーブル内の着目オブジェクトを透明化オブジェクトとするため、透明化フラグを“１”に設定する。
【００４２】
一方、Ｓ８０３にて、着目オブジェクトが注視オブジェクト（注視フラグが“１”）であると判定された場合、或いは、Ｓ８０４にて、着目オブジェクト（非注視オブジェクト）が他の注視オブジェクトを遮らないと判定された場合、レンダリング部３０８は、Ｓ８０６にて、着目オブジェクトを非透明化オブジェクトとするため、着目オブジェクトの透明化フラグを“０”に設定する。
【００４３】
Ｓ８０７にて、レンダリング部３０８は、オブジェクトテーブル内の全オブジェクトに対しての透明化／非透明化を決定したか否かを判定し、否の場合にはＳ８０２以降の処理を繰り返す。
【００４４】
こうして、オブジェクトテーブル内の全オブジェクトについての透明化／非透明化の設定処理を終えると、レンダリング部３０８は、Ｓ８０８に処理を進める。このＳ８０８にて、レンダリング部３０８は、オブジェクトテーブルにおける、透明化フラグが“１”のオブジェクトの部分形状情報を除外し（不使用とし）、透明化フラグが“０”（透明化しない）のオブジェクトの部分形状情報に基づいて仮想視点画像を生成する処理を行い、生成した仮想視点画像を出力部３０９に出力する。透明化オブジェクトが存在しないものと等価の状態で仮想視点画像を生成するわけであるから、結果的に、仮想視点と注視オブジェクトとの間に存在する非注視オブジェクトは、透明なオブジェクトとして扱われることとなる。つまり、注視オブジェクトが、非注視オブジェクトによって遮られることを抑制できることになる。
【００４５】
今、グラウンドよりも低く、見上げる視線方向に仮想視点を設定した場合、グラウンドの透明化フラグが“１”となり、結果として図５のような仮想視点画像が生成することが可能となる。
【００４６】
また、例えば、図６（ａ）において、ユーザがプレイヤー６０１を注視オブジェクトとして設定した場合（プレイヤー６０２，６０３を非注視オブジェクトとなる）、注視オブジェクトを遮るように位置するプレイヤー６０３が透明化オブジェクトとして決定され、図６（ｂ）に示す仮想点画像が生成されることになる。
【００４７】
以上説明したように本実施形態によれば、ユーザが設定した仮想視点の位置のままで、注視したいオブジェクトが注視しなくても構わないオブジェクトによって遮られない仮想視点画像を生成することが可能となる。従って、例えばサッカーの試合におけるスーパースターのプレイを、他のプレイヤーで遮られることになり仮想視点画像として生成することが可能になる。
【００４８】
なお、上記実施形態では、非注視オブジェクトを透明化すると決定した場合、その非注視オブジェクトの部分形状情報をレンダリングに用いないものとして説明した。しかし、場合によっては、仮想視点位置から見て注視オブジェクトより手前に何等のオブジェクトが存在していたことを示すようにしても良い。この場合、透明化フラグが“１”の非注視オブジェクトについては、例えばその輪郭を示す所定の色或いは破線などの形態で重畳合成しても構わない。
【００４９】
［第２の実施形態］
上記実施形態では、１枚の仮想視点画像を生成する処理を説明した。各カメラ１０１が６０フレーム／秒で撮像する能力を有する場合、動画像としての仮想視点画像を生成することが可能となる。
【００５０】
ここで、説明を単純化するため、同時間帯で撮像した各カメラの動画像がＨＤＤ２０４に既に記憶されているものとする。この場合、それら動画像から同時刻のフレーム画像を抽出しては、第１の実施形態と同様の処理を繰り返せばよい。
【００５１】
ただし、効率よく仮想視点の動画像を生成するためには、仮想視点の時間軸に対する移動軌跡をユーザに設定させ、予め記憶しておく。そして、仮想視点の動画像の生成処理に先立って、動画像となる先頭の撮像画像に基づき、注視オブジェクトをユーザに設定させる。仮想視点と各オブジェクトとの相対的な位置関係は１／６０秒の間隔で変化する。人間の走る速度はせいぜい１０ｍ／秒であるので、１／６０秒の間で変化する座標位置が２０ｃｍを超えることはない。故に、オブジェクトテーブル内の位置姿勢情報は変わっていくものの、２フレーム目以降は直前のフレームに対して、予め設定した許容される位置変化内での最寄りのオブジェクトＩＤを継続して利用していけば良い。なお、ボールについては、人間よりも十分に高速に移動可能であるので、毎時、ボールのオブジェクトの分類処理を行う必要がある。このため、モデル情報保持部３０４内のボールのモデルには、毎時、オブジェクトとして分類が必要とする属性を付加させることが望ましい。
【００５２】
上記の結果、ユーザが設定した仮想視点の移動軌跡に従って、注視オブジェクトが非注視オブジェクトに邪魔されない仮想視点の動画像データを生成できるようになる。
【００５３】
［第３の実施形態］
仮想視点画像を生成する際に、仮想視点の全ての画素に合焦している画像を生成すると不自然なものとなる。そこで、仮想視点から最短の注視オブジェクトと仮想視点から最長の注視オブジェクトの間を被写界深度（ピントが合焦する範囲）とし、被写界深度から外れるほど、ボケが大きくなるようにしても良い。ぼかし処理は、スムージングフィルタで代用できよう。
【００５４】
［第４の実施形態］
上記第１乃至第３の実施形態では、先に示した条件（１）を満たす場合、着目の非注視オブジェクトを透明化する／しないと決定するものであった。
【００５５】
透明度αを、０乃至１００％の範囲内で設定できるようにしても構わない。この場合の透明度αは、図９に示すように定義する。ここで、Ｌ、Ｌ’、θは先に示した条件（１）で用いたのと同じ意味である。
α＝Ｆ（Ｌ，Ｌ’,θ）
ここで、αは、Ｌ，Ｌ’,θに対して次のような関係を有する。
「αは、Ｌ＜Ｌ’の場合には０（不透明）」
「αは、θが小さいほど大きくなる」
「αは、Ｌが小さいほど（仮想視点が注視オブジェクトに近いほど）、大きくなる」
単純には、関数Ｆ（）は、
α＝Ｆ（）＝ｋ／（Ｌ・θ＋Ｃ）
ここで、ｋは係数、Ｃは分母が非ゼロなるための定数である。
【００５６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
３０１…画像入力部、３０２…視点情報保持部、３０３…形状生成部、３０４…モデル情報保持部、３０５…オブジェクト分類部、３０６…注視オブジェクト設定部、３０７…仮想視点設定部、３０８…レンダリング部、３０９…出力部
【図１】
2018055644.tif 000004
【図２】
2018055644.tif 000005
【図３】
2018055644.tif 000006
【図４】
2018055644.tif 000007
【図５】
2018055644.tif 000008
【図６】
2018055644.tif 000009
【図７】
2018055644.tif 000010
【図８】
2018055644.tif 000011
【図９】
2018055644.tif 000012