(57)【要約】【課題】背景形状が変動し得る領域を含む仮想視点画像の画質の向上を目的とする。【解決手段】複数台の撮像装置で撮影した画像から仮想視点画像を生成する画像処理装置であって、前記仮想視点画像の背景とする領域において人物が写る領域を特定する特定手段と、前記特定手段により特定された領域より、前記仮想視点画像の背景となる領域において人物が写らない領域の方が解像度の高い３次元モデルを用いて前記仮想視点画像を生成する生成手段と、を有することを特徴とする。【選択図】図３
2019032742.tif 000002
【特許請求の範囲】
【請求項１】
複数台の撮像装置で撮影した画像から仮想視点画像を生成する画像処理装置であって、
前記仮想視点画像の背景とする領域において人物が写る領域を特定する特定手段と、
前記特定手段により特定された領域より、前記仮想視点画像の背景とする領域において人物が写らない領域の方が解像度の高い３次元モデルを用いて前記仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記仮想視点画像の背景とする領域において人物が写らない領域は、前記複数台の撮像装置の撮影対象であるスタジアムの屋根に対応する領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定手段は、前記複数台の撮像装置の撮影対象であるスタジアムの観客席に対応する領域を特定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記特定手段により特定された領域に対応する３次元モデルを低解像度化する変更手段を有し、
前記生成手段は、前記変更手段により低解像度化された３次元モデルを用いて前記仮想視点画像を生成することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
前記特定手段は、前記仮想視点画像の背景とする領域において人物が写る領域を、ユーザの入力、前記複数台の撮像装置で撮影した画像からの人物の検出または前記複数台の撮像装置で撮影した画像の色変化に基づいて特定することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
複数台の撮像装置で撮影した画像から仮想視点画像を生成する画像処理装置であって、
背景となる形状の変動度を取得する第１取得手段と、
前記背景となる形状の変動度に基づいて、前記背景となる形状の解像度を決定する決定手段と、
前記決定手段により決定された解像度の前記背景となる形状を用いて前記仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項７】
前記形状の変動度は、仮想視点画像を生成するシーケンス中の、前記背景となる形状の変化の大きさを表す指標であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
背景となる形状を取得する第２取得手段を有し、
前記第２取得手段は、設計図面の輪郭線と、前記複数台の撮像装置で撮影した映像のなかで検出されたエッジとの、少なくとも何れかを、前記背景となる形状のエッジとすることを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記第２取得手段は、事前に取得した点群を基に生成された前記背景となる形状を取得することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第１取得手段は、前記形状の変動度が大きな領域を、ユーザの入力、または、前記複数台の撮像装置で撮影した画像の色変化に基づいて特定することを特徴とする請求項６から９の何れか１項に記載の画像処理装置。
【請求項１１】
前記決定手段は、前記背景となる形状の変動度が大きい領域を低解像度化することを決定すること特徴とする請求項６から１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記生成手段は、前記背景となる形状の変動度が大きい領域を多角形ポリゴンで近似して前記低解像度化した前記背景となる形状を用いて仮想視点画像を生成することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記生成手段は、前記背景となる形状の変動度が大きい領域中の解像度を細分化し、解像度が低い箇所から優先的に低解像度化した前記背景となる形状を用いて前記仮想視点画像を生成することを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記生成手段は、前記背景となる形状の変動度が大きい領域に凸な曲面をフィッティングした形状を用いて前記仮想視点画像を生成することを特徴とする請求項１１から１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記背景となる形状で、前記撮像装置で撮影されていない領域の形状を修正する修正手段を有し、
前記修正手段は、前記形状を修正する処理を繰り返す場合には、前記形状を修正する複数の方法のなかで未だ使用されていない方法を用いることを特徴とする請求項６から１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記複数の撮像装置により撮影した画像を前記背景となる形状上にマッピングするマッピング手段と、
前記背景となる形状のうち、前記撮影した画像が前記マッピングされないオクルージョン領域を特定する領域特定手段とを有し、
前記修正手段は、前記オクルージョン領域の形状を修正することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
複数台の撮像装置で撮影した画像から仮想視点画像を生成する画像処理装置が実行する画像処理方法であって、
前記仮想視点画像の背景とする領域において人物が写る領域を特定する特定工程と、
前記特定工程において特定された領域より、前記仮想視点画像の背景とする領域において人物が写らない領域の方が解像度の高い３次元モデルを用いて前記仮想視点画像を生成する生成工程と、
を有することを特徴とする画像処理方法。
【請求項１８】
複数台の撮像装置で撮影した画像から仮想視点画像を生成する画像処理装置が実行する画像処理方法であって、
背景となる形状の変動度を取得する取得工程と、
前記背景となる形状の変動度に基づいて、前記背景となる形状の解像度を決定する決定工程と、
前記決定工程において決定された解像度の前記背景となる形状を用いて前記仮想視点画像を生成する生成工程と、
を有することを特徴とする画像処理方法。
【請求項１９】
コンピュータを、請求項１から１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由始点映像を生成可能な画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数台の実カメラで撮影した映像を用いて、３次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）から撮影した画像を再現する技術として、仮想視点画像技術がある。スタジアム等での競技中の映像を例に挙げると、仮想視点画像を生成する際には、競技を行っている選手やボール等の主要な被写体の他に、観客席や屋根等の背景画像を生成する必要がある。この背景画像を作成する技術として、例えば特許文献１には、半径が一定の円筒面上の背景形状に対して、多視点画像をテクスチャとして射影するレンダリング手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１７５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の手法では、実際の背景の形状とは異なる円筒面上に多視点画像を射影することにより、実際の背景の詳細な形状に多視点画像を射影するより処理負荷を低減できる。しかしながら、実際の背景の形状と円筒形状とのずれが大きいほど、生成した仮想視点画像と、実写した画像との差が大きくなり、仮想視点画像の画質が悪くなるという問題がある。また、予め生成した実際の背景の詳細な形状に多視点画像を射影することで、実際の背景の形状との差を低下させることが考えられる。しかしながら、予め生成した実際の背景の詳細な形状に多視点画像を射影したとしても、観客席等の、時間変化によって背景形状が変動する領域であれば、生成した仮想視点画像と、実写した画像との差が大きくなり、仮想視点画像の画質が悪くなり得る。
そこで、本発明では、背景形状が変動し得る領域を含む仮想視点画像の画質の向上を目的とする。
【課題を解決するための手段】
【０００５】
本発明は、複数台の撮像装置で撮影した画像から仮想視点画像を生成する画像処理装置であって、前記仮想視点画像の背景とする領域において人物が写る領域を特定する特定手段と、前記特定手段により特定された領域より、前記仮想視点画像の背景とする領域において人物が写らない領域の方が解像度の高い３次元モデルを用いて前記仮想視点画像を生成する生成手段と、を有することを特徴とする。
本発明の他の態様は、複数台の撮像装置で撮影した画像から仮想視点画像を生成する画像処理装置であって、背景となる形状の変動度を取得する第１取得手段と、前記背景となる形状の変動度に基づいて、前記背景となる形状の解像度を決定する決定手段と、前記決定手段により決定された解像度の前記背景となる形状を用いて前記仮想視点画像を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、背景形状が変動し得る領域を含む仮想視点画像の画質を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の画像処理装置の一構成例を示す図である。
【図２】カメラ群を構成する各カメラの一例を示した図である。
【図３】画像処理装置の機能ブロック図である。
【図４】画像処理装置で行われる処理の流れを示すフローチャートである。
【図５】形状を低解像度化する領域を表す模式図である。
【図６】詳細形状を生成する処理の流れを示すフローチャートである。
【図７】形状の前面図の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【０００９】
図１は、本実施形態の画像処理装置１００を含む仮想視点画像システムの概略構成例を示した図である。図１に示す仮想視点画像システムは、画像処理装置１００と複数台の撮像装置（カメラ群）１０９とを有して構成されている。
画像処理装置１００は、仮想視点画像を生成する装置である。なお、本実施形態において、画像という文言は、特に断りがない限り、動画も静止画も含む概念として説明を行う。画像処理装置１００は、ＣＰＵ１０１、メインメモリ１０２、記憶部１０３、入力部１０４、表示部１０５、外部Ｉ／Ｆ部１０６を備え、各部がバス１０７を介して接続されている。
【００１０】
ＣＰＵ１０１は、画像処理装置１００を統括的に制御する演算処理装置であり、記憶部１０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ１０２は、各種処理で用いるデータやパラメータなどを一時的に格納するほか、ＣＰＵ１０１に作業領域を提供する。記憶部１０３は、各種プログラムやＧＵＩ（グラフィカル・ユーザ・インターフェイス）表示に必要な各種データを記憶する大容量記憶装置で、例えばハードディスクやシリコンディスク等の不揮発性メモリが用いられる。入力部１０４は、キーボードやマウス、電子ペン、タッチパネル等の装置であり、ユーザからの操作入力を受け付ける。表示部１０５は、液晶パネルなどで構成され、仮想視点画像生成時の仮想カメラの経路設定のためのＧＵＩ表示などを行う。外部Ｉ／Ｆ部１０６は、カメラ群１０９を構成する各カメラとＬＡＮ１０８を介して接続され、映像データや制御信号データの送受信を行う。バス１０７は上述の各部を接続し、データ転送を行う。
【００１１】
カメラ群１０９は、ＬＡＮ１０８経由で画像処理装置１００と接続されており、画像処理装置１００からの制御信号を基に、撮影の開始や停止、カメラ設定（シャッタースピード、絞りなど）の変更、撮影した映像データの転送を行う。
なお、システム構成については、上記以外にも様々な構成要素が存在するが、それらの説明は省略する。
【００１２】
図２は、図１のカメラ群１０９を構成する各カメラ２０３の配置例を示した図である。仮想視点画像を生成するシーンとしては、スポーツ、コンサート等、数多く考えられるが、ここではラグビーを行うスタジアムに１０台のカメラ２０３を設置したケースを例に挙げて説明する。競技を行うフィールド２０１上には被写体２０２としての選手とボールが存在し、１０台のカメラ２０３がフィールド２０１を取り囲むように配置されている。カメラ群１０９を構成する個々のカメラ２０３は、フィールド２０１全体、或いはフィールド２０１の注目領域が画角内に収まるように、適切なカメラの向き、焦点距離、露出制御パラメータ等が設定されているとする。
【００１３】
図３は、本実施形態における画像処理装置１００の機能構成を示す機能ブロック図である。本実施形態では、画像処理装置１００により、仮想視点画像の背景となるスタジアムの形状が生成される。画像処理装置１００は、詳細形状生成部３０１、形状変動領域特定部３０２、形状低解像度化部３０３、撮影領域マッピング部３０４、オクルージョン領域特定部３０５、形状修正部３０６を有する。なお、これらの機能構成は、ＣＰＵ１０１が、例えば、記憶部１０３に記憶される制御プログラムを実行し、情報の演算や加工及び各ハードウェアを制御することで実現される。また、図３に示す各機能構成の一部またはすべてをＡＳＩＣやＦＰＧＡどの専用のハードウェアにより構成してもよい。
【００１４】
詳細形状生成部３０１は、スタジアムの設計図や多視点撮影画像からスタジアムの詳細形状を生成する。詳細形状生成部３０１は、背景となる物体の形状を示す３次元モデル情報を生成する。形状変動領域特定部３０２は、時間経過に伴うスタジアムの形状の変動度が大きな領域を特定する。形状低解像度化部３０３は、形状変動度が大きな領域の形状における解像度を変更、具体的には低解像度化する。形状低解像度化部３０３は、３次元モデルの細やかさ、粗さ、滑らかさ、または量子化ビット数を変更することにより形状の解像度を変更してもよい。撮影領域マッピング部３０４は、各カメラで撮影している領域をスタジアムの形状上にマッピングする。オクルージョン領域特定部３０５は、スタジアムの形状の中のオクルージョン領域を特定する。オクルージョン領域とは、カメラで撮影されていない、または、手前にある物体が背後にある物体を隠して、カメラで撮影されていない領域をいう。形状修正部３０６はオクルージョン領域に相当する形状を修正する。ここで、本実施形態における形状とは、複数の多面体ポリゴン群で形成されるものとする。なお、形状を、ワイヤーフレームモデル、サーフェイスモデルまたは点群で表現してもよい。
【００１５】
次に、画像処理装置１００で行われる処理について、図４に示すフローチャートを参照して説明する。この一連の処理は、ＣＰＵ１０１が、所定のプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをＣＰＵ１０１が実行することで実現される。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つ又は複数の処理回路によって行われるように画像処理装置１００が構成されていてもよい。以下の説明では、簡略化のために処理ステップＳ４０１〜処理ステップＳ４０６をそれぞれＳ４０１〜Ｓ４０６と略記し、このことは後述の他のフローチャートにおいても同様とする。
【００１６】
Ｓ４０１において、詳細形状生成部３０１は、スタジアムの詳細形状を生成する。具体的には、詳細形状生成部３０１は、メインメモリ１０２に展開されたスタジアムの設計図や多視点画像のエッジ特徴等の情報に基づいて、スタジアムの詳細形状を生成する。この詳細形状生成方法の詳細に関しては、後述する。
【００１７】
次のＳ４０２において、形状変動領域特定部３０２は、メインメモリ１０２に展開された多視点画像を入力として、スタジアムの詳細形状の中で形状変動度が大きな領域を特定する。
ここで、スタジアムにおける形状変動度とは、例えば試合が行われておらず、人が立ち入っていないスタジアムの形状を初期形状とした際に、仮想視点画像を生成するシーケンスの中で、スタジアムの形状が初期形状からどの程度変化したかを表す指標である。例えば試合が始まって観客席に観客が入れば、その観客席の領域は形状変動度が大きな領域として特定される。形状変動度が大きな領域を特定する方法の一つとして、事前知識を用いる方法がある。例えばサッカーの試合では、観客席は多くの観客が入るため形状変動度が大きくなり、屋根には人が立ち入らないから形状変動度が小さくなる、等の情報を与えることができる。
【００１８】
また、この形状変動度が大きい領域は、必ずしも仮想視点画像のシーケンスの中で一定ではない。例えば、仮想視点画像のシーケンスの開始時刻には天候が良く、一階席に観客が多かったが、該当シーケンス中に雨が降り始め、屋根のある二階席に観客が移動する場合は、形状変動度が大きい領域が該当シーケンス中に変動している。このように形状変動度が試合中に変化する際には、予め解像度が異なる形状をスタジアムの領域毎に用意しておき、仮想視点画像をレンダリングする際に、形状変動度の大小に従ってスタジアムの形状の解像度を領域毎に変更してもよい。
【００１９】
また、スタジアムの形状変動度は必ずしもユーザが手動により指示する必要はなく、自動的に形状変動度が大きな領域が判定されてもよい。自動的に形状変動度が大きな領域を判定する方法としては、例えば多視点画像中の色変化が大きな領域を特定する方法を用いることができる。多くの観客が入った領域では、時間経過によって観客が動くため、他の領域よりも時間毎の色変化が大きくなる。逆に屋根の領域では、色変化は少なくなる。したがって、色変化を用いることで、形状変動度が大きな領域の自動的な判定が可能となる。例えば多視点撮影しているカメラ２０３の一台について、ｎ番目のフレームの、幅ｗ、高さｈの画像の画素（ｘ，ｙ）毎の輝度値が保存された行列をＩnとし、ｎ番目のフレームの前後ｋフレーム分の輝度値の差分の合計値Ｓnは、式（１）で表すことができる。
【数１】
2019032742.tif 000003
【００２０】
形状変動領域特定部３０２は、この輝度値の差分に対して、閾値を設定することで形状変動度が大きい領域かどうかを判定する。閾値に関しては、ユーザがパラメータチューニングを行ってもよいし、画素毎の輝度値の差分の分布から自動的に決定してもよい。形状変動領域特定部３０２は、この処理を多視点撮影している全カメラの画像について行う。なお、式（１）において、前後のフレームの合計値を計算しているのは、スタジアムに設置されている大型映像表示装置等のように、形状変動度は小さいが、表示される映像により誤判定される可能性が高い領域における誤判定を防ぐためである。すなわち大型映像表示装置には、時計や各チームの得点などが表示され、前後フレームのみで形状変動度を判定すると、誤判定が発生するためである。
【００２１】
画像処理装置１００は、前述のように多視点画像中で形状変動度が大きな領域を特定した後には、それぞれの画像を撮影したカメラの位置姿勢に基づいて、画像中の形状変動度が大きな領域を形状上に投影し、マッピングを行う。画像処理装置１００は、カメラ群１０９が撮影した多視点画像中の形状変動度が大きな領域と、Ｓ４０１において生成した背景形状との対応付けを行う。また、画像処理装置１００は、形状変動度が大きい領域をマッピングした後には、図５（ａ）に示すように、マッピングした領域を含むように、四角形ポリゴンの頂点５０１同士を結んだエッジ５０２で囲む処理を行う。そして、このエッジ５０２で囲まれた領域が後述のＳ４０３において処理を行う領域となされる。ここで、エッジとは、ポリゴンの頂点５０１同士を結んだ、あるポリゴンの一辺となる線のことを表す。なお、画像処理装置１００は、背景形状から、形状変動度が大きい領域を直接特定してもよい。また、画像処理装置１００は、世界座標から形状変動度が大きい領域を特定してもよい。また、画像処理装置１００は、人物が写る（または、人物が写る可能性がある）領域を形状変動度が大きい領域として特定してもよい。また、画像処理装置１００は、仮想視点画像において背景とする領域において画像処理により人物を多視点画像から検出し、検出した領域を形状変動度が大きな領域として特定してもよい。画像処理装置１００は、撮影対象となるスタジアム等の施設の、仮想視点画像において背景となる領域のうち、観客席や人物が存在し得る領域を形状変動度が大きい領域を特定してもよい。また、画像処理装置１００は、撮影対象となるスタジアム等の施設の屋根など人物が存在しない領域を形状変動度が大きい領域を特定してもよい。
【００２２】
Ｓ４０３において、形状低解像度化部３０３は、形状変動度に基づいて、仮想視点画像を生成する際に用いるその形状の解像度を決定する。Ｓ４０３において、形状低解像度化部３０３は、詳細形状生成部３０１が生成したスタジアムの詳細形状のなかで、形状変動度が大きい領域の形状における解像度を変更、具体的には低解像度化する。ここで、形状の解像度とは、その形状を形成するポリゴン数に依存した、形状の詳細さを表す指標である。すなわち、形状を低解像度化するとは、該当する形状のポリゴン数を減少させることに相当する。なお、形状低解像度化部３０３は、形状変動度が小さな領域の形状における解像度を、例えば、ポリゴン数を増加させることで高解像度化してもよい。また、仮想視点画像において背景となる領域の形状を点群で表現する場合、形状低解像度化部３０３は、その点群を増減することで、形状の解像度を変更してもよい。
【００２３】
形状を低解像度化する際の最も簡潔な方法は、図５（ｂ）に示すように投影領域５１４を囲むエッジ５１２の頂点５１１を通るような近似的な多角形ポリゴン（ｍ角形ポリゴンとする。）を、形状変動度が大きい領域の代替として用いることである。一般的には、その後、元形状から解像度が大きく離れすぎないように、近似的なｍ角形ポリゴンで形状を代替した後に、ｍ角形ポリゴンを四角形以下のポリゴンに分割する。尚、形状の低解像度の方法は上記の方法に限定されない。上記の方法の他には、投影領域中の形状の解像度を細分化し、解像度が低い箇所から優先的に低解像度化する方法や、投影領域を囲むエッジの頂点を通るような凸な曲面をフィッティングする方法も存在し、それらの方法が用いられてもよい。
【００２４】
次に、Ｓ４０４において、撮影領域マッピング部３０４は、メインメモリ１０２に展開されている多視点カメラの位置姿勢と画角を基に、形状低解像度化部３０３が出力したスタジアムの形状に対して、各カメラの撮影領域をマッピングする。スタジアムの形状上に撮影領域をマッピングする方法は、Ｓ４０２において、画像中で形状変動度が大きい領域を形状上にマッピングする場合と同様の方法を用いることができる。
【００２５】
次に、Ｓ４０５において、オクルージョン領域特定部３０５は、撮影領域マッピング部３０４が撮影領域をマッピングしたスタジアムの形状について、オクルージョン領域の有無を判定する。ここで、オクルージョン領域とは、スタジアム形状中で、撮影領域がマッピングされていない領域のことである。そして、Ｓ４０５でオクルージョン領域が存在しないと判定された場合、画像処理装置１００はこの図４のフローチャートの形状生成処理を終了する。
【００２６】
一方、Ｓ４０５でオクルージョン領域が存在すると判定された場合、Ｓ４０６において、形状修正部３０６が、オクルージョン領域の形状を修正する。すなわち、オクルージョン領域があると判定された場合、形状修正部３０６は、ステップ４０２で示したように撮影領域がマッピングされていない領域を近傍のエッジで囲み、形状修正を行う領域とする。そして、形状修正部３０６は、オクルージョン領域特定部３０５が特定したオクルージョン領域に該当する形状を修正する。ここで、Ｓ４０５で述べたように、オクルージョン領域の形状はポリゴンの頂点同士を結んだエッジで囲まれている。そのため、形状を修正する際には、Ｓ４０３で記述した、ポリゴンを低解像度化する場合と同様の方法を用いることができる。この場合、Ｓ４０３で挙げた手法の一つを用いてポリゴンを低解像度化し、Ｓ４０５に戻って処理を行う。一般的に、形状を低解像度化することで細かな凹凸が少なくなるため、カメラから見えない、オクルージョン領域は少なくなる。
【００２７】
Ｓ４０６における形状修正がなされた後、オクルージョン領域特定部３０５は、再びＳ４０５でオクルージョン領域の有無を判定する。そして、再びオクルージョン領域が検出された場合は、Ｓ４０６において形状修正部３０６による形状修正が行われる。ここで形状修正を行う際には、複数あるポリゴン低解像度化手法の内、Ｓ４０５、Ｓ４０６の繰り返し処理で未だ使用されていない方法を用いる。すなわち、Ｓ４０５とＳ４０６を繰り返すことで、オクルージョン領域に対して選択し得る全てのポリゴン低解像度化法を適用できる。多視点カメラによってスタジアム全体が撮影されている場合、いずれかのポリゴン低解像度化の方法を用いることで、形状のオクルージョン領域をほぼゼロにすることができる。
【００２８】
続いて、図４のＳ４０１におけるスタジアムの詳細形状生成について詳しく説明する。図６は、本実施形態に係る、スタジアムの詳細形状生成を設計図面から生成する場合の処理の流れを詳しく説明したフローチャートである。ここで、スタジアムの設計図とは、例えば投影図のことを表す。
【００２９】
Ｓ６０１において、詳細形状生成部３０１は、スタジアムの設計図面のデータを読み込み、設計図面中の輪郭線を３ＤＣＧ（３次元・コンピュータ・グラフィックス）空間上に描画する。先ず、詳細形状生成部３０１は、前面図、側面図、上面図等から成る投影図面をそれぞれ読み込み、それぞれの正投影図の視点に対応するカメラのイメージプレーンとして、各図面を３ＤＣＧ空間上に配置する。
【００３０】
図７には前面図の一例を示す。スタジアムの前面図とは、スタジアムを正投影カメラ７００で前面から撮影した時の輪郭線が描かれている図である。詳細形状生成部３０１は、正投影カメラ７００の視点による投影対象７０１の輪郭線７１０が配置されたイメージプレーン７０２として、前図面を３ＤＣＧ空間上に配置する。また、同様に側面図、上面図はスタジアムを側面と上面から撮影した時のスタジアムの輪郭線が描かれている図である。詳細形状を生成する際、詳細形状生成部３０１は、これらの輪郭線を形状のエッジとして用いるため、設計図面中の輪郭線を３ＤＣＧ空間上のラインとして描画する。
【００３１】
次に、Ｓ６０２において、詳細形状生成部３０１は、Ｓ６０１で生成した輪郭線を３次元空間上に投影し、輪郭線の位置合わせを行う。先ず、詳細形状生成部３０１は、それぞれの輪郭線を、対応する正投影カメラの方向に向かって並進移動させる。さらに、詳細形状生成部３０１は、並進移動させた際に他の投影図から生成されたラインの頂点と衝突する地点をラインの並進移動の距離とする。そして、詳細形状生成部３０１は、並進移動の距離を決定した後、これらのラインに隣接したラインの頂点に一致するような回転を加える。これらの処理は、必ずしも全自動で行われる必要はなく、ユーザ手動の位置調整が加わってもよい。
【００３２】
次に、Ｓ６０３において、詳細形状生成部３０１は、Ｓ６０２で生成した、それぞれの設計図面の輪郭線を結合した形状のエッジに対してポリゴンを生成する。ポリゴンを生成する際は、ラインを形成している頂点同士を結ぶ線をポリゴンのエッジとする。また、Ｓ４０３で述べたように、形状解像度を保つために、ポリゴンは四角形以下にして用いられる。
【００３３】
図６のフローチャートでは設計図面の輪郭線を用いて詳細な形状を生成しているが、輪郭線を用いて詳細形状を生成する方法は必ずしもこれに限定されない。例えば、スタジアムを多視点撮影して、多視点撮影した実写画像のエッジから形状を生成することもできる。設計図面を用いる場合と同様に、撮影したカメラの各視点からのイメージプレーンとして各撮影画像を３ＤＣＧ空間上に配置する。その後、実写画像のエッジを基に、３ＤＣＧ空間上にラインを描画する。実写画像のエッジは、画像処理において一般的なエッジ検出フィルタであるソーベルフィルタ、ラプラシアンフィルタ、プレヴィットフィルタ等を、グレースケール画像に畳み込むことで得ることができる。強度の弱いエッジまで検出するように、フィルタの係数を調整することで、ある程度詳細に形状の輪郭を得ることができるようになるが、画像に存在するノイズの影響を強く受けるようになるため、極めて詳細なエッジはユーザが目視で検出する必要がある。実際にＣＧモデリングにおいては、エッジ検出フィルタを使わず、ユーザが目視で画像のエッジを見つけ、形状の輪郭を形成する例も多く見られる。これらのエッジを輪郭として用いることでＳ６０２、Ｓ６０３の手順でスタジアムの形状を得ることができる。
【００３４】
また、詳細な形状を生成する手法は、必ずしも輪郭線を用いる方法だけではなく他の手法が用いられてもよい。その一つの手法として、事前にスタジアムの点群データを、レーザースキャナを用いて取得して、その点群をポリゴンに変換する方法がある。点群データからポリゴンに変換する手法はポアソン・サーフェス・リコンストラクションやボールピボットといった方法が知られている。これらの手法により点群をポリゴン形状に変形した後、形状のスムージングを行うことでノイズを低減し、滑らかなスタジアムの形状を得ることができる。スムージングの方法としては、ポリゴン形状の頂点座標に対して、移動平均フィルタやガウシアンフィルタを畳み込む方法が一般的に知られている。
【００３５】
以上のように、本実施形態によれば、背景形状の変動度が大きい領域を低解像度化し、また背景形状のオクルージョン領域の形状を修正することで、多視点画像を射影しても背景等の画像が破綻しない画質の良い自由始点映像を生成可能である。また、本実施形態によれば、観客席などの形状変動度が大きな領域の解像度より、屋根などの形状変動度が小さな領域の解像度を高くする。したがって、客席などの形状変動度が大きな領域の解像度を低くすることで、予め生成した背景の形状と、観客が存在する等変動後の背景の形状との差を丸めることができ、仮想視点画像を生成した際の画質の低下を低減することができる。一方、屋根などの形状変動度が小さな領域では、予め生成した背景の形状と、実際の背景の形状との差が小さいため、高解像度の背景の形状を用いることで高画質な仮想視点画像を生成することができる。
【００３６】
前述した実施形態では、詳細形状から形状を低解像度化することで、仮想視点画像生成に適したスタジアムの形状を生成する例について述べた。その他の実施形態として、スタジアムの形状を生成する際に、低解像度な形状を徐々に高解像度な形状に変形する方法を利用してもよい。
【００３７】
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３８】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００３９】
１００：画像処理装置、１０１：ＣＰＵ、１０２：メインメモリ、３０１：詳細形状生成部、３０２：形状変動領域特定部、３０３：形状低解像度化部、３０４：撮像領域マッピング部、３０５：オクルージョン領域特定部、３０６：形状修正部
【図１】
2019032742.tif 000004
【図２】
2019032742.tif 000005
【図３】
2019032742.tif 000006
【図４】
2019032742.tif 000007
【図５】
2019032742.tif 000008
【図６】
2019032742.tif 000009
【図７】
2019032742.tif 000010