(57)【要約】 【課題】ビルボードを用いたより質の高い自由視点映像の生成を可能とする。【解決手段】画像処理装置は、実空間内の被写体を複数の視点から撮像することにより得られる複数の画像を取得する手段と、取得された複数の画像から、実空間における被写体の位置を表す座標を算出する手段と、取得された複数の画像のうちの少なくともひとつの画像から生成される被写体のビルボードを、算出された座標を参照して配置することによって、複数の視点に含まれない視点に対応する合成画像を生成する手段と、を備える。【選択図】図２
2018116421.tif 000002
【特許請求の範囲】
【請求項１】
実空間内の被写体を複数の視点から撮像することにより得られる複数の画像を取得する手段と、
取得された前記複数の画像から、実空間における前記被写体の位置を表す座標を算出する手段と、
取得された前記複数の画像のうちの少なくともひとつの画像から生成される前記被写体のビルボードを、算出された前記座標を参照して配置することによって、前記複数の視点に含まれない視点に対応する合成画像を生成する手段と、を備える画像処理装置。
【請求項２】
前記算出する手段は、
取得された前記複数の画像から前記被写体の三次元モデルを生成する手段と、
生成された前記三次元モデルの代表点の座標を、実空間における前記被写体の位置を表す座標として算出する手段と、を含む請求項１に記載の画像処理装置。
【請求項３】
前記代表点の座標を算出する手段は、生成された前記三次元モデルを空間内で統計処理することで前記代表点の座標を算出する請求項２に記載の画像処理装置。
【請求項４】
前記代表点の座標を算出する手段は、生成された前記三次元モデルの代表点の座標を時間軸方向に統計処理する請求項２または３に記載の画像処理装置。
【請求項５】
前記被写体が人または動物である場合、
前記代表点の座標を算出する手段は、前記被写体の骨格に基づいて前記代表点の座標を算出する請求項２から４のいずれか一項に記載の画像処理装置。
【請求項６】
取得された前記複数の画像のそれぞれについて、前景と背景とを分けるためのマスクを生成する手段と、
生成された前記マスクを用いて前記被写体のビルボードを生成する手段と、
をさらに備え、
前記被写体の三次元モデルを生成する手段は、生成された前記マスクに基づいて前記被写体の三次元モデルを生成する請求項２から５のいずれか一項に記載の画像処理装置。
【請求項７】
算出された前記座標に対応する、前記少なくともひとつの画像の画像平面上の点に基づいて前記被写体のビルボードを生成する手段をさらに備える請求項１から５のいずれか一項に記載の画像処理装置。
【請求項８】
前記少なくともひとつの画像に対応する視点の位置に応じて、前記被写体のビルボードがフィールドとなす角度を設定する手段をさらに備える請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
実空間内の被写体を複数の視点から撮像することにより得られる複数の画像を取得することと、
取得された前記複数の画像から、実空間における前記被写体の位置を表す座標を算出することと、
取得された前記複数の画像のうちの少なくともひとつの画像から生成される前記被写体のビルボードを、算出された前記座標を参照して配置することによって、前記複数の視点に含まれない視点に対応する合成画像を生成することと、を含む画像処理方法。
【請求項１０】
実空間内の被写体を複数の視点から撮像することにより得られる複数の画像を取得する機能と、
取得された前記複数の画像から、実空間における前記被写体の位置を表す座標を算出する機能と、
取得された前記複数の画像のうちの少なくともひとつの画像から生成される前記被写体のビルボードを、算出された前記座標を参照して配置することによって、前記複数の視点に含まれない視点に対応する合成画像を生成する機能と、をコンピュータに実現させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、スポーツシーンなどを対象として、カメラ視点以外の自由な視点からの映像（以下、自由視点映像と称す）を生成する技術が提案されている。この技術は、複数のカメラで撮影された映像を基に、それらの配置されていない仮想的な視点の映像を合成し、その結果を画面上に表示することでさまざまな視点での映像観賞を可能とするものである。
【０００３】
ここで、自由視点映像を合成する技術のうち、ビルボードと呼ばれる簡易なモデルを利用して高速に自由視点映像を合成する技術が存在する（非特許文献１参照）。このビルボードを利用した技術では、映像からモデル化対象のオブジェクトのテクスチャを正確に切り出し、それを厚みのないビルボードモデルとして仮想空間の地面に立たせることで、自由視点映像を生み出す。
【０００４】
ここで、一般にビルボード方式では、あるビルボードの最下点（例えば、人物の足先）が仮想空間の地面に接するようにビルボードが配置される。また、仮想視点が水平方向に移動する際はその仮想視点の移動に合わせてビルボードを回転させ、垂直方向に移動する際はビルボードの方向を変化させない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Hayashi, K.; Saito, H., "Synthesizing Free-Viewpoing Images from Multiple View Videos in Soccer StadiumADIUM," in Computer Graphics, Imaging and Visualisation, 2006 International Conference on , vol., no., pp.220-225, 26-28 July 2006
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載の方式は、品質の高い自由視点映像を高速に合成可能であり、かつ合成されたコンテンツデータのサイズが他の方式に比べて小さい、という点において優れている。しかしながら、ビルボードを地面に垂直に立たせるという制約のため、実空間の被写体とビルボードとが対応しなくなる状況が発生しうる。この場合、得られる自由視点映像が不自然となる虞がある。
【０００７】
本発明はこうした課題に鑑みてなされたものであり、その目的は、ビルボードを用いたより質の高い自由視点映像の生成を可能とする技術の提供にある。
【課題を解決するための手段】
【０００８】
本発明のある態様は、画像処理装置に関する。この画像処理装置は、実空間内の被写体を複数の視点から撮像することにより得られる複数の画像を取得する手段と、取得された複数の画像から、実空間における被写体の位置を表す座標を算出する手段と、取得された複数の画像のうちの少なくともひとつの画像から生成される被写体のビルボードを、算出された座標を参照して配置することによって、複数の視点に含まれない視点に対応する合成画像を生成する手段と、を備える。
【０００９】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、ビルボードを用いたより質の高い自由視点映像の生成が可能となる。
【図面の簡単な説明】
【００１１】
【図１】従来のビルボード方式におけるビルボードの配置を示す模式図である。
【図２】実施の形態に係る画像処理装置を備える自由視点画像配信システムを示す模式図である。
【図３】図２の画像処理装置の機能および構成を示すブロック図である。
【図４】カメラの画像平面上の座標とフィールド座標との対応関係を示す説明図である。
【図５】図５（ａ）〜（ｃ）は、図３の背景差分部における処理の例を示す説明図である。
【図６】図３の三次元処理部によって生成される三次元モデルおよびそのモデル代表点を示す模式図である。
【図７】ビルボード基準面を示す模式図である。
【図８】図８（ａ）〜（ｃ）は、図３のビルボード生成部におけるビルボードの生成処理を説明するための模式図である。
【図９】図２の画像処理装置における一連の処理の流れを示すフローチャートである。
【図１０】複数のカメラで撮影された複数の画像からビルボードを配置すべき座標を決定する変形例に係る方法の説明図である。
【発明を実施するための形態】
【００１２】
以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。
【００１３】
従来のビルボード方式では、ビルボードの最下点（例えば、人物の足先）が仮想空間の地面（以下、フィールドと称す）に接するように配置される。本発明者は、この制約に伴う以下の課題を独自に認識した。
【００１４】
図１は、従来のビルボード方式におけるビルボード１０の配置を示す模式図である。カメラ１４は被写体である人物１２がフィールドから高くジャンプしたところを撮影（撮像ともいう）する。カメラ１４から得られた画像から人物１２のビルボード１０が生成されるが、ビルボード１０の最下点はフィールドに接しなければならないという制約のため、生成されたビルボード１０は人物１２の実際の位置１６ではなく、カメラ１４の視線２０とフィールドとの交点１８に配置される。この場合、仮想視点からみたビルボード１０は本来の人物１２の位置１６とは全く異なる座標に配置されるので、合成映像品質が低下しうる。このような課題は、例えばバレーボールやバスケットボールなどのようにカメラの近くで人物が高くジャンプする（以下、被写体がフィールドを離れる行為を空中移動と称す）シーンで頻繁に生じうる。
【００１５】
従来のビルボード方式では、仮想視点からの映像を生成する際に、１つの固定カメラからの対応する映像から切り出された被写体のビルボードを三次元空間内に配置する。しかしながら、フィールドに接しているなどの前提条件がなければ１つの固定カメラからの映像から被写体の真の位置を特定することは困難である。また、バレーボールやバスケットボールの撮影などの比較的近距離で行われる撮影では、画面内において人物の空中移動が占める割合が大きいため、映像品質の低下につながりやすい。
【００１６】
これに対して、実施の形態に係る画像処理装置は、複数の撮影装置（例えば、カメラ）から得られる複数の画像から実空間における被写体の位置を推定する。推定される位置はフィールド上に限られず、空中であってもよい。画像処理装置は、推定結果を参照してビルボードの配置を行うことで、空中移動を伴う映像にビルボード方式の自由視点映像技術を適用した場合により自然な表示を可能とする。被写体の位置の推定は、例えば厚みのある被写体の三次元モデルを生成することにより行われる。
【００１７】
図２は、実施の形態に係る画像処理装置２００を備える自由視点画像配信システム１１０を示す模式図である。自由視点画像配信システム１１０は、複数のカメラ１１６、１１８、１２０と、それらのカメラと接続された画像処理装置２００と、携帯電話やタブレットやスマートフォンやＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）などの携帯端末１１４と、を備える。画像処理装置２００と携帯端末１１４とはインターネットなどのネットワーク１１２を介して接続される。自由視点画像配信システム１１０では、例えばアリーナ内に配置された複数のカメラ１１６、１１８、１２０がフィールド１２６に立つか高くジャンプするバレーボールの選手１２４を撮影する。複数のカメラ１１６、１１８、１２０は撮った映像を画像処理装置２００に送信し、画像処理装置２００はそれらの映像を処理する。携帯端末１１４のユーザは画像処理装置２００に対して希望の視点を指定し、画像処理装置２００は指定された視点（仮想視点）から選手１２４を見た場合の画像を合成し、ネットワーク１１２を介して携帯端末１１４に配信する。
【００１８】
なお、図２ではアリーナ内のバレーボールの選手１２４を撮影する場合を説明したが、これに限られず、例えばフィットネスのインストラクタを撮影する場合やテニスの試合を撮影する場合やサッカーの試合を撮影する場合などの、空中移動を行いうる被写体を撮影する場合に、本実施の形態の技術的思想を適用できる。また、スポーツのシーンを撮影する場合に限られず、複数のカメラから得られる複数の映像に同じ被写体が撮影されうるアプリケーションであれば広く本実施の形態の技術的思想を適用できる。また、携帯端末１１４の代わりに、デスクトップＰＣやラップトップＰＣ、ＴＶ受像機等の据え置き型端末が使用されてもよい。
【００１９】
図３は、実施の形態に係る画像処理装置２００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（Central Processing Unit）をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
【００２０】
画像処理装置２００は、複数のカメラ１１６、１１８、１２０にて撮影された画像から任意の仮想視点の画像を合成する。画像処理装置２００は、同一の被写体を撮影した複数のカメラ映像を基に、ビルボード方式に則った自由視点映像の生成を行う。従来のビルボード方式ではビルボードの生成の際にひとつのカメラからの映像のみを利用していたが、本実施の形態に係る画像処理装置２００では複数のカメラ映像から算出される三次元モデルの座標データを利用する。
【００２１】
以下では、複数のカメラ１１６、１１８、１２０の間での時刻同期は事前に行われているとする。また、以下では被写体として人物を想定するがその他の被写体についても本実施の形態の技術的思想を適用可能である。また、仮想視点は例えばユーザが任意に指定可能な仮想的な視点であり、複数のカメラ１１６、１１８、１２０が配置される実際の視点とは意義が異なる。
【００２２】
［画像処理装置２００の概要］
画像処理装置２００は、キャリブレーション部２０２と、背景差分部２０４と、三次元処理部２０６と、基準面算出部２０８と、ビルボード生成部２１０と、被投影点算出部２１２と、自由視点映像生成部２１４と、を備える。キャリブレーション部２０２は、複数のカメラ１１６、１１８、１２０で撮影した複数の映像を入力として受ける。キャリブレーション部２０２は、カメラごとに実空間のフィールドとカメラで撮影された画像との対応付けを取り、キャリブレーションデータとして出力する。カメラが固定されていることを前提とした場合、キャリブレーション部２０２におけるこのキャリブレーション操作は最初に一度行うのみでよい。背景差分部２０４は公知の背景差分法を用いて画像を背景と前景とに分類し、２値化した画像をマスクデータとして出力する。
【００２３】
三次元処理部２０６は複数のカメラ１１６、１１８、１２０で撮影された複数の映像から得られる複数のマスクデータから被写体の三次元モデルを生成する。三次元処理部２０６は、生成された三次元モデルから実空間における被写体の位置を推定する。三次元処理部２０６は、推定の結果得られる座標を出力する。三次元処理部２０６は、三次元モデル構築部２１６と、モデル代表点算出部２１８と、平滑化部２２０と、を含む。
【００２４】
三次元モデル構築部２１６は、背景差分部２０４により生成された前景マスクとキャリブレーション部２０２により生成されたキャリブレーションデータとを用いて、ビルボードとは異なる厚みのある三次元モデルを生成する。モデル代表点算出部２１８は、三次元モデルを表す代表的な（例えば、人物の姿勢変化に頑健な）点であるモデル代表点の座標を算出する。平滑化部２２０は、モデル代表点算出部２１８により算出されたモデル代表点の座標を時間軸方向に平滑化する。
【００２５】
基準面算出部２０８は、ビルボードがその面内に配置される平面であるビルボード基準面を設定する。基準面算出部２０８は、モデル代表点を含むようビルボード基準面を設定する。被投影点算出部２１２は、ビルボードの生成時に参照される画像平面内の座標を算出する。ビルボード生成部２１０は、被写体のビルボードを生成し出力する。自由視点映像生成部２１４は、ビルボード生成部２１０から出力されたビルボードとビルボード基準面とモデル代表点とを用いて自由視点映像を生成し、出力する。
【００２６】
[キャリブレーション部２０２]
キャリブレーション部２０２は、複数のカメラ１１６、１１８、１２０から複数の映像を取得する。キャリブレーション部２０２は、複数のカメラ１１６、１１８、１２０のそれぞれについて、ある時刻において撮影された画像中のフィールドの特徴的な点（コートの白線の交点など）と実際の実空間内のフィールド上の点との対応付けを行い、カメラパラメータとして算出する。例えば、一般的なスポーツの試合を撮影する場合、コートのサイズは規格化されているため、キャリブレーション部２０２は画像平面上の点が実空間内（世界座標系）のどの座標に対応するかを計算することが可能である。カメラパラメータは外部パラメータと内部パラメータとを含む。外部パラメータは実空間とカメラとの関係を示すパラメータであり、例えばカメラの位置（視点の位置）やカメラの姿勢（回転など）を表すパラメータを含む。内部パラメータはカメラ固有のパラメータであり、例えばレンズ歪みを含む。
【００２７】
図４は、カメラ４０２の画像平面上の座標とフィールド座標との対応関係を示す説明図である。カメラ４０２の２次元画像平面上の座標を（ｕ、ｖ）、世界座標系のフィールド平面上の座標（フィールド座標）を（ｘ’、ｙ’）としたときに、両者の対応関係はホモグラフィ行列
【数１】
2018116421.tif 000003
とスカラー値ｓとを用いて次の通りに表すことができる。
【数２】
2018116421.tif 000004
…（式１）
【００２８】
式１に上記の対応点の組を入力することでｓおよびＨを求めることが可能となり、画像平面上の任意の画素の座標とフィールド座標との相互変換が可能となる。なお、フィールドに対するカメラキャリブレーションの手法は上記のものに限られない。
【００２９】
図３に戻り、キャリブレーション部２０２におけるカメラのキャリブレーションは、手動のほか、公知の自動キャリブレーションに関する技術を用いて行われてもよい。手動の方法としては、例えば画面上の白線の交点をユーザ操作により選択し、あらかじめ測定されたフィールドモデルとの対応付けをとることで、カメラのパラメータを推定する手法がある。なお、画面に歪みがある場合は下記の通り先に内部パラメータを推定しておく。同様の操作を自動で行う方法の一例としては、閾値処理などを用いて上記画面内の白線を抽出し、ハフ変換による直線成分の抽出を施すことで交点の画面内の座標を推定する方法などがある。
【００３０】
一方で、魚眼レンズなどの広角なレンズを備えるカメラを撮影に用いる場合は、キャリブレーション部２０２はカメラの内部パラメータを個別に推定し、画面の歪みを補正する。この推定は、予め撮影に用いるカメラにてチェッカーボードなどの幾何模様を撮影することにより実行されてもよい。固定されたカメラでの撮影を前提とした場合、キャリブレーション部２０２はカメラのキャリブレーションを映像生成の最初に一度行えばよい。また、移動するカメラでの撮影を前提とした場合、キャリブレーション部２０２は上述の公知の自動キャリブレーションをフレーム毎に行う。キャリブレーション部２０２は、算出されたカメラパラメータを含むキャリブレーションデータを生成し、出力する。
【００３１】
以下、ある時刻ｔに複数のカメラ１１６、１１８、１２０のそれぞれにより撮影された画像に対する処理を説明する。
[背景差分部２０４]
背景差分部２０４は、各カメラからのある時刻ｔの画像の各画素を背景と前景との２つに分類することで、該画像を背景と前景とに分ける。本実施の形態では、この分離は、例えば公知の背景差分法を使用して実現されてもよい。背景差分部２０４は、背景、前景とされた画素の値にそれぞれ０、１などの２値を割り当てることで前景マスクを生成する。この背景と前景との分離を行うことによって、被写体を含むおおまかな領域を抽出することができる。
【００３２】
図５（ａ）〜（ｃ）は、背景差分部２０４における処理の例を示す説明図である。図５（ａ）はあるカメラにより撮影された時刻ｔの画像５０２を示す。背景差分部２０４はこの画像５０２を原画像として処理する。図５（ｂ）は図５（ａ）の原画像に対して背景差分法を適用した結果得られる前景マスク５０４を示す。前景マスク５０４において、黒色の部分は背景と判定され、０が割り当てられている。白色の部分は前景と判定され、１が割り当てられている。図５（ｃ）は図５（ａ）の原画像と図５（ｂ）の前景マスク５０４とから得られる人物５０６のテクスチャを示す。
【００３３】
［三次元モデル構築部２１６］
図３に戻り、三次元モデル構築部２１６は、キャリブレーション部２０２により生成されたキャリブレーションデータおよび背景差分部２０４により生成された前景マスクを取得する。三次元モデル構築部２１６は、取得された情報を用いて、実空間を模した仮想三次元空間内で被写体の形を概略的に表す三次元モデルを構築する。被写体が人物である場合は、三次元モデルは人物の身体の概形を表してもよい。この三次元モデルはポリゴンメッシュモデルやボクセルモデルなどで表現される。なお、三次元モデルはビルボードモデルとは異なり、厚みを有する。
【００３４】
複数のカメラに由来する複数の前景マスクから三次元モデルを抽出するために、公知の視体積交差法が用いられてもよい。この手法では、三次元空間内にボクセル空間と呼ばれる縦・横・奥行きのそれぞれの方向に均一に分割された立方体群から成る空間を定義する。各カメラに由来する前景マスクのシルエットをそのボクセル空間に射影することで、実際の被写体の立体的な概形を得る。ｉ番目のカメラに由来する前景マスクをＭｉｔとし、三次元モデルをｉ番目のカメラの画像平面に射影することで得られるシルエットマスクをＮｉｔとした場合、理論的には
【数３】
2018116421.tif 000005
となる。
【００３５】
各カメラに由来する前景マスクには一般に、ノイズによって誤検出された前景が含まれる。しかしながら、上記の手法ではボクセル空間に射影された複数の前景マスクの情報を統合するため、このような過剰な前景検出を軽減することができる。したがって、以降の処理において、三次元モデルをカメラの画像平面に射影することで得られるシルエットマスクを前景マスクとして利用してもよい。
【００３６】
［モデル代表点算出部２１８］
モデル代表点算出部２１８は、三次元モデル構築部２１６によって生成された被写体の三次元モデル（ボクセルデータ）の位置を表すモデル代表点の座標を、実空間における被写体の位置を表す座標として算出する。モデル代表点は三次元モデルの位置を表す点であればあらゆる点を採用することができる。しかしながら、時間軸方向の動きの繋がりも含めた映像品質の観点から、被写体（例えば、人や動物）の姿勢の変化に大きく依存しない点が採用されることが望ましい。すなわち、手先や足先は人や動物の姿勢によって急激に変化する蓋然性が高いため、体幹や腰などの骨格に含まれる点をモデル代表点として採用することが望ましい。
【００３７】
あるいはまた、モデル代表点算出部２１８は、生成された三次元モデルをボクセル空間内で統計処理することでモデル代表点を決定し、その座標を算出してもよい。例えば、モデル代表点算出部２１８は、被写体の三次元モデルに含まれる全てのボクセルの重心の座標をモデル代表点の座標として算出してもよい。この場合、被写体の姿勢の変化に頑健なモデル代表点を算出することができる。または、被写体の姿勢の変化に頑健であるという性質が得られる限り、他の統計処理によりモデル代表点の座標を求めてもよい。例えば、三次元モデルをｘｙ平面に平行な平面で順次切断していき、切断面に含まれるボクセルが最多となる平面を最多ｘｙ平面として特定する。ｙｚ平面、ｚｘ平面についても同様に切断面に含まれるボクセルが最多となる最多ｙｚ平面、最多ｚｘ平面をそれぞれ特定する。モデル代表点算出部２１８は、最多ｘｙ平面と最多ｙｚ平面と最多ｚｘ平面とが交わる交点をモデル代表点として決定してもよい。また、より精緻な方法としては、モデル代表点算出部２１８は人物の部位ごとに追跡を行い三次元モデルのボーンを生成し、生成されたボーンのうち腰や背骨に当たる点をモデル代表点として決定してもよい。またはモデル代表点算出部２１８は画像から機械学習により人物の腰の位置を推定し、推定により得られた点をモデル代表点として決定してもよい。
【００３８】
［平滑化部２２０］
平滑化部２２０は、三次元モデルのモデル代表点の座標を時間軸方向に統計処理する。例えば平滑化部２２０は、モデル代表点算出部２１８によって算出されたモデル代表点の座標を時間軸方向に平滑化する。モデル代表点の座標の算出時に、人物の姿勢の変化に対して頑健な算出方法を選択した場合でも、前景マスクや三次元モデルのノイズ等によって実際に映像化した際には不自然な動き（座標移動）になることが想定される。これを軽減するために平滑化部２２０において時間軸方向での座標の平滑化を行う。
【００３９】
例えば、平滑化部２２０は、現在のフレームの前後ｎフレームにおけるモデル代表点の座標に対して、ローパスフィルタを適用することで平滑化を行う。また、平滑化部２２０は、離散的にサンプリングされたモデル代表点を制御点とするスプライン曲線やＢ−スプライン曲線を用いて滑らかな軌跡を生成し、生成された軌跡に従うようにモデル代表点の座標を移動させてもよい。この場合、自然な移動を実現できる。その他、平滑化部２２０はモデル代表点の座標の時系列データにカルマンフィルタなどの時系列フィルタを適用してもよい。この場合、自然な移動を実現できる。以下、モデル代表点は平滑化部２２０により平滑化されたモデル代表点とする。
【００４０】
図６は、三次元処理部２０６によって生成される三次元モデル６０２およびそのモデル代表点６０４を示す模式図である。三次元処理部２０６は、複数のカメラ６０６、６０８から得られる画像から被写体（フィールド６１０から高くジャンプした人物）の三次元モデル６０２を生成する。三次元処理部２０６は、三次元モデル６０２の重心の座標をモデル代表点６０４の座標として算出する。後述するとおり、被写体のビルボードはモデル代表点６０４を参照して配置される。
【００４１】
［基準面算出部２０８］
図３に戻り、基準面算出部２０８は、算出されたモデル代表点の座標およびキャリブレーション部２０２により生成された外部パラメータ（例えば、カメラの仰角α）に基づいてビルボード基準面を決定する。図７は、ビルボード基準面７０２を示す模式図である。基準面算出部２０８は、モデル代表点７０４を含みフィールド７０６と角度θをなす面をビルボード基準面７０２として設定する。後述の自由視点映像生成部２１４は設定されたビルボード基準面７０２に重畳するようにビルボード７１０を配置する。したがって、θは被写体のビルボード７１０がフィールド７０６となす角度である。
【００４２】
基準面算出部２０８は、キャリブレーション部２０２により生成された外部パラメータからカメラ７０８の仰角αを取得する。基準面算出部２０８は、カメラ７０８の仰角α（単位は度）について、θ＝９０（度）−αを計算することによりθを算出する。この場合、自然な表示を実現できる。外部パラメータは、世界座標系とカメラ座標系との間の絶対的な位置Ｔと姿勢Ｒ（回転行列）の関係を表すものであり、このうちＲのもつ成分を利用することで所望のαを算出することができる。カメラ７０８の仰角αはカメラ７０８の位置にも依存する。例えば、カメラ７０８がより高いところに設置されると、カメラ７０８の仰角αも、より大きくなる。
【００４３】
例えば、バレーボールなどの比較的近い距離で撮影されるシーンの場合、カメラ７０８の仰角αに合わせて、ビルボード７１０がフィールド７０６となす角度θを変更して配置したほうが自然な見え方となる。人物の像は実際には斜め上から撮影されているからである。特に、遠近感の観点で好適である。すなわち、斜め上から近距離で人物を撮影すると、カメラに近い頭部が、カメラから遠い胴部よりも相対的に大きく写る。この画像を切り出してビルボードとし、フィールドに垂直に立たせた場合、フィールド上の仮想視点（視線はフィールドと平行）からそのビルボードを見ると、あたかもカメラ側に傾いているように見えて不自然である。そこで、カメラの仰角分だけビルボードを反対側に傾かせることで、頭部と胴部とのプロポーションについてより違和感の低減された表現が可能となる。
【００４４】
［被投影点算出部２１２］
図３に戻り、被投影点算出部２１２は、算出されたモデル代表点の座標およびキャリブレーション部２０２によって生成されたカメラパラメータを用いて、ビルボード側の被投影点を決定する。従来のビルボード方式では、ビルボードの最下部の点を被投影点としてフィールドに投影していた。本実施の形態に係る画像処理装置２００では、三次元モデル側を基準としているため、フレームごとにビルボード内での被投影点が異なる。被投影点算出部２１２は、モデル代表点（の座標）をカメラの画像平面に投影することで被投影点を決定する。自由視点映像生成部２１４はビルボードを、その被投影点がビルボード基準面上かつモデル代表点と一致するように配置する。
【００４５】
［ビルボード生成部２１０］
ビルボード生成部２１０は、カメラからの画像と背景差分部２０４により生成された前景マスクと被投影点算出部２１２によって算出された被投影点とを用いてビルボードを生成する。図８（ａ）〜（ｃ）は、ビルボード生成部２１０におけるビルボードの生成処理を説明するための模式図である。図８（ａ）〜（ｃ）のそれぞれにおいて、カメラからの画像に前景マスクを適用して得られるテクスチャ８０２が示される。図８（ａ）に示されるように被投影点８０６が被写体の内部にありかつ被写体のマスク領域の外接矩形８０４に含まれる場合、ビルボード生成部２１０はその外接矩形８０４を切り出してビルボードとする。図８（ｂ）に示されるように被投影点８１０が被写体の外部にあるが依然として被写体のマスク領域の外接矩形８０４に含まれる場合、ビルボード生成部２１０はその外接矩形８０４を切り出してビルボードとする。一方、図８（ｃ）に示されるように被投影点８１４がマスク領域の外接矩形に含まれない場合、ビルボード生成部２１０は被投影点８１４とマスク領域とを含む最小の矩形領域８１２を切り出してビルボードとする。ここで、ビルボード生成部２１０は、マスク領域に含まれる画素についてはビルボードにおいても実画像の画素値を割り当て、その他の領域については画素値をもたない（透過扱い）ように設定する。
【００４６】
なお、図８（ｂ）、（ｃ）に示されるような、モデル代表点が三次元モデルの外部に設定される状況としては、例えば平滑化部２２０における時間軸方向の平滑化の結果、モデル代表点が三次元モデルからはみ出す状況が考えられる。また、ビルボードの被投影点をフィールド上に置くために、モデル代表点算出部２１８が三次元モデルの真下のフィールド上の点をモデル代表点として設定する状況では、ジャンプしている被写体の三次元モデルの下のほうにモデル代表点が設定される。
【００４７】
［自由視点映像生成部２１４］
図３に戻り、自由視点映像生成部２１４は、キャリブレーション部２０２で生成されたカメラパラメータを用いて、ビルボード生成部２１０により生成されたビルボードをモデル代表点に配置することによって、仮想視点に対応する合成画像を生成する。自由視点映像生成部２１４は、ユーザにより指定された仮想視点の情報、例えば仮想視点の座標を取得する。この合成画像は自由視点映像の１フレームとなる。自由視点映像生成部２１４により配置されるビルボードはフィールドと垂直であるとは限らず、角度θを保つ。すなわち、ビルボードは、仮想視点の垂直方向の移動についてはフィールドとの角度θを保ち、水平方向の移動についてはフィールドに垂直な軸の周りで回転することで仮想視点に正対する。自由視点映像生成部２１４は、上記の処理をフレームごとに連続して行うことで、自由視点映像を生成する。
【００４８】
以上の構成による画像処理装置２００の動作を説明する。
図９は、画像処理装置２００における一連の処理の流れを示すフローチャートである。画像処理装置２００は、フィールド上の被写体の周りに設定された複数の視点のそれぞれに配置されたカメラから、被写体の像を含む画像を取得する（Ｓ９０２）。画像処理装置２００は、取得された画像のそれぞれに背景差分法を適用することで前景マスクを生成する（Ｓ９０６）。画像処理装置２００は、生成された複数の前景マスクから被写体の三次元モデルを生成する（Ｓ９０８）。画像処理装置２００は、生成された三次元モデルのモデル代表点の座標を算出する（Ｓ９１０）。画像処理装置２００は、ステップＳ９０２で取得された画像および対応する前景マスクを用いて被写体のビルボードを生成する（Ｓ９１２）。画像処理装置２００は、生成されたビルボードをステップＳ９１０で算出された座標に配置することによって、仮想視点から見た画像を合成する（Ｓ９１４）。
【００４９】
本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。
【００５０】
本実施の形態に係る画像処理装置２００によると、従来のビルボード方式で課せられる制約に起因する不自然な表示を解消することができる。本実施の形態は、被写体の概形を表す三次元モデル（厚みのあるモデル）を利用してビルボードが配置されるべき位置を決定するので、表示負荷が軽いというビルボードの利点を活かした上で、より自然な表示が可能となる。
【００５１】
また、本実施の形態に係る画像処理装置２００によると、被写体の空中移動中の位置情報を被写体の姿勢に頑健な態様で推定するので、動画にした際に滑らかな移動を伴う表示を実現することができる。さらに、推定の結果得られる座標を時間軸方向に平滑化することで、より滑らかな表現が可能となる。
【００５２】
以上、実施の形態に係る画像処理装置２００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。
【００５３】
実施の形態では、被写体の三次元モデルを生成し、生成された三次元モデルを用いてビルボードが配置される座標を算出する場合について説明したが、これに限られず、複数のカメラから取得された複数の画像から、実空間における被写体の位置を表す座標を算出してもよい。
【００５４】
図１０は、複数のカメラ１５０、１５２、１５４で撮影された複数の画像１５０ａ、１５２ａからビルボードを配置すべき座標を決定する変形例に係る方法の説明図である。本変形例に係る画像処理装置は、複数のカメラ１５０、１５２で撮影された複数の画像１５０ａ、１５２ａを取得する。画像処理装置は、第１カメラ１５０で撮影された第１画像１５０ａに写る被写体１５４の対象部位１５４ａの像１５０ｂを通る第１カメラ１５０の第１光線１５０ｃを特定する。画像処理装置は、第２カメラ１５２で撮影された第２画像１５２ａに写る被写体１５４の対象部位１５４ａの像１５２ｂを通る第２カメラ１５２の第２光線１５２ｃを特定する。画像処理装置は、同様に第３カメラ１５６の第３光線１５６ｃを特定する。
【００５５】
画像処理装置は、複数のカメラ１５０、１５２、１５６の光線１５０ｃ、１５２ｃ、１５６ｃと最も距離の近い空間座標を、対象部位１５４ａの座標とする。画像処理装置は、決定された対象部位１５４ａの座標を、被写体１５４のビルボードが配置されるべき座標として特定する。この場合、ビルボードを配置すべき座標を特定するために三次元モデルを生成する必要はなく、処理量を低減できる。
【符号の説明】
【００５６】
１１０  自由視点画像配信システム、  １１２  ネットワーク、  １１４  携帯端末、  ２００  画像処理装置。
【図１】
2018116421.tif 000006
【図２】
2018116421.tif 000007
【図３】
2018116421.tif 000008
【図４】
2018116421.tif 000009
【図５】
2018116421.tif 000010
【図６】
2018116421.tif 000011
【図７】
2018116421.tif 000012
【図８】
2018116421.tif 000013
【図９】
2018116421.tif 000014
【図１０】
2018116421.tif 000015