(57)【要約】  【課題】  データ量を増やすことなく、隠蔽された箇所の描画を可能にする任意視点動画像の隠蔽領域補完方式を提供することにある。  【解決手段】  送信側では、参照画像１と画像の奥行きマップ３とから背景画像４を生成し、背景バッファ５に合成する。この時、該合成を行うための射影変換行列６を算出する。受信側は、送信側から、参照画像１，奥行きマップ３および射影変換行列６を受信する。受信側では、参照画像１と画像の奥行きマップ３とから任意視点画像１１と背景画像１２を生成する。また、背景画像１２と背景バッファ１３内の画像と射影変換行列６の３つを用いて該背景バッファ１３をフレーム毎に動的に更新する。最後に、任意視点画像１１と背景バッファ１３内の画像とを合成して、任意視点画像における隠蔽箇所に対する背景画像を補完し、補完画像１４を得る。  【選択図】  図１
2005063300.tif 000002
【特許請求の範囲】
【請求項１】
一視点からなる参照画像と、該参照画像における各画素の奥行きを記述する奥行きマップと、該参照画像と該奥行きマップとから生成される背景画像と、該背景画像を保存するための背景バッファと、該背景バッファに該背景画像を記述するための射影変換式を求める手段とを備えた送信側装置を具備することを特徴とする任意視点動画像の隠蔽領域補完方式。
【請求項２】
請求項１に記載の任意視点動画像の隠蔽領域補完方式において、
動画像の各フレームの背景画像が前記背景バッファに合成され、その都度前記射影変換式が求められることを特徴とする任意視点動画像の隠蔽領域補完方式。
【請求項３】
請求項１又は２に記載の送信側装置から、前記参照画像、前記奥行きマップおよび前記射影変換式中の射影変換行列を受信する手段と、前記参照画像および奥行きマップから任意視点画像と背景画像とを生成する手段と、該背景画像を保存するための背景バッファと、該背景画像と該背景バッファ内の画像と前記射影変換行列の３つを用いて該背景バッファをフレーム毎に動的に更新する手段とを備えた受信側装置を具備することを特徴とする任意視点動画像の隠蔽領域補完方式。
【請求項４】
請求項３に記載の任意視点動画像の隠蔽領域補完方式において、
前記背景バッファ内の画像と前記任意視点画像との対応点を、前記射影変換行列および奥行きマップを用いて算出し、該対応点を用いて射影変換式を算出する手段と、
該射影変換式を用いて前記任意視点画像における隠蔽箇所に対する背景画像を補完する手段とを具備したことを特徴とする任意視点動画像の隠蔽領域補完方式。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は任意視点動画像の隠蔽領域補完方式に関し、特に任意視点からの画像を生成する際に、隠蔽などにより対応点が得られなかった箇所に対して、背景バッファを用いて画像の補完を行うようにした任意視点動画像の隠蔽領域補完方式に関する。
【背景技術】
【０００２】
ユーザとの間のインタラクティブな映像アプリケーションを提供することを目的とし、画像と同時に付加情報を伝送する開発が行われている。例えば、付加情報として奥行き情報や視差情報が伝送された場合、任意の視点からの画像（以下、任意視点画像）を生成することが可能になる。
【０００３】
これに伴い、奥行き情報や視差情報を用いた任意視点画像の生成について、様々な研究が行われている。例えば、川田等の“多視点伝送のための高精度反復勾配法による実時間ステレオマッチング方式”２００２年映像メディア学会冬季大会、Ｎｏ．７−５，Ｎｏｖ
【０００４】
２００２では、奥行き生成を高精度に行うための対応付けについての研究がされており、これにより正確な奥行きの算出が可能になる。また、片山等の“多視点画像の補完・再構成による視点追従型立体画像表示法”電子情報通信学会論文誌、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８０３−８１１，Ｍａｙ  １９９６では、抽出された奥行きから物体を認識し、他視点において各物体をより高精度に映すための手法が提案されている。
【０００５】
しかしながら、前記した従来技術の手法を用いて任意視点画像を生成した場合、背景部分に対する考慮がなされていないため、隠蔽された箇所に対する描画が不十分であるという課題があった。
【０００６】
この課題を解決する方法として、昼間等の“複数の奥行きマップを用いた仮想視点画像の生成”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．８０５−８１１，Ｍａｙ  ２００１では、複数の画像をもとに各画像における奥行きマップを生成し、それをもとにした任意視点画像の生成方法を提案している。しかしながら、この方法では、複数枚の画像およびそれらの各画像に対する奥行きマップが必要になるため、伝送すべき情報が増加してしまうという課題があった。
【０００７】
また、秦泉寺等の“スプライト生成のためのグローバルモーション算出法と符号化への適用”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．２，ｐｐ．５３５−５４４，Ｆｅｂ  ２００２等では、前景画像と背景画像を分離し、背景画像をスプライトを用いて補完する方法が提案されている。しかしながら、この方法では、背景画像が既知であるという前提があるため、背景画像が予め得られない場合は補完を行うことが困難になるという課題があった。
【非特許文献１】川田等の“多視点伝送のための高精度反復勾配法による実時間ステレオマッチング方式”２００２年映像メディア学会冬季大会、Ｎｏ．７−５，Ｎｏｖ  ２００２
【非特許文献２】片山等の“多視点画像の補完・再構成による視点追従型立体画像表示法”電子情報通信学会論文誌、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８０３−８１１、Ｍａｙ  １９９６
【非特許文献３】昼間等の“複数の奥行きマップを用いた仮想視点画像の生成”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．８０５−８１１，Ｍａｙ  ２００１
【非特許文献４】秦泉寺等の“スプライト生成のためのグローバルモーション算出法と符号化への適用”電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．２，ｐｐ．５３５−５４４，Ｆｅｂ  ２００２
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、前記した従来技術の課題を解決し、データ量を増やすことなく、隠蔽された箇所の描画を可能にする任意視点動画像の隠蔽領域補完方式を提供することにある。
【課題を解決するための手段】
【０００９】
前記した目的を達成するために、本発明は、一視点からなる参照画像と、該参照画像における各画素の奥行きを記述する奥行きマップと、該参照画像と該奥行きマップとから生成される背景画像と、該背景画像を保存するための背景バッファと、該背景バッファに該背景画像を記述するための射影変換式を求める手段とを備えた送信側装置を具備する点に第１の特徴がある。
【００１０】
また、本発明は、前記送信側装置から、前記参照画像、前記奥行きマップおよび前記射影変換式中の射影変換行列を受信する手段と、前記参照画像および奥行きマップから任意視点画像と背景画像とを生成する手段と、該背景画像を保存するための背景バッファと、該背景画像と該背景バッファ内の画像と前記射影変換行列の３つを用いて該背景バッファをフレーム毎に動的に更新する手段とを備えた受信側装置を具備する点に第２の特徴がある。
【００１１】
さらに、本発明は、前記背景バッファ内の画像と前記任意視点画像との対応点を、前記射影変換行列および奥行きマップを用いて算出し、該対応点を用いて射影変換式を算出する手段と、該射影変換式を用いて前記任意視点画像における隠蔽箇所に対する背景画像を補完する手段とを具備した点に第３の特徴がある。
【００１２】
前記第１の特徴によれば、大きな演算負荷を必要とする、背景バッファに該背景画像を記述するための射影変換式を求める処理を送信側にて行うことができる。
【００１３】
前記第２、３の特徴によれば、小さな演算負荷にて背景バッファをフレーム毎に動的に更新することができ、また伝送量を増やすことなく、隠蔽箇所を補完された高精度な任意視点画像を生成することができるようになる。
【発明の効果】
【００１４】
本発明によれば、送信側から受信側に伝送すべき情報量を増加させることなく、また受信側に大きな処理負荷をかけることなく、任意視点動画像の隠蔽領域の補完を行うことができるようになる。また、受信側にて、隠蔽領域が補完された、任意視点の高精度な画像を生成することができるようになる。
【発明を実施するための最良の形態】
【００１５】
以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の一実施形態の処理を説明する図である。
【００１６】
送信側、例えば放送局では、送信する画像をある視点から撮影した画像（以下、参照画像）１と、他の視点から撮影した画像２から、画像（又は画素）の奥行きマップ３を生成する。この画像の奥行きマップ３の生成方法は周知であるので説明を省略する。次に、前記参照画像１と画像の奥行きマップ３とから、該参照画像１の背景画像４を抽出する。また、背景バッファ５を生成し、前記背景画像４を背景バッファ５に合成、すなわち上書きする。この時、該合成を行うための射影変換式（以下、射影変換行列という）６を算出する。この射影変換行列６の算出は受信側でも可能であるが、この算出にかかる計算量の負荷が大きいため、本発明では、送信側にて射影変換行列６の算出を行い、算出された行列を受信側に送ることとする。
【００１７】
ここで、前記の動作をより詳細に説明する。前記背景画像４の抽出は、参照画像１と画像の奥行きデータ３を用いて、その奥行きの値がある閾値Ｔｈ以上であれば背景画像、該閾値Ｔｈより小さければ前景画像と判定する。次に、前記背景バッファ５に画像が存在しない第１フレームでは、分離された背景画像を該背景バッファ５に書き込む。第２フレーム以降のフレームでは、背景バッファ５に記憶されているデータに各フレームの背景画像を合成する。この際、現在のバッファと背景として抽出された画像との間の射影変換行列６（Ｂ）を算出する。この射影変換行列Ｂは、下記の式(1)により定義される。
【００１８】
（ｕ，ｖ，１）Ｔ×Ｂ（ｕ’，ｖ’，１）Ｔ＝０  ・・・(1)
ここに、（ｕ，ｖ，１）は現在のバッファに記憶されている背景画像の画素の位置、（ｕ’，ｖ’，１）は合成する背景画像の前記位置（ｕ，ｖ，１）に対応する画素の位置である。
【００１９】
射影変換行列Ｂは３×３の行列であるが、スケールを任意に決めることができるため、自由度は８である。すなわち、（ｕ，ｖ，１）と（ｕ’，ｖ’，１）の対応が少なくとも８点求まれば、射影変換行列Ｂを算出することができる。なお、この対応点を見つけるための計算量が大きくなるので、前述のように、射影変換行列６の算出は処理能力の大きな演算装置などを用意できる放送局などの送信側で行うのが好適である。
【００２０】
次に、受信側では、送信側から送られてきた、ある視点から撮影した参照画像１と、画像の奥行きマップ３とを用いて、任意視点画像１１を生成する。この処理は公知であるので簡単に説明する。
【００２１】
画像の奥行きマップ３では、参照画像１の各画素における奥行きＺｕｖが記述されているため、対象画像の各画素の座標と奥行きにより各画素の３次元上での位置が取得できる。これを用いることにより、任意視点での画像を生成する。すなわち、カメラの回転を３×３の行列Ｒ’によって、またカメラの平行移動を１×３のベクトルｔ’として定義する。参照画像における画素の位置を（ｕ，ｖ）と表した場合、任意視点における対応点（ｕ’’，ｖ’’）と、（ｕ，ｖ）の関係は下記の式(2)によって表される。
（ｕ’’，ｖ’’，１）Ｔ×（ＺｕｖＲ’（ｕ，ｖ，１）Ｔ＋ｔ’）＝０  ・・・(2)
【００２２】
式(2)を（ｕ’’，ｖ’’，１）Ｔ  について  解くことにより、任意視点における各点の座標を求めることができる。これによって求められた（ｕ’’，ｖ’’）に対して、参照画像における（ｕ，ｖ）の輝度を与えることにより、任意視点画像の生成を行う。
【００２３】
また、前記参照画像１と画像の奥行きマップ３とから、該参照画像１の背景画像１２を抽出する。そして、送信側から送られてくる前記射影変換行列Ｂを用いて、背景画像１２を背景バッファ１３に合成する。図２は該合成の概念図であり、前記背景画像１２は、射影変換行列Ｂを用いた射影変換により背景バッファ１３に合成される。その際、同一点における参照画像および背景バッファ共に背景画像であると判断された場合、参照画像の画素を優先させることとする。これにより、より新しい情報を優先させて合成させることが可能になり、各フレームにおける背景部の動きに対応させることができるようになる。また、動画像のフレーム数が増えるにつれて背景バッファ１３に蓄積される動画像の背景画像のデータ量が多くなり、動画像の隠蔽領域が小さくなる。なお、送信側から受信側に送られる前記射影変換行列Ｂのデータ量が小さいことは明らかである。
【００２４】
次に、前記任意視点画像１１と背景バッファ１３に蓄積されている背景画像とを合成すると、隠蔽領域が保完された画像１４を得ることができる。該補完の方法を以下に説明する。
【００２５】
まず、任意視点画像と背景バッファ画像との間の射影変換行列Ｂ’を算出する。ここで、画像間の対応点が必要とされるが、前記式(1)で算出した射影変換行列Ｂと、伝送された奥行きから求められた対応点の関係を用いることにより、マッチングを取ることなく対応点を算出する。この算出は少ない処理量で行うことができるから、受信側例えば携帯電話などにおける計算量の負荷が軽くなる。
【００２６】
その後、算出された射影変換行列Ｂ’を用いて、対応点がないとして判断された画像に対する補完を行う。点（ｕ’’，ｖ’’）の補完を行う際には、下記の式(3)を満たす点（ｕ’，ｖ’，１）を算出し、参照画像の画素（ｕ’，ｖ’）における輝度を点（ｕ’’，ｖ’’）の輝度として定義する。
（ｕ’，ｖ’，１）Ｔ×Ｂ（ｕ’’，ｖ’’，１）Ｔ＝０  ・・・(3)
【００２７】
図３は、背景バッファ１３と、任意視点画像１１と対応の取れた背景箇所１３ａを示し、該任意視点画像１１と対応の取れた背景箇所１３ａとを合成することにより、補完を行うことができる。ただし、ｕ’およびｖ’が整数でない場合には、線形補完により輝度値の修正を行う。
【００２８】
以上の処理により、隠蔽された箇所および誤対応などにより対応点なしと判断された箇所に対する高精度な補完が可能になる。
【００２９】
本発明者は、前記した任意視点動画像の隠蔽領域補完方法の有効性を確認するために次の実験を行った。
【００３０】
すなわち、映像情報メディア学会の標準画像である、Ｒｅｄの輝度値のみによる８階調のグレースケール画像を用いる。実験では、左目画像を参照画像とし、右目画像より奥行きを算出する。受信側では、参照画像および各画素に対する奥行きを受信すると仮定し、これを基に右目画像として定義されている画像の再現を試みた。
【００３１】
実験結果は、図４（ａ）、（ｂ）に示すようになった。図４（ａ）、（ｂ）の横軸はフレーム数を示し、それぞれの縦軸は、それぞれＰＳＮＲと対応点なしと判断されて描画がされなかった画素の割合を示す。図４（ａ）を見ると、補完ありの画像（曲線ａ）では、補完なしの画像（曲線ｂ）比べて、ＰＳＮＲが、フレーム数が増えるにつれて向上し、精度の高い画像が得られていることが分かる。
【００３２】
また、図４（ｂ）を見ると、補完ありの画像（曲線ｃ）では、描画されなかった画素の割合が、フレーム数が増えるにつれて大幅に減少しているが、補完なしの画像（曲線ｄ）では、漸増していることが分かる。
【００３３】
したがって、本発明によると、任意視点動画像の隠蔽領域の補完が高精度に行われることが確認された。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態の機能を示すブロック図である。
【図２】参照画像の背景画像を背景バッファに合成する処理の概念図である。
【図３】背景バッファ内の画像と任意視点画像の合成処理の概念図である。
【図４】本発明により任意視点動画像の隠蔽領域の補完がなされた実験例における、任意視点動画像のＰＳＮＲと描画されなかった画素の割合を示すグラフである。
【符号の説明】
【００３５】
１・・・参照画像、２・・・他の視点画像、３・・・画像の奥行きマップ、５・・・背景バッファ、６・・・射影変換行列、１１・・・任意視点画像、１２・・・背景画像、１３・・・背景バッファ、１４・・・補完画像。
【図１】
2005063300.tif 000003
【図２】
2005063300.tif 000004
【図３】
2005063300.tif 000005
【図４】
2005063300.tif 000006