(57)【特許請求の範囲】
【請求項１】
主画像と副画像で構成される3D表示用画像に対して、
主画像符号化データの復号化を行い、主画像を生成する、主画像復号化部と、
前の時刻の主画像又は後の時刻の主画像を用いて、主画像の一部又は全部を補正して補正後の主画像を生成する主画像補正部と、
副画像符号化データの復号化を行う、副画像を生成する、副画像復号化部と、
副画像内の破損画像周辺の画像と、対応する位置にある前記補正後の主画像内の画像との、視差ベクトルを算出する視差ベクトル生成部と、
前記視差ベクトルと前記補正後の主画像を用いて、前記副画像内の破損画像に対する補正画像を生成する、補正画像生成部と、
前記補正画像を、副画像内の前記破損画像と置き換える副画像補正部と、
を備え、
前記主画像補正部は、前の時刻の主画像又は後の時刻の主画像を用いて、補正前の主画像より大きくなるように前記補正後の主画像を生成し、
前記副画像補正部は、前記副画像内の破損画像が前記副画像の端にある場合には、前記対応する位置にある補正後の主画像内の画像として、前記補正後の主画像内の拡大された領域にある画像を用いて視差ベクトルを算出することを特徴とする多視点画像補正装置。
【請求項２】
請求項１記載の多視点画像補正装置であって、
前記視差ベクトル生成部は、前記補正後の主画像と前記副画像から抽出された特徴情報を用いて、前記視差ベクトルを算出することを特徴とする多視点画像補正装置。
【請求項３】
請求項２記載の多視点画像補正装置であって、
前記特徴情報は、輝度パタンまたは色差パタンまたはエッジパタンであることを特徴とする多視点画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像補正装置に関する。例えば、主画像と副画像で構成される多視点画像において、主画像または副画像に、ネットワーク伝送エラーなどに起因する破損画像が含まれる場合、時間的前後の画像を含む副画像または主画像を用いて、破損画像を補正することの出来る多視点画像補正装置に関するものである。
【背景技術】
【０００２】
本技術分野の背景技術として、多視点映像符号化において、符号化効率を向上させる技術として、「時間方向の予測だけではなく、カメラ間の予測を取り入れる」方式（下記、非特許文献１  図５参照）がある。
【０００３】
また、別の技術として、「視差方向予測と時間方向予測とを同時に使うことによって多視点動画像を効率的に符号化する」方式（下記、特許文献１  図１４参照）がある。
【０００４】
また、別の技術として、「圧縮符号化された動画像信号のビットストリーム中のエラーが含まれているマクロブロックを検出し、そのエラーを含む補完すべきマクロブロックに隣接するすでに復号されている領域を検出し、その検出した復号されている領域に対応する前フレームの領域を所定の動き探索にて検出し、その検出した前フレームの領域に隣接する補完すべきマクロブロックに対応する位置の補償領域の画像データをエラーマクロブロックの復号画像として補完する」方式（下記、特許文献２  図１参照）がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７-０３６８００号公報（図６）
【特許文献２】特開２００１-３０９３８８号公報（図１）
【非特許文献】
【０００６】
【非特許文献１】木全  英明，“多視点映像符号化ＭＶＣの国際標準化動向”， 小特集“映像の符号化最前線”，映像情報メディア学会誌，Vol.61，  No.4，2007，pp426〜430.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述の非特許文献１及び特許文献１の技術に記載の方法では、ネットワーク伝送エラーなどに起因して、符号化データの一部にエラーが発生した場合、多視点画像のうち、一部または全ての視点画像に、時間的にも、視差的にも関連性のない、または関連性の薄い、不正な画像が表示される。この結果、多視点画像を視聴する人の右目と左目に、それぞれ、時間的にも、視差的にも関連性のない、または関連性の薄い、画像が入力されるため、正常な３Ｄ画像として認識することが出来ないという課題がある。
【０００８】
また、前述の特許文献２の技術に記載の方法では、異なる時間の画像を用いるため、動きの早い動画像に対して、本来の画像と差異の大きな画像が表示されるという課題がある。
【０００９】
解決しようとする課題は、例えばネットワーク伝送エラーなどに起因して発生する破損画像の補正である。
【課題を解決するための手段】
【００１０】
上記課題は特許請求の範囲に記載の発明により解決される。例えば、時間的前後の画像を含む副画像または主画像を用いて、破損画像を補正する。
【発明の効果】
【００１１】
本発明によれば、例えばネットワーク伝送エラーなどに起因して発生する破損画像の補正ができる。例えば、本発明の多視点画像補正装置は、主画像と副画像で構成される多視点画像において、主画像または副画像に、ネットワーク伝送エラーなどに起因する破損画像が含まれる場合、副画像と主画像の視差ベクトルを生成し、視差ベクトルを用いて、主画像から副画像を補正する、または副画像から主画像を補正することで、よりきれいな補正画像を生成することが出来るという利点がある。
【図面の簡単な説明】
【００１２】
【図１】多視点復号化装置の一般的な構成を示した説明図である。
【図２】図１に示す多視点復号化装置における一般的な参照関係を示したものである。
【図３】副画像における破損画像の補正方法の一例を示す説明図である。
【図４】図３で示す説明図における、主画像及び副画像の特徴情報と視差ベクトルの一例を示す説明図である。
【図５】多視点復号化装置の構成の一例を示す説明図である。
【図６】多視点復号化装置の構成の別の一例を示す説明図である。
【図７】多視点復号化装置の構成の別の一例を示す説明図である。
【図８】図７に示す多視点復号化装置における破損画像の補正方法の一例を示す説明図である。
【図９】図７に示す多視点復号化装置における破損画像の補正方法の別の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
図１に一般的な多視点画像補正装置の構成を示す。視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。主画像復号化部１０は、主画像符号化データ１００の復号化処理を行い、主画像１０３を生成するブロックである。副画像符号化データ１０１には、主画像と副画像の相関情報が含まれており、この相関情報を元に、副画像復号化部１１は、主画像復号化部１０から、必要な主画像１０２を参照して復号化処理を行い、副画像１０４を生成する。
【００１４】
相関情報の一例として、副画像の動きベクトル、主画像の動きベクトル、主画像と副画像の視差ベクトル、視点から画像までの距離情報などがある。
【００１５】
図２は、図１に示す多視点画像補正装置における、主画像１０３と副画像１０４の参照関係の一般的な例を示す図である。縦軸は時間方向を示し、下方向に向かって進む。横軸は視点方向を示す。副画像１０００、副画像１００２、副画像１００４、副画像１００６、主画像１００１、主画像１００３、主画像１００５、主画像１００７の画像ごとに、符号化の際に参照する画像を矢印で示している。例えば、矢印１０１０は、副画像１００２が、副画像１０００を参照して符号化されていることを示す。
【００１６】
主画像は、過去の時刻の主画像を参照して、符号化を行う。例えば、画像１００３は、画像１００１を参照する。なお、本図は、一例であり、現在または未来の時刻の主画像を参照してもよい。
【００１７】
副画像は、過去の副画像および、現行の主画像を参照して、符号化を行う。例えば、副画像１００２は、副画像１０００及び主画像１００３を参照する。
【００１８】
なお、本図は、一例であり、現在の時刻または未来の時刻の副画像や、現在の時刻または未来の時刻の主画像を参照してもよい。
【００１９】
副画像を復号化する際には、主画像と副画像の相関情報が使用される。相関情報の一例として、副画像の動きベクトル、主画像の動きベクトル、主画像と副画像の視差ベクトル、視点から画像までの距離情報などがある。
【００２０】
図３は、本実施例による多視点画像補正装置における、副画像内の破損画像を補正する方法の典型的な一例である。以下、図３を用いて説明する。
【００２１】
副画像３０００と主画像３００１は、視差が異なる一対の副画像と主画像である。図中の横軸は、画像の水平方向の座標（Ｘ座標）を示す。また、縦軸は、画像の垂直方向の座標（Ｙ座標）を示す。
【００２２】
副画像３０００内に、伝送路上で発生したエラーなどに起因する破損画像３００が含まれ、対応する主画像３００１に破損画像がない場合を例にとる。
【００２３】
破損画像３００周辺の画像を、破損画像周辺画像３０１とする。主画像内の探索領域３２０において、破損画像周辺画像３０１の特徴情報のパタンと、主画像内の画像の特徴情報のパタンとの、パタン一致検出を行う。本例では、探索領域３２０が、破損画像３００を水平移動した領域としており、破損画像周辺画像３０１と画像３０２とが、最も特徴情報のパタンが近い場合を例にとる。破損画像周辺画像３０１のＸ座標と、主画像内の画像３０２のＸ座標の差分を、破損画像周辺画像３０１と主画像内の画像３０２との視差ベクトル３１０のＸ成分とする。探索領域３２０が、破損画像３００を水平移動した領域としているため、視差ベクトル３１０のＹ座標は０となる。
【００２４】
探索領域３２０は、本例では、破損画像３００と同一のＹ座標領域で、かつ破損画像３００のＸ座標よりも小さい領域としているが、破損画像３００と同一のＹ座標領域で、かつ破損画像３００のＸ座標よりも大きな領域を含んでもよい。
【００２５】
また、探索領域３２０は、垂直方向に範囲を広げてもよい。この場合、破損画像周辺画像３０１のＹ座標と、主画像内の画像３０２のＹ座標の差分を、破損画像周辺画像３０１と主画像内の画像３０２との視差ベクトル３１０のＹ成分とする。
【００２６】
画像３０３は、副画像３０００内の破損画像３００と同一のＸ座標に位置する主画像内の画像である。画像３０４は、画像３０３から、視差ベクトル３１０分だけ移動した位置にある主画像内の画像である。画像３０５は、副画像３０００内の破損画像３００に対する補正画像であり、画像３０４で置き換えた画像である。
【００２７】
図５は、本実施例による多視点画像補正装置の典型的な一例である。以下、図５を用いて説明する。
【００２８】
視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。主画像復号化部１０は、主画像符号化データ１００の復号化処理を行い、主画像１０３を生成するブロックである。また、副画像復号化部１１に対して、主画像１０２を供給するブロックである。
【００２９】
副画像符号化データ１０１には、主画像と副画像の相関情報１０７が含まれている。副画像復号化部１１は、副画像符号化データ１０１を入力とし、上記相関情報１０７を元に、主画像復号化部１０から、必要な主画像１０２を参照して復号化処理を行い、副画像１０４を生成する。相関情報１０７の一例として、副画像の動きベクトル、主画像の動きベクトル、主画像と副画像の視差ベクトル、視点から画像までの距離情報などがある。副画像復号化部１１は、相関情報１０７を視差ベクトル部１２に供給する。
【００３０】
視差ベクトル生成部１２は、主画像１０３と、相関情報１０７を入力とし、副画像内の破損画像周辺画像に対する主画像との視差ベクトル１０８を算出するブロックである。
【００３１】
補正画像生成部１３は、視差ベクトル１０８と、主画像１０３を入力とし、副画像内の破損画像に対する補正画像１０９を生成するブロックである。
【００３２】
副画像補正部１４は、補正画像１０９を用いて、副画像内の破損画像を補正し、補正後の副画像１０５を生成するブロックである。
【００３３】
破損画像、補正画像および副画像内の破損画像を補正した画像の一例として、図３に示す画像３００、画像３０４および画像３０５がある。
【００３４】
図６は、本実施例による多視点画像補正装置の典型的な別の一例である。以下、図６を用いて説明する。
【００３５】
視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。
【００３６】
特徴抽出部２０は、主画像１０３と、副画像１０４から、画像の特徴である特徴情報２００を生成するブロックである。特徴情報の一例として、視点との距離情報、画像の輝度情報、画像の色差情報、画像のエッジ情報などがある。
【００３７】
視差ベクトル生成部２１は、特徴情報２００を用いて、副画像の破損画像周辺画像に対する、主画像の視差ベクトル２０１を生成するブロックである。生成方法の一つの例として、主画像の特徴情報と、副画像の特徴情報のパタン一致を検出する方法がある。
【００３８】
補正画像生成部１３は、視差ベクトル２０１と、主画像１０３を入力とし、副画像内の破損画像に対する補正画像２０２を生成するブロックである。
【００３９】
副画像補正部１４は、補正画像２０２を用いて、副画像内の破損画像を補正し、補正後の副画像１０５を生成するブロックである。
【００４０】
破損画像、補正画像および副画像内の破損画像を補正した画像の一例として、図３に示す画像３００、画像３０４および画像３０５がある。
【００４１】
図４は、図６における特徴情報２００を用いた視差ベクトル２０１の生成方法の一例を示す。以下、図４を用いて説明する。
【００４２】
副画像４０００と主画像４００１は、視差が異なる一対の副画像と主画像である。図中の横軸は、画像の水平方向の座標（Ｘ座標）を示す。また、縦軸は、画像の垂直方向の座標（Ｙ座標）を示す。副画像３０００内に、伝送路上で発生したエラーなどに起因する破損画像３００が含まれ、対応する主画像３００１に破損画像がない場合を例にとる。領域３２０及び領域３２１は、特徴情報２００を抽出する特徴抽出領域を示す。
【００４３】
グラフ４１００は、副画像４０００における特徴情報２００をグラフ化したものである。実線４１１は、特徴抽出領域３２０における画像の特徴情報２００を示す。
【００４４】
グラフ４１０１は、主画像４００１における特徴情報２００をグラフ化したものである。実線４１３は、特徴抽出領域３２１における画像の特徴情報２００を示す。また、点線４１２は、実線４１１をグラフ４１０１上に記載したものである。点線４１２と実線４１３から、視差ベクトル２０１を生成する。
【００４５】
主画像の特徴情報２００と副画像の特徴情報２００のパタンの比較は、実線４１１全体のパタンに対して行ってもよいし、一部パタンに対してのみ行ってもよい。例えば、副画像の特徴情報２００の値が大きく変化した箇所または、その周辺に対してのみ一致検出する方法がある。例えば、特徴情報として、エッジを検出し、エッジ部分に対して、副画像と主画像のずれを算出し、視差ベクトルとする方法がある。
【００４６】
図７は、図６に示す実施例に、主画像補正部１５を追加した多視点画像補正装置の典型的な別の一例である。以下、図７を用いて説明する。
【００４７】
視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。
【００４８】
主画像補正部１５は、伝送路エラー等が原因で、主画像内に破損画像が発生した場合、主画像の破損画像周辺画像、または過去の主画像、または未来の主画像を用いて補正画像を生成し、破損画像と置き換えを行うブロックである。
【００４９】
従来技術では、主画像内に破損画像が発生した場合、主画像内の破損画像を参照する副画像内の画像も破損してしまうが、本実施例を適用することで、上記主画像内の破損画像および、副画像内の破損画像を補正することが出来る。
【００５０】
図８は、図７における主画像内の破損画像及び、副画像内の破損画像を補正する方法の典型的な一例である。以下、図８を用いて説明する。
【００５１】
副画像１８００と主画像１８０１、副画像１８０２と主画像１８０３、副画像１８０４と主画像１８０５は、それぞれ、視差が異なる一対の副画像と主画像である。
【００５２】
画像８００は副画像内の破損画像を示す。画像８０１は主画像内の破損画像を示す。画像８０３は、図７に記載の主画像補正部１５で生成した主画像内の破損画像に対する補正画像である。
【００５３】
視差ベクトル８１０は、図７に記載の視差ベクトル生成部２１で生成した視差ベクトル２００である。本例は、副画像内の破損画像８００に対して、視差ベクトル８１０だけ移動した画像８０３が、主画像内の破損画像８０１の座標と一致する場合を例にとる。
【００５４】
副画像内の破損画像８００を、補正画像８０３で置き換えた画像が、副画像内の破損画像８００と置き換える補正画像８０２となる。
【００５５】
図９は、図７における主画像内の破損画像及び、副画像内の破損画像を補正する方法の典型的な別の一例である。以下、図９を用いて説明する。
【００５６】
副画像１９００と主画像１９０１、副画像１９０２と主画像１９０３、副画像１９０４と主画像１９０５は、それぞれ視差が異なる一対の副画像と主画像である。
【００５７】
主画像１９０３において、斜線で示す領域９５０は、図７に記載の主画像補正部により生成された補正画像２０２である。本例では、元の主画像領域の周辺座標に対する補正画像を生成する。
【００５８】
画像９００は副画像内の破損画像を示す。画像９０３は、図７に記載の主画像補正部１５で生成した主画像内の破損画像に対する補正画像である。
【００５９】
視差ベクトル９１０は、図７に記載の視差ベクトル生成部２１で生成した視差ベクトル２０１である。本例では、副画像内の破損画像９００に対して、視差ベクトル９１０だけ移動した画像９０１が、元の主画像の領域９５０に含まれる場合を例にとる。
【００６０】
副画像内の破損画像９００を、補正画像９０１で置き換えた画像が、画像９０２となる。
【符号の説明】
【００６１】
１３    補正画像生成部
１４    副画像補正部
２０    特徴抽出部
２１    視差ベクトル生成部
１０３  主画像
１０４  副画像
１０５  補正後の副画像
２００  特徴情報
２０１  視差ベクトル
２０２  補正画像
【図１】
0005393593.tif 000002
【図２】
0005393593.tif 000003
【図３】
0005393593.tif 000004
【図４】
0005393593.tif 000005
【図５】
0005393593.tif 000006
【図６】
0005393593.tif 000007
【図７】
0005393593.tif 000008
【図８】
0005393593.tif 000009
【図９】
0005393593.tif 000010