(57)【要約】【課題】  視差フレーム間で対応点をより適正に探索できる技術を提供する。【解決手段】  時間軸上の隣接フレームと立体視用の視差フレームとの情報を含む複数フレーム情報を用いた動画像の高解像度化処理を行う画像処理装置において、複数のフレームを保管する複数のフレームメモリと、前記複数フレーム情報のうち時間軸上の隣接フレームを用い、この隣接フレームから対応点を探索する第１の対応点探索部と、前記複数フレーム情報のうち立体視用の視差フレームである左目用と右目用のフレームを用い、この立体視用のフレームから対応点を探索する第２の対応点探索部と、前記２つの対応点探索部から対応点情報を取得して、補間画素を生成する補間画像生成部とから構成されている画像処理装置。【選択図】  図９
2013247522.tif 000002
【特許請求の範囲】
【請求項１】
時間軸上の隣接フレームと立体視用の視差フレームとの情報を含む複数フレーム情報を用いた動画像の高解像度化処理を行う画像処理装置において、
複数のフレームを保管する複数のフレームメモリと、
前記複数フレーム情報のうち時間軸上の隣接フレームを用い、この隣接フレームから対応点を探索する第１の対応点探索部と、
前記複数フレーム情報のうち立体視用の視差フレームである左目用と右目用のフレームを用い、この立体視用のフレームから対応点を探索する第２の対応点探索部と、
前記２つの対応点探索部から対応点情報を取得して、補間画素を生成する補間画像生成部とから
構成されている画像処理装置。
【請求項２】
前記２つの対応点探索部は、それぞれ、ブロックマッチング部と、少数精度位置合わせ部を有し、前記第２の対応点探索部には、前記視差フレーム間の視差情報を用いる請求項１に記載の画像処理装置。
【請求項３】
前記第２の対応点探索部において、前記視差フレーム間の視差情報から参照となるフレームの対応点の探索開始位置を決定し、この開始位置から対象となるフレームと前記参照となるフレームを用いて対応点情報を算出することを特徴とする請求項１または、請求項２記載の画像処理装置。
【請求項４】
前記補間画像生成部で生成された補間画像を表示するパネルを更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
複数のフレームを保管する複数のフレームメモリを備え時間軸上の隣接フレームと立体視用の視差フレームとの情報を含む複数フレーム情報を用いた動画像の高解像度化処理を行う画像処理装置における画像処理方法であって、
前記複数フレーム情報のうち時間軸上の隣接フレームを用い、この隣接フレームから対応点を探索する第１の対応点探索工程と、
前記複数フレーム情報のうち立体視用の視差フレームである左目用と右目用のフレームを用い、この立体視用のフレームから対応点を探索する第２の対応点探索工程と、
前記２つの対応点探索工程から対応点情報を取得して、補間画素を生成する補間画像生成工程とを含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
通常、複数フレーム情報を用いた動画像の高解像度化処理は、複数の隣接フレームを用いてブロックマッチング手法などにより対応点を算出し、その対応点情報から補間画素を生成して高解像度化処理を行う。
【０００３】
また、３Ｄ用の左目用と右目用の視差フレーム間で高解像度化処理を行うことも同様な方法で試みられている。即ち、視差のある静止画には左目用と右目用の視差フレーム間を用いた高解像度化処理の効果がある。
【０００４】
例えば特許文献１は、複数台のカメラを用いて共通視野内の画像を各カメラのフレーム間で位置合わせ処理や再構成処理により高解像度化処理を行うというものである。つまり、同じカメラで撮像された時間方向に関する対象物の移動方向と移動距離を参照せずに高解像化処理を行う方法である。これは、視差フレーム間の高解像度化処理の例である。
【０００５】
しかしながら、視差フレーム間で対応点を算出しようとする場合、立体の表示方法によっては、対応する画素がブロックマッチング手法などの探索範囲を大きく超えてしまい、対応する画素を算出できないという問題があった。
【０００６】
そこで、視差フレーム間で対応点をより適正に探索できる技術への要望がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１８０７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の実施の形態は、視差フレーム間で対応点をより適正に探索できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、実施形態によれば画像処理装置は、時間軸上の隣接フレームと立体視用の視差フレームとの情報を含む複数フレーム情報を用いた動画像の高解像度化処理を行う画像処理装置であって、複数のフレームを保管する複数のフレームメモリと、前記複数フレーム情報のうち時間軸上の隣接フレームを用い、この隣接フレームから対応点を探索する第１の対応点探索部と、前記複数フレーム情報のうち立体視用の視差フレームである左目用と右目用のフレームを用い、この立体視用のフレームから対応点を探索する第２の対応点探索部と、前記２つの対応点探索部から対応点情報を取得して、補間画素を生成する補間画像生成部とから構成されている。
【図面の簡単な説明】
【００１０】
【図１】この発明の一実施形態に関わる動画像のフレームを説明するために示す図。
【図２】同実施形態の複数のフレーム情報を用いた高解像度化処理を示す図。
【図３】同実施形態の画像補間生成を説明するために示す図。
【図４】同実施形態の構成図高解像度化処理装置の例を示すブロック構成図。
【図５】同実施形態に用いられる対応点探索部の構成図。
【図６】同実施形態のブロックマッチング手法を示す図。
【図７】同実施形態に用いられるフレーム内の5×5画素ブロックを説明するために示す図。
【図８】同実施形態に用いられる視差画像を含む動画像のフレームを説明するために示す図。
【図９】実施例の要部の構成図。
【図１０】視差画像対応探索部の実施例を説明するために示す図。
【図１１】視差画像の説明図。
【図１２】視差画像対応探索部の処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、実施形態を図１乃至図１２を参照して説明する。
【００１２】
まず以下では、基本となる高解像度化処理の手法について簡単に説明する。図１は、一実施形態に関わる動画像のフレームを説明するために示す図である。また図２は、実施形態の複数のフレーム情報を用いた高解像度化処理を示す図である。また図３は、実施形態の画像補間生成を説明するために示す図である。
【００１３】
まず図１に、移動する物体が時間順に連続するＮ−１番目、Ｎ番目、Ｎ＋１番目といったフレームで表現される様子を示す。このように連続するフレームで表現される動画像において、複数のフレーム情報を用いて入力画像よりも高解像度な画像を生成する仕組みを図２に示す。いま、Ｎ−１番目、Ｎ番目、Ｎ＋１番目の各フレーム内に、実線で示す交点に画素が並んでいるとすると、Ｎ番目フレームの点線で示す交点に補間画素を生成し、縦横それぞれ２倍の画素数を持つ画像に変換する場合を述べる。補間画素を推測する際に、Ｎ番目フレーム中の画素(●で示す)のみを使用したのでは情報が不足しているため高解像度化することはできない。そこで、図３に示すように、Ｎ番目フレームの前後フレームから対応する画素情報として、Ｎ−１番目から▲で示す画素情報、Ｎ＋１番目からは◆で示す画素情報を持ってくることで、より正確に補間画素(○で示す)を推測することができるため高解像度化が可能となる。なお、□で表した点については後述する。
【００１４】
次に、図４に高解像度化処理装置の基本例となる構成図を示す。液晶表示などのパネル４５を出力機器とし、従来からの２D画像を扱うのには充分な構成である。
【００１５】
入力信号はフレームメモリ１０１と、対応点探索部１０３に入力される。フレームメモリ１０１から出力された１フレーム遅延信号は、別のフレームメモリ１０２と、対応点探索部１０３に入力される。このとき、補間画像を生成する対象となる前記Ｎ番目フレームとして前記１フレーム遅延信号が、補間画像生成部１０４に入力される。フレームメモリ１０２から出力された２フレーム遅延信号は、対応点探索部１０３に入力される。対応点探索部１０３に入力された、前記入力信号と、１フレーム遅延信号と、２フレーム遅延信号から、対応点探索部１０３は対応点情報を算出してこの対応点情報が補間画像生成部１０４に入力され、例えば、加重平均法などを用いて補間画像生成部１０４は補間画素を生成し画像を出力する。ここで、図２に示したように、Ｎ−１番目フレームの情報をＮ番目フレームに持ってくるには、Ｎ−１番目フレーム内の各画素がＮ番目フレームのどこの座標に対応するかを算出する必要がある。
【００１６】
そこで、算出方法として、ブロックマッチング手法を用いた対応点探索部１０３の構成図を図５に示す。対応点探索部１０３には、対象信号(Ｎ番目)として１フレーム遅延信号が、参照信号(Ｎ＋１番目、Ｎ−１番目)として入力信号、及び２フレーム遅延信号が入力される。入力された対象信号と参照信号は、ブロックマッチング部１０５ａ、１０５ｂに入力され、整数精度の対応点を算出した後、小数精度位置合わせ部１０６ａ、１０６ｂに入力され、Ｎ番目とＮ−１番目から求めた対応点情報及び、Ｎ番目とＮ＋１番目から求めた対応点情報が出力される。
【００１７】
ここで、ブロックマッチング手法による対応点探索の様子を図６に示す。いま、Ｎ番目フレーム内のある画素(注目画素)がＮ＋１番目フレームのどの座標に位置するかを調べるとする。注目画素を中心とする画素ブロック(ここでは、５×５画素を例とする)と相関の高い画素ブロックを、Ｎ＋１番目フレーム内から探し出すという処理を行う。
【００１８】
画素ブロックの相関を評価する関数には、差分の絶対値の総和(ＳＡＤ)や、差分の二乗の総和(ＳＳＤ)がよく使用される。図７のようにＮ番目フレーム内の画素ブロックとＮ＋１番目フレーム内の画素ブロックがあるとすると、ＳＡＤとＳＳＤはそれぞれ以下の式（１）と（２）で表される。ただし、ＡijとＢijはそれぞれ輝度値を示す。
【００１９】
【数１】
2013247522.tif 000003
【数２】
2013247522.tif 000004
図６のようにＮ＋１番目フレーム中を順次走査していき、画素ブロックのＳＡＤが最も小さくなる位置が、整数精度で求めた対応点ということになる。ブロックマッチングの後、小数精度の位置合わせを行う。小数精度の位置合わせには、ＳＡＤの値からフィッティング関数を使用して求める方法などが広く使われる。
【００２０】
以上のような処理が、基本となる複数フレーム情報を用いた動画像の高解像度化処理であるが、上述したように、時間軸方向の隣接フレーム間を使用する場合、静止画では高解像度化できないことから、シャッタ式、裸眼式などで表示される視差画像で３Ｄ表示する静止画ついても高解像度化することは出来ない。
【００２１】
一方で、３Ｄ表示する視差画像に特化した高解像度化処理は既知であるが、視差画像を用いる場合は、視差フレーム間で対応点を算出しようとする場合、立体の表示方法によっては、対応する画素がブロックマッチング手法などの探索範囲を大きく超えてしまい、対応する画素を算出できない。さらには、視差のない画像や、時間軸方向で変化する動画も高解像度化できない。
【００２２】
つまり、隣接フレーム間を用いる場合、視差画像を含むような静止画には高解像度化処理の効果はなく、一方、視差フレーム間を用いる場合、最適な対応点探索が出来ない、時間軸方向で変化する動画には効果が無いという問題があった。
【００２３】
そこで、隣接フレーム間から算出される対応点情報と、視差フレーム間と、左目用と右目用の対象となる画素毎の距離(視差情報)から探索の開始位置を求め、ブロックマッチング手法などにより算出される対応点情報を用いる事で、より精度の高い高解像度化処理を行う方法を説明する。
【００２４】
以下では、本実施形態の画像処理装置の構成図と実施例について説明する。図８に移動する物体が連続する視差画像を含むフレームで表現される様子を、図９に本提案の第一の実施例の構成図を示す。
【００２５】
図９に示すように、左目用（Ｌ画像）と右目用（Ｒ画像）で別々に画像処理装置１００の構成を配置しているが、Ｌ画像、Ｒ画像共に、動作などは同一である。また、図示したように、画像処理装置を別々に配置せず、入力されるＬ画像とＲ画像を時分割に切り替えながら一つの画像処理装置の構成を配置して使用することも可能である。
【００２６】
以下では、Ｌ画像側を例に挙げて説明する（R画像側も同様である）。入力信号(Ｌ)はフレームメモリ１０１と、対応点探索部１０３に入力される。フレームメモリ１０１から出力された１フレーム遅延信号(Ｌ)は、別のフレームメモリ１０２と、対応点探索部１０３に入力される。このとき、補間画素を生成する対象となるＮ番目フレームとして１フレーム遅延信号(Ｌ)が、補間画素生成部１０４に入力される。フレームメモリ１０２から出力された２フレーム遅延信号(Ｌ)は、対応点探索部１０３に入力される。対応点探索部１０３に入力された、前記入力信号(Ｌ)と、１フレーム遅延信号(Ｌ)と、２フレーム遅延信号(Ｌ)から、対応点情報を算出して補間画像生成部１０４に入力され、例えば、加重平均法などを用いて補間画素を生成し画像を出力する。ここまでの対応点探索部１０３、及び補間画素生成部１０４の処理方法などは、先に説明したものと同様であるので省略する。
【００２７】
また、１フレーム遅延信号(Ｌ)と、Ｒ側の１フレーム遅延信号(Ｒ)と、ＬとＲ画像データから得られる視差情報が、視差画像対応点探索部１０５に入力される。入力された視差情報から、視差画像対応点探索部１０５は探索の開始位置を求め、ブロックマッチング手法などにより算出した対応点情報（図３のF相当）を補間画素生成部１０４に出力する。補間画素生成部１０４では、隣接フレーム間から得られた対応点情報と、視差フレーム間から得られた対応点情報が入力され、それぞれの対応点情報を考慮して、例えば、対応点位置及び輝度などの対応点情報から加重平均法などを用いて補間画素を生成し画像を出力する。
【００２８】
次に、視差画像対応点探索部１０５の実施例を図１０に示す。Ｌ画像(対象フレーム)とＲ画像(参照フレーム)の１フレーム遅延信号と視差情報が、ブロックマッチング１０６に入力された後、小数精度の位置合わせ部１０７に入力される。ここで、入力される視差情報は、Ｌ画像とＲ画像の対応する画素の視差量(画素距離)である。
【００２９】
ここで、図１２で視差量Ｓを立体画像の静止画を用いて説明する。図１２(ａ)は、四角い箱２０２が表示パネル上に存在する、つまり２Ｄ表示状態の時を示している。Ｌ画像フレーム２０３とＲ画像フレーム２０４を重ねて表示したものが２０５であるが、図示しているようにＬ画像とＲ画像が重なっている。一方、図１２(ｂ)は、四角い箱２０２が表示パネルとユーザの間に存在する、つまり、３Ｄ表示状態の時を示している。Ｌ画像フレーム２０６とＲ画像フレーム２０７を重ねて表示したものが２０８であるが、図示しているようにＬ画像とＲ画像がある距離Ｓの間隔でずれている。
【００３０】
このズレ量が視差量Ｓである。この視差量Ｓの間隔によりどの位置で物体が見えるかが決まる。また、視差量Ｓは、入力された視差画像から算出する場合もあれば、既に情報として入力される場合も考えられる。さらには、２Ｄ画像から３Ｄ画像を生成するシステムを有しているような映像表示装置では、自ら視差量Ｓを生成する場合もある。したがって、ここでは、視差情報である視差量Ｓについては、特に生成方法などを特定しない。
【００３１】
通常、視差フレーム間で探索を行うと、前述したように対応する点が、視差量だけ離れるため、例えば、５×５サイズの範囲で検索すると、立体表示の程度によっては、探索範囲外となり、対応点がないと判断してしまい、高解像度化処理を行う事が出来なかった。そこで、視差情報である視差量Ｓを用いることで、高解像度化処理を行うことを可能とする。但し、視差量Ｓは、画素毎に正確な値である場合もあれば、大まかな値である場合も考えられる。
【００３２】
そこで、Ｌ画像を対象フレーム、Ｒ画像を参照フレームとして図１２を参照して説明する。Ｌ画像フレームとＲ画像フレームの視差情報から、視差画像対応点探索部１０５は対応点の近傍を推測できる。つまり、入力された視差情報の値からブロックマッチング部１０６で探索開始位置を決定する。この探索開始位置からブロックマッチング手法によってブロックマッチング部１０６は整数精度で対応点を算出し（ステップＳ１２１）、ＳＡＤの値からフィッティング関数を使用して小数精度位置合わせ部１０７は小数精度の位置合わせを行い（ステップＳ１２２）、視差画像対応点探索部１０５は対応点情報として出力する（ステップＳ１２３）。これにより、通常、ブロックマッチング手法では探索範囲を大きく逸脱して算出できない場合でも、視差情報から対応点近傍を推測できるため、ブロックマッチングでも的確に探索できる。
【００３３】
通常、複数フレーム情報を用いた動画像の高解像度化処理は、複数の隣接フレームを用いてブロックマッチング手法などにより対応点を算出し、その対応点情報から補間画素を生成して高解像度化処理を行う。また、３Ｄ用の左目用と右目用の視差フレーム間で高解像度化処理を行うことも同様な方法で試みられている。
【００３４】
時間軸方向の隣接フレームを使用する場合は、静止画などで高解像度化できないことから、シャッタ式、裸眼式などで表示されるような視差画像で３Ｄ表示する静止画についても高解像度化することが出来なかった。また、３Ｄ表示する視差フレームを使用する場合は、視差フレーム間で対応点を算出しようとする場合、立体の表示方法によっては、対応する画素がブロックマッチング手法などの探索範囲を大きく超えてしまい、対応する画素を算出できない。さらには、時間軸方向に変化する動画でも高解像度化できなかった。
【００３５】
つまり、動画では隣接フレーム間を用いた高解像化処理の効果はあるが、静止画では効果は無い。一方、視差のある静止画には左目用と右目用の視差フレーム間を用いた高解像化処理の効果はあるが、視差のない画像や、時間軸方向で変化する動画には効果が無いという問題があった。
【００３６】
そこで、隣接フレーム間から算出される対応点情報と、左目用と右目用の対象となる視差フレーム間の対象となる画素毎の距離(視差情報)から探索の開始位置を求め、ブロックマッチング手法などにより算出される対応点情報を用いる事で、より精度の高い高解像度化処理を行う方法を可能にした。つまり、隣接フレーム間の対応点情報と、視差フレーム間の対応点情報を基に高解像度化処理を行うため、従来より精度の高い処理が出来る。
【００３７】
＜実施形態のポイントの補足＞
以上説明した実施例によれば次のような特徴を有することができる。
【００３８】
（１）複数フレーム情報を用いた動画像の高解像度化処理において、前記複数フレーム情報には、時間軸上の隣接フレーム、及び、立体視用の左目用と右目用のフレームを用い、複数のフレームデータを保管する複数のフレームメモリと、前記隣接フレームから対応点を探索する対応点探索部と、前記立体視用のフレームから対応点を探索する視差画像対応点探索部と、前記２つの対応点探索部から対応点情報を取得して、補間画素を生成する補間画像生成部から構成されていることを特徴とする画像処理装置。
【００３９】
（２）前記隣接フレームから対応点を探索する対応点探索部と、前記立体視用フレームから対応点を探索する視差画像対応点探索部は、それぞれ、ブロックマッチング部と、少数精度位置合わせ部を有し、前記視差画像対応点探索部には、視差フレーム間の視差情報を用いる事を特徴とする（１）記載の画像処理装置。
【００４０】
（３）前記視差画像対応点探索部において、参照となるフレームの対応点を視差フレーム間の視差情報から探索開始位置を決定し、前期開始位置から対象となるフレームと前記参照となるフレームを用いて対応点情報を算出することを特徴とする（１）、（２）記載の画像処理装置。
【００４１】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【００４２】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００４３】
４５…パネル、１０１…フレームメモリ、１０２…フレームメモリ、１０３…対応点探索部、１０４…補間画像生成部、１０５…ブロックマッチング部、１０６…小数精度位置合わせ部。
【図１】
2013247522.tif 000005
【図２】
2013247522.tif 000006
【図３】
2013247522.tif 000007
【図４】
2013247522.tif 000008
【図５】
2013247522.tif 000009
【図６】
2013247522.tif 000010
【図７】
2013247522.tif 000011
【図８】
2013247522.tif 000012
【図９】
2013247522.tif 000013
【図１０】
2013247522.tif 000014
【図１１】
2013247522.tif 000015
【図１２】
2013247522.tif 000016