(57)【要約】【課題】インターレース信号による立体映像を精細度が高いプログレッシブ信号に変換することが求められている。【解決手段】立体映像の左右映像信号のいずれか一方のインターレース映像信号と、前後のインターレース映像信号と、を用いて一方の映像信号の動きを示す第１の動き判別信号を出力する動き判別部と、第１の動き判別信号に基づいて、一方のインターレース映像信号を、プログレッシブ映像信号へ変換する第１の補間部と、左右一方のインターレース映像信号から立体映像信号の左右の視差量を検出する視差検出部と、視差量に基づいて、他方の映像信号の動きを示す第２の動き判別信号を算出する視差補償部と、第２の動き判別信号に基づいて、他方のインターレース映像信号を、プログレッシブ映像信号へ変換する第２の補間部と、を備える。【選択図】図１
2011228927.tif 000002
【特許請求の範囲】
【請求項１】
インターレース信号により構成される立体映像の左右の映像信号を、それぞれプログレッシブ信号に変換する立体映像信号処理装置であって、
前記立体映像の左眼用、または、右眼用映像信号のいずれか一方のインターレース映像信号と、該インターレース映像信号と時間的に異なる別のインターレース映像信号と、を用いて前記一方の映像信号の動きを示す第１の動き判別信号を出力する動き判別部と、
前記第１の動き判別信号に基づいて、前記一方のインターレース映像信号を、プログレッシブ映像信号へ変換する第１の補間部と、
左眼用、又は、右眼用の前記一方のインターレース映像信号と、他方のインターレース映像信号と、から立体映像信号の左右の視差量を検出する視差検出部と、
前記視差量に基づいて、前記他方の映像信号の動きを示す第２の動き判別信号を算出する視差補償部と、
前記第２の動き判別信号に基づいて、前記他方のインターレース映像信号を、プログレッシブ映像信号へ変換する第２の補間部と、
を備える立体映像信号処理装置。
【請求項２】
前記動き判別部は、左眼用、又は、右眼用の映像信号の一方のインターレース映像信号と、該インターレース映像信号より２フィールド前のインターレース映像信号と、を用いて前記第１の動き判別信号を出力し、
前記第１の補間部は、前記第１の動き判別信号に基づいて、前記一方のインターレース映像信号と、該インターレース映像信号の１フィールド前の映像信号と、から該一方のインターレース映像信号をプログレッシブ映像信号へ変換し、
前記第２の補間部は、前記第２の動き判別信号に基づいて、前記他方のインターレース映像信号と、該インターレース映像信号の１フィールド前の映像信号と、から該他方のインターレース映像信号をプログレッシブ映像信号へ変換する、
請求項１に記載の立体映像信号処理装置。
【請求項３】
前記動き判別部は、左眼用、又は、右眼用の映像信号の一方のインターレース映像信号と、該インターレース映像信号より１フィールド前のインターレース映像信号と、該インターレース映像信号より１フィールド後のインターレース映像信号と、を用いて前記第１の動き判別信号を出力し、
前記第１の補間部は、前記第１の動き判別信号に基づいて、前記一方のインターレース映像信号と、該インターレース映像信号の１フィールド前の映像信号又は該インターレース映像信号の１フィールド後の映像信号の少なくとも一方の映像信号と、から該一方のインターレース映像信号をプログレッシブ映像信号へ変換し、
前記第２の補間部は、前記第２の動き判別信号に基づいて、前記他方のインターレース映像信号と、該インターレース映像信号の１フィールド前の映像信号又は該インターレース映像信号の１フィールド後の映像信号の少なくとも一方の映像信号と、から該他方のインターレース映像信号をプログレッシブ映像信号へ変換する、
請求項１に記載の立体映像信号処理装置。
【請求項４】
前記視差検出部は、左眼用のインターレース映像信号と右眼用のインターレース映像信号とで表示される同一の表示物の左右の表示位置の相違に基づいて視差を検出する際に、左眼用のインターレース映像信号で表示される表示物と、該表示物が左眼用のインターレース映像表示面上で表示されている位置を基準位置として、右眼用のインターレース映像表示面における該基準位置から左側に表示される表示物と、を同一の表示物として視差を検出する、
請求項１乃至３のいずれかに記載の立体映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像信号のＩＰ変換機能を有する立体映像信号処理装置に関する。
【背景技術】
【０００２】
飛び越し走査信号（以下インターレース信号）を順次信号（以下プログレッシブ信号）に変換するインターレース・プログレッシブ変換（以下ＩＰ変換）においては、画質改善のため、複数のフィールドに渡る映像信号から映像の動きを検出してその結果に基づいて走査線の補間を行う、動き適応インターレース・プログレッシブ変換（以下、動き適応ＩＰ変換）と呼ばれる方法が用いられる（特許文献１、特許文献２）。
【０００３】
図４のように立体映像信号として左眼用と右眼用の２系統のインターレース信号が並列に伝送される場合のＩＰ変換においても、画質改善のために動き適応ＩＰ変換を用いることが望ましい。
【０００４】
図５は立体映像信号に対応した従来のＩＰ変換システムの構成例である。図５において、５０１と５０２、と５１１と５１２は各々入力されるインターレース信号の１フィールド遅延信号を生成するフィールドメモリであり、５０３と５１３は立体映像信号の左右各々１フィールド前信号と１フィールド後信号を入力として動きのある映像か静止している映像かを判別して動き判別信号を出力する動き判別回路であり、５０４と５１４は各々現フィールド信号と１フィールド後信号と１フィールド前信号と前記動き判別信号を入力としてプログレッシブ信号を出力する補間回路である。
【０００５】
また図６は前記補間回路５０４と５１４における補間動作を示す。図５の従来のＩＰ変換システムの動作を、図６を用いて説明する。まず右眼用現フィールド（ｎフィールド）ので第ｍラインを（以下、位相（ｎ，ｍ）とする）を補間する場合を考える。位相（ｎ，ｍ）に対応する右眼用１フィールド後信号（ｎ＋１，ｍ）と右眼用１フィールド前信号（ｎ−１，ｍ）が動き判別回路５０３へ入力され両信号の差分等により動き判別が行われる。前記動き判別回路５０３で静止している映像と判別された場合は補間回路５０４において図６（ａ）のように前後フィールドの同じ位相にある信号から右眼用現フィールドの補間（フィールド間補間）が行われて右眼用プログレッシブ信号が出力される。反対に、前記動き判別回路５０３で動きのある映像と判別された場合は補間回路５０４において図６（ｂ）のように現フィールドの上下位相にある信号から右眼用現フィールドの補間（フィールド内補間）が行われる右眼用プログレッシブ信号が出力される。
【０００６】
後者の場合は、同じフィールド内でその上下に位置する２つのラインの画像データから生成するため、生成された画素データに時間のずれが生じにくくなり、動画表示の際に適切な画素の補間ができる。
【０００７】
前記動き判別回路５０３の出力は、静止している映像か、又は、動きのある映像の２値判別とは限らず、動きの大きさに応じて多値で出力されることがある。この場合は動きの大きさに応じて前記フィールド間補間と前記フィールド内補間で生成される映像の双方を用いて右眼用プログレッシブ信号が出力され、動きが大きいほど前記フィールド内補間で生成される映像が支配的であり、動きが小さいほど前記フィールド間補間で生成される映像が支配的となるように合成される。左眼用信号に対する処理も右眼用と同様であるのでここでは説明を省略する。
【０００８】
図７は立体映像信号に対応した従来のＩＰ変換システムの別の構成例である。図７において、７０１と７０２、と７１１と７１２は各々入力されるインターレース信号の１フィールド遅延信号を生成するフィールドメモリであり、７０３と７１３は各々２フィールド前信号と現フィールド信号を入力として動きのある映像か静止している映像かを判別して動き判別信号を出力する動き判別回路であり、７０４と７１４は各々現フィールド信号と１フィールド前信号と前記動き判別信号を入力としてプログレッシブ信号を出力する補間回路である。
【０００９】
また図８は前記補間回路７０４と７１４における補間動作を示す。図７の従来のＩＰ変換システムの動作を図８を用いながら説明する。まず右眼用現フィールドで補間される位相（ｎ、ｍ）の動き判別を行うため前記位相近傍に対応する右眼用２フィールド前信号（ｎ−２，ｍ−１）および（ｎ−２，ｍ＋１）と右眼用現フィールド信号（ｎ，ｍ−１）および（ｎ，ｍ＋１）が動き判別回路４０３へ入力され近傍位相（ｎ，ｍ−１）および（ｎ，ｍ＋１）の動きから位相（ｎ、ｍ）の動き判別が行われる。例えば（ｎ，ｍ−１）および（ｎ，ｍ＋１）が共に静止している映像であれば（ｎ、ｍ）も静止している映像と判別される。
【００１０】
前記動き判別回路７０３で静止している映像と判別された場合は補間回路７０４において図８（ａ）のように右眼用１フィールド前信号の同じ位相にある信号から右眼用現フィールドの補間（フィールド間補間）が行われて右眼用プログレッシブ信号が出力される。また前記動き判別回路７０３で動きのある映像と判別された場合は補間回路７０４において図８（ｂ）のように現フィールドの上下位相にある信号から右眼用現フィールドの補間（フィールド内補間）が行われる右眼用プログレッシブ信号が出力される。左眼用信号に対する処理も右眼用と同様であるのでここでは説明を省略する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１０−１１２８４５号公報
【特許文献２】特開２００５−２７７５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
前記従来の技術によれば、静止している映像では現フィールド信号では欠落している信号と相関が高い前後フィールドの信号により補間されるため垂直方法の精細度が高いプログレッシブ信号を生成可能となるが、動きのある映像を誤って静止している映像と判別してフィールド間補間を行うと現フレームで欠落している信号と相関の低い前後フィールドの信号により補間されるためジャギー等が目立つプログレッシブ信号を生成してしまいフィールド内補間に比較して画質を損なう場合がある。
【００１３】
また、立体映像信号に対しては左右独立に動き検出回路が必要であり高コストである上に、前記誤検出も左右独立に発生するために左右視差映像に不整合が生じて違和感があった。
【００１４】
そこで本出願の発明は、立体映像におけるインターレース信号からプログレッシブ信号への変換を、従来と比して、より簡便な構成で立体映像の動き予測をおこない、また立体映像の左右の映像で整合を保って変換することを目的とする。
【課題を解決するための手段】
【００１５】
本出願の立体映像信号処理装置は、インターレース信号による構成される絵一体映像の左右の映像信号をそれぞれ、プログレッシブ信号に変換する処理装置であって、立体映像の左眼用、または、右眼用映像信号のいずれか一方において、インターレース映像信号と、該インターレース映像信号とは時間的に異なる別のインターレース映像信号と、を用いて一方の映像信号の動きを示す第１の動き判別信号を出力する動き判別部と、第１の動き判別信号に基づいて、一方のインターレース映像信号を、プログレッシブ映像信号へ変換する第１の補間部と、左眼用、又は、右眼用の一方のインターレース映像信号と、他方のインターレース映像信号と、から立体映像信号の左右の視差量を検出する視差検出部と、視差量に基づいて、他方の映像信号の動きを示す第２の動き判別信号を算出する視差補償部と、第２の動き判別信号に基づいて、前記他方のインターレース映像信号を、プログレッシブ映像信号へ変換する第２の補間部と、を備える。
【００１６】
また、上記の立体映像信号処理装置において、動き判別部は、左眼用、又は、右眼用の映像信号の一方のインターレース映像信号と、２フィールド前のインターレース映像信号と、を用いて第１の動き判別信号を出力し、第１の補間部は、第１の動き判別信号に基づいて、一方のインターレース映像信号と、１フィールド前の映像信号と、からインターレース映像信号をプログレッシブ映像信号へ変換し、第２の補間部は、第２の動き判別信号に基づいて、他方のインターレース映像信号と、１フィールド前の映像信号と、から他方のインターレース映像信号をプログレッシブ映像信号へ変換する、ものであってもよい。
【００１７】
また、同様に上記の立体映像信号処理装置において、動き判別部は、左眼用、又は、右眼用の映像信号の一方のインターレース映像信号と、１フィールド前のインターレース映像信号と、１フィールド後のインターレース映像信号と、を用いて第１の動き判別信号を出力し、第１の補間部は、第１の動き判別信号に基づいて、一方のインターレース映像信号と、１フィールド前の映像信号又は１フィールド後の映像信号の少なくとも一方の映像信号と、からインターレース映像信号をプログレッシブ映像信号へ変換し、第２の補間部は、第２の動き判別信号に基づいて、他方のインターレース映像信号と、１フィールド前の映像信号又は１フィールド後の映像信号の少なくとも一方の映像信号と、から他方のインターレース映像信号をプログレッシブ映像信号へ変換する、ものであってもよい。
【００１８】
さらに、立体映像信号処理装置において、視差検出部は、左眼用のインターレース映像信号と右眼用のインターレース映像信号とで表示される同一の表示物の左右の表示位置の相違に基づいて視差を検出する際に、左眼用のインターレース映像信号で表示される表示物と、該表示物が表示面上で表示されている位置を基準位置として、右眼用のインターレース映像信号における該基準位置から左側に表示される表示物と、を同一の表示物として視差を検出する、ものであってもよい。
【発明の効果】
【００１９】
本発明は前記した構成により、従来の構成に比較してフィールドメモリと動き判別回路を削減することができると共に、左眼用と右眼用のＩＰ変換における動き検出精度の差を低減できることが可能となった。そのため、立体映像信号におけるインターレース信号からプログレッシブ信号への変換を、従来と比して、より簡便な構成をおこない、また、立体映像の左右の映像で整合を保って変換することも実現する。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一の実施例におけるＩＰ変換システムの構成例を示す図
【図２】本発明の第一の実施例における視差検出動作の例を示す図
【図３】本発明の第二の実施例におけるＩＰ変換システムの構成例を示す図
【図４】従来の立体映像信号の並列伝送の例を示す図
【図５】従来の立体映像信号に対応した従来のＩＰ変換システムの構成例を示す図
【図６】従来のＩＰ変換システムの補間動作の例を示す図
【図７】従来の立体映像信号に対応した従来のＩＰ変換システムの構成例を示す図
【図８】従来のＩＰ変換システムの補間動作の例を示す図
【発明を実施するための形態】
【００２１】
（実施の形態１）
図１は本実施の形態におけるＩＰ変換システム（立体映像信号処理装置）の構成例である。図１において、１０１は右眼用第ｎフィールドのインターレース信号を入力して右眼用第ｎ−１フィールドのインターレース信号を出力するフィールドメモリであり、１０２は前記右眼用第ｎ−１フィールドのインターレース信号を入力して右眼用第ｎ−２フィールドのインターレース信号を出力するフィールドメモリであり、１０３は前記右眼用第ｎフィールドのインターレース信号と前記右眼用第ｎ−２フィールドのインターレース信号を入力して動きのある映像か静止している映像かを判別して右眼用動き判別信号を出力する動き判別回路であり、１０４は前記右眼用第ｎフィールドのインターレース信号と前記右眼用第ｎ−１フィールドのインターレース信号と前記右眼用動き判別信号を入力して右眼用プログレッシブ信号を出力する補間回路であり、１１１は左眼用第ｎフィールドのインターレース信号を入力して左眼用第ｎ−１フィールドのインターレース信号を出力するフィールドメモリであり、
１２１は前記右眼用第ｎフィールドのインターレース信号と前記左眼用第ｎフィールドのインターレース信号を入力して前記左眼用第ｎフィールドのインターレース信号に対する前記右眼用第ｎフィールドのインターレース信号の視差を検出して視差情報を出力する視差検出回路であり、１２２は前記右眼用動き判別信号と前記視差情報を入力して左眼用動き判別信号を出力する視差補償回路であり、１１４は前記左眼用第ｎフィールドのインターレース信号と前記左眼用第ｎ−１フィールドのインターレース信号と前記左眼用動き判別信号を入力して左眼用プログレッシブ信号を出力する補間回路である。
【００２２】
図１のフィールドメモリ１０１、フィールドメモリ１０２、フィールドメモリ１１１、動き判別回路１０３、補間回路１０４、補間回路１１４は各々図７のフィールドメモリ７０１、フィールドメモリ７０２、フィールドメモリ７１１、動き判別回路７０３、補間回路７０４、補間回路７１４と同様であるので説明を省略する。
【００２３】
視差検出回路１２１では、右眼用動き判別信号から左眼用動き判別信号を生成するために必要な左右映像信号の視差を検出する。第ｎフィールドにおいては第ｍラインの映像信号が欠落しているため、少なくとも隣接する第ｍ−１ラインおよび第ｍ＋１ラインを含む第ｎフィールドのインターレース信号を用いて第ｍラインにおける視差情報を算出する。例えば第ｍ−１ラインにおける視差情報と第ｍ＋１ラインにおける視差情報を独立に算出して、その平均値を第ｍラインにおける視差情報とすることができる。
【００２４】
図２は第ｍ−１ラインにおける視差情報についての説明図である。図２において（ａ）は右眼用第ｎフィールドのインターレース信号の第ｍ−１ラインの映像信号であり、（ｂ）は左眼用第ｎフィールドのインターレース信号の第ｍ−１ラインの映像信号である。立体映像信号として左眼用と右眼用の２系統のインターレース信号が並列に伝送される場合において、右眼用映像信号に含まれる被写体等は左眼用映像信号においても概ね含まれる場合が多いが、視差に応じて各々で映像の位置や被写体の内容が異なる。
【００２５】
視差情報を検出する具体的な方法として、例えば左眼用映像信号の第ｋ番目の画素Ｌ（ｋ）と前後３画素を含む映像信号と、右眼用映像信号の第ｘ番目の画素Ｒ（ｘ）と前後３画素を含む映像信号の各画素について差分の絶対値の総和Ｓ（ｘ）を算出してＳ（ｘ）が最小となるｘを探索することで視差情報ｘ−ｋを検出することができる。このときＳ（ｘ）は、
Ｓ（ｘ）＝Σ｛｜Ｌ（ｋ−ｉ）−Ｒ（ｘ−ｉ）｜｝
（ただしｉ＝−３、−２、−１、・・・、３）
である。
【００２６】
特にレンズ光軸を平行に保つ平行法で撮像された立体映像信号である場合には、左眼用インターレース信号における被写体に対応する右眼用インターレース信号における被写体の表示位置ｘは、前記左眼用インターレース信号における映像の表示位置ｋよりも左側にある。よってｘの探索範囲はｘ＜ｋとするのが処理速度向上の観点から効果的である。
【００２７】
図２において左眼用映像信号の第ｋ番目の画素に対応する右眼用映像信号は第ｋ−２番目の画素であり、その視差情報は−２となる。第ｍ＋１ラインにおいても同様に左眼用映像信号の第ｋ番目の画素に対応する右眼用映像信号は第ｋ−２番目の画素であったとき、第ｍラインの第ｋ番目の画素の視差情報は−２なる。視差情報に少数点以下の情報が含まれる場合は整数に丸めることができる。
【００２８】
なお、上記で述べた視差情報検出手段は一例であり、たとえば別の手法としてブロックマッチングの手法を用いて視差を算出しても良い。
【００２９】
視差補償回路１２２では、前記視差情報に基づいて左眼用動き判別信号を生成する。すなわち第ｍラインにおいて、左眼用映像信号の第ｋ番目の画素における視差情報が−２であるとき、右眼用映像信号の第ｋ−２番目の画素に対応する右眼用動き判別信号を左眼用映像信号の第ｋ番目の画素に対応する左眼用動き判別信号として出力する。
【００３０】
左眼用動き判別信号は対応する右眼用動き判別信号と等しいと考えて、左右独立に誤検出が発生せずに左右視差映像に不整合が生じにくい。また図７に示す従来のＩＰ変換システムに比較してフィールドメモリ７１２に対応するメモリを削減可能である。
【００３１】
以上のように、視差検出回路と視差補償回路を備え右眼用動き判別信号から左眼用動き判別信号を生成することによって左右表示画像間に不整合が少なく安価なＩＰ変換機能を有する立体映像信号処理装置を提供することが可能である。
【００３２】
（実施の形態２）
図３は本実施の形態におけるＩＰ変換システムの構成例である。図３において、３０１は右眼用第ｎ＋１フィールドのインターレース信号を入力して右眼用第ｎフィールドのインターレース信号を出力するフィールドメモリであり、３０２は前記右眼用第ｎフィールドのインターレース信号を入力して右眼用第ｎ−１フィールドのインターレース信号を出力するフィールドメモリであり、３０３は前記右眼用第ｎ＋１フィールドのインターレース信号と前記右眼用第ｎ−１フィールドのインターレース信号を入力して動きのある映像か静止している映像かを判別して右眼用動き判別信号を出力する動き判別回路であり、３０４は前記右眼用第ｎフィールドのインターレース信号と前記右眼用第ｎ−１フィールドのインターレース信号と前記右眼用第ｎ＋１フィールドのインターレース信号と前記右眼用動き判別信号を入力して右眼用プログレッシブ信号を出力する補間回路であり、３１１は左眼用第ｎ＋１フィールドのインターレース信号を入力して左眼用第ｎフィールドのインターレース信号を出力するフィールドメモリであり、３１２は前記左眼用第ｎフィールドのインターレース信号を入力して左眼用第ｎ−１フィールドのインターレース信号を出力するフィールドメモリであり、３２１は前記右眼用第ｎフィールドのインターレース信号と前記左眼用第ｎフィールドのインターレース信号を入力して前記左眼用第ｎフィールドのインターレース信号に対する前記右眼用第ｎフィールドのインターレース信号の視差を検出して視差情報を出力する視差検出回路であり、３２２は前記右眼用動き判別信号と前記視差情報を入力して左眼用動き判別信号を出力する視差補償回路であり、３１４は前記左眼用第ｎフィールドのインターレース信号と前記左眼用第ｎ−１フィールドのインターレース信号と前記左眼用第ｎ＋１フィールドのインターレース信号と前記左眼用動き判別信号を入力して左眼用プログレッシブ信号を出力する補間回路である。以上のように構成された映像信号補正システムについて以下その動作説明を、図３を参照して行う。
【００３３】
図３のフィールドメモリ３０１、フィールドメモリ３０２、フィールドメモリ３１１、フィールドメモリ３１２、動き判別回路３０３、補間回路３０４、補間回路３１４は
各々図５のフィールドメモリ２０１、フィールドメモリ２０２、フィールドメモリ２１１、フィールドメモリ２１２、動き判別回路２０３、補間回路２０４、補間回路２１４と同様であるので説明を省略する。
【００３４】
また、図３の視差検出回路３２１、視差補償回路３２２は各々図１の視差検出回路１２１、視差補償回路１２２と同様であるので説明を省略する。
【００３５】
以上のように、視差検出回路と視差補償回路を備え右眼用動き判別信号から左眼用動き判別信号を生成することによって左右表示画像間に不整合が少ないＩＰ変換機能を有する立体映像信号処理装置を提供することが可能である。
【００３６】
なお、実施の形態１、及び、２のいずれにおいても、インターレース・プログレッシブ変換を実現する具体的な構成の一例として回路構成を用いた場合を示したが、本説明はこれに限定するものではない。上記回路構成の一部、又は、全部をソフトウェア等による処理で実現することも可能である。上記の回路構成を機能単位で実現する場合には、「動き判別回路」、「視差検出回路」、「補間回路」、「視差補償回路」は、それぞれ「動き判別部」、「視差検出部」、「補間部」、「視差補償部」等として構成される。
【産業上の利用可能性】
【００３７】
以上のように本発明の表示装置は、前記した方式により左右表示画像間に不整合が少なく安価な立体映像信号のＩＰ変換機能を有する立体画像処理装置に利用することが可能である。
【符号の説明】
【００３８】
１０１、１０２、１１１、３０１、３０２、３１１、３１２  フィールドメモリ
１０３、３０３  動き判別回路
１０４、１１４、３０４、３１４  補間回路
１２１、３２１  視差検出回路
１２２、３２２  視差補償回路
【図１】
2011228927.tif 000003
【図３】
2011228927.tif 000004
【図５】
2011228927.tif 000005
【図６】
2011228927.tif 000006
【図７】
2011228927.tif 000007
【図２】
2011228927.tif 000008
【図４】
2011228927.tif 000009
【図８】
2011228927.tif 000010