(57)【要約】  立体映像処理装置は、入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部（２０３）と、入力映像信号のフレームおよび動きベクトルに基づいて、左右それぞれの出力映像信号間でフレームの時間軸方向の位置が一致するような位相に補間フレームを生成し、出力映像信号のフレームとして入力映像信号のフレームまたは補間フレームを出力する出力画像生成部（２０６）と、動きベクトルから、入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定し、動きのある画像領域が含まれている場合には補間フレームが出力され、動きのある画像領域が含まれていない場合には入力映像信号のフレームが出力されるように、出力画像生成部を制御する出力制御部（２０４）とを備えている。
2012117463.tif 000002
【特許請求の範囲】
【請求項１】
左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理装置であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、
前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号間でフレームの時間軸方向の位置が一致するような位相に補間フレームを生成し、前記出力映像信号のフレームとして前記入力映像信号のフレームまたは前記補間フレームを出力する出力画像生成部と、
前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定し、動きのある画像領域が含まれている場合には前記補間フレームが出力され、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームが出力されるように、前記出力画像生成部を制御する出力制御部とを備えている
ことを特徴とする立体映像処理装置。
【請求項２】
請求項１の立体映像処理装置において、
前記出力制御部は、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成されるように、前記出力画像生成部を制御する
ことを特徴とする立体映像処理装置。
【請求項３】
請求項１の立体映像処理装置において、
前記出力制御部は、前記補間フレームの補間位相が徐々に変化するように、前記出力画像生成部を制御する
ことを特徴とする立体映像処理装置。
【請求項４】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項５】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム縦方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項６】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム横方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項７】
請求項１から６のいずれか一つの立体映像処理装置において、
前記出力画像生成部は、左右のいずれか一方のみ、前記入力映像信号のフレームを０．５フレーム分位相をずらして前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項８】
請求項１から６のいずれか一つの立体映像処理装置において、
前記出力画像生成部は、前記左右それぞれの入力映像信号のフレームの位相をずらして前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項９】
請求項８の立体映像処理装置において、
前記出力画像生成部は、前記左右それぞれの入力映像信号のいずれか一方については位相を０．２５フレーム分進めて、他方については位相を０．２５フレーム分遅らせて、前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項１０】
請求項１から９のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統ごとに備えている
ことを特徴とする立体映像処理装置。
【請求項１１】
請求項１から９のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統で時分割共有する
ことを特徴とする立体映像処理装置。
【請求項１２】
立体映像信号を受け、左右それぞれの入力映像信号を出力する入力画像選択部と、
前記左右それぞれの入力映像信号を処理する請求項１から１１のいずれか一つの立体映像処理装置と、
前記立体映像処理装置から出力された左右それぞれの出力映像信号をフレームシーケンシャル表示する表示部とを備えている
ことを特徴とする立体映像表示装置。
【請求項１３】
左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理方法であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するステップと、
前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定するステップと、
前記判定の結果、動きのある画像領域が含まれている場合には、前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号間でフレームの時間軸方向の位置が一致するような位相に補間フレームを生成し、当該生成した補間フレームを前記出力映像信号のフレームとして出力するステップと、
前記判定の結果、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームを前記出力映像信号のフレームとして出力するステップとを備えている
ことを特徴とする立体映像処理方法。
【請求項１４】
請求項１３の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【請求項１５】
請求項１３の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記補間フレームの補間位相が徐々に変化する
ことを特徴とする立体映像処理方法。
【請求項１６】
請求項１３から１５のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１７】
請求項１３から１５のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム縦方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１８】
請求項１３から１５のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム横方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１９】
請求項１３から１８のいずれか一つの立体映像処理方法において、
前記補間フレームを生成するステップでは、左右のいずれか一方のみ、前記入力映像信号のフレームを０．５フレーム分位相をずらして前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【請求項２０】
請求項１３から１８のいずれか一つの立体映像処理方法において、
前記補間フレームを生成するステップでは、前記左右それぞれの入力映像信号のフレームの位相をずらして前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【請求項２１】
請求項２０の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記左右それぞれの入力映像信号のいずれか一方については位相を０．２５フレーム分進めて、他方については位相を０．２５フレーム分遅らせて、前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像処理装置に関し、特に立体映像信号の左右それぞれの画像を交互に表示するフレームシーケンシャル表示向けに映像処理を行う立体映像処理装置に関するものである。
【背景技術】
【０００２】
近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。【０００３】
家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。【０００４】
図６に示すような画面上をボールが横切るシーンを、左右それぞれ６０Ｈｚで立体撮影し、左右交互に１２０Ｈｚでフレームシーケンシャル表示する場合の表示映像におけるボールの表示位置と時間との関係を図７に示す。【０００５】
一般に立体映像は左右画像を同期して撮影するが、フレームシーケンシャル表示を行うと左右画像が１／１２０秒ずれて表示される。人はほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図７の場合、視線は表示されているボールを追いかけ、図中の視線の移動軌跡のように移動する。このため、図７に示すとおり片眼側の画像を表示する時点では、反対側の目の視線が物体の移動方向に応じて０．５フレーム分ずれることになる。【０００６】
例えば、図８に示すように縦方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、物体の０．５フレーム分の動きに応じた量だけ左右の視線が縦方向にずれる。左右の視線の垂直方向のずれは、立体映像の見易さに影響を与え、目の疲労の原因となる。【０００７】
また、図９に示すように横方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、物体の０．５フレーム分の動きに応じた量だけ左右の視線が横方向にずれる。左右の視線の水平方向のずれは、立体映像の立体感に影響を与え、実際よりも飛び出して、あるいは引っ込んで画像が認識される。【０００８】
以上のようなフレームシーケンシャル表示に起因する問題を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて片眼側の画像の位相を０．５フレームずらした補間フレームを生成し、立体表示を行うことが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−６２６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
補間フレームの生成で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。【００１１】
このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。【００１２】
ここで、片眼側の画像の位相を０．５フレーム分ずらすと、片眼側には変換をかけない原画像、もう一方には常に補間フレームが表示される。よって正しい動きベクトルを検出できず補間の誤りが生じる場合、左右画像間で対応がとれず立体視できない映像となる可能性があり、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。【００１３】
上記問題に鑑み、本発明は、立体映像の表示を高品位化する立体映像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するための手段として、左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号間でフレームの時間軸方向の位置が一致するような位相に補間フレームを生成し、前記出力映像信号のフレームとして前記入力映像信号のフレームまたは前記補間フレームを出力する出力画像生成部と、前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定し、動きのある画像領域が含まれている場合には前記補間フレームが出力され、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームが出力されるように、前記出力画像生成部を制御する出力制御部とを備えている。【００１５】
これによると、立体映像をフレームシーケンシャル表示する場合、画像中に動く物体がある場合には表示タイミングのずれにあわせて物体の表示位相をずらした補間フレームが生成され、出力画像信号のフレームとして出力される。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となる。一方、画像中に動く物体がない場合には入力映像信号のフレームがそのまま出力画像信号のフレームとして出力される。これにより、補間の誤りによる画質劣化を抑制できる。【００１６】
前記出力制御部は、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。【００１７】
また、前記出力制御部は、前記補間フレームの補間位相が徐々に変化するように、前記出力画像生成部を制御してもよい。【００１８】
また、前記出力制御部は、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値、前記動きベクトルのフレーム縦方向成分、および前記動きベクトルのフレーム横方向成分のいずれかに基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定してもよい。【００１９】
前記出力画像生成部は、左右のいずれか一方のみ、前記入力映像信号のフレームを０．５フレーム分位相をずらして前記補間フレームを生成してもよいし、あるいは前記左右それぞれの入力映像信号のフレームの位相をずらして前記補間フレームを生成してもよい。【００２０】
上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。
【発明の効果】
【００２１】
以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る立体映像表示装置の構成を示す図
【図２】動きベクトル検出を説明する図
【図３】入力映像と補間フレームの生成のタイミング関係を示す図
【図４】補間フレームの生成を説明する図
【図５】動きベクトルを考慮した場合の入力映像と補間フレームの生成のタイミング関係を示す図
【図６】撮像画像内の物体の動きを示す図
【図７】フレームシーケンシャル表示される立体映像の見え方を示す図
【図８】縦方向に動きがあるシーンをフレームシーケンシャル表示した場合の立体映像の見え方を示す図
【図９】縦方向に動きがあるシーンをフレームシーケンシャル表示した場合の立体映像の見え方を示す図
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２４】
図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有する画像処理部２０を２つ備えている。
【００２５】
入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が６０Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。
【００２６】
立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つの画像処理部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。
【００２７】
表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。
【００２８】
以上のように、立体映像表示装置１００は、入力された６０Ｈｚの立体映像信号１０１を１２０Ｈｚでフレームシーケンシャル表示するものである。
【００２９】
次に、画像処理部２０において、６０Ｈｚの入力映像信号１０２を０．５フレーム分位相をずらして６０Ｈｚの出力映像信号１０３を生成する場合について説明する。
【００３０】
画像処理部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。
【００３１】
映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。
【００３２】
ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。
【００３３】
このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。
【００３４】
なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。
【００３５】
図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。
【００３６】
ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。
【００３７】
出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。
【００３８】
映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。
【００３９】
ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。
【００４０】
図３は、入力映像信号１０２、前フレーム映像信号１０４、検出動きベクトル１１０、補間用動きベクトル１０６、前後フレーム映像信号１０５、および補間位相のタイミング関係を示す。以下、図３を参照して出力制御部２０４の動作を説明する。
【００４１】
動きベクトルの検出は入力映像の６０Ｈｚの周期で行い、入力映像信号１０２としてフレーム（１）が入力されている間、前フレーム映像信号１０４として入力されるフレーム（０）との間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。以降同様に、入力フレームと一つ前のフレームの間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。
【００４２】
補間フレームの生成も、出力映像信号１０３のフレーム周波数である６０Ｈｚで行われるため、出力制御部２０４からの各制御信号は６０Ｈｚの周期で出力される。
【００４３】
入力映像信号１０２のフレーム（０）、フレーム（１）に対して、生成する映像信号はフレーム（０．５）となる。このため出力制御部２０４は、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０．５を出力する。
【００４４】
出力制御部２０４は、上記のように生成する補間フレームに必要となる入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて補間位相制御信号１０７を出力画像生成部２０６に出力する。
【００４５】
出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレームの間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。
【００４６】
補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から０．５の補間位相に補間フレームを生成する例を示している。
【００４７】
以降、このような処理を各フレーム間で繰り返し、補間フレームを生成する。
【００４８】
なお、補間フレームの生成は左右の入力映像信号１０２のいずれか一方についてのみ行い、他方については補間フレームを生成しない。すなわち、補間フレームを生成しない画像処理部２０は、他方の画像処理部２０から出力される補間フレームに合わせて、入力映像信号１０２をそのまま出力映像信号１０３として出力する。
【００４９】
左右それぞれの出力映像信号１０３は、表示部３で交互に表示される。入力された立体映像信号１０１は、上記のような処理によって６０Ｈｚの立体映像信号に変換されて表示部３で表示されるため、０．５フレーム分位相をずらした映像となるものの、補間の誤りがある場合大きな画質劣化を招く。
【００５０】
そこで、さらに出力制御部２０４は検出動きベクトル１１０の値を監視し、１フレーム内の動きベクトルの平均値または、最大値をもとに、図５に示すとおりフレーム間の動きがないと判定した場合、補間位相制御信号１０７に０を出力する。このとき、補間フレームの生成は必要ないため、補間用動きベクトル１０６も出力しない。一方、フレーム間の動きがあると判定した場合、上述したように補間位相制御信号１０７に０．５を出力する。
【００５１】
これにより本明細書に開示した立体映像処理方法は、画像中に動く物体がある場合には表示タイミングのずれにあわせて物体の表示位相をずらした補間画像を生成する。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となる。また、画像中に動く物体がない場合には補間フレームを生成しないため、補間の誤りによる画質劣化を抑制できる。
【００５２】
以上のように、本明細書に開示した立体映像処理方法によると、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
【００５３】
なお、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体の領域のみについて、補間画像を生成する。これにより、動く物体については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５４】
また、上記の実施の形態では、縦横両方向の動きのある場合に補間画像を生成するものとしたが、フレーム横方向の動きがある場合についてのみ補間画像を生成するように出力画像の位相を制御してもよい。これにより、正しい立体感を知覚できる立体映像の表示が可能となるとともに、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。あるいは、フレーム縦方向の動きがある場合についてのみ補間画像を生成するように出力画像の位相を制御してもよい。これにより、目に与える疲労が少ない立体映像の表示が可能となるとともに、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５５】
また、検出動きベクトル１１０のフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、フレーム間の動きの有無を判定してもよい。ここで、人はフレーム横方向よりもフレーム縦方向の表示のずれの方に不快感を覚える場合があるため、その場合にはフレーム縦方向成分の成分をより大きく重み付けしてもよい。
【００５６】
また、上記の実施の形態では、左右のいずれか一方の入力映像信号１０２を０．５フレーム分位相をずらして補間フレームを生成するものとしたが、左右双方の入力映像信号１０２について補間フレームを生成してもよい。例えば、左右のいずれか一方の入力映像信号１０２については位相を０．２５フレーム分進めて、他方については位相を０．２５フレーム分遅らせて補間フレームを生成してもよい。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となるとともに、入力映像信号１０２の原フレームに比較的近い位相に補間フレームが生成されるため、間違った動きベクトルの影響が小さくなり、補間の誤りによる画質劣化を抑制できる。
【００５７】
さらに、いきなり０．５あるいは０．２５フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．５あるいは０．２５に近づけるようにしてもよい。同様に、フレーム間の動きがないと判定された場合に補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させればよい。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。
【００５８】
また、上記の実施の形態では、６０Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１がその他のフレーム周波数の信号であってもかまわない。例えば、立体映像信号１０１がフレーム周波数が２４Ｈｚの立体映画素材などである場合でも、それを３：２プルダウンによってフレーム周波数を６０Ｈｚに変換した後の立体映像信号に対して上記の立体映像処理を行うことができる。
【００５９】
また、図３および図５に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。
【００６０】
また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。
【００６１】
また、上記の実施の形態では、立体映像処理装置２は画像処理部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個の画像処理部２０を時分割共有するようにしてもよい。
【産業上の利用可能性】
【００６２】
本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用して画像を補間して表示する装置等に用いることができる。
【符号の説明】
【００６３】
１      入力画像選択部
２      立体映像処理装置
２０    画像処理部
２０３  ベクトル検出部
２０４  出力制御部
２０６  出力画像生成部
３      表示部
【図１】
2012117463.tif 000003
【図２】
2012117463.tif 000004
【図３】
2012117463.tif 000005
【図４】
2012117463.tif 000006
【図５】
2012117463.tif 000007
【図６】
2012117463.tif 000008
【図７】
2012117463.tif 000009
【図８】
2012117463.tif 000010
【図９】
2012117463.tif 000011
【手続補正書】
【提出日】平成24年6月8日(2012.6.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像処理装置に関し、特に立体映像信号の左右それぞれの画像を交互に表示するフレームシーケンシャル表示向けに映像処理を行う立体映像処理装置に関するものである。
【背景技術】
【０００２】
近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。
【０００３】
家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。
【０００４】
図６に示すような画面上をボールが横切るシーンを、左右それぞれ６０Ｈｚで立体撮影し、左右交互に１２０Ｈｚでフレームシーケンシャル表示する場合の表示映像におけるボールの表示位置と時間との関係を図７に示す。
【０００５】
一般に立体映像は左右画像を同期して撮影するが、フレームシーケンシャル表示を行うと左右画像が１／１２０秒ずれて表示される。人はほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図７の場合、視線は表示されているボールを追いかけ、図中の視線の移動軌跡のように移動する。このため、図７に示すとおり片眼側の画像を表示する時点では、反対側の目の視線が物体の移動方向に応じて０．５フレーム分ずれることになる。
【０００６】
例えば、図８に示すように縦方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、物体の０．５フレーム分の動きに応じた量だけ左右の視線が縦方向にずれる。左右の視線の垂直方向のずれは、立体映像の見易さに影響を与え、目の疲労の原因となる。
【０００７】
また、図９に示すように横方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、物体の０．５フレーム分の動きに応じた量だけ左右の視線が横方向にずれる。左右の視線の水平方向のずれは、立体映像の立体感に影響を与え、実際よりも飛び出して、あるいは引っ込んで画像が認識される。
【０００８】
以上のようなフレームシーケンシャル表示に起因する問題を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて片眼側の画像の位相を０．５フレームずらした補間フレームを生成し、立体表示を行うことが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−６２６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
補間フレームの生成で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。
【００１１】
このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。
【００１２】
ここで、片眼側の画像の位相を０．５フレーム分ずらすと、片眼側には変換をかけない原画像、もう一方には常に補間フレームが表示される。よって正しい動きベクトルを検出できず補間の誤りが生じる場合、左右画像間で対応がとれず立体視できない映像となる可能性があり、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。
【００１３】
上記問題に鑑み、本発明は、立体映像の表示を高品位化する立体映像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するための手段として、左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号間でフレームの時間軸方向の位置が一致するような位相に補間フレームを生成し、前記出力映像信号のフレームとして前記入力映像信号のフレームまたは前記補間フレームを出力する出力画像生成部と、前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定し、動きのある画像領域が含まれている場合には前記補間フレームが出力され、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームが出力されるように、前記出力画像生成部を制御する出力制御部とを備えている。
【００１５】
これによると、立体映像をフレームシーケンシャル表示する場合、画像中に動く物体がある場合には表示タイミングのずれにあわせて物体の表示位相をずらした補間フレームが生成され、出力画像信号のフレームとして出力される。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となる。一方、画像中に動く物体がない場合には入力映像信号のフレームがそのまま出力画像信号のフレームとして出力される。これにより、補間の誤りによる画質劣化を抑制できる。
【００１６】
前記出力制御部は、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。
【００１７】
また、前記出力制御部は、前記補間フレームの補間位相が徐々に変化するように、前記出力画像生成部を制御してもよい。
【００１８】
また、前記出力制御部は、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値、前記動きベクトルのフレーム縦方向成分、および前記動きベクトルのフレーム横方向成分のいずれかに基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定してもよい。
【００１９】
前記出力画像生成部は、左右のいずれか一方のみ、前記入力映像信号のフレームを０．５フレーム分位相をずらして前記補間フレームを生成してもよいし、あるいは前記左右それぞれの入力映像信号のフレームの位相をずらして前記補間フレームを生成してもよい。
【００２０】
上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。
【発明の効果】
【００２１】
以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る立体映像表示装置の構成を示す図
【図２】動きベクトル検出を説明する図
【図３】入力映像と補間フレームの生成のタイミング関係を示す図
【図４】補間フレームの生成を説明する図
【図５】動きベクトルを考慮した場合の入力映像と補間フレームの生成のタイミング関係を示す図
【図６】撮像画像内の物体の動きを示す図
【図７】フレームシーケンシャル表示される立体映像の見え方を示す図
【図８】縦方向に動きがあるシーンをフレームシーケンシャル表示した場合の立体映像の見え方を示す図
【図９】横方向に動きがあるシーンをフレームシーケンシャル表示した場合の立体映像の見え方を示す図
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２４】
図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有する画像処理部２０を２つ備えている。
【００２５】
入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が６０Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。
【００２６】
立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つの画像処理部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。
【００２７】
表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。
【００２８】
以上のように、立体映像表示装置１００は、入力された６０Ｈｚの立体映像信号１０１を１２０Ｈｚでフレームシーケンシャル表示するものである。
【００２９】
次に、画像処理部２０において、６０Ｈｚの入力映像信号１０２を０．５フレーム分位相をずらして６０Ｈｚの出力映像信号１０３を生成する場合について説明する。
【００３０】
画像処理部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。
【００３１】
映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。
【００３２】
ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。
【００３３】
このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。
【００３４】
なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。
【００３５】
図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。
【００３６】
ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。
【００３７】
出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。
【００３８】
映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。
【００３９】
ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。
【００４０】
図３は、入力映像信号１０２、前フレーム映像信号１０４、検出動きベクトル１１０、補間用動きベクトル１０６、前後フレーム映像信号１０５、および補間位相のタイミング関係を示す。以下、図３を参照して出力制御部２０４の動作を説明する。
【００４１】
動きベクトルの検出は入力映像の６０Ｈｚの周期で行い、入力映像信号１０２としてフレーム（１）が入力されている間、前フレーム映像信号１０４として入力されるフレーム（０）との間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。以降同様に、入力フレームと一つ前のフレームの間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。
【００４２】
補間フレームの生成も、出力映像信号１０３のフレーム周波数である６０Ｈｚで行われるため、出力制御部２０４からの各制御信号は６０Ｈｚの周期で出力される。
【００４３】
入力映像信号１０２のフレーム（０）、フレーム（１）に対して、生成する映像信号はフレーム（０．５）となる。このため出力制御部２０４は、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０．５を出力する。
【００４４】
出力制御部２０４は、上記のように生成する補間フレームに必要となる入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて補間位相制御信号１０７を出力画像生成部２０６に出力する。
【００４５】
出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレームの間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。
【００４６】
補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から０．５の補間位相に補間フレームを生成する例を示している。
【００４７】
以降、このような処理を各フレーム間で繰り返し、補間フレームを生成する。
【００４８】
なお、補間フレームの生成は左右の入力映像信号１０２のいずれか一方についてのみ行い、他方については補間フレームを生成しない。すなわち、補間フレームを生成しない画像処理部２０は、他方の画像処理部２０から出力される補間フレームに合わせて、入力映像信号１０２をそのまま出力映像信号１０３として出力する。
【００４９】
左右それぞれの出力映像信号１０３は、表示部３で交互に表示される。入力された立体映像信号１０１は、上記のような処理によって６０Ｈｚの立体映像信号に変換されて表示部３で表示されるため、０．５フレーム分位相をずらした映像となるものの、補間の誤りがある場合大きな画質劣化を招く。
【００５０】
そこで、さらに出力制御部２０４は検出動きベクトル１１０の値を監視し、１フレーム内の動きベクトルの平均値または、最大値をもとに、図５に示すとおりフレーム間の動きがないと判定した場合、補間位相制御信号１０７に０を出力する。このとき、補間フレームの生成は必要ないため、補間用動きベクトル１０６も出力しない。一方、フレーム間の動きがあると判定した場合、上述したように補間位相制御信号１０７に０．５を出力する。
【００５１】
これにより本明細書に開示した立体映像処理方法は、画像中に動く物体がある場合には表示タイミングのずれにあわせて物体の表示位相をずらした補間画像を生成する。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となる。また、画像中に動く物体がない場合には補間フレームを生成しないため、補間の誤りによる画質劣化を抑制できる。
【００５２】
以上のように、本明細書に開示した立体映像処理方法によると、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
【００５３】
なお、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体の領域のみについて、補間画像を生成する。これにより、動く物体については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５４】
また、上記の実施の形態では、縦横両方向の動きのある場合に補間画像を生成するものとしたが、フレーム横方向の動きがある場合についてのみ補間画像を生成するように出力画像の位相を制御してもよい。これにより、正しい立体感を知覚できる立体映像の表示が可能となるとともに、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。あるいは、フレーム縦方向の動きがある場合についてのみ補間画像を生成するように出力画像の位相を制御してもよい。これにより、目に与える疲労が少ない立体映像の表示が可能となるとともに、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５５】
また、検出動きベクトル１１０のフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、フレーム間の動きの有無を判定してもよい。ここで、人はフレーム横方向よりもフレーム縦方向の表示のずれの方に不快感を覚える場合があるため、その場合にはフレーム縦方向成分の成分をより大きく重み付けしてもよい。
【００５６】
また、上記の実施の形態では、左右のいずれか一方の入力映像信号１０２を０．５フレーム分位相をずらして補間フレームを生成するものとしたが、左右双方の入力映像信号１０２について補間フレームを生成してもよい。例えば、左右のいずれか一方の入力映像信号１０２については位相を０．２５フレーム分進めて、他方については位相を０．２５フレーム分遅らせて補間フレームを生成してもよい。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となるとともに、入力映像信号１０２の原フレームに比較的近い位相に補間フレームが生成されるため、間違った動きベクトルの影響が小さくなり、補間の誤りによる画質劣化を抑制できる。
【００５７】
さらに、いきなり０．５あるいは０．２５フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．５あるいは０．２５に近づけるようにしてもよい。同様に、フレーム間の動きがないと判定された場合に補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させればよい。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。
【００５８】
また、上記の実施の形態では、６０Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１がその他のフレーム周波数の信号であってもかまわない。例えば、立体映像信号１０１がフレーム周波数が２４Ｈｚの立体映画素材などである場合でも、それを３：２プルダウンによってフレーム周波数を６０Ｈｚに変換した後の立体映像信号に対して上記の立体映像処理を行うことができる。
【００５９】
また、図３および図５に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。
【００６０】
また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。
【００６１】
また、上記の実施の形態では、立体映像処理装置２は画像処理部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個の画像処理部２０を時分割共有するようにしてもよい。
【産業上の利用可能性】
【００６２】
本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用して画像を補間して表示する装置等に用いることができる。
【符号の説明】
【００６３】
１      入力画像選択部
２      立体映像処理装置
２０    画像処理部
２０３  ベクトル検出部
２０４  出力制御部
２０６  出力画像生成部
３      表示部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理装置であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、
前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号間でフレームの時間軸方向の位置が一致するような位相に補間フレームを生成し、前記出力映像信号のフレームとして前記入力映像信号のフレームまたは前記補間フレームを出力する出力画像生成部と、
前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定し、動きのある画像領域が含まれている場合には前記補間フレームが出力され、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームが出力されるように、前記出力画像生成部を制御する出力制御部とを備えている
ことを特徴とする立体映像処理装置。
【請求項２】
請求項１の立体映像処理装置において、
前記出力制御部は、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成されるように、前記出力画像生成部を制御する
ことを特徴とする立体映像処理装置。
【請求項３】
請求項１の立体映像処理装置において、
前記出力制御部は、前記補間フレームの補間位相が徐々に変化するように、前記出力画像生成部を制御する
ことを特徴とする立体映像処理装置。
【請求項４】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項５】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム縦方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項６】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム横方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項７】
請求項１から６のいずれか一つの立体映像処理装置において、
前記出力画像生成部は、左右のいずれか一方のみ、前記入力映像信号のフレームを０．５フレーム分位相をずらして前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項８】
請求項１から６のいずれか一つの立体映像処理装置において、
前記出力画像生成部は、前記左右それぞれの入力映像信号のフレームの位相をずらして前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項９】
請求項８の立体映像処理装置において、
前記出力画像生成部は、前記左右それぞれの入力映像信号のいずれか一方については位相を０．２５フレーム分進めて、他方については位相を０．２５フレーム分遅らせて、前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項１０】
請求項１から９のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統ごとに備えている
ことを特徴とする立体映像処理装置。
【請求項１１】
請求項１から９のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統で時分割共有する
ことを特徴とする立体映像処理装置。
【請求項１２】
立体映像信号を受け、左右それぞれの入力映像信号を出力する入力画像選択部と、
前記左右それぞれの入力映像信号を処理する請求項１から１１のいずれか一つの立体映像処理装置と、
前記立体映像処理装置から出力された左右それぞれの出力映像信号をフレームシーケンシャル表示する表示部とを備えている
ことを特徴とする立体映像表示装置。
【請求項１３】
左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理方法であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するステップと、
前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定するステップと、
前記判定の結果、動きのある画像領域が含まれている場合には、前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号間でフレームの時間軸方向の位置が一致するような位相に補間フレームを生成し、当該生成した補間フレームを前記出力映像信号のフレームとして出力するステップと、
前記判定の結果、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームを前記出力映像信号のフレームとして出力するステップとを備えている
ことを特徴とする立体映像処理方法。
【請求項１４】
請求項１３の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【請求項１５】
請求項１３の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記補間フレームの補間位相が徐々に変化する
ことを特徴とする立体映像処理方法。
【請求項１６】
請求項１３から１５のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１７】
請求項１３から１５のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム縦方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１８】
請求項１３から１５のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム横方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１９】
請求項１３から１８のいずれか一つの立体映像処理方法において、
前記補間フレームを生成するステップでは、左右のいずれか一方のみ、前記入力映像信号のフレームを０．５フレーム分位相をずらして前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【請求項２０】
請求項１３から１８のいずれか一つの立体映像処理方法において、
前記補間フレームを生成するステップでは、前記左右それぞれの入力映像信号のフレームの位相をずらして前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【請求項２１】
請求項２０の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記左右それぞれの入力映像信号のいずれか一方については位相を０．２５フレーム分進めて、他方については位相を０．２５フレーム分遅らせて、前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2012117463.tif 000012
【図２】
2012117463.tif 000013
【図３】
2012117463.tif 000014
【図４】
2012117463.tif 000015
【図５】
2012117463.tif 000016
【図６】
2012117463.tif 000017
【図７】
2012117463.tif 000018
【図８】
2012117463.tif 000019
【図９】
2012117463.tif 000020
【手続補正書】
【提出日】平成25年9月5日(2013.9.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像処理装置に関し、特に立体映像信号の左右それぞれの画像を交互に表示するフレームシーケンシャル表示向けに映像処理を行う立体映像処理装置に関するものである。
【背景技術】
【０００２】
近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。
【０００３】
家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。
【０００４】
図６に示すような画面上をボールが横切るシーンを、左右それぞれ６０Ｈｚで立体撮影し、左右交互に１２０Ｈｚでフレームシーケンシャル表示する場合の表示映像におけるボールの表示位置と時間との関係を図７に示す。
【０００５】
一般に立体映像は左右画像を同期して撮影するが、フレームシーケンシャル表示を行うと左右画像が１／１２０秒ずれて表示される。人はほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図７の場合、視線は表示されているボールを追いかけ、図中の視線の移動軌跡のように移動する。このため、図７に示すとおり片眼側の画像を表示する時点では、反対側の目の視線が物体の移動方向に応じて０．５フレーム分ずれることになる。
【０００６】
例えば、図８に示すように縦方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、物体の０．５フレーム分の動きに応じた量だけ左右の視線が縦方向にずれる。左右の視線の垂直方向のずれは、立体映像の見易さに影響を与え、目の疲労の原因となる。
【０００７】
また、図９に示すように横方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、物体の０．５フレーム分の動きに応じた量だけ左右の視線が横方向にずれる。左右の視線の水平方向のずれは、立体映像の立体感に影響を与え、実際よりも飛び出して、あるいは引っ込んで画像が認識される。
【０００８】
以上のようなフレームシーケンシャル表示に起因する問題を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて片眼側の画像の位相を０．５フレームずらした補間フレームを生成し、立体表示を行うことが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−６２６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
補間フレームの生成で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。
【００１１】
このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。
【００１２】
ここで、片眼側の画像の位相を０．５フレーム分ずらすと、片眼側には変換をかけない原画像、もう一方には常に補間フレームが表示される。よって正しい動きベクトルを検出できず補間の誤りが生じる場合、左右画像間で対応がとれず立体視できない映像となる可能性があり、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。
【００１３】
上記問題に鑑み、本発明は、立体映像の表示を高品位化する立体映像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するための手段として、左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号のいずれか一方については位相を０．２５フレーム分進めて補間フレームを生成し、他方については位相を０．２５フレーム分遅らせて補間フレームを生成し、前記出力映像信号のフレームとして前記入力映像信号のフレームまたは前記補間フレームを出力する出力画像生成部と、前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定し、動きのある画像領域が含まれている場合には前記補間フレームが出力され、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームが出力されるように、前記出力画像生成部を制御する出力制御部とを備えている。
【００１５】
これによると、立体映像をフレームシーケンシャル表示する場合、画像中に動く物体がある場合には表示タイミングのずれにあわせて物体の表示位相をずらした補間フレームが生成され、出力画像信号のフレームとして出力される。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となる。一方、画像中に動く物体がない場合には入力映像信号のフレームがそのまま出力画像信号のフレームとして出力される。これにより、補間の誤りによる画質劣化を抑制できる。
【００１６】
前記出力制御部は、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。
【００１７】
また、前記出力制御部は、０と０．２５との間で位相を徐々に変化させて、前記左右それぞれの出力映像信号のいずれか一方については位相が変化するごとにそのときの位相分進んだ補間フレームを生成し、他方については位相が変化するごとにそのときの位相分遅れた補間フレームを生成するように、前記出力画像生成部を制御してもよい。
【００１８】
また、前記出力制御部は、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値、前記動きベクトルのフレーム縦方向成分、および前記動きベクトルのフレーム横方向成分のいずれかに基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定してもよい。
【００１９】
上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。
【発明の効果】
【００２０】
以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る立体映像表示装置の構成を示す図
【図２】動きベクトル検出を説明する図
【図３】入力映像と補間フレームの生成のタイミング関係を示す図
【図４】補間フレームの生成を説明する図
【図５】動きベクトルを考慮した場合の入力映像と補間フレームの生成のタイミング関係を示す図
【図６】撮像画像内の物体の動きを示す図
【図７】フレームシーケンシャル表示される立体映像の見え方を示す図
【図８】縦方向に動きがあるシーンをフレームシーケンシャル表示した場合の立体映像の見え方を示す図
【図９】横方向に動きがあるシーンをフレームシーケンシャル表示した場合の立体映像の見え方を示す図
【発明を実施するための形態】
【００２２】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２３】
図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有する画像処理部２０を２つ備えている。
【００２４】
入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が６０Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。
【００２５】
立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つの画像処理部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。
【００２６】
表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。
【００２７】
以上のように、立体映像表示装置１００は、入力された６０Ｈｚの立体映像信号１０１を１２０Ｈｚでフレームシーケンシャル表示するものである。
【００２８】
次に、画像処理部２０において、６０Ｈｚの入力映像信号１０２を０．５フレーム分位相をずらして６０Ｈｚの出力映像信号１０３を生成する場合について説明する。
【００２９】
画像処理部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。
【００３０】
映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。
【００３１】
ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。
【００３２】
このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。
【００３３】
なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。
【００３４】
図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。
【００３５】
ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。
【００３６】
出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。
【００３７】
映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。
【００３８】
ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。
【００３９】
図３は、入力映像信号１０２、前フレーム映像信号１０４、検出動きベクトル１１０、補間用動きベクトル１０６、前後フレーム映像信号１０５、および補間位相のタイミング関係を示す。以下、図３を参照して出力制御部２０４の動作を説明する。
【００４０】
動きベクトルの検出は入力映像の６０Ｈｚの周期で行い、入力映像信号１０２としてフレーム（１）が入力されている間、前フレーム映像信号１０４として入力されるフレーム（０）との間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。以降同様に、入力フレームと一つ前のフレームの間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。
【００４１】
補間フレームの生成も、出力映像信号１０３のフレーム周波数である６０Ｈｚで行われるため、出力制御部２０４からの各制御信号は６０Ｈｚの周期で出力される。
【００４２】
入力映像信号１０２のフレーム（０）、フレーム（１）に対して、生成する映像信号はフレーム（０．５）となる。このため出力制御部２０４は、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０．５を出力する。
【００４３】
出力制御部２０４は、上記のように生成する補間フレームに必要となる入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて補間位相制御信号１０７を出力画像生成部２０６に出力する。
【００４４】
出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレームの間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。
【００４５】
補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から０．５の補間位相に補間フレームを生成する例を示している。
【００４６】
以降、このような処理を各フレーム間で繰り返し、補間フレームを生成する。
【００４７】
なお、補間フレームの生成は左右の入力映像信号１０２のいずれか一方についてのみ行い、他方については補間フレームを生成しない。すなわち、補間フレームを生成しない画像処理部２０は、他方の画像処理部２０から出力される補間フレームに合わせて、入力映像信号１０２をそのまま出力映像信号１０３として出力する。
【００４８】
左右それぞれの出力映像信号１０３は、表示部３で交互に表示される。入力された立体映像信号１０１は、上記のような処理によって６０Ｈｚの立体映像信号に変換されて表示部３で表示されるため、０．５フレーム分位相をずらした映像となるものの、補間の誤りがある場合大きな画質劣化を招く。
【００４９】
そこで、さらに出力制御部２０４は検出動きベクトル１１０の値を監視し、１フレーム内の動きベクトルの平均値または、最大値をもとに、図５に示すとおりフレーム間の動きがないと判定した場合、補間位相制御信号１０７に０を出力する。このとき、補間フレームの生成は必要ないため、補間用動きベクトル１０６も出力しない。一方、フレーム間の動きがあると判定した場合、上述したように補間位相制御信号１０７に０．５を出力する。
【００５０】
これにより本明細書に開示した立体映像処理方法は、画像中に動く物体がある場合には表示タイミングのずれにあわせて物体の表示位相をずらした補間画像を生成する。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となる。また、画像中に動く物体がない場合には補間フレームを生成しないため、補間の誤りによる画質劣化を抑制できる。
【００５１】
以上のように、本明細書に開示した立体映像処理方法によると、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
【００５２】
なお、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体の領域のみについて、補間画像を生成する。これにより、動く物体については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５３】
また、上記の実施の形態では、縦横両方向の動きのある場合に補間画像を生成するものとしたが、フレーム横方向の動きがある場合についてのみ補間画像を生成するように出力画像の位相を制御してもよい。これにより、正しい立体感を知覚できる立体映像の表示が可能となるとともに、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。あるいは、フレーム縦方向の動きがある場合についてのみ補間画像を生成するように出力画像の位相を制御してもよい。これにより、目に与える疲労が少ない立体映像の表示が可能となるとともに、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５４】
また、検出動きベクトル１１０のフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、フレーム間の動きの有無を判定してもよい。ここで、人はフレーム横方向よりもフレーム縦方向の表示のずれの方に不快感を覚える場合があるため、その場合にはフレーム縦方向成分の成分をより大きく重み付けしてもよい。
【００５５】
また、上記の実施の形態では、左右のいずれか一方の入力映像信号１０２を０．５フレーム分位相をずらして補間フレームを生成するものとしたが、左右双方の入力映像信号１０２について補間フレームを生成してもよい。例えば、左右のいずれか一方の入力映像信号１０２については位相を０．２５フレーム分進めて、他方については位相を０．２５フレーム分遅らせて補間フレームを生成してもよい。これにより、目に与える疲労が少なく、正しい立体感を知覚できる立体映像の表示が可能となるとともに、入力映像信号１０２の原フレームに比較的近い位相に補間フレームが生成されるため、間違った動きベクトルの影響が小さくなり、補間の誤りによる画質劣化を抑制できる。
【００５６】
さらに、いきなり０．５あるいは０．２５フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．５あるいは０．２５に近づけるようにしてもよい。同様に、フレーム間の動きがないと判定された場合に補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させればよい。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。
【００５７】
また、上記の実施の形態では、６０Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１がその他のフレーム周波数の信号であってもかまわない。例えば、立体映像信号１０１がフレーム周波数が２４Ｈｚの立体映画素材などである場合でも、それを３：２プルダウンによってフレーム周波数を６０Ｈｚに変換した後の立体映像信号に対して上記の立体映像処理を行うことができる。
【００５８】
また、図３および図５に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。
【００５９】
また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。
【００６０】
また、上記の実施の形態では、立体映像処理装置２は画像処理部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個の画像処理部２０を時分割共有するようにしてもよい。
【産業上の利用可能性】
【００６１】
本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用して画像を補間して表示する装置等に用いることができる。
【符号の説明】
【００６２】
１      入力画像選択部
２      立体映像処理装置
２０    画像処理部
２０３  ベクトル検出部
２０４  出力制御部
２０６  出力画像生成部
３      表示部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理装置であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、
前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号のいずれか一方については位相を０．２５フレーム分進めて補間フレームを生成し、他方については位相を０．２５フレーム分遅らせて補間フレームを生成し、前記出力映像信号のフレームとして前記入力映像信号のフレームまたは前記補間フレームを出力する出力画像生成部と、
前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定し、動きのある画像領域が含まれている場合には前記補間フレームが出力され、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームが出力されるように、前記出力画像生成部を制御する出力制御部とを備えている
ことを特徴とする立体映像処理装置。
【請求項２】
請求項１の立体映像処理装置において、
前記出力制御部は、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成されるように、前記出力画像生成部を制御する
ことを特徴とする立体映像処理装置。
【請求項３】
請求項１の立体映像処理装置において、
前記出力制御部は、０と０．２５との間で位相を徐々に変化させて、前記左右それぞれの出力映像信号のいずれか一方については位相が変化するごとにそのときの位相分進んだ補間フレームを生成し、他方については位相が変化するごとにそのときの位相分遅れた補間フレームを生成するように、前記出力画像生成部を制御する
ことを特徴とする立体映像処理装置。
【請求項４】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項５】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム縦方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項６】
請求項１から３のいずれか一つの立体映像処理装置において、
前記出力制御部は、前記動きベクトルのフレーム横方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無を判定する
ことを特徴とする立体映像処理装置。
【請求項７】
請求項１から６のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統ごとに備えている
ことを特徴とする立体映像処理装置。
【請求項８】
請求項１から６のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含む画像処理部を、立体映像信号の左右の信号系統で時分割共有する
ことを特徴とする立体映像処理装置。
【請求項９】
立体映像信号を受け、左右それぞれの入力映像信号を出力する入力画像選択部と、
前記左右それぞれの入力映像信号を処理する請求項１から８のいずれか一つの立体映像処理装置と、
前記立体映像処理装置から出力された左右それぞれの出力映像信号をフレームシーケンシャル表示する表示部とを備えている
ことを特徴とする立体映像表示装置。
【請求項１０】
左右それぞれの入力映像信号から、フレームシーケンシャル表示される左右それぞれの出力映像信号を生成する立体映像処理方法であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するステップと、
前記動きベクトルから、前記入力映像信号のフレームに動きのある画像領域が含まれているか否かを判定するステップと、
前記判定の結果、動きのある画像領域が含まれている場合には、前記入力映像信号のフレームおよび前記動きベクトルに基づいて、前記左右それぞれの出力映像信号のいずれか一方については位相を０．２５フレーム分進めて補間フレームを生成し、他方については位相を０．２５フレーム分遅らせて補間フレームを生成し、当該生成した補間フレームを前記出力映像信号のフレームとして出力するステップと、
前記判定の結果、動きのある画像領域が含まれていない場合には前記入力映像信号のフレームを前記出力映像信号のフレームとして出力するステップとを備えている
ことを特徴とする立体映像処理方法。
【請求項１１】
請求項１０の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記動きのある画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま使用して、前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【請求項１２】
請求項１０の立体映像処理方法において、
前記補間フレームを生成するステップでは、０と０．２５との間で位相を徐々に変化させて、前記左右それぞれの出力映像信号のいずれか一方については位相が変化するごとにそのときの位相分進んだ補間フレームを生成し、他方については位相が変化するごとにそのときの位相分遅れた補間フレームを生成する
ことを特徴とする立体映像処理方法。
【請求項１３】
請求項１０から１２のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム縦方向成分とフレーム横方向成分とを重み付け加算した値に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１４】
請求項１０から１２のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム縦方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【請求項１５】
請求項１０から１２のいずれか一つの立体映像処理方法において、
前記判定するステップでは、前記動きベクトルのフレーム横方向成分に基づいて、前記入力映像信号のフレームにおける画像領域の動きの有無が判定される
ことを特徴とする立体映像処理方法。
【国際調査報告】
2012117463.tif 000021
2012117463.tif 000022