(57)【要約】  フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理装置は、入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部（２０３）と、入力映像信号のフレームおよび動きベクトルに基づいて補間フレームを生成し、入力映像信号のフレームおよび補間フレームを時間軸方向に並べて出力映像信号を生成する出力画像生成部（２０６）と、出力映像信号として１フレーム置きおよび２フレーム置きの交互に補間フレームを出力し、それ以外は入力映像信号のフレームを出力するように、出力画像生成部を制御する出力制御部（２０４）とを備えている。
2012117461.tif 000002
【特許請求の範囲】
【請求項１】
フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理装置であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、
前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、
前記出力映像信号として１フレーム置きおよび２フレーム置きの交互に前記補間フレームを出力し、それ以外は前記入力映像信号のフレームを出力するように、前記出力画像生成部を制御する出力制御部とを備えている
ことを特徴とする立体映像処理装置。
【請求項２】
請求項１の立体映像処理装置において、
前記出力画像生成部は、前記入力映像信号の２つのフレーム間を１：４に分割する位相に前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項３】
請求項１および２のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えている
ことを特徴とする立体映像処理装置。
【請求項４】
請求項１および２のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統で時分割共有する
ことを特徴とする立体映像処理装置。
【請求項５】
立体映像信号を受け、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号を出力する入力画像選択部と、
前記左右それぞれの入力映像信号を処理する請求項１から４のいずれか一つの立体映像処理装置と、
前記立体映像処理装置から出力されたフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号をフレームシーケンシャル表示する表示部とを備えている
ことを特徴とする立体映像表示装置。
【請求項６】
フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理方法であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するステップと、
前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成するステップと、
前記出力映像信号として１フレーム置きおよび２フレーム置きの交互に前記補間フレームを出力し、それ以外は前記入力映像信号のフレームを出力するステップとを備えている
ことを特徴とする立体映像処理方法。
【請求項７】
請求項６の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記入力映像信号の２つのフレーム間を１：４に分割する位相に前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像信号の左右それぞれの画像のフレーム間の動きベクトルを検出し、検出した動きベクトルを用いて補間フレームの生成を行う立体映像処理装置、特に２４Ｈｚのフレーム周波数で撮影された立体映画素材を６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示を行う立体映像処理装置に関するものである。
【背景技術】
【０００２】
近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。【０００３】
家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。【０００４】
一般に、映画は２４Ｈｚのフレーム周波数で撮影されているが、家庭用ＴＶではＮＴＳＣ方式による６０Ｈｚのフレーム周波数で表示されることが多い。従来、２４Ｈｚの二次元映像を６０Ｈｚの映像に変換する場合、３：２プルダウンによるフレーム周波数変換（テレシネ変換）が用いられてきた。３：２プルダウンでは、２４Ｈｚの１フレームが６０Ｈｚの３フレームと２フレームの交互に表示される。図７は、画面上をボールが横切るシーンを２４Ｈｚで撮影し、３：２プルダウンにより６０Ｈｚで表示する場合の例を示す。【０００５】
人がこの例のようにほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図８は、図７の映像例のボールの表示位置と時間との関係をグラフ化したものである。図８に示したように、視線は表示されているボールを追いかけ、図中矢印で示した視線の移動軌跡のように移動する。ここでフレーム２、およびフレーム７ではボールの位置と視線の移動軌跡とが一致しているが、それ以外のフレームではずれている。このため、フレーム１、フレーム４、フレーム６では視線が追いかけているボールの位置よりも後ろ側に、フレーム３、フレーム５、フレーム８では前側に、それぞれ、ボールがあるように見えてしまい、均一に動いているボールが前後にぶれて見える。このような状態をフィルム・ジャダーと呼ぶ。【０００６】
さらに立体映像の場合、フィルム・ジャダーは画質により大きな影響を与える。図７のシーンを左右それぞれ２４Ｈｚで立体撮影した場合を例に説明する。図９は、２４Ｈｚの立体映像を左右それぞれ３：２プルダウンにより６０Ｈｚの映像に変換し、１２０Ｈｚでフレームシーケンシャル表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図１０は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図１０からわかるとおり、２４Ｈｚの立体映像を３：２プルダウンにより６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示すると、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとして、出力画像の両眼視差量がＮ−２／５ＶからＮ＋３／５Ｖの間で不均一に変動することになる。【０００７】
両眼視差方式の立体映像においては、視聴者は両眼視差量を元に立体感を知覚するため、図１０に示すとおりフィルム・ジャダーにより両眼視差量がフレーム間で不均一に変動すると、視聴者は立体感を正しく知覚できない可能性がある。また、立体視が困難な映像を無理に立体視しようとすることで、目の疲労の原因となる可能性がある。【０００８】
以上のような３：２プルダウンに起因する画質劣化を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて映像信号のフレーム周波数変換を行うことが可能である。従来、２４Ｈｚの二次元映像から動きベクトルを検出し、この動きベクトルを用いて６０Ｈｚの表示タイミングにあわせた補間フレームを生成して表示することで、不自然さのない、滑らかな動きの表示を可能にしている（例えば、特許文献１参照）。このようなフレーム周波数変換はフィルム・デジャダーと呼ばれている。【０００９】
図１１は、図７のシーンをフィルム・デジャダーした場合のボールの表示位置と時間との関係をグラフ化したものである。フィルム・デジャダーによって、フレーム３、フレーム４では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．４、＋０．８フレーム分位相をずらした補間フレームが生成および表示され、フレーム５、フレーム６では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．２、＋０．６フレーム分位相をずらした補間フレームが生成および表示される。また、フレーム２、フレーム７では２４Ｈｚの原フレームがそのまま表示される。この結果、移動するボールの表示位置が視線の移動軌跡に一致し、フィルム・ジャダーのない、滑らかな動きとして見ることができる。また、立体映像の場合もフィルム・デジャダーにより移動物体を視線の移動軌跡に一致するような補間フレームを生成することで、両眼視差量が一定となり視聴者は容易に立体感を得ることができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平０９−１７２６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
フレーム周波数変換で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。【００１２】
このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。ハロは間違った補間フレームが生成されることによるものであるため、表示されるフレームのうち補間フレームの割合が大きい場合や、補間フレームが表示される時間が長い場合に顕著に発生する。【００１３】
また、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換して表示する場合、補間の誤りにより左右画像間で対応がとれず立体視できない映像となる可能性がある。この結果、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。【００１４】
上記問題に鑑み、本発明は、立体映像に好適なフレーム周波数変換を行う立体映像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するための手段として、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、前記出力映像信号として１フレーム置きおよび２フレーム置きの交互に前記補間フレームを出力し、それ以外は前記入力映像信号のフレームを出力するように、前記出力画像生成部を制御する出力制御部とを備えている。【００１６】
これによると、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換する際、左右画像間の視差への影響の大きい一部のフレームについてのみ検出した動きベクトルを用いた補間フレームが生成される。【００１７】
前記出力画像生成部は、前記入力映像信号の２つのフレーム間を１：４に分割する位相に前記補間フレームを生成してもよい。このように入力映像信号のフレームに比較的近い位相に補間フレームを生成することで、補間誤りを低減することができる。【００１８】
上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。
【発明の効果】
【００１９】
以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る立体映像表示装置の構成を示す図
【図２】動きベクトル検出を説明する図
【図３】入力映像と補間フレームの生成のタイミング関係を示す図
【図４】補間フレームの生成を説明する図
【図５】本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図
【図６】本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図
【図７】３：２プルダウンを示す図
【図８】３：２プルダウンされた映像の見え方を示す図
【図９】３：２プルダウンされた立体映像の見え方を示す図
【図１０】３：２プルダウンされた立体映像での視差量を示す図
【図１１】フィルム・デジャダーされた映像の見え方を示す図
【発明を実施するための形態】
【００２１】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有するフレーム周波数変換部２０を２つ備えている。
【００２３】
入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が２４Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。
【００２４】
立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つのフレーム周波数変換部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。
【００２５】
表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。
【００２６】
以上のように、立体映像表示装置１００は、入力された２４Ｈｚの立体映像信号１０１のフレーム周波数変換を行って１２０Ｈｚで立体表示を行うものである。
【００２７】
次に、フレーム周波数変換部２０において、２４Ｈｚの入力映像信号１０２を６０Ｈｚの出力映像信号１０３へフレーム周波数変換（フィルム・デジャダー）する場合について説明する。
【００２８】
フレーム周波数変換部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。
【００２９】
映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。
【００３０】
ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。
【００３１】
このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。
【００３２】
なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。
【００３３】
図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。
【００３４】
ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。
【００３５】
出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。
【００３６】
映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。
【００３７】
ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。
【００３８】
出力制御部２０４は図３に示すように、以下のような５フレームの周期で、フレーム選択信号１０８、ベクトル選択信号１０９および補間位相制御信号１０７を出力する。
【００３９】
１）前フレームとしてフレーム（０）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトルは不要である。
【００４０】
２）前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．２を出力する。
【００４１】
３）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。
【００４２】
４）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。
【００４３】
５）前後フレーム映像信号１０５にフレーム（１）とフレーム（２）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（２）とフレーム（１）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．８を出力する。
【００４４】
この結果、入力映像信号１０２をフレーム（０）、フレーム（１）、フレーム（２）、フレーム（３）、フレーム（４）、フレーム（５）とし、これを基準とした場合、出力映像信号１０３はフレーム（０）、フレーム（０．２）、フレーム（１）、フレーム（１）、フレーム（１．８）、フレーム（２）、フレーム（２．２）、フレーム（３）、フレーム（３）、フレーム（３．８）、フレーム（４）のようになる。
【００４５】
出力制御部２０４は、上記のように補間フレームの生成に必要な入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて、出力制御部２０４は補間位相制御信号１０７を出力する。
【００４６】
出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレーム間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。
【００４７】
補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から１／５の補間位相に補間フレームを生成する例を示している。
【００４８】
図５は、図７のシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図６は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図６からわかるとおり、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとすると、多くのフレーム間で出力画像の両眼視差量がＮ−１／５ＶからＮ＋２／５Ｖの間で変動する。図１０と比較すると、本実施形態に係る立体映像表示装置１００で表示される立体映像では、視差量の変動が抑制されていることがわかる。これにより、高品位な立体表示が可能となる。
【００４９】
また、上記のように補間位相を制御することにより、一般的な２４Ｈｚから６０Ｈｚへのフレーム周波数変換（フィルム・デジャダー）では出力フレームの５フレームのうち４フレームが生成された補間フレームであるのに対し、本明細書に開示した補間方法では、５フレームのうち２フレームのみが生成された補間フレームとなる。前述のように出力映像信号に含まれる、動きベクトルを使って生成された補間フレームの割合は、間違った動きベクトルが検出された場合の画質劣化の大きさに影響を与えるものであるため、本明細書に開示した補間方法では従来よりも画質劣化の小さいフレーム周波数変換が可能となる。またこの際、生成する補間フレームは半分であるため、補間フレームの生成に必要な処理量は従来のフィルム・デジャダーの半分にすることができる。
【００５０】
さらには、本明細書に開示したフレーム周波数変換方法では、生成する補間フレームの補間位相として０．２と０．８のみを用いる。前述のようにフレームを生成する補間位相が入力フレームに近付くと、入力フレームからの移動量が小さくなるため、間違った動きベクトルの影響が小さくなる。このため本明細書に開示した補間方法では、０．４、０．６の補間位相を用いる従来のフィルム・デジャダーに比べて、間違った動きベクトルが画質に与える影響が小さい。
【００５１】
すなわち本明細書に開示したフレーム周波数変換方法は、補間フレームの割合が小さく、かつ入力フレームに近い補間位相のみを用いるため、間違った動きベクトルが検出された場合の画質劣化が小さい。
【００５２】
以上のように、本明細書に開示したフレーム周波数変換方法によれば、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
【００５３】
なお、上記の実施の形態では、視差への影響の大きい一部のフレームについて補間フレームを生成し、出力するものとしたが、入力画像の左右画像間の視差を検出し、視差と動きベクトルの大きさをもとに３：２プルダウン表示した際の左右画像間の視差量を算出し、視差量が所定の範囲外の値となる場合、補間フレームを生成するものとしてもよい。これにより、見かけの視差量が大きく目の疲労につながる画像については補間フレームを生成することによって高品位な立体表示が可能となる一方、表示されるフレームに占める補間フレームの割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５４】
また、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体を含む画像領域のみについて補間画像を生成する。これにより、動く物体を含む画像領域については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５５】
また、上記の実施の形態では、２４Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１が３：２プルダウンされた６０Ｈｚの立体映像信号であってもかまわない。３：２プルダウンされた６０Ｈｚの立体映像信号から、３：２プルダウンされる前の２４Ｈｚの立体映像信号を適切に選択することができれば、同様の処理を行うことが可能である。
【００５６】
また、図３に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。
【００５７】
また、生成する補間フレームの補間位相は０．２および０．８に限定されない。これらの近傍値、例えば、０．１９と０．８１を用いてもよい。
【００５８】
さらに、いきなり０．２あるいは０．８フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．２あるいは０．８に近づけるようにしてもよい。同様に、補間フレームの生成を停止する場合、補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させるようにする。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。
【００５９】
また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。
【００６０】
また、上記の実施の形態では、立体映像処理装置２はフレーム周波数変換部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個のフレーム周波数変換部２０を時分割共有するようにしてもよい。
【産業上の利用可能性】
【００６１】
本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用してフレーム周波数を変換して表示する装置等に用いることができる。
【符号の説明】
【００６２】
１      入力画像選択部
２      立体映像処理装置
２０    フレーム周波数変換部
２０３  ベクトル検出部
２０４  出力制御部
２０６  出力画像生成部
３      表示部
【図１】
2012117461.tif 000003
【図２】
2012117461.tif 000004
【図３】
2012117461.tif 000005
【図４】
2012117461.tif 000006
【図５】
2012117461.tif 000007
【図６】
2012117461.tif 000008
【図７】
2012117461.tif 000009
【図８】
2012117461.tif 000010
【図９】
2012117461.tif 000011
【図１０】
2012117461.tif 000012
【図１１】
2012117461.tif 000013
【手続補正書】
【提出日】平成24年6月8日(2012.6.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像信号の左右それぞれの画像のフレーム間の動きベクトルを検出し、検出した動きベクトルを用いて補間フレームの生成を行う立体映像処理装置、特に２４Ｈｚのフレーム周波数で撮影された立体映画素材を６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示を行う立体映像処理装置に関するものである。
【背景技術】
【０００２】
近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。
【０００３】
家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。
【０００４】
一般に、映画は２４Ｈｚのフレーム周波数で撮影されているが、家庭用ＴＶではＮＴＳＣ方式による６０Ｈｚのフレーム周波数で表示されることが多い。従来、２４Ｈｚの二次元映像を６０Ｈｚの映像に変換する場合、３：２プルダウンによるフレーム周波数変換（テレシネ変換）が用いられてきた。３：２プルダウンでは、２４Ｈｚの１フレームが６０Ｈｚの３フレームと２フレームの交互に表示される。図７は、画面上をボールが横切るシーンを２４Ｈｚで撮影し、３：２プルダウンにより６０Ｈｚで表示する場合の例を示す。
【０００５】
人がこの例のようにほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図８は、図７の映像例のボールの表示位置と時間との関係をグラフ化したものである。図８に示したように、視線は表示されているボールを追いかけ、図中矢印で示した視線の移動軌跡のように移動する。ここでフレーム２、およびフレーム７ではボールの位置と視線の移動軌跡とが一致しているが、それ以外のフレームではずれている。このため、フレーム１、フレーム４、フレーム６では視線が追いかけているボールの位置よりも後ろ側に、フレーム３、フレーム５、フレーム８では前側に、それぞれ、ボールがあるように見えてしまい、均一に動いているボールが前後にぶれて見える。このような状態をフィルム・ジャダーと呼ぶ。
【０００６】
さらに立体映像の場合、フィルム・ジャダーは画質により大きな影響を与える。図７のシーンを左右それぞれ２４Ｈｚで立体撮影した場合を例に説明する。図９は、２４Ｈｚの立体映像を左右それぞれ３：２プルダウンにより６０Ｈｚの映像に変換し、１２０Ｈｚでフレームシーケンシャル表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図１０は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図１０からわかるとおり、２４Ｈｚの立体映像を３：２プルダウンにより６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示すると、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとして、出力画像の両眼視差量がＮ−２／５ＶからＮ＋３／５Ｖの間で不均一に変動することになる。
【０００７】
両眼視差方式の立体映像においては、視聴者は両眼視差量を元に立体感を知覚するため、図１０に示すとおりフィルム・ジャダーにより両眼視差量がフレーム間で不均一に変動すると、視聴者は立体感を正しく知覚できない可能性がある。また、立体視が困難な映像を無理に立体視しようとすることで、目の疲労の原因となる可能性がある。
【０００８】
以上のような３：２プルダウンに起因する画質劣化を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて映像信号のフレーム周波数変換を行うことが可能である。従来、２４Ｈｚの二次元映像から動きベクトルを検出し、この動きベクトルを用いて６０Ｈｚの表示タイミングにあわせた補間フレームを生成して表示することで、不自然さのない、滑らかな動きの表示を可能にしている（例えば、特許文献１参照）。このようなフレーム周波数変換はフィルム・デジャダーと呼ばれている。
【０００９】
図１１は、図７のシーンをフィルム・デジャダーした場合のボールの表示位置と時間との関係をグラフ化したものである。フィルム・デジャダーによって、フレーム３、フレーム４では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．４、＋０．８フレーム分位相をずらした補間フレームが生成および表示され、フレーム５、フレーム６では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．２、＋０．６フレーム分位相をずらした補間フレームが生成および表示される。また、フレーム２、フレーム７では２４Ｈｚの原フレームがそのまま表示される。この結果、移動するボールの表示位置が視線の移動軌跡に一致し、フィルム・ジャダーのない、滑らかな動きとして見ることができる。また、立体映像の場合もフィルム・デジャダーにより移動物体を視線の移動軌跡に一致するような補間フレームを生成することで、両眼視差量が一定となり視聴者は容易に立体感を得ることができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平０９−１７２６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
フレーム周波数変換で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。
【００１２】
このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。ハロは間違った補間フレームが生成されることによるものであるため、表示されるフレームのうち補間フレームの割合が大きい場合や、補間フレームが表示される時間が長い場合に顕著に発生する。
【００１３】
また、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換して表示する場合、補間の誤りにより左右画像間で対応がとれず立体視できない映像となる可能性がある。この結果、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。
【００１４】
上記問題に鑑み、本発明は、立体映像に好適なフレーム周波数変換を行う立体映像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するための手段として、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、前記出力映像信号として１フレーム置きおよび２フレーム置きの交互に前記補間フレームを出力し、それ以外は前記入力映像信号のフレームを出力するように、前記出力画像生成部を制御する出力制御部とを備えている。
【００１６】
これによると、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換する際、左右画像間の視差への影響の大きい一部のフレームについてのみ検出した動きベクトルを用いた補間フレームが生成される。
【００１７】
前記出力画像生成部は、前記入力映像信号の２つのフレーム間を１：４に分割する位相に前記補間フレームを生成してもよい。このように入力映像信号のフレームに比較的近い位相に補間フレームを生成することで、補間誤りを低減することができる。
【００１８】
上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。
【発明の効果】
【００１９】
以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る立体映像表示装置の構成を示す図
【図２】動きベクトル検出を説明する図
【図３】入力映像と補間フレームの生成のタイミング関係を示す図
【図４】補間フレームの生成を説明する図
【図５】本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図
【図６】本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図
【図７】３：２プルダウンを示す図
【図８】３：２プルダウンされた映像の見え方を示す図
【図９】３：２プルダウンされた立体映像の見え方を示す図
【図１０】３：２プルダウンされた立体映像での視差量を示す図
【図１１】フィルム・デジャダーされた映像の見え方を示す図
【発明を実施するための形態】
【００２１】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有するフレーム周波数変換部２０を２つ備えている。
【００２３】
入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が２４Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。
【００２４】
立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つのフレーム周波数変換部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。
【００２５】
表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。
【００２６】
以上のように、立体映像表示装置１００は、入力された２４Ｈｚの立体映像信号１０１のフレーム周波数変換を行って１２０Ｈｚで立体表示を行うものである。
【００２７】
次に、フレーム周波数変換部２０において、２４Ｈｚの入力映像信号１０２を６０Ｈｚの出力映像信号１０３へフレーム周波数変換（フィルム・デジャダー）する場合について説明する。
【００２８】
フレーム周波数変換部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。
【００２９】
映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。
【００３０】
ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。
【００３１】
このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。
【００３２】
なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。
【００３３】
図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。
【００３４】
ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。
【００３５】
出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。
【００３６】
映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。
【００３７】
ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。
【００３８】
出力制御部２０４は図３に示すように、以下のような５フレームの周期で、フレーム選択信号１０８、ベクトル選択信号１０９および補間位相制御信号１０７を出力する。
【００３９】
１）前フレームとしてフレーム（０）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。
【００４０】
２）前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．２を出力する。
【００４１】
３）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。
【００４２】
４）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。
【００４３】
５）前後フレーム映像信号１０５にフレーム（１）とフレーム（２）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（２）とフレーム（１）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．８を出力する。
【００４４】
この結果、入力映像信号１０２をフレーム（０）、フレーム（１）、フレーム（２）、フレーム（３）、フレーム（４）、フレーム（５）とし、これを基準とした場合、出力映像信号１０３はフレーム（０）、フレーム（０．２）、フレーム（１）、フレーム（１）、フレーム（１．８）、フレーム（２）、フレーム（２．２）、フレーム（３）、フレーム（３）、フレーム（３．８）、フレーム（４）のようになる。例えば、フレーム（０）からフレーム（２．２）までの７フレームは図５および図６における左または右フレーム２から８にそれぞれ該当する。
【００４５】
出力制御部２０４は、上記のように補間フレームの生成に必要な入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて、出力制御部２０４は補間位相制御信号１０７を出力する。
【００４６】
出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレーム間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。
【００４７】
補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から１／５の補間位相に補間フレームを生成する例を示している。
【００４８】
図５は、図７のシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図６は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図６からわかるとおり、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとすると、多くのフレーム間で出力画像の両眼視差量がＮ−１／５ＶからＮ＋２／５Ｖの間で変動する。図１０と比較すると、本実施形態に係る立体映像表示装置１００で表示される立体映像では、視差量の変動が抑制されていることがわかる。これにより、高品位な立体表示が可能となる。
【００４９】
また、上記のように補間位相を制御することにより、一般的な２４Ｈｚから６０Ｈｚへのフレーム周波数変換（フィルム・デジャダー）では出力フレームの５フレームのうち４フレームが生成された補間フレームであるのに対し、本明細書に開示した補間方法では、５フレームのうち２フレームのみが生成された補間フレームとなる。前述のように出力映像信号に含まれる、動きベクトルを使って生成された補間フレームの割合は、間違った動きベクトルが検出された場合の画質劣化の大きさに影響を与えるものであるため、本明細書に開示した補間方法では従来よりも画質劣化の小さいフレーム周波数変換が可能となる。またこの際、生成する補間フレームは半分であるため、補間フレームの生成に必要な処理量は従来のフィルム・デジャダーの半分にすることができる。
【００５０】
さらには、本明細書に開示したフレーム周波数変換方法では、生成する補間フレームの補間位相として０．２と０．８のみを用いる。前述のようにフレームを生成する補間位相が入力フレームに近付くと、入力フレームからの移動量が小さくなるため、間違った動きベクトルの影響が小さくなる。このため本明細書に開示した補間方法では、０．４、０．６の補間位相を用いる従来のフィルム・デジャダーに比べて、間違った動きベクトルが画質に与える影響が小さい。
【００５１】
すなわち本明細書に開示したフレーム周波数変換方法は、補間フレームの割合が小さく、かつ入力フレームに近い補間位相のみを用いるため、間違った動きベクトルが検出された場合の画質劣化が小さい。
【００５２】
以上のように、本明細書に開示したフレーム周波数変換方法によれば、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
【００５３】
なお、上記の実施の形態では、視差への影響の大きい一部のフレームについて補間フレームを生成し、出力するものとしたが、入力画像の左右画像間の視差を検出し、視差と動きベクトルの大きさをもとに３：２プルダウン表示した際の左右画像間の視差量を算出し、視差量が所定の範囲外の値となる場合、補間フレームを生成するものとしてもよい。これにより、見かけの視差量が大きく目の疲労につながる画像については補間フレームを生成することによって高品位な立体表示が可能となる一方、表示されるフレームに占める補間フレームの割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５４】
また、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体を含む画像領域のみについて補間画像を生成する。これにより、動く物体を含む画像領域については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
【００５５】
また、上記の実施の形態では、２４Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１が３：２プルダウンされた６０Ｈｚの立体映像信号であってもかまわない。３：２プルダウンされた６０Ｈｚの立体映像信号から、３：２プルダウンされる前の２４Ｈｚの立体映像信号を適切に選択することができれば、同様の処理を行うことが可能である。
【００５６】
また、図３に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。
【００５７】
また、生成する補間フレームの補間位相は０．２および０．８に限定されない。これらの近傍値、例えば、０．１９と０．８１を用いてもよい。
【００５８】
さらに、いきなり０．２あるいは０．８フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．２あるいは０．８に近づけるようにしてもよい。同様に、補間フレームの生成を停止する場合、補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させるようにする。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。
【００５９】
また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。
【００６０】
また、上記の実施の形態では、立体映像処理装置２はフレーム周波数変換部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個のフレーム周波数変換部２０を時分割共有するようにしてもよい。
【産業上の利用可能性】
【００６１】
本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用してフレーム周波数を変換して表示する装置等に用いることができる。
【符号の説明】
【００６２】
１      入力画像選択部
２      立体映像処理装置
２０    フレーム周波数変換部
２０３  ベクトル検出部
２０４  出力制御部
２０６  出力画像生成部
３      表示部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理装置であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、
前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、
前記出力映像信号として１フレーム置きおよび２フレーム置きの交互に前記補間フレームを出力し、それ以外は前記入力映像信号のフレームを出力するように、前記出力画像生成部を制御する出力制御部とを備えている
ことを特徴とする立体映像処理装置。
【請求項２】
請求項１の立体映像処理装置において、
前記出力画像生成部は、前記入力映像信号の２つのフレーム間を１：４に分割する位相に前記補間フレームを生成する
ことを特徴とする立体映像処理装置。
【請求項３】
請求項１および２のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えている
ことを特徴とする立体映像処理装置。
【請求項４】
請求項１および２のいずれか一つの立体映像処理装置において、
前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統で時分割共有する
ことを特徴とする立体映像処理装置。
【請求項５】
立体映像信号を受け、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号を出力する入力画像選択部と、
前記左右それぞれの入力映像信号を処理する請求項１から４のいずれか一つの立体映像処理装置と、
前記立体映像処理装置から出力されたフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号をフレームシーケンシャル表示する表示部とを備えている
ことを特徴とする立体映像表示装置。
【請求項６】
フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理方法であって、
前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するステップと、
前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成するステップと、
前記出力映像信号として１フレーム置きおよび２フレーム置きの交互に前記補間フレームを出力し、それ以外は前記入力映像信号のフレームを出力するステップとを備えている
ことを特徴とする立体映像処理方法。
【請求項７】
請求項６の立体映像処理方法において、
前記補間フレームを生成するステップでは、前記入力映像信号の２つのフレーム間を１：４に分割する位相に前記補間フレームが生成される
ことを特徴とする立体映像処理方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2012117461.tif 000014
【図２】
2012117461.tif 000015
【図３】
2012117461.tif 000016
【図４】
2012117461.tif 000017
【図５】
2012117461.tif 000018
【図６】
2012117461.tif 000019
【図７】
2012117461.tif 000020
【図８】
2012117461.tif 000021
【図９】
2012117461.tif 000022
【図１０】
2012117461.tif 000023
【図１１】
2012117461.tif 000024
【国際調査報告】
2012117461.tif 000025
2012117461.tif 000026
2012117461.tif 000027
2012117461.tif 000028