(57)【要約】【課題】高精度に映像信号の奥行きデータを生成可能な画像処理装置、画像処理方法および画像表示装置を提供する。【解決手段】実施形態によれば、映像の動きベクトルを検出する検出部と、前記映像中のオブジェクトが静止しているとみなせるか否かを判別する判別部と、静止しているとみなせない場合には当該オブジェクトの動きベクトルを出力し、静止しているとみなせる場合には当該オブジェクトの動きベクトルに代えて、過去に検出された、前記オブジェクトが静止しているとみなせない場合の動きベクトルを出力する動きベクトル出力部と、前記動きベクトル出力部から出力された動きベクトルに基づいて、前記映像の奥行きデータを生成する奥行き生成部と、を備える画像処理装置が提供される。【選択図】図３
2012217213.tif 000002
【特許請求の範囲】
【請求項１】
映像の動きベクトルを検出する検出部と、
前記映像中のオブジェクトが静止しているとみなせるか否かを判別する判別部と、
静止しているとみなせない場合には当該オブジェクトの動きベクトルを出力し、静止しているとみなせる場合には当該オブジェクトの動きベクトルに代えて、過去に検出された、前記オブジェクトが静止しているとみなせない場合の動きベクトルを出力する動きベクトル出力部と、
前記動きベクトル出力部から出力された動きベクトルに基づいて、前記映像の奥行きデータを生成する奥行き生成部と、を備える画像処理装置。
【請求項２】
前記判別部は、前記映像における現在のフレームと過去のフレームとの差異に基づいて、前記映像中のオブジェクトが静止しているとみなせるか否かを判別する請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクトが静止しているとみなせない場合の動きベクトルを記憶する過去動きベクトルメモリを備え、
前記動きベクトル出力部は、前記オブジェクトが静止しているとみなせる場合、前記過去動きベクトルに記憶された動きベクトルを出力する請求項１または２に記載の画像処理装置。
【請求項４】
映像の動きベクトルを検出する検出部と、
前記映像中のフレームが静止しているとみなせるか否かを判別する判別部と、
静止しているとみなせない場合には当該フレームの動きベクトルを出力し、静止しているとみなせる場合には当該フレームの動きベクトルに代えて、過去に検出された、前記フレームが静止しているとみなせない場合の動きベクトルを出力する動きベクトル出力部と、
前記動きベクトル出力部から出力された動きベクトルに基づいて、前記映像の奥行きデータを生成する奥行き生成部と、を備える画像処理装置。
【請求項５】
前記判別部は、前記映像における現在のフレームと過去のフレームとの差異に基づいて、前記映像中のフレームが静止しているとみなせるか否かを判別する請求項５に記載の画像処理装置。
【請求項６】
前記フレームが静止しているとみなせない場合の動きベクトルを記憶する過去動きベクトルメモリを備え、
前記動きベクトル出力部は、前記フレームが静止しているとみなせる場合、前記過去動きベクトルに記憶された動きベクトルを出力する請求項４または５に記載の画像処理装置。
【請求項７】
前記奥行きデータに基づいて、前記映像号を立体表示するための複数の視差画像を生成する視差画像生成部を備える請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
前記複数の視差画像を表示する表示部を備える請求項７に記載の画像処理装置。
【請求項９】
映像の動きベクトルを検出するステップと、
前記映像中のオブジェクトが静止しているとみなせるか否かを判別するステップと、
静止しているとみなせない場合には当該オブジェクトの動きベクトルを出力し、静止しているとみなせる場合には当該オブジェクトの動きベクトルに代えて、過去に検出された、前記オブジェクトが静止しているとみなせない場合の動きベクトルを出力するステップと、
前記出力された動きベクトルに基づいて、前記映像の奥行きデータを生成するステップと、を備える画像処理方法。
【請求項１０】
前記判別するステップは、前記映像における現在のフレームと過去のフレームとの差異に基づいて、前記映像中のオブジェクトが静止しているとみなせるか否かを判別する請求項９に記載の画像処理方法。
【請求項１１】
前記オブジェクトが静止しているとみなせない場合の動きベクトルを記憶するステップを備え、
前記動きベクトルを出力するステップは、前記オブジェクトが静止しているとみなせる場合、前記記憶された動きベクトルを出力する請求項９または１０に記載の画像処理方法。
【請求項１２】
映像の動きベクトルを検出するステップと、
前記映像中のフレームが静止しているとみなせるか否かを判別するステップと、
静止しているとみなせない場合には当該フレームの動きベクトルを出力し、静止しているとみなせる場合には当該フレームの動きベクトルに代えて、過去に検出された、前記フレームが静止しているとみなせない場合の動きベクトルを出力するステップと、
前記出力された動きベクトルに基づいて、前記映像の奥行きデータを生成するステップと、を備える画像処理方法。
【請求項１３】
前記判別するステップは、前記映像における現在のフレームと過去のフレームとの差異に基づいて、前記映像中のフレームが静止しているとみなせるか否かを判別する請求項１２に記載の画像処理方法。
【請求項１４】
前記フレームが静止しているとみなせない場合の動きベクトルを記憶するステップを備え、
前記動きベクトルを出力するステップは、前記フレームが静止しているとみなせる場合、前記記憶された動きベクトルを出力する請求項１２または１３に記載の画像処理方法。
【請求項１５】
前記奥行きデータに基づいて、前記映像を立体表示するための複数の視差画像を生成するステップを備える請求項９乃至１４のいずれかに記載の画像処理方法。
【請求項１６】
前記複数の視差画像を表示するステップを備える請求項１５に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像表示装置に関する。
【背景技術】
【０００２】
近年、映像信号を立体的に表示する立体画像表示装置が普及しつつある。立体画像表示装置では、視点が異なる複数の視差画像が表示されており、左目と右目で異なる視差画像を見ることにより、映像信号が立体的に見える。視差画像は映像信号の各画素の奥行きデータに基づいて生成される場合があるが、映像信号が奥行きデータを有さないときには、映像信号を解析して奥行きデータを生成しなければならない。従来提案されている手法では、必ずしも高精度に奥行きデータを生成できるとは限らない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−６５７１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高精度に映像信号の奥行きデータを生成可能な画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００５】
実施形態によれば、映像の動きベクトルを検出する検出部と、前記映像中のオブジェクトが静止しているとみなせるか否かを判別する判別部と、静止しているとみなせない場合には当該オブジェクトの動きベクトルを出力し、静止しているとみなせる場合には当該オブジェクトの動きベクトルに代えて、過去に検出された、前記オブジェクトが静止しているとみなせない場合の動きベクトルを出力する動きベクトル出力部と、前記動きベクトル出力部から出力された動きベクトルに基づいて、前記映像の奥行きデータを生成する奥行き生成部と、を備える画像処理装置が提供される。
【図面の簡単な説明】
【０００６】
【図１】一実施形態に係る画像表示装置１１０を含む画像表示システムの概略ブロック図。
【図２】視差画像生成装置１００の内部構成の一例を示す概略ブロック図。
【図３】動き検出部３の内部構成の一例を示す概略ブロック図。
【図４】動き検出部３の処理動作の一例を示すフローチャート。
【図５】映像信号、動きベクトルおよび表示部２００の出力の関係を模式的に示す図。
【発明を実施するための形態】
【０００７】
以下、画像処理装置、画像処理方法および画像表示装置の実施形態について、図面を参照しながら具体的に説明する。
【０００８】
図１は、一実施形態に係る画像表示装置１１０を含む画像表示システムの概略ブロック図である。
【０００９】
画像表示装置１１０は、各部の動作を制御する制御部１５６と、操作部１１６と、受光部１１８とを備えている。制御部１５６は、ＲＯＭ（Read Only Memory）１５７と、ＲＡＭ（Random Access Memory）１５８と、ＣＰＵ（Central Processing Unit）１５９と、フラッシュメモリ１６０とを有する。
【００１０】
制御部１５６は、操作部１１６から入力される操作信号や、リモートコントローラ１１７から送信され受光部１１８を介して入力される操作信号に応じて、ＲＯＭ１５７に予め記憶されたシステム制御プログラムおよび各種処理プログラムを起動させる。制御部１５６は、ＲＡＭ１５８をＣＰＵ１５９のワークメモリとし、起動したプログラムに従って各部の動作を制御する。また制御部１５６は、各種設定に必要な情報等を例えばＮＡＮＤフラッシュメモリ等のような不揮発性のメモリであるフラッシュメモリ１６０に格納して使用する。
【００１１】
また、画像表示装置１１０は、入力端子１４４と、チューナ１４５と、ＰＳＫ（Phase Shift Keying）復調器１４６と、ＴＳ（Transport Stream）復号器１４７ａと、信号処理部１２０とを備えている。
【００１２】
入力端子１４４は、ＢＳ／ＣＳデジタル放送受信用のアンテナ１４３が受信した衛星デジタルテレビジョン放送信号を、衛星デジタル放送用のチューナ１４５に送信する。チューナ１４５は、受信したデジタル放送信号のチューニングを行い、チューニングされたデジタル放送信号をＰＳＫ復調器１４６に送信する。ＰＳＫ復調器１４６は、デジタル放送信号からＴＳを復調し、復調されたＴＳをＴＳ復号器１４７ａに送信する。ＴＳ復号器１４７ａは、ＴＳをデジタル映像信号、デジタル音声信号、およびデータ信号を含むデジタル信号に復号した後、信号処理部１２０にこれらを送信する。
【００１３】
ここでのデジタル映像信号とは、画像表示装置１１０が出力可能な映像に関するデジタル信号であり、デジタル音声信号とは、画像表示装置１１０が出力可能な音声に関するデジタル信号である。またデータ信号とは、復調されたサービスについての各種情報を示すデジタル信号である。
【００１４】
また、画像表示装置１１０は、入力端子１４９と、２つのチューナ１５０ａ，１５０ｂを有するチューナ部１５０と、２つのＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器１５１と、２つのＴＳ復号器１４７ｂと、アナログチューナ１６８と、アナログ復調器１６９とを備えている。
【００１５】
入力端子１４９は、地上波デジタル放送受信用のアンテナ１４８が受信した地上波デジタルテレビジョン放送信号を、地上波デジタル放送用のチューナ部１５０に送信する。チューナ部１５０のチューナ１５０ａ，１５０ｂは、それぞれ受信したデジタル放送信号のチューニングを行い、チューニングされたデジタル放送信号を、２つ存在するＯＦＤＭ復調器１５１に送信する。ＯＦＤＭ復調器１５１は、デジタル放送からＴＳを復調し、復調されたＴＳをそれぞれ対応するＴＳ復号器１４７ｂに送信する。ＴＳ復号器１４７ｂは、ＴＳをデジタル映像信号および音声信号等に復号した後、信号処理部１２０にこれらを送信する。チューナ部１５０のチューナ１５０ａ，１５０ｂのそれぞれで取得した地上波デジタルテレビジョン放送は、２つずつのＯＦＤＭ復調器１５１、ＴＳ復号器１４７ｂによってそれぞれ同時にデジタル映像信号、デジタル音声信号、およびデータ信号を含むデジタル信号として復号された後に、信号処理部１２０に送信されることが可能である。
【００１６】
アンテナ１４８は、地上波アナログテレビジョン放送信号も受信可能である。受信された地上波アナログテレビジョン放送信号は、図示しない分配器によって分配されて、アナログチューナ１６８に送信される。アナログチューナ１６８は、受信したアナログ放送信号のチューニングを行い、チューニングされたアナログ放送信号をアナログ復調器１６９に送信する。アナログ復調器１６９はアナログ放送信号の復調を行い、復調されたアナログ放送信号を信号処理部１２０に送信する。また、画像表示装置１１０は、一例として、アンテナ１４８が接続される入力端子１４９にＣＡＴＶ（Common Antenna Television）用のチューナを接続することによってＣＡＴＶも視聴できる。
【００１７】
また、画像表示装置１１０は、ライン入力端子１３７と、音声処理部１５３と、スピーカ１１５と、グラフィック処理部１５２と、ＯＳＤ（On Screen Display）信号生成部１５４と、映像処理部１５５と、と、表示部２００とを備えている。
【００１８】
信号処理部１２０は、ＴＳ復号器１４７ａ、１４７ｂ、または制御部１５６から送信されたデジタル信号に、適切な信号処理を施す。より具体的には、信号処理部１２０はデジタル信号をデジタル映像信号、デジタル音声信号、およびデータ信号に分離する。分離されたデジタル映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に送信される。また信号処理部１２０は、アナログ復調器１６９から送信された放送信号を、所定のデジタルフォーマットの映像信号および音声信号に変換する。デジタルに変換された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に送信される。
また信号処理部１２０は、ライン入力端子１３７からの入力信号にも所定のデジタル信号処理を施す。
【００１９】
音声処理部１５３は、入力された音声信号を、スピーカ１１５で再生可能なフォーマットのアナログ音声信号に変換する。アナログ音声信号は、スピーカ１１５に送信されて再生される。
【００２０】
ＯＳＤ信号生成部１５４は、制御部１５６の制御に従って、ＵＩ（ユーザ・インタフェース）画面などを表示するためのＯＳＤ信号を生成する。また信号処理部１２０においてデジタル放送信号から分離されたデータ信号は、ＯＳＤ信号生成部１５４により適切なフォーマットのＯＳＤ信号に変換され、グラフィック処理部１５２に送信される。
【００２１】
グラフィック処理部１５２は、信号処理部１２０から送信されるデジタル映像信号のデコード処理を行う。デコードされた映像信号は、ＯＳＤ信号生成部１５４から送信されたＯＳＤ信号と重ね合わせて合成され、映像処理部１５５に送信される。グラフィック処理部１５２は、デコードされた映像信号またはＯＳＤ信号を、映像処理部１５５に選択的に送信することもできる。
【００２２】
また、グラフィック処理部１５２はデジタル映像信号を立体表示するために、視点がそれぞれ異なる複数の視差画像（間に視差が存在する画像）を生成する。これについては、後に詳しく説明する。
【００２３】
映像処理部１５５は、グラフィック処理部１５２から送信された信号を、表示部２００で表示可能なフォーマットのアナログ映像信号に変換する。アナログ映像信号は、表示部２００に送信されて表示される。表示部２００は、例えば１２インチや２０インチの液晶ディスプレイである。
【００２４】
さらに、画像表示装置１１０は、ＬＡＮ（Local Area Network）端子１３１と、ＬＡＮ
Ｉ／Ｆ（Interface）１６４と、ＵＳＢ（Universal Serial Bus）端子１３３と、ＵＳＢ  Ｉ／Ｆ１６５と、ＨＤＤ（Hard Disk Drive）１７０とを備えている。
【００２５】
ＬＡＮ端子１３１はＬＡＮ  Ｉ／Ｆ１６４を介して制御部１５６に接続されている。ＬＡＮ端子１３１はイーサネット（登録商標）を用いた一般的なＬＡＮ対応ポートとして使用される。本実施形態において、ＬＡＮ端子１３１にはＬＡＮケーブルが接続されており、インターネット１３０と通信可能となっている。
【００２６】
ＵＳＢ端子１３３はＵＳＢ Ｉ／Ｆ１６５を介して制御部１５６に接続されている。ＵＳＢ端子１３３は、一般的なＵＳＢ対応ポートとして使用される。ＵＳＢ端子１３３には、例えばハブを介して、携帯電話、デジタルカメラ、各種メモリカードに対するカードリーダ／ライタ、ＨＤＤ、キーボード等が接続される。制御部１５６は、ＵＳＢ端子１３３を介して接続される機器との間で、情報の通信（送受信）を行うことができる。
【００２７】
ＨＤＤ１７０は画像表示装置１１０に内蔵される磁気記憶媒体であって、画像表示装置１１０が有する各種情報を記憶する機能を有する。
【００２８】
次に、本実施形態の特徴の１つである視差画像生成装置１００について説明する。図２は、視差画像生成装置１００の内部構成の一例を示す概略ブロック図である。視差画像生成装置１００は、映像信号を解析して奥行きデータを生成し、生成された奥行きデータに基づいて、複数の視差画像を生成するものである。視差画像生成装置１００は、例えば半導体チップで構成され、グラフィック処理部１５２に内蔵される。
【００２９】
視差画像生成装置１００は、マトリクス変換部１と、フレームメモリ２と、動き検出部３と、奥行き生成部４と、視差画像生成部５とを備えている。これらの各部は、図示しないＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）に記憶されるプログラムを実行することにより、制御される。
【００３０】
マトリクス変換部１は、ＲＧＢフォーマットのデジタル映像信号（以下、単に映像信号という）を、所定のマトリクス係数を用いて、ＹＣｂＣｒ（輝度および色差）フォーマットに変換する。なお、映像信号が初めからＹＣｂＣｒフォーマットで入力される場合、この処理は不要である。ＹＣｂＣｒフォーマットの映像信号はフレームメモリ２に送信され、フレームメモリ２は、これをフレーム単位で記憶する。
【００３１】
動き検出部３は、フレームメモリ２から輝度Ｙを読み出し、映像信号が静止画であるか否かを判定する。そして、動き検出部３は、判定結果に基づいて、映像信号における各ブロック（フレーム内の複数画素（例えば４×４画素）からなる矩形領域）の動きベクトルを生成する。生成された動きベクトルは、奥行き生成部４に送信される。このように、本実施形態では、静止画であるか否かの判定結果に基づいて、動きベクトルを生成する。以下、動き検出部３について、より詳しく説明する。
【００３２】
図３は、動き検出部３の内部構成の一例を示す概略ブロック図である。動き検出部３は、画像メモリ１１と、メモリコントローラ１２と、動き検出用ＳＡＤ（Sum of Absolute Differences）算出部１３と、静止画判定用ＳＡＤ算出部１４と、動きベクトル生成部１５と、過去動きベクトルメモリ１６とを有する。
【００３３】
画像メモリ１１は、図２のフレームメモリ２から出力される現在のフレームの輝度Ｙおよび過去（例えば１フレーム前）のフレームの輝度Ｙを記憶する。画像メモリ１１の書き込みおよび読み出しは、メモリコントローラ１２により制御される。
【００３４】
動き検出用ＳＡＤ算出部１２は、現在のフレームと過去のフレームとのブロックマッチングを行い、「仮の」動きベクトルを生成する。より具体的には、現在のフレームにおける動き検出対象ブロックと、過去のフレームにおける複数のブロックのそれぞれと、について、画素毎に輝度Ｙの差分絶対値を算出してブロック内で積算することにより、差分絶対値和ＳＡＤ１を算出する。そして、差分絶対値和ＳＡＤ１が最小となるブロックに対応する動きベクトルを、動き検出対象ブロックの「仮の」動きベクトルとして、動きベクトル生成部１５に出力する。「仮の」動きベクトルは、現在のフレームのブロック毎に生成される。
【００３５】
映像信号が静止画である場合、現在のフレームと過去のフレームとがほぼ等しい画像となる。そのため、現在のフレームの動き検出対象ブロックと、過去のフレームにおける当該動き検出対象ブロックと対応する位置のブロックと、の差分絶対値和ＳＡＤ１が最小となる。その結果、動きベクトルはゼロベクトルとなる。
【００３６】
静止画判定用ＳＡＤ算出部１４は、現在のフレームと過去のフレームとを比較して、映像信号が静止画であるか否かを判定する。より具体的には、現在のフレームにおけるある画素の輝度Ｙと、過去のフレームにおける当該画素と対応する位置の画素の輝度Ｙと、の差分絶対値を算出し、フレーム全体で積算することにより、差分絶対値和ＳＡＤ２を算出する。そして、差分絶対値和ＳＡＤ２が予め定めた閾値より小さければ、静止画であると判定する。すなわち、厳密に静止画ではなくても、現在のフレームと過去のフレームとの差異が小さい場合は静止画とみなす。
【００３７】
動きベクトル生成部１５は、静止画判定の結果に基づいて動きベクトルを生成し、過去動きベクトルメモリ１６に記憶するとともに、図２の奥行き生成部４に出力する。より具体的には、映像信号が静止画でないと判定された場合、動き検出用ＳＡＤ算出部１３から出力される「仮の」動きベクトルを、動きベクトルとする。また、静止画であると判定された場合、過去動きベクトルメモリに記憶された、過去の動きベクトルを動きベクトルとする。
【００３８】
映像信号が静止画である場合、上述のように、動き検出用ＳＡＤ算出部１３で検出される動きベクトルはゼロベクトルとなるが、動きベクトル生成部１５から過去の動きベクトルを出力できる。
【００３９】
図４は、動き検出部３の処理動作の一例を示すフローチャートである。まず、動き検出用ＳＡＤ算出部１３および静止画判定用ＳＡＤ算出部１４は、差分絶対値和ＳＡＤ１，ＳＡＤ２をそれぞれ算出する（ステップＳ１）。次に、静止画判定用ＳＡＤ算出部１４は、差分絶対値和ＳＡＤ２と、予め定めた閾値とを比較し、映像信号が静止画か否かを判定する（ステップＳ２）。静止画でないと判定された場合（ステップＳ２のＮＯ）、動きベクトル生成部１５は、動き検出用ＳＡＤ算出部１３が生成する、差分絶対値和ＳＡＤ１に基づく動きベクトルを出力する（ステップＳ３）。一方、静止画であると判定された場合（ステップＳ３のＹＥＳ）、動きベクトル生成部１５は過去動きベクトルメモリ１６に記憶された過去の動きベクトルを出力する（ステップＳ４）。
【００４０】
このようにして生成された動きベクトルに基づき、図２の奥行き生成部４は映像信号の奥行きデータを生成する。例えば、奥行き生成部４は、動きベクトルが大きいブロックほど手前にあり、小さいブロックほど奥にあるものとして、奥行きデータを生成する。奥行きデータに対し、時間フィルタ処理や空間フィルタ処理を施して整形してもよい。奥行きデータは、手前および奥のいずれの方向に、どれだけ奥行き（又は飛び出し）があるのか、という情報を含む。
【００４１】
視差画像生成部５は、生成された奥行きデータを用いて、映像信号の複数の視差画像を生成する。例えば、左の方向から見た視差画像の場合、手前にある物体は奥にある物体より右側にずれて見える。よって、視差画像生成部５は手前にある物体を右側にずらす処理を行う。奥行きデータが大きいほど、ずらす量を大きくする。そして、もともと物体があった場所は、周辺の画素を用いて適宜補間する。めがね式立体表示用に左目用の視差画像と右目用の視差画像とを生成してもよいし、裸眼式立体表示用に例えば９枚の視差画像を生成してもよい。
【００４２】
図５は、映像信号、動きベクトルおよび表示部２００の出力の関係を模式的に示す図である。
【００４３】
図５（ａ）は、初めのフレームＦ１における映像信号および表示部２００の出力を示している。フレームＦ１では、映像信号中のある物体Ｏｂｊが位置Ｐ１にあり、表示部２００の対応する位置Ｐ１に物体Ｏｂｊが表示される。
【００４４】
図５（ｂ）は、フレームＦ１に引き続く２番目のフレームＦ２における映像信号、動きベクトルおよび表示部２００の出力を示している。フレームＦ２では、物体Ｏｂｊが位置Ｐ２に移動したとする。このとき、映像信号は静止画ではないので、動き検出部３は、過去（フレームＦ１）の位置Ｐ１から現在（フレームＦ２）の位置Ｐ２へ向かう動きベクトルＭＶ１を生成する。この動きベクトルＭＶ１に基づいて、奥行き生成部４は図５の奥行きデータＤｅｐｔｈ１を生成する。その結果、図示のように、表示部２００から飛び出した位置Ｐ２’に見えるよう、物体Ｏｂｊは表示される。なお、動きベクトルＭＶ１は過去動きベクトルメモリ１６に記憶される。
【００４５】
図５（ｃ）は、フレームＦ２に引き続く３番目のフレームＦ３における映像信号、動きベクトルおよび表示部２００の出力を示している。フレームＦ２からフレームＦ３にかけて、物体Ｏｂｊは位置Ｐ２に静止していたとする。このとき、映像信号は静止画なので、動き検出部３は、過去動きベクトルメモリ１６に記憶された動きベクトルＭＶ１を、フレームＦ３の動きベクトルＭＶ２として、出力する。そして、奥行きデータＤｅｐｔｈ１と等しい奥行きデータＤｅｐｔｈ２が生成される。その結果、やはり、図示のように、表示部２００から飛び出した位置Ｐ２’に見えるよう、物体Ｏｂｊは表示される。
【００４６】
仮に静止画判定を行わない場合、フレームＦ３では動きベクトルはゼロベクトルとなり、奥行きデータも、物体Ｏｂｊが立体表示されないことを示す値となる。結果として、フレームＦ３では物体Ｏｂｊは立体表示されず、表示部２００の位置Ｐ２に表示されることになる。フレームＦ２からフレームＦ３にかけて物体Ｏｂｊは静止しているにも関わらず、見える位置や奥行きが変化してしまい、不自然な表示となってしまう。
【００４７】
これに対し、本実施形態では、静止画判定を行って動きベクトルを生成するため、フレームＦ２とフレームＦ３とで、物体Ｏｂｊが同じ位置に見えるよう表示できる。
【００４８】
このように、本実施形態では、動き検出部３内に動き検出用ＳＡＤ算出部１３および静止画判定用ＳＡＤ算出部１４を設ける。そして、静止画判定用ＳＡＤ算出部１４が算出する差分絶対値和ＳＡＤ２に基づいて静止画判定を行い、静止画でないと判定された場合は動き検出用ＳＡＤ算出部１３で算出される差分絶対値和ＳＡＤ１に基づいて動きベクトルを生成する一方、静止画であると判定された場合は過去に生成された動きベクトルを出力する。したがって、静止画である場合でも立体表示に適した動きベクトルが生成され、映像信号を立体表示するための奥行きデータを高精度に生成できる。
【００４９】
なお、静止画判定は、フレーム全体が静止しているか否かを判定してもよいし、フレーム全体より小さい単位、例えばブロックやフレーム内のオブジェクトのそれぞれについて、静止しているか否かを判定してもよい。また、図３の動き検出部３では、映像信号を縮小した画像を用いて動き検出や静止画判定を行ってもよい。これにより、各部の回路規模の小規模化したり、演算量を減らしたりできる。この場合、縮小された画素毎に差分絶対値和ＳＡＤ１，ＳＡＤ２を算出すればよい。
【００５０】
また、本実施形態では、視差画像生成装置が画像表示装置に搭載される例を示したが、例えばＳＴＢ（Set Top box）等の放送受信装置や記録媒体の再生装置等に搭載して、画像処理装置を構成してもよい。
【００５１】
上述した実施形態で説明した画像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００５２】
また、画像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００５３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５４】
１  マトリクス変換部
２  フレームメモリ
３  動き検出部
４  奥行き生成部
５  視差画像生成部
１１  画像メモリ
１２  メモリコントローラ
１３  動き検出用ＳＡＤ検出部
１４  静止画判定用ＳＡＤ検出部
１５  動きベクトル生成部
１６  過去動きベクトルメモリ
１００  視差画像生成装置
２００  表示部
【図１】
2012217213.tif 000003
【図２】
2012217213.tif 000004
【図３】
2012217213.tif 000005
【図４】
2012217213.tif 000006
【図５】
2012217213.tif 000007