(57)【要約】【課題】両眼の視差に対応する１対の画像に基づいて、視差を好適に調整した１対の画像を生成し、好適な奥行き感の視差に変更して立体画像を表示することができる。【解決手段】画像処理装置１は、視差検出調整部１０と、１対の画像のいずれか一方を選択して選択画像Ｄｃ１として出力する選択部２０と、選択画像を１フレームに相当する期間遅延する遅延部３０と、遅延選択画像及び選択画像に基づいて、遅延選択画像から選択画像への動き推定量Ｍ１を算出する動き推定部４０と、動き推定量を他のフレームの動き推定量によって補正し、補正後動き推定量Ｍ２を出力する動き推定量補正部５０と、補正後動き推定量に基づいて視差調整データを補正し、補正後視差調整データＴ２を生成する視差調整量補正部６０と、補正後視差調整データに基づいて１対の画像の視差を調整した調整後の１対の画像Ｄａ２，Ｄｂ２を生成する調整画像生成部７０とを備える。【選択図】図１
2013214916.tif 000002
【特許請求の範囲】
【請求項１】
両眼の視差に対応する１対の画像が入力され、前記１対の画像に基づいて視差データを算出する視差検出部と、
前記１対の画像が入力され、前記１対の画像のいずれか一方を選択して選択画像として出力する選択部と、
前記選択画像を１フレームに相当する期間遅延する遅延部と、
前記１フレームに相当する期間遅延された遅延選択画像及び前記選択画像に基づいて、前記遅延選択画像から前記選択画像への動き推定量を算出する動き推定部と、
前記動き推定量を他のフレームの動き推定量によって補正し、補正後動き推定量を出力する動き推定量補正部と、
前記補正後動き推定量に基づいて前記視差データを補正し、補正後視差データを生成する視差調整量補正部と、
前記補正後視差データに基づいて前記１対の画像の視差を調整した調整後の１対の画像を生成する調整画像生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記動き推定部により算出される前記動き推定量は、画素ごとの動きベクトルの絶対値の総和であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動き推定部により算出される前記動き推定量は、画素ごとの動きベクトルの絶対値を、対応する画素の位置に応じた重みを持たせた加重加算によって得られた値であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記動き推定量補正部により算出された前記補正後動き推定量は、１つのフレームの前記動き推定量と他のフレームの前記動き推定量との平均を算出することにより得られる値であることを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記視差調整量補正部による前記視差データの調整は、前記補正後動き推定量の値が大きい場合に、調整量が小さくなるように行われることを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記視差調整量補正部による前記視差データの調整は、前記補正後動き推定量の値が大きい場合に、引っ込み側と飛び出し側で個別に視差データを補正することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記視差調整量補正部による前記視差データの調整は、前記補正後動き推定量の値が大きい場合に、引っ込み側は、補正量を０とすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記視差検出部は、ユーザー指示に基づいて、前記視差データを調整する機能を備えた視差検出調整部であることを特徴とする請求項１から７までのいずれか１項に記載の画像処理装置。
【請求項９】
請求項１から８までのいずれか１項に記載の画像処理装置と、
前記画像処理装置から出力される調整後の１対の画像に基づく画像を表示する表示部と
を備えたことを特徴とする画像表示装置。
【請求項１０】
両眼の視差に対応する１対の画像が入力され、前記１対の画像に基づいて視差データを算出するステップと、
前記１対の画像が入力され、前記１対の画像のいずれか一方を選択して選択画像として出力するステップと、
前記選択画像を１フレームに相当する期間遅延するステップと、
前記１フレームに相当する期間遅延された遅延選択画像及び前記選択画像に基づいて、前記遅延選択画像から前記選択画像への動き推定量を算出するステップと、
前記動き推定量を他のフレームの動き推定量によって補正し、補正後動き推定量を出力するステップと、
前記補正後動き推定量に基づいて前記視差データを補正し、補正後視差データを生成するステップと、
前記補正後視差データに基づいて前記１対の画像の視差を調整した調整後の１対の画像を生成するステップと
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、両眼の視差に対応する１対の画像に基づいて、視差を調整した１対の画像を生成する画像処理装置及び画像処理方法、並びに、画像処理装置を含む画像表示装置に関する。
【背景技術】
【０００２】
近年、観察者が擬似的に奥行き感を得るための画像表示技術として、両眼の視差を利用した立体画像表示技術がある。この技術では、左眼で見るべき左眼用画像と右眼で見るべき右眼用画像とをディスプレイ表示面に表示し、観察者の左眼は左眼用画像を見るとともに、観察者の右眼は右眼用画像を見ることによって、観察者は画像を立体と感じる。
【０００３】
観察者の左右の眼に異なる画像を見せるための技術として、左眼用画像と右眼用画像を時間的に交互に切り替えてディスプレイ表示面に表示するとともに、画像が切り替わるタイミングに同期して左右それぞれのレンズを透過する光量を制御する眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイ表示面の前面に画像の表示角を制限するバリアやレンズを用いることで左眼及び右眼のそれぞれに左眼用画像と右眼用画像を見せる方式など、様々な方式がある。
【０００４】
このような立体画像表示装置において、観察者は、飛び出した物体の位置に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせるという、両立させることが難しい目の調整を行うことになる。飛び出した物体の飛び出し量が大きすぎる場合、観察者は輻輳角の調整とピントの調整によって、目の疲れを誘発し易いという問題がある。一方、観察者にとって目の疲れを誘発する奥行き感は、観察者とディスプレイ表示面との距離や観察者の個人差によって異なるという問題がある。なお、輻輳角とは、左眼の視線と右眼の視線が成す角度のことを表し、奥行き感とは、両眼の視差よって表現される物体の飛び出し量又は引っ込み量のことを表す。
【０００５】
この問題に対して、特許文献１では、立体画像に埋め込まれた視差の情報に基づき立体画像の表示時間が所定時間を越えた場合に、立体画像の視差を変更することによって観察者の眼の疲れを軽減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−３０６７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術では、立体画像に視差情報が埋め込まれていない場合に対応できないという問題がある。
【０００８】
本発明の目的は、両眼の視差に対応する１対の画像に基づいて、視差を好適に調整した１対の画像を生成することができる画像処理装置及び画像処理方法、並びに、好適な奥行き感の視差に変更して立体画像を表示することができる画像表示装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る画像処理装置は、両眼の視差に対応する１対の画像が入力され、前記１対の画像に基づいて視差データを算出する視差検出部と、前記１対の画像が入力され、前記１対の画像のいずれか一方を選択して選択画像として出力する選択部と、前記選択画像を１フレームに相当する期間遅延する遅延部と、前記１フレームに相当する期間遅延された遅延選択画像及び前記選択画像に基づいて、前記遅延選択画像から前記選択画像への動き推定量を算出する動き推定部と、前記動き推定量を他のフレームの動き推定量によって補正し、補正後動き推定量を出力する動き推定量補正部と、前記補正後動き推定量に基づいて前記視差データを補正し、補正後視差データを生成する視差調整量補正部と、前記補正後視差データに基づいて前記１対の画像の視差を調整した調整後の１対の画像を生成する調整画像生成部とを備えることを特徴とする。
【００１０】
本発明の他の態様に係る画像表示装置は、前記画像処理装置と、前記画像処理装置から出力される調整後の１対の画像に基づく画像を表示する表示部とを備えたことを特徴とする。
【００１１】
本発明の他の態様に係る画像処理方法は、両眼の視差に対応する１対の画像が入力され、前記１対の画像に基づいて視差データを算出するステップと、前記１対の画像が入力され、前記１対の画像のいずれか一方を選択して選択画像として出力するステップと、前記選択画像を１フレームに相当する期間遅延するステップと、前記１フレームに相当する期間遅延された遅延選択画像及び前記選択画像に基づいて、前記遅延選択画像から前記選択画像への動き推定量を算出するステップと、前記動き推定量を他のフレームの動き推定量によって補正し、補正後動き推定量を出力するステップと、前記補正後動き推定量に基づいて前記視差データを補正し、補正後視差データを生成するステップと、前記補正後視差データに基づいて前記１対の画像の視差を調整した調整後の１対の画像を生成するステップとを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、両眼の視差に対応する１対の画像に基づいて、視差を好適に調整した１対の画像を生成することができ、その結果、好適な奥行き感の視差に変更された立体画像を表示することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１に係る画像処理装置及び画像表示装置の構成を概略的に示すブロック図である。
【図２】図１に示される視差検出調整部の構成の一例を示すブロック図である。
【図３】（ａ）及び（ｂ）は、図２に示される視差算出部が視差データを算出する方法を説明するための図である。
【図４】図２に示されるフレーム視差算出部に入力される視差データを詳細に示す図である。
【図５】（ａ）及び（ｂ）は、図２に示されるフレーム視差補正部の入力データ及び出力データの一例を示す図である。
【図６】図１に示される動き推定部の構成の一例を示すブロック図である。
【図７】（ａ）及び（ｂ）は、図１に示される動き推定部の動作を説明するための図である。
【図８】図６に示される動き推定量算出部が実行する算出方法を説明するための図である。
【図９】図１に示される視差調整量補正部の動作の一例を示す図である。
【図１０】（ａ）及び（ｂ）は、図１に示される視差調整量補正部の動作の一例を示す図である。
【図１１】実施の形態１に係る画像処理方法を示すフローチャートである。
【図１２】実施の形態２に係る画像処理装置及び画像表示装置の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１４】
《１》実施の形態１
《１−１》実施の形態１の構成
図１は、実施の形態１に係る画像処理装置１及び画像表示装置２の構成を概略的に示すブロック図である。また、実施の形態１に係る画像処理方法及び画像表示方法は、画像処理装置１及び画像表示装置２によって実施することができる。実施の形態１に係る画像表示装置２は、立体画像を表示することができる表示装置であり、画像処理装置１と、表示部８０とを有する。また、画像処理装置１は、視差検出調整部１０と、選択部２０と、遅延部３０と、動き推定部４０と、動き推定量補正部５０と、視差調整量補正部６０と、調整画像生成部７０とを有する。
【００１５】
左眼用画像入力データＤａ１及び右眼用画像入力データＤｂ１は、視差検出調整部１０、選択部２０、及び調整画像生成部７０に供給される。視差検出調整部１０は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて視差を算出し、算出した視差及び入力される視差調整情報Ｓ１に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１の視差を調整するための視差調整データＴ１を出力する。視差調整情報Ｓ１は、例えば、観察者（ユーザー）がリモコンなどの操作部から入力する情報である。ただし、視差調整情報Ｓ１は、予め設定された情報、予め設定された複数の情報からユーザーによって選択された情報などのような他の情報とすることもできる。
【００１６】
選択部２０は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１のいずれか一方を選択し、選択されたデータを選択画像データＤｃ１として出力する。選択画像データＤｃ１は、遅延部３０と動き推定部４０とに供給される。
【００１７】
遅延部３０は、選択画像データＤｃ１を、１フレームに相当する期間遅延させるとともに、選択画像データＤｃ１より１フレーム前の選択画像データＤｃ０を出力する。出力された１フレーム前の選択画像データＤｃ０は、動き推定部４０に入力される。
【００１８】
動き推定部４０は、１フレーム前の選択画像データＤｃ０と選択画像データＤｃ１とを受け取り、１フレーム前の選択画像データＤｃ０から選択画像データＤｃ１への動き推定量Ｍ１を生成する。動き推定量Ｍ１は、フレーム全体の動き量を示す値である。動き推定部４０から出力された動き推定量Ｍ１は、動き推定量補正部５０に供給される。
【００１９】
動き推定量補正部５０は、着目フレームの動き推定量Ｍ１を、他の時刻の動き推定量Ｍ１を参照して補正することによって、補正後動き推定量Ｍ２を生成する。補正後動き推定量Ｍ２は、視差調整量補正部６０に供給される。
【００２０】
視差調整量補正部６０は、視差調整データＴ１と補正後動き推定量Ｍ２を受け取り、補正後動き推定量Ｍ２に基づいて視差調整データＴ１を補正して補正後視差調整データＴ２を生成する。補正後視差調整データＴ２は、調整画像生成部７０に供給される。
【００２１】
調整画像生成部７０は、補正後視差調整データＴ２に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差を調整して、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを生成する。左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とは、表示部８０に供給される。
【００２２】
表示部８０は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を受け取り、これらのデータに基づく画像を表示面に表示する。
【００２３】
《１−２》実施の形態１の動作
〔視差検出調整部１０〕
視差検出調整部１０は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１に基づいて１フレームの視差を算出し、算出した１フレームの視差に基づいてフレームごとの視差調整量を出力する。
【００２４】
図２は、図１に示される視差検出調整部１０の構成の一例を示すブロック図である。図２に示されるように、視差検出調整部１０は、視差算出部１１と、フレーム視差算出部１２と、フレーム視差補正部１３と、視差調整量算出部１４とを備える。
【００２５】
左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、視差算出部１１に入力される。視差算出部１１は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて、領域ごとに視差を算出し、視差データＴ１１を出力する。視差データＴ１１は、フレーム視差算出部１２に供給される。
【００２６】
フレーム視差算出部１２は、視差データＴ１１に基づいて、着目フレームに対する視差を算出し、フレーム視差データＴ１２として出力する。フレーム視差データＴ１２は、フレーム視差補正部１３に供給される。
【００２７】
フレーム視差補正部１３は、着目フレームのフレーム視差データＴ１２を、他の時刻のフレーム視差データＴ１２を参照して補正して、補正後フレーム視差データＴ１３を生成する。補正後フレーム視差データＴ１３は、視差調整量算出部１４に供給される。
【００２８】
視差調整量算出部１４は、視差調整情報Ｓ１と補正後フレーム視差データＴ１３とに基づいて視差調整データＴ１を算出し、視差調整データＴ１を出力する。この視差調整データＴ１は、視差検出調整部１０からの出力となる。
【００２９】
〔視差算出部１１〕
図３（ａ）及び（ｂ）は、図２に示される視差算出部１１が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて視差データＴ１１を算出する方法を説明するための図である。図３（ａ）及び（ｂ）に示されるように、視差算出部１１は、１画面（１フレーム）の左眼用入力画像データＤａ１と１画面の右眼用画像入力データＤｂ１とのそれぞれを、幅Ｗ１で高さＨ１を持つ（ｈ×ｗ）個（すなわち、ｈ行ｗ列（ｈ及びｗは、２以上の整数））の領域に分割して、その領域ごとの視差を算出し、全領域（１画面）の領域ごとの視差をまとめて視差データＴ１１（すなわち、Ｔ１１（１）〜Ｔ１１（ｈ×ｗ））として出力する。領域ごとの視差を算出する方法としては、例えば、ブロックマッチングや位相限定相関法などの方法がある。ただし、領域ごとの視差を算出する方法は、他の方法であってもよい。また、画面の分割数は、画像処理装置１における演算処理量などを考慮して決定すればよい。
【００３０】
〔フレーム視差算出部１２〕
図４は、図２に示されるフレーム視差算出部１２に入力される視差データＴ１１を詳細に示す図である。図４に示されるように、フレーム視差算出部１２は、入力される第１番から第（ｈ×ｗ）番までの領域に対応する視差データＴ１１（１）からＴ１１（ｈ×ｗ）の中から最大の視差データを選択してフレーム視差データＴ１２として出力する。これにより、立体映像の入力データに視差の情報が埋め込まれていない場合であっても、観察者にとって最も影響が大きいと考えられる立体映像の各フレームにおいて、最も飛び出している部分の視差量を算出することができる。
【００３１】
〔フレーム視差補正部１３〕
図５（ａ）及び（ｂ）は、図２に示されるフレーム視差補正部１３の入力データ（フレーム視差データＴ１２）及び出力データ（補正後フレーム視差データＴ１３）の波形の一例を示す図である。図５（ａ）は、フレーム視差データＴ１２の時間的変化を示し、横軸は、時間を示し、縦軸は、フレーム視差データＴ１２の値を示す。図５（ｂ）は、補正後フレーム視差データＴ１３の時間的変化を示す図であり、横軸は、時間を示し、縦軸は、補正後フレーム視差データＴ１３の値を示す。フレーム視差補正部１３は、フレーム視差データＴ１２を一定時間分保持し、着目フレームの前後の複数のフレーム視差データＴ１２の平均を算出し、補正後フレーム視差データＴ１３として出力する。
【００３２】
立体映像の飛び出し量は、時間的に連続的に変化するものが多い。視差データＴ１１が時間的に不連続に変化する場合、例えば、時間軸に対してインパルス状に変化する場合は、視差データＴ１１の誤検出とみなしても良い。フレーム視差算出部１２により、視差データＴ１１がインパルス状の変化を含んでいたとしても、時間的に平均化されるため、誤検出の影響を緩和することができる。補正後フレーム視差データＴ１３を算出する方法として、平均値を算出する方法を例示したが、他の方法を用いてもよい。例えば、時間方向のメディアンフィルタなどを用いて、インパルス状の誤検出を緩和する方法を採用してもよい。
【００３３】
〔視差調整量算出部１４〕
次に、視差調整量算出部１４の詳細な動作の一例について説明する。視差調整量算出部１４は、観察者が好みや疲れ度合いに合わせて設定する視差調整情報Ｓ１と補正後フレーム視差データＴ１３とに基づいて視差調整量を算出し、この視差調整量を示す視差調整データＴ１を出力する視差調整情報Ｓ１は、視差調整係数Ｓ１１と視差調整閾値Ｓ１２を含み、視差調整データＴ１は、次の式（１）で表される。
【００３４】
【数１】
2013214916.tif 000003
【００３５】
視差調整データＴ１は、画像調整によって増加又は減少させる視差量（すなわち、視差調整量）のことであり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量を示す。後に詳述するように、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平シフトする量の和が、Ｔ１となる。このため、補正後フレーム視差データＴ１３が視差調整閾値Ｓ１２以下の場合は（Ｔ１３≦Ｓ１２）、画像調整により左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、水平方向にシフトしない。一方、補正後フレーム視差データＴ１３が視差調整閾値Ｓ１２より大きい場合は（Ｔ１３＞Ｓ１２）、補正後フレーム視差データＴ１３と視差調整閾値Ｓ１２との差の値（Ｔ１３−Ｓ１２）に、視差調整係数Ｓ１１を乗じた値だけ、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを、水平方向にシフトする。
【００３６】
例えば、視差調整係数Ｓ１１＝１且つ視差調整閾値Ｓ１２＝０の場合に、Ｔ１３≦０であれば、式（１）より、Ｔ１＝０となる。したがって、このときには、画像調整は行われない。
【００３７】
一方、視差調整係数Ｓ１１＝１且つ視差調整閾値Ｓ１２＝０の場合に、Ｔ１３＞０であれば、Ｔ１＝１×（Ｔ１３−０）＝Ｔ１３となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは、水平方向にＴ１３だけシフトされる。補正後フレーム視差データＴ１３は、フレーム画像の最大の視差であるため、着目フレーム内で算出された最大の視差が０となる。
【００３８】
また、視差調整係数Ｓ１１が１より小さくなると、視差調整データＴ１は、補正後フレーム視差データＴ１３より小さくなり、着目フレーム内で算出された最大の視差も０より大きくなる。
【００３９】
また、視差調整閾値Ｓ１２が０より大きくなると、補正後フレーム視差データＴ１３が０より大きい値に対しても視差データの調整を行わず、画像が少し飛び出しているフレームに対しても視差調整を行わないことになる。
【００４０】
視差調整情報Ｓ１の設定は、例えば、ユーザーがリモコンなどの入力手段によって視差調整情報Ｓ１を変化させて立体画像の飛び出し量の変化を見ながら決定することができる。リモコンに視差調整係数Ｓ１１を調整する視差調整係数ボタンと視差調整閾値Ｓ１２を調整する視差調整閾値ボタンとを設け、これらのボタンから入力することもできる。また、ランク分けされた１つの視差調整ボタンから、視差の調整度合いを入力すると、所定の視差調整係数Ｓ１１と視差調整閾値Ｓ１２が設定されるようにすることもできる。以上のように、実施の形態１は、入力された１対の画像の視差を、観察者とディスプレイ表示面との距離や観察者の好みや疲れ度合いなどの個人差に対応した、目が疲れにくい好適な奥行き感の視差に変更して立体画像を表示することができる。
【００４１】
〔選択部２０〕
選択部２０は、後述の動き推定部４０で動きを推定するために用いる画像を、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１のいずれかから選択する。選択部２０は、予め決められた設定に基づいて、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１のいずれか一方を選択して選択画像データＤｃ１として出力する。
【００４２】
〔動き推定部４０〕
動き推定部４０は、遅延部３０から出力される１フレーム前の選択画像データＤｃ０から選択画像データＤｃ１への動き推定量を算出する。動き推定部４０は、例えば、ブロックマッチングにより得られる各画素の動きベクトルの総和によって注目フレームの動き推定量を求める。
【００４３】
図６は、動き推定部４０の構成の一例を示すブロック図である。図６に示されるように、動き推定部４０は、注目画素ブロック切り出し部４１と、探索画素ブロック切り出し部４２と、動きベクトル決定部４３と、動き推定量算出部４４とを備える。
【００４４】
図７（ａ）及び（ｂ）は、動き推定部４０の動作を説明するための図である。図４（ａ）に示されるように、１フレーム前の選択画像データＤｃ０の、位置ｐ（ｉ，ｊ）にある注目画素についての動きベクトルを求める場合、注目画素ブロック切り出し部４１は、１フレーム前の選択画像データＤｃ０から注目画素の周辺領域をブロック（注目画素ブロック）として切り出す。ここでは、図７（ａ）に示されるように、注目画素ブロック切り出し部４１は、注目画素を中心とし、幅（水平方向サイズ）が（２×ＢＭ＋１）、高さ（垂直方向サイズ）が（２×ＢＮ＋１）の矩形領域（ブロック）Ｄｃ０Ｂ（ｉ，ｊ）を切り出す。なお、（ｉ，ｊ）において、ｉは、画像における水平方向の位置を示し、ｊは、画像における垂直方向の位置を示す。
【００４５】
探索画素ブロック切り出し部４２は、現フレームの選択画像データＤｃ１から注目画素に対応する動きベクトルの探索範囲に含まれる各位置を中心とする矩形領域Ｄｃ１Ｂ（ｉ，ｊ）と同じサイズの複数個の矩形領域（ブロック）を切り出す。ここでは、図７（ｂ）に示されるように、探索範囲は、下記式（２）で表される座標の集合Ｓ（ｉ，ｊ）である。
Ｓ（ｉ，ｊ）＝｛（ｉ＋ｋ，ｊ＋ｌ）｝                    …（２）
式（２）において、
ｋ＝−ＳＨ，…，−１，０，＋１，…，ＳＨ（ＳＨは、１以上の所定の整数）
であり、
ｌ＝−ＳＶ，…，−１，０，＋１，…，ＳＶ（ＳＶは、１以上の所定の整数）
である。
【００４６】
このように定義される探索範囲は、水平方向のサイズが（２×ＳＨ＋１）、垂直方向のサイズが（２×ＳＶ＋１）の矩形の領域である。
【００４７】
そして、探索画素ブロック切り出し部４２は、座標の集合Ｓ（ｉ，ｊ）に含まれる各位置（ｉ＋ｋ，ｊ＋ｌ）を中心とする、矩形領域Ｄｃ０Ｂ（ｉ，ｊ）と同じサイズの、
（２×ＳＨ＋１）×（２×ＳＶ＋１）個の矩形領域Ｄｃ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を切り出す。
【００４８】
動きベクトル決定部４３は、注目画素ブロック切り出し部４１から入力されるブロックＤｃ０Ｂ（ｉ，ｊ）と、探索画素ブロック切り出し部４２から入力されるブロックＤｃ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）との間で、それぞれのブロック内のすべての画素、すなわち（２×ＢＭ＋１）×（２×ＢＮ＋１）個の、互いに対応する位置の画素同士の差分の絶対値の総和である差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）を求める。この差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）は、下記の式（３）で表される。
【００４９】
【数２】
2013214916.tif 000004
【００５０】
上記式（３）において、Ｄ１（ｉ＋ｋ＋ｒ，ｊ＋ｌ＋ｓ）は、選択画像データＤｃ１Ｂの位置（ｉ＋ｋ＋ｒ，ｊ＋ｌ＋ｓ）における画素値を表し、Ｄ２（ｉ＋ｒ，ｊ＋ｓ）は、１フレーム前の選択画像データＤｃ０Ｂの位置（ｉ＋ｒ，ｊ＋ｓ）における画素値を表す。
【００５１】
動きベクトル決定部４３は、（２×ＳＨ＋１）×（２×ＳＶ＋１）個の矩形領域Ｄｃ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）に対応する（２×ＳＨ＋１）×（２×ＳＶ＋１）個の差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）を求め、これらの中で最小の差分絶対値和を生じさせた矩形領域Ｄｃ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）を特定し、この矩形領域Ｄｃ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）の矩形領域Ｄｃ０Ｂ（ｉ，ｊ）に対する相対位置（ｋｍ，ｌｍ）を、動きベクトルＭ１１（Ｖｘ，Ｖｙ）＝（ｋｍ，ｌｍ）として出力する。この第１の動きベクトルＭ１１は、他の画素についての動きベクトルとの区別のために、Ｍ１１（ｉ，ｊ）と表してもよい
【００５２】
動きベクトル決定部４３は、上記の動きベクトル検出を、選択画像データＤｃ１の全画素に対して行い、各画素についての動きベクトルＭ１１を検出する。
【００５３】
動き推定量算出部４４は、各画素についての動きベクトルＭ１１に基づいて注目フレームの動き推定量を算出する。具体的には、各画素の動きベクトルの絶対値の総和を注目フレームの動き推定量とすることで、注目フレーム全体の動き量を算出する。上記のように、各画素の動きベクトルの絶対値の総和を注目フレームの動き推定量とすることで、フレーム全体の動き量を得ることができる。
【００５４】
なお、動き推定部４０における動きベクトル検出において、上記の矩形領域Ｄｃ０Ｂ又はＤｃ１Ｂが画像の上端、下端、左端、又は右端の外側の領域を含む場合には、例えば、矩形領域Ｄｃ０Ｂ又はＤｃ１Ｂのうち、画像の上端、下端、左端、又は、右端の外側の領域の画素が、それぞれ画像の上端、下端、左端、又は右端の画素と同じ画素値を持つものとして処理すればよい。
【００５５】
動き推定部４０の処理方法は、上記方法に限定されるものではなく、例えば、位相相関関数を用いて動きベクトルを求める手法など、他の動きベクトル算出方法が採用されてもよい。
【００５６】
また、動き推定量算出部４４の算出は、以下のように処理することもできる。図８は、動き推定量算出部４４の別の算出方法について説明するための図である。図８は、選択画像データＤｃ１を画像の中心座標に近い領域から順に複数の領域に分割したことを示す図である。画像の中心を含む領域をＲ０、次に画像の中心に近い領域をＲ１、その次に画像の中心に近い領域をＲ２、最も画像の外側の領域をＲ３とする。
【００５７】
動き推定量算出部４４において、動きベクトルＭ１１を加算する際に、領域ごとに異なる重みを持たせた加重加算によって動き推定量を算出することもできる。このように求められる動き推定量Ｍ１は、下記の式（４）によって表すことができる。
Ｍ１
＝ｗ０*Ｍ１１(Ｒ０)＋ｗ１*Ｍ１１(Ｒ１)＋ｗ２*Ｍ１１(Ｒ２)＋ｗ３*Ｍ１１(Ｒ３)
…（４）
【００５８】
上記式（４）において、ｗ０は、領域Ｒ０に対応する重み値、ｗ１は、領域Ｒ１に対応する重み値、ｗ２は、領域Ｒ２に対応する重み値、ｗ３は、領域Ｒ３に対応する重み値であり、Ｍ１１（Ｒ０）は、領域Ｒ０に含まれる画素の動きベクトルの絶対値の総和、Ｍ１１（Ｒ１）は、領域Ｒ１に含まれる画素の動きベクトルの絶対値の総和、Ｍ１１（Ｒ２）は、領域Ｒ２に含まれる画素の動きベクトルの絶対値の総和、Ｍ１１（Ｒ３）は、領域Ｒ３に含まれる画素の動きベクトルの絶対値の総和である。
【００５９】
このように、領域ごとに異なる重みを持たせた加重加算によって動き推定量を算出することで、画像の中心に近い物体の動きをより重視した動き推定量を算出することができる。
【００６０】
上記の例では、領域を４つに分割したが、分割数は、４つに限るものではなく、また、分割の形も図８に示したものに限るものではない。また、画素ごとに画像の中心座標からの距離を算出し、距離に応じて重みを持たせることもできる。
【００６１】
〔動き推定量補正部５０〕
動き推定量補正部５０は、動き推定量Ｍ１を一定時間分保持し、着目フレームの前後の複数のフレームの動き推定量Ｍ１の平均を算出し、算出結果を補正後動き推定量Ｍ２として出力する。後述するように、動き推定量補正部５０から出力される補正後動き推定量Ｍ２は、視差調整量補正部６０にて、視差調整データＴ１を補正する際に用いられる。その際、動き推定量Ｍ１をそのまま補正に用いると、動き量の変化が大きいシーンでは、視差調整データＴ１に対する補正の変化が急激に起こり得るため、観察者にとって見にくい立体映像（急激なシーンの変化を含み、観察者に大きな負担を強いる立体映像）になってしまう。視差調整量補正部６０における補正において、補正後動き推定量Ｍ２を用いることによって、観察者にとって見やすい立体映像（シーンの急激な変化が緩和された、観察者にあまり負担を強いることがない立体映像）を出力することができる。
【００６２】
また、動き推定量Ｍ１が時間的に不連続に変化する場合、例えば、時間軸に対してインパルス状に変化する場合は、動き推定量Ｍ１の誤検出とみなしても良い。動き推定量補正部５０による補正によって、たとえインパルス状の変化があったとしても時間的に平均化されるため誤検出を緩和することができる。上記では、補正後動き推定量Ｍ２を算出する方法として平均値を算出する方法を例示したが、他の方法を用いてもよい。例えば、時間方向のメディアンフィルタなどを用いて、インパルス状の誤検出を緩和する方法を採用してもよい。
【００６３】
〔視差調整量補正部６０〕
視差調整量補正部６０は、視差調整データＴ１を、補正後動き推定量Ｍ２と、補正後フレーム視差データＴ１３、予め定められた視差調整量補正パラメータＳ２、視差調整量補正パラメータＳ３に基づいて補正を行う。図９並びに図１０（ａ）及び（ｂ）は、視差調整量補正部６０の動作の一例を示す図である。
【００６４】
視差調整量補正部６０は、視差調整量補正パラメータＳ２と補正後動き推定量Ｍ２に基づいて、視差調整データＴ１を補正するための第１の視差補正係数Ｃ０を算出する。第１の視差補正係数Ｃ０は、その値が小さいほど視差調整量を小さくするように補正するものである。視差調整量補正パラメータＳ２は、第１の視差調整量補正閾値Ｓ２１と、第２の視差調整量補正閾値Ｓ２２と、視差調整量補正傾きＳ２３を含み、第１の視差補正係数Ｃ０は、下記の式（５）で表される。
【００６５】
【数３】
2013214916.tif 000005
【００６６】
図９に示されるように、視差調整量補正部６０は、補正後動き推定量Ｍ２が大きいほど補正後視差調整データＴ２が小さくなるように第１の視差補正係数Ｃ０を算出する。図９の例では、補正後動き推定量Ｍ２が第１の視差調整量補正閾値Ｓ２１以下の場合（Ｍ２≦Ｓ２１）には、Ｃ０＝０とし、補正を行わない。
【００６７】
補正後動き推定量Ｍ２が第１の視差調整量補正閾値Ｓ２１より大きく、第２の視差調整量補正閾値Ｓ２２以下の場合（Ｓ２１＜Ｍ２≦Ｓ１２）には、補正後動き推定量Ｍ２と第１の視差調整量補正閾値Ｓ２１との差分に対して視差調整量補正傾きＳ２３を乗じた値（Ｓ２３×（Ｍ２−Ｓ２１））を、第１の視差補正係数Ｃ０とする。すなわち、補正後動き推定量Ｍ２の大きさに応じて段階的に第１の視差補正係数Ｃ０を大きくする。
【００６８】
補正後動き推定量Ｍ２が第２の視差調整量補正閾値Ｓ２２よりも大きい場合（Ｍ２＞Ｓ２２）には、Ｃ０＝１とする。すなわち、補正後動き推定量Ｍ２が一定値よりも大きい場合には、視差調整を行わないように制御する。
【００６９】
また、視差調整量補正部６０は、視差調整量補正パラメータＳ３と補正後フレーム視差データＴ１３に応じて視差調整データＴ１を補正するための第２の視差補正係数Ｃ１を算出する。第２の視差補正係数Ｃ１は、第１の視差補正係数Ｃ０と同様に、その値が小さいほど視差調整量を小さくするように補正するものである。視差調整量補正パラメータＳ３は、第１の視差調整量補正傾きＳ３１と第２の視差調整量補正傾きＳ３２及び視差調整量補正切片Ｓ３３を含む。
【００７０】
第１の視差調整量補正傾きＳ３１は、補正後フレーム視差データが負の場合に適用される傾きであり、第２の視差調整量補正傾きＳ３２は、補正後フレーム視差データが正の場合に適用される傾きであり、視差調整量補正切片Ｓ３３は、補正後フレーム視差データが０の場合の第２の視差補正係数Ｃ１の値である。
【００７１】
図１０は、第２の視差補正係数Ｃ１の算出方法の一例を説明するための図である。図１０（ａ）及び図１０（ｂ）の横軸は、補正後フレーム視差データＴ１３、縦軸は、第２の視差補正係数Ｃ１であり、補正後フレーム視差データＴ１３は、引っ込み側は、負の値、飛び出し側は、正の値である。
【００７２】
図１０（ａ）に示されるように、第１の視差調整量補正傾きＳ３１と第２の視差調整量補正傾きＳ３２に異なる値を設定することによって、引っ込み側と飛び出し側で異なる視差調整量補正を実現することができる。
【００７３】
また、例えば、図１０（ｂ）のように、Ｓ３１＝０と設定することで、全体が引っ込んでいるフレームに対しては、視差調整量の補正を実施せず、全体が飛び出しているフレームに対しては、視差調整量の補正を実施するように制御することも可能である。
【００７４】
視差調整量補正部６０は、上述のようにして算出した第１の視差補正係数Ｃ０及び第２の視差補正係数Ｃ１を用いて入力された視差調整データＴ１を補正して補正後視差調整データＴ２を求める。具体的には、下記の式（６）を用いる。
Ｔ２＝Ｔ１＊（１−（Ｃ０＊Ｃ１））            …（６）
【００７５】
上記式（６）を用いて補正後視差調整データＴ２を算出することによって、動きの大きいフレーム（Ｃ０が大きい）且つ視差の大きい（Ｃ１が大きい）フレームに対する補正量が大きくなる。すなわち、補正後視差調整データＴ２が小さくなる。
【００７６】
〔画像処理方法〕
図１１は、実施の形態１２に係る画像処理方法における処理を示すフローチャートである。実施の形態１に係る画像処理方法は、図１に示される画像処理装置１（又は、後述の図１２の画像処理装置３）により実行可能である。実施の形態１に係る画像処理方法は、両眼の視差に対応する１対の画像Ｄａ１，Ｄｂ１が入力され、前記１対の画像に基づいて視差データを算出するステップ（視差検出調整ステップ又は視差検出調整ステップＳｔ１）と、１対の画像Ｄａ１，Ｄｂ１が入力され、前記１対の画像のいずれか一方を選択して選択画像Ｄｃ１として出力するステップ（選択ステップＳｔ２）と、選択画像を１フレームに相当する期間遅延するステップ（遅延ステップＳｔ３）と、前記１フレームに相当する期間遅延された遅延選択画像及び前記選択画像に基づいて、前記遅延選択画像から前記選択画像への動き推定量を算出するステップ（動き推定ステップＳｔ４）と、前記動き推定量を他のフレームの動き推定量によって補正し、補正後動き推定量を出力するステップ（動き推定量補正ステップＳｔ５）と、前記補正後動き推定量に基づいて前記視差データを補正し、補正後視差データを生成するステップ（視差調整量補正ステップＳｔ６）と、前記補正後視差データに基づいて前記１対の画像の視差を調整した調整後の１対の画像（Ｄａ２，Ｄｂ２）を生成するステップ（調整画像生成ステップＳｔ７）とを有している。
【００７７】
まず、視差検出調整ステップＳｔ１において、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とに基づいて視差を算出し、検出した視差及び観察者が入力する視差調整情報Ｓ１に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１の視差を調整するための視差調整データＴ１を出力する。この動作は、視差検出調整部１０による動作と同等である。なお、このステップを後述する視差検出部９０による動作と同等にすることも可能である。
【００７８】
次の選択ステップＳｔ２では、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１のいずれか一方を選択して選択画像データＤｃ１として出力する。この動作は、選択部２０による動作と同等である。
【００７９】
次の遅延ステップＳｔ３では、選択画像データＤｃ１を１フレーム以上に相当する期間遅延するとともに、１フレーム前の選択画像データＤｃ０を出力する。この動作は、遅延部３０の動作と同等である。
【００８０】
次の動き推定ステップＳｔ４では、１フレーム前の選択画像データＤｃ０と選択画像データＤｃ１を入力し、１フレーム前の選択画像データＤｃ０から選択画像データＤｃ１への動き推定量Ｍ１を出力する。動き推定量Ｍ１は、フレーム全体の動き量を示す値である。この動作は、動き推定部４０の動作と同等である。
【００８１】
次の動き推定量補正ステップＳｔ５では、着目フレームの動き推定量Ｍ１を他の時刻の動き推定量Ｍ１を参照して補正した補正後動き推定量Ｍ２を出力する。この動作は、動き推定量補正部５０の動作と同等である。
【００８２】
次の視差調整量補正ステップＳｔ６では、視差調整データＴ１と補正後動き推定量Ｍ２を入力とし、補正後動き推定量Ｍ２に基づいて視差調整データＴ１を補正して補正後視差調整データＴ２を出力する。この動作は、視差調整量補正部６０の動作と同等である。
【００８３】
次の調整画像生成ステップＳｔ７では、補正後視差調整データＴ２に基づいて左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１との視差を調整した左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２とを出力する。この動作は、調整画像生成部７０の動作と同等である。
【００８４】
《１−３》実施の形態１の効果
以上に説明したように、実施の形態１に係る画像処理装置１及び画像処理方法によれば、観察者が立体視を得にくい、動きの大きいフレームにおける視差調整量を小さくしている、又は、０にしているので、視差検出時の誤検出に起因する誤った調整の影響を抑制することができる。
【００８５】
また、実施の形態１に係る画像処理装置１及び画像処理方法によれば、観察者が注目しやすい画面全体が飛び出しているフレームにおける視差調整量をより小さくすることで、視差検出時の誤検出に起因する誤った調整の影響を抑制することができる。
【００８６】
また、実施の形態１に係る画像表示装置２は、入力された１対の画像の視差を、観察者とディスプレイ表示面との距離や観察者の好みや疲れ度合いなどの個人差に対応して調整できるので、観察者に目の疲れを与えにくく、観察者に好適な奥行き感を与える立体画像を表示することができる。
【００８７】
また、実施の形態１に係る画像表示装置２は、入力された１対の画像の視差を、観察者とディスプレイ表示面との距離や観察者の好みや疲れ度合いなどの個人差に対応して調整できるので、視差検出時の誤検出の影響を抑制でき、観察者にとって好適な視差の立体画像を表示することができる。
【００８８】
《２》実施の形態２
図１２は、実施の形態２に係る画像処理装置３及び画像表示装置４の構成を概略的に示すブロック図である。図１２において、図１に示される構成要素と同一又は対応する構成要素には、同じ符号を付す。実施の形態２に係る画像処理装置３及び画像表示装置４は、実施の形態１における視差検出調整部１０に代えて、調整機能を持たない視差検出部９０を備えた点が、実施の形態１に係る画像処理装置１及び画像表示装置２と相違する。視差検出部９０は、図２に示される構成１１〜１４の内の、視差調整量算出部１４を省いた構成を有する。したがって、視差検出部９０から出力される視差データは、補正後フレーム視差データＴ１３と同じであり、ユーザー調整機能を持たない。上記以外の点について、実施の形態２に係る画像処理装置３及び画像表示装置４は、実施の形態１に係る画像処理装置１及び画像表示装置２と同じである。
【符号の説明】
【００８９】
１，３  画像処理装置、  ２，４  画像表示装置、  １０  視差検出調整部、  １１  視差算出部、  １２  フレーム視差算出部、  １３  フレーム視差補正部、  １４  視差調整量算出部、  ２０  選択部、  ３０  遅延部、  ４０  動き推定部、  ４１  注目画素ブロック切り出し部、  ４２  探索画素ブロック切り出し部、  ４３  動きベクトル決定部、  ４４  動き推定量算出部、  ５０  動き推定量補正部、  ６０  視差調整量補正部、  ７０  調整画像生成部、  ８０  表示部、  ９０  視差検出部、  Ｄａ１  左眼用画像入力データ、  Ｄｂ１  右眼用画像入力データ、  Ｄａ２  左眼用画像出力データ、  Ｄｂ２  右眼用画像出力データ、  Ｄｃ１  選択画像データ、  Ｄｃ０  １フレーム前の選択画像データ、  Ｔ１  視差調整データ、  Ｔ２  補正後視差調整データ、  Ｍ１  動き推定量、  Ｍ２  補正後動き推定量、  Ｔ１１  視差データ、  Ｔ１２  フレーム視差データ、  Ｔ１３  補正後フレーム視差データ、  Ｍ１１  動きベクトル、  Ｓ１  視差調整情報、  Ｓ２  視差調整量補正パラメータ。
【図１】
2013214916.tif 000006
【図２】
2013214916.tif 000007
【図３】
2013214916.tif 000008
【図４】
2013214916.tif 000009
【図５】
2013214916.tif 000010
【図６】
2013214916.tif 000011
【図７】
2013214916.tif 000012
【図８】
2013214916.tif 000013
【図９】
2013214916.tif 000014
【図１０】
2013214916.tif 000015
【図１１】
2013214916.tif 000016
【図１２】
2013214916.tif 000017