(57)【要約】【課題】立体画像に他の画像を重ねて表示する場合に、観察者に混乱を生じさせることが無い画像処理装置、画像処理方法及び立体画像表示装置を提供する。【解決手段】画像処理装置４は、立体画像を表示するための左眼用画像データＤＬ０及び右眼用画像データＤＲ０が入力され、これらから立体画像の奥行き情報Ｔ１を検出する奥行き情報検出部１０と、異なる重畳画像の重畳データＤＳ０が入力され、奥行き情報Ｔ１に基づいて、重畳データＤＳ０を調整して調整後重畳データＤＬ２０，ＤＲ２０を生成する重畳データ調整部２０と、左眼用画像データＤＬ０、右眼用画像データＤＲ０及び調整後重畳データＤＬ２０，ＤＲ２０に基づいて、立体画像と重畳画像との合成画像をディスプレイ面４１に表示させるための合成画像データＤＬＲ１を生成する画像合成部３０とを有する。【選択図】図１
2013218051.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を表示するための左眼用画像データ及び右眼用画像データが入力され、前記左眼用画像データ及び前記右眼用画像データから前記立体画像の奥行き情報を検出する奥行き情報検出部と、
前記立体画像とは異なる重畳画像の重畳データが入力され、前記奥行き情報に基づいて、前記重畳データを調整して調整後重畳データを生成する重畳データ調整部と、
前記左眼用画像データ、前記右眼用画像データ、及び前記調整後重畳データに基づいて、前記立体画像と前記重畳画像との合成画像をディスプレイ面に表示させるための合成画像データを生成する画像合成部と
を有することを特徴とする画像処理装置。
【請求項２】
前記奥行き情報検出部は、前記左眼用画像データが表示する左眼用画像と前記右眼用画像データが表示する右眼用画像との間の視差情報から、前記ディスプレイ面に対する前記立体画像の前記奥行き情報を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重畳データ調整部による前記調整は、前記立体画像の内の前記ディスプレイ面よりも手前に位置する前景部分が存在する場合に、前記前景部分が表示される位置に前記重畳画像を表示させないマスク処理を含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像合成部が生成する前記合成画像データは、前記左眼用画像データと前記調整後重畳データとから構成される左眼用合成画像データと、前記右眼用画像データと前記調整後重畳データとから構成される右眼用合成画像データとを含むことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記重畳データ調整部による前記調整は、前記立体画像が前記ディスプレイ面よりも手前側にある前景部分を含む場合に、前記重畳画像を、前記前景部分よりも手前に移動させる処理を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記重畳画像を前記前景部分よりも手前に移動させる処理は、前記立体画像を構成する左眼用画像データを水平右方向に移動し、前記立体画像を構成する右眼用画像データを水平左方向に移動する処理を含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記重畳画像を前記前景部分よりも手前に移動させる処理によって、前記左眼用画像データに基づく左眼用画像が１フレームの表示領域から部分的にはみ出る場合には、前記右眼用画像データに基づく右眼用画像の内の前記はみ出た部分に対応する部分に前記重畳画像を表示させないマスク処理を行い、
前記重畳画像を前記前景部分よりも手前に移動させる処理によって、前記右眼用画像データに基づく右眼用画像が１フレームの表示領域から部分的にはみ出る場合には、前記左眼用画像データに基づく左眼用画像の内の前記はみ出た部分に対応する部分に前記重畳画像を表示させないマスク処理を行う
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記重畳画像を前記前景部分よりも手前に移動させる処理によって、前記左眼用画像データに基づく左眼用画像が１フレームの表示領域から部分的にはみ出る場合には、前記右眼用画像データに基づく右眼用画像を縮小する処理を行うことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項９】
立体画像を表示するための左眼用画像データ及び右眼用画像データから前記立体画像の奥行き情報を検出するステップと、
前記立体画像とは異なる重畳画像の重畳データが入力され、前記奥行き情報に基づいて、前記重畳データを調整して調整後重畳データを生成するステップと、
前記左眼用画像データ、前記右眼用画像データ、及び前記調整後重畳データに基づいて、前記立体画像と前記重畳画像との合成画像をディスプレイ面に表示させるための合成画像データを生成するステップと
を有することを特徴とする画像処理方法。
【請求項１０】
請求項１から８までのいずれか１項に記載の画像処理装置と、
前記画像処理装置から出力される合成画像データに基づく画像を表示する表示部と
を有することを特徴とする立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像に他の画像を重畳する画像処理装置、画像処理方法及び立体画像表示装置に関する。
【背景技術】
【０００２】
立体画像表示装置においては、３次元空間を左眼で見た画像（左眼用画像）と右眼で見た画像（右眼用画像）をディスプレイ面に表示し、観察者が、左眼用画像と右眼用画像を左眼と右眼でそれぞれ見ることによって、見ている画像が奥行きのある立体画像であるとの認識（奥行き感）を観察者に持たせる。また、一般に、立体画像表示装置は、例えば、設定画面やテロップなどをディスプレイ面に表示するために、立体画像に重ねて、ＯＳＤ（オンスクリ−ンディスプレイ）画像を表示する機能を備えている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１１５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、立体画像の内の手前（観察者側）に飛び出ている前景部分に、２次元画像であるＯＳＤ画像を重ねると、観察者は、立体画像の内の前景部分と、ＯＳＤ画像（本来は、立体画像の内の前景部分の陰に隠れて見えない）とを、同時に見るため、見ている画像が手前に飛び出ている画像であるのか否かを判定できなくなり、観察者に混乱を生じさせるという問題があった。
【０００５】
そこで、本発明の目的は、立体画像に他の画像を重ねて表示する場合に、観察者に混乱を生じさせることが無い画像処理装置、画像処理方法及び立体画像表示装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、立体画像を表示するための左眼用画像データ及び右眼用画像データが入力され、前記左眼用画像データ及び前記右眼用画像データから前記立体画像の奥行き情報を検出する奥行き情報検出部と、前記立体画像とは異なる重畳画像の重畳データが入力され、前記奥行き情報に基づいて、前記重畳データを調整して調整後重畳データを生成する重畳データ調整部と、前記左眼用画像データ、前記右眼用画像データ、及び前記調整後重畳データに基づいて、前記立体画像と前記重畳画像との合成画像をディスプレイ面に表示させるための合成画像データを生成する画像合成部とを有することを特徴とする。
【０００７】
本発明の一態様に係る画像処理方法は、立体画像を表示するための左眼用画像データ及び右眼用画像データから前記立体画像の奥行き情報を検出するステップと、前記立体画像とは異なる重畳画像の重畳データが入力され、前記奥行き情報に基づいて、前記重畳データを調整して調整後重畳データを生成するステップと、前記左眼用画像データ、前記右眼用画像データ、及び前記調整後重畳データに基づいて、前記立体画像と前記重畳画像との合成画像をディスプレイ面に表示させるための合成画像データを生成するステップとを有することを特徴とする。
【０００８】
本発明の一態様に係る立体画像表示装置は、前記画像処理装置と、前記画像処理装置から出力される合成画像データに基づく画像を表示する表示部とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、立体画像に他の画像を重ねて表示する場合に、観察者に混乱を生じさせることが無いという効果がある。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１〜３に係る画像処理装置及び立体画像表示装置の構成を概略的に示すブロック図である。
【図２】実施の形態１〜３に係る画像処理方法を示すフローチャートである。
【図３】（ａ）及び（ｂ）は、左眼用画像と右眼用画像の視差と観察者が感じる奥行きの関係を示す図である。
【図４】実施の形態１に係る重畳データ調整部の構成を概略的に示すブロック図である。
【図５】（ａ）〜（ｃ）は、図４に示される重畳データ調整部による動作を示す説明図である。
【図６】（ａ）及び（ｂ）は、実施の形態１に係る立体画像表示装置における表示画像の奥行き位置を示す図である。
【図７】実施の形態１に係る立体画像表示装置における立体画像と重畳画像との合成処理を示す図である。
【図８】実施の形態２に係る重畳データ調整部の構成を概略的に示すブロック図である。
【図９】（ａ）〜（ｃ）は、実施の形態２に係る重畳データ調整部による動作を示す説明図である。
【図１０】（ａ）及び（ｂ）は、実施の形態２に係る立体画像表示装置における表示画像の奥行き位置を示す図である。
【図１１】実施の形態２に係る立体画像表示装置における立体画像と重畳画像との合成処理を示す図である。
【図１２】実施の形態３に係る重畳データ調整部の構成を概略的に示すブロック図である。
【図１３】（ａ）〜（ｃ）は、実施の形態３に係る重畳データ調整部による動作を示す説明図である。
【図１４】（ａ）及び（ｂ）は、実施の形態３に係る立体画像表示装置における表示画像の奥行き位置を示す図である。
【図１５】実施の形態３に係る立体画像表示装置における立体画像と重畳画像との合成処理を示す図である。
【発明を実施するための形態】
【００１１】
《１》実施の形態１．
《１−１》実施の形態１の構成
〔画像処理装置４と立体画像表示装置１〕
図１には、実施の形態１に係る画像処理装置４と立体画像表示装置１の構成が示されている。画像処理装置４は、実施の形態１に係る画像処理方法を実施することができる装置である。図１に示されるように、実施の形態１に係る立体画像表示装置１は、画像処理装置４と、表示部４０とを有する。画像処理装置４は、奥行き情報検出部１０と、重畳データ調整部２０と、画像合成部３０とを有する。画像処理装置４は、入力左眼用画像データＤＬ０と、入力右眼用画像データＤＲ０と、重畳データ（例えば、ＯＳＤ信号）ＤＳ０とを受け取り、立体画像（３次元画像）データＤＬＲ１を出力する。なお、画像処理装置４は、実施の形態１に係る画像処理方法を実施することができる装置である。また、図１における括弧内の符号は、実施の形態２及び３において用いる。
【００１２】
奥行き情報検出部１０は、入力左眼用画像データＤＬ０と入力右眼用画像データＤＲ０とを受け取り、入力左眼用画像データＤＬ０と入力右眼用画像データＤＲ０とを比較し、この比較結果に基づいて画素ごとに視差を検出し、この画素ごとの視差から画素ごとの奥行き（すなわち、各画素の奥行き方向の位置）を算出し、画素ごとの奥行きを立体画像の奥行き情報Ｔ１として出力する。
【００１３】
重畳データ調整部２０は、奥行き情報検出部１０から受け取った奥行き情報Ｔ１に基づいて、入力された重畳データＤＳ０を調整することによって、左眼用重畳データＤＬ２０と右眼用重畳データＤＲ２０を生成する。
【００１４】
画像合成部３０は、入力左眼用画像データＤＬ０と、入力右眼用画像データＤＲ０と、左眼用重畳データＤＬ２０と、右眼用重畳データＤＲ２０とから、立体画像データＤＬＲ１を合成する。
【００１５】
表示部４０は、画像表示面であるディスプレイ面４１を有し、ディスプレイ面４１に合成された立体画像データＤＬＲ１に基づく画像を表示する。表示部４０は、例えば、液晶表示装置、ＥＬ（エレクトロルミネッセンス）表示装置、プラズマディスプレイ装置などである。
【００１６】
立体画像表示装置１は、例えば、テレビ、ＰＣ（パーソナルコンピュータ）、携帯通信端末装置などのような立体画像表示機能を持つ装置である。立体画像表示装置１は、左眼用画像を観察者の左眼に入射させ、右眼用画像を観察者の右眼に入射させることによって、観察者に、見ている画像が奥行きのある立体画像であるとの認識を持たせる。左眼で左眼用画像を観察し、右眼で右眼用画像を観察するための制御方式としては、左眼用画像と右眼用画像を時間的に交互に切り替えてディスプレイ面４１に表示し、ディスプレイ面４１における画像の切り替えタイミングに同期して左眼又は右眼の視界を閉じるアクティブシャッター方式のメガネを用いる方式（フレームシーケンシャル方式）、ディスプレイ面４１の手前側に備えられたフィルムによって左目用画像と右目用画像にそれぞれ反対方向の円偏光を加え、それぞれの向きの円偏光の光だけを透過させる偏光メガネを用いる方式（偏光方式）、又は、ディスプレイ面４１に、表示画像の表示角を制限するバリア又はレンズを備え、左眼及び右眼のそれぞれに左眼用画像と右眼用画像を見せる方式（裸眼３Ｄ方式）などを使用することができる。
【００１７】
〔画像処理方法〕
図２は、図１に示される画像処理装置４の動作（画像処理方法）を示すフローチャートである。ステップＳｔ１において、奥行き情報検出部１０が、入力左眼用画像データＤＬ０と入力右眼用画像データＤＲ０とを比較し、この比較結果に基づいて画素ごとに奥行きが検出され、画素ごとの奥行き値を含む奥行き情報Ｔ１を生成する。
【００１８】
ステップＳｔ２において、重畳データ調整部２０は、受け取った奥行き情報Ｔ１に基づいて、入力された重畳データＤＳ０を調整し、左眼用重畳データＤＬ２０と右眼用重畳データＤＲ２０とを生成する。
【００１９】
ステップＳｔ３において、画像合成部３０は、入力左眼用画像データＤＬ０と、入力右眼用画像データＤＲ０と、左眼用重畳データＤＬ２０と、右眼用重畳データＤＲ２０とから、合成画像データＤＬＲ１を生成する。合成画像データＤＬＲ１は、入力左眼用画像データＤＬ０及び左眼用重畳データＤＬ２０に基づいて生成された合成左眼用画像データと、入力右眼用画像データＤＲ０及び右眼用重畳データＤＲ２０に基づいて生成された合成右眼用画像データとからなる。アクティブシャッター式のメガネを用いるフレームシーケンシャル方式の場合には、合成左眼用画像データと合成右眼用画像データとは、例えば、１フレームごとに交互に生成された画像データであり、ステップＳｔ１〜Ｓｔ３の動作は、例えば、左眼用画像データ及び右眼用画像データに対して１フレームごとに交互に行われる。
【００２０】
〔奥行き情報検出部１０〕
図３（ａ）及び（ｂ）は、左眼用画像と右眼用画像の視差ｄ１，ｄ２と観察者１００が感じる奥行きｄ１１，ｄ１２の関係を示す図である。左眼用画像は観察者１００の左眼１００Ｌのみに、右眼用画像は観察者１００の右眼１００Ｒのみに見えるように制御されている。図３（ａ）及び（ｂ）には、ディスプレイ面４１上に表示された左眼用画像の画素Ｐ１Ｌ，Ｐ２Ｌと右眼用画像の画素Ｐ１Ｒ，Ｐ２Ｒが示されている。ディスプレイ面４１上に表示された画素Ｐ１ＬとＰ１Ｒは、同じ物体（点）を表示する画素であり、画素Ｐ２ＬとＰ２Ｒは、同じ物体（点）を表示する画素である。図３（ａ）に示されるように、観察者１００は、ディスプレイ面４１上に表示された画素Ｐ１ＬとＰ１Ｒによって、空間中の点Ｆ１に物体が存在すると認識する。また、図３（ｂ）に示されるように、観察者１００は、ディスプレイ面４１上に表示された画素Ｐ２ＬとＰ２Ｒによって空間中の点Ｆ２に物体が存在すると認識する。
【００２１】
同じ物体を表示した左眼用画像の画素の水平座標と右眼用画像の画素の水平座標（座標軸Ｘ）の差分が視差である。図３（ａ）において、視差ｄ１は、次式で表される。
ｄ１＝Ｘ（Ｐ１Ｌ）−Ｘ（Ｐ１Ｒ）
また、図３（ｂ）において、視差ｄ２は、次式で表される。
ｄ２＝Ｘ（Ｐ２Ｌ）−Ｘ（Ｐ２Ｒ）
Ｘ（Ｐ１Ｌ）は、画素Ｐ１Ｌの水平座標であり、Ｘ（Ｐ１Ｒ）は、画素Ｐ１Ｒの水平座標であり、Ｘ（Ｐ２Ｌ）は、画素Ｐ２Ｌの水平座標であり、Ｘ（Ｐ２Ｒ）は、画素Ｐ２Ｒの水平座標である。図３（ａ）において、視差ｄ１は正の値となり、この場合、観察者１００が注視している画素は、観察者１００によって、ディスプレイ面４１より手前（観察者側）の位置Ｆ１に存在すると認識される。一方、図３（ｂ）において、視差ｄ２は負の値となり、この場合、観察者１００が注視している画素は、観察者１００によって、ディスプレイ面４１より奥側の位置Ｆ２に存在すると認識される。このように、視差は符号付きの値であり、視差が正となる画素はディスプレイ面４１より手前に、視差が負となる画素はディスプレイ面４１より奥側に、表示されていることを意味する。
【００２２】
奥行き情報検出部１０は、入力左眼用画像データＤＬ０と入力右眼用画像データＤＲ０とを比較し、入力左眼用画像データＤＬ０が表示する物体（画素）に対応する入力右眼用画像データＤＲ０が表示する物体（画素）を検出し、それらの画素の水平座標の差分（例えば、図３（ａ）及び（ｂ）における視差ｄ１及びｄ２）を計算することで奥行き（例えば、図３（ａ）及び（ｂ）における奥行きｄ１１及びｄ１２）を判別する。同じ物体を表示している画素の検出方法としては、例えば、ブロックマッチング法などを用いることができる。検出した視差ｄ１及びｄ２から算出された奥行きは、奥行き情報Ｔ１として出力される。
【００２３】
〔重畳データ調整部２０〕
図４は、実施の形態１に係る重畳データ調整部２０の構成を概略的に示すブロック図である。図４に示されるように、重畳データ調整部２０は、画像マスク信号作成部２１と、左眼用重畳データ作成部２２と、右眼用重畳データ作成部２３とを有する。重畳データ調整部２０は、奥行き情報検出部１０から出力された奥行き情報Ｔ１を基に、入力された重畳データとしてのＯＳＤ信号ＤＳ０を調整することによって、左眼用重畳データＤＬ２０と右眼用重畳データＤＲ２０を生成する。
【００２４】
次に、重畳データ調整部２０による調整方法の一例を説明する。重畳データ調整部２０は、奥行き情報Ｔ１から、立体画像の立体部分がディスプレイ面４１より手前に位置している場合に、その立体部分を他の部分と区別することができるようにするためのマスク信号を作成する。図３（ａ）における立体画像Ｆ１の左眼用画像の画素Ｐ１Ｌと右眼用画像の画素Ｐ１Ｒの位置が異なるように、立体画像Ｆ１の影にあたる部分も異なるため、マスク信号として、左眼用マスク信号ＭＬ２１と右眼用マスク信号ＭＲ２１を作成する。左眼用重畳データ作成部２２は、左眼用マスク信号ＭＬ２１と重畳データであるＯＳＤ信号を受け取り、ＯＳＤ信号ＤＳ０に対し左眼用マスク信号ＭＬ２１により指定された画素部分をマスクして、左眼用重畳データＤＬ２０を生成する。右眼用重畳データ作成部２３は、右眼用マスク信号ＭＲ２１と重畳データであるＯＳＤ信号を受け取り、ＯＳＤ信号ＤＳ０に対し右眼用マスク信号ＭＲ２１により指定された画素部分をマスクして、右眼用重畳データＤＲ２０を生成する。
【００２５】
〔画像合成部３０〕
画像合成部３０は、重畳データ調整部２０から出力された左眼用重畳データＤＬ２０と左眼用画像データＤＬ０と合成、ならびに、右眼用重畳データＤＲ２０と入力右眼用画像ＤＲ０との合成によって、立体画像データＤＬＲ１を生成する。画像合成部３０は、例えば、重畳データ（例えば、左眼用重畳データ又は右眼用重畳データ）が特定の値（例えば、“０”）のときに、入力左眼用画像データＤＬ０と入力右眼用画像データＤＲ０とを出力し、重畳データがそれ以外の値のときに、左眼用重畳データＤＬ２０と右眼用重畳データＤＲ２０を出力する。
【００２６】
《１−２》実施の形態１の動作
図５（ａ）〜（ｃ）は、図４に示される重畳データ調整部２０による動作を示す説明図である。図５（ａ）は、ディスプレイ面４１と観察者１００を示す上面図であり、Ｇｆは、立体画像の内のディスプレイ面４１よりも手前に飛び出て見える立体部分（前景部分）Ｇｆの画像であり、ＭＬ２１は、立体画像の内の前景部分Ｇｆの存在によって、観察者１００の左眼１００Ｌでは見ることができないディスプレイ面４１上の領域であり、ＭＲ２１は、立体画像の内の前景部分Ｇｆの存在によって、観察者１００の右眼１００Ｒでは見ることができないディスプレイ面４１上の領域である。図５（ｂ）は、ディスプレイ面４１の上面図であり、入力左眼用画像データＤＬ０を表示するときに、左眼用重畳データＤＬ２０をマスクするためのマスク位置（この位置では、左眼用重畳データＤＬ２０に基づく画像ではなくマスク信号ＭＬ２１に基づくマスク画像が表示される）、入力右眼用画像データＤＲ０を表示するときに、右眼用重畳データＤＲ２０をマスクするためのマスク位置（この位置では、右眼用重畳データＤＲ２０に基づく画像ではなくマスク信号ＭＲ２１に基づくマスク画像が表示される）を示す。図５（ｃ）は、ディスプレイ面４１の正面図であり、上から順に、入力されるＯＳＤ信号ＤＳ０に基づくＯＳＤ画像が表示されているフレーム、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の一部がマスク信号ＭＬ２１に基づくマスク画像で消されているフレーム、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の一部がマスク信号ＭＲ２１に基づくマスク画像で消されているフレームが示されている。
【００２７】
図６（ａ）及び（ｂ）は、背景部分Ｇｂと前景部分Ｇｆからなる立体画像（仮想立体階層構造の立体画像）と、ディスプレイ面４１上のＯＳＤ信号ＤＳ０に基づくＯＳＤ画像とを示す図である。図６（ａ）には、ディスプレイ面４１より手前に飛び出ている立体画像の前景部分Ｇｆと、ディスプレイ面４１より奥に位置する立体画像の背景部分Ｇｂと、ディスプレイ面４１に位置するＯＳＤ信号ＤＳ０との位置関係を示す。また、図６（ｂ）には、立体画像の背景部分Ｇｂの画像、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像、及び立体画像の前景部分Ｇｆの画像を例示する。
【００２８】
図７は、図５（ａ）〜（ｃ）に示されるようなマスク信号ＭＬ２１，ＭＲ２１を用いて、図６（ａ）及び（ｂ）に示されるような立体画像の背景部分Ｇｂと前景部分Ｇｆ、並びに、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像を合成することによって、立体画像が生成されることを示す図である。図７においては、ディスプレイ面４１に位置するＯＳＤ信号ＤＳ０に基づくＯＳＤ画像が、ディスプレイ面４１より手前に位置する立体画像の前景部分Ｇｆと、ディスプレイ面４１より奥に位置する立体画像の背景部分Ｇｂとの間に位置し、ディスプレイ面４１より手前に位置する立体画像の前景部分Ｇｆと重なる部分においては、ＯＳＤ画像が表示されない。このように、立体画像の背景部分Ｇｂと前景部分Ｇｆ、並びに、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の位置関係が適正に表示されることにより、観察者１００が（観察者の脳内において）、観察した画像を立体として認知する過程で、混乱が生じることのない適正な立体画像を生成することができる。
【００２９】
《１−３》実施の形態１の効果
従来は、立体画像にＯＳＤ画像を重ねて表示したときに、２次元データであるＯＳＤ画像が、立体画像の前景部分Ｇｆと同じ奥行きの位置に見えたため、観察者は、擬似的に作成された立体画像を立体として認知する過程で混乱（前景部分Ｇｆ及びＯＳＤ画像の奥行きが正確に認識できない事態）が生じることがあった。これに対し、実施の形態１に係る画像処理装置４、画像処理方法及び立体画像表示装置１によれば、立体画像の前景部分Ｇｆの領域では、マスク信号ＭＬ２１，ＭＲ２１によってＯＳＤ信号による画像が表示されないようにしているので、立体画像にＯＳＤ画像を重ねて表示する場合に、観察者に混乱を生じさせることが無い。
【００３０】
《２》実施の形態２．
《２−１》実施の形態２の構成
〔画像処理装置５と立体画像表示装置２〕
図１には、実施の形態２に係る画像処理装置５及び立体画像表示装置２の構成が示されている。画像処理装置５は、実施の形態２に係る画像処理方法を実施することができる装置である。図１に示されるように、実施の形態２に係る立体画像表示装置２は、画像処理装置５と、表示部４０とを有する。画像処理装置５は、奥行き情報検出部１０と、重畳データ調整部５０と、画像合成部３０とを有する。画像処理装置５は、入力左眼用画像データＤＬ０と、入力右眼用画像データＤＲ０と、重畳データＤＳ０とを受け取り、立体画像（３次元画像）データＤＬＲ２を出力する。実施の形態２における画像処理装置５は、奥行き情報検出部１０と、重畳データ調整部５０と、画像合成部３０と、表示部４０を備えるものであり、奥行き情報検出部１０と、画像合成部３０と、表示部４０は前述した実施の形態１の立体画像表示装置と同じ動作をする。
【００３１】
〔重畳データ調整部５０〕
図８は、実施の形態２に係る画像処理装置５における重畳データ調整部５０の構成を概略的に示すブロック図である。図８に示されるように、重畳データ調整部５０は、画像移動量算出部５１と、画像マスク信号作成部５２と、左眼用重畳データ作成部５３と、右眼用重畳データ作成部５４とを有する。重畳データ調整部５０は、奥行き情報検出部１０から出力された奥行き情報Ｔ１を基に、入力された重畳データとしてのＯＳＤ信号ＤＳ０を調整することによって、奥行き情報Ｔ１及び重畳データとしてのＯＳＤ信号ＤＳ０に基づいて、左眼用重畳データＤＬ５０と右眼用重畳データＤＲ５０を生成する。
【００３２】
画像移動量算出部５１は、奥行き情報Ｔ１から、立体画像の内のディスプレイ面４１より手前（観察者側）に位置している前景部分Ｇｆと同じ位置、又は、前景部分Ｇｆよりも直ぐ手前側の位置、又は、前景部分Ｇｆよりもさらに手前側の位置に、ＯＳＤ画像が表示されるよう、左眼用画像と右眼用画像のそれぞれの横方向への移動量を算出し、画像移動量データＶＬ５１，ＶＲ５１を出力する。
【００３３】
画像マスク信号作成部５２は、画像移動量算出部５１が算出した移動量の画像移動を行った結果、左眼用又は右眼用ＯＳＤ画像の端部がディスプレイ面４１の外に（１フレームの外に）はみ出した部分に対応する右眼用又は左眼用ＯＳＤ画像の該当部分を、マスクするための信号を作成する。具体的に言えば、画像マスク信号作成部５２は、画像移動量算出部５１が算出した移動量の画像移動を行った結果、ＯＳＤ画像の端部がディスプレイ面４１の外に（１フレームの外に）はみ出した部分７１（例えば、図９（ｃ）における左眼用ＯＳＤ画像（左眼用重畳データ）ＤＬ５０のはみ出した部分７１である文字「Ｊ」）に対応する右眼用ＯＳＤ画像（右眼用重畳データ）ＤＲ５０の該当部分（長方形部分）をマスクするための信号を作成する。また、画像マスク信号作成部５２は、画像移動量算出部５１が算出した移動量の画像移動を行った結果、ＯＳＤ画像の端部がディスプレイ面４１の外にはみ出した部分７２（例えば、図９（ｃ）における右眼用ＯＳＤ画像ＤＲ５０のはみ出した部分７２である文字「Ａ」）に対応する左眼用ＯＳＤ画像ＤＬ５０の該当部分（長方形部分）をマスクするための信号を作成する。
【００３４】
左眼用重畳データ作成部５３は、画像移動量データＶＬ５１、マスク信号ＭＬ５２、及び重畳データであるＯＳＤ信号ＤＳ０を受け取り、画像移動量データＶＬ５１で指定された移動量だけ右方向にＯＳＤ信号ＤＳ０を移動し、且つ、マスク信号ＭＬ５２により指定された画素部分をマスクして（例えば、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像ではなく、マスク信号ＭＬ５２に基づくマスク画像を表示して）、左眼用重畳データＤＬ５０を生成する。
【００３５】
右眼用重畳データ作成部５４は、画像移動量データＶＲ５１、マスク信号ＭＲ５２び重畳データであるＯＳＤ信号ＤＳ０を受け取り、画像移動量データＶＲ５１で指定された移動量だけ左方向にＯＳＤ信号ＤＳ０を移動し、且つ、マスク信号ＭＲ５２により指定された画素部分をマスクして（例えば、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像ではなく、マスク信号ＭＲ５２に基づくマスク画像を表示して）、右眼用重畳データＤＲ５０を生成する。
【００３６】
《２−２》実施の形態２の動作
図９（ａ）〜（ｃ）は、図８に示される重畳データ調整部５０による動作を示す説明図である。図９（ａ）は、ディスプレイ面４１と観察者１００を示す上面図であり、Ｇｆは、立体画像の内のディスプレイ面４１よりも手前に飛び出て見える前景部分の画像である。図９（ｂ）は、左眼用ＯＳＤ画像と右眼ＯＳＤ画像の上面図である。図９（ｃ）は、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の正面図であり、上から順に、入力されるＯＳＤ信号ＤＳ０に基づくＯＳＤ画像が表示されているフレーム、ＯＳＤ信号ＤＳ０に基づく画像にマスク信号ＭＬ５２に基づくマスク画像が表示されているフレーム、ＯＳＤ信号ＤＳ０に基づく画像にマスク信号ＭＲ５２に基づくマスク画像が表示されているフレームが示されている。
【００３７】
図１０（ａ）及び（ｂ）は、背景部分Ｇｂと前景部分Ｇｆからなる立体画像（仮想立体階層構造の立体画像）と、ディスプレイ面４１と平行な平面上のＯＳＤ信号に基づくＯＳＤ画像とを示す図である。図１０（ａ）には、ディスプレイ面４１より手前に飛び出ている前景部分Ｇｆと、ディスプレイ面４１より奥に位置する背景部分Ｇｂと、前景部分Ｇｆよりも直ぐ手前側のＯＳＤ画像とが示され、図１０（ｂ）には、背景部分Ｇｂの画像、前景部分Ｇｆ、及びＯＳＤ信号に基づくＯＳＤ画像を例示する。
【００３８】
図１１は、図９（ａ）〜（ｃ）に示されるようなマスク信号ＭＬ５２，ＭＲ５２を用いて、図１０（ａ）及び（ｂ）に示されるような立体画像の内の背景部分Ｇｂと前景部分Ｇｆ、並びに、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像を合成することによって、立体画像が生成されることを示す図である。図１１においては、ディスプレイ面４１より手前に位置する立体画像の内の前景部分Ｇｆと、ディスプレイ面４１より奥に位置する立体画像の内の背景部分Ｇｂと、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の位置関係が適正に表示されることにより、観察者１００の脳内において立体として認知する過程で混乱が生じることのない適正な立体画像を得ることができる。言い換えれば、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像を、立体画像の内の前景部分Ｇｆの手前側に表示させているので、立体画像の内の背景部分Ｇｂと前景部分Ｇｆ、並びに、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の位置関係が適正に表示される。このため、観察者１００が（観察者の脳内において）、観察した画像を立体として認知する過程で、混乱が生じることのない適正な立体画像を生成することができる。
【００３９】
また、単に、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像を、立体画像の内の前景部分Ｇｆの直ぐ手前に表示させただけでは、左眼用又は右眼用ＯＳＤ画像の端部がディスプレイ面４１の外に（１フレームの外に）はみ出した部分（図９（ｃ）における７１及び７２）が発生し、立体画像の品質を低下させる。このため、実施の形態２では、左眼用又は右眼用ＯＳＤ画像の端部がディスプレイ面４１の外に（１フレームの外に）はみ出した部分（図９（ｃ）における７１及び７２）に対応する右眼用又は左眼用ＯＳＤ画像の該当部分を、マスクするための信号を作成する。このため、観察者１００は、観察した画像を立体として認知する過程で、混乱が生じることのない適正な立体画像を生成することができる。
【００４０】
《２−３》実施の形態２の効果
以上に説明したように、実施の形態２に係る画像処理装置５、画像処理方法及び立体画像表示装置２によれば、立体画像の内の前景部分Ｇｆの直ぐ手前にＯＳＤ画像を表示するようにしているので、立体画像に他の画像を重ねて表示する場合に、観察者に混乱を生じさせることが無い。
【００４１】
また、単にＯＳＤ画像を、立体画像の内の前景部分Ｇｆの直ぐ手前に表示させただけでは、左眼用又は右眼用ＯＳＤ画像の端部がディスプレイ面４１の外にはみ出した部分（図９（ｃ）における７１及び７２）が発生し、立体画像の品質を低下させる。このため、実施の形態２では、左眼用又は右眼用ＯＳＤ画像の端部がディスプレイ面４１の外にはみ出した部分（図９（ｃ）における７１及び７２）に対応する右眼用又は左眼用ＯＳＤ画像の該当部分を、マスクしている。このため、観察者１００は、観察した画像を立体として認知する過程で、混乱が生じることのない適正な立体画像を生成することができる。
【００４２】
《３》実施の形態３．
《３−１》実施の形態３の構成
〔画像処理装置６と立体画像表示装置３〕
図１には、実施の形態３に係る画像処理装置６と立体画像表示装置３の構成が示されている。画像処理装置６は、実施の形態３に係る画像処理方法を実施することができる装置である。図１に示されるように、実施の形態３に係る立体画像表示装置３は、画像処理装置６と、表示部４０とを有する。画像処理装置６は、奥行き情報検出部１０と、重畳データ調整部６０と、画像合成部３０とを有する。画像処理装置６は、入力左眼用画像データＤＬ０と、入力右眼用画像データＤＲ０と、重畳データＤＳ０とを受け取り、立体画像（３次元画像）データＤＬＲ３を出力する。実施の形態３における画像処理装置６は、奥行き情報検出部１０と、重畳データ調整部５０と、画像合成部３０と、表示部４０を備えるものであり、奥行き情報検出部１０と、画像合成部３０と、表示部４０は前述した実施の形態１の立体画像表示装置と同じ動作をする。
【００４３】
〔重畳データ調整部６０〕
図１２は、実施の形態３に係る画像処理装置６における重畳データ調整部６０の構成を概略的に示すブロック図である。図１２に示されるように、重畳データ調整部６０は、画像移動量算出部６１と、画像スケーリング部６２と、左眼用重畳データ作成部６３と、右眼用重畳データ作成部６４とを有する。重畳データ調整部６０は、奥行き情報検出部１０から出力された奥行き情報Ｔ１を基に、入力された重畳データとしてのＯＳＤ信号ＤＳ０を調整することによって、奥行き情報Ｔ１及び重畳データとしてのＯＳＤ信号ＤＳ０に基づいて、左眼用重畳データＤＬ６０と右眼用重畳データＤＲ６０を生成する。
【００４４】
画像移動量算出部６１は、奥行き情報Ｔ１から、立体画像の内のディスプレイ面４１より手前（観察者側）に位置している前景部分Ｇｆについては、その前景部分Ｇｆと同じ位置、又は、前景部分Ｇｆよりも直ぐ手前側の位置、又は、前景部分Ｇｆよりもさらに手前側の位置に、ＯＳＤ画像が表示されるよう、左眼用画像と右眼用画像のそれぞれの横方向への移動量を算出し、画像移動量データＶＬ６１，ＶＲ６１を出力する。
【００４５】
画像スケーリング部６２は、立体画像の内の前景部分Ｇｆがディスプレイ面４１より手前に位置している前景部分Ｇｆの最も手前の位置と同じ位置、又は、前景部分Ｇｆの最も手前の位置よりもさらに手前の位置にＯＳＤ信号に基づくＯＳＤ画像が位置するよう、左眼用画像データと右眼用画像データのそれぞれの水平方向への移動量を算出し、この移動量を画像移動量データＶＬ６１，ＶＲ６１として出力し、また、移動量に応じ、本来は画像の端部が１フレームの外にはみ出し、立体視として認識されない部分が発生するが、端部がはみ出さず、かつ画像全体が面内に収まるようスケーリング（縮小）するためのスケーリング率を示すためのスケーリング率信号Ｓ１を出力する。
【００４６】
画像スケーリング部６２は、スケーリング率信号Ｓ１を基に、ＯＳＤ信号のスケーリングを行い、左眼用重畳データ作成部６３と右眼用重畳データ作成部６４に出力する。
【００４７】
左眼用重畳データ作成部６３は、画像移動量データＶＬ６１と重畳データであるＯＳＤ信号をスケーリングしたＤＳ１を受け取り、画像移動量データで指定された移動量だけ右方向に（例えば、図１３（ｃ）の中段で示すように）スケーリングされたＯＳＤ信号を移動し、左眼用重畳データＤＬ６０を生成する。
【００４８】
右眼用重畳データ作成部６４は、画像移動量データＶＲ６１と重畳データであるＯＳＤ信号をスケーリングしたＤＳ１を受け取り、画像移動量データで指定された移動量だけ左方向に（例えば、図１３（ｃ）の下段で示すように）スケーリングされたＯＳＤ信号を移動し、それぞれ左眼用重畳データＤＬ６０と右眼用重畳データＤＲ６０を出力する。
【００４９】
《３−２》実施の形態２の動作
図１３（ａ）〜（ｃ）は、図１２に示される重畳データ調整部６０による動作を示す説明図である。図１３（ａ）は、ディスプレイ面４１と観察者１００を示す上面図であり、Ｇｆは、立体画像の内のディスプレイ面４１よりも手前に飛び出て見える前景部分の画像である。図９（ｂ）は、左眼用ＯＳＤ画像と右眼ＯＳＤ画像の上面図である。図９（ｃ）は、ＯＳＤ画像ＤＳ０の正面図であり、上から順に、入力されるＯＳＤ信号ＤＳ０に基づく画像が表示されているフレーム、ＯＳＤ信号ＤＳ０に基づく画像に縮小処理を施して作成されたＯＳＤ信号ＤＬ６０に基づく画像が表示されているフレーム、ＯＳＤ信号ＤＳ０に基づく画像に縮小処理を施して作成されたＯＳＤ信号ＤＲ６０に基づく画像が表示されているフレームが示されている。
【００５０】
図１４（ａ）及び（ｂ）は、背景部分Ｇｂと前景部分Ｇｆからなる立体画像（仮想立体階層構造の立体画像）と、ディスプレイ面４１と平行な平面上のＯＳＤ信号に基づくＯＳＤ画像とを示す図である。図１４（ａ）には、ディスプレイ面４１より手前に飛び出ている前景部分Ｇｆと、ディスプレイ面４１より奥に位置する背景部分Ｇｂと、前景部分Ｇｆよりも直ぐ手前側のＯＳＤ画像とが示され、図１４（ｂ）には、背景部分Ｇｂの画像、前景部分Ｇｆ、及びＯＳＤ信号に基づくＯＳＤ画像を例示する。
【００５１】
図１５は、図１４（ｃ）に示されるような縮小されたＯＳＤ画像を用いて、図１０（ａ）及び（ｂ）に示されるような立体画像の内の背景部分Ｇｂと前景部分Ｇｆ、並びに、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像を合成することによって、立体画像が生成されることを示す図である。図１５においては、ディスプレイ面４１より手前に位置する立体画像の内の前景部分Ｇｆと、ディスプレイ面４１より奥に位置する立体画像の内の背景部分Ｇｂと、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の位置関係が適正に表示されることにより、観察者１００の脳内において立体として認知する過程で混乱が生じることのない適正な立体画像を得ることができる。言い換えれば、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像を、立体画像の内の前景部分Ｇｆの直ぐ手前に表示させているので、立体画像の内の背景部分Ｇｂと前景部分Ｇｆ、並びに、ＯＳＤ信号ＤＳ０に基づくＯＳＤ画像の位置関係が適正に表示される。このため、観察者１００が（観察者の脳内において）、観察した画像を立体として認知する過程で、混乱が生じることのない適正な立体画像を生成することができる。
【００５２】
また、実施の形態３においては、ＯＳＤ信号を、立体画像の内の前景部分Ｇｆに移動させているが、画像の移動量に応じてＯＳＤ画像を縮小させることにより、画像の一部が欠けることなく表示することができる。
【００５３】
《３−３》実施の形態３の効果
以上に説明したように、実施の形態３に係る画像処理装置６、画像処理方法及び立体画像表示装置３によれば、立体画像の内の前景部分Ｇｆの直ぐ手前にＯＳＤ画像を表示するようにしているので、立体画像に他の画像を重ねて表示する場合に、観察者に混乱を生じさせることが無い。
【００５４】
また、単にＯＳＤ画像を、立体画像の内の前景部分Ｇｆの直ぐ手前に表示させただけでは、左眼用又は右眼用ＯＳＤ画像の端部がディスプレイ面４１の外にはみ出した部分（図９（ｃ）における７１及び７２）が発生し、立体画像の品質を低下させる。このため、実施の形態３では、左眼用又は右眼用ＯＳＤ画像の端部がディスプレイ面４１の外にはみ出ないように、ＯＳＤ画像を縮小している。このため、観察者１００は、観察した画像を立体として認知する過程で、混乱が生じることのない適正な立体画像を生成することができる。
【００５５】
なお、上記説明では、立体画像をなす１対の画像と合成する信号としてＯＳＤ信号を用いていたが、重畳する画像信号は、ＯＳＤ信号に限るものではない。
【符号の説明】
【００５６】
１，２，３  立体画像表示装置、  ４，５，６  画像処理装置、  １０  奥行き情報検出部、  ２０，５０，６０  重畳データ調整部、  ２１  画像マスク信号作成部、  ２２，５３，６３  左眼用重畳データ作成部、  ２３，５４，６４  右眼用重畳データ作成部、  ３０  画像合成部、  ４０  表示部、  ４１  ディスプレイ面（表示面）、  ５１  画像移動量算出部、  ５２  画像マスク信号作成部、  ６１  画像移動量算出部、  ６２  画像スケーリング部、  １００  観察者、  １００Ｌ  左眼、  １００Ｒ  右眼、  ｄ１，ｄ２  視差、  ｄ１１，ｄ１２  奥行き、  ＤＬ０  入力左眼用画像データ、  ＤＲ０  入力右眼用画像データ、  ＤＳ０  ＯＳＤ信号（重畳データ）、  ＤＬ２０，ＤＬ５０，ＤＬ６０  左眼用重畳データ、  ＤＲ２０，ＤＲ５０，ＤＲ６０  右眼用重畳データ、  Ｐ１Ｌ，Ｐ２Ｌ  左眼用画素、  Ｐ１Ｒ，Ｐ２Ｒ  右眼用画素。
【図１】
2013218051.tif 000003
【図２】
2013218051.tif 000004
【図３】
2013218051.tif 000005
【図４】
2013218051.tif 000006
【図５】
2013218051.tif 000007
【図６】
2013218051.tif 000008
【図７】
2013218051.tif 000009
【図８】
2013218051.tif 000010
【図９】
2013218051.tif 000011
【図１０】
2013218051.tif 000012
【図１１】
2013218051.tif 000013
【図１２】
2013218051.tif 000014
【図１３】
2013218051.tif 000015
【図１４】
2013218051.tif 000016
【図１５】
2013218051.tif 000017