(57)【要約】【課題】平面画像データからその一部を立体視化できる画像データを生成し、更に当該画像を観察者に立体視させる装置を提供すること。【解決手段】ＣＰＵ２０は、ＨＤ２３から平面画像ファイルを読み出し、表示部２６の画像表示液晶２６ａに平面画像を表示する。操作者が、ドラッグアンドドロップ操作によって、この平面画像のうちから立体視画像化したい領域を特定すると、ＣＰＵ２０がこの領域を描画する各画素に立体視化処理を施し、当該立体視化処理が施された合成視差画像を上記平面画像に上書きする。そして、この合成視差画像が上書きされた平面画像を画像表示液晶２６ｂに再び表示する。【選択図】      図１
2004248212.tif 000002
【特許請求の範囲】
【請求項１】
立体視画像を生成する生成手段と、
当該立体視画像を平面画像に上書きして両画像を合成する合成手段と、
当該合成された画像を出力する表示手段と、
を備えた立体視画像表示装置。
【請求項２】
平面画像を記憶した記憶手段と、
当該記憶手段から読み出した平面画像の特定領域の立体視画像を生成する生成手段と、
当該特定領域の立体視画像を前記平面画像の特定領域に上書きして両画像を合成する合成手段と、
当該合成された画像を出力する表示手段と、
を備えた立体視画像表示装置。
【請求項３】
請求項２記載の立体視画像表示装置において、
前記平面画像における特定領域を指定する指定手段を備え、
前記生成手段は、
前記指定手段が指定した前記平面画像の特定領域の立体視画像を生成する、
立体視画像表示装置。
【請求項４】
請求項２記載の立体視画像表示装置において、
前記生成手段は、
前記平面画像における特定オブジェクトの表示領域を検出すると共に、この検出した表示領域の立体視画像を生成し、
前記合成手段は、
当該特定オブジェクトの表示領域の立体視画像を前記読み出した平面画像に上書きして両画像を合成する、
立体視画像表示装置。
【請求項５】
請求項４記載の立体視画像表示装置において、
前記特定オブジェクトを複数とした、
立体視画像表示装置。
【請求項６】
請求項３記載の立体視画像表示装置において、
前記生成手段は、
前記平面画像の特定領域を、互いに視差を有する右眼用視差画像及び左眼用視差画像にそれぞれ変換し、当該右眼用視差画像及び左眼用視差画像を分割して得たストライプ状の画素群を交互に配置して前記立体視画像を生成する、
立体視画像表示装置。
【請求項７】
請求項４記載の立体視画像表示装置において、
前記生成手段は、
前記生成した立体視画像の両端の所定領域に存在する画素をカットする、
立体視画像表示装置。
【請求項８】
請求項４記載の立体視画像表示装置において、
前記生成手段は、
前記生成した立体視画像の両端の所定領域に存在する画素の色を、特定の色で統一化する、
立体視画像表示装置。
【請求項９】
請求項４記載の立体視画像表示装置において、
前記生成手段は、
前記生成した立体視画像の両端の所定領域に存在する画素を透明化する、
立体視画像表示装置。
【請求項１０】
請求項６乃至９記載の立体視画像表示装置において、
前記立体視画像にストライプ状に組み込まれた右眼用視差画像が右眼のみに結像するように左眼の視野の一部を遮断し、左眼用視差画像が左眼のみに結像するように右眼の視野の一部を遮断する視野遮断手段を更に備えた、
立体視画像表示装置。
【請求項１１】
請求項１０記載の立体視画像表示装置において、
前記視野の一部を遮断する領域と前記指定した平面画像の特定領域とを一致させるように前記視野遮断手段の動作を制御する制御手段を更に備えた、
立体視画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体視画像表示装置に係り、特に、平面画像データを記述したファイルから好適な立体視画像データを生成して表示する立体視画像表示装置に関する。
【０００２】
【従来の技術】
補色めがねや偏光めがねといった器具を装着することなしに観察者に立体視画像を認識させる立体視実現方法に裸眼並行法がある。この裸眼並行法は、互いに視差を有する左眼用視差画像と右眼用視差画像とをそれぞれ分割して得たストライプ状の画素を、交互に配列して合成視差画像を生成し、この合成視差画像を表示素子から出力する。そして、レンティキュラレンズ、パララックスバリアといった機構を使って観察者の視野の一部を遮ることにより、上記合成視差画像に組み込まれた左眼用視差画像の画像片を左眼のみに、右眼用視差画像の画像片を右眼のみにそれぞれ導光することによって立体視を実現する。レンティキュラレンズにより視野の一部を遮る方法をレンティキュラ方式と呼び、パララックスバリアにより視野の一部を遮る方法をパララックスバリア方式と呼んでいる。
【０００３】
裸眼並行法に利用する合成視差画像は、視点を変えて別々に撮像した画像のそれぞれを上記手順により合成して生成することが一般的であるが、もともとひとつの視点から撮像された一つの画像データから、上述の合成視差画像を生成するといったことが行われている。そのような合成視差画像の生成方法を開示した文献として特開２００２−１２３８４２がある（特許文献１参照）。同文献は、画像の各画素の彩度から算出した奥行き値（もしくはこの奥行き値に所定の補正処理を行って算出した値）から、当該画像における近影部分と遠影部分とを区分し、近影部分については遠影部分よりも左眼用視差画像と右眼用視差画像との視差を大きく計算するといったような処理を行う技術を開示している。景色は一般に遠い方向へ行くほど彩度が低下し、近い方ほど彩度が高くなるという経験則を、画素の彩度から奥行き値を算出するアルゴリズムとして応用したものである。
【０００４】
【特許文献１】
特開２００２−１２３８４２号公報
【０００５】
【発明が解決しようとする課題】
ここで、立体視画像の生成においては、画像の一部を立体視化し、残りの部分は平面画像として観察させたいというケースがある。例えば、画像中の特定の文字のみ立体視させることによって観察者の注意をその文字のみに集めたいようなケースである。しかしながら、上記文献に代表される従来技術には、平面画像のデータからその一部分が立体視されるような画像のデータを容易に生成する技術を開示したものは存在していない。
【０００６】
このような状況下で案出された本発明は、平面画像データからその一部を立体視化できる画像データを生成し、更に当該画像を観察者に立体視させる装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、立体視画像を生成する生成手段と、当該立体視画像を平面画像に上書きして両画像を合成する合成手段と、当該合成された画像を出力する表示手段とを備える。
【０００８】
請求項２記載の発明は、平面画像を記憶した記憶手段と、当該記憶手段から読み出した平面画像の特定領域の立体視画像を生成する生成手段と、当該特定領域の立体視画像を上記平面画像の特定領域に上書きして両画像を合成する合成手段と、当該合成された画像を出力する表示手段とを備える。
【０００９】
請求項３記載の発明は、請求項２記載の立体視画像表示装置において、上記平面画像における特定領域を指定する指定手段を更に備える。そして、上記生成手段が、上記指定手段が指定した上記平面画像の特定領域の立体視画像を生成する。
【００１０】
請求項４記載の発明は、請求項２記載の立体視画像表示装置において、上記生成手段が、上記平面画像における特定オブジェクトの表示領域を検出すると共に、この検出した表示領域の立体視画像を生成する。そして、上記合成手段は、当該特定オブジェクトの表示領域の立体視画像を上記読み出した平面画像に上書きして両画像を合成する。
【００１１】
請求項５記載の発明は、請求項４記載の立体視画像表示装置において、上記平面画像における特定オブジェクトの表示領域を複数としたことを特徴とする。
【００１２】
請求項６記載の発明は、請求項３記載の立体視画像表示装置において、上記生成手段が、上記平面画像の特定領域を、互いに視差を有する右眼用視差画像及び左眼用視差画像にそれぞれ変換し、当該右眼用視差画像及び左眼用視差画像を分割して得たストライプ状の画素群を交互に配置して立体視画像を生成する。
【００１３】
請求項７記載の発明は、請求項４記載の立体視画像表示装置において、上記生成手段が、上記生成した立体視画像の両端の所定領域に存在する画素をカットする。
【００１４】
請求項８記載の発明は、請求項４記載の立体視画像表示装置において、上記生成手段が、上記生成した立体視画像の両端の所定領域に存在する画素の色を特定の色に統一化する。
【００１５】
請求項９記載の発明は、請求項４記載の立体視画像表示装置において、上記生成手段が、上記生成した立体視画像の両端の所定領域に存在する画素を透明化する。
【００１６】
請求項１０記載の発明は、請求項６乃至９記載の立体視画像表示装置において、上記立体視画像にストライプ状に組み込まれた右眼用視差画像が右眼のみに結像するように左眼の視野の一部を遮断し、左眼用視差画像が左眼のみに結像するように右眼の視野の一部を遮断する視野遮断手段を更に備える。
【００１７】
請求項１１記載の発明は、請求項１０記載の立体視画像表示装置において、上記視野の一部を遮断する領域と上記指定した平面画像の特定領域とを一致させるように上記視野遮断手段の動作を制御する制御手段を更に備える。
【００１８】
【発明の実施の形態】
以下、本発明の実施形態について説明する。なお、本発明は以下の実施形態に限定されるものでなく、いわゆる当業者が通常用いる技術的手段による代替が可能である。
【００１９】
Ａ  第１の実施の形態
＜実施形態の構成＞
図１は、本実施形態の構成を示すブロック図である。同図に示すように本実施形態における立体視画像表示装置は、ＣＰＵ２０（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ２１（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、ＲＯＭ２２（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＨＤ２３（Ｈａｒｄ  Ｄｉｓｃ）と、操作部２４と、ＶＲＡＭ２５（Ｖｉｄｅｏ  ＲＡＭ）と、表示部２６とを備えている。
【００２０】
ＣＰＵ２０は、装置全体の動作制御を行う。ＲＡＭ２１は、ＣＰＵ２０のワークエリアを提供する揮発性の記憶素子である。ＲＯＭ２２は、ＩＰＬ（Ｉｎｉｔｉａｌ  Ｐｒｏｇｒａｍ  Ｌｏａｄｅｒ）などの装置各部の基本制御を司るプログラムを記憶した不揮発性の記憶素子である。またＨＤ２３は、オペレーティングシステムのほか、画像を記憶した各画像ファイル、本実施形態に特徴的な動作を実行する立体視画像生成プログラム、画像合成プログラムなどを格納した磁気ディスクである。操作部２４はキーボードであり、ポインティングデバイスとして機能するマウス２４ａを更に備えている。ＶＲＡＭ２５は、画像を構成する各画素番地ごとのＡ（ａｌｐｈａ）Ｒ（ｒｅｄ）Ｇ（ｇｒｅｅｎ）Ｂ（ｂｌｅｕ）値をＣＰＵ２０から取得して一時的に記憶する記憶素子である。ＣＰＵ２０が、特定の画像を構成するための各画素番地毎のＡＲＧＢ値のバイナリーデータをＶＲＡＭ２５に出力すると、当該ＶＲＡＭ２５は、このデータを表示部２６に出力するようになっている。
【００２１】
表示部２６は、バックライト２６ａ、画像表示液晶２６ｂ、パララックスバリア液晶２６ｃを有している。バックライト２６ａは、図示しない蛍光ランプ、導光板、拡散版などを備える。画像表示液晶２６ｂは、図示しないガラス基板、透明電極、配光膜、液晶、スペーサ等から構成される液晶セルである。そして、当該液晶上にはカラーフィルタを配置している。また、パララックスバリア液晶２６ｃも上記画像表示液晶２６ｂと同様の構成の液晶セルである。これら画像表示液晶２６ｂ及びパララックスバリア液晶２６ｃは、上記ＶＲＡＭ２５からＡＲＧＢ値のバイナリーデータを取得すると、このデータに応じた画素番地の電極を駆動して画像を形成するようになっている。また、これら画像表示液晶２６ｂ及びパララックスバリア液晶２６ｃは、いずれもいわゆるノーマリホワイト型であり、各画素の電極に電圧を加えると透過率が下がるようになっている。
【００２２】
図２は、本実施形態の表示部２６における、バックライト２６ａと画像表示液晶２６ｂとパララックスバリア液晶２６ｃの位置関係、並びに当該パララックスバリア液晶２６ｃに表示されるストライプのイメージを示す斜視図である。同図に示すように、表示部２６には、バックライト２６ａ、画像表示液晶２６ｂ、パララックスバリア液晶２６ｃが光軸方向に向かって平行に配置されている。そして、後に詳述するように、画像表示液晶２６ｂは、互いに視差を有する各視差画像をそれぞれ分割して得たストライプ状の画素群を横方向に交互に配列した合成視差画像を表示する。一方、パララックスバリア液晶２６ｃは、上記合成視差画像に組み込まれたストライプ状の画素群と同じ間隔で平行に配置された黒のストライプ（以下、電子スリットという）を全面にわたって表示するようになっている。ここで、図２に示す電子スリットは図面に表すために太くなっているが、実際には細かいスリットが多数配列されている。そして、観察者が、画像表示液晶２６ｂに表示された合成視差画像をこのパララックスバリア液晶２６ｃの側から観察すると、合成視差画像に組み込まれた右眼用視差画像が右眼のみに結像し、同じく組み込まれた左眼用視差画像が左眼のみに結像するため、当該合成視差画像の立体視が実現する。
【００２３】
この原理を図３を参照して更に詳細に説明する。同図に示す様に、画像表示液晶２６ｂに表示される合成視差画像は、左眼用視差画像を分割して得たストライプ状の画素であるＬ１乃至Ｌ５と、右眼用視差画像を分割して得たストライプ状の画素でるＲ１乃至Ｒ５を横方向に交互に配列しており、Ｌ１乃至Ｌ５の画素から発せられた光は電子スリットによって遮られるため右眼Ｒには到達せず、Ｒ１乃至Ｒ５の画素から発せられた光は電子スリットによって遮られるため左眼Ｌには到達しない。従って、左眼Ｌには左眼用視差画像のみが結像する一方、右眼Ｒには右眼用視差画像のみが結像することになる。そして、後述のように右眼用視差画像と左眼用視差画像とは一定の視差を有するように生成されるので、この視差に起因した脳の生理的作用によって表示内容が観察者に立体的に認識されることになる。
【００２４】
＜実施形態の動作＞
以下、本実施形態の動作について説明する。図４は、本実施形態の動作を示すフローチャートである。
【００２５】
まず、当該立体視画像表示装置が起動されると、ＣＰＵ２０は、表示部２６の画像表示液晶２６ｂにメイン画面を表示する（Ｓ１１０）。なお、この時点ではパララックスバリア液晶２６ｃの各画素の電極には電圧がかけられておらず当該パララックスバリア液晶２６ｃのすべての画素は透過性を有している。図５に、メイン画面の構成を示す。このメイン画面の上部には、ファイル読み出しボタンＭ１、変換ボタンＭ２、画像確認ボタンＭ３、保存ボタンＭ４、終了ボタンＭ５の各ソフトボタンが配置されている。更に画面中央部には、画像表示領域Ｍ６が設けられている。
【００２６】
ＣＰＵ２０は、操作部２４の操作によって選択された平面画像ファイルをＨＤ２３から読み出して、この平面画像を画像表示液晶２６ｂに表示する（Ｓ１２０）。当該平面画像ファイルの選択は、上記メイン画面のファイル読み出しボタンＭ１をクリックしてファイル選択画面に遷移し、任意の画像ファイルを選択する操作によって行われる。このような操作が行われると、例えば図６に示すような平面画像が画像表示液晶２６ｂに表示されることになる。
【００２７】
続いてＣＰＵ２０は、操作部２４の操作に応じて、位置エイリア情報を取得する（Ｓ１３０）。この操作は、図７に示すように、マウス２４ａのドラックアンドドロップ操作を行い、立体視化する領域を矩形領域で囲むことによって行われる。図７のケースでは、当該平面画像に描画された自動車、その後方の樹木の周辺が立体視化領域として指定されている。また、上述の位置エイリア情報は、当該平面画像中から指定された立体視化領域を特定するための情報であり、具体的には、ドラッグアンドドロップ操作によって指定された矩形領域で、対角にある頂点の各座標値である。この位置エイリア情報はＲＡＭ２１上に格納される。次に、当該ドラッグアンドドロップ操作によって立体視化領域を指定した操作者は、上記メイン画面の変換ボタンＭ２をクリックする。
【００２８】
変換ボタンＭ２がクリックされると、ＣＰＵ２０は、当該立体視化領域の右眼用視差画像及び左眼用視差画像をそれぞれ生成する（Ｓ１４０）。ここで、上記生成動作について詳述する。まず、左眼用視差画像と右眼用視差画像は、互いに一定の視差を有する画像、即ち、画像中の同一物体を描画する画素群の位置が左右にずらされている２つの画像である。そして、このような両画像を生成するためには、物体を描画する画素群の「ずらし幅」を定量的な値として特定する必要がある。ずらし幅が大きい物体であるほど前面にあると観察者に認識されるからである。ここで、一般的には、遠くにある物体よりも近くにある物体のほうが彩度が高くなる傾向がある。そこで、本実施形態においては、この一般的傾向を上記「ずらし幅」の算出に応用したアルゴリズムを用意する。そして、平面画像を描画していた各画素のＡＲＧＢ値のうち、上記立体視化領域の各画素のＡＲＧＢ値を、上記アルゴリズムに基づいて変換することによって、平面画像データから、互いに視差を有する各視差画像を生成するようにしている。
【００２９】
即ち、本実施形態においては、上記指定された立体視化領域に含まれる各画素の彩度から、その画素がどの程度奥に存在しているかを定量的に示す「奥行き値」なる値を算出し、高い奥行き値が多く分布している領域と低い奥行き値が多く分布している領域とを分離する。次に、当該分離した領域毎の画素の奥行き値を平均化し、この平均化した奥行き値に概ね反比例するように当該分離した各領域毎のずらし幅を設定する。そして、平面画像の立体視化領域を描画する各画素のデータを、このずらし幅の分だけ左側にずらすことによって右眼用視差画像を生成し、反対に、当該各画素のデータをずらし幅の分だけ右側にずらすことによって左眼用視差画像を生成する。結果として、奥行き値の平均値が高い領域ほど左右両眼の視差が大きくなり、より前面に浮き出したように観察者に認識させることができる。
【００３０】
図４のフローチャートの説明に戻って、左眼用視差画像と右眼用視差画像を生成したＣＰＵ２０は、これら両視差画像を合成して合成視差画像を生成する（Ｓ１５０）。この合成は、当該両視差画像を上記電子スリットの幅に対応して横方向に分割して得たストライプ状の画素群を、横方向に交互に配列することによって実行されるものである。
【００３１】
続いてＣＰＵ２０は、上記合成視差画像の左右両端にある、画素のＡＲＧＢ値が特定されていない領域のうち、上記指定された立体視化領域の外側に位置する領域をカットする（Ｓ１６０）。上述のように、当該合成視差画像は左眼用視差画像と右眼用視差画像とを合成して生成されるものであるが、このようにして生成された合成視差画像の左右両端の一部に、画素のＡＲＧＢ値が特定されていない領域が出現するという現象が発生する。
【００３２】
この現象を詳述する。本実施形態では、平面画像の各画素を右方向にずらす処理を行って左眼用視差画像を取得し、当該各画素を左方向にずらす処理を行って右眼用視差画像を取得するが、当然ながら、この平面画像の左右両端の更に外側にある画素のＡＲＧＢ値は特定できない。そもそも画素が存在しないからである。
【００３３】
したがって、左眼用視差画像の左端の一部には、ずらされる画素が元となる平面画像に存在していないために画素のＡＲＧＢ値を特定できていない領域が、出現してしまう。同様に、右眼用視差画像の右端の一部には、ずらされる画素が元となる平面画像に存在していないために画素のＡＲＧＢ値を特定できていない領域が、出現してしまう（図８のＡ参照）。更に、合成視差画像は、これら両視差画像を横方向に分割して得たストライプ状の画素群を横方向に交互に配列したものであるから、その左右両端の一部には、画素のＡＲＧＢ値を特定できていない領域、つまり画素のない領域が依然として存在することになる（図８のＢ参照）。
【００３４】
従って、例えば、この左右両端にある、画素のＡＲＧＢ値の特定されていない領域が、立体視化領域の左右両端より１０ピクセル分外側まで存在していた場合であれば、ＣＰＵ２０は、この両端１０ピクセル分の領域をカットする（図８のＣ参照）。
【００３５】
更に、ＣＰＵ２０は、上記合成視差画像の左右両端にある、画素のＡＲＧＢ値の特定されていない領域のうち、上記指定された立体視化領域の内側に位置する領域を黒で塗り潰す（Ｓ１７０）。上述のように、合成視差画像の左右両端の一部には、画素のＡＲＧＢ値の特定されていない領域が出現する。そして、この領域が上記立体視化領域の内側に及んでいることがある。従って、例えば、当該画素のＡＲＧＢ値の特定されていない領域が、当該立体視化領域の左右両端より１０ピクセル分内側まで存在していた場合であれば、ＣＰＵ２０は、この１０ピクセル分内側の領域を、一律に黒で塗りつぶす（図８のＤ参照）。これにより、当該立体視化領域の左右両端部分から不自然な印象が生じることを回避できる。
【００３６】
ＣＰＵ２０は、上述の両端画素の補正処理が済んだ合成視差画像を、上記平面画像に上書きする（Ｓ１８０）。ＣＰＵ２０は、この合成視差画像を埋め込む領域を、ＲＡＭ２１に格納していた位置エイリア情報によって特定する。ここで、当該合成視差画像の両端画素には補正処理が施してあるので、上記ドラッグアンドドロップ操作によって指定された立体視化領域と完全に一致するようになっている（図９参照）。また、当該上書きした合成視差画像の左右両端から不自然な印象が生じる事を回避できる。
【００３７】
操作者は、平面画像に上書きされた合成視差画像を実際に立体視したいとき、メイン画面の画像確認ボタンＭ３をクリックする。この操作を受けたＣＰＵ２０は、パララックスバリア液晶２６ｃの全面にわたって電子スリットを表示する（Ｓ１９０）。上述のように、この電子スリットは、上記合成視差画像に交互に配置されたストライプと同じ間隔で表示される黒のストライプである。従って、この電子スリットが表示されると、当該合成視差画像に組み込まれた右眼用視差画像の画素が右眼のみに導光され、左眼用視差画像の画素が左眼のみに導光されることになるので、結果として当該合成視差画像の立体視が実現する。
【００３８】
生成された画像の内容を上記立体視によって確認し、当該合成視差画像を上書きした平面画像の保存を希望する操作者は、メイン画面の保存ボタンＭ４をクリックする。この操作を受けたＣＰＵ２０は、当該合成視差画像を上書きした平面画像のデータをＨＤ２３に格納する（Ｓ２００）。
【００３９】
操作者が、メイン画面の終了ボタンＭ５をクリックしたとき、ＣＰＵ２０は、すべての動作を終了させる。
【００４０】
以上説明した第１実施形態によれば、平面画像の一部の領域を立体視画像に変換し、これを当該平面画像に上書きすることによって、立体視画像を一部に含む画像のデータを容易に作成することができる。また、本実施形態は、ドラッグアンドドロップ操作によって操作者に指定された領域のみが立体視画像に変換されるようになっている。従って、操作者は、立体視化する領域を自由に指定して、この指定領域を立体視化した画像を容易に取得することが出来る。
【００４１】
Ｂ  第２の実施の形態
＜実施形態の構成＞
本実施形態における立体視画像表示装置の構成は、上記第１実施形態と同様であるので、図面を参照しての再度の説明を省略する。ただし、本実施形態においては、パララックスバリア液晶２６ｃの機能が上記実施形態と異なるのでこの点について図１０を参照しつつ説明する。図１０は、本実施形態の表示部２６における、バックライト２６ａと画像表示液晶２６ｂとパララックスバリア液晶２６ｃの位置関係、並びに当該パララックスバリア液晶２６ｃの表示内容を示す斜視図である。本実施形態における表示部２６は、バックライト２６ａ、画像表示液晶２６ｂ、パララックスバリア液晶２６ｃを光軸方向に向かって平行に配置している点で上記第１実施形態と同様であるが、当該パララックスバリア液晶２６ｃの全面にわたってではなく、その特定領域のみに電子スリットを表示するようになっている。この電子スリットの表示領域の制御はＣＰＵ２０によって実行される。
【００４２】
＜実施形態の動作＞
以下、本実施形態の動作について説明する。図１１は、本実施形態に特徴的な動作を示すフローチャートである。
【００４３】
本実施形態においても、立体視化領域の指定を操作者から受け付け、この領域の合成視差画像を生成し、これを元の平面画像の立体視化領域に上書きするまでの動作は上記ステップ１１０からステップ１７０までと同様である。上記第１実施形態と異なるのは、メイン画面の画像確認ボタンＭ３がクリックされた以降の動作である。
【００４４】
平面画像に上書きされた合成視差画像を立体視したい操作者は、メイン画面の画像確認ボタンＭ３をクリックする。この操作を受けたＣＰＵ２０は、まず、ＲＡＭ２１から位置エイリア情報を読み出す（Ｓ１９１）。続いてＣＰＵ２０は、この位置エイリア情報を基に、電子スリットを表示させる領域を特定する（Ｓ１９２）。ＣＰＵ２０は、パララックスバリア液晶２６ｃの上記特定した領域に電子スリットを表示させる（Ｓ１９３）。
【００４５】
上述のように、電子スリットは、上記合成視差画像に交互に配置されたストライプと同じ周期で表示されるので、当該合成視差画像に組み込まれた右眼用視差画像の画素が右眼のみに導光され、左眼用視差画像の画素が左眼のみに導光され、当該上書きされた合成視差画像が立体視される。ただし、上記第１実施形態と異なり、ＣＰＵ２０は、ＲＡＭ２１に格納された位置エイリア情報に基づいて、パララックスバリア液晶における電子スリットの表示領域を制御する。即ち、画像表示液晶２６ｂにおける合成視差画像の上書きされた領域とパララックスバリア液晶２６ｃにおける電子スリットの表示領域とを一致させる。このような制御を行うことによって、合成視差画像の上書きされた領域以外から発せられたすべての光がパララックスバリア液晶２６ｃを透過できるようになり、合成視差画像が上書きされていない平面画像部分をより明るく鮮明なものとして観察者に認識させることができる。
【００４６】
Ｃ  変形例
以上この発明の一実施形態について説明したが、上記実施形態はあくまでも例示であり、上記実施形態に対しては、様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
【００４７】
＜Ｃ−１  変形例１＞
上記実施形態では、図７に示すようなドラッグアンドドロップ操作によって立体視化する特定領域が指定されると、ＣＰＵ２０は、この領域内のすべての画素の彩度から算出した各画素毎の奥行き値を基に、左眼用視差画像及び右眼用視差画像を生成するための物体のずらし幅を算出するという構成になっていた。しかしながら、図１２に示すように、平面画像中に単一色の文字が描画されていて、この文字のみを立体視化したいようなケースがある。このような場合、上述のような操作により立体視化する領域を指定してしまうと、当該領域内の文字以外の部分、図１２の例でいえば太陽の一部を描画する画素や空を描画する画素についても、一定のずらし幅を持たせた合成視差画像が生成されてしまう。そして、合成視差画像が上書された平面画像を電子スリットを介して観察した場合には、上記ドラッグアンドドロップ操作によって指定さた立体視化領域の範囲内と、同範囲外の平面画像のままである領域との境界から不自然な印象を受けることになる。
【００４８】
このような事態を回避するため、立体視化する領域を指定した操作者が、当該領域内の特定の色を更に指定できるようにし、ＣＰＵ２０が、上記ずらし幅を持たせた視差画像の生成後、上記指定された色以外を有する画素については、この画素のＡＲＧＢ値のアルファ値（ａｌｐｈａ値）を０に変更して透明化するようにしてもよい。このような処理を施した合成視差画像をもとの平面画像に上書きするようにすれば、指定された色以外の画素は透明なものとなるため、指定された色の物体のみを観察者に立体視させることが出来る。またこれとは逆に、指定された色の画素のみのアルファ値を０に変更して透明化することにしてもよい。
【００４９】
＜Ｃ−２  変形例２＞
上記変形例１は、立体視化する領域を指定した操作者が更に特定の色の指定を行うと、ＣＰＵ２０が、視差画像の当該指定された色以外の画素のアルファ値を０に変更するようになっていたが、操作者が、特定の奥行き値の指定を行うこととしてもよい。このような構成による場合、上記指定された領域内の各画素の彩度から奥行き値を算出したＣＰＵ２０が、この算出した奥行き値と上記指定された奥行き値とが一致すると判断したとき、その画素のアルファ値を０に変更するといった処理になる。結果として上記色の指定を行うのと同様の効果を奏することができる。
【００５０】
＜Ｃ−３  変形例３＞
上記実施形態では、操作者が、ドラッグアンドドロップ操作によって立体視化領域を指定すると、この領域内の画像が立体化されるという構成になっていたが、操作者が立体視化領域をドラッグアンドドロップ操作によって指定するのでなく、予め画面を４分の１、或いは８分の１に分割したエリアを設定し、これらのうちから操作者が選択したエリアが立体視化領域として自動的に特定され、合成視差画像が生成されるようにしてもよい。
【００５１】
＜Ｃ−４  変形例４＞
上記実施形態の表示部２６は、画像表示液晶２６ｂとパララックスバリア液晶２６ｃとを備え、パララックスバリア液晶２６ｃがＣＰＵ２０の制御に応じて電子スリットを表示することによって、画像表示液晶２６ｂに表示された画像の立体視を実現する構成となっていた。これに対し、パララックスバリア液晶２６ｃを備えることを必須とせずに、画像表示液晶２６ｂに表示されるストライプ状の画素と同じ間隔のスリットを形成する、脱着可能なフィルムを用いて立体視を行うようにしてもよい。このような構成をとる場合、平面画像に上書きされた合成視差画像の立体視を確認したい操作者が、上記フィルムを画像表示液晶２６ｂの前面に装着し、このフィルムを介して当該画像を観察することになる。
【００５２】
＜Ｃ−５  変形例５＞
上記実施形態では、静止画像のみを立体視化する構成であったが、上記実施形態の動作手順を、動画データの各フレーム毎の立体化処理に応用することも可能である。例えば、図１３のブロック図に示すように、上記実施形態の構成に加え、外部のＤＶＤやＶＴＲから出力された動画データを取得可能な動画インターフェース２７を備え、更に、各フレーム上の特定オブジェクトの描画領域を追跡する輪郭追跡プログラムをＨＤ２３に格納することによって、上述のような応用が可能になる。
【００５３】
上記構成を備えたシステムの具体的な動作手順を説明する。動画インターフェース２７から入力された各フレームの画像データがＲＡＭ２１に格納されると、ＣＰＵ２０が、最初のフレームの画像を画像表示液晶２６ｂに表示する。続いて、操作者が当該画像中の特定オブジェクトを立体視化領域として選択すると、ＣＰＵ２０は、上記輪郭追跡プログラムの機能によって、まず、当該特定オブジェクトの輪郭を特定し、更に、２番目以降のフレームの画像についても、当該特定オブジェクトの輪郭を自動的に追跡する処理を行う。そして、ＣＰＵ２０は、上記ステップ１４０からステップ１８０の処理にしたがって上記特定オブジェクトの合成視差画像を上書きしたフレームの画像を生成し、このフレームの画像を画像表示液晶に２６ｂに出力する。これら一連の動作を各フレーム毎に連続して実行することによって、動画中の特定オブジェクトの立体視が可能になる。なお、立体視のためにはパララックスバリア液晶２６ｃに電子スリットを表示する必要があるが、当然ながら、当該パララックスバリア液晶２６ｃの全面にこれを表示するものとしても、上記特定オブジェクトの表示領域と電子スリットの表示領域とが一致するようにＣＰＵ２０が当該パララックスバリア液晶２６ｃを制御するようにしてもどちらでもよい。
【００５４】
＜Ｃ−６  変形例６＞
立体視化される動画データは、外部のＶＴＲやＤＶＤから出力されるものである必要はない。例えば、ＨＤ２３に、ａｖｉ、ｄｒｃ、ｍｏｖ、ｓｗｆといった拡張子が付された動画ファイルを予め格納し、これらファイルを読み出して動画を再生する際、上記変形例５に示したような処理を各フレームの画像に施すようにすれば、当該動画中の特定オブジェクトの立体視を実現することができる。
【００５５】
＜Ｃ−７  変形例７＞
上記実施形態は、パララックスバリアを利用した立体視を実現するため、左眼用視差画像及び右眼用視差画像を分割して得たストライプ状の画素群を横方向に交互に配列した合成視差画像を立体視画像として表示するようになっていたが、アナグリフによる立体視用の合成視差画像を生成して表示するようにしてもよい。即ち、左眼用視差画像を赤色の画素で描画すると共に右眼用視差画像を青色の画素で描画し、これら両画像を重ね合わせて合成視差画像を生成するようにしてもよい。観察者の右眼前に青色のフィルムを配置すると共に左眼前に赤色のフィルムを配置すると、赤色の画素で描画された左眼用画像が左目のみに結像し、青色の画素で描画された右眼用画像が右目のみに結像するので、立体視が実現する。このような構成にすれば、左眼用視差画像及び右眼用視差画像を重ね合わせることによって合成視差画像が生成できるので、ストライプ状に分割した画素群を交互に配列するといった処理を行なう必要がなくなる。また、観察者の視野の一部を遮る為のパララックスバリア液晶を設ける必要がなくなる。
【００５６】
＜Ｃ−８  変形例８＞
上記変形例７では、右眼用視差画像を赤色の画素で、左眼用視差画像を青色の画素でそれぞれ描画することとしたが、両視差画像を構成する各画素の偏光方向を互いに垂直にするようにしてもよい。このような視差画像を合成した合成視差画像を表示し、かつ観察者が偏光めがねを装着することによっても立体視が実現できる。
【００５７】
＜Ｃ−９  変形例９＞
上記実施形態においては、合成視差画像の左右両端に、画素のＡＲＧＢ値の特定されていない領域が出現する。そして、このような領域が上記ドラッグアンドドロップ操作によって指定された立体視化領域の外側にあれば、その領域をカットするといった処理を施すこととしていたが、この領域にある画素のＡＲＧＢ値のアルファ値（ａｌｐｈａ値）を０に設定して透明化するようにしてもよい。また、上記実施形態では、画素のＡＲＧＢ値の特定されていない領域が、上記立体視化領域の内側にあれば、この領域の画素のすべて黒で塗り潰すといった処理を施すことにしていたが、この領域の画素をカットしてしまってもよいし、また、この領域の画素のＡＲＧＢ値のアルファ値（ａｌｐｈａ値）を０に設定して透明化してもよい。
【００５８】
以上のことから明らかなように、立体視化領域の外側に出現した、ＡＲＧＢ値の特定されていない画素の補正方法としては、その領域の画素をカットするパターンと画素を透明化するパターンの２つが考えられる。また、当該立体視化領域の内側に出現した、ＡＲＧＢ値が特定されていない画素の補正方法としては、その領域の画素を黒で塗り潰すパターンと、カットするパターンと、透明化するパターンの３つが考えられる。上記実施形態のステップ１６０とステップ１７０の処理を行う理由は、立体視化領域の左右両端部分から不自然な印象が生じることを回避することにあるので、上記各パターンのいずれの組み合わせて立体視化領域の内外にある画素の補正を行ってもよい。
【００５９】
＜Ｃ−１０  変形例１０＞
上記実施形態では、表示部２６の画像表示領域Ｍ６に表示された平面画像から、特定の領域がドラッグアンドドロップ操作によって選択されると、この領域の合成視差画像を生成して元の平面画像に上書きするようになっていた。これに対し、立体視化する対象を特定するための識別子を平面画像のデータに予め付加しておき、この識別子から、立体視化の対象を自動的に特定して合成視差画像を生成するようにしてもよい。
【００６０】
このような応用が有効となるのは、ＷＥＢブラウザを制御してＷＥＢページを実現するためのＨＴＭＬ（ｈｙｐｅｒ  ｔｅｘｔ  ｍａｒｋｕｐ  ｌａｎｇｕａｇｅ）ファイルに、このＷＥＢページに表示する特定の画像のファイル（例えば拡張子をｊｐｅｇやｇｉｆとするファイル）への関連付けが、ＨＴＭＬタグによって記述されているケースである。この応用例を具体的なＨＴＭＬタグの例を挙げて詳細に説明する。
【００６１】
ＷＥＢページの特定の領域に特定の画像を表示するためのＨＴＭＬタグの記述は、例えば下記のように行うのが一般的である。
＜ＩＭＧ  ＳＲＣ＝“Ｘ”  ＷＩＤＴＨ＝“Ｙ”  ＨＥＩＧＨＴ＝“Ｚ”＞
このような記述を行うと、ＷＥＢブラウザは、「Ｘ」に特定される記憶領域から画像ファイルをまず読み出し、続いて当該画像の表示領域の縦幅を「Ｙ」、横幅を「Ｚ」と特定する。更にＷＥＢページにおける当該特定した表示領域に、上記読み出した画像を配置する。
【００６２】
従って、立体視化する対象を特定する識別子としてＩＭＧタグを予め指定できるようにし、このような指定が行われると、ＣＰＵ２０が、「Ｘ」に特定される記憶領域から読み出した画像の合成視差画像を上記ステップ１４０乃至ステップ１７０の手順に従って生成し、この合成視差画像を、上記「Ｙ」及び「Ｚ」によって特定される表示領域に表示するようにしてもよい。なお、当該合成視差画像の立体視を実現するためにはパララックスバリア液晶に電子スリットを表示する必要があるが、この電子スリットの表示領域も、上記タグの属性として記述された「Ｙ」及び「Ｚ」の値から特定するようにすることが望ましい。
【００６３】
また、ＷＥＢページの特定の位置に特定の画像を表示するためのＨＴＭＬタグの記述は、例えば下記のように行うのが一般的である。
＜ＩＭＧ  ＳＲＣ＝“Ｘ”ＳＴＹＬＥ＝“ｌｅｆｔ：Ｙ；  ｔｏｐ：Ｚ”＞
このような記述を行うと、ＷＥＢブラウザは、「Ｘ」に特定される記憶領域から画像ファイルをまず読み出し、続いて当該画像の表示位置の左端を「Ｙ」、上端を「Ｚ」と特定する。更にＷＥＢページにおける当該特定した表示位置に、上記読み出した画像を配置する。
【００６４】
従って、立体視化する対象を特定する識別子としてＩＭＧタグを予め指定できるようにし、このような指定が行われると、ＣＰＵ２０が、「Ｘ」に特定される記憶領域から読み出した画像の合成視差画像を上記ステップ１４０乃至ステップ１７０の手順に従って生成し、この合成視差画像を、上記「Ｙ」及び「Ｚ」によって特定される表示位置に表示するようにしてもよい。
【００６５】
＜Ｃ−１１  変形例１１＞
変形例１１では、平面画像のデータに予め付加される識別子としてＩＭＧタグを挙げた。このＩＭＧタグは、上述のようにＷＥＢページに表示される画像のファイルの格納場所、更にはＷＥＢページにおける当該画像の表示位置や表示領域を特定するものであった。これに対し、立体視化する対象を特定するための識別子を、特定の動画ファイル（例えば拡張子をａｖｉ、ｄｃｔ、ｓｗｆ、ｍｏｖとしたファイル）を関連付けたタグとすることも可能である。これを具体的なＨＴＭＬタグの例を挙げて詳細に説明する。
【００６６】
ＷＥＢページの特定の領域に特定のＡＶＩやＱｕｉｃｋＴｉｍｅの動画を表示するためのＨＴＭＬタグの記述は、例えば下記のように行うのが一般的である。
＜ＥＭＢＥＤ  ＳＲＣ＝“Ｘ”  ＷＩＤＴＨ＝“Ｙ”  ＨＥＩＧＨＴ＝“Ｚ”＞
このような記述を行うと、ＷＥＢブラウザは、拡張子がａｖｉやｍｏｖ、或いはＱＴとなっている動画ファイルを、「Ｘ」に特定される記憶領域からまず読み出し、続いて当該動画の表示領域の横幅を「Ｙ」、縦幅を「Ｚ」と特定する。更にＷＥＢページにおける当該特定した表示領域にて、上記読み出した動画ファイルの各フレーム毎の画像を連続して再生する。
【００６７】
従って、立体視化する対象を特定する識別子としてＥＭＢＥＤタグを予め指定できるようにし、このような指定が行われると、ＣＰＵ２０が、「Ｘ」に特定される記憶領域から読み出した動画ファイルの各フレーム毎の合成視差画像を上記ステップ１４０乃至ステップ１７０の手順に従って生成し、これら連続する合成視差画像を、上記「Ｙ」及び「Ｚ」によって特定される表示領域に表示するようにしてもよい。なお、上記変形例１１と同様に、この合成視差画像を立体視するための電子スリットの表示領域も、上記タグの属性として記述された「Ｙ」及び「Ｚ」の値から特定するようにすることが望ましい。
【００６８】
＜Ｃ−１２  変形例１２＞
変形例１２では、平面画像のデータに予め付加される識別子の例としてＥＭＢＥＤタグを挙げた。これは、ＷＥＢページにて再生される動画のファイルの格納場所、更にはＷＥＢページにおける当該動画の表示位置や表示領域を特定するものであった。これに対し、立体視化する対象を特定するための識別子を、特定の簡易プログラムのファイル（例えば拡張子をｃｌａｓｓとしたファイル）を関連付けたタグとすることも可能である。これを具体的なＨＴＭＬタグの例を挙げて詳細に説明する。
【００６９】
ＷＥＢページの特定の表示領域に特定のＪａｖａアプレットの実行結果を表示するためのＨＴＭＬタグの記述は、例えば下記のように行うのが一般的である。
＜ＡＰＰＬＥＴ  ＣＯＤＥ＝“Ｘ”  ＷＩＤＴＨ＝“Ｙ”  ＨＥＩＧＨＴ＝“Ｚ”＞
このような記述を行うと、ＷＥＢブラウザは、拡張子がｃｌａｓｓとなっているアプレットファイルを「Ｚ」に特定される記憶領域からまず読み出し、続いてアプレットの実行結果の表示領域の横幅を「Ｙ」、縦幅を「Ｚ」と特定する。更にＷＥＢページにおける当該特定した表示領域に、上記プログラムの実行結果を表示する。
【００７０】
従って、立体視化する対象を特定する識別子としてＡＰＰＬＥＴタグを予め指定できるようにし、このような指定が行われると、ＣＰＵ２０が、「Ｘ」に特定される記憶領域から読み出したアプレットを実行し、当該実行結果の合成視差画像を上記ステップ１４０乃至ステップ１７０の手順に従って生成し、更にこの合成視差画像を上記「Ｙ」及び「Ｚ」によって特定される表示領域に表示するようにしてもよい。なお、上記変形例１１と同様に、この合成視差画像を立体視するための電子スリットの表示領域も、上記タグの属性として記述された「Ｙ」及び「Ｚ」の値から特定するようにすることが望ましい。
【００７１】
【発明の効果】
以上説明したように、本発明は、立体視画像を生成する生成手段と、当該立体視画像を平面画像に上書きして両画像を合成する合成手段を備えている。従って、画像の観察者は、平面画像のデータのみからこの平面画像の一部を立体視化する画像のデータを容易に生成して、この立体視化した画像を埋め込んだ合成画像を観察することが出来る。
【図面の簡単な説明】
【図１】本実施形態の構成を示すブロック図である。
【図２】表示部構成要素の位置関係を示す図である。
【図３】パララックスバリアを使った立体視の原理を示す図である。
【図４】実施形態の動作を示すフローチャートである。
【図５】メイン画面を示す図である。
【図６】平面画像の一例である。
【図７】立体視化領域の指定操作を示す図である。
【図８】合成視差画像の両端の補正処理を示す図である。
【図９】合成視差画像の上書き処理を示す図である。
【図１０】表示部構成要素の位置関係を示す図である。
【図１１】実施形態の動作を示すフローチャートである。
【図１２】平面画像の一例である。
【図１３】変形例の構成を示すブロック図である。
【符号の説明】
２０…ＣＰＵ、２１…ＲＯＭ２２…ＲＯＭ、２３…ＨＤ、２４…操作部、２５…ＶＲＡＭ、２６…表示部、２６ａ…バックライト、２６ｂ…画像表示液晶、２６ｃ…パララックスバリア液晶
【図１】
2004248212.tif 000003
【図２】
2004248212.tif 000004
【図３】
2004248212.tif 000005
【図４】
2004248212.tif 000006
【図５】
2004248212.tif 000007
【図６】
2004248212.tif 000008
【図７】
2004248212.tif 000009
【図８】
2004248212.tif 000010
【図９】
2004248212.tif 000011
【図１０】
2004248212.tif 000012
【図１１】
2004248212.tif 000013
【図１２】
2004248212.tif 000014
【図１３】
2004248212.tif 000015