(57)【要約】【課題】視差の調整を行いつつ、奥行き方向の位置制御を容易にする。【解決手段】右目用画像と左目用画像からなる立体画像を生成する立体画像生成装置であって、立体視用画像データを構成する、右目用画像と左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、立体視用画像データの右目用画像及び左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、を備え、画像拡大縮小部は、右目用画像及び左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、右目用画像及び左目用画像の拡大率と、を含む視差量調整情報に基づいて、右目用画像基準点及び左目用画像基準点を基準として、右目用画像及び左目用画像をそれぞれ拡大・縮小する。【選択図】図２
2012065066.tif 000002
【特許請求の範囲】
【請求項１】
右目用画像と左目用画像からなる立体画像を生成する立体画像生成装置であって、
立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、
前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、
を備え、
前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成装置。
【請求項２】
前記画像拡大縮小部は、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小することを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記右目用画像基準点及び前記左目用画像基準点は、上下方向の位置が同じであることを特徴とする請求項１又は２に記載の立体画像生成装置。
【請求項４】
前記基準点は、画面左右端の位置であることを特徴とする、請求項３に記載の立体画像生成装置。
【請求項５】
前記右目用画像基準点及び前記左目用画像基準点は、視差量調整によって奥行き位置を調整する際、奥行き位置の変化しない奥行き方向の基準位置と対応付けた視差量に基づき左右間隔が設定されることを特徴とする、請求項１又は２に記載の立体画像生成装置。
【請求項６】
前記右目用画像基準点及び前記左目用画像基準点は、画面上の左右中央点に対し左右対称に配置されたことを特徴とする、請求項１から５までのいずれか１項に記載の立体画像生成装置。
【請求項７】
前記視差量調整情報は、ユーザ入力を行うユーザ入力部により手動で設定されることを特徴とする請求項１から６までのいずれか１項に記載の立体画像生成装置。
【請求項８】
さらに、前記立体視用画像データから視差量を取得する視差量取得部を有し、
前記視差量調整情報は、前記視差量取得部が前記立体視用画像データを解析することにより取得された視差量に基づき設定されることを特徴とする、請求項７に記載の立体画像生成装置。
【請求項９】
前記右目用画像基準点及び前記左目用画像基準点の位置は、それぞれ左右方向の間隔が前記視差量取得部によって取得された視差量に基づき設定された位置であることを特徴とする、請求項８に記載の立体画像生成装置。
【請求項１０】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
【請求項１１】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最近景の視差に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
【請求項１２】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差と最近景の視差の中間値に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
【請求項１３】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の出現頻度の高い点に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
【請求項１４】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の変化量の少ない点に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
【請求項１５】
画像解析部を更に有し、
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記画像解析部により求められた画像の消失点の位置に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
【請求項１６】
画像解析部を更に有し、
前記画像解析部は、前記右目用画像及び前記左目用画像の少なくともいずれかから特定のパターンを認識し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記認識された特定のパターンの画像上の位置と対応して前記視差量取得部により求められた視差量に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
【請求項１７】
前記拡大率は、前記視差量取得部によって取得された視差量に基づき設定されることを特徴とする、請求項１６に記載の立体画像生成装置。 
【請求項１８】
前記拡大率は、前記視差量取得部によって取得された視差量の分布に基づき設定されることを特徴とする、請求項１７に記載の立体画像生成装置。
【請求項１９】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。 
【請求項２０】
前記拡大率は、前記視差量取得部によって取得された最近景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。 
【請求項２１】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。
【請求項２２】
前記拡大率は、前記視差量取得部によって取得された視差量の分散に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。
【請求項２３】
前記所定の視差量は、視聴者の操作に基づき設定されることを特徴とする、請求項１９から２１までのいずれか１項に記載の立体画像生成装置。
【請求項２４】
前記所定の視差量は、視聴者の年齢に基づき設定されることを特徴とする、請求項１９から２１までのいずれか１項に記載の立体画像生成装置。
【請求項２５】
前記所定の視差量は、視聴者の好みに応じて設定されることを特徴とする、請求項２３に記載の立体画像生成装置。
【請求項２６】
前記所定の視差量は、実験により求められた生体への影響度に応じて設定されることを特徴とする、請求項２３に記載の立体画像生成装置。
【請求項２７】
前記画像拡大縮小部が前記立体視用画像データを縮小処理することによって生じた前記立体視用画像データ外の画面領域に、枠画像を重畳表示する枠画像重畳表示部を有することを特徴とする、請求項１から２６までのいずれか１項に記載の立体画像生成装置。
【請求項２８】
前記入力部で設定された視差量設定情報に基づき、前記画像拡大縮小部は、前記立体視用画像データ外の画面領域に、あらかじめ、枠画像を表示する領域を予め設けておくことを特徴とする、請求項１から２６までのいずれか１項に記載の立体画像生成装置。
【請求項２９】
前記枠画像として用いる画像を予め記録しておく枠画像記録部を更に設け、前記枠画像記録部から前記枠画像を読み出すことを特徴とする、請求項２７又は２８に記載の立体画像生成装置。
【請求項３０】
前記立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を更に設け、前記立体視用画像データから枠画像として用いる前記枠画像を読み出すことを特徴とする、請求項２７から２９までのいずれか１項に記載の立体画像生成装置。
【請求項３１】
枠画像として用いる画像を選択する枠画像選択手段を更に設け、前記枠画像選択手段は、前記枠画像記録手段及び前記枠画像抽出手段の少なくとも一方から読み出された複数の枠画像から前記別の画像を選択することを特徴とする、請求項２７から３０までのいずれか１項に記載の立体画像生成装置。
【請求項３２】
前記枠画像選択手段は、前記立体視用画像データから枠画像として用いる画像の指定を読み出し、前記別の画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
【請求項３３】
前記枠画像選択手段は、前記立体視用画像データの輝度情報に基づいて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
【請求項３４】
前記枠画像選択手段は、前記視差量取得手段によって取得された視差量に基づいて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
【請求項３５】
前記枠画像選択手段は、視聴者の入力に基づいて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。 
【請求項３６】
前記枠画像選択手段は、ランダムに枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
【請求項３７】
前記枠画像選択手段は、日時に応じて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。 
【請求項３８】
前記枠画像に、文字情報を重畳して前記別の画像とすることを特徴とする、請求項２７から３１のいずれかに記載の立体画像生成装置。 
【請求項３９】
前記文字情報は、字幕であることを特徴とする、請求項３８に記載の立体画像生成装置。
【請求項４０】
前記文字情報は、データ放送であることを特徴とする、請求項３８に記載の立体画像生成装置。
【請求項４１】
前記文字情報は、時間情報であることを特徴とする、請求項３８に記載の立体画像生成装置。
【請求項４２】
前記右目用画像基準点及び前記左目用画像基準点の座標および間隔のうち、少なくとも一方を視差基準値として前記立体視用画像データに付加することを特徴とする、立体画像生成装置。
【請求項４３】
請求項４２の立体画像生成装置により付加された視差基準値を取得する視差基準値読み取り手段を更に設け、
前記視差基準値読み取り手段は、前記立体視用画像データを解析することにより取得された視差基準値に基づき、前記右目用画像基準点及び前記左目用画像基準点を設定することを特徴とする、請求項１から４１のいずれか１項に記載の立体画像生成装置。
【請求項４４】
請求項１から４３までのいずれか１項に記載の立体画像生成装置と、
立体画像を表示する表示部と、を有する立体画像表示装置。
【請求項４５】
前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体視を可能とする立体画像生成方法であって、
立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小ステップと、
前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御ステップと、
を有し、
前記画像拡大縮小ステップは、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成方法。
【請求項４６】
コンピュータに、請求項４５に記載の立体画像生成方法を実行させるためのプログラム。
【請求項４７】
請求項４６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を生成する立体画像生成装置に関し、特に立体画像の立体感を調整する調整方法、立体画像立体感調整プログラム、及びこれを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
人間は一定の間隔を持つ２つの目により得られる画像の違いから空間を把握する能力を持つ。左右の眼による異なる視点から得られる画像中の対応点のずれを視差と呼び、視差を手掛かりの一つとして対象物の位置関係を立体的に把握している。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する手段を設けて、右目用画像、左目用画像として視差を設けた画像を提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像のことを立体画像と称する。
【０００３】
立体視において、人間は視差に応じた両眼の光軸のなす角度、すなわち輻輳の大きさを対象物までの距離に対応付けていると言われている。従って、右目用画像を右に、左目用画像を左に相対的にずらし、視差を付けた画像を見せると、実際の表示面より遠くに表示物を知覚させることができる。しかし、このときに視差をつけすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差をつけると、自然界では起き得ない状態となり、立体視が不可能となる。同様に、近距離側でも極端な視差は不自然な位置関係を生じ、また、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。このように、立体画像の視差がある一定の範囲では快適に立体視が可能であるが、視差の絶対値が大きくなると両目の画像が融合しなくなり、立体視が不可能となる。
【０００４】
そこで、視差量が大きすぎて立体視しにくい、あるいは立体視が不可能な立体画像を表示する際に、左右画像の表示位置を左右にずらすことで視差を調整し、立体画像を見やすく表示する方法が、以下の特許文献１に示されている。
【０００５】
この方法によれば、左右画像の表示位置をずらすことによって視差調整を行い、表示している物体の奥行き位置を全体的に前後させ、表示している物体を融合しやすくすることができる。しかしながら、左右画像の表示位置を左右にずらすことによって、表示している画像の端に表示不可能な領域が生じ、画像領域が欠けてしまう。欠けた領域は左右画像がペアにならず、立体視ができなくなる。すなわち、立体表示ができない領域が発生してしまう。さらに、奥行き方向の遠い側にも近い側にも過大な視差が付いている場合、全体的に奥行き位置を前後させても、融合のしにくさは解消されない。
【０００６】
そこで、左右画像を拡大、縮小することによって、視差量そのものを調整し、画面全体を立体視可能とする表示方法が特許文献２に示されている。この方法によれば、画面全体を立体視しつつ、画面全体の視差を小さく調整することができ、融合しやすい画像を得ることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−１２１３７０号公報
【特許文献２】特開２００５−７３０１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献２の方法によれば、奥行き方向を全体的に表示面の位置に近づけることはできるが、特許文献２には、奥行き位置の制御については言及されていない。
【０００９】
本発明の目的は、視差の調整を行いつつ、奥行き方向の位置制御を容易とした立体画像生成技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、右目用画像と左目用画像からなる立体視用画像を表示し、前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体画像を生成する立体画像生成装置であって、立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、を備え、前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成装置が提供される。
【００１１】
前記画像拡大縮小部は、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小するようにしても良い。
【００１２】
また、本発明は、右目用画像と左目用画像からなる立体視用画像を表示し、前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体画像を生成する立体画像生成装置であって、立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、を備え、前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小することを特徴とする立体画像生成装置である。
【００１３】
横方向にのみ拡大・縮小することで、画面上下を余らせないようにすることができる。
前記右目用画像基準点及び前記左目用画像基準点は、上下方向の位置が同じであることが好ましい。
【００１４】
前記基準点を、画面左右端の位置とすることで、画面領域を有効に使うことができる。
前記右目用画像基準点及び前記左目用画像基準点は、視差量調整によって奥行き位置を調整する際、奥行き位置の変化しない奥行き方向の基準位置と対応付けた視差量に基づき左右間隔が設定されることが好ましい。これにより、奥行き基準を中心とした奥行きの制御ができる。
【００１５】
前記右目用画像基準点及び前記左目用画像基準点は、画面上の左右中央点に対し左右対称に配置されたことが好ましい。これにより、中心がずれず、画面領域を有効に使うことができる。
【００１６】
前記視差量調整情報は、ユーザ入力を行うユーザ入力部により手動で設定されるようにしても良い。これにより、好みや立体画像への慣れに従って値を設定することができる。
【００１７】
さらに、前記立体視用画像データから視差量を取得する視差量取得部を有し、前記視差量調整情報は、前記視差量取得部が前記立体視用画像データを解析することにより取得された視差量に基づき設定されることが好ましい。
【００１８】
前記右目用画像基準点及び前記左目用画像基準点の位置は、それぞれ左右方向の間隔が前記視差量取得部によって取得された視差量に基づき設定された位置であることが好ましい。これにより、奥行きを自然に制御することができる。
【００１９】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差に基づき設定されることで、最背景の奥行きを固定でき、また、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最近景の視差に基づき設定されることで、最近景の奥行きを固定することができる。
【００２０】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差と最近景の視差の中間値に基づき設定されることが好ましい。これにより、画像で表現された奥行きの中心を固定することができる。
【００２１】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の出現頻度の高い点に基づき設定されることが好ましい。これにより、面積の広い点の奥行きを固定することができる。
【００２２】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の変化量の少ない点に基づき設定されることが好ましい。これにより、背景画像の奥行きを固定することができる。
【００２３】
画像解析部を更に有し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記画像解析部により求められた画像の消失点の位置に基づき設定されることが好ましい。これにより、消失点の奥行きを固定することができる。
【００２４】
画像解析部を更に有し、前記画像解析部は、前記右目用画像及び前記左目用画像の少なくともいずれかから特定のパターンを認識し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記認識された特定のパターンの画像上の位置と対応して前記視差量取得部により求められた視差量に基づき設定されることが好ましい。これにより、特定画像の奥行きを固定することができる。
【００２５】
前記拡大率は、前記視差量取得部によって取得された視差量に基づき設定されるようにしても良い。
【００２６】
前記拡大率は、前記視差量取得部によって取得された視差量の分布に基づき設定されることを特徴とする。これにより、視差の分布を求め、視差の最大値及び最小値、すなわち最遠景の視差及び最近景の視差を考慮して設定する。
【００２７】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されるようにしても良い。これにより、最遠景までの距離を調整することができる。 
【００２８】
前記拡大率は、前記視差量取得部によって取得された最近景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されるようにしても良い。これにより、最大飛び出し量を調整することができる。
【００２９】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定されるようにしても良い。これにより、視差レンジを調整することができる。
【００３０】
前記拡大率は、前記視差量取得部によって取得された視差量の分散に基づき設定されることが好ましい。これにより、分散が大きい画像を視覚の負担が大きい画像として検出し、視差量を減らすことによって視覚への負担を和らげることができる。前記所定の視差量は、視聴者の操作に基づき設定されることが好ましい。また、前記所定の視差量は、視聴者の年齢に基づき設定されることが好ましい。これにより、若年者への影響を軽減することができる。前記所定の視差量は、視聴者の好みに応じて設定されるようにしても良い。
【００３１】
前記所定の視差量は、実験により求められた生体への影響度に応じて設定されることが好ましい。これにより、科学的な手法で影響度の低い画像を生成できる。
【００３２】
前記画像拡大縮小部が前記立体視用画像データを縮小処理することによって生じた前記立体視用画像データ外の画面領域に、枠画像を重畳表示する枠画像重畳表示部を有することが好ましい。これにより、画面領域を有効に使うことができる（文字表示）。また、立体感を感じやすくすることができる（枠表示）。 
【００３３】
前記入力部で設定された視差量設定情報に基づき、前記画像拡大縮小部は、前記立体視用画像データ外の画面領域に、あらかじめ、枠画像を表示する領域を予め設けておくことが好ましい。これにより、立体感を感じやすくすることができる（枠表示）。
【００３４】
前記枠画像として用いる画像を予め記録しておく枠画像記録部を更に設け、前記枠画像記録部から前記枠画像を読み出すことが好ましい。
【００３５】
前記立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を更に設け、前記立体視用画像データから枠画像として用いる前記枠画像を読み出すようにしても良い。
【００３６】
枠画像として用いる画像を選択する枠画像選択手段を更に設け、前記枠画像選択手段は、前記枠画像記録手段及び前記枠画像抽出手段の少なくとも一方から読み出された複数の枠画像から前記別の画像を選択することが好ましい。これにより、複数の枠画像から使用するものを選択できる。
【００３７】
前記枠画像選択手段は、前記立体視用画像データから枠画像として用いる画像の指定を読み出し、前記別の画像を選択することが好ましい。これにより、制作者の意図に合わせた枠画像とすることができる。
【００３８】
前記枠画像選択手段は、前記立体視用画像データの輝度情報に基づいて枠画像を選択することが好ましい。画面の輝度に合わせた枠画像を選択することで、画面と枠とのマッチング等をとることができる。
【００３９】
前記枠画像選択手段は、前記視差量取得手段によって取得された視差量に基づいて枠画像を選択することが好ましい。これにより、画像の視差量に応じた枠画像を選択することができる。
【００４０】
前記枠画像選択手段は、視聴者の入力に基づいて枠画像を選択することが好ましい。これにより、枠画像を選択することができる。前記枠画像選択手段は、ランダムに枠画像を選択するようにして、面白味をつけることもできる。前記枠画像選択手段は、日時に応じて枠画像を選択するようにしても良い。これにより、季節感・面白味をつけることができる。前記枠画像に、文字情報を重畳して前記別の画像とすることが好ましい。前記文字情報は、字幕であることが好ましい。前記文字情報は、データ放送であっても良い。また、前記文字情報は、時間情報であっても良い。
【００４１】
前記右目用画像基準点及び前記左目用画像基準点の座標および間隔のうち、少なくとも一方を視差基準値として前記立体視用画像データに付加するようにしても良い。上記の立体画像生成装置により付加された視差基準値を取得する視差基準値読み取り手段を更に設け、前記視差基準値読み取り手段は、前記立体視用画像データを解析することにより取得された視差基準値に基づき、前記右目用画像基準点及び前記左目用画像基準点を設定するようにしても良い。これにより、制作者の意図に合わせた視差調整を行うことができる。
【００４２】
また、本発明は、上記のいずれか１に記載の立体画像生成装置と、立体画像を表示する表示部と、を有する立体画像表示装置であっても良い。
【００４３】
本発明の他の観点によれば、前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体視を可能とする立体画像生成方法であって、立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小ステップと、前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御ステップと、を有し、前記画像拡大縮小ステップは、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成方法が提供される。本発明は、コンピュータに、上記に記載の立体画像生成方法を実行させるためのプログラムであっても良く、当該プログラムを記録したコンピュータ読み取り可能な記録媒体であっても良い。
【発明の効果】
【００４４】
本発明によれば、左目用画像及び右目用画像それぞれに設けた基準点に対しそれぞれ画像の拡大・縮小を行うことにより、簡単な方法で容易に奥行き方向の位置制御を行いつつ全体の視差を調整することが可能となる。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態による立体画像表示装置の一構成例を示す機能ブロック図である。
【図２】本発明の一実施形態による視差調整部の一構成例を示す機能ブロック図である。
【図３】図３（ａ）から（ｄ）までは、視差と奥行き表示との関係を上から見た図である。
【図４】基準位置（基準点）の設定例を示す図である。
【図５】図５（ａ）から（ｆ）までは、本発明の第１の実施の形態による処理内容を示す図であり、右目用画像、左目用画像をそれぞれ基準点Ｐ１１、Ｐ１２に対し拡大、縮小した様子を示す図である。
【図６】図６（ａ）から（ｃ）までは、基準奥行きに対して拡大・縮小により奥行き感を調整する様子を示す図である。
【図７】視差調整前のモード選択処理の流れを示すフローチャート図である。
【図８】図７に示す処理を行うためのユーザインタフェースを示す図である。
【図９】画像変換前後における表示例を示す図である。
【図１０】図１０（ａ）、（ｂ）は、画面端基準モードにおける視差と奥行きの関係を示す図である。
【図１１】図１１（ａ）は、奥行き固定モード（奥方向基準）における視差と奥行きの関係を示す図であり、図１１（ｂ）は、奥行き固定モード（手前方向基準）における視差と奥行きの関係を示す図である。
【図１２】拡大・縮小による変換前-変換後の視差量の変化をグラフに表した図であり、（ａ）は、左目用画像左端基準、右目用画像右端基準の場合、（ｂ）は、左目用画像右端基準、右目用画像左端基準の場合の例を示す図である。
【図１３】変換前後の視差量ｄ及びｄ’の関係を示す図である。
【図１４】第１の実施の形態及び第２の実施の形態による枠画像の表示例を示す図である。
【図１５】本発明の第２の実施形態による立体画像表示装置における表示画面に一例を示す図である。
【図１６】本発明の第４の実施の形態による立体画像表示装置のＧＵＩを示す表示例を示す図である。
【発明を実施するための形態】
【００４６】
＜第１の実施形態＞
以下に、本発明の第１の実施形態による立体画像生成装置について、図面を参照して説明する。図１は、本実施形態による立体画像生成装置を含む立体画像表示装置の一構成例を示す機能ブロック図である。図１に示すように、本実施形態による立体画像生成装置は、入力部１０と、入力された画像データを処理し、立体表示が可能な表示データ（以下、「立体視用画像データ」と称する。）を生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、システム全体を制御するシステム制御部１０４と、を有している。さらに、画像を表示する表示部１０３と、ユーザが入力を行うユーザ入力部１０５と、シャッタメガネの同期を行うメガネ同期部１０６と、を有して立体画像表示装置を構成する。シャッタメガネ１０７はユーザが装着するメガネである。
【００４７】
図２は、視差調整部１０１の一構成例を示す機能ブロック図である。図２に示すように、視差調整部１０１は、更に、左目用拡大縮小部１０１１、右目用拡大縮小部１０１２、左目用枠画像重畳部１０１３、右目用枠画像重畳部１０１４、視差量算出部１０１５、枠画像記録部１０１６、通信・制御部１０１７と、を有している。
【００４８】
次に、各機能部の動作について説明する。入力部１０を経由して立体画像表示装置に入力された画像データは、立体画像処理部１００において入力形式に合わせて左目用画像データと右目用画像データとに展開されるとともに、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部１０４に伝送する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、ネットワークから伝送されたものなど、どのようなものでも良い。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも良い。或いは、画像データと奥行きデータから合成された複数視点画像、奥行きデータを推定して作成された複数視点画像データであってもよい。
【００４９】
付加情報はタグ情報、メタデータなどと呼ばれる、画像データに付随する情報である。後述する基準視差を付加情報として得られるようにしても良い。また、後述する枠画像や、使用する枠画像の指定情報がある場合にも、ここで抽出し、システム制御部１０４に通知する。
【００５０】
展開された左目用画像データと右目用画像データとは、視差調整部１０１に送られ、視差が調整される。視差調整部１０１の内部では、システム制御部１０４と通信する通信・制御部１０１７が各部を制御している。視差量算出部１０１５は、システム制御部１０４からの指示を通信・制御部１０１７を経由して受け、指示に応じて左目用画像及び右目用画像から視差量を算出し、通信・制御部１０１７を経由してシステム制御部１０４に通知する。
【００５１】
通知する内容は、表示画面全域の視差を領域ごとに表したもの、いわゆる視差マップ等であっても良いし、最遠点・最近点に対応する、視差の最大値・最小値等であってもよい。すなわち、対応する左目用画像と右目用画像の中で、対応する画素の視差を求めたものであればよい。左目用及び右目用拡大縮小部１０１１及び１０１２は、システム制御部１０４の指示を通信・制御部１０１７を経由して受け、左目用画像及び右目用画像をそれぞれ拡大・縮小する。通信・制御部１０１７から受け取る視差量調整情報は、左目用画像及び右目用画像それぞれの基準点と、拡大・縮小の割合と、を含む情報である。
【００５２】
左目用及び右目用枠画像重畳部１０１３及び１０１４は、同様にシステム制御部１０４からの指示を受け、枠画像記録部１０１６から読みだした枠画像データを左目用画像及び右目用画像にそれぞれ重畳する。枠画像記録部１０１６には、前述の通り、立体画像処理部１００において抽出された枠画像を追記しても良い。左目用画像及び右目用画像それぞれの基準点は、異なる位置に設けられる。
【００５３】
視差が調整された左目用画像と右目用画像は、表示制御部１０２に送られる。表示制御部１０２は、表示部１０３に合わせた表示制御をするとともに、メガネ同期部１０６に対し信号を送る。メガネ同期部１０６は、ユーザの装着するシャッタメガネ１０７に対し同期信号を送り、表示部１０３と同期処理が行われる。
【００５４】
より具体的には、例えば、表示部１０３に液晶表示パネルを用い、左目用画像と右目用画像とを交互に表示し、観察者の装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は表示部１０３に対し、左目用画像と右目用画像とを交互に出力する。出力の頻度は、例えば左目用画像と右目用画像とを、それぞれ毎秒１２０枚とする。表示部１０３は、表示制御部１０２から送られる画像を随時表示するが、表示部１０３に左目用画像が表示されているときはシャッタメガネ１０７の左目用シャッタを開、右目用シャッタを閉とすることにより左目用画像を左目に表示し、右目用画像が表示されているときには左目用シャッタを閉、右目用シャッタを開とすることにより右目用画像を右目に表示して、立体視を実現する。
【００５５】
観察者は、ユーザ入力部１０５を用いて、表示する画面の視差量調整用データを入力することができる。ユーザ入力部１０５は、例えばリモコンなどで実現できるが、キーボードやマウス、タッチパネル、ダイヤルなど、種々の手段により実現することができ、その入力形式を限定するものではない。入力する視差量調整用データは、左目用画像及び右目用画像の基準位置と拡大・縮小率を間接的に選ぶものであればよい。
【００５６】
ユーザ入力部１０５から入力された視差量調整用データは、システム制御部１０４で処理され、具体的な調整パラメータに変換された後に、視差調整部１０１に伝達される。視差調整部１０１では、受け取った視差量調整用データに基づき、視差調整処理を行う。視差量調整用データが、視差調整なしを表すデータであった場合には、視差調整部１０１では視差調整処理を行わず、左右目用画像データを出力する。
【００５７】
次に、視差と奥行き表示との関係を図３に示す。図３は観察者（ここでは、右目と左目のみを示している）とディスプレイ（表示面）とを上から見た図である。視差をｄとする。図３（ａ）は、通常の２次元表示状態であり、立体画像表示時には、右目用画像と左目用画像との対応点Ｐ１がディスプレイ上で同じ位置にある状態である。この場合、この点Ｐ１はディスプレイ上にあるように知覚される。図３（ｂ）は、ディスプレイ上で、右目用画像と左目用画像との対応点が、右目用画像は右に（Ｐ２）、左目用画像は左に（Ｐ３）ずれた状態である（視差ｄ）。この状態では、観察者にはこの点はディスプレイ面よりも奥に知覚される（Ｐ４）。図３（ｃ）は、ディスプレイ上で、右目用画像と左目用画像との対応点（Ｐ５、Ｐ６）が、右目用画像は左に、左目用画像は右にずれた状態である。この状態では、観察者にはこの点はディスプレイ面よりも手前に知覚される（Ｐ７）。図３（ｄ）は、これらをまとめた図である。前述したとおり、右目用画像と左目用画像の対応点が、右目用画像が右、左目用画像が左にずれて表示され、かつ対応点間の距離が両眼距離に等しい場合、この点は無限遠に知覚されるが、対応点間の距離が両眼距離を超えた場合、視線は開散方向にはならず、融合できなくなる。同様に、ディスプレイ上で、右目用画像と左目用画像の対応点が、右目用画像は左に、左目用画像は右に大きくずれた状態では（Ｐ８、Ｐ９）、視線は極端な寄り目状態となり、融合できなくなる。従って、快適に立体視できる奥行きの範囲、すなわち、図３（ｄ）に示した快適融合範囲は、これらの融合範囲よりもディスプレイ面に近い側となる。なお、快適融合範囲は、視差と視距離の相対関係によって変わるので、観察者とディスプレイ面の距離に応じて変化する。
【００５８】
次に、本発明の実施の形態による視差調整の方法について説明する。まず、右目用画像、左目用画像のそれぞれに対し、拡大/縮小の中心点となる基準点Ｐ１１、Ｐ１２を異なる位置に設定する。図４に基準点（基準位置）Ｐ１１、Ｐ１２の設定例を示す図である。右目用画像、左目用画像は、それぞれの画像を基準点Ｐ１１、Ｐ１２に向かって、すなわち基準点を中心にして一様に拡大表示あるいは一様に縮小表示することにより、左右画像上の対応点の視差は変化する。基準点Ｐ１１、Ｐ１２は、右目用画像、左目用画像と同一平面上にあればよいが、表示領域内に基準点を設定することで、縮小表示により画像が欠損することがない。また、右目用画像、左目用画像それぞれの基準点Ｐ１１、Ｐ１２は、同じ高さｈ（表示画面の縦方向の位置）にあることが望ましい。
【００５９】
図５は、右目用画像、左目用画像をそれぞれ基準点Ｐ１１、Ｐ１２に対し拡大、縮小した様子を示す図である。図５（ａ）、（ｂ）は、それぞれ視差調整前の左右目用画像であり、図５（ｃ）、（ｄ）は、それぞれ縮小調整した左右目用画像であり、図５（ｅ）、（ｆ）は、それぞれ拡大調整した画像である。矢印が、拡大・縮小の様子を示すものであり、基準点を基準として一様に拡大又は縮小される。左目用画像の基準位置と、右目用画像の基準位置とは、拡大・縮小を行っても変化しない。
【００６０】
図５（ｃ）、（ｄ）に示すように、縮小調整により、表示画面内に画像が表示されない無表示領域Ｒが生じ、図５（ｅ）、（ｆ）に示すように、拡大調整により画像のうち表示できない領域、すなわち表示不可領域Ｒ２が生じている。
【００６１】
基準点Ｐ１１、Ｐ１２を右目用画像、左目用画像それぞれに設けることにより、基準点Ｐ１１、Ｐ１２間に距離が生じる。ここでは、この基準点Ｐ１１、Ｐ１２間の左右の距離に対応する視差を基準視差と称し、基準視差が表す奥行きを基準奥行きと称することにする。右目用画像及び左目用画像を、基準点Ｐ１１、Ｐ１２に向かって、すなわち基準点を基準として拡大あるいは縮小すると、それぞれの画像の視差は、基準視差との差分が拡大あるいは縮小される。すなわち、立体画像は、基準視差に対応する基準奥行きを基準に、奥行き感が拡大、縮小されることになる。従って、例えば、立体画像内に表示された、一様な奥行きを持つ壁を基準奥行きとなるよう基準視差を設定すると、画像の拡大に伴い、壁の奥行きは一定のまま、壁より手前の物体はより手前に、壁より奥の物体はより奥に奥行き感を調整することができる。尚、図５の各図（ａ）〜（ｆ）では、横方向及び縦方向における基準点がディスプレイ上の同じ位置に来るように配置されている。
【００６２】
図６は、上記の様子を例示的に示す図である。図６（ｂ）は、視差調整前の表示物の位置関係を上から見た図であり、図６（ａ）は画面を縮小調整した図であり、図６（ｃ）は画面を拡大調整した図である。
【００６３】
図４に示すように、左目用画像と右目用画像とに基準視差を持たせることにより生じる奥行きをユーザがみていることになり、左目用画像と右目用画像とを拡大・縮小することにより、この基準奥行きにおいて見ている画像が拡大・縮小されたようにユーザは感じる。従って、図６（ａ）のように、基準点を基準にして一様に縮小調整すると、左右画像の基準点によって決まる基準奥行きを基準として、手前側に見える像は奥側に、表示面とは反対側に見える像は手前側に奥行き間が調整される。
【００６４】
一方、図６（ｃ）に示すように拡大調整すると、基準奥行きを基準として、手前側に見える像はさらに手前側に、奥側に見える像はさらに奥側に奥行き感が調整される。但し、拡大・縮小のいずれの場合でも、基準奥行きに存在する像（図では△で示される。）は、奥行き感が変化しない。
【００６５】
尚、図６中では、基準点に向かって面内で一様に拡大或いは縮小をした例を示しているが、先に述べたとおり面内で横方向のみ拡大あるいは縮小をするようにしてもよい。また、図４に示すように、右目用画像及び左目用画像の基準点Ｐ１１、Ｐ１２を、画面中央に対し左右対称に配置すると、拡大・縮小に伴って画像の中心が左右にずれることがない。同様に、基準点Ｐ１１、Ｐ１２を画像中の特定の表示物上に設定すると、その特定の表示物の表示位置が、拡大縮小に伴って奥行き方向にずれるのを避けることができる。
【００６６】
次に、観察者の実際の操作例について説明する。観察者は、ユーザ入力部１０５を操作して、視差量を調整するモードに入る。視差量を調整するモードでは、観察者は、図７に示すフローチャート図に従って視差量を調整するモードを選択する。ステップＳ１で、視差調整処理を開始すると、ステップＳ２で、モード選択肢が表示される。視差量を調整するモードは、例えば視差調整処理の基準となる基準点の位置により区別され、基準点の位置が画面端・固定奥行（奥）・固定奥行（手前）・自動取得（奥）・自動取得（手前）及び切の６種類である。但し、切は視差調整なしを表す。選択されたモードに応じて、視差調整処理の基準となる基準点の位置が選択される。すなわち、ステップＳ３において、選択されたモードは画面端基準か否かが判定され、Ｙｅｓであれば、ステップＳ４に進み、基準点を画面端に設定し、視差調整画面に進む（ステップＳ５）。ステップＳ３で、Ｎｏであれば、ステップＳ６に進み、選択されたモードは固定奥行きとされているか否かを判定する。Ｙｅｓであれば、ステップＳ７に進み、基準点が手前とされているか否かを判定する。Ｙｅｓでれば、ステップＳ８に進み、基準点を手前自動に設定し、ステップＳ９で視差調整画面に進む。ステップＳ７でＮｏであれば、ステップＳ１０に進み、基準点を奥自動に設定し、ステップＳ１１で視差調整画面に進む。ステップＳ６でＮｏであれば、ステップＳ１２に進み、選択されたモードは自動取得とされているか否かを判定する。Ｙｅｓであれば、ステップＳ１３に進み、基準点は手前とされているか否かを判定する。Ｙｅｓであれば、ステップＳ１４で基準点を手前固定に設定し、ステップＳ１５で視差調整画面に進む。ステップＳ１３でＮｏであれば、ステップＳ１６に進み、基準点を奥固定に設定し、ステップＳ１７で視差調整画面に進む。ステップＳ１２でＮｏの場合には、ステップＳ１８に進み、視差調整機能を停止し、ステップＳ１９で設定メニューに戻る。
【００６７】
図７のフローチャートに従う制御は、例えば図８に示したユーザインタフェースにより実現することができる。
【００６８】
図８（ａ）は、モード選択肢を観察者に提示し、選択を促す画面である。観察者はユーザ入力部１０５を操作して、画面上の選択肢からモードを選択する。図８（ａ）では、例として「固定奥行：奥」が選択されている。この状態で観察者がユーザ入力部１０５を操作して選択決定処理を行うと、選択されたモードに従った視差調整画面に遷移する。例えば、「固定奥行：奥」の場合では、図８（ｃ）の画面に遷移する。この状態でユーザ入力部１０５を操作することにより画面右に表示されているスライドバーＳを移動させ、対応する視差調整量を設定する。奥行きの範囲を狭く調整する操作を行った図を図８（ｅ）に示す。視差を小さくする方向に視差量調整を行ったため、画面が縮小されて表示されている。
【００６９】
尚、図８（ｂ）、（ｄ）は、画面端基準での調整画面である。図８（ａ）で、「画面端基準」を選択すると、図８（ｂ）の画面に遷移する。この状態でスライドバーＳを移動させ、画像を奥に調整する操作を行うと、図８（ｄ）に示すように、左目用画像は画面左上を基準に、右目用画像は画面右上を基準に、左右の画像が、画面端を基準に縮小されて、奥行きが調整されるようになっている。また、図８では、左右目用画像を重畳して図示している。
【００７０】
観察者による上記の操作により、システム制御部１０４は視差調整部１０１に基準点の位置と視差調整量を設定することができる。ここで、基準点の位置は、例えば、図７に示したように、画面端・固定奥行（奥）・固定奥行（手前）・自動取得（奥）・自動取得（手前）及び切の６種類とする。
【００７１】
選択された基準点の位置に従って、以下に基準点の位置の設定方法及び視差の調整方法の説明を進める。図３も参照して説明する。尚、以下横軸をＸ軸として、画面左端のＸ座標を０、画面右端のＸ座標をＷ、左目用画像の基準点のＸ座標をＸＬ０、右目用画像の基準点のＸ座標をＸＲ０、基準点のずれ、すなわち基準点の視差を基準視差ｄｒ（ｄｒ＝ＸＲ０-ＸＬ０）と表す。この時、視差ｄが正の値を取るときは右目用画像が左目用画像より右側にある状態、すなわち奥行き視差を持つ状態であり（図３（ｂ）参照）、視差ｄが負の値を取るときは右目用画像が左目用画像より左側にある状態、すなわち飛び出し視差を持つ状態である（図３（ｃ）参照）。
【００７２】
[画面端]  画面左右端に基準点を置く視差調整では２通りの基準の取り方が考えられるが、初めに左目用画像の基準点を画面左端上、右目用画像の基準点を画面右端上とし、それぞれの画像を基準点に向かって一様縮小表示することにより視差を調整する例を考える。すなわち、上記のような座標において、画面端に基準点をおくため、図１０（ａ）に示すように、
ＸＬ０＝０
ＸＲ０＝Ｗ
とする。
【００７３】
観察者は、ユーザ入力部１０５を操作して、視差量を調整する。調整された視差量はシステム制御部１０４を経由して視差調整部１０１に、例えば画像の拡大率として伝えられる。この時、画像の拡大率をα（拡大率αが１より大きいときは拡大、１より小さい時は縮小である）、右目画像上の任意の点のＸ座標をＸＲ、左目用画像上の任意の点のＸ座標をＸＬとすると、右目用画像上に変換された点のＸ座標ＸＲ’及び左目用画像上に変換された点のＸ座標ＸＬ’は、
ＸＬ’＝αＸＬ
ＸＲ’＝Ｗ−α（Ｗ−ＸＲ）
となる。この時、変換前の視差量をｄとすると、変換後の視差量ｄ’は、
ｄ   ＝ＸＲ−ＸＬ
ｄ’ ＝ＸＲ’−ＸＬ’＝Ｗ−α（Ｗ−ＸＲ）−αＸＬ
＝α（ＸＲ−ＸＬ）＋Ｗ（１−α）
＝αｄ＋Ｗ（１−α）
で表される。
【００７４】
従って、この場合、画面上の点は、ｄ＜Ｗ  の条件では、拡大率αの減少に従って変換後の視差ｄ’が増加し、奥行き方向に移動することがわかる。この時の変換前の左目画像の例を図９（ａ）に、変換前の右目画像の例を図９（ｂ）に、変換後の左目画像の例を図９（ｃ）に、変換後の右目画像の例を図９（ｄ）に、変換前-変換後の視差量の変化をグラフに表したものを図１２（ａ）に示す。
【００７５】
図９（ｃ）は、左目用画像を画面左端上の基準点ＸＬ０を基準に、図９（ｄ）は右目用画像を画面右端上の基準点ＸＲ０を基準に、それぞれ縮小した図である。その結果、左目用画像と右目用画像のそれぞれ対応点間の距離は拡大し、すなわち視差量ｄが大きくなり、画面全体が奥に移動する。
【００７６】
同様に、図９（ｅ）は、左目用画像を画面右端上の基準点ＸＲ０を基準に、図９（ｆ）は右目用画像を画面左端上の基準点ＸＬ０を基準に、それぞれ縮小した図である。その結果、左目用画像と右目用画像のそれぞれ対応点間の距離は縮小し、すなわち視差量ｄが小さくなり、画面全体が手前に移動する。
【００７７】
また、この時、右目用画像および左目用画像は画面両端上にそれぞれ基準点を持つので、表示部１０３としては、右目用画像の表示時間と左目用画像の表示時間の両方を考慮すると、画面左右端に無表示領域を生ずることがなく、画面を有効に使うことができる。この際、画面下には拡大率αの減少に伴い、無表示領域が生ずるが、別の表示、例えば字幕などを表示する領域として用いることにより、立体画像に影響を与えることなく有効に画面領域を使うことができる。
【００７８】
また、上記では、基準点を画面両端上としているが、このようにすることにより画面下部に無表示領域を集中して設けることができる。基準点を上下方向で中央とすると、上下に等しい幅の無表示領域を設けることができる。基準点の上下位置は任意の位置とすることができるが、右目用画像の基準点、左目用画像の基準点ともに同じ高さにあることが望ましい。
【００７９】
なお、この画面下の無表示領域は、画像の縮小を横方向にのみ行うことにより、その発生を避けることができる。このとき、画像は横方向の縮小により縦長となるが、拡大率αが１に近い間は画像が縦長となっていることが知覚されにくい。実際にはαは０．９〜１の間で運用されることが多いので、画像の変形はそれほど大きくない。なお、αが０．５未満では左右目用画像は完全に分離し、立体視することはできない。また、ｄ＞Ｗの条件、すなわち、対応点間の幅が画面幅を超える状態では、対応点が画面上に存在しないため、立体視を行うことができない。
【００８０】
続いて、左目用画像の基準点を画面右端上、右目用画像の基準点を画面左端上とし、それぞれの画像を基準点に向かって一様縮小表示することにより視差を調整する例について説明する。すなわち、図１０（ｂ）に示すように、
ＸＬ０＝Ｗ
ＸＲ０＝Ｏ
とする。
【００８１】
前述の例と同様に、右目画像上の任意の点のＸ座標をＸＲ、左目用画像上の任意の点のＸ座標をＸＬとすると、右目用画像上に変換された点のＸ座標ＸＲ’及び左目用画像上に変換された点のＸ座標ＸＬ’は、
ＸＬ’＝Ｗ−α（Ｗ−ＸＬ）
ＸＲ’＝αＸＲ
となる。この時、変換前の視差量をｄとすると、変換後の視差量ｄ’は同様に、
ｄ   ＝ＸＲ−ＸＬ
ｄ’ ＝ＸＲ’−ＸＬ’＝αＸＲ−Ｗ＋α（Ｗ−ＸＬ）
＝α（ＸＲ−ＸＬ）−Ｗ（１−α）
＝αｄ−Ｗ（１−α）
で表される。
【００８２】
従って、この場合、画面上の点は、ｄ＜Ｗ  の条件では、拡大率αの減少に従って変換後の視差ｄ’が減少し、手前方向に移動することがわかる。この時の変換後の左目画像の例を図９（ｅ）に、変換後の右目画像の例を図９（ｆ）に、変換前、変換後の視差量の変化をグラフに表したものを図１２（ｂ）に示す。
【００８３】
また、この時、右目用画像は画面左端上に、左目用画像は画面右端上にそれぞれ基準点を持つので、表示部１０３としては、右目用画像の表示時間と左目用画像の表示時間の両方を考慮すると、画面左右端に無表示領域を生ずることがなく、画面を有効に使うことができる。
【００８４】
これらの制御を、ユーザ入力部１０５の操作の奥行きずらし、手前ずらし等と関連付け、視差無調整状態をはさんで、奥行きずらし方向に操作された場合は前者、すなわち左目用画像の基準点を画面左端上、右目用画像の基準点を画面右端上とするモードを、手前ずらし方向に操作された場合は後者、すなわち左目用画像の基準点を画面右端上、右目用画像の基準点を画面左端上とするモードを連続的に実現する制御を行うと、画像を欠損させることなく手前方向から奥行き方向まで連続的に視差を調整できるので便利である。この時、システム制御部１０４は視差調整部１０１に対し、左右画像の基準位置、及び、拡大率αを更新する。
【００８５】
画像の欠損を許容する場合は、拡大率αを、拡大率１をはさんで、すなわち、縮小側から拡大側まで連続的に変化させても良い。その場合、左目用画像の基準点を画面左端上、右目用画像の基準点を画面右端上とすると、画像の縮小に伴い表示物は奥に、拡大に伴い表示物は手前に移動する処理とすることができる。
【００８６】
その場合、画面に表示された、遠ざかる物体が小さく、近づく物体が大きく表示されるようになるので、物体の距離と大きさの関係に関し、知覚上の違和感を軽減することができる。
【００８７】
[奥行き固定：奥]  奥行き位置が画面より奥にある位置を基準奥行きとし、基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。この場合、前述のように基準奥行きにある物体は奥行きを変えず、基準奥行きに対する相対的な奥行きを拡大あるいは縮小する調整が可能となる。基準視差は、例えば観察者の両眼距離、或いは統計により求められた安全値（例えば５ｃｍ）に対応する値とするとよい。図１１（ａ）に示すように、
基準奥行きに対応する基準視差をｄｆとすると、
ｄｆ＝ＸＲ０-ＸＬ０  （ｄｆ≧０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｆ／２
ＸＲ０＝Ｗ／２＋ｄｆ／２
となる。視差調整方法については後述する。
【００８８】
[奥行き固定：手前]   奥行き位置が画面より手前にある位置を奥行き基準とし、基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。基準視差は、例えば観察者の融合限界、或いは統計により求められた安全値（例えば視差角１度）に対応する値とすると良い。図１１（ｂ）に示すように、基準奥行きに対応する基準視差をｄｎとすると、
ｄｎ＝ＸＲ０-ＸＬ０  （ｄｎ＜０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｎ／２
ＸＲ０＝Ｗ／２＋ｄｎ／２
となる。視差調整方法については後述する。
【００８９】
[自動取得：奥]  再生しているコンテンツから立体画像処理部１００を経由してメタデータとして取得された再遠景の視差、或いは視差解析により得られた再遠景の視差を基準視差とし、対応する基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。この場合、コンテンツの最大奥行き位置を変更することなく、手前側奥行きの広さを調整することができる。基準視差そのものをコンテンツに付加された値としても良い。その場合、基準視差が０以上の場合がこのモードに対応する。
【００９０】
ここでは、基準視差をｄｆａとすると、
ｄｆａ＝ＸＲ０-ＸＬ０  （ｄｆａ≧０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｆａ／２
ＸＲ０＝Ｗ／２＋ｄｆａ／２
となる。視差解析により設定値より大きな視差が検出された場合は設定値を更新すると良い。視差調整方法については後述する。
【００９１】
[自動取得：手前]   再生しているコンテンツから立体画像処理部１００を経由してメタデータとして取得された最近景視差、或いは視差解析により得られた最近景視差を基準視差とし、対応する基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。基準視差そのものをコンテンツに付加された値としても良い。その場合、基準視差が０未満の場合がこのモードに対応する。
【００９２】
基準視差をｄｎａとすると、
ｄｎａ＝ＸＲ０-ＸＬ０  （ｄｎａ＜０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｎａ／２
ＸＲ０＝Ｗ／２＋ｄｎａ／２
となる。画像解析により設定値より小さな視差が検出された場合は設定値を更新すると良い。視差調整方法については後述する。
以上のように基準値を設定することとする。
【００９３】
（視差調整方法）
次に、視差調整方法について説明する。前述のとおり、右目用画像、左目用画像は、それぞれの画像を基準点に向かって一様拡大あるいは縮小表示することにより視差を調整する。
【００９４】
この時、横軸をＸ軸、画像の拡大率をα（拡大率αが１より小さい時は縮小である）、画面左端のＸ座標を０、画面右端のＸ座標をＭ、右目画像上の任意の点のＸ座標をＸＲ、左目用画像上の任意の点のＸ座標をＸＬとすると、右目用画像上に変換された点のＸ座標ＸＲ’及び左目用画像上に変換された点のＸ座標ＸＬ’は、
ＸＬ’＝α（ＸＬ−ＸＬ０）＋ＸＬ０
ＸＲ’＝α（ＸＲ−ＸＲ０）＋ＸＲ０
となる。この時、変換前の視差量をｄとすると、変換後の視差量ｄ’は、
ｄ   ＝ＸＲ−ＸＬ
ｄ’ ＝ＸＲ’−ＸＬ’＝α（ＸＲ−ＸＲ０）＋ＸＲ０−α（ＸＬ−ＸＬ０）−ＸＬ０
＝α（ＸＲ−ＸＬ）＋（１−α）（ＸＲ０−ＸＬ０）
＝αｄ＋（１−α）ｄｒ
で表される。図１３は、変換前後の視差量ｄ及びｄ’の関係を示す図である。この方法によれば、基準奥行きの視差量を持つ点、すなわちｄ＝ｄｒとなる点は奥行き方向に位置を移動させないまま、基準奥行きに向かってαの値に応じて奥行き位置を広げる、或いは狭める処理を行うことができる。すなわち、例えば基準視差を観察者の両眼距離とすると、観察者には、奥行きを無限大とする背景映像の奥行きを変化させないまま、その他の表示物の奥行き位置を手前にしたり、奥にしたりする制御を行うことができ、安全かつ容易に奥行きの調整を行うことができる。
【００９５】
ここで、拡大率αは、観察者の好みに応じて手動で設定されても良いし、左右目用画像を解析することにより自動で設定されても良い（視差量解析手段）。より具体的には、左右目用画像の視差を求め、その特徴を解析することにより設定する。例えば、視差の分布を求め、視差の最大値及び最小値、すなわち最遠景の視差及び最近景の視差を考慮して設定する。最遠景の視差と最近景の視差の差は、画面上で表現されている視差の幅を表すが、この視差の幅が所定の範囲を超えると観察者の疲労につながるなど、悪影響があり得る。従って、この視差の差を所定の範囲の視差量で除した値をαとして設定することにより、表示される視差量の幅を所定の範囲の視差量に収めることができる。同様に、基準視差と最近景視差の差を制御することによって基準奥行きからの飛び出し量が、基準視差と最背景視差の差を制御することによって基準奥行きから奥の奥行き量が、それぞれ制御できるようになる。また、画面全体の視差量の分散を求め、分散が大きい画像を視覚の負担が大きい画像として検出し、視差量を減らすことによって視覚への負担を和らげることができる。
【００９６】
すなわち、拡大率を、視差量取得部によって取得された最遠景の視差量と奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定すると、最遠景までの距離を調整することができる。また、拡大率を、視差量取得部によって取得された最近景の視差量と奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定すると、最大飛び出し量を調整することができる。また、拡大率を、視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定すると、視差レンジを調整することができる。
【００９７】
ここで、とり得る視差の範囲は、観察者の年齢や瞳孔間隔、立体画像への慣れや好みなどに応じて変化する。前述の通り、視差の最大値が観察者の瞳孔間隔を超えると危険な状態となり得るので、とり得る値の設定は重要である。とり得る視差範囲は、前記のように観察者の瞳孔間隔が推定されるような値、具体的には年齢や性別、帽子のサイズのような値で設定されても良い。
【００９８】
なお、上記の説明においては、一様拡大或いは一様縮小をしているが、先に述べたとおり横方向のみ拡大あるいは横方向のみ縮小してもよい。その場合も上記の説明で示した式はＸ軸すなわち横軸方向のみの定義であるゆえ有効である。横方向のみの拡大あるいは縮小では、拡大・縮小処理に伴う演算量を削減することができる。また、縦軸方向には大きさが変化しないゆえ、大きさの知覚に及ぼす影響が少ない。
【００９９】
また、説明文中では簡単のため、左右画像の基準位置及びその間隔である基準視差を、画面端・固定奥行（奥）・固定奥行（手前）・自動取得（奥）・自動取得（手前）及び切の６種類としたが、それ以外の位置に設定することも可能である。
【０１００】
例えば、基準視差を取得された最遠景の視差と最近景の視差の中間値とすることによって、画像で表現された奥行きの中心位置を変化させない制御ができる。他にも、視差量の出現頻度が高い点の視差量を基準視差とすることによって、画面中の表示面積の広い表示物の奥行きを変えずに視差量を変化させることができる。また、視差量の変化量が少ない点の視差量を基準視差とすることによって、奥行き位置の移動の少ない表示物の奥行きを変化させない表示ができる。これらの処理は、図１及び図２で示した構成で、視差量算出部１０１５において求めた左右目用画像の視差を画像の位置と関連付けた、いわゆる視差マップの形でシステム制御部１０４に伝送し、システム制御部１０４において解析を行うことにより実現可能である。
【０１０１】
また、画像解析部を設け、画像から消失点を求めて、消失点の位置となる奥行きを元に基準視差を求めることも有効である。具体的には、画像から直線を検出し、直線の交点を消失点とみなして、消失点の奥行きを許容される最背面奥行きの視差と設定することにより、消失点の奥行きを最背景とした、自然な遠近感の画像を得ることができる。他にも、画像解析手段により、画像の中から特定のパターン、例えば人物の顔画像を認識し、その点付近を左右目用画像の基準点としたり、人物の視差を基準視差と設定することにより、人物の奥行きを変更しないまま視差量を調整したりすることができる。
【０１０２】
また、上記視差調整を行った結果、左右目用画像の周辺に無表示領域が発生する場合、その領域に別の画像を表示するとよい。ここでは、別の画像を枠画像又は画像枠と称する。図１、２を参照して説明すると、例えば、無表示領域に画像枠を表示する場合、観察者はユーザ入力部１０５を操作し、画像枠を表示する処理を選択する。画像枠の選択操作を受け、視差調整部１０１は、内部の枠画像記録部１０１６から枠画像データを読み出し、左目用及び右目用の枠画像重畳部１０１３及び１０１４に送る。この時、枠画像データは２次元データであっても、立体視可能な３次元データであっても良い。左目用及び右目用枠画像重畳部１０１３及び１０１４は、左目用及び右目用拡大縮小部１０１１及び１０１２により縮小処理された左右目用画像の周辺に生ずる無表示領域に、枠画像記録部１０１６から読みだした枠画像データを重畳する。
【０１０３】
この処理により、縮小された立体視画像の周辺に枠画像を付加することができる。図１４は、枠画像を付加した画像の例を示す図である。立体視画像２０１に枠画像２０３が付加されると、枠画像２０３と立体視画像２０１との奥行きの差が相対的に把握できるようになるので、立体視画像２０１の立体感を感じやすくすることができる。枠画像２０３は、複数の候補の中から選択しても良い。この時、枠画像２０３は観察者の好みにより選択されても良いし、立体視画像からメタデータの形で得られた情報を用いて表示させても良い。枠画像２０３をランダムに選んだり、立体視画像２０１の日時を考慮して季節感等のある枠画像２０３を選んだりすることにより、面白味を増すことができる。立体視画像２０１の視差情報から、枠周辺の視差量を抽出し、それに応じた枠画像を選択すると、枠と画像との相対的な奥行きの差を把握しやすくなってなおよい。
【０１０４】
これらの機能は、視差量算出部１０１５において算出した視差量を視差マップの形でシステム制御部１０４に送り、処理をすることによって実現可能である。また、立体視画像２０１の輝度情報を用いて枠画像２０３を選択するようにしても良い。この場合、画像の輝度を考慮することにより、枠が目立ちすぎることなどを避けることができる。この機能は、視差量算出部１０１５に輝度情報算出機能１０１５ａを追加することにより容易に実現することができる。
【０１０５】
枠画像記録部１０１６に加えて又は代えて、立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を設けて、立体視用画像データから抽出した枠画像を用いるようにしても良い。
【０１０６】
また、画像枠に文字情報を重畳して表示する文字情報重畳表示部１０１３ａ、１０１４ａを設けて、文字情報などを表示させるようにしても良い。この場合の枠画像や文字情報には視差が付けてあっても、すなわち、表示装置の画面上の奥行きとは異なる奥行きに表示するようにしても良い。
【０１０７】
枠画像２０３に文字情報２０５が重畳して表示されると、文字部分を注視する機会が増え、視差の基準としての働きをするようになり、例えば視差を少なくすることにより目の疲れを取り除き、立体視画像２０１をより立体視がしやすくなる。文字情報２０５は、例えばデジタル時計のように表示する画像作品と関連のないものや、再生時間情報など、画像作品と関連の薄いものとしても良いが、文字情報２０５を画像作品に関連のある情報、例えば字幕とすると、文字部分を注視する時間が更に増えるほか、一般的には画像内に表示することによって画像を覆い隠してしまう字幕表示を画像の外に表示することができ、画像を覆い隠すこともなくなるという利点がある。
【０１０８】
上記の説明では、立体画像として右目用画像と左目用画像との２つを挙げたが、画像は２つに限定されるものではなく、多視点画像用の画像データであっても良い。その場合、各々の画像に対し、基準点が相対的に上記の関係となるよう、同様の処理を行う。
【０１０９】
また、立体視可能な表示システムとしてシャッタメガネを用いた時分割方式の立体表示手段を示したが、立体表示システムは時分割方式に限定するものではなく、パララクスバリアによるもの、レンチキュラレンズを用いるものなど、立体視が可能な表示システムなら形式を問わない。前述のとおり、多視点画像を対象としたディスプレイであっても良い。
【０１１０】
＜第２の実施形態＞
以下に、本発明の第２の実施形態による立体画像表示装置について図１５を参照しながら説明する。第２の実施形態においては、表示画面２５１の画面内周辺部に、あらかじめ枠画像を表示する領域２５３を設けておくことを特徴とする。
【０１１１】
枠画像を表示する領域２５３より内側を立体画像表示領域２５１とし、立体画像をその領域に合わせて表示する。それ以外のハードウェア構成やユーザインタフェースの実現の仕方は第１の実施形態に準ずるため説明を省略する。より具体的には、図２において、枠画像を立体視画像に重畳させるのではなく、立体視画像表示部と、枠画像表示部を独立させた構成になる。尚、枠画像の表示幅を変更することができるようにすれば、立体視画像の表示面積を調整するようにすることも可能である。
【０１１２】
枠画像を表示することにより立体視画像の立体感を感じやすくすることができるほか、立体視画像の表示領域を制限することにより表示倍率を制限し、大画面表示による過度な没入感に伴う映像酔いを低減することができる。例えば、立体視画像の表示時間を計測しておき、或いは、立体視画像の視差量を考慮して、時間とともに、立体視画像の表示領域を小さくするように変更したり、ある時間以上経過すると、字幕が表示されるなどの構成を有していても良い。字幕表示に注視させることで、目の疲れを軽減するように促すこともできる。
【０１１３】
＜第３の実施形態＞
本発明の第３の実施形態による前記の基準点や基準座標を立体視用画像データに付加する立体画像生成装置について説明する。前述の通り、基準点や基準視差に対応して視差を制御することにより容易に奥行き位置を制御することができるが、立体視用画像データに予め基準点や基準視差を付加することにより、制作側の意図を反映した奥行き処理が可能になる。図１を参照しながら説明すると、立体画像処理部１００に、立体視用画像データに付加されている基準点や基準視差などの立体視情報を立体視用画像データから取得する立体視情報取得部（視差量調整情報取得部）１００ａを設けている。
【０１１４】
静止画や動画像に基準点および基準視差のうち少なくとも一方を付加し、再生側（立体画像表示装置）で抽出することにより、再生側で基準視差を得ることができ、基準となる奥行きに合わせた視差調整が可能となる。
【０１１５】
動画像の場合は、基準点や基準視差を一連の画像全体に対して定義する形でもよいし、時間区分ごと、或いは、動画像を構成する静止画一つ一つに対応付けて定義しても良い。好ましくは、シーンごとに基準視差と併せて、最遠点視差、最近点視差を、シーンの切り替わるタイミングで送ることにより、自然な視差量補正が可能となり、過大な視差や過大な視差変動による観察者の目の疲労を軽減することができる。シーンの切り替わりを再生側で検出することはできるが、シーン全体にわたっての視差量を再生側で解析することは困難であるため、シーンごとに上記パラメータを画像データに付加しておくことは自然な画像表示に関して有効である。基準視差やコンテンツ視差情報の付加は、画像のエンコーダに視差情報を与えることで実現できるが、パーソナルコンピュータ（ＰＣ）を用いて処理を行う画像編集ソフトやオーサリングソフトに機能を追加することにより簡単に実現することができる。第１の実施形態に示したように、枠画像の指定や枠画像を重畳するとなおよい。
【０１１６】
＜第４の実施形態＞
本発明の第４の実施形態においては、パーソナルコンピュータ（以下、ＰＣと称する。）を用いて立体画像処理を行い、立体表示可能な表示デバイスを用いて立体表示する。ＰＣ上では、ユーザがＰＣの操作デバイス、例えばマウスやキーボード、タッチパネル等を用いて、ＧＵＩアプリケーションを操作して立体画像処理を行う。すなわち、ＰＣに供えられたＣＰＵが記憶装置、例えばハードディスクやＣＤ−ＲＯＭに記録されている立体表示アプリケーションソフトに従って、動画や静止画に対し処理を行い、立体表示デバイスに立体表示をする。
【０１１７】
図１６は、本発明の第４の実施形態による立体表示デバイスの表示画面を説明する図であり、立体表示デバイス３０１上に、立体画像表示アプリケーションによる画面３０３が表示されている。表示は、立体視画像表示３０３ａと、ＧＵＩ表示とからなる。ＧＵＩは、再生等の操作ボタン３０５と、再生位置を示すバー３０７と、奥行き調整タブ３１１と、奥行き調整用の設定ボタン３１１ａから３１１ｈと、視差を調整するスライドバー３１５と、を備えている。
【０１１８】
ユーザは、マウスやキーボード等の操作デバイスを用いて、ＧＵＩ上の設定ボタン３１１ａから３１１ｈやスライドバー３１５を操作することにより、立体画像表示３０３ａを処理することができる。処理結果を新たな画像ファイルとして、或いは、既存の画像ファイルに上書きしてハードディスク等に保存するようにしても良い。
上記の立体視表示装置を用いれば、奥行き調整を含む設定をユーザが行うことができ、ユーザ毎に適した設定にカスタマイズすることができる。
【０１１９】
尚、前述した第１から第４の実施形態においては、基準位置や基準視差、座標等に明確な単位を定義していないが、処理系と親和性のあるものならどのようなものでもよい。例えば、図１に示したブロック図においては、入力系１０から表示器１０３は画像を構成するドットに対応するピクセル単位で構成し、システム制御部１０４がユーザ入力部から入力されたメートル単位の位置情報を変換して処理しても良い。
【０１２０】
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【０１２１】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１２２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１２３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【０１２４】
本発明は、３Ｄテレビジョン受信装置などに利用可能である。
【符号の説明】
【０１２５】
１０  入力部
１００  立体画像処理部
１０１  視差調整部
１０２  表示制御部
１０３  表示部
１０４  システム制御部
１０５  ユーザ入力部
１０６  メガネ同期部
１０７  シャッタメガネ
１０１１  左目用拡大縮小部
１０１２  右目用拡大縮小部
１０１３  左目用枠画像重畳部
１０１４  右目用枠画像重畳部
１０１５  視差量算出部
１０１６  枠画像記録部
１０１７  通信・制御部
【図１】
2012065066.tif 000003
【図２】
2012065066.tif 000004
【図３】
2012065066.tif 000005
【図４】
2012065066.tif 000006
【図５】
2012065066.tif 000007
【図６】
2012065066.tif 000008
【図７】
2012065066.tif 000009
【図８】
2012065066.tif 000010
【図９】
2012065066.tif 000011
【図１０】
2012065066.tif 000012
【図１１】
2012065066.tif 000013
【図１２】
2012065066.tif 000014
【図１３】
2012065066.tif 000015
【図１４】
2012065066.tif 000016
【図１５】
2012065066.tif 000017
【図１６】
2012065066.tif 000018
【手続補正書】
【提出日】平成23年9月8日(2011.9.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
右目用画像と左目用画像からなる立体画像を生成する立体画像生成装置であって、
立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部を備え、
前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率に基づいて拡大・縮小処理することを特徴とする立体画像生成装置。
【請求項２】
前記画像拡大縮小部は、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小することを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記基準点は、画面左右端の位置であることを特徴とする、請求項１又は２に記載の立体画像生成装置。
【請求項４】
前記右目用画像基準点及び前記左目用画像基準点は、視差量調整によって奥行き位置を調整する際、奥行き位置の変化しない奥行き方向の基準位置と対応付けた視差量に基づき左右間隔が設定されることを特徴とする、請求項１又は２に記載の立体画像生成装置。
【請求項５】
前記視差量調整情報は、ユーザ入力を行うユーザ入力部により手動で設定されることを特徴とする請求項１から４までのいずれか１項に記載の立体画像生成装置。
【請求項６】
さらに、前記立体視用画像データから視差量を取得する視差量取得部を有し、
前記視差量調整情報は、前記視差量取得部が前記立体視用画像データを解析することにより取得された視差量に基づき設定されることを特徴とする、請求項５に記載の立体画像生成装置。
【請求項７】
前記右目用画像基準点及び前記左目用画像基準点の位置は、それぞれ左右方向の間隔が前記視差量取得部によって取得された視差量に基づき設定された位置であることを特徴とする、請求項６に記載の立体画像生成装置。
【請求項８】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項９】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最近景の視差に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１０】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の出現頻度の高い点に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１１】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の変化量の少ない点に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１２】
画像解析部を更に有し、
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記画像解析部により求められた画像の消失点の位置に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１３】
画像解析部を更に有し、
前記画像解析部は、前記右目用画像及び前記左目用画像の少なくともいずれかから特定のパターンを認識し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記認識された特定のパターンの画像上の位置と対応して前記視差量取得部により求められた視差量に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１４】
前記拡大率は、前記視差量取得部によって取得された視差量に基づき設定されることを特徴とする、請求項１３に記載の立体画像生成装置。 
【請求項１５】
前記拡大率は、前記視差量取得部によって取得された視差量の分布に基づき設定されることを特徴とする、請求項１４に記載の立体画像生成装置。
【請求項１６】
前記拡大率は、前記視差量取得部によって取得された視差量と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。
【請求項１７】
前記拡大率は、前記視差量取得部によって取得された視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。
【請求項１８】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。 
【請求項１９】
前記拡大率は、前記視差量取得部によって取得された最近景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。 
【請求項２０】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。
【請求項２１】
前記所定の視差量は、視聴者の操作に基づき設定されることを特徴とする、請求項１６から２０までのいずれか１項に記載の立体画像生成装置。
【請求項２２】
前記所定の視差量は、視聴者の年齢に基づき設定されることを特徴とする、請求項１６から２０までのいずれか１項に記載の立体画像生成装置。
【請求項２３】
前記所定の視差量は、視聴者の好みに応じて設定されることを特徴とする、請求項２１に記載の立体画像生成装置。
【請求項２４】
前記所定の視差量は、実験により求められた生体への影響度に応じて設定されることを特徴とする、請求項２１に記載の立体画像生成装置。
【請求項２５】
前記画像拡大縮小部が前記立体視用画像データを縮小処理することによって生じた前記立体視用画像データ外の画面領域に、枠画像を重畳表示する枠画像重畳表示部を有することを特徴とする、請求項１から２４までのいずれか１項に記載の立体画像生成装置。
【請求項２６】
前記入力部で設定された視差量設定情報に基づき、前記画像拡大縮小部は、前記立体視用画像データ外の画面領域に、あらかじめ、枠画像を表示する領域を予め設けておくことを特徴とする、請求項１から２４までのいずれか１項に記載の立体画像生成装置。
【請求項２７】
前記立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を更に設け、前記立体視用画像データから枠画像として用いる前記枠画像を読み出すことを特徴とする、請求項２５又は２６に記載の立体画像生成装置。
【請求項２８】
枠画像として用いる画像を選択する枠画像選択手段を更に設け、前記枠画像選択手段は、前記枠画像記録手段及び前記枠画像抽出手段の少なくとも一方から読み出された複数の枠画像から前記別の画像を選択することを特徴とする、請求項２５から２７までのいずれか１項に記載の立体画像生成装置。
【請求項２９】
前記枠画像選択手段は、前記立体視用画像データから枠画像として用いる画像の指定を読み出し、前記別の画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。
【請求項３０】
前記枠画像選択手段は、前記立体視用画像データの輝度情報に基づいて枠画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。
【請求項３１】
前記枠画像選択手段は、前記視差量取得手段によって取得された視差量に基づいて枠画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。
【請求項３２】
前記枠画像選択手段は、視聴者の入力に基づいて枠画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。 
【請求項３３】
前記枠画像に、文字情報を重畳して前記別の画像とすることを特徴とする、請求項２５から２８までのいずれか１項に記載の立体画像生成装置。 
【請求項３４】
前記右目用画像基準点及び前記左目用画像基準点の座標および間隔のうち、少なくとも一方を視差基準値として前記立体視用画像データに付加することを特徴とする、立体画像生成装置。
【請求項３５】
請求項３４の立体画像生成装置により付加された視差基準値を取得する視差基準値読み取り手段を更に設け、
前記視差基準値読み取り手段は、前記立体視用画像データを解析することにより取得された視差基準値に基づき、前記右目用画像基準点及び前記左目用画像基準点を設定することを特徴とする、請求項１から３３までのいずれか１項に記載の立体画像生成装置。
【請求項３６】
前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体視を可能とする立体画像生成方法であって、
立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小ステップと、
前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御ステップと、
を有し、
前記画像拡大縮小ステップは、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成方法。
【請求項３７】
コンピュータに、請求項３６に記載の立体画像生成方法を実行させるためのプログラム。
【請求項３８】
請求項３７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【手続補正書】
【提出日】平成24年1月12日(2012.1.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
右目用画像と左目用画像からなる立体画像を生成する立体画像生成装置であって、
立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部を備え、
前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率に基づいて拡大・縮小処理することを特徴とする立体画像生成装置。
【請求項２】
前記画像拡大縮小部は、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小することを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記基準点は、画面左右端の位置であることを特徴とする、請求項１又は２に記載の立体画像生成装置。
【請求項４】
前記右目用画像基準点及び前記左目用画像基準点は、視差量調整によって奥行き位置を調整する際、奥行き位置の変化しない奥行き方向の基準位置と対応付けた視差量に基づき左右間隔が設定されることを特徴とする、請求項１又は２に記載の立体画像生成装置。
【請求項５】
前記視差量調整情報は、ユーザ入力を行うユーザ入力部により手動で設定されることを特徴とする請求項１から４までのいずれか１項に記載の立体画像生成装置。
【請求項６】
さらに、前記立体視用画像データから視差量を取得する視差量取得部を有し、
前記視差量調整情報は、前記視差量取得部が前記立体視用画像データを解析することにより取得された視差量に基づき設定されることを特徴とする、請求項５に記載の立体画像生成装置。
【請求項７】
前記右目用画像基準点及び前記左目用画像基準点の位置は、それぞれ左右方向の間隔が前記視差量取得部によって取得された視差量に基づき設定された位置であることを特徴とする、請求項６に記載の立体画像生成装置。
【請求項８】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項９】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最近景の視差に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１０】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の出現頻度の高い点に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１１】
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の変化量の少ない点に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１２】
画像解析部を更に有し、
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記画像解析部により求められた画像の消失点の位置に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１３】
画像解析部を更に有し、
前記画像解析部は、前記右目用画像及び前記左目用画像の少なくともいずれかから特定のパターンを認識し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記認識された特定のパターンの画像上の位置と対応して前記視差量取得部により求められた視差量に基づき設定されることを特徴とする、請求項５から７までのいずれか１項に記載の立体画像生成装置。
【請求項１４】
前記拡大率は、前記視差量取得部によって取得された視差量に基づき設定されることを特徴とする、請求項１３に記載の立体画像生成装置。 
【請求項１５】
前記拡大率は、前記視差量取得部によって取得された視差量の分布に基づき設定されることを特徴とする、請求項１４に記載の立体画像生成装置。
【請求項１６】
前記拡大率は、前記視差量取得部によって取得された視差量と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。
【請求項１７】
前記拡大率は、前記視差量取得部によって取得された視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。
【請求項１８】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。 
【請求項１９】
前記拡大率は、前記視差量取得部によって取得された最近景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。 
【請求項２０】
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１５に記載の立体画像生成装置。
【請求項２１】
前記所定の視差量は、視聴者の操作に基づき設定されることを特徴とする、請求項１６から２０までのいずれか１項に記載の立体画像生成装置。
【請求項２２】
前記所定の視差量は、視聴者の年齢に基づき設定されることを特徴とする、請求項１６から２０までのいずれか１項に記載の立体画像生成装置。
【請求項２３】
前記所定の視差量は、視聴者の好みに応じて設定されることを特徴とする、請求項２１に記載の立体画像生成装置。
【請求項２４】
前記所定の視差量は、実験により求められた生体への影響度に応じて設定されることを特徴とする、請求項２１に記載の立体画像生成装置。
【請求項２５】
前記画像拡大縮小部が前記立体視用画像データを縮小処理することによって生じた前記立体視用画像データ外の画面領域に、枠画像を重畳表示する枠画像重畳表示部を有することを特徴とする、請求項１から２４までのいずれか１項に記載の立体画像生成装置。
【請求項２６】
前記入力部で設定された視差量設定情報に基づき、前記画像拡大縮小部は、前記立体視用画像データ外の画面領域に、あらかじめ、枠画像を表示する領域を予め設けておくことを特徴とする、請求項１から２４までのいずれか１項に記載の立体画像生成装置。
【請求項２７】
前記立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を更に設け、前記立体視用画像データから枠画像として用いる前記枠画像を読み出すことを特徴とする、請求項２５又は２６に記載の立体画像生成装置。
【請求項２８】
枠画像として用いる画像を選択する枠画像選択手段を更に設け、前記枠画像選択手段は、前記枠画像記録手段及び前記枠画像抽出手段の少なくとも一方から読み出された複数の枠画像から前記別の画像を選択することを特徴とする、請求項２５から２７までのいずれか１項に記載の立体画像生成装置。
【請求項２９】
前記枠画像選択手段は、前記立体視用画像データから枠画像として用いる画像の指定を読み出し、前記別の画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。
【請求項３０】
前記枠画像選択手段は、前記立体視用画像データの輝度情報に基づいて枠画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。
【請求項３１】
前記枠画像選択手段は、前記視差量取得手段によって取得された視差量に基づいて枠画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。
【請求項３２】
前記枠画像選択手段は、視聴者の入力に基づいて枠画像を選択することを特徴とする、請求項２８に記載の立体画像生成装置。 
【請求項３３】
前記枠画像に、文字情報を重畳して前記別の画像とすることを特徴とする、請求項２５から２８までのいずれか１項に記載の立体画像生成装置。 
【請求項３４】
前記右目用画像基準点及び前記左目用画像基準点の座標および間隔のうち、少なくとも一方を視差基準値として前記立体視用画像データに付加することを特徴とする、請求項１から３３までのいずれか１項に記載の立体画像生成装置。
【請求項３５】
請求項３４の立体画像生成装置により付加された視差基準値を取得する視差基準値読み取り手段を更に設け、
前記視差基準値読み取り手段は、前記立体視用画像データを解析することにより取得された視差基準値に基づき、前記右目用画像基準点及び前記左目用画像基準点を設定することを特徴とする、請求項１から３３までのいずれか１項に記載の立体画像生成装置。
【請求項３６】
右目用画像を右目に、左目用画像を左目に呈示することにより立体視を可能とする立体画像生成方法であって、
立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小ステップと、
前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御ステップと、
を有し、
前記画像拡大縮小ステップは、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成方法。
【請求項３７】
コンピュータに、請求項３６に記載の立体画像生成方法を実行させるためのプログラム。
【請求項３８】
請求項３７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。