(57)【要約】【課題】二次元画像から三次元画像を生成する際に、適切な立体感を提供する。【解決手段】奥行設定部２２０は深度情報ｄ（ｘｐ，ｙｐ）および奥行強調レベルαまたは奥行オフセットβに従って奥行Ｄ（ｘｐ，ｙｐ）を設定する。視聴距離設定部２３０は表示面から両眼までの視聴距離Ｌを設定する。オブジェクト領域認識部２７０は二次元画像Ｐ（ｘｐ，ｙｐ）または深度情報ｄ（ｘｐ，ｙｐ）からオブジェクト領域を認識して、中心座標Ｃを求める。左目座標算出部２４１および右目座標算出部２４２は拡大率指定部２６１によって指定された拡大率Ｓに従って物体の中心座標Ｃを中心として拡大した立体視像が奥行Ｄ（ｘｐ，ｙｐ）の位置に形成されるように、左目画像および右目画像の座標を算出する。算出された座標に基づいて、左目画像生成部２５１および右目画像生成部２５２は左目画像および右目画像を生成する。【選択図】図２７
2011139281.tif 000002
【特許請求の範囲】
【請求項１】
二次元画像の画素または画素群毎の深度を示す深度情報から前記二次元画像の画素または画素群毎の立体視像が形成される奥行を設定する奥行設定部と、
前記奥行と表示面から視聴位置までの距離とから前記二次元画像の画素または画素群毎に対応する前記表示面における三次元画像の左目画像および右目画像の座標を算出する座標算出部と、
前記算出された座標に従って前記二次元画像に対応する前記左目画像および前記右目画像を生成する画像生成部と
を具備する三次元画像生成装置。
【請求項２】
前記二次元画像および前記深度情報に基づいて前記二次元画像におけるオブジェクト領域を認識して当該オブジェクト領域の重心の座標を中心座標として生成するオブジェクト領域認識部をさらに具備し、
前記座標算出部は、指定された拡大率に従って前記中心座標を基準として前記オブジェクト領域を拡大した前記立体視像が形成されるように前記オブジェクト領域の画素または画素群毎に対応する前記左目画像および前記右目画像の座標を算出する
請求項１記載の三次元画像生成装置。
【請求項３】
前記座標算出部は、
前記左目画像および前記右目画像の前記二次元画像に対するＸ座標およびＹ座標における移動量を算出する移動量算出部と、
前記移動量に基づいてＸ座標およびＹ座標における座標位置を算出する座標位置算出部と
を備える請求項１記載の三次元画像生成装置。
【請求項４】
前記奥行設定部は、指定された奥行強調レベルに比例し、指定された奥行オフセットにより増減された値を前記奥行として設定する
請求項１記載の三次元画像生成装置。
【請求項５】
二次元画像の画素または画素群毎の深度を示す深度情報から前記二次元画像の画素または画素群毎の立体視像が形成される奥行を設定する奥行設定部と、
前記奥行と表示面から視聴位置までの距離とから前記二次元画像の画素または画素群毎に対応する前記表示面における三次元画像の左目画像および右目画像の座標を算出する座標算出部と、
前記算出された座標に従って前記二次元画像に対応する前記左目画像および前記右目画像を生成する画像生成部と、
前記左目画像および前記右目画像による三次元画像を表示する画像表示部と
を具備する三次元画像表示装置。
【請求項６】
二次元画像の画素または画素群毎の深度を示す深度情報から前記二次元画像の画素または画素群毎の立体視像が形成される奥行を設定する奥行設定手順と、
前記奥行と表示面から視聴位置までの距離とから前記二次元画像の画素または画素群毎に対応する前記表示面における三次元画像の左目画像および右目画像の座標を算出する座標算出手順と、
前記算出された座標に従って前記二次元画像に対応する前記左目画像および前記右目画像を生成する画像生成手順と
を具備する三次元画像生成方法。
【請求項７】
二次元画像の画素または画素群毎の深度を示す深度情報から前記二次元画像の画素または画素群毎の立体視像が形成される奥行を設定する奥行設定手順と、
前記奥行と表示面から視聴位置までの距離とから前記二次元画像の画素または画素群毎に対応する前記表示面における三次元画像の左目画像および右目画像の座標を算出する座標算出手順と、
前記算出された座標に従って前記二次元画像に対応する前記左目画像および前記右目画像を生成する画像生成手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像生成装置に関し、特に二次元（平面視）画像から三次元（立体視）画像を生成する三次元画像生成装置、三次元画像表示装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、コンテンツを表示するための表示装置として、二次元画像の表示のみならず、三次元画像を表示可能な表示装置が提案されている。このような表示装置では、両眼間に生じる両眼視差（disparity）を利用して、左目に供給すべき左目画像と右目に供給すべき右目画像とを表示している。
【０００３】
このような三次元画像は、それぞれ独立したカメラによって生成することもできるが、両眼視差や遠近感に関する情報が利用可能であれば二次元画像に基づいて擬似的に生成することも可能である。例えば、両眼視差と遠近感に応じて手前画像を左右にずらして背景画像と重ねることにより左目画像および右目画像を生成する方法が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３０８６５７７号公報（図２）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、手前画像を左右にずらすことにより擬似的に三次元画像を生成している。しかしながら、この従来技術のように単純にずらしただけでは適切な立体感を得ることが難しい。例えば、本来、手前に存在する物体ほど大きく表示されるはずであるが、必ずしもそのようには表示されず、視聴者に不自然な印象を与えるおそれがあった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、二次元画像から三次元画像を生成する際に、適切な立体感を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、二次元画像の画素または画素群毎の深度を示す深度情報から上記二次元画像の画素または画素群毎の立体視像が形成される奥行を設定する奥行設定部と、上記奥行と表示面から視聴位置までの距離とから上記二次元画像の画素または画素群毎に対応する上記表示面における三次元画像の左目画像および右目画像の座標を算出する座標算出部と、上記算出された座標に従って上記二次元画像に対応する上記左目画像および上記右目画像を生成する画像生成部とを具備する三次元画像生成装置、および、その装置における処理方法ならびに各手順をコンピュータに実行させるためのプログラムである。これにより、設定された奥行に応じて適切な立体感を提供するための左目画像および右目画像を生成させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記二次元画像および上記深度情報に基づいて上記二次元画像におけるオブジェクト領域を認識して当該オブジェクト領域の重心の座標を中心座標として生成するオブジェクト領域認識部をさらに具備し、上記座標算出部は、指定された拡大率に従って上記中心座標を基準として上記オブジェクト領域を拡大した上記立体視像が形成されるように上記オブジェクト領域の画素または画素群毎に対応する上記左目画像および上記右目画像の座標を算出するようにしてもよい。これにより、視差を抑えながら立体感を強調させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記座標算出部は、上記左目画像および上記右目画像の上記二次元画像に対するＸ座標およびＹ座標における移動量を算出する移動量算出部と、上記移動量に基づいてＸ座標およびＹ座標における座標位置を算出する座標位置算出部とを備えてもよい。これにより、Ｘ座標およびＹ座標における移動量をに基づいてＸ座標およびＹ座標における座標位置を算出させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記奥行設定部は、指定された奥行強調レベルに比例し、指定された奥行オフセットにより増減された値を上記奥行として設定するようにしてもよい。これにより、視聴者の嗜好に合わせて奥行を設定させるという作用をもたらす。
【００１１】
また、本発明の第２の側面は、二次元画像の画素または画素群毎の深度を示す深度情報から上記二次元画像の画素または画素群毎の立体視像が形成される奥行を設定する奥行設定部と、上記奥行と表示面から視聴位置までの距離とから上記二次元画像の画素または画素群毎に対応する上記表示面における三次元画像の左目画像および右目画像の座標を算出する座標算出部と、上記算出された座標に従って上記二次元画像に対応する上記左目画像および上記右目画像を生成する画像生成部と、上記左目画像および上記右目画像による三次元画像を表示する画像表示部とを具備する三次元画像表示装置である。これにより、設定された奥行に応じて適切な立体感を提供するための左目画像および右目画像を生成して表示させるという作用をもたらす。
【発明の効果】
【００１２】
本発明によれば、二次元画像から三次元画像を生成する際に、適切な立体感を提供することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態における三次元画像表示システムの構成例を示す図である。
【図２】本発明の第１の実施の形態における三次元画像生成装置２００の構成例を示す図である。
【図３】本発明の第１の実施の形態における三次元画像生成装置２００の機能構成例を示す図である。
【図４】本発明の第１の実施の形態における右目座標算出部２４２の機能構成例を示す図である。
【図５】本発明の第１の実施の形態における三次元画像生成装置２００の動作概略を示す図である。
【図６】本発明の第１の実施の形態における三次元画像生成装置２００の動作により物体７４０の立体視像が形成された様子を示す図である。
【図７】本発明の第１の実施の形態における三次元画像生成装置２００において奥行を短く設定した場合の立体視像が形成された様子を示す図である。
【図８】本発明の第１の実施の形態における三次元画像生成装置２００の動作により物体７４２乃至７４４の立体視像が形成された様子を示す図である。
【図９】本発明の第１の実施の形態における左目画像および右目画像のＸ座標の算出手法を説明するための上面図である。
【図１０】本発明の第１の実施の形態における左目画像のＸ座標の算出手法を説明するための上面図である。
【図１１】本発明の第１の実施の形態における右目画像のＸ座標の算出手法を説明するための上面図である。
【図１２】本発明の第１の実施の形態における左目画像および右目画像のＹ座標の算出手法を説明するための側面図である。
【図１３】本発明の第１の実施の形態における深度情報ｄと奥行Ｄとの関係を示す図である。
【図１４】本発明の第１の実施の形態における深度情報ｄと奥行Ｄとの関係を示す他の図である。
【図１５】本発明の第１の実施の形態における深度情報ｄと奥行Ｄとの関係を示すさらに他の図である。
【図１６】本発明の第１の実施の形態における二次元画像１１の画素位置の例を示す図である。
【図１７】本発明の第１の実施の形態による三次元画像生成装置２００における右目画像生成の処理手順例を示す図である。
【図１８】本発明の第１の実施の形態における右目座標算出処理の例を示す図である。
【図１９】本発明の第１の実施の形態による三次元画像生成装置２００における右目画像更新画素決定処理の処理手順例を示す図である。
【図２０】本発明の第１の実施の形態における更新候補画素決定の処理例を示す図である。
【図２１】本発明の第１の実施の形態における書込済判定の処理例を示す図である。
【図２２】本発明の第１の実施の形態における優先度判定の処理例を示す図である。
【図２３】本発明の第１の実施の形態における判定データの更新処理例を示す図である。
【図２４】本発明の第１の実施の形態における右目画像更新処理の例を示す図である。
【図２５】本発明の第１の実施の形態による三次元画像生成装置２００における左目画像生成の処理手順例を示す図である。
【図２６】本発明の第１の実施の形態により生成される立体視の様子をまとめた図である。
【図２７】本発明の第２の実施の形態における三次元画像生成装置２００の機能構成例を示す図である。
【図２８】本発明の第２の実施の形態における右目座標算出処理の例を示す図である。
【図２９】本発明の第２の実施の形態における左目画像および右目画像のＸ座標の算出手法を説明するための上面図である。
【図３０】本発明の第２の実施の形態における右目画像のＸ座標の算出手法を説明するための上面図である。
【図３１】本発明の第２の実施の形態における右目画像のＸ座標の算出手法を説明するための他の上面図である。
【図３２】本発明の第２の実施の形態における左目画像および右目画像のＹ座標の算出手法を説明するための側面図である。
【図３３】本発明の第２の実施の形態により生成される立体視の様子をまとめた図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（大きさの恒常性を維持するよう立体感を制御する例）
２．第２の実施の形態（立体感を強調するよう制御する例）
【００１５】
＜１．第１の実施の形態＞
【００１６】
［三次元画像表示システムの構成例］
図１は、本発明の実施の形態における三次元画像表示システムの構成例を示す図である。この三次元画像表示システムは、画像記憶装置１００と、三次元画像生成装置２００と、表示制御装置３００と、画像表示装置４００とを備える。
【００１７】
画像記憶装置１００は、三次元（立体視）表示のための画像データとして、二次元（平面視）画像とその二次元画像の深度（デプス：depth）に関する情報を関連付けて記憶するものである。ここで、画像データは、静止画であってもよく、また、動画であってもよい。
【００１８】
三次元画像生成装置２００は、画像記憶装置１００に記憶された二次元画像および深度情報に基づいて右目画像および左目画像からなる三次元画像を生成するものである。
【００１９】
表示制御装置３００は、三次元画像生成装置２００から出力された画像データを画像表示装置４００に表示させるように制御するものである。画像表示装置４００は、画像データを三次元画像として表示する立体ディスプレイである。立体表示方式としては、走査線毎に左右画像を交互に配置する方式や時分割で左右画像を表示する方式などの任意の方式を適用することができる。この画像表示装置４００の表示方式に対応するように、表示制御装置３００は表示制御を行うことになる。なお、画像表示装置４００は、特許請求の範囲に記載の画像表示部の一例である。
【００２０】
［三次元画像生成装置２００の構成例］
図２は、本発明の第１の実施の形態における三次元画像生成装置２００の構成例を示す図である。この三次元画像生成装置２００は、二次元画像１１および深度情報１２を入力画像１０として受けて、左目画像３１および右目画像３２からなる三次元画像を出力画像３０として出力するものである。ここでは、深度情報１２は二次元画像１１の画素毎の深度を１対１対応で示すものとしているが、より粗い粒度の画素群毎の深度を示すようにしてもよい。三次元画像生成装置２００は、操作受付部２０１と、条件設定部２０２と、画像変換部２０３とを備える。
【００２１】
操作受付部２０１は、ユーザからの操作入力を受け付けるためのユーザインターフェースである。操作入力としては、後述する奥行強調レベル、奥行強調オフセットまたは表示サイズ等が想定される。
【００２２】
条件設定部２０２は、操作受付部２０１により受け付けられた操作入力に従って、画像変換部２０３における三次元画像生成のための条件設定を行うものである。
【００２３】
画像変換部２０３は、条件設定部２０２により設定された条件に従って、入力画像１０に対して画像変換を行って、三次元画像である出力画像３０を出力するものである。
【００２４】
［三次元画像生成装置２００の機能構成例］
図３は、本発明の第１の実施の形態における三次元画像生成装置２００の機能構成例を示す図である。この三次元画像生成装置２００は、入力画像保持部２１０と、奥行設定部２２０と、奥行強調レベル指定部２２１と、奥行オフセット指定部２２２と、視聴距離設定部２３０と、表示サイズ指定部２３１とを備えている。また、この三次元画像生成装置２００は、左目座標算出部２４１と、右目座標算出部２４２と、左目画像生成部２５１と、右目画像生成部２５２と、出力画像保持部２９０とを備えている。奥行強調レベル指定部２２１、奥行オフセット指定部２２２、および、表示サイズ指定部２３１は、操作受付部２０１により実現される。奥行設定部２２０、および、視聴距離設定部２３０は、条件設定部２０２により実現される。左目座標算出部２４１、右目座標算出部２４２、左目画像生成部２５１、および、右目画像生成部２５２は、画像変換部２０３により実現される。
【００２５】
入力画像保持部２１０は、入力画像１０を保持するものであり、二次元画像１１を保持する二次元画像保持部２１１と、深度情報１２を保持する深度情報保持部２１２とを備えている。以下では、二次元画像１１の各画素値をＰ（ｘｐ，ｙｐ）、深度情報１２の各値をｄ（ｘｐ，ｙｐ）と表す。ただし、ｘｐは注目する画素のＸ座標の値を、ｙｐは注目する画素のＹ座標の値をそれぞれ表す。
【００２６】
奥行設定部２２０は、深度情報保持部２１２に保持される深度情報１２に基づいて、表示面からの奥行を設定するものである。ユーザ（視聴者）の立場からすると、この奥行の位置に、注目する画素が存在するかのように見えるようになる。この奥行は、表示面から視聴者側の場合に正の値となり、その逆側の場合に負の値となって、何れの値も許容される。したがって、立体視像が表示面から手前に飛び出すように形成されてもよく、また、表示面の奥に引っ込むように形成されてもよい。この奥行は、奥行強調レベル指定部２２１により指定された奥行強調レベルαや、奥行オフセット指定部２２２により指定された奥行オフセットβにより、ユーザの好みに応じたものが設定される。例えば、奥行強調レベルαのみを用いた場合には、奥行Ｄ（ｘｐ，ｙｐ）は、次式により表される。
Ｄ（ｘｐ，ｙｐ）＝α×ｄ（ｘｐ，ｙｐ）                ・・・式１
【００２７】
また、奥行強調レベルαおよび奥行オフセットβの両者を用いた場合には、次式により表される。
Ｄ（ｘｐ，ｙｐ）＝α×ｄ（ｘｐ，ｙｐ）＋β            ・・・式２
このようにして、ユーザの好みに応じた位置に三次元表示を行うように、奥行強調レベルαまたは奥行オフセットβを指定することができる。
【００２８】
視聴距離設定部２３０は、表示面から視聴者の両眼までの視聴距離Ｌを設定するものである。ここでは、一般に最適と考えられているように、表示高ｈの３倍を視聴距離Ｌとして設定することを想定する。表示サイズ指定部２３１は表示面の縦横の表示サイズを指定するものであり、この表示サイズ指定部２３１に指定された表示面の縦サイズを表示高ｈとして視聴距離Ｌを求めることができる。
【００２９】
左目座標算出部２４１は、表示面における左目画像の座標（ｘＬ，ｙＬ）を算出するものである。右目座標算出部２４２は、表示面における右目画像の座標（ｘＲ，ｙＲ）を算出するものである。これら左目座標算出部２４１および右目座標算出部２４２は、奥行設定部２２０によって設定された奥行Ｄ（ｘｐ，ｙｐ）および視聴距離設定部２３０によって設定された視聴距離Ｌに基づいて、右目画像または左目画像における注目画素の座標を算出する。なお、左目座標算出部２４１または右目座標算出部２４２は、特許請求の範囲に記載の座標算出部の一例である。これら左目座標算出部２４１および右目座標算出部２４２における具体的な座標算出方法については後述する。
【００３０】
左目画像生成部２５１は、二次元画像保持部２１１に保持された二次元画像１１の注目する画素Ｐ（ｘｐ，ｙｐ）を、左目座標算出部２４１によって算出された座標（ｘＬ，ｙＬ）に、移動することにより、左目画像を生成するものである。右目画像生成部２５２は、二次元画像保持部２１１に保持された二次元画像１１の注目する画素Ｐ（ｘｐ，ｙｐ）を、右目座標算出部２４２によって算出された座標（ｘＲ，ｙＲ）に、移動することにより、右目画像を生成するものである。また、これら左目画像生成部２５１および右目画像生成部２５２においては、深度情報保持部２１２に保持された深度情報１２を参照することにより、精度の高い画像生成が行われる。この画像生成の詳細については後述する。なお、左目画像生成部２５１または右目画像生成部２５２は、特許請求の範囲に記載の画像生成部の一例である。
【００３１】
出力画像保持部２９０は、出力画像３０を保持するものであり、左目画像３１を保持する左目画像保持部２９１と、右目画像３２を保持する右目画像保持部２９２とを備えている。
【００３２】
この三次元画像生成装置２００では、注目画素は順次更新されていく。例えば、二次元画像において、左上の画素から順次右方向に注目画素が更新され、右端の画素の次は一つ下の行の左の画素から再び順次右方向に注目画素が更新される。三次元画像生成装置２００の各部には、図示していないが、注目画素の座標（ｘｐ，ｙｐ）が適宜供給されている。
【００３３】
図４は、本発明の第１の実施の形態における右目座標算出部２４２の機能構成例を示す図である。この右目座標算出部２４２は、Ｘ座標移動量算出部４１１と、Ｙ座標移動量算出部４１２と、Ｘ座標位置算出部４２１と、Ｙ座標位置算出部４２２とを備えている。
【００３４】
Ｘ座標移動量算出部４１１は、奥行設定部２２０によって設定された奥行Ｄ（ｘｐ，ｙｐ）および視聴距離設定部２３０によって設定された視聴距離Ｌに基づいて、右目画像における注目画素Ｐ（ｘｐ，ｙｐ）のＸ方向の移動量△ｘＲを算出するものである。Ｙ座標移動量算出部４１２は、奥行設定部２２０によって設定された奥行Ｄ（ｘｐ，ｙｐ）および視聴距離設定部２３０によって設定された視聴距離Ｌに基づいて、右目画像における注目画素Ｐ（ｘｐ，ｙｐ）のＹ方向の移動量△ｙＲを算出するものである。なお、Ｘ座標移動量算出部４１１またはＹ座標移動量算出部４１２は、特許請求の範囲に記載の移動量算出部の一例である。
【００３５】
Ｘ座標位置算出部４２１は、注目画素Ｐ（ｘｐ，ｙｐ）のＸ座標ｘｐに対して、Ｘ座標移動量算出部４１１によって算出された移動量△ｘＲを加算することにより、右目画像における注目画素のＸ座標位置ｘＲを算出するものである。Ｙ座標位置算出部４２２は、注目画素Ｐ（ｘｐ，ｙｐ）のＹ座標ｙｐに対して、Ｙ座標移動量算出部４１２によって算出された移動量△ｙＲを加算することにより、右目画像における注目画素のＹ座標位置ｙＲを算出するものである。なお、Ｘ座標位置算出部４２１またはＹ座標位置算出部４２２は、特許請求の範囲に記載の座標位置算出部の一例である。
【００３６】
この右目座標算出部２４２により算出された右目画像におけるＸ座標位置ｘＲおよびＹ座標位置ｙＲは、右目画像生成部２５２に供給される。
【００３７】
なお、ここでは右目座標算出部２４２の構成例について説明したが、左目画像におけるＸ座標位置ｘＬおよびＹ座標位置ｙＬを算出する左目座標算出部２４１も同様の構成を備えるため、左目座標算出部２４１の構成例の詳細な説明は省略する。
【００３８】
［三次元画像生成装置２００の動作概略］
図５は、本発明の第１の実施の形態における三次元画像生成装置２００の動作概略を示す図である。三次元画像生成装置２００は、例えば、二次元画像において、最初に左上の画素を注目画素とし、順次右方向に注目画素を更新していく。右端の画素の次は一つ下の行の左の画素から再び順次右方向に注目画素が更新される。この例では、深度情報は二次元画像と画素毎に１対１に対応しており、二次元画像の各画素について深度を示している。
【００３９】
この図では、左側の画素から順次右方向に注目画素が更新され、物体７４０の位置に差し掛かったときの様子を示している。このとき、注目画素の表示面７１０における画素位置７１１は、深度情報に基づいて鉛直方向に飛び出した位置７３１に存在するかのように、両眼７２０から見えるものとする。この場合、左目から見た位置７３１は、左目画像の座標ＸＬに投影される。また、右目から見た位置７３１は、右目画像の座標ＸＲに投影される。このような処理を二次元画像の全画素について繰り返すことにより、物体７４０の立体視像を形成することができる。
【００４０】
図６は、本発明の第１の実施の形態における三次元画像生成装置２００の動作により物体７４０の立体視像が形成された様子を示す図である。図５において説明した処理を繰り返すことにより、物体７４０全体の立体視像７３０が、深度情報に基づいて鉛直方向に飛び出した位置に形成される。すなわち、左目から見た立体視像７３０は、左目画像の像７５０に投影される。また、右目から見た立体視像７３０は、右目画像の像７６０に投影される。
【００４１】
図７は、本発明の第１の実施の形態における三次元画像生成装置２００において奥行を短く設定した場合の立体視像が形成された様子を示す図である。この図７の例では、図６の場合よりも奥行Ｄが短く設定されている。ただし、ここで注目すべきなのは、物体７４０の大きさは立体視像７３０においても維持されている点である。すなわち、本発明の第１の実施の形態においては、二次元画像における物体は「大きさの恒常性」を担保した状態で、鉛直方向に飛び出し、または、引っ込むように制御される。
【００４２】
ここで、大きさの恒常性とは、対象の観察距離の変化に対応して網膜像の大きさが変化しても、その対象の見えの大きさがほぼ一定に保たれるといる公知の現象である。換言すれば、同じ大きさの物体でも、手前にある場合は網膜上に大きく映り、後ろにある場合は小さく映ることになる。このことから、「大きさの恒常性」を再現するためには、三次元表示において、手前の物ほど大きく、後ろの物ほど小さく提示する必要がある。本発明の第１の実施の形態によれば、このような「大きさの恒常性」を担保することができる。
【００４３】
図８は、本発明の第１の実施の形態における三次元画像生成装置２００の動作により物体７４２乃至７４４の立体視像が形成された様子を示す図である。図６の例では説明を簡単にするために深度情報を２段階としていたが、この例では多段階の階調を有することを想定している。これにより、物体７４２乃至７４４に対して立体視像７３２乃至７３４が形成されている。
【００４４】
［左目座標および右目座標の算出手法］
図９は、本発明の第１の実施の形態における左目画像および右目画像のＸ座標の算出手法を説明するための上面図である。ここでは、表示面７１０から視聴距離Ｌの位置に両眼７２０が存在すると仮定している。視聴距離Ｌは、視聴距離設定部２３０によって表示高ｈの３倍の値が設定されるものとする。両眼距離Ｅは、標準的な値として、例えば６５ｍｍを用いることができる。また、表示面７１０からの奥行Ｄ（ｘｐ，ｙｐ）は、奥行設定部２２０によって、上述の式１または式２から得られるものとする。これにより、視聴距離Ｌにおいて、物体７４０は鉛直方向に奥行Ｄ（ｘｐ，ｙｐ）をもって飛び出した位置の立体視像７３０として認識される。すなわち、立体視像７３０の大きさは、物体７４０と同じサイズである。
【００４５】
以下では、物体７４０の隅を注目画素（ｘｐ，ｙｐ）として、そのＸ座標ｘｐを左目画像上の座標ｘＬおよび右目画像上の座標ｘＲに変換する場合の変換式について考察する。
【００４６】
図１０は、本発明の第１の実施の形態における左目画像のＸ座標の算出手法を説明するための上面図である。両眼の中心を表示面に対して垂直に延ばした補助線を考えると、注目画素のＸ座標ｘｐに対応する左目画像のＸ座標ｘＬと左目７２１により定義される三角形において、次式が成り立つ。
Ｌ：（ｘＬ＋Ｅ／２）＝（Ｌ−Ｄ）：（ｘｐ＋Ｅ／２）
上式をｘＬについて解くと、次式のようになる。
ｘＬ＝（Ｌ／（Ｌ−Ｄ））・ｘｐ＋（Ｅ・Ｄ）／（２・（Ｌ−Ｄ））  ・・・式３
【００４７】
また、上式を変形して、移動量を分けた形式にすると次式のようになる。
ｘＬ＝ｘｐ＋△ｘＬ
△ｘＬ＝（Ｄ／（Ｌ−Ｄ））・ｘｐ＋（Ｅ・Ｄ）／（２・（Ｌ−Ｄ））
【００４８】
上式からも分かるように、移動量△ｘＬは、注目画素のＸ座標ｘｐの項を含んでいる。すなわち、注目画素に応じて柔軟な変換が行われることが理解される。これに対し、従来技術のように単純に左右にずらした場合には、注目画素には無関係に変換が行われる。
【００４９】
図１１は、本発明の第１の実施の形態における右目画像のＸ座標の算出手法を説明するための上面図である。両眼の中心を表示面に対して垂直に延ばした補助線を考えると、注目画素のＸ座標ｘｐに対応する右目画像のＸ座標ｘＲと右目７２２により定義される三角形において、次式が成り立つ。
Ｌ：（ｘＲ−Ｅ／２）＝（Ｌ−Ｄ）：（ｘｐ−Ｅ／２）
上式をｘＲについて解くと、次式のようになる。
ｘＲ＝（Ｌ／（Ｌ−Ｄ））・ｘｐ−（Ｅ・Ｄ）／（２・（Ｌ−Ｄ））  ・・・式４
【００５０】
また、上式を変形して、移動量を分けた形式にすると次式のようになる。
ｘＲ＝ｘｐ＋△ｘＲ
△ｘＲ＝（Ｄ／（Ｌ−Ｄ））・ｘｐ−（Ｅ・Ｄ）／（２・（Ｌ−Ｄ））
この移動量△ｘＲは、上述のＸ座標移動量算出部４１１によって算出されるものである。
【００５１】
図１２は、本発明の第１の実施の形態における左目画像および右目画像のＹ座標の算出手法を説明するための側面図である。視聴距離Ｌや奥行Ｄ（ｘｐ，ｙｐ）については、Ｘ座標を算出する際に用いたものと同様である。すなわち、視聴距離Ｌにおいて、物体７４０は鉛直方向に奥行Ｄ（ｘｐ，ｙｐ）をもって飛び出した位置の立体視像７３０として認識される。
【００５２】
以下では、物体７４０の隅を注目画素（ｘｐ，ｙｐ）として、そのＹ座標ｙｐを左目画像上の座標ｙＬおよび右目画像上の座標ｙＲに変換する場合の変換式について考察する。ただし、Ｘ座標と異なり、Ｙ座標の場合は左目画像と右目画像とで一致するため、右目画像の座標ｙＲについて説明することとする。
【００５３】
両眼の中心を表示面に対して垂直に延ばした補助線を考えると、注目画素のＹ座標ｙｐに対応する右目画像のＹ座標ｙＲと両眼７２０により定義される三角形において、次式が成り立つ。
Ｌ：ｙＲ＝（Ｌ−Ｄ）：ｙｐ
上式をｙＲについて解くと、次式のようになる。
ｙＲ＝ｙｐ・Ｌ／（Ｌ−Ｄ）          ・・・式５
【００５４】
また、上式を変形して、移動量を分けた形式にすると次式のようになる。
ｙＲ＝ｙｐ＋△ｙＲ
△ｙＲ＝ｙｐ・Ｄ／（Ｌ−Ｄ）
【００５５】
上述のように、ｙＲはｙＬにも等しいため、次式も同様に成り立つ。
ｙＬ＝ｙｐ・Ｌ／（Ｌ−Ｄ）          ・・・式６
ｙＬ＝ｙｐ＋△ｙＬ
△ｙＬ＝ｙｐ・Ｄ／（Ｌ−Ｄ）
【００５６】
なお、従来技術のように単純に左右にずらした場合には、Ｙ座標の移動量は処理対象とされない。この点、本発明の実施の形態によれば、Ｙ座標方向の移動量を考慮して柔軟な処理が行われることが理解できる。
【００５７】
［深度情報ｄと奥行Ｄとの関係］
図１３は、本発明の第１の実施の形態における深度情報ｄと奥行Ｄとの関係を示す図である。この例では、上述の式１において奥行強調レベルαを変化させた場合の影響について示す。図１３（ａ）および（ｂ）の何れにおいても、深度情報は「０」から「２５５」の何れかの値を示すものとする。
【００５８】
図１３（ａ）は、深度情報が最大値「２５５」のとき、奥行Ｄが「１．５ｍ」となるように奥行強調レベルαを設定した場合の例である。一方、図１３（ｂ）は、深度情報が最大値「２５５」のとき、奥行Ｄが「０．７５ｍ」となるように奥行強調レベルαを設定した場合の例である。両者を比較すると分かるように、奥行強調レベルαを変化させると、深度情報に対する奥行の傾きが変化する。したがって、奥行をより強調させたい場合には、この奥行強調レベルαを大きく設定すればよい。
【００５９】
図１４は、本発明の第１の実施の形態における深度情報ｄと奥行Ｄとの関係を示す他の図である。この例では、上述の式２において奥行強調レベルαおよび奥行オフセットβを変化させた場合の影響について示す。図１３と同様に、図１４（ａ）および（ｂ）の何れにおいても、深度情報は「０」から「２５５」の何れかの値を示すものとする。
【００６０】
図１４（ａ）は、深度情報が最大値「２５５」のとき奥行Ｄが「１．５ｍ」となり、最小値「０」のとき奥行Ｄが「−０．５ｍ」となるように奥行強調レベルαおよび奥行オフセットβを設定した場合の例である。上述のように、奥行Ｄが負の値となるときには、視聴者からすると表示面よりも奥側に引っ込んで見えることになる。
【００６１】
一方、図１４（ｂ）は、深度情報が最大値「２５５」のとき奥行Ｄが「０．７５ｍ」となり、最小値「０」のとき奥行Ｄが「−０．２５ｍ」となるように奥行強調レベルαおよび奥行オフセットβを設定した場合の例である。
【００６２】
両者を比較すると分かるように、奥行強調レベルαを変化させると深度情報に対する奥行の傾きが変化し、奥行オフセットβを変化させると奥行が全体的に移動することになる。ユーザは、自身の嗜好に応じて奥行強調レベルαまたは奥行オフセットβを指定することにより、嗜好に合致した立体感を有する三次元画像の再生表示を行うことができる。なお、奥行強調レベルαおよび奥行オフセットβは、具体的な値をユーザに指定させるようにしてもよいが、例えば、弱・中・強の３段階のプリセットにより指定させるようにしてもよい。
【００６３】
図１５は、本発明の第１の実施の形態における深度情報ｄと奥行Ｄとの関係を示すさらに他の図である。上述の図１３および図１４では、設定される奥行Ｄが深度情報ｄに比例する例について説明したが、本発明はこれに限定されるものではない。その一例として、図１５のように深度情報ｄと奥行Ｄとの関係が非線形となる態様を示す。このような非線形性をもたせることにより、表示面７１０の近傍における分解能を向上させることが可能となる。
【００６４】
［座標算出および画像生成の動作例］
図１６は、本発明の第１の実施の形態における二次元画像１１の画素位置の例を示す図である。ここでは、二次元画像１１の左上を原点として、第ｉ列の第ｊ行の画素８１０をＰ（ｉ，ｊ）と表記する。この画素８１０は、二次元画像１１における変換前の参照画素となる。同様に、二次元画像１１の各画素に対応する深度情報１２の要素をｄ（ｉ，ｊ）と表記する。また、画素Ｐ（ｉ，ｊ）の左上の座標８１１をＰ１（ｉ，ｊ）、右上の座標８１２をＰ２（ｉ，ｊ）、左下の座標８１３をＰ３（ｉ，ｊ）、右下の座標８１４をＰ４（ｉ，ｊ）とそれぞれ表記する。
【００６５】
ここで、Ｐ１（ｉ，ｊ）のＸ座標をｘＰ１（ｉ，ｊ）、Ｙ座標をｙＰ１（ｉ，ｊ）と表記する。他のＰ２（ｉ，ｊ）、Ｐ３（ｉ，ｊ）およびＰ４（ｉ，ｊ）についても同様である。この場合、次式のように定義される。
ｘＰ１（ｉ，ｊ）＝ｘＰ３（ｉ，ｊ）＝ｉ
ｘＰ２（ｉ，ｊ）＝ｘＰ４（ｉ，ｊ）＝ｉ＋１
ｙＰ１（ｉ，ｊ）＝ｙＰ２（ｉ，ｊ）＝ｊ
ｙＰ３（ｉ，ｊ）＝ｙＰ４（ｉ，ｊ）＝ｊ＋１
【００６６】
図１７は、本発明の第１の実施の形態による三次元画像生成装置２００における右目画像生成の処理手順例を示す図である。上述のように二次元画像１１の左上を原点として、左上から右方向に注目画素を更新し、右端の画素まで処理が終了すると次の行の左端の画素を注目画素として処理を進める。そのための変数の制御を行っているのが、ステップＳ９１１、Ｓ９１２、Ｓ９１７およびＳ９１９である。すなわち、ステップＳ９１１においてＹ座標の変数ｊが「０」にリセットされる。また、ステップＳ９１２においてＸ座標の変数ｉが「０」にリセットされる。そして、内側のループのステップＳ９１７においてＸ座標の変数ｉが「１」ずつ加算される。また、外側のループのステップＳ９１９においてＹ座標の変数ｊが「１」ずつ加算される。
【００６７】
内側ループにおいて、奥行設定部２２０により注目画素（ｉ，ｊ）の奥行Ｄ（ｉ，ｊ）が設定される（ステップＳ９１３）。そして、右目座標算出部２４２において右目画像における座標が算出される（ステップＳ９１４）。この算出された座標に基づいて、右目画像生成部２５２において右目画像における更新画素が決定され（ステップＳ９２０）、右目画像が更新される（ステップＳ９１５）。
【００６８】
内側ループにおいて、Ｘ座標が最大値Ｘｍａｘに達するまでは（ステップＳ９１６）、Ｘ座標の変数ｉが「１」ずつ加算される（ステップＳ９１７）。Ｘ座標が最大値Ｘｍａｘに達すると、外側ループにおいて、Ｙ座標が最大値Ｙｍａｘに達するまでは（ステップＳ９１８）、Ｙ座標の変数ｊが「１」ずつ加算される（ステップＳ９１９）。Ｙ座標が最大値Ｙｍａｘに達すると、１つの二次元画像１１に関する処理は終了する。
【００６９】
なお、ステップＳ９１３は、特許請求の範囲に記載の奥行設定手順の一例である。また、ステップＳ９１４は、特許請求の範囲に記載の座標算出手順の一例である。また、ステップＳ９１５およびＳ９２０は、特許請求の範囲に記載の画像生成手順の一例である。
【００７０】
図１８は、本発明の第１の実施の形態における右目座標算出処理（ステップＳ９１４）の例を示す図である。図１８（ａ）には、図１６により説明したように、画素８１０（Ｐ（ｉ，ｊ））の周囲の座標８１１乃至８１４が示されている。図１８（ｂ）には、座標８１１乃至８１４の変換後の座標８２１乃至８２４が示されている。変換後の座標８２１乃至８２４は、左上の座標８２１をＰ１'（ｉ，ｊ）、右上の座標８２２をＰ２'（ｉ，ｊ）、左下の座標８２３をＰ３'（ｉ，ｊ）、右下の座標８２４をＰ４'（ｉ，ｊ）とそれぞれ表記する。
【００７１】
例えば、Ｐ１'（ｉ，ｊ）のＸ座標およびＹ座標は、式４および式５より次式のように表される。なお、変換後の座標がディスプレイ領域をはみ出した場合は、ディスプレイ端の座標に置換する必要がある。
ｘＰ１'（ｉ，ｊ）＝（Ｌ／（Ｌ−Ｄ））・ｘＰ１（ｉ，ｊ）−（Ｅ・Ｄ）／（２・（Ｌ−Ｄ））
ｙＰ１'（ｉ，ｊ）＝ｙＰ１（ｉ，ｊ）・Ｌ／（Ｌ−Ｄ）
同様に、Ｐ２'、Ｐ３'およびＰ４'についても算出される。
【００７２】
図１９は、本発明の第１の実施の形態による三次元画像生成装置２００における右目画像更新画素決定処理（ステップＳ９２０）の処理手順例を示す図である。更新される画素（以下、更新画素という。）は、以下の手順により決定される。すなわち、更新画素の候補が全て求められ、その中から上書きすべき画素の判定が行われる。このとき、既にデータが書き込まれているかが判定され、もし書き込まれていたのであれば、それを上書きすべきか否かが判定される。そして、後処理として、判定データ（後述する書込済データおよび上書き優先度データ）が更新される。
【００７３】
まず、変換後の４点の座標を結ぶ矩形に触れている画素が更新候補画素として設定される（ステップＳ９２１）。例えば、図２０（ａ）のように変換後の４点の座標８２１乃至８２４が得られている場合、座標８２１乃至８２４を結ぶ矩形に触れている画素が更新候補画素として設定される。図２０（ｂ）における網掛け部分がこの更新候補画素に該当する。
【００７４】
そして、更新候補画素の中から対象画素が一つ選定される（ステップＳ９２２）。各画素には、書込済であることを示すデータを保持しておくものとする。更新候補画素の中で書込済となっていない対象画素は（ステップＳ９２３）、更新画素となる（ステップＳ９２５）。
【００７５】
図２１は、この書込済判定を行う様子を示す図である。図２１（ａ）の更新候補画素８２０に対して、書込済データ８３０が図２１（ｂ）のように保持されていた場合、未書込みであるとして更新される未書込更新画素８４０は図２１（ｃ）に示すようになる。
【００７６】
一方、更新候補画素の中で書込済となっている対象画素については（ステップＳ９２３）、さらに以下の判定が行われる。各画素には、上書き優先度を示すデータを保持しておくものとする。この上書き優先度としては、深度情報ｄ（ｉ，ｊ）を利用することができる。これにより、深度情報として手前に存在すべきものが優先的に上書きされて、最終的に表示されるようになる。したがって、上書き優先度が高いと判断された対象画素は（ステップＳ９２４）、更新画素となる（ステップＳ９２５）。一方、上書き優先度が高くないと判断された対象画素は（ステップＳ９２４）、非更新画素となる（ステップＳ９２６）。
【００７７】
図２２は、この優先度判定を行う様子を示す図である。図２２（ａ）は、図２１（ｃ）と同様のものである。図２２（ｂ）のように二次元画像１１の画素８１０に対応する深度情報ｄ（ｉ，ｊ）が「１２８」と仮定して、図２２（ｃ）の上書き優先度データに書き込まれている値と比較する。その結果、図２２（ｃ）における網掛け部分は、画素８１０の深度情報ｄ（ｉ，ｊ）よりも上書き優先度が小さい画素として判断され、更新画素とされた画素である。なお、「０」となっている画素は、まだデータが書き込まれていない画素である。これにより、未書込更新画素８４０と合わせて更新画素８５０が決定される。
【００７８】
図１９に戻り、更新候補画素の各々を対象画素として上述の判定が繰り返され（ステップＳ９２８）、全ての更新候補画素に対して判定が完了すると（ステップＳ９２７）、書込済データおよび上書き優先度データが更新される（ステップＳ９２９）。なお、書込済データおよび上書き優先度データを判定データと総称する。
【００７９】
図２３は、この判定データの更新を行う様子を示す図である。図２３（ａ）は、図２２（ｄ）と同様のものである。更新画素８５０が決定したことにより、図２３（ｂ）の書込済データおよび図２３（ｃ）の上書き優先度データが更新される。
【００８０】
図２４は、本発明の第１の実施の形態における右目画像更新処理（ステップＳ９１５）の例を示す図である。これまでの処理により決定した右目画像の更新画素８５０に対して、二次元画像１１の画素８１０の画素値が代入されることにより、右目画像の更新が行われる。
【００８１】
図２５は、本発明の第１の実施の形態による三次元画像生成装置２００における左目画像生成の処理手順例を示す図である。図１７の処理手順では右目画像が生成されたが、この図の処理手順では左目画像が生成される。座標の変換式は式３および式６が用いられる点が異なるが、基本的な処理内容は図１７のものと同様であるため、ここでの詳細な説明は省略する。
【００８２】
なお、ステップＳ９３３は、特許請求の範囲に記載の奥行設定手順の一例である。また、ステップＳ９３４は、特許請求の範囲に記載の座標算出手順の一例である。また、ステップＳ９３５およびＳ９４０は、特許請求の範囲に記載の画像生成手順の一例である。
【００８３】
なお、上述の本発明の実施の形態による処理手順は、テクスチャマッピングを利用したものであるが、本発明はこれに限定されるものではない。例えば、上述の例では１画素ずつ処理する手法を例に示したが、他の手法として複数の画素を１つの単位として同様の枠組みにより処理することで処理量を削減する手法を用いてもよい。
【００８４】
［立体視の様子］
図２６は、本発明の第１の実施の形態により生成される立体視の様子をまとめた図である。表示面７１０において、物体７４０は、左目画像の像７５０と右目画像の像７６０に投影される。表示面７１０から視聴距離Ｌの位置において視聴した場合、表示面７１０における物体７４０は、奥行Ｄ（ｘｐ，ｙｐ）の位置の立体視像７３０として形成される。物体７４０の大きさは立体視像７３０においても維持され、「大きさの恒常性」を担保した状態で、鉛直方向に飛び出し、または、引っ込むように形成される。
【００８５】
このように、本発明の第１の実施の形態によれば、二次元画像から三次元画像を生成する際に、「大きさの恒常性」を担保することができる。これにより、過度な視差をつけることなく適切に立体感を高めることができ、視差に起因するストレスを低減することができる。
【００８６】
＜２．第２の実施の形態＞
本発明の第２の実施の形態では、物体の拡大率を指定できるようにすることにより、視聴者に体感される奥行をより強調させる。この第２の実施の形態では、三次元画像表示システムの全体構成は図１および図２において説明した第１の実施の形態と同様の構成となるため、ここでは説明を省略する。
【００８７】
［三次元画像表示システムの構成例］
図２７は、本発明の第２の実施の形態における三次元画像生成装置２００の機能構成例を示す図である。この第２の実施の形態における三次元画像生成装置２００は、第１の実施の形態の構成と比べて、拡大率指定部２６１およびオブジェクト領域認識部２７０を加えた点が異なり、それ以外は同様の構成を備えている。したがって、ここでは重複する部分については説明を省略する。
【００８８】
拡大率指定部２６１は、物体を拡大する割合である拡大率Ｓを指定するものである。二次元画像における物体は、奥行Ｄ（ｘｐ，ｙｐ）の位置において、指定された拡大率Ｓによって拡大された立体視像として形成される。この拡大率指定部２６１は、操作受付部２０１により実現される。
【００８９】
オブジェクト領域認識部２７０は、二次元画像に含まれるオブジェクト領域を認識して、物体として抽出し、スケーリングのための中心座標Ｃを求めるものである。オブジェクト領域を認識するためには、種々の手法が利用可能である。例えば、深度情報ｄ（ｘｐ，ｙｐ）の値が近い画素同士を同じオブジェクト領域に属するものと判断してもよい。また、画素値Ｐ（ｘｐ，ｙｐ）が近い画素同士を同じオブジェクト領域に属するものと判断してもよい。
【００９０】
［左目座標および右目座標の算出手法］
図２８は、本発明の第２の実施の形態における右目座標算出処理の例を示す図である。図２８（ａ）のようにオブジェクト領域８６０が認識されると、そのオブジェクトの重心８６９の座標（Ｓｘ，Ｓｙ）が求められる。そして、この重心８６９を中心座標Ｃとして、拡大率Ｓに従って拡大され、座標８１１乃至８１４は座標８７１乃至８７４に変換される。図２８（ｂ）には、座標８１１乃至８１４の変換後の座標８７１乃至８７４が示されている。変換後の座標８７１乃至８７４は、左上の座標８７１をＰ１"（ｉ，ｊ）、右上の座標８７２をＰ２"（ｉ，ｊ）、左下の座標８７３をＰ３"（ｉ，ｊ）、右下の座標８７４をＰ４"（ｉ，ｊ）とそれぞれ表記する。この第２の実施の形態における変換式については、後述する。
【００９１】
なお、この図の例では右目座標算出処理について説明したが、左目座標算出処理も同様であるため、ここでの説明は省略する。
【００９２】
図２９は、本発明の第２の実施の形態における左目画像および右目画像のＸ座標の算出手法を説明するための上面図である。この第２の実施の形態でも上述の第１の実施の形態と同様に、表示面７１０から視聴距離Ｌの位置に両眼７２０が存在すると仮定している。視聴距離Ｌは、視聴距離設定部２３０によって表示高ｈの３倍の値が設定されるものとする。両眼距離Ｅは、標準的な値として、例えば６５ｍｍを用いることができる。また、表示面７１０からの奥行Ｄ（ｘｐ，ｙｐ）は、奥行設定部２２０によって、上述の式１または式２から得られるものとする。ただし、これにより、視聴距離Ｌにおいて、物体７８０は鉛直方向に奥行Ｄ（ｘｐ，ｙｐ）をもって飛び出した位置の立体視像７３０として認識される。ただし、物体７８０の大きさは、物体７４０に対して拡大率Ｓを乗じたサイズとなるため、Ｘ座標方向の長さも拡大率Ｓを乗じたサイズとなる。
【００９３】
以下では、物体７４０の隅を注目画素（ｘｐ，ｙｐ）として、そのＸ座標ｘｐを左目画像上の座標ｘＬおよび右目画像上の座標ｘＲに変換する場合の変換式について考察する。
【００９４】
図３０および図３１は、本発明の第２の実施の形態における右目画像のＸ座標の算出手法を説明するための上面図である。
【００９５】
まず、図３０のように、オブジェクト領域認識部２７０によって抽出された物体７４０の中心座標ＣのＸ座標をＳｘとすると、この中心座標Ｓｘと物体７４０の右隅の座標ｘｐの距離は、「ｘｐ−Ｓｘ」となる。奥行Ｄの位置において拡大率Ｓ倍となることから、物体７８０の右隅の座標は、「Ｓｘ＋Ｓ・（ｘｐ−Ｓｘ）」となる。
【００９６】
この座標系では両眼の中央をＸ座標方向の原点としているため、図３１のように右目から表示面に対して垂直に延ばした補助線を考えると、注目画素のＸ座標ｘｐに対応する右目画像のＸ座標ｘＲと右目７２２により定義される三角形において、次式が成り立つ。
Ｌ：（ｘＲ−Ｅ／２）＝（Ｌ−Ｄ）：（Ｓｘ＋Ｓ・（ｘｐ−Ｓｘ）−Ｅ／２）
上式をｘＲについて解くと、次式のようになる。
ｘＲ＝（Ｅ／２）＋（Ｓｘ＋Ｓ・（ｘｐ−Ｓｘ）−Ｅ／２）・Ｌ／（Ｌ−Ｄ）
【００９７】
また、同様の算出手法により注目画素のＸ座標ｘｐに対応する左目画像のＸ座標ｘＬは次式のようになる。
ｘＬ＝（−Ｅ／２）＋（Ｓｘ＋Ｓ・（ｘｐ−Ｓｘ）＋Ｅ／２）・Ｌ／（Ｌ−Ｄ）
【００９８】
図３２は、本発明の第２の実施の形態における左目画像および右目画像のＹ座標の算出手法を説明するための側面図である。視聴距離Ｌや奥行Ｄ（ｘｐ，ｙｐ）については、Ｘ座標を算出する際に用いたものと同様である。すなわち、視聴距離Ｌにおいて、物体７４０は鉛直方向に奥行Ｄ（ｘｐ，ｙｐ）をもって飛び出した位置の立体視像７８０として認識される。ただし、物体７８０の大きさは、物体７４０に対して拡大率Ｓを乗じたサイズとなるため、Ｙ座標方向の長さも拡大率Ｓを乗じたサイズとなる。
【００９９】
以下では、物体７４０の隅を注目画素（ｘｐ，ｙｐ）として、そのＹ座標ｙｐを左目画像上の座標ｙＬおよび右目画像上の座標ｙＲに変換する場合の変換式について考察する。ただし、Ｘ座標と異なり、Ｙ座標の場合は左目画像と右目画像とで一致するため、右目画像の座標ｙＲについて説明することとする。
【０１００】
まず、オブジェクト領域認識部２７０によって抽出された物体７４０の中心座標ＣのＹ座標をＳｙとすると、この中心座標Ｓｙと物体７４０の右隅の座標ｘｐの距離は、「ｙｐ−Ｓｙ」となる。奥行Ｄの位置において拡大率Ｓ倍となることから、物体７８０の右隅の座標は、「Ｓｙ＋Ｓ・（ｙｐ−Ｓｙ）」となる。
【０１０１】
両眼の中心を表示面に対して垂直に延ばした補助線を考えると、注目画素のＹ座標ｙｐに対応する右目画像のＹ座標ｙＲと両眼７２０により定義される三角形において、次式が成り立つ。
Ｌ：ｙＲ＝（Ｌ−Ｄ）：（Ｓｙ＋Ｓ・（ｙｐ−Ｓｙ））
上式をｙＲについて解くと、次式のようになる。
ｙＲ＝（Ｓｙ＋Ｓ・（ｙｐ−Ｓｙ））・Ｌ／（Ｌ−Ｄ）
【０１０２】
［立体視の様子］
図３３は、本発明の第２の実施の形態により生成される立体視の様子をまとめた図である。表示面７１０において、Ｘ座標方向の幅Ｗを有する物体７４０は、表示面７１０から視聴距離Ｌの位置において視聴した場合、奥行Ｄ（ｘｐ，ｙｐ）の位置において幅Ｓ・Ｗを有する立体視像７８０として形成される。このときの物体７４０に対応する、右目画像における像の幅はＷ'であり、Ｗよりも大きい。
【０１０３】
第１の実施の形態と比べるために、幅がＷとなる立体視像７９０の位置を同図に示す。この立体視像７９０の位置は視聴者にとっての体感奥行Ｄ'となる。すなわち、この第２の実施の形態によれば、指定された拡大率Ｓに応じて視聴者において体感される立体感を高めることができる。奥行を強調するためには、図１３および図１４により説明したように、奥行強調レベル指定部２２１により指定された奥行強調レベルαに応じて奥行Ｄを設定することも可能であるが、拡大率Ｓによる立体感の向上は仕組みが異なっている。以下、この拡大率Ｓによる立体感の向上について説明する。
【０１０４】
体感奥行Ｄ'は、奥行Ｄ、視聴距離Ｌ、および、拡大率Ｓを用いて、次式により表される。
Ｄ'＝（Ｌ・（Ｓ−１）＋Ｄ）／Ｓ
【０１０５】
ここで、第２の実施の形態による視差ＤＰを求めると、奥行Ｄ、視聴距離Ｌ、および、両眼距離Ｅを用いて、次式により表される。
ＤＰ＝（Ｅ・Ｄ）／（Ｌ−Ｄ）
【０１０６】
これに対し、体感奥行Ｄ'が得られる視差ＤＰ'は、次式により表される。
ＤＰ'＝（Ｅ・Ｄ'）／（Ｌ−Ｄ'）
＝Ｅ・（Ｌ・（Ｓ−１）＋Ｄ）／（Ｓ・Ｌ−（Ｌ・（Ｓ−１）＋Ｄ））
【０１０７】
例えば、拡大率Ｓを「２」、視聴距離Ｌを「１．７ｍ」、奥行Ｄを「０．５ｍ」、両眼距離Ｅを「６５ｍｍ」とすると、第２の実施の形態による視差ＤＰは「２７ｍｍ」となる。これは、拡大率Ｓを「１」とした場合に相当する第１の実施の形態の視差ＤＰ'の「１１９ｍｍ」と比べても、見かけ上の網膜像の大きさを同じにしつつ、約四分の一程度の視差に抑えていることになる。このように、視聴者に対して与えられる視差に起因するストレスを、この第２の実施の形態によって減少させることができる。
【０１０８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１０９】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０１１０】
１０  入力画像
１１  二次元画像
１２  深度情報
３０  出力画像
３１  左目画像
３２  右目画像
１００  画像記憶装置
２００  三次元画像生成装置
２０１  操作受付部
２０２  条件設定部
２０３  画像変換部
２１０  入力画像保持部
２１１  二次元画像保持部
２１２  深度情報保持部
２２０  奥行設定部
２２１  奥行強調レベル指定部
２２２  奥行オフセット指定部
２３０  視聴距離設定部
２３１  表示サイズ指定部
２４１  左目座標算出部
２４２  右目座標算出部
２５１  左目画像生成部
２５２  右目画像生成部
２６１  拡大率指定部
２７０  オブジェクト領域認識部
２９０  出力画像保持部
２９１  左目画像保持部
２９２  右目画像保持部
３００  表示制御装置
４００  画像表示装置
４１１  Ｘ座標移動量算出部
４１２  Ｙ座標移動量算出部
４２１  Ｘ座標位置算出部
４２２  Ｙ座標位置算出部
【図１】
2011139281.tif 000003
【図２】
2011139281.tif 000004
【図３】
2011139281.tif 000005
【図４】
2011139281.tif 000006
【図５】
2011139281.tif 000007
【図６】
2011139281.tif 000008
【図７】
2011139281.tif 000009
【図８】
2011139281.tif 000010
【図９】
2011139281.tif 000011
【図１０】
2011139281.tif 000012
【図１１】
2011139281.tif 000013
【図１２】
2011139281.tif 000014
【図１３】
2011139281.tif 000015
【図１４】
2011139281.tif 000016
【図１５】
2011139281.tif 000017
【図１６】
2011139281.tif 000018
【図１７】
2011139281.tif 000019
【図１８】
2011139281.tif 000020
【図１９】
2011139281.tif 000021
【図２０】
2011139281.tif 000022
【図２１】
2011139281.tif 000023
【図２２】
2011139281.tif 000024
【図２３】
2011139281.tif 000025
【図２４】
2011139281.tif 000026
【図２５】
2011139281.tif 000027
【図２６】
2011139281.tif 000028
【図２７】
2011139281.tif 000029
【図２８】
2011139281.tif 000030
【図２９】
2011139281.tif 000031
【図３０】
2011139281.tif 000032
【図３１】
2011139281.tif 000033
【図３２】
2011139281.tif 000034
【図３３】
2011139281.tif 000035