(57)【要約】【課題】前景や背景に生じる視差量をその視差量に応じて重み付け調整をする（強弱をつける）ことができ、より好ましい立体感のある視差画像を出力可能にする。【解決手段】複数の視点から同一被写体を撮影した複数の視点画像を取得し、各視点画像のそれぞれ対応する特徴点の座標値から各特徴点における視差量を取得する（ステップＳ１０、Ｓ１２）。一方、３Ｄの表示デバイスの情報を取得し（ステップＳ１４）、表示デバイの種別、画面サイズに適した視差量の変換テーブルであって、視差量に応じて重み付けが異なる変換テーブルを選択する（ステップＳ２０、Ｓ２２、Ｓ２４）。各特徴点における視差量を選択した変換テーブルにより変換し、変換後の視差量に対応する視差画像を生成し、生成した視差画像を含む複数の視差画像を表示デバイスに出力する（ステップＳ２６、Ｓ２８）。【選択図】  図１８
2010206774.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、
前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、
前記取得した各特徴点の視差量を調整する視差量調整手段であって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整手段と、
前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、
前記生成した視差画像を含む複数の視差画像を出力する視差画像出力手段と、
を備えたことを特徴とする３次元画像出力装置。
【請求項２】
前記視差情報取得手段は、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点の座標値を取得し、該座標値の差分を各特徴点における視差量として取得することを特徴とする請求項１に記載の３次元画像出力装置。
【請求項３】
前記視差情報取得手段は、前記視点画像中で最も近くに見える特徴点の視差量を代表する前景代表視差量と、最も遠くに見える特徴点の視差量を代表する背景代表視差量とを含む複数の視差量を取得することを特徴とする請求項１又は２に記載の３次元画像出力装置。
【請求項４】
前記視差量調整手段は、前記視差情報取得手段により取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴とする請求項１から３のいずれかに記載の３次元画像出力装置。
【請求項５】
前記視差量調整手段は、前記近くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行うことを特徴とする請求項１から４のいずれかに記載の３次元画像出力装置。
【請求項６】
前記視差量調整手段は、前記近くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行うことを特徴とする請求項１から４のいずれかに記載の３次元画像出力装置。
【請求項７】
前記視差量調整手段は、調整後の前景代表視差量と背景代表視差量とがそれぞれ所定の視差量となるように調整することを特徴とする請求項１から６のいずれかに記載の３次元画像出力装置。
【請求項８】
前記視差量調整手段は、視差量と該視差量を調整する視差調整パラメータとの入出力関係を示す変換テーブルを有し、前記変換デーブルから前記取得した各特徴点の視差量に対応する視差調整パラメータを読み出し、この読み出した視差調整パラメータに基づいて前記視差量に対して重み付けの異なる調整を行うことを特徴とする請求項１から７のいずれかに記載の３次元画像出力装置。
【請求項９】
前記視差量調整手段は、視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記変換テーブルから前記取得した各特徴点の視差量に対応する調整後の視差量を読み出すことを特徴とする請求項１から７のいずれかに記載の３次元画像出力装置。
【請求項１０】
前記変換テーブルは、調整後の視差量が予め設定された最大視差量を越えないように入出力関係が制限されていることを特徴とする請求項８又は９に記載の３次元画像出力装置。
【請求項１１】
前記視差量調整手段は、入出力関係が異なる複数の変換テーブルを有し、立体表示に使用される表示部のサイズ、又は視距離に応じて前記複数の変換テーブルから１つの変換テーブルを選択することを特徴とする請求項８から１０のいずれかに記載の３次元画像出力装置。
【請求項１２】
立体表示に使用される表示部に関する情報のうち、少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得手段を更に備え、
前記視差量調整手段は、前記表示部情報取得手段により取得された表示部情報に基づいて該表示情報に対応する視差量の調整を行うことを特徴とする請求項１から１１のいずれかに記載の３次元画像出力装置。
【請求項１３】
複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、
前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、
前記取得した各特徴点の視差量を調整する視差量調整ステップであって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整ステップと、
前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、
前記生成した視差画像を含む複数の視差画像を出力する視差画像出力ステップと、
を含むことを特徴とする３次元画像出力方法。
【請求項１４】
前記視差情報取得ステップは、前記視点画像中で最も近くに見える特徴点の視差量を代表する前景代表視差量と、最も遠くに見える特徴点の視差量を代表する背景代表視差量とを含む複数の視差量を取得することを特徴とする請求項１３に記載の３次元画像出力方法。
【請求項１５】
前記視差量調整ステップは、前記視差情報取得ステップにより取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴とする請求項１３又は１４に記載の３次元画像出力方法。
【請求項１６】
立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得ステップを更に含み、
前記視差量調整ステップは、前記近くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行う第１の視差量調整ステップ、及び前記近くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行う第２の視差量調整ステップを含む複数の視差量調整ステップのうち、前記取得した表示部情報に基づいて前記複数の視差量調整ステップのうちのいずれか１つの視差量調整ステップを選択し、該選択した視差量調整ステップにて視差量を調整することを特徴とする請求項１５に記載の３次元画像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元画像出力装置及び方法に係り、特に３次元画像表示デバイスにより良好な３次元画像（立体画像）を表示させる技術に関する。
【背景技術】
【０００２】
従来、使用する立体表示デバイスに応じて立体画像を構成する視点画像の視点位置を自動的に調整し、観察時のクロストークを少なくして自然な立体画像として表示できるようにした立体画像生成方法が提案されている（特許文献１）。
【０００３】
この特許文献１に記載の立体画像生成方法は、立体表示デバイスに関するデバイス情報からその立体表示デバイスに対応した複数の視点を決定し、この決定した複数の視点と複数の第１の視点画像の視差に関する視差情報とから、前記第１の視点画像を前記複数の視点に対応する複数の第２の視差画像に変換するようにしている。
【０００４】
また、３次元映像を種々の立体表示デバイスに表示する際に、立体表示デバイスのサイズが大きい場合又は解像度が低くなる場合に、視差量が拡大されるため、立体視できなくなるという問題を解決するために、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させることにより視差量を変更するようにした立体映像再生装置が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１１５１９８号公報
【特許文献２】特開２００５−７３０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の立体画像生成方法は、使用する立体表示デバイスのサイズ等の情報により仮想視点を決め、その仮想視点から恰も撮影されたような視差画像を生成するため、観察時のクロストークを少なくすることができ、立体画像として表示させることができるが、被写体の遠近に関係なく一律に視差画像を生成するため、元の複数の視点画像によっては立体感の乏しい立体画像になったり、立体感が強調されすぎた立体画像になるおそれがあり、必ずしも好ましい立体感が得られる立体画像を生成することができない。
【０００７】
また、特許文献２に記載の立体映像再生装置は、特許文献１に記載の発明と同様に、より好ましい立体感のある立体映像を再生することができず、更に、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させるため、立体表示デバイスの表示画面全体を有効に利用することができないという問題がある。
【０００８】
即ち、特許文献１、２に記載の発明は、使用する立体表示デバイスに関わらず、立体画像として視認できるように立体画像を生成するものであり、より好ましい立体感が得られる立体画像を生成するための工夫はなされていない。
【０００９】
本発明はこのような事情に鑑みてなされたもので、前景や背景に生じる視差量をその視差量に応じて重み付け調整をする（強弱をつける）ことができ、より好ましい立体感のある視差画像を出力することができる３次元画像出力装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために請求項１に係る３次元画像出力装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、前記取得した各特徴点の視差量を調整する視差量調整手段であって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整手段と、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、前記生成した視差画像を含む複数の視差画像を出力する視差画像出力手段と、を備えたことを特徴としている。
【００１１】
請求項１に係る発明によれば、特許文献１に記載の発明のように仮想視点を決めることにより被写体の遠近に関係なく一律に視差量を調整する場合に比べて視差量の調整の自由度が高く、前景や背景に対して視差量の調整を自由に行うこと（視差の強弱を自由につけること）ができ、より好ましい立体感のある視差画像を生成出力することができる。
【００１２】
請求項２に示すように請求項１に記載の３次元画像出力装置において、前記視差情報取得手段は、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点の座標値を取得し、該座標値の差分を各特徴点における視差量として取得することを特徴としている。
【００１３】
前記視差情報取得手段は、複数の組の特徴点の座標値を、複数の視点画像が格納された３次元画像ファイルの属性情報から読み取ることにより取得するようにしてもよいし、複数の視差画像からそれぞれ対応する特徴点を抽出することより取得するようにしてもよい。
【００１４】
請求項３に示すように請求項１又は２に記載の３次元画像出力装置において、前記視差情報取得手段は、前記視点画像中で最も近くに見える特徴点の視差量を代表する前景代表視差量と、最も遠くに見える特徴点の視差量を代表する背景代表視差量とを含む複数の視差量を取得することを特徴としている。
【００１５】
前記視差情報取得手段は、前記前景代表視差量及び背景代表視差量を、複数の視点画像が格納された３次元画像ファイルの属性情報から読み取ることにより取得するようにしてもよいし、複数の組の特徴点の座標値の差分値の最大値及び最小値を検出することにより取得するようにしてもよい。
【００１６】
請求項４に示すように請求項１から３のいずれかに記載の３次元画像出力装置において、前記視差量調整手段は、前記視差情報取得手段により取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴としている。
【００１７】
尚、視差量に応じて重み付けの異なる視差量の調整を、上記のように３種類以上に分類した分類別（段階的）に行う場合に限らず、連続的に行ってもよい。
【００１８】
請求項５に示すように請求項１から４のいずれかに記載の３次元画像出力装置において、前記視差量調整手段は、前記近くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行うことを特徴としている。
【００１９】
これにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【００２０】
請求項６に示すように請求項１から４のいずれかに記載の３次元画像出力装置において、前記視差量調整手段は、前記近くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行うことを特徴としている。
【００２１】
これにより、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
【００２２】
請求項７に示すように請求項１から６のいずれかに記載の３次元画像出力装置において、前記視差量調整手段は、調整後の前景代表視差量と背景代表視差量とがそれぞれ所定の視差量となるように調整することを特徴としている。
【００２３】
これにより、立体感の強調等によるクロストークが生じないようにすることができる。
【００２４】
請求項８に示すように請求項１から７のいずれかに記載の３次元画像出力装置において、前記視差量調整手段は、視差量と該視差量を調整する視差調整パラメータとの入出力関係を示す変換テーブルを有し、前記変換デーブルから前記取得した各特徴点の視差量に対応する視差調整パラメータを読み出し、この読み出した視差調整パラメータに基づいて前記視差量に対して重み付けの異なる調整を行うことを特徴としている。
【００２５】
請求項９に示すように請求項１から７のいずれかに記載の３次元画像出力装置において、前記視差量調整手段は、視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記変換テーブルから前記取得した各特徴点の視差量に対応する調整後の視差量を読み出すことを特徴としている。
【００２６】
請求項１０に示すように請求項８又は９に記載の３次元画像出力装置において、前記変換テーブルは、調整後の視差量が予め設定された最大視差量を越えないように入出力関係が制限されていることを特徴としている。これは、視差をつけ過ぎると、立体視しにくくなるからである。
【００２７】
請求項１１に示すように請求項８から１０のいずれかに記載の３次元画像出力装置において、前記視差量調整手段は、入出力関係が異なる複数の変換テーブルを有し、立体表示に使用される表示部のサイズ、又は視距離に応じて前記複数の変換テーブルから１つの変換テーブルを選択することを特徴としている。
【００２８】
請求項１２に示すように請求項１から１１のいずれかに記載の３次元画像出力装置において、立体表示に使用される表示部に関する情報のうち、少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得手段を更に備え、前記視差量調整手段は、前記表示部情報取得手段により取得された表示部情報に基づいて該表示情報に対応する視差量の調整を行うことを特徴としている。
【００２９】
これによれば、立体表示に使用される表示部の種類に応じてその表示部の立体表示の特性にあった視差画像の生成が可能になる。
【００３０】
請求項１３に係る３次元画像出力方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、前記取得した各特徴点の視差量を調整する視差量調整ステップであって、視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う視差量調整ステップと、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、前記生成した視差画像を含む複数の視差画像を出力する視差画像出力ステップと、を含むことを特徴としている。
【００３１】
請求項１４に示すように請求項１３に記載の３次元画像出力方法において、前記視差情報取得ステップは、前記視点画像中で最も近くに見える特徴点の視差量を代表する前景代表視差量と、最も遠くに見える特徴点の視差量を代表する背景代表視差量とを含む複数の視差量を取得することを特徴としている。
【００３２】
請求項１５に示すように請求項１３又は１４に記載の３次元画像出力方法において、前記視差量調整ステップは、前記視差情報取得ステップにより取得した複数の視差量を、少なくとも近くに見える特徴点の視差量、遠くに見える特徴点の視差量、及びそれ以外の特徴点の視差量の３種類以上に分類し、前記分類した視差量ごとに重み付けの異なる視差量の調整を行うことを特徴としている。
【００３３】
請求項１６に示すように請求項１５に記載の３次元画像出力方法において、立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得する表示部情報取得ステップを更に含み、前記視差量調整ステップは、前記近くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行う第１の視差量調整ステップ、及び前記近くに見える特徴点の視差量に対して該視差量を小さくする重み付け調整を行い、前記遠くに見える特徴点の視差量に対して該視差量を大きくする重み付け調整を行う第２の視差量調整ステップを含む複数の視差量調整ステップのうち、前記取得した表示部情報に基づいて前記複数の視差量調整ステップのうちのいずれか１つの視差量調整ステップを選択し、該選択した視差量調整ステップにて視差量を調整することを特徴としている。
【００３４】
これによれば、立体表示に使用される表示部の種類に応じてその表示部の立体表示の特性にあった視差画像の生成が可能になる。
【発明の効果】
【００３５】
本発明によれば、被写体の遠近により生じる前景や背景の複数の視差画像間における視差量を、その視差量に応じて重み付して調整したため、前景や背景の視差に所望の強弱をつけた視差画像を生成することができ、より好ましい立体感のある視差画像を出力することができる。
【図面の簡単な説明】
【００３６】
【図１】図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。
【図２】図２は図１に示した３次元画像出力装置の内部構成を示すブロック図である。
【図３】図３は画像内の特徴点の例を示す図である。
【図４】図４は複数の撮像部と視点番号の付与例を示す図である。
【図５】図５は各視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値の例を示す図である。
【図６】図６は仮想視点位置と視差調整パラメータΔｔとの関係を示す図である。
【図７】図７は視差調整パラメータΔｔの例を示すグラフである。
【図８】図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラの内部構成を示すブロック図である。
【図９】図９は３Ｄ画像用の３Ｄ画像ファイルのデータ構造を示す図である。
【図１０】図１０は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの例を示す図である。
【図１１】図１１は各視点の代表視差量の例を示す図表である。
【図１２】図１２は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの他の例を示す図である。
【図１３】図１３は視差調整パラメータΔｘの一例を示すグラフである。
【図１４】図１４は各特徴点の視差量と視差調整パラメータΔｘとの関係を示す図表である。
【図１５】図１５は視差調整パラメータΔｐの一例を示すグラフである。
【図１６】図１６は視差量の変換テーブルの一例を示すグラフである。
【図１７】図１７は視差量の変換テーブルの他の例を示すグラフである。
【図１８】図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。
【図１９】図１９は視差調整パラメータΔｘの他の例を示すグラフである。
【図２０】図２０は視差調整パラメータΔｘの更に他の例を示すグラフである。
【発明を実施するための形態】
【００３７】
以下、添付図面に従って本発明に係る３次元画像出力装置及び方法の実施の形態について説明する。
【００３８】
［３次元画像出力装置の第１実施形態］
図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。
【００３９】
図１に示すように、この３次元画像出力装置（３Ｄ画像出力装置）１０は、カラーの３次元液晶ディスプレイ（以下、「３Ｄ ＬＣＤ」という）１２を搭載したデジタルフォトフレームであり、前面には電源スイッチ、通常表示・スライドショー等を選択する操作部１４が設けられ、側面にはメモリカードスロット１６が設けられている。
【００４０】
図２は上記３Ｄ画像出力装置１０の内部構成を示すブロック図である。
【００４１】
図２に示すように３Ｄ画像出力装置１０は、上記３Ｄ ＬＣＤ１２、操作部１４の他に、中央処理装置（ＣＰＵ）２０、ワークメモリ２２、カードインターフェース（カードＩ／Ｆ）２４、表示コントローラ２６、バッファメモリ２８、ＥＥＰＲＯＭ３０、及び電源部３２を備えている。
【００４２】
３Ｄ ＬＣＤ１２は、複数の視差画像（右目用画像、左目用画像）をレンチキュラレンズやパララックスバリア等によりそれぞれ所定の指向性をもった指向性画像を表示するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。
【００４３】
ＣＰＵ２０は、操作部１４からの入力に基づき所定の制御プログラムに従って３Ｄ画像出力装置１０全体の動作を統括制御する制御手段として機能する。尚、ＣＰＵ２０による制御内容については後述する。
【００４４】
ワークメモリ２２は、ＣＰＵ２０の演算作業用領域及び画像データの一時記憶領域を含んでいる。
【００４５】
カードＩ／Ｆ２４は、デジタルカメラの記録メディアであるメモリカード３４がメモリカードスロット１６に装着されると、メモリカード３４と電気的に接続され、メモリカード３４との間でデータ（画像データ）の送受信を行うための装置である。
【００４６】
表示コントローラ２６は、表示用の画像データ専用の一時記憶領域であるバッファメモリ２８から３Ｄ表示用の画像データ（複数の画像データ）を繰り返し読み出し、３Ｄ ＬＣＤ１２での３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像を表示させる。
【００４７】
電源部３２は、図示しないバッテリ又は商用電源からの電力を制御して、３Ｄ画像出力装置１０各部に動作電力を供給する。
【００４８】
［３Ｄ画像出力装置１０の作用］
操作部１４の電源スイッチがオンされ、再生モードとしてスライドショー再生が設定されている場合には、ＣＰＵ２０は、メモリカードスロット１６に装着されているメモリカード３４からカードＩ／Ｆ２４を介してファイル番号順に画像ファイルを所定のインターバルで読み出す。尚、この画像ファイルは、１つのファイルに複数の視差画像が格納された３Ｄ表示用の３Ｄ画像ファイルであるが、この３Ｄ画像ファイルのデータ構造の詳細は後述する。
【００４９】
ＣＰＵ２０は、読み出した３Ｄ画像ファイルから複数の視差画像と、複数の視差画像上で特徴が一致する複数の組の特徴点の座標値と、複数の組の特徴点の座標値の差分である視差量を取得する。尚、３Ｄ画像ファイルの付属情報中に、上記複数の組の特徴点の座標値等が含まれていない場合には、複数の視差画像を解析して各特徴点の座標値を取得する。
【００５０】
ここで、特徴点は、図３に示すように視差画像内で一意に特定できる特徴のある特徴点ｌ，ｍであり、他の視差画像との間で同じ特徴点ｌ，ｍを特定できるものである。
【００５１】
図５に示すように、４視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値はそれぞれ異なる値をとり、図５に示す例では、特徴点ｌは、視点番号が大きくなるにしたがって（図４に示すように視点位置が左側に移動する程）、ｘ座標値が小さくなり、特徴点ｍは、視点番号が大きくなるにしたがってｘ座標値が大きくなっている。
【００５２】
これは、特徴点ｌを含む被写体は、各撮像部の光軸が交差する位置よりも遠い位置にある遠景であり、特徴点ｍを含む被写体は、各撮像部の光軸が交差する位置よりも近い位置にある前景であることに基づく。
【００５３】
上記特徴点の検出は、従来から様々な手法が提案されており、例えば、ブロックマッチング法、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、ＳＩＦＴ(Scale Invariant Feature Transform)などを用いることができ、また、近年の顔検出技術を特徴点の検出に適用することができる。
【００５４】
また、視差画像中の特徴点は、複数の視差画像間でその特徴が一意に特定できる全ての点をとることが望ましい。
【００５５】
複数の視差画像間で特徴が一致する特徴点の検出に、ブロックマッチング法を適用する場合には、複数の視差画像のうちの１つの画像（例えば、左画像）から任意の画素を基準に切り出した所定のブロックサイズのブロックと、複数の視差画像のうちの他の視差画像（例えば、右画像）のブロックとの一致度を評価し、ブロック間の一致度が最大となるときの右画像のブロックの基準の画素を、前記左画像の任意の画素に対応する右画像の画素とする。
【００５６】
ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。
【００５７】
このＳＳＤブロックマッチング法では、両画像のブロック内の各画素f(i,j)，g(i,j)について、次式の演算を行う。
【００５８】
【数１】
2010206774.tif 000003
【００５９】
上記［数１］式の演算を、右画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。
【００６０】
そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間のずれ量及びずれ方向を示す視差（左右の画像が水平状態で撮影されている場合には、ずれ方向は正負で表すことができる）を求める。
【００６１】
＜視差量の調整の第１実施例＞
次に、本発明に係る視差量の調整方法の第１実施例について説明する。
【００６２】
ＣＰＵ２０は、取得した各組の特徴点の視差量を調整するが、その視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う。
【００６３】
いま、図６に示すように２枚の視差画像（右目用画像Ｒ、左目用画像Ｌ）の視点間の距離をＳとすると、仮想視点（左目用画像Ｌの視点からｔの距離にある視点）で撮影された点線で示す画像（仮想視点画像）上の任意の特徴点の視差量d'(x,y)は、次式により表すことができる。
【００６４】
【数２】
2010206774.tif 000004
【００６５】
ここで、d(x,y)は、上記任意の特徴点の右目用画像Ｒ、左目用画像Ｌ間の視差量である。
【００６６】
特許文献１に記載の発明は、上記のように仮想視点の位置を決定し、その仮想視点位置での視差量d'(x,y)を求めることで、視差量d(x,y)の調整を行っている。
【００６７】
これに対し、本発明の実施例では、仮想視点位置での任意の特徴点の視差量d'(x,y)を、次式により算出することにより視差量の調整を行うようにしている。
【００６８】
【数３】
2010206774.tif 000005
【００６９】
ここで、Δｔは、仮想視点の位置を調整する視差調整パラメータであり、図７のグラフ(1),(2),(3)に示すように、特徴点の視差量の関数である。この視差調整パラメータΔｔにより上記仮想視点の位置は一点鎖線で示すように調整される。
【００７０】
上記［数３］式の意味するところでは、仮想視点の位置を更に視差調整パラメータΔｔにより調整し、例えば、視差調整パラメータΔｔによりｔが大きくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて大きくなり、逆に視差調整パラメータΔｔによりｔが小さくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて小さくなる。
【００７１】
また、図７のグラフ(1),(2)に示す視差調整パラメータΔｔは、視差量が大きい（前景に近い）程、正方向に大きな値をとり、視差量が負方向に大きい（背景に近い）程、負方向に大きな値をとる傾向を示しており、図７のグラフ(3)に示す視差調整パラメータΔｔは、上記グラフ(1),(2)とは逆に、視差量が正方向に大きい程、負方向に大きな値をとり、視差量が負方向に大きい程、正方向に大きな値をとる傾向を示している。
【００７２】
ＣＰＵ２０は、３Ｄ ＬＣＤ１２の少なくともサイズ情報を含む表示部情報に応じて上記グラフ(1),(2),(3)のうちにいずれかのグラフに対応する変換テーブルを、ＥＥＰＲＯＭ３０から読み出し、視差画像中の各特徴点ごとに、その特徴点の視差量に対応する視差調整パラメータΔｔを読み出し、上記［数３］式により視差量d'(x,y)を算出する。尚、仮想視点の位置は、特許文献１に記載の発明と同様に視点画像サイズ、視点画像間の視差に関する視差情報、及び立体表示デバイスのサイズ等の情報により決定することができる。
【００７３】
いま、右目用の視差画像を基準画像とし、左目用の視差画像から視差調整後の視差画像を生成する場合には、左目用の視差画像の各特徴点の基準画像に対する視差量と、この視差量を上記［数３］式により調整した視差量とに基づいて左目用の視差画像の各特徴点の座標値が、前記調整後の視差量をもつ座標値となるように左目用の視差画像を幾何変形される。この幾何変形は、射影変換パラメータを使用した射影変換、アフィン変換パラメータを使用したアフィン変換、ヘルマート変換パラメータを使用したヘルマート変換等によって行うことができる。
【００７４】
ＣＰＵ２０により生成された左目用の視差画像は、右目用の視差画像（基準画像）とともにバッファメモリ２８に出力され、ここに一時記憶される。
【００７５】
表示コントローラ２６は、バッファメモリ２８から２枚の視差画像（右目用画像と左目用画像）を読み出し、３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像（左右の視差画像）を表示させる。
【００７６】
尚、この実施の形態の３Ｄ画像出力装置１０は、３Ｄ ＬＣＤ１２を搭載したデジタルフォトフレームであるが、本発明はこれに限らず、種々の画面サイズを有する立体表示デバイス、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の種類の異なる立体表示デバイス、立体表示プリントを生成するプリンタ等に視差画像を出力する３Ｄ画像出力装置にも適用できる。この場合、立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得し、その表示部情報に基づいて視差量を調整することが好ましい。
【００７７】
例えば、表示サイズが小さい立体表示デバイスの場合には、図７のグラフ(1),(2)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える立体画像（迫力のある立体感のある立体画像）の表示が可能になる。
【００７８】
一方、表示サイズが大きい立体表示デバイスの場合には、図７のグラフ(3)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、前景の飛び出し量を抑制し、背景の奥行き感を強調した立体画像（ソフトな立体感のある立体画像）の表示が可能になる。
【００７９】
［３次元画像出力装置の第２実施形態］
図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラ１００の内部構成を示すブロック図である。
【００８０】
図８に示すように、デジタルカメラ１００は、２つの撮影部１１２Ｒ及び１１２Ｌを備えた複眼カメラである。尚、撮影部１１２は、２つ以上であってもよい。
【００８１】
デジタルカメラ１００は、複数の撮影部１１２Ｒ及び１１２Ｌによって撮影した複数の画像からなる３Ｄ画像を１つの３Ｄ表示用の３Ｄ画像ファイルとして記録することができる。
【００８２】
メインＣＰＵ１１４（以下、「ＣＰＵ１１４」という）は、操作部１１６からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１００全体の動作を統括制御する。
【００８３】
ＣＰＵ１１４には、システムバス１２２を介してＲＯＭ１２４、ＥＥＰＲＯＭ１２６及びワークメモリ１２８が接続されている。ＲＯＭ１２４には、ＣＰＵ１１４が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ１２６には、ユーザ設定情報等のデジタルカメラ１００の動作に関する各種設定情報等が格納される。ワークメモリ１２８は、ＣＰＵ１１４の演算作業用領域及び画像データの一時記憶領域を含んでいる。
【００８４】
操作部１１６は、ユーザが各種の操作入力を行うための手段であり、電源／モードスイッチ、モードダイヤル、レリーズスイッチ、十字キー、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタンを含んでいる。操作用表示部１１８は、操作部１１６からの操作入力の結果を表示するための手段であり、例えば、液晶パネル又は発光ダイオード（ＬＥＤ）を含んでいる。
【００８５】
電源／モードスイッチは、デジタルカメラ１００の電源のオン／オフの切り替え、及びデジタルカメラ１００の動作モード（再生モード及び撮影モード）の切り替え手段である。電源／モードスイッチがオンになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が開始され、デジタルカメラ１００の各種の動作が開始される。また、電源／モードスイッチがオフになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が停止される。
【００８６】
モードダイヤルは、デジタルカメラ１００の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２Ｄの静止画を撮影する２Ｄ静止画撮影モード、２Ｄの動画を撮影する２Ｄ動画撮影モード、３Ｄの静止画を撮影する３Ｄ静止画撮影モード及び３Ｄの動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、２Ｄ画像を撮影するための２Ｄモードであることを示すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、３Ｄ画像を撮影するための３Ｄモードであることを示すフラグが設定される。ＣＰＵ１１４は、撮影モード管理フラグ１３０を参照して、撮影モードの設定を判別する。
【００８７】
レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、レリーズスイッチが半押しされると、撮影準備処理（例えば、ＡＥ（Automatic Exposure：自動露出）処理、ＡＦ（Auto Focus：自動焦点合わせ）処理、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）処理）が行われ、レリーズスイッチが全押しされると、静止画の撮影・記録処理が行われる。また、動画撮影モード時には、レリーズスイッチが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。尚、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けるようにしてもよい。
【００８８】
３Ｄ ＬＣＤ１５０は、図１に示した３Ｄ画像出力装置１０の３Ｄ ＬＣＤ１２と同様の３Ｄ画像表示器であり、撮影した２Ｄ画像又は３Ｄ画像を表示するための画像表示部として機能するとともに、各種設定時にＧＵＩとして機能する。また、３Ｄ ＬＣＤ１５０は、撮影モード時に画角を確認するための電子ファインダとして機能する。
【００８９】
縦／横撮り検出回路１３２は、例えば、デジタルカメラ１００の向きを検出するためのセンサを含んでおり、デジタルカメラ１００の向きの検出結果をＣＰＵ１１４に入力する。ＣＰＵ１１４は、デジタルカメラ１００が向きの場合に、縦撮りと横撮りの切り替えを行う。
【００９０】
次に、デジタルカメラ１００の撮影機能について説明する。尚、図８では、各撮影部１１２Ｒ及び１１２Ｌ内の各部にそれぞれ符号Ｒ及びＬを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号Ｒ及びＬを省略して説明する。
【００９１】
撮影レンズ１６０は、ズームレンズ、フォーカスレンズ及び絞りを備えている。ズームレンズ及びフォーカスレンズは、各撮影部の光軸（図中のＬＲ及びＬＬ）に沿って前後に移動する。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して不図示のズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御してズーミングを行い、測光・測距ＣＰＵ１８０を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御してフォーカシングを行う。また、ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して絞りアクチュエータの駆動を制御することにより、絞りの開口量（絞り値）を制御し、撮像素子１６２への入射光量を制御する。
【００９２】
ＣＰＵ１１４は、３Ｄモード時に複数の画像を撮影する場合に、各撮影部１１２Ｒ及び１１２Ｌの撮影レンズ１６０Ｒ及び１６０Ｌを同期させて駆動する。即ち、撮影レンズ１６０Ｒ及び１６０Ｌは、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。
【００９３】
フラッシュ発光部１７６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。充電／発光制御部１７８は、フラッシュ発光部１７６を発光させるための電流を供給するためのメインコンデンサを含んでいる。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０にフラッシュ発光指令を送信して、メインコンデンサの充電制御、フラッシュ発光部１７６の放電（発光）のタイミング及び放電時間の制御等を行う。尚、フラッシュ発光部１７６としては、発光ダイオードを用いてもよい。
【００９４】
撮影部１１２は、被写体に光を照射するための距離用発光素子１８６（例えば、発光ダイオード）と、上記距離用発光素子１８６により光が照射された被写体の画像（測距用画像）を撮影する距離用撮像素子１８４とを備えている。
【００９５】
測光・測距ＣＰＵ１８０は、ＣＰＵ１１４からの指令に基づいて、所定のタイミングで距離用発光素子１８６を発光させるとともに、距離用撮像素子１８４を制御して測距用画像を撮影させる。
【００９６】
距離用撮像素子１８４によって撮影された測距用画像は、Ａ／Ｄ変換器１９６によりデジタルデータに変換されて、距離情報処理回路１９８に入力される。
【００９７】
距離情報処理回路１９８は、距離用撮像素子１８４から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１１２Ｒ及び１１２Ｌによって撮影された被写体とデジタルカメラ１００との間の距離（被写体距離）を算出する。距離情報処理回路１９８によって算出された被写体距離は、距離情報記憶回路１０３に記録される。
【００９８】
尚、被写体距離の算出方法としては、距離用発光素子１８６が発光してから、距離用発光素子１８６によって照射された光が被写体によって反射され、距離用撮像素子１８４に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。
【００９９】
また、撮影部１１２は、間隔／輻輳角駆動回路１８８及び間隔／輻輳角検出回路１９０を備えている。
【０１００】
間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌは、それぞれ撮影部１１２Ｒ及び１１２Ｌを駆動する。ＣＰＵ１１４は、間隔／輻輳角制御回路１９２を介して間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌを動作させて、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を調整する。
【０１０１】
間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌは、例えば、電波を送受信する手段を含んでいる。ＣＰＵ１１４は、間隔／輻輳角制御回路９２を介して間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌを動作させて、電波を相互に送受信させることにより、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を測定する。撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角の測定結果は、レンズ間隔・輻輳角記憶回路１０２に記憶される。
【０１０２】
撮像素子１６２は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子１６２の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３原色（Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。撮影レンズ１６０によって撮像素子６２の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１４の指令に従ってＴＧ１６４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）として撮像素子１６２から順次読み出される。撮像素子１６２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。
【０１０３】
尚、撮像素子１６２としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。
【０１０４】
アナログ信号処理部１６６は、撮像素子１６２から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子１６２から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部１６６によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部１６６から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１６８によってデジタルのＲ、Ｇ、Ｂ信号に変換されて、画像入力コントローラ（バッファメモリ）１７０に入力される。
【０１０５】
デジタル信号処理部１７２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像入力コントローラ１７０に入力されたデジタルのＲ、Ｇ、Ｂ信号は、デジタル信号処理部１７２によって、同時化処理、ホワイトバランス調整、階調変換及び輪郭補正等の所定の処理が施されるとともに、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹ／Ｃ信号に変換される。
【０１０６】
ライブビュー画像（スルー画）を３Ｄ ＬＣＤ１５０に表示する場合、デジタル信号処理部１７２において生成されたＹ／Ｃ信号がバッファメモリ１４４に順次供給される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、３Ｄ ＬＣＤ１５０にスルー画が表示される。
【０１０７】
ここで、カメラのモードが撮影モードであり、２Ｄモードの場合には、所定の１つの撮影部（例えば、１１２Ｒ）により記録用の画像が撮影される。２Ｄモード時に、撮影部１１２Ｒによって撮影された画像は、圧縮・伸張処理部１７４Ｒによって圧縮される。この圧縮画像データは、メモリコントローラ１３４及びカードＩ／Ｆ１３８を介して、所定形式の画像ファイルとしてメモリカード３４に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。
【０１０８】
また、カメラのモードが撮影モードであり、３Ｄモード時には、撮影部１１２Ｒ及び１１２Ｌによって同期して画像が撮影される。尚、３Ｄモード時には、ＡＦ処理及びＡＥ処理は、撮影部１１２Ｒ及び１１２Ｌのいずれか一方によって取得された画像信号に基づいて行われる。３Ｄモード時に、各撮影部１１２Ｒ及び１１２Ｌによって撮影された２視点の画像は、それぞれ圧縮・伸張処理部１７４Ｒ及び１７４Ｌによって圧縮され、１つの３Ｄ画像ファイルに格納されてメモリカード３４に記録される。また、３Ｄ画像ファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影レンズ１６０Ｒ及び１６０Ｌの間隔及び輻輳角に関する情報等が格納される。
【０１０９】
一方、カメラの動作モードが再生モード時には、メモリカード３４に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、圧縮・伸張処理部１７４によって非圧縮のＹ／Ｃ信号に伸張された後、バッファメモリ１４４に入力される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、メモリカード３４に記録されている画像ファイルの画像が３Ｄ ＬＣＤ１５０に表示される。
【０１１０】
ここで、メモリカード３４から読み出された画像ファイルが３Ｄ画像ファイルの場合には、前述した３Ｄ画像出力装置１０と同様に、視差量を調整した視差画像が生成され、調整後の視差画像を含む２枚の視差画像が３Ｄ ＬＣＤ１５０に表示される。
【０１１１】
［３Ｄ画像ファイルのデータ構造］
図９はデジタルカメラ１００によりメモリカード３４に記録される３Ｄ表示用の３Ｄ画像ファイルのデータ構造の一例を示す図である。
【０１１２】
図９に示すように３Ｄ画像ファイルＦは、Exif規格のファイルフォーマットを利用し、複数の画像を一体化して記録するファイル形式を採っており、視点画像(1)（先頭画像）Ａ１、視点画像(2)Ａ２，視点画像(2)Ａ２、…、視点画像(n)Ａｎが連結されて構成されている。
【０１１３】
各視点画像の領域は、各視点画像の開始位置を示すＳＯＩ（Start of Image）と終了位置を示すＥＯＩ（End of Image）とにより区分されており、ＳＯＩの次に視点画像のExif付属情報が記録されるAPP1マーカセグメントと、多視点付属情報が記録されるAPP2マーカセグメントが設けられ、その次に視点画像が記録される。
【０１１４】
尚、APP1マーカセグメントには、Ｅｘｉｆ識別情報、ＴＩＦＦヘッダ、ＩＦＤ（Image file directory）領域（ＩＦＤ０領域（0th IFD）及びＩＦＤ１領域（1st IFD））が設けられている。ＩＦＤ１領域（1st IFD）には、視点画像から生成されたサムネイル画像が格納される。また、APP2マーカセグメントには、個別情報ＩＦＤが含まれる。
【０１１５】
個別情報ＩＦＤには、視点画像の枚数、視点画像番号、輻輳角、基線長等が含まれるが、この実施の形態では、図１０に示すように、基準視点番号のタグ値と前景代表視差量、背景代表視差量のタグ値が更に記録される。
【０１１６】
前景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の前景の視差を代表する値であり、ＡＦ合焦時の視差、最近接位置視差、顔認識位置中心の視差などを表す値を使用することができる。
【０１１７】
背景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の背景の視差を代表する値であり、例えば、視差量が最も小さい値（負値を含む）を表す値を使用することができる。
【０１１８】
尚、図１０に示した前景代表視差量、背景代表視差量の数値の例は、視差画像の左右方向の視差量に相当する画素数（負は視差方向が逆）を示している。また、視差画像の左右方向の画素数は１０００画素である。
【０１１９】
図１１は図４に示した４視点の場合の各視点の代表視差量（前景代表視差量、背景代表視差量）の例を示す図表である。
【０１２０】
また、図１２に示すように、３Ｄ画像ファイルの個別情報ＩＦＤには、視点画像内の各特徴点１、２、３、…、ｋの座標値が更に記録されている。
【０１２１】
尚、各視差画像間の特徴点の抽出、前景代表視差量、背景代表視差量の算出等は、デジタルカメラ１００により行われ、３Ｄ画像ファイルの作成時に視差画像の付属情報として記録される。
【０１２２】
＜視差量の調整の第２実施例＞
図１３は視差量を調整する視差調整パラメータΔｘの一例を示すグラフである。
【０１２３】
図７に示した第１実施例の視差調整パラメータΔｔは、仮想視点位置を調整するパラメータであるが、図１３のグラフ(1),(2)に示す視差調整パラメータΔｘは、視差量に加算されることにより該視差量を調整するパラメータである。
【０１２４】
いま、図１４に示すように視差画像からｎ個の特徴点が抽出され、各特徴点別に視差量が求められている場合、その視差量に基づいて図１３のグラフ(1)に対応する変換テーブルから対応する視差調整パラメータΔｘを読み出す。図１３のグラフ(1)によれば、視差調整パラメータΔｘは、視差量が正方向に大きい（前景に近い）程、及び視差量が負方向に大きい（背景に近い）程、正方向に大きな値をとるようになっている。
【０１２５】
上記視差量に対応する視差調整パラメータΔｘを各特徴点別の視差量に加算することにより、視差量を調整することができる。
【０１２６】
図１３のグラフ(1)に示した視差調整パラメータΔｘによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）を小さくする重み付け調整が行われることになる。
【０１２７】
そして、上記のように視差量が調整された特徴点をもつように視差画像を幾何変形させた視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１２８】
尚、図１３のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｘによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
【０１２９】
＜視差量の調整の第３実施例＞
図１５は視差量を調整する視差調整パラメータΔｐの一例を示すグラフである。
【０１３０】
図１５のグラフ(1),(2)に示す視差調整パラメータΔｐは、視差量に乗算されることにより該視差量を調整するパラメータであり、グラフ(1)によれば、視差調整パラメータΔｐは、視差量が大きい（前景に近い）程、１よりも大きな値をとり、視差量が負方向に大きい（背景に近い）程、１よりも小さい値をとるようになっている。
【０１３１】
上記視差量に対応する視差調整パラメータΔｐを各特徴点別の視差量に乗算することにより、視差量を調整することができる。
【０１３２】
図１５のグラフ(1)に示した視差調整パラメータΔｐによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする重み付け調整が行われることになり、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１３３】
一方、図１５のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｐによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
【０１３４】
＜視差量の調整の第４実施例＞
図１５は入力する視差量を所望の視差量に変換して出力する変換テーブルの一例を示す
グラフである。
【０１３５】
図１６のグラフ(1),(2)に示す変換テーブルは、入力画像の各特徴点の視差量を、その視差量の大きさに応じて適宜の視差量に変換する変換テーブルであり、グラフ(1)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする変換が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする変換が行われることになる。
【０１３６】
一方、図１６のグラフ(2)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより小さくする変換が行われ、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより大きくする変換が行われることになる。
【０１３７】
＜視差量の調整の第５実施例＞
図１７は入力する視差量を所望の視差量に変換して出力する変換テーブルの他の例を示すグラフである。
【０１３８】
図１７に示す変換テーブルは、プリント用紙（表示部）に視差画像を印刷する際に使用される変換テーブルであり、入力画像上の最大の視差量(max)がプリント用紙上で３mmの視差量となり、入力画像上の負方向の最大の視差量(min)がプリント用紙上で−８mmの視差量となるように変換する。
【０１３９】
例えば、入力する視差画像の各特徴点の視差量のうちの最大値（前景代表値）及び負方向の最大値（背景代表値）を求め、これらの前景代表値及び背景代表値により各特徴点の視差量を正規化し（例えば前景代表値が１、背景代表値が−１となるように正規化し）、この正規化した視差量を、図１７に示す変換テーブルによりプリント用紙上での視差量に変換する。
【０１４０】
上記のように視差量が調整された視差画像が印画されたプリント用紙の表面には、レンチキュラーシートが貼付され、これにより立体視が可能な写真プリントになる。
【０１４１】
立体視が可能な写真プリントでは、そのプリント上の各視差画像の最大の視差量(max)が３mm、負方向の最大の視差量(min)が−８mmのときに、より好ましい立体画像を視認することができることが実験により確認されている。
【０１４２】
［表示デバイスにより視差量を調整する実施例］
図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。
【０１４３】
まず、複数の視差画像を読み込み（ステップＳ１０）、各視差画像における特徴点（対応点）の視差量を取得する（ステップＳ１２）。尚、図１２に示したように３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれている場合には、その座標値から視差量を演算することができ、一方、３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれていない場合には、各視差画像から特徴点の抽出を行い、視点の座標値を取得して視差量を算出する。
【０１４４】
次に、表示デバイスの情報を取得する（ステップＳ１４）。この表示デバイスの情報の取得は、本発明に係る３Ｄ画像出力装置を表示デバイスに接続することにより、表示デバイス側から自動的に表示デバイスの情報を取得してもよいし、マニュアルで表示デバイスの情報を入力してもよい。
【０１４５】
続いて、取得した表示デバイスの情報からデバイスの種別（ディスプレイ、プリンタ）を判別し（ステップＳ１６）、更にディスプレイと判別されると、ディスプレイの画面サイズが、所定のサイズ（水平方向の長さが６５mm）以上か否かを判別する（ステップＳ１８）。尚、６５mmは、人の左右の目の間隔である。
【０１４６】
ここで、デバイス種別がディスプレイで、その画面サイズが６５mm以上と判別されると、視差量を変換する変換テーブルとして大画面用テーブルが選択され（ステップＳ２０）、画面サイズが６５mm未満と判別されると、変換テーブルとして大画面用テーブルが選択され（ステップＳ２２）。
【０１４７】
一方、デバイス種別がプリンタと判別されると、変換テーブルとして印刷用テーブルが選択され（ステップＳ２４）。
【０１４８】
例えば、上記大画面用テーブルとしては、図１６のグラフ(2)に示した変換テーブルを適用し、小画面用テーブルとしては、図１６のグラフ(1)に示した変換テーブルを適用することが考えられる。
【０１４９】
これによれば、大画面の表示ディスプレイの場合には、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になり、観察者の疲労感を軽減させることができる。また、小画面の表示ディスプレイの場合には、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１５０】
一方、印刷用テーブルとしては、図１７に示した変換テーブルを使用する。これによれば、より好ましい立体視が可能な写真プリントを印刷することができる。尚、この実施の形態では、デバイス種別がプリンタの場合には、更にプリントサイズにより変換テーブルを切り替えていない。これは、図１７に示した変換テーブルによれば、写真プリントのプリントサイズに関わらず、好ましい立体視が可能な写真プリントが得られることが確認されているからである。
【０１５１】
上記のようにして変換テーブルが選択されると、選択された変換テーブルにより入力する各視差量を変換し、その変換後（視差調整後）の各特徴点の視差量に対応する視差画像を生成する（ステップＳ２６）。このようにして生成した各視差画像を３Ｄの表示デバイスに出力し、３Ｄ画像の立体視を可能にする（ステップＳ２８）。
【０１５２】
＜視差量の調整の第６実施例＞
図１９は視差量を調整する視差調整パラメータΔｘの他の例を示すグラフである。
【０１５３】
図１９のグラフ(1)-1は、グラフ(1)(図１３のグラフ(1)に相当)を視差量の正方向にシフトしたグラフであり、図１９のグラフ(1)-2は、グラフ(1)を視差量の負方向にシフトしたグラフである。
【０１５４】
従って、グラフ(1)-1に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が低減されるとともに、背景の奥行き感も低減された視差画像が生成される。
【０１５５】
一方、グラフ(1)-2に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が強調されるとともに、背景の奥行き感も強調された視差画像が生成される。
【０１５６】
また、上記グラフ(1)-1,(1),(1)-2に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、大画面、中画面、及び小画面に応じて、それぞれグラフ(1)-1,(1),及び(1)-2に示す視差調整パラメータΔｘを適用することが考えられる。
【０１５７】
また、３Ｄディスプレイの画面サイズに限らず、視距離に応じて上記グラフ(1)-1,(1),及び(1)-2を選択するようにしてもよく、視距離が近いときはグラフ(1)-1,遠いときはグラフ(1)-2を選択することが考えられる。尚、視距離は、３Ｄディスプレイ又はその近傍に配設した測距手段により自動的に取得してもよいし、マニュアルで視距離を入力するようにしてもよい。
【０１５８】
＜視差量の調整の第７実施例＞
図２０は視差量を調整する視差調整パラメータΔｘの更に他の例を示すグラフである。
【０１５９】
図２０のグラフ(1)-3,(1)-4に示す視差調整パラメータΔｘは、視差が正方向に一定以上大きくなる場合には、その視差を強調しないように制限されている。
【０１６０】
即ち、図２０のグラフ(1)-3,(1)-4に示す入出力関係を示す変換テーブルでは、変換後の視差量が、予め設定された最大視差量を越えないように制限されている。これは、視差をつけすぎると、３Ｄとして視認できなくなるからである。
【０１６１】
また、図２０のグラフ(1)-3, (1)-4に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、小画面、大画面に応じて、それぞれグラフ(1)-3,及び(1)-4に示す視差調整パラメータΔｘを適用することが考えられる。
【０１６２】
尚、図１９及び図２０に示した第６実施例及び第７実施例は、図１３のグラフ(1)に示す視差調整パラメータの変形例であるが、図１３のグラフ(2)に示す視差調整パラメータ、図１５に示した視差調整パラメータΔｐ、及び図１６に示した視差量の変換テーブルを変形させる場合にも適用できる。
【０１６３】
［その他］
この実施の形態の３Ｄ画像出力装置（デジタルフォトフレーム、デジタルカメラ）は、３Ｄディスプレイが一体化されたものであるが、これに限らず、本発明は、表示デバイスを備えていない装置（例えば、パソコン本体）にも適用できる。また、本発明に係る３Ｄ画像出力装置は、ハードウエアで実現してもよいし、パソコン本体にインストールするソフトウエアで実現するようにしてもよい。
【０１６４】
３Ｄディスプレイは、実施の形態の３Ｄ ＬＣＤに限らず、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の他の３Ｄディスプレイでもよい。
【０１６５】
更に、本発明は上述した実施形態に限定されず、被写体の遠近に関係なく、視差量の調整を自由に行うことができるものであればよく、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１６６】
１０…３次元画像出力装置（３Ｄ画像出力装置）、１２、１５０…３次元液晶ディスプレイ（３Ｄ ＬＣＤ）、２０、１１４…中央処理装置（ＣＰＵ）、２２、１２８…ワークメモリ、２６、１４２…表示コントローラ、２８、１３６…バッファメモリ、３０、１２６…ＥＥＰＲＯＭ
【図１】
2010206774.tif 000006
【図２】
2010206774.tif 000007
【図３】
2010206774.tif 000008
【図４】
2010206774.tif 000009
【図５】
2010206774.tif 000010
【図６】
2010206774.tif 000011
【図７】
2010206774.tif 000012
【図８】
2010206774.tif 000013
【図９】
2010206774.tif 000014
【図１０】
2010206774.tif 000015
【図１１】
2010206774.tif 000016
【図１２】
2010206774.tif 000017
【図１３】
2010206774.tif 000018
【図１４】
2010206774.tif 000019
【図１５】
2010206774.tif 000020
【図１６】
2010206774.tif 000021
【図１７】
2010206774.tif 000022
【図１８】
2010206774.tif 000023
【図１９】
2010206774.tif 000024
【図２０】
2010206774.tif 000025