(57)【要約】【課題】撮影者の撮影時における意図を反映させた奥行き画像を生成して、撮影者の意図に合った立体視画像を得るようにする。【解決手段】被写体の二次元画像６２を取得する第１カメラ部１６と、被写体までの距離情報を取得する距離情報取得手段７８と、少なくとも取得した距離情報に基づいて被写体の立体視画像を出力するための奥行き画像８８を生成する奥行き画像生成手段８０と、被写体を撮像した際の１以上の撮影関連情報を取得する撮影関連情報取得手段８２と、奥行き画像８８を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段８４とを有し、奥行き画像生成手段８０は、取得した距離情報と、奥行き画像生成方法決定手段８４にて決定された奥行き画像生成方法に基づいて奥行き画像８８を生成する。【選択図】図２
2011211739.tif 000002
【特許請求の範囲】
【請求項１】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段と、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
前記被写体を撮像した際の１以上の撮影関連情報を取得する撮影関連情報取得手段と、
前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段とを有し、
前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする立体視画像作成装置。
【請求項２】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段と、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
前記被写体を撮像した際の複数の撮影関連情報を取得する撮影関連情報取得手段と、
生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段と、
前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段と、
前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き精度画像生成方法決定手段とを有し、
前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成し、
前記奥行き精度画像生成手段は、前記奥行き精度画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする立体視画像作成装置。
【請求項３】
請求項２記載の立体視画像作成装置において、
前記奥行き精度画像生成手段にて生成される前記奥行き精度画像は、精度の高低を示す２値画像であることを特徴とする立体視画像作成装置。
【請求項４】
請求項１〜３のいずれか１項に記載の立体視画像作成装置において、
さらに、前記複数の奥行き画像生成方法を記憶する記憶手段を有し、
前記奥行き画像生成方法決定手段は、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法を前記記憶手段から読み出して、前記奥行き画像生成手段に供給することを特徴とする立体視画像作成装置。
【請求項５】
請求項１〜３のいずれか１項に記載の立体視画像作成装置において、
前記奥行き画像生成方法決定手段は、前記複数の奥行き画像生成方法のうち、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法をネットワークを通じて受け取り、前記奥行き画像生成手段に供給することを特徴とする立体視画像作成装置。
【請求項６】
請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
前記撮影関連情報取得手段にて取得される前記撮影関連情報は、入力される撮影モードであることを特徴とする立体視画像作成装置。
【請求項７】
請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
前記撮影関連情報取得手段にて取得される前記撮影関連情報は、前記二次元画像生成手段にて生成された前記二次元画像の輝度情報であることを特徴とする立体視画像作成装置。
【請求項８】
請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
前記撮影関連情報取得手段にて取得される前記撮影関連情報は、撮影時のレンズの絞り値であることを特徴とする立体視画像作成装置。
【請求項９】
請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
前記撮影関連情報取得手段にて取得される前記撮影関連情報は、撮影時の合焦距離情報であることを特徴とする立体視画像作成装置。
【請求項１０】
請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
前記撮影関連情報取得手段にて取得される前記撮影関連情報は、前記二次元画像生成手段にて生成された前記二次元画像のうち、前記被写体の画像が記録されている領域情報であることを特徴とする立体視画像作成装置。
【請求項１１】
請求項１０記載の立体視画像作成装置において、
前記被写体の画像が記録されている領域情報は、前記被写体の顔の画像が記録されている領域情報であることを特徴とする立体視画像作成装置。
【請求項１２】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段と、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段と、
前記二次元画像生成手段にて生成された前記二次元画像と、前記奥行き画像生成手段にて生成された前記奥行き画像と、前記奥行き精度画像生成手段にて生成された前記奥行き精度画像から立体視画像を生成する立体視画像生成手段とを有することを特徴とする立体視画像出力装置。
【請求項１３】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段と、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、
前記被写体を撮像した際の１以上の撮影関連情報を取得し、
前記被写体の立体視画像を出力するための奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記取得した撮影関連情報に基づいて決定し、
前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする立体視画像作成方法。
【請求項１４】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段と、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、
前記被写体を撮像した際の複数の撮影関連情報を取得し、
生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成し、
前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定し、
前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記取得した撮影関連情報に基づいて決定し、
前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成し、
前記決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする立体視画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の立体視画像を生成するための立体視画像作成装置と、生成された立体視画像を出力（例えば表示）するための立体視画像出力装置と、被写体の立体視画像を生成するための立体視画像作成方法に関する。
【背景技術】
【０００２】
一般に、被写体の二次元画像と、撮影装置から被写体までの距離情報が二次元的に配列された奥行き情報とを合成することによって、被写体の立体視画像を生成することができる。
【０００３】
表示のための奥行き情報は、例えば仮想的な画面において個々の画素が画面に対して垂直な方向のどの位置に見えるかを表したものであり、奥行き画像やデプスマップと称されている。
【０００４】
奥行き情報を生成する方法としては、撮像装置から被写体までの実距離を測定し、その距離を表示用の仮想的な奥行き値にマッピングする方法がある。マッピングする際には、被写体までの実距離を奥行き値に線形的にマッピングすることもできるし、任意の距離範囲を限ってその範囲内をより詳細な分解能でマッピングすることもできる。
【０００５】
そこで、従来では、立体視用映像データを提供する方法で、二次元画像データに、奥行き情報と、奥行き情報の値の間隔を非均等に変形させることを目的とした定義情報を提供する方法が開示されている（例えば特許文献１参照）。
【０００６】
この特許文献１は、さらに、立体視用映像データを提供する方法で、二次元画像データに、画面領域によって異なるビット数で表した奥行き情報を提供する方法が開示されている。
【０００７】
また、この特許文献１には、二次元画像データと付属情報から立体視映像を生成する表示装置で、奥行き情報の値の間隔を非均等に変形させるための複数のテーブルを持ち、奥行き情報とテーブルから視差量を生成し、求めた視差量を利用して立体映像を生成する表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００４／０７１１０２号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したように、従来例では、奥行き情報の値の間隔を非均等に変形させることによって、奥行き上の任意の位置に所望の分解能を設定することが可能であったが、撮影者が撮影時の意図として奥行き上のどの位置の分解能を重視したいのかを簡便にデータに反映させることが困難であった。
【００１０】
さらに、奥行き情報を変換した際に、画面中に分解能が高い領域と低い領域が混在することがあるが、データに対して後から編集を行う際に、画面中の分解能が高い領域と低い領域を区別することが困難であったり、画面領域によって奥行き情報のビット数が異なっている領域を区別するために、より多くの演算を必要とするという問題があった。
【００１１】
本発明はこのような課題を考慮してなされたものであり、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法を提供することを目的とする。
【００１２】
また、本発明の他の目的は、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
第１の本発明に係る立体視画像作成装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、前記被写体を撮像した際の１以上の撮影関連情報を取得する撮影関連情報取得手段と、前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段とを有し、前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする。
【００１４】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。
【００１５】
次に、第２の本発明に係る立体視画像作成装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、前記被写体を撮像した際の複数の撮影関連情報を取得する撮影関連情報取得手段と、生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段と、前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段と、前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き精度画像生成方法決定手段とを有し、前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成し、前記奥行き精度画像生成手段は、前記奥行き精度画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする。
【００１６】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる。
【００１７】
そして、第２の本発明において、前記奥行き精度画像生成手段にて生成される前記奥行き精度画像は、精度の高低を示す２値画像であってもよい。この場合、奥行き精度の低い領域の演算を簡単化することができる。
【００１８】
また、上述の第１及び第２の本発明において、さらに、前記複数の奥行き画像生成方法を記憶する記憶手段を有し、前記奥行き画像生成方法決定手段は、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法を前記記憶手段から読み出して、前記奥行き画像生成手段に供給するようにしてもよい。あるいは、前記奥行き画像生成方法決定手段は、前記複数の奥行き画像生成方法のうち、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法をネットワークを通じて受け取り、前記奥行き画像生成手段に供給するようにしてもよい。
【００１９】
また、第１及び第２の本発明において、前記撮影関連情報取得手段にて取得される前記撮影関連情報としては、入力される撮影モードや、前記二次元画像生成手段にて生成された前記二次元画像の輝度情報や、撮影時のレンズの絞り値や、撮影時の合焦距離情報等がある。合焦距離情報としては、オートフォーカスの距離情報やマニュアルフォーカスの距離情報が挙げられる。
【００２０】
また、前記撮影関連情報取得手段にて取得される前記撮影関連情報としては、前記二次元画像生成手段にて生成された前記二次元画像のうち、前記被写体の画像が記録されている領域情報であってもよい。この場合、前記被写体の顔の画像が記録されている領域情報であってもよい。
【００２１】
次に、第３の本発明に係る立体視画像出力装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段とを有し、さらに前記二次元画像生成手段にて生成された前記二次元画像と、前記奥行き画像生成手段にて生成された前記奥行き画像と、前記奥行き精度画像生成手段にて生成された前記奥行き精度画像から立体視画像を生成する立体視画像生成手段を有することを特徴とする。
【００２２】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を出力（例えば三次元モニタへの表示）することができると共に、奥行き精度の低い領域の演算を簡単化することができる。
【００２３】
次に、第４の本発明に係る立体視画像作成方法は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、前記被写体を撮像した際の１以上の撮影関連情報を取得し、前記被写体の立体視画像を出力するための奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記取得した撮影関連情報に基づいて決定し、前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする。
【００２４】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。
【００２５】
次に、第５の本発明に係る立体視画像作成方法は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、前記被写体を撮像した際の複数の撮影関連情報を取得し、生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成し、前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定し、前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記取得した撮影関連情報に基づいて決定し、前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成し、前記決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする。
【００２６】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる。
【発明の効果】
【００２７】
以上説明したように、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法によれば、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。
【００２８】
また、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法によれば、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる。
【図面の簡単な説明】
【００２９】
【図１】第１立体視画像作成装置を示す構成図である。
【図２】第１立体視画像作成装置の構成を示す機能ブロック図である。
【図３】撮影モードが風景モード、夜景モードの場合のマッピングテーブルの例を示すグラフである。
【図４】撮影モードがポートレートモードの場合のマッピングテーブルの例を示すグラフである。
【図５】撮影モードがマクロモードの場合のマッピングテーブルの例を示すグラフである。
【図６】ＡＦの合焦距離に応じた４種類のマッピングテーブルの例を示すグラフである。
【図７】第１処理例の動作を示すフローチャートである。
【図８】第２処理例の動作を示すフローチャートである。
【図９】第２立体視画像作成装置を示す構成図である。
【図１０】第３処理例の動作を示すフローチャートである。
【図１１】背景が明るい場合に適した撮影モードである場合において、奥行き精度の高低を決定する基準を示す説明図である。
【図１２】背景が暗い場合に適した撮影モードである場合において、奥行き精度の高低を決定する基準を示す説明図である。
【図１３】第４処理例の動作を示すフローチャートである。
【図１４】被写界深度に基づいて奥行き精度の高低を決定する基準を示す説明図である。
【図１５】第５処理例の動作を示すフローチャートである。
【図１６】図１６Ａは建物の画像を特定した状態を示す説明図であり、図１６Ｂは建物の画像を構成する画素の奥行き精度を「高」に設定し、それ以外の画素の奥行き精度を「低」に設定した例を示す説明図である。
【図１７】第６処理例の動作を示すフローチャートである。
【図１８】顔の画像を特定した状態を示す説明図である。
【図１９】第３立体視画像作成装置を示す構成図である。
【図２０】第２立体視画像作成装置の他の使用例を示す説明図である。
【図２１】立体視画像出力装置を示す構成図である。
【図２２】立体視画像出力装置の構成を示す機能ブロック図である。
【図２３】立体視画像出力装置の処理動作を示すフローチャートである。
【図２４】図２４Ａは第１補正テーブルの例を示すグラフであり、図２４Ｂは第２補正テーブルの例を示すグラフである。
【図２５】立体視画像出力装置の他の使用例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法の実施の形態例を図１〜図２５を参照しながら説明する。
【００３１】
先ず、第１の実施の形態に係る立体視画像作成装置（以下、第１立体視画像作成装置１０Ａと記す）は、少なくとも被写体の二次元画像と二次元画像に対応した奥行き画像を生成して、外部記憶装置１２に記憶するようになっている。
【００３２】
この第１立体視画像作成装置１０Ａは、図１に示すように、第１ＣＣＤ撮像素子１４を有する第１カメラ部１６と、第２ＣＣＤ撮像素子１８を有する第２カメラ部２０と、デジタル信号処理を行うためのメインメモリ２２と、システムの起動等を行うためのシステム情報が記録されたシステムメモリ２４と、各種プログラムを起動して動作させるＣＰＵ２６とを有する。
【００３３】
これら第１カメラ部１６、第２カメラ部２０、メインメモリ２２、システムメモリ２４、ＣＰＵ２６等は制御バスやデータバス（以下、単にバス２８と記す）を通じて接続されている。このバス２８には、上述の部材のほか、不揮発性メモリ３０、ＵＳＢドライバ３２、Ｉ／Ｏインターフェース３４、カレンダ時計３６、タイマ３８等が接続されている。ＵＳＢドライバ３２には外部コネクタ４０が接続され、該外部コネクタ４０を介して外部記憶装置１２が接続されている。また、Ｉ／Ｏインターフェース３４には、操作パネル４２上のスイッチやＬＥＤ等が接続されている。なお、これら各部材は、コネクタ４４に接続された外部電源（図示せず）が電源制御回路４６及びＤＣ−ＤＣコンバータ４８を介して供給されるようになっている。
【００３４】
第１カメラ部１６は、上述した第１ＣＣＤ撮像素子１４のほか、レンズやモータを有し、且つ、被写体の映像を第１ＣＣＤ撮像素子１４に結像させるための第１光学系５０と、第１ＣＣＤ撮像素子１４からの撮像信号をアナログの映像信号に信号処理する第１アナログ信号処理回路５２と、映像信号をデジタル変換して映像データにする第１Ａ／Ｄ変換器５４と、第１Ａ／Ｄ変換器５４からの出力に基づいてオートアイリスやオートフォーカスのための制御信号を生成する第１積算回路と、第１積算回路５６からの制御信号に基づいてレンズの絞りやフォーカシング、ズーム等を制御する第１駆動制御部５８と、第１ＣＣＤ撮像素子１４や第１アナログ信号処理回路５２等にタイミング信号を出力する第１タイミング発生回路６０とを有する。そして、第１Ａ／Ｄ変換器５４から出力される映像データが水平同期信号に合わせてメインメモリ２２に二次元的に記録されることで、第１二次元画像６２（図２参照）が生成されることになる。従って、この第１カメラ部１６は二次元画像取得手段として機能する。
【００３５】
第２カメラ部２０は、上述した第１カメラ部１６と同様の構成を有し、第２ＣＣＤ撮像素子１８に加えて以下の部材を有する。すなわち、レンズやモータを有し、且つ、被写体の映像を第２ＣＣＤ撮像素子１８に結像させるための第２光学系６４と、第２ＣＣＤ撮像素子１８からの撮像信号をアナログの映像信号に信号処理する第２アナログ信号処理回路６６と、映像信号をデジタル変換して映像データにする第２Ａ／Ｄ変換器６８と、第２Ａ／Ｄ変換器６８からの出力に基づいてオートアイリスやオートフォーカスのための制御信号を生成する第２積算回路７０と、第２積算回路７０からの制御信号に基づいてレンズの絞りやフォーカシング、ズーム等を制御する第２駆動制御部７２と、第２ＣＣＤ撮像素子１８や第２アナログ信号処理回路６６等にタイミング信号を出力する第２タイミング発生回路７４とを有する。そして、第２Ａ／Ｄ変換器６８から出力される映像データが水平同期信号に合わせてメインメモリ２２に二次元的に記録されることで、第２二次元画像７６（図２参照）が生成されることになる。
【００３６】
一方、ＣＰＵ２６で起動、動作するソフトウエアは、図２に示すように、距離情報取得手段７８と、奥行き画像生成手段８０と、撮影関連情報取得手段８２と、奥行き画像生成方法決定手段８４とを有する。
【００３７】
距離情報取得手段７８は、例えば第１カメラ部１６から被写体までの距離情報を取得する。この場合、第１カメラ部１６からの第１二次元画像６２と第２カメラ部２０からの第２二次元画像７６とを画像処理して、第１二次元画像６２における画素ごとの距離情報をそれぞれ演算して取得し、距離情報ファイル８６としてメインメモリ２２に記憶する。２つの二次元画像から距離情報を取得する方法としては、例えば特開２００６−１９１３５７号公報に記載された手法を使用することができる。
【００３８】
なお、上述の例では、第１二次元画像６２に対する距離情報を取得する方法を述べたが、第２二次元画像７６に対する距離情報を取得するようにしてもよい。この場合、第２カメラ部２０が二次元画像取得手段として機能することになる。
【００３９】
奥行き画像生成手段８０は、少なくとも距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル８６）に基づいて、被写体の立体視画像を出力するための奥行き画像８８を生成する。
【００４０】
撮影関連情報取得手段８２は、撮影者が撮影の際に操作入力した情報や、撮影時の被写体の状況を撮影関連情報として電気的に取得する手段である。撮影関連情報としては、以下のようなものが挙げられる。
【００４１】
（１）操作パネル４２に配列されたスイッチを撮影者が操作することによって入力される撮影モード。
【００４２】
（２）第１カメラ部１６によって取得された第１二次元画像６２の輝度情報。
【００４３】
（３）第１積算回路５６から出力されるレンズの絞り値。
【００４４】
（４）第１積算回路５６から出力されるオートフォーカスの合焦距離。
【００４５】
（５）第１二次元画像６２に含まれる被写体の画像の記録範囲。
【００４６】
（６）被写体が人間や動物の顔である場合に、第１二次元画像６２に含まれる顔の画像の記録範囲。
【００４７】
奥行き画像生成方法決定手段８４は、奥行き画像８８を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、撮影関連情報取得手段８２にて取得した撮影関連情報に基づいて決定する。奥行き画像生成方法としては、例えば図３〜図６に示すように、距離に対する奥行き値のマッピングテーブル９０ａ〜９０ｇが挙げられる。これらマッピングテーブル９０ａ〜９０ｇは、横軸に距離の対数目盛り、縦軸に奥行き値の数直線目盛りをとったグラフをテーブル化したものである。記憶容量の関係から、１００ｍ以上の距離を無限大とし、奥行き値の範囲を８ビットで収まるようにしてある。複数のマッピングテーブル９０ａ〜９０ｇは、予め例えば不揮発性メモリ３０に記憶される。
【００４８】
そして、複数のマッピングテーブル９０ａ〜９０ｇ（奥行き画像生成方法）としては、図３〜図６に示すような例が挙げれられる。
【００４９】
図３は、撮影モードが「風景モード、夜景モード」の場合のマッピングテーブル９０ａの例であり、図４は、撮影モードが「ポートレートモード」の場合のマッピングテーブル９０ｂの例であり、図５は、撮影モードが「マクロモード」の場合のマッピングテーブル９０ｃの例であり、図６は、オートフォーカスの合焦距離別の４種のマッピングテーブル９０ｄ〜９０ｇの例である。図６において、ＡＦ＝０．１ｍの場合にマッピングテーブル９０ｄを用い、ＡＦ＝１ｍの場合にマッピングテーブル９０ｅを用い、ＡＦ＝５ｍの場合にマッピングテーブル９０ｆを用い、ＡＦ＝無限大の場合にマッピングテーブル９０ｇを用いる。
【００５０】
図３〜図６に示すマッピングテーブル９０ａ〜９０ｇの特性を、第１二次元画像に含まれる被写体の画像の記録範囲の大小や、第１二次元画像に含まれる顔の画像の記録範囲の大小によって変化させるようにしてもよい。
【００５１】
また、図３〜図６では、距離を基準にした奥行き値のマッピングテーブル９０ａ〜９０ｇの例を示したが、その他、輝度を基準にした奥行き値のマッピングテーブルも同様に用意すればよい。この場合、撮影関連情報のうち、第１カメラ部１６によって取得された第１二次元画像６２の輝度情報や第１積算回路５６から出力されるレンズの絞り値に応じた奥行き値を得ることができる。もちろん、この輝度を基準にしたマッピングテーブルにおいても、その特性を、第１二次元画像６２に含まれる被写体の画像の記録範囲の大小や、第１二次元画像６２に含まれる顔の画像の記録範囲の大小によって変化させるようにしてもよい。
【００５２】
そして、上述した奥行き画像生成手段８０は、距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル８６）と、奥行き画像生成方法決定手段８４にて決定された１つの奥行き画像生成方法（マッピングテーブル）に基づいて奥行き画像を生成する。
【００５３】
ここで、第１立体視画像作成装置１０Ａの処理動作の２つの例（第１処理例及び第２処理例）について図７を参照しながら説明する。
【００５４】
第１処理例は、不揮発性メモリ３０に、撮影モードに対応した例えば図３〜図５に示す３つのマッピングテーブル９０ａ〜９０ｃが記憶されている場合を想定したものである。
【００５５】
先ず、図７のステップＳ１において、撮影関連情報取得手段８２は撮影モードを取得する。撮影者は、被写体の撮影の際に、現在の撮影において最適だと意図した撮影モードを操作パネル４２のスイッチを操作することによって入力する。従って、撮影関連情報取得手段８２は、スイッチの入力割込みに基づいて、入力される撮影モードを取得し、メインメモリ２２の所定アドレスに格納する。
【００５６】
その後、図７のステップＳ２において、奥行き画像生成方法決定手段８４は、今回の撮影モードに対応した奥行き画像生成方法を取得する。具体的には、不揮発性メモリ３０に記憶されている３つのマッピングテーブル９０ａ〜９０ｃのうち、取得された撮影モードに対応したマッピングテーブルを選択し、その情報、例えば選択したマッピングテーブルの先頭アドレスやテーブル番号等をメインメモリ２２の所定アドレスに格納する。
【００５７】
その後、図７のステップＳ３において、第１カメラ部１６は、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像６２）を取得してメインメモリ２２に記録する。このとき、第２カメラ部２０にて撮像した第２二次元画像７６もメインメモリ２２に記録される。
【００５８】
その後、図７のステップＳ４において、距離情報取得手段７８は、メインメモリ２２に記録されている第１二次元画像６２と第２二次元画像７６とを画像処理して、第１二次元画像６２における画素ごとの距離情報をそれぞれ演算して取得し、距離情報ファイル８６としてメインメモリ２２に記録する。
【００５９】
その後、図７のステップＳ５において、奥行き画像生成手段８０は、ステップＳ２においてメインメモリ２２の所定アドレスに記憶されたマッピングテーブルの情報に対応する１つの奥行き画像生成方法（マッピングテーブル）を読み出し、このマッピングテーブルと、距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル８６）とに基づいて、画素ごとに奥行き値をそれぞれ設定していき、奥行き画像８８を生成し、生成した奥行き画像８８をメインメモリ２２に記録する。この段階で、第１処理例が終了する。
【００６０】
次に、第２処理例について図８を参照しながら説明する。第２処理例は、不揮発性メモリ３０に、オートフォーカスの合焦距離撮に対応した例えば図６に示す４つのマッピングテーブル９０ｄ〜９０ｇが記憶されている場合を想定したものである。
【００６１】
先ず、図８のステップＳ１０１において、撮影関連情報取得手段８２は、オートフォーカス（ＡＦ）の合焦距離を取得する。撮影者は、被写体の撮影の際に、例えば被写体との距離が最適だと意図したところに移動する。このとき、第１積算回路５６からＡＦの合焦距離が出力され、第１駆動制御部５８によって第１光学系５０が駆動制御され、合焦距離に応じたオートフォーカシング制御が行われる。なお、第２カメラ部２０でも同様の処理が行われる。従って、撮影関連情報取得手段８２は、第１積算回路５６から出力されるＡＦの合焦距離を取得し、メインメモリ２２の所定アドレスに格納する。
【００６２】
その後、図８のステップＳ１０２において、奥行き画像生成方法決定手段８４は、今回のＡＦの合焦距離に対応した奥行き画像生成方法を取得する。具体的には、不揮発性メモリ３０に記憶されている４つのマッピングテーブル９０ｄ〜９０ｇのうち、取得されたＡＦの合焦距離に対応したマッピングテーブルを選択し、その情報、例えば選択したマッピングテーブルの先頭アドレスやテーブル番号等をメインメモリ２２の所定アドレスに格納する。
【００６３】
その後、図８のステップＳ１０３において、第１カメラ部１６は、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得してメインメモリ２２に記録する。このとき、第２カメラ部２０にて撮像した第２二次元画像７６もメインメモリ２２に記録される。
【００６４】
その後、図８のステップＳ１０４において、距離情報取得手段７８は、メインメモリ２２に記録されている第１二次元画像６２と第２二次元画像７６とを画像処理して、第１二次元画像６２における画素ごとの距離情報をそれぞれ演算して取得し、距離情報ファイル８６としてメインメモリ２２に記録する。
【００６５】
その後、図８のステップＳ１０５において、奥行き画像生成手段８０は、ステップＳ１０２においてメインメモリ２２の所定アドレスに記憶されたマッピングテーブルの情報に対応する１つの奥行き画像生成方法（マッピングテーブル）を読み出し、このマッピングテーブルと、距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル７８）とに基づいて、画素ごとに奥行き値をそれぞれ設定していき、奥行き画像８８を生成し、生成した奥行き画像８８をメインメモリ２２に記録する。この段階で、第２処理例が終了する。
【００６６】
上述の第１処理例及び第２処理例は、距離を基準にした奥行き値のマッピングテーブル９０ａ〜９０ｇを主体にして説明したが、その他、輝度を基準にしたマッピングテーブルを用いた処理や、これらマッピングテーブルを組み合わせた処理も同様に行うことができる。
【００６７】
このように、第１立体視画像作成装置１０Ａにおいては、撮影者が撮影時の意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を生成することができ、撮影者の意図に合った立体視画像を得ることができる。例えば、第１処理例によれば、撮影者が入力した撮影モードによって得られた被写体に適した立体視画像を作成することができる。第２処理例によれば、撮影時のＡＦの合焦距離によって得られた被写体に適した立体視画像を作成することができる。同様に、二次元画像の輝度に適した立体視画像を作成することができ、また、撮影時のレンズの絞り値によって得られた被写体に適した立体視画像を作成することができる。
【００６８】
次に、さらに好ましい態様を有する第２の実施の形態に係る立体視画像作成装置（以下、第２立体視画像作成装置１０Ｂを記す）について図９〜図１８を参照しながら説明する。
【００６９】
この第２立体視画像作成装置１０Ｂは、図９に示すように、上述した第１立体視画像作成装置１０Ａとほぼ同様の構成を有するが、距離情報取得手段７８と、奥行き画像生成手段８０と、撮影関連情報取得手段８２と、奥行き画像生成方法決定手段８４とに加えて、奥行き精度画像生成手段９２を有する。
【００７０】
被写体の距離や輝度によっては、被写体の一部を鮮明に、あるいは凹凸を詳細に撮って、その他の部分を簡略化して撮りたい場合がある。すなわち、１つの二次元画像について、被写体の一部の奥行き精度を高くし、他の部分の奥行き精度を低く設定したいという意図が働く場合がある。
【００７１】
奥行き精度の高低は、被写体の輝度や、距離、二次元画像上での記録範囲、被写体の内容等によって変わる。
【００７２】
そこで、奥行き精度画像生成手段９２は、上述した生成された奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像９４を生成する。すなわち、取得した二次元画像６２と同じ画素配列を有する別の二次元画像（奥行き精度画像９４）を用意し、取得した二次元画像６２のうち、奥行き精度を高くしたい画素について奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、奥行き精度が低くてもよい画素について奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。そして、この奥行き精度画像９４を用いて、奥行き画像８８に記録されている奥行き値から視差量を演算することで、撮影者が鮮明に撮りたいという意図のもとで撮影した被写体の画像が、特に鮮明に表示（出力）されることなる。
【００７３】
次に、この奥行き精度を考慮した４つの処理例（第３処理例〜第６処理例）について図１０〜図１８を参照しながら説明する。なお、上述した奥行き画像生成方法決定手段８４による処理はいずれも撮影モードに対応した１つのマッピングテーブルを決定する場合を想定している。
【００７４】
そして、第３処理例は、二次元画像６２の輝度情報に基づいて奥行き精度画像９４を生成する処理を含む。
【００７５】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１０のステップＳ２０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ２０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１０のステップＳ２０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ２０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ２０５において、奥行き画像生成手段８０は、ステップＳ２０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【００７６】
そして、ステップＳ２０６において、奥行き精度画像生成手段９２は、二次元画像６２の画素ごとの輝度値から、撮影モードと予め設定された輝度に関する閾値に基づいて画素ごとの奥行き精度を設定し、奥行き精度画像９４を生成する。
【００７７】
例えば、撮影モードがスキー場等のように背景が明るい場合に適した撮影モードである場合、輝度の高い被写体については光量が多すぎてほとんど形状等の見分けがつかないことがあり、このような場合、奥行き精度を高くしても立体視画像とする効果はほとんどなく、むしろ奥行き精度を低くして平面的な画像にすることが好ましい。そこで、図１１に示すように、輝度の高い画素（輝度値が第１閾値Ｖｔ１よりも高い画素）については、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当て、輝度が低い画素（輝度値が第１閾値以下の画素）については、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当てる。
【００７８】
反対に、撮影モードが夜景等のように背景が暗い場合に適した撮影モードである場合、輝度の低い被写体については光量が少なすぎてほとんど形状等の見分けがつかないことがあり、このような場合、奥行き精度を高くしても立体視画像とする効果はほとんどなく、むしろ奥行き精度を低くして平面的な画像にすることが好ましい。そこで、図１２に示すように、輝度の低い画素（輝度値が第２閾値Ｖｔ２（＜第１閾値Ｖｔ１）よりも低い画素）については、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当て、輝度が高い画素（輝度値が第２閾値以上の画素）については、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当てる。
【００７９】
奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第３処理例が終了する。
【００８０】
次に、第４処理例について図１３及び図１４を参照しながら説明する。この第４処理例は、二次元画像の距離情報と被写界深度に基づいて奥行き精度画像を生成する処理を含む。
【００８１】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１３のステップＳ３０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ３０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１３のステップＳ３０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ３０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ３０５において、奥行き画像生成手段８０は、ステップＳ３０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【００８２】
そして、ステップＳ３０６において、撮影関連情報取得手段８２は、レンズ情報（例えば開口数等）を取得し、メインメモリ２２の所定アドレスに格納する。
【００８３】
その後、ステップＳ３０７において、撮影関連情報取得手段８２は、第１積算回路５６から出力されるレンズの絞り値を取得し、メインメモリ２２の所定アドレスに格納する。
【００８４】
その後、ステップＳ３０８において、撮影関連情報取得手段８２は、第１積算回路５６から出力されるＡＦの合焦距離を取得し、メインメモリ２２の所定アドレスに格納する。
【００８５】
その後、ステップＳ３０９において、奥行き精度画像生成手段９２は、撮影関連情報取得手段８２によって取得されたレンズ情報、絞り値、ＡＦの合焦距離に基づいて被写界深度を算出する。
【００８６】
その後、ステップＳ３１０において、奥行き精度画像生成手段９２は、二次元画像６２の画素ごとの距離情報（距離情報ファイル８６）と被写界深度に基づいて画素ごとの奥行き精度を設定し、奥行き精度画像９４を生成する。
【００８７】
例えば、二次元画像６２に配列されている画素のうち、被写界深度内に入っている画素については、撮影者が特に鮮明に撮りたいという意図のもとで撮影した被写体の画像を構成する画素であるから、奥行き精度を高くして立体視画像を鮮明にすることが好ましい。逆に被写界深度から外れている画素については、撮影者が特に鮮明に撮りたいという対象から外れているため、奥行き精度を高くしても立体視画像とする効果はほとんどなく、むしろ奥行き精度を低くして平面的な画像にすることが好ましい。
【００８８】
そこで、図１４に示すように、取得した二次元画像６２の画素ごとの距離情報を確認して、距離が被写界深度Ｄｄ内にある画素については、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、距離が被写界深度を外れている画素については、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。
【００８９】
奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第４処理例が終了する。
【００９０】
次に、第５処理例について図１５を参照しながら説明する。この第５処理例は、取得した二次元画像６２のうち、中央部分に記録されている画像に基づいて奥行き精度画像９４を生成する処理を含む。これは、取得した二次元画像６２のうち、中央部分に記録されている画像は、撮影者が特に鮮明に撮りたいという意図のもとで記録されたものであり、中央部分に記録された画像の奥行き精度を高くする。
【００９１】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１５のステップＳ４０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ４０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１５のステップＳ４０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ４０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ４０５において、奥行き画像生成手段８０は、ステップＳ４０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【００９２】
そして、ステップＳ４０６において、奥行き精度画像生成手段９２は、二次元画像６２のうち、予め設定された範囲（中央部分の範囲）に記録されている被写体の画像を特定する。図１６の例では、被写体の画像として建物の画像９６を特定した例を示す。
【００９３】
その後、ステップＳ４０７において、奥行き精度画像生成手段９２は、図１６Ｂに示すように、上述のように特定した建物の画像９６に含まれる画素について、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、建物の画像９６に含まれていない画素について、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。
【００９４】
奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第５処理例が終了する。
【００９５】
次に、第６処理例について図１７を参照しながら説明する。この第６処理例は、上述した第５処理例とほぼ同じであるが、取得した二次元画像のうち、記録されている画像に人間の顔や動物の顔の画像が含まれているかどうかに基づいて奥行き精度画像を生成する処理を含む。これは、取得した二次元画像のうち、被写体が人間の顔や動物の顔等である場合、撮影者が特に鮮明に撮りたいという意図のもとで記録されたものであり、人間の顔や動物の顔の画像の奥行き精度を高くする。
【００９６】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１７のステップＳ５０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ５０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１７のステップＳ５０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ５０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ５０５において、奥行き画像生成手段８０は、ステップＳ５０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【００９７】
そして、ステップＳ５０６において、奥行き精度画像生成手段９２は、二次元画像６２のうち、人間の顔や動物の顔の画像が記録されているかどうかを探索し、その記録範囲を特定する。例えば、予め人間の代表的な顔の参照画像や動物の代表的な顔の参照画像を用意しておき、取得した二次元画像に参照画像と類似する画像が記録されているかどうかを例えばパターンマッチング法等を使用して探索する。探索の結果、参照画像に類似した画像が存在する場合は、その記録範囲の情報をメインメモリ２２の所定アドレスに格納する。図１８の例では、人間の顔の画像９８の記録範囲を特定した例を示す。
【００９８】
その後、ステップＳ５０７において、奥行き精度画像生成手段９２は、図１８に示すように、特定した記録範囲に含まれる画素について、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、前記記録範囲以外の範囲の画素について、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。
【００９９】
奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第６処理例が終了する。
【０１００】
このように、第２立体視画像作成装置１０Ｂにおいては、撮影者が撮影時の意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像８８及び奥行き精度画像９４を生成することができ、撮影者の意図に合った立体視画像を得ることができる。例えば、第３処理例によれば、撮影者が入力した撮影モードに応じて立体視効果がほとんど期待できない部分について奥行き精度を低く設定でき、立体視効果が期待できる部分（撮影者が鮮明に撮りたい部分）について奥行き精度を高く設定することができる。第４処理例によれば、撮影者が鮮明に撮りたい部分、すなわち、被写界深度内に収まる画像について奥行き精度を高く設定でき、被写界深度から外れた画像について奥行き精度を低く設定することができる。第５処理例によれば、撮影者が注目した部分、すなわち、中央部分に記録された画像について奥行き精度を高く設定でき、被写界深度から外れた画像について奥行き精度を低く設定することができる。第６処理例によれば、撮影者が鮮明に撮りたい部分、すなわち、人間の顔や動物の顔の画像について奥行き精度を高く設定でき、それ以外の画像について奥行き精度を低く設定することができる。
【０１０１】
上述の例では、第１カメラ部１６と第２カメラ部２０を設けることで、距離情報を得るようにしたが、その他、図１９の第３の実施の形態に係る立体視画像作成装置（以下、第３立体視画像作成装置１０Ｃと記す）のように、第２カメラ部２０に代えて、レーザ光による距離測定装置１００を設置するようにしてもよい。
【０１０２】
この距離測定装置１００は、レーザ光の出射指示に基づいてレーザ光源（図示せず）からレーザ光を出射するように制御するレーザ光制御部１０２と、被写体から反射したレーザ光を受光するレーザ光受光部１０４と、レーザ光の出射指示から受光までにかかった時間に基づいて被写体までの距離を測定する信号処理回路１０６とを有し、距離情報取得手段７８として機能する。距離測定装置１００は、第１カメラ部１６での撮像範囲をカバーするようにレーザ光を走査しながら、第１カメラ部１６で取得される二次元画像６２の画素ごとの距離情報（距離情報ファイル８６）を取得する。
【０１０３】
この第３立体視画像作成装置１０Ｃでは、第２カメラ部２０を設置する必要がなく、また、メインメモリ２２に第２二次元画像７６を記録する必要がないため、装置自体の小型化、メインメモリ２２の記憶容量の低減化を図ることができる。
【０１０４】
上述の例では、撮影関連情報取得手段８２にて取得する撮影時の合焦距離情報として、ＡＦの距離情報を用いたが、その他、撮影時のマニュアルフォーカスの距離情報を用いるようにしてもよい。
【０１０５】
また、上述の例では、ＵＳＢドライバ３２の外部コネクタ４０に外部記憶装置１２を接続した例を示したが、その他、図２０に示すように、例えば第２立体視画像作成装置１０Ｂをパーソナルコンピュータ１０８にＵＳＢドライバ３２の外部コネクタ４０を介して接続し、パーソナルコンピュータ１０８のハードディスクに二次元画像６２、奥行き画像８８、奥行き精度画像９４を記録するようにしてもよい。また、複数のマッピングテーブル９０ａ〜９０ｇを不揮発性メモリ３０から入手するのではなく、ネットワーク１１０及びパーソナルコンピュータ１０８を経由してＷｅｂサイト１１２からダウンロードするようにしてもよい。この場合、様々な撮影関連情報に合わせた多種多様のマッピングテーブルを適宜入手することができ、しかも、機種変更にも容易に対応させることができ、撮影者の撮影時における意図を忠実に反映させた奥行き画像を生成することができる。もちろん、パーソナルコンピュータ１０８のハードディスクに記録された二次元画像６２、奥行き画像８８、奥行き精度画像９４をＷｅｂサイト１１２にアップロードしたり、他のユーザのパーソナルコンピュータに転送するようにしてもよい。
【０１０６】
次に、本実施の形態に係る立体視画像出力装置２００について図２１〜図２５を参照しながら説明する。
【０１０７】
この立体視画像出力装置２００は、図２１に示すように、各種プログラムを起動して動作させるＣＰＵ２０２と、デジタル処理を行うためのメインメモリ２０４と、メインメモリ２０４で加工されたデータを外部に接続された三次元モニタ２０６に出力するＩ／Ｏインターフェース２０８とを有する。これらＣＰＵ２０２、メインメモリ２０４、Ｉ／Ｏインターフェース２０８は制御バスやデータバス（以下、単にバス２１０と記す）を通じて接続されている。このバス２１０には、上述の部材のほか、ＵＳＢドライバ２１２が接続されている。ＵＳＢドライバ２１２には外部コネクタ２１４が接続され、該外部コネクタ２１４を介して外部記憶装置１２が接続されている。
【０１０８】
ＣＰＵ２０２で起動、動作するソフトウエアは、図２２に示すように、外部記憶装置１２に記憶された二次元画像６２、奥行き画像８８及び奥行き精度画像９４をメインメモリ２０４に読み出す画像読出し手段２１６と、奥行き画像に記録された奥行き値と奥行き精度画像９４に記録された精度情報に基づいて二次元画像の画素ごとの視差量を演算して視差量画像２１７を作成する視差量演算手段２１８と、視差量画像２１７の画素ごとの視差量に基づいて二次元画像６２の画素ずらしを行って立体視画像２２０を生成する立体視画像生成手段２２２と、生成された立体視画像２２０をモニタ、パーソナルコンピュータ、プリンタ等に出力する立体視画像出力手段２２４とを有する。本実施の形態における立体視画像出力手段２２４は、生成された立体視画像２２０を三次元モニタ２０６に出力して立体視画像２２０を表示する場合を示している。
【０１０９】
ここで、立体視画像出力装置２００の処理動作について図２３を参照しながら説明する。
【０１１０】
先ず、ステップＳ６０１において、画像読出し手段２１６は、外部記憶装置１２に記憶されている二次元画像６２、奥行き画像８８及び奥行き精度画像９４を読み出して、メインメモリ２０４に記録する。
【０１１１】
その後、ステップＳ６０２において、視差量演算手段２１８は、処理対象の画素の更新を示すカウンタの値ｎを初期値「１」にする（ｎ＝１）。
【０１１２】
次いで、ステップＳ６０３において、視差量演算手段２１８は、奥行き画像８８のうち、カウンタの値ｎに対応する画素（ｎ番目の画素）の奥行き値を読み出す。
【０１１３】
その後、ステップＳ６０４において、視差量演算手段２１８は、奥行き精度画像９４のうち、カウンタの値ｎに対応する画素（ｎ番目の画素）の精度情報（精度の高／低＝１／０）を読み出す。
【０１１４】
その後、ステップＳ６０５において、精度情報が「０」（精度＝「低」）であるか、「１」（精度＝「高」）であるかが判別される。
【０１１５】
精度情報が「０」（精度＝「低」）である場合は、ステップＳ６０６に進み、図２４Ａに示す低い精度用の第１補正テーブル２２６に基づいてｎ番目の画素の視差量を求める。
【０１１６】
第１補正テーブル２２６は、横軸に奥行き値、縦軸に視差量をとったグラフをテーブル化したものである。この第１補正テーブルでは、奥行き値が増加するに従って視差量が階段状に増加する特性となっている。従って、奥行き値が例えばＤ０〜Ｄ９の間にある場合は、視差量は一律Ｔ１、奥行き値が例えばＤ１０〜Ｄ１９の間にある場合は、視差量は一律Ｔ２というように、奥行き値がある範囲まで変化しないと画素ずらしがなされず、ほとんど立体視効果が現れないようになっている。従って、その分、立体視表示のためにかかる演算処理が簡略化され、ＣＰＵ２０２での演算負担が低減されることになる。
【０１１７】
一方、精度情報が「１」（精度＝「高」）である場合は、ステップＳ６０７に進み、図２４Ｂに示す高い精度用の第２補正テーブル２２８に基づいてｎ番目の画素の視差量を求める。
【０１１８】
第２補正テーブル２２８は、第１補正テーブル２２６と同様に、横軸に奥行き値、縦軸に視差量をとったグラフをテーブル化したものである。特に、この第２補正テーブル２２８では、奥行き値が増加するに従って視差量も線形に増加する特性となっている。従って、奥行き値の変化がそのまま線形変化として視差量に反映されることから、細かい凹凸まで忠実に表示することができる。
【０１１９】
前記ステップＳ６０６あるいはステップＳ６０７での処理が終了した段階で次のステップＳ６０８に進み、カウンタの値を＋１更新して、前記ステップＳ６０９に進み、全ての画素について処理が終了したか否かが判別される。全ての画素についての処理が終了していなければ、前記ステップＳ６０３以降の処理を繰り返す。
【０１２０】
そして、ステップＳ６０９において、全ての画素について処理が終了したと判別された場合、すなわち、二次元画像６２に対応する視差量画像２１７が完了した場合は、次のステップＳ６１０に進み、立体視画像生成手段２２２は、視差量画像２１７の画素ごとの視差量に基づいて二次元画像６２の画素ずらしを行って立体視画像２２０を生成する。
【０１２１】
その後、ステップＳ６１１において、立体視画像出力手段２２４は、生成された立体視画像２２０を三次元モニタ２０６に出力する。これによって、三次元モニタ３０６から今回の立体視画像２２０が表示されることになる。この段階で、本実施の形態に係る立体視画像出力装置２００での処理が終了する。
【０１２２】
上述の例では、第１補正テーブル２２６の特性として、階段状の特性を示したが、その他、奥行き値に対する視差量を「０」にするようにしてもよい。この場合、精度＝「低」とされた画素で構成された画像は平面的な画像として表示されることになる。
【０１２３】
また、上述の例では、外部記憶装置１２に記録された二次元画像６２、奥行き画像８８、奥行き精度画像９４に基づいて立体視画像２２０を表示するようにしたが、その他、図２５に示すように、本実施の形態に係る立体視画像出力装置２００をパーソナルコンピュータ１０８に接続し、パーソナルコンピュータ１０８のハードディスクに記録されている二次元画像６２、奥行き画像８８、奥行き精度画像９４や、ネットワーク１１０を経由してＷｅｂサイト１１２からダウンロードした二次元画像６２、奥行き画像８８、奥行き精度画像９４や、他のユーザから転送された二次元画像６２、奥行き画像８８、奥行き精度画像９４に基づいて立体視画像２２０を作成し、出力（表示等）するようにしてもよい。
【０１２４】
なお、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【符号の説明】
【０１２５】
１０Ａ…第１立体視画像作成装置          １０Ｂ…第２立体視画像作成装置
１０Ｃ…第３立体視画像作成装置          １２…外部記憶装置
１６…第１カメラ部                      ２０…第２カメラ部
６２…第１二次元画像（二次元画像）      ７６…第２二次元画像
７８…距離情報取得手段                  ８０…奥行き画像生成手段
８２…撮影関連情報取得手段              ８４…奥行き画像生成方法決定手段
８６…距離情報ファイル                  ８８…奥行き画像
９０ａ〜９０ｇ…マッピングテーブル      ９２…奥行き精度画像生成手段
９４…奥行き精度画像                    ９６…建物の画像
９８…顔の画像                          １００…距離測定装置
１０８…パーソナルコンピュータ          １１０…ネットワーク
１１２…Ｗｅｂサイト                    ２００…立体視画像出力装置
２０６…三次元モニタ                    ２１６…画像読出し手段
２１７…視差量画像                      ２１８…視差量演算手段
２２０…立体視画像                      ２２２…立体視画像生成手段
２２４…立体視画像出力手段
【図１】
2011211739.tif 000003
【図２】
2011211739.tif 000004
【図３】
2011211739.tif 000005
【図４】
2011211739.tif 000006
【図５】
2011211739.tif 000007
【図６】
2011211739.tif 000008
【図７】
2011211739.tif 000009
【図８】
2011211739.tif 000010
【図９】
2011211739.tif 000011
【図１０】
2011211739.tif 000012
【図１１】
2011211739.tif 000013
【図１２】
2011211739.tif 000014
【図１３】
2011211739.tif 000015
【図１４】
2011211739.tif 000016
【図１５】
2011211739.tif 000017
【図１６】
2011211739.tif 000018
【図１７】
2011211739.tif 000019
【図１８】
2011211739.tif 000020
【図１９】
2011211739.tif 000021
【図２０】
2011211739.tif 000022
【図２１】
2011211739.tif 000023
【図２２】
2011211739.tif 000024
【図２３】
2011211739.tif 000025
【図２４】
2011211739.tif 000026
【図２５】
2011211739.tif 000027
【手続補正書】
【提出日】平成23年6月30日(2011.6.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段と、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
生成された前記奥行き画像中の奥行き精度が設定された奥行き精度画像を生成する奥行き精度画像生成手段とを有し、
前記奥行き精度画像生成手段は、前記二次元画像を構成する複数の画素のうち、被写界深度を外れている画素について、奥行き精度を、前記被写界深度内にある画素よりも低く設定することを特徴とする立体視画像作成装置。
【請求項２】
請求項１記載の立体視画像作成装置において、
前記奥行き精度画像生成手段にて生成される前記奥行き精度画像は、精度の高低を示す２値画像であることを特徴とする立体視画像作成装置。
【請求項３】
請求項１又は２記載の立体視画像作成装置において、
前記奥行き画像に記録された奥行き値と前記奥行き精度画像に記録された精度情報に基づいて二次元画像の画素ごとの視差量を演算して視差量画像を作成する視差量演算手段と、
前記視差量画像の画素ごとの視差量に基づいて二次元画像の画素ずらしを行って立体視画像を生成する立体視画像生成手段とを有し、
前記視差量演算手段は、前記奥行き画像のうち、前記奥行き精度画像によって設定された奥行き精度の低い画像の奥行き値に対する視差量を、前記奥行き値の増加に対して視差量が変化しない特性を少なくとも１つ有する奥行き−視差量特性に基づいて演算することを特徴とする立体視画像作成装置。
【請求項４】
請求項３記載の立体視画像作成装置において、
前記視差量演算手段は、前記奥行き画像のうち、前記奥行き精度画像によって設定された奥行き精度の低い画像の奥行き値に対する視差量を、前記奥行き−視差量特性に基づいて演算し、前記奥行き画像のうち、前記奥行き精度画像によって設定された奥行き精度の高い画像の奥行き値に対する視差量を、第２の奥行き−視差量特性に基づいて演算して、前記奥行き画像に対応した視差量画像を作成し、
前記第２の奥行き−視差量特性は、前記奥行き値が増加するに従って視差量が増加する特性を有することを特徴とする立体視画像作成装置。
【請求項５】
請求項４記載の立体視画像作成装置において、
前記奥行き−視差量特性は、前記奥行き値が増加するに従って視差量が階段状に増加する特性を有し、前記第２の奥行き−視差量特性は、前記奥行き値が増加するに従って視差量も連続的に増加する特性を有することを特徴とする立体視画像作成装置。
【請求項６】
請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
前記奥行き精度画像生成手段は、前記被写体を撮像した際に取得された撮影関連情報のうち、少なくともレンズ情報、絞り値、ＡＦの合焦距離に基づいて被写界深度を算出することを特徴とする立体視画像作成装置。
【請求項７】
請求項１記載の立体視画像作成装置において、
前記被写体を撮像した際の複数の撮影関連情報を取得する撮影関連情報取得手段と、
前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段と、
前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする立体視画像作成装置。
【請求項８】
請求項７記載の立体視画像作成装置において、
さらに、前記複数の奥行き画像生成方法を記憶する記憶手段を有し、
前記奥行き画像生成方法決定手段は、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法を前記記憶手段から読み出して、前記奥行き画像生成手段に供給することを特徴とする立体視画像作成装置。
【請求項９】
請求項７記載の立体視画像作成装置において、
前記奥行き画像生成方法決定手段は、前記複数の奥行き画像生成方法のうち、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法をネットワークを通じて受け取り、前記奥行き画像生成手段に供給することを特徴とする立体視画像作成装置。
【請求項１０】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段と、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
生成された前記奥行き画像中の奥行き精度が設定された奥行き精度画像を生成する奥行き精度画像生成手段と、
前記二次元画像取得手段にて取得された前記二次元画像と、前記奥行き画像生成手段にて生成された前記奥行き画像と、前記奥行き精度画像生成手段にて生成された前記奥行き精度画像から立体視画像を生成する立体視画像生成手段とを有し、
前記奥行き精度画像生成手段は、前記二次元画像を構成する複数の画素のうち、被写界深度を外れている画素について、奥行き精度を、前記被写界深度内にある画素よりも低く設定することを特徴とする立体視画像出力装置。
【請求項１１】
被写体の二次元画像を取得する二次元画像取得手段と、
前記被写体までの距離情報を取得する距離情報取得手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、
少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成ステップと、
生成された前記奥行き画像中の奥行き精度が設定された奥行き精度画像を生成する奥行き精度画像生成ステップとを有し、
前記奥行き精度画像生成ステップは、前記二次元画像を構成する複数の画素のうち、被写界深度を外れている画素について、奥行き精度を、前記被写界深度内にある画素よりも低く設定することを特徴とする立体視画像作成方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明はこのような課題を考慮してなされたものであり、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
第１の本発明に係る立体視画像作成装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、生成された前記奥行き画像中の奥行き精度が設定された奥行き精度画像を生成する奥行き精度画像生成手段とを有し、前記奥行き精度画像生成手段は、前記二次元画像を構成する複数の画素のうち、被写界深度を外れている画素について、奥行き精度を、前記被写界深度内にある画素よりも低く設定することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
そして、第１の本発明において、前記奥行き精度画像生成手段にて生成される前記奥行き精度画像は、精度の高低を示す２値画像であってもよい。
また、第１の本発明において、前記奥行き画像に記録された奥行き値と前記奥行き精度画像に記録された精度情報に基づいて二次元画像の画素ごとの視差量を演算して視差量画像を作成する視差量演算手段と、前記視差量画像の画素ごとの視差量に基づいて二次元画像の画素ずらしを行って立体視画像を生成する立体視画像生成手段とを有し、前記視差量演算手段は、前記奥行き画像のうち、前記奥行き精度画像によって設定された奥行き精度の低い画像の奥行き値に対する視差量を、前記奥行き値の増加に対して視差量が変化しない特性を少なくとも１つ有する奥行き−視差量特性に基づいて演算するようにしてもよい。
この場合、前記視差量演算手段は、前記奥行き画像のうち、前記奥行き精度画像によって設定された奥行き精度の低い画像の奥行き値に対する視差量を、前記奥行き−視差量特性に基づいて演算し、前記奥行き画像のうち、前記奥行き精度画像によって設定された奥行き精度の高い画像の奥行き値に対する視差量を、第２の奥行き−視差量特性に基づいて演算して、前記奥行き画像に対応した視差量画像を作成し、前記第２の奥行き−視差量特性は、前記奥行き値が増加するに従って視差量が増加する特性を有するようにしてもよい。
前記奥行き−視差量特性は、前記奥行き値が増加するに従って視差量が階段状に増加する特性を有し、前記第２の奥行き−視差量特性は、前記奥行き値が増加するに従って視差量も連続的に増加する特性を有するようにしてもよい。
また、第１の本発明において、前記奥行き精度画像生成手段は、前記被写体を撮像した際に取得された撮影関連情報のうち、少なくともレンズ情報、絞り値、ＡＦの合焦距離に基づいて被写界深度を算出するようにしてもよい。
第１の本発明において、前記被写体を撮像した際の複数の撮影関連情報を取得する撮影関連情報取得手段と、前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段と、前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成するようにしてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
この場合、さらに、前記複数の奥行き画像生成方法を記憶する記憶手段を有し、前記奥行き画像生成方法決定手段は、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法を前記記憶手段から読み出して、前記奥行き画像生成手段に供給するようにしてもよい。あるいは、前記奥行き画像生成方法決定手段は、前記複数の奥行き画像生成方法のうち、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法をネットワークを通じて受け取り、前記奥行き画像生成手段に供給するようにしてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
次に、第２の本発明に係る立体視画像出力装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、生成された前記奥行き画像中の奥行き精度が設定された奥行き精度画像を生成する奥行き精度画像生成手段と、前記二次元画像取得手段にて取得された前記二次元画像と、前記奥行き画像生成手段にて生成された前記奥行き画像と、前記奥行き精度画像生成手段にて生成された前記奥行き精度画像から立体視画像を生成する立体視画像生成手段とを有し、前記奥行き精度画像生成手段は、前記二次元画像を構成する複数の画素のうち、被写界深度を外れている画素について、奥行き精度を、前記被写界深度内にある画素よりも低く設定することを特徴とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を出力（例えば三次元モニタへの表示）することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
次に、第３の本発明に係る立体視画像作成方法は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成ステップと、生成された前記奥行き画像中の奥行き精度が設定された奥行き精度画像を生成する奥行き精度画像生成ステップとを有し、前記奥行き精度画像生成ステップは、前記二次元画像を構成する複数の画素のうち、被写界深度を外れている画素について、奥行き精度を、前記被写界深度内にある画素よりも低く設定することを特徴とする。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
以上説明したように、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法によれば、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
これら第１カメラ部１６、第２カメラ部２０、メインメモリ２２、システムメモリ２４、ＣＰＵ２６等は制御バスやデータバス（以下、単にバス２８と記す）を通じて接続されている。このバス２８には、上述の部材のほか、不揮発性メモリ３０、ＵＳＢドライバ３２、Ｉ／Ｏインターフェース３４、カレンダ時計３６、タイマ３８等が接続されている。ＵＳＢドライバ３２には外部コネクタ４０が接続され、該外部コネクタ４０を介して外部記憶装置１２が接続されている。また、Ｉ／Ｏインターフェース３４には、操作パネル４２上のスイッチやＬＥＤ等が接続されている。なお、これら各部材は、外部コネクタ４４に接続された外部電源（図示せず）が電源制御回路４６及びＤＣ−ＤＣコンバータ４８を介して供給されるようになっている。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
第１カメラ部１６は、上述した第１ＣＣＤ撮像素子１４のほか、レンズやモータを有し、且つ、被写体の映像を第１ＣＣＤ撮像素子１４に結像させるための第１光学系５０と、第１ＣＣＤ撮像素子１４からの撮像信号をアナログの映像信号に信号処理する第１アナログ信号処理回路５２と、映像信号をデジタル変換して映像データにする第１Ａ／Ｄ変換器５４と、第１Ａ／Ｄ変換器５４からの出力に基づいてオートアイリスやオートフォーカスのための制御信号を生成する第１積算回路５６と、第１積算回路５６からの制御信号に基づいてレンズの絞りやフォーカシング、ズーム等を制御する第１駆動制御部５８と、第１ＣＣＤ撮像素子１４や第１アナログ信号処理回路５２等にタイミング信号を出力する第１タイミング発生回路６０とを有する。そして、第１Ａ／Ｄ変換器５４から出力される映像データが水平同期信号に合わせてメインメモリ２２に二次元的に記録されることで、第１二次元画像６２（図２参照）が生成されることになる。従って、この第１カメラ部１６は二次元画像取得手段として機能する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
図３〜図６に示すマッピングテーブル９０ａ〜９０ｇの特性を、第１二次元画像６２に含まれる被写体の画像の記録範囲の大小や、第１二次元画像６２に含まれる顔の画像の記録範囲の大小によって変化させるようにしてもよい。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
その後、図８のステップＳ１０３において、第１カメラ部１６は、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像６２）を取得してメインメモリ２２に記録する。このとき、第２カメラ部２０にて撮像した第２二次元画像７６もメインメモリ２２に記録される。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
その後、図８のステップＳ１０５において、奥行き画像生成手段８０は、ステップＳ１０２においてメインメモリ２２の所定アドレスに記憶されたマッピングテーブルの情報に対応する１つの奥行き画像生成方法（マッピングテーブル）を読み出し、このマッピングテーブルと、距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル８６）とに基づいて、画素ごとに奥行き値をそれぞれ設定していき、奥行き画像８８を生成し、生成した奥行き画像８８をメインメモリ２２に記録する。この段階で、第２処理例が終了する。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
そこで、奥行き精度画像生成手段９２は、上述した生成された奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像９４を生成する。すなわち、取得した第１二次元画像６２と同じ画素配列を有する別の二次元画像（奥行き精度画像９４）を用意し、取得した第１二次元画像６２のうち、奥行き精度を高くしたい画素について奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、奥行き精度が低くてもよい画素について奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。そして、この奥行き精度画像９４を用いて、奥行き画像８８に記録されている奥行き値から視差量を演算することで、撮影者が鮮明に撮りたいという意図のもとで撮影した被写体の画像が、特に鮮明に表示（出力）されることなる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
そして、第３処理例は、第１二次元画像６２の輝度情報に基づいて奥行き精度画像９４を生成する処理を含む。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１０のステップＳ２０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ２０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１０のステップＳ２０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ２０４において、距離情報取得手段７８が第１二次元画像６２における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ２０５において、奥行き画像生成手段８０は、ステップＳ２０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
そして、ステップＳ２０６において、奥行き精度画像生成手段９２は、第１二次元画像６２の画素ごとの輝度値から、撮影モードと予め設定された輝度に関する閾値に基づいて画素ごとの奥行き精度を設定し、奥行き精度画像９４を生成する。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１３のステップＳ３０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ３０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１３のステップＳ３０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ３０４において、距離情報取得手段７８が第１二次元画像６２における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ３０５において、奥行き画像生成手段８０は、ステップＳ３０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
そこで、図１４に示すように、取得した第１二次元画像６２の画素ごとの距離情報を確認して、距離が被写界深度Ｄｄ内にある画素については、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、距離が被写界深度を外れている画素については、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
次に、第５処理例について図１５を参照しながら説明する。この第５処理例は、取得した第１二次元画像６２のうち、中央部分に記録されている画像に基づいて奥行き精度画像９４を生成する処理を含む。これは、取得した第１二次元画像６２のうち、中央部分に記録されている画像は、撮影者が特に鮮明に撮りたいという意図のもとで記録されたものであり、中央部分に記録された画像の奥行き精度を高くする。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１５のステップＳ４０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ４０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１５のステップＳ４０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ４０４において、距離情報取得手段７８が第１二次元画像６２における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ４０５において、奥行き画像生成手段８０は、ステップＳ４０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
そして、ステップＳ４０６において、奥行き精度画像生成手段９２は、第１二次元画像６２のうち、予め設定された範囲（中央部分の範囲）に記録されている被写体の画像を特定する。図１６の例では、被写体の画像として建物の画像９６を特定した例を示す。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
先ず、図７のステップＳ１〜ステップＳ５と同様に、図１７のステップＳ５０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ５０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１７のステップＳ５０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ５０４において、距離情報取得手段７８が第１二次元画像６２における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ５０５において、奥行き画像生成手段８０は、ステップＳ５０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
そして、ステップＳ５０６において、奥行き精度画像生成手段９２は、第１二次元画像６２のうち、人間の顔や動物の顔の画像が記録されているかどうかを探索し、その記録範囲を特定する。例えば、予め人間の代表的な顔の参照画像や動物の代表的な顔の参照画像を用意しておき、取得した二次元画像に参照画像と類似する画像が記録されているかどうかを例えばパターンマッチング法等を使用して探索する。探索の結果、参照画像に類似した画像が存在する場合は、その記録範囲の情報をメインメモリ２２の所定アドレスに格納する。図１８の例では、人間の顔の画像９８の記録範囲を特定した例を示す。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
この距離測定装置１００は、レーザ光の出射指示に基づいてレーザ光源（図示せず）からレーザ光を出射するように制御するレーザ光制御部１０２と、被写体から反射したレーザ光を受光するレーザ光受光部１０４と、レーザ光の出射指示から受光までにかかった時間に基づいて被写体までの距離を測定する信号処理回路１０６とを有し、距離情報取得手段７８として機能する。距離測定装置１００は、第１カメラ部１６での撮像範囲をカバーするようにレーザ光を走査しながら、第１カメラ部１６で取得される第１二次元画像６２の画素ごとの距離情報（距離情報ファイル８６）を取得する。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
また、上述の例では、ＵＳＢドライバ３２の外部コネクタ４０に外部記憶装置１２を接続した例を示したが、その他、図２０に示すように、例えば第２立体視画像作成装置１０Ｂをパーソナルコンピュータ１０８にＵＳＢドライバ３２の外部コネクタ４０を介して接続し、パーソナルコンピュータ１０８のハードディスクに第１二次元画像６２、奥行き画像８８、奥行き精度画像９４を記録するようにしてもよい。また、複数のマッピングテーブル９０ａ〜９０ｇを不揮発性メモリ３０から入手するのではなく、ネットワーク１１０及びパーソナルコンピュータ１０８を経由してＷｅｂサイト１１２からダウンロードするようにしてもよい。この場合、様々な撮影関連情報に合わせた多種多様のマッピングテーブルを適宜入手することができ、しかも、機種変更にも容易に対応させることができ、撮影者の撮影時における意図を忠実に反映させた奥行き画像を生成することができる。もちろん、パーソナルコンピュータ１０８のハードディスクに記録された第１二次元画像６２、奥行き画像８８、奥行き精度画像９４をＷｅｂサイト１１２にアップロードしたり、他のユーザのパーソナルコンピュータに転送するようにしてもよい。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
第１補正テーブル２２６は、横軸に奥行き値、縦軸に視差量をとったグラフをテーブル化したものである。この第１補正テーブル２２６では、奥行き値が増加するに従って視差量が階段状に増加する特性となっている。従って、奥行き値が例えばＤ０〜Ｄ９の間にある場合は、視差量は一律Ｔ１、奥行き値が例えばＤ１０〜Ｄ１９の間にある場合は、視差量は一律Ｔ２というように、奥行き値がある範囲まで変化しないと画素ずらしがなされず、ほとんど立体視効果が現れないようになっている。従って、その分、立体視表示のためにかかる演算処理が簡略化され、ＣＰＵ２０２での演算負担が低減されることになる。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
その後、ステップＳ６１１において、立体視画像出力手段２２４は、生成された立体視画像２２０を三次元モニタ２０６に出力する。これによって、三次元モニタ２０６から今回の立体視画像２２０が表示されることになる。この段階で、本実施の形態に係る立体視画像出力装置２００での処理が終了する。
【手続補正４０】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2011211739.tif 000028
【手続補正４１】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正の内容】
【図１９】
2011211739.tif 000029
【手続補正４２】
【補正対象書類名】図面
【補正対象項目名】図２２
【補正方法】変更
【補正の内容】
【図２２】
2011211739.tif 000030