(57)【要約】【課題】３次元表示された画像にオブジェクトを表示する際に、立体視を妨げることなく、オブジェクトを認識できるようにする。【解決手段】撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２に、３次元処理部３０が３次元処理を行って３次元表示用画像を作成し、モニタ２０に３次元表示する。表示制御部２８が第１および第２の画像Ｇ１，Ｇ２に含まれる主要被写体の視差量Δｘを算出する。オブジェクトの視差量が視差量Δｘとなるようにオブジェクトを作成し、３次元表示用画像に重ねてオブジェクトを表示する。【選択図】図１
2010056737.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像間における前記主要被写体の視差量を算出し、該主要被写体の視差量に応じた視差量にて前記オブジェクトを３次元表示するオブジェクト表示制御手段とを備えたことを特徴とする３次元表示装置。
【請求項２】
前記オブジェクト表示制御手段は、前記複数の画像のうちの基準となる基準画像用のオブジェクトを該基準画像における所定位置に表示し、前記複数の画像のうちの他の画像用のオブジェクトを、該他の画像における前記所定位置に対応する対応位置から前記主要被写体の視差量に応じた視差量離れた位置に表示することにより、前記オブジェクトを３次元表示する手段であることを特徴とする請求項１記載の３次元表示装置。
【請求項３】
互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像のそれぞれのためのオブジェクトを、該複数の画像のそれぞれに含まれる前記主要被写体から所定距離離れた位置に表示することにより、前記オブジェクトを３次元表示するオブジェクト表示制御手段とを備えたことを特徴とする３次元表示装置。
【請求項４】
前記主要被写体検出手段は、前記複数の画像のうちの基準となる基準画像の合焦領域を前記主要被写体として検出する手段であることを特徴とする請求項１から３のいずれか１項記載の３次元表示装置。
【請求項５】
前記主要被写体検出手段は、前記複数の画像における所望とされる被写体の指定を受け付け、該指定された被写体を前記主要被写体として検出する手段であることを特徴とする請求項１から３のいずれか１項記載の３次元表示装置。
【請求項６】
前記主要被写体検出手段は、前記複数の画像に含まれる特定の被写体を前記主要被写体として検出する手段であることを特徴とする請求項１から３のいずれか１項記載の３次元表示装置。
【請求項７】
互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像間における前記主要被写体の視差量を算出し、
該主要被写体の視差量に応じた視差量にて前記オブジェクトを３次元表示することを特徴とする３次元表示方法。
【請求項８】
互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像のそれぞれのためのオブジェクトを、該複数の画像のそれぞれに含まれる前記主要被写体から所定距離離れた位置に表示することにより、前記オブジェクトを３次元表示することを特徴とする３次元表示方法。
【請求項９】
互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段とを備えた３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムであって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像間における前記主要被写体の視差量を算出する手順と、
該主要被写体の視差量に応じた視差量にて前記オブジェクトを３次元表示する手順とをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段とを備えた３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムであって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像のそれぞれのためのオブジェクトを、該複数の画像のそれぞれに含まれる前記主要被写体から所定距離離れた位置に表示することにより、前記オブジェクトを３次元表示する手順をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
互いに異なる位置において撮影を行うことにより取得された複数の画像に３次元表示のための処理を行う画像処理装置において、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記３次元表示された画像に重ねてオブジェクトを表示する場合における、前記複数の画像間における前記主要被写体の視差量を算出し、該主要被写体の視差量に応じた視差量を前記オブジェクトの視差量として記憶する記憶手段とを備えたことを特徴とする画像処理装置。
【請求項１２】
互いに異なる位置において撮影を行うことにより取得された複数の画像に３次元表示のための処理を行う画像処理方法において、
前記複数の画像に含まれる主要被写体を検出し、
前記３次元表示された画像に重ねてオブジェクトを表示する場合における、前記複数の画像間における前記主要被写体の視差量を算出し、
該主要被写体の視差量に応じた視差量を前記オブジェクトの視差量として記憶することを特徴とする画像処理方法。
【請求項１３】
互いに異なる位置において撮影を行うことにより取得された複数の画像に３次元表示のための処理を行う画像処理方法をコンピュータに実行させるためのプログラムにおいて、
前記複数の画像に含まれる主要被写体を検出する手順と、
前記３次元表示された画像に重ねてオブジェクトを表示する場合における、前記複数の画像間における前記主要被写体の視差量を算出する手順と、
該主要被写体の視差量に応じた視差量を前記オブジェクトの視差量として記憶する手順とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を立体視可能なように３次元表示する３次元表示装置および方法並びに３次元表示方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより生成することができる。
【０００３】
具体的には、裸眼平衡法により立体視を実現する方式の場合、複数の画像を並べて配置して３次元表示を行うことができる。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して３次元表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、３次元表示された画像を目の自動焦点機能により融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。
【０００４】
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３次元表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、３次元表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、３次元表示を行う方式も提案されている（スキャンバックライト方式）。
【０００５】
また、このような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは３次元表示モニタを備え、複数の撮影部が取得した画像から３次元表示用画像を生成し、生成した３次元表示用画像を３次元表示モニタに３次元表示することができる。
【０００６】
また、このような複眼カメラにおいては、撮影時にはＦ値およびシャッタ速度等の撮影条件、撮影枚数および撮影日時等、手ぶれ防止、フラッシュのオン／オフおよび人物モード等を表すためのアイコン、並びに絵文字等のオブジェクトを表示する必要がある。撮影者はこのようなオブジェクトを確認することにより、撮影日時、撮影枚数および撮影時の撮影条件等を認識することができる。
【０００７】
ここで、３次元表示中にこのようなオブジェクトを表示するに際し、３次元表示を２次元表示に切り替える手法が提案されている（特許文献１参照）。特許文献１に記載された手法によれば、オブジェクトの表示時には画像の立体感がなくなるため、オブジェクトを見やすくすることができる。
【特許文献１】特開２００３−９１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１に記載された手法は、オブジェクトを表示する際には画像の３次元表示が停止されてしまうため、画像の立体感がなくなってしまう。このため、３次元表示を停止することなく、オブジェクトを３次元表示用画像に重ねて表示することが考えられる。しかしながら、３次元表示は目の錯覚を利用して画像を立体的に表示するものであるため、画像が３次元表示されている最中に、画像上に突然オブジェクトが表示されると、視線がオブジェクトに移動することから画像の立体視が妨げられてしまう。逆に画像の立体視を続けると、オブジェクトを認識することができない。
【０００９】
本発明は上記事情に鑑みなされたものであり、立体視を妨げることなく、オブジェクトを認識できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明による第１の３次元表示装置は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像間における前記主要被写体の視差量を算出し、該主要被写体の視差量に応じた視差量にて前記オブジェクトを３次元表示するオブジェクト表示制御手段とを備えたことを特徴とするものである。
【００１１】
「主要被写体の視差量に応じた視差量」とは、主要被写体の視差量と同一の視差量のみならず、３次元表示されたオブジェクトを立体視したときに、オブジェクトの立体感と主要被写体の立体感とが一致して見える程度に、主要被写体の視差量とは異なる視差量をも含む。また、オブジェクトの視差量を例えば５段階のように段階的に設定することにより立体感を段階的に変更可能とした場合において、主要被写体の視差量に最も近い段階の視差量も「主要被写体の視差量に応じた視差量」に含む。
【００１２】
なお、本発明による第１の３次元表示装置においては、前記オブジェクト表示制御手段を、前記複数の画像のうちの基準となる基準画像用のオブジェクトを該基準画像における所定位置に表示し、前記複数の画像のうちの他の画像用のオブジェクトを、該他の画像における前記所定位置に対応する対応位置から前記主要被写体の視差量に応じた視差量離れた位置に表示することにより、前記オブジェクトを３次元表示する手段としてもよい。
【００１３】
本発明による第２の３次元表示装置は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像のそれぞれのためのオブジェクトを、該複数の画像のそれぞれに含まれる前記主要被写体から所定距離離れた位置に表示することにより、前記オブジェクトを３次元表示するオブジェクト表示制御手段とを備えたことを特徴とするものである。
【００１４】
「所定距離」は、複数の画像において完全に一致したものであってもよく、３次元表示されたオブジェクトを立体視したときに、オブジェクトの立体感と主要被写体の立体感とが一致して見える程度に異なるものであってもよい。
【００１５】
なお、本発明による第１および第２の３次元表示装置においては、前記主要被写体検出手段を、前記複数の画像のうちの基準となる基準画像の合焦領域を前記主要被写体として検出する手段としてもよい。
【００１６】
また、本発明による第１および第２の３次元表示装置においては、前記主要被写体検出手段を、前記複数の画像における所望とされる被写体の指定を受け付け、該指定された被写体を前記主要被写体として検出する手段としてもよい。
【００１７】
また、本発明による第１および第２の３次元表示装置においては、前記主要被写体検出手段を、前記複数の画像に含まれる特定の被写体を前記主要被写体として検出する手段としてもよい。
【００１８】
本発明による第１の３次元表示方法は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像間における前記主要被写体の視差量を算出し、
該主要被写体の視差量に応じた視差量にて前記オブジェクトを３次元表示することを特徴とするものである。
【００１９】
本発明による第２の３次元表示方法は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像のそれぞれのためのオブジェクトを、該複数の画像のそれぞれに含まれる前記主要被写体から所定距離離れた位置に表示することにより、前記オブジェクトを３次元表示することを特徴とするものである。
【００２０】
本発明による画像処理装置は、互いに異なる位置において撮影を行うことにより取得された複数の画像に３次元表示のための処理を行う画像処理装置において、
前記複数の画像に含まれる主要被写体を検出する主要被写体検出手段と、
前記３次元表示された画像に重ねてオブジェクトを表示する場合における、前記複数の画像間における前記主要被写体の視差量を算出し、該主要被写体の視差量に応じた視差量を前記オブジェクトの視差量として記憶する記憶手段とを備えたことを特徴とするものである。
【００２１】
本発明による画像処理方法は、互いに異なる位置において撮影を行うことにより取得された複数の画像に３次元表示のための処理を行う画像処理方法において、
前記複数の画像に含まれる主要被写体を検出し、
前記３次元表示された画像に重ねてオブジェクトを表示する場合における、前記複数の画像間における前記主要被写体の視差量を算出し、
該主要被写体の視差量に応じた視差量を前記オブジェクトの視差量として記憶することを特徴とするものである。
【００２２】
なお、本発明による第１および第２の３次元表示方法、並びに画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２３】
本発明の第１の３次元表示装置および方法によれば、３次元表示された画像に重ねてオブジェクトを表示するに際し、複数の画像間における主要被写体の視差量を算出し、主要被写体の視差量に応じた視差量にてオブジェクトを３次元表示するようにしたものである。これにより、画像とともにオブジェクトも立体視できるため、画像の立体視を妨げることなくオブジェクトも認識することが可能となる。
【００２４】
本発明の第２の３次元表示装置および方法によれば、３次元表示された画像に重ねてオブジェクトを表示するに際し、複数の画像のそれぞれのためのオブジェクトを、複数の画像のそれぞれに含まれる主要被写体から所定距離離れた位置に表示することによりオブジェクトを３次元表示するようにしたものである。これにより、画像とともにオブジェクトも立体視できるため、画像の立体視を妨げることなくオブジェクトも認識することが可能となる。また、主要被写体の視差量を算出しなくてもよいため、迅速にオブジェクトを３次元表示することができる。
【００２５】
また、複数の画像のうちの基準画像の合焦領域を主要被写体として検出することにより、３次元表示した際に最も注視される領域と同様の立体感を持ってオブジェクトを表示できるため、オブジェクトの認識がより容易となる。
【００２６】
また、複数の画像のうちの指定された所望とされる被写体を主要被写体として検出することにより、３次元表示した際に指定された被写体と同様の立体感を持ってオブジェクトを表示できるため、オブジェクトの認識がより容易となる。
【００２７】
また、複数の画像のうちの特定の被写体を主要被写体として検出することにより、３次元表示した際に最も注視される可能性が高い特定の被写体と同様の立体感を持ってオブジェクトを表示できるため、オブジェクトの認識がより容易となる。
【００２８】
本発明による画像処理装置および方法によれば、３次元表示された画像に重ねてオブジェクトを表示する場合における、複数の画像間における主要被写体の視差量を算出し、主要被写体の視差量に応じた視差量をオブジェクトの視差量として記憶するようにしたものである。このため、複数の画像を３次元表示する際に、記憶されたオブジェクトの視差量にてオブジェクトを表示することにより画像とともにオブジェクトも立体視でき、これにより、画像の立体視を妨げることなくオブジェクトも認識することが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように第１の実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。
【００３０】
図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。
【００３１】
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮影制御部２２が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。
【００３２】
絞り１１Ａ，１１Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
【００３３】
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００３４】
ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３５】
ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３６】
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。
【００３７】
撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入出力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。
【００３８】
ここで、ＡＦ処理による焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。より具体的には、プレ画像を複数のＡＦ領域に分割し、各ＡＦ領域内の画像に対してハイパスフィルタによるフィルタリング処理を施して、ＡＦ領域毎にＡＦ評価値を算出し、最も評価が高い、すなわちフィルタによる出力値が最も高いＡＦ領域に対応する位置を合焦位置として検出する。なお、第１の実施形態においては、撮影制御部２２は、第１の画像Ｇ１において合焦位置を求めたＡＦ領域、すなわち合焦領域を主要被写体の領域として後述する表示制御部２８に出力する。このため、第１の実施形態においては、撮影制御部２２が主要被写体検出手段に相当する。
【００３９】
また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。
【００４０】
画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。
【００４１】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１および第２の画像Ｇ１，Ｇ２の本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、第１および第２の画像Ｇ１，Ｇ２の画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。
【００４２】
フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００４３】
メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイル等の書き込みと読み込みの制御を行う。
【００４４】
内部メモリ２７は、複眼カメラ１において設定される各種定数、およびＣＰＵ３３が実行するプログラム等を記憶する。
【００４５】
表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像ファイルをモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、後述する入出力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１および第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。
【００４６】
なお、表示モードが３次元表示に切り替えられた場合には、後述するように第１および第２の画像Ｇ１，Ｇ２の双方が表示に用いられ、２次元表示に切り替えられた場合は第１および第２の画像Ｇ１，Ｇ２のいずれか一方が表示に用いられる。本実施形態においては、第１の画像Ｇ１を２次元表示に用いるものとする。
【００４７】
また、表示制御部２８は、画像がモニタ２０に３次元表示または２次元表示されている場合に、オブジェクトを画像に重ねて表示する。ここで、オブジェクトとしては、Ｆ値およびシャッタ速度等の撮影条件、撮影枚数および撮影日時等、手ぶれ防止、フラッシュのオン／オフおよび人物モード等を表すためのアイコン、並びに絵文字等が用いられる。なお、オブジェクトのデータは内部メモリ２７に記憶されている。
【００４８】
図３はオブジェクトの例を示す図である。なお、ここでは第１および第２の画像Ｇ１，Ｇ２の一方にオブジェクトが重ねられた状態を示す。図３に示すように、画像には左上隅にフラッシュの発光を示すアイコンが、右上隅に今までの撮影枚数が、左下隅にＦ値およびシャッタ速度が、右下隅に撮影日を表す文字が画像に重ねて表示される。
【００４９】
なお、表示されるオブジェクトとしては、図３に示すものに限定されるものではなく、ＡＦ処理ができない場合等の状況を撮影者に知らせるための文字、顔検出を行う場合のアイコン、手ぶれ防止処理を行う場合のアイコン、マクロ撮影を行う場合のアイコン等を用いることができる。
【００５０】
また、本実施形態による複眼カメラ１は３次元処理部３０を備える。３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。
【００５１】
ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１および第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１および第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１および第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。
【００５２】
３次元処理部３０は、３次元表示の方式に応じた３次元処理を第１および第２の画像Ｇ１，Ｇ２に対して行う。例えば、３次元表示の方式が裸眼平衡法によるものである場合、第１および第２の画像Ｇ１，Ｇ２を左右に並べた３次元表示用画像を生成することにより３次元処理を行う。また、３次元表示の方式がレンチキュラー方式の場合には、第１および第２の画像Ｇ１，Ｇ２を垂直方向に短冊状に切り取って交互に配置した３次元表示用画像を生成することにより３次元処理を行う。また、３次元表示の方式がスキャンバックライト方式の場合には、第１および第２の画像Ｇ１，Ｇ２を、モニタ２０のバックライトの左右への分離にあわせて交互にモニタ２０に出力する３次元処理を行う。なお、以降の説明では、第１および第２の画像Ｇ１，Ｇ２を並べる方式を第１の方式、それ以外の方式を第２の方式と称する。
【００５３】
なお、モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。
【００５４】
ここで、３次元表示を行う場合には、モニタ２０に表示される画像にオブジェクトが重ねられる。第１の実施形態においては、表示制御部２８が第１および第２の画像Ｇ１，Ｇ２に含まれる主要被写体の視差量を算出し、主要被写体の視差量に応じた視差量にてオブジェクトをモニタ２０に３次元表示するものである。なお、この処理の詳細については後述する。
【００５５】
ＣＰＵ３３は、レリーズボタンおよびズームレバー等を含む入出力部３４からの信号に応じて複眼カメラ１の各部を制御する。
【００５６】
データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。
【００５７】
次いで、第１の実施形態において行われる処理について説明する。図４は第１の実施形態において行われる処理を示すフローチャートである。なお、ここでは第１および第２の画像Ｇ１，Ｇ２のスルー画像を第１の方式により３次元表示する場合の処理について説明する。また、モニタ２０の表示モードは３次元表示に切り替えられているものとする。複眼カメラ１が撮影モードに切り替えられるまたは撮影モードの状態において電源がオンとされることにより、ＣＰＵ３３がレリーズボタンの半押し操作がなされたか否かの監視を開始し（ステップＳＴ１）、ステップＳＴ１が肯定されると、撮影制御部２２がＡＦ処理を行う（ステップＳＴ２）。
【００５８】
そして表示制御部２８が、ＡＦ処理により検出された第１の画像Ｇ１に含まれる主要被写体の、第１および第２の画像Ｇ１，Ｇ２間における視差量を算出する（ステップＳＴ３）。
【００５９】
図５は視差量の算出を説明するための図である。図５に示すように表示制御部２８は、第１の画像Ｇ１の合焦領域すなわち主要被写体の領域Ａ１を第１の画像Ｇ１から切り出し、領域Ａ１をテンプレートとして第２の画像Ｇ２とのテンプレートマッチングを行い、第２の画像Ｇ２上において領域Ａ１に対応する領域Ａ２を抽出する。そして、第２の画像Ｇ２の中央の画素Ｏ２と、領域Ａ２の中央の画素Ｏ２′との水平方向における画素数の差の絶対値Δｘを視差量として算出する。
【００６０】
そして表示制御部２８は、視差量がΔｘとなるように、第１および第２の画像Ｇ１，Ｇ２に重ねて表示するためのオブジェクトを作成する（ステップＳＴ４）。次いで、３次元処理部３０が、第１および第２の画像Ｇ１，Ｇ２を並べる３次元処理を行うことにより３次元表示用画像を生成し（ステップＳＴ５）、さらに表示制御部２８が、３次元表示用画像に含まれる第１および第２の画像Ｇ１，Ｇ２に作成されたオブジェクトを重ねて、オブジェクトが重ねられた３次元表示用画像を作成し（オブジェクト付き３次元表示用画像作成、ステップＳＴ６）、オブジェクトが重ねられた３次元表示用画像をモニタ２０に３次元表示し（ステップＳＴ７）、リターンする。
【００６１】
図６は第１の実施形態においてオブジェクトが重ねられた第１および第２の画像Ｇ１，Ｇ２を示す図である。図６に示すように、第１および第２の画像Ｇ１，Ｇ２には、それぞれ左上隅にフラッシュの発光を示すアイコンが第１および第２の画像Ｇ１，Ｇ２に重ねられる。また、オブジェクトの視差量は、主要被写体である中央の円柱の視差量Δｘと同一となっている。
【００６２】
このように、オブジェクトが重ねられた第１および第２の画像Ｇ１，Ｇ２が左右に並べられることにより、３次元表示用画像が作成される。ここで、各オブジェクトは、視差量Δｘに対応する視差を持って第１および第２の画像Ｇ１，Ｇ２にそれぞれ重ねられるため、オブジェクトが重ねられた３次元表示用画像を３次元表示すると、画像とともにオブジェクトも立体視することができる。
【００６３】
例えば、図６に示すように円錐、円柱および立方体を含む画像において、図７に示すように三角柱、円柱および立方体の順で立体感が小さくなる３次元表示がなされる場合、中央の円柱を主要被写体とすると、主要被写体と同一の立体感を持ってオブジェクトが立体視されることとなる。なお、図７においては、横方向が立体視を行った際の奥行きを示す。また、図７において縦線はモニタ２０の表示面２０Ａである。
【００６４】
ここで、第１および第２の画像Ｇ１，Ｇ２を第２の方式により３次元処理した場合、作成されたオブジェクトは、第１および第２の画像Ｇ１，Ｇ２に対する３次元処理と同様の３次元処理が行われて、３次元表示用画像に重ねられる。
【００６５】
なお、ＣＰＵ３３はレリーズボタンが全押し操作されると、第１および第２の画像Ｇ１，Ｇ２の本画像を取得し、３次元処理部３０が第１および第２の画像Ｇ１，Ｇ２から３次元表示用画像を生成し、圧縮／伸張処理部２４が第１および第２の画像Ｇ１，Ｇ２並びに３次元表示用画像の画像データからなる３次元画像ファイルを生成し、メディア制御部２６が３次元画像ファイルを記録メディア２９に記録する処理を行う。
【００６６】
このように、第１の実施形態においては、３次元表示された画像にオブジェクトを重ねて表示するに際し、複数の画像間における主要被写体の視差量Δｘを算出し、主要被写体の視差量Δｘに応じた視差量にてオブジェクトを３次元表示するようにしたものである。これにより、画像とともにオブジェクトも立体視できるため、画像の立体視を妨げることなくオブジェクトも認識することが可能となる。
【００６７】
また、複数の画像のうちの画像Ｇ１の合焦領域を主要被写体として検出しているため、３次元表示した際に最も注視される領域と同様の立体感を持ってオブジェクトを表示でき、その結果、オブジェクトの認識がより容易となる。
【００６８】
なお、上記第１の実施形態においては、主要被写体の視差量Δｘと同様の視差量となるようにオブジェクトを作成しているが、３次元表示されたオブジェクトを立体視したときに、オブジェクトの立体感と主要被写体の立体感とが一致して見える程度に、主要被写体の視差量と異なる視差量となるようにオブジェクトを作成してもよい。
【００６９】
また、オブジェクトの視差量を例えば５段階のように段階的に設定することにより立体感を段階的に変更可能とした場合において、主要被写体の視差量に最も近い段階の視差量となるようにオブジェクトを作成してもよい。例えば、５段階に視差量を設定することにより、図８に示すようにオブジェクトの立体感を５段階に設定できるが、主要被写体の視差量により得られる立体感が左から３番目の立体感に近い場合、３番目の立体感が得られる視差量となるようにオブジェクトを作成すればよい。なお、図８においては、横方向が立体視を行った際の奥行きを示す。
【００７０】
次いで、本発明の第２の実施形態について説明する。上記第１の実施形態においては、主要被写体の視差量Δｘに応じた視差量となるようにオブジェクトを作成しているが、第２の実施形態においては、第１および第２の画像Ｇ１，Ｇ２のそれぞれに含まれる主要被写体から同一距離離れた位置にオブジェクトを表示するようにしたものである。なお、第２の実施形態による複眼カメラの構成は、第１の実施形態による複眼カメラの構成と同一であるため、ここでは詳細な説明は省略する。
【００７１】
次いで、第２の実施形態において行われる処理について説明する。図９は第２の実施形態において行われる処理を示すフローチャートである。なお、ここでは第１および第２の画像Ｇ１，Ｇ２のスルー画像を第１の方式により３次元表示する場合の処理について説明する。また、モニタ２０の表示モードは３次元表示に切り替えられているものとする。複眼カメラ１が撮影モードに切り替えられるまたは撮影モードの状態において電源がオンとされることにより、ＣＰＵ３３がレリーズボタンの半押し操作がなされたか否かの監視を開始し（ステップＳＴ１１）、ステップＳＴ１１が肯定されると、撮影制御部２２がＡＦ処理を行う（ステップＳＴ１２）。
【００７２】
そして表示制御部２８が、ＡＦ処理により検出された第１の画像Ｇ１に含まれる主要被写体の第２の画像Ｇ２上における位置を算出する（ステップＳＴ１３）。なお、第２の画像Ｇ２上における主要被写体の位置の検出は、図５に示すテンプレートマッチングにより行われる。また、主要被写体の位置としては、検出した領域の中央の画素位置を用いる。
【００７３】
そして表示制御部２８は、第１および第２の画像Ｇ１，Ｇ２のそれぞれの主要被写体からの距離があらかじめ定めれた距離Ｌとなるように、第１および第２の画像Ｇ１，Ｇ２に重ねて表示するためのオブジェクトを作成する（ステップＳＴ１４）。次いで、３次元処理部３０が、第１および第２の画像Ｇ１，Ｇ２を並べる３次元処理を行うことにより３次元表示用画像を生成し（ステップＳＴ１５）、さらに表示制御部２８が、３次元表示用画像に含まれる第１および第２の画像Ｇ１，Ｇ２に作成されたオブジェクトを重ねて、オブジェクトが重ねられた３次元表示用画像を作成し（オブジェクト付き３次元表示用画像作成、ステップＳＴ１６）、オブジェクトが重ねられた３次元表示用画像をモニタ２０に３次元表示し（ステップＳＴ１７）、リターンする。
【００７４】
図１０は第２の実施形態においてオブジェクトが重ねられた第１および第２の画像Ｇ１，Ｇ２を示す図である。図１０に示すように、第１および第２の画像Ｇ１，Ｇ２には、それぞれ左上隅にフラッシュの発光を示すアイコンが重ねられる。また、オブジェクトは、第１および第２の画像Ｇ１，Ｇ２のそれぞれにおいて、主要被写体である中央の円柱から同一の距離Ｌ離れているため、オブジェクトの視差量は、主要被写体である中央の円柱と同一となっている。
【００７５】
このように、オブジェクトが重ねられた第１および第２の画像Ｇ１，Ｇ２が左右に並べられることにより、３次元表示用画像が作成される。ここで、各オブジェクトは、第１および第２の画像Ｇ１，Ｇ２に含まれる主要被写体に対応する視差を持って第１および第２の画像Ｇ１，Ｇ２にそれぞれ重ねられるため、オブジェクトが重ねられた３次元表示用画像を３次元表示すると、画像とともにオブジェクトも立体視することができる。
【００７６】
ここで、第１および第２の画像Ｇ１，Ｇ２を第２の方式により３次元処理した場合、生成されたオブジェクトは、第１および第２の画像Ｇ１，Ｇ２に対する３次元処理と同様の３次元処理が行われて、３次元表示用画像に重ねられる。
【００７７】
このように、第２の実施形態においては、３次元表示された画像にオブジェクトを重ねて表示するに際し、複数の画像のそれぞれのためのオブジェクトを、複数の画像のそれぞれに含まれる主要被写体から所定距離Ｌ離れた位置に表示することによりオブジェクトを３次元表示するようにしたものである。これにより、オブジェクトも立体視できるため、画像の立体視を妨げることなくオブジェクトも認識することが可能となる。また、主要被写体の視差量を算出しなくてもよいため、迅速にオブジェクトを３次元表示することができる。
【００７８】
なお、上記第１および第２の実施形態においては、ＡＦ処理による合焦領域を主要被写体として検出しているが、第１および第２の画像Ｇ１，Ｇ２のいずれか一方、例えば第１の画像のみをモニタ２０に表示し、表示された第１の画像Ｇ１に対して、撮影者による主要被写体の指定を受け付けることにより主要被写体を検出してもよい。例えば、図１１に示すようにモニタ２０に主要被写体を表示するとともにカーソルＫを表示し、入出力部３４を用いてカーソルＫを移動して、撮影者が所望とする被写体を選択させ、選択された被写体を主要被写体として検出してもよい。この場合、入出力部３４およびＣＰＵ３３が主要被写体検出手段に対応する。
【００７９】
なお、モニタ２０にタッチパネル方式の入力部を設け、タッチパネルに触れることにより主要被写体を選択させるようにしてもよい。また、複眼カメラ１にファインダを設け、ファインダを覗く撮影者の視線を検出し、撮影者が注視している被写体を主要被写体として検出するようにしてもよい。
【００８０】
また、図１２に示す第３の実施形態による複眼カメラ１Ａのように、第１および第２の画像Ｇ１，Ｇ２から顔領域を検出する顔検出部３６を設け、顔検出部３６が検出した顔領域を主要被写体として用いるようにしてもよい。この場合、顔検出部３６が主要被写体検出手段に対応する。
【００８１】
ここで、顔検出部３６は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、第１および第２の画像Ｇ１，Ｇ２から顔を検出し、検出した顔を囲む所定範囲の領域を顔領域として検出する。
【００８２】
なお、上記第３の実施形態においては、顔領域を検出しているが、自動車および動物の顔等、顔以外の被写体を主要被写体として検出するようにしてもよい。ここで、検出の対象を猿の顔とした場合において、撮影時にフラッシュを発光する場合、図１３に示すように「フラッシュ発光」と記載された吹き出しをオブジェクトとして表示するようにしてもよい。これにより、オブジェクトの内容を主要被写体が教えてくれているような効果を得ることができる。
【００８３】
また、上記第１から第３の実施形態においては、本撮影が行われる前の第１および第２の画像Ｇ１，Ｇ２のスルー画像を３次元表示する場合について説明しているが、本撮影の直後の第１および第２の画像Ｇ１，Ｇ２を３次元表示する場合、および記録メディア２９に記録された第１および第２の画像Ｇ１，Ｇ２を確認のために３次元表示する場合にオブジェクトを表示するに際しても、本発明を適用できる。
【００８４】
なお、第１の実施形態を適用するに際しては、記録メディア２９に第１および第２の画像Ｇ１，Ｇ２を記録する際に、第１および第２の画像Ｇ１，Ｇ２の視差量を記録してもよい。この場合において、記録メディア２９に記録された第１および第２の画像Ｇ１，Ｇ２を表示する場合には、視差量を算出することなく、記録メディア２９に記録された視差量を用いて、オブジェクトを３次元表示するようにしてもよい。
【００８５】
また、上記実施形態においては、複眼カメラ１に２つの撮影部２１Ａ，２１Ｂを設け、２つの画像Ｇ１，Ｇ２を用いて３次元表示を行っているが、３以上の撮影部を設け、３以上の画像を用いて３次元表示を行う場合にも本発明を適用することができる。
【００８６】
また、上記実施形態においては、本発明による３次元表示装置を複眼カメラ１に適用しているが、表示制御部２８，３次元処理部３０およびモニタ２０を備えた３次元表示装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が３次元表示装置に入力され、上記第１から第３の実施形態と同様に、オブジェクトが３次元表示される。
【００８７】
以上、本発明の実施形態について説明したが、コンピュータを、上記の表示制御部２８および３次元処理部３０に対応する手段として機能させ、図４および図９に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図
【図２】撮影部の構成を示す図
【図３】オブジェクトの例を示す図
【図４】第１の実施形態において行われる処理を示すフローチャート
【図５】視差量の算出を説明するための図
【図６】第１の実施形態においてオブジェクトが重ねられた３次元表示用画像を示す図
【図７】画像に含まれる被写体の立体感を説明するための図
【図８】オブジェクトの立体感を５段階に設定下状態を示す図
【図９】第２の実施形態において行われる処理を示すフローチャート
【図１０】第２の実施形態においてオブジェクトが重ねられた３次元表示用画像を示す図
【図１１】被写体の選択を説明するための図
【図１２】本発明の第３の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図
【図１３】吹き出しのオブジェクトを表示した状態を示す図
【符号の説明】
【００８９】
１，１Ａ    複眼カメラ
２１Ａ，２１Ｂ    撮影部
２２    撮影制御部
２８    表示制御部
３０    ３次元処理部
【図１】
2010056737.tif 000003
【図２】
2010056737.tif 000004
【図３】
2010056737.tif 000005
【図４】
2010056737.tif 000006
【図５】
2010056737.tif 000007
【図６】
2010056737.tif 000008
【図７】
2010056737.tif 000009
【図８】
2010056737.tif 000010
【図９】
2010056737.tif 000011
【図１０】
2010056737.tif 000012
【図１１】
2010056737.tif 000013
【図１２】
2010056737.tif 000014
【図１３】
2010056737.tif 000015