(57)【要約】  複眼カメラは、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮影部（２１Ａ、２１Ｂ）と、生成された複数の視点画像に基づいて視差量を取得する３次元処理部（３０）と、取得された視差量の一定期間の変動が所定値より大きい場合、視差量が所定許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、視差量に異常があると判定し、これらのいずれでもない場合に、視差量に異常がないと判定し、視差量に異常がないと判定された場合に第１の視差調整を行い、視差量に異常があると判定された場合に前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行うＣＰＵ（３５）と、を備えている。従って、複数の視点画像から求められる視差量自体に問題がある場合又は視差調整対象を検出できなくなってしまうような場合でも、適切に視差調整を行う。
2011121818.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、
前記撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部と、
前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、
前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部と、
を備えた複眼撮像装置。
【請求項２】
前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行う
請求項１に記載の複眼撮像装置。
【請求項３】
前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行う
請求項１又は請求項２に記載の複眼撮像装置。
【請求項４】
前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、視差調整頻度を低下させる
請求項１から請求項３のいずれか１項に記載の複眼撮像装置。
【請求項５】
前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付ける関連付け部を更に備えた請求項１から請求項４のいずれか１項に記載の複眼撮像装置。
【請求項６】
前記関連付け部は、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付け、かつ１つの電子化ファイルに纏めた請求項５記載の複眼撮像装置。
【請求項７】
複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、
前記撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部と、
前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、
前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部と、
を備えた複眼撮像装置。
【請求項８】
前記視差調整部は、前記視点画像の画像面に垂直な方向において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする
請求項７に記載の複眼撮像装置。
【請求項９】
前記視差調整部は、前記視点画像の画像面上において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする
請求項７に記載の複眼撮像装置。
【請求項１０】
前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付ける関連付け部を更に備えた請求項７から請求項９のいずれか１項に記載の複眼撮像装置。
【請求項１１】
前記関連付け部は、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付け、かつ１つの電子化ファイルに纏めた請求項１０記載の複眼撮像装置。
【請求項１２】
複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得し、
前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、
前記視差量に異常がないと判定した場合に、第１の視差調整を行い、前記視差量に異常があると判定した場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う
複眼撮像装置の視差調整方法。
【請求項１３】
複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得し、
前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、
前記視差量に異常がないと判定した場合に、前記所定オブジェクトの視差調整を行い、前記視差量に異常があると判定した場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う
複眼撮像装置の視差調整方法。
【請求項１４】
コンピュータを、
複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部、
前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び
前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部、
として機能させるための複眼撮像装置の視差調整プログラム。
【請求項１５】
コンピュータを、
複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部、
前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び
前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部、
として機能させるための複眼撮像装置の視差調整プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複眼撮像装置、その視差調整方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の撮像部を備え、立体視画像を生成する複眼撮像装置が提案されている。複眼撮像装置は、複数の撮像部でそれぞれ生成された複数の視点画像に基づいて立体視画像を生成し、この立体視画像を立体視表示用モニタに表示する。【０００３】
複眼撮像装置で撮像された立体視画像の立体感はユーザの両眼の距離や立体視表示用モニタからユーザまでの距離に左右されるので、複眼撮像装置の立体視機能については個人差が大きいという問題がある。そのため、複眼撮像装置では、ユーザの操作に従って複数の視点画像の視差が調整可能になっており、これにより立体視画像の立体感が調整される。【０００４】
そこで、立体視画像を表示させるディスプレイの種類にかかわらず、最初に視差量調整を行ったユーザの意図に合った、視差量調整を行う技術が開示されている（特許文献１参照）。【０００５】
特許文献１の技術では、視差量の変更要求に基づき視差量の調整に関する情報が作成され、これがディスプレイの種類に依存しない単位の情報に変換されて記録される。そして、記録された情報が読み出されると、この情報に基づいて視差量の調整に関する情報が作成され、この情報に基づいて立体表示用の画像が生成される。【０００６】
また、立体視表示用の撮像画像データを汎用性・利便性の高い方法で記録する技術が開示されている（特許文献２参照）。【０００７】
特許文献２の技術では、立体表示用の複数の撮像画像データの中から、１つの基準画像データと視差画像データとの視差情報が抽出されて差分画像データが生成される。そして、差分画像データは基準画像データに添付され、また、ファイルのヘッダ領域に差分画像データが添付されていることを示す添付識別情報が添付される。
【特許文献１】特開２００５−７３０１２号公報
【特許文献２】特開２００４−３６３７５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、最初の段階に問題がある場合、例えば、撮像部で得られた複数の視点画像から求められる視差量自体に問題がある場合又は視差調整対象を検出できなくなってしまうような場合では、特許文献１及び２の技術を用いても、適切に視差調整を行うことができないという問題がある。【０００９】
本発明は、このような実情を鑑みて提案されたものであり、複数の視点画像から求められる視差量自体に問題がある場合又は視差調整対象を検出できなくなってしまうような場合でも、適切に視差調整を行うことができる複眼撮像装置、その視差調整方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１の発明である複眼撮像装置は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、前記撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部と、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部と、を備えている。【００１１】
請求項２の発明である複眼撮像装置は、請求項１に記載の複眼撮像装置であって、前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行う。【００１２】
請求項３の発明である複眼撮像装置は、請求項１又は請求項２に記載の複眼撮像装置であって、前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行う。【００１３】
請求項４の発明である複眼撮像装置は、請求項１から請求項３のいずれか１項に記載の複眼撮像装置であって、前記視差調整部は、前記異常判定部により前記視差量に異常があると判定された場合、視差調整頻度を低下させる。【００１４】
請求項５の発明である複眼撮像装置は、請求項１から請求項４のいずれか１項に記載の複眼撮像装置であって、前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付ける関連付け部を更に備える。【００１５】
請求項６の発明である複眼撮像装置は、請求項５に記載の複眼撮像装置であって、前記関連付け部が、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記複数の視点画像に、関連付け、かつ１つの電子化ファイルに纏めたものである。【００１６】
請求項７の発明である複眼撮像装置は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部と、前記撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部と、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部と、前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部と、を備えている。【００１７】
請求項８の発明である複眼撮像装置は、請求項７に記載の複眼撮像装置であって、前記視差調整部は、前記視点画像の画像面に垂直な方向において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする。【００１８】
請求項９の発明である複眼撮像装置は、請求項７に記載の複眼撮像装置であって、前記視差調整部は、前記視点画像の画像面上において前記所定オブジェクトと最も距離が近いオブジェクトを前記他のオブジェクトとする。【００１９】
請求項１０の発明である複眼撮像装置は、請求項７から請求項９のいずれか１項に記載の複眼撮像装置であって、前記撮像部により生成された複数の視点画像から得られた情報であって前記視差量取得部で前記視差量を取得するために用いた情報、該情報を用いて前記視差量取得部により取得された視差量を示す情報、及び該視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付ける関連付け部を更に備える。【００２０】
請求項１１の発明である複眼撮像装置は、請求項１０に記載の複眼撮像装置であって、前記関連付け部が、前記少なくとも１つの情報を、該情報に対応すると共に前記視差調整が行われた前記所定オブジェクト又は前記他のオブジェクトに、関連付け、かつ１つの電子化ファイルに纏めたものである。【００２１】
請求項１２の発明である複眼撮像装置の視差調整方法は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得し、前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、前記視差量に異常がないと判定した場合に、第１の視差調整を行い、前記視差量に異常があると判定した場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う。【００２２】
請求項１３の発明である複眼撮像装置の視差調整方法は、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得し、前記取得した前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定し、前記視差量に異常がないと判定した場合に、前記所定オブジェクトの視差調整を行い、前記視差量に異常があると判定した場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う。【００２３】
請求項１４の発明である複眼撮像装置の視差調整プログラムは、コンピュータを、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて視差量を取得する視差量取得部、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び前記異常判定部により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整部、として機能させるためのものである。【００２４】
請求項１５の発明である複眼撮像装置の視差調整プログラムは、コンピュータを、複数の視点から同一の被写体を撮像することでフレーム毎に複数の視点画像を生成する撮像部により生成された複数の視点画像に基づいて所定オブジェクトの視差量を取得する視差量取得部、前記視差量取得部により取得された視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定し、前記視差量の一定期間の変動が所定値より大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合のいずれでもない場合に、前記視差量に異常がないと判定する異常判定部、及び前記異常判定部により前記視差量に異常がないと判定された場合に、前記所定オブジェクトの視差調整を行い、前記異常判定部により前記視差量に異常があると判定された場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う視差調整部、として機能させるためのものである。
【発明の効果】
【００２５】
本発明によれば、フレーム毎の複数の視点画像に基づいて視差量を取得し、取得した視差量の一定期間の変動が所定値より大きい場合、取得した視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、視差量に異常があると判定する。また、視差量の一定期間の変動が所定値より大きい場合、視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合のいずれでもない場合に、視差量に異常がないと判定する。そして、視差量に異常がないと判定した場合に、第１の視差調整を行い、視差量に異常があると判定した場合に、第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う。従って、視差量に異常がある場合でも、視差量調整を安定化させることができる。【００２６】
また、本発明によれば、フレーム毎の複数の視点画像に基づいて所定オブジェクトの視差量を取得し、取得した視差量の一定期間の変動が所定値より大きい場合、取得した視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、視差量に異常があると判定する。また、視差量の一定期間の変動が所定値より大きい場合、視差量が予め定められた許容限界値に達した場合、及び視差量の取得対象を検出できなくなった場合のいずれでもない場合に、視差量に異常がないと判定する。そして、前記視差量に異常がないと判定した場合に、前記所定オブジェクトの視差調整を行い、前記視差量に異常があると判定した場合に、前記所定オブジェクトと異なる他のオブジェクトを対象として視差調整を行う。従って、所定オブジェクトの視差量に異常がある場合でも、他のオブジェクトの視差量を調整することで、視差量調整を安定化させることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る複眼カメラの正面側斜視図である。
【図２】複眼カメラの背面側斜視図である。
【図３】複眼カメラの内部構成を示す概略ブロック図である。
【図４】撮影部の構成を示す図である。
【図５】立体視画像の画像ファイルのファイルフォーマットを示す図である。
【図６】モニタの構成を示す図である。
【図７】レンチキュラーシートの構成を示す図である。
【図８】第１及び第２の画像に対する３次元処理を説明するための図である。
【図９】第１の視差調整ルーチンを示すフローチャートである。
【図１０】第１の視差量取得ルーチンを示すフローチャートである。
【図１１】第２の視差量取得ルーチンを示すフローチャートである。
【図１２】第１のハンチング有無判定ルーチンを示すフローチャートである。
【図１３】第２のハンチング有無判定ルーチンを示すフローチャートである。
【図１４】第２の視差調整ルーチンを示すフローチャートである。
【図１５】第３の視差調整ルーチンを示すフローチャートである。
【図１６Ａ】視差調整対象をＧＵＩでマーキングした状態を示す図である。
【図１６Ｂ】視差調整対象をＧＵＩでマーキングした状態を示す図である。
【図１６Ｃ】視差調整対象をＧＵＩでマーキングした状態を示す図である。
【図１７】視差関連情報の一例を示す図である。
【図１８Ａ】視差関連情報を説明するための図である。
【図１８Ｂ】視差関連情報を説明するための図である。
【図１９】第４の視差調整ルーチンを示すフローチャートである。
【図２０】第５の視差調整ルーチンを示すフローチャートである。
【図２１】第６の視差調整ルーチンを示すフローチャートである。
【発明を実施するための最良の形態】
【００２８】
［第１の実施形態］【００２９】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態に係る複眼カメラ１の正面側斜視図、図２は背面側斜視図である。【００３０】
複眼カメラ１の上部には、レリーズボタン２、電源ボタン３及びズームレバー４が備えられている。複眼カメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼カメラ１の背面には、各種表示を行う液晶モニタ（以下単に「モニタ」いう。）７及び各種操作ボタン８が配設されている。【００３１】
図３は、複眼カメラ１の内部構成を示す概略ブロック図である。複眼カメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、及びＣＰＵ３５を備える。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持ち、かつ、あらかじめ定められた基線長となるように配置されている。また、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。【００３２】
図４は、撮影部２１Ａ、２１Ｂの構成を示す図である。図４に示すように撮影部２１Ａ、２１Ｂは、レンズ１０Ａ、１０Ｂ、絞り１１Ａ、１１Ｂ、シャッタ１２Ａ、１２Ｂ、撮像素子１３Ａ、１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ、１４Ｂ及びＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。【００３３】
レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の、複数の機能別レンズを有している。レンズ１０Ａ，１０Ｂの位置は、撮影制御部２２のＡＦ処理部２２ａにより得られる合焦データ及び図１及び図２に示したズームレバー４が操作された場合に得られるズームデータに基づいて、不図示のレンズ駆動部により調整される。【００３４】
絞り１１Ａ，１１Ｂに対して、撮影制御部２２のＡＥ処理部２２ｂにより得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。【００３５】
シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理部２２ｂにより得られるシャッタスピードに応じて駆動される。【００３６】
撮像素子１３Ａ，１３Ｂは、多数の受光素子を２次元状に配列した光電面を有している。被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。【００３７】
ＡＦＥ１４Ａ，１４Ｂは、撮像素子１３Ａ，１３Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、及びアナログ撮影信号のゲインを調節する処理（以下「アナログ処理」という。）を施す。【００３８】
Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１とし、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。【００３９】
撮影制御部２２は、上述のようにＡＦ処理部２２ａ及びＡＥ処理部２２ｂを有している。ＡＦ処理部２２ａは、レリーズボタン２が半押し操作されると、測距センサから測距情報を取得し、レンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２ｌＢに出力する。ＡＥ処理部２２ｂは、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。【００４０】
なお、ＡＦ処理部２２ａによる焦点位置の検出方式としては、測距情報を用いたアクティブ方式に限らず、画像のコントラストを利用して合焦位置を検出するパッシブ方式を用いてもよい。【００４１】
撮影制御部２２は、レリーズボタン２が操作されない状態では、撮影範囲を確認させるための、第１及び第２の画像Ｇ１，Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次生成させるように撮影部２１Ａ，２１Ｂを制御する。そして、撮影制御部２２は、レリーズボタン２が全押し操作されると、本撮影を開始すべく、第１及び第２の画像Ｇ１，Ｇ２の本画像を生成するように撮影部２１Ａ，２１Ｂを制御する。【００４２】
以上の説明は静止画モードの場合であるが、本実施の形態では、動画撮影モードにも設定可能である。動画撮影モードの場合、レリーズボタン２が押圧されると動画撮影が開始され、フレーム毎に第１及び第２の画像Ｇ１，Ｇ２が生成され、再びレリーズボタン２が押圧されると動画撮影が停止する。【００４３】
画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。【００４４】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された第１及び第２の画像Ｇ１，Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０は、第１及び第２の画像Ｇ１，Ｇ２の画像データを有しており、更に、Ｅｘｉｆフォーマット等に基づく、基線長、輻輳角及び撮影日時等の付帯情報、及び視点位置を表す視点情報を含んでいる。【００４５】
図５は、立体視用の画像ファイルのファイルフォーマットを示す図である。立体視用の画像ファイルＦ０には、第１の画像Ｇ１の付帯情報Ｈ１、第１の画像Ｇ１の視点情報Ｓ１、第１の画像Ｇ１の画像データ、第２の画像Ｇ２の付帯情報Ｈ２、第２の画像Ｇ２の視点情報Ｓ２，及び第２の画像Ｇ２の画像データが格納されている。また、図示はしないが、立体視用の画像ファイルＦ０の、第１及び第２の画像Ｇ１，Ｇ２についての付帯情報、視点情報及び画像データの前後には、データの開始位置及び終了位置を表す情報が含まれる。【００４６】
付帯情報Ｈ１，Ｈ２には、第１及び第２の画像Ｇ１，Ｇ２の撮影日、基線長、及び輻輳角の情報が含まれる。付帯情報Ｈ１，Ｈ２には、第１及び第２の画像Ｇ１，Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮影部から順に付与した視点位置の番号を用いることができる。【００４７】
フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１及び第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。【００４８】
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。【００４９】
内部メモリ２７は、複眼カメラ１において設定される各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。【００５０】
表示制御部２８は、立体視する場合に、フレームメモリ２５又は記録メディア２９に記録されている立体視画像ＧＲをモニタ７に表示させる。【００５１】
図６は、モニタ７の構成を示す分解斜視図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０及び各種表示を行うための液晶パネル４１を積層し、液晶パネル４１の表面にレンチキュラーシート４２を取り付けることにより構成されている。【００５２】
図７は、レンチキュラーシートの構成を示す図である。図７に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を基線に沿った方向に並列に並べることにより構成されている。【００５３】
また、複眼カメラ１は、３次元処理部３０を備えている。３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２をモニタ７に立体視表示させるために、第１及び第２の画像Ｇ１，Ｇ２に対して３次元処理を行って立体視画像ＧＲを生成する。【００５４】
図８は、第１及び第２の画像Ｇ１，Ｇ２に対する３次元処理を説明するための図である。図８に示すように３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２の各々を、基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに対して、位置が対応する短冊状に切り取った第１及び第２の画像Ｇ１，Ｇ２を交互に配置する、３次元処理を行って、立体視画像ＧＲを生成する。立体視画像ＧＲを構成する第１及び第２の画像Ｇ１，Ｇ２の画像対は、各々１つのシリンドリカルレンズに対応して配置される。【００５５】
また、３次元処理部３０は、第１及び第２の画像Ｇ１，Ｇ２の視差を調整することもできる。ここで、視差とは、第１及び第２の画像Ｇ１，Ｇ２の双方に含まれる被写体の、第１及び第２の画像Ｇ１，Ｇ２の横方向、すなわち基線に沿った方向、における画素位置のずれ量をいう。視差を調整することにより、立体視画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。【００５６】
また、３次元処理部３０は、リアルタイムで撮影部２１Ａ、２１Ｂで得られた第１及び第２の画像Ｇ１，Ｇ２の視差を調整してもよいし、記録メディア２９に予め記録されている第１及び第２の画像Ｇ１，Ｇ２の視差を調整してもよい。【００５７】
以上のように構成された複眼カメラ１では、次の第１又は第２の視差調整ルーチンが実行される。なお、第１及び第２の視差調整ルーチンのプログラムは内部メモリ２７に予め記憶されている。【００５８】
（第１の視差調整ルーチン）【００５９】
図９は、第１の視差調整ルーチンを示すフローチャートである。【００６０】
ステップ１００では、ＣＰＵ３５は、動画撮影開始の指示がレリーズボタン２を介して入力されると、３次元動画撮影を開始して、ステップ１０２へ進む。【００６１】
ステップ１０２では、ＣＰＵ３５は、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２に基づく視差量を３次元処理部３０に取得させる。ここでは、第１又は第２の視差量取得ルーチンが実行され、３次元処理部３０は次の処理を行う。【００６２】
（視差量の取得）【００６３】
図１０は、第１の視差量取得ルーチンを示すフローチャートである。３次元処理部３０は、最初に、複数画像、すなわち撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一の人物の顔領域をそれぞれ検出し、これらの顔領域の座標を示す顔検出座標を取得し（ステップ２００）、取得した顔検出座標の座標差分を算出し（ステップ２０２）、座標差分から視差量を算出する（ステップ２０４）。【００６４】
図１１は、第２の視差量取得ルーチンを示すフローチャートである。３次元処理部３０は、最初に、複数画像、すなわち撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一のオブジェクトをそれぞれ検出し、これらのオブジェクトを特定する特徴点の座標である特徴点座標を取得し（ステップ２１０）、取得した特徴点座標の座標差分を算出し（ステップ２１２）、座標差分から視差量を算出する（ステップ２１４）。そして、第１又は第２の視差量取得ルーチンが終了すると、図９に示すステップ１０４へ進む。【００６５】
（視差量の異常判定）【００６６】
ステップ１０４では、ＣＰＵ３５は、３次元処理部３０で取得された視差量に異常があるか否かを判定し、異常があると判定した場合はステップ１０６へ進み、異常がないと判定した場合はステップ１０８へ進む。ここでは、（１）視差量にハンチングがあるか、（２）視差量が許容限界か、（３）視差調整対象を見失って検出できなくなったか、のいずれか１つに基づいて視差量の異常が判定される。【００６７】
（１）ハンチング有無の判定【００６８】
ＣＰＵ３５は、ステップ１０４において、次に示す第１又は第２のハンチング有無判定ルーチンを実行する。なお、第１及び第２のハンチング有無判定ルーチンのプログラムは、内部メモリ２７に予め記憶されている。【００６９】
図１２は、第１のハンチング有無判定ルーチンを示すフローチャートである。ＣＰＵ３５は、３次元処理部３０で得られた一定期間の視差量を取得し（ステップ２２０）、取得した視差量のばらつきＳを算出する（ステップ２２２）。そして、ＣＰＵ３５は、ばらつきＳがハンチング閾値Ｔより小さい（Ｓ＜Ｔ）かを判定する（ステップ２２４）。ＣＰＵ３５は、Ｓ＜Ｔの場合はハンチングがない（視差量に異常がない）と判定して図９のステップ１０８へ進む。ＣＰＵ３５は、Ｓ＜Ｔでない場合はハンチングがある（視差量に異常がある）と判定して図９のステップ１０６へ進む。【００７０】
図１３は、第２のハンチング有無判定ルーチンを示すフローチャートである。ＣＰＵ３５は、３次元処理部３０で得られた現フレームと前フレームの視差量の変化量Ｄを取得する（ステップ２３０）。そして、ＣＰＵ３５は、変化量Ｄがハンチング閾値Ｔより小さい（Ｓ＜Ｔ）かを判定する（ステップ２３２）。ＣＰＵ３５は、Ｄ＜Ｔの場合はハンチングがない（視差量に異常がない）と判定して図９のステップ１０８へ進む。ＣＰＵ３５は、Ｄ＜Ｔでない場合はハンチングがある（視差量に異常がある）と判定して図９のステップ１０６へ進む。【００７１】
（２）視差量の許容限界判定【００７２】
ＣＰＵ３５は、ステップ１０４において、視差量が予め定められた許容限界値に達しているかを判定してもよい。ここで、許容限界とは、立体視画像に表される物体の飛び出し過ぎ又は凹みすぎを表す視差量の閾値をいう。ＣＰＵ３５は、視差量が許容限界値に達している場合はステップ１０６へ進む。ＣＰＵ３５は、視差量が許容限界に達していない場合はステップ１０８へ進む。【００７３】
（３）視差調整対象の判定【００７４】
ＣＰＵ３５は、ステップ１０４において、視差調整対象を見失って検出できなくなったか否かを判定してもよい。視差調整対象とは、例えば人物の顔などの画面の中心位置付近にあるオブジェクト又は複数の特徴点などが該当する。【００７５】
ここでは、ＣＰＵ３５は、視差調整対象が例えば１０フレーム検出されなかった場合は視差調整対象を見失ったと判定してステップ１０６へ進む。ＣＰＵ３５は、視差調整対象が１０フレーム検出されていない場合はステップ１０８へ進む。なお、「１０フレーム」は一例に過ぎず、その他のフレーム数であってもよい。これにより、視差調整対象を見失った場合、視差調整制御を切り替えるので、３次元動画撮影の視差調整を安定化させることができる。【００７６】
（視差調整制御の切り替え）【００７７】
ステップ１０６では、ＣＰＵ３５は、視差調整制御を別の制御に切り替える。ここでは、第１〜第３の切り替え処理のうちいずれか１つの処理が実行される。【００７８】
第１の切り替え処理として、ＣＰＵ３５は、フレーム毎の視差量最大変化量を定義して３次元処理部３０に設定することで、フレーム毎の視差量の変化量に制限をかける。これにより、視差量最大変化量の範囲内で視差調整が行われて、視差量の急激な変化を抑制できるので、３次元動画撮影の視差調整を安定化させることが可能になる。【００７９】
また、第２の切り替え処理として、ＣＰＵ３５は、当該フレームでの視差調整をスキップ（当該フレームでの視差調整を禁止）して、前フレームでの視差調整をそのまま継続させる。つまり、前フレームでの視差量を使用する。これにより、視差量に異常があった場合でも、視差調整をスキップできるので、３次元動画撮影の視差調整を安定化させることができる。【００８０】
さらに、第３の切り替え処理として、ＣＰＵ３５は、視差調整を実施する頻度を減らす。ここでは、図９に示す視差調整ルーチンの代わりに、次の図１４に示す第２の視差調整ルーチンが実行される。なお、図９のステップと同じステップには同一の符号を付し、重複する説明は省略する。【００８１】
図１４の視差調整ルーチンは、ステップ１００の次にインデックス番号ｉ＝０が設定され（ステップ１０１）、ステップ１０２の次にｉが１増加（ｉ＋＋）する（ステップ１０３）点が、図９と相違する。更に、第３の切り替え処理が行われるステップ１０６では、次の処理が行われる。【００８２】
ＣＰＵ３５は、最初に、インデックス番号ｉが視差調整頻度Ｎ以上（ｉ≧Ｎ）であるかを判定する（ステップ２４０）。そして、ＣＰＵ３５は、ｉ≧Ｎである場合はｉ＝０に設定して（ステップ２４２）ステップ１０８へ進む。ＣＰＵ３５は、ｉ≧Ｎでない場合はステップ１０８を飛ばしてステップ１１０へ進む。【００８３】
このため、インデックス番号ｉがＮ未満である場合は、ステップ１０２、１０３、１０４、１０６（ステップ２４０）、１１０が繰り返し実行され、視差調整（ステップ１０８）が行われない。また、インデックス番号ｉがＮに達すると、ステップ１０４、１０６（ステップ２４０、２４２）を経て、ステップ１０８に進むので、視差調整が実施される。【００８４】
したがって、視差に異常があった場合、フレーム毎に視差調整するのではなく、Ｎフレームにつき１回だけ視差調整するので、視差調整の頻度を減少して、視差調整の変化を緩やかにすることができる。【００８５】
ステップ１０８では、ＣＰＵ３５は、３次元処理部３０に視差調整を実施させて、ステップ１１０へ進む。【００８６】
ステップ１１０では、ＣＰＵ３５は、レリーズボタン２により動画撮影停止の指示が入力されたかを判定する。ＣＰＵ３５は、肯定判定の場合は本ルーチンを終了する。ＣＰＵ３５は、否定判定の場合は次のフレームの処理に移行し、再びステップ１０２へ戻る。【００８７】
以上のように、第１の実施形態の複眼カメラ１は、視差量に異常がある場合又は視差対象を見失った場合でも、視差調整制御を切り替えてから視差調整を行う。従って、３次元動画撮影の視差調整を安定化させることができる。【００８８】
なお、ＣＰＵ３５は、ハンチングを検出した場合、視差調整を実施した後（ステップ１０８終了後）ハンチングの有無を示すハンチング情報を記録メディア２９に記録してもよい。これにより、動画情報にハンチングの有無が付加されるので、ＣＰＵ３５は、動画再生時にハンチング情報を利用することができ、３次元動画再生時の視差調整を安定化させることができる。また、ステップ１０４では、（１）ハンチング有無の判定、（２）視差量の許容限界判定、（３）視差調整対象の判定のいずれか１つが実行される場合について説明したが、（１）から（３）の少なくとも１つが実行されればよい。さらに、ステップ１０６では、第１〜第３の切り替え処理のうちいずれか１つの処理が実行される場合について説明したが、第１〜第３の切り替え処理のうちの少なくとも１つの処理が実行されればよい。【００８９】
［第２の実施形態］【００９０】
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。第１の実施形態では第１又は第２の視差調整ルーチンが実行されたが、第２の実施形態では第１又は第２の視差調整ルーチンに代えて次の第３の視差調整ルーチンが実行される。【００９１】
（第３の視差調整ルーチン）【００９２】
図１５は、第３の視差調整ルーチンを示すフローチャートである。【００９３】
ステップ１３０では、ＣＰＵ３５は、動画撮影開始の指示がレリーズボタン２を介して入力されると、３次元動画撮影を開始して、ステップ１３２へ進む。【００９４】
ステップ１３２では、ＣＰＵ３５は、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２に基づく基本視差量を３次元処理部３０に取得させて、ステップ１３４へ進む。ここで、基本視差量とは、デフォルトオブジェクトの視差量をいい、例えば画面中心に最も近いオブジェクトの視差量をいう。【００９５】
ステップ１３４では、ＣＰＵ３５は、３次元処理部３０で取得された基本視差量に異常があるか否かを判定する。ここでは、図９に示すステップ１０４と同じ処理が実行される。そして、ＣＰＵ３５は、基本視差量に異常がある場合はステップ１３８へ進む。ＣＰＵ３５は、異常がない場合はステップ１３６へ進む。【００９６】
ステップ１３６では、ＣＰＵ３５は、基本視差量を用いて視差調整を行うよう３次元処理部３０を制御して、ステップ１４２へ進む。【００９７】
一方、ステップ１３８では、ＣＰＵ３５は、３次元処理部３０に他のオブジェクトの視差量を取得させて、ステップ１３８へ進む。他のオブジェクトとしては、例えば、デフォルトオブジェクト以外の人物の顔などが該当する。【００９８】
ステップ１４０では、他のオブジェクトの視差量を用いて視差調整を実施するよう３次元処理部３０を制御する。このとき、３次元処理部３０は、「他のオブジェクト」として、「Ｚ方向においてデフォルトオブジェクトに近いオブジェクト」又は「２次元座標においてデフォルトオブジェクトに近いオブジェクト」を選択し、選択したオブジェクトの視差量を用いて視差調整を行う。ここでは、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２と同一の平面を２次元座標（Ｘ，Ｙ）で表し、この面（基線）に垂直な方向をＺ方向とする。【００９９】
よって、「Ｚ方向においてデフォルトオブジェクトに近いオブジェクト」は、２次元座標において近いか否かは問われないが、デフォルトオブジェクトと立体感が最も近いオブジェクトである。このため、３次元処理部３０は、当該オブジェクトの視差量を用いて視差調整を行うことで、視差量の急激な変化を抑制でき、その結果、安定して視差調整を行うことができる。【０１００】
また、「２次元座標においてデフォルトオブジェクトに近いオブジェクト」は、デフォルトオブジェクトの立体感に近いか否かは問わないが、２次元座標上でデフォルトオブジェクトに最も近いオブジェクトである。このため、３次元処理部３０は、当該オブジェクトの視差量を用いて視差調整を行うことで、これまでの視差調整対象に近いオブジェクトで視差調整を行うことができ、その結果、安定して視差調整を行うことができる。そして、ＣＰＵ３５は、以上のような処理を経て、ステップ１４２へ進む。【０１０１】
ステップ１４２では、ＣＰＵ３５は、視差調整対象をＧＵＩ（Graphical User Interface）でマーキングしてモニタ７に表示させて、ステップ１４４に進む。ここでは、視差調整対象である人物の顔に対して、例えば図１６Ａに示すように四角で囲んでもよいし、１６図Ｂに示すように丸で囲んでもよいし、１６図Ｃに示すように星印をつけてもよい。【０１０２】
ステップ１４４では、ＣＰＵ３５は、レリーズボタン２により動画撮影停止の指示が入力されたかを判定する。ＣＰＵ３５は、肯定判定の場合は本ルーチンを終了する。ＣＰＵ３５は、否定判定の場合は次のフレームの処理に移行し、再びステップ１３２へ戻る。【０１０３】
以上のように、第２の実施形態の複眼カメラ１は、デフォルトオブジェクトの基本視差量に異常がある場合又はデフォルトオブジェクトを見失った場合でも、視差調整対象を他のオブジェクトに切り替えてから視差調整を行う。従って、３次元動画撮影の視差調整を安定化させることができる。【０１０４】
なお、本発明は、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更されたものについても適用可能である。【０１０５】
例えば、上述した第１及び第２の実施形態において、視差量を直接取得する代わりに、視差関連情報を取得してもよい。【０１０６】
図１７は視差関連情報の一例を示す図である。図１８Ａ及び図１８Ｂは視差関連情報を説明するための図である。視差関連情報は、毎フレームの左目画像（第１の画像Ｇ１）及び右目画像（第２の画像Ｇ２）について、特徴点Ａの座標群、特徴顔Ａの座標群、特徴顔Ｂの座標群、ハンチング有無などの情報が該当する。そして、ＣＰＵ３５は、これらの視差関連情報を用いて視差調整を行ってもよい。【０１０７】
［第３の実施形態］【０１０８】
次に、本発明の第３の実施形態について説明する。なお、第１の実施形態と同一の部位及び回路については同一の符号を付し、その詳細な説明は省略する。第１の実施形態では第１及び第２の視差調整ルーチンが実行されたが、第３の実施形態では第１の視差調整ルーチンに代えて次の第４の視差調整ルーチンが、第２の視差調整ルーチンに代えて第５の視差調整ルーチンが各々実行される。【０１０９】
図１９は、第４の視差調整ルーチンを示すフローチャートであり、図２０は、第５の視差調整ルーチンを示すフローチャートである。なお、図１９に示す第４の視差調整ルーチンは、図９に示す第１の視差調整ルーチンのフローチャートのステップ１０２に代えてステップ１０２Ａ及びステップ１０２Ｂを適用した点のみが図９と相違する。図２０に示す第５の視差調整ルーチンは、図１４に示す第２の視差調整ルーチンのフローチャートのステップ１０２に代えてステップ１０２Ａ及びステップ１０２Ｂを適用した点のみが図１４と相違する。以下では、図９及び図１４との相違点であるステップ１０２Ａ及びステップ１０２Ｂのみを説明する。【０１１０】
ステップ１０２Ａでは、ＣＰＵ３５は、３次元処理部３０に対して、第１又は第２の視差量取得ルーチンを実行させることにより、第１及び第２の画像Ｇ１，Ｇ２に基づく視差に関連する視差関連情報を取得させる。【０１１１】
ＣＰＵ３５は、３次元処理部３０に対して、図１０に示す第１の視差量取得ルーチンを実行させることにより、３次元処理部３０に、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一の人物の顔領域をそれぞれ検出させ、これらの顔領域の座標を示す顔検出座標を視差関連情報として取得させる（ステップ２００）。そして、３次元処理部３０に、その顔検出座標の座標差分を視差関連情報として算出させ（ステップ２０２）、その座標差分から視差量を視差関連情報として算出させる（ステップ２０４）。【０１１２】
ＣＰＵ３５は、３次元処理部３０に対して、図１１に示す第２の視差量取得ルーチンを実行させることにより、３次元処理部３０に、撮影部２１Ａ，２１Ｂで取得された第１及び第２の画像Ｇ１，Ｇ２から、同一のオブジェクトをそれぞれ検出させ、これらのオブジェクトを特定する特徴点の座標である特徴点座標を視差関連情報として取得させる（ステップ２１０）。３次元処理部３０に、その特徴点座標の座標差分を視差関連情報として算出させ（ステップ２１２）、その座標差分から視差量を視差関連情報として算出させる（ステップ２１４）。【０１１３】
ステップ１０２Ｂでは、ＣＰＵ３５は、３次元処理部３０に対してステップ１０２Ａで取得させた視差関連情報を、ステップ１０２Ａで用いられた第１及び第２の画像Ｇ１，Ｇ２に関連付けた、電子化ファイルを作成する。なお、本第３の実施形態では、このファイルとして、視差関連情報が付帯情報として記録された画像ファイルＦ０を適用している。このファイルは、３次元処理部３０によって図１０に示す第１の視差量取得ルーチン又は図１１に示す第２の視差量取得ルーチンが実行された場合、ＣＰＵ３５が視差関連情報を図５に示す画像ファイルＦ０に付帯情報として記録することにより作成される。【０１１４】
つまり、ＣＰＵ３５は、３次元処理部３０によって図１０に示す第２の視差量取得ルーチンが実行された場合、ステップ２００で取得された顔検出座標を、第１及び第２の画像Ｇ１，Ｇ２毎に付帯情報として記録する。そして、ＣＰＵ３５は、ステップ２０２で算出された座標差分を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録し、ステップ２０４で算出された視差量を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録する。【０１１５】
また、ＣＰＵ３５は、３次元処理部３０によって図１１に示す第２の視差量取得ルーチンが実行された場合、ステップ２１０で取得された特徴点座標を、第１及び第２の画像Ｇ１，Ｇ２毎に付帯情報として記録する。そして、ＣＰＵ３５は、ステップ２１２で算出された座標差分を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録し、ステップ２１４で算出された視差量を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録する。【０１１６】
以上のように、本第３の実施形態によれば、複眼カメラ１は、視差関連情報を画像ファイルＦ０に記録しているので、第１及び第２の画像Ｇ１，Ｇ２に基づく立体視画像を再生する際に視差関連情報を有効活用することができる。なお、視差関連情報の活用例としては、現時点で再生されている立体視画像と共にモニタ７を介して可視表示するという活用例、関連する立体視画像の再生時に内蔵スピーカ（図示省略）を用いて可聴表示するという活用例、複眼カメラ１に接続されたプリンタ（図示省略）を用いて永久可視表示するという活用例、及び外部装置（図示省略）に送信するという活用例が挙げられる。【０１１７】
［第４の実施形態］【０１１８】
次に、本発明の第４の実施形態について説明する。なお、第２の実施形態と同一の部位及び回路については同一の符号を付し、その詳細な説明は省略する。第２の実施形態では第３の視差調整ルーチンが実行されたが、第４の実施形態では第３の視差調整ルーチンに代えて次の第６の視差調整ルーチンが実行される。【０１１９】
図２１は、第６の視差調整ルーチンを示すフローチャートである。なお、図２１に示す第６の視差調整ルーチンは、図１５に示す第３の視差調整ルーチンのフローチャートのステップ１３２に代えてステップ１３２Ａ及びステップ１３２Ｂを適用した点のみが図１５と相違する。以下では、図１５との相違点であるステップ１３２Ａ及びステップ１３２Ｂのみを説明する。【０１２０】
ステップ１３２Ａでは、ＣＰＵ３５は、３次元処理部３０に対して、再生時の視差調整に供する情報であって、かつ、第１及び第２の画像Ｇ１，Ｇ２に基づく視差に関連する視差関連情報を、取得させる。本第４の実施形態では、視差関連情報として、第１及び第２の画像Ｇ１，Ｇ２の各々の特徴点（例えば、所定の空間周波数を有する領域の重心座標）、第１の画像Ｇ１の特徴点と第２の画像Ｇ１の特徴点との間の座標差分、及びこの座標差分から算出された基本視差量を適用している。【０１２１】
ステップ１３２Ｂでは、ＣＰＵ３５は、３次元処理部３０に対してステップ１３２Ａで取得させた視差関連情報をステップ１３２Ａで用いられた第１及び第２の画像Ｇ１，Ｇ２に関連付けた電子化ファイルを作成する。なお、本第４の実施形態では、このファイルとして、視差関連情報が付帯情報として記録された画像ファイルＦ０を適用している。このファイルは、３次元処理部３０によって視差関連情報を取得させた場合、ＣＰＵ３５が、視差関連情報を、図５に示す画像ファイルＦ０に付帯情報として記録することにより、作成される。【０１２２】
つまり、ＣＰＵ３５は、ステップ１３２Ａで取得された第１及び第２の画像Ｇ１，Ｇ２の各々の特徴点を第１及び第２の画像Ｇ１，Ｇ２毎に付帯情報として記録する。そして、ＣＰＵ３５は、ステップ１３２Ａで取得された座標差分を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録し、ステップ１３２Ａで取得された基本視差量を、対応する第１及び第２の画像Ｇ１，Ｇ２の付帯情報として記録する。【０１２３】
以上のように、本第４の実施形態によれば、複眼カメラ１は、視差関連情報を画像ファイルＦ０に記録しているので、第１及び第２の画像Ｇ１，Ｇ２に基づく立体視画像を再生する際に視差関連情報を有効活用することができる。【０１２４】
なお、上記第３及び第４の実施形態では、視差量の異常判定の処理を行う前段階で、ＣＰＵ３５が画像ファイルＦ０に視差関連情報を記録する場合の形態例を挙げて説明したが、これに限らない。視差調整が実施された後に、ＣＰＵ３５が視差関連情報を画像ファイルＦ０に記録してもよい。【０１２５】
また、上記第３及び第４の実施形態では、視差関連情報を画像ファイルＦ０の付帯情報として記録することにより、視差関連情報と第１及び第２の画像Ｇ１，Ｇ２とを１つの電子化ファイルに纏める形態例を挙げて説明したが、これに限らない。例えば、視差関連情報が記録されたファイルとして、画像ファイルＦ０とは別のファイルを作成してもよい。この場合、画像ファイルＦ０の第１及び第２の画像Ｇ１，Ｇ２に関連付けられると共に、第１及び第２の画像Ｇ１，Ｇ２を特定する画像特定情報に対して対応する視差関連情報が関連付けられた、ファイルを作成する形態例が挙げられる。また、ファイルを作成せずに第１及び第２の画像Ｇ１，Ｇ２と視差関連情報とを関連付けることもできる。この場合、２つの不揮発性メモリの一方に、第１及び第２の画像Ｇ１，Ｇ２を特定する特定情報又は第１及び第２の画像Ｇ１，Ｇ２そのものが記憶され、他方に、その第１及び第２の画像Ｇ１，Ｇ２に対応する視差関連情報が、一方の不揮発性メモリに記憶された対応する特定情報又は第１及び第２の画像Ｇ１，Ｇ２に関連付けて記憶されるという形態が例示できる。また、１つの不揮発性メモリに第１及び第２の画像Ｇ１，Ｇ２を特定する特定情報又は第１及び第２の画像Ｇ１，Ｇ２とその特定情報又は第１及び第２の画像Ｇ１，Ｇ２に対応する視差関連情報とが、関連付けて記憶されるという形態が例示できる。【０１２６】
また、上記第３及び第４の実施形態では、第１及び第２の画像Ｇ１，Ｇ２から得られた情報であって視差量を取得するために用いた情報（例えば、顔検出座標や座標差分などの視差量を取得する前段階で得られる情報）、及び視差量を、視差関連情報として第１及び第２の画像Ｇ１，Ｇ２に関連付けたが、これに限らない。例えば、これらの視差関連情報と、第１又は第２のハンチング有無判定ルーチンを実行して得られた結果、上記第１の実施形態で説明した視差量の許容限界判定の結果、及び上記第１の実施形態で説明した視差調整対象の判定の結果の少なくとも１つの結果を示す情報（視差量に異常があるか否かを示す情報）と、上記第１の実施形態で説明した第１〜第３の切り替え処理の何れの切り替え処理が実行されたかを示す情報と、の少なくとも１つの情報が、その情報に対応すると共に視差調整が行われた第１及び第２の画像Ｇ１，Ｇ２に関連付けられるようにしてもよい。また、上記第２及び第４の実施形態で説明した基本視差量を用いて視差調整を行った場合には、その旨を示す情報が、その情報に対応するオブジェクトそのものと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。また、上記第２及び第４の実施形態で説明した他のオブジェクトから視差量を取得した場合には、その旨を示す情報が、その情報に対応するオブジェクトそのものと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。また、上記第２及び第４の実施形態で説明した他のオブジェクトの視差量が調整された場合には、その旨を示す情報が、その情報に対応するオブジェクトと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。更に、上記第２及び第４の実施形態で説明した他のオブジェクトとして如何なるオブジェクトを適用したかを示す情報が、その情報に対応するオブジェクトそのものと、そのオブジェクトが含まれる視差調整済みの第１及び第２の画像Ｇ１，Ｇ２と、の少なくとも一方に関連付けられるようにしてもよい。【０１２７】
このように、第１及び第２の画像Ｇ１，Ｇ２から得られた情報であって、視差量を取得するために用いた情報、その情報を用いて取得された視差量、及びその視差量を用いて所定処理が行われたか否かを示す情報のうちの少なくとも１つの情報が、その情報に対応すると共に視差調整が行われた第１及び第２の画像Ｇ１，Ｇ２（上記第２及び第４の実施形態では、例えば、デフォルトオブジェクト又は他のオブジェクト）に関連付けられればよい。これにより、再生時の視差調整を含めて、再生される立体視画像に関連する情報（視差関連情報）の有効活用が可能となる。
【符号の説明】
【０１２８】
７  モニタ
２１Ａ、２１Ｂ  撮影部
２２  撮影制御部
３０  ３次元処理部
３５  ＣＰＵ
【図１】
2011121818.tif 000003
【図２】
2011121818.tif 000004
【図３】
2011121818.tif 000005
【図４】
2011121818.tif 000006
【図５】
2011121818.tif 000007
【図６】
2011121818.tif 000008
【図７】
2011121818.tif 000009
【図８】
2011121818.tif 000010
【図９】
2011121818.tif 000011
【図１０】
2011121818.tif 000012
【図１１】
2011121818.tif 000013
【図１２】
2011121818.tif 000014
【図１３】
2011121818.tif 000015
【図１４】
2011121818.tif 000016
【図１５】
2011121818.tif 000017
【図１６Ａ】
2011121818.tif 000018
【図１６Ｂ】
2011121818.tif 000019
【図１６Ｃ】
2011121818.tif 000020
【図１７】
2011121818.tif 000021
【図１８Ａ】
2011121818.tif 000022
【図１８Ｂ】
2011121818.tif 000023
【図１９】
2011121818.tif 000024
【図２０】
2011121818.tif 000025
【図２１】
2011121818.tif 000026
【国際調査報告】
2011121818.tif 000027
2011121818.tif 000028
2011121818.tif 000029