(57)【要約】  撮像部１２（１２−１、１２−２）は立体画像を取得する。表示部１８は、取得された立体画像を表示する。表示制御部６１は、表示部１８に第１のガイド枠を表示させる。被写体像検出部６２は取得された立体画像から特定の被写体像を検出する。距離情報取得部６３は、検出された被写体像に対応する被写体の距離に関する情報であって撮像部１２からの被写体の距離に関する情報を取得する。立体視適否判定部６４は、取得された前記距離に関する情報に基づいて、第１のガイド枠内の被写体像が立体視に適しているか否か判定する。表示制御部６１は、第１のガイド枠内の被写体像が立体視に適していると判定された場合、立体視に適している被写体像に第１のガイド枠の位置及びサイズのうち少なくともひとつを合わせる。これにより、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストする。
2013047217.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、
前記撮像部によって取得された前記立体画像を表示可能な表示部と、
前記表示部に所定のサイズの第１のガイド枠を表示させる表示制御部と、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出部と、
前記被写体像検出部によって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体までの距離に関する情報を取得する距離情報取得部と、
前記距離情報取得部によって取得された前記距離に関する情報に基づいて、前記第１のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定部と、
を備え、
前記表示制御部は、前記立体視適否判定部によって前記第１のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第１のガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせる撮像装置。
【請求項２】
前記表示制御部は、前記第１のガイド枠に加えて前記第１のガイド枠よりもサイズの大きい第２のガイド枠を前記表示部に表示させて、前記被写体像検出部によって前記第２のガイド枠内から前記立体視適否判定部によって立体視に適していると判断された前記被写体像とは異なる他の被写体像が検出された場合、前記第２のガイド枠を該他の被写体像に合わせる請求項１に記載の撮像装置。
【請求項３】
前記立体視適否判定部は、前記第２のガイド枠内の前記他の被写体像が立体視に適しているか否かの判定を行い、
前記表示制御部は、前記立体視適否判定部によって前記第２のガイド枠内の前記他の被写体像が立体視に適していると判定された場合、前記立体視に適している前記他の被写体像に前記第２のガイド枠を合わせる請求項２に記載の撮像装置。
【請求項４】
ユーザから撮影指示の入力を受け付ける撮影指示入力部と、
前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に、前記撮影指示入力部に撮影指示が入力されたとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部と、
を備える請求項１から３のうちいずれか１項に記載の撮像装置。
【請求項５】
前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に前記立体画像が立体視に適していることを報知する立体視適正報知部と、
前記立体視適正報知部によって前記立体画像が立体視に適していることを報知してから一定の時間が経過したとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部を更に備える請求項１から３のうちいずれか１項に記載の撮像装置。
【請求項６】
前記表示制御部は、まず前記複数の視点画像のうちで一視点画像を前記表示部に平面表示させ、この平面表示した一視点画像に前記ガイド枠を重ねて前記表示部に平面表示させ、前記立体視適否判定部によって前記被写体像が立体視に適していると判定された場合、前記立体画像を立体視表示する請求項１から５のうちいずれか１項に記載の撮像装置。
【請求項７】
前記立体視適否判定部は、前記ガイド枠内にある前記被写体像の数が閾値を超えているとき、前記立体画像が立体視に適さないと判定する請求項１から６のうちいずれか１項に記載の撮像装置。
【請求項８】
前記立体視適否判定部は、前記ガイド枠内にある前記被写体像のサイズが第１の閾値以下であるとき、又は、前記ガイド枠内にある前記被写体像のサイズが前記第１の閾値よりも大きな第２の閾値を越えているとき、前記立体画像が立体視に適さないと判定する請求項１から６のうちいずれか１項に記載の撮像装置。
【請求項９】
前記立体視適否判定部は、前記ガイド枠内に複数の前記被写体像がある場合、前記複数の被写体像のうちで被写体距離の最大値と最小値との差を被写体距離レンジとして算出し、前記被写体距離レンジが許容範囲内でない場合、立体視に適さないと判定する請求項１から６のうちいずれか１項に記載の撮像装置。
【請求項１０】
前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記立体画像が立体視に適さないことを報知する立体視不適正報知部を更に備える請求項１から９のうちいずれか１項に記載の撮像装置。
【請求項１１】
前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部の表示を立体視表示から平面表示に切り替える請求項１０に記載の撮像装置。
【請求項１２】
前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部に表示させた前記ガイド枠の色を切り替える制御又は前記ガイド枠を点滅させる制御を行う請求項１０に記載の撮像装置。
【請求項１３】
前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記報知部として、発光ダイオード、前記表示部及び音出力デバイスのうちいずれかを用いて報知する請求項１０に記載の撮像装置。
【請求項１４】
前記表示制御部による前記ガイド枠の表示及び前記立体視適否判定部による立体視適否判定を行うか否か、前記被写体像検出部で検出する被写体像の種類、及び、前記表示部に表示させるガイド枠の種類のうち、少なくともひとつの設定の入力を受け付ける設定入力部を更に備えることを特徴とする請求項１から１３のうちいずれか１項に記載の撮像装置。
【請求項１５】
被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を表示可能な表示部とを用いる撮像方法であって、
前記表示部に所定のサイズのガイド枠を表示させるガイド枠表示ステップと、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出ステップと、
前記被写体像検出ステップによって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体の距離までに関する情報を取得する距離情報取得ステップと、
前記距離情報取得ステップによって取得された前記距離に関する情報に基づいて、前記ガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定ステップと、
前記立体視適否判定ステップによって前記ガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記ガイド枠の位置及びサイズの少なくともいずれかひとつを合わせるステップと、
を含む撮像方法。
【請求項１６】
請求項１５に記載の撮像方法をプロセッサに実行させるプログラム。
【請求項１７】
請求項１５に記載の撮像方法をプロセッサに実行させるプログラムを記録した、記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることができる撮像装置、撮像方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
立体視可能な画像表示を行うための左右の視差画像を撮影する場合、被写体が撮影装置に近すぎると視差ズレが大きくなり、立体表示画像（３Ｄ画像）がブレてしまう。一方、被写体が撮影装置から遠すぎると視差ズレが小さくなり、立体感が得られなくなるという現象が発生する。【０００３】
特許文献１には、被写体の位置を検出し、その被写体の位置が立体視可能な視差画像を撮影可能な立体視可能範囲内であるかどうかを判断し、被写体の位置が立体視可能範囲内であると判断した場合に所定時間後に視差画像の撮影を実行する構成が開示されている。【０００４】
特許文献２には、複数視点の画像が立体視に適しているか否かを判定し、立体視に不適正であると判定した場合、複数視点の画像を２次元画像に変換する構成が開示されている。【０００５】
特許文献３には、表示画面で３Ｄ画像をユーザに立体視させるための左右の眼の適正位置を示す眼位置ガイド像を、モニタ表示されるユーザの映像に重ね合わせる構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−３３９９０号公報
【特許文献２】特開２００５−１６７３１０号公報
【特許文献３】特開２００９−２５０９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、どこを見て撮影すればよいのかユーザは分からない、どの状態やシーンで好適な立体画像を得られるのかユーザは分からない、どの状態やシーンで立体視に適さないのかユーザは分からない（撮影してみないと分からない）、という課題がある。【０００８】
特許文献１の構成では、被写体の位置が立体視可能範囲である場合に自動的に撮像することが可能であるが、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることはできない。【０００９】
特許文献２の構成では、立体視に不適正である場合に２次元画像を出力することは可能であるが、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることはできない。【００１０】
特許文献３の構成では、ユーザの眼の位置を立体視に適した位置に移動させるように導くことは可能であるが、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることはできない。【００１１】
本発明はこのような事情に鑑みてなされたもので、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることができる撮像装置、撮像方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明の一態様に係る撮像装置は、被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を表示可能な表示部と、前記表示部に所定のサイズの第１のガイド枠を表示させる表示制御部と、前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出部と、前記被写体像検出部によって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部からの前記被写体までの距離に関する情報を取得する距離情報取得部と、前記距離情報取得部によって取得された前記距離に関する情報に基づいて、前記第１のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定部と、を備え、前記表示制御部は、前記立体視適否判定部によって前記第１のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第１のガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせる。なお、前記表示部での動画像の表示は、３次元表示（立体視表示）する場合に特に限定されず、２次元表示（平面表示）する場合を含む。【００１３】
この構成によれば、立体視画像の失敗写真の削減、抑制をすることができるだけでなく、ユーザは、表示部のどこを見て撮影すればよいかをガイド枠のアシストにより容易に確認することができるとともに、立体視に適していることを視覚的に容易に確認することができる。また、この撮像装置を実現するために従来の撮像装置に新規部品の追加する必要がないので、コスト抑制効果も得られる。【００１４】
一態様にて、前記表示制御部は、前記第１のガイド枠に加えて前記第１のガイド枠よりもサイズの大きい第２のガイド枠を前記表示部に表示させて、前記被写体像検出部によって前記第２のガイド枠内から前記立体視適否判定部によって立体視に適していると判断された前記被写体像とは異なる他の被写体像が検出された場合、前記第２のガイド枠を該他の被写体像に合わせる。【００１５】
一態様にて、前記立体視適否判定部は、前記第２のガイド枠内の前記他の被写体像が立体視に適しているか否かの判定を行い、前記表示制御部は、前記立体視適否判定部によって前記第２のガイド枠内の前記他の被写体像が立体視に適していると判定された場合、前記立体視に適している前記他の被写体像に前記第２のガイド枠を合わせる。【００１６】
一態様にて、ユーザから撮影指示の入力を受け付ける撮影指示入力部と、前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に、前記撮影指示入力部に撮影指示が入力されたとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部と、を備える。【００１７】
一態様にて、前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に前記立体画像が立体視に適していることを報知する立体視適正報知部と、前記立体視適正報知部によって前記立体画像が立体視に適していることを報知してから一定の時間が経過したとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部を更に備える。即ち、自動でシャッタを切るため、シャッタ操作に因るブレを軽減できる。【００１８】
一態様にて、前記表示制御部は、まず前記複数の視点画像のうちで一視点画像を前記表示部に平面表示させ、この平面表示した一視点画像に前記ガイド枠を重ねて前記表示部に平面表示させ、前記立体視適否判定部によって前記被写体像が立体視に適していると判定された場合、前記立体画像を立体視表示する。【００１９】
一態様にて、前記立体視適否判定部は、前記ガイド枠内にある前記被写体像の数が閾値を超えているとき、前記立体画像が立体視に適さないと判定する。【００２０】
一態様にて、前記立体視適否判定部は、前記ガイド枠内にある前記被写体像のサイズが第１の閾値以下であるとき、又は、前記ガイド枠内にある前記被写体像のサイズが前記第１の閾値よりも大きな第２の閾値を越えているとき、前記立体画像が立体視に適さないと判定する。【００２１】
一態様にて、前記立体視適否判定部は、前記ガイド枠内に複数の前記被写体像がある場合、前記複数の被写体像のうちで被写体距離の最大値と最小値との差を被写体距離レンジとして算出し、前記被写体距離レンジが許容範囲内でない場合、立体視に適さないと判定する。【００２２】
一態様にて、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記立体画像が立体視に適さないことを報知する立体視不適正報知部を更に備える。即ち、立体視に適さないことを視覚的に確認できる。【００２３】
一態様にて、前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部の表示を立体視表示から平面表示に切り替える。【００２４】
一態様にて、前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部に表示させた前記ガイド枠の色を切り替える制御又は前記ガイド枠を点滅させる制御を行う。【００２５】
一態様にて、前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記報知部として、発光ダイオード、前記表示部及び音出力デバイスのうちいずれかを用いて報知する。【００２６】
一態様にて、前記表示制御部による前記ガイド枠の表示及び前記立体視適否判定部による立体視適否判定を行うか否か、前記被写体像検出部で検出する被写体像の種類、及び、前記表示部に表示させるガイド枠の種類のうち、少なくともひとつの設定の入力を受け付ける設定入力部を更に備える。【００２７】
また、本発明の別の態様に係る撮像方法は、被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を立体視表示可能な表示部とを用いる撮像方法であって、前記表示部に所定のサイズのガイド枠を表示させるガイド枠表示ステップと、前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出ステップと、前記被写体像検出ステップによって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部からの前記被写体の距離に関する情報を取得する距離情報取得ステップと、前記距離情報取得ステップによって取得された前記距離に関する情報に基づいて、前記ガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定ステップと、前記立体視適否判定ステップによって前記ガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記ガイド枠の位置及びサイズの少なくともいずれかを合わせるステップとを含む。【００２８】
この撮像方法によっても、ユーザは表示部のどこを見て撮影すればよいかをガイド枠のアシストにより容易に確認することができるとともに、立体視に適していることを視覚的に容易に確認することができる。【００２９】
また、本発明の更なる別の態様は、前記撮像方法をプロセッサ（例えば、撮像装置に搭載されたプロセッサ）に実行させるプログラムを提供する。本発明に係るプログラムをプロセッサに実行させることにより、前記撮影方法と同様の効果を達成することが出来る。また、本発明の更なる別の態様は、前記撮像方法をプロセッサに実行させるプログラムを記録する、読み取り可能な記録媒体を提供する。本発明に係る記録媒体からプロセッサにプログラムを読み取って実行させることにより、前記撮影方法と同様の効果を達成することが出来る。
【発明の効果】
【００３０】
本発明によれば、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る撮像装置の一例の全体構成図
【図２】撮像装置の本体の背面図
【図３】撮像装置の機能的な構成を示すブロック図
【図４】立体視適正範囲の説明に用いる説明図
【図５】第１実施形態における撮像処理例の流れを示すフローチャート
【図６】複数の被写体を撮像する撮影シーンの一例を模式的示す説明図
【図７】メインガイド枠及びサブガイド枠の両方を表示した表示例を示す説明図
【図８Ａ】メインガイド枠をメイン被写体像にフォーカスする様子を示す説明図（その１）
【図８Ｂ】メインガイド枠をメイン被写体像にフォーカスする様子を示す説明図（その２）
【図９Ａ】サブガイド枠を複数のサブ被写体像にフォーカスする様子を示す説明図（その１）
【図９Ｂ】サブガイド枠を複数のサブ被写体像にフォーカスする様子を示す説明図（その２）
【図１０】第２実施形態における撮像処理例の流れを示すフローチャート
【図１１】第３実施形態における撮像処理例の流れを示すフローチャート
【図１２】第４実施形態における撮像処理例の流れを示すフローチャート
【図１３Ａ】２Ｄスルー画表示を模式的に示す説明図
【図１３Ｂ】３Ｄスルー画表示を模式的に示す説明図
【図１４Ａ】ガイド枠内にある被写体像の数が閾値を超えた場合の説明図（その１）
【図１４Ｂ】ガイド枠内にある被写体像の数が閾値を超えた場合の説明図（その２）
【図１４Ｃ】ガイド枠内にある被写体像の数が閾値を超えた場合の説明図（その３）
【図１５Ａ】ガイド枠内にある被写体像のサイズが閾値以下である場合の説明図（その１）
【図１５Ｂ】ガイド枠内にある被写体像のサイズが閾値以下である場合の説明図（その２）
【図１５Ｃ】ガイド枠内にある被写体像のサイズが閾値以下である場合の説明図（その３）
【図１６】ガイド枠内にある被写体像のサイズが閾値を越えている場合の説明図
【図１７】ガイド枠を超えるサイズの被写体像が検出された場合の説明図
【図１８】被写体距離レンジの説明に用いる説明図
【図１９】撮影モードの選択メニューの一例を示す説明図
【発明を実施するための形態】
【００３２】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３３】
図１は、本発明に係る撮像装置の一例の全体構成図である。
【００３４】
本例の撮像装置１０は、２つの撮影部１２−１及び１２−２を備えている。なお、撮影部１２は２つ以上設けてもよい。
【００３５】
撮像部１２−１、１２−２は、被写体を撮像して複数の視点画像からなる立体画像を取得する。
【００３６】
ＣＰＵ（Central Processing Unit）１４は、プログラムに従って、撮像装置１０全体の動作を統括制御する制御デバイスである。
【００３７】
本例のＣＰＵ１４は、信号処理ＩＣによって構成されている。この信号処理ＩＣは、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）及びワークメモリ（ＲＡＭ（Random Access Memory））を含んでいる。ＲＯＭには、ＣＰＵ１４が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＰＲＯＭには、ユーザ設定情報等の撮像装置１０の動作に関する各種設定情報等が格納されるものであり、ＥＥＰＲＯＭとしては電源を切っても記憶内容が消去されない不揮発性メモリが使用される。ワークメモリは、ＣＰＵ１４の演算作業用領域及び画像データの一時記憶領域を含んでいるものであり、通常はコスト面から揮発性メモリであるダイナミックＲＡＭが使用される。
【００３８】
操作部１６は、ユーザの指示入力を受け付ける操作デバイスである。図２は、図１の撮像装置１０の本体の背面を示す。図２に示すように、撮像装置１０の本体の背面には、操作部１６の構成要素として、撮影指示の入力を受け付けるレリーズスイッチ５０と、ズーミング指示の入力を受け付けるズームレバー５１と、動作モードの切り替え指示の入力を受け付けるモードスイッチ５２ａ，５２ｂ，５２ｃと、各種の色で発光可能なＬＥＤ５３（発光ダイオード）と、視差調整の指示入力を受け付ける視差調整ボタン５４と、３Ｄ（３次元）撮影モード及び２Ｄ（２次元）撮影モードの切り替え指示の入力を受け付ける３Ｄ／２Ｄ切り替えボタン５４と、メニュー表示指示の入力等を受け付けるＭＥＮＵ／ＯＫボタン５５と、上下左右の４方向での指示入力を受け付ける十字ボタン５６、表示指示等の指示入力を受け付けるＤＩＳＰ／ＯＫボタン５７等が配設されている。また、撮像装置１０の本体の前面に、撮像装置１０の電源オン及びオフの切り替え指示の入力を受け付ける電源スイッチが配設されている。
【００３９】
モードスイッチ５２ａ，５２ｂ，５２ｃは、撮像装置１０の動作モードの切り替え入力を行うための操作手段である。本例では、再生モードと撮影モード（２Ｄ撮影モード、３Ｄ撮影モード）との切り替え指示の入力を受け付ける撮影／再生切り替えボタン５２ａと、３Ｄ撮影モードと２Ｄ撮影モードとの切り替え指示の入力を受け付ける３Ｄ／２Ｄ切り替えボタン５２ｂと、動画撮影と静止画撮影との切り替え指示の入力を受け付ける動画／静止画切り替えボタン５２ｃを含んで、モードスイッチが構成されている。
【００４０】
レリーズスイッチ５０は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画を撮影するモードの時には、レリーズスイッチ５０が半押しされると（Ｓ１オン）、撮影準備処理（例えば、自動露出調整処理（ＡＥ（Automatic Exposure））、自動焦点合わせ処理（ＡＦ（Auto Focus））、自動ホワイトバランス調整処理（ＡＷＢ（Automatic White Balance）））が行われる。そして、レリーズスイッチ５０が全押しされると（Ｓ２オン）、静止画の撮影・記録処理が行われる。また、動画を撮影するモードの時には、レリーズスイッチ５０が全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けてもよい。
【００４１】
また、レリーズスイッチ５０の外周にはズームレバー５１が設けられている。ズームレバー５１は、撮影部１２−１及び１２−２のズーミング操作を行うための操作手段であり、望遠側へのズーミング指示及び広角側へのズーミング指示入力が可能である。
【００４２】
表示部１８は、例えば、カラー液晶パネル（ＬＣＤ（Liquid Crystal Display））を備える表示装置である。表示部１８は、撮影された画像を表示する表示部として機能するとともに、撮像装置１０の各種機能に関する設定を行うときのユーザインターフェースとしても機能する。また、表示部１８は、撮影モード時に画角を確認するためのライブビュー画像（動画）を表示する電子ファインダとして機能する。
【００４３】
表示部１８は、撮像部１２−１、１２−２によって取得された立体画像を立体視表示可能な表示デバイスである。本例の表示部１８は、３Ｄ撮影モード時に、ユーザ、観察者が立体視可能な立体（３Ｄ）画像を表示する機能を有する。３Ｄ画像の表示方式としては、例えば、ライト・ディレクション・コントロール・システム（Light Direction Control System）が採用される。ライト・ディレクション・コントロール・システムでは、左眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの左眼に届くように指向性を持たせた照明光をＬＣＤに照射する処理と、右眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの右眼に届くように指向性を持たせた照明光をＬＣＤに照射する処理とを交互に（例えば、１／６０秒間隔で）繰り返す。これにより、相互に視差のある左眼用画像と右眼用画像が、ユーザの左右の眼によって交互に観察可能になるので、ユーザは立体的な画像を観察することができる。立体視用画像を表示する方法にはたくさんの方式があり、どれを使用してもよい。
【００４４】
記録部２０は、撮影された画像ファイル及び各種のデータを記録する。記録部２０は、例えば、ＳＤメモリカード（登録商標）又はｘＤピクチャカード（登録商標）のような着脱可能な記録メディアでもよいし、撮像装置１０の本体に内蔵されているメモリでもよい。ただし、撮像装置１０の本体に内蔵されているメモリを使用する場合は、カメラ本体の電源を切った場合でも画像が消去されないように不揮発性メモリを使用する必要がある。
【００４５】
スピーカ２１は、音出力を行う音出力デバイスである。
【００４６】
次に、撮像装置１０の撮影機能について説明する。なお、図１では、各撮影部１２−１及び１２−２にそれぞれ符号１及び２を付して区別しているが、各部の機能は略同様であるため、以下の説明では、ハイフォン及びそれに続く符号１及び２を適宜省略して説明する。
【００４７】
各撮影部１２は、フォーカスレンズ２４、ズームレンズ２６、絞り２８及びメカシャッタ３０を含む撮影レンズ（撮影レンズ）２２を備えている。本実施形態では、撮影レンズ２２−１及び２２−２の輻輳角θｃは固定されている。
【００４８】
フォーカスレンズ２４及びズームレンズ２６は、各撮影部１２の光軸に沿って前後に移動する。ＣＰＵ１４は、光学系駆動部３２に設けられたフォーカスアクチュエータの動作を制御して、フォーカスレンズ２４の位置を調整してフォーカシングを行う。また、ＣＰＵ１４は、光学系駆動部３２に設けられたズームアクチュエータの動作を制御して、ズームレンズ２６の位置を調整してズーミングを行う。また、ＣＰＵ１４は、光学系駆動部３２に設けられた絞りアクチュエータの駆動を制御することにより、絞り２８の開口量（絞り値）を調整して撮像素子３４への入射光量を制御する。
【００４９】
メカシャッタ３０は、撮像素子３４からデータを読み出すときに閉じられる。これにより、データ読み出し時に撮像素子３４に入射する光が遮光される。
【００５０】
ＣＰＵ１４は、３Ｄ撮影モード時に、各撮影部１２−１及び１２−２の撮影レンズ２２−１及び２２−１（即ち、フォーカスレンズ２４−１及び２４−２、ズームレンズ２６−１及び２６−２、絞り２８−１及び２８−２）を同期させて駆動する。即ち、撮影部１２−１及び１２−２は、３Ｄ撮影モード時に、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄ撮影モード時には、常に同じ被写体にピントが合うように焦点調節が行われる。
【００５１】
撮像素子３４は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。なお、撮像素子３４としては、ＣＭＯＳイメージセンサ以外の撮像素子を用いることもできる。例えば、ＣＣＤ（Charge Coupled Device）イメージセンサが挙げられる。
【００５２】
撮像素子３４の受光面には、多数のフォトダイオードが２次元的に配列されている。各フォトダイオードには所定の色（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色）のカラーフィルタが所定の配列となるように配置されている。なお、カラーフィルタの色はＲ，Ｇ，Ｂの３原色に限定されるものではなく、例えば、補色系のカラーフィルタを用いることも可能である。撮影部１２を介して撮像素子３４の受光面上に被写体光が結像されると、この被写体光はフォトダイオードによって入射光量に応じた信号電荷に変換される。撮像素子３４は、電子シャッタ機能を備えており、ＣＰＵ１４はフォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）を制御する。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従ってタイミング・ジェネレータ（ＴＧ）３６から与えられる駆動パルスに基づいて、電荷量に応じた画像信号（Ｒ、Ｇ、Ｂ信号）として撮像素子３４から順次読み出される。撮像素子３４から読み出された画像信号は、アンプ３８を経てアナログ信号処理部４０に入力される。
【００５３】
アナログ信号処理部４０は、撮像素子３４から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング（ＣＤＳ（Correlated Double Sampling））回路、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＣ（Automatic Gain Control）回路、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含んでいる。撮像素子３４から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部４０によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部４０におけるＲ、Ｇ、Ｂ信号の増幅ゲインは撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１４は、被写体の明るさ等に応じて、この増幅ゲインを調整することにより撮影感度を設定する。なお、感度が等しい２つの撮像素子を用いて画像を撮影する場合（３Ｄ撮影モード）、このゲインは、［１］系アナログ信号処理部４０−１と［２］系アナログ信号処理部４０−２とで同じ値に設定される。
【００５４】
ゲイン調整されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器によってデジタルのＲ、Ｇ、Ｂ信号に変換された後、バッファメモリを介して信号処理ＩＣ１４に入力される。
【００５５】
上記のようにして生成されたデジタルのＲ、Ｇ、Ｂ信号は、信号処理ＩＣによって、所定の処理（例えば、単板撮像素子のカラーフィルタ配列に伴う色信号の空間的なズレを補間してＲ、Ｇ、Ｂの色信号を作る処理）、ホワイトバランス調整処理、階調変換（ガンマ補正）処理及び輪郭補正処理が施されて、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）、即ち、Ｙ／Ｃ信号に変換される。
【００５６】
静止画や動画を撮影する場合の画角を確認するための画像であるライブビュー画像（スルー画）を表示部１８に表示する場合、撮像素子３４に蓄積された画像信号が所定時間間隔で間引き読み出しされる。この読み出された画像信号は、信号処理ＩＣによって、所定の処理が施されるとともに、Ｙ／Ｃ信号に変換される。そして、このＹ／Ｃ信号は、表示部１８の表示に適した信号（例えば、Ｒ、Ｇ、Ｂ信号）に変換された後、１フレーム分ずつ表示部１８に出力される。これにより、表示部１８に画角確認用の動画（スルー画）が表示される。２Ｄ撮影モード時には、１つの撮影部１２のみからスルー画用の画像信号の読み出しが行われる。一方、３Ｄ撮影モード時には、左右の撮影部１２−１及び１２−２の両方からスルー画用の画像信号の読み出しが行われ、両方の画像を用いて３Ｄのスルー画（動画）の表示が行われる。
【００５７】
なお、３Ｄ撮影モード時には、設定によりスルー画を２Ｄ表示とすることができる。この場合、左右の撮影部１２−１及び１２−２のいずれか一方から得られた画像を用いて作成されたスルー画が表示される。３Ｄ撮影モード時において被写体の検出（顔検出）を行う場合、当該被写体が立体視適正範囲内にいるかどうかに応じて、上記２Ｄのスルー画から検出された被写体に付される図形（例えば、顔検出枠）の色を変えるようにしてもよい。
【００５８】
次に、画像の撮影及び記録処理について説明する。２Ｄ撮影モード時には、所定の１つの撮影部（例えば、１２−１）により記録用の画像が撮影される。なお、撮影部１２−１、１２−２（撮影レンズ２２、撮像素子３４等）の特性を互い異なるものにして、２Ｄ撮影モード時にどちらの撮影部を使用するかをユーザが選択できるようにしてもよい。
【００５９】
２Ｄ撮影モード時に、撮影部１２−１によって撮影された画像は、信号処理ＩＣによって圧縮される。圧縮された画像データは、所定形式の画像ファイルとして記録部２０に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４等の規格に準拠した圧縮画像ファイルとして記録される。ただし、圧縮方式はこれらに限るものではない。
【００６０】
３Ｄ撮影モード時には、撮影部１２−１及び１２−２によって同期して画像が撮影される。上記３Ｄ撮影モード時には、ＡＦ処理及びＡＥ処理は、撮影部１２−１及び１２−２のいずれか一方によって取得された画像信号に基づいて行われる。上記３Ｄ撮影モード時には、各撮影部１２−１及び１２−２によって撮影された２視点の画像は、それぞれ圧縮されて１つのファイルに格納されて記録部２０に記録される。ファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影部１２の撮影レンズの間隔及び輻輳角に関する情報が格納される。
【００６１】
再生モード時には、記録部２０に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、信号処理ＩＣによって非圧縮のＹ／Ｃ信号に伸張される。この非圧縮のＹ／Ｃ信号は、Ｒ、Ｇ、Ｂ信号に変換された後表示部１８に出力される。これにより、記録部２０に記録されている画像ファイルが表示部１８に表示される。
【００６２】
３Ｄ撮影モードで撮影された画像の再生時には、設定により３Ｄ表示と２Ｄ表示とを選択することができる。画像中から被写体の検出（顔検出）を行う場合、撮影時に当該被写体が立体視適正範囲内にいたかどうかに応じて、上記２Ｄ表示から検出された被写体に付される図形（例えば、顔検出枠）の色を変えるようにしてもよい。  
【００６３】
次に、図１に示した撮像装置１０の機能的な構成を、図３を用いて説明する。
【００６４】
図３に示すように、ＣＰＵ１４は、表示部１８に所定のサイズのガイド枠（メインガイド枠及びサブガイド枠）を表示させる表示制御部６１と、撮像部１２によって取得された立体画像から特定の被写体像を検出する被写体像検出部６２と、被写体像検出部６２によって検出された被写体像に対応する被写体の距離に関する情報であって、撮像部１２からの被写体までの距離に関する情報（以下単に「距離情報」ということもある）を取得する距離情報取得部６３と、距離情報取得部６３によって取得された距離情報に基づいて、ガイド枠内の被写体像が立体視に適しているか否かを判定することで立体画像が立体視に適しているか否かを判定する立体視適否判定部６４と、立体画像が立体視に適していること及び立体画像が立体視に適していないことを報知する報知制御部６６（立体視適正報知制御部及び立体視不適正報知制御部）を備える。表示制御部６１は、立体視適否判定部６４によってガイド枠内の被写体像が立体視に適していると判定された場合、立体視に適している被写体像にガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせる。
【００６５】
なお、「特定の被写体像」は、本実施形態において、被写体像検出部６２によって立体画像中から検出される被写体の像である。「特定の被写体像」の具体例は、顔画像が代表例として挙げられるが、顔画像以外の他のオブジェクト（被写体像）や、閾値以上の高周波成分（エッジ）を有する被写体像でもよい。
【００６６】
また、「距離に関する情報」は、撮像部１２から被写体までの距離を直接的に示す数値（被写体距離）には限定されない。「距離に関する情報」は、例えば、ＣＰＵ１４によって行う撮像部１２のフォーカスレンズ２４の合焦制御により得られる情報であってもよく、立体画像を構成する複数の視点画像に基づいてＣＰＵ１４によって生成される視差マップから得られる情報であってもよい。視差マップについては、複数の視点画像間で画素ごとに対応点検出を行うことにより得られる。
【００６７】
「ガイド枠」は、画像中の所定の領域を示す表示である。なお、「ガイド枠」は、本明細書に記載した例には限定されない。
【００６８】
表示制御部６１、被写体像検出部６２、距離情報取得部６３、立体視適否判定部６４、報知制御部６６は、例えばマイクロコンピュータ・デバイス及び電子回路によって構成される。
【００６９】
次に、立体視適否判定部６４によって行われる立体視適否判定について説明する。以下では、立体画像中の被写体像の視差が立体視に適している範囲を「立体視適正範囲」と称する。
【００７０】
図４を用いて、立体視適正範囲の算出例を説明する。図４において、ＳＢは基線長（ステレオベース）であり、Ｐｃはクロスポイントであり、Ｐｎは立体視適正範囲Ｒ内で最も撮像装置に近い点（以下「近点」という）であり、Ｐｆは立体視適正範囲Ｒ内で最も遠い点（以下「遠点」という）であり、θｃはクロスポイントＰｃの角度（以下「輻輳角」という）であり、図４では左光学系の光軸と右光学系の光軸のなす角である。θｆ及びθｎは許容視差量を規定する角度である。即ち、立体視適正範囲Ｒは、撮像装置１の本体前面（撮像部１２が配置されている基準面である）から近点Ｐｎまでの距離Ｄｎと、撮像装置１の本体前面から遠点Ｐｆまでの距離Ｄｆとの間の範囲である。
【００７１】
立体視適正範囲Ｒの算出例を簡略に説明するため、図４において、右光学系（例えば図１の撮影レンズ２２−１）の光軸方向を示す角度、つまり、右光学系の光軸とＳＢのなす角をθＲとし、左光学系（例えば図１の撮影レンズ２２−２）の光軸方向を示す角度、つまり、左光学系の光軸とＳＢのなす角をθＬとする。仮にθＬ＝９０［度］とした場合、近点Ｐｎまでの距離Ｄｎ及び遠点Ｐｆまでの距離Ｄｆは次式で表される。
【００７２】
［数１］
Ｄｎ＝ＳＢ×ｔａｎ（θＲ−θｎ）
Ｄｆ＝ＳＢ×ｔａｎ（θＲ＋θｆ）
ここで、本例ではθＲ＝９０−θｃ［度］である。よって、立体視適正範囲Ｒを示すＤｎ〜Ｄｆは、基線長ＳＢと、輻輳角θｃと、許容視差量を規定する角度θｆ及びθｎをパラメータとして、算出できる。
【００７３】
θＬ＜９０［度］である場合における立体視適正範囲Ｒの算出については説明を省略するが、θＬ＜９０［度］の場合でも、基線長ＳＢ、輻輳角θｃ、及び許容視差量を規定する角度θｆ及びθｎをパラメータとして、立体視適正範囲Ｒを示すＤｎ及びＤｆを算出すればよい。
【００７４】
図４に示したように立体画像中の特定の被写体像が立体視に適しているか否かの判定は、特定の被写体像に対応する被写体の撮像部１２からの距離が立体視適正範囲Ｒ内にあるか否かを判定することにより行うことができる。
【００７５】
なお、本発明の理解を容易にするため、実空間における被写体の距離を用いて立体視適正範囲を説明したが、本発明における立体視適否の判定は、実空間における被写体の距離を用いる場合には特に限定されない。被写体の距離に対応する情報であれば、どのような情報を用いてもよい。
【００７６】
［第１実施形態］
図５は、第１実施形態における撮像処理例の流れを示すフローチャートであって、図１〜３に示した撮像装置における撮像処理の一例の流れを示すフローチャートである。本処理は、ＣＰＵ１４によって、プログラムに従って実行される。
【００７７】
まず、電源起動処理を実行する（ステップＳ２）。
【００７８】
次に、表示部１８に、所定のサイズのメインガイド枠（第１のガイド枠）及びサブガイド枠（第２のガイド枠）を表示させる（ステップＳ４）。サブガイド枠はメインガイド枠よりもサイズが大きい。
【００７９】
次に、被写体像検出部６２によって、撮像部１２によって取得された立体画像から特定の被写体像を検出する（ステップＳ６）。本例では、特定の被写体像として顔画像を検出するが、顔画像以外の他の被写体像や、閾値以上の高周波成分（例えばエッジ）を有する被写体像を、特定の被写体像として検出してもよい。
【００８０】
次に、検出された被写体像がメインガイド枠内にあるか否かを判定する（ステップＳ８）。なお、本例では、立体画像にメインガイド枠を重ねて表示しており、その立体画像中のメインガイド枠で示された領域内に、特定の被写体像（本例では顔画像）が存在しているか否かを判定する。
【００８１】
次に、距離情報取得部６３によって、メインガイド枠内で検出された被写体像に対応する被写体の距離に関する情報（距離情報）を取得する（ステップＳ１０）。ここで、距離情報は、撮像部１２から被写体までの距離（被写体距離）に対応している情報であり、被写体距離を直接的に示す値であるか否かは問わない。
【００８２】
図６に示す例では、複数の被写体像（本例では顔画像）までの距離Ｌ１、Ｌ２、Ｌ３が距離情報取得部６３によって取得される。これらのＬ１、Ｌ２、Ｌ３に対応した被写体像の視差を、立体画像から画像処理により検出してもよい。撮像部１２のフォーカスレンズ２４の合焦制御により得られた情報（フォーカス情報）を用いてもよいし、視差マップから得られる情報（視差情報）を用いてもよい。
【００８３】
次に、取得された距離情報に基づいて、メインガイド枠内の被写体像が立体視に適しているか否かを判定する（ステップＳ１２）。
次に、表示制御部６１によって、最も立体視に適している被写体像（以下「最適被写体像」という）に、メインガイド枠をフォーカスする（ステップＳ１４）。
【００８４】
図７は、表示部１８に、ガイド枠として、メインガイド枠８０Ｍと、メインガイド枠８０Ｍよりもサイズが大きいサブガイド枠８０Ｓを表示した例を示している。本例では、２つのガイド枠（メインガイド枠８０Ｍ、サブガイド枠８０Ｓ）のそれぞれが、複数のコーナー画像（本例ではメインガイド枠８０Ｍは２つのコーナー画像、サブガイド枠８０Ｓは４つのコーナー画像）によって画像中の所定の領域を示している。メインガイド枠８０Ｍの中心は立体画像の中心１８Ｃに一致している。つまり、メインガイド枠８０Ｍは、表示部１８の画面の中心１８Ｃに表示されている。
【００８５】
図８Ａ及び８Ｂは、メインガイド枠８０Ｍ内に複数の被写体像が検出された場合の処理を説明する図である。図８Ａでは、メインガイド枠８０Ｍ内から複数の被写体像１０１、１０２（本例では顔画像）が含まれている。図８Ａのようにメインガイド枠８０Ｍ内から複数の被写体像１０１、１０２が検出された場合、表示制御部６１はメインガイド枠８０Ｍ内の複数の被写体像１０１、１０２のうちで最も立体視に適している被写体像を最適被写体像１０１として選択する。立体視に適しているとは、図４に符号Ｒで示した立体視適正範囲内に存在する被写体の被写体像のうちで、例えば視差が最も大きな被写体像である。図４において、視差が最も大きいとは、立体視適正範囲Ｒ内であって、クロスポイントＰｃからの距離が最も大きな被写体に対応した被写体像である。言い換えると、立体画像を構成している複数の視点画像間で、視差量が許容視差量の範囲（図４の立体視適正範囲Ｒに対応するθＲ−θｎ〜θＲ＋θｆに対応する視差量範囲）内であって、視差量が最も大きい被写体像である。
【００８６】
そして、表示制御部６１は、メインガイド枠８０Ｍの位置及びサイズを、最適被写体像１０１の位置及びサイズに合わせるガイド枠フォーカス（以下単に「フォーカス」ということもある）を行う。なお、図８Ｂではメインガイド枠８０Ｍの位置及びサイズの両方を変更しているが、一方のみを変更する場合もある。
【００８７】
次に、最適被写体像１０１以外の他の被写体像（以下「他の被写体像」という）がサブガイド枠８０Ｓ内にあるか否かを判定する（ステップＳ１６）。他の被写体像がサブガイド枠８０Ｓ内にある場合にはステップＳ１８に進み、ない場合にはステップＳ２６に進む。
【００８８】
他の被写体像がサブガイド枠８０Ｓ内にある場合、サブガイド枠８０Ｓ内に他の被写体像が複数あるか否かを判定する（ステップＳ１８）。
【００８９】
次に、サブガイド枠８０Ｓ内の各被写体像に対応する被写体の距離に関する情報（距離情報）を取得する（ステップＳ２０）。本例では、撮像部１２から被写体までの距離を算出する。距離情報は、被写体に対する撮像部１２のフォーカスレンズの合焦制御により得られた情報（フォーカス情報）や、立体画像を構成する複数の視点画像に基づいて生成される視差マップから得られた情報（視差情報）であってもよい。
【００９０】
次に、取得された距離情報に基づいて、サブガイド枠内の各被写体像が立体視に適しているか否かを判定する（ステップＳ２２）。サブガイド枠内の被写体像が立体視に適しているか否かの判定は、メインガイド枠内の被写体像が立体視に適しているか否かの判定と同様に行ってもよい。
【００９１】
次に、立体視に適している被写体像のそれぞれに、サブガイド枠をフォーカスする（ステップＳ２４）。つまり、図９Ａ及び９Ｂに示すように、サブガイド枠８０Ｓ内から最適被写体像１０１とは異なる他の被写体像であって立体視に適した被写体像（本例では１０３、１０４）が検出された場合、サブガイド枠８０Ｓの位置及びサイズをその被写体像１０３、１０４に合わせて変更する。図９Ｂに示す例では、第３の被写体像１０３に位置及びサイズを合わせたサブガイド枠８０Ｓ−１と、第４の被写体像１０４に位置及びサイズを合わせたサブガイド枠８０Ｓ−２の二つに分割されて、サブガイド枠８０Ｓが表示される。
【００９２】
次に、少なくともメインガイド枠８０Ｍ内に、立体視に適した被写体像があることを、表示部１８によって、ユーザに報知する（ステップＳ２６）。
【００９３】
次に、操作部１６によって、ユーザから撮影指示の入力を受け付けたか否かを判定する（ステップＳ２８）。
【００９４】
操作部１６に撮影指示が入力されたとき、撮像部１２によって取得された立体画像に対して、所定の画像処理（信号処理）を行って、その画像処理された立体画像を記録部２０によって所定の記録媒体に記録（保存）する（ステップＳ３０）。
【００９５】
本実施形態では、立体視適否判定部６４によって立体画像が立体視に適していると判定された場合に、操作部１６（撮影指示入力部）に撮影指示が入力されたとき、撮像部１２によって取得された立体画像が記録部２０によって所定の記録媒体に記録される。
【００９６】
なお、被写体像に対するメインガイド枠及びサブガイド枠のフォーカス（ガイド枠の位置及びサイズのうち少なくとも一方を立体視に適した被写体像に合わせる表示制御）には、枠を変更する場合と、新しい枠で表示する場合とがある。
【００９７】
［第２実施形態］
図１０は、第２実施形態における撮像処理例の流れを示すフローチャートである。本処理は、ＣＰＵ１４によって、プログラムに従って実行される。なお、ステップＳ２〜Ｓ２６は、図５に示した第１実施形態における処理と同様であり、説明を省略する。
【００９８】
ステップＳ４２にて、一定の時間が経過するのを待つ。
【００９９】
ステップＳ４４は、第１実施形態におけるステップＳ３０と同様であり、撮像部１２によって取得された立体画像に対して、所定の画像処理を行って、その画像処理された立体画像を記録部２０によって所定の記録媒体に記録する。
【０１００】
本実施形態では、立体視適否判定部６４によって立体画像が立体視に適していると判定された場合に、表示部１８（立体視適正報知部）によって立体画像が立体視に適していることを報知してから一定の時間が経過したとき、撮像部１２によって取得された立体画像が記録部２０によって所定の記録媒体に記録される。
【０１０１】
［第３実施形態］
図１１は、第３実施形態における撮像処理例の流れを示すフローチャートである。本処理は、ＣＰＵ１４によって、プログラムに従って実行される。なお、ステップＳ２〜Ｓ２４は、図５に示した第１実施形態における処理と同様であり、説明を省略する。
【０１０２】
ステップＳ５２にて、メインガイド枠及びサブガイド枠内にある立体視に適した被写体像の数を、閾値と比較する。閾値以上である場合にはステップＳ５４に進み、閾値未満でる場合にはステップＳ４に戻る。
【０１０３】
ステップＳ５４にて、第１実施形態におけるステップＳ３０と同様に、撮像部１２によって取得された立体画像に対して、所定の画像処理を行って、その画像処理された立体画像を記録部２０によって所定の記録媒体に記録する。
【０１０４】
本実施形態では、立体視適否判定部６４によって立体画像が立体視に適していると判定された場合に、メインガイド枠及びサブガイド枠内にある立体視に適した被写体像の数が閾値で示された一定数以上であるとき、撮像部１２によって取得された立体画像が記録部２０によって所定の記録媒体に記録される。
【０１０５】
［第４実施形態］
第４実施形態の撮像装置１０では、最初の表示状態を２Ｄ表示とし、且つ予め表示部１８上にガイド枠を設け、そのガイド枠内に被写体像が入り、立体視に適していると判定した場合、２Ｄ表示（「２次元表示」又は「平面表示」ともいう）を３Ｄ表示（「３次元表示」又は「立体視表示」ともいう）に切り替え、画像をユーザが確認してから、シャッタボタンの撮影指示の入力を受け付けて、撮影を実行する。
【０１０６】
図１２は、第４実施形態における撮像処理例の流れを示すフローチャートである。本処理は、ＣＰＵ１４によって、プログラムに従って実行される。
【０１０７】
電源起動処理（ステップＳ２）の後、簡易複数人物立体撮影モードであるか否かを判定する（ステップＳ１０２）。
【０１０８】
簡易複数人物立体撮影モードである場合、２Ｄでスルー画を表示する（ステップＳ１０４）。つまり、表示制御部６１は、撮像部１２−１、１２−２によって取得された複数の視点画像（左視点画像及び右視点画像）のうちで一視点画像（左視点画像又は右視点画像）を表示部１８に表示（平面表示）させる。次にステップＳ４〜Ｓ２４を実行する。なお、ステップＳ４〜Ｓ２４は、図５に示した第１実施形態における処理と同様であり、ここでは説明を省略する。
【０１０９】
簡易複数人物立体撮影モードである場合、ステップＳ４〜Ｓ２４にて、２Ｄでスルー画を表示した状態で、ガイド枠の表示、被写体像の検出、立体視に適しているか否かの判定及びガイド枠のフォーカスを行った後、表示を３Ｄ表示に切り替える（ステップＳ１２４）。
【０１１０】
図１３Ａは、２Ｄ表示（平面表示）を模式的に示す。即ち、立体画像中に被写体像がある場合、その被写体像が２次元で表示される。なお、図１３Ａは、ガイド枠８０内に被写体像がある場合を模式的に示している。
【０１１１】
ステップＳ２６〜Ｓ３０は、図５に示した第１実施形態における処理と同様であり、ここでは説明を省略する。
【０１１２】
簡易複数人物立体撮影モードでない場合、３Ｄでスルー画を表示する（ステップＳ１０６）。つまり、表示制御部６１は、撮像部１２−１、１２−２によって取得された複数の視点画像（左視点画像及び右視点画像）を表示部１８に立体視表示させる。図１３Ｂは、３Ｄ表示（立体視表示）を模式的に示す。即ち、立体画像内に被写体像がある場合、その被写体像が２次元で表示される。なお、図１３Ｂでは、図１３Ａとの比較のためにガイド枠８０を表示した場合を描いたが、図１２に示す撮像処理例ではガイド枠８０は表示されない。
【０１１３】
本実施形態において、表示制御部６１は、まず複数の視点画像のうちで一視点画像を表示部１８に平面表示させ、この平面表示した一視点画像にガイド枠を重ねて表示部１８に平面表示させ、立体視適否判定部６４によって被写体像が立体視に適していると判定された場合、立体画像を３次元表示（立体視表示）する。
【０１１４】
なお、第４実施形態では、ユーザに報知して撮影指示が入力されると撮影を行う場合（ステップＳ２６〜Ｓ３０）を例に説明したが、このような場合に本発明は限定されない。図１０に示した第２実施形態のようにユーザに報知してから一定時間経過で自動的に撮影を行うようにしてもよく（図１０のステップＳ２６、Ｓ４２〜Ｓ４４）、また、図１１に示した第３実施形態のようにガイド枠内のフォーカス数が閾値以上である場合に自動的に撮影を行うようにしてもよい（図１１のステップＳ５２〜Ｓ５４）。
【０１１５】
次に、第１実施形態〜第４実施形態における立体視適否判定に適用可能な各種のバリエーション機能について、説明する。
【０１１６】
図１４Ａから１４Ｃは、ガイド枠内にある被写体像の数が閾値を超えたとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
【０１１７】
本例では、図１４Ａから１４Ｃに示すように、表示部１８にガイド枠８０を表示する。そして、立体視適否判定部６４によってガイド枠８０内にある被写体像の数が閾値を超えているか否かを判定し、ガイド枠８０内にある被写体像の数が閾値を超えているときには立体画像が立体視に適さないと判断して、表示部１８に「立体視に適しません」というメッセージを表示（報知）させる。
【０１１８】
図１５Ａから１５Ｃは、ガイド枠内にある被写体像のサイズが閾値以下であるとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
【０１１９】
本例では、図１５Ａから１５Ｃに示すように、表示部１８にガイド枠８０を表示する。そして、立体視適否判定部６４によってガイド枠８０内にある被写体像のサイズが閾値を超えているか否かを判定し、ガイド枠８０内にある被写体像のサイズが閾値以下であるときには立体画像が立体視に適さないと判断して、表示部１８に「立体視に適しません」というメッセージを表示（報知）させる。
【０１２０】
図１６は、ガイド枠内にある被写体像のサイズが閾値を越えているとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
【０１２１】
本例では、表示部１８にガイド枠８０を表示する。そして、立体視適否判定部６４によってガイド枠８０内にある被写体像のサイズが閾値を超えているか否かを判定し、ガイド枠８０内にある被写体像のサイズが閾値を超えているときには立体画像が立体視に適さないと判断して、図１６に示すように、表示部１８に「立体視に適しません」というメッセージを表示（報知）させる。
【０１２２】
図１７は、ガイド枠を超えるサイズの被写体像が検出されたとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
【０１２３】
本例では、表示部１８にガイド枠８０を表示する。そして、立体視適否判定部６４によってガイド枠８０を超えるサイズの被写体像があるか否かを判定し、ガイド枠８０を超えるサイズの被写体像があるときには立体画像が立体視に適さないと判断して、図１７に示すように、表示部１８に「立体視に適しません」というメッセージを表示（報知）させる。
【０１２４】
図１８は、被写体距離レンジに基づいて立体視適否判定を行う場合の説明に用いる説明図である。
【０１２５】
図１８において、Ｌ１は撮像装置１０から第１の被写体までの被写体距離であり、Ｌ２は撮像装置１０から第２の被写体までの被写体距離であり、Ｌ３は撮像装置１０から第３の被写体までの被写体距離である。これらの第１の被写体、第２の被写体及び第３の被写体にそれぞれ対応する複数の被写体像（第１の被写体の被写体像、第２の被写体の被写体像、及び第３の被写体の被写体像）がガイド枠８０内にある場合、被写体距離Ｌ１，Ｌ２、Ｌ３のうちで最大値（本例ではＬ２）と最小値（本例ではＬ１）との差ＳＲ＝Ｌ１−Ｌ２を、「被写体距離レンジ」という。
【０１２６】
本例では、表示部１８にガイド枠８０を表示し、立体視適否判定部６４によって、ガイド枠内にある被写体像について被写体距離レンジを算出し、その被写体距離レンジＳＲが適正な許容範囲内（例えば、立体視適正範囲Ｒ内）であるか否かを判断することにより、立体画像が立体視に適しているか否かを判断する。
【０１２７】
立体視適否判定部６４によって、立体画像が立体視に適していないと判定された場合のユーザに対する報知態様には各種ある。以下では、代表的な報知態様１〜６を示す。
＜報知態様１＞  表示部１８の表示を３次元表示（立体視表示）から２次元表示（平面表示）に切り替える。
＜報知態様２＞  表示部１８に表示させたガイド枠８０の色を切り替える。
＜報知態様３＞  表示部１８に表示させたガイド枠８０を点滅させる。
＜報知態様４＞  ＬＥＤ５３を点滅又は点灯させる。
＜報知態様５＞  表示部１８に立体視に適していないことを示す文字列を表示させる。
＜報知態様６＞  スピーカ２１（音出力部）に立体視に適していないことを示す音声を出力させる。
【０１２８】
図１９は、撮影シーンに合わせた撮影モードを設定入力する機能の説明に用いる説明図である。
【０１２９】
図１９において、表示部１８には、簡易複数人物立体撮影モード、簡易接写立体撮影モード、及び簡易撮影モードを選択して指示入力するためのメニューが表示されている。ユーザは、操作部１６の一部としての十字ボタン５６及びＭＥＮＵ／ＯＫボタン５５を用い、撮影シーンに応じて、撮影モードを選択して指示入力することができる。
【０１３０】
具体的には、操作部１６によって撮影モードを指示入力することで、次の選択１から３が可能である。
＜選択１＞  ガイド枠表示及び立体視適否判定を行うか否かの選択。
＜選択２＞  被写体像検出部６２で検出する被写体像の種類（人物の顔画像を検出するか否か等）。
＜選択３＞  表示部に表示させるガイド枠の種類（サブガイド枠を表示するか否か等）。
【０１３１】
例えば、簡易複数人物立体撮影モードでは、ガイド枠表示及び立体視適否判定を行うとともに、サブガイド枠の表示を行う。また、例えば、簡易接写立体撮影モードでは、被写体像として人物像以外の被写体像を検出し、ガイド枠表示及び立体視適否判定は行わない。また、例えば、簡易撮影モードでは、ガイド枠表示及び立体視適否判定を行うがサブガイドの表示は行わない。
【０１３２】
なお、複数の視点画像からなる動画像を表示部１８で３次元表示（立体視表示）する場合を例に説明したが、本発明は動画像を２次元表示（平面表示）する場合にも適用できる。即ち、本発明の撮像装置は、複数の視点画像からなる動画像を２次元表示しかできない撮像装置を含む。
【０１３３】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【０１３４】
例えば、各実施形態で説明した撮像方法をプロセッサ（例えば、撮像装置に搭載されたプロセッサ）に実行させるプログラムを用意し、このプログラムをプロセッサに実行させることにより、各実施形態で説明した撮像方法を実現することも可能である。また、各実施形態で説明した撮像方法をプロセッサに実行させるプログラムを記録する、プロセッサで読み取り可能な記録媒体を作成し、この記録媒体からプロセッサにプログラムを読み取って実行させることとしてもよい。この場合も、各実施形態で説明した撮像方法を実現することができる。
【０１３５】
＜変形例＞
上記実施形態では、２つの撮像部１２−１及び１２−２を有する場合について説明したが、本発明はこの場合に限定されない。本発明は、撮像部の数に依存せずに、複数の視点画像を含む立体画像を撮像する場合に適用可能である。言い換えると、１つの撮像部を用いて複数の視点画像を含む立体画像を撮像する場合に適用することも可能であり、また、３つ以上の撮像部を用いて複数の視点画像を含む立体画像を撮像する場合に適用することも可能である。
【符号の説明】
【０１３６】
１２（１２−１、１２−２）…撮像部、１４…ＣＰＵ、１６…操作部、１８…表示部、２０…記録部、２１…スピーカ、６１…表示制御部、６２…被写体像検出部、６３…距離情報取得部、６４…立体視適否判定部、６６…報知制御部
【図１】
2013047217.tif 000003
【図２】
2013047217.tif 000004
【図３】
2013047217.tif 000005
【図４】
2013047217.tif 000006
【図５】
2013047217.tif 000007
【図６】
2013047217.tif 000008
【図７】
2013047217.tif 000009
【図８Ａ】
2013047217.tif 000010
【図８Ｂ】
2013047217.tif 000011
【図９Ａ】
2013047217.tif 000012
【図９Ｂ】
2013047217.tif 000013
【図１０】
2013047217.tif 000014
【図１１】
2013047217.tif 000015
【図１２】
2013047217.tif 000016
【図１３Ａ】
2013047217.tif 000017
【図１３Ｂ】
2013047217.tif 000018
【図１４Ａ】
2013047217.tif 000019
【図１４Ｂ】
2013047217.tif 000020
【図１４Ｃ】
2013047217.tif 000021
【図１５Ａ】
2013047217.tif 000022
【図１５Ｂ】
2013047217.tif 000023
【図１５Ｃ】
2013047217.tif 000024
【図１６】
2013047217.tif 000025
【図１７】
2013047217.tif 000026
【図１８】
2013047217.tif 000027
【図１９】
2013047217.tif 000028
【手続補正書】
【提出日】平成26年3月18日(2014.3.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、
前記撮像部によって取得された前記立体画像を表示可能な表示部と、
前記表示部に所定のサイズの第１のガイド枠を表示させる表示制御部と、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出部と、
前記被写体像検出部によって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体までの距離に関する情報を取得する距離情報取得部と、
前記距離情報取得部によって取得された前記距離に関する情報に基づいて、前記第１のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定部と、
を備え、
前記表示制御部は、前記立体視適否判定部によって前記第１のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第１のガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせ、
前記表示制御部は、前記第１のガイド枠に加えて前記第１のガイド枠よりもサイズの大きい第２のガイド枠を前記表示部に表示させて、前記被写体像検出部によって前記第２のガイド枠内から前記立体視適否判定部によって立体視に適していると判断された前記被写体像とは異なる他の被写体像が検出された場合、前記第２のガイド枠を該他の被写体像に合わせる撮像装置。
【請求項２】
前記立体視適否判定部は、前記第２のガイド枠内の前記他の被写体像が立体視に適しているか否かの判定を行い、
前記表示制御部は、前記立体視適否判定部によって前記第２のガイド枠内の前記他の被写体像が立体視に適していると判定された場合、前記立体視に適している前記他の被写体像に前記第２のガイド枠を合わせる請求項１に記載の撮像装置。
【請求項３】
被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、
前記撮像部によって取得された前記立体画像を表示可能な表示部と、
前記表示部に所定のサイズの第１のガイド枠を表示させる表示制御部と、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出部と、
前記被写体像検出部によって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体までの距離に関する情報を取得する距離情報取得部と、
前記距離情報取得部によって取得された前記距離に関する情報に基づいて、前記第１のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定部と、
を備え、
前記表示制御部は、前記立体視適否判定部によって前記第１のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第１のガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせ、
前記表示制御部は、まず前記複数の視点画像のうちで一視点画像を前記表示部に平面表示させ、この平面表示した一視点画像に前記第１のガイド枠を重ねて前記表示部に平面表示させ、前記立体視適否判定部によって前記被写体像が立体視に適していると判定された場合、前記立体画像を立体視表示する撮像装置。
【請求項４】
ユーザから撮影指示の入力を受け付ける撮影指示入力部と、
前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に、前記撮影指示入力部に撮影指示が入力されたとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部と、
を備える請求項１から３のうちいずれか１項に記載の撮像装置。
【請求項５】
前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に前記立体画像が立体視に適していることを報知する立体視適正報知部と、
前記立体視適正報知部によって前記立体画像が立体視に適していることを報知してから一定の時間が経過したとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部を更に備える請求項１から３のうちいずれか１項に記載の撮像装置。
【請求項６】
前記立体視適否判定部は、前記第１のガイド枠内にある前記被写体像の数が閾値を超えているとき、前記立体画像が立体視に適さないと判定する請求項３に記載の撮像装置。
【請求項７】
前記立体視適否判定部は、前記第１のガイド枠内にある前記被写体像のサイズが第１の閾値以下であるとき、又は、前記第１のガイド枠内にある前記被写体像のサイズが前記第１の閾値よりも大きな第２の閾値を越えているとき、前記立体画像が立体視に適さないと判定する請求項３に記載の撮像装置。
【請求項８】
前記立体視適否判定部は、前記第１のガイド枠内に複数の前記被写体像がある場合、前記複数の被写体像のうちで被写体距離の最大値と最小値との差を被写体距離レンジとして算出し、前記被写体距離レンジが許容範囲内でない場合、立体視に適さないと判定する請求項１から５のうちいずれか１項に記載の撮像装置。
【請求項９】
前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記立体画像が立体視に適さないことを報知する立体視不適正報知部を更に備える請求項１から８のうちいずれか１項に記載の撮像装置。
【請求項１０】
前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部の表示を立体視表示から平面表示に切り替える請求項９に記載の撮像装置。
【請求項１１】
前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部に表示させた前記第１のガイド枠の色を切り替える制御又は前記第１のガイド枠を点滅させる制御を行う請求項９に記載の撮像装置。
【請求項１２】
前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、発光ダイオード、前記表示部及び音出力デバイスのうちいずれかを用いて報知する請求項９に記載の撮像装置。
【請求項１３】
前記表示制御部による前記第１のガイド枠の表示及び前記立体視適否判定部による立体視適否判定を行うか否か、前記被写体像検出部で検出する被写体像の種類、及び、前記表示部に表示させるガイド枠の種類のうち、少なくともひとつの設定の入力を受け付ける設定入力部を更に備えることを特徴とする請求項１から１２のうちいずれか１項に記載の撮像装置。
【請求項１４】
被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を表示可能な表示部とを用いる撮像方法であって、
前記表示部に所定のサイズの第１のガイド枠を表示させるガイド枠表示ステップと、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出ステップと、
前記被写体像検出ステップによって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体の距離までに関する情報を取得する距離情報取得ステップと、
前記距離情報取得ステップによって取得された前記距離に関する情報に基づいて、前記第１のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定ステップと、
前記立体視適否判定ステップによって前記第１のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第１のガイド枠の位置及びサイズの少なくともいずれかひとつを合わせるステップと、
前記第１のガイド枠に加えて前記第１のガイド枠よりもサイズの大きい第２のガイド枠を前記表示部に表示させて、前記第２のガイド枠内から立体視に適していると判断された前記被写体像とは異なる他の被写体像が検出された場合、前記第２のガイド枠を該他の被写体像に合わせるステップと、
を含む撮像方法。
【請求項１５】
被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を表示可能な表示部とを用いる撮像方法であって、
前記表示部に所定のサイズの第１のガイド枠を表示させるガイド枠表示ステップと、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出ステップと、
前記被写体像検出ステップによって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体の距離までに関する情報を取得する距離情報取得ステップと、
前記距離情報取得ステップによって取得された前記距離に関する情報に基づいて、前記第１のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定ステップと、
前記立体視適否判定ステップによって前記第１のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第１のガイド枠の位置及びサイズの少なくともいずれかひとつを合わせるステップと、
まず前記複数の視点画像のうちで一視点画像を前記表示部に平面表示させ、この平面表示した一視点画像に前記第１のガイド枠を重ねて前記表示部に平面表示させ、前記被写体像が立体視に適していると判定された場合、前記立体画像を立体視表示するステップと、
を含む撮像方法。
【請求項１６】
請求項１４または１５に記載の撮像方法をプロセッサに実行させるプログラム。
【国際調査報告】
2013047217.tif 000029
2013047217.tif 000030