(57)【要約】【課題】被写体が平面画像の撮像に適している場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行う。【解決手段】２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部１１１と、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部１１２と、少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで画像における被写体の特徴である凹凸情報を抽出する凹凸情報抽出部１１４と、凹凸情報が所定の条件を満たす場合に立体撮像部１１１が撮像した立体画像を記憶部１１７に記録し、所定の条件を満たさない場合に、平面撮像部１１２が撮像した平面画像を記憶部１１７に記録する画像記録部１１６とを備える。【選択図】図２
2012186600.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する光学系として２つ以上の対物系を備える撮像装置であって、
２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部と、
１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部と、
前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部と、
前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部と
を備えることを特徴とする撮像装置。
【請求項２】
前記被写体情報は、前記被写体の凹凸の度合いを示す数値であり、
前記画像記録部は、前記被写体情報が所定の被写体情報閾値以上であるという条件を満たす場合に前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさない場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体情報は、前記少なくとも１つの対物系から入射する物体光により形成される画像における前記被写体の明度を示す数値であり、
前記画像記録部は、前記被写体情報が所定の被写体情報閾値以上であるという条件を満たす場合に前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさない場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記被写体情報は、前記少なくとも１つの対物系から入射する物体光により形成される画像に前記被写体が収まっているか否かを示す情報であり、
前記画像記録部は、前記被写体情報が前記画像に前記被写体が収まっていることを示すという条件を満たす場合に前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさない場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記被写体情報は、前記被写体との距離を示す数値であり、
前記画像記録部は、前記被写体情報が所定の被写体情報閾値以上であるという条件を満たす場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記条件を満たさない場合に前記立体撮像部が撮像した立体画像を記憶部に前記記録する
ことを特徴とする撮像装置。
【請求項６】
前記被写体との距離を測定する測距部を備え、
前記画像記録部は、前記測距部が測定した距離が所定の距離閾値以上である場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記測距部が測定した距離が前記距離閾値未満である場合において、前記被写体情報が所定の条件を満たすときに前記立体撮像部が撮像した立体画像を記憶部に前記記録し、前記所定の条件を満たさないときに前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１から請求項４の何れか１項に記載の撮像装置。
【請求項７】
被写体情報抽出部は、前記被写体情報を複数種類抽出し、
前記画像記録部は、前記被写体情報の全てが所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記被写体情報の何れか１つでも所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１から請求項６の何れか１項に記載の撮像装置。
【請求項８】
前記画像記録部は、前記立体撮像部が撮像した立体画像を前記記憶部に記録する場合、前記平面撮像部が撮像した平面画像も前記記憶部に記録する
ことを特徴とする請求項１から請求項７の何れか１項に記載の撮像装置。
【請求項９】
前記画像記録部は、前記被写体情報が示す値と前記被写体情報閾値との差が所定の値未満である場合に前記立体撮像部が撮像した立体画像及び前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記被写体情報が示す値と前記被写体情報閾値との差が所定の値以上である場合において、前記条件を満たすときに前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさないときに前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項２、請求項３または請求項５に記載の撮像装置。
【請求項１０】
前記画像記録部は、動画像の撮像中に前記条件の判定を繰り返し行うことで、前記立体画像と前記平面画像との少なくとも何れか一方を含む動画像を前記記憶部に記録する
ことを特徴とする請求項１から請求項７の何れか１項に記載の撮像装置。
【請求項１１】
被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を用いた撮像方法であって、
被写体情報抽出部が前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出するステップと、
前記被写体情報が所定の条件を満たす場合に、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部が撮像した立体画像を画像記録部が記憶部に記録するステップと、
前記被写体情報が所定の条件を満たさない場合に、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部が撮像した平面画像を前記画像記録部が前記記憶部に記録するステップと
を有することを特徴とする撮像方法。
【請求項１２】
被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を、
２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部、
１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部、
前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部、
前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、立体画像の撮像を行うことができる撮像装置の開発が進んでいる。立体画像の撮像は、２つの対物系から入射するそれぞれの物体光により形成される視差を有する２つの平面画像を撮像することで行われる。なお、立体画像は、視差を有する２つの平面画像によって形成されるので、平面画像よりデータ量が多くなる。
また、近年は記憶装置の大容量化が進んでいるが、撮像装置に設けられるような小型の記憶装置の容量はＰＣ等に設けられる記憶装置と比較して容量が小さい。そのため、視差が小さいために立体感が少なくなる遠景の撮像時や、ポスターやメモなど平面的なものを撮像する場合には、立体画像ではなく平面画像を撮像することで画像のデータ量を減らしたいという要望もある。
【０００３】
このような要望を充足する方法としては、立体画像の撮像と平面画像の撮像を切り替えるボタンを撮像装置に設けることが考えられる。
なお、特許文献１、特許文献２には、立体画像の撮像と平面画像の撮像とを自動的に切り替える撮像装置の技術が開示されている。特許文献１には、平常時には２つの対物系を用いて立体画像の撮像を行い、２つの対物系のうち何れか一方が故障した場合に、故障していない方の対物系を用いて平面画像を撮像する技術が開示されている。また、特許文献２には、被写体が立体画像の撮像可能範囲から外れた場合に平面画像の撮像を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１８８３１０号公報
【特許文献２】特開２０１０−１６１４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像を撮像する度に、立体画像と平面画像とを切り替えることは利用者にとって面倒であるため、立体画像と平面画像との切り替えを自動的に行うことが好ましい。しかしながら、特許文献１に記載の方法では、２つの対物系がそれぞれ故障していない場合には、立体画像のみが撮像されることとなり、通常に使用している間は、データ量の削減効果は見込まれない。
【０００６】
また、特許文献２に記載の方法では、被写体となる主要動体と撮像装置との距離が近いために立体画像の生成に不向きである場合に、平面画像による撮像を行う。そのため、被写体が立体画像の撮像に向いているか否かに関わらず、通常は立体画像の撮像がなされることとなる。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置であって、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部と、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部と、前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部と、前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部とを備えることを特徴とする。
【０００８】
また、本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置であって、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部と、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部と、前記被写体との距離を測定する測距部と、前記測距部が測定した距離が所定の距離閾値以上である場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記測距部が測定した距離が前記距離閾値未満である場合に前記立体撮像部が撮像した立体画像を記憶部に前記記録する画像記録部とを備えることを特徴とする。
【０００９】
また、本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を用いた撮像方法であって、被写体情報抽出部が前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出するステップと、前記被写体情報が所定の条件を満たす場合に、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部が撮像した立体画像を画像記録部が記憶部に記録するステップと、前記被写体情報が所定の条件を満たさない場合に、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部が撮像した平面画像を前記画像記録部が前記記憶部に記録するステップとを有することを特徴とする。
【００１０】
また、本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部、前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部、前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、被写体の特徴が所定の条件を満たすか否かによって、立体画像の撮像と平面画像の撮像とを切り替える。これにより、被写体が平面画像の撮像に適している場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態による撮像装置の外観を示す概略図である。
【図２】第１の実施形態による撮像装置の機能構成を示す概略ブロック図である。
【図３】第１の実施形態による撮像装置の動作を示すフローチャートである。
【図４】第２の実施形態による撮像装置の機能構成を示す概略ブロック図である。
【図５】第２の実施形態による撮像装置の動作を示すフローチャートである。
【図６】第３の実施形態による撮像装置の機能構成を示す概略ブロック図である。
【図７】第３の実施形態による撮像装置の動作を示すフローチャートである。
【図８】第４の実施形態による撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
《第１の実施形態》
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本発明の第１の実施形態による撮像装置１００の外観を示す概略図である。
撮像装置１００は、立体撮像用対物系１０１と、平面撮像用対物系１０２と、シャッターボタン１０３と、ディスプレイ１０４と、操作ボタン１０５とを備える。
立体撮像用対物系１０１は、撮像装置１００を把持した際に被写体と対向する面（以下、対物面と記載する）に設けられた２つの対物系であり、当該２つの対物系は、撮像装置１００を把持した際に対物面の左側と右側とに位置するように配置されている。
平面撮像用対物系１０２は、撮像装置１００の筐体の対物面に設けられた１つの対物系である。
シャッターボタン１０３は、撮像装置１００を把持した際に筐体の上面となる面に設けられており、押下することで、撮像装置１００のコンピュータに画像の撮像を指示する。
ディスプレイ１０４は、撮像装置１００を把持した際に使用者と対向する面（以下、表示面と記載する）に設けられ、ライブビュー画像や撮像した画像のプレビューを表示する。なお、ディスプレイ１０４は、立体画像の表示を可能とする。なお、ライブビュー画像とは、撮像部からの出力をリアルタイムで処理し、ディスプレイ１０４に映し出すことでファインダーの代替とする画像のことである。
操作ボタン１０５は、撮像装置１００の筐体の表示面に設けられ、撮像装置１００の操作の入力を受け付ける。
【００１４】
次に、撮像装置１００に備えられるコンピュータの機能を説明する。
図２は、第１の実施形態による撮像装置１００の機能構成を示す概略ブロック図である。
撮像装置１００は、立体撮像部１１１、平面撮像部１１２、表示部１１３、凹凸情報抽出部１１４（被写体情報抽出部）、測距部１１５、画像記録部１１６、記憶部１１７を備える。
立体撮像部１１１は、立体撮像用対物系１０１から入射するそれぞれの物体光により形成される立体画像を撮像する。
平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により形成される平面画像を撮像する。
なお、立体撮像部１１１及び平面撮像部１１２は、オートフォーカス機能を備えており、立体撮像用対物系１０１または平面撮像用対物系１０２を制御する。
【００１５】
表示部１１３は、立体撮像部１１１によって撮像された画像を、ライブビュー画像として順次ディスプレイ１０４に表示させる。また、表示部１１３は、記憶部１１７が記憶する画像をディスプレイ１０４に表示させる。
凹凸情報抽出部１１４は、立体撮像部１１１から入力した立体画像を用いて被写体の凹凸の度合いを示す凹凸情報（被写体情報）を抽出する。被写体の凹凸の度合いの推定方法としては、例えば、画像の濃淡情報や陰影から推定する手法や、立体画像を構成する２つの平面画像の差分の大きさから推定する手法などが挙げられる。なお、凹凸情報としては、撮像装置１００と被写体との奥行き距離の最大値と最小値との差や、奥行き距離の平均値の差の絶対値の平均値や、奥行き距離の標準偏差などの値を用いると良い。
【００１６】
測距部１１５は、立体撮像部１１１のオートフォーカス機能を用いて撮像装置１００と被写体との距離を測定する。具体的には、立体撮像部１１１のオートフォーカス機能が、距離を測定した後に当該距離を用いて焦点を決定するものである場合、測距部１１５は、赤外線センサや超音波センサを用いて被写体との距離を測定し、当該距離の情報を立体撮像部１１１に出力する。他方、立体撮像部１１１のオートフォーカス機能が、実際に撮像した画像を用いて焦点を推定するものである場合（例えば、複数の焦点距離を用いて撮像し、画像のコントラストが最も高くなる画像を特定することで焦点を推定する方法など）、立体撮像部１１１による立体撮像用対物系１０１の制御情報を読み出し、当該制御情報から被写体との距離を推定する。
【００１７】
画像記録部１１６は、凹凸情報及び距離情報を用いて、記憶部１１７に記録する画像として立体撮像部１１１が撮像した立体画像を用いるか、平面撮像部１１２が撮像した平面画像を用いるかを決定し、決定した画像を記憶部１１７に記録する。
記憶部１１７は、画像情報を記憶する。
【００１８】
次に、撮像装置１００の動作について説明する。
図３は、本発明の第１の実施形態による撮像装置１００の動作を示すフローチャートである。
ユーザが撮像装置１００を操作することで、撮像装置１００が撮像動作を開始すると、表示部１１３は、立体撮像部１１１が撮像している画像をライブビュー画像としてディスプレイ１０４に表示させる。このとき、立体撮像部１１１は、オートフォーカスによりライブビュー画像の撮像における立体撮像用対物系１０１の制御を行う。
【００１９】
ここで、ユーザによって撮像装置１００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置１００と被写体との距離情報を推定する（ステップＳ１１）。また、凹凸情報抽出部１１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体の凹凸の度合いを推定し、被写体の凹凸の度合いを示す凹凸情報を生成する（ステップＳ１２）。
【００２０】
次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離（例えば、１０メートル）以上であるか否かを判定する（ステップＳ１３）。被写体との距離が所定の距離以上である場合（ステップＳ１３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ１４）。これにより、視差が出にくいために写真の立体感が得られない遠景の画像は、平面画像として記録される。
【００２１】
また、被写体との距離が所定の距離以上である場合（ステップＳ１３：ＮＯ）、画像記録部１１６は、凹凸情報抽出部１１４が抽出した凹凸情報が所定の閾値以上であるか否かを判定する（ステップＳ１５）。即ち、被写体の凹凸の度合いが所定の度合いより大きいか否かを判定する。凹凸情報が所定の閾値以上である場合（ステップＳ１５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を記憶部１１７に記録する（ステップＳ１６）。これにより、近距離で凹凸のはっきりしている被写体を撮像した画像は、立体画像として記録される。
他方、凹凸情報が所定の閾値未満である場合（ステップＳ１５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ１４）。これにより、ポスターや紙面など、平面に近い被写体を撮像した画像は、平面画像として記録される。
【００２２】
このように、本実施形態によれば、凹凸情報抽出部１１４が画像から抽出した凹凸情報を用いて、立体画像を記録するか平面画像を記録するかの判定を行う。これにより、被写体が平面に近いために平面画像の撮像に適している場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。
また、測距部１１５が測定した距離情報を併用することで、立体画像と平面画像との何れかを記録するかをさらに適切に判定することができる。
【００２３】
《第２の実施形態》
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
図４は、本発明の第２の実施形態による撮像装置２００の機能構成を示す概略ブロック図である。
撮像装置２００は、第１の実施形態による撮像装置１００が備える凹凸情報抽出部１１４の代わりに明度情報抽出部２１４を備えるものである。また、撮像装置２００は、第１の実施形態による撮像装置１００と画像記録部１１６の判定動作が異なる。
明度情報抽出部２１４は、立体撮像部１１１から入力した立体画像を用いて被写体の明度を示す明度情報を抽出する。被写体の明度の推定方法としては、例えば、画像の明度情報の平均値を用いる手法や、撮像装置２００に備えられた明度センサ（図示せず）からの信号に基づいて推定する方法などが挙げられる。
【００２４】
次に、撮像装置２００の動作について説明する。
図５は、本発明の第２の実施形態による撮像装置２００の動作を示すフローチャートである。
ユーザが撮像装置２００を操作することで、撮像装置２００が撮像動作を開始した後、ユーザによって撮像装置２００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置２００と被写体との距離情報を推定する（ステップＳ２１）。また、明度情報抽出部２１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体の明度を示す明度情報を抽出する（ステップＳ２２）。
【００２５】
次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離以上であるか否かを判定する（ステップＳ２３）。被写体との距離が所定の距離以上である場合（ステップＳ２３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ２４）。
【００２６】
また、被写体との距離が所定の距離以上である場合（ステップＳ２３：ＮＯ）、画像記録部１１６は、明度情報抽出部２１４が抽出した明度情報が所定の閾値以上であるか否かを判定する（ステップＳ２５）。明度情報が所定の閾値以上である場合（ステップＳ２５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を記憶部１１７に記録する（ステップＳ２６）。これにより、近距離で明度が高いために明瞭な画像は、立体画像として記録される。
他方、明度情報が所定の閾値未満である場合（ステップＳ２５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ２４）。これにより、明度が低いために明瞭さに欠ける画像は、平面画像として記録される。
【００２７】
このように、本実施形態によれば、明度情報抽出部２１４が画像から抽出した明度情報を用いて、立体画像を記録するか平面画像を記録するかの判定を行う。これにより、画像の明度が低い場合など、立体画像の撮像に適していない場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。
【００２８】
《第３の実施形態》
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
図６は、本発明の第３の実施形態による撮像装置３００の機能構成を示す概略ブロック図である。
撮像装置３００は、第１の実施形態による撮像装置１００が備える凹凸情報抽出部１１４の代わりにはみ出し検出部３１４を備えるものである。また、撮像装置３００は、第１の実施形態による撮像装置１００と画像記録部１１６の判定動作が異なる。
はみ出し検出部３１４は、立体撮像部１１１から入力した立体画像を用いて被写体の一部が撮像領域からはみ出しているか否かを示すはみ出しフラグを生成する。はみ出しているか否かの判定方法としては、例えば被写体の輪郭線を抽出し、当該輪郭線が撮像領域内に収まっているか否かを判定することで行う。はみ出しの有無の判定対象としては、例えば、顔検出によって検出した顔、画像中の肌色領域、立体撮像部１１１のオートフォーカス機能によりピントが合っている被写体などが挙げられる。
【００２９】
次に、撮像装置３００の動作について説明する。
図７は、本発明の第３の実施形態による撮像装置３００の動作を示すフローチャートである。
ユーザが撮像装置３００を操作することで、撮像装置３００が撮像動作を開始した後、ユーザによって撮像装置３００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置３００と被写体との距離情報を推定する（ステップＳ３１）。また、はみ出し検出部３１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体がはみ出しているか否かを示すはみ出しフラグを生成する（ステップＳ３２）。
【００３０】
次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離以上であるか否かを判定する（ステップＳ３３）。被写体との距離が所定の距離以上である場合（ステップＳ３３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ３４）。
【００３１】
また、被写体との距離が所定の距離以上である場合（ステップＳ３３：ＮＯ）、画像記録部１１６は、はみ出し検出部３１４が生成したはみ出しフラグが、被写体が撮像領域に収まっていることを示すか否かを判定する（ステップＳ３５）。生成したはみ出しフラグが、被写体が撮像領域に収まっていることを示す場合（ステップＳ３５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を記憶部１１７に記録する（ステップＳ３６）。
他方、生成したはみ出しフラグが、被写体が撮像領域からはみ出していることを示す場合（ステップＳ３５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ３４）。これにより、被写体が画像領域からはみ出しているために立体画像に適していない画像は、平面画像として記録される。
【００３２】
このように、本実施形態によれば、はみ出し検出部３１４が生成したはみ出しフラグを用いて、立体画像を記録するか平面画像を記録するかの判定を行う。これにより、被写体が撮像領域からはみ出している場合など、立体画像の撮像に適していない場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。
【００３３】
《第４の実施形態》
以下、図面を参照しながら本発明の第４の実施形態について詳しく説明する。
第４の実施形態では、第１の実施形態に示す撮像装置１００を用いて動画像の撮像を行う際の動作について説明する。
図８は、本発明の第４の実施形態による撮像装置１００の動作を示すフローチャートである。
ユーザが撮像装置１００を操作することで、撮像装置１００が動画像の撮像動作を開始し、ユーザによって撮像装置１００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置１００と被写体との距離情報を推定する（ステップＳ４１）。また、凹凸情報抽出部１１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体の凹凸の度合いを推定し、被写体の凹凸の度合いを示す凹凸情報を生成する（ステップＳ４２）。
【００３４】
次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離以上であるか否かを判定する（ステップＳ４３）。被写体との距離が所定の距離以上である場合（ステップＳ４３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を動画像の１フレームとして記憶部１１７に記録する（ステップＳ４４）。
【００３５】
また、被写体との距離が所定の距離以上である場合（ステップＳ４３：ＮＯ）、画像記録部１１６は、凹凸情報抽出部１１４が抽出した凹凸情報が所定の閾値以上であるか否かを判定する（ステップＳ４５）。即ち、被写体の凹凸の度合いが所定の度合いより大きいか否かを判定する。凹凸情報が所定の閾値以上である場合（ステップＳ４５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を動画像の１フレームとして記憶部１１７に記録する（ステップＳ４６）。
他方、凹凸情報が所定の閾値未満である場合（ステップＳ４５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を動画像の１フレームとして記憶部１１７に記録する（ステップＳ４４）。
【００３６】
ステップＳ４４またはステップＳ４６によって画像記録部１１６が動画像の１フレームを記録すると、シャッターボタン１０３が再度押下されて動画像の撮像が終了したか否かを判定する（ステップＳ４７）。動画像の撮像が終了していないと判定した場合（ステップＳ４７：ＮＯ）、ステップＳ４１に戻り、次のフレームの撮像を開始する。他方、動画像の撮像が終了したと判定した場合（ステップＳ４７：ＹＥＳ）、処理を終了する。
【００３７】
このように、本実施形態によれば、画像記録部１１６は、動画像の撮像中に、フレーム画像を立体画像と平面画像とで切り替える。これにより、動画像のデータサイズを削減することができる。
【００３８】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【００３９】
例えば、第１の実施形態から第４の実施形態では、画像を記録する際において立体撮像と平面撮像とを切り替える場合を説明したが、これに限られず、ディスプレイ１０４に表示されるライブビュー画像を立体撮像と平面撮像とで切り替えても良い。
【００４０】
また、第１の実施形態から第４の実施形態では、画像記録部１１６が立体画像か平面画像かのいずれか一方を記憶部１１７に記録する場合を説明したが、これに限られない。
例えば、画像記録部１１６が、平面画像を記録すると判定した場合に、立体撮像部１１１が撮像した立体画像と平面撮像部１１２が撮像した平面画像とを共に記憶部１１７に記録するようにしても良い。
また、例えば、画像記録部１１６が、凹凸情報や明度情報など数値で示される被写体情報を用いて立体画像と平面画像の何れを記録するかを判定する場合、所定の閾値と被写体情報との差が所定の値未満であるときに、画像記録部１１６は、立体撮像部１１１が撮像した立体画像と平面撮像部１１２が撮像した平面画像とを共に記憶部１１７に記録するようにしても良い。
【００４１】
また、第１の実施形態から第４の実施形態では、撮像装置１００、２００、３００が、立体撮像用対物系１０１と平面撮像用対物系１０２とをそれぞれ備える場合を説明したが、これに限られず、平面撮像用対物系１０２を備えずに、立体撮像用対物系１０１の一方の対物系を、平面撮像用対物系１０２として用いるようにしても良い。
【００４２】
また、第１の実施形態では、凹凸情報と距離情報との条件に基づいた判定方法を説明し、第２の実施形態では、明度情報と距離情報との条件に基づいた判定方法を説明し、第３の実施形態では、被写体が撮像領域からはみ出しているか否かと距離情報との条件に基づいた判定方法を説明したが、これに限られない。例えば、凹凸情報と明度情報の条件の組み合わせや、凹凸情報と被写体が撮像領域からはみ出しているか否かとの組み合わせなど、距離情報に限られず複数の条件の組み合わせによって判定を行っても良い。この場合、複数の条件を同時に満たす場合に立体画像、一つでも満たさなければ平面画像を撮像することとなる。
つまり、被写体情報抽出部が、被写体情報（凹凸情報、明度情報、はみ出しの有無）を複数種類抽出する場合、画像記録部１１６は、被写体情報の全てが所定の条件を満たす場合に立体撮像部１１１が撮像した立体画像を記憶部１１７に記録する。他方、画像記録部１１６は、被写体情報の何れか１つでも所定の条件を満たさない場合に、平面撮像部１１２が撮像した平面画像を記憶部１１７に記録する。
【００４３】
上述の撮像装置１００、２００、３００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４４】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４５】
１００、２００、３００…撮像装置  １０１…立体撮像用対物系  １０２…平面撮像用対物系  １０３…シャッターボタン  １０４…ディスプレイ  １０５…操作ボタン  １１１…立体撮像部  １１２…平面撮像部  １１３…表示部  １１４…凹凸情報抽出部（被写体情報抽出部）  １１５…測距部  １１６…画像記録部  １１７…記憶部  ２１４…明度情報抽出部（被写体情報抽出部）  ３１４…はみ出し検出部（被写体情報抽出部）
【図１】
2012186600.tif 000003
【図２】
2012186600.tif 000004
【図３】
2012186600.tif 000005
【図４】
2012186600.tif 000006
【図５】
2012186600.tif 000007
【図６】
2012186600.tif 000008
【図７】
2012186600.tif 000009
【図８】
2012186600.tif 000010