(57)【要約】【課題】使い勝手の優れた立体画像撮像装置を提供する。【解決手段】左眼用撮像部と、右眼用撮像部と、左眼用撮像部の撮像画像データと右眼用撮像部の撮像画像データとを関連付けて被写体の立体画像データにする立体画像撮影モードと左眼用撮像部及び右眼用撮像部のいずれか一方で撮影した撮像画像データを前記被写体の二次元画像データとする二次元画像撮影モードとを切り替える撮影モード切換手段とを備える立体画像撮像装置において、前記被写体を判断し該被写体の中に主要被写体が入っていると判断した場合には立体画像撮影モード（ステップＳ７）を選択し該被写体の中に主要被写体が入っていないと判断した場合には二次元画像撮影モード（ステップＳ３）を選択する。【選択図】図３
2011091750.tif 000002
【特許請求の範囲】
【請求項１】
左眼用撮像部と、右眼用撮像部と、前記左眼用撮像部の撮像画像データと前記右眼用撮像部の撮像画像データとを関連付けて被写体の立体画像データにする立体画像撮影モードと前記左眼用撮像部及び前記右眼用撮像部のいずれか一方で撮影した撮像画像データを前記被写体の二次元画像データとする二次元画像撮影モードとを切り替える撮影モード切換手段と、前記被写体を判断し該被写体の中に主要被写体が入っていると判断した場合には前記立体画像撮影モードを選択し該被写体の中に前記主要被写体が入っていないと判断した場合には前記二次元画像撮影モードを選択する制御手段とを備える立体画像撮像装置。
【請求項２】
請求項１に記載の立体画像撮像装置であって、前記制御手段は、前記主要被写体までの距離が立体画像を撮影できない距離であるときは前記二次元画像撮影モードを選択する立体画像撮像装置。
【請求項３】
請求項１又は請求項２に記載の立体画像撮像装置であって、前記制御手段は、前記被写体の中の前記主要被写体の位置、或いは大きさ、或いは数で前記立体画像撮影モードとするか前記二次元画像撮影モードとするかを選択する立体画像撮像装置。
【請求項４】
請求項３に記載の立体画像撮像装置であって、前記主要被写体が人物であり該主要被写体が前記被写体の中に入っている否かを顔画像の有無で判定する立体画像撮像装置。
【請求項５】
左眼用撮像部と、右眼用撮像部と、前記左眼用撮像部の撮像画像データと前記右眼用撮像部の撮像画像データとを関連付けて被写体の立体画像データにする立体画像撮影モードと前記左眼用撮像部及び前記右眼用撮像部のいずれか一方で撮影した撮像画像データを前記被写体の二次元画像データとする二次元画像撮影モードとを切り替える撮影モード切換手段とを備える立体画像撮像装置の制御方法であって、前記被写体を判断し該被写体の中に主要被写体が入っていると判断した場合には前記立体画像撮影モードを選択し該被写体の中に前記主要被写体が入っていないと判断した場合には前記二次元画像撮影モードを選択する立体画像撮像装置の制御方法。
【請求項６】
請求項５に記載の立体画像撮像装置の制御方法であって、前記主要被写体までの距離が立体画像を撮影できない距離であるときは前記二次元画像撮影モードを選択する立体画像撮像装置の制御方法。
【請求項７】
請求項５又は請求項６に記載の立体画像撮像装置の制御方法であって、前記被写体の中の前記主要被写体の位置、或いは大きさ、或いは数で前記立体画像撮影モードとするか前記二次元画像撮影モードとするかを選択する立体画像撮像装置の制御方法。
【請求項８】
請求項７に記載の立体画像撮像装置の制御方法であって、前記主要被写体が人物であり該主要被写体が前記被写体の中に入っている否かを顔画像の有無で判定する立体画像撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像（三次元画像）を撮影できる撮像装置及びその制御方法に係り、特に、ユーザにとって使い勝手の良い立体画像撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来から、例えば下記の特許文献１，２に記載されている様に、立体画像を撮影できる撮像装置がある。立体画像撮像装置は、通常、左右２眼のカメラを備え、同一被写体を左右２眼のカメラで同時に撮影し、右眼カメラで撮影した画像データと、左眼カメラで撮影した画像データとを対応付けて記憶メディアに格納する様になっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９―４７４９７号公報
【特許文献２】特開２００９―４７４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の立体画像撮像装置は、被写体の立体画像を撮影するために開発されたものであるため、どの様な被写体であっても、立体画像として左右２眼のカメラで撮影を行ってしまう構成になっている。
【０００５】
このため、例えば、遠景の風景写真であっても、左右２眼カメラで撮影を行うが、実際には、左右２眼カメラで撮影した２枚の画像データを合成しても、両画像データ間で視差がないため立体画像にはならない。
【０００６】
この様な画像は、最初から二次元画像として撮影する方が、綺麗な画像を撮れるのであるが、従来の立体画像撮像装置は、この様な場合を想定していない。
【０００７】
本発明の目的は、カメラユーザが特に意識しなくても、被写体に応じて立体画像の撮影と二次元画像の撮影を自動的に切り替えて撮影を行い、ユーザにとって使い勝手の優れた立体画像撮像装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の立体画像撮像装置は、左眼用撮像部と、右眼用撮像部と、前記左眼用撮像部の撮像画像データと前記右眼用撮像部の撮像画像データとを関連付けて被写体の立体画像データにする立体画像撮影モードと前記左眼用撮像部及び前記右眼用撮像部のいずれか一方で撮影した撮像画像データを前記被写体の二次元画像データとする二次元画像撮影モードとを切り替える撮影モード切換手段と、前記被写体を判断し該被写体の中に主要被写体が入っていると判断した場合には前記立体画像撮影モードを選択し該被写体の中に前記主要被写体が入っていないと判断した場合には前記二次元画像撮影モードを選択する制御手段とを備えることを特徴とする。
【０００９】
本発明の立体画像撮像装置の制御方法は、左眼用撮像部と、右眼用撮像部と、前記左眼用撮像部の撮像画像データと前記右眼用撮像部の撮像画像データとを関連付けて被写体の立体画像データにする立体画像撮影モードと前記左眼用撮像部及び前記右眼用撮像部のいずれか一方で撮影した撮像画像データを前記被写体の二次元画像データとする二次元画像撮影モードとを切り替える撮影モード切換手段とを備える立体画像撮像装置の制御方法であって、前記被写体を判断し該被写体の中に主要被写体が入っていると判断した場合には前記立体画像撮影モードを選択し該被写体の中に前記主要被写体が入っていないと判断した場合には前記二次元画像撮影モードを選択することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザが面倒な操作をしなくても自動的に主要被写体の状態に応じて３Ｄ（三次元画像：立体画像）撮影モードと２Ｄ（二次元画像）撮影モードとを切り換えるため、使い勝手が向上する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る立体画像撮像装置の外観斜視図である。
【図２】図１に示す立体画像撮像装置の内部機能ブロック図である。
【図３】本発明の一実施形態に係る３Ｄ撮影モード／２Ｄ撮影モードの自動切換処理手順を示すフローチャートである。
【図４】画面中の位置で主要被写体であるか否かを判定する説明図である。
【図５】本発明の別実施形態に係る３Ｄ撮影モード／２Ｄ撮影モードの自動切換処理手順を示すフローチャートである。
【図６】画面中の大きさで主要被写体であるか否かを判定する説明図である。
【図７】本発明の更に別実施形態に係る３Ｄ撮影モード／２Ｄ撮影モードの自動切換処理手順を示すフローチャートである。
【図８】画面中の数で主要被写体であるか否かを判定する説明図である。
【図９】本発明の更に別実施形態に係る３Ｄ撮影モード／２Ｄ撮影モードの自動切換処理手順を示すフローチャートである。
【図１０】本発明の更に別実施形態に係る３Ｄ撮影モード／２Ｄ撮影モードの自動切換処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１３】
図１は、立体画像撮像装置の外観斜視図である。この立体画像撮像装置１０は、箱状のハウジング１１と、ハウジング１１の前部に並んで設けられた右眼用撮像部１２Ｒ及び左眼用撮像部１２Ｌと、ハウジング１１前面の左右撮像部１２Ｒ，１２Ｌ中央上部付近に設けられたフラッシュライト１３と、ハウジング１１の上面の適宜箇所に設けられた電源スイッチ１４，シャッタボタン１５，モード選択ダイヤル１６とを備える。
【００１４】
ハウジング１１の背面側には、図２に示す液晶表示画面（モニタ）３５を備え、スルー画像やモード選択画面，メニュー画面等が表示される。
【００１５】
右眼用撮像部１２Ｒは前部に撮影レンズ２１Ｒを備え、左眼用撮像部１２Ｌは前部に撮影レンズ２１Ｌを備える。撮影レンズ２１Ｒの光軸２２Ｒと、撮影レンズ２１Ｌの光軸２２Ｌとが交差する角度を輻輳角といい、輻輳角が目標値となるように各撮像部１２Ｒ，１２Ｌの向く方向を制御するアクチュエータ（駆動機構）が立体画像撮像装置１０に内蔵されている。
【００１６】
図２は、立体画像撮像装置１０の内部の機能ブロック構成図である。この立体画像撮像装置１０は、右眼用撮像部（右眼カメラ）１２Ｒ及び左眼用撮像部（左眼カメラ）１２Ｌを制御する撮像制御部３１と、右眼カメラ１２Ｒ及び左眼カメラ１２Ｌの撮像データを取り込んで画像処理を行う画像処理部３２と、画像処理された撮像データをＪＰＥＧ画像等に圧縮したり逆に伸張したりする圧縮／伸張処理部３３と、撮像データを一時的に保持するフレームメモリ（画像メモリ）３４と、撮像データやスルー画像データをモニタ３５に表示する表示制御部３６と、立体画像撮像装置１０の全体を統括制御する中央演算処理装置（ＣＰＵ）３７と、内部メモリ３８とを備え、これらは、バス４０を介して相互に接続される。ＣＰＵ３７には、図１に示した電源スイッチ１４，シャッタボタン１５，モード選択ダイヤル１６等の入力部３９が接続される。
【００１７】
立体画像撮像装置１０は、更に、左眼カメラ１２Ｌ，右眼カメラ１２Ｒを駆動して輻輳角制御を行う駆動機構（アクチュエータ）４１と、左眼カメラ１２Ｌ，右眼カメラ１２Ｒの撮像画像データのステレオマッチング処理を行って被写体までの距離を算出するステレオマッチング部４２と、被写体中に「顔」が写っているか否かを検出する顔検出部４３と、画像処理部３２で画像処理された撮像画像データを記録メディア４４に格納するメディア制御部４５と、３Ｄ（三次元画像）撮影モードと２Ｄ（二次元画像）撮影モードの自動切り替えを行う切替制御部４６とを備え、これらはバス４０に接続される。
【００１８】
顔検出部４３は、被写体中に顔画像が存在するか否かを判定し、検出結果をＣＰＵ３７に通知し、ＣＰＵ３７は、顔の検出結果から被写体画像を撮影するとき３Ｄ撮影モードで撮影した方がいいか２Ｄ撮影モードで撮影した方がいいかを判断し、切替制御部４６に対して撮影モードの指示を出力する。また、ＣＰＵ３７は、ステレオマッチング部４２の測定結果（被写体までの距離）に基づいて３Ｄ撮影モードとするか２Ｄ撮影モードとするかの判断を行い、切替制御部４６に対して撮影モードの指示を出力する。
【００１９】
ここで、３Ｄ撮影モードとは、左右２眼カメラ１２Ｒ，１２Ｌの両方を用いて被写体の画像を撮影し、左右２眼カメラ１２Ｒ，１２Ｌの夫々の視差の有る撮像画像データを画像処理し、両撮像画像データを関連付けて、例えばカメラ映像機器工業会（ＣＩＰＡ）の規格であるＭＰＯ形式で記録メディア４４に格納するモードをいう。
【００２０】
また、２Ｄ撮影モードとは、左右２眼カメラ１２Ｒ，１２Ｌの一方のカメラ、例えば左眼カメラ１２Ｌだけを用いて被写体画像を撮影し、画像処理した撮像画像データを記録メディア４４に格納するモードをいう。
【００２１】
本実施形態の立体画像撮像装置１０は、ステレオマッチング部４２の処理結果や顔検出部４３の検出結果を判断したＣＰＵ３７が、被写体中の主要被写体の状態に応じて、３Ｄ撮影モードとするか２Ｄ撮影モードとするかを３Ｄ／２Ｄ撮影モード自動切換部４６に指示することで行う。
【００２２】
被写体までの距離は、ステレオマッチング部４２がステレオマッチング処理で求めることができ、この距離が、輻輳角制御によって立体画像を撮影できない距離である場合には２Ｄ撮影モードで撮影を行う。そして、輻輳角制御によって立体画像を撮影できる距離である場合には、以下の処理手順により、立体画像撮像装置１０が自動的に３Ｄ撮影モードと２Ｄ撮影モードとを自動切換する。
【００２３】
図３は、図１，図２で説明した立体画像撮像装置１０における３Ｄモード／２Ｄモード自動切替制御手順を示すフローチャートである。このフローチャートでは、上述したステレオマッチング部４２が求めた主要被写体までの距離により３Ｄ撮影モード／２Ｄ撮影モードを切り換える部分については省略している。
【００２４】
本実施形態の立体画像撮像装置１０は、カメラユーザの過去の撮影記録を統計し、このカメラユーザの撮影したい被写体が何であるかを判断する。過去の撮影記録から、人物撮影が多い場合には、人物が主要被写体である判断する。そして、主要被写体が「人物」のとき３Ｄ撮影モードで撮影を行い、主要被写体が人物以外のときは３Ｄ撮影モードでは無く２Ｄ撮影モードで撮影を行う。
【００２５】
そこで先ず、立体画像撮像装置１０が起動しシャッタボタンが押下されると、ＡＦ（自動焦点）制御を行い（ステップＳ１）、次に、撮影画面中に人間の「顔」が存在するか否かを判定する（ステップＳ２）。
【００２６】
そして、顔が存在しない場合（判定結果が否定（Ｎｏ））にはステップＳ３に進んで撮影モードを２Ｄ撮影モードに自動設定し、２Ｄ撮影による撮像処理を行い（ステップＳ４）、撮影画像の生成処理を行う（ステップＳ５）。
【００２７】
ステップＳ２の判定の結果、顔が存在した場合（判定結果が肯定（Ｙｅｓ））にはステップＳ２からステップＳ６に進み、今度は顔の位置が撮影画面の中央部所定範囲内たとえば１／３の範囲内にあるか否かを判定する。
【００２８】
このステップＳ６の判定の結果、図４（ａ）に示す様に、顔５０の位置が撮影画面５１の中央部１／３の範囲内に存在する場合には、ステップＳ６からステップＳ７に進み、撮影モードを３Ｄ撮影モードに自動設定し、ステップＳ８で３Ｄ撮影による撮像処理を行い、ステップＳ９で撮像画像の生成処理を行う。
【００２９】
ステップＳ６の判定の結果、図４（ｂ）に示す様に、顔５０の位置が撮影画面５１の中央１／３の範囲内に存在しない場合には、ステップＳ６からステップ３に進み、撮影モードを２Ｄ撮影モードに自動設定する。
【００３０】
ステップＳ５又はステップＳ９で画像生成処理が行われた後は、次にステップＳ１０に進み、撮影され生成された画像データに対して各種の信号処理（周知のオフセット処理，ガンマ処理，ＲＧＢ／ＹＣ変換処理等の画像処理）を施して（ステップＳ１１）、処理後の画像データを記録メディア４４に保存し、今回の撮影を終了する。
【００３１】
図５は、図３に代わる別実施形態に係る３Ｄモード／２Ｄモード自動切替制御手順を示すフローチャートである。図３の実施形態では、人物が主要被写体になっているか否かを、顔が画面中央１／３の範囲に入っているか否かで判定したが、本実施形態では、図６に示す様に、画面５１内に入っている顔の大きさが所定閾値以上であるか否かで判定する。
【００３２】
このため、図５に示す実施形態では、図３のステップＳ６（顔が中央部にあるか否かの判定処理）の代わりに、顔５０が画面５１のどの位置にあってもその顔５０の大きさが閾値（例えば画面５１の縦寸法に対して２／３）以上である否かをステップＳ６ａで判定し、大きな顔が写っている場合には３Ｄ撮影モードで撮影を行い、小さな顔しか写っていない場合には２Ｄ撮影モードで撮影を行うこととしている。ステップＳ６ａ以外の他のステップＳ１〜ステップＳ１１は図３と同じである。
【００３３】
図７は、図５に代わる更に別実施形態に係る３Ｄモード／２Ｄモード自動切替制御手順を示すフローチャートである。図３の実施形態では、人物が主要被写体になっているか否かを、顔が画面中央１／３の範囲に入っているか否かで判定し、図５の実施形態では、画面５１内に入っている顔の大きさで判定している。これに対し、図７に示す実施形態では、図８に示す様に、画面５１中に複数人の顔が映っているか否かで、それが画面中央部でなくても、人物が主要被写体になっていると判定することとしている。
【００３４】
このため、図７の処理手順では、図３のステップＳ６、図５のステップＳ６ａの代わりに、ステップＳ６ｂを行い、顔の数が複数であるか否かを判定し、複数の場合には集合写真を撮ると判断して３Ｄ撮影モードで撮影を行い、複数でない場合には、２Ｄ撮影モードで撮影を行う様にしている。ステップＳ６ｂ以外の他のステップＳ１〜Ｓ１１は、図３と同じである。
【００３５】
図３，図５，図７の実施形態では、「顔が中央に写っているか否か」「顔が大きく写っているか否か」「複数の顔が写っているか否か」で３Ｄ／２Ｄ撮影モードの自動切替を行ったが、これらを組み合わせることで、３Ｄ／２Ｄ撮影モードの自動切替を行うことでも良い。
【００３６】
図９は、更に別実施形態に係る３Ｄモード／２Ｄモード自動切替制御手順を示すフローチャートである。本実施形態では、「顔が中央に写っているか否か」「顔が大きく写っているか否か」の２つの判定ステップＳ６，Ｓ６ａのいずれか一方が肯定の場合に、主要被写体が人物であると判定している。
【００３７】
即ち、ステップＳ２で顔が検出されたと判定された後、ステップＳ６で顔の位置が中央部であるか否かを判定し、肯定（Ｙｅｓ）の場合にはステップＳ７に進んで３Ｄ撮影モードにする。
【００３８】
このステップＳ６の判定の結果、顔の位置が中央部で無い場合（判定結果が否定（Ｎｏ））にはステップＳ６ａに進み、今度は顔の大きさが閾値以上であるか否かを判定する。そして、その判定結果が肯定（Ｙｅｓ）の場合にもステップＳ７に進んで３Ｄ撮影モードにし、否定（Ｎｏ）の場合にステップＳ３に進み、２Ｄ撮影モードとする。
【００３９】
図１０は、更に別実施形態に係る３Ｄモード／２Ｄモード自動切替制御手順を示すフローチャートである。本実施形態では、「顔が中央に写っているか否か」「顔が大きく写っているか否か」「複数の顔が写っているか否か」の３つの判定ステップＳ６，Ｓ６ａ，Ｓ６ｂのいずれか１つでも主要被写体が人物であると判定したとき、ステップＳ７に進んで３Ｄ撮影モードとする。
【００４０】
即ち、ステップＳ６の判定の結果、顔の位置が中央部にある場合にはステップＳ７に進んで３Ｄ撮影モードとし、顔の位置が中央部に無い場合にはステップＳ６ａに進んで顔の大きさが閾値以上であるか否かを判定する。
【００４１】
そして、閾値以上の大きな顔が映っている場合にはステップＳ７に進んで３Ｄ撮影モードとし、小さな顔しか映っていない場合にはステップＳ６ｂで複数の顔が映っているか否かを判定する。複数の顔が映っている場合には複数人の集合写真であると判定してステップＳ７に進み、３Ｄ撮影モードとする。複数の顔が映っていない場合、即ち、画面の端の部分に小さな顔が１つだけ映っていた場合には、その人物は主要被写体ではなく無関係な人が映り込んでしまったと判断してステップＳ３に進み、２Ｄ撮影モードとする。
【００４２】
以上述べた様に、上述した実施形態では、人物撮影を行うことが多いカメラユーザが、立体画像を撮影するか、２次元画像の撮影を行うかを一々判断してカメラ操作を行わなくても、撮像装置側が自動的判断して３Ｄ撮影モードと２Ｄ撮影モードとを自動的に切り替えるため、失敗写真が少なくなり、使い勝手が向上する。
【００４３】
なお、上述した実施形態では、主要被写体を人物とする例について述べたが、主要被写体が人物でない場合にも上述した実施形態を適用できることはいうまでもない。
【００４４】
以上述べた様に、本実施形態による立体画像撮像装置及びその制御方法は、左眼用撮像部と、右眼用撮像部と、前記左眼用撮像部の撮像画像データと前記右眼用撮像部の撮像画像データとを関連付けて被写体の立体画像データにする立体画像撮影モードと前記左眼用撮像部及び前記右眼用撮像部のいずれか一方で撮影した撮像画像データを前記被写体の二次元画像データとする二次元画像撮影モードとを切り替える撮影モード切換手段とを備える立体画像撮像装置において、前記被写体を判断し該被写体の中に主要被写体が入っていると判断した場合には前記立体画像撮影モードを選択し該被写体の中に前記主要被写体が入っていないと判断した場合には前記二次元画像撮影モードを選択することを特徴とする。
【００４５】
また、実施形態の立体画像撮像装置及びその制御方法は、前記主要被写体までの距離が立体画像を撮影できない距離であるときは前記二次元画像撮影モードを選択することを特徴とする。
【００４６】
また、実施形態の立体画像撮像装置及びその制御方法は、前記被写体の中の前記主要被写体の位置、或いは大きさ、或いは数で前記立体画像撮影モードとするか前記二次元画像撮影モードとするかを選択することを特徴とする。
【００４７】
また、実施形態の立体画像撮像装置及びその制御方法は、前記主要被写体が人物であり該主要被写体が前記被写体の中に入っている否かを顔画像の有無で判定することを特徴とする。
【００４８】
これにより、本実施形態の立体画像撮像装置は、撮像装置側が自動的に３Ｄ撮影モードと２Ｄ撮影モードとを主要被写体の状態に応じて切り替えるため、カメラユーザは面倒な操作を行うことなく適切な撮影を行うことが可能となる。
【産業上の利用可能性】
【００４９】
本発明に係る立体画像撮像装置は、ユーザが面倒な操作をしなくても自動的に主要被写体の状態に応じて３Ｄ撮影モードと２Ｄ撮影モードとを切り換えるため、失敗写真を無くすことができ、デジタルスチルカメラやデジタルビデオカメラ、カメラ付携帯電話機、ＰＤＡやノートパソコン等のカメラ付電子装置、内視鏡等の撮像装置一般に適用すると有用である。
【符号の説明】
【００５０】
１０  立体画像撮像装置
１２Ｒ  右眼用撮像部
１２Ｌ  左眼用撮像部
３１  撮像制御部
３２  画像処理部（ＤＳＰ）
３７  中央演算処理部（ＣＰＵ）
４２  ステレオマッチング部
４３  顔検出部
４４  記録メディア
４６  ３Ｄ／２Ｄ撮影モード自動切換部
５０  顔
５１  撮影画面
【図１】
2011091750.tif 000003
【図２】
2011091750.tif 000004
【図３】
2011091750.tif 000005
【図４】
2011091750.tif 000006
【図５】
2011091750.tif 000007
【図６】
2011091750.tif 000008
【図７】
2011091750.tif 000009
【図８】
2011091750.tif 000010
【図９】
2011091750.tif 000011
【図１０】
2011091750.tif 000012