(57)【要約】【課題】適切な左右の視差量を保ちながら、被写体の大きさを適切に設定可能な立体撮像装置を提供すること。【解決手段】被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する複数の撮像部と、前記複数の撮像部から前記被写体までの距離である被写体距離を測定する測定部と、前記複数の画像が立体視可能な視差となる有効範囲を算出する算出部と、前記被写体距離及び前記複数の撮像部の焦点距離が前記有効範囲内となるように前記焦点距離を制御する制御部と、前記制御部の前記焦点距離の制御に応じて前記複数の画像のそれぞれの画像領域を拡大する画像拡縮部と、を有することを特徴とする。【選択図】図５
2014154907.tif 000002
【特許請求の範囲】
【請求項１】
被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する複数の撮像部と、
前記複数の撮像部から前記被写体までの距離である被写体距離を測定する測定部と、
前記複数の画像が立体視可能な視差となる有効範囲を算出する算出部と、
前記被写体距離及び前記複数の撮像部の焦点距離が前記有効範囲内となるように前記焦点距離を制御する制御部と、
前記制御部の前記焦点距離の制御に応じて前記複数の画像のそれぞれの画像領域を拡大する画像拡縮部と、を有することを特徴とする立体撮像装置。
【請求項２】
前記有効範囲を用いて光学ズーム可変範囲の制限値を設定する光学ズーム可変範囲制限部と、を更に有し、
前記有効範囲は、前記算出部により前記被写体距離に応じて算出された光学ズーム有効範囲であり、
前記焦点距離が前記制限値より大きい場合、前記制御部は前記焦点距離を前記制限値に変更することを特徴とする請求項１に記載の立体撮像装置。
【請求項３】
前記制御部が制御する前の前記焦点距離は、前記光学ズーム有効範囲外であり、かつ前記制限値よりテレ側であり、
前記画像拡縮部は、前記画像領域に対してデジタルズームを行うことを特徴とする請求項２に記載の立体撮像装置。
【請求項４】
前記有効範囲と前記被写体距離とを比較する距離判定部と、を更に有し、
前記有効範囲は、前記算出部により前記焦点距離に応じて算出された被写体距離有効範囲であり、
前記被写体距離が前記被写体距離有効範囲外である場合、
前記制御部は、前記被写体距離が前記被写体距離有効範囲内となるように前記焦点距離を制御し、
前記画像拡縮部は、前記画像領域に対してデジタルズームを行うことを特徴とする請求項１に記載の立体撮像装置。
【請求項５】
前記被写体が前記複数の撮像部に近づくことで前記被写体距離が前記被写体距離有効範囲外になった場合、前記制御部は前記焦点距離をワイド側に制御することを特徴とする請求項４に記載の立体撮像装置。
【請求項６】
前記画像拡縮部は、前記焦点距離の制御による画角の変化が打ち消されるようにデジタルズームを行う請求項３から５のいずれか１項に記載の立体撮像装置。
【請求項７】
前記画像拡縮部は、前記制御部による前記焦点距離の制御後の視差が前記焦点距離の制御前の視差に近づくようにデジタルズームを行うことを特徴とする請求項６に記載の立体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を撮影可能な立体撮像装置に関する。
【背景技術】
【０００２】
近年、被写体を立体的に撮影可能なデジタルカメラやビデオカメラが製品化されている。これは、２眼レンズを用いて撮影し、左右の視差を利用して、立体画像を再生している。輻輳角や角度調整機能を持たない画像撮影装置については、被写体までの距離と焦点距離との関係によって、立体画像を撮影可能なエリアが決まってくる。
【０００３】
図１１は、被写体距離が近距離の場合の焦点距離の違いにおける視差の説明図である。図１１（ａ）は焦点距離がワイド側の場合、図１１（ｂ）は焦点距離がテレ側の場合を示している。
【０００４】
レンズ１１０２Ｌ、１１０２Ｒは、それぞれカメラの左眼用及び右眼用の画像を撮影するレンズである。図１１（ａ）と図１１（ｂ）のいずれの場合も被写体距離１１０４は等しくなっている。図１１（ａ）に示すように、焦点距離がワイド側のときは、被写体位置１１０１において、撮影画像１１０３Ｒ、１１０３Ｌで適度な視差量を得ることができるため、立体感ある撮影が可能である。図１１（ｂ）に示すように、焦点距離がテレ側のときは、被写体位置１１０１において、撮影画像１１０３Ｒと１１０３Ｌで重なり部分がほとんどなく、左右の視差量が大きくなりすぎて、立体感が損なわれる。
【０００５】
すなわち、ユーザがズーム操作を行って、テレ側に操作すると、左右の視差量が大きくなり過ぎて、立体視できなくなる。
【０００６】
図１２は、被写体距離の違いにおける視差の説明図である。図１２（ａ）は被写体距離が近距離の場合、図１２（ｂ）は被写体距離が中距離の場合を示している。
【０００７】
レンズ１２０２Ｌ、１２０２Ｒは、それぞれカメラの左眼用及び右眼用の画像を撮影するレンズである。図１２（ａ）に示すように、被写体距離１２０４が近距離のときは、被写体位置１２０１において、撮影画像１２０３Ｒと１２０３Ｌで重なり部分がほとんどなく、左右の視差量が大きくなりすぎて、立体感が損なわれる。図１２（ｂ）に示すように、被写体距離１２０４が中距離のときは、被写体位置１２０１において、撮影画像１２０３Ｒ、１２０３Ｌで適度な視差量を得ることができるため、立体感ある撮影が可能である。
【０００８】
すなわち、被写体距離が近過ぎると、左右の視差量が大きくなり過ぎて、立体視できなくなる。
【０００９】
特許文献１では、カメラから被写体までの距離を測定し、被写体が至近距離にいる場合には、ズーム倍率を調整するシステムが開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−２０５７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１では、カメラと被写体との距離が近づくと、焦点距離をワイド側に変えるため、画角が変わり、被写体が小さくなるため見づらくなる。
【００１２】
このような課題を鑑みて本発明は、適切な左右の視差量を保ちながら、被写体の大きさを適切に設定可能な立体撮像装置を提供する。
【課題を解決するための手段】
【００１３】
本発明の一側面としての立体撮像装置は、被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する複数の撮像部と、前記複数の撮像部から前記被写体までの距離である被写体距離を測定する測定部と、前記複数の画像が立体視可能な視差となる有効範囲を算出する算出部と、前記被写体距離及び前記複数の撮像部の焦点距離が前記有効範囲内となるように前記焦点距離を制御する制御部と、前記制御部の前記焦点距離の制御に応じて前記複数の画像のそれぞれの画像領域を拡大する画像拡縮部と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、適切な左右の視差量を保ちながら、被写体の大きさを適切に設定可能な立体撮像装置を提供する。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る立体撮像装置の構成を示すブロック図である。
【図２】焦点距離を変更する構成を示すブロック図である。
【図３】焦点距離変更時の動作を説明するフローチャートである。
【図４】切り出し領域算出部の動作を示す図である。
【図５】焦点距離と視差との関係を示す図である。
【図６】画角を一定に保持する構成を示す処理フローである。
【図７】被写体接近時の動作を説明するフローチャートである。
【図８】焦点距離と被写体距離との関係を示す図である。
【図９】切り出し領域算出部の動作を示す図である。
【図１０】被写体距離と視差との関係を示す図である。
【図１１】被写体距離が近距離の場合の焦点距離の違いにおける視差の説明図である。
【図１２】被写体距離の違いにおける視差の説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１７】
図１は、本発明の実施形態に係る立体撮像装置のブロック図である。
【００１８】
カメラユニット１００は、右眼と左眼の２つの視点から撮影することで立体映像を作成するために、レンズユニット、撮像素子、Ａ／Ｄ処理部から成る撮像部を２つ有している。また、カメラユニット１００は、図１には図示していないが、変倍レンズ群、絞りなどのアクチュエータ、手ぶれ補正のためのセンサ（例えば角速度センサ）、同補正手段（シフトレンズなど）なども備えている。
【００１９】
レンズユニット１０１Ｒ、１０１Ｌは、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行なう機能とを兼ね備えた補正レンズ群により構成されている。レンズユニット１０１Ｒ、１０１Ｌは、それぞれ撮像素子１０２Ｌ、１０２Ｒの結像面上に被写体の光学像を結像する。撮像素子１０２Ｒ、１０２Ｌは、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子であり、結像面上に形成された被写体像を光電変換して撮像信号を出力する。Ａ／Ｄ処理部１０３Ｒ、１０３Ｌは、撮像素子１０２Ｒ、１０２Ｌから出力された撮像信号に所定の処理を施し、デジタル画像データを出力する。
【００２０】
マイクユニット１０４は、撮影時に音声を集めるために備わっており、所定の増幅、帯域制限等が含まれる。Ａ／Ｄ処理部１０５は、マイクユニット１０４の出力を受けてデジタル音声データを出力する。
【００２１】
エンコーダ部１０６は、ＣＰＵ１２０の制御に従い、Ａ／Ｄ処理部１０３Ｒ、１０３Ｌからデジタル画像データ、Ａ／Ｄ処理部１０５からデジタル音声データを受信し、動画圧縮する。デジタル画像データは、２つの撮像部から入力される右眼用、左眼用の視差を持った撮像データである。動画圧縮されたものを、さらに時系列順に多重化して圧縮ビデオデータを生成する。また、エンコーダ部１０６は、例えばデータ位置とフレーム位置の変換に必要となる情報などをＣＰＵ１２０に通知する機能を備えている。
【００２２】
記録再生回路１０７は、エンコーダ部１０６、メモリ１０８、メモリカード１０９、デコーダ部１１０、及びバス１１１とのインターフェースを有する。記録再生回路１０７は、バス１１１に接続されたＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２０の制御によってデータの受け渡しを制御する。記録再生回路１０７には、メモリ１０８の先頭アドレスとデータ量、及びメモリカード１０９の書き込み先頭アドレスを指定することにより、読み出しまたは書き込みデータを自動転送する、いわゆるダイレクトメモリーアクセス（ＤＭＡ）機能が備わっている。
【００２３】
メモリカード１０９内には、撮影した映像データが格納される。なお、メモリカード１０９は、記録媒体そのもののみではなく、記録再生回路１０７と接続可能なインターフェースを有し、メモリカード１０９にデータ等を読み書き可能なユニットのことである。
【００２４】
デコーダ部１１０は、ＣＰＵ１２０に指定されたメモリ１０８のアドレスから圧縮ビデオデータや圧縮静止画データを逐次読み出す。読み出された圧縮ビデオデータや圧縮静止画は、例えば、ＩＴＵ−Ｒ  ＢＴ．６５６（ＣＣＩＲ６５６）等のデジタル映像信号、及びデジタル音声信号に変換して出力する。圧縮静止画データの再生時には、必要があれば縮小処理を行なうことができるように工夫されている。
【００２５】
バス１１１には、各ブロックが接続されており、ＣＰＵ１２０の制御に従ってデータの受け渡しを行なう伝送路である。
【００２６】
音声出力部１１２は、デコーダ部１１０によって変換されたデジタル音声信号を所定の信号に変換し、外部に出力するためのブロックであり、テレビジョン受像機等に接続される。
【００２７】
オンスクリーンディスプレイ（以下、ＯＳＤという）部１１３は、各種設定を行なうためのメニュー画面やタイトル、時間などの情報をビデオ出力に重畳させるものである。また、ＯＳＤ部１１３には、デコーダ部１１０から入力されるデジタル映像信号をキャプチャーし、縮小処理を施し、任意の位置に重畳させる機能も兼ね備えている。映像出力部１１４は、デコーダ部１１０によって変換されたデジタル映像信号を所定の信号に変換し、外部に出力するためのブロックであり、テレビジョン受像機等に接続される。
【００２８】
ＥＶＦ（Ｅｌｅｃｔｏｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）１１５は、被写体を覗く小窓として用いられるものである。液晶パネル１１６は、被写体を表示するためのモニタ画面として用いられる。タッチパネル操作部１１７は、液晶パネル１１６と一体的にして使用する。液晶パネル１１６によって、サムネイル画像や仮想ボタンを表示するとともに、タッチパネル操作部１１７によって、ユーザの操作を受け付けることができる。画面制御部１１８は、タッチパネル操作部１１７からの入力を演算して、仮想ボタンを押されたことを判断する。さらに、液晶パネル１１６に出力する仮想ボタンの制御も行なっている。
【００２９】
カメラ制御ＣＰＵ１１９は、ＣＰＵ１２０の制御に従い、カメラユニット１００を制御する。また、カメラユニット１００の情報、例えば合焦情報、手ぶれ情報などのカメラユニット１００から得られる情報をＣＰＵ１２０に伝達する役割も果たしている。
【００３０】
ＣＰＵ１２０は、システム全体を制御する。ＣＰＵ１２０は、プログラムを格納する不揮発性メモリ（ＲＯＭ）、作業領域となる揮発性メモリ（ＲＡＭ）、他のハードウエアとデータの受け渡しや制御用レジスタにアクセスするための外部バス、時間を計測するタイマを少なくとも有している。ＣＰＵ１２０は、所定のファイルシステムを扱うソフトウェアを搭載しており、このファイルシステムに従ってメモリカード１０９へのデータの読み書きが行なわれる。ＥＥＰＲＯＭ１２１は、書き換え可能なＲＯＭである。スイッチ操作部１２２は、動画の記録を開始するスイッチや、焦点距離を可変するズームボタンを備えており、ユーザの操作によって入力された信号をＣＰＵ１２０が判定して動作させるものである。
【００３１】
顔検出部１２３は、撮像素子１０２Ｒ、１０２Ｌで撮像した画像データに顔検出処理を行って、画像内に含まれる人物の顔領域を検出する。顔検出処理は、公知のアルゴリズムによって行われる。例えば、公知の特徴点を抽出する処理によって、スルー画像又は撮像画像のデータから、眼、鼻、口の各端点、顔の輪郭点等の特徴点を画像から抽出し、これらの特徴点に基づいて被写体の顔領域、顔の大きさを検出する。
【００３２】
顔認識部１２４は、顔検出部１２３の出力に基づいて、認証対象となる顔の特徴を示す顔認証データを生成する。例えば、顔認識部１２４は、検出された顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから上記の顔認証データを生成する。
【００３３】
奥行き測定部１２５は、公知の検出方法によって奥行き検出処理を行い、カメラから被写体までの距離情報を測定する。
【００３４】
焦点距離変更部１２６は、ユーザからのズーム操作に応じて、焦点距離を変更する。
【００３５】
画像切り出し部１２７は撮像画像から一部の画像領域を切り出し、画像拡縮部１２８で画像の拡縮を行うことにより、デジタルズームを実現する。
【００３６】
図２は、焦点距離を変更する構成を示すブロック図である。
【００３７】
被写体検出部である１２９は、顔検出部１２３と顔認識部１２４から構成され、カメラユニット１００から入力された画像の被写体を検出する。
【００３８】
焦点距離変更部１２６は、焦点距離算出部１２６Ａ、光学ズーム可変範囲制限部１２６Ｂ及び、焦点距離変更部１２６Ｃを有する。
【００３９】
焦点距離算出部１２６Ａは、奥行き測定部１２５で検出されたカメラから被写体までの距離に応じて、立体視が可能な光学ズーム有効範囲を算出する。立体視が可能な焦点距離の算出は、ＥＥＰＲＯＭ１２１内の焦点距離可変範囲テーブルを参照して決定される。本実施形態では、レンズユニット１０１Ｒ、１０１Ｌの輻輳角や基線長が常に固定であるため、あらかじめ焦点距離可変範囲テーブルを用意しておく。
【００４０】
光学ズーム可変範囲制限部１２６Ｂは、焦点距離算出部１２６Ａで算出された光学ズーム有効範囲を焦点距離制御部１２６Ｃに設定する。スイッチ操作部１２２は、ユーザからのズーム操作に応じて、焦点距離変更指示を焦点距離変更部１２６Ｃへ通知する。
【００４１】
焦点距離制御部１２６Ｃは、指示された焦点距離に応じて、レンズユニットの焦点距離を変更する。焦点距離制御部１２６Ｃに光学ズーム有効範囲外の焦点距離がユーザから設定された場合、焦点距離制御部１２６Ｃは、焦点距離を光学ズーム可変範囲制限部１２６Ｂの制限値に制限する。
【００４２】
切り出し領域算出部１３０は、焦点距離制御部１２６Ｃからの出力に応じて、画像の切り出し位置を算出する。切り出し領域は、後述するように、立体撮影可能な切り出し位置を算出する。
【００４３】
画像切り出し部１２７では、切り出し領域算出部１３０に基づいて、撮像画像から一部の画像領域を切り出す。切り出された画像は、画像拡縮部１２８で拡縮されて、液晶パネル１１６に表示される。
【００４４】
なお、スイッチ操作部１２２からの焦点距離が光学ズーム有効範囲内の場合には、画像切り出し部１２７は撮像画像を切り出すことなく、元の撮像画像のまま液晶パネル１１６に出力する。
【００４５】
図３のフローチャートを用いて、焦点距離変更時の動作を説明する。
【００４６】
Ｓ３０１において、入力された画像から顔検出部１２３により被写体を検出し、顔認識部１２４で被写体を認識する。
【００４７】
Ｓ３０２において、奥行き測定部１２５によりカメラから被写体までの距離を測定する。
【００４８】
Ｓ３０３において、光学ズーム可変範囲制限部１２６Ｂは、焦点距離算出部１２６Ａによって算出された光学ズーム有効範囲を焦点距離制御部１２６Ｃに設定する。
【００４９】
Ｓ３０４において、ユーザが操作した焦点距離と、Ｓ３０３で設定された光学ズーム有効範囲とを比較する。ユーザが操作した焦点距離が光学ズーム有効範囲内の場合には、Ｓ３０７で光学ズームを設定する。光学ズームは、スイッチ操作部１２２から入力された焦点距離を焦点距離制御部１２６Ｃに設定し、レンズユニット１０１Ｒ、１０１Ｌの焦点距離を変更する。ユーザが操作した焦点距離が光学ズーム有効範囲を超えた場合には、Ｓ３０５でスイッチ操作部１２２から入力された焦点距離を光学ズーム可変範囲の制限値に制限し、光学ズーム可変範囲の制限値が焦点距離変更部１２６Ｃに設定される。Ｓ３０５で制限された焦点距離の差分値は、切り出し領域算出部１３０に設定される。切り出し領域算出部１３０では、焦点距離の差分値に対応した切り出し位置を算出する。
【００５０】
Ｓ３０６において、本実施形態の立体撮像装置のデジタルズームが有効になっているか否かを判断する。デジタルズームが有効でない場合は、制限された焦点距離で光学ズームを設定する。デジタルズームが有効な場合は、Ｓ３０８でユーザがスイッチ操作部１２２の焦点距離をテレ側に操作したか否かを判定する。
【００５１】
Ｓ３０８でユーザがテレ側に操作した場合にはＳ３０９に進み、Ｓ３０９において、デジタルズームを設定し、切り出し位置を変更する。
【００５２】
図４を用いて、切り出し領域算出部１３０の動作を説明する。レンズユニット１０１Ｒ、１０１Ｌから入力された左眼用と右眼用の複数の画像がメモリ上に置かれており、画像中心からの視差量が検出される。
【００５３】
図４（ａ）は、光学ズーム可変範囲がテレ側の制限値に制限されているときの左眼用と右眼用の画像であり、画像中心からの視差量はそれぞれＤＬＲ／２である。図４（ｂ）は、図４（ａ）の左眼用の画像と右眼用の画像を出力して立体的に表示したものである。右画像Ｒは被写体が左側に撮像されており、左画像Ｌは被写体が右側に撮像されている。右画像Ｒと左画像Ｌはそれぞれ画像中心からＤＬＲ／２だけ水平方向に移動しており、両眼視差はＤＬＲである。図４（ａ）、（ｂ）の枠の点線は、切り出す領域を示し、設定される焦点距離によって決定される。
【００５４】
図４（ｃ）は、図４（ａ）の左眼用の画像と右眼用の画像をデジタルズームしたものを出力して立体的に表示したものである。右眼用画像Ｒと左眼用画像Ｌとの両眼視差は、ＤＬＲであある。例えば、スイッチ操作部１２２から入力された焦点距離が１００ｍｍで、光学ズーム可変範囲制限部１２６Ｂが焦点距離を４０ｍｍに制限されている場合は、焦点距離変更部１２６Ｃで４０ｍｍの光学ズームが設定される。切り出し領域算出部１３０には、２．５倍（１００／４０）のデジタルズームの倍率が設定され、１／２．５の領域が設定される。
【００５５】
ここで、デジタルズームの倍率をｍ倍とすると、まず、図４（ａ）の右眼用画像Ｒから画像の縦方向及び横方向に１／ｍ倍したエリアを画像中心に対して切り出してｍ倍したものをメモリ上に格納する。そして、左眼用画像Ｌから画像の縦方向及び横方向に１／ｍ倍したエリアを画像中心に対して切り出してｍ倍したものをメモリ上に格納する。右眼用画像をｍ倍したものをＤＬＲ/２だけ左に切り出し位置をシフトして、図４（ｃ）に右眼用画像として出力する。また、左眼用画像をｍ倍したものをＤＬＲ/２だけ右に切り出し位置をシフトして、図４（ｃ）に左眼用画像として出力する。図４（ａ）の左眼用と右眼用画像からの切り出しエリアについては、ｍ倍後にＤＬＲ/２だけ切り出し位置をシフトすることを考慮して、切り出し位置を設定してもよい。
【００５６】
以上のように、算出された切り出し領域を画像切り出し部１２７で切り出し、画像拡縮部１２８で拡大することで、デジタルズームを実現する。
【００５７】
Ｓ３０８でユーザがテレ側に焦点距離を操作しなかった場合には、Ｓ３１０に進む。Ｓ３１０では、光学ズーム可変範囲制限部１２６Ｂで制限されたワイド側の制限値から光学ズームを行い、Ｓ３０１に戻る。
【００５８】
図５は、焦点距離と視差との関係を示している。
【００５９】
図５（ａ）は、被写体距離が近距離の場合の焦点距離と視差との関係を示す図である。横軸が焦点距離を示し、縦軸が視差を示す。焦点距離Ｃ０は、立体視可能なテレ側の焦点距離の限界値であり、視差がＤ０よりも大きくなると左右の視差量が大きくなり過ぎて、立体感が損なわれる。焦点距離がＣ０よりもワイド側のときは、立体視可能な視差量である。焦点距離がワイド端からＣ０までが光学ズーム有効範囲となり、光学ズーム可変範囲が制限される。光学ズーム有効範囲内においては、ユーザ操作に応じて光学ズームを行う。光学ズーム時には、画像切り出し部１２７は、撮像画像の全てを液晶パネル１１６に出力する。焦点距離がＣ０よりもテレ側に操作されたときに、デジタルズームの設定が無効になっている場合には、焦点距離がＣ０の光学ズームに制限される。デジタルズームの設定が有効になっている場合には、焦点距離がＣ０の光学ズームに制限され、さらにデジタルズームを行う。デジタルズーム時は、撮像画像の一部の画像領域を切り出すことで実現する。切り出す領域は、切り出し領域算出部１３０により、左右の視差を維持する領域を算出し、画像切り出し部１２７で画像を切り出す。切り出した画像は、画像拡縮部１２８で拡大して、液晶パネル１１６に出力すると共に立体視可能な画像を記録する。以上のように、デジタルズームを行うことで、左右の視差量が大きくなり過ぎることなく、立体画像の撮影が可能になる。
【００６０】
図５（ｂ）は、被写体距離が中距離の場合の焦点距離と視差との関係を示す図である。焦点距離Ｃ２は、立体視可能なテレ側の焦点距離の限界値であり、視差Ｄ２よりも大きくなると左右の視差量が大きくなり過ぎて、立体感が損なわれる。焦点距離Ｃ１は、立体視可能なワイド側の焦点距離の限界値であり、視差Ｄ１よりも小さくなると左右の視差が小さくなり過ぎて、立体感が損なわれる。焦点距離がワイド側Ｃ１とテレ側Ｃ２の間のときは、立体視可能な視差量である。焦点距離がＣ１からＣ２までが光学ズーム有効範囲となり、光学ズーム可変範囲が制限される。光学ズーム有効範囲内においては、ユーザ操作に応じて光学ズームを行う。焦点距離がＣ１よりもワイド側に操作された場合は、焦点距離がＣ１の光学ズームに制限される。焦点距離がＣ２よりもテレ側に操作されたときに、デジタルズームの設定が無効になっている場合には、焦点距離がＣ２の光学ズームに制限される。デジタルズームの設定が有効になっている場合には、焦点距離がＣ２の光学ズームに制限され、さらにデジタルズームを行う。図５（ａ）と同様に、デジタルズームを行うことで、左右の視差量が大きくなり過ぎることなく、立体画像の撮影が可能になる。
【００６１】
したがって、角度調整機能を有していない立体撮像装置でズーム操作を行った場合においても、被写体までの距離に応じて焦点距離を可変する範囲を制限することで立体感を損なうことなく立体撮影が可能になる。
【００６２】
図６は、画角を一定に保持する構成を示す処理フローである。
【００６３】
レンズ位置取得部１３１は、カメラ制御ＣＰＵ１１９から現在のカメラユニット１００の焦点距離を取得する。
【００６４】
被写体距離算出部１３２は、設定されている焦点距離に対して、立体視が可能な被写体距離有効範囲を算出する。立体視が可能な被写体距離の算出は、ＥＥＰＲＯＭ１２１の被写体距離有効範囲テーブルを参照して決定される。本実施形態では、レンズユニット１０１Ｒ、１０１Ｌの輻輳角や基線長が常に固定であるため、焦点距離と被写体距離との関係を、あらかじめ被写体距離有効範囲テーブルとして用意しておく。
【００６５】
撮影可能距離判定部１３３は、奥行き測定部１２５で測定された被写体までの距離と、被写体距離算出部１３２の被写体距離有効範囲とを比較することで被写体が立体視可能な距離にいるか否かを判定する。
【００６６】
焦点距離変更部１２６は、撮影可能距離判定部１３３によって設定された焦点距離に応じて、カメラ制御ＣＰＵ１１９に焦点距離を設定する。カメラ制御ＣＰＵ１１９は、カメラユニット１００の焦点距離を変更する。
【００６７】
切り出し領域算出部１３０は、撮影可能距離判定部１３３の倍率に応じて、画像の切り出し位置を算出する。
【００６８】
記録部１３４は、記録再生回路１０７とメモリカード１０９で構成され、画像拡縮部１２８からの立体視可能な画像を記録する。
【００６９】
なお、被写体が立体視可能な距離にいる場合には、画像切り出し部１２７は撮像画像を切り出すことなく、元の画像のまま液晶パネル１１６に出力する。
【００７０】
図７のフローチャートを用いて、被写体接近時の動作を説明する。
【００７１】
Ｓ５０１において、入力された画像から顔検出部１２３で被写体を検出し、顔認識部１２４で被写体を認識する。
【００７２】
Ｓ５０２において、奥行き測定部１２５によりカメラから被写体までの距離を測定する。
【００７３】
Ｓ５０３において、設定されている焦点距離に応じて、被写体距離算出部１３２によって焦点距離から立体撮影可能な被写体距離有効範囲を算出する。
【００７４】
Ｓ５０４において、撮影可能距離判定部１３３によって、被写体距離が立体撮影可能な被写体距離有効範囲内であるか否かを判定する。被写体距離が被写体距離有効範囲内である場合には、Ｓ５０１に戻る。被写体距離が被写体距離有効範囲外である場合には、Ｓ５０５に進む。
【００７５】
Ｓ５０５では、被写体が被写体距離有効範囲よりも手前に近づいたか否かを被写体までの距離で判定する。被写体が近づいていない場合には、Ｓ５０１に戻る。被写体が被写体有効範囲よりも手前側に近づいた場合には、Ｓ５０６に進む。
【００７６】
Ｓ５０６では、画角を一定に保ちつつ、かつ立体感を維持できるように光学ズームとデジタルズームを設定する。光学ズームは、被写体距離が被写体距離有効範囲内になるように、ワイド側に設定する。被写体距離と被写体距離有効範囲とから焦点距離を算出し、焦点距離変更部１２６に設定する。デジタルズームは、後述するように、右眼用及び左眼用画像からの切り出し位置を変更することにより、視差量の制御を行う。切り出し位置は、撮影可能距離判定部１３３から設定される焦点距離に基づいて、切り出し領域算出部１３０で算出する。
【００７７】
図８と図９を用いて、切り出し領域算出部１３０の動作を説明する。
【００７８】
図８は、焦点距離と被写体距離との関係図である。横軸が焦点距離、縦軸が被写体距離を示している。曲線Ｂは、各焦点距離に対して、立体視可能な被写体距離の限界値である。曲線Ｂよりも被写体距離が近づくと、立体視が困難になる。焦点距離がｆ０の場合、被写体距離がｄ０のときは立体視可能であるが、被写体距離がｄ１のときは立体視が困難になる。焦点距離がｆ１の場合、被写体距離がｄ１のときでも立体視可能である。
【００７９】
図９を用いて、切り出し領域算出部１３０の動作を説明する。レンズユニット１０１Ｒ、１０１Ｌからから入力された左眼用と右眼用の画像がメモリ上に置かれており、画像の真ん中を原点としたときの中心からの視差量が検出される。
【００８０】
図９（ａ）は、被写体が立体撮影可能な位置（図８中の点Ｃ）のときの左眼用と右眼用の画像であり、画像中心からの視差量はそれぞれＬ０、Ｒ０である。
【００８１】
図９（ｃ）は、図９（ａ）の左眼用の画像と右眼用の画像を出力して立体的に表示したものである。右画像Ｒは被写体が左側に撮像されており、左画像Ｌは被写体が右側に撮像されている。右画像Ｒと左画像Ｌとの両眼視差は、Ｒ０＋Ｌ０である。
【００８２】
被写体が近づいて、被写体距離がｄ０からｄ１に変化したときの画像を図９（ｂ）に示す。図９（ｂ）は、被写体が立体撮影困難な位置（図８中の点Ｄ）のときの左眼用と右眼用の画像であり、画像中心からの視差量はそれぞれＬ０’、Ｒ０’である。
【００８３】
図９（ｄ）は、図９（ｂ）の左眼用の画像と右眼用の画像を出力して立体的に表示したものである。右画像Ｒは被写体が左側に撮像されており、左画像Ｌは被写体が右側に撮像されている。右画像Ｒと左画像Ｌとの両眼視差は、Ｒ０’＋Ｌ０’である。
【００８４】
本実施形態では、焦点距離がｆ０の状態で、被写体距離がｄ０からｄ１に変化したとき、被写体距離有効範囲テーブルを参照して、被写体距離ｄ１における立体撮影可能な焦点距離ｆ１を算出する。算出された焦点距離ｆ１を焦点距離変更部１２６に設定し、光学ズームをｆ０からｆ１に変更する。
【００８５】
光学ズームをワイド側に設定したときの画像を図９（ｅ）に示す。図９（ｅ）は、被写体距離がｄ１の状態で、焦点距離をｆ０からｆ１に変更したとき（図８中の点Ｅ）の左眼用と右眼用の画像であり、画像中心からの視差量はそれぞれＬ１、Ｒ１である。Ｌ１はＬ０’をｆ１／ｆ０倍した値になり、Ｒ１はＲ０’をｆ１／ｆ０倍した値になる。
【００８６】
図９（ｇ）は、図９（ｅ）の左眼用の画像と右眼用の画像を出力して立体的に表示したものである。右画像Ｒは被写体が左側に撮像されており、左画像Ｌは被写体が右側に撮像されている。右画像Ｒと左画像Ｌとの両眼視差は、Ｒ１＋Ｌ１である。図９（ｇ）は、立体視可能な画像であるが、画角が広くなるため、切り出し領域算出部１３０の出力に基づく領域を図９（ｅ）から切り出す必要がある。
【００８７】
図９（ｈ）は、図９（ｅ）の左眼用の画像と右眼用の画像から、図９（ｆ）に示すように、枠の点線部分を切り出して拡大した立体画像である。切り出し位置は、拡大時の視差がＲ０＋Ｌ０になるように、切り出し領域算出部１３０で算出される。右眼用の切り出し位置Ｒ２は、画像の中心から（Ｒ０’−Ｒ０）をｆ１／ｆ０倍した値だけ水平方向に移動する。切り出しサイズは、ｆ１／ｆ０倍した領域を設定する。左眼用の切り出し位置Ｌ２は、画像の中心から（Ｌ０’―Ｌ０）をｆ１／ｆ０倍した値だけ水平方向に移動する。切り出しサイズは、ｆ１／ｆ０倍した領域を設定する。図９（ｆ）で切り出された画像は、画像拡縮部１２８で拡大されて図９（ｈ）に示すように立体的に表示される。図９（ｈ）の両眼視差は、Ｒ０＋Ｌ０になり、図９（ｃ）の両眼視差と等しくなる。なお、焦点距離の制御後の視差が制御前の視差に近づくようにデジタルズームを行っても立体感を損なうことはない。
【００８８】
以上のように、被写体の距離に応じて、焦点距離を変更し、視差量が一定になるようにデジタルズームを行う。デジタルズームは、算出された切り出し領域を、画像切り出し部１２７で切り出し、画像拡縮部１２８で拡大することで実現する。
【００８９】
図１０は、焦点距離がテレの場合の被写体距離と視差との関係を示す図である。横軸が被写体距離、縦軸が視差量を示す。被写体距離Ｄ２における視差量Ａは、立体視可能な限界値である。視差量がＡよりも大きくなると左右の視差量が大きくなり過ぎて、立体感が損なわれる。被写体距離がＤ２よりも近距離の場合には、立体視可能な視差量である。被写体距離がＤ２よりも遠距離にいる場合には、光学ズームとデジタルズームを併用し、視差量と画角を一定に保つことで、立体画像の撮影が可能になる。
【００９０】
したがって、角度調整機能を有していない立体撮像装置で被写体が移動した場合においても、被写体までの距離に応じて、画角が一定となるように、光学ズームとデジタルズームを併用することで、立体感を損なうことなく、立体撮影が可能になる。
【００９１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９２】
１０１Ｒ、１０１Ｌ  レンズ
１２５              奥行き測定部
１２６              焦点距離変更部
１２６Ａ            焦点距離算出部
１２８              画像拡縮部
１３２              被写体距離算出部
【図１】
2014154907.tif 000003
【図２】
2014154907.tif 000004
【図３】
2014154907.tif 000005
【図４】
2014154907.tif 000006
【図５】
2014154907.tif 000007
【図６】
2014154907.tif 000008
【図７】
2014154907.tif 000009
【図８】
2014154907.tif 000010
【図９】
2014154907.tif 000011
【図１０】
2014154907.tif 000012
【図１１】
2014154907.tif 000013
【図１２】
2014154907.tif 000014