(57)【要約】【課題】一つの撮像部で得たフォーカス距離を用いて複数の撮像部のフォーカス調整を行う従来技術をそのまま多眼カメラや多視点カメラに適用しても、全ての撮像部で同一被写体にフォーカスを合わせることは困難である。【解決手段】複数の撮像部を備えた撮像装置であって、前記複数の撮像部の中から選択された代表撮像部で得られた画像におけるフォーカス領域に対応する領域を、前記代表撮像部以外の撮像部で得られた画像から導出し、当該導出された領域にフォーカスを合わせることにより、前記代表撮像部以外の撮像部の合焦処理を行うフォーカス調整手段を備える。【選択図】図７
2014134723.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部を備えた撮像装置であって、
前記複数の撮像部の中から選択された代表撮像部で得られた画像におけるフォーカス領域に対応する領域を、前記代表撮像部以外の撮像部で得られた画像から導出し、当該導出された領域にフォーカスを合わせることにより、前記代表撮像部以外の撮像部の合焦処理を行うフォーカス調整手段を備える
ことを特徴とする撮像装置。
【請求項２】
前記フォーカス調整手段は、前記代表撮像部で得られた画像におけるフォーカス領域のブロック画像をテンプレート画像とし、前記代表撮像部以外の撮像部で得られた画像の中から前記テンプレート画像に相当する部分を検索することで、前記フォーカス領域に対応する領域を導出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記フォーカス調整手段は、代表撮像部で得られた画像におけるフォーカス領域から局所特徴量を求め、前記代表撮像部以外の撮像部で得られた画像の中から当該求められた局所特徴量が前記フォーカス領域の特徴量に相当する領域を検索することで、前記フォーカス領域に対応する領域を導出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記フォーカス調整手段は、代表撮像部で得られた画像におけるフォーカス領域が人物の顔である場合において当該人物の顔に関する顔認識用辞書データを用いて、前記代表撮像部以外の撮像部で得られた画像の中から当該人物の顔に相当する領域を検索することで、前記フォーカス領域に対応する領域を導出することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記検索の範囲を、前記複数の撮像部間の取り付け位置の関係に基づいて、前記画像の一部の範囲に限定することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記フォーカス調整手段において前記代表撮像部で得られた画像におけるフォーカス領域に対応する領域の導出を前記代表撮像部以外のすべての撮像部について失敗した場合に、警告を通知する手段をさらに備えたことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記警告を通知後に、撮像を続行するかどうかを判定する手段をさらに備えたことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判定する手段で撮像を続行すると判定された場合に、前記フォーカス調整手段は、前記フォーカス領域に対応する領域の導出に成功した前記代表撮像部以外の撮像部について当該導出された領域にフォーカスを合わせる合焦処理を行い、当該合焦処理によって得られたフォーカス距離を用いて、前記フォーカス領域に対応する領域の導出に失敗した前記代表撮像部以外の撮像部についてフォーカスを合わせる合焦処理を行うことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記フォーカス調整手段は、前記フォーカス領域に対応する領域の導出に成功した前記代表撮像部以外の撮像部が複数である場合に、予め定められた基準フォーカス距離が最も近い撮像部の合焦処理で得られたフォーカス距離を用いて、前記フォーカス領域に対応する領域の導出に失敗した前記代表撮像部以外の撮像部についてフォーカスを合わせる合焦処理を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記フォーカス調整手段は、前記フォーカス領域に対応する領域の導出に成功した前記代表撮像部以外の撮像部が複数である場合に、当該複数の撮像部の合焦処理で得られたフォーカス距離の平均値を求め、当該求められた平均値を用いて、前記フォーカス領域に対応する領域の導出に失敗した前記代表撮像部以外の撮像部についてフォーカスを合わせる合焦処理を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１１】
複数の撮像部を備えた撮像装置におけるフォーカス調整方法であって、
前記複数の撮像部の中から選択された代表撮像部で得られた画像におけるフォーカス領域に対応する領域を、前記代表撮像部以外の撮像部で得られた画像から導出し、当該導出された領域にフォーカスを合わせることにより、前記代表撮像部以外の撮像部の合焦処理を行うことを特徴とするフォーカス調整方法。
【請求項１２】
コンピュータを、請求項１〜１０のいずれか１項に記載の撮像装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部を備えた撮像装置におけるフォーカス調整に関する。
【背景技術】
【０００２】
近年、被写体を異なる方向から撮像した互いに視差のある画像（立体視用画像）を得るための撮像装置として、２つの撮像部を備えるステレオカメラが開発されている。また、撮像後にフォーカス位置や被写界深度の変更或いは被写体までの距離（奥行き）や被写体の形状の計測に用いる、被写体を複数の視点から捉えた画像（複数視点画像）を取得可能な、２以上の撮像部を備える撮像装置（多眼カメラ）が開発されている。
【０００３】
そして、上記のような複数の撮像部を有する撮像装置で撮像を行う場合における、各撮像部のオートフォーカス（AF）によるフォーカス調整についても、様々な技術が知られている。
【０００４】
例えば、特許文献１には、ステレオカメラにおいてステレオ撮像を行うときに、カメラからフォーカスが合う位置までの距離（フォーカス距離）を２つの撮像部の間で同一にして撮像する技術が開示されている。この場合、一方の撮像部のAFによって得たフォーカス距離を他方の撮像部のフォーカス距離として利用することで、２つの撮像部が同一のフォーカス距離を用いてフォーカス調整を行うことを可能にしている。
【０００５】
また、特許文献２には、複数の撮像部を同時に駆動してフォーカス調整を行い、先にフォーカス位置を発見した撮像部のフォーカス距離に、他の撮像部のフォーカス距離を合わせる技術が開示されている。この技術を例えばステレオカメラに適用し、一方のレンズは近点から、もう一方のレンズは遠点から、それぞれフォーカス位置の検索を行うことでフォーカス調整を効率的に行うことが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０３−１０２３４０号公報
【特許文献２】特開２００６−１６２９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の特許文献１、２にそれぞれ開示された従来技術は、複数の撮像部のうちの一つの撮像部で得たフォーカス距離を他の撮像部でのフォーカス調整に利用することで、複数の撮像部の全てにおいて同一のフォーカス距離に設定することを可能にするものである。しかし、上記従来技術では、各撮像部と被写体との距離が等しい場合には同一被写体にフォーカスを合わせることが可能であるが、各撮像部と被写体との距離が撮像部によって異なる場合は同一被写体にフォーカスを合わせることができない。例えば、複数の撮像部を備える多眼カメラを実際に製造する際には、各撮像部のレンズや光学センサの取り付け時に傾きや位置に一定程度誤差が生じてしまうところ、この取り付け誤差によって、撮像部毎にフォーカス距離が異なるという状況が発生する。
【０００８】
また、上述の複数視点画像を得る方法は、ひとつの筺体に複数の撮像部を内蔵した多眼カメラに限られるものではなく、単眼カメラを複数個配置した多視点カメラによっても得ることができる。このような多視点カメラの場合、各単眼カメラの位置や傾きを自由に設定できるため、撮像部としての単眼カメラと被写体との距離は単眼カメラ毎に異なるのが一般的である。
【０００９】
したがって、一つの撮像部で得たフォーカス距離を用いて複数の撮像部のフォーカス調整を行う上記従来技術をそのまま多眼カメラや多視点カメラに適用しても、全ての撮像部で同一被写体にフォーカスを合わせることは困難である。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、複数の撮像部を備えた撮像装置であって、前記複数の撮像部の中から選択された代表撮像部で得られた画像におけるフォーカス領域に対応する領域を、前記代表撮像部以外の撮像部で得られた画像から導出し、当該導出された領域にフォーカスを合わせることにより、前記代表撮像部以外の撮像部の合焦処理を行うフォーカス調整手段を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、多眼カメラや多視点カメラといった多眼方式の撮像装置を用いて被写体を撮像する場合において、全ての撮像部が同一の位置にフォーカスを合わせることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置としての多眼カメラの外観の一例を示す図である。
【図２】多眼カメラの内部構成を示すブロック図である。
【図３】撮像部の内部構成を示す図である。
【図４】多眼カメラにおける撮像手順を示すフローチャートである。
【図５】代表撮像部におけるフォーカス領域を決定する様子を説明する図である。
【図６】撮像部で取得される撮像画像を示す図である。
【図７】実施例１に係るフォーカス調整処理の流れを示すフローチャートである。
【図８】ブロック画像の一例を示す図である。
【図９】テンプレートマッチングによって導出された各撮像部における対応フォーカス領域の一例を示す図である。
【図１０】実施例２に係るフォーカス調整処理の流れを示すフローチャートである。
【図１１】警告の一例を示す図である。
【発明を実施するための形態】
【００１３】
［実施例１］
本実施例では、複数の撮像部のうちの一つの撮像部に対応する撮像画像においてフォーカスを合わせる領域（以下、フォーカス領域」と呼ぶ。）を決定し、この決定されたフォーカス領域に関する情報に基づき、他の撮像部に対応する撮像画像からフォーカス領域を検索する。そして、全ての撮像部において、同一の被写体に各々フォーカスを合わせるようにしている。以下、詳しく説明する。
【００１４】
図１は、本実施例に係る撮像装置としての多眼カメラの外観の一例を示す図である。図１において、（ａ）は多眼カメラの正面、（ｂ）は多眼カメラの背面を表す。
【００１５】
図１の（ａ）に示すように、多眼カメラ１００の正面には、カラー画像を取得することが可能な９個の撮像部１０１〜１０９と、撮像ボタン１１０が設けられている。ここでは９個の撮像部が格子状に均等に配置された多眼カメラとしているが、撮像部の数は９個に限定されるものではないし、各撮像部の配置は放射状や直線状或いはランダムに配置されてもよい。
【００１６】
撮像ボタン１１０は、半押し、及び、全押しの２段階のスイッチになっている。撮像ボタン１１０が半押しの状態になると、露出調整やホワイトバランスといった撮像前の準備処理やフォーカス調整が行われる。そして、さらに撮像ボタン１１０が押し込まれて全押しの状態になると、撮像部１０１〜１０９が被写体からの光をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。
【００１７】
図１の（ｂ）に示すように、多眼カメラ１００の背面には、表示部１１１としての液晶ディスプレイと、操作部１１２としてのユーザによる各種の操作を受け付けるための十字ボタンが設けられている。
【００１８】
表示部１１１は、撮像条件設定の操作状況や設定の確認を行うためのＧＵＩ、撮像中の被写体のプレビュー画像、撮像後の画像などを表示する。そして、操作部１１２を介して、各種項目の選択や変更を行うためのユーザ指示の入力がなされる。尚、ボタンの形態は十字ボタンに限られるものではない。また、ボタン操作の替わりに、感圧式や電磁誘導式など各種方式のタッチパネルを用いた表示部１１１を採用し、ユーザがタッチした座標を検出することによって、ユーザ指示の入力としてもよい。
【００１９】
このような多眼カメラにより、同一の被写体を複数の視点位置から撮像したカラー画像（複数視点画像）を得ることができる。
【００２０】
なお、以下では、専ら多眼カメラを例に説明するが、その内容は多視点カメラにおいても同様に当て嵌まるものであり、多眼カメラにおける撮像部を多視点カメラにおける単眼カメラに置き換えることも可能である。すなわち、本明細書における用語“撮像部”は、多眼カメラにおける撮像部及び多視点カメラにおける単眼カメラの両方を指すものであり、“複数の撮像部を備えた撮像装置”という場合、多眼カメラと多視点カメラの両方が含まれる点に留意されたい。
【００２１】
図２は、多眼カメラ１００の内部構成を示すブロック図である。
【００２２】
ＣＰＵ２０１は、中央処理装置であり、バス２０４を介して接続された各部を統括的に制御する。
【００２３】
ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能するＲＡＭ（Random Access Memory）である。
【００２４】
ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納するＲＯＭ（Read Only Memory）である。
【００２５】
バス２０４は、各種データの転送経路として機能する。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。
【００２６】
撮像制御部２０５は、フォーカスを合わせる（合焦処理）、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいて、撮像部１０１〜１０９の光学系を制御する。
【００２７】
デジタル信号処理部２０６は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行う。
【００２８】
表示制御部２０７は、表示部１１１に表示する撮像前プレビュー画像や撮像済み画像の表示制御を行う。また、撮像パラメータの設定のためのＵＩ表示や、設定済み撮像パラメータの確認のための文字やアイコンを表示するための表示制御も合わせて行う。
【００２９】
エンコーダ部２０８は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する。
【００３０】
外部メモリ制御部２０９は、ＰＣやその他のメディア２１０（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に多眼カメラ１００を接続させるためのインターフェースである。
【００３１】
画像処理部２１１は、デジタル信号処理部２０６によって処理されたデジタルデータに基づき撮像部１０１〜１０９のフォーカス領域の決定を行う。そして、決定されたフォーカス領域に基づいて、撮像制御部２０５で各撮像部のフォーカス調整がなされる。画像処理部２１１の詳細については後述する。
【００３２】
多眼カメラの構成要素は上記以外にも存在するが、本願発明に必須の構成ではないので、説明を省略する。
【００３３】
図３は、撮像部１０１〜１０９の内部構成を示す図である。
【００３４】
撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０から構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。
【００３５】
センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４へ出力される。
【００３６】
なお、本実施例では、撮像部１０１〜１０９で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明するが、撮像部１０１〜１０９で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。その場合には、カラーフィルタ３０８は省略される。
【００３７】
次に、本実施例に係る多眼カメラ１００における撮像手順を説明する。図４は、多眼カメラ１００における撮像手順を示すフローチャートである。
【００３８】
ステップ４０１において、撮像前のプレビュー表示や基準となるフォーカス領域の決定に使用する撮像部（以下、「代表撮像部」と呼ぶ。）が、ユーザの選択に従って、撮像部１０１〜１０９の中から１つ設定される。ユーザの選択は、操作部１１２を介してなされる。ここでは、撮像部１０１〜１０９のうち、中央に配置されている撮像部１０５が代表撮像部として選択された場合を例に説明を行うものとする。
【００３９】
ステップ４０２において、撮像時の各種条件（以下、「撮像条件」と呼ぶ。）が設定される。撮像条件には、光学パラメータやデジタル信号処理パラメータの他、設定された代表撮像部におけるフォーカス領域の情報が含まれる。ここで、光学パラメータは、絞り、シャッタースピードなど撮像制御部２０５の動作制御のためのパラメータであり、デジタル信号処理パラメータは、ホワイトバランスやノイズ低減などデジタル信号処理部２０６の動作制御のためのパラメータである。図５は、代表撮像部におけるフォーカス領域を決定する様子を説明する図である。いま、表示部１１１に表示されたプレビュー画像５００（代表撮像部である撮像部１０５から得られるプレビュー画像）には、異なる距離にある２つの被写体５０１及び５０２が写っている。そして、プレビュー画像５００の左上隅には、代表撮像部を表す“Ｎｏ．５”の撮像部番号５０３が重畳表示され、さらに、フォーカス領域を特定するフォーカス枠５０４が被写体上に重畳表示されている。図５の（ａ）はフォーカス枠５０４を被写体５０１に合わせた場合、同（ｂ）はフォーカス枠５０４を被写体５０２に合わせた場合をそれぞれ示している。なお、撮像部番号５０３は各撮像部を特定するためのものであり、撮像部１０１〜１０９にそれぞれ対応して“Ｎｏ．１”〜“Ｎｏ．９”の撮像部番号５０３が付されている。フォーカス枠５０４は、操作部１１２を介したユーザ指示に従ってプレビュー画像５００内の任意の位置（被写体）に設定される。なお、ユーザが操作部１１１を介して任意の位置にフォーカス領域を指定する代わりに、例えば、設定された代表撮像部におけるプレビュー画像５００の中心座標の周辺領域をフォーカス領域として固定してもよい。或いは、プレビュー画像５００を解析し、その解析結果から自動的にフォーカス領域を決定するようにしてもよい。フォーカス領域を自動で決定する方法としては、例えばプレビュー画像の１画素（或いは複数の画素から成るブロック）について何らかの評価値を計算し、評価値が最も高い領域をフォーカス領域として設定する方法が考えられる。この際の評価値としては、例えばコントラストや、人物の顔等との類似度が挙げられる。
【００４０】
ステップ４０３において、撮像ボタン１１０が半押しの状態であるかどうかが判定される。撮像ボタン１１０が半押しの状態である場合は、ステップ４０４へ進む。一方、撮像ボタン１１０が半押しの状態でない場合は、ステップ４０１へ戻る。
【００４１】
ステップ４０４において、各撮像部１０１〜１０９で取得されたデジタルデータに対し、撮像のための準備処理がなされる。具体的には、上述のデジタル信号処理パラメータに基づき、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の処理がなされる。この撮像準備処理の詳細については、本発明の本質ではないため説明を省略する。
【００４２】
ステップ４０５において、撮像準備処理がなされたデジタルデータを用いて、各撮像部１０１〜１０９におけるフォーカス領域を決定する処理（以下、「フォーカス調整処理」と呼ぶ）がなされる。フォーカス調整処理の詳細については後述する。
【００４３】
ステップ４０６において、撮像ボタン１１０が全押しの状態であるかどうかが判定される。撮像ボタン１１０が全押しの状態である場合は、ステップ４０７へ進む。一方、撮像ボタン１１０が全押しの状態でない場合は、ステップ４０１へ戻る。このように、ユーザが撮像ボタン１１０を全押しの状態にするまで、ステップ４０１〜ステップ４０６の一連処理が繰り返される。
【００４４】
ステップ４０７において、ステップＳ４０２で設定された撮像条件に基づいて、撮像画像としての画像データが、撮像部１０１〜１０９によって取得される。取得された撮像画像データは、デジタル信号処理部２０６、及びエンコーダ部２０８において処理が行われた後に、外部メモリ制御部２０９を経てＰＣその他のメディア２１０に保存される。
【００４５】
以上が、多眼カメラ１００における撮像画像データ取得までの流れである。
【００４６】
（フォーカス調整処理）
本実施例に係るフォーカス調整処理について説明する。フォーカス調整処理では、先に代表撮像部において決定したフォーカス領域に対応する領域を、代表撮像部以外の各撮像部のプレビュー画像の中から導出し、導出された領域にフォーカスを合わせるよう各撮像部で合焦処理を行う。ここで、フォーカス調整処理の詳細を説明する前に、各撮像部のプレビュー画像から代表撮像部のフォーカス領域に対応する領域を導出する必要性について述べておく。
【００４７】
図１で示すとおり、多眼カメラ１００における撮像部１０１〜１０９はそれぞれ異なる位置に取り付けられるため、各撮像部で得られる画像における同一被写体の座標は撮像部ごとに異なることになる。図６は、図５と同一のシーンを撮像した場合における、撮像部１０１〜１０９でそれぞれ取得される撮像画像を示す図である。撮像画像６０１は撮像部１０１に、撮像画像６０２は撮像部１０２といった具合に、撮像画像６０１〜６０９はそれぞれ撮像部１０１〜１０９に対応している。図６に示すように、それぞれ異なる位置の撮像部から撮像された撮像画像６１０〜６０９においては、同一被写体（例えば、人物）の位置（座標）は画像毎に異なっている。そのため、撮像部１０１〜１０９のすべてで同一被写体にフォーカスを合わせる場合、撮像部毎に被写体の位置を特定する必要があるわけである。
【００４８】
図７は、撮像制御部２０５におけるフォーカス調整処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ２０３からＲＡＭ２０２上に読み込んだ後、ＣＰＵ２０１によって該プログラムを実行することによって実施される。
【００４９】
ステップ７０１において、撮像制御部２０５は、前述のステップ４０１で設定された代表撮像部について、フォーカス領域にフォーカスを合わせる合焦処理を行う。ここでは、コントラスト検出方式による合焦処理について説明するが、合焦処理は、任意の位置にフォーカスを合わせることができる方法であればどのような方法を用いても構わない。
【００５０】
コントラスト検出方式は、フォーカス領域に関するコントラスト値をもとに合焦処理を行う方法である。フォーカスレンズ３０２を所定のステップ幅で移動させ、移動のたびにフォーカス領域のコントラスト値を計算し、コントラストが最大となるフォーカスレンズ３０２の位置を導出する。そして、コントラストが最大となる位置にフォーカスレンズ３０２を移動させて合焦状態にする。尚、コントラストが最大となるフォーカスレンズ３０２の位置は、撮像部と被写体との間の距離（フォーカス距離）に対応している。
【００５１】
ステップ７０２において、撮像制御部２０５は、代表撮像部のフォーカス領域に関する情報を取得する。ここで、代表撮像部のフォーカス領域に関する情報（以下、「フォーカス領域情報」と呼ぶ。）とは、代表撮像部について決定されたフォーカス領域と同じ位置を、各撮像部の撮像画像から導出するための情報を指す。ここでは、代表撮像部のプレビュー画像のフォーカス領域を切り出したブロック画像を、フォーカス領域情報として取得する。具体的には、撮像ボタン１１０が半押しされたタイミングにおける代表撮像部のプレビュー画像から、フォーカス領域の画像を所定サイズのブロック画像として切り出す。図８は、切り出されたブロック画像の一例を示す図である。図８の（ａ）は、前述の図５の（ａ）に対応しており、被写体５０１にフォーカスを合わせた場合のブロック画像である。図８の（ｂ）は、前述の図５の（ｂ）に対応しており、被写体５０２にフォーカスを合わせた場合のブロック画像である。
【００５２】
ステップ７０３において、撮像制御部２０５は、ステップ７０２で取得したフォーカス領域情報を基に、代表撮像部以外の８個の撮像部（１０１〜１０４、１０６〜１０９）の各プレビュー画像から代表撮像部のフォーカス領域に対応する領域を導出する。そして、導出された対応領域を各撮像部のフォーカス領域（以下、「対応フォーカス領域」と呼ぶ。）として決定する。本実施例のようにフォーカス領域のブロック画像を利用する場合における対応する領域の導出には、例えば、テンプレートマッチング法を用いることができる。
【００５３】
テンプレートマッチング法は、テンプレート画像を用意し、導出対象の画像の中からテンプレート画像に相当する部分を検索する方法である。本実施例の場合、代表撮像部のフォーカス領域のブロック画像をテンプレート画像とし、導出対象となる他の撮像部における各プレビュー画像の任意の位置からテンプレート画像と同サイズのブロック画像を切り出し、テンプレート画像との差を求める。ここで、テンプレート画像とブロック画像間の差を表すものとしては、例えば下記式（１）で表わされるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）が利用可能である。
【００５４】
【数１】
2014134723.tif 000003
【００５５】
式（１）において、Ｔ（ｉ，ｊ）はテンプレート画像を示し、Ｉ（ｉ，ｊ）は導出対象となる代表撮像部以外の撮像部のプレビュー画像から切り出した任意の位置のブロック画像を示し、Ｗ及びＨはテンプレート画像及びブロック画像の横及び縦のサイズを示す。なお、テンプレート画像とブロック画像間の差を求める方法はＳＳＤに限られるものではなく、どのような方法で求めてもよい。そして、導出対象となる代表撮像部以外の撮像部のプレビュー画像の様々な位置から切り出したブロック画像についてテンプレート画像との差を求め、差が最も小さくなるブロック画像の位置を導出する。そして、テンプレート画像との差が最小となるブロック画像の領域を、その撮像部の対応フォーカス領域として決定する。なお、テンプレート画像との差が最小となるブロック画像の検索範囲は、プレビュー画像全体であってもよいし、各撮像部間の取り付け位置の関係等を考慮して、プレビュー画像の一部の範囲に限定してもよい。例えば、撮像部１０４における対応フォーカス領域を導出する場合、撮像部１０４は代表撮像部である撮像部１０５に対して水平方向に取り付け位置がずれているため、その対応フォーカス領域も水平方向にずれていると予想される。この場合、垂直方向の検索範囲については狭め、水平方向にのみ広い範囲で検索するようにしてもよい。
【００５６】
以上のような処理を代表撮像部以外の全ての撮像部に対して実施することで、各撮像部における対応フォーカス領域を導出することができる。図９は、フォーカス領域情報として図８の（ａ）に示すブロック画像を利用した場合における、テンプレートマッチングによって導出された各撮像部における対応フォーカス領域の一例を示す図である。撮像部１０１〜１０９にそれぞれ対応したプレビュー画像６０１〜６０９において、フォーカス枠９０１〜９０９がそれぞれ示されている。このうち、フォーカス枠９０５は代表撮像部のフォーカス領域を示し、フォーカス枠９０１〜９０４及び９０６〜９０９は導出された代表撮像部以外の撮像部における対応フォーカス領域を示している。このように、代表撮像部で決定したフォーカス領域に対応する領域を、他の撮像部のプレビュー画像の中から導出することができる。
【００５７】
なお、対応フォーカス領域の導出方法は、上述のテンプレートマッチングに限られるものではない。ステップ７０１で得たフォーカス領域情報を利用して他の撮像部におけるフォーカス領域を導出することが可能な方法であればどのような方法を用いてもよい。例えば、フォーカス領域情報として、コンピュータビジョンの対応点検索の分野で利用されるＳＩＦＴなどの画像の局所特徴量をフォーカス領域に関して計算した値を用いてもよい。この場合は、代表撮像部以外の撮像部で得られた画像の中から、求められた局所特徴量がフォーカス領域の局所特徴量と相当する領域を検索することで、代表撮像部のフォーカス領域に対応する領域を導出することができる。さらに、人物の顔にフォーカスを合わせる場合における当該人物の顔に関する顔認識用辞書データを、フォーカス領域情報として用いても構わない。この場合は、当該人物の顔に関する顔認識用辞書データを用いて、代表撮像部以外の撮像部で得られた画像の中から当該人物の顔に相当する領域を検索することで、代表撮像部のフォーカス領域に対応する領域を導出することができる。
【００５８】
また、本ステップにおける導出処理に先立ち、ステップ７０１での代表撮像部についての合焦処理で得られたフォーカス距離に、代表撮像部以外の各撮像部のフォーカスが合うように、各撮像部のフォーカスレンズ３０２を予め移動させておいてもよい。これにより、対応フォーカス領域の導出処理に要する時間を短縮することができる。
【００５９】
さらに、撮像部１０１〜１０９の取り付け位置及び姿勢の相対的な関係が予め判明している場合には、上述のような導出処理を行うことなく代表撮像部以外の他の撮像部における対応フォーカス領域を求めることもできる。すなわち、代表撮像部で得られた画像におけるフォーカス領域の座標位置、代表撮像部とフォーカス領域にある被写体までの距離から、各撮像部で得られた画像におけるフォーカス領域の座標を計算で求めてもよい。
【００６０】
図７のフローチャートの説明に戻る。
【００６１】
ステップ７０４において、撮像制御部２０５は、代表撮像部以外の各撮像部について、ステップ７０３で決定した各撮像部の対応フォーカス領域にフォーカスを合わせる合焦処理を行う。合焦処理の具体的な方法は、ステップ７０１の代表撮像部についての合焦処理と同様であるため、説明は省略する。
【００６２】
以上で、本実施例のフォーカス調整処理が完了する。
【００６３】
上述のとおり本実施例によれば、各撮像部が個別に合焦処理を行うため、撮像部の取り付け誤差などよって撮像部毎に撮像部と被写体との距離が異なる場合でも、全ての撮像部が同一の被写体に正確にフォーカスを合わせることが可能となる。
【００６４】
［実施例２］
実施例１では、代表撮像部で決定したフォーカス領域に対応する領域を、他の撮像部のプレビュー画像内から導出することで得ていた。しかしながら、他の撮像部の画像において常に対応フォーカス領域が導出できるとは限らない。例えば、ある撮像部からは見えているが別の撮像部からは他の物体に遮蔽されて見えない領域（オクルージョン領域）が生じている場合には、うまく対応フォーカス領域を導出できない可能性がある。また、カメラの視野（画角）の隅では視野が重複しない（ある撮像部からは見えるが、別の撮像部からは見えない）ので、この場合にもうまく対応フォーカス領域を導出できない可能性がある。代表撮像部から得たプレビュー画像を見ながらフォーカス領域を設定しようとする際に、他の撮像部でも当該設定しようとする領域がしっかり見えているのかどうかを判断することは難しい。そして、代表撮像部について設定されたフォーカス領域に対応する領域が見えていない撮像部が存在した場合、その撮像部では対応フォーカス領域を適切に導出することができなくなってしまう。
【００６５】
そこで、代表撮像部では見えているが、他の撮像部からは見えていない領域にフォーカスを合わせようとした場合の対処法を盛り込んだ態様について、実施例２として説明する。
【００６６】
なお、実施例１と共通する部分（撮像装置の基本的な構成や撮像手順など）については説明を簡略化ないしは省略し、以下では本実施例に特有な点を中心に説明することとする。
【００６７】
（フォーカス調整処理）
図１０は、本実施例に係るフォーカス調整処理の流れを示すフローチャートである。
【００６８】
ステップ１００１〜ステップ１００３は、実施例１に係る図７のフローチャートのステップ７０１〜ステップ７０３に相当する。すなわち、設定された代表撮像部についてフォーカス領域にフォーカスを合わせる合焦処理を行い（ステップ１００１）、続いて代表撮像部のフォーカス領域情報を取得する（ステップ１００２）。そして、取得したフォーカス領域情報を基に、代表撮像部以外の各撮像部における対応フォーカス領域を導出する（ステップ１００３）。
【００６９】
ステップ１００４において、撮像制御部２０５は、代表撮像部以外の他の撮像部のすべてにおいて、対応フォーカス領域の導出に成功したかどうかを判定する。具体的には、導出処理によって得られたテンプレート画像との差を予め設定した閾値と比較し、当該差が閾値以下であるかどうかによって判定する。この場合、テンプレート画像との差が閾値以下と判定された場合は対応フォーカス領域の導出成功、一方、テンプレート画像との差が閾値より大きいと判定された場合は対応フォーカス領域の導出失敗と判定される。このような判定処理の結果、代表撮像部以外のすべての撮像部について導出成功と判定された場合は、各撮像部について導出された領域をそれぞれの対応フォーカス領域として設定し、ステップ１００５に進む。一方、導出失敗と判定された撮像部が１以上あった場合は、導出成功と判定された撮像部について対応フォーカス領域の設定を行った上で、ステップ１００６に進む。
【００７０】
ステップ１００５において、撮像制御部２０５は、代表撮像部以外の各撮像部について、設定された対応フォーカス領域にフォーカスが合うように合焦処理を行う。
【００７１】
ステップ１００６において、撮像制御部２０５は、対応フォーカス領域が導出できないことをユーザに知らせる処理（警告の通知）を行う。図１１は、警告の一例を示す図であり、表示部１１１に他の撮像部で対応フォーカス領域が見つからないこと示すメッセージ「フォーカスできません」が表示されている。このような警告メッセージの表示と併せて（或いは表示に代えて）、例えばブザーなどの警告音を発するようにしてもよい。また、対応フォーカス領域の導出に成功した撮像部が所定の数以上存在する場合には、その旨を表示するメッセージ（不図示）を併せて表示部１１１に表示する等してもよい。このような警告を受けてユーザは、代表撮像部におけるフォーカス領域を再設定するか、あるいは、そのまま撮像を続行するかを判断することになる。
【００７２】
ステップ１００７において、撮像制御部２０５は、ユーザからの指示が撮像を続行する指示であるかどうかを判定する。この判定は、例えば上述のような警告を通知後、所定時間が経過するまでに半押し状態が解除されるかどうかによって行う（フォーカス領域の再設定を行う場合、ユーザは撮像ボタン１１０の半押し状態を解除することになるため）。この他にも、例えば撮像を続行するかどうかを確認するためのＵＩ画面（不図示）を表示部１１１に表示して、ユーザに撮像続行の意思を確認するようにしてもよい。本ステップで撮像を続行する旨のユーザ指示があったと判定された場合には、フォーカス調整処理を抜けて前述の図４のフローチャートのステップ４０２へ移行する。この場合、改めて代表撮像部におけるフォーカス領域の設定が行われる。一方、撮像を続行する旨のユーザ指示があったと判定された場合は、ステップ１００８に進む。
【００７３】
ステップ１００８において、撮像制御部２０５は、代表撮像部以外の撮像部のうち、対応フォーカス領域の導出に成功した撮像部について、ステップ１００４で設定された対応フォーカス領域にフォーカスが合うように合焦処理を行う。
【００７４】
ステップ１００９において、撮像制御部２０５は、ステップ１００８での合焦処理によって得られたフォーカス距離を取得し、これを対応フォーカス領域の導出に失敗した撮像部についての対応フォーカス距離として設定する。この際、撮像部と被写体との物理的な距離であるフォーカス距離そのものの取得に代えて、例えば合焦時のフォーカスレンズ３０２の位置など撮像部と被写体との距離に相関がある別の情報を取得して、そこからフォーカス距離を求めてもよい。さらに、対応フォーカス領域の導出に成功した撮像部が複数の場合は、例えば以下のようにして、導出に失敗した撮像部についての対応フォーカス距離を設定する。まず、全ての撮像部から見える同一の位置に全撮像部を合焦させた時の撮像部毎のフォーカス距離（基準フォーカス距離）の値をまとめたテーブルを予め作成し、ＲＡＭ２０２等に記憶しておく。そして、本ステップでこのテーブルを読み出し、基準フォーカス距離が最も近い撮像部についての合焦処理で得られたフォーカス距離を取得し、これを導出に失敗した撮像部についての対応フォーカス距離として設定する。或いは、このようなテーブルを参照せずに、対応フォーカス領域の導出に成功した複数の撮像部についての合焦処理で得られたフォーカス距離をすべて取得し、その平均値を求めて、導出に失敗した撮像部についての対応フォーカス距離として設定してもよい。
【００７５】
ステップ１０１０において、撮像制御部２０５は、対応フォーカス領域の導出に失敗した撮像部について合焦処理を行う。具体的には、ステップ１００９で設定された対応フォーカス距離に対応した位置に撮像部のフォーカスレンズ３０２を移動させて、フォーカスを調整する。
【００７６】
以上で、本実施例のフォーカス調整処理の動作が完了する。
【００７７】
本実施例によれば、代表撮像部において設定したフォーカス領域が何らかの影響で見えない撮像部がある場合に警告が行われ、ユーザは、フォーカス領域の再設定を行うか、そのまま撮像を続行するかを選択することができる。そして、撮像続行が選択された場合には、フォーカス領域が見えている撮像部のフォーカス距離を用いて、フォーカス領域が見えない撮像部のフォーカス調整を行うようにしている。これにより、代表撮像部において設定したフォーカス領域が見えない撮像部においても、おおよそのフォーカスを合わせることが可能となる。
【００７８】
（実施例３）
実施例１及び２では、代表撮像部で設定したフォーカス領域に対応する、他の撮像部の画像における領域を特定し、当該領域にフォーカスが合うよう各撮像部で合焦処理を行う態様であった。
【００７９】
撮像部１０１〜１０９の取り付け位置及び姿勢の相対的な関係が予め判明している場合には、代表撮像部で設定したフォーカス領域に対応する、他の撮像部の画像における領域の特定する段階を省略することも可能である。すなわち、代表撮像部で得られた画像におけるフォーカス領域の座標位置、代表撮像部からフォーカス領域にある被写体までの距離から、代表撮像部以外の各撮像部から被写体までの距離を算出する。そして、算出された距離を用いて、各撮像部のフォーカス調整を行ってもよい。
【００８０】
（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2014134723.tif 000004
【図２】
2014134723.tif 000005
【図３】
2014134723.tif 000006
【図４】
2014134723.tif 000007
【図５】
2014134723.tif 000008
【図６】
2014134723.tif 000009
【図７】
2014134723.tif 000010
【図８】
2014134723.tif 000011
【図９】
2014134723.tif 000012
【図１０】
2014134723.tif 000013
【図１１】
2014134723.tif 000014