(57)【要約】【課題】多眼方式等の多視点撮像装置において、複数の撮像手段の有効・無効を制御することにより、消費電力を低減して長時間撮像を可能にすること。【解決手段】CPU200は、複数の個眼カメラ101を有効化する制御を行い、有効化された個眼カメラ101によって得られた撮像画像間の重なり合う領域の量を重なり領域導出部215で導出する。重なり領域導出部215での導出に基づいて、有効にする個眼カメラ101を決定する。【選択図】図３
2014050071.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段を有する撮像装置であって、
前記複数の撮像手段によって得られた撮像画像間の重なり合う領域の量を導出する導出手段と、  
前記導出手段による導出に基づいて、有効にする撮像手段を決定する決定手段と
を有することを特徴とする撮像装置。
【請求項２】
前記撮像装置の撮像状態および動作状態に応じて、前記複数の撮像手段を有効にする制御手段をさらに備え、
前記決定手段は、前記重なり合う領域の量と閾値との比較に基づいて、前記有効にする撮像手段を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
フレーミング状態、撮像準備状態、または撮像状態の途中で、前記閾値を変更する閾値変更手段をさらに備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記導出手段は、前記複数の撮像手段のそれぞれで、上下左右の辺の撮像画像間の前記重なり合う領域の量を導出することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記導出手段は、前記重なり合う領域の量が閾値より小さい場合に、前記複数の撮像手段から有効化する撮像装置を追加して、前記重なり合う領域の量を再度導出することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記有効にする撮像手段に電力を供給する供給手段をさらに備え、
前記供給手段は、供給電力を最小限に抑制する手段を有し、前記有効にする撮像手段にのみ電力を供給することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
複数の撮像手段を有する撮像装置の制御方法であって、
前記複数の撮像手段によって得られた撮像画像間の重なり合う領域の量を導出するステップと
前記導出手段による導出に基づいて、有効にする撮像手段を決定するステップと
を含むことを特徴とする制御方法。
【請求項８】
コンピュータを、
前記複数の撮像手段によって得られた撮像画像間の重なり合う領域の量を導出する導出手段と、  
前記導出手段による導出に基づいて、有効にする撮像手段を決定する決定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼方式のカメラ等の多視点撮像装置およびその制御方法に関し、より詳細には、複数の撮像手段のうち有効にする撮像手段を決定する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
写真を撮像する装置の一例であるカメラは、従来から単眼方式が用いられているが、近年は、複数の視点で撮像した画像（以下、複数視点画像）を用いて、単眼方式のカメラでは不可能な様々な機能を実現することが試みられている。例えば、非特許文献1に紹介されているリフォーカス処理が知られている。リフォーカス処理は、撮像後に撮像距離（ピント）や被写界深度を変更する画像処理で、「ピン暈け」などの画質問題を解消する技術として注目されている。
【０００３】
リフォーカス処理を実現する方式として、プレノプティック(plenoptic)方式と多眼方式が知られている。プレノプティック方式は、撮像センサの前にレンズアレイを配置し、レンズアレイの各レンズに入射する光を複数の撮像素子により記録することで、撮像デバイスに入射する光を分割記録する方式である。一方、多眼方式は、複数台の個眼カメラを組み合わせて、仮想撮像デバイスに入射する光を分割記録する方式である。
【０００４】
何れの方式も、撮像デバイスに入射する光を方向別に分割記録し、記録した光線群（光線情報）から所望する状態が得られる光線を選択し、それら光線を合成して、リフォーカス処理に代表される様々な画像処理を実現することができる。従って、何れの方式も、撮像デバイスに入射する光の分割（以下、視差という。）が細かいほど、調整可能な範囲が広がり、処理結果の画質を向上させることができる。
【０００５】
プレノプティック方式と多眼方式の違いは主に次の三点である。
【０００６】
（1）出力解像度の違い：プレノプティック方式は、レンズアレイを配置する構造上、撮像センサの解像度が一定な場合にレンズアレイの数を増やした分だけ解像度が低下してしまう。これに対して、多眼方式は、各個眼カメラの解像度に応じた出力解像度を得ることができる。
【０００７】
（2）視差の細かさの違い：プレノプティック方式のカメラ（以下、プレノプティックカメラという。）は、レンズアレイを構成するレンズで分割した微小な視差の光線情報を得ることができる。これに対して、多眼方式のカメラ（以下、多眼カメラという。）の視差は、個眼カメラ間の距離（基線長）に依存するため、微小な視差を得ることは容易ではない。従って、多眼カメラにおいては、基線長をできるだけ小さくするために、個眼カメラをできるだけ密に配置する必要がある。
【０００８】
（3）消費電力の違い：プレノプティックカメラは、一般的なディジタルカメラの撮像センサの前にレンズアレイを追加した構成を有し、その消費電力は、ベースのディジタルカメラと同等である。これに対して、多眼カメラは、多数の個眼カメラで構成されているので、個眼カメラの数に応じて消費電力が上昇する。
【０００９】
ここで、多眼カメラにおける消費電力の問題に対しては、カメラの一部の構成機器の電源をオフして省電力化する技術が提案されている。例えば、特許文献１には、ズームの設定値に応じて、イメージセンサやクロックドライバをオフする電力供給制御をする技術が記載されている。
【００１０】
しかし、特許文献１に記載された技術では、レンズのズーム設定値に合わせて有効センサを決定しているため、機械的なレンズズームがないカメラや、複数の被写体を撮像する場合などに適切な有効センサを選択できない。これにより、消費電力を低減することができないという問題があった。
【００１１】
ここで、多眼カメラにおいては、カメラと被写体との距離に応じて、隣り合う個眼カメラの撮像画像間の重なり合う領域の量が異なる。言い換えれば、画角を最大限にとりつつ消費電力を抑えるためには、隣り合う個眼カメラの撮像画像間の重なり合う領域の量の情報を得て、必要な個眼カメラのみをオンすることが重要になる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2007-43337号公報
【非特許文献】
【００１３】
【非特許文献１】R. Ng, M. Levoy, et al.「Light Field Photography with a Hand-Held Plenoptic Camera」Stanford University Computer Science Tech Report CSTR 2005-02、2005年4月
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、このような問題に鑑みてなされたものであり、多眼方式等の多視点撮像装置において、複数の撮像手段の有効・無効を制御することにより、消費電力を低減して長時間撮像を可能にすることを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、このような目的を達成する一手段として、以下の構成を備える。
【００１６】
本発明は、複数の撮像手段を有する撮像装置において、複数の撮像手段によって得られた撮像画像間の重なり合う領域の量を導出する導出手段と、導出手段による導出に基づいて、有効にする撮像手段を決定する決定手段とを有することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、多眼方式等の多視点撮像装置において、複数の撮像手段の有効・無効を制御することにより、消費電力を低減して長時間撮像を可能にすることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態における多眼カメラの概観を説明する概観図である。
【図２】本発明の一実施形態における多眼カメラの概観を説明する概観図である。
【図３】本発明の一実施形態における多眼カメラの構成例を説明するブロック図である。
【図４】本発明の一実施形態における個眼カメラの配置例を示す図である。
【図５】本発明の一実施形態における多眼カメラの状態遷移を説明する状態遷移図である。
【図６】本発明の一実施形態における有効個眼カメラの決定指針を説明する図である。
【図７】本発明の一実施形態における指針例に基づく有効個眼カメラの決定処理を説明するフローチャートである。
【図８】本発明の一実施形態における有効個眼カメラの決定方法を表すフローチャートである。
【図９】本発明の一実施形態における重なり量の導出方法を表す図である。
【図１０】本発明の一実施形態における有効個眼カメラの決定例を表す図である。
【図１１】本発明の一実施形態における指針例に基づく有効個眼カメラの決定処理を説明するフローチャートである。
【図１２】本発明の一実施形態における指針例に基づく有効個眼カメラの決定処理を説明するフローチャートである。
【図１３】本発明の一実施形態における多眼カメラが異なる画角の個眼カメラを備える場合を表す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施例の撮像装置とその制御方法を詳細に説明する。
【実施例１】
【００２０】
［装置の概観］
図１の概観図により本実施例の多眼方式の多視点撮像装置（以下、多眼カメラという。）の概観を説明する。
【００２１】
図１に示すように、多眼カメラ100の正面には、個眼カメラ101を複数配置したカメラアレイが配置されている。個眼カメラ101はそれぞれ、撮像レンズ102、光学フィルタ103、撮像デバイス104、および周辺回路105を備えている。多眼カメラ100の上部には、撮像開始を指示するレリーズボタン106が配置されている。このようなカメラアレイによる同時撮像によって複数視点画像が得られる。
【００２２】
図２に示すように、多眼カメラ100の背面には、表示部107、十字状に配置されたキー群108、電源ボタン109、メニューボタン110、決定ボタン111、およびキャンセルボタン112などが配置されている。
【００２３】
また、多眼カメラ100の側面には、半導体メモリカードのような記録媒体を装着するメモリカードスロット113が配置されている。なお、メモリカードスロット113の代わりにUSBなどのシリアルバスインタフェイスを配置して、シリアルバスを介してハードディスクドライブなどの記憶装置を接続してもよい。
【００２４】
なお、本実施例の多眼カメラ100は、光学ファインダの代わりに、フレーミング操作（ピントや構図の確認）には表示部107に表示される画像を用いている。表示部107の表示画面には、撮像範囲をリアルタイムに表示するライブビュー表示、および、メニューボタン110が押された場合のカメラ設定メニュー表示などがある。なお、カメラ設定メニューが表示された状態でメニューボタン110が押されると、表示部107の表示画面はライブビュー表示に復帰することができる。
【００２５】
カメラ設定メニューが表示された状態において、ユーザは、設定項目を選択し、選択した設定項目の状態をキー群108を操作して変更し、決定ボタン111を押して変更を決定するか、キャンセルボタン112を押して変更をキャンセルすることができる。カメラ設定メニューにより変更が可能な設定項目には、動画撮像・静止画撮像などの撮像モードの切り替え、絞り値、シャッタスピードなどがある。
【００２６】
以下の説明において、絞り値、シャッタスピード、およびズーム位置は、カメラアレイを構成する個眼カメラ101それぞれについてすべて同値に設定されるとして説明を行うが、個眼カメラ101それぞれに異なる値を設定してもよい。
【００２７】
［装置の構成］
図３のブロック図により本実施例の多眼カメラの構成例を説明する。
【００２８】
ワンチップマイクロプロセッサ(CPU)200は、内蔵するROMなどに格納された制御プログラムを実行して、各個眼カメラ101が出力する画像データを画像処理するとともに、後述する各構成を制御して多眼カメラ100全体の動作を制御する。CPU200の制御対象には、LCDなどの表示部107の表示制御、表示部107のバックライトの制御、各個眼カメラ101の電源制御などがある。
【００２９】
各個眼カメラ101は、撮像レンズ102、光学フィルタ103、撮像デバイス104、および周辺回路105などで構成される。周辺回路105には、個眼カメラ制御回路203、画像処理回路204、個眼カメラ101の電源回路205などが含まれる。また、CPU200には、接地されたスイッチSW1ないしスイッチSW3が接続されている。さらに、CPU200には、電源制御回路208、バッファメモリ210、画像処理部211、バックライト照明212、LCDモニター213、記憶装置214、および重なり領域導出部215が接続されている。
【００３０】
個眼カメラ制御回路203は、撮像レンズ102の各種制御やシャッタ制御などを行う。例えば、撮像距離に合わせて撮像レンズ102を駆動する撮像距離制御、絞り値に合わせて撮像レンズ102内の絞りを駆動する絞り制御、および露出時間に合わせて撮像デバイス104を駆動するシャッタ制御を行う。
【００３１】
画像処理回路204は、撮像デバイス104が出力する画像信号を処理した画像データをバッファメモリ210に転送する。画像処理部211は、バッファメモリ210に格納された画像データを用いて記録装置214に格納する画像データの形式に応じた画像データを生成する。電源回路205は、詳細は後述するが、多眼カメラ100の状態に応じて電源制御回路208によって制御される。
【００３２】
スイッチSW1はレリーズボタンに連動し、レリーズボタンを完全に押した状態で閉となり、押していない状態または半押しの状態で開となるスイッチである。また、スイッチSW2は低消費電力フレーミング撮像モードに連動するスイッチで、低消費電力フレーミング撮像モードがONの場合に閉となり、低消費電力フレーミング撮像モードがOFFの場合に開となるスイッチである。スイッチSW3は低消費電力撮像モードに連動するスイッチで、低消費電力撮像モードがONの場合に閉となり、低消費電力撮像モードがOFFの場合に開となるスイッチである。多眼カメラ100が静止画撮像モードにある場合に、レリーズボタン106を途中まで押した状態（半押状態）にすると多眼カメラ100は撮像準備状態になる。また、スイッチSW1は、レリーズボタン106を最後まで押した状態（全押状態）で閉になり、スイッチSW1が閉になると多眼カメラ100は静止画の撮像を開始する。そして、撮像準備状態において決定した露光時間の経過後、多眼カメラ100は静止画の撮像を終了し、撮像した静止画を例えばメモリカードスロット113に装着された記録装置214に格納する。
【００３３】
多眼カメラが動画撮像モードにある場合、レリーズボタン106の全押状態でスイッチSW1が閉になり、スイッチSW1が閉になると多眼カメラ100は動画撮像（録画）を開始する。動画撮像の開始後、再度レリーズボタン106を全押するとスイッチSW1が開になり、多眼カメラ100は動画撮像を停止して、撮像した動画を例えばメモリカードスロット113に装着された記録装置214に格納する。なお、動画撮像中、フレーミング中、または撮像準備中は、ズーム操作によって撮像レンズ102の画角を変更することができる。スイッチSW2は、フレーミング時または撮像準備期間に、センサやクロックドライバなどを間引き動作させるかどうかを選択する低消費電力フレーミング撮像モードをオンすることで閉じ、オフすることで開くスイッチである。スイッチSW3は、撮像期間にセンサやクロックドライバなどを間引き動作させるかどうかを選択する低消費電力フレーミング撮像モードをオンすることで閉じ、オフすることで開くスイッチである。
【００３４】
［個眼カメラの配置］
図４に、個眼カメラ101の配置例を示す。図４（ａ）から（ｄ）において、矩形は各個眼カメラ101を表し、矩形の並びは多眼カメラ100を正面から観た場合の個眼カメラ101の配置例を表す。図４（ａ）は、個眼カメラ101の行と列を揃えた矩形のカメラアレイ形状から、最外周の四角に位置する各５つずつの個眼カメラ101を取り除いた配置パターンである。図４（ｂ）は、各個眼カメラ101が行ごとに互い違いとなるちょうちん形状のカメラアレイの配置パターンである。図４（ｃ）は、個眼カメラ101の行と列を揃えた矩形のカメラアレイ形状の配置パターンである。図４（ｂ）は、各個眼カメラ101が行ごとに互い違いとなる矩形のカメラアレイの配置パターンである。以下では、多眼カメラ100の個眼カメラ101の配置が図４（ａ）に示す配置パターンとして説明を行う。
【００３５】
［状態遷移］
図５の状態遷移図を用いて、多眼カメラ100の状態遷移を説明する。多眼カメラ100の動作状態は、電源ボタン109の操作により、スタンバイ状態S10とライブビュー状態（フレーミング状態）S11の間を遷移する。
【００３６】
静止画撮像モードには、一般に、構図調整（フレーミング状態）、撮像準備状態S12（フォーカシング、露出決定）、静止画撮像状態S13があり、これら三状態を経るシーケンスによって画像が取得される。一方、動画撮像モードにおいては、ライブビュー状態S11から録画を開始して動画撮像状態S14になり、その後、録画を終了してライブビュー状態S11に戻るシーケンスで動画データを取得することが多い。
【００３７】
本実施例においては、撮像モード、並びに、フレーミングまたは撮像準備、および静止画撮像（または動画撮像）のうち二つの状態を組み合わせた動作状態について、それぞれ異なる電源制御方法を採用する。
【００３８】
以後の説明において、電力を供給して有効にする個眼カメラ101を「有効個眼カメラ」、有効個眼カメラ以外の省電力モードを設定する個眼カメラ101を「無効個眼カメラ」と呼ぶ。無効個眼カメラの撮像デバイス104、並びに、周辺回路105の主要部（個眼カメラ制御回路203、画像処理回路204）には、電力を供給しないか、供給電力を最小限に抑制する。その結果、有効個眼カメラから出力される画像データのみがバッファメモリ210に転送される。
【００３９】
［有効個眼カメラの決定指針］
図５を用いて、有効個眼カメラの決定指針を説明する。
【００４０】
図６に示されている各撮像モードについて示す。
【００４１】
≪低消費電力フレーミング撮像モード≫
低消費電力フレーミング撮像モードがONの時は、フレーミング時または撮像準備時において、個眼カメラ101の一部のみを有効個眼カメラとして駆動させる。低消費電力フレーミング撮像モードがOFFの時は、すべての個眼カメラ101を有効個眼カメラとして駆動させる。
【００４２】
≪低消費電力撮像モード≫
低消費電力撮像モードがONの時は、撮像時において、個眼カメラ101の一部のみを有効個眼カメラとして駆動させ、低消費電力撮像モードがOFFの時は、全ての個眼カメラ101を有効個眼カメラとして駆動させる。
【００４３】
ここで、低消費電力フレーミング撮像モードと低消費電力撮像モードは、独立に設定することができる。図６において、矩形および矩形の並びは、図４と同様に、各個眼カメラ101とその配置を示す。また、白抜きの矩形は無効個眼カメラを、ハッチングした矩形は有効個眼カメラを示す。有効個眼カメラの決定は、例えば以下の指針に基づいて行う。
【００４４】
≪指針1（低消費電力フレーミング撮像モードがONの時）≫
多眼カメラ100の各個眼カメラ101で得られた撮像画像間の重なり合う領域の量を導出する。次に、任意の個眼カメラ101の撮像画像とその周辺にある複数の個眼カメラ101の撮像画像との重なり合う領域の割合を求める。その割合が100%、かつ、周辺の個眼カメラ101同士の重なり合う領域の割合が閾値1以上（例えば10%）となるような任意のカメラを無効個眼カメラとし、その周辺の個眼カメラ101を有効個眼カメラとする。
【００４５】
≪指針2（低消費電力フレーミングまたは低消費電力の撮像モードがOFFの時≫
低消費電力フレーミング撮像モードがOFFの場合は、フレーミング撮像期間と撮像準備期間に全ての個眼カメラ101を有効個眼カメラとする。低消費電力撮像モードがOFFの場合は、撮像期間に全ての個眼カメラ101を有効個眼カメラとする。モードの切り替えは、被写体の動きの速さなどを見て自動で判断する方式であっても良いし、ユーザが任意に選択する方式であっても良い。
【００４６】
≪指針3（低消費電力撮像モードがONの時）≫
多眼カメラ100の各個眼カメラ101で得られた撮像画像間の重なり合う領域の量を導出する。次に、任意の個眼カメラ101の撮像画像とその周辺にある複数の個眼カメラ101の撮像画像との重なり合う領域の割合を求める。その割合がが100%、かつ、周辺個眼カメラ101同士の重なり合う領域の割合が、閾値2以上（例えば20%）となるような任意の個眼カメラ101を無効個眼カメラとし、その周辺の個眼カメラ101を有効個眼カメラとする。閾値2は、被写体の動き量や距離に応じて変更することが出来るように可変可能にすることができ、閾値1と同じ値を用いることも可能である。閾値1および閾値2の決定方法については、以下の［閾値の決定方法］で説明する。
【００４７】
図７のフローチャート及び図５の状態遷移図を用いて、上記の指針１ないし指針３に基づく有効個眼カメラの決定処理を説明する。なお、CPU200は、動作モードおよび撮像シーケンスに対応するステータスフラグの値を判定して多眼カメラ100の動作状態を判定する。
【００４８】
CPU200は、多眼カメラ100が低消費電力フレーミング撮像モードであるか否かを判定する(S601)。低消費電力フレーミング撮像モードである場合は(S601-YES)、多眼カメラ100がフレーミング状態S11又は撮像準備状態S12にあるか、動画撮像状態S14又は静止画撮像状態S13にあるかを判定する(S602)。そして、フレーミング状態S11又は撮像準備状態S12にある場合は、指針1に基づいて各個眼カメラ101間で撮像画像の重なり合う領域を導出し、有効個眼カメラを決定する(S604)。次に、有効個眼カメラを決定してから一定時間以内であるか否かを判定する(S607)。一定時間以内ではない場合は(S607-NO)、すでに決定している前回の有効個眼カメラの更新を行うため、指針1に基づいて撮像画像間の重なり量を導出し、再度有効個眼カメラを決定する(S606)。
【００４９】
一方、状態判定S602において、撮像状態S13又は動画撮像状態S14の場合、低消費電力撮像モードか否かを判定する(S605)。低消費電力撮像モードである場合(S605-YES)、指針3に基づいて適合する個眼カメラ101を有効個眼カメラにする(S610)。低消費電力撮像モードではない場合は(S605-NO)、指針2に基づいて適合する個眼カメラ101を有効個眼カメラにする(S606)。なお、個眼カメラ101の有効化にかかる時間が長く、撮像する際の時間遅延が大きくなる場合は、撮像準備状態S12から、指針2に基づいて適合する個眼カメラ101を有効個眼カメラにする。
【００５０】
また、低消費電力フレーミング撮像モード判定S601において、NOである場合は多眼カメラ100がフレーミング状態S11又は撮像準備状態S12にあるか、動画撮像状態S14又は静止画撮像状態S13にあるかを判定する(S603)。ここで、フレーミング状態S11又は撮像準備状態S12である場合は、指針2に基づいて適合する個眼カメラ101を有効個眼カメラにする(S608)。
【００５１】
一方、状態判定S603において、撮像状態S13又は動画撮像状態S14の場合、低消費電力撮像モードか否かを判定する(S605)。低消費電力撮像モードがONである場合は(S605-YES)、指針3に基づいて適合する個眼カメラ101を有効個眼カメラにする(S610)。次に、有効個眼カメラを決定してから一定時間以内であるか否かを判定する(S611)。一定時間以内ではない場合は(S611-NO)、有効カメラの更新を行うため、指針3に基づいて撮像画像間の重なり量を導出し(S612)、再度有効個眼カメラを決定する(S610)。また、低消費電力撮像モードではない場合は(S605-NO)、指針2に基づいて適合する個眼カメラ101を有効個眼カメラにする(S608)。
【００５２】
その後、CPU200は、多眼カメラ100の状態が遷移したか否かを判定し(S609)、状態が遷移すると処理を低消費電力フレーミング撮像モード判定のステップ(S601)に戻す。状態が遷移しない場合は、有効個眼カメラの決定処理が終了したかを判定する(S613)。有効個眼カメラの決定処理が終了していないときは再度多眼カメラ100の状態が遷移したか否かを判定し(S609)、有効個眼カメラの決定処理が終了したときはこの処理を終了する。
【００５３】
有効個眼カメラのその他の更新方法に関しては、「実施例２」で後述する。
【００５４】
以下では、図８のフローチャート図を用いて、有効個眼カメラの決定方法の詳細を説明する。
【００５５】
まず、図８に記述している各個眼カメラ101の重なり量の導出方法について説明する。
【００５６】
［重なり量の導出方法］
図９に重なり量の導出方法を図示する。各個眼カメラ101の重なり量は、各個眼カメラ101の上下左右の4辺の重なり量をそれぞれ導出して求める。図９(a)では、各個眼カメラ101の上下の重なり量の導出方法を示している。ここでは、簡単のため図４(c)の配列でｎ列×ｍ行個の個眼カメラが配置されている事を想定する。
【００５７】
上下の重なり量は、「上または下の個眼カメラと重なり合っている領域の画角／n列m行目の個眼カメラの垂直方向の画角」で表される。例えば図９(a)では、
n列m行目の個眼カメラの下辺重なり量[%]=（B/A）×100
n列m行目の個眼カメラの上辺重なり量[%]=（C/A）×100
として求めることができる。
【００５８】
一方、図９(b)では各個眼カメラ101の左右の重なり量の導出方法を示している。左右の重なり量は、「左右のカメラの重なり合っている領域の画角／n列m行目の個眼カメラの水平方向の画角」で表される。例えば図９(b)では、
n列m行目の個眼カメラの右辺重なり量[%]=（E/D）×100
n列m行目の個眼カメラの左辺重なり量[%]=（F/D）×100
として求めることができる。
【００５９】
以上より、各個眼カメラ101の上下左右のトータルの重なり量は、
「（他の個眼カメラと重なっている領域の画角/n列m行目の個眼カメラの画角）×100」
と表せる。図９(c)の個眼カメラ101の配置を例にとると、トータルの重なり量は、
【００６０】
【数１】
2014050071.tif 000003
【００６１】
となる。
【００６２】
［有効個眼カメラの決定方法］
CPU200において、すでに決定している前回の有効個眼カメラを更新するのか、新たに有効個眼カメラを決定するのかを判定する(S701)。
【００６３】
新規で有効個眼カメラを決定する場合は(S701-NO)、CPU200で電源制御回路208を制御して、全個眼カメラを有効化する(S702)。
【００６４】
一方、有効個眼カメラを更新する場合は(S701-YES)、前回の有効個眼カメラの情報を用いて、個眼カメラ101を有効化する(S703)。S702またはS703のステップの処理後に、CPU200は、有効化した個眼カメラ101によって取得した画像データを、バッファメモリ210と画像処理部211を介して重なり領域導出部215へ転送し、有効個眼カメラの画像情報を入手する(S704)。画像情報の入手後に、CPU200で重なり領域導出部215を制御し、各個眼カメラ101間の重なり量の導出を行う(S705)。
【００６５】
重なり量を導出した後に、トータルの重なり量が100％となる個眼カメラ101を除き、残った個眼カメラ101で重なり量を再度導出する(S706)。また、再導出された各個眼カメラ101における上下左右の各重なり量が、あらかじめ設定された閾値以下（例えば10%以下）のものが存在するか否かを判定する(S707)。
【００６６】
閾値以下の個眼カメラ101が存在した場合は、閾値以下の領域の両側に位置する2つの有効個眼カメラ間の中央に位置する個眼カメラ101を電源制御回路208を通じて追加で有効化し(S708)、2つの個眼カメラ101間の重なり量を再度導出する(S709)。2つの個眼カメラ101間の個眼カメラ101の個数が偶数であった場合には、中央部の2個の個眼カメラ101のうち予め定められた片方（例えば右側）の個眼カメラ101を有効化する。すべての個眼カメラ101の左右上下各辺の重なり量が閾値を越えると、CPU200は重なり量の導出で用いた個眼カメラ101を有効個眼カメラと決定する(S710)。例として、個眼カメラを1からn個まで水平に並べた場合の、新規で有効個眼カメラを決定する前述の処理を図１０(a)から(d)に示す。
【００６７】
図１０(a)ではS701、S702、S704、S705の処理である、全個眼カメラを有効化し、有効個眼カメラから画像情報を入手した後、各個眼カメラの重なり量の導出を行う。図１０(b)ではS706、S707の処理である、トータルの重なり量が100%の個眼カメラ2から個眼カメラn-1までを除いて、左右の重なり量を再度導出する。本実施例では、再導出の結果個眼カメラ1と個眼カメラｎとの左右の重なり量が0%と判定される。図１０(c)では処理S708、S709に該当する、左右の重なり量0%の個眼カメラ1と個眼カメラnの中央の個眼カメラである、個眼カメラn/2番目を有効化して、それぞれの左右の重なり量を再度導出する。この際n/2番目が割り切れない数であった場合は、中央付近の左右どちらか予め決められた側の個眼カメラを有効化して、再度導出する。その結果、個眼カメラ1、個眼カメラ2、および個眼カメラn/2のそれぞれの左右の重なり量が0%と判定される。
【００６８】
次に、図１０(d)に示すようにS707、S708、S709において2巡目のループ処理を行う。ループ処理では、個眼カメラ1と個眼カメラn/2の中央の個眼カメラn/4、および個眼カメラn/2と個眼カメラｎの中央の個眼カメラ3n/4を追加で有効化して、それぞれの左右の重なり量を再度導出する。
【００６９】
結果として、全ての個眼カメラの左右各辺の重なり量が閾値を越えた場合にS710の処理に以降し、直前の左右の重なり量導出で用いた個眼カメラ1、n/4、2/n、3n/4、およびnが有効個眼カメラと決定される。
【００７０】
S707の処理において、カメラアレイの端に位置する個眼カメラに関しては、一方向が他の個眼カメラに面していないため、他の個眼カメラと面している左右上下の辺のみの重なり量を導出して判定する。
【００７１】
本実施例によれば、多視点撮像装置である多眼カメラの撮像モードおよび動作状態に応じて、カメラアレイを構成する複数の個眼カメラのうち、必要な個眼カメラのみを有効化する制御をすることができる。その結果、多眼カメラの消費電力を低減し、長時間撮像を可能にすることができる。
【００７２】
［閾値の決定方法］
低消費電力フレーミング撮像モードおよび低消費電力撮像モードのそれぞれにおける有効個眼カメラの決定基準である閾値1および閾値2は、いずれも予め定めた固定値としてよい。また、これらの値は、被写体との距離や被写体の動きの量、またはカメラのズーミングに応じて、可変の値としてもよい。可変の値とする場合は、閾値変更手段によって、閾値を変更する。具体的には、被写体との距離をステレオ法による距離推定やAFセンサを用いてCPU200で推定し、被写体との距離が遠い場合には閾値を小さい値に設定し、被写体との距離が近い場合には閾値を大きい値に設定する。また被写体の動きの量に応じた値とする場合も同様に、CPU200で被写体の動きベクトルを導出し、動きの量が大きい被写体に対しては閾値を大きくして冗長領域を大きくとり、動きの量が小さい被写体に対しては閾値を小さくする。
【００７３】
また、有効個眼カメラを間引いた状態でズーミング操作により画角を狭めると、被写体の動きに対して各個眼カメラの撮像範囲の重複領域が大きく変化する。従って、多眼カメラ100がズーム機能を有する場合は、画角に応じて冗長な撮像領域である閾値を変化させることが望ましい。
【００７４】
例えば、焦点距離の範囲が28mmから300mm（35mm換算時）の多眼カメラ100の場合は、28mm-50mmの範囲のときに、閾値1および閾値2をそれぞれ10%とする制御をCPU200で行う。また、50mm-100mmの範囲のときに、閾値1および閾値2をそれぞれ20%とする制御をCPU200で行う。このように、焦点距離に基づいて有効個眼カメラを切り替えることで、ズーミング操作に伴って撮像範囲の重複領域の急激な変化が起きる問題に適切に対処することができる。
【００７５】
［実施例２］
実施例１では、図７示すように有効個眼カメラの決定からの経過時間を判定基準として再導出を行ったが、時間経過による被写体の変化に合わせて有効個眼カメラを設定することが望ましい。したがって、図１１に示すように、重なり量がある閾値以上か否かを判定し(S614、S615)、該当エリアのカメラを有効化して再度指針1または指針3に基づいて有効個眼カメラを選択(S606、S612)してもよい。
【００７６】
また、その他の有効個眼カメラの更新方法として、図１２に示すように、被写体の動きの量が閾値以下か否かを判定し(S616、S617)、有効個眼カメラを更新することができるが、重なり量の再導出をする判定基準はこれらの方法に限定されるものではない。
【００７７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【００７８】
図１３は、多眼カメラが異なる画角の個眼カメラを備える場合について示した図である。図１３(a)は広角レンズと望遠レンズを備えた個眼カメラが交互に入り組んだ構成の図である。このように画角の異なる個眼カメラで構成された場合も、広角レンズの個眼カメラ群と望遠レンズの個眼カメラ群に分け、それぞれの個眼カメラ群で実施例１と同様に処理を行う事で図１３(b)のように、有効個眼カメラを決定する。望遠レンズを用いた個眼カメラは画角が狭いため、広角レンズを用いた個眼カメラと比較して同じ被写体を撮像する場合は、より多くの個眼カメラを有効化する必要がある。
【００７９】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８０】
100…多眼カメラ
101…個眼カメラ
102…撮像レンズ
103…光学フィルタ
104…撮像デバイス
105…周辺回路
106…レリーズボタン
107…表示部
108…キー群
109…電源ボタン
110…メニューボタン
111…決定ボタン
112…キャンセルボタン
113…メモリカードスロット
200…マイクロプロセッサ(CPU)
203…個眼カメラ制御回路
204…画像処理回路
205…電源回路
SW1、SW2、SW3…スイッチ
208…電源制御回路
210…バッファメモリ
211…画像処理部
212…バックライト照明
213…LCDモニター
214…記憶装置
215…重なり領域導出部
S10…スタンバイ状態
S11…ライブビュー状態（フレーミング状態）
S12…撮像準備状態
S13…静止画撮像状態
S14…動画撮像状態
【図１】
2014050071.tif 000004
【図２】
2014050071.tif 000005
【図３】
2014050071.tif 000006
【図４】
2014050071.tif 000007
【図５】
2014050071.tif 000008
【図６】
2014050071.tif 000009
【図７】
2014050071.tif 000010
【図８】
2014050071.tif 000011
【図９】
2014050071.tif 000012
【図１０】
2014050071.tif 000013
【図１１】
2014050071.tif 000014
【図１２】
2014050071.tif 000015
【図１３】
2014050071.tif 000016