(57)【要約】【課題】  照度ムラなく撮影することを目的とする。【解決手段】  被写体までの距離を示す奥行き情報を推定し、その奥行き情報に基づいて、撮像装置が有する複数の光源の発光特性を制御する。【選択図】  図４
2013160896.tif 000002
【特許請求の範囲】
【請求項１】
被写体までの距離を示す奥行き情報を推定する推定手段と、
前記奥行き情報に基づいて、撮像装置が有する複数の光源の発光特性を制御する制御手段と、
を有することを特徴とする制御装置。
【請求項２】
前記複数の光源は、出射角の異なる複数のグループによって構成されることを特徴とする請求項１に記載の制御装置。
【請求項３】
前記複数のグループは、広角な出射角を持つ第一のグループと、前記広角な出射角よりも狭い出射角を持つ狭角な出射角を持つ第二のグループとによって構成されることを特徴とする請求項２に記載の制御装置。
【請求項４】
前記制御手段は、前記複数の光源それぞれの光強度を制御することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項５】
前記制御装置を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
視点の異なる複数の撮像部を有する請求項５に記載の撮像装置。
【請求項７】
前記推定手段は、前記複数の撮像部により取得された画像データに基づいて奥行き情報を推定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
被写体までの距離を示す奥行き情報を推定する推定工程と、
前記奥行き情報に基づいて、撮像装置が有する複数の光源の発光特性を制御する制御工程と、
を有することを特徴とする制御方法。
【請求項９】
コンピュータを請求項１乃至４のいずれか１項に記載の制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照度ムラなく撮影するため複数の光源の発光特性を制御する方法に関する。
【背景技術】
【０００２】
従来、撮像装置（例：カメラ）から被写体までの距離（以下、奥行きと言う）に応じて光源（ストロボ等）の発光強度を制御することで、一定の照度で撮影する手法がある（特許文献１）。また、奥行きが異なる２つの被写体に対して、それぞれの被写体の距離に応じて、光源の発光特性を制御することで２つの被写体の照度を一定にして、撮影する手法がある。（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８７９４号公報
【特許文献２】特開平５−１８１１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的な被写体は平面ではないため、奥行きは一定ではない。そのため、特許文献１のようにある一点の距離もしくは平均的な距離によって、光源の発光強度を制御した場合、被写体の距離に応じて照射される光の強度が異なるため、照度のムラ（以下、照度ムラと言う）が発生してしまう。さらに、特許文献２のような場合でも、一般的な被写体において、被写体の奥行きは２点であることはないため、照度ムラを解消することはできない。そこで、本発明は、照度ムラなく撮影することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明の制御装置は、被写体までの距離を示す奥行き情報を推定する推定手段と、前記奥行き情報に基づいて、撮像装置が有する複数の光源の発光特性を制御する制御手段と、を有する。
【発明の効果】
【０００６】
本発明は、被写体の奥行きのあるシーンであっても、照度ムラなく撮影することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の画像入力装置の構成を示す図である。
【図２】実施例１の画像入力装置のシステムブロック図である。
【図３】実施例１の画像処理部のシステムブロック図である。
【図４】実施例１の画像入力装置のフローチャートである。
【図５】実施例１の奥行き推定を説明するための図である。
【図６】実施例１の光源構成を示した図である。
【図７】実施例１における光源発光分布生成を説明するための図である。
【図８】実施例１におけるＬＥＤ素子の電流と光強度の関係を示す図である。
【図９】実施例２における光源構成を示した図である。
【図１０】実施例３における画像入力装置の構成を示す図である。
【発明を実施するための形態】
【０００８】
［実施例１］
まず、実施例１の概要について述べる。本実施例では、多眼カメラと出射角度の異なるＬＥＤ素子を平面上に配置した光源（ストロボ等）を用いて、被写体の奥行きに基づき各ＬＥＤ素子の光強度を制御することで、奥行きのある被写体に対して照度ムラを解消するものである。
【０００９】
図１は実施例１における撮像装置の構成図を示している。１０１は撮像装置の筺体であり、視点の異なる複数の撮像部を持つ多眼撮像部１０２〜１１０を備える。また、撮像装置１０１の撮影を開始するための撮影ボタン１１１、および、撮像装置１０１を操作するための操作ボタン１１２を備える。さらに、撮影画像や操作画面などのユーザインタフェースを表示するための表示部１１３を備える。表示部１１３には、タッチスクリーン機能を有していてもよく、その場合、表示部１１３上におけるユーザ指示を入力として扱うことも可能である。また、光源１１４は被写体を撮影する際の補助光源として使用される。
【００１０】
図２は、本実施例における撮像装置１０１の内部構成を示すブロック図である。ＣＰＵ２０１は、各構成の処理に関わり、ＲＯＭ２０２およびＲＡＭ２０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。ＲＯＭ２０２には、撮像装置１０１を動作させるための命令のほかに、各処理ブロックで用いられるパラメータ等のデータも格納されている。撮像系制御部２０４では、多眼撮像部１０２〜１１０に対して、フォーカスを合わせる、絞りを調整する、シャッターを開く・閉じるなど撮影動作をＣＰＵ２０１から指示に基づき行う。制御部２０５では、撮影ボタン１１１や操作ボタン１１２からのユーザ指示によって、全体処理の開始及び終了の制御を行う。キャラクタージェネレーション部２０６では、文字やグラフィックなどを生成し、表示部１１３に表示を行う。Ａ／Ｄ変換部２０７では、複数の撮像部１０２〜１１０において、集光され電気信号に変化された被写体情報をデジタル信号のＲＡＷ画像データに変換する。画像処理部２０８では、Ａ／Ｄ変換部２０７にて変換されたＲＡＷ画像データに対して、現像処理や合成処理などの画像処理を行う。エンコーダ部２０９では、ＪＰＥＧなどに圧縮を行う。Ｄ／Ａ変換部２１０では画像処理部２０８にて画像処理を行った画像データをアナログ信号値に変換する。メディアＩ／Ｆ２１１は、ＰＣ／メディア２１４（ＰＣやメモリカードやＣＦカード、ＳＤカード、ＵＳＢメモリなどのメディア）につなぐためのインタフェースである。光源制御部２１２は光源１１４の発光強度や発光分布などを制御するための光源制御部である。システムバス２１３は指示データ、画像データ、パラメータデータなどの転送を行う。
【００１１】
図３は、図１の画像処理部２０８の内部構成を示す図である。３０１はプレ撮影画像データ、３０２は本撮影画像データ、３０３は出力サイズ及び画素ピッチデータを示している。３０４は光源発光分布データ、３０５は出力画像データ、３０６はプレ撮影画像データおよび本撮影画像データを入力するための画像データ入力部を示している。３０７は出力サイズ及び画素ピッチデータを入力するためのデータ入力部、３０８は光源発光分布データを出力するための光源発光分布データ出力部である。３０９は画像データを出力するための画像データ出力部、３１０はＲＡＷ現像処理部、３１１は奥行き推定部、３１２は光源発生分布生成部を示している。そして、３１３は画像合成部である。ここで、出力画像の画素サイズ（高さ、幅）や画素ピッチは予めＲＯＭ２０２に記憶されているとする。
【００１２】
図４は、実施例１における撮像装置１０１の処理の流れを示すフローチャートである。ステップＳ４０１では、絞り、焦点距離、シャッタースピード、ピント位置、さらに、光源を発光するかどうかなどの撮影条件を操作ボタン１１２により設定する。ステップＳ４０２では撮影ボタン１１１が押されたかどうかを判定する。押された場合にはステップＳ４０３に進み、押されていない場合には、ステップＳ４０１に戻る。ステップＳ４０３では、光源１１４を発光するかどうかを判定する。光源を発光する場合には、ステップＳ４０４に進み、そうでない場合には、ステップＳ４０８に進む。ステップＳ４０４では、被写体の奥行き情報を取得するためのプレ撮影を行う。ステップＳ４０５では、ステップＳ４０４にて取得した撮影画像データに対して、ＲＡＷ現像処理部３１０にて、ホワイトバランス、デモザイキング処理などのＲＡＷ現像処理を行う。ステップＳ４０６では、ステップＳ４０５にてプレ現像処理を行った画像データを用いて、奥行き推定部３１１にて奥行き推定を行う（詳細は後述する）。ステップＳ４０７では、ステップＳ４０６にて、取得した奥行き推定の結果を用いて、光源発光分布生成部３１２にて光源１１４の発光分布を生成する（詳細は後述する）。ステップＳ４０８では、光源発光を行う場合には、ステップＳ４０７において生成した発光分布を用いて本撮影を行う。本撮影は、多眼撮像部１０２〜１１０を駆動させることにより実行される。また、光源発光を行わない場合には、光源を発光させずに本撮影を行う。ステップＳ４０９では、ステップＳ４０８にて撮影した多眼画像データに対して、ＲＡＷ画像データに対して、上記と同様にＲＡＷ現像処理を行う。ステップＳ４１０では、ステップＳ４０９にて、ＲＡＷ現像処理した多眼画像データを画像合成部３１３にて、位置合わせ、露出合わせ、ホワイトバランス合わせなどを行い、リフォーカス合成やＨＤＲ合成することにより、一つの画像データを生成する。ステップＳ４１１では、ステップＳ４１０にて、合成した画像データに対して、ガンマ補正を行う。ステップＳ４１２では、ステップＳ４１１にて、ガンマ補正した画像データを表示部１１３に表示する。最後に、ステップＳ４１３では、ステップＳ４１１にて、ガンマ補正した画像データをメディアＩ／Ｆ２１１にて、ＰＣ／メディア２１４に出力する（詳細は後述）。
【００１３】
＜奥行き推定＞
ステップＳ４０６における奥行き推定について説明する。図５は奥行き推定方法を説明するための図である。多眼撮像部間の距離をＤ、焦点距離をｆ、二つの多眼撮像部によって撮影した画像位置をそれぞれｘ１、ｘ２とすると、奥行きＬは次式によって求めることができる。
【００１４】
【数１】
2013160896.tif 000003
【００１５】
ここで、ｘ２−ｘ１を視差と呼び、各多眼撮像部により撮影した画像データにおいて、対応点を算出する方法や、任意サイズの画像領域同士をマッチングすることで、算出することができる。また、上記の方法で算出される奥行きは、テキスチャーのない場所では、精度良く算出することができない。そこで、周囲の算出された奥行きから補間することにより最終的な出力画像サイズの奥行きデータを取得する。
【００１６】
本件では、奥行きの推定方法については、上記方法に限定されない。多眼撮像部による撮影画像データを用いて、奥行きを推定する形式であれば他の形式であってもよい。
【００１７】
＜光源発光分布生成＞
ステップＳ４０７の光源発光分布生成について説明する。まず、図６を用いて、本実施例における光源１１４の概要を説明する。本実施例において用いる光源は、ＬＥＤ素子を組み合わせたもので、それぞれの発光強度を任意に調整可能な構成である。また、いくつかの出射角が組み合わさった構成である。図６に示すように、ＬＥＤ素子６０１のグループは、比較的出射角が狭く（狭角な出射角を持つ第二のグループ）、ＬＥＤ素子６０２のグループは、広い構成（広角な出射角を持つ第一のグループ）となっている。
【００１８】
次に、上記構成の光源１１４を用いた光源発光分布生成について図７を用いて、説明する。
【００１９】
まず、出力する画像データが示す画像における画素位置（ｘ、ｙ）における取得した奥行きをＬ、画素ピッチをｐ、焦点距離をｆとすると、撮像装置１０１を中心とした３次元座標（Ｘ，Ｙ，Ｚ）は次式のように書くことができる。
【００２０】
【数２】
2013160896.tif 000004
【００２１】
また、光源のＬＥＤ素子（ｉ，ｊ）の３次元座標を（Ｘｉ，ｊ、Ｙｉ，ｊ、Ｚｉ，ｊ）とし、出射角をθｉ，ｊとするとし、さらに発光量が放射方向に等光量とすると、ＬＥＤ素子（ｉ，ｊ）によって照射される範囲（Ｗｘ，Ｗｙ）は次式のように書くことができる。
【００２２】
【数３】
2013160896.tif 000005
【００２３】
さらに、距離１、電流１におけるＬＥＤ素子（ｉ，ｊ）の発光強度をＥｉ，ｊとする。最終画像位置（ｘ、ｙ）におけるＬＥＤ素子（ｉ，ｊ）の照度分布Ｏｉ，ｊ（ｘ、ｙ）は、光源と対象物体までの距離の二乗に反比例することから、次式のように書くことができる。
【００２４】
【数４】
2013160896.tif 000006
【００２５】
すなわち、ＬＥＤ素子がＭ×Ｎあるとすると、光源１１４が最終画像位置（ｘ、ｙ）の照度分布Ｏ（ｘ、ｙ）は次式のように書くことができる。
【００２６】
【数５】
2013160896.tif 000007
【００２７】
最後に、本実施例では、被写体に照射する照度分布Ｏ（ｘ，ｙ）を一定することで照度ムラなく照射することが可能となる。平均照度分布をＯａｖｅ、高さ・幅の画素数をそれぞれ、ｈ、ｗとすると、次式のようにして、照度分布の標準偏差Ｏｓｔｄによって照度ムラ値を算出することができる。
【００２８】
【数６】
2013160896.tif 000008
【００２９】
この照度ムラ値をできるだけ小さくすることにより、照度ムラを少なくすることができる。ここで、図８に示すようにＬＥＤ素子の発光強度はＬＥＤ素子への電流値によって変化する。そこで、本実施例では、各ＬＥＤ素子への電流値を最適化することにより、照度ムラ値が最小となる発光強度を算出する。
【００３０】
なお、本実施例では、照度ムラを最小とする発光分布を最適化手法により算出すると説明したが、予め領域と被写体までの奥行きに基づき計算しておいたデータベースを参照する形式であっても構わない。
【００３１】
また、本実施例では、ＬＥＤ素子の発光量が放射方向に等光量としたが、これに限定されないのは言うまでもない。例えば、放射方向に異なる光量分布であっても構わない。
【００３２】
以上説明した処理制御を行うことで、奥行き範囲のある被写体であっても、照度ムラなく撮影するが可能となる。
【００３３】
また、複数の出射角を有することにより、様々な奥行きの被写体に対しても、照度ムラを解消することが可能となる。
【００３４】
［実施例２］
実施例１では、被写体の奥行き情報に基づき、ＬＥＤ素子の光強度を制御する方法について述べた。実施例２では、光強度を制御するのではなく、出射角を制御することにより、奥行きのある被写体の照度ムラを解消するものである。
【００３５】
図９は、本実施例における光源の一例を示している。９０１はＬＥＤ素子。９０２は出射角が制御可能な開口である。
【００３６】
処理フローについては、実施例１と等しく、図４のステップＳ４０７の光源発光分布生成のみ異なる。具体的には、実施例１では、数式２〜５において、各ＬＥＤ素子の光強度分布を最適化していたのに対して、出射角θを最適化する。
【００３７】
以上説明した処理制御を行うことで、奥行き範囲のある被写体であっても、照度ムラなく撮影するが可能となる。
【００３８】
［実施例３］
実施例１および２では、図１に示すように、光源１１４と撮像装置１０１が別構成となっていたが、本実施例では、図１０に示すように、同一構成であってもかまわない。
【００３９】
［その他の実施例］
実施例１〜３では、多眼カメラを用いた場合について説明した。しかしながら、撮像センサー上にマイクロレンズを配置により視差を取得することで奥行きを取得するＰｌｅｎｏｐｔｉｃカメラを用いてもよい。また、赤外線を照射し、反射光を取得することで奥行きを取得するカメラなど、被写体の奥行き情報を取得できるカメラであればこれに限定されるものではない。
【００４０】
また、実施例１では各ＬＥＤ素子の光強度を制御、実施例２では、出射角を制御するとしたが、光強度と出射角の両方を制御する形式であっても構わない。
【００４１】
また、本撮影時に多眼画像を取得し、合成することで１つの画像を生成するとしたが、これに限定されないのは言うまでもない。プレ撮影時には、多眼撮像部を用いて多眼画像を取得し、本撮影時には、多眼撮像部のうち適当な一つを用いて撮影する構成であっても構わない。
【００４２】
また、本実施例の光源の例としてＬＥＤ素子を上げたがこれに限定されないのは言うまでもない。各光源を制御できるものであれば何でもよい。
【００４３】
更に、実施例１〜３では、撮像装置が、光源の発光特性を制御する光源制御部２１２を備えるとしたが、光源制御部を撮像装置外に設けても良い。即ち、外部装置（例：ＰＣ）が光源制御部２１２の機能を有し、外部装置に有線又は無線で接続された撮像装置に備えられている光源の発光特性を制御しても良い。
【００４４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。」
【図１】
2013160896.tif 000009
【図２】
2013160896.tif 000010
【図３】
2013160896.tif 000011
【図４】
2013160896.tif 000012
【図５】
2013160896.tif 000013
【図６】
2013160896.tif 000014
【図７】
2013160896.tif 000015
【図８】
2013160896.tif 000016
【図９】
2013160896.tif 000017
【図１０】
2013160896.tif 000018