(57)【要約】【課題】焦点距離が異なる複数のカメラにより撮影された同じ撮影対象の複数の画像を、撮影対象を追跡するように選択、合成して出力画像を生成するとき、合成画像の画質を向上させるとともに、連続する画像間の繋がりを滑らかにする。【解決手段】選択、合成して得られた画像の、撮影対象の追跡に伴うズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの変化を低減するように、カメラ１の撮影モジュールのズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つを制御する。【選択図】図１
2008172523.tif 000002
【特許請求の範囲】
【請求項１】
同じ撮影対象を撮影する焦点距離が異なる複数のカメラを備え、該各カメラはそれぞれ１つ以上の撮影モジュールを有し、該各撮影モジュールにより撮影された複数の画像を、前記撮影対象を追跡するように選択、合成して得られた画像を記録する多焦点カメラ装置において、
前記撮影モジュールは、独立してズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つの制御が可能であり、
前記選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの、前記撮影対象の追跡に伴う変化を低減するように、前記撮影モジュールを制御する制御手段を備えたことを特徴とする多焦点カメラ装置。
【請求項２】
前記各撮影モジュールにより撮影された複数の画像から前記撮影対象の位置を追跡する追跡手段と、
前記追跡手段による前記撮影対象の追跡情報から前記各撮影モジュールのうち前記選択、合成に使用される画像を撮影する撮影モジュールを選択する選択手段とを有するものであることを特徴とする請求項１記載の多焦点カメラ装置。
【請求項３】
同じ撮影対象を撮影する焦点距離が異なる複数の、それぞれ１つ以上の撮影モジュールを有するカメラを備え、各撮影モジュールにより撮影された複数の画像を、前記撮影対象を追跡するように選択、合成して得られた画像を記録する多焦点カメラ装置における、前記撮影モジュールのズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つを制御する制御方法であって、
前記選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの、前記撮影対象の追跡に伴う変化を低減するように、前記撮影モジュールを制御することを特徴とする制御方法。
【請求項４】
前記各撮影モジュールにより撮影された複数の画像から前記撮影対象の位置を追跡し、
追跡して得られた前記撮影対象の追跡情報から、前記各撮影モジュールのうち前記選択、合成に使用される画像を撮影する撮影モジュールを選択することを特徴とする請求項３記載の制御方法。
【請求項５】
コンピュータに、
同じ撮影対象を撮影する焦点距離が異なる複数の、それぞれ１つ以上の撮影モジュールを有するカメラを備え、各撮影モジュールにより撮影された複数の画像を、前記撮影対象を追跡するように選択、合成して得られた画像を記録する多焦点カメラ装置における、前記撮影モジュールのズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つを制御することを実現させるためのプログラムであって、
前記選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの、前記撮影対象の追跡に伴う変化を低減するように、前記撮影モジュールを制御することを実現させるためのプログラム。
【請求項６】
コンピュータに、
前記各撮影モジュールにより撮影された複数の画像から前記撮影対象の位置を追跡し、
追跡して得られた前記撮影対象の追跡情報から、前記各撮影モジュールのうち前記選択、合成に使用される画像を撮影する撮影モジュールを選択することを実現させるための請求項５記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同じ撮影対象を撮影する、焦点距離が異なる複数のカメラを備えた多焦点カメラ装置、それに用いられる制御方法並びにプログラムに関するものである。
【背景技術】
【０００２】
従来、店舗内の監視、作物もしくは災害の観察、事故等の検証、またはスポーツイベントの撮影等のために、広い画角範囲とともに長い撮影距離範囲での撮影が可能なカメラ装置が知られている。
【０００３】
例えば、特許文献１には、例えば人物などの同じ撮影対象を撮影する焦点距離が異なる複数のカメラを備え、各カメラがそれぞれ１つ以上の撮影モジュールを有し、各撮影モジュールにより撮影された複数の画像を、撮影対象を一定のサイズとして再現するように選択、合成して得られた画像を出力画像として生成する多焦点カメラ装置が提案されている。
【０００４】
この多焦点カメラ装置に備えられた複数の撮影モジュールは、焦点距離が短く画角が広角である広角レンズを搭載した撮影モジュールと、焦点距離が長く画角が狭角であり、遠くにある被写体を拡大して撮影する望遠レンズを搭載した撮影モジュール等を含むものであり、各撮影モジュールは、撮影視野内の全体空間のうち、分担された撮影距離の撮影領域を撮影した被写体像を一定サイズの画像として出力するものである。これにより、撮影視野内で動いている撮影対象の位置を含む空間領域を撮影する複数の撮影モジュールにより得られた複数の画像を、選択、合成して、撮影対象を常にほぼ一定のサイズとして捉えた画像を取得することができる。
【０００５】
従来の普通のカメラでは、同じ撮影対象すなわち被写体は、近くでは大きく、遠くでは小さく写るため、ズームレンズなどで遠くの被写体を大きく撮るようなことをしていたが、それには撮影対象の動きに応じてレンズの焦点距離を変える操作が必要になっていた。それが、このような多焦点カメラを用いれば、常にいずれかのカメラが適切な大きさで撮影対象を捉えているので、あとから選択、合成することにより、同様の画像を得ることができるから、撮影時に焦点距離を変えるような操作をする必要がないという効果がある。
【特許文献１】特開２００６−１４２９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の多焦点カメラ装置は、撮影視野内の全体空間を複数の撮影モジュールが分担して撮影しているので、個々の撮影モジュールに対して、それぞれの設定された撮像範囲に最適化されたズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御等の制御を行うことにより、各撮影モジュールにより得られた画像が、各々の撮影範囲における撮影対象の観察に最適なものとすることができる。例えば、撮影視野内に日陰と日向が混在し、複数の撮影モジュールがそれぞれ日陰または日向を主な撮影範囲としている場合、日陰を主な撮影範囲としている撮影モジュールに対して、高い露出値を設定し、日向を主な撮影範囲としている撮影モジュールに対しては、低い露出値を設定する等、各々の撮影範囲における撮影対象の観察に適した露出制御を行うことができる。
【０００７】
ところで、撮影対象の移動により、撮影対象を略中央部に含む出力用の画像を、撮影対象の新たな位置を含む空間領域を撮影する１以上の撮影モジュールにより撮影された画像を、選択、合成して生成する場合、新たな出力画像として選択される画像のズーミング倍率、露出、フォーカス、色温度、または被写界深度等の特性値が、前の出力画像の特性値と大きく異なったり、合成に使用される複数の画像の特性値が互いに大きく異なるときには、合成して得られた出力画像の画質が低下するとともに、連続する出力画像間の繋がりが悪く、撮影対象を観察するための画像としての性能が低下するという問題がある。
【０００８】
本発明は、上記事情に鑑み、複数の撮影モジュールにより撮影された複数の画像を、選択、合成して出力画像を生成するとき、合成して得られた出力画像の画質を向上させるとともに、連続する出力画像間の繋がりを滑らかにする多焦点カメラ装置及びそれに用いられる制御方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の多焦点カメラ装置は、同じ撮影対象を撮影する焦点距離が異なる複数のカメラを備え、該各カメラはそれぞれ１つ以上の撮影モジュールを有し、該各撮影モジュールにより撮影された複数の画像を、撮影対象を追跡するように選択、合成して得られた画像を記録する多焦点カメラ装置において、撮影モジュールは、独立してズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つの制御が可能であり、選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの、撮影対象の追跡に伴う変化を低減するように、撮影モジュールを制御する制御手段を備えたことを特徴とするものである。
【００１０】
上記装置においては、各撮影モジュールにより撮影された複数の画像から撮影対象の位置を追跡する追跡手段と、追跡手段による撮影対象の追跡情報から各撮影モジュールのうち選択、合成に使用される画像を撮影する撮影モジュールを選択する選択手段とを有するものであってもよい。
【００１１】
本発明の制御方法は、同じ撮影対象を撮影する焦点距離が異なる複数の、それぞれ１つ以上の撮影モジュールを有するカメラを備え、各撮影モジュールにより撮影された複数の画像を、撮影対象を追跡するように選択、合成して得られた画像を記録する多焦点カメラ装置における、撮影モジュールのズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つを制御する制御方法であって、選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの、撮影対象の追跡に伴う変化を低減するように、撮影モジュールを制御することを特徴とするものである。
【００１２】
上記方法においては、各撮影モジュールにより撮影された複数の画像から撮影対象の位置を追跡し、追跡して得られた撮影対象の追跡情報から、各撮影モジュールのうち選択、合成に使用される画像を撮影する撮影モジュールを選択するものであってもよい。
【００１３】
本発明のプログラムは、コンピュータに、同じ撮影対象を撮影する焦点距離が異なる複数の、それぞれ１つ以上の撮影モジュールを有するカメラを備え、各撮影モジュールにより撮影された複数の画像を、撮影対象を追跡するように選択、合成して得られた画像を記録する多焦点カメラ装置における、撮影モジュールのズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つを制御することを実現させるためのプログラムであって、選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの変化を、撮影対象の追跡に伴う低減するように、撮影モジュールを制御することを実現させるためのものである。
【００１４】
上記プログラムにおいては、コンピュータに、各撮影モジュールにより撮影された複数の画像から撮影対象の位置を追跡し、追跡して得られた撮影対象の追跡情報から、各撮影モジュールのうち選択、合成に使用される画像を撮影する撮影モジュールを選択することを実現させるためのものであってもよい。
【００１５】
ここで撮影対象とは、例えば人物の顔とか、犬や猫などのペット、あるいは車など、撮影したい対象物を意味するものである。
【００１６】
ここで、「追跡情報」とは、撮影対象の位置、および時系列的に連続する複数の画像における撮影対象の位置の段階的な変化を含むものであってもよいし、そのいずれか一方の情報のみであってもよい。
【発明の効果】
【００１７】
本発明の多焦点カメラ装置及びそれに用いられる制御方法並びにプログラムによれば、同じ撮影対象を撮影する焦点距離が異なる複数のカメラを備え、該各カメラはそれぞれ１つ以上の撮影モジュールを有し、該各撮影モジュールにより撮影された複数の画像を、撮影対象を追跡するように選択、合成して得られた画像を記録する多焦点カメラ装置において、撮影モジュールのズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つを制御可能とし、選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの、撮影対象の追跡に伴う変化を低減するように、撮影モジュールを制御するものであるから、これにより、選択、合成して得られた連続する画像間の繋がりを滑らかにすることができる。
【００１８】
本発明の多焦点カメラ装置及びそれに用いられる制御方法並びにプログラムにおいて、各撮影モジュールにより撮影された複数の画像から撮影対象の位置を追跡し、追跡して得られた撮影対象の追跡情報から、各撮影モジュールのうち選択、合成に使用される画像を撮影する撮影モジュールを選択し、選択された撮影モジュールを、選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの、撮影対象の追跡に伴う変化を低減するように、制御するものである場合には、選択、合成に使用されると推測される画像を撮影する撮影モジュールを選択し、その選択された撮影モジュールのみを、選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの変化を低減するように制御することができるので、制御の効率を向上させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施形態について図を参照しながら説明する。
【００２０】
本発明の一実施形態である多焦点カメラ装置１は、撮影視野内をある人物が動いている場合において、撮影対象、例えばその人物の顔Ｈを異なる３つの焦点距離で撮影した複数の画像を、人物の顔Ｈを追跡するように選択、合成して得られる画像を記録するものであって、人物の顔Ｈを追跡して得られた顔Ｈの追跡情報から、次の撮影時の顔Ｈの位置を予測し、選択、合成に使用されると推測される画像を撮影する撮影モジュールを選択し、選択された撮影モジュールの設定を揃え、選択、合成して得られる画像の画質を向上させるものである。
【００２１】
図１は本発明の一実施形態である多焦点カメラ装置の構成を示す概略ブロック図であり、図２は、図１の多焦点カメラ装置による撮影領域を示す模式図であり、図３は、図１の多焦点カメラ装置により撮影して得られた画像の一例を示す図である。
【００２２】
この多焦点カメラ装置１は、同じ顔Ｈを撮影する焦点距離が異なる３つのカメラＣ１、Ｃ２、Ｃ３をそれぞれ構成する１つ以上の撮影モジュールＭを併設してなる撮影部１０と、撮影部１０の各撮影モジュールＭ１〜Ｍ14により撮影された画像Ｐ１〜Ｐ14を記憶する一時記憶部２０と、撮影部１０の各撮影モジュールＭ１〜Ｍ14により撮影された複数の画像Ｐ１〜Ｐ14から顔Ｈの位置を追跡する追跡手段３０と、この追跡手段３０における顔Ｈの位置Ｔを用いて各撮影モジュールＭ１〜Ｍ14により撮影された複数の画像Ｐ１〜Ｐ14を、顔Ｈを追跡するように選択、合成する合成部４０と、選択、合成して得られた画像Ｕを記録する記録部５０と、追跡手段３０による顔Ｈの位置Ｔおよび異動方向Ｖから各撮影モジュールＭのうち、合成部４０における選択、合成に使用される画像を撮影する撮影モジュールＲ１〜ＲＮを選択し、選択された撮影モジュールＲ１〜ＲＮを、合成に使用される画像の露出の変化が低減するように、露出制御する制御部６０とを備えている。また、記録部５０は、図示しない外部インターフェースを介して表示装置であるモニタ７０に接続されている。
【００２３】
撮影部１０は、撮影視野内の全体空間内の撮影距離がそれぞれｄ１、ｄ２、ｄ３である撮影領域Ａ１、Ａ２、Ａ３を、焦点距離ｆが異なる３つのカメラＣ１、Ｃ２、Ｃ３を用いて撮影するものであり、各カメラＣ１、Ｃ２、Ｃ３の焦点距離は、それぞれｆ１、ｆ２、ｆ３（ｆ１＜ｆ２＜ｆ３）である。また、各カメラＣ１、Ｃ２、Ｃ３は、それぞれ１つ以上の撮影モジュールＭを有しており、焦点距離ｆが長いほど、そのカメラを構成する撮影モジュール個々の視野が狭いため、カメラの全体の撮影視野を複数の撮影モジュールにより分割して撮影するようになっている。具体的には、カメラＣ１は１つの撮影モジュールＭ１を、カメラＣ２は４つの撮影モジュールＭ２〜Ｍ５を、カメラＣ３は９つの撮影モジュールＭ６〜Ｍ１４を有しており、各撮影モジュールＭ１〜Ｍ１４は同じサイズの画像Ｐ１〜Ｐ１４を出力する。
【００２４】
また、各カメラＣ１、Ｃ２、Ｃ３は、各カメラに設定された設定合焦距離ｄ１、ｄ２、ｄ３に限らず、顔Ｈが撮影視野内のいかなる場所に存在する場合にも、顔Ｈを鮮明に撮像できるように、それぞれ合焦範囲（被写界深度の範囲）δ１、δ２、δ３を有し、隣接する合焦範囲δ１、δ２同士、および合焦範囲δ２、δ３同士が撮影方向に対して連続するように設定されている。
【００２５】
さらに、全ての撮影モジュールＭ１〜Ｍ14は、例えば、制御部６０により発生されたクロック等により同期されたタイミングで撮影するようになっている。
【００２６】
以下各撮影モジュールＭの構成について説明する。図４は、撮影モジュールＭの構成の一例を示す図である。
【００２７】
撮影モジュールＭの光学系は、所要の焦点距離を有する結像レンズ１２と、撮影して得られる画像の露出を調節するための絞り１３およびシャッタ１４を有しており、絞り径およびシャッタの開閉は後述する制御部６０から出力される絞り値データおよびシャッタスピードデータとにより制御される。なお、各撮影モジュールＭの結像レンズ１２の構成は焦点距離により異なる。
【００２８】
光学系の後方には、ＣＣＤ等の撮影素子１５と、Ａ／Ｄ変換器１６とを有しており、光学系を通過した被写体光をＣＣＤ等の撮影素子１５により光電変換して得られたアナログ画像信号を、Ａ／Ｄ変換器１６によりデジタル画像信号に変換し、変換したデジタル画像信号をメモリに出力するようになっている。
【００２９】
一時記憶部２０は、撮影部の複数の撮影モジュールＭ１〜Ｍ14にそれぞれ対応する同数のメモリｍｅ１〜ｍｅ14を備えており、全ての撮影モジュールＭ１〜Ｍ14からの画像データを同時かつ並行して連続的に取り込めて記憶することができる。なお、一時記憶部２０は、撮影部１０の複数の撮影モジュールＭ１〜Ｍ14にそれぞれ対応する同数のメモリｍｅ１〜ｍｅ14を備えた場合について説明したが、これに限らず、２つ以上の撮影モジュールに対して１つのメモリを設けるようにしてもよい。
【００３０】
一時記憶部２０の各メモリｍｅ１〜ｍｅ14は、そのメモリが接続された各撮影モジュールＭ１〜Ｍ14から連続して出力される撮影画像のデジタル画像データを順次一時的に記憶するものであり、例えば、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリ、またはこれらを組み合わせたものを用いることができる。
【００３１】
図５は、追跡部３０の構成を示す図である。追跡部３０は、一時記憶部２０の複数のメモリｍｅ１〜ｍｅ14の全てに接続され、複数のメモリから複数の撮像モジュールＭ１〜Ｍ14の各々で撮影された画像Ｐ１〜Ｐ14を取得し、取得した画像から顔Ｈの位置を追跡するものであり、顔Ｈの位置を検出する位置検出部３１と、顔Ｈの移動方向を検出する移動方向検出部３２とを備える。
【００３２】
位置検出部３１は、取得した画像Ｐ１〜Ｐ14から撮影方向に直交する面における顔Ｈの位置を検出する第１の位置検出部３１ａと、撮影方向に対する顔Ｈの位置を検出する第２の位置検出部３１ｂとから構成されている。
【００３３】
第１の位置検出部３１ａは、一時記憶部２０の複数のメモリｍｅ１〜ｍｅ14に記憶された画像Ｐ１〜Ｐ14を読み出して、それらの画像から顔Ｈの領域（顔領域）を検出し、その領域の略中心位置を顔Ｈの現在の位置Ｔ（ｘ、ｙ）として取得するものである。
【００３４】
具体的には、特開２００６−１３９３６９号公報に記載されているように、顔等の検出対象が既知である複数のサンプル画像における各画素の特徴量、すなわち画像上の各画素における濃度が変化する方向および変化の大きさを予め学習することにより、検出対象であるか否かを識別する識別器を特徴量に対応させて取得し、各カメラ毎に得られた対象画像ＰＰ１（画像Ｐ１と同一）、ＰＰ２（画像Ｐ２〜Ｐ５からなる画像）、ＰＰ３（画像Ｐ６〜Ｐ14からなる画像）上に該識別器を走査させることにより、検出対象を検出することができる。
【００３５】
このとき、通常のカメラにより撮影された画像においては、画像に含まれる人物の顔Ｈの大きさは、カメラから顔Ｈまでの撮影距離等の撮影条件により変化するため、通常、対象画像上を走査させる上記識別器の大きさを大から小へ変えながら繰り返し検出を行なう必要がある
ここで、本発明の多焦点カメラ１では、各カメラの焦点距離ｆｊ（ｊ＝１〜３）、設定された合焦距離ｄｊ（ｊ＝１〜３）、および得られる画像における一画素当たりの被写体像の大きさｐｊ（ｊ＝１〜３）が既知であり、顔Ｈの実際の大きさＨｊを用いて、各カメラが顔Ｈを鮮明に撮影できた場合における顔Ｈの像の大きさｈｊ（ｈｊ＝ｆｊＨｊ/ｄｊ）および画像中の顔Ｈの大きさ（ｈｊ/ｐｊ画素＝ｆｊＨｊ/ｐｊｄｊ画素）を算出できるので、その大きさに対応する大きさの識別器を用いて顔Ｈを検出することにより、検出の効率を向上させることができる。
【００３６】
すなわち、多焦点カメラ１は、撮影対象、例えば顔Ｈを異なる焦点距離ｆを有する複数のカメラＣ１、Ｃ２、Ｃ３により撮影するものであり、顔Ｈまでの撮影距離によって、それぞれのカメラにより撮影された対象画像ＰＰ１、ＰＰ２、ＰＰ３のうち、撮影距離にもっとも近い合焦設定距離を有するカメラにより撮影された、顔Ｈをもっとも鮮明に捉えた画像において、その顔Ｈの大きさに対応する大きさの識別器を用いて検出を行うことにより、検出の効率、さらには検出の精度を向上させることができる。これにより、少なくとも１つのカメラにより得られた対象画像から顔領域を精度よく検出でき、この検出結果に基づいて、他のカメラにより得られた対象画像からも顔領域を容易に検出することができる。そして、検出された顔領域の略中心位置を顔Ｈの現在の位置として取得する。
【００３７】
なお、上述した顔検出方法では、識別器を各カメラの撮影モジュール群により撮影された対象画像ＰＰ１、ＰＰ２、ＰＰ３の全領域を走査させて顔領域を検出する場合について説明したが、現画像と該現画像より過去の参照画像との差分を求めることにより、動いている人物の領域を検出し、抽出された領域中を含む一部の領域のみを走査させて顔領域を検出することもできる。また、対象画像上に識別器を走査させて顔Ｈを検出する方法に限らず、特開２００４-６２６０４号公報に記載されているように、対象画像から複数のオブジェクト領域を抽出し、抽出した複数のオブジェクト領域毎にオブジェクトの種類を識別し、その識別した種類の確信度が所定の閾値より大きいか否かを判別することにより、目的とする種類の検出対象を検出する等、他のいかなる方法により、顔Ｈ等の撮影対象を検出するようにしてもよい。
【００３８】
第２の位置検出部３１ｂは、第１の位置検出部３１ａにより、対象画像ＰＰ１、ＰＰ２、ＰＰ３から検出された顔Ｈの領域に対して空間周波数解析を行い、撮影方向に対する顔Ｈの位置を検出するものである。
【００３９】
ピントの合っている鮮鋭な画像ほど輪郭や模様の明るさがハッキリと変化するため、この変化の度合いを表す画像の空間周波数の周波数成分を調べることにより合焦レベルを測定することができる。これにより、各対象画像ＰＰ１、ＰＰ２、ＰＰ３から検出された各顔領域に対して空間周波数解析を行い、合焦レベルｙを測定し、合焦レベルｙが最も大きい顔領域を含む対象画像を撮影したカメラを判定し、判定されたカメラにおける合焦設定距離ｄを、撮影方向に対する顔Ｈの位置として検出する。
【００４０】
移動方向検出部３３は、撮影方向に直交する面方向に対する顔Ｈの移動方向を検出する第１の移動方向検出部３３ａと、撮影方向に対する顔Ｈの移動方向を検出する第２の移動方向検出部３３ｂから構成される。
【００４１】
第１の移動方向検出部３３ａは、第１の位置検出部３１ａにより検出された顔Ｈの現在の位置ＴＮＥＷ（ｘ、ｙ）および前回の撮影時に同様に第１の位置検出部３１ａにより検出された顔Ｈの前位置ＴＯＬＤ（ｘ、ｙ）を用いて、前位置のＴＯＬＤ（ｘ、ｙ）から現在の位置ＴＮＥＷ（ｘ、ｙ）への移動方向Ｖ（ｘ、ｙ）を算出する。
【００４２】
第２の移動方向検出部は、第２の位置検出３１ｂにより得られた各カメラＣ１、Ｃ２、Ｃ３における合焦レベルｙ１、ｙ２、ｙ３の増減に基づいて、顔Ｈの撮影方向に対する移動方向を検出するものである。
【００４３】
図６は、カメラの撮影方向に対する被写体の位置、すなわち撮影距離ｄに対する、合焦設定距離がそれぞれｄ１、ｄ２、ｄ３であるカメラＣ１、Ｃ２、Ｃ３を用いてその被写体を撮影した場合の合焦レベルの関係を示すグラフである。図示のように、各カメラの合焦レベルは、被写体の撮影距離ｄがカメラの合焦設定距離と一致するとき最大となり、合焦設定距離から外れるほど徐々に下がるので、各カメラにおける現在の合焦レベルおよび合焦レベルの変化方向を調べることにより、撮影方向に対する顔Ｈの移動方向Ｖ（ｚ）を検出することができる。
【００４４】
図６のグラフ上に示すように、合焦レベル判定部により得られた顔領域に対する各カメラの合焦レベルがそれぞれｙ１ＮＥＷ、ｙ２ＮＥＷ、ｙ３ＮＥＷであり、前の撮影時に同様に合焦レベル判定部により得られた顔領域に対する各カメラの合焦レベルがそれぞれｙ１ＯＬＤ、ｙ２ＯＬＤ、ｙ３ＯＬＤである場合、各カメラの合焦レベルの変化がそれぞれ、ｙ１ＮＥＷ−ｙ１ＯＬＤ＞０、ｙ２ＮＥＷ−ｙ２ＯＬＤ＞０、ｙ３ＮＥＷ−ｙ３ＯＬＤ＜０であることから、人物の撮影方向に対する距離がｄ１にもっとも近いところからｄ２の方向に移動していることが検出可能である。
【００４５】
合成部４０は、複数の撮像モジュールＭ１〜Ｍ14の各々で撮影された画像Ｐ１〜Ｐ14を、人物の顔Ｈを追跡するように選択、合成して出力用の画像Ｕを生成するものである。まず、第２の位置検出部により算出された顔Ｈを最も高い合焦レベルで撮影できたカメラを選択し、第１の位置検出部３１により検出された顔Ｈの位置Ｔを用いて、顔Ｈがそのカメラを構成する複数の撮像モジュールの各々で撮影されたいずれかの画像の略中央部の所定の範囲内に含まれるか否かを判定する。顔Ｈがいずれかの画像の略中央部の所定の範囲内に含まれると判定された場合には、顔Ｈを略中央部の所定の範囲内に含む画像を出力用の画像Ｕとして選択する。一方、全ての画像の略中央部の所定の範囲内に含まれないと判定された場合には、選択されたカメラを構成する複数の撮像モジュールの各々で撮影された複数の画像のうち、顔Ｈを略中央部に有する一定範囲の領域（出力用の画像の大きさ分の領域）の少なくとも一部の領域を含む全ての画像を合成して、顔Ｈを略中央部に有する１枚の出力用の画像Ｕを生成する。
【００４６】
図７は、制御部６０の構成を示す図である。制御部６０は、次の撮影時に、合成部４０における選択・合成に使用されると推測される画像を撮影する撮影モジュールを選択する撮影モジュール選択部６１と、選択した撮影モジュールの絞り値およびシャッタスピードを決定する制御値決定部６２から構成される。
【００４７】
撮影モジュール選択部６１は、まず、追跡部３０の位置検出部３１により検出された人物の現在の位置ＴＮＥＷ（ｘ、ｙ、ｚ）に移動方向検出部３３ａにより検出された人物の移動方向Ｖ（ｘ、ｙ、ｚ）を加算することにより、次の撮影時における人物の予測位置ＴＥＸＰ（ｘ、ｙ、ｚ）を求める。そして、求められた予測位置ＴＥＸＰに人物の顔Ｈが存在するとした場合、その顔Ｈを最も高い合焦レベルで撮影できるカメラを求め、そのカメラを構成する複数の撮像モジュールのうち、人物の顔の予測位置ＴＥＸＰを略中央部に有する一定範囲の領域（出力用の画像の大きさ以上の大きさの領域）の少なくとも一部の領域を撮影範囲内に含む全ての撮像モジュールＲ１〜ＲＮを選択する。
【００４８】
制御値決定部６２は、次の撮影時に複数の撮像モジュールＭ１〜Ｍ14の各々で撮影された画像Ｐ１〜Ｐ14を、合成部で対象となる人物の顔Ｈを追跡するように選択、合成して出力用の画像Ｕを生成する場合における、選択・合成して得られた画像における露出の変化を低減するように、選択・合成に使用されると推測される画像を撮影する撮影モジュールとして撮影モジュール選択部６１により選択された撮影モジュールＲ１〜ＲＮの絞り値およびシャッタスピードを予め制御するものである。
【００４９】
具体的には、選択された１以上の撮影モジュールＲ１〜ＲＮのそれぞれの露出がそれぞれＢ１〜ＢＮであり、現在の撮影により得られた画像から合成部で選択・合成して得られた出力用の画像における露出がＢＵである場合、下記の式（１）に示すように、それらの露出値Ｂ１〜ＢＮおよびＢＵのそれぞれに、後述する方法により決定した重みＷ１〜ＷＮまたはＷＵを乗算した後、それらの値を合算して露出値Ｂｋ求め、求められた露出値Ｂｋを、上記選択された１以上の撮影モジュールＲ１〜ＲＮの各々の露出設定値とし、各撮影モジュールＲ１〜ＲＮの絞り値およびシャッタスピードを制御する。
【００５０】
Ｂｋ＝Ｗ１Ｂ１＋Ｗ２Ｂ２＋・・・＋ＷＮＢＮ＋ＷＵＢＵ      （１）
ここで、重みＷ１〜ＷＮおよびＷＵの合計は１であり、重みＷ１〜ＷＮおよびＷＵは、種々の方法により決定することができる。例えば、人物の顔の予測位置ＴＥＸＰを含むと予測される画像を撮影する撮影モジュールの露出値に対する重みを１とし、その撮影モジュールの露出値を他の撮影モジュールが完全模倣するように設定する方法、人物の顔の予測位置ＴＥＸＰから各撮影モジュールにより得られる画像の中心位置までの距離が近いほど大きい重みを設定する方法、現在の撮影において出力用の画像として生成された画像における露出値ＢＵに常に一定値の重みを設定する方法等、いかなる設定方法により決定することができる。これにより、次の撮影時に複数の撮像モジュールの各々で撮影された画像を、合成部で選択・合成して得られた画像における露出の変化を低減するように、撮影モジュール選択部６１により選択された撮影モジュールＲ１〜ＲＮの露出設定値を決定することができる。
【００５１】
記録部５０は、合成部４０に接続され、合成部４０により生成された合成画像のデジタル画像データを、読み出し書き込み可能に記録して、保存するためのものである。この記録部としては、例えば、ＳＲＡＭ、ＤＲＡＭ等の揮発性メモリ、またはＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の不揮発性メモリなどの半導体記憶素子（メモリ）、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、磁気記録テープなどの記録メディア、またはこれらを組み合わせたものが用いられる。
【００５２】
また、記録部５０には、記録部に保存されている画像を表示するモニタ７０が図示しない外部インターフェースを介して接続されている。
【００５３】
次に、多焦点カメラ装置１の動作を説明する。まず、撮影部１０により、撮影モジュールＭ１〜Ｍ14により同じ顔Ｈを異なる３つの合焦設定距離ｄ１〜ｄ３で撮影して得られた複数の画像Ｐ１〜Ｐ14を一時記憶部２０に記憶する。次に、追跡部３０の位置検出部３１により、一時記憶部２０に記憶された複数の撮像モジュールＭ１〜Ｍ14の各々で撮影された画像Ｐ１〜Ｐ14を取得し、取得した画像から顔Ｈの現在の位置ＴＮＥＷを検出し、検出された顔Ｈの現在の位置ＴＮＥＷを移動方向検出部３２および合成部４０に出力する。合成部４０では、位置検出部３１により入力された顔Ｈの現在の位置に基づいて、複数の撮像モジュールＭ１〜Ｍ14の各々で撮影された画像Ｐ１〜Ｐ14を、顔Ｈを追跡するように選択、合成して出力用の画像Ｕを生成する。そして、この生成された画像Ｕを記録部５０に記録し、外部インターフェースを介してモニタ７０に表示する。
【００５４】
移動方向検出部３２では、位置検出部３１により入力された顔Ｈの現在の位置ＴＮＥＷおよび前回の撮影時に同様に位置検出部３１により入力された顔Ｈの前の位置ＴＯＬＤＥを用いて顔Ｈの移動方向Ｖを検出する。次に、制御部６０の撮影モジュール選択部６１により、顔Ｈの現在の位置ＴＮＥＷおよび移動方向検出部３２により検出された顔Ｈの移動方向Ｖを用いて、次の撮影時に、合成部における選択・合成に使用されると推測される画像を撮影する撮影モジュールＲ１〜ＲＮを選択する。その後、制御値決定部６２により、撮影モジュール選択部６１で選択された撮影モジュールの絞り値およびシャッタスピードを、次の撮影時に複数の撮像モジュールの各々で撮影された画像が合成部４０で選択・合成されて得られる画像Ｕにおける露出の変化が低減するように、決定する。この決定された絞り値およびシャッタスピードが撮影モジュールＲ１〜ＲＮに設定され、次の撮影が行われる。そして、上述した処理が繰り返し行われる。
【００５５】
上記実施の形態によれば、同じ撮影対象Ｓを撮影する焦点距離が異なる複数のカメラＣ１、Ｃ２、Ｃ３を備え、該各カメラはそれぞれ１つ以上の撮影モジュールＭを有し、該各撮影モジュールＭ１〜Ｍ14により撮影された複数の画像Ｐ１〜Ｐ14を、撮影対象を追跡するように選択、合成して得られた画像Ｕを記録する多焦点カメラ装置における、撮影モジュールＭ１〜Ｍ14の露出制御方法であって、選択、合成して得られた画像Ｕの露出の撮影対象の追跡に伴う変化を低減するように、撮影モジュールを制御するようにしているので、選択、合成して得られた連続する画像間の繋がりを滑らかにすることができるとともに、合成して得られた画像の画質を向上させることができる。
【００５６】
また、各撮影モジュールＭ１〜Ｍ14により撮影された複数の画像Ｐ１〜Ｐ14から撮影対象の位置を追跡し、追跡して得られた撮影対象の追跡情報から、各撮影モジュールＭ１〜Ｍ14のうち選択、合成に使用される画像を撮影する撮影モジュールＲ１〜ＲＮを選択し、選択された撮影モジュールＲ１〜ＲＮを、選択、合成して得られた画像の露出の変化を低減するように、制御するものであり、制御の効率を向上させることができる。
【００５７】
本発明は上記実施の形態に限定されない。たとえば、上記実施の形態では、撮影モジュールが独立して露出制御が可能であり、選択、合成して得られた画像の露出の変化を低減するように、撮影モジュールを制御する場合について説明したが、撮影モジュールは、独立してズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つの制御が可能であり、選択、合成して得られた画像のズーミング倍率、露出、フォーカス、色温度、および被写界深度の少なくとも１つの変化を低減するように、撮影モジュールを制御するようにしてもよい。
【００５８】
例えば、撮影対象が多少点カメラ装置１の撮影方向に動いている場合、撮影対象の移動によって、撮影対象を追跡するように選択、合成して得られた画像を撮影するカメラが望遠レンズの撮影モジュールから広角レンズの撮影モジュールへ切り替わるときには、望遠レンズの撮影モジュールでは同じ絞り値でも被写界深度が広角レンズの撮影モジュールより浅いので、広角レンズの撮影モジュールにおける絞り値を通常より下げて設定し、広角レンズの撮影モジュールから望遠レンズの撮影モジュールへ切り替わるときには、望遠レンズの撮影モジュールにおける絞り値を通常より上げて設定することができる。
【００５９】
また、上記実施の形態において、複数の撮像モジュールの各々で撮影された画像を、合成部で選択・合成する前に、選択、合成に使用される画像を、各画像の取得時における撮像モジュールのズーム制御、露出制御、フォーカス制御、色温度制御、および被写界深度制御のうち少なくとも１つの制御の設定値に基づいて画像補正を行うことにより、選択、合成して得られた連続する画像間の繋がりを滑らかにし、合成して得られた画像の画質を向上させることもできる。
【００６０】
たとえば、合成部における合成に使用される複数の画像が、それぞれ異なる設定値で制御された撮影モジュールにより得られたものである場合、その複数の画像の繋ぎ目が滑らかになるように画像補正を行うことにより、合成して得られた画像の画質を向上させることができる。
【００６１】
なお、上記実施の形態では、追跡部３０、合成部４０、記録部５０、および制御部６０が多焦点カメラ装置１に一体的に構成された場合について説明したが、これらのうち少なくとも１つが多焦点カメラ装置１の外部に別途のユニットとして設けられたものであってもよい。
【００６２】
また、焦点距離が異なる３つのカメラＣ１、Ｃ２、Ｃ３がそれぞれ所定の異なる個数の撮影モジュールＭを備えてなるものである場合について説明したが、各カメラＣ１、Ｃ２、Ｃ３は、それぞれ１つ以上の撮影モジュールＭを有するものであればよく、同一の数の撮影モジュールを有するようにしてもよい。
【００６３】
さらに、撮影対象が人物の顔である場合、撮影モジュール選択部により、合成部４０における選択・合成に使用されると推測される画像を撮影する撮影モジュールを選択するとき、予め検出しておいた人物の顔の向きを反映して顔の移動方向を予測し、選択・合成に使用されると推測される画像を撮影する撮影モジュールを選択することもできる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態である多焦点カメラ装置の構成を示す概略ブロック図
【図２】図１の多焦点カメラ装置による撮影領域を示す模式図
【図３】図１の多焦点カメラ装置により撮影して得られた画像の一例を示す図
【図４】図１の撮影モジュールの構成の一例を示す図
【図５】図１の追跡部の構成を示す図
【図６】図４の追跡部の第２の移動方向検出部による移動方向検出方法を説明するためのグラフ
【図７】図１の制御部の構成を示す図
【符号の説明】
【００６５】
1    多焦点カメラ装置
ｆ    焦点距離
Ｃ    カメラ
Ｍ    撮影モジュール
Ｐ    画像
Ｈ    顔（撮影対象）
Ｔ    撮影対象の位置
１３    絞り（露出制御）
１４    シャッタ（露出制御）
３０    追跡部（追跡手段）
４０    合成部
５０    記録部
６０    制御部（制御手段）
６１    選択部（選択手段）
【図１】
2008172523.tif 000003
【図２】
2008172523.tif 000004
【図３】
2008172523.tif 000005
【図４】
2008172523.tif 000006
【図５】
2008172523.tif 000007
【図６】
2008172523.tif 000008
【図７】
2008172523.tif 000009