(57)【要約】【課題】画像中における対象物の全体の領域を他の領域と区別して表示させる。【解決手段】焦点距離が異なる複数のカメラにより同一の撮影領域を撮影して表示する多焦点カメラ装置において、複数のカメラにより撮影された複数の画像中の特定対象物を検出し、検出された特定対象物の各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、複数の画像中に取得し、取得された領域を他の領域と区別して表示するための画像処理を施す。【選択図】図５
2009188697.tif 000002
【特許請求の範囲】
【請求項１】
焦点距離が異なる複数のカメラにより同一の撮影範囲を撮影して表示する多焦点カメラ装置において、
前記複数のカメラにより撮影された複数の画像中の特定対象物を検出する検出手段と、
該検出手段により検出された前記特定対象物の前記各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、前記複数の画像中に取得する領域取得手段と、
該領域取得手段により取得された領域を他の領域と区別して表示するための画像処理を施す画像処理手段と
を備えたことを特徴とする多焦点カメラ装置。
【請求項２】
前記特定対象物の前記各画像中におけるボケ度が、前記各カメラにより連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る前記特定対象物のボケ度から推測されるボケ度であることを特徴とする請求項１記載の多焦点カメラ装置。
【請求項３】
前記画像処理が、塗りつぶし処理、モザイク処理およびテンプレート挿入処理のうち少なくとも１つであることを特徴とする請求項１または２記載の多焦点カメラ装置。
【請求項４】
焦点距離が異なる複数のカメラを備えた多焦点カメラ装置に用いられる、前記複数のカメラにより同一の撮影領域を撮影して表示するための画像処理方法において、
前記複数のカメラにより撮影された複数の画像中の特定対象物を検出し、
該検出された特定対象物の前記各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、前記複数の画像中に取得し、
該取得された領域を他の領域と区別して表示するための画像処理を施す
ことを特徴とする画像処理方法。
【請求項５】
前記特定対象物の前記各画像中におけるボケ度が、前記各カメラにより連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る前記特定対象物のボケ度から推測されるボケ度であることを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記画像処理が、塗りつぶし処理、モザイク処理およびテンプレート挿入処理のうち少なくとも１つであることを特徴とする請求項４または５記載の画像処理方法。
【請求項７】
焦点距離が異なる複数のカメラを備えた多焦点カメラ装置に用いられる、前記複数のカメラにより同一の撮影領域を撮影して表示するためのプログラムであって、
コンピュータに、
前記複数のカメラにより撮影された複数の画像中の特定対象物を検出し、
該検出された特定対象物の前記各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、前記複数の画像中に取得し、
該取得された領域を他の領域と区別して表示するための画像処理を施すことを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点距離が異なる複数のカメラにより同一の撮影領域を撮影して表示する多焦点カメラ装置、それに用いられる画像処理方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来、放送や監視等のために撮影された画像において、その画像中の対象物、例えば人物、犬や猫などのペット、あるいは車などをモザイク処理することにより、個人情報を保護する手法が使用されている。また、画像データを暗号化することにより、第三者による当該画像の閲覧を防止する技術も知られている。
【０００３】
特に上記モザイク処理等を施す方法では、画像中の対象物が撮影された領域を正しく検出することが必要である。
【０００４】
画像中の対象物を検出する方法としては種々の公知技術が用いられる。例えば、特許文献１では、自動車に搭載された焦点距離が異なる複数のカメラを備え、各カメラにより取得した画像中の道路標識、番地標識等のナビゲーションのための視覚的情報を表す対象物が撮影された領域を、任意の人工知能アルゴリズムによるパターン認識を用いて検出する方法が開示されている。
【特許文献１】特開２００６−１４２９１号公報
【特許文献２】特開２００５−５０９１２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記パターン認識による検出方法では、撮影条件の変化や被写体の移動等により検出性能が低下する傾向があり、対象物の一部、さらには全体が正しく検出できず、保護すべき対象物をモザイク処理等がなされないまま表示してしまう場合が生じ、個人情報を適切に保護できない場合が発生する虞がある。
【０００６】
本発明は、上記事情に鑑み、画像中における対象物の全体の領域を他の領域と区別して表示させることができる多焦点カメラ装置、それに用いられる画像処理方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の多焦点カメラ装置は、焦点距離が異なる複数のカメラにより同一の撮影領域を撮影して表示する多焦点カメラ装置において、複数のカメラにより撮影された複数の画像中の特定対象物を検出する検出手段と、検出手段により検出された特定対象物の各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、複数の画像中に取得する領域取得手段と、領域取得手段により取得された領域を他の領域と区別して表示するための画像処理を施す画像処理手段とを備えたことを特徴とするものである。
【０００８】
上記装置において、特定対象物の各画像中におけるボケ度は、各カメラにより連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る特定対象物のボケ度から推測されるボケ度であってもよい。
【０００９】
また、画像処理は、塗りつぶし処理、モザイク処理およびテンプレート挿入処理のうち少なくとも１つであってもよい。
【００１０】
本発明の画像処理方法は、焦点距離が異なる複数のカメラを備えた多焦点カメラ装置に用いられる、複数のカメラにより同一の撮影領域を撮影して表示するための画像処理方法において、複数のカメラにより撮影された複数の画像中の特定対象物を検出し、検出された特定対象物の各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、複数の画像中に取得し、取得された領域を他の領域と区別して表示するための画像処理を施すことを特徴とするものである。
【００１１】
上記方法において、特定対象物の各画像中におけるボケ度は、各カメラにより連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る特定対象物のボケ度から推測されるボケ度であってもよい。
【００１２】
また、画像処理は、塗りつぶし処理、モザイク処理およびテンプレート挿入処理のうち少なくとも１つであってもよい。
【００１３】
本発明のプログラムは、焦点距離が異なる複数のカメラを備えた多焦点カメラ装置に用いられる、複数のカメラにより同一の撮影領域を撮影して表示するためのプログラムであって、コンピュータに、複数のカメラにより撮影された複数の画像中の特定対象物を検出し、検出された特定対象物の各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、複数の画像中に取得し、取得された領域を他の領域と区別して表示するための画像処理を施すことを実行させるためのものである。
【００１４】
ここで特定対象物とは、例えば人物とか、犬や猫などのペット、あるいは車など、他の被写体と区別して表示すべき対象物の少なくとも一部を意味するものである。
【００１５】
また、「取得された領域を他の領域と区別して表示する」とは、取得された領域と他の領域のいずれか一方の領域に、例えば塗りつぶし処理、モザイク処理、テンプレート挿入処理等のマスク処理を施すことにより、画像情報の全部または一部を変更、消滅させて、画像の視認性を低下させる処理を意味する。
【００１６】
なお、「複数の画像中の特定対象物を検出する」における「検出」とは、各画像中の特定対象物を取得するための処理を広く意味するものであり、各画像から特定対象物をそれぞれ検出して取得する処理に限らず、少なくとも１つの画像から特定対象物を検出し、その検出結果に基づいてその他の各画像中の特定対象物を取得する処理等も含む。
【００１７】
また、「特定対象物の各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素」とは、各画像中における同一の被写体が撮影された対応する画素のボケ度間の比が、各画像中における特定対象物のボケ度間の比から所定の範囲内のボケ度比となる画素、即ち各カメラから特定対象物までの距離から所定の範囲内の距離（各カメラからの距離）に存在する被写体を表す画素を意味する。ここで、多焦点カメラの各カメラは被写体に対して略同じ距離となるように互いに近設させて設けられている。
【００１８】
ここで、各カメラにより撮影された画像中の各画素のボケ度は、被写体の各カメラからの距離がそのカメラの合焦設定距離と一致するとき最小となり、合焦設定距離から外れるほど大きくなる。即ち各画素のボケ度は各カメラから被写体までの距離に対応して変化する。
【００１９】
そこで、上記所定の距離範囲は、他の被写体と区別して表示すべき対象物の全体が収まる程度の範囲を意味し、その対象物の大きさに応じてその範囲の大きさを決定することが好ましい。上記ボケ度の所定の範囲はその所定の距離範囲に対応するように決定される。
【発明の効果】
【００２０】
本発明の多焦点カメラ装置、それに用いられる画像処理方法およびプログラムによれば、焦点距離が異なる複数のカメラにより同一の撮影領域を撮影して表示する多焦点カメラ装置において、複数のカメラにより撮影された複数の画像中の特定対象物を検出し、検出された特定対象物の各画像中におけるボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、複数の画像中に取得し、取得された領域を他の領域と区別して表示するための画像処理を施すことにより、他の被写体と区別して表示すべき対象物の少なくとも一部の検出結果から、その対象物の全体が収まる程度の範囲内の距離に存在する被写体の領域を取得でき、画像中における対象物の全体の領域を他の領域と区別して表示させることができる。
【００２１】
また、特定対象物の各画像中におけるボケ度が、各カメラにより連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る特定対象物のボケ度から推測されるボケ度である場合、時たま特定対象物が検出されない場合であっても、対象物の全体が収まる可能性が高い範囲内の距離に存在する被写体の領域を他の領域と区別して表示することができる。
【００２２】
また、画像中における対象物の全体の領域と他の領域のうち、保護すべきいずれか一方の領域に塗りつぶし処理、モザイク処理およびテンプレート挿入処理のうち少なくとも１つの画像処理を施す場合、個人情報を適切に保護することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施形態について図を参照しながら説明する。図１は本発明の一実施形態である多焦点カメラ装置の構成を示す概略ブロック図であり、図２は、図１の多焦点カメラ装置による撮影範囲を示す模式図であり、図３は、図１の多焦点カメラ装置により撮影して得られた画像の一例を示す図である。
【００２４】
この多焦点カメラ装置１は、焦点距離が異なる３つのカメラＣ１、Ｃ２、Ｃ３をそれぞれ構成する１つ以上の撮影モジュールＭ１〜Ｍ14を併設してなる撮影部１０と、撮影部１０の各撮影モジュールＭ１〜Ｍ14により撮影された画像Ｐ１〜Ｐ14を記憶する一時記憶部２０と、撮影部１０の各撮影モジュールＭ１〜Ｍ14により撮影された複数の画像Ｐ１〜Ｐ14を選択、合成し、かつ、画像中における他の被写体と区別して表示すべき対象物の全体の領域を他の領域と区別して表示するための画像処理を施して出力用の画像Iを生成する合成部３０と、合成部３０により生成された画像Iを記録する記録部４０と、多焦点カメラの各部を制御する制御部６０等を備えており、記録部４０は、外部インターフェース５０を介して表示装置であるモニタ７０に接続されている。
【００２５】
撮影部１０は、撮影視野内の全体空間内の撮影距離がそれぞれｄ１、ｄ２、ｄ３である撮影領域Ａ１、Ａ２、Ａ３を、焦点距離が異なる３つのカメラＣ１、Ｃ２、Ｃ３を用いて撮影するものである。また、各カメラＣ１、Ｃ２、Ｃ３は、それぞれ１つ以上の撮影モジュールＭを有しており、焦点距離が長いほど、そのカメラを構成する撮影モジュール個々の視野が狭いため、カメラの全体の撮影視野を複数の撮影モジュールにより分割して撮影するようになっている。
【００２６】
具体的には、カメラＣ１は１つの撮影モジュールＭ１を、カメラＣ２は４つの撮影モジュールＭ２〜Ｍ５を、カメラＣ３は９つの撮影モジュールＭ６〜Ｍ１４を有しており、各撮影モジュールＭ１〜Ｍ１４は同じサイズの画像Ｐ１〜Ｐ１４を出力する。
【００２７】
さらに、全ての撮影モジュールＭ１〜Ｍ14は、例えば、制御部６０により発生されたクロック等により同期されたタイミングで撮影するようになっている。
【００２８】
以下各撮影モジュールＭの構成について説明する。図４は、撮影モジュールＭの構成の一例を示す図である。
【００２９】
撮影モジュールＭの光学系は、所要の焦点距離を有する結像レンズ１２と、撮影して得られる画像の露出を調節するための絞り１３およびシャッタ１４を有しており、絞り径およびシャッタの開閉は後述する制御部６０から出力される絞り値データおよびシャッタスピードデータとにより制御される。なお、各撮影モジュールＭの結像レンズ１２の構成は焦点距離により異なる。
【００３０】
光学系の後方には、ＣＣＤ等の撮影素子１５と、Ａ／Ｄ変換器１６とを有しており、光学系を通過した被写体光をＣＣＤ等の撮影素子１５により光電変換して得られたアナログ画像信号を、Ａ／Ｄ変換器１６によりデジタル画像信号に変換し、変換したデジタル画像信号をメモリに出力するようになっている。
【００３１】
一時記憶部２０は、撮影部の複数の撮影モジュールＭ１〜Ｍ14にそれぞれ対応する同数のメモリｍｅ１〜ｍｅ14を備えており、全ての撮影モジュールＭ１〜Ｍ14からの画像データを同時かつ並行して連続的に取り込めて記憶することができる。なお、一時記憶部２０は、撮影部１０の複数の撮影モジュールＭ１〜Ｍ14にそれぞれ対応する同数のメモリｍｅ１〜ｍｅ14を備えた場合について説明したが、これに限らず、２つ以上の撮影モジュールに対して１つのメモリを設けるようにしてもよい。
【００３２】
一時記憶部２０の各メモリｍｅ１〜ｍｅ14は、そのメモリが接続された各撮影モジュールＭ１〜Ｍ14から連続して出力される撮影画像のデジタル画像データを順次一時的に記憶するものであり、例えば、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリ、またはこれらを組み合わせたものを用いることができる。
【００３３】
図５は、合成部３０の構成を示す図である。合成部３０は、一時記憶部２０の複数のメモリｍｅ１〜ｍｅ14の全てに接続され、複数のメモリから複数の撮像モジュールＭ１〜Ｍ14の各々で撮影された画像Ｐ１〜Ｐ14を読み出し、それらの画像を選択、合成し、かつ、画像中における他の被写体と区別して表示すべき対象物の全体の領域を他の領域と区別して表示するための画像処理を施して出力用の画像Iを生成するものであり、検出部３２、領域取得部３４、画像処理部３６、推測部３８等を備える。
【００３４】
検出部３２は、撮影部１０の各カメラＣ１、Ｃ２、Ｃ３により撮影された複数の画像ＰＰ１（画像Ｐ１と同一）、ＰＰ２（画像Ｐ２〜Ｐ５からなる画像）、ＰＰ３（画像Ｐ６〜Ｐ14からなる画像）中における特定対象物の領域Ｆ１、Ｆ２、Ｆ３を検出するものである。特定対象物とは、例えば人物とか、犬や猫などのペット、あるいは車など、他の被写体と区別して表示すべき対象物の少なくとも一部を意味するものであり、本実施の形態では、撮影視野内をある人物Ｓが他の被写体と区別して表示すべき対象物であり、人物Ｓの顔Ｆｋが特定対象物である場合を例示して説明する。なお、図６は、検出部３２により顔Ｆｋの各画像ＰＰ１、ＰＰ２、ＰＰ３中における領域Ｆ１、Ｆ２、Ｆ３を検出した検出結果の一例を示す図である。
【００３５】
特定対象物の画像中における領域を検出する手法としては、例えば特開２００６−１３９３６９号公報に記載されているように、顔等の検出対象が既知である複数のサンプル画像における各画素の特徴量を予め学習することにより、検出対象であるか否かを識別する識別器を特徴量に対応させて取得し、各画像ＰＰ１、ＰＰ２、ＰＰ３上に該識別器を走査させて検出対象を検出する手法を用いることができる。また、特定対象物が撮影視野内を動いている人物等である場合には、１〜数フレーム前の画像と現フレーム画像の差分をとることにより移動体の領域を検出し、全体画像のうち移動体の領域を含む一部の領域上にのみ識別器を走査させて特定対象物を検出することもできる。
【００３６】
また、特開２００４−６２６０４号公報に記載されているように、対象画像から複数のオブジェクト領域を抽出し、抽出した複数のオブジェクト領域毎にオブジェクトの種類を識別し、その識別した種類の確信度が所定の閾値より大きいか否かを判別することにより、目的とする種類の検出対象を検出する等種々の公知の検出手法を用いることができる。
【００３７】
なお、上記検出処理では、各画像から特定対象物をそれぞれ検出して取得する処理について説明したが、少なくとも１つの画像から特定対象物を検出し、その検出結果に基づいて各画像中の特定対象物を取得するようにしてもよい。例えば、各画像ＰＰ１、ＰＰ２、ＰＰ３中における同一の被写体が撮影された画素の対応関係が既知であれば、画像ＰＰ１、ＰＰ２、ＰＰ３のうち少なくとも１つの画像中における特定対象物を検出し、その検出された特定対象物の領域中の画素と対応する他の各画像中の画素を手がかりとして、その他の各画像中における特定対象物を取得することができる。
【００３８】
領域取得部３４は、検出部３２により検出された人物Ｓの顔Ｆｋの領域Ｆ１、Ｆ２、Ｆ３のボケ度の関係と略同じボケ度の関係を有する画素からなる領域を、各画像ＰＰ１、ＰＰ２、ＰＰ３中に取得するものである。なお、画像中の各画素におけるボケ度は、該画素における空間周波数の周波数成分を調べることにより測定することができ、顔Ｆｋの領域Ｆ１、Ｆ２、Ｆ３のボケ度ｙ１、ｙ２、ｙ３としては、各領域内の画素における空間周波数の平均値等を用いることができる。
【００３９】
図７は、各カメラから人物Ｓの顔までの距離ｄｋを示す模式図であり、図８は、合焦設定距離がそれぞれｄ１、ｄ２、ｄ３であるカメラＣ１、Ｃ２、Ｃ３を用いて被写体を撮影する場合、各カメラから被写体までの距離ｄに対する、各カメラＣ１、Ｃ２、Ｃ３により撮影された画像中における被写体のボケ度との関係を示すグラフである。図示のように、各画像中におけるボケ度Ｙ１、Ｙ２、Ｙ３は、被写体の各カメラからの距離ｄがそのカメラの合焦設定距離と一致するとき最小となり、合焦設定距離から外れるほど大きくなる。これにより、図８にグラフに基づいて、ボケ度ｙ１、ｙ２、ｙ３の関係から各カメラから人物Ｓの顔までの距離ｄｋを特定する。
【００４０】
そして、特定された距離ｄｋから人物Ｓの全体が収まる程度の距離範囲（ｄｋ−α〜ｄｋ＋α）を決定する。ここで、人物Ｓの大きさに応じてその範囲の大きさを決定することが好ましく、例えば、人物Ｓのありうる最大の大きさの距離範囲を上記撮影距離範囲として決定する。
【００４１】
次に、決定された撮影距離範囲に対応するボケ度の関係の範囲を図８のグラフに基づいて取得し、各画像ＰＰ１、ＰＰ２、ＰＰ３中における同一の被写体が撮影された対応する画素のボケ度の関係が、その取得したボケ度の関係の範囲内のボケ度の関係となる画素からなる領域、即ち決定された撮影距離範囲内に存在する被写体を表す領域を、各画像ＰＰ１、ＰＰ２、ＰＰ３中に取得する。
【００４２】
なお、領域取得部３４は、検出部３２において人物Ｓの顔ｄｋが検出されない場合には、後述する推測部３８により推定される顔ｄｋの現フレームにおける撮影距離を人物Ｓの顔の撮影距離ｄｋとして決定し、決定された撮影距離ｄｋから人物Ｓの全体が収まる程度の撮影距離範囲（ｄｋ−α〜ｄｋ＋α）を決定する。そして、該撮影距離範囲内に存在する被写体の画像中における領域を、各画像ＰＰ１、ＰＰ２、ＰＰ３中に取得する。
【００４３】
また、検出部３２において人物Ｓの顔ｄｋが検出されたとしても、検出された顔ｄｋの各画像中におけるボケ度の関係から取得される顔Ｆｋの撮影距離が、推測部３８により推定される顔ｄｋの現フレームにおける撮影距離と大きく乖離している場合には、検出部３２による検出結果が誤っている可能性があると判断し、人物Ｓの全体が上記撮影距離範囲に確実に収まるよう、該範囲の大きさを大きくする等の措置をとることもできる。
【００４４】
推測部３８は、各カメラＣ１、Ｃ２、Ｃ３により連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る人物Ｓの顔Ｆｋのボケ度から、現撮影時における各カメラから顔Ｆｋまでの距離、即ち撮影距離を推測するものであり、具体的には、過去の撮影時に検出部３２により検出された顔Ｆｋの撮影距離の履歴から、オプティカルフロー、Ｋａｌｍａｎフィルター等の方法により、各カメラの位置を基準とした顔Ｆｋの移動ベクトルを算出し、算出した移動ベクトルを用いて現撮影時における顔Ｆｋの撮影距離を推測する。
【００４５】
例えば、図９に示すように、時刻ｔ−1のとき、顔Ｆｋの各画像中におけるボケ度がそれぞれｙ１（ｔ−1）、ｙ２（ｔ−1）、ｙ３（ｔ−1）であり、時刻ｔのとき、顔Ｆｋの各画像中におけるボケ度がそれぞれｙ１（ｔ）、ｙ２（ｔ）、ｙ３（ｔ）である場合、各時刻でのボケ度の関係に基づき、顔Ｆｋの移動ベクトルＶ（ｄ（ｔ）−d（ｔ−1））を算出し、算出された移動ベクトルＶを時刻ｔにおける顔Ｆｋの撮影距離d（ｔ）に加算することにより、次の撮影時（時刻ｔ＋１）における顔Ｆｋの撮影距離ｄ（ｔ＋1）を推測する。
【００４６】
画像処理部３６は、複数の撮像モジュールＭ１〜Ｍ14の各々で撮影された画像Ｐ１〜Ｐ14を選択、合成し、かつ、領域取得部３４において取得された領域、即ち画像中における人物Ｓの全体の領域を他の領域と区別して表示するための画像処理を施して出力用の画像Ｉを生成するものであり、例えば、撮影したい所定の撮影対象を略中央部に有する１枚の出力用の画像Ｉを生成するように、画像Ｐ１〜Ｐ14を適宜選択、合成するとともに、領域取得部３４において取得された領域あるいはその領域を除いた他の領域に塗りつぶし処理、モザイク処理、テンプレート挿入処理等のマスク処理を施して出力用の画像Ｉを生成する。図１０は領域取得部３４において取得された領域にモザイク処理を施してなる出力用の画像Ｉ１を示すものであり、図１１はその領域を除いた他の領域にモザイク処理を施してなる出力用の画像Ｉ２を示すものである。
【００４７】
ここで、図１２を参照して、合成部３０により行われる処理の一例について説明する。まず、検出部３２が、各画像ＰＰ１、ＰＰ２、ＰＰ３中における人物Ｓの顔Ｆｋの領域Ｆ１、Ｆ２、Ｆ３の検出を開始する（ステップＳＴ１）。そして、画像ＰＰ１、ＰＰ２、ＰＰ３のうち少なくとも１つの画像中の顔Ｆｋが検出されると、検出された顔Ｆｋの該画像中における位置を取得し（ステップＳＴ２）、取得した位置から、各画像ＰＰ１、ＰＰ２、ＰＰ３中における同一の被写体が撮影された画素の対応関係に基づいて、他の各画像中における顔Ｆｋの領域を取得する（ステップＳＴ３）。次に、領域取得部３４が、顔Ｆｋの領域Ｆ１、Ｆ２、Ｆ３内の画素における空間周波数の平均値を各領域のボケ度ｙ１、ｙ２、ｙ３として算出し（ステップＳＴ４）、算出されたボケ度ｙ１、ｙ２、ｙ３から図７のグラフに基づいて、各カメラから顔Ｆｋまでの距離ｄｋを特定する（ステップＳＴ５）。そして、特定された距離ｄｋから人物Ｓの全体が収まる程度の距離範囲を決定する（ステップＳＴ６）。次に、画像処理部３６が、画像Ｐ１〜Ｐ14を選択、合成し、かつ、ステップＳＴ６において決定された距離範囲内に存在する被写体の領域を他の領域と区別して表示するためのマスク処理を施して出力用の画像Ｉを生成する（ステップＳＴ７）。これにより、生成された画像Ｉは記録部５０に記録され、外部インターフェースを介してモニタ７０に表示される。
【００４８】
なお、ここでは、人物Ｓの顔Ｆｋの各画像中におけるボケ度の関係から、一旦各カメラから顔Ｆｋまでの距離を取得し、取得した距離から人物Ｓの全体が収まる程度の距離範囲（ｄｋ−α〜ｄｋ＋α）を決定した上で、決定された距離範囲に対応するボケ度の関係の範囲を取得し、各画像ＰＰ１、ＰＰ２、ＰＰ３中における同一の被写体が撮影された対応する画素のボケ度の関係が、その取得されたボケ度の関係の範囲内となる画素からなる領域を、各画像ＰＰ１、ＰＰ２、ＰＰ３中に取得する場合について説明したが、各カメラから顔Ｆｋまでの距離等を取得することなく、顔Ｆｋの各画像中におけるボケ度の関係から、直接人物Ｓの全体が収まる程度のボケ度の関係の範囲を決定し、各画像ＰＰ１、ＰＰ２、ＰＰ３中における同一の被写体が撮影された対応する画素のボケ度の関係が、その決定された範囲内のボケ度の関係となる画素からなる領域を、各画像ＰＰ１、ＰＰ２、ＰＰ３中に取得するようにしてもよい。この場合、推測部３８も同様に、各カメラＣ１、Ｃ２、Ｃ３により連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る人物Ｓの顔Ｆｋのボケ度から、現撮影時における顔Ｆｋの各画像ＰＰ１、ＰＰ２、ＰＰ３中におけるボケ度を直接推測するようにしてもよい。
【００４９】
記録部５０は、合成部４０に接続され、合成部４０により生成された合成画像のデジタル画像データを、読み出し書き込み可能に記録して、保存するためのものである。この記録部としては、例えば、ＳＲＡＭ、ＤＲＡＭ等の揮発性メモリ、またはＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の不揮発性メモリなどの半導体記憶素子（メモリ）、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、磁気記録テープなどの記録メディア、またはこれらを組み合わせたものが用いられる。
【００５０】
制御部６０は、図示しない操作系や上記各種処理部等からの信号に応じて多焦点カメラ装置１の本体各部を制御する。例えば、各撮影モジュールＲ１〜ＲＮの絞り値およびシャッタスピードを決定する。
【００５１】
上記実施の形態によれば、焦点距離が異なる複数のカメラＣ１、Ｃ２、Ｃ３により同一の撮影領域を撮影して表示する多焦点カメラ装置１において、各カメラＣ１、Ｃ２、Ｃ３により撮影された画像ＰＰ１、ＰＰ２、ＰＰ３中の人物Ｓの顔Ｆｋの領域Ｆ１、Ｆ２、Ｆ３を検出し、検出された顔の各画像中におけるボケ度ｙ１、ｙ２、ｙ３の関係と略同じボケ度の関係を有する画素からなる領域を、画像ＰＰ１、ＰＰ２、ＰＰ３中に取得し、取得された領域を他の領域と区別して表示するための画像処理を施すようにしているので、人物Ｑ等の他の被写体と区別して表示すべき人物Ｓの少なくとも一部、ここでは顔Ｆｋの検出結果から、人物Ｓの全体が収まる程度の範囲内の距離に存在する被写体の領域を取得でき、画像中における人物Ｓの全体の領域を他の領域と区別して表示させることができる。
【００５２】
また、時たま人物Ｓの顔Ｆｋが検出されない場合であっても、各カメラにより連続的に複数回撮影して得られた画像中における、直前の過去少なくとも２回に亘る顔Ｆｋのボケ度から推測されるボケ度を顔Ｆｋの各画像中におけるボケ度としているので、人物Ｓの全体が収まる可能性が高い範囲内の距離に存在する被写体の領域を他の領域と区別して表示することができる。
【００５３】
なお、上記実施の形態では、複数のカメラの一例として、それぞれ１つ以上の撮影モジュールＭからなる複数個のカメラが、互いに近接させて設けられているものである場合について説明したが、たとえば、隣り合わせに設けられた、焦点距離が異なる複数のレンズと、その後方に、各レンズを通過した被写体光を画像信号に変換する機構とを備えてなるものであってもよい。また、この複数のレンズは一体的に形成されてなるものであってもよい。
【００５４】
また、上記実施の形態では、合成部３０、記録部４０、外部インターフェース５０、および制御部６０が多焦点カメラ装置１に一体的に構成された場合について説明したが、これらのうち少なくとも１つが多焦点カメラ装置１の外部に別途のユニットとして設けられたものであってもよい。
【００５５】
また、焦点距離が異なる３つのカメラＣ１、Ｃ２、Ｃ３がそれぞれ所定の異なる個数の撮影モジュールＭを備えてなるものである場合について説明したが、各カメラＣ１、Ｃ２、Ｃ３は、それぞれ１つ以上の撮影モジュールＭを有するものであればよく、同一の数の撮影モジュールを有するようにしてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態である多焦点カメラ装置の構成を示す概略ブロック図
【図２】図１の多焦点カメラ装置による撮影領域を示す模式図
【図３】図１の多焦点カメラ装置により撮影して得られた画像の一例を示す図
【図４】図１の撮影モジュールの構成の一例を示す図
【図５】図１の合成部の構成を示す図
【図６】検出部により特定対象物の各画像中における領域を検出した検出結果の一例を示す図
【図７】図２の撮影領域内における特定対象物の撮影距離を示す模式図
【図８】図１の各カメラにおける被写体の撮影距離に対するボケ度の関係を示すグラフ
【図９】図１の推測部による特定対象物の撮影距離を推測する方法を説明するためのグラフ
【図１０】図１の画像処理部により生成された出力用の画像の一例を示す図
【図１１】図１の画像処理部により生成された出力用の画像の一例を示す図
【図１２】図１の合成部により行われる処理の一例を示すフローチャート
【符号の説明】
【００５７】
１ 多焦点カメラ装置
ｄ 撮影距離
Ｃ カメラ
Ｍ 撮影モジュール
Ｐ 画像
Ｆ 特定対象物
Ｉ 出力用の画像
１０      撮影部
２０      一時記憶部
３０      合成部（検出手段、領域取得手段、画像処理手段）
４０      記録部
５０      外部インターフェース
６０      制御部
【図１】
2009188697.tif 000003
【図２】
2009188697.tif 000004
【図３】
2009188697.tif 000005
【図４】
2009188697.tif 000006
【図５】
2009188697.tif 000007
【図６】
2009188697.tif 000008
【図７】
2009188697.tif 000009
【図８】
2009188697.tif 000010
【図９】
2009188697.tif 000011
【図１２】
2009188697.tif 000012
【図１０】
2009188697.tif 000013
【図１１】
2009188697.tif 000014
【手続補正書】
【提出日】平成20年3月31日(2008.3.31)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
画像中の対象物を検出する方法としては種々の公知技術が用いられる。例えば、特許文献２では、自動車に搭載された焦点距離が異なる複数のカメラを備え、各カメラにより取得した画像中の道路標識、番地標識等のナビゲーションのための視覚的情報を表す対象物が撮影された領域を、任意の人工知能アルゴリズムによるパターン認識を用いて検出する方法が開示されている。
【特許文献１】特開２００６−１４２９１号公報
【特許文献２】特表２００５−５０９１２９号公報
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
なお、領域取得部３４は、検出部３２において人物Ｓの顔Ｆｋが検出されない場合には、後述する推測部３８により推定される顔Ｆｋの現フレームにおける撮影距離を人物Ｓの顔の撮影距離ｄｋとして決定し、決定された撮影距離ｄｋから人物Ｓの全体が収まる程度の撮影距離範囲（ｄｋ−α〜ｄｋ＋α）を決定する。そして、該撮影距離範囲内に存在する被写体の画像中における領域を、各画像ＰＰ１、ＰＰ２、ＰＰ３中に取得する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
また、検出部３２において人物Ｓの顔Ｆｋが検出されたとしても、検出された顔Ｆｋの各画像中におけるボケ度の関係から取得される顔Ｆｋの撮影距離が、推測部３８により推定される顔Ｆｋの現フレームにおける撮影距離と大きく乖離している場合には、検出部３２による検出結果が誤っている可能性があると判断し、人物Ｓの全体が上記撮影距離範囲に確実に収まるよう、該範囲の大きさを大きくする等の措置をとることもできる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
ここで、図１２を参照して、合成部３０により行われる処理の一例について説明する。まず、検出部３２が、各画像ＰＰ１、ＰＰ２、ＰＰ３中における人物Ｓの顔Ｆｋの領域Ｆ１、Ｆ２、Ｆ３の検出を開始する（ステップＳＴ１）。そして、画像ＰＰ１、ＰＰ２、ＰＰ３のうち少なくとも１つの画像中の顔Ｆｋが検出されると、検出された顔Ｆｋの該画像中における位置を取得し（ステップＳＴ２）、取得した位置から、各画像ＰＰ１、ＰＰ２、ＰＰ３中における同一の被写体が撮影された画素の対応関係に基づいて、他の各画像中における顔Ｆｋの領域を取得する（ステップＳＴ３）。次に、領域取得部３４が、顔Ｆｋの領域Ｆ１、Ｆ２、Ｆ３内の画素における空間周波数の平均値を各領域のボケ度ｙ１、ｙ２、ｙ３として算出し（ステップＳＴ４）、算出されたボケ度ｙ１、ｙ２、ｙ３から図８のグラフに基づいて、各カメラから顔Ｆｋまでの距離ｄｋを特定する（ステップＳＴ５）。そして、特定された距離ｄｋから人物Ｓの全体が収まる程度の距離範囲を決定する（ステップＳＴ６）。次に、画像処理部３６が、画像Ｐ１〜Ｐ14を選択、合成し、かつ、ステップＳＴ６において決定された距離範囲内に存在する被写体の領域を他の領域と区別して表示するためのマスク処理を施して出力用の画像Ｉを生成する（ステップＳＴ７）。これにより、生成された画像Ｉは記録部５０に記録され、外部インターフェースを介してモニタ７０に表示される。