(57)【特許請求の範囲】
【請求項１】
少なくとも２台の撮像機器と、
２枚の画像に同時に見える特徴点を画像処理により検出してマッチングをとり、そのマッチング結果からエピポーラ幾何を計算して画像の重なり程度を判定する手段と、
該２台の撮像機器から得られる画像の重なり程度に応じて画像認識処理を切り替える手
段と、
前記それぞれの撮像機器の光軸の向きを可動する電動雲台と、を備え、
該電動雲台は前記画像認識処理の結果に応じて動的に制御することを特徴とするマルチカ
メラシステム。
【請求項２】
請求項１のマルチカメラシステムにおいて、
撮像機器の視野の重なり具合に応じて画像認識処理を切り替える際、２台の撮像機器の
視野が重なっている場合にはステレオ距離計測機能，立体物形状計測機能，パノラマ画像
生成機能，死角撮影機能，人物行動解析機能のうち、すくなくとも一つの機能を実行し、
２台の撮像機器の視野が重なっていない場合には、２台のカメラで検出対象の検出を行う
機能を実行し、検出対象となる移動物体の位置と２台の撮像機器の光軸間の角度に応じて
前記機能を切り替えることを特徴とするマルチカメラシステム。
【請求項３】
請求項１のマルチカメラシステムにおいて、
前記撮像機器の焦点距離を制御することを特徴とするマルチカメラシステム。
【請求項４】
請求項１のマルチカメラシステムにおいて、
該画像重なり判定手段の出力として、２台の撮像機器の視野が重なっている場合には、
視野内の対象物に関する処理を行い、２台の撮像機器の視野が重なっていない場合には、
２台の撮像機器で対象物の検出を行うことを特徴とするマルチカメラシステム。
【請求項５】
請求項１のマルチカメラシステムにおいて、
前記撮像機器の光軸の向きを可動する電動雲台を備えて、
該電動雲台は前記画像重なり判定手段の出力に応じて制御することを特徴とするマルチ
カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも２台以上の撮像機器によって対象物を検出，追跡，行動解析するマルチカメラシステムに関するものである。
【背景技術】
【０００２】
従来、監視・モニタリングシステムにおいては監視対象やモニタリング対象の人物、あるいは物体を単一のカメラで撮像し、その映像を蓄積、配信してきた。また必要に応じて画像処理や画像認識を行い、その結果に応じて監視員やモニタリングしている人に警報や注意を発し、監視・モニタリングによって生じる人的負担を軽減する手法が採用されてきた。しかし、単一カメラでの監視・モニタリングでは検出対象物の隠蔽によって画像認識性能が低下する場合もある。また、単一のカメラでは画像認識を行う際に影や光の影響による誤報が多発し、実環境下で監視・モニタリング用の画像認識アルゴリズムが適切に動作しないことがある。
【０００３】
近年、これらの問題を解決するために、ステレオカメラを含むマルチカメラ撮像機器、あるいはシステムを用いる事例が増えている。例えば、〔特許文献１〕においては、ステレオカメラを用いることによって影や光などの照明変動による誤報を低減したり、撮影対象物のサイズ，ボリュームを計測することで撮影した対象が人であるか、車両であるかを判定したりする。また、複数カメラの画像によって隠蔽のない対象物体撮影を可能にして、例えば顔認証システムの精度を向上させる技術が示されている。
【０００４】
【特許文献１】特開平１０−１３４１８７号公報
【特許文献２】US Patent 6,711,293
【非特許文献１】佐藤  淳著、“コンピュータビジョン―視覚の幾何学”、コロナ社、１９９４年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来のマルチカメラ撮像技術は、特定の目的に応じてカメラ構成が一意に決まる。例えば、距離計測を行う場合には、特性が同じである２台のカメラを並行に固定する。あるいは、移動物体の検出・追跡を行う場合には、広角カメラで移動物体を検出・追跡し、望遠カメラでその移動物体の詳細映像を撮影する。
【０００６】
すなわち、特定の目的に応じてカメラ構成とアプリケーションが決まってしまい、マルチカメラシステムにおけるカメラ配置やカメラ光軸の向きが動的に変化した場合にアプリケーションを適応的に切り替えることをしていない。
【０００７】
このような課題に対して、本発明はカメラ配置やカメラ光軸の向きが動的に変化した場合においてもより適応したマルチカメラシステムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を解決するために、例えば特許請求の範囲に記載の構成を採用する。その一例を挙げるならば、少なくとも２台の撮像機器と、２枚の画像に同時に見える特徴点を画像処理により検出してマッチングをとり、そのマッチング結果からエピポーラ幾何を計算して画像の重なり程度を判定する手段と、２台の撮像機器から得られる画像の重なり程度に応じて画像認識処理を切り替える手段と、それぞれの撮像機器の光軸の向きを可動する電動雲台と、を備え、電動雲台は画像認識処理の結果に応じて動的に制御することを特徴とする。
【発明の効果】
【００１７】
本発明のマルチカメラシステムによれば、撮像機器の配置や光軸の向きの変化に応じて画像認識アプリケーションを切り替えることができるため、撮像機器を任意に設置してもマルチカメラシステム自体がその撮像機器設置に最適な画像認識アプリケーションを選択できるため、使い勝手のよいシステムを提供することができる。また、既存の撮像機器に、例えばその撮像機器に対して、より安価な撮像機器を追加することによって、容易に、および安価に画像認識アプリケーションのバリエーションを増やすことができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について図面を用いて説明する。
【実施例１】
【００１９】
図１に本発明を実施するマルチカメラシステムの機能ブロック図の例を示す。メインカメラ１０１，サブカメラ１０２はそれぞれ、電動雲台１０３，１０４上に設置されている。メインカメラ１０１，サブカメラ１０２はカメラ特性、具体的には画像解像度，レンズサイズ，焦点距離，フレームレート，撮像可能波長領域が同じであっても、異なっていてもよい。また、電動雲台１０３，１０４のいずれも手動、または自動で制御される。
【００２０】
視野重なり判定部１０５では、カメラ１０１，１０２で撮像された映像の視野が重なっているかいないかを判定し、判定結果を画像処理機能選択部１０６へ渡す。画像処理機能選択部１０６ではその結果に基づいて物体追跡、距離計測、行動判定、あるいはパノラマ生成の何れか、あるいはこれらの組み合わせの機能を選択する。
【００２１】
映像解析部１０７では画像処理機能選択部１０６で選択された画像処理を行い、その解析結果を外部に出力したり、雲台制御部１０８へ渡し、電動雲台１０３，１０４の動作を制御したりする。電動雲台は２台とも可動する場合、１台が固定されてもう一台が可動する場合、そして２台とも固定されている場合がある。また、２台の雲台は同期して動く場合、例えば２台のカメラ光軸が並行である初期状態から、２台のカメラは常に同じ角度で動作する場合とそれぞれのカメラが任意の角度で動く場合、例えば移動物体を追跡するような場合がある。カメラの焦点距離が可変である場合は、その焦点距離の値にも連動して２台の雲台が制御される場合と、連動して制御されないようにすることが可能である。
【００２２】
次に図２の実施例を用いて、移動物体の追跡を例に電動雲台１０３，１０４の動作の具体例について説明する。左カメラ２０１，右カメラ２０２を備えており、検出、および追跡対象物体２０３との関係を示している。図２（ａ）でθは左カメラ２０１の光軸方向を基準にしたときの右カメラ２０２の光軸方向であり、反時計周り方向が正である。破線は２台のカメラの視野（画角）を示している。図２（ａ）の場合にはθは負の値をとる。ただし２台のカメラの光軸は同一平面内に存在するように校正されているものとする。
【００２３】
最初、図２（ａ）のように移動物体が遠方にある場合には２台のカメラの視野が重なっていない。図２（ｂ）（ｃ）（ｄ）のように、移動物体がカメラ側に近づくにつれて２台のカメラ間角度θの値が大きくなり、視野の重なり程度が大きくなる。最終的には図２（ｅ）のように２台のカメラは正対し、移動物体を正反対の方向から撮影する。視野重なり判定部１０５では上記図２（ａ）〜（ｅ）の状態を判定し、その判定結果を画像処理機能選択部１０６へ送る。映像解析部１０７では画像処理機能選択部１０６の出力結果に応じた映像解析を行い、その解析結果を雲台制御部１０８へ送る。
【００２４】
以下に図３を使って上記の処理の詳細について説明する。追跡対象物体が遠方から２台のカメラ３０１（例えば左カメラ２０１）、およびカメラ３０２（例えば右カメラ２０２）に向かって移動する場合の電動雲台の動作について説明する。物体検出部３０３は移動物体を検出する機能を備えるが、もしカメラ３０１、あるいはカメラ３０２の視野内に移動物体が存在しなければ、物体検出部３０３は移動物体が見つかるまで処理を続ける。もしカメラ３０１、あるいはカメラ３０２の視野内に移動物体が存在すれば、次のステップ３０５で２枚の画像の視野重なり度を計算し、ステップ３０６でその計算結果から次に行う処理の選択をする。このステップ３０５とステップ３０６の処理が図１における視野重なり判定部１０５の処理に該当する。
【００２５】
ここで、その検出された物体が図２（ａ）のように遠方にあり、２台のカメラの視野が重なっていない場合、図３のステップ３０６では追跡対象物体は右カメラにしか写っておらず、左カメラには写っていないと判定する。この判定結果を受けて、２台のカメラは移動物体が左カメラに写るまでは右カメラで対象物体を追跡する。同時に、左カメラは電動雲台を回転させて右カメラの方を向くようにする。この左カメラの一連の動作は視野重なり判定部１０５，画像処理機能選択部１０６，映像解析部１０７を経て、左カメラをどのくらい右方向に向かせるかを雲台制御部に伝え、左カメラを回転させる。左カメラ２０１，右カメラ２０２ともに常に追跡対象が画像中心付近に見えるように電動雲台１０３、および１０４を回転させる。移動物体の見かけの大きさが変化せず、移動物体とカメラとの距離が変わらないと判定できる場合は、図３のステップ３０８のカメラ間移動物体追跡処理を行う。
【００２６】
図２（ａ）の状態では２台のカメラの視野が重なっておらず、カメラ間で同一物体の同定を行うためには、異なる時刻における移動物体の検出結果を保存しておき、２台のカメラ間で異なる時刻に検出された物体の同定を行う。２台のカメラ移動物体の検出結果は図１の映像解析部１０７に保存されている。
【００２７】
ここで、もしカメラ３０１，３０２の焦点距離が可変であるズームカメラであれば、検出した物体が常に同じ大きさに見えるように焦点距離を手動、あるいは自動で調節する。
【００２８】
次に、移動物体が図２（ｂ）のようにさらにカメラ側に近づいてくるものとする。この状態では移動物体はまだ右カメラ２０２でしか捉えられていないが、２台のカメラの視野は重なり始めている。図３のステップ３０６では映像が重なっていると判定して、ステップ３０７で２台のカメラ光軸間の角度θがθ＞−Ｔｈであるか否かを判定する。ここで、±Ｔｈは２台のカメラ光軸間の角度が０に近くなる、すなわち平行とみなせるか否かを判定するθのしきい値である。ここでカメラ画角を２θ０とし、もしθ＜２θ０であり、かつθ＞Ｔｈでないならば、２台のカメラの視野はカメラ光軸が並行から外れた状態で重なっている。この状態で２枚の画像間で歪やスケール変動などの影響を取り除いて重なり部分の張り合わせを行うとパノラマ画像を生成できる。
【００２９】
次に追跡対象物体がカメラに近づいて２台のカメラ３０１と３０２の光軸がほぼ水平に近き、図３のステップ３１０において−Ｔｈ≦θ≦Ｔｈとなった場合に２台のカメラ光軸がほぼ並行になったと判定し、追跡対象物体までの距離を計算するモードに切り替わる。この判定は視野重なり判定部１０５の出力を受けて画像処理機能選択部１０６において行われる。次の映像解析部では追跡対象物体までの距離を遂次計算し、例えば追跡対象物体がある一定距離に設定した仮想平面を通過した場合にアラームを発報するなどのアプリケーションや、仮想平面を通過した人数をカウントするアプリケーションを実行する。同時に、映像解析部は遂次移動物体を追跡し、移動物体の画面上での位置情報から、移動物体が常に画像中心付近に見えるように雲台制御部１０７を制御する。
【００３０】
この場合も、追跡対象物体が常に視野内で同じ大きさになるようにカメラ３０１，３０２の焦点距離を調節できる。このとき、焦点距離を変えた状態でも容易に距離計測できるようにするため、２台のカメラの焦点距離は同期して、常に同じ焦点距離値を持つようにする。
【００３１】
次に図２（ｄ）のように移動物体がカメラに近づいた場合には、２台のカメラから移動物体の同じ特徴点が見えなくなる場合がある。視野重なり判定部１０５ではこの状態を検知し、その情報を画像処理機能選択部１０６へ送る。画像処理機能選択部１０６は、例えば、同一物体を異なる視点から見た死角撮影が選択できる。図３のフローで説明すると、判定部３０９，３１０の判定結果を経て死角撮影３１１が行われる。カメラ間移動物体追跡３０８，パノラマ画像生成３０９，距離計測３１０，死角撮影３１１の何れかが行われた後、ステップ３１２では移動物体を追跡する。ステップ３１３で判定するように検出された移動物体が画像の中心付近で見えていれば、継続して物体の追跡を行い、移動物体が画像の中心付近から外れているか、もしくは視野から消えていたら、ステップ３１４で現フレームまでの追跡結果から移動量と移動方向を予測し、ステップ３１４で２台のカメラ３０１，３０２を制御し、再度物体検出部３０３で物体検出を行い、以上の処理を繰り返す。
【００３２】
物体の移動に応じてカメラが正対し、さらに移動物体が通り過ぎると今度は視野が重ならなくなるまで、上記と逆の順番で処理をしていく。この結果、最後には移動物体の全週画像が得られる。
【００３３】
ここで、図３の視野の重なり程度を計算する部分の詳細について図４を使って示す。カメラ４０１，カメラ４０２でそれぞれ画像１（４０３），画像２（４０４）が撮像される。ステップ４０５で以降の処理を反復する回数を制御する変数ＴをＴ＝０に初期化する。
【００３４】
次にステップ４０６において２枚の画像の特徴点対応計算を開始する。画像から抽出する特徴点としては、例えば画像のパターンからコーナーポイントを検出する。コーナーポイントを検出して画像間でマッチングする手段としては、例えば〔特許文献２〕に示されているＳＩＦＴ（Scale Invariant Feature Tracking）が用いられる。ステップ４０７では２枚の画像間でのマッチング個数の判定を行う。ここでマッチング個数ＮがＮ≧７であれば、ステップ４０８で特徴点対応計算を終了し、ステップ４０９においてＦ行列の計算を行う。Ｆ行列は基礎行列とも呼ばれ、２台のカメラでシーンを撮影したときに、カメラ間のエピポーラ幾何拘束を定義する行列である。すなわち、一方の画像上の特徴点がもう一方の画像上のどの直線上に存在するかを決める行列であり、その直線をエピポーラ直線と呼ぶ（例えば、〔非特許文献１〕参照）。
【００３５】
もし、２枚の画像のエピポーラ直線が並行であり、かつ高さ座標が同一であれば、例えば右画像の特徴点は左画像の同一高さの直線上をスキャンすることで左画像上の対応点を見つけることができる。これは２台のカメラの光軸が並行になっている並行ステレオをと呼ばれているカメラ状態であり、特徴点の左右画像でのずれは視差であり、視差から実空間におけるカメラから特徴点までの距離が計算される。Ｆ行列は特徴点の対応の組み合わせが最低７個あれば計算できるので、マッチング個数の下限しきい値をＮ＝７としている。
【００３６】
ステップ４１０ではＦ行列が計算されたか、又は、されなかったかを判定する。Ｆ行列が計算されるということは２枚の画像間で特徴点の対応が取れていて、かつその個数が７個以上であることを意味しているので、この場合は２枚の画像が重なっていると判断する。その判定結果をステップ４１１として視野が重なっていると出力して処理を終了する。もしステップ４１０でＦ行列が何らかの理由、例えば２枚の画像の特徴点対応が間違って計算され、Ｆ行列の計算が正確に行われなかった場合には、２枚の画像は重なっていないと判断してステップ４１５で視野が重なっていない判定結果を出力する。
【００３７】
ステップ４０７の判定部において、もし特徴点のマッチング個数Ｎが６個以下であればＦ行列を計算することができないため、ステップ４０６の２枚の画像の特徴点対応計算を反復する。ここで特徴点の対応個数が７以上になればステップ４０８以降の処理に進み、Ｆ行列が計算できるか否かを判定する。もし特徴点の対応が７個以上求められずに反復回数が上限しきい値であるＭを越えた場合はステップ４１４で反復演算を終了し、２枚の画像は重なっていないと判断してステップ４１５で視野が重なっていない判定結果を出力する。
【００３８】
以上がマルチカメラシステムにおいて、２台のカメラが検出対象を追跡しながらカメラの向きを動的に変え、かつ各カメラの光軸向きの状態に応じて画像処理・画像認識アプリケーションを動的に切り替える手段を示したものである。カメラが２台以上存在する場合は、それらのうち、任意の２台の組み合わせで上記手段を実行できる。
【００３９】
また図１において電動雲台１０３，１０４の制御情報、すなわち回転角度や回転スピードが雲台からパラメータ情報として抽出できる場合は、そのパラメータ情報に応じたアプリケーション機能をルックアップテーブルに保存しておき、自動、または手動によって雲台の回転角度が制御された場合に回転角度をルックアップテーブルに入力し、その出力として画像処理・画像認識アプリケーションを選べる機能を図１の画像処理機能選択部１０５に持たせることができる。この場合は視野の重なり程度を判定せずに、雲台の回転角度から直接画像処理アプリケーションを選択できる。この場合は画像処理機能選択部１０５が移動物体の検出結果に依存しないので、任意のカメラ方向を指定することで、例えばある特定距離と画各に入ってきた移動物体だけを待ち伏せて撮像し、特定の画像処理だけを行わせることができる。
【００４０】
このように、従来のマルチカメラシステムでは、例えばステレオカメラの場合、距離計測を行うために特性が等しい２台の撮像機器を頑健な筐体に固定する必要があったため、新たな筐体作成の費用が生じるとともに、距離計測以外のアプリケーション、具体的にはパノラマ画像生成や、複数の撮像機器間の人物追跡に使いまわすことが出来なかったが、これに対して、実施例で示した本発明のマルチカメラシステムによれば特定のアプリケーションに応じて撮像機器構成を限定する必要が無く、複数の画像認識アプリケーションを提供することを実現するものである。
【産業上の利用可能性】
【００４１】
本発明のマルチカメラシステムによれば、撮像機器を任意に設置してもマルチカメラシステム自体がその撮像機器設置に最適な画像認識アプリケーションを選択できるため、使い勝手のよい映像検知システムを提供することが実現できる。
【図面の簡単な説明】
【００４２】
【図１】マルチカメラシステムの構成を示した説明図である。
【図２】移動物体を追跡するときのマルチカメラの動作形態を示した説明図である。
【図３】物体の検出結果に応じて、マルチカメラの画像処理機能を切り替えるための実施方法を示したフローチャートである。
【図４】２台のカメラ視野の重なり程度を判定するための実施方法を示したフローチャートである。
【符号の説明】
【００４３】
１０１  メインカメラ
１０２  サブカメラ
１０３，１０４  電動雲台
１０５  視野重なり判定部
１０６  画像処理機能選択部
１０７  映像解析部
１０８  雲台制御部
２０１  左カメラ
２０２  右カメラ
２０３  検出対象物体
３０１，４０１  カメラ１
３０２，４０２  カメラ２
３０３  物体検出部
３０４  物体存在判定部
３０５  ２毎の画像の重なり程度計算部
３０６  ２毎の画像の重なり程度判定部
３０７  ２台のカメラ光軸間角度の計算部
３０８  カメラ間オブジェクト追跡部
３０９  パノラマモードと距離計測モードの判定部
３１０  距離計測モードと死角撮影モードの判定部
３１１  死角撮影部
３１２  対象物体の追跡部
３１３  対象物体の位置判定部
３１４  カメラの雲台制御部、
４０３  画像データ１
４０４  画像データ２
４０５  反復回数の初期設定
４０６  ２枚の画像の特徴点対応計算開始
４０７  マッチング個数の判定
４０８  特徴点対応計算終了
４０９  Ｆ行列計算部
４１０  Ｆ行列計算終了判定部
４１１  ２つの画像の視野が重なっているフラグ
４１２  反復処理回数の更新
４１３  反復処理回数の更新回数の上限
４１４  特徴点対応計算終了
４１５  ２つの画像の視野が重なっていないフラグ
【図１】
0004979525.tif 000002
【図２】
0004979525.tif 000003
【図３】
0004979525.tif 000004
【図４】
0004979525.tif 000005