(57)【要約】【課題】  本発明は、指定した対象物を追跡して臨場感のある画像をリアルタイムで監視者に提供できるようにする。【解決手段】  本発明は、少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能になされた複数のカメラ１３によって取得される複数の画像をつなぎ合わせることにより球面画像Ｑ１を生成し、複数の画像の中から指定された対象物と、球面画像Ｑ１との配置関連性を求め、その配置関連性に基づいて対象物を球面画像Ｑ１の略中央領域に配置することにより、球面画像Ｑ１のうち当該対象物にフォーカスを当てて追跡したトラッキング画像を提供することができる。【選択図】        図５
2007043225.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能になされた複数の撮像素子と、
上記複数の撮像素子によって取得された複数の画像をつなぎ合わせるための画像連結手段と、
上記複数の撮像素子によって撮像された画像の中から所望の対象物を指定するための対象物指定手段と、
上記画像連結手段によって上記複数の画像をつなぎ合わせた結果得られる連結画像と上記対象物指定手段によって指定された上記対象物との配置関連性を求め、その配置関連性に基づいて上記対象物を上記連結画像の略中央領域に配置する画像処理手段と
を具えることを特徴とする撮像画像処理装置。
【請求項２】
上記複数の撮像素子から取得された上記複数の画像の連結位置関係を事前に把握して較正するキャリブレーション手段
を具えることを特徴とする請求項１に記載の撮像画像処理装置。
【請求項３】
上記対象物指定手段によって指定された上記対象物に対して当該対象物が指定されたことを強調するための指定対象強調手段
を具えることを特徴とする請求項１に記載の撮像画像処理装置。
【請求項４】
上記指定対象強調手段は、上記対象物に対して色調処理、輪郭強調処理又は明暗処理の少なくともいずれかを施す
ことを特徴とする請求項３に記載の撮像画像処理装置。
【請求項５】
上記複数の撮像素子は３個以上であり、その中の少なくとも２個の撮像素子が略同一面に配置されている
ことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項６】
上記複数の撮像素子は、空間上の全方位を捉えられるようにその個数が設けられ、かつ配置されている
ことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項７】
上記撮像画像処理装置は、
上記複数の撮像素子から得られる上記複数の画像を無線伝送するための無線伝送手段と、
上記無線伝送手段により無線伝送された上記複数の画像を受信する画像受信手段と
を具え、
上記画像受信手段により受信した上記複数の画像を上記画像連結手段へ供給するようにした
ことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項８】
上記撮像画像処理装置は、
上記対象物指定手段によって指定された上記対象物を示す指定信号を無線伝送するための無線伝送手段と、
上記無線伝送手段により無線伝送された上記指定信号を受信する指定信号受信手段と
を具え、
上記指定信号受信手段により受信した上記指定信号を上記画像連結手段へ供給するようにした
ことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項９】
上記画像連結手段により連結された上記連結画像を静止画状態で一時的に保持する一時保持手段と、
上記連結画像を構成する上記複数の画像を出力する上記複数の撮像素子の識別情報を保持する識別情報保持手段と、
上記一時保持手段から読み出した上記連結画像に対して上記対象物指定手段により上記対象物が指定されたとき、上記一時的に保持された当該連結画像と、上記識別情報に対応した上記複数の撮像素子から現時点で得られる上記連結画像とにおける時間的推移を追跡することにより上記指定された上記対象物の現時点配置を求める現時点配置算出手段と
を具え、
上記一時保持手段によって保持された上記静止画状態の上記連結画像に対して上記対象物を上記対象物指定手段によって指定すると共に、上記画像処理手段により上記現時点配置に基づいて上記現時点における画像内での上記配置関連性を求めるようにした
ことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項１０】
上記対象物指定手段は、上記対象物を複数指定すると共に、
上記画像処理手段は、上記複数の撮像素子によって取得された上記複数の画像と上記複数指定された対象物とのそれぞれの上記配置関連性を求めるようにした
ことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項１１】
少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能になされた複数の撮像素子と、
上記複数の撮像素子によって取得された複数の画像をつなぎ合わせるための画像連結手段と、
上記複数の撮像素子によって撮像された画像の中から所望の対象物を指定するための対象物指定手段と、
上記複数の撮像素子に対して駆動電力を供給するための電力供給手段と、
上記画像連結手段によって上記複数の画像をつなぎ合わせた結果得られる連結画像と上記対象物指定手段によって指定された上記対象物との配置関連性を求め、その配置関連性に基づいて上記対象物を上記連結画像の略中央領域に配置する画像処理手段と
を具えることを特徴とする撮像画像処理装置。
【請求項１２】
上記電力供給手段は、バッテリである
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項１３】
上記電力供給手段は、電磁結合部を具え、外部から供給される電磁波を基に電磁誘導の原理により上記駆動電力を生成する
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項１４】
上記撮像画像処理装置は、球状あるいは円筒状のカプセル収納体に収められている
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項１５】
上記複数の撮像素子によって取得された上記複数の画像を無線伝送するための無線伝送手段と、
上記無線伝送手段から無線伝送された上記複数の画像を受信する画像受信手段と
を具え、
上記複数の撮像素子及び上記無線伝送手段が球状あるいは円筒状のカプセル収納体に収められた状態で、上記画像受信手段により受信した上記複数の画像を上記画像連結手段へ供給するようにした
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項１６】
上記複数の撮像素子から取得された上記複数の画像における連結位置関係を事前に把握して較正するキャリブレーション手段と
を具えることを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項１７】
上記対象物指定手段によって指定された上記対象物に対して当該対象物が指定されたことを強調するための指定対象強調手段と
を具えることを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項１８】
上記指定対象強調手段は、上記対象物に対して色調処理、輪郭強調処理又は明暗処理の少なくともいずれかを施す
ことを特徴とする請求項１７に記載の撮像画像処理装置。
【請求項１９】
上記複数の撮像素子は３個以上であり、その中の少なくとも２個の撮像素子が略同一面に配置されている
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項２０】
上記複数の撮像素子は、空間上の全方位を捉えられるようにその個数が設けられ、かつ配置されている
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項２１】
上記撮像画像処理装置は、
上記対象物指定手段によって指定された上記対象物を示す指定信号を無線伝送するための無線伝送手段と、
上記無線伝送手段により無線伝送された上記指定信号を受信する指定信号受信手段と
を具え、
上記複数の撮像素子及び上記無線伝送手段が球状あるいは円筒状のカプセル収納体に収められた状態で、上記指定信号受信手段により受信した上記指定信号を上記画像連結手段へ供給するようにした
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項２２】
上記画像連結手段により連結された上記連結画像を静止画状態で一時的に保持する一時保持手段と、
上記連結画像を構成する上記複数の画像を出力する上記複数の撮像素子の識別情報を保持する識別情報保持手段と、
上記一時保持手段から読み出した上記連結画像に対して上記対象物指定手段により上記対象物が指定されたとき、上記一時的に保持された当該連結画像と、上記識別情報に対応した上記複数の撮像素子から現時点で得られる上記連結画像とにおける時間的推移を追跡することにより上記指定された上記対象物の現時点配置を求める現時点配置算出手段と
を具え、
上記一時保持手段によって保持された上記静止画状態の上記連結画像に対して上記対象物を上記対象物指定手段によって指定すると共に、上記画像処理手段により上記現時点配置に基づいて上記現時点における画像内での上記配置関連性を求めるようにした
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項２３】
上記対象物指定手段は、上記対象物を複数指定すると共に、
上記画像処理手段は、上記複数の撮像素子によって取得された上記複数の画像と上記複数指定された対象物とのそれぞれの上記配置関連性を求めるようにした
ことを特徴とする請求項１１に記載の撮像画像処理装置。
【請求項２４】
監視対象となる所定の場所に配置され、少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置される複数の撮像素子と、
上記複数の撮像素子によって取得された複数の画像をつなぎ合わせるための画像連結手段と、
上記複数の撮像素子によって撮像された画像の中から所望の対象物を指定するための対象物指定手段と、
上記画像連結手段によって上記複数の画像をつなぎ合わせた結果得られる連結画像と上記対象物指定手段によって指定された上記対象物との配置関連性を求め、その配置関連性に基づいて上記対象物を上記連結画像の略中央領域に配置する画像処理手段と
を具えることを特徴とする撮像画像処理装置。
【請求項２５】
上記撮像画像処理装置は、
上記指定手段により上記対象物が指定されないときは、上記連結画像を構成する全ての上記複数の画像を所定の情報処理装置へ伝送する伝送手段と
を具えることを特徴とする請求項２４に記載の撮像画像処理装置。
【請求項２６】
上記複数の撮像素子から取得された上記複数の画像における連結位置関係を事前に把握して較正するキャリブレーション手段と
を具えることを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項２７】
上記対象物指定手段によって指定された上記対象物に対して当該対象物が指定されたことを強調するための指定対象強調手段と
を具えることを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項２８】
上記指定対象強調手段は、上記対象物に対して色調処理、輪郭強調処理又は明暗処理の少なくともいずれかを施す
ことを特徴とする請求項２７に記載の撮像画像処理装置。
【請求項２９】
上記複数の撮像素子は３個以上であり、その中の少なくとも２個の撮像素子が略一面に配置されている
ことを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項３０】
上記複数の撮像素子は、１８０度までの画角で周囲の状況を捉えられるようにその個数が設けられ、かつ配置されている
ことを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項３１】
上記撮像画像処理装置は、
上記複数の撮像素子から得られる上記複数の画像を無線伝送するための無線伝送手段と、
上記無線伝送手段により無線伝送された上記複数の画像を受信する画像受信手段と
を具え、
上記画像受信手段により受信した上記複数の画像を上記画像連結手段へ供給するようにした
ことを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項３２】
上記撮像画像処理装置は、
上記対象物指定手段によって指定された上記対象物を示す指定信号を無線伝送するための無線伝送手段と、
上記無線伝送手段により無線伝送された上記指定信号を受信する指定信号受信手段と
を具え、
上記指定信号受信手段により受信した上記指定信号を上記画像連結手段へ供給するようにした
ことを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項３３】
上記画像連結手段により連結された上記連結画像を静止画状態で一時的に保持する一時保持手段と、
上記連結画像を構成する上記複数の画像を出力する上記複数の撮像素子の識別情報を保持する識別情報保持手段と、
上記一時保持手段から読み出した上記連結画像に対して上記対象物指定手段により上記対象物が指定されたとき、上記一時的に保持された当該連結画像と、上記識別情報に対応した上記複数の撮像素子から現時点で得られる上記連結画像とにおける時間的推移を追跡することにより上記指定された上記対象物の現時点配置を求める現時点配置算出手段と
を具え、
上記一時保持手段によって保持された上記静止画状態の上記連結画像に対して上記対象物を上記対象物指定手段によって指定すると共に、上記画像処理手段により上記現時点配置に基づいて上記現時点における画像内での上記配置関連性を求めるようにした
ことを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項３４】
上記対象物指定手段は、上記対象物を複数指定すると共に、
上記画像処理手段は、上記複数の撮像素子によって取得された上記複数の画像と上記複数指定された対象物とのそれぞれの上記配置関連性を求めるようにした
ことを特徴とする請求項２５に記載の撮像画像処理装置。
【請求項３５】
少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能になされた複数の撮像素子によって取得される複数の画像をつなぎ合わせる画像連結ステップと、
上記複数の撮像素子によって撮像された画像の中から所望の対象物を指定するための対象物指定ステップと、
上記画像連結ステップによって上記複数の画像をつなぎ合わせた結果得られる連結画像と上記対象物指定ステップで指定された上記対象物との配置関連性を求める配置関連性判定ステップと
上記配置関連性判定ステップにより求められた上記配置関連性に基づいて上記対象物を上記連結画像の略中央領域に配置する画像処理ステップと
を具えることを特徴とする撮像画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像処理装置及び撮像画像処理方法に関し、例えば球状物体の表面に渡って配置された全方位カメラにより撮像された画像のうち所望の対象物を追従してトラッキング表示する場合に適用して好適なものである。
【背景技術】
【０００２】
現在、我々の生活空間には駅や街頭に多数のカメラが分散し、またカメラ付携帯電話機等の普及により、まさに「ユビキタス」空間が構築されつつある社会となっている。しかしながら、これらのカメラの多くは空間中の特定位置に固定されることが前提となっており、定点観察が主なアプリケーションである。
【０００３】
研究の上では、位置が既知な複数のカメラの映像をネットワークで接続し解析することにより特定の対象物を追跡することが行われている。特に、カーネギーメロン大学では、スタジアムの観客席に多数の固定カメラを配置することにより任意視点の映像を合成することを試みている。
【０００４】
しかしながら、何れの方法においても固定カメラを前提にした手法であることには変わりなく、カメラと撮像対象との距離が長くなるため解像度の低下に直結する。また、複数のカメラによる任意視点の映像をリアルタイムに合成することは計算量的に膨大であった。
【０００５】
また、移動体に複数のカメラを装着する研究としては、複合現実感の研究の一環として自動車に複数のカメラを装着し、その複数のカメラから得られた画像を合成することにより都市の全方向映像のアーカイビングが行われている。しかし、場所に応じた全方向映像を取得してはいるものの、移動体上での映像の揺れを無くすための安定化やカメラの分散配置等の研究は未だ行われていない。
【０００６】
一方、車両にカメラを搭載して移動しながら対象物を撮影し、そこから三次元情報を抽出して三次元地図を生成するようになされた三次元形状生成装置がある（例えば、特許文献１参照）。
【０００７】
さらに、人に装着されたカメラにより定期的に映像を取得する研究も行われているが、それらはあくまで人の生活を記録したり、所謂ライフログを目的としたものに過ぎない。
【特許文献１】特開2005-115420公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、スタジアムに多数の固定カメラを配置することにより任意視点の映像を合成する場合には、固定カメラの位置から撮像対象までの距離が非常に長いため解像度が低下すると共に、撮像対象の近くで監視者所望の対象物を追跡するような臨場感のある映像を監視者に提示することはできないという問題があった。
【０００９】
本発明は以上の点を考慮してなされたもので、指定した対象物を追跡して臨場感のある画像をリアルタイムで監視者に提供し得る撮像画像処理装置及び撮像画像処理方法を提案しようとするものである。
【課題を解決するための手段】
【００１０】
かかる課題を解決するため本発の撮像画像処理装置においては、少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能になされた複数の撮像素子によって取得される複数の画像をつなぎ合わせ、複数の撮像素子によって撮像された画像の中から所望の対象物を指定し、複数の画像をつなぎ合わせた結果得られる連結画像と指定された対象物との配置関連性を求め、その配置関連性に基づいて対象物を連結画像の略中央領域に配置するようにする。
【００１１】
これにより、複数方向を撮像可能に配置された複数の撮像素子によって取得された複数の画像を基に連結することにより連結画像を生成し、その連結画像の中から指定された対象物と、連結画像との配置関連性に基づいて対象物を連結画像の略中央領域に配置することができるので、連結画像のうち当該対象物にフォーカスを当てて追跡した画像を提供することができる。
【００１２】
また本発明の撮像画像処理装置においては、少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置されると共に空間的に移動可能になされた複数の撮像素子と、当該複数の撮像素子によって取得された複数の画像をつなぎ合わせるための画像連結手段と、複数の撮像素子によって撮像された画像の中から所望の対象物を指定するための対象物指定手段と、複数の撮像素子に対して駆動電力を供給するための電力供給手段と、画像連結手段によって複数の画像をつなぎ合わせた結果得られる連結画像と対象物指定手段によって指定された対象物との配置関連性を求め、その配置関連性に基づいて対象物を連結画像の略中央領域に配置する画像処理手段とを設けるようにする。
【００１３】
これにより、電力供給手段から供給される駆動電力に基づいて単独で動作し、複数方向を撮像可能に配置された複数の撮像素子によって取得された複数の画像を基に連結することにより連結画像を生成し、その連結画像の中から指定された対象物と、連結画像との配置関連性に基づいて対象物を連結画像の略中央領域に配置することができるので、連結画像のうち当該対象物にフォーカスを当てて追跡した画像を提供することができる。
【００１４】
さらに本発明の撮像画像処理装置においては、監視対象となる所定の場所に配置され、少なくとも２つ以上の撮像素子によって撮像された画像が部分的に重畳されるよう複数方向を撮像可能に配置される複数の撮像素子と、当該複数の撮像素子によって取得された複数の画像をつなぎ合わせるための画像連結手段と、複数の撮像素子によって撮像された画像の中から所望の対象物を指定するための対象物指定手段と、画像連結手段によって複数の画像をつなぎ合わせた結果得られる連結画像と対象物指定手段によって指定された対象物との配置関連性を求め、その配置関連性に基づいて対象物を連結画像の略中央領域に配置する画像処理手段とを設けるようにする。
【００１５】
これにより、監視対象となる所定の場所に配置され、複数方向を撮像可能な複数の撮像素子によって取得された複数の画像を基に連結することにより監視対象の場所を表した連結画像を生成し、その連結画像の中から指定された監視対象の場所に存在する対象物と、連結画像との配置関連性に基づいて対象物を連結画像の略中央領域に配置することができるので、監視対象の場所を表した連結画像のうち当該対象物にフォーカスを当てて追跡した画像を提供することができる。
【発明の効果】
【００１６】
本発明によれば、複数方向を撮像可能に配置された複数の撮像素子によって取得された複数の画像を基に連結することにより連結画像を生成し、その連結画像の中から指定された対象物と、連結画像との配置関連性に基づいて対象物を連結画像の略中央領域に配置することができるので、連結画像のうち当該対象物を追跡して臨場感のある画像をリアルタイムに提供し得る撮像画像処置装置及び撮像画像処理方法を実現することができる。
【００１７】
また本発明によれば、電力供給手段から供給される駆動電力に基づいて独自に動作し、複数方向を撮像可能に配置された複数の撮像素子によって取得された複数の画像を基に連結することにより連結画像を生成し、その連結画像の中から指定された対象物と、連結画像との配置関連性に基づいて対象物を連結画像の略中央領域に配置することができるので、連結画像のうち当該対象物を追跡して臨場感のある画像をリアルタイムに提供し得る撮像画像処理装置を実現することができる。
【００１８】
さらに本発明によれば、監視対象となる所定の場所に配置され、複数方向を撮像可能な複数の撮像素子によって取得された複数の画像を基に連結することにより監視対象の場所を表した連結画像を生成し、その連結画像の中から指定された監視対象の場所に存在する対象物と、連結画像との配置関連性に基づいて対象物を連結画像の略中央領域に配置することができるので、監視対象の場所を表した連結画像のうち当該対象物を追跡して臨場感のある画像をリアルタイムに提供し得る撮像画像処理装置を実現することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面について、本発明の一実施の形態を詳述する。
【００２０】
（１）本発明の基本概念
本発明における撮像画像処理装置は、例えば図１に示すように球２の表面に当該球２を中心とした空間上の全方位画像を隙間なく撮像できるように複数のカメラ（例えばＣＣＤ(Charge Coupled Device)撮像素子）３が配置された物体表面分布型カメラ１を用い、その物体表面分布型カメラ１を撮像現場の中心に置き、物体表面分布型カメラ１が移動したり或いは回転しながら、複数のカメラ３から得られる全方位画像を取得してリアルタイムに合成することにより、あたかも人間が知覚しているような空間像の映像を生成し、その映像に含まれる監視者所望の対象物を追跡してトラッキング表示し得るようになされたものである。
【００２１】
ところで人間は２つの眼球を持つが、実際に知覚する視覚的な空間像は単一である。ハエトリグモは８つの目を持ち、ホタテ貝は外套膜に無数の外套眼を持っているが何れも単一の空間像を知覚していると考えられている。
【００２２】
従来、実質的に全方位画像を取得するためには例えば魚眼レンズや回転双曲面鏡が用いられているが、単一カメラで全方位画像を取得するため解像度の点で難がある。そこで本発明は、ホタテ貝の外套眼のように物体表面に複数のカメラを分散配置した物体表面分布型カメラ１を用いることを一つの特徴としている。
【００２３】
特に、この物体表面分布型カメラ１は、少なくとも２つ以上のカメラ３によって撮像された画像がそれぞれ部分的に重畳されることにより全方位画像を取得できるよう複数方向を撮像可能に配置されると共に、当該物体表面分布型カメラ１が球状で転がり得る構成のため結果的にカメラ３が空間上を移動可能に設けられた構成となっている。
【００２４】
また人間は、頭部運動時には前庭による角運動情報、網膜上のオプティカルフロー情報に基づき網膜像の動きを補正して、結果的に揺れのない空間像として知覚することができる。
【００２５】
本発明の撮像画像処理装置では、移動或いは回転といった多様に運動可能な物体表面分布型カメラ１により取得される撮像現場周辺の臨場感に溢れた全方位画像を人間が理解し易い形でかつリアルタイムに提供することを目的としている。
【００２６】
すなわち本発明の撮像画像処理装置では、複数のカメラ３から取得した全方位画像（複数方向の画像）におけるオプティカルフロー情報や、複数のカメラ３にそれぞれ装着されたジャイロセンサ等により検出する角速度情報等に基づいて、全方位画像における移動或いは回転による影響を補正することにより、あたかも単一のカメラにより同一姿勢で撮影しているかのような監視者に見易くかつ知得し易い映像として提示しようとするものである。
【００２７】
実際上、撮像画像処理装置では、図２の左側（ソース）に示すように、物体表面分布型カメラ１が回転したとき複数のカメラ３のうちの一つから取得した所定方向の画像についてもフレームが進むに連れて画像が回転してしまうが、その回転による影響を補正することにより、図２の右側（アウトプット）に示すように、あたかも単一のカメラにより同一姿勢で撮影しているかのような見易くかつ知得し易い映像として出力し得るようになされている。
【００２８】
特に、本発明の撮像画像処理装置は、被写体を撮像する際の物体表面分布型カメラ１が移動或いは回転しながら全方位画像を複数のカメラ３によって取得して回転による影響を補正しながら合成することにより、図３（Ａ）に示すような球体の表面に全方位画像がつぎ目なく貼り付けられたような球面画像Ｑ１を生成する。
【００２９】
そして撮像画像処理装置は、図３（Ｂ）に示すように、この球面画像Ｑ１のうち監視者が監視を希望する対象物が含まれている部分の２次元画像Ｖ１だけを切り出してディスプレイに表示したり、また図３（Ｃ）に示すように、その２次元画像Ｖ１から監視者のジョイスティック等による入力操作に応じて例えば右方向へ視線を変更したかのような２次元画像Ｖ２に切り換えてディスプレイに表示することができるようになされており、あたかも監視者が任意に視線を変更するかのような「任意視線」画像を提示し得るようになされている。
【００３０】
この「任意視線」画像とは、例えば球面画像Ｑ１の中心に人間が位置し、そこから任意に視線を変えて周囲を見渡したときに、当該球面画像Ｑ１の球体に貼り付けられている全方位画像のうちの一部を監視者が見るようなイメージであり、監視者の眼に映る３次元空間の一部を切り取ったかのような画像である。
【００３１】
また本発明の撮像画像処理装置では、球面画像Ｑ１が球２を中心とした空間上の全方位をカバーしているため、図４に示すように、例えば３人の監視者がそれぞれ監視を希望する対象物ＯＢ１、ＯＢ２、ＯＢ３がそれぞれ含まれている部分の２次元画像Ｖ２、Ｖ３、Ｖ４を切り出して表示し、さらに対象物ＯＢ１、ＯＢ２、ＯＢ３をそれぞれ追従するようにトラッキング表示し得るようになされている。
【００３２】
上述のような撮像画像処理装置については種々のアプリケーションが考えられるが、ここでは、撮像画像処理装置が後述する屋内状況監視システム、カプセル内視鏡システム及びセキュリティシステムに適用された場合について具体的に説明する。
【００３３】
（２）第１の実施の形態
（２−１）第１の実施の形態における屋内状況監視システムの全体構成
図５において、１０は全体として第１の実施の形態における屋内状況監視システムを示し、物体表面分布型カメラ１（図１）に相当する屋内状況確認ボール１１と、当該屋内状況確認ボール１１によって空間上の全方位画像を撮像し合成することにより得られた球面画像Ｑ１（図３及び図４）を無線により受信して表示するノートブック型パーソナルコンピュータ（以下、これをノートパソコンと呼ぶ）１２とによって構成されている。
【００３４】
この屋内状況確認ボール１１は、その球１１Ａの表面に配置されたｎ個のカメラ１３によって空間上の全方位画像（複数方向の画像）を撮像することが可能なように予めカメラ配置がキャリブレーションされている。
【００３５】
なお屋内状況確認ボール１１は、球面画像Ｑ１を生成することができれば必ずしも全方位画像ではなく所定の複数方向の画像を取得できれば良く、またｎ個のカメラ１３についてもその光軸が球１１の中心から放射状に伸びた延長線上になくてもよい。
【００３６】
この屋内状況確認ボール１１は、例えば災害現場等の倒壊した建物内に投げ込まれ、その建物に生存者が残存しているか否かを確認するために用いられることが考えられ、全方位画像に基づいて生成した球面画像Ｑ１がノートパソコン１２へ伝送されることにより、当該球面画像Ｑ１を介して当該建物における屋内の状況をノートパソコン１２の監視者に対してリアルタイムに目視確認させ得るようになされている。
【００３７】
（２−２）屋内状況確認ボールの回路構成
図６に示すように屋内状況確認ボール１１は、図示しないバッテリにより動作し、ｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる全方位画像すなわち複数方向の画像データ（以下、これを画像データ群と呼ぶ）ＶＧ１を画像処理部１４の画像取込み部１５に入力し、当該画像データ群ＶＧ１を画像取込み部１５からターゲット特定部１６、回転量算出部１８、球面画像生成部１９及びトラッキング部２０へ送出する。
【００３８】
画像処理部１４は、キャリブレーション情報保持部１７を有しており、当該キャリブレーション情報保持部１７からキャリブレーション情報ＣＢ１を回転量算出部１８及び球面画像生成部１９へ送出するようになされている。
【００３９】
ターゲット特定部１６は、画像取込み部１５から供給された画像データ群ＶＧ１を例えばブルートゥース（商標）やIEEE(Institute Of Electrical and Electronics Engineers)802.11g等の無線通信インタフェース２２を介してノートパソコン１２へ無線伝送する。
【００４０】
ノートパソコン１２（図５）では、屋内状況確認ボール１１から無線伝送された画像データ群ＶＧ１を受信し、当該画像データ群ＶＧ１に対応した屋内状況を表す画像をディスプレイに表示し、当該画像中に存在する監視者所望の対象物（例えば人物等）をマウス等により指定させることにより、当該対象物を示す指定信号Ｓ１を生成し、これを屋内状況確認ボール１１へ無線伝送する。
【００４１】
屋内状況確認ボール１１の画像処理部１４は、無線通信インタフェース２２を介してノートパソコン１２から無線伝送された指定信号Ｓ１を受信し、当該指定信号Ｓ１をターゲット特定部１６へ送出する。
【００４２】
ターゲット特定部１６は、ノートパソコン１２から供給された指定信号Ｓ１に基づいて、画像取込み部１５から供給された画像データ群ＶＧ１の中から監視者により指定された色の対象物をターゲットとして特定したり、或いは監視者により指定されたパターンの対象物をターゲットとして特定し、その特定した対象物を示すターゲット特定信号ＴＧ１をトラッキング部２０へ送出する。
【００４３】
一方、屋内状況確認ボール１１の回転量算出部１８は、キャリブレーション情報保持部１７から供給されるキャリブレーション情報ＣＢ１と、画像取込み部１５から供給される画像データ群ＶＧ１とに基づいて、当該屋内状況確認ボール１１が移動又は回転したときに、基準とする任意の画像フレームに続く次のフレームの回転量を順次算出するようになされている。
【００４４】
ところでキャリブレーション情報ＣＢ１とは、球面画像Ｑ１（図３及び図４）を形成するために、個々のカメラ１３Ａ〜１３ｎが持つレンズ歪を較正するための幾何学的情報及び球１１Ａの表面に配置されたｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる複数方向の画像を張り合わせる（以下、これを連結させると呼ぶ）ときの連結位置関係を表した情報であり、画像処理部１４の球面画像生成部１９がこのキャリブレーション情報ＣＢ１に従ってカメラ１３Ａ〜１３ｎから得られる画像データ群ＶＧ１（複数方向の画像）を連結させることにより継ぎ目が無くかつ歪みのない球面画像Ｑ１を生成し得るようになされている。
【００４５】
このキャリブレーション情報保持部１７は、ｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる複数方向の画像を連結させる際の連結位置関係をキャリブレーション情報ＣＢ１として把握しており、監視者の操作により連結位置関係を後から較正することもできるようになされている。特に、ｎ個のカメラ１３Ａ〜１３ｎによって撮像された各画像はそれぞれ部分的に重畳しており、それらがキャリブレーション情報ＣＢ１に基づいて連結されることにより、継ぎ目のないシームレスな連結画像すなわち球面画像Ｑ１が生成される。
【００４６】
実際上、回転量算出部１８では、図７に示すように画像取込み部１５から供給された画像データ群ＶＧ１の各画像データを画像変換部３１に入力する。画像変換部３１は、画像データ群ＶＧ１の各画像データを１０２４×７６８画素のＲＧＢ信号に変換し、それをさらに５１２×３８４画素の輝度信号Ｙに変換し、当該輝度信号Ｙをテンプレート判定部３２へ送出する。
【００４７】
なお画像変換部３１は、ＲＧＢ信号を輝度信号Ｙに変換するが、これは回転量算出の際にＲＧＢ信号を単位として演算したのでは演算量が多くなるので、その演算量を低減するためであり、ＲＧＢ信号については別途保持しておくようになされている。
【００４８】
テンプレート判定部３２は、図８に示すように、輝度情報Ｙを用いて一つ前のフレーム（以下、これを前フレームと呼ぶ）における１６×１６画素からなるテンプレートＴＰの全て（この場合２５個）についてパターンマッチングに適当であるか否かを判定する。
【００４９】
ここでパターンマッチングに適当なテンプレートＴＰとは、パターンマッチングの探索において一意に最小値が求まるようなパターンであり、ある程度絵柄の複雑なテンプレートである必要がある。
【００５０】
逆に、適当でないテンプレートＴＰとは、カメラの画像領域全体の輝度が殆ど同一であったり、２色の領域が直線的な境界で接している場合などである。このような場合はパターンマッチングを行ったときに相関値が一意に最小値となるテンプレートを見つけることが困難だからである。
【００５１】
すなわち、図９（Ａ）及び（Ｂ）に示すような、やや複雑な絵柄であれば適当なテンプレートであるといえるのに対し、図１０（Ａ）及び（Ｂ）に示すような、単一色の絵柄や２色の領域が直線的な境界で接している絵柄のテンプレートは適当でないことになる。
【００５２】
なおパターンマッチングは、図１１に示すように前フレームにおける適当なテンプレートＴＰ１を基にＳＡＤ(Sum of Absolute Difference)の最小値を探索することにより、当該前フレームに続く次のフレーム（以下、これを最新フレームと呼ぶ）における当該テンプレートＴＰ１に相当するテンプレートＴＰ２の位置（すなわちテンプレートＴＰ１〜ＴＰ２への移動量）を検出することにより行われる。この探索は、４画素単位の粗探索と１画素単位の密探索の２段階探索により行われ、パターンマッチングの高速化が図られている。
【００５３】
ここでテンプレートＴＰ（ＴＰ１及びＴＰ２）は、通常カメラの画像領域におけるほぼ中央に位置付けられている。これは、画像領域のはじの部分では次のフレームでフレームアウトするおそれが高いからであり、このような事態を予め回避するようになされている。
【００５４】
このようにしてテンプレート判定部３２は、２５個のテンプレートＴＰ１及びＴＰ２のうちパターンマッチングに適しているテンプレートＴＰ１及びＴＰ２を選定し、その選定したテンプレートＴＰ１及びＴＰ２を特定するためのテンプレート情報Ｔ１をパターンマッチング部３３へ送出する。なお、このときテンプレート判定部３２は、このテンプレート情報Ｔ１を次のフレームにおいても使用するために保存しておく。
【００５５】
パターンマッチング部３３は、テンプレート判定部３２からのテンプレート情報Ｔ１に基づいてパターンマッチングに適しているテンプレートＴＰ１及びＴＰ２だけを用い、前フレームのテンプレートＴＰ１と最新フレームのテンプレートＴＰ２とにおける位置変化すなわち移動量をパターンマッチングにより検出し、その検出結果Ｓ２を座標変換部３４へ送出する。
【００５６】
座標変換部３４は、キャリブレーション情報保持部１７から供給されるキャリブレーション情報ＣＢ１に基づいて球面画像Ｑ１を形成するための連結位置関係を３次元座標として把握し、前フレームにおけるテンプレートＴＰ１の位置を球面画像Ｑ１上の３次元座標（ｘ、ｙ、ｚ）に変換すると共に、最新フレームにおけるテンプレートＴＰ２の位置（すなわち前フレームの位置＋移動量）を球面画像Ｑ１上の３次元座標（ｘ´、ｙ´、ｚ´）に変換し、前フレームの３次元座標（ｘ、ｙ、ｚ）及び最新フレームの３次元座標（ｘ´、ｙ´、ｚ´）を回転量推定部３５へ送出する。
【００５７】
回転量推定部３５は、ｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる複数の画像が例えば半径２．５ｍの球面にマッピングされたものを球面画像Ｑ１であると仮定し、その球面画像Ｑ１の球面上をテンプレートＴＰ１及びＴＰ２がどのように移動したのかを求めるようになされている。
【００５８】
すなわち回転量推定部３５は、３次元座標上での回転を求めるに当たって、回転前における前フレームのテンプレートＴＰ１の位置を３次元座標（ｘ、ｙ、ｚ）とし、回転後における最新フレームのテンプレートＴＰ２の位置を３次元座標（ｘ´、ｙ´、ｚ´）とすると、次式
【００５９】
ｘ´＝ｃｏｓＡ・ｃｏｓＢ＋（ｃｏｓＢ・ｓｉｎＡ・ｓｉｎＣ−ｓｉｎＡ・ｃｏｓＣ）ｙ＋（ｃｏｓＡ・ｓｉｎＢ・ｃｏｓＣ＋ｓｉｎＡ・ｓｉｎＣ）ｚ……（１）
【００６０】
ｙ´＝ｓｉｎＡ・ｃｏｓＢ＋（ｓｉｎＡ・ｓｉｎＢ・ｓｉｎＣ＋ｃｏｓＡ・ｃｏｓＣ）ｙ＋（ｓｉｎＡ・ｓｉｎＢ・ｓｉｎＣ−ｃｏｓＡ・ｓｉｎＣ）ｚ……（２）
【００６１】
ｚ´＝−ｓｉｎＢ・ｘ＋ｃｏｓＢ・ｓｉｎＣ・ｙ＋ｃｏｓＢ・ｃｏｓＣ・ｚ……（３）
【００６２】
で表すことができる。ここでパターンマッチングに成功したテンプレートＴＰ１及びＴＰ２が複数あれば、３次元座標（ｘ、ｙ、ｚ）及び（ｘ´、ｙ´、ｚ´）の組が複数あるため、最小二乗法による推定を行うことにより係数Ａ、Ｂ及びＣを求めて回転軸及び回転角度を求めることができる。すなわち回転量推定部３５では、このような線形変換という単純なモデルにより高速な最小二乗計算を実現するようになされている。
【００６３】
ここで問題なのは、３次元座標（ｘ、ｙ、ｚ）及び（ｘ´、ｙ´、ｚ´）の組には、正しくないデータ成分が含まれているということである。例えば、第１の条件として、画像の変化はカメラ１３Ａ〜１３ｎの回転によるものだけであること（カメラ１３Ａ〜１３ｎの平行移動や動いているものによる変化がない）や、第２の条件として、撮像対象がカメラ１３Ａ〜１３ｎから十分遠く（数メートル以上）に存在する（カメラ１３Ａ〜１３ｎのレンズ中心がずれているためにあまり近い位置ではキャリブレーションに使うモデルとの誤差が大きくなる）ことを満たさない場合の画像変化によって生じたずれや、何らかの理由でパターンマッチングがうまくいかなかった場合等には正しくないデータ成分が含まれるため、これらの正しくないデータ成分を排除する必要がある。
【００６４】
すなわち回転量推定部３５は、正しくないデータ成分を排除した状態で最小二乗法による推定を行うことにより前フレームと最新フレームとの間の回転量を推定することができるのであり、このようにして求めた回転量を表す回転情報ＲＴ１を球面画像生成部１９及びトラッキング部２０へ送出する。
【００６５】
なお回転量推定部３５は、最新フレームの回転量を算出する際、前フレームからの回転量だけではなく基準となる最初のフレームからの累積された総回転量を求める必要がある。
【００６６】
このような回転量算出部１８のオプティカルフローによる回転量算出処理手順について、次の図１２のフローチャートを用いて説明する。回転量算出部１８は、ルーチンＲＴ１の開始ステップから入って次のステップＳＰ１へ移り、ｎ個のカメラ１３Ａ〜１３ｎから得られる画像データ群ＶＧ１（複数方向の画像データ）を取得し、次のステップＳＰ２へ移る。
【００６７】
ステップＳＰ２において回転量算出部１８は、画像変換部３１により、画像データ群ＶＧ１の各画像データを１０２４×７６８画素のＲＧＢ信号に変換し、次のステップＳＰ３において回転量算出部１８は、画像変換部３１により、ＲＧＢ信号を５１２×３８４画素の輝度信号Ｙに変換し、次のステップＳＰ４へ移る。
【００６８】
ステップＳＰ４において回転量算出部１８は、輝度情報Ｙを用いて前フレームにおける１６×１６画素からなる２５個のテンプレートＴＰについてパターンマッチングに適当であるか否かを判定し、次のステップＳＰ５へ移る。
【００６９】
ステップＳＰ５において回転量算出部１８は、ステップＳＰ４で適当と判断した前フレームにおけるテンプレートＴＰ１と、当該前フレームに続く次の最新フレームにおける適当なテンプレートＴＰ２との位置変化（すなわちテンプレートＴＰ１からテンプレートＴＰ２までの移動量）を算出し、次のステップＳＰ６へ移る。
【００７０】
ステップＳＰ６において回転量算出部１８は、ステップＳＰ４でパターンマッチングに適していると判定した最新フレームのテンプレートＴＰ２を次のパターンマッチングに用いるために保存し、次のステップＳＰ７へ移る。
【００７１】
ステップＳＰ７において回転量算出部１８は、前フレームのテンプレートＴＰ１の位置を３次元座標（ｘ、ｙ、ｚ）に変換し、回転後となる最新フレームのテンプレートＴＰ２の位置を３次元座標（ｘ´、ｙ´、ｚ´）に変換し、次のステップＳＰ８へ移る。
【００７２】
ステップＳＰ８において回転量算出部１８は、最小二乗法により（１）式〜（３）式の係数Ａ、Ｂ及びＣを求めることによってフレーム間の回転量を推定し、これを回転情報ＲＴ１として算出し、次のステップＳＰ９へ移って回転量算出処理手順を終了する。
【００７３】
球面画像生成部１９は、画像取込み部１５から供給される画像データ群ＶＧ１、キャリブレーション情報保持部１７から供給されるキャリブレーション情報ＣＢ１及び回転量算出部１８から供給される回転情報ＲＴ１に基づいて、ｎ個のカメラ１３Ａ〜１３ｎによって撮像された画像データ群ＶＧ１の各画像を連結することにより球面画像Ｑ１を生成し、これを画像特定領域切出し表示部２１へ送出する。
【００７４】
トラッキング部２０は、画像取込み部１５から供給される画像データ群ＶＧ１及びターゲット特定部１６から供給されたターゲット特定信号ＴＧ１に基づいて、画像データ群ＶＧ１における各画像から監視者所望の対象物を追跡してトラッキング表示するために特定し、その対象物を示すターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ送出する。
【００７５】
ここでトラッキング部２０では、ターゲット特定部１６から供給されるターゲット特定信号ＴＧ１が色指定による場合と、パターン指定による場合とに応じてターゲット位置情報ＴＧＰを生成するための処理内容が異なり、それぞれの処理に適した回路構成を有している。
【００７６】
図１３に示すように、トラッキング部２０は、ターゲット特定信号ＴＧ１が色指定によるものである場合、画像取込み部１５から供給される画像データ群ＶＧ１を背景差分処理部４１へ入力する。
【００７７】
背景差分処理部４１は、画像データ群ＶＧ１における前フレームの画像と最新フレームの画像との差分を取ることにより背景部分を除去して動きのある部分だけを抽出し、その動きのある部分を表す動き部分データＤ１を色抽出処理部４２へ送出する。
【００７８】
なお背景差分処理部４１は、画像データ群ＶＧ１における前フレームの画像と最新フレームの画像との差分を取ることにより背景部分を除去して動きのある部分だけを抽出するが、その際、回転量算出部１８から供給される回転情報ＲＴ１に基づいて前フレームに対する最新フレームの回転分をキャンセルするようになされている。
【００７９】
これにより、背景差分処理部４１は前フレームの画像と最新フレームの画像との差分を取って背景部分を除去する際の演算量を極力低減し得、動き部分データＤ１を抽出するまでの演算量及び演算処理時間を短縮化し得るようになされている。
【００８０】
色抽出処理部４２は、ターゲット特定部１６から供給されるターゲット特定信号ＴＧ１が対象物の色情報を表している場合、図１４に示すように動き部分データＤ１のうち当該色情報を有する対象物領域ＯＢ１を抽出し、それを重心推定部４３へ送出する。
【００８１】
重心推定部４３は、対象物領域ＯＢ１の重心位置Ｇ１を推定し、その重心位置Ｇ１を対象物の中心を表すターゲット位置情報ＴＧＰとして強調表示部４４へ送出する。
【００８２】
強調表示部４４は、ターゲット位置情報ＴＧＰに基づいて対象物領域ＯＢ１を認識し、その対象物領域ＯＢ１に対して色調処理、輪郭強調処理又は明暗処理の少なくともいずれかの強調表示処理を施すことにより、トラッキング対象のターゲットである対象物を際立たせ、監視者に対して瞬時に認識させ得るようになされている。ここで強調表示部４４は、このターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ送出する。
【００８３】
画像特定領域切出し表示部２１は、球面画像生成部１９によって生成された球面画像Ｑ１と、ターゲット位置情報ＴＧＰに基づいてトラッキング部２０により強調表示処理された対象物領域ＯＢ１との配置関連性を求め、その配置関連性に基づいて当該対象物領域ＯＢ１に対応する画像領域を設定し、当該対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央領域になるよう配置し、その対象物領域ＯＢ１を中心とした画像部分を切り出すことにより、当該対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これを無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【００８４】
なお画像特定領域切出し表示部２１は、監視者により所望の対象物が指定（色指定又はパターン指定）されなかったときは、球面画像生成部１９から供給される球面画像Ｑ１をそのままの状態で無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【００８５】
ノートパソコン１２（図５）は、対象物が複数指定されているときは、複数の対象物毎に追跡した複数のトラッキング画像ＴＧＶを生成してディスプレイに同時に表示し得るようになされており、これにより複数の対象物に対する複数のトラッキング画像ＴＧＶを同時に監視者に目視確認させ得るようになされている。
【００８６】
ところで画像処理部１４では、球面画像Ｑ１を無線通信インタフェース２２からノートパソコン１２へ無線伝送し、当該ノートパソコン１２によりディスプレイに表示した球面画像Ｑ１上で監視者所望の対象物を指定させることが可能である。
【００８７】
ここでノートパソコン１２（図５）は、球面画像Ｑ１を構成している複数方向の画像を出力するカメラ１３Ａ〜１３ｎの識別情報を保持しており、当該球面画像Ｑ１を監視者の指示に応じて静止画状態で一時的に保持し、その静止画状態の球面画像Ｑ１上で監視者により所望の対象物が指定されると、その指定信号Ｓ１及び識別情報を屋内状況確認ボール１１へ無線送信する。
【００８８】
屋内状況確認ボール１１の画像処理部１４は、無線通信インタフェース２２を介して指定信号Ｓ１及び識別情報を受信すると、画像特定領域切出し表示部２１により当該指定信号Ｓ１で指定された対象物の対象物領域ＯＢ１が含まれる画像を出力しているカメラ１３Ａ〜１３ｎを識別情報に基づいて特定する。
【００８９】
画像特定領域切出し表示部２１は、識別情報に基づいて特定したカメラ１３Ａ〜１３ｎにより、静止画状態で一時的に保持した球面画像Ｑ１と、指定信号Ｓ１を受信した現時点における球面画像Ｑ１とにおけるフレーム数の差をカウントして時間的推移を追跡することにより、指定信号Ｓ１で指定された対象物領域ＯＢ１の球面画像Ｑ１における現時点配置を算出する。
【００９０】
そして画像特定領域切出し表示部２１は、球面画像Ｑ１のうち対象物領域ＯＢ１の現時点配置を認識し、その現時点配置の対象物領域ＯＢ１に対応する画像領域を設定し、当該対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央になるよう位置付けられた画像部分を切り出すことにより、対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これを無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【００９１】
かくしてノートパソコン１２では、静止画状態の球面画像Ｑ１上で指定した対象物の対象物領域ＯＢ１をターゲットとして追跡したトラッキング画像をディスプレイに表示し、監視者に対象物をリアルタイムに目視確認させることができるようになされている。
【００９２】
一方、図１５に示すように、トラッキング部２０は、ターゲット特定信号ＴＧ１がパターン指定によるものである場合、画像取込み部１５から供給される画像データ群ＶＧ１をパターンマッチング部４６へ入力する。
【００９３】
またトラッキング部２０は、ターゲット特定部１６から供給されるターゲット特定信号ＴＧ１をパターンマッチング部４６の次段に位置するパターン更新部４７へ送出する。パターン更新部４７は、ターゲット特定信号ＴＧ１に基づいて特定可能な監視者により指定された対象物のパターンをアップデートし、当該パターンをパターンマッチング部４６へフィードバックする。
【００９４】
パターンマッチング部４６では、画像データ群ＶＧ１における最新フレームの画像に対し、パターン更新部４７から供給されたパターンを用いてパターンマッチングすることにより監視者に指定された対象物を抽出し、その対象物領域ＯＢ１の重心位置Ｇ１（図１４）を示すターゲット位置情報ＴＧＰを生成して強調表示部４８へ送出すると共に、その対象物領域ＯＢ１のパターンを最新パターンＮＰとして更新するべくパターン更新部４７へ送出し、対象物のパターンを最新パターンＮＰで再度アップデートする。
【００９５】
なおパターンマッチング部４６では、背景差分処理部４１（図１３）と同様、画像データ群ＶＧ１における最新フレームの画像とパターンマッチングを行う際、回転量算出部１８から供給される回転情報ＲＴ１に基づいて最新フレームの画像に対する回転分をキャンセルするようになされている。これにより、パターンマッチング部４６は最新フレームの画像とパターンマッチングを行う際の演算量を極力低減し得、演算量及び演算処理時間を短縮化するようになされている。
【００９６】
強調表示部４８では、ターゲット位置情報ＴＧＰに基づいて対象物領域ＯＢ１（図１４）を認識し、その対象物領域ＯＢ１に対して色調処理、輪郭強調処理又は明暗処理の少なくともいずれかの強調表示処理を施すことにより、トラッキング対象のターゲットを際立たせ、監視者に対して瞬時に認識させ得るようになされている。ここで強調表示部４８は、このターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ送出する。
【００９７】
画像特定領域切出し表示部２１は、球面画像生成部１９によって生成された球面画像Ｑ１と、ターゲット位置情報ＴＧＰに基づいてトラッキング部２０により強調表示処理された対象物領域ＯＢ１との配置関連性を求め、その配置関連性に基づいて当該対象物領域ＯＢ１に対応する画像領域を設定し、当該対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央領域になるよう配置し、その対象物領域ＯＢ１を中心とした画像部分を切り出すことにより、当該対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これを無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【００９８】
なお画像特定領域切出し表示部２１は、監視者により所望の対象物が指定（色指定又はパターン指定）されなかったときは、球面画像生成部１９から供給される球面画像Ｑ１をそのままの状態で無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【００９９】
屋内状況確認ボール１１の画像処理部１４は、対象物が複数指定されているときは、複数の対象物領域ＯＢ１と、球面画像Ｑ１を構成する全方位画像との配置関連性を求め、その配置関連性に基づいて複数の対象物領域ＯＢ１がそれぞれ球面画像Ｑ１のほぼ中央領域になるよう配置し、複数の対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央領域に配置された画像部分を当該球面画像Ｑ１からそれぞれ切り出すことにより、当該複数の対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶをそれぞれ生成し、これらをノートパソコン１２のディスプレイに同時に表示し得るようになされており、これにより複数の対象物に対する複数のトラッキング画像ＴＧＶを同時に監視者に目視確認させ得るようになされている。
【０１００】
（２−３）複数ターゲットのトラッキング処理手順
次に、監視者によって複数の対象物を色指定されたときに複数ターゲットを追跡してトラッキング表示するための複数ターゲットのトラッキング処理手順について、図１６のフローチャートを用いて説明する。
【０１０１】
なお、複数の対象物がパターン指定されたときの複数ターゲットのトラッキング処理手順については、色指定の場合と比べて指定の仕方が異なるだけであり、技術的思想としては本質的に変わりがないため、ここでは便宜上説明を省略する。
【０１０２】
屋内状況確認ボール１１の画像処理部１４は、ルーチンＲＴ２の開始ステップから入って次ステップＳＰ１１へ移り、ｎ個のカメラ１３Ａ〜１３ｎによって撮像された画像データ群ＶＧ１（複数方向の画像データ）を画像取込み部１５から取得し、次のステップＳＰ１２へ移る。
【０１０３】
ステップＳＰ１２において画像処理部１４は、トラッキング部２０の背景差分処理部４１により背景部分を除去して動き部分データＤ１だけを抽出し、次のステップＳＰ１３へ移る。
【０１０４】
ステップＳＰ１３において画像処理部１４は、色抽出処理部４２により、ターゲット特定信号ＴＧ１に基づいて動き部分データＤ１のうち指定された色情報を有する対象物領域ＯＢ１を抽出し、次のステップＳＰ１４へ移る。
【０１０５】
ステップＳＰ１４において画像処理部１４は、同色の色情報を有する対象物領域ＯＢ１が複数存在する場合、その中で最大面積のものを探し、次のステップＳＰ１５で、その最大面積を持つ対象物領域ＯＢ１の重心位置Ｇ１を求め、次のステップＳＰ１６へ移る。
【０１０６】
ステップＳＰ１６において画像処理部１４は、その重心位置Ｇ１を対象物領域ＯＢ１の中心として認識し、当該重心位置Ｇ１を球面画像Ｑ１上の３次元座標に変換し、次のステップＳＰ１７へ移る。
【０１０７】
ステップＳＰ１７において画像処理部１４は、指定された他の全ての色についてもステップＳＰ１３〜ステップＳＰ１６までの処理を行ったか否かを判定する。ここで否定結果が得られると、画像処理部１４はステップＳＰ１３に戻って、全ての指定された色について対象物領域ＯＢ１の重心位置Ｇ１をターゲットの中心として認識し、その重心位置Ｇ１を球面画像Ｑ１上の３次元座標に変換し終わるまで処理を続行する。
【０１０８】
これに対してステップＳＰ１７で肯定結果が得られると、このことは全ての指定された色について対象物領域ＯＢ１の重心位置Ｇ１をターゲットの中心として認識し、その重心位置Ｇ１を球面画像Ｑ１上の３次元座標に変換し終えたことを表しており、このとき画像処理部１４は次のステップＳＰ１８へ移る。
【０１０９】
ステップＳＰ１８において画像処理部１４は、ステップＳＰ１１で取得した画像データ群ＶＧ１（複数方向の画像データ）を用いて、球体の表面にこれらの各画像をマッピングすることにより、球体の中心から見て全方向に映像が存在するかのような球面画像Ｑ１を生成し、その球面画像Ｑ１と、各色にそれぞれ対応する対象物領域ＯＢ１との配置関連性を求め、その配置関連性に基づいて対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央領域となるよう配置し、その対象物領域ＯＢ１を中心とした画像部分を切り出すことにより、当該対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これを無線通信インタフェース２２からノートパソコン１２へ無線伝送した後、次のステップＳＰ１９へ移って処理を終了する。
【０１１０】
（２−４）第１の実施の形態における動作及び効果
以上の構成において、第１の実施の形態における屋内状況監視システム１０では、屋内状況確認ボール１１が例えば災害現場の倒壊した建物内に投げ込まれた場合、当該屋内状況確認ボール１１が転がりながらｎ個のカメラ１３Ａ〜カメラ１３ｎによって全方位画像（複数方向の画像）を取得し、当該全方位画像に基づいて球面画像Ｑ１を生成することができるので、あたかも倒壊した建物内にレスキュー隊員が入り込んでそこから周囲の状況を目視確認しているかのような球面画像Ｑ１をノートパソコン１２の監視者に目視確認させることができる。
【０１１１】
このとき屋内状況確認ボール１１は、球１１Ａが回転することに伴ってｎ個のカメラ１３Ａ〜カメラ１３ｎから得られる複数方向の画像についても基準となるフレームから回転することになるが、画像処理部１４の回転量算出部１８で基準となるフレームからの回転量を算出し、基準のフレームから次のフレームやその次のフレーム、さらにその次のフレームについても基準のフレームからの回転量分を補正することにより、単一のカメラで同一姿勢により撮影したかのような球面画像Ｑ１を生成し、これをノートパソコン１２に表示することができる。
【０１１２】
すなわちノートパソコン１２では、単一のカメラで同一姿勢により撮影したかのような動画像を、球面画像Ｑ１を介してリアルタイムに監視者に目視確認させることができる。
【０１１３】
また屋内状況監視システム１０は、ターゲットとして複数指定された対象物の対象物領域ＯＢ１ごとに追跡し、対象物領域ＯＢ１と球面画像Ｑ１との配置関連性を求め、当該配置関連性に基づいて対象物領域ＯＢ１の重心位置Ｇ１が球面画像Ｑ１のほぼ中央領域になるよう配置し、その対象物領域ＯＢ１を中心とした画像部分を切り出すことにより、当該対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを各色ごとに生成し、これらをノートパソコン１２に無線伝送することにより、当該ノートパソコン１２のディスプレイを介して同時に複数の対象物をトラッキング表示することができる。
【０１１４】
従って、屋内状況監視システム１０では、災害現場等の倒壊した建物の屋内すなわち現場に屋内状況確認ボール１１が投げ込まれた場合、監視者が希望する対象物を複数追跡しながら、当該対象物の間近で臨場感溢れる高解像度映像としてノートパソコン１２に表示することができるので、対象物が被災者のとき、監視者はその被災者の状況を詳細に認識することができる。
【０１１５】
その際、屋内状況監視システム１０は、監視者が機能する対象物の対象物領域ＯＢ１を強調表示していることにより、複数の対象物の中から監視者が注目するターゲットを一目で探し出すことができ、かつ追跡してトラッキング表示している最中にも監視者が対象物を見失うことを防止することができる。
【０１１６】
以上の構成によれば、屋内状況監視システム１０では、移動或いは回転といった多様に運動可能な屋内状況確認ボール１１により取得される現場周辺の臨場感に溢れた複数方向の画像に基づいて球面画像Ｑ１を生成し、その球面画像Ｑ１の中から監視者が希望する複数の対象物を追跡してトラッキング表示することにより、監視者にとって注目する対象物のターゲットを見易い形でそれぞれ提供することができる。
【０１１７】
（３）第２の実施の形態
（３−１）第２の実施の形態におけるカプセル内視鏡システムの全体構成
図５との対応部分に同一符号を付して示す図１７において、５０は全体として第２の実施の形態におけるカプセル内視鏡システムを示し、物体表面分布型カメラ１（図１）に相当するカプセル内視鏡５１と、当該カプセル内視鏡５１によって人体内の全方位画像（複数方向の画像）を撮像し合成することにより得られた球面画像Ｑ１を無線により受信して表示するノートパソコン１２とによって構成されている。
【０１１８】
このカプセル内視鏡５１は、そのカプセル先端部分の透明カバー５２の内部に設けられた球５３の表面に配置されたｎ個のカメラ１３によって人体内空間の全方位画像（複数方向の画像）を撮像することが可能なように予めカメラ配置がキャリブレーションされている。
【０１１９】
なおカプセル内視鏡５１においても、球面画像Ｑ１を生成することができれば必ずしも全方位画像ではなく所定の複数方向の画像を取得できれば良く、またｎ個のカメラ１３についてもその光軸が球５３の中心から放射状に伸びた延長線上になくてもよい。
【０１２０】
このカプセル内視鏡システム５０は、人間がカプセル内視鏡５１を飲み込むだけでｎ個のカメラ１３によって撮像された胃や消化器等の内部をノートパソコン１２のディスプレイにリアルタイムに映し出しようになされたものである。
【０１２１】
図１８に示すようにカプセル内視鏡システム５０は、均一な磁場を出すことが可能な対向型電磁石を縦・横・高さの３方向（Ｘ、Ｙ、Ｚ）に配置した体外磁場発生装置（図示せず）によって任意の方向へ磁場（Ｎ極／Ｓ極）を発生させることにより、カプセル内視鏡５１におけるカプセル本体５１Ａの内部磁石６１を介して当該カプセル内視鏡５１を任意の方向へ向かせ、この任意の方向の磁場によって外部回転磁界ＲＪを作り出し、カプセル本体５１Ａを回転させることでカプセル本体５１Ａの外表面に設けられた螺旋状の螺旋５４が当該カプセル内視鏡５１の推進力を発生させ得るようになされている。
【０１２２】
従ってカプセル内視鏡システム５０では、カプセル内視鏡５１に対して自由自在に前後進及び進行方向をコントロールすることができるため、人体内の対象部位にアプローチしたり、人体内における観察方向やポジションを調整し得るようになされている。
【０１２３】
（３−２）カプセル内視鏡の回路構成
図６との対応部分に同一符号を付した図１９（Ａ）及び（Ｂ）に示すようにカプセル内視鏡５１は、カプセル本体５１に内蔵された小型のバッテリ６２から画像処理部１４に対して電力を供給するようになされている。なお画像処理部１４の回路構成としては、第１の実施の形態における屋内状況確認ボール１１の画像処理部１４とほぼ同一である。
【０１２４】
カプセル内視鏡５１は、ｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる画像データ群ＶＧ１（複数方向の画像データ）を画像処理部１４の画像取込み部１５に入力し、当該画像データ群ＶＧ１を画像取込み部１５からターゲット特定部１６、回転量算出部１８、球面画像生成部１９及びトラッキング部２０へ送出する。
【０１２５】
画像処理部１４は、キャリブレーション情報保持部１７を有しており、当該キャリブレーション情報保持部１７からキャリブレーション情報ＣＢ１を回転量算出部１８及び球面画像生成部１９へ送出する。
【０１２６】
ターゲット特定部１６は、画像取込み部１５から供給された画像データ群ＶＧ１を無線通信インタフェース２２を介してノートパソコン１２へ無線伝送する。
【０１２７】
ノートパソコン１２では、カプセル内視鏡５１から無線伝送された画像データ群ＶＧ１を受信し、当該画像データ群ＶＧ１に対応した人体内部の状況を表す画像をディスプレイに表示し、当該画像中に表示された人体内の所定部位をマウス等により指定させることにより、当該所定部位を示す指定信号Ｓ１を生成し、これをカプセル内視鏡５１へ無線伝送する。
【０１２８】
カプセル内視鏡５１の画像処理部１４は、無線通信インタフェース２２を介してノートパソコン１２からの指定信号Ｓ１を受信し、当該指定信号Ｓ１をターゲット特定部１６へ送出する。
【０１２９】
ターゲット特定部１６は、ノートパソコン１２から供給された指定信号Ｓ１に基づいて、画像取込み部１５から供給された画像データ群ＶＧ１の中から監視者により指定された色の所定部位をターゲットとして特定したり、或いは監視者により指定されたパターンの所定部位をターゲットとして特定し、その特定した所定部位を示すターゲット特定信号ＴＧ１をトラッキング部２０へ送出する。
【０１３０】
一方、カプセル内視鏡５１の回転量算出部１８は、キャリブレーション情報保持部１７から供給されるキャリブレーション情報ＣＢ１と、画像取込み部１５から供給される画像データ群ＶＧ１とに基づいて、当該カプセル内視鏡５１が推進又は回転したときに、基準とする任意の画像フレームに続く次のフレームの回転量を順次算出するようになされている。
【０１３１】
ところでキャリブレーション情報ＣＢ１とは、球面画像Ｑ１を形成するために、個々のカメラ１３Ａ〜１３ｎが持つレンズ歪を較正するための幾何学的情報及び球体表面に配置されたｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる人体内の全方位画像を連結させるときの位置関係を表した情報であり、画像処理部１４がこのキャリブレーション情報ＣＢ１に従ってカメラ１３Ａ〜１３ｎから得られる複数方向の画像を連結させることにより継ぎ目が無くかつ歪みのないシームレスな球面画像Ｑ１を生成し得るようになされている。
【０１３２】
このキャリブレーション情報保持部１７は、ｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる複数方向の画像を連結させる際の連結位置関係をキャリブレーション情報ＣＢ１として把握しており、監視者の操作により連結位置関係を後から較正することもできるようになされている。特に、ｎ個のカメラ１３Ａ〜１３ｎによって撮像された各画像はそれぞれ部分的に重畳しており、それらがキャリブレーション情報ＣＢ１に基づいて連結されることにより、継ぎ目が無くかつ歪みのないシームレスな連結画像すなわち球面画像Ｑ１が生成される。
【０１３３】
実際上、回転量算出部１８では、図７に示したように画像取込み部１５から供給された画像データ群ＶＧ１の各画像データを画像変換部３１に入力する。画像変換部３１は、画像データ群ＶＧ１の各画像データを１０２４×７６８画素のＲＧＢ信号に変換し、それをさらに５１２×３８４画素の輝度信号Ｙに変換し、当該輝度信号Ｙをテンプレート判定部３２へ送出する。
【０１３４】
なお画像変換部３１は、ＲＧＢ信号を輝度信号Ｙに変換するが、これは回転量算出の際にＲＧＢ信号を単位として演算したのでは演算量が多くなるので、その演算量を低減するためであり、ＲＧＢ信号については別途保持しておくようになされている。
【０１３５】
テンプレート判定部３２は、図８に示したように、輝度情報Ｙを用いて前フレームにおける１６×１６画素からなる２５個のテンプレートＴＰ１についてパターンマッチングに適当であるか否かを判定する。
【０１３６】
なおパターンマッチングは、図１１に示したように前フレームにおける適当なテンプレートＴＰ１を基にＳＡＤの最小値を探索することにより、当該前フレームに続く最新フレームの当該テンプレートＴＰ１に相当するテンプレートＴＰ２の位置（すなわちテンプレートＴＰ１〜ＴＰ２への移動量）を検出することにより行われる。この探索は、４画素単位の粗探索と１画素単位の密探索の２段階探索により行われ、パターンマッチングの高速化が図られている。
【０１３７】
このようにしてテンプレート判定部３２は、２５個のテンプレートＴＰ１及びＴＰ２のうちパターンマッチングに適しているテンプレートＴＰ１及びＴＰ２を選定し、その選定したテンプレートＴＰ１及びＴＰ２を特定するためのテンプレート情報Ｔ１をパターンマッチング部３３へ送出する。なお、このときテンプレート判定部３２は、このテンプレート情報Ｔ１を次のフレームにおいても使用するために保存しておく。
【０１３８】
パターンマッチング部３３は、テンプレート判定部３２からのテンプレート情報Ｔ１に基づいてパターンマッチングに適しているテンプレートＴＰ１及びＴＰ２だけを用い、前フレームのテンプレートＴＰ１と最新フレームのテンプレートＴＰ２とにおける位置変化すなわち移動量をパターンマッチングにより検出し、その検出結果Ｓ２を座標変換部３４へ送出する。
【０１３９】
座標変換部３４は、キャリブレーション情報保持部１７から供給されるキャリブレーション情報ＣＢ１に基づいて球面画像Ｑ１を形成するための連結位置関係を３次元座標として把握し、前フレームにおけるテンプレートＴＰ１の位置を球面画像Ｑ１上の３次元座標（ｘ、ｙ、ｚ）に変換すると共に、最新フレームにおけるテンプレートＴＰ２の位置（すなわち前フレームの位置＋移動量）を球面画像Ｑ１上の３次元座標（ｘ´、ｙ´、ｚ´）に変換し、前フレームの３次元座標（ｘ、ｙ、ｚ）及び最新フレームの３次元座標（ｘ´、ｙ´、ｚ´）を回転量推定部３５へ送出する。
【０１４０】
回転量推定部３５は、ｎ個のカメラ１３Ａ〜１３ｎからそれぞれ得られる複数方向の画像が例えば半径２．５ｍの球面にマッピングされたものを球面画像Ｑ１であると仮定し、その球面画像Ｑ１の球面上をテンプレートＴＰ１及びＴＰ２がどのように移動したのかを上述した（１）式〜（３）式から求め、このようにして求めた回転量を表す回転情報ＲＴ１を球面画像生成部１９及びトラッキング部２０へ送出する。
【０１４１】
なお回転量算出部１８は、最新フレームの回転量を算出する際、前フレームからの回転量だけではなく基準となるフレームからの累積された総回転量を求める必要がある。
【０１４２】
このような回転量算出部１８のオプティカルフローによる回転量算出処理手順について、次の図１２に示した通りであるため、ここではその説明を省略する。
【０１４３】
球面画像生成部１９は、画像取込み部１５から供給される画像データ群ＶＧ１、キャリブレーション情報保持部１７から供給されるキャリブレーション情報ＣＢ１及び回転量算出部１８から供給される回転情報ＲＴ１に基づいて、ｎ個のカメラ１３Ａ〜１３ｎによって撮像された画像データ群ＶＧ１の各画像を連結することにより球面画像Ｑ１を生成し、これを画像特定領域切出し表示部２１へ送出する。
【０１４４】
トラッキング部２０は、画像取込み部１５から供給される画像データ群ＶＧ１及びターゲット特定部１６から供給されたターゲット特定信号ＴＧ１に基づいて、画像データ群ＶＧ１における各画像から監視者が希望する人体内の所定部位をトラッキング表示のために特定し、その所定部位を示すターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ送出する。
【０１４５】
ここでトラッキング部２０では、ターゲット特定部１６から供給されるターゲット特定信号ＴＧ１が色指定による場合と、パターン指定による場合とに応じてターゲット位置情報ＴＧＰを生成するための処理内容が異なり、それぞれの処理に適した回路構成を有しているが、その回路構成は図１３及び図１５に示した通りであるため、ここではその説明を省略する。
【０１４６】
トラッキング部２０の強調表示部４４（図１３）は、ターゲット位置情報ＴＧＰに基づいて所定部位に相当する対象物領域ＯＢ１（図１４）を認識し、その対象物領域ＯＢ１に対して色調処理、輪郭強調処理又は明暗処理の少なくともいずれかの強調表示処理を施すことにより、トラッキング対象のターゲットである所定部位を際立たせ、監視者に対して瞬時に認識させ得るようになされている。ここで強調表示部４４は、このターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ送出する。
【０１４７】
画像特定領域切出し表示部２１は、球面画像生成部１９によって生成された球面画像Ｑ１と、ターゲット位置情報ＴＧＰに基づいてトラッキング部２０により強調表示処理された対象物領域ＯＢ１との配置関連性を求め、その配置関連性に基づいて当該対象物領域ＯＢ１に対応する画像領域を設定し、当該対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央領域になるよう配置し、その対象物領域ＯＢ１を中心とした画像部分を切り出すことにより、当該対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これを無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【０１４８】
なお画像特定領域切出し表示部２１は、監視者により所定部位が指定されなかったときは、球面画像生成部１９から供給される球面画像Ｑ１をそのままの状態で無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【０１４９】
このときノートパソコン１２では、監視者が監視することを希望する人体内の所定部位が複数指定されているときは、複数の所定部位ごとに追跡した複数のトラッキング画像ＴＧＶをディスプレイに同時に表示し得るようになされており、これにより複数の所定部位に対する複数のトラッキング画像ＴＧＶを同時に監視者に目視確認させ得るようになされている。
【０１５０】
ところで画像処理部１４では、球面画像Ｑ１を無線通信インタフェース２２からノートパソコン１２へ無線伝送し、当該ノートパソコン１２によりディスプレイに表示した球面画像Ｑ１上で監視者が所望する人体内の所定部位を指定させることが可能である。
【０１５１】
ここでノートパソコン１２は、球面画像Ｑ１を構成している複数方向の画像を出力するカメラ１３Ａ〜１３ｎの識別情報を保持しており、当該球面画像Ｑ１を監視者の指示に応じて静止画状態で一時的に保持し、その静止画状態の球面画像Ｑ１上で監視者により所望の所定部位が指定されると、その指定信号Ｓ１及び識別情報をカプセル内視鏡５１へ無線送信する。
【０１５２】
カプセル内視鏡５１の画像処理部１４は、無線通信インタフェース２２を介して指定信号Ｓ１及び識別情報を受信すると、画像特定領域切出し表示部２１により当該指定信号Ｓ１で指定された所定部位の対象物領域ＯＢ１が含まれる画像を出力しているカメラ１３Ａ〜１３ｎを識別情報に基づいて特定する。
【０１５３】
画像特定領域切出し表示部２１は、識別情報に基づいて特定したカメラ１３Ａ〜１３ｎにより、静止画状態で一時的に保持した球面画像Ｑ１と、指定信号Ｓ１を受信した現時点における球面画像Ｑ１とにおけるフレーム数の差をカウントして時間的推移を追跡することにより、指定信号Ｓ１で指定された対象物領域ＯＢ１の球面画像Ｑ１における現時点配置を算出する。
【０１５４】
そして画像特定領域切出し表示部２１は、球面画像Ｑ１のうち対象物領域ＯＢ１の現時点配置を認識し、その現時点配置の対象物領域ＯＢ１に対応する画像領域を設定し、当該対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央になるよう位置付けられた画像部分を切り出すことにより、対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これを無線通信インタフェース２２からノートパソコン１２へ無線伝送する。
【０１５５】
かくしてノートパソコン１２では、静止画状態の球面画像Ｑ１上で指定した人体内の所定部位の対象物領域ＯＢ１をターゲットとして追跡したトラッキング画像をディスプレイに表示し、監視者に所定部位をリアルタイムに目視確認させることができるようになされている。
【０１５６】
なお  カプセル内視鏡５１の画像処理部１４は、人体内の所定部位が複数指定されているときは、複数の対象物領域ＯＢ１と、球面画像Ｑ１との配置関連性を求め、その配置関連性に基づいて複数の対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央領域になるよう配置し、複数の対象物領域ＯＢ１が球面画像Ｑ１のほぼ中央領域に配置された画像部分を当該球面画像Ｑ１から切り出すことにより、当該複数の対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶをそれぞれ生成し、これらをノートパソコン１２のディスプレイに同時に表示し得るようになされており、これにより複数の所定部位に対する複数のトラッキング画像ＴＧＶを同時に監視者に目視確認させることができるようになされている。
【０１５７】
因みに、監視者によって複数の所定部位が色指定されたときの複数ターゲットを追跡してトラッキング表示するための複数ターゲットのトラッキング処理手順については、図１６に示したフローチャートと同様であるため、ここでは便宜上その説明を省略する。
【０１５８】
（３−３）第２の実施の形態における動作及び効果
以上の構成において、第２の実施の形態におけるカプセル内視鏡システム５０では、カプセル内視鏡５１が人体内に入り込んだ場合、当該カプセル内視鏡５１が回転しながらカメラ１３Ａ〜カメラ１３ｎによって人体内の全方位画像を取得し、その人体内を表した球面画像Ｑ１を生成することができるので、あたかも人体内から周囲の状況を目視確認しているかのような球面画像Ｑ１を、ノートパソコン１２を介して監視者に目視確認させることができる。
【０１５９】
このときカプセル内視鏡５１は、カプセル本体５１Ａが回転することに伴ってカメラ１３Ａ〜カメラ１３ｎから得られる複数方向の画像についても基準となるフレームから回転してしまうが、画像処理部１４の回転量算出部１８で基準となるフレームからの回転量を算出し、基準のフレームから次のフレームやその次のフレーム、さらにその次のフレームについても回転量分を補正することにより、単一のカメラで同一姿勢により撮影したかのような球面画像Ｑ１を生成し、これをノートパソコン１２に表示することができる。
【０１６０】
すなわちノートパソコン１２では、単一のカメラで同一姿勢により人体内を撮影したかのような動画像を、球面画像Ｑ１を介してリアルタイムに監視者に目視確認させることができる。
【０１６１】
またカプセル内視鏡システム５０は、ターゲットとして複数指定された所定部位の対象物領域ＯＢ１をそれぞれ追跡し、その対象物領域ＯＢ１と球面画像Ｑ１との配置関連性を求め、当該配置関連性に基づいて対象物領域ＯＢ１の重心位置Ｇ１が球面画像Ｑ１のほぼ中央領域になるよう配置し、その対象物領域ＯＢ１を中心とした画像部分を球面画像Ｑ１から切り出すことにより、当該対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを各色（すなわち所定部位）ごとに生成し、これらをノートパソコン１２に無線送信することにより、当該ノートパソコン１２のディスプレイを介して同時に複数の所定部位をトラッキング表示することができる。
【０１６２】
従って、カプセル内視鏡システム５０では、人体内の所定部位を追跡しながら、当該所定部位に近接した位置から臨場感溢れる高解像度映像を表示することができるので、所定部位が患部であるとき、監視者はその患部の状況を詳細に目視確認することができる。
【０１６３】
その際、カプセル内視鏡システム５０は、監視者が注目する所定部位の対象物領域ＯＢ１を強調表示していることにより、複数の所定部位の中から監視者が注目するターゲットを一目で探し出すことができ、かつ追跡してトラッキング表示している最中にも監視者が所定部位を見失うことを未然に防止することができる。
【０１６４】
以上の構成によれば、カプセル内視鏡システム５０では、推進或いは回転といった多様に運動可能なカプセル内視鏡５１により取得される人体内の全方位画像から球面画像Ｑ１を生成し、その球面画像Ｑ１の中から監視者が注目する複数の所定部位を追跡してトラッキング表示することにより、監視者にとって注目する所定部位のターゲットを見易い形でそれぞれ提供することができる。
【０１６５】
（４）第３の実施の形態
（４−１）第３の実施の形態におけるセキュリティシステムの全体構成
図５との対応部分に同一符号を付して示す図２０において、７０は全体として第３の実施の形態におけるセキュリティシステムを示し、物体表面分布型カメラ１（図１）に相当する監視カメラ７１が天井に取り付けられており、その監視カメラ７１の半球体の表面に設けられたｎ個のカメラ７２Ａ〜カメラ７２ｎによって例えば銀行のＡＴＭ室７３の室内状況を表した全方位画像を撮像し合成することにより得られた球面画像Ｑ２を当該監視カメラ７１から受信して表示するパーソナルコンピュータ７５とによって構成されている。
【０１６６】
この監視カメラ７１は、その半球体の表面に配置されたｎ個のカメラ７２Ａ〜カメラ７２ｎによってＡＴＭ室７３の内部空間に対する全方位画像（複数方向の画像）を撮像することが可能なように予めカメラ配置がキャリブレーションされている。
【０１６７】
なお監視カメラ７１においても、球面画像Ｑ２を生成することができれば必ずしも全方位画像ではなく所定の複数方向の画像を取得できれば良く、またｎ個のカメラ７２Ａ〜７２ｎについてもその光軸が半球体の中心から放射状に伸びた延長線上になくてもよい。
【０１６８】
なお監視カメラ７１は、回転自在ではなくカメラ７１Ａ〜７１ｎが半球体の表面に固定されているが、ＡＴＭ室７３の内部空間を１８０度の画角で全方位画像（複数方向の画像）を取得し得るようにその個数及びカメラ配置がキャリブレーションされている。
【０１６９】
このセキュリティシステム７０は、ＡＴＭ室７３に監視カメラ７１が設置される一方、別室にはパーソナルコンピュータ７５が設置されており、これにより当該パーソナルコンピュータ７５のモニタにＡＴＭ室７３の室内状況をリアルタイムに映し出すようになされたものである。
【０１７０】
因みにセキュリティシステム７０においては、ＡＴＭ室７３内に限らず、銀行の前の通りを監視するために監視カメラ７１を設けて、パーソナルコンピュータ７５のモニタに銀行の前を通り過ぎる通行人等をリアルタイムに映し出すことも可能である。
【０１７１】
（４−２）セキュリティシステムの回路構成
図６との対応部分に同一符号を付した図２１に示すようにセキュリティシステム７０は、監視カメラ７１とパーソナルコンピュータ７５とが通信インタフェース８１及び８２を介して相互に有線接続された構成を有する。
【０１７２】
監視カメラ７１は、その半球体の表面に設けられたｎ個のカメラ７２Ａ〜７２ｎからそれぞれ得られる画像データ群ＶＧ１（複数方向の画像データ）を通信インタフェース８１を介してパーソナルコンピュータ７５へ送信する。
【０１７３】
パーソナルコンピュータ７５は、通信インタフェース８２を介して監視カメラ７１から受信した画像データ群ＶＧ１を画像処理部１４の画像取込み部１５に取り込み、当該画像取込み部１５からターゲット特定部１６、球面画像生成部１９及びトラッキング部２０へ送出する。
【０１７４】
パーソナルコンピュータ７５の画像処理部１４は、キャリブレーション情報保持部１７を有しており、当該キャリブレーション情報保持部１７からキャリブレーション情報ＣＢ１を球面画像生成部１９へ送出する。
【０１７５】
ターゲット特定部１６は、画像取込み部１５から供給された画像データ群ＶＧ１をモニタ８４へ出力することにより監視カメラ７１によって撮像された複数方向の画像を当該モニタ８４に表示し、当該画像中に存在するＡＴＭ室７３内を表す所定部分をマウス８３によって監視者に指定させることにより、当該所定部分を示すターゲット特定信号ＴＧ１を生成してトラッキング部２０へ送出する。
【０１７６】
ところでキャリブレーション情報ＣＢ１とは、個々のカメラ７２Ａ〜７２ｎが持つレンズ歪を較正するための幾何学的情報及び球面画像Ｑ２を形成するために、半球体の表面に配置されたｎ個のカメラ７２Ａ〜カメラ７２ｎからそれぞれ得られる複数の画像を連結させるときの連結位置関係を表した情報であり、画像処理部１４がこのキャリブレーション情報ＣＢ１に従ってｎ個のカメラ７２Ａ〜カメラ７２ｎから得られる複数方向の画像を連結させることにより継ぎ目が無くかつ歪みのない球面画像Ｑ２を生成し得るようになされている。
【０１７７】
このキャリブレーション情報保持部１７は、ｎ個のカメラ７２Ａ〜カメラ７２ｎからそれぞれ得られる複数の画像を連結させる際の連結位置関係をキャリブレーション情報ＣＢ１として把握しており、監視者の操作により連結位置関係を後から較正することもできるようになされている。特に、ｎ個のカメラ７２Ａ〜７２ｎによって撮像された各画像はそれぞれ部分的に重畳しており、それらがキャリブレーション情報ＣＢ１に基づいて連結されることにより、継ぎ目が無くかつ歪みのないシームレスな連結画像すなわち球面画像Ｑ２が生成される。
【０１７８】
球面画像生成部１９は、画像取込み部１５から供給される画像データ群ＶＧ１及びキャリブレーション情報保持部１７から供給されるキャリブレーション情報ＣＢ１に基づいて、カメラ７２Ａ〜カメラ７２ｎによって撮像された画像データ群ＶＧ１の各画像を連結することにより球面画像Ｑ２を生成し、これを画像特定領域切出し表示部２１へ送出する。
【０１７９】
トラッキング部２０は、画像取込み部１５から供給される画像データ群ＶＧ１及びターゲット特定部１６から供給されたターゲット特定信号ＴＧ１に基づいて、画像データ群ＶＧ１における各画像から監視者が希望するＡＴＭ室７３内の所定部分をトラッキング表示のために特定し、その所定部分を示すターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ送出する。
【０１８０】
ここでトラッキング部２０では、ターゲット特定部１６から供給されるターゲット特定信号ＴＧ１が色指定による場合と、パターン指定による場合とに応じてターゲット位置情報ＴＧＰを生成するための処理内容が異なり、それぞれの処理に適した回路構成を有しているが、その回路構成は図１３及び図１５で示した通りであるため、ここではその説明を省略する。
【０１８１】
但し、第３の実施の形態におけるトラッキング部２０では、回転情報ＲＴ１を用いることがないので、その点については処理を簡略化することが可能である。
【０１８２】
トラッキング部２０の強調表示部４４（図１３）は、ターゲット位置情報ＴＧＰに基づいてＡＴＭ室７３内の所定部分に相当する対象物領域ＯＢ１を認識し、その対象物領域ＯＢ１に対して色調処理、輪郭強調処理又は明暗処理の少なくともいずれかの強調表示処理を施すことにより、トラッキング対象のターゲットであるＡＴＭ室７３内の所定部分を際立たせ、監視者に対して瞬時に認識させ得るようになされている。ここで強調表示部４４は、このターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ送出する。
【０１８３】
画像特定領域切出し表示部２１は、球面画像生成部１９によって生成された球面画像Ｑ２と、ターゲット位置情報ＴＧＰに基づいてトラッキング部２０により強調表示処理された対象物領域ＯＢ１との配置関連性を求め、その配置関連性に基づいて当該対象物領域ＯＢ１に対応する画像領域を設定し、当該対象物領域ＯＢ１が球面画像Ｑ２のほぼ中央領域になるよう配置し、その対象物領域ＯＢ１が球面画像Ｑ２のほぼ中央領域に配置された画像部分を当該球面画像Ｑ２から切り出すことにより、強調表示処理が施された対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これをモニタ８４へ出力する。
【０１８４】
なお画像特定領域切出し表示部２１は、監視者によりＡＴＭ室７３内の所定部分が指定されなかったときは、球面画像生成部１９から供給される球面画像Ｑ２をそのままの状態でモニタ８４へ出力する。
【０１８５】
このときパーソナルコンピュータ７５では、監視者によってＡＴＭ室７３内の所定部分が複数指定されているときは、複数の所定部分ごとに追跡した複数のトラッキング画像ＴＧＶをモニタ８４に同時に表示し得るようになされており、これにより複数の所定部分に対する複数のトラッキング画像ＴＧＶを同時に監視者に目視確認させることができるようになされている。
【０１８６】
ところでパーソナルコンピュータ７５の画像処理部１４では、モニタ８４に表示した球面画像Ｑ２上で監視者が監視を所望するＡＴＭ室７３内の所定部分を指定させることが可能である。
【０１８７】
ここでパーソナルコンピュータ７５は、球面画像Ｑ２を構成している複数方向の画像を出力するカメラ７２Ａ〜７２ｎの識別情報を保持しており、監視者の指示に応じて当該半球面画像Ｑ２を静止画状態で一時的に保持し、その静止画状態の球面画像Ｑ２上で監視者によりＡＴＭ室７３内の所定部分がマウス８３により指定されると、その指定信号Ｓ１及び識別情報をターゲット特定部１６へ送出する。
【０１８８】
これによりパーソナルコンピュータ７５の画像処理部１４は、ターゲット特定部１６及びトラッキング部２０を介して監視者によって指定された所定部分を特定するターゲット位置情報ＴＧＰを画像特定領域切出し表示部２１へ出力する。
【０１８９】
画像特定領域切出し表示部２１は、ターゲット位置情報ＴＧＰで特定された所定部分の対象物領域ＯＢ１が含まれる画像を出力しているカメラ１３Ａ〜１３ｎを識別情報に基づいて特定する。
【０１９０】
画像特定領域切出し表示部２１は、識別情報に基づいて特定したカメラ１３Ａ〜１３ｎにより、静止画状態で一時的に保持した球面画像Ｑ２と、マウス８３によりＡＴＭ室７３内の所定部分が指定された現時点の球面画像Ｑ２とにおけるフレーム数の差をカウントして時間的推移を追跡することにより、マウス８３により指定された対象物領域ＯＢ１の球面画像Ｑ２における現時点配置を算出する。
【０１９１】
そして画像特定領域切出し表示部２１は、球面画像Ｑ２のうち対象物領域ＯＢ１の現時点配置を認識し、その現時点配置の対象物領域ＯＢ１に対応する球面画像Ｑ２の画像領域を設定し、当該対象物領域ＯＢ１が球面画像Ｑ２のほぼ中央領域になるよう配置した画像部分を切り出すことにより、対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶを生成し、これをモニタ８４へ出力する。
【０１９２】
かくしてパーソナルコンピュータ７５では、球面画像Ｑ２上で指定したＡＴＭ室７３内における所定部分の対象物領域ＯＢ１をターゲットとして追跡したトラッキング画像ＴＧＶをモニタ８４に表示し、監視者にＡＴＭ室７３内の所定部分をリアルタイムに目視確認させることができるようになされている。
【０１９３】
なお、パーソナルコンピュータ７５の画像処理部１４は、ＡＴＭ室７３内の所定部分が複数指定されているときは、複数の対象物領域ＯＢ１と、球面画像Ｑ２との配置関連性を求め、その配置関連性に基づいて複数の対象物領域ＯＢ１が球面画像Ｑ２のほぼ中央領域になるよう配置し、そのようにして配置された複数の対象物領域ＯＢ１が中心に位置する画像部分をそれぞれ球面画像Ｑ２から切り出すことにより、当該複数の対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶをそれぞれ生成し、これらをモニタ８４に同時に表示し得るようになされており、これによりＡＴＭ室７３内で指定された複数の所定部分に対する複数のトラッキング画像ＴＧＶを同時に監視者に目視確認させることができるようになされている。
【０１９４】
因みに、監視者によってＡＴＭ室７３内で指定された複数の所定部分が色指定されたときの複数ターゲットを追跡してトラッキング表示するための複数ターゲットのトラッキング処理手順についても、図１６に示した通りであるため、ここでは便宜上その説明を省略する。
【０１９５】
（４−３）第３の実施の形態における動作及び効果
以上の構成において、第３の実施の形態におけるセキュリティシステム７０では、ＡＴＭ室７３の天井に取り付けられた監視カメラ７１におけるｎ個のカメラ７２Ａ〜カメラ７２ｎによってＡＴＭ室７３の室内空間における全方位画像を取得し、その全方位画像に基づいて球面画像Ｑ２を生成することができるので、あたかもＡＴＭ室７３の内部からＡＴＭ室７３内の状況を目視確認しているかのような球面画像Ｑ２を監視者に提示することができる。
【０１９６】
またセキュリティシステム７０は、ターゲットとして複数指定されたＡＴＭ室７３内の所定部分に対する対象物領域ＯＢ１をそれぞれ追跡し、その対象物領域ＯＢ１と球面画像Ｑ２との配置関連性を求め、その配置関連性に基づいて対象物領域ＯＢ１の重心位置Ｇ１が球面画像Ｑ２のほぼ中央領域になるよう配置し、その対象物領域ＯＢ１を中心とした画像部分を球面画像Ｑ２からそれぞれ切り出すことにより、当該対象物領域ＯＢ１にフォーカスを当てたトラッキング画像ＴＧＶをＡＴＭ室７３内の所定部分ごとに生成し、これらをモニタ８４へ出力することにより、当該モニタ８４を介して同時に複数の所定部分をトラッキング表示することができる。
【０１９７】
従って、セキュリティシステム７０では、指定されたＡＴＭ室７３内の所定部分を追跡しながら、当該所定部分に近接した臨場感溢れる高解像度映像を表示することができるので、所定部分にＡＴＭの不正利用者が存在するとき、監視者はその不正利用者を詳細に目視確認することができる。
【０１９８】
その際、セキュリティシステム７０は、監視者が注目する所定部分の対象物領域ＯＢ１を強調表示することにより、複数の所定部分の中から監視者が注目するターゲットを一目で探し出すことができ、かつ追跡してトラッキング表示している最中にも監視者が所定部分を見失うことを未然に防止することができる。
【０１９９】
以上の構成によれば、セキュリティシステム７０では、監視カメラ７１により取得されるＡＴＭ室７３の内部空間に対する全方位画像に基づいて球面画像Ｑ２を生成し、その球面画像Ｑ２の中から監視者が注目する所定部分を複数追跡してトラッキング表示することにより、監視者にとって注目する所定部分のターゲットを見易い形でそれぞれ提供することができる。
【０２００】
（５）他の実施の形態
なお上述の第１の実施の形態においては、屋内状況確認ボール１１（図６）の内部に画像処理部１４が設けられ、当該画像処理部１４により生成された球面画像Ｑ１をノートパソコン１２へ無線伝送して表示させるようにした場合について述べたが、本発明はこれに限らず、例えば図２２に示すように屋内状況確認ボール１１に画像処理部１４を設けるのではなく、ｎ個のカメラ１３Ａ〜１３ｎと、当該カメラ１３Ａ〜１３ｎによって撮像された画像データ群ＶＧ１（複数方向の画像）をノートパソコン１２へ無線伝送する無線通信インタフェース２３とだけを設け、ノートパソコン１２に当該画像データ群ＶＧ１を屋内状況確認ボール１１から受信するための無線通信インタフェース２４と画像処理部１４とを設けるようにしても良い。この場合も、ノートパソコン１２は画像処理部１４によって生成された球面画像Ｑ１をディスプレイ２５に出力して表示させることができる。
【０２０１】
また上述の第１の実施の形態においては、物体表面分布型カメラ１（図１）に相当するものとして屋内状況確認ボール１１を用いることにより屋内状況監視システム１０を構築するようにした場合について述べてが、本発明はこれに限らず、物体表面分布型カメラ１（図１）に相当するものとして、例えば図２３に示すようなｎ個のカメラ１３Ａ〜１３ｎがその表面に設けられたカメラ付サッカーボール１１０やカメラ付バスケットボール()図示せず）、或いは図２４に示すような審判員の頭部周囲に渡ってｎ個のカメラ１３Ａ〜１３ｎが取り付けられたカメラ付ヘッドバンド１２０や、周囲のみならず頂点部分にもカメラが設けられたカメラ付キャップ（図示せず）を用いることによりスポーツ観戦システムを構築するようにしても良い。
【０２０２】
さらに上述の第２の実施の形態においては、カプセル内視鏡システム５０におけるカプセル内視鏡５１（図１９）がバッテリ６２から供給される電力を基に画像処理部１４を動作させるようにした場合について述べたが、本発明はこれに限らず、人体外に配置したコイルから発生させる磁界による電磁誘導の原理によってカプセル本体５１Ａ内部の受電コイル（図示せず）に電力を供給するようにしても良い。
【０２０３】
さらに上述の第１乃至第３の実施の形態においては、球体の表面にｎ個のカメラ１３Ａ〜１３ｎ、７１Ａ〜７１ｎを設けるようにした場合について述べたが、本発明はこれに限らず、透明なアクリルでなる球体の内部に設けられた例えば立方体の各面に複数のカメラを設けたり、立方体やその他種々の多面体の表面に複数のカメラを設けたり、同一面上に複数のカメラを設けたりしてもよく、カメラを設ける対象、カメラ配置や数に関しては必ずしも厳格に定めなくても良い。例えば図２５に示すように、円筒形状の本体１３２の頂点部分にカメラ１３１Ａが設けられ、かつ本体１３２の周側面に複数のカメラ１３２Ｂ及び１３２Ｃが設けられた物体表面分布型カメラ１３０を用いるようにしても良い。
【０２０４】
すなわち、これらのカメラにより撮像された画像が部分的に重畳され、これらの画像に対して画像処理を施すことにより継ぎ目が無くかつ歪みのないシームレスな球面画像Ｑ１や球面画像Ｑ２を生成することができれば、カメラを配置する筐体の形状やカメラ配置及び数には制限はない。
【０２０５】
さらに上述の第１乃至第３の実施の形態においては、静止画状態の球面画像Ｑ１及びＱ２の中から監視者が所望する対象物、対象部位及び対象部分をトラッキング表示する際のターゲットとして指定することができるようにした場合について述べたが、本発明はこれに限らず、動画状態の球面画像Ｑ１及びＱ２の中から監視者が所望する対象物、対象部位及び対象部分をトラッキング表示する際のターゲットとして指定するようにしても良い。
【０２０６】
さらに上述の第１の実施の形態においては、屋内状況確認ボール１１が転がされる際にｎ個のカメラ１３Ａ〜１３ｎによって空間上の全方位画像を取得するようにした場合について述べたが、本発明はこれに限らず、屋内状況確認カメラ１１の内部に回転モータを搭載して自発的に回転させることにより空間上の全方位画像を取得するようにしても良い。
【０２０７】
さらに上述の第２の実施の形態においては、カプセル内視鏡５１の内部に画像処理部１４を設けて球面画像Ｑ１やトラッキング画像ＴＧＶをノートパソコン１２へ無線伝送するようにした場合について述べたが、本発明はこれに限らず、カプセル内視鏡５１には画像処理部１４を設けず、ノートパソコン１２に画像処理部１４を設けて、カプセル内視鏡５１からは全方位画像だけをノートパソコン１２へ無線伝送させ、ノートパソコン１２の画像処理部１４で球面画像Ｑ１及びトラッキング画像ＴＧＶを生成するようにしても良い。
【０２０８】
さらに上述の第３の実施の形態においては、監視カメラ７１の半球体の表面にｎ個のカメラ７２Ａ〜７２ｎを固定的に取り付けるようにした場合について述べたが、本発明はこれに限らず、キャリブレーションを調整することを前提としてｎ個のカメラ７２Ａ〜７２ｎを半球体の表面に沿って自在に動かすように取り付けても良い。
【０２０９】
さらに上述の第３の実施の形態においては、監視カメラ７１に複数のカメラ７２Ａ〜７２ｎが設けられ、パーソナルコンピュータ７５に画像処理部１４が設けられるような構成にした場合について述べたが、本発明はこれに限らず、監視カメラ７１に複数のカメラ７２Ａ〜７２ｎ及び画像処理部１４を設け、最終的な球面画像Ｑ２及びトラッキング画像ＴＧＶをパーソナルコンピュータ７５へ送信するようにしても良い。
【０２１０】
さらに上述の第３の実施の形態においては、半球体の監視カメラ７１がＡＴＭ室７３の天井部分に固定した状態で取り付けられるようにした場合について述べたが、本発明はこれに限らず、球状の監視カメラを用いて回転可能に天井部分から吊下げることによりＡＴＭ室７３内の全方位画像を取得するようにしても良い。この場合、画像処理部１４には、第１及び第２の実施の形態と同様に回転量算出部１８を設けて、当該回転量算出部１８からの回転情報ＲＴ１を球面画像生成部１９及びトラッキング部２０へ供給するようにすればよい。
【０２１１】
さらに上述の第１乃至第３の実施の形態においては、本発明の撮像画像処理装置を、屋内状況監視システム１０、カプセル内視鏡システム５０及びセキュリティシステム７０に適用するようにした場合について述べたが、本発明はこれに限らず、これら以外の他の種々のシステムに適用するようにしても良い。
【０２１２】
さらに上述の第１及び第２の実施の形態においては、完全な球体でなる球面画像Ｑ１を生成するようにした場合について述べたが、本発明はこれに限らず、球体の一部が欠けている球面画像や、ラグビーボール状の球体でなる球面画像を生成するようにしても良い。
【０２１３】
さらに上述の実施の形態においては、複数の撮像素子としてのカメラ１３Ａ〜１３ｎ及び７２Ａ〜７２ｎ、画像連結手段としての球面画像生成部１９、対象物指定手段としてのターゲット特定部１６、画像処理手段としての画像特定領域切出し表示部２１によって撮像画像処置装置としての屋内状況監視システム１０、カプセル内視鏡システム５０及びセキュリティシステム７０を構成するようにした場合について述べたが、本発明はこれに限らず、その他の種々の回路構成でなる複数の撮像素子、画像連結手段、対象物指定手段及び画像処理手段によって撮像画像処理装置を構成するようにしても良い。
【産業上の利用可能性】
【０２１４】
本発明の撮像画像処理装置及び撮像画像処理方法は、例えば撮像対象を接近した位置から撮像して追跡しながら臨場感ある映像として提示する種々の撮影システムに適用することができる。
【図面の簡単な説明】
【０２１５】
【図１】物体表面分布型カメラの概要の説明に供する略線図である。
【図２】物体表面分布型カメラのソース及びアウトプットの説明に供する略線図である。
【図３】球面画像の説明に供する略線図である。
【図４】球面画像から抽出した２次元画像の説明に供する略線図である。
【図５】第１の実施の形態における屋内状況監視システムの構成を示す略線図である。
【図６】屋内状況確認ボールの回路構成を示す略線的ブロック図である。
【図７】回転量算出部の回路構成を示す略線的ブロック図である。
【図８】テンプレートを示す略線図である。
【図９】適当なテンプレートの例の説明に供する略線図である。
【図１０】適当でないテンプレートの例の説明に供する略線図である。
【図１１】テンプレートのずれを計測する際の説明に供する略線図である。
【図１２】オプティカルフローによる回転量算出処理手順を示すフローチャートである。
【図１３】トラッキング部の構成（色指定）を示す略線的ブロック図である。
【図１４】対象物領域とその重心位置の説明に供する略線図である。
【図１５】トラッキング部の構成（パターン指定）を示す略線的ブロック図である。
【図１６】複数ターゲットのトラッキング処理手順を示すフローチャートである。
【図１７】第２の実施の形態におけるカプセル内視鏡システムの構成を示す略線図である。
【図１８】カプセル内視鏡の推進力の説明に供する略線図である。
【図１９】カプセル内視鏡の回路構成を示す略線的ブロック図である。
【図２０】第３の実施の形態におけるセキュリティシステムの構成を示す略線図である。
【図２１】セキュリティシステムの回路構成を示す略線的ブロック図である。
【図２２】他の実施の形態における屋内状況確認ボールの回路構成を示す略線的ブロック図である。
【図２３】他の実施の形態におけるカメラ付サッカーボールの構成を示す略線図である。
【図２４】他の実施の形態におけるカメラ付ヘッドバンドの構成を示す略線図である。
【図２５】他の実施の形態における物体表面分布型カメラの構成を示す略線図である。
【符号の説明】
【０２１６】
１、１３０……物体表面分布型カメラ、２、５３……球、３……カメラ、１０……屋内状況監視システム、１１……屋内状況確認ボール、１２……ノートパソコン、１３……カメラ、１４……画像処理部、１５……画像取込み部、１６……ターゲット特定部、１７……キャリブレーション情報保持部、１８……回転量算出部、１９……球面画像生成部、２０……トラッキング部、２１……画像特定領域切出し表示部、２２……無線通信Ｉ／Ｆ、５０……カプセル内視鏡システム、５１……カプセル内視鏡、５２……透明カバー、５４……螺旋、６１……内部磁石、６２……バッテリ、７０……セキュリティシステム、７１……監視カメラ、７２……カメラ、７５……パーソナルコンピュータ、８３……マウス、８４……モニタ、１１０……カメラ付サッカーボール、１２０……カメラ付ヘッドバンド、Ｑ１……球面画像、Ｑ２……半球面画像、Ｖ１〜Ｖ３……２次元画像、ＯＢ１〜ＯＢ３……対象物領域、ＴＰ１、ＴＰ２……テンプレート、Ｇ１……重心位置。
【図１】
2007043225.tif 000003
【図５】
2007043225.tif 000004
【図６】
2007043225.tif 000005
【図７】
2007043225.tif 000006
【図８】
2007043225.tif 000007
【図９】
2007043225.tif 000008
【図１０】
2007043225.tif 000009
【図１１】
2007043225.tif 000010
【図１２】
2007043225.tif 000011
【図１３】
2007043225.tif 000012
【図１４】
2007043225.tif 000013
【図１５】
2007043225.tif 000014
【図１６】
2007043225.tif 000015
【図１７】
2007043225.tif 000016
【図１８】
2007043225.tif 000017
【図１９】
2007043225.tif 000018
【図２０】
2007043225.tif 000019
【図２１】
2007043225.tif 000020
【図２２】
2007043225.tif 000021
【図２】
2007043225.tif 000022
【図３】
2007043225.tif 000023
【図４】
2007043225.tif 000024
【図２３】
2007043225.tif 000025
【図２４】
2007043225.tif 000026
【図２５】
2007043225.tif 000027