(57)【要約】【課題】広角撮像ユニットの画角が大きくなっても、広角撮像ユニットにより撮像した画像の画質低下をコストをかけずに防ぐことができる撮像装置及び画像処理方法を提供する。【解決手段】撮像ユニットを複数備える二眼カメラ１００に、他の撮像ユニットよりも画角が広いレンズを有する広角撮像ユニット１と、広角撮像ユニット１より画角が狭く且つ倍率が大きいレンズを有し、二眼カメラ１００に回動可能に設けられたズーム撮像ユニット２と、ズーム撮像ユニット２を回動させる２軸アクチュエータ３と、ズーム撮像ユニット２により撮像された画像データと、ズーム撮像ユニット２の回動状態から得られる画像データの位置情報とを対応付けて記憶するメモリ５と、メモリ５に記憶された撮像範囲の異なる複数の画像データと当該画像データの位置情報とに基づいて、複数の画像データを合成して広範囲の画像データを生成する詳細広角画像合成部７５と、を備えた。【選択図】図２
2010109415.tif 000002
【特許請求の範囲】
【請求項１】
レンズと撮像素子とを備える撮像ユニットを複数備える撮像装置であって、
複数の前記撮像ユニットのうち少なくとも１つは、他の前記撮像ユニットよりも画角が広い前記レンズを有する広角撮像ユニットであり、
複数の前記撮像ユニットのうち少なくとも１つは、前記広角撮像ユニットより画角が狭く且つ倍率が大きい前記レンズを有し、前記撮像装置に回動可能に設けられた回動撮像ユニットであり、
前記回動撮像ユニットの撮像範囲を変更するように前記回動撮像ユニットを回動させる駆動部と、
前記回動撮像ユニットにより撮像された画像データと、前記回動撮像ユニットの回動状態から得られる前記画像データの位置情報とを対応付けて記憶する画像記憶部と、
前記画像記憶部に記憶された撮像範囲の異なる複数の前記画像データと当該画像データの前記位置情報とに基づいて、複数の前記画像データを合成して広範囲の画像データを生成する画像合成部と、
を備える撮像装置。
【請求項２】
前記広角撮像ユニットの撮像範囲の全範囲を複数の撮像範囲に分けて、前記駆動部により前記回動撮像ユニットを回動させて、当該複数の撮像範囲を前記回動撮像ユニットに順次撮像させ、前記画像記憶部に、前記回動撮像ユニットにより撮像された複数の前記画像データを当該画像データの前記位置情報と対応付けて記憶させる初期動作処理を制御する初期動作制御部を備える請求項１に記載の撮像装置。
【請求項３】
前記画像合成部は、前記初期動作処理において前記画像記憶部に記憶された複数の前記画像データを当該画像データの前記位置情報に基づいて合成して、前記広角撮像ユニットの撮像範囲と略同範囲の画像データを生成する請求項２に記載の撮像装置。
【請求項４】
前記広角撮像ユニットにより撮像された画像データを解析することにより、前記広角撮像ユニットにより撮像された画像中の移動体を検出する画像認識部と、
前記画像認識部によって検出された前記移動体を撮像するように、前記回動撮像ユニットを回動させるように前記駆動部を制御する駆動制御部と、
を備える請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記回動撮像ユニットが前記移動体を撮像することにより得られた移動体画像データと前記移動体画像データの前記位置情報とに基づいて、前記画像記憶部において、前記移動体画像データの前記位置情報に対応する前記位置情報を有する前記画像データを前記移動体画像データに置き換えることにより前記画像記憶部に記憶されている前記画像データを更新する画像更新制御部を備える請求項４に記載の撮像装置。
【請求項６】
レンズと撮像素子とを備える撮像ユニットを複数備える撮像装置における画像処理方法であって、
複数の前記撮像ユニットのうち少なくとも１つは、他の前記撮像ユニットよりも画角が広い前記レンズを有する広角撮像ユニットであり、
複数の前記撮像ユニットのうち少なくとも１つは、前記広角撮像ユニットより画角が狭く且つ倍率が大きい前記レンズを有し、前記撮像装置に回動可能に設けられた回動撮像ユニットであり、
前記撮像装置は、前記回動撮像ユニットの撮像範囲を変更するように前記回動撮像ユニットを回動させる駆動部と、
前記回動撮像ユニットにより撮像された画像データと、前記回動撮像ユニットの回動状態から得られる前記画像データの位置情報とを対応付けて記憶する画像記憶部と、を有し、
前記画像記憶部に記憶された撮像範囲の異なる複数の前記画像データと当該画像データの前記位置情報とに基づいて、複数の前記画像データを合成して広範囲の画像データを生成する画像処理方法。
【請求項７】
前記広角撮像ユニットの撮像範囲の全範囲を複数の撮像範囲に分けて、前記駆動部により前記回動撮像ユニットを回動させて、当該複数の撮像範囲を前記回動撮像ユニットに順次撮像させ、前記画像記憶部に、前記回動撮像ユニットにより撮像された複数の前記画像データを当該画像データの前記位置情報と対応付けて記憶させる初期動作処理を行う請求項６に記載の画像処理方法。
【請求項８】
前記初期動作処理において前記画像記憶部に記憶された複数の前記画像データを当該画像データの前記位置情報に基づいて合成して、前記広角撮像ユニットの撮像範囲と略同範囲の画像データを生成する請求項７に記載の画像処理方法。
【請求項９】
前記広角撮像ユニットにより撮像された画像データを解析することにより、前記広角撮像ユニットにより撮像された画像中の移動体を検出し、
前記移動体を撮像するように、前記回動撮像ユニットを回動させるように前記駆動部を制御する請求項６乃至８の何れか一項に記載の画像処理方法。
【請求項１０】
前記回動撮像ユニットが前記移動体を撮像することにより得られた移動体画像データと前記移動体画像データの前記位置情報とに基づいて、前記画像記憶部において、前記移動体画像データの前記位置情報に対応する前記位置情報を有する前記画像データを前記移動体画像データに置き換えることにより前記画像記憶部に記憶されている前記画像データを更新する請求項９に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像処理方法に関するものであり、特に、監視カメラなどの撮像装置及び当該撮像装置における画像処理方法に関するものである。
【背景技術】
【０００２】
従来、広角撮像ユニットとズーム撮像ユニットとを有する監視カメラが知られている。広角撮像ユニットは、比較的広い範囲を撮像する。一方、ズーム撮像ユニットは、広角撮像ユニットの撮像範囲内の一部分を高倍率で撮像する。また、広角撮像ユニットとズーム撮像ユニットは一体的に駆動可能となっている。これにより、監視カメラは、監視範囲内の所望の部分を撮像できる。例えば、広角撮像ユニットとズーム撮像ユニットとを一体的に駆動することにより、監視範囲内を移動する目標を追尾して撮像することができる。さらに、２以上の画角の異なる撮像ユニットを用いる監視カメラも知られている。
【０００３】
例えば、特許文献１には、広角撮像ユニットで撮像した画像の表示画面に、ズーム撮像ユニットで撮像した範囲を示す枠を表示するカメラ制御システムが記載されている。
このような倍率の異なる複数の撮像ユニットを有する撮像装置では、監視範囲の全範囲を監視しながら、当該監視範囲の所望の一部の詳細な画像を表示することができるという利点がある。
【０００４】
また、特許文献２には、撮像範囲の一部が互いに重複するように配置された複数の撮像ユニットを用いて監視を行う監視装置が記載されている。そして、当該監視装置は、動く物体の位置を３次元で検出する。
【０００５】
また、特許文献３には、左右の２つの撮像ユニットによりカラー画像を撮像する監視装置が記載されている。また、当該監視装置は、連続するフレーム毎にカラー画像に含まれる移動体の重心の色比率ヒストグラムを算出する。そして、当該色比率ヒストグラムを比較することにより、個々のフレームの移動体が同一の移動体か否かを判定する。
【特許文献１】特開２０００−３４１５７４号公報
【特許文献２】特開２００６−０４１９３９号公報
【特許文献３】特開２００４−３５５６０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年、広角レンズの画角は大きくなる傾向になり、例えば、画角１８０度の広角レンズが製造されるようになっている。そのため、広角撮像ユニットの撮像範囲とズーム撮像ユニットの撮像範囲との差は、今後、大きくなっていくと考えられる。換言すれば、広角撮像ユニットの倍率とズーム撮像ユニットの倍率との差は、今後、大きくなると考えられる。
広角撮像ユニットに用いられる撮像素子の画素数を変えずに、広角撮像ユニットの画角を大きくすると、広角撮像ユニットで撮像した画像の画質が低下してしまう。そこで、広角撮像ユニットの画角を大きくする分、広角撮像ユニットに用いられる撮像素子の画素数を多くすれば、広角撮像ユニットで撮像した画像の画質を低下させずに済む。しかし、画素数の多い撮像素子を用いる分、コストが高くなってしまう。
【０００７】
本発明は、このような問題点を解決するためになされたものであり、広角撮像ユニットの画角が大きくなっても、広角撮像ユニットにより撮像した画像の画質低下をコストをかけずに防ぐことができる撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様にかかる撮像装置は、レンズと撮像素子とを備える撮像ユニットを複数備える撮像装置である。また、複数の前記撮像ユニットのうち少なくとも１つは、他の前記撮像ユニットよりも画角が広い前記レンズを有する広角撮像ユニットである。また、複数の前記撮像ユニットのうち少なくとも１つは、前記広角撮像ユニットより画角が狭く且つ倍率が大きい前記レンズを有し、前記撮像装置に回動可能に設けられた回動撮像ユニットである。また、前記撮像装置は、前記回動撮像ユニットの撮像範囲を変更するように前記回動撮像ユニットを回動させる駆動部を有する。また、前記撮像装置は、前記回動撮像ユニットにより撮像された画像データと、前記回動撮像ユニットの回動状態から得られる前記画像データの位置情報とを対応付けて記憶する画像記憶部を有する。さらに、前記撮像装置は、前記画像記憶部に記憶された撮像範囲の異なる複数の前記画像データと当該画像データの前記位置情報とに基づいて、複数の前記画像データを合成して広範囲の画像データを生成する画像合成部を備えるものである。
【０００９】
本発明の第１の態様においては、回動撮像ユニットが広角撮像ユニットよりも高倍率で異なる撮像範囲の画像データを複数撮像する。さらに、画像合成部が、高倍率で撮像された撮像範囲の異なる複数の画像データを合成して広範囲の画像データを生成する。そのため、回動撮像ユニットが広角撮像ユニットの撮像範囲を複数範囲に分けて撮像することにより得られた複数の画像データを合成して、広範囲の画像データを生成することができる。当該広範囲の画像データは、広角撮像ユニットの撮像範囲と略同範囲の画像データである。また、当該広範囲の画像データは、回動撮像ユニットが高倍率で撮像しているため画質が良い。そして、当該広範囲の画像データを広角撮像ユニットが撮像した画像データの代わりに用いることができる。これにより、広角撮像ユニットのレンズの画角が大きくなることに伴う、広角撮像ユニットの画像データの画質の低下を防ぐことができる。
また、広角撮像ユニットのレンズの画角が大きくなることに伴って、画素数の多い撮像素子を用いる必要がない。そのため、コストをかけずに済む。
【００１０】
また、前記広角撮像ユニットの撮像範囲の全範囲を複数の撮像範囲に分けて、前記駆動部により前記回動撮像ユニットを回動させて、当該複数の撮像範囲を前記回動撮像ユニットに順次撮像させ、前記画像記憶部に、前記回動撮像ユニットにより撮像された複数の前記画像データを当該画像データの前記位置情報と対応付けて記憶させる初期動作処理を制御する初期動作制御部を備えることが好ましい。
さらに、前記画像合成部は、前記初期動作処理において前記画像記憶部に記憶された複数の前記画像データを当該画像データの前記位置情報に基づいて合成して、前記広角撮像ユニットの撮像範囲と略同範囲の画像データを生成することが好ましい。
これにより、初期動作において、回動撮像ユニットが、広角撮像ユニットの撮像範囲の全範囲を高倍率で撮影しておくことができる。そのため、広角撮像ユニットの撮像範囲と略同範囲の画像データをいつでも代わりに用いることができる。
【００１１】
さらに、前記撮像装置は、画像認識部と駆動制御部とを備えることが好ましい。前記画像認識部は、前記広角撮像ユニットにより撮像された画像データを解析することにより、前記広角撮像ユニットにより撮像された画像中の移動体を検出する。また、前記駆動制御部は、前記画像認識部によって検出された前記移動体を撮像するように、前記回動撮像ユニットを回動させるように前記駆動部を制御する。
これにより、移動体を追跡して、移動体付近の画像を高倍率で撮像することができる。即ち、移動体を追跡して、詳細に撮像することができる。
【００１２】
また、前記撮像装置は、画像更新制御部を備えることが好ましい。前記画像更新制御部は、前記回動撮像ユニットが前記移動体を撮像することにより得られた移動体画像データと前記移動体画像データの前記位置情報とに基づいて、前記画像記憶部において、前記移動体画像データの前記位置情報に対応する前記位置情報を有する前記画像データを前記移動体画像データに置き換えることにより前記画像記憶部に記憶されている前記画像データを更新する。
これにより、移動体により、初期動作処理において画像記憶部に記憶された画像データの変化が生じた部分のみを移動体画像データに置き換えることができる。そのため、広角撮像ユニットの撮像範囲と略同範囲の画像データであって最新の状態を反映した画像データをいつでも代わりに用いることができる。
【００１３】
本発明の第２の態様にかかる画像処理方法は、レンズと撮像素子とを備える撮像ユニットを複数備える撮像装置における画像処理方法である。また、複数の前記撮像ユニットのうち少なくとも１つは、他の前記撮像ユニットよりも画角が広い前記レンズを有する広角撮像ユニットである。さらに、複数の前記撮像ユニットのうち少なくとも１つは、前記広角撮像ユニットより画角が狭く且つ倍率が大きい前記レンズを有し、前記撮像装置に回動可能に設けられた回動撮像ユニットである。さらに、前記撮像装置は、駆動部と画像記憶部とを備える。前記駆動部は、前記回動撮像ユニットの撮像範囲を変更するように前記回動撮像ユニットを回動させる。また、前記画像記憶部は、前記回動撮像ユニットにより撮像された画像データと、前記回動撮像ユニットの回動状態から得られる前記画像データの位置情報とを対応付けて記憶する。そして、当該画像処理方法においては、前記画像記憶部に記憶された撮像範囲の異なる複数の前記画像データと当該画像データの前記位置情報とに基づいて、複数の前記画像データを合成して広範囲の画像データを生成する。
【００１４】
本発明の第２の態様においては、回動撮像ユニットが広角撮像ユニットよりも高倍率で異なる撮像範囲の画像データを複数撮像する。さらに、高倍率で撮像された撮像範囲の異なる複数の画像データを合成して広範囲の画像データを生成する。そのため、回動撮像ユニットが広角撮像ユニットの撮像範囲を複数範囲に分けて撮像することにより得られた複数の画像データを合成して、広範囲の画像データを生成することができる。当該広範囲の画像データは、広角撮像ユニットの撮像範囲と略同範囲の画像データである。また、当該広範囲の画像データは、回動撮像ユニットが高倍率で撮像しているため画質が良い。そして、当該広範囲の画像データを広角撮像ユニットが撮像した画像データの代わりに用いることができる。これにより、広角撮像ユニットのレンズの画角が大きくなることに伴う、広角撮像ユニットの画像データの画質の低下を防ぐことができる。
また、広角撮像ユニットのレンズの画角が大きくなることに伴って、画素数の多い撮像素子を用いる必要がない。そのため、コストをかけずに済む。
【００１５】
また、前記広角撮像ユニットの撮像範囲の全範囲を複数の撮像範囲に分けて、前記駆動部により前記回動撮像ユニットを回動させて、当該複数の撮像範囲を前記回動撮像ユニットに順次撮像させ、前記画像記憶部に、前記回動撮像ユニットにより撮像された複数の前記画像データを当該画像データの前記位置情報と対応付けて記憶させる初期動作処理を行うことが好ましい。
さらに、前記初期動作処理において前記画像記憶部に記憶された複数の前記画像データを当該画像データの前記位置情報に基づいて合成して、前記広角撮像ユニットの撮像範囲と略同範囲の画像データを生成することが好ましい。
これにより、初期動作において、回動撮像ユニットが、広角撮像ユニットの撮像範囲の全範囲を高倍率で撮影しておくことができる。そのため、広角撮像ユニットの撮像範囲と略同範囲の画像データをいつでも代わりに用いることができる。
【００１６】
さらに、前記広角撮像ユニットにより撮像された画像データを解析することにより、前記広角撮像ユニットにより撮像された画像中の移動体を検出することが好ましい。また、前記移動体を撮像するように、前記回動撮像ユニットを回動させるように前記駆動部を制御することが好ましい。
これにより、移動体を追跡して、移動体付近の画像を高倍率で撮像することができる。即ち、移動体を追跡して、詳細に撮像することができる。
【００１７】
また、前記回動撮像ユニットが前記移動体を撮像することにより得られた移動体画像データと前記移動体画像データの前記位置情報とに基づいて、前記画像記憶部において、前記移動体画像データの前記位置情報に対応する前記位置情報を有する前記画像データを前記移動体画像データに置き換えることにより前記画像記憶部に記憶されている前記画像データを更新することが好ましい。
これにより、移動体により、初期動作処理において画像記憶部に記憶された画像データの変化が生じた部分のみを移動体画像データに置き換えることができる。そのため、広角撮像ユニットの撮像範囲と略同範囲の画像データであって最新の状態を反映した画像データをいつでも代わりに用いることができる。
【発明の効果】
【００１８】
本発明により、広角撮像ユニットの画角が大きくなっても、広角撮像ユニットにより撮像した画像の画質低下をコストをかけずに防ぐことができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下の実施の形態に限定されるものではない。
図１は、本発明の実施の形態にかかる２眼カメラ１００（撮像装置）の一例を示したものである。二眼カメラ１００は、複数の撮像ユニットを有している。また、それぞれの撮像ユニットは、レンズ（図示省略）、撮像素子（図示省略）などを備えている。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子により構成されている。
具体的には、二眼カメラ１００は、広角撮像ユニット１、ズーム撮像ユニット２（回動撮像ユニット）を備えている。図１において、広角撮像ユニット１の撮像範囲を実線で示し、ズーム撮像ユニット２の撮像範囲の一例を破線及び点線で示す。
【００２０】
また、図２は、二眼カメラ１００の概略構成を示すブロック図である。図２に示すように、二眼カメラ１００は、さらに、２軸球面アクチュエータ３（駆動部）、コントローラ４、メモリ５（画像記憶部）、インターフェース６、信号処理部７などを有している。
【００２１】
広角撮像ユニット１は、ズーム撮像ユニット２よりも画角が広いレンズを有している。具体的には、広角撮像ユニット１は、結像レンズとして、画角９０度の組レンズを有している。また、広角撮像ユニット１は、撮像素子として、１／７．４インチ、６４０×４８０画素（３３万画素）のイメージセンサを有している。
【００２２】
ズーム撮像ユニット２は、広角撮像ユニット１よりも画角が狭く且つ倍率が大きいレンズを有している。具体的には、ズーム撮像ユニット２は、結像レンズとして、画角３０度の組レンズを有している。また、ズーム撮像ユニット２は、撮像素子として、１／７．４インチ、６４０×４８０画素（３３万画素）のイメージセンサを有している。したがって、図１に示すように、広角撮像ユニット１の撮像範囲（視野）は、ズーム撮像ユニット２の撮像範囲の９倍となっている。また、ズーム撮像ユニット２の空間分解能は広角撮像ユニット１の空間分解能の９倍となっている。
【００２３】
また、ズーム撮像ユニット２は、２眼カメラ１００に回動可能に設けられている。具体的には、ズーム撮像ユニット２は、２軸球面アクチュエータ３を介して、２眼カメラ１００に設けられている。これにより、ズーム撮像ユニット２は、２眼カメラ１００の上下方向及び左右方向に回動可能となっている。また、ズーム撮像ユニット２の回動範囲は、２眼カメラ１００の上下左右方向に３０度ずつとなっている。
【００２４】
２軸球面アクチュエータ３は、ズーム撮像ユニット２の撮像範囲を変更するように、ズーム撮像ユニット２を回動させる。具体的には、２軸球面アクチュエータ３は、２軸ゴニオ自動ステージ（図示省略）、ステッピングモータやＤＣモータ（Ｄｉｒｅｃｔ−Ｃｕｒｒｅｎｔモータ）などのモータ（図示省略）などを備えている。そして、ズーム撮像ユニット２は、当該２軸ゴニオ自動ステージを介して２軸球面アクチュエータ３に接続されている。２軸ゴニオ自動ステージは、２眼カメラ１００の上下方向及び左右方向に回動可能となっている。
【００２５】
コントローラ４は、２軸球面アクチュエータ３の動作を制御する。そして、コントローラ３の制御に基づいて、２軸球面アクチュエータ３は２軸ゴニオ自動ステージを回動させる。これにより、２軸ゴニオ自動ステージに搭載されたズーム撮像ユニット２が回動する。
また、２軸アクチュエータ３は、２軸ゴニオ自動ステージの回動角度データをコントローラ４に入力する。そして、コントローラ４は、当該回動角度データを信号処理部７に入力する。
【００２６】
メモリ５は、ズーム撮像ユニット２により撮像された画像データと、当該画像データの位置情報とを対応付けて記憶している。画像データの位置情報は、ズーム撮像ユニット２の回動角度（回動状態）から得られる。
【００２７】
ここで、広角撮像ユニット１の撮像範囲と、ズーム撮像ユニット２の撮像範囲との関係を図３に示す。図３において、太い実線で示す範囲が広角撮像ユニット１の撮像範囲である。また、図３において、細い実線で示す範囲がズーム撮像ユニット２の撮像範囲である。
図３に示すように、広角撮像ユニット１の撮像範囲は、ズーム撮像ユニット２の撮像範囲の９倍である。そのため、ズーム撮像ユニット２により、広角撮像ユニット１の撮像範囲の全範囲を撮像する場合には、図３のように、広角撮像ユニット１の撮像範囲を９分割する。そして、ズーム撮像ユニット２は、広角撮像ユニット１の撮像範囲を９分割して得られる９つの撮像範囲を１つずつ撮像する。
【００２８】
ここで、図３に示すように、広角撮像ユニット１の撮像範囲を９分割して得られる９つの撮像範囲を、紙面向かって左上から右下に向かって撮像範囲Ｇ１〜Ｇ９とする。撮像範囲Ｇ１〜Ｇ９のそれぞれは、６４０×４８０画素のイメージセンサによって検出されるから、撮像範囲Ｇ１〜Ｇ９の画像データの画素数は、それぞれ、６４０×４８０画素となる。また、メモリ５において、画像データの１画素分のデータを当該メモリ５の１ビットの容量で記憶し、撮像範囲Ｇ１〜Ｇ９の順に画像データを記憶することとする。これにより、例えば、撮像範囲Ｇ１の画像データは、メモリ５のアドレス１〜６４０×４８０に記憶されることとなる。同様に、撮像範囲Ｇ２の画像データは、メモリ５のアドレス６４０×４８０＋１〜６４０×４８０×２に記憶されることとなる。
なお、メモリ５は、１画素分のデータを当該メモリ５の数ビットの容量で記憶してよいことは勿論である。
【００２９】
また、ズーム撮像ユニット２が撮像範囲Ｇ１を撮像する場合、ズーム撮像ユニット２は、上方向に３０度且つ左方向に３０度回動している。従って、ズーム撮像ユニット２の回動角度に基づいて、ズーム撮像ユニットが撮像している画像データの位置情報を求めることができる。具体的には、ズーム撮像ユニット２が上方向に３０度且つ左方向に３０度回動している場合に、ズーム撮像ユニット２が撮像した画像データの位置情報は撮像範囲Ｇ１である。さらに、撮像範囲Ｇ１の画像データが格納されるメモリ５のアドレスは１〜６４０である。したがって、予め、ズーム撮像ユニット２の回動角度と、撮像範囲Ｇ１〜Ｇ９とを対応付けるとともに、撮像範囲Ｇ１〜Ｇ９とメモリ５のアドレスとを対応付けておくことにより、ズーム撮像ユニット２の回動角度から、撮像範囲及びメモリ５のアドレスを求めることができる。換言すれば、ズーム撮像ユニット２の回動角度から、画像データの位置情報としての撮像範囲を求めることができる。また、当該位置情報としての撮像範囲から、当該位置情報を有する画像データが記憶されるメモリ５のアドレスを求めることができる。従って、画像データを、予め当該画像データの撮像範囲と対応付けられたメモリ５のアドレスに記憶することにより、画像データと当該画像データの位置情報とを対応付けてメモリ５に記憶することができる。
【００３０】
インターフェース６は、２眼カメラ１００の信号処理部７と、２眼カメラ１００と接続される外部装置とを接続する接続部である。例えば、インターフェース６は、キーボードなどの入力部（図示省略）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示部（図示省略）と２眼カメラ１００とを接続する。そして、インターフェース６を介して、入力部から認識情報、初期化コマンド、詳細広角画像要求コマンドなどが２眼カメラ１００の信号処理部７に入力される。また、インターフェース６を介して、２眼カメラ１００の信号処理部７から画像データが表示部に入力される。
【００３１】
信号処理部７は、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を有し、２眼カメラ１００の各部を制御するための各種プログラムを格納している。そして、信号処理部７は、当該各種プログラムを実行することにより、２眼カメラ１００の各部の制御を行う。なお、信号処理部７は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などにより構成されてもよい。信号処理部７がＦＰＧＡなどにより構成される場合、信号処理部７に格納された各種プログラムを書き換えることができる。
信号処理部７は、図２に示すように、画像認識部７１、アクチュエータ制御部７２、初期化動作制御部７３、画像更新制御部７４、詳細広角画像合成部７５などを有している。
【００３２】
画像認識部７１は、広角撮像ユニット１により撮像された画像データを解析することにより、広角撮像ユニット１により撮像された画像中の移動体を検出する。具体的には、例えば、画像認識部７１は、まず、現在のフレームの画像データと前のフレームの画像データとの差分を検出する。次いで、画像認識部７１は、当該差分が所定の値以上である部分を移動体として検出する。
【００３３】
アクチュエータ制御部７２は、画像認識部７１により検出された移動体を撮像するように、ズーム撮像ユニット２を回動させるように２軸球面アクチュエータ３を制御する。具体的には、アクチュエータ制御部７２は、画像認識部７１により検出された移動体を撮像するように、ズーム撮像ユニット２を回動させるための制御信号をコントローラ４に入力する。コントローラ４は、制御信号に基づいて、ズーム撮像ユニット２を回動させる角度（回動角度）を算出する。次いで、コントローラ４は、2軸ゴニオ自動ステージを当該角度回動させる。これにより、ズーム撮像ユニット2が回動される。
【００３４】
初期化動作制御部７３は、広角撮像ユニット１の撮像範囲の全範囲を複数の撮像範囲に分けて、２軸球面アクチュエータ３によりズーム撮像ユニット２を回動させて、当該複数の撮像範囲をズーム撮像ユニットに順次撮像させる。次いで、初期化動作制御部７３は、メモリ５にズーム撮像ユニット２により撮像された複数の画像データを当該画像データの位置情報と対応付けて記憶させる。具体的には、図３に示すように、メモリ５は、撮像範囲Ｇ１の画像データと位置情報としてのＧ１とを対応付けて記憶する。より具体的には、予め、撮像範囲Ｇ１〜Ｇ９と、撮像範囲Ｇ１〜Ｇ９の画像データが記憶されるメモリ５のアドレスとが対応付けられている。例えば、撮像範囲Ｇ１の画像データは、アドレス１〜６４０×４８０に記憶される。同様に、撮像範囲Ｇ２の画像データは、メモリ５のアドレス６４０×４８０＋１〜６４０×４８０×２に記憶される。したがって、初期化動作制御部７３は、画像データの位置情報（撮像範囲）に予め対応付けられたメモリ５のアドレスに当該画像データを記憶させることにより、画像データと当該画像データの位置情報とを対応付けてメモリ５に記憶させる。
なお、初期化動作制御部７３は、広角撮像ユニット１の画角とズーム撮像ユニット２の画角とに基づいて、広角撮像ユニット１の撮像範囲を複数の撮像範囲に分割する。
【００３５】
画像更新制御部７４は、ズーム撮像ユニット２が移動体を撮像することにより得られた当該移動体を含む撮像範囲の画像データ（以下、移動体画像データと称する。）と、当該移動体画像データの位置情報とに基づいて、メモリ５に記憶されている画像データを更新する。具体的には、画像更新制御部７４は、メモリ５において、移動体画像データの位置情報に対応する位置情報を有する画像データを、当該移動体画像データと置き換えることにより、メモリ５に記憶されている画像データを更新する。より具体的には、画像更新制御部７４は、移動体画像データの撮像範囲から当該移動体画像データが記憶されるメモリ５のアドレスを算出する。次いで、画像更新制御部７４は、当該アドレスに記憶されている画像データを当該移動体画像データに置き換える。これにより、メモリ５の画像データが更新される。
【００３６】
詳細広角画像合成部７５は、メモリ５に記憶された撮像範囲の異なる複数の画像データと、当該画像データとの位置情報とに基づいて、複数の画像データを合成して広範囲の画像データを生成する。具体的には、詳細広角画像合成部７５は、メモリ５のアドレスから位置情報としての撮像範囲を決定し、当該アドレスに記憶されている画像データを当該撮像範囲に割り当てる。これにより、各撮像範囲に画像データが割り当てられて、広範囲の画像データが生成される。より具体的には、図３に示すように、詳細広角画像合成部７５は、メモリ５のアドレス１〜６４０×４８０に記憶されている画像データを撮像範囲Ｇ１に割り当てる。同様に、詳細広角画像合成部７５は、メモリ５のアドレス６４０×４８０＋１〜６４０×４８０×２に記憶されている画像データを撮像範囲Ｇ２に割り当てる。このようにして、詳細広角画像合成部７５は、メモリ５に記憶されている画像データを撮像範囲Ｇ１〜Ｇ９に割り当てて、広範囲の画像データを合成する。
【００３７】
次に、本実施形態にかかる二眼カメラ１００の画像処理方法について説明する。本実施形態にかかる画像処理は、以下に説明する初期動作処理、メモリ５の更新処理、詳細広角画像データ（後述）の合成処理などを含む。
まず、本実施形態にかかる二眼カメラ１００における初期動作処理について、図４に示すフローチャートを参照しながら説明する。なお、以下の説明において、撮像範囲Ｇ１〜Ｇ９の画像データの位置情報をそれぞれｘの値で表し、画像データが記憶されるメモリ５のアドレスをｙの値で表す。例えば、撮像範囲Ｇ１の画像データの位置情報を表すｘの値は１であり、当該画像データが記憶されるメモリ５のアドレスを表すｙの値は１〜６４０×４８０である。同様に、撮像範囲Ｇ２の画像データの位置情報を表すｘの値は２であり、当該画像データが記憶されるメモリ５のアドレスを表すｙの値は６４０×４８０＋１〜６４０×４８０×２である。
【００３８】
まず、初期動作制御部７３は、ｘ及びｙの値をそれぞれｘ＝１、ｙ＝１〜６４０×４８０と設定する（ステップＳ１）。
次いで、初期動作制御部７３は、２軸球面アクチュエータ３によりズーム撮像ユニット２を回動させて、撮像範囲Ｇ１をズーム撮像ユニットに撮像させる（ステップＳ２）。
次いで、初期動作制御部７３は、ステップＳ２において取得した画像データをメモリ５のアドレスｙ＝１〜６４０×４８０に記憶させる（ステップＳ３）。
【００３９】
次に、初期動作制御部７３は、現在のｘの値に１を加算することにより、新たなｘの値を設定する。同時に、初期動作制御部７３は、現在のｙの値に６４０×４８０を加算することにより、新たなｙの値を設定する（ステップＳ４）。
【００４０】
次に、初期動作制御部７３は、ステップＳ４で得られた新たなｘの値が９より大きいか否かを判断する（ステップＳ５）。
ステップＳ５において、初期動作制御部７３は、ステップＳ４で得られた新たなｘの値が９以下であると判断した場合には（ステップＳ５；Ｎｏ）、ステップＳ２の処理に戻る。
ステップＳ５において、初期動作制御部７３は、ステップＳ４で得られた新たなｘの値が９より大きいと判断した場合には（ステップＳ５；Ｙｅｓ）、本処理を終了する。
【００４１】
次に、本実施形態にかかる二眼カメラ１００におけるメモリ５の更新処理について、図５に示すフローチャートを参照しながら説明する。
まず、画像認識部７１は、広角撮像ユニット１により撮像された画像データを解析することにより、広角撮像ユニット１により撮像された画像中に動きがあるか否か（移動体があるか否か）を判断する（ステップＳ１０１）。
【００４２】
ステップＳ１０１において、画像認識部７１は、広角撮像ユニット１により撮像された画像中に動きがない（移動体がない）と判断した場合には（ステップＳ１０１；Ｎｏ）、ステップＳ１０１の処理を再度行う。
ステップＳ１０１において、画像認識部７１が、広角撮像ユニット１により撮像された画像中に動きがある（移動体がある）と判断した場合には（ステップＳ１０１；Ｙｅｓ）、アクチュエータ制御部７２は、画像認識部７１により検出された移動体を撮像するように、ズーム撮像ユニット２の撮像範囲を制御する（ステップＳ１０２）。
【００４３】
次に、ズーム撮像ユニット２は、画像認識部７１により検出された移動体を含む撮像範囲の画像データ（以下、移動体画像データと称する。）を取得する（ステップＳ１０３）。
次に、画像更新制御部７４は、ステップＳ１０３において得られた移動体画像データと、当該移動体画像データの位置情報とに基づいて、メモリ５に記憶されている画像データを更新し（ステップＳ１０４）、本処理を終了する。
【００４４】
次に、本実施形態にかかる二眼カメラ１００における、広角撮像ユニットの撮像範囲と略同範囲の詳細な画像データ（以下、詳細広角画像データと称する。）を合成する処理について、図５に示すフローチャートを参照しながら説明する。
まず、詳細広角画像合成部７５は、ｘの値を１に設定する（ステップＳ２０１）。
次いで、詳細広角画像合成部７５は、メモリ５のアドレスｙ＝１〜６４０×４８０の画像データを読出し、ｘ＝１の位置、即ち、画像範囲Ｇ１の位置に配置する（ステップＳ２０２）。
【００４５】
次に、詳細広角画像合成部７５は、現在のｘの値に１を加算することにより、新たなｘの値を設定する（ステップＳ２０３）。
次いで、詳細広角画像合成部７５は、ステップＳ２０３において得られた新たなｘの値が９より大きいか否かを判断する（ステップＳ２０４）。
【００４６】
ステップＳ２０４において、詳細広角画像合成部７５は、ステップＳ２０３で得られた新たなｘの値が９以下であると判断した場合には（ステップＳ２０４；Ｎｏ）、メモリ５のアドレスｙ＝６４０×４８０×（ｘ−１）＋１〜６４０×４８０×（ｘ）の画像データを読出し、ｘの位置に配置する（ステップＳ２０５）。
【００４７】
ステップＳ２０４において、詳細広角画像合成部７５は、ステップＳ２０３で得られた新たなｘの値が９より大きいと判断した場合には（ステップＳ２０４；Ｙｅｓ）、本処理を終了する。
【００４８】
以上、説明したように、本実施の形態にかかる二眼カメラ１００及び二眼カメラ１００の画像処理方法においては、ズーム撮像ユニット２が広角撮像ユニット１よりも高倍率で異なる撮像範囲の画像データを複数撮像する。さらに、詳細広角画像合成部７５が、高倍率で撮像された撮像範囲の異なる複数の画像データを合成して広範囲の画像データを生成する。そのため、ズーム撮像ユニット２が広角撮像ユニット１の撮像範囲を複数範囲に分けて撮像することにより得られた複数の画像データを合成して、詳細広角画像データを生成することができる。当該詳細広角画像データは、広角撮像ユニット１の撮像範囲と略同範囲の画像データである。また、当該詳細広角画像データは、ズーム撮像ユニット２が高倍率で撮像しているため画質が良い。そして、当該詳細広角画像データを広角撮像ユニット１が撮像した画像データの代わりに用いることができる。これにより、広角撮像ユニット１のレンズの画角が大きくなることに伴う、広角撮像ユニット１の画像データの画質の低下を防ぐことができる。
また、広角撮像ユニット１のレンズの画角が大きくなることに伴って、画素数の多い撮像素子を用いる必要がない。そのため、コストをかけずに済む。
【００４９】
また、初期動作制御部７３は、初期動作処理を制御する。具体的には、初期動作制御部７３は、広角撮像ユニット１の撮像範囲の全範囲を複数の撮像範囲に分けて、２軸球面アクチュエータ３によりズーム撮像ユニット２を回動させて、当該複数の撮像範囲をズーム撮像ユニット２に順次撮像させる。さらに、初期動作制御部７３は、メモリ５に、ズーム撮像ユニット２により撮像された複数の画像データを当該画像データの位置情報と対応付けて記憶させる。
さらに、詳細広角画像合成部７５は、初期動作処理において、メモリ５に記憶された複数の画像データを当該画像データの位置情報に基づいて合成する。これにより、広角撮像ユニット１の撮像範囲と略同範囲の詳細広角画像データを生成する。
これにより、初期動作において、ズーム撮像ユニット１が、広角撮像ユニット２の撮像範囲の全範囲を高倍率で撮影しておくことができる。そのため、広角撮像ユニット１の撮像範囲と略同範囲の詳細広角画像データをいつでも代わりに用いることができる。
【００５０】
さらに、二眼カメラ１００は、画像認識部７１とアクチュエータ制御部７２とを備える。画像認識部７１は、広角撮像ユニット１により撮像された画像データを解析することにより、広角撮像ユニット１により撮像された画像中の移動体を検出する。また、アクチュエータ制御部７２は、画像認識部７１によって検出された移動体を撮像するように、ズーム撮像ユニット２を回動させるように２軸球面アクチュエータ３を制御する。
これにより、移動体を追跡して、移動体付近の画像を高倍率で撮像することができる。即ち、移動体を追跡して、詳細に撮像することができる。
【００５１】
また、二眼カメラ１００は、画像更新制御部７４を備える。画像更新制御部７４は、ズーム撮像ユニット２が移動体を撮像することにより得られた移動体画像データと移動体画像データの位置情報とに基づいて、メモリ５において、移動体画像データの位置情報に対応する位置情報を有する画像データを当該移動体画像データに置き換えることによりメモリ５に記憶されている画像データを更新する。
これにより、移動体により、初期動作処理においてメモリ５に記憶された画像データの変化が生じた部分のみを移動体画像データに置き換えることができる。そのため、広角撮像ユニット１の撮像範囲と略同範囲の画像データであって最新の状態を反映した詳細広角画像データをいつでも代わりに用いることができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態にかかる二眼カメラの一例を示す斜視図である。
【図２】本発明の実施形態にかかる二眼カメラの概略構成を示すブロック図である。
【図３】本発明の実施形態における、広角撮像ユニットの撮像範囲と、ズーム撮像ユニットの撮像範囲との関係を示す図である。
【図４】本発明の実施形態にかかる初期動作処理を説明するフローチャートである。
【図５】本発明の実施形態にかかるメモリの更新処理を説明するフローチャートである。
【図６】本発明の実施形態にかかる詳細広角画像データの合成処理を説明するフローチャートである。
【符号の説明】
【００５３】
１  広角撮像ユニット
２  ズーム撮像ユニット（回動撮像ユニット）
３  ２軸球面アクチュエータ（駆動部）
５  メモリ（画像記憶部）
７１  画像認識部
７２  アクチュエータ制御部（駆動制御部）
７３  初期化動作制御部
７４  画像更新制御部
７５  詳細広角画像合成部（画像合成部）
１００  二眼カメラ（撮像装置）
Ｇ１〜Ｇ９  撮像範囲
【図１】
2010109415.tif 000003
【図２】
2010109415.tif 000004
【図３】
2010109415.tif 000005
【図４】
2010109415.tif 000006
【図５】
2010109415.tif 000007
【図６】
2010109415.tif 000008