(57)【要約】【課題】  高解像度及び高速で撮像した画像データを連続的に処理及び蓄積することが可能な撮像カメラ装置及び画像データ蓄積方法を提供する。【解決手段】  撮像カメラ装置１は、所定サイズの画素領域を撮像する撮像部１１と、出力されるべき画像データの位置を特定する情報を含む座標パラメータに基づいて、撮像部１１が撮像した画素領域の一部の画像データを出力用画像データとして選択する選択部１２と、選択部１２が選択した出力用画像データ及び当該出力用画像データの座標パラメータに基づいて、選択部１２が次回選択すべき画像データの座標パラメータを演算し、その次回用の座標パラメータを選択部１２にフィードバックする演算部２０と、選択部１２が選択及び出力した出力用画像データを複数まとめて１フレーム分のデータとして記憶するフレームバッファ３０とを備える。【選択図】  図１
2006262392.tif 000002
【特許請求の範囲】
【請求項１】
所定サイズの画素領域を撮像する撮像手段と、
出力されるべき画像データの位置を特定する情報を含む座標パラメータに基づいて、前記撮像手段が撮像した画素領域の一部の画像データを出力用画像データとして選択及び出力する選択手段と、
前記選択手段が選択及び出力した前記出力用画像データ及び当該出力用画像データの座標パラメータに基づいて、前記選択手段が次回選択すべき画像データの座標パラメータを演算し、前記次回用の座標パラメータを前記選択手段にフィードバックする演算手段と、
前記選択手段が選択及び出力した前記出力用画像データを複数まとめて１フレーム分のデータとして記憶するバッファ手段と
を備える撮像カメラ装置。
【請求項２】
前記バッファ手段は複数であることを特徴とする請求項１に記載の撮像カメラ装置。
【請求項３】
前記撮像手段が前記画素領域を撮像した時刻を特定する情報を、タイムスタンプとして前記出力用画像データに関連づけるタイムスタンプ手段と、
前記タイムスタンプ手段が前記出力用画像データに関連づけた前記タイムスタンプに基づいて、前記複数の出力用画像データを前記複数のバッファ手段に分配する分配手段と
を更に備え、
前記複数のバッファ手段それぞれは、前記分配手段が分配した前記出力用画像データを複数まとめて１フレーム分のデータとして記憶する
ことを特徴とする請求項２に記載の撮像カメラ装置。
【請求項４】
前記複数のバッファ手段に記憶されている前記複数の出力用画像データを、前記タイムスタンプをキーにして並べなおす整列手段を更に備えることを特徴とする請求項３に記載の撮像カメラ装置。
【請求項５】
前記演算手段は、アフィン変換により、前記出力用画像データにおける撮像対象物の大きさ及び配置方向を所定の大きさ及び配置方向に整列させ、
前記バッファ手段は、前記整列された出力用画像データを複数まとめて１フレーム分のデータとして記憶する
ことを特徴とする請求項１〜４のいずれか１項に記載の撮像カメラ装置。
【請求項６】
前記撮像手段は、ＣＭＯＳで形成されたイメージングセンサを有することを特徴とする請求項１〜５のいずれか１項に記載の撮像カメラ装置。
【請求項７】
撮像手段が、所定サイズの画素領域を撮像する撮像ステップと、
選択手段が、出力されるべき画像データの位置を特定する情報を含む座標パラメータに基づいて、前記撮像手段が撮像した画素領域の一部の画像データを出力用画像データとして選択及び出力する選択ステップと、
演算手段が、前記選択手段が選択及び出力した前記出力用画像データ及び当該出力用画像データの座標パラメータに基づいて、前記選択手段が次回選択すべき画像データの座標パラメータを演算し、前記次回用の座標パラメータを前記選択手段にフィードバックする演算ステップと、
バッファ手段が、前記選択手段が選択及び出力した前記出力用画像データを複数まとめて１フレーム分のデータとして記憶する記憶ステップと
を備える画像データ蓄積方法。
【請求項８】
前記記憶ステップにおける前記バッファ手段は、複数であることを特徴とする請求項７に記載の画像データ蓄積方法。
【請求項９】
タイムスタンプ手段が、前記撮像ステップにて前記撮像手段が前記画素領域を撮像した時刻を特定する情報を、タイムスタンプとして前記出力用画像データに関連づけるタイムスタンプステップと、
分配手段が、前記タイムスタンプステップにて前記タイムスタンプ手段が前記出力用画像データに関連づけた前記タイムスタンプに基づいて、前記複数の出力用画像データを前記複数のバッファ手段に分配する分配ステップと
を更に備え、
前記記憶ステップにおける前記複数のバッファ手段それぞれは、前記分配手段が分配した前記出力用画像データを複数まとめて１フレーム分のデータとして記憶する
ことを特徴とする請求項８に記載の画像データ蓄積方法。
【請求項１０】
整列手段が、前記複数のバッファ手段に記憶されている前記複数の出力用画像データを、前記タイムスタンプをキーにして並べなおす整列ステップを更に備えることを特徴とする請求項９に記載の画像データ蓄積方法。
【請求項１１】
前記演算ステップにおける前記演算手段は、アフィン変換により、前記出力用画像データにおける撮像対象物の大きさ及び配置方向を所定の大きさ及び配置方向に整列させ、
前記記憶ステップにおける前記バッファ手段は、前記整列された出力用画像データを複数まとめて１フレーム分のデータとして記憶する
ことを特徴とする請求項７〜１０のいずれか１項に記載の画像データ蓄積方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像カメラ装置及び画像データ蓄積方法に関する。
【背景技術】
【０００２】
近年の撮像カメラの一つに、固体イメージセンサとして例えば非特許文献１に示すようなＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサを搭載したものが知られている。このような撮像カメラは、ＣＭＯＳで形成された画素回路を含むイメージセンサと、このイメージセンサが読み込んだ画素信号から必要な処理を行う信号処理装置を備えている。
【０００３】
このようなＣＭＯＳイメージセンサを用いると、例えば１０２４×１０２４画素といった高解像度を保ちながら、例えば秒間５００コマのフレームレート（すなわち、５００ＦＰＳ（Frame per Second））といった高速撮像が可能となる。これによって、撮像対象物に対するより表現力の豊かな画像データの提供が期待される。
【非特許文献１】A.Krymsk i.D.V.Blerkon,A.Anderson,et.al.,”A high-speed 500frame/s1024×1024 CMOS image sensor” Dig. Tech. Papers Symp.on VLSICircuits,No.14-3,June 1999.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記したようなＣＭＯＳイメージセンサを用いて高解像度撮像及び高速撮像をある程度以上まで追及すると、フレームバッファを用いるものが殆どである従来の撮像カメラの場合、フレームバッファ容量に応じた限定された時間及び容量での動画像しか処理及び蓄積できないという問題点があった。
【０００５】
例えば、１０２４×１０２４画素の画素回路を用い、５００ＦＰＳで撮像しただけでも、１秒間の動画像を録画するために、５００メガバイト（ただし、１画素＝１バイトで計算）もの蓄積領域が要求される。更に、録画時間が１時間である場合には、１８０ギガバイトもの蓄積領域が要求されてしまう。仮に、これらの画像データが蓄積される領域を確保したとしても、１秒間５００メガバイトが転送可能な通信装置が必要になる。また、フレームバッファには、１秒間５００メガバイトの書込み速度が要求される。
【０００６】
これらの要求は、現在の技術レベルをもってしても、実現は殆ど不可能であると言わざるを得ない。更に、センサの画素領域は益々広域化する傾向にあるので、かかる状況は一層深刻になりつつある。
【０００７】
ここで、本発明は、高解像度及び高速で撮像した画像データを連続的に処理及び蓄積することが可能な撮像カメラ装置及び画像データ蓄積方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために、本発明に係る撮像カメラ装置は、所定サイズの画素領域を撮像する撮像手段と、出力されるべき画像データの位置を特定する情報を含む座標パラメータに基づいて、撮像手段が撮像した画素領域の一部の画像データを出力用画像データとして選択及び出力する選択手段と、選択手段が選択及び出力した出力用画像データ及び当該出力用画像データの座標パラメータに基づいて、選択手段が次回選択すべき画像データの座標パラメータを演算し、次回用の座標パラメータを選択手段にフィードバックする演算手段と、選択手段が選択及び出力した出力用画像データを複数まとめて１フレーム分のデータとして記憶するバッファ手段とを備えることを特徴としている。
【０００９】
また、本発明に係る画像データ蓄積方法は、撮像手段が、所定サイズの画素領域を撮像する撮像ステップと、選択手段が、出力されるべき画像データの位置を特定する情報を含む座標パラメータに基づいて、撮像手段が撮像した画素領域の一部の画像データを出力用画像データとして選択及び出力する選択ステップと、演算手段が、選択手段が選択及び出力した出力用画像データ及び当該出力用画像データの座標パラメータに基づいて、選択手段が次回選択すべき画像データの座標パラメータを演算し、次回用の座標パラメータを選択手段にフィードバックする演算ステップと、バッファ手段が、選択手段が選択及び出力した出力用画像データを複数まとめて１フレーム分のデータとして記憶する記憶ステップとを備えることを特徴としている。
【００１０】
本発明の撮像カメラ装置及び画像データ蓄積方法によれば、演算手段は、選択手段が次回用の出力用画像データを選択する際に参照する座標パラメータを演算する。選択手段は、その座標パラメータに基づいて、全体の画素領域のうち一部、例えば座標パラメータが表す座標を中心として限定された一部領域の画像データを、出力用画像データとして選択及び出力する。そして、バッファ手段は、その一部領域の画像データを複数まとめて１フレーム分のデータとして記憶する。このように、バッファ手段に記憶される画像データは、撮像手段の全体の画素領域の一部に過ぎない。このため、撮像手段が高解像度及び高速で撮像を行い、その画素領域自体の容量は膨大であっても、バッファ手段に記憶される画像データの容量はそこまで膨大にはならない。したがって、バッファ手段の容量、書込み速度などに制限されることなく、撮像した画像データを連続的に処理及び蓄積することが可能となる。更に、バッファ手段の容量制限だけでなくても、汎用のハードディスクなどの所定の蓄積装置に画像データを蓄積する際にも、蓄積装置の容量に制限されることなく、撮像した画像データを連続的に蓄積することが可能となる。
【００１１】
また、座標パラメータは、演算手段と選択手段の間でフィードバックされるので、演算手段は、例えば所定の位置追跡関数などを用いて、前回の出力用画像データにおける撮像対象物の位置から、次回においての位置を追跡することができる。そして、その追跡した位置情報に基づいて、選択手段は上記した一部領域を選択する。このため、選択手段は、全画素領域中、撮像対象物が位置している領域を上記した一部領域として選択することができる。
【００１２】
更に、撮像手段により高速で撮像された各画像データは、そのフレームレートが、汎用のビデオ信号の周波数とは異なるため、一般の再生装置においては、その再生が困難である。ここで、バッファ手段が、複数の画像データを１フレームにまとめて記憶することで、そのまとまりの１フレームのフレームレートは汎用のビデオ信号の周波数に近くなる。したがって、撮像手段が高速で撮像した場合においても、その画像データは、一般の再生装置で再生できる。
【００１３】
また、本発明の撮像カメラ装置において、バッファ手段は複数であってもよい。更に、本発明の画像データ蓄積方法において、記憶ステップにおけるバッファ手段は複数であってもよい。
【００１４】
このように、選択手段が選択した画像データを記憶するバッファ手段を複数設けることで、バッファ手段の全体の記憶容量を増やすと共に、１つのバッファ手段に集中する画像データを複数のバッファ手段に分散させることができる。すなわち、例えば、撮像手段の撮像条件、または、選択手段の選択条件が変わることで、バッファ手段が記憶すべき画像データの量が増えた場合においても、その記憶容量自体を増やすことで、適切に対応することができる。更に、データの転送条件、または、データの処理条件が変わることで、選択手段が選択した画像データを処理するために、より短い時間が要求される場合においても、その画像データを複数のバッファ手段に分散させることで、処理時間を短縮することができる。
【００１５】
また、本発明の撮像カメラ装置において、撮像手段が画素領域を撮像した時刻を特定する情報を、タイムスタンプとして出力用画像データに関連づけるタイムスタンプ手段と、タイムスタンプ手段が出力用画像データに関連づけたタイムスタンプに基づいて、複数の出力用画像データを複数のバッファ手段に分配する分配手段とを更に備え、複数のバッファ手段それぞれは、分配手段が分配した出力用画像データを複数まとめて１フレーム分のデータとして記憶するようにしてもよい。また、複数のバッファ手段に記憶されている複数の出力用画像データを、タイムスタンプをキーにして並べなおす整列手段を更に備えるようにしてもよい。
【００１６】
更に、本発明の画像データ蓄積方法において、タイムスタンプ手段が、撮像ステップにて撮像手段が画素領域を撮像した時刻を特定する情報を、タイムスタンプとして出力用画像データに関連づけるタイムスタンプステップと、分配手段が、タイムスタンプステップにてタイムスタンプ手段が出力用画像データに関連づけたタイムスタンプに基づいて、複数の出力用画像データを複数のバッファ手段に分配する分配ステップとを更に備え、記憶ステップにおける複数のバッファ手段それぞれは、分配手段が分配した出力用画像データを複数まとめて１フレーム分のデータとして記憶するようにしてもよい。また、整列手段が、複数のバッファ手段に記憶されている複数の出力用画像データを、タイムスタンプをキーにして並べなおす整列ステップを更に備えるようにしてもよい。
【００１７】
これらの発明によれば、タイムスタンプ手段が、画像データと当該画像データが撮像された時刻を関連づける。分配手段は、撮像された時刻（タイムスタンプ）に基づいて、複数の画像データを複数のバッファ手段に分配する。これによって、複数の画像データが複数のバッファ手段にランダムな配置で記憶されていても、各画像データに関連づけられているタイムスタンプが、例えば複数の画像データを撮像時刻順に整列する際のキーとなる。そして、整列手段が、そのタイムスタンプをキーにして、複数のバッファ手段にランダムな配置で記憶されている複数の画像データを、例えば時刻順に並べなおして出力することで、画像再生装置は画像データを時刻順に再生することができる。
【００１８】
また、本発明の撮像カメラ装置において、演算手段は、アフィン変換により、出力用画像データにおける撮像対象物の大きさ及び配置方向を所定の大きさ及び配置方向に整列させ、バッファ手段は、その整列された出力用画像データを複数まとめて１フレーム分のデータとして記憶するようにしてもよい。
【００１９】
更に、本発明の画像データ蓄積方法において、演算ステップにおける演算手段は、アフィン変換により、出力用画像データにおける撮像対象物の大きさ及び配置方向を所定の大きさ及び配置方向に整列させ、記憶ステップにおけるバッファ手段は、その整列された出力用画像データを複数まとめて１フレーム分のデータとして記憶するようにしてもよい。
【００２０】
これらの発明によれば、演算手段は、アフィン変換により、撮像対象物に対する拡大、縮小、回転、及び平行移動などの座標変換を行い、撮像された撮像対象物の大きさ及び配置方向を所定の大きさ及び配置方向に整列させる。そして、バッファ手段は、その整列された画像データを記憶する。このため、バッファ手段の記憶されている画像データを再生装置で再生するときに、撮像対象物を観測者の視野に固定した状態で、つまり撮像対象物を再生装置の画面に納めた状態で、再生することができる。
【００２１】
また、本発明の撮像カメラ装置において、撮像手段は、ＣＭＯＳで形成されたイメージングセンサを有するようにしてもよい。このように、撮像手段を構成するものとして、すでに広く使用されているＣＭＯＳが用いられるので、本発明の撮像カメラ装置を容易に構成することができる。
【発明の効果】
【００２２】
本発明によれば、高解像度及び高速で撮像した画像データを連続的に処理及び蓄積することが可能となる。
【発明を実施するための最良の形態】
【００２３】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２４】
[第１実施形態]
まず、本発明に係る撮像カメラ装置及び画像データ蓄積方法の第１実施形態について、図１を参照しながら説明する。図１に示すように、第１実施形態に係る撮像カメラ装置１は、イメージャ１０、演算部（演算手段）２０、及び、フレームバッファ（バッファ手段）３０を備えて構成されている。以下、撮像カメラ装置１を構成する各部分について詳細に説明する。
【００２５】
イメージャ１０は、入射する光信号を電気信号に変換し、その電気信号を画像データとして演算部２０に出力する部分である。このイメージャ１０は、撮像対象物を撮像する撮像部（撮像手段）１１、及び、撮像部１１が撮像した画像データの一部だけを選択する選択部（選択手段）１２を備えて構成されている。
【００２６】
このイメージャ１０の撮像部１１は、ＣＭＯＳで形成された所定マトリクスサイズの画素領域を有しており、入射する光信号を電気信号に変換することで、撮像対象物を撮像する部分である。本実施形態において、撮像部１１は高解像度及び高速で撮像を行うこととし、例えば５１２×５１２画素の画素領域を有し、４８０ＦＰＳで撮像を行うとする。この撮像部１１は、撮像した画素領域の画像データを選択部１２に出力する。
【００２７】
選択部１２は、撮像部１１から５１２×５１２画素の画素領域における画像データを１／４８０秒毎に（すなわち、フレーム毎に）入力され、出力されるべき画像データの位置を特定する座標パラメータに基づいて、全体の画素領域の一部の画像データを出力用画像データとして選択する。そして、選択部１２は、その選択した出力用画像データをフレーム毎に演算部２０に出力する。この出力されるべき画像データの位置を特定する座標パラメータとは、後述する演算部２０から与えられるもので、演算部２０が、選択部１２から入力された画像データから所望の演算を施して得る物理量であり、画像データの重心座標を特定する情報を含む。
【００２８】
この選択部１２が、演算部２０から与えられた座標パラメータに基づいて、全体の画素領域のうち一部だけを選択する際には、例えば、座標パラメータに含まれる重心座標を中心として限定された一部領域の画像データを、出力用画像データとして選択するようにしてもよい。それで、本実施形態においては、選択部１２は、演算部２０から与えられた重心座標が、１２８×１２８画素の正方形の両対角線の交点になるようにし、その正方形における画像データを出力用画像データとして選択する。すなわち、選択部１２は、撮像部１１の全画素領域の１／１６のみを選択して出力することとなる。
【００２９】
演算部２０は、イメージャ１０の選択部１２が出力した出力用画像データ、及び、当該出力用画像データから所望の演算を施して抽出した座標パラメータに基づいて、選択部１２が次回（すなわち、次フレームで）選択すべき画像データの座標パラメータを演算する部分である。
【００３０】
図２は、この演算部２０の構成を示す図である。図２に示すように、演算部２０は、イメージャ１０からの画像データ入力及びフレームバッファ３０への画像データ出力に係わるインターフェース２１、イメージャ１０から入力された画像データを用いて所望の演算を行うＣＰＵ（中央処理装置）２２、及び、このＣＰＵ２２に所望の演算機能を与えるプログラムを記憶したＲＯＭ（読み出し専用記憶装置）２３を含んで構成されている。以下、演算部２０が行う演算について、詳しく説明する。
【００３１】
演算部２０は、ＣＰＵ２２がＲＯＭ２３に記憶されているプログラムを駆動させることで、下記の式（１）に基づいて、選択部１２が次フレームにて選択すべき画像データの座標パラメータＡｋ＋１を演算する。
【数１】
2006262392.tif 000003
【００３２】
ここで、Ｃｋは、イメージャ１０から送信されてきた現在のｋ番目フレームの画像データである。Ａｋは、画像データＣｋの重心座標を表す座標パラメータである。また、Ｂは、次回の（ｋ＋１）番目フレーム用の座標パラメータＡｋ＋１を演算するための適宜な位置追跡関数である。この位置追跡関数Ｂは、例えば、現在のｋ番目フレームで撮像された画像データの重心座標（すなわち、現在のｋ番目フレーム用に演算された予想重心座標ではなく、実際に撮像された画像データの重心座標）を、次回の（ｋ＋１）番目フレームで撮像される画像データの予想重心座標とすることで、次フレーム用の座標パラメータＡｋ＋１を演算することができる。なお、本実施形態において、画像データの座標パラメータの初期値は、予め定めたアルゴリズムによって自動的に、又は、オペレータによりその都度任意に与えられるものとする。演算部２０は、演算した次フレーム用の座標パラメータを選択部１２にフィードバックする。
【００３３】
ところで、選択部１２は、撮像部１１の全画素領域（５１２×５１２画素）から一部（１２８×１２８画素）のみを選択し、演算部２０に出力する。このため、演算部２０が選択部１２から入力された画像データをフレームバッファ３０に出力する際には、撮像対象物を所定の大きさ及び配置方向に整列させる必要がある。すなわち、フレームバッファ３０に記憶される画像データを再生装置で再生するときに、撮像対象物を観測者の視野に固定した状態で、つまり撮像対象物を再生装置の画面に納めた状態で、再生する必要がある。
【００３４】
ここで、演算部２０は、下記の式（２）に示すアフィン変換に基づいて、座標変換を行う。２次元のアフィン変換を用いる場合、その一般行列式は、周知の如く、
【数２】
2006262392.tif 000004
で表される。ここで、ａ〜ｆはアフィン変換パラメータである。また、（Ｘ，Ｙ）は、撮像部１１の画素領域の座標値であり、（ｘ，ｙ）は選択部１２が選択した一部領域の座標値である。これにより、撮像対象物に対する拡大、縮小、回転、及び平行移動などの座標変換が可能になる。
【００３５】
図３は、アフィン変換による撮像対象物１００の整列を模式的に示す図である。図３に示すように、かかるアフィン変換を用いることで、撮像対象物１００の大きさまたは配置方向が、選択部１２が選択した画像データ２００内にて整列される。例えば、図３（ａ）に示す如く、撮像対象物１００が所定の大きさより小さい場合、アフィン変換の中の拡大変換により、所定の大きさまで拡大させる。同様に、図３（ｂ）は縮小変換、図３(ｃ)は回転変換、図３（ｄ）は平行移動を示す。このように、演算部２０は、拡大変換、縮小変換、回転変換、平行移動などを適宜行って、撮像対象物１００を所定の大きさ及び配置方向に整列させる。そして、演算部２０は、整列された画像データ２００をフレームバッファ３０に出力することで、画像データ２００が再生装置で再生されるときに、撮像対象物１００が再生装置の画面に見心地よく納められるようにする。
【００３６】
図１に戻り、フレームバッファ３０は、演算部２０から整列された画像データを入力され、その画像データを複数まとめて１フレーム分のデータとして記憶する部分である。図４は、フレームバッファ３０が画像データを記憶する処理をイメージした図である。図４において、上述したように、イメージャ１０の選択部１２は、撮像部１１の全画素領域（５１２×５１２画素）から一部領域（１２８×１２８画素）のみの画像データ（全画素領域の１／１６のみの画像データ）を選択し、フレームバッファ３０に出力する。フレームバッファ３０が、例えば、撮像部１１の画素領域と同容量の記憶容量（すなわち、５１２×５１２バイト。１画素＝１バイトで計算。）である場合に、撮像部１１が撮像した１６フレーム分の画像データが、フレームバッファ３０には１フレームの画像データとして記憶される。したがって、撮像部１１の全画素領域をそのまま記憶していた従来の撮像カメラ装置に比べると、データを記憶するために必要な容量が１６倍も増加したことになる。
【００３７】
このため、撮像部１１が高解像度及び高速で撮像を行い、その画素領域自体の容量は膨大であっても、フレームバッファ３０に記憶される画像データの容量はそこまで膨大にはならない。したがって、フレームバッファ３０の容量に制限されることなく、また、データ転送容量及び書込み速度に制限されることなく、撮像した画像データを連続的に、言い換えればリアルタイムに転送、及び記憶することが可能となる。更に、フレームバッファ３０の容量制限などでなくても、汎用のハードディスクなどの蓄積装置に画像データを蓄積する際にも、同容量の蓄積装置に１６倍の画像データを蓄積することができる。
【００３８】
続いて、本実施形態の撮像カメラ装置１の画像データ蓄積方法について、図５のフローチャートを参照して説明する。
【００３９】
イメージャ１０の撮像部１１により、撮像対象物の画像データが、例えば５１２×５１２画素、及び４８０ＦＰＳで撮像される。この撮像した画像データは、フレーム毎に選択部１２に出力される（ステップＳ１０１）。
【００４０】
選択部１２により、出力されるべき画像データの位置を特定する座標パラメータに基づいて、全体の画素領域（５１２×５１２画素）の一部の画像データ（１２８×１２８画素）が、出力用画像データとして選択される。すなわち、全体の１／１６だけの画像データが出力用画像データとして選択され、フレーム毎に演算部２０に出力される（ステップＳ１０２）。
【００４１】
ステップＳ１０２にて演算部２０に入力された出力用画像データ、及び、当該出力用画像データから抽出された座標パラメータに基づいて、次フレーム用の座標パラメータが、演算部２０により演算される（ステップＳ１０３）。この次フレーム用の座標パラメータは、選択部１２にフィードバックされ、ステップＳ１０２にて、全体の画素領域（５１２×５１２画素）の一部の画像データ（１２８×１２８画素）が選択される際に参照される。
【００４２】
演算部２０により、ステップＳ１０２にて入力された出力用画像データの撮像対象物が、所定の大きさ及び配置方向に整列される。この整列処理には、アフィン変換による座標変換法が用いられる（ステップＳ１０４）。
【００４３】
ステップＳ１０４にて整列された画像データは、フレームバッファ３０に出力される。フレームバッファ３０には、入力された画像データが複数まとめられ、１フレーム分のデータとして記憶される（ステップＳ１０５）。
【００４４】
続いて、第１実施形態の作用及び効果について説明する。
【００４５】
第１実施形態に係る撮像カメラ装置１及びその画像データ蓄積方法よれば、演算部２０は、選択部１２が次回用の出力用画像データを選択する際に参照する座標パラメータを演算する。選択部１２は、その座標パラメータに基づいて、全体の画素領域のうち一部、例えば座標パラメータが表す座標を中心として限定された一部領域の画像データを、出力用画像データとして選択及び出力する。そして、フレームバッファ３０は、その一部領域の画像データを複数まとめて１フレーム分のデータとして記憶する。
【００４６】
このように、フレームバッファ３０に記憶される画像データは、撮像部１１の全体の画素領域の一部に過ぎない。本実施形態の場合では、全体の１／１６のみが記憶された。このため、撮像部１１が高解像度及び高速で撮像を行い、その画素領域自体の容量は膨大であっても、フレームバッファ３０に記憶される画像データの容量はそこまで膨大にはならない。したがって、フレームバッファ３０の容量、書込み速度などに制限されることなく、撮像した画像データを連続的に処理及び蓄積することが可能となる。更に、フレームバッファ３０の容量制限だけでなくても、汎用のハードディスクなどの蓄積装置に画像データを蓄積する際にも、同容量の蓄積装置に１６倍の画像データを蓄積することができる。
【００４７】
また、座標パラメータは、演算部２０と選択部１２の間でフィードバックされるので、演算部２０は、所定の位置追跡関数などを用いて、前回の出力用画像データにおける撮像対象物の位置から、次回においての位置を追跡することができる。そして、その追跡した位置情報に基づいて、選択部１２は上記した一部領域を選択する。このため、選択部１２は、全画素領域中、撮像対象物が位置している領域を上記した一部領域として選択することができる。
【００４８】
更に、撮像部１１は４８０ＦＰＳで撮像したため、撮像された各画像データは、時間的に１／４８０秒ずつずれている。この時間ずれは、汎用のビデオ信号の周波数（ＮＴＳＣ（National Television Standards Committee）の場合には３０Ｈｚ）とは異なるため、一般の再生装置においてはその再生が困難である。ここで、フレームバッファ３０は、１／４８０秒ずつずれている１６フレームを１つのフレームにまとめて記憶するので、そのまとまりの１フレームは、時間的に１／３０秒だけずれることになる。したがって、撮像部１１が高速で撮像した場合に、複数の画像データを１フレームにまとめるフレームバッファ３０により、その画像データは一般の再生装置でも再生できる。
【００４９】
また、演算部２０は、アフィン変換により、撮像対象物に対する拡大、縮小、回転、及び平行移動などの座標変換を行い、撮像された撮像対象物の大きさ及び配置方向を所定の大きさ及び配置方向に整列させる。そして、フレームバッファ３０は、その整列された画像データを記憶する。このため、フレームバッファ３０の記憶されている画像データを再生装置で再生するときに、撮像対象物を観測者の視野に固定した状態で、つまり撮像対象物を再生装置の画面に納めた状態で、再生することができる。
【００５０】
また、撮像部１１を構成するには、汎用のＣＭＯＳで形成されたイメージングセンサが用いられるため、第１実施携帯の撮像カメラ装置１を容易に構成することができる。
【００５１】
[第２実施形態]
続いて、本発明に係る撮像カメラ装置及び画像データ蓄積方法の第２実施形態について、図６を参照しながら説明する。図６に示すように、第２実施形態に係る撮像カメラ装置２は、機能的な構成要素として、タイムスタンプ部４０、分配部５０、及び整列部６０が追加されたことと、フレームバッファが複数設けられていることが、第１実施形態の撮像カメラ装置１と相違する。なお、撮像部１１が５１２×５１２画素の画素領域を有し、４８０ＦＰＳで撮像を行うことと、選択部１２が選択する画像データは１２８×１２８画素であることに変わりはない。
【００５２】
図６に示すように、第２実施形態に係る撮像カメラ装置２には、複数のフレームバッファ（フレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄ）が設けられている。これらの複数のフレームバッファは、１つのフレームバッファセット３１として、選択部１２から入力される画像データを記憶する。このように、選択部１２が選択した画像データを記憶するフレームバッファを複数設けることで、フレームバッファセット３１の全体的な記憶容量が増える。
【００５３】
図７は、このようなフレームバッファセット３１が画像データを記憶する処理をイメージした図である。図７において、上述したように、イメージャ１０の選択部１２は、撮像部１１の全画素領域（５１２×５１２画素）から一部領域（１２８×１２８画素）のみの画像データ（全画素領域の１／１６のみの画像データ）を選択し、各々のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄに出力する。各々のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄが、例えば、撮像部１１の画素領域と同容量の記憶容量（すなわち、５１２×５１２バイト。１画素＝１バイトで計算。）である場合に、撮像部１１が撮像した１６フレーム分の画像データが、各フレームバッファには１フレームの画像データとして記憶される。更に、４つのフレームバッファが設けられているので、全体的には６４フレームの画像データが１つのフレームバッファセット３１に記憶される。したがって、撮像部１１の全画素領域をそのまま記憶していた従来の撮像カメラ装置に比べると、データを記憶するために必要な容量が６４倍も増加したことになる。
【００５４】
このため、撮像部１１が高解像度及び高速で撮像を行い、その画素領域自体の容量は膨大であっても、各フレームバッファに記憶される画像データの容量はそこまで膨大にはならない。したがって、フレームバッファセット３１の容量に制限されることなく、また、データ転送容量及び書込み速度に制限されることなく、撮像した画像データを連続的に、言い換えればリアルタイムに転送、及び記憶することが可能となる。更に、フレームバッファ３０の容量制限などでなくても、汎用のハードディスクなどの蓄積装置に画像データを蓄積する際にも、同容量の蓄積装置に６４倍の画像データを蓄積することができる。
【００５５】
ところで、このように、複数のフレームバッファにランダムな配置で画像データが記憶されると、それらの多数の画像データを時刻順に並べなおしてから、蓄積装置に出力する必要がある。以下、画像データを時刻順に並べなおすために、第２実施形態の撮像カメラ装置２が備える手段について詳しく説明する。
【００５６】
図６に戻り、タイムスタンプ部４０は、撮像部１１が画素領域を撮像した時刻を特定する情報を、タイムスタンプとして出力用画像データに関連づける部分である。本実施形態では、例えば、画像データのヘッダ部分に時刻を表す情報を書き込むことで、撮像時刻とその画像データを関連づける。そして、タイムスタンプ部４０は、タイムスタンプされた画像データを分配部５０に出力する。
【００５７】
分配部５０は、タイムスタンプ部４０から撮像時刻付きの画像データを入力され、その撮像時刻に基づいて、画像データを複数のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄに分配する部分である。本実施形態において、分配部５０は、４つのフレームバッファを時刻順に交代しながら分配する。つまり、撮像時刻順に、最初はフレームバッファ３１Ａ，次はフレームバッファ３１Ｂ，その次はフレームバッファ３１Ｃ，その次はフレームバッファ３１Ｄ、そして、またフレームバッファ３１Ａに戻る。そして、各々のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄは、分配部５０が分配した画像データを１６個まとめて１フレーム分の画像データとして記憶する。そして、各々のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄに記憶される画像データが１６個までまとめられると、整列部６０に出力される。
【００５８】
整列部６０は、各々のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄから、それぞれ１６個の画像データがまとめられた１フレームを入力され、その画像データのヘッダ部分に書き込まれている撮像時刻を表すタイムスタンプをキーにして、画像データを時刻順に並べなおす部分である。
【００５９】
図８は、整列部６０が画像データを時刻順に並べなおす処理をイメージした図である。上述したように、分配部５０は、４つのフレームバッファに画像データを時刻順に交代しながら分配した。そのため、整列部６０が、その画像データのヘッダのタイムスタンプを確認し時刻順に並べなおすと、分配順と同順になる。したがって、整列部６０が時刻順に並べなおした結果は、図８に示すＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５の順になる。このように、整列部６０により、時刻順に並べなおされた画像データは、蓄積装置（図示しない）に出力される。
【００６０】
続いて、第２実施形態の撮像カメラ装置２の画像データ蓄積方法について、図９のフローチャートを参照して説明する。
【００６１】
ステップＳ１０４にて、演算部２０により、出力用画像データの撮像対象物が、所定の大きさ及び配置方向に整列され、その出力用画像データはタイムスタンプ部４０に出力される。タイムスタンプ部４０により、画像データの撮像時刻を特定する情報が、タイムスタンプとして画像データに関連づけられる。このタイムスタンプされた画像データは分配部５０に出力される（ステップＳ２０１）。
【００６２】
分配部５０により、入力された撮像時刻付きの画像データは、その撮像時刻に基づいて、４つのフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄに分配される（ステップＳ２０２）。
【００６３】
４つのフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄに分配された画像データは１６個まとめられ、１フレーム分のデータとして記憶される。そして、各々のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄに記憶される画像データが１６個までまとめられると、整列部６０に出力される（ステップＳ１０５）。
【００６４】
各々のフレームバッファ３１Ａ，３１Ｂ，３１Ｃ，３１Ｄから整列部６０に入力された１６個まとまりの画像データは、各画像データのヘッダ部分に書き込まれている撮像時刻を表すタイムスタンプをキーにして、画像データを時刻順に並べなおされる（ステップＳ２０３）。そして、整列部６０により時刻順に並べなおされた画像データは、蓄積装置に出力され蓄積される（ステップＳ２０４）。
【００６５】
続いて、第２実施形態の作用及び効果について説明する。
【００６６】
第２実施形態に係る撮像カメラ装置２及びその画像データ蓄積方法よれば、選択部１２が選択した画像データを記憶するフレームバッファを４つ設けることで、フレームバッファの全体の記憶容量を増やすと共に、１つのフレームバッファに集中する画像データを４つのバッファ手段に分散させることができる。すなわち、例えば、撮像部１１の撮像条件、または、選択部１２の選択条件が変わることで、フレームバッファが記憶すべき画像データの量が増えた場合においても、その記憶容量自体を増やすことで、適切に対応することができる。更に、データの転送条件、または、データの処理条件が変わることで、選択部１２が選択した画像データを処理するために、より短い時間が要求される場合においても、その画像データを４つのフレームバッファに分散させることで、処理時間を短縮することができる。
【００６７】
また、第２実施形態においては、タイムスタンプ部４０が、画像データと当該画像データが撮像された時刻を関連づける。分配部５０は、撮像された時刻（タイムスタンプ）に基づいて、複数の画像データを４つのフレームバッファに分配する。これによって、複数の画像データが複数のフレームバッファにランダムな配置で記憶されていても、各画像データに関連づけられているタイムスタンプが、複数の画像データを撮像時刻順に整列する際のキーとなる。そして、整列部６０が、そのタイムスタンプをキーにして、４つのフレームバッファにランダムな配置で記憶されている複数の画像データを、時刻順に並べなおして出力することで、画像再生装置は画像データを時刻順に再生することができる。
【００６８】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。
【００６９】
例えば、演算器２０が演算した座標パラメータは、画像特徴量として、所定の解析装置に出力され、撮像された画像データに対する、例えば実時間解析などに用いられることができる。画像データに比べ、画像特徴量は、その容量が小さいため、実時間解析を行うために、必ずしも高性能の解析装置、または、高性能のデータ転送装置を備える必要はないからである。なお、この座標パラメータには、撮像対象物の重心座標だけではなく、例えば面積、色など、当該撮像対象物の位置及び形状に対する特徴量を含ませることができる。
【００７０】
また、撮像部１１の画素領域及び撮像速度は上記のものに限られなく、撮像条件、または、撮像部１１の性能などにより適宜変更可能である。更に、選択部１２が選択する画像データの画素数においても、データ処理装置の性能、フレームバッファへの書込み速度、または、フレームバッファの容量などにより適宜変更可能である。
【００７１】
また、タイムスタンプ部４０が撮像時刻と画像データを関連づける際にも、画像データのヘッダ部分に書き込むことだけに限られなく、撮像時刻に対する別途のデータ構造を作成するようにしてもよい。分配部５０及び整列部６０による、画像データの分配順序及び整列順序においても、処理装置の都合により適宜変更可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１実施形態に係る撮像カメラ装置１の構成図である。
【図２】演算部２０の構成図である。
【図３】アフィン変換による撮像対象物の整列を模式的に示す図である。
【図４】本発明の第１実施形態に係るフレームバッファ３０が画像データを記憶する処理をイメージした図である。
【図５】本発明の第１実施形態に係る画像データ蓄積方法を説明するためのフローチャートである。
【図６】本発明の第２実施形態に係る撮像カメラ装置２の構成図である。
【図７】本発明の第２実施形態に係るフレームバッファセット３１が画像データを記憶する処理をイメージした図である。
【図８】整列部６０が複数の画像データを時刻順に並べなおす処理をイメージした図である。
【図９】本発明の第２実施形態に係る画像データ蓄積方法を説明するためのフローチャートである。
【符号の説明】
【００７３】
１，２…撮像カメラ装置、１０…イメージャ、１１…撮像部、１２…選択部、２０…演算部、３０，３１Ａ，３１Ｂ，３１Ｃ，３１Ｄ…フレームバッファ、３１…フレームバッファセット、４０…タイムスタンプ部、５０…分配部、６０…整列部。
【図１】
2006262392.tif 000005
【図２】
2006262392.tif 000006
【図３】
2006262392.tif 000007
【図４】
2006262392.tif 000008
【図５】
2006262392.tif 000009
【図６】
2006262392.tif 000010
【図７】
2006262392.tif 000011
【図８】
2006262392.tif 000012
【図９】
2006262392.tif 000013