(57)【要約】【課題】動きの速い物体にも遅い物体にも適応的に精度の良い検出を行うことは従来困難であった。【解決手段】撮像レートが可変であるような撮像手段と、撮像レートが変更されても前記基準フレームレートに換算した動きベクトルを合成することが可能な手段を持ち、動き量の大きい時には撮像レートを速くして撮影することで、撮影されたフレーム画像データ間の相対的なオブジェクトの動き量を小さくすることが可能になり、従来と同じ動きベクトル探索のための探索処理量で、動きの大きな物体に対してもより動き検出のマッチング精度を向上させることを可能にする効果がある。また、動き量に応じて撮影レートを変える事により、動きの速いもの、遅いものの両方に対して最適なレートで動きベクトル検出が可能になり、固定レートの場合に比べてマッチング精度を向上できる。【選択図】図１
2007281961.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を電気信号に変換する撮像手段と、
前記撮像手段の撮像レートを変更する手段と、
前記撮像手段からの電気信号を処理して画像信号を出力する現像手段と、
前記画像信号を１画面毎のフレーム画像データとして複数画面分蓄積する蓄積手段と、
前記蓄積手段に蓄積された複数のフレーム画像データ間でブロック単位の動きベクトルの検出を行う動きベクトル検出手段と、
前記検出された動きベクトルを複数個合成する動きベクトル合成手段とを有し、
前記検出された動きベクトル又は前記動きベクトル合成手段によって合成された動きベクトルの大きさに応じて前記撮像手段の撮像レートを基準フレームレートとは異なるフレームレートに変更するとともに、変更した場合には前記異なるフレームレートにより撮影された複数のフレーム画像データから検出された動きベクトルを用いて前記基準フレームレートに換算した動きベクトルを合成することを特徴とする撮像装置。
【請求項２】
１画面の中に存在する複数の前記検出された動きベクトル又は前記基準フレームレートに換算するように合成された動きベクトルから、予め指定された手法により求められた代表動きベクトルを決定する代表動きベクトル設定手段を更に有し、
前記代表動きベクトルの大きさに基づいて前記異なるフレームレートの値が変更されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記異なるフレームレートにより撮影された複数のフレーム画像データから動きベクトルを検出する際に、直前の前記基準フレームレートに換算した動きベクトルの大きさに基づいて、動きベクトル検出の際に利用する参照用画像を前記複数のフレーム画像データのなかから選択する手段を更に有することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記異なるフレームレートにより撮影された複数のフレーム画像データから動きベクトルを検出する際に、直前の前記基準フレームレートに換算した動きベクトルの大きさ及び動きベクトルを検出すべき局所領域の位置に基づいて、複数の局所領域をグループ化し、前記グループ単位で動きベクトル検出の際に利用する参照用画像を前記複数のフレーム画像データの中から選択する手段を更に有することを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
記蓄積手段によって蓄積された前記複数のフレーム画像データから、１枚のフレーム画像を合成する手段及び１枚のフレーム画像を選択する手段のうちの少なくとも何れか一方を更に有し、
前記異なるフレームレートによって撮影されている場合においても、基準フレームレートのフレーム画像データを生成することを特徴とする請求項1乃至４の何れか１項に記載の撮像装置。
【請求項６】
動きベクトルを用いる画像圧縮手段を更に有し、
前記画像圧縮手段は前記異なるフレームレートによって撮影されている場合においても、前記生成された基準フレームレートのフレーム画像データと前記基準フレームレートに換算された動きベクトルとを用いて、基準フレームレートに基づいた画像圧縮を行うことを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
動体検知手段を更に有し、
前記基準フレームレートに換算した動きベクトルを用いて前記動体検知を実施することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項８】
被写体像を電気信号に変換する撮像手段と、前記撮像手段の撮像レートを変更する手段と、前記撮像手段からの電気信号を処理して画像信号を出力する現像手段と、前記画像信号を１画面毎のフレーム画像データとして複数画面分蓄積する蓄積手段と、前記蓄積手段に蓄積された複数のフレーム画像データ間でブロック単位の動きベクトルの検出を行う動きベクトル検出手段と、前記検出された動きベクトルを複数個合成する手段と、前記検出された動きベクトルに応じて前記撮像手段の撮像レートを基準フレームレートとは異なるフレームレートに変更でき、前記異なるフレームレートにより撮影された場合には複数のフレーム画像データから検出された動きベクトルを用いて前記基準フレームレートに換算した動きベクトルを合成する手段と、１画面の中に存在する複数の前記検出された動きベクトル又は前記基準フレームレートに換算するように合成された動きベクトルから予め指定された方式により求められた代表動きベクトルを決定する代表動きベクトル設定手段とを有する撮像装置に対して、前記撮像装置から出力される画像を表示している表示装置から前記撮像レートに関する設定を指示するための撮像装置制御方法であって、
複数の設定方式から特定の方式を指定する手段を持ち、前記設定手段によって設定された前記特定の方式に基づいて前記代表動きベクトルを生成することを特徴とする撮像装置制御方法。
【請求項９】
前記複数の設定方式の一つに、複数存在し得る基準フレームレートに換算した動きベクトルに対して、その動きベクトルの大きさから前記異なるフレームレートを自動的に判断して設定する高速動作優先方式を含むことを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１０】
前記複数の設定方式の一つに、前記表示装置上に表示された出力画像に対してユーザが領域を設定し、前記領域内部に存在する１つもしくは複数の動きベクトルを基準にして、前記異なるフレームレートを自動的に判断して設定する重点領域指定方式を含むことを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１１】
前記複数の設定方式の一つに、前記表示装置上に表示された出力画像に対してユーザがオブジェクトを指定し、その指定したオブジェクトの動きベクトルを基準にして、前記異なるフレームレートを自動的に判断して設定するオブジェクト指定方式を含むことを特徴とする請求項８に記載の撮像装置制御方法。
【請求項１２】
被写体像を電気信号に変換する際の撮像レートを変更する工程と、
前記撮像手段からの電気信号を処理して画像信号を出力する現像工程と、
前記画像信号を１画面毎のフレーム画像データとして複数画面分蓄積する蓄積工程と、
前記蓄積手段に蓄積された複数のフレーム画像データ間でブロック単位の動きベクトルの検出を行う動きベクトル検出工程と、
前記検出された動きベクトルを複数個合成する動きベクトル合成工程とを含み、
前記検出された動きベクトル又は前記動きベクトル合成工程によって合成された動きベクトルの大きさに応じて前記撮像レートを基準フレームレートとは異なるフレームレートに変更するとともに、変更した場合には前記異なるフレームレートにより撮影された複数のフレーム画像データから検出された動きベクトルを用いて前記基準フレームレートに換算した動きベクトルを合成することを特徴とする撮像制御方法。
【請求項１３】
請求項１２記載の撮像制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像信号をデジタル化してデジタル信号処理する技術に関し、特に、動きベクトルを利用して処理を行う技術に関するものである。
【背景技術】
【０００２】
従来、動画像の処理を行う際に動きベクトルを用いて処理を行うという方式が広く利用されている。その処理の代表的なものとしてＭＰＥＧ画像圧縮が上げられる。
【０００３】
動きベクトルの検出と、その精度のよい効率的な探索のためには従来各種手法が提案されている。例えばテレスコピックサーチによる動きベクトル探索範囲限定に撮像装置の加速度情報を用いたものなどが存在する(例えば、特許文献１参照)。
【０００４】
一方、動きベクトルの精度の良い追跡を行うために、高いフレームレートの画像から動きベクトルを抽出する手法も提案されている（例えば、特許文献２参照）。
【０００５】
【特許文献１】特開平６−２６１３０９号公報（第６頁、第１図、第２図）
【特許文献２】特開２００４−２８９７０９号公報（第１１頁、第２図、第１２頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
動きベクトルの探索を確実に行うためには対応点の探索範囲をなるべく広くする必要がある。しかしながら、探索範囲を広げるほど探索に必要な計算量も大きくなり、実時間での探索には探索範囲を効果的に限定することが必要になる。
【０００７】
特許文献１に開示される発明では、テレスコピックサーチによる動きベクトル探索範囲限定に撮像装置の加速度情報を用いているが、撮像装置自身の動きとは独立して撮影対象が一定時間内にその探索範囲を外れるような速度で移動した場合には、動きベクトルを抽出することはできなくなる。
【０００８】
一方、動きベクトルの精度の良い追跡を行うためには、高いフレームレートを用いて撮影することで、動画像の各画像の動きを求める手法がある。しかし、高いフレームレートのみで動きベクトルを求める場合には、高いフレームレートに対して比較的低速の移動物体が被写体である場合には、各フレーム画像間での動きが認識されうる動き量以下になり、動きベクトルの検出には限界があった。
【０００９】
そこで、本発明の目的は、従来と同じ動きベクトル探索のための探索処理量で、動きの大きな物体に対してもより動き検出のマッチング精度を向上させることにある。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、被写体像を電気信号に変換する撮像手段と、前記撮像手段の撮像レートを変更する手段と、前記撮像手段からの電気信号を処理して画像信号を出力する現像手段と、前記画像信号を１画面毎のフレーム画像データとして複数画面分蓄積する蓄積手段と、前記蓄積手段に蓄積された複数のフレーム画像データ間でブロック単位の動きベクトルの検出を行う動きベクトル検出手段と、前記検出された動きベクトルを複数個合成する動きベクトル合成手段とを有し、前記検出された動きベクトル又は前記動きベクトル合成手段によって合成された動きベクトルの大きさに応じて前記撮像手段の撮像レートを基準フレームレートとは異なるフレームレートに変更するとともに、変更した場合には前記異なるフレームレートにより撮影された複数のフレーム画像データから検出された動きベクトルを用いて前記基準フレームレートに換算した動きベクトルを合成することを特徴とする。
本発明の撮像装置制御方法は、被写体像を電気信号に変換する撮像手段と、前記撮像手段の撮像レートを変更する手段と、前記撮像手段からの電気信号を処理して画像信号を出力する現像手段と、前記画像信号を１画面毎のフレーム画像データとして複数画面分蓄積する蓄積手段と、前記蓄積手段に蓄積された複数のフレーム画像データ間でブロック単位の動きベクトルの検出を行う動きベクトル検出手段と、前記検出された動きベクトルを複数個合成する手段と、前記検出された動きベクトルに応じて前記撮像手段の撮像レートを基準フレームレートとは異なるフレームレートに変更でき、前記異なるフレームレートにより撮影された場合には複数のフレーム画像データから検出された動きベクトルを用いて前記基準フレームレートに換算した動きベクトルを合成する手段と、１画面の中に存在する複数の前記検出された動きベクトル又は前記基準フレームレートに換算するように合成された動きベクトルから予め指定された方式により求められた代表動きベクトルを決定する代表動きベクトル設定手段とを有する撮像装置に対して、前記撮像装置から出力される画像を表示している表示装置から前記撮像レートに関する設定を指示するための撮像装置制御方法であって、複数の設定方式から特定の方式を指定する手段を持ち、前記設定手段によって設定された前記特定の方式に基づいて前記代表動きベクトルを生成することを特徴とする。
本発明の撮像制御方法は、被写体像を電気信号に変換する際の撮像レートを変更する工程と、前記撮像手段からの電気信号を処理して画像信号を出力する現像工程と、前記画像信号を１画面毎のフレーム画像データとして複数画面分蓄積する蓄積工程と、前記蓄積手段に蓄積された複数のフレーム画像データ間でブロック単位の動きベクトルの検出を行う動きベクトル検出工程と、前記検出された動きベクトルを複数個合成する動きベクトル合成工程とを含み、前記検出された動きベクトル又は前記動きベクトル合成工程によって合成された動きベクトルの大きさに応じて前記撮像レートを基準フレームレートとは異なるフレームレートに変更するとともに、変更した場合には前記異なるフレームレートにより撮影された複数のフレーム画像データから検出された動きベクトルを用いて前記基準フレームレートに換算した動きベクトルを合成することを特徴とする。
本発明のプログラムは、前記撮像制御方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像レートが可変であるような撮像手段と、撮像レートが変更されても前記基準フレームレートに換算した動きベクトルを合成することが可能な手段を持ち、動き量の大きい時には撮像レートを速くして撮影することで、撮影されたフレーム画像データ間の相対的なオブジェクトの動き量を小さくすることが可能になり、従来と同じ動きベクトル探索のための探索処理量で、動きの大きな物体に対してもより動き検出のマッチング精度を向上させることを可能にする効果がある。
【００１２】
また、本発明によれば、動き量に応じて撮影レートを変えることにより、動きの速いもの、遅いものの両方に対して最適なレートで動きベクトル検出が可能になり、固定レートの場合に比べてマッチング精度を向上できる効果がある。
【００１３】
また、本発明によれば、代表動きベクトルの大きさに基づく、異なるフレームレートにより撮影された複数のフレーム画像データから動きベクトルを検出する際に、直前の前記基準フレームレートに換算した動きベクトルの大きさに基づいて、動きベクトル検出の際に利用する参照用画像を前記複数のフレーム画像データのなかから選択することを可能にすることで、例えば動きの速いブロックに関しては撮像レートが上がったフレーム画像データ間での動き検出を行い、動きの小さなブロックに関しては間隔のあいたフレーム画像データ間での動き検出を行うことが可能になる。
【００１４】
その結果、動きの小さなブロックに関して無駄に処理負荷をかけることなく、画像全体での動きベクトル検出の制度を向上させることが可能になる。
【００１５】
また、本発明によれば、動きベクトルを求めるブロック同士を直前の前記基準フレームレートに換算した動きベクトルの大きさ及びその位置関係に基づいてグループ化し、グループごとに動きベクトルを作成するために利用する参照用フレームを直前の基準レート動きベクトルの大きさ等に基づいて適切な間隔に選定することで、フレームメモリからの画像データの読出し量を押さえながら、例えば動きの速いブロックに関しては撮像レートが上がったフレーム画像データ間での動き検出を行い、動きの小さなブロックに関しては間隔の開いたフレーム画像データ間での動き検出を行うことが可能になる。
【００１６】
その結果、メモリ読出しに必要としていた処理時間のオーバヘッドを削減することが可能になるので、探索処理にかけられる時間を長くすることが可能になり、最終的に画像全体での動きベクトル検出の精度を向上させることが可能になる。
【００１７】
また、本発明によれば、蓄積手段によって蓄積された複数のフレーム画像データから、1枚のフレーム画像を合成する手段、もしくは1枚のフレーム画像を選択する手段、もしくは前記合成する手段及び選択する手段の双方を持つことによって、撮像レートが基準フレームレートから変更された場合においても、画像の利用者には影響を与えることなく、必要な画像データを画像利用者に供給しながら、精度の良い動きベクトル検出を行うことが可能になる。
【００１８】
また、本発明によれば、撮像装置が動きベクトルを用いる画像圧縮手段を備えている場合においては、異なるフレームレートによって撮影されている場合においても、前記生成された基準フレームレートのフレーム画像データと、前記基準フレームレートに換算された動きベクトルとを用いて、基準フレームレートに基づいた画像圧縮を行うことによって、圧縮画像の利用者が要求するフレームレートには影響を与えることなく、精度の良い動きベクトル検出結果を圧縮符号化に用いることによって、符号量の削減が可能になる。
【００１９】
また、本発明によれば、撮像装置が動体検知手段を備えている場合には、基準フレームレートに換算した動きベクトルを用いて動体検知を実施することで、従来よりも動きの大きい物体にも的確に追従することが可能になり、動体検知の精度向上が可能になる。
【００２０】
更にこのような撮像装置に対して、撮像装置から出力される画像を表示している表示装置から撮像レートに関する設定を指示するための方法として、複数の設定方式から特定の方式を指定する手段を持ち、該指定手段によって設定された特定の方式に基づいて異なるフレームレートを変更することができるようにすることによって、ユーザがその利用目的に応じて撮像フレームレートの変更方法を指定することが可能になり、よりユーザの利用目的に応じた動き検出を行うことが可能になる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００２２】
−第１の実施形態−
先ず、本発明の第１の実施形態について説明する。
図１は、本発明の第１の実施形態における撮像装置の構成を示す図である。１は撮像装置であり、ネットワーク網２と接続されている。撮像装置１内部では、撮像部１０に含まれる撮像レンズ１００によって光が集められ、撮像素子１０１において、適切なシャッタスピード等に基づいて制御された光が光電変換される。光電変換された信号は現像処理部１０２に与えられ、そこで画像信号としてフレーム制御部１１に対して出力される。
【００２３】
撮像素子の撮像レートは撮像制御部１０３内部の撮像レート制御部１０４によって制御される。また、撮像制御部１０３は撮像素子１０１のシャッタスピードなども制御する。
【００２４】
フレーム制御部１１に送られた画像データは、必要に応じてフレーム制御部１１で加工された後、１画面ごとのフレーム画像データとしてフレームメモリ１２に蓄積される。
【００２５】
フレームメモリ１２に蓄積されたフレーム画像データは、動きベクトル検出部１３において、同じくフレームメモリ１２に保存されている過去のフレーム画像データを参照用フレーム画像データとしてフレームデータを構成する局所領域（以下、ブロックと呼ぶ）毎に比較される。そしてブロック毎に動きベクトルが生成される。
【００２６】
生成された各動きベクトルは必要に応じて動きベクトル合成部１４によって、その前後のフレーム画像データに対する動きベクトルと合成され、新たな動きベクトルとして利用される。
【００２７】
その後、フレームメモリ１２に蓄えられたフレーム画像データは圧縮処理部１５において圧縮される。本実施形態では、ＭＰＥＧ形式のように動きベクトルを用いて圧縮処理を行うことを想定している。
【００２８】
圧縮処理部１５は、動きベクトル検出部１３及び動きベクトル合成部１４から適切な動きベクトルを得てその動きベクトル情報をベースに圧縮処理する。
【００２９】
圧縮された画像データは、ネットワーク制御部１６からネットワークインタフェース１７を介してネットワーク網２に対して送出され、受信側端末に表示される。
【００３０】
また、動体検知部１８は、動きベクトル検出部１３及び動きベクトル合成部１４から適切な動きベクトルを得てその動きベクトル情報をベースに動体検知処理を実施する。
【００３１】
動体検地した結果は、例えばネットワーク制御部１６からネットワークインタフェース１７を介してネットワーク網２に対して送出され、受信側端末上で、動きのある物体が検出されたとしてアラームを鳴らすなどに利用される。
【００３２】
更に、フレームメモリ１２から所定の出力レートに応じて映像出力制御部２０がフレーム画像データを読み出し、それを出力に応じた適当な形式に変換した後、映像出力インタフェース２１を介して、映像信号を外部モニタ２２に供給している。
【００３３】
ここでモニタ２２は外部モニタであるとしたが、撮像装置に付随する液晶表示装置などでもよく、本実施形態においてその構成を制限するものではない。
【００３４】
図２は本実施形態における撮像装置１を利用したシステムの構成例を示す図である。
撮像装置１からネットワーク網２を介して表示端末３に対して、撮像装置１が撮影した画像を圧縮処理したデータが送信される。
【００３５】
表示端末３では、圧縮された画像データを受信後、伸張して、ビューワ３０上に画像を表示する。
【００３６】
このような構成を持つ撮像装置において、どのように動きベクトルを用いて撮像素子の撮像レートを変更し、撮像レート変更後にどのようにして動きベクトルを抽出すると同時にユーザが求める画像を作成するかについて図１、図２及び以下に示す図３〜図６を用いて説明する。
【００３７】
図３は、動きベクトル検出部における動きベクトルの検出の方法を示したものである。
図４は、検出された動きベクトルの大きさを判断する仕組みと、必要に応じて撮像レートの変更を指示するための仕組みを説明するための、動きベクトル探索領域の細分化に関する図である。
図５は、撮像レートが基準フレームレートから変更された場合の動きベクトルの検出と合成に関して説明するための図である。
図６は、フレーム制御部１１においてどのように撮像フレームデータから基準フレームレートの画像を生成するかに関して説明するための図である。
【００３８】
以下、本実施形骸における動きベクトル検出部１３における動きベクトルの検出に関して図３を用いて説明する。
図３において、時刻ｔ＝ａにおいて撮像部１０によって撮像された画像が、１画面ごとのフレーム画像データ６０−ａとしてフレームメモリ１２に格納されたとする。ここで、現在の撮像素子１０１での撮像レートは、基準フレームレートに設定されており、基準フレームレートは３０フレーム／秒であるとする。
【００３９】
フレーム画像データ６０−ａ上には移動物体６１及び６２が存在し、６１は●、６２は▲で示された位置（６１−ａ，６２−ａ）にあるものとする。
【００４０】
基準フレームレートの撮像間隔である１／３０秒後の時刻ｔ＝ｂにおいて、撮影されたフレーム画像データ６０−ｂでは、移動物体６１は○、移動物体６２は△で示された位置に（６１−ｂ，６２−ｂ）にそれぞれ移動しているとする。
【００４１】
ここで動きベクトル検出部１３は、フレームメモリ１２からフレーム画像データ６０−ｂを読出し、時刻ｔ＝ｂにおける移動物体６１及び６２の動きベクトルを検出するとする。その動きベクトルを検出するための参照用フレーム画像としては、１フレーム前の画像である６０−ａが用いられる。
【００４２】
まず、移動物体６１に関する動きベクトル検出に関して説明をする。動きベクトル検出部１３は、６１−ｂに対応する位置の情報を参照用フレーム画像とした６０−ａの上に６１−ｂ´として設定し（画像データ６０−ａ上の○に対応）、そこを中心にした矩形領域の動きベクトル探索領域５１（図中太線で囲まれた領域）を設定する。
【００４３】
そして、その動きベクトル探索領域５１の中で画像データ６０−ｂにおける６１−ｂの位置に位置するブロックの内容と最も一致する画像ブロックを探索する。
【００４４】
このパターンマッチングは差分絶対値や差分二乗値などを求め、その演算結果を比較することで行われる。
【００４５】
ここで、いま、移動物体６１が６１−ａから６１−ｂの位置に移動したとしたので、６０−ａの画像の中で●で示される６１−ａの位置に存在するブロックが、画像データ６０−ｂにおける６１−ｂの位置に存在するブロックの内容と最も一致する。
【００４６】
そこで、時刻ｔ＝ｂにおける６１−ｂの位置に対応する動きベクトルは矢印６４で示される動きベクトルとなる。
【００４７】
同様にして移動物体６２に関する動きベクトルも、参照用フレーム画像データとした６０−ａの画像上に、６２−ｂに対応する位置の情報を設定し（画像データ６０−ａ上の△６２−ｂ´に対応）、そこを中心とした矩形領域の動きベクトル探索領域５２を設定して探索した結果、矢印６６で示される動きベクトルとして検出される。
【００４８】
以下、動きベクトルの大きさを判断する仕組みと必要に応じて撮像レートの変更を指示する仕組みについて図１を参照しながら図４を用いて更に詳細に説明する。
【００４９】
図４はある第１の撮像レートの場合における、動きベクトルを探索するための探索領域を表したものである。
【００５０】
図中、４３は探索の原点となるブロックが位置している場所であり、この位置に存在しているブロックに対する動きベクトルを抽出しようとしているとする。斜線領域４０の外枠の線４４はこの第１の撮像レートにおける探索領域を示している。
【００５１】
この領域の範囲の中で動きベクトルの探索が行われる。この第１の撮像レートにおける探索領域は探索の原点である４３からの位置関係に応じて高速領域４０（斜線域）、中速領域４１（白色領域）、低速領域４２（網点領域）の３つに分けられる。
【００５２】
本実施形態においては、探索領域４４の枠の長さを１とした場合、中速領域４１の外枠の長さは０．７、低速領域４２の外枠の長さは０．４となるような比率で各領域のサイズを設定しているが、この比率はここに示した比率に限定されるものではなく、必要に応じて任意に設定することが可能である。
【００５３】
動きベクトルが検出されると、動きベクトル検出部１３は、その動きベクトルの始点位置が先に示した高速領域４０、中速領域４１、低速領域４２のうちどこに属していたかをチェックする。
【００５４】
そして、図４における点Ｃのように高速領域４０に動きベクトルの始点が属していた場合には、注目しているブロックの動きが大きいと判断して、より高速の動きに備えるように撮像レートを上げるように撮像制御部１０３の撮像レート制御部１０４に対して指示する。
【００５５】
一方、図４における点Ａのように低速領域４２に動きベクトルの始点が属していた場合には、注目しているブロックの動きが小さいと判断する。
【００５６】
そして一定期間観測を続け、ブロックの動きが小さい状態が継続している場合には、撮像レートを下げるように撮像制御部１０３の撮像レート制御部１０４に対して指示する。
【００５７】
また、一方、図４における点Ｂのように中速領域４１に動きベクトルの始点が属していた場合には、特に撮像制御に対して指示は行わない。
【００５８】
図１において動きベクトル検出部１３から指示を受けた撮像制御部１０３の中の撮像レート制御部１０４は、現在撮像素子１０１に対して指示している撮像レートと、動きベクトル検出部１３からの指示を組み合わせて、撮像レートを変更するための判断を行う。
【００５９】
基本的には動きベクトル検出部１３からの指示に応じて撮像レートを上げ下げするが、もし、現在の撮像レートが基準フレームレートに設定されているならば、それ以上撮像レートを低下させることはしない。
【００６０】
なお、図４では一般的な動きベクトルの大きさを判断する仕組みと必要に応じて撮像レートの変更を指示する仕組みについて説明したが、この一連の作業は代表動きベクトルが設定されている場合においてはその代表動きベクトルに関してのみ行うようにすることも可能である。
【００６１】
なお、代表動きベクトルは、ネットワーク網２の先に接続された表示装置３側からの指示により、代表動きベクトル設定部１９によって設定されるが、その詳細に関しては後述する。
【００６２】
また、大きさに関する判断だけ全動きベクトルに関して行い、その中から代表動きベクトルの大きさに基づく判断結果のみを用いて撮像フレームレートを変更するように指示することも可能であり、ここで開示した内容だけに限定されるものではない。
【００６３】
上記内容を先の図３の場合を用いて説明する。図３においては、移動物体６１および６２に対して動きベクトル探索領域が５１、５２に設定される。
【００６４】
動きベクトル探索領域５１、５２が探索の原点である６１−ｂ、６２−ｂからの位置関係に応じて高速領域６３及び６５（斜線域）、中速領域６７及び６８（白色領域）として示されている。低速領域も存在しうるが、ここでは図示していない。
【００６５】
本実施形態においては、移動物体６２の動きベクトル６６に関しては中速領域６８内部に始点があったが、移動物体６１の動きベクトル６４は始点が高速領域６３内にあった。このとき、本実施形態においては代表動きベクトルとして動きベクトル６４が指定されているとする。
【００６６】
すると動きベクトル検出部１３は代表動きベクトルの始点が高速領域に属していたので撮像レートを上げるように撮像制御部１０３の撮像レート制御部１０４に対して通知する。
【００６７】
通知を受けた撮像レート制御部１０４は、撮像レートを所定の方式に基づいて変更する。
撮像レートを上げるように指示を受けているので、例えば撮像レートが２倍の６０フレーム／秒に変更される。
【００６８】
ここで撮像レートの変更は２倍としたが、変更の大きさは２倍に限られるものではなく、必要に応じて適切な値をとることが可能である。
【００６９】
図５は撮像レートが基準フレームレートである３０フレーム／秒から２倍の６０フレーム／秒に変更されたあとの画像の様子と動きベクトル検出の様子、及び検出された動きベクトルの合成を示した図である。
【００７０】
図５では図３における６０−ｂの一部を切出して６０−ｂ´とし、移動物体６１に続けて注目している。
【００７１】
図５において、移動物体６１は図３の状態から継続して、同一方向に等速で移動しているものとする。その場合、６０−ｂ´から１／６０秒後の時刻ｔ＝ｃにおける撮影画像６−ｃ´においては６１−ｃの位置に、更に１／６０秒後の時刻ｔ＝ｄにおける撮影画像６０−ｄ´においては６１−ｄの位置に移動物体６１は移動している。このとき、それぞれのフレーム画像間で動きベクトルを検出する。
【００７２】
ここで、動きベクトル検出部１３は、フレームメモリ１２からフレーム画像データ６０−ｃ´を読出し、時刻ｔ＝ｃにおける移動物体６１の動きベクトルを検出するとする。その動きベクトルを検出するための参照用フレーム画像としては、１フレーム前の画像である６０−ｂ´'が用いられる。
【００７３】
図３の時と同様に、動きベクトル検出部１３は、６１−ｃに対応する位置の情報をフレーム画像データ６０−ｂ´の上に６１−ｃ´として設定し、そこを中心にした矩形領域の動きベクトル探索領域５１−ｂを設定する。
【００７４】
ここで、動きベクトル探索領域は、撮像フレームレートが３０フレーム／秒から２倍の６０フレーム／秒へと２倍になっているため、動きベクトル探索に要する時間が全体として変わらないようにするために、探索面積は逆におよそ１／２となるように設定されている。
【００７５】
即ち、図３における動きベクトル探索領域５１に対して、図５における動きベクトル探索領域５１−ｂ，ｃ，ｄは面積としてほぼ１／２であり、およそ図３における６７で示される中速領域（白色域）と同じ大きさである。
【００７６】
そして、その動きベクトル探索領域の中で画像データ６０−ｃ´における６１−ｃの位置に位置するブロックの内容と最も一致する画像ブロックを探索する。
【００７７】
いま、移動物体６１が６１−ｂから６１−ｃの位置に移動したとしたので、６０−ｂ´の画像の中で○で示される６１−ｂの位置に存在するブロックが、画像データ６０−ｃ´における６１−ｃの位置に位置するブロックの内容と最も一致する。そこで、時刻ｔ＝ｃにおける６１−ｃの位置に対応する動きベクトルは矢印６４−ｂで示される動きベクトルとなる。
【００７８】
同様にして、時刻ｔ＝ｄにおけるフレーム画像６０−ｄ´において、６１−ｄの位置に対応する動きベクトルは、参照用フレーム画像を１／６０秒前のフレームである６０−ｃ´とした場合、６４−ｃと求められる。
【００７９】
ここで、撮像レートが上昇したあとのそれぞれ連続するフレーム画像に関しては動きベクトルが求められたが、動きベクトルを利用する際には、利用する形態にあわせた動きベクトルが必要となる。
【００８０】
例えば、基準フレームレートで圧縮した映像をネットワークに配信する場合には、基準フレームレートの画像に対する動きベクトル（以下基準レート動きベクトルと呼ぶ）が必要になる。
【００８１】
本実施形態では、基準レート動きベクトルの合成は動きベクトル合成部１４で実施される。
【００８２】
図１において、動きベクトル検出部１３は、基準フレームレート以外の撮像レートで画像を撮像している場合には、検出した動きベクトルの情報をフレーム番号と共に動きベクトル合成部１４に伝達する。動きベクトル合成部は、撮像制御部１０４から撮像レートに関する情報を、フレーム制御部１１からはフレーム画像に関する情報を得て、それを基にして、動きベクトル検出部１３から伝えられた動きベクトル情報をどのように加工するかを判断する。
【００８３】
例えば、図５において、フレーム画像６０−ｄ´に対して基準レート動きベクトルが求められていたとすると、動きベクトル合成部１４は先に得られた６４−ｂ及び６４−ｃの２つの動きベクトル情報から基準レート動きベクトル６９を合成する。
【００８４】
合成された動きベクトル６９は、圧縮処理部１５、及び動体検知部１８で基準フレームレート間隔の動きベクトル情報として利用される。
【００８５】
次に、撮像レートが基準フレームレートである３０フレーム／秒から変更された場合に、基準フレームレートより高い高速撮像レートで撮影された撮像フレームデータから、基準フレームレートの出力フレームデータをどのように作成するかに関して、図１を参照しながら図６を用いて示す。
【００８６】
図１において、撮像制御部１０３から撮像レート及び撮像時のシャッタスピード情報をフレーム制御部１１は獲得する。獲得した情報に基づき、フレーム制御部１１は、出力用の画像データを図６に示した形で加工して、1画面ごとのフレーム画像データとしてフレームメモリ１２に蓄積する。
【００８７】
図６は、フレーム制御部１１において撮像フレームデータを加工する例を示したものである。
【００８８】
図６ａ）は基準フレームレート（３０フレーム／秒）で撮像素子１０１が撮像している時の撮像フレームデータの状態を模式的に示したものである。このとき、求められている出力フレームデータとしては、ここに示された撮像フレームデータがそのままの形で利用される。
【００８９】
そのため、特に画像に対する加工は行われず、撮像フレームデータ［０］、［１］、［２］がそのままフレームメモリ１２に蓄積される。
【００９０】
図６ｂ）は基準フレームレートより高い高速撮像レートで（例として４倍の撮像レート(１２０フレーム／秒)）で撮像素子１０１が撮像している時の撮像フレームデータの状態を模式的に示したものである。
【００９１】
基準フレームレートで撮影した場合の［０］、［１］、［２］のフレームデータの撮影に利用される各期間で、それぞれ４枚の画像が撮影され、［１Ａ］、［１Ｂ］、［１Ｃ］、［１Ｄ］のような画像が１／１２０秒間隔のフレームデータとして出力されている。
【００９２】
このとき、出力として基準フレームレートの画像データが求められているので、これらの高速撮像レートで撮影された撮像フレームデータから、基準フレームレートにあわせた出力フレームデータを作成する必要がある。
【００９３】
その作成方法としては、基準フレームレートに基づいて画像データを撮影した場合に適用される基準シャッタスピードを考えると、その基準シャッタスピードに応じて次の２通りの方法が利用される。
【００９４】
まず、基準シャッタスピードが十分に速いとき、すなわち、基準シャッタスピードが高速フレームレートの撮像間隔以下である場合には、高速フレームレートで撮影が行われる際にも、基準シャッタスピードを用いて各撮像フレームデータが撮影される。
【００９５】
その場合、出力フレームデータは、高速フレームレートで撮影された撮像フレームデータから基準フレームレートに応じた間隔で絵を間引くことによって作成される。
【００９６】
図６ｃ）がそれに該当する。ここではシャッタスピードが１／１２０秒以上であるので、４倍のフレームレート撮像間隔（１／１２０秒）よりもシャッタスピードのほうが短い。
【００９７】
そのため、出力フレームデータは撮像フレームデータに対して特に加工を施さず、必要な間隔で［０Ｄ］、［１Ｄ］、［２Ｄ］のような形で抜き出し、そのままフレームメモリ１２に蓄積される。
【００９８】
なお、ここで、図６ａ）、図６ｃ）の場合において、画像が加工されずそのままフレームメモリ１２に蓄積されると書いたが、撮像フレームデータは動きベクトル検出のためにフレームメモリに対して既に蓄積されているので、出力フレームデータとして、それらの動きベクトル検出用のためのフレームデータを利用することが可能であり、出力フレームデータを動きベクトル検出用の画像データとは別個にフレームメモリ上に蓄積することは、必須ではない。
【００９９】
次に、基準シャッタスピードが速くない場合、即ち、基準シャッタスピードが高速フレームレートの撮像間隔より長い場合には、高速フレームレートで撮影が行われる際に、高速フレームレートの撮像間隔をシャッタスピードとして、各撮像フレームデータが撮影される。
【０１００】
その場合、高速フレームレートに基づく画像データは、基準フレームレートでの撮像時に比べて光量が不足することになる。
【０１０１】
そのため、その不足する光量を補うために、高速フレームレートで撮影された撮像フレームデータをその基準シャッタスピードと高速フレームレートの撮像間隔との比に応じて合成することによって求める出力フレームデータが作成される。
【０１０２】
図６ではｄ）及びｅ）がそれに該当する。図６ｄ）では基準シャッタスピードが１／６０秒であり、４倍のフレームレート撮像間隔（１／１２０秒）の２倍である。その場合、フレーム制御部１１は基準フレームレートに基づく画像データを作成するために、撮像フレームデータ［１Ｃ］［１Ｄ］の２枚を合成して、フレームメモリ１２上に蓄積する。
【０１０３】
図６ｅ）では基準シャッタスピードが１／４５秒であり、４倍のフレームレート撮像間隔(１／１２０秒)の８／３倍である。この場合、フレーム制御部１１は基準フレームレートに基づく画像データを作成するために、撮像フレームデー［１Ｃ］［１Ｄの２枚に加えて、［１Ｂ］の画像情報成分に２／３を乗じたデータを合成して、フレームメモリ１２上に蓄積する。
【０１０４】
なお、ここで、図６ｄ）、図６ｅ）の場合において、画像を合成すると表現したが、その合成は、一旦フレームメモリ１２上に置かれた高速フレームレートに基づく撮像フレームデータを、フレーム制御部が必要な枚数読み出して、その内部で所定の比率で合成する方法や、撮像処理部１０２から入力された撮像フレームデータを、フレームメモリ１２に書き出すと同時に、必要に応じてフレーム制御部１１内部のフレーム合成用メモリ（図示せず）に蓄え、順次入力されてくる撮像フレームデータを必要に応じて所定の比率でそのフレーム合成用メモリ上で加算していくことによって作成する方法がある。
【０１０５】
また、フレーム合成の方法だけをフレームメモリ１２上にフレーム画像の付帯データとして保管し、映像出力制御部などがその付帯データを利用して必要に応じてフレームメモリから撮像フレームデータを読み出して合成するなど、複数の方法が考えられる。
【０１０６】
次に、本実施形態における撮像フレームレートに関する設定を行うためのユーザインタフェースを図１、図２及び図７を用いて説明する。
【０１０７】
図７は本実施形態における表示端末３のビューワ３０を図示したものである。
表示端末３は例えばＰＣ及びそのユーザインタフェース装置を用いることで構成が可能であり、ここでは、ビューワ３０はＰＣにより構成される表示端末３のディスプレイ上に表示されるウィンドウとして表現されている。
【０１０８】
また、ビューワ３０上の各アイコン等はＰＣに接続されたマウスやキーボードなどのユーザインタフェース装置によって選択し、動作を指示することが可能であるとする。
【０１０９】
図７（ａ）は通常状態のビューワ３０の状態を示したものである。
３１は表示ウィンドウであり、撮像装置１によって撮影された画像が表示される。３２はメニューであり、マウスカーソル３３で選択することによってプルダウン方式のメニュー内容を表示することが可能である。選択はマウスカーソルを選択したい場所に移動させ、マウスのボタンをクリックすることによって実施される。
【０１１０】
３４は接続カメラ名称表示部であり、ここでは、撮像装置１が「カメラ１」という名前で示されている。
【０１１１】
７（ａ）において、ユーザがメニュー３２−ａを選択すると、図７（ｂ）のように各種設定メニュー３２−ｂが表示される。
【０１１２】
次いで、ユーザが３２−ｂの各種設定メニューの中から撮像レート設定を選択すると、図７（ｃ）に示すように撮像レート設定メニュー３２−ｃが表示される。
【０１１３】
例えば、ユーザが撮像レート設定メニュー３２−ｃの中から重点領域指定方式を選択したとする。その場合、図７（ｄ）に示すように重点領域指定枠３６が、表示ウィンドウ３１の中に表示される。
【０１１４】
ユーザはマウスカーソル３３を用いて重点領域指定枠３６を表示ウィンドウ３１の中で移動させ、希望する重点領域を指定枠で囲むようにし、マウスのボタンをクリックするなどして位置を確定する。
【０１１５】
確定した重点領域情報は、表示端末３からネットワーク網２を介して撮像装置１に伝えられる。
【０１１６】
撮像装置１では、ネットワークインタフェース１７が表示端末３からの指示をパケットなどの形式で受け取った後、その情報をネットワーク制御部１６に伝達する。
【０１１７】
ネットワーク制御部１６では受け取った情報から重点領域情報を抽出して代表動きベクトル設定部１９に伝達する。
【０１１８】
代表動きベクトル設定部１９は、重点領域情報を受け取ると、撮像画角のうち、重点領域指定枠によって指定された領域に位置するブロックの動きベクトルを代表動きベクトルとして設定する。
【０１１９】
重点領域指定枠内に複数のブロックが存在し、その結果複数の動きベクトルが代表動きベクトルの候補になりうる場合は、複数の代表動きベクトル候補の中から、動き量が最も大きいものを選定して代表動きベクトルとするか、もしくは動き量の大きいもの上位数ベクトルの平均を算出した結果を代表動きベクトルの大きさとして、撮像レートの制御に利用する。
【０１２０】
なお、この重点領域指定枠内の位置は固定のものであり、別途異なる指定をされない限り撮像装置１はこの領域内部から代表動きベクトルの抽出を実施する。
【０１２１】
この指定方法は特に監視用途などで特定の領域の動きに注目して、動きベクトルを動体検知に利用したい場合に有効である。
【０１２２】
一方、ここで、ユーザが撮像レート設定メニュー３２−ｃの中からオブジェクト指定方式を選択したとする。
【０１２３】
その場合、図７（ｅ）に示すようにオブジェクト指定枠３７が、表示ウィンドウ３１の中に表示される。
【０１２４】
ユーザはマウスカーソル３３を用いてオブジェクト指定枠３７−ａを表示ウィンドウ３１の中で移動させ、希望するオブジェクトを指定枠で囲むようにし、マウスのボタンをクリックするなどしてオブジェクトを確定する。
【０１２５】
確定したオブジェクト情報は、先の重点領域情報の時と同様に表示端末３からネットワーク網２を介して撮像装置１に伝えられる。撮像装置１では、最終的に代表動きベクトル設定部１９にオブジェクト情報が伝達される。
【０１２６】
そして代表動きベクトル設定部１９は、オブジェクト情報を受け取ると、撮像画角のうち、オブジェクト指定枠３７によって指定された領域に位置するブロックの動きベクトルを代表動きベクトルとして設定する。
【０１２７】
オブジェクト指定枠３７内に複数のブロックが存在し、その結果複数の動きベクトルが代表動きベクトルの候補になりうる場合は、複数の代表動きベクトル候補の中から、動き量が最も大きいものもしくはオブジェクト指定枠３７のより中心に近い位置に位置するブロックの動きベクトルを選定して代表動きベクトルとするか、動き量の大きいもの上位数ベクトルの平均を算出した結果を代表動きベクトルの大きさとして、撮像レートの制御に利用する。
【０１２８】
なお、このオブジェクト指定枠３７は注目する動きベクトル検出の対象オブジェクトを指定するためのものであるので、対象オブジェクトが移動すると、その移動に伴ってオブジェクト指定枠３７も移動する。
【０１２９】
図７（ｅ）において３７−ａの位置にあったオブジェクト指定枠３７は図７（ｆ）では ３７−ｂの位置に移動している。この枠の移動はオブジェクト指定枠３７の中で検出された動きベクトルを、中央重点重み付け平均した形でオブジェクト指定枠３７としての動きベクトルを算出し、その値に基づいて行われる。
【０１３０】
この演算は代表動きベクトル設定部１９において行われ、その結果はネットワーク制御部１６、ネットワークインタフェース１７、更にはネットワーク網２を経由して表示装置３にもフィードバックされる。
【０１３１】
図７（ｆ）においてオブジェクト指定枠３７が３７−ｂの位置に移動したのは、このフィードバックを反映させた結果である。
【０１３２】
なお、オブジェクト指定方式が選択されていた場合に、選択されたオブジェクトが画面の外に移動してしまう場合がある。そのような場合には、オブジェクトの指定は解除され、高速動作優先方式が自動的に選択される。
【０１３３】
高速動作優先方式とは、撮像装置１が撮像している全画角で検出される動きベクトルの大きさの分布を判断し、それに基づき撮像レートを変更させるものである。
【０１３４】
動きベクトルの大きさが所定の値以上のものが一定の個数以上になった場合には、撮像レートを上げるように制御し、逆に動きベクトルの大きさの最大値が所定の値以下の状態がしばらく継続した場合には、撮像レートを下げるように制御を行うものである。
【０１３５】
この動きベクトルの分布の判断に関しても代表動きベクトル１９において実施される。このように、撮像レートが可変である撮像部と、動きベクトル検出部、及び撮像レートにかかわらず基準フレームレートに換算した動きベクトルを合成する動きベクトル合成部を持ち、動き量の大きい時には撮像レートを速くして撮影するようにしたことで、撮影されたフレーム画像データ間の相対的なオブジェクトの動き量を小さくすることが可能になる。
【０１３６】
これにより、従来と同じ動きベクトル探索のための探索処理量で、動きの大きな物体に対してもより動き検出のマッチング精度を向上させることが可能になる。
【０１３７】
また、動き量の大小に応じて撮影レートを変える事により、動きの速いもの、遅いものの両方に対して最適なレートで動きベクトル検出が可能になり、固定レートの場合に比べてマッチング精度を向上させることが可能になる。
【０１３８】
また、撮像レートが基準フレームレートから変更された場合においても、基準フレームレートに基づく画像を提供できる仕組みを備えたことにより、画像の利用者には影響を与えることなく、必要な画像データを画像利用者に供給しながら、精度の良い動きベクトル検出を行うことが可能になる。
【０１３９】
また、本実施形態のように撮像装置が動きベクトルを用いる画像圧縮手段を備えている場合において、撮像レートが基準フレームレートから変更された場合においても、基準フレームレートのフレーム画像データと、基準フレームレートに換算された動きベクトルとを用いて画像圧縮を行うことによって、圧縮画像の利用者が要求するフレームレートには影響を与えることなく、精度の良い動きベクトル検出結果を圧縮符号化に用いることが可能になり、符号量の削減が可能になる。
【０１４０】
また、本実施形態のように撮像装置が動きベクトルを用いる動体検知手段を備えている場合において、撮像レートが基準フレームレートから変更された場合においても基準フレームレートのフレーム画像データと基準フレームレートに換算された動きベクトルとを用いて画像圧縮を行うことによって、圧縮画像の利用者が要求するフレームレートには影響を与えることなく、精度の良い動きベクトル検出結果を動体検知に用いることが可能になる。
これにより、動体検出の精度の向上を図ることが可能になる。
【０１４１】
更に撮像レートの制御方式に関して、複数の設定方式から特定の方式を指定することができるようにし、その指定された方式に基づいて注目する動きベクトルを変更することができるようにすることによって、ユーザがその利用目的に応じて撮像フレームレートの変更方法を指定することが可能になり、よりユーザの利用目的に応じた動き検出を行うことが可能になる。
【０１４２】
−第２の実施形態−
次に、本発明の第２の実施形態について説明する。
第１の実施形態においては、動きベクトルを求めるための参照用フレーム画像としては、撮像フレームレートにかかわらず、対象フレームの１フレーム前のフレーム画像としていた。しかし、一つのフレームの中で動きの大きな部分と小さな部分の両方が存在している場合、参照用フレーム画像を適切に選択することによって、動きの小さな部分に関しては、動きベクトルを求めるための探索を省略することが可能になる。
なお、本実施形態における動きベクトル検出部１３はＣＰＵを含み、ソフトウェアによってその動作が制御されるとする。
【０１４３】
以下、図８のフローチャート、図９及び更に第１の実施形態の図１を流用して本実施例における制御の流れ等を説明する。
【０１４４】
図８は、動きベクトル検出部１３の処理の流れを示すフローチャートである。
図９は、図８のフローチャートで説明した動きベクトル検出部１３の処理の流れに基づいて、参照用フレーム画像の選択の様子を具体的に示した図である。
【０１４５】
動きベクトル検出に関する処理が開始されると（ステップＳ８０１）、動きベクトル検出部１３は、まず過去の動きベクトルの大きさ及びその変化の様子などから現在の処理対象としているフレーム画像に関してブロックごとの動き量を推定する（ステップＳ８０２）。
【０１４６】
ここでいう過去の動きベクトルとは、基準フレームレートに基づくフレーム画像間で導出された動きベクトル（基準レート動きベクトル）であり、撮像レートが基準フレームレートと異なっている場合には、動きベクトル合成部１４によって基準フレームレートに換算された動きベクトルを意味している。
【０１４７】
ブロックごとの動き量が推定されると、その動き量の分布状態、及び現在の撮像レートから、動きベクトルの探索領域の大きさが決定される（ステップＳ８０３）。
【０１４８】
後述するように動き量の小さいブロックに関しては、動きベクトル検出に用いる参照用フレーム画像を連続するフレームとしてではなく、間引いた形で設定することが可能になる。
【０１４９】
よって探索領域の大きさを一定にしていた場合には、間引かれたフレームが多いと探索のための処理時間に余裕が出ることになる。
【０１５０】
そこで、その余裕時間を予めここで推定して必要に応じて１回の動きベクトルに用いる探索面積をひろげることをこの段階で実施する。このことによって、動きベクトルの検出精度をより向上させることが可能になる。
【０１５１】
探索領域の大きさが設定されると、処理対象ブロックの選択（ステップＳ８０４）が開始され、順次動ベクトルを求める作業が開始される。
【０１５２】
まず、選択された処理対象ブロックに対する想定動き量と現在撮像に用いている撮像レートから、動きベクトル検出に用いる参照用フレーム画像が決定される（ステップＳ８０５）。
【０１５３】
このとき、参照用フレームとして基準フレームレートと異なる撮像レートで画像が撮影されていた場合には、連続する撮像フレーム画像の全てを利用して検出処理を繰り返す形で実施するのか、それを間引く形で利用するのか、間引く場合の間引きの間隔をどうするかなどについて決定される。
【０１５４】
次いで、動きベクトル検出部１３は、フレームメモリ12から決定された参照用フレームを読み込み、動き検出処理を実施する（ステップＳ８０６）。
【０１５５】
その結果、動きベクトルが検出できていた場合には（ステップＳ８０７／ＹＥＳ）、基準レート動きベクトルを求めるだけの動きベクトル情報がそろったかを確認する（ステップＳ８０８）。
【０１５６】
上述のように連続する撮像フレームの全ての画像を利用して繰り返し検出処理を行うことを想定している場合には、全てがそろっていない場合も想定される（ステップＳ８０８／ＮＯ）。
【０１５７】
そのような場合には、次の動きベクトルを検出できるように現在参照用フレームとして利用していた画像を次の動きベクトルを検出するための検出対象フレームに設定しなおし（ステップＳ８１４）、再度動きベクトル検出処理が繰り返されることになる（ステップＳ８０６）。
【０１５８】
その結果、基準レート動きベクトルを求めるだけの動きベクトル情報がそろうと（ステップＳ８０８／ＹＥＳ）、動きベクトル検出部１３は動きベクトル情報を動きベクトル合成部１４に伝達する（ステップＳ８０９）。動きベクトル情報を受け取った動きベクトル合成部１４は、基準レート動きベクトルを生成する。
【０１５９】
このようにしてあるブロックに関する動きベクトルが生成されると、動きベクトル検出部１３は対象画像の全ブロックの動きベクトルを検出できたかどうかをチェックする（ステップＳ８１０）。
【０１６０】
全ブロックの動きベクトルの検出ができていた場合には（ステップＳ８１０／ＹＥＳ）、動きベクトルの検出結果を撮像制御部１０３に対して伝達する（ステップＳ８１５）。
【０１６１】
動きベクトルの検出結果を得た撮像制御部１０３は、その結果から撮像レートの変更に関して判断し、撮像レート制御部１０４に対して指示を出す。
【０１６２】
そのことによって、動きベクトルに応じた撮像レート制御が実施され、動きベクトル検出処理は終了する（ステップＳ８１６）。全ブロックの動きベクトルの検出が完了していなかった場合には（ステップＳ８１０／ＮＯ）、再度対象ブロックの選択（ステップＳ８０４）に戻り、未処理ブロックに関する動きベクトルを求める作業を繰り返し行うことになる。
【０１６３】
なお、動きベクトルの検出時において、動きベクトルの検出に失敗した場合には（ステップＳ８０７／ＮＯ）、参照用画像の設定が不適切であった場合が考えられる。
【０１６４】
例えば、実際の動きがステップＳ８０２で推測した動き量よりも大きかった場合などである。そのような場合には（ステップＳ８１１／ＹＥＳ）、推定動き量を再設定し（ステップＳ８１２）、参照用フレームの選び方を変更する（ステップＳ８０５）ことによって動きベクトルが検出できるようになる場合がある。
【０１６５】
もし、設定できる想定動き量を最大にして、参照用フレームの選択間隔を最小にしても動きベクトルが検出できなかった場合には、動きベクトル検出の対象ブロックとして表示されている内容が、新たに発生したなどの要因で以前のフレームに情報として存在していなかった場合などが考えられる。
【０１６６】
そのような場合には（ステップＳ８１１／ＮＯ）、当該ブロックの動きベクトル検出を断念し（ステップＳ８１３）、未処理ブロックが未だ残っているかの確認（ステップＳ８１０）へと処理を変えていくことになる。
【０１６７】
図８で説明した内容に関して、図９を用いて具体的に例を示しながら説明する。
図９は動きベクトル検出に用いる参照用フレーム画像の選択の様子を示した図である。図９において（ａ）はある時刻ｔ＝Ｔにおけるフレーム画像７０−ａを表している。
【０１６８】
基準フレームレートに基づく撮像間隔をＮとし、現在の撮像レートは基準フレームレートの４倍となっているとする。その際、４倍のフレームレートで撮影された画像がそれぞれ図９（ｃ）の７０−ａ、ｂ、ｃ、ｄ、ｅとして表現されている。
【０１６９】
フレーム画像上７０には移動物体７１、７２、７３が存在している。時刻ｔ＝Ｔにおけるフレーム画像７０−ａにおいて、それらはそれぞれ７１−ａ（▲で表示）、７２−ａ（●で表示）、７３−ａ（■で表示）に位置しているとする。
【０１７０】
これらの移動物体は、基準フレームレートに基づく撮像間隔後のｔ＝Ｔ＋Ｎのフレーム画像７０−ｅにおいては、それぞれ７１−ｅ（△で表示）、７２−ｅ（○で表示）、７３−ｅ（□で表示）に移動しているとする。
【０１７１】
図９（ｂ）は撮像間隔後のｔ＝Ｔ＋Ｎのフレーム画像７０−ｅの上に、各動きベクトルを検出するための探索領域や過去の移動物体の位置情報を重ね書きして表している。
【０１７２】
いま、時刻ｔ＝Ｔ＋Ｎにおいてフレーム画像７０−ｅにおける移動物体７１−ｅ、７２−ｅ、７３−ｅ基準レート動きベクトルを求めるとする。この時点においては、既に時刻ｔ＝Ｔにおけるフレーム画像７０−ａにおける移動物体７１−ａ、７２−ａ、７３−ａの基準レート動きベクトルが求められているので、それを元にして各移動物体が存在しているブロックの動き量を推定する（図８のステップＳ８０２に対応）。
【０１７３】
具体的には、本実施形態では各移動物体は等速運動をしていると仮定し、時刻ｔ＝Ｔにおけるフレーム画像７０−ａにおける移動物体の位置７１−ａ、７２−ａ、７３−ａと、時刻ｔ＝Ｔにおいて求められた各移動物体の基準レート動きベクトルを用いて、時刻ｔ＝Ｔ＋Ｎにおけるフレーム画像７０−ｅ上での各移動物体の位置を推定する。
【０１７４】
それらの位置は本実施形態ではそれぞれ７１−ｅ、７２−ｅ、７３−ｅ近辺となる。そして、その推定位置に対応するブロックの動きベクトルを求める際に、時刻ｔ＝Ｔにおいて求められた各移動物体の基準レート動きベクトルの大きさを逆引きすることで、使用する参照用フレーム画像を決定する。
【０１７５】
例えば、時刻ｔ＝Ｔ＋Ｎにおけるフレーム画像７０−ｅにおける動きベクトル検出処理ブロックの対象として、７２−ｅの位置のブロックが選定されたとする（図８のステップＳ８０４に対応）。
【０１７６】
このとき、７２−ｅの位置のブロックは、先に示した方法により基準フレームレート期間だけ前の時刻ｔ＝Ｔのフレーム画像７０−ａにおいては、７２−ａ近辺にあったであろうことが推定できる。
【０１７７】
しかし、７２−ｅの位置を基準として動きベクトルの探索領域を考えた場合、図９（ｂ）においてその探索領域は７４−ｄの範囲であり、７２−ａの位置は探索エリアの範囲外となる。
【０１７８】
そこで、想定される動き量と探索領域、及び撮像レートの関係から、移動物体７２が存在する７２−ｅの地点を含むブロックに対しては、まず時刻Ｎ／４だけ前の１撮像フレーム前の画像を選定の上、動きベクトルの検出を行い、その結果を用いて更にＮ／４の撮影間隔の画像を順次さかのぼっていくことで連続する撮像フレーム間での動きベクトルを求めて、最後にその結果を合成するという方針が決定される。
【０１７９】
その結果、まず７２−ｅの位置のブロックに対する動きベクトルを求めるための参照用画像として、時刻ｔ＝Ｔ＋（３／４）＊Ｎにおけるフレーム画像７０−ｄ上の領域７４−ｄが選定される（図８のステップＳ８０５に対応）。
【０１８０】
動きベクトル検出部１３はフレーム画像７０−ｅ上の点７２−ｅに対応するフレーム画像７０−ｄ上の点７２−ｅ´を中心とした動きベクトル探索領域７４−ｄの情報をフレームメモリ１２から読み込み、フレーム画像７０−ｅ上の点７２−ｅの情報と比較することで、動きベクトルを探索する（図８のステップＳ８０６に対応）。
【０１８１】
その様子を図９（ｄ）に示す。図９（ｄ）の一番上の行が移動物体７２に対する動きベクトル探索領域の設定と動きベクトルの検出の様子を表している。
【０１８２】
７４−ｄ上では７２−ｄに位置するブロックが７２−ｅの位置のブロックとの関連が最も高いと判断され，動きベクトル７７−ｄが抽出される（図８のステップＳ８０７／ＹＥＳに対応）。
【０１８３】
このようにして動きベクトルが抽出されると、次いで動きベクトル検出部１３は、７２−ｅのブロックに関して基準レート動きベクトルを合成できるだけの動きベクトル情報がそろったかどうかを判断する（図８のステップＳ８０８に対応）。
【０１８４】
ここでは、まだ全ての情報がそろっていないので（図８のステップＳ８０８／ＮＯに対応）、今度は先に参照用フレーム画像として利用したフレーム画像７０−Ｄ上の点７２−ｄに位置するブロックを、動きベクトルを求めるブロックとして設定する（図８のステップＳ８１４に対応）。
【０１８５】
その上で、既に参照用フレームとしては７０−ｄの一つ前のフレーム画像７０−ｃが選定されることが決まっているので、動きベクトル検出部１３はフレーム画像７０−ｄ上の点７２−ｄに対応するフレーム画像７０−ｃ上の点７２−ｄ´を中心とした動きベクトル探索領域７４−ｃの情報をフレームメモリ１２から読み込み、フレーム画像７０−ｄ上の点７２−ｄの情報と比較することで、動きベクトルを探索する（再び図８のステップＳ８０６に対応）。そしてその結果動きベクトル７７−ｃが抽出される。
【０１８６】
以下同様の動作を繰り返して、７０−ｅと時間Ｎだけ離れている７０−ａのフレームが参照用フレーム画像として用いられて動きベクトルの検出が行われると、７２−ｅのブロックに関して基準レート動きベクトルを合成できるだけの動きベクトル情報が７７−ａ、ｂ、ｃ、ｄとして揃うことになる（図８のステップＳ８０８／ＹＥＳに対応）。
【０１８７】
そろった動きベクトル情報は動きベクトル合成部１４に受け渡され（図８のステップＳ８０９に対応）、時刻ｔ＝Ｔ＋Ｎにおけるフレーム画像７０−ｅにおける７２−ｅの位置のブロックに対応した基準レート動きベクトルとして、図９（ｂ）に示した動きベクトル７７が生成される。
【０１８８】
７２に対する基準レート動きベクトルが求まると、次いで別のブロックに対する動きベクトルを求めていくことになる（図８のステップＳ８１０／ＮＯに対応）。
【０１８９】
図９（ｄ）には、先の時刻ｔ＝Ｔ＋Ｎにおけるフレーム画像７０−ｅにおける７２−ｅの位置のブロックだけでなく、それ以外に７１−ｅ、７３−ｅの位置のブロックに関する基準レート動きベクトル抽出の様子も図示している。
【０１９０】
基本的な動作の流れは７２−ｅに位置するブロックの場合と同じであるが、推定された動き量が７２−ｅの場合に比べて小さい。
【０１９１】
その結果、７３−ｅの場合の参照用フレームとしては７０−ｃ及び７０−ａの２枚が選択され、動きベクトル探索領域として７５−ａ及び７５−ｃを設定して探索した結果、動きベクトルとしては７８−ｃ及び７８−ａが求まる。
【０１９２】
そして、その２つを合成した結果として基準レート動きベクトル７８が求められる。また７１−ｅの参照用フレームとしては７０−ａのみが選択され、動きベクトル探索領域として７６−ａを設定して探索した結果、動きベクトル７９−ａが求められる。
【０１９３】
動きベクトル７９−ａはそのまま基準レート動きベクトル７９として採用される。これらの７１−ｅ、７３−ｅの位置のブロックに関する基準レート動きベクトル抽出に要する探索時間は、７２−ｅに位置するブロックに比べて約１／２及び１／４に削減されている。
【０１９４】
このように、動きベクトルを作成するために利用する参照用フレームを直前の基準レート動きベクトルの大きさ等に基づいて適切な間隔に選定することで、例えば動きの速いブロックに関しては撮像レートが上がったフレーム画像データ間での動き検出を行い、動きの小さなブロックに関しては間隔の開いたフレーム画像データ間での動き検出を行うことが可能になる。
【０１９５】
その結果、動きの小さなブロックに関して無駄に処理負荷をかけることがなくなるので、全体の探索領域をその分大きくすることが可能であるので、画像全体での動きベクトル検出の制度を向上させることが可能になる。
【０１９６】
−第３の実施形態−
次に、本発明の第３の実施形態について説明する。
第２の実施形態においては、図８のステップＳ８１４においてそれまで参照用フレームとして利用していた画像を次の動きベクトルを検出するための検出対象フレームに設定しなおし、再度動きベクトル検出処理が繰り返すようにしていた。
【０１９７】
しかし、この方法では、近いブロックで同じフレームを参照用データに利用するにもかかわらず、処理をブロック毎に行うため、複数の動きベクトルの検出で同時に利用可能なフレームデータを何度も読み出すというオーバヘッドを生じる可能性がある。
【０１９８】
第３の実施形態では、そこを改善し、処理対象ブロック群という概念を導入する。処理対象ブロック群とは、想定される動き量の大きさが近いため、参照用フレームとして利用する撮像フレーム間隔が同一となるブロックのうち、近接するブロックをまとめたものである。
【０１９９】
以下、図１０のフローチャートを用いて動きベクトル１３における処理の流れを説明する。なお、基本的な処理の流れは第２の実施形態における図８のフローチャートとほぼ同じであるので、特徴的な差のある部分のみ説明する。
【０２００】
図１０において、探索領域の大きさが設定されると（ステップＳ１００３）、処理対象ブロック群の選択（ステップＳ１００４）が開始され、順次動きベクトルを求める作業が開始される。
【０２０１】
ここで、処理対象ブロック群としては、ステップＳ１００２において求めた想定される動き量の大きさが近いため、参照用フレームとして利用する撮像フレーム間隔が同一となるブロックのうち、近接するブロックをまとめたものである。
【０２０２】
そして、この処理対象ブロック群で共通する想定動き量と現在撮像に用いている撮像レートから、動きベクトル検出に用いる参照用フレーム画像が処理対象ブロック群に対して決定される（ステップＳ１００５）。
【０２０３】
次いで、動きベクトル検出部１３は、フレームメモリ１２から決定された参照用フレームを読み込み、処理対象ブロック群に含まれるある一つのブロックに関して動き検出処理を実施する（ステップＳ１００６）。その結果、動きベクトルが検出できていた場合には（ステップＳ１００７／ＹＥＳ）、処理対象ブロック群の全てのブロックを処理したかどうかの判断を行う。処理が済んでいなかった場合には（ステップＳ１０１７／ＮＯ）、次のブロックに移動して、同じ参照用フレーム画像を利用して動きベクトルの検出を実施する（ステップＳ１００６）。
【０２０４】
なお、この際、動き検出対象のブロックが移動したことにより、利用する参照用フレーム画像の探索範囲も変更になるが、先の探索で利用していた画像が既に読み込まれているので、今回の探索で必要になる差分をカバーするだけの画像データをフレームメモリ12から読み込むだけで画像の探索が可能になる。
【０２０５】
処理対象ブロック群に含まれるブロックに対して全ての処理が終了すると（ステップＳ１０１７／ＹＥＳ）、動きベクトル検出部１３は基準レート動きベクトルを求めるだけの動きベクトル情報がそろったかを確認し（ステップＳ１００８）、以下処理を進めていき、対象画像の全ブロックの動きベクトルの検出を終了した後（ステップＳ１０１０／ＹＥＳ）、動きベクトルの検出結果を撮像制御部１０３に対して伝達し（ステップＳ１０１５）、撮像制御部１０３はその結果を受けて撮像フレームレートを必要に応じて変更するように撮像レート制御部１０４に指示を出す。
【０２０６】
なお、動きベクトルの検出時において、動きベクトルの検出に失敗した場合には（ステップＳ１００７／ＮＯ）、参照用画像の設定が不適切であった場合が考えられる。例えば、実際の動きがステップＳ１００２で推測した動き量よりも大きかった場合などである。
【０２０７】
そのような場合には（ステップＳ１０１１／ＹＥＳ）、推定動き量を再設定するが（ステップＳ１０１２）、推定動き量を再設定することにより、再度処理対象ブロック群の選択からやり直すことになる（ステップＳ１００４）。これら以外の内容に関しては第２の実施形態における図８の内容と同等であるため、以下説明は省略する。
【０２０８】
このように、動きベクトルを求めるブロック同士を直前の基準レート動きベクトルの大きさ及びその位置関係に基づいてグループ化し、グループごとに動きベクトルを作成するために利用する参照用フレームを直前の基準レート動きベクトルの大きさ等に基づいて適切な間隔に選定することで、メモリからの画像データの読出し量を押さえながら、例えば動きの速いブロックに関しては撮像レートが上がったフレーム画像データ間での動き検出を行い、動きの小さなブロックに関しては間隔の開いたフレーム画像データ間での動き検出を行うことが可能になる。
【０２０９】
その結果、メモリ読出しに必要としていた処理時間のオーバヘッドを削減することが可能になるので、探索処理にかけられる時間を長くすることが可能になり、最終的に画像全体での動きベクトル検出の精度を向上させることが可能になる。
【０２１０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。
【０２１１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２１２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０２１３】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０２１４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【０２１５】
【図１】本発明の第１の実施形態における撮像装置の構成例を示す図である。
【図２】本発明の第１の実施形態における撮像装置を利用したシステムを示す図である。
【図３】本発明の第１の実施形態における動きベクトル検出部における動きベクトルの検出の様子を示す図である。
【図４】本発明の第１の実施形態における動きベクトルの探索領域の詳細を示す図である。
【図５】本発明の第１の実施形態における撮像フレームレートを変更した後の動きベクトル検出の様子を示す図である。
【図６】本発明の第１の実施形態における撮像フレームデータの加工の詳細を示す図である。
【図７】本発明の第１の実施形態における撮像フレームレートに関する設定を行うためのユーザインタフェースの詳細を示す図である。
【図８】本発明の第２の実施形態における動きベクトル検出部における処理の流れを示すフローチャートである。
【図９】本発明の第２の実施形態における動きベクトル検出に用いる参照用フレーム画像の選択の様子を示す図である。
【図１０】本発明の第３の実施形態における動きベクトル検出部における処理の流れを示すフローチャートである。
【符号の説明】
【０２１６】
１：撮像装置
２：ネットワーク網
３：表示端末
１０：撮像部
１１：フレーム制御部
１２：フレームメモリ
１３：動きベクトル検出部
１４：動きベクトル合成部
１５：圧縮処理部
１６：ネットワーク制御部
１７：ネットワークインタフェース
１８：動体検知部
１９：代表動きベクトル設定部
２０：映像出力制御部
２１：映像出力インタフェース
２２：モニタ
３０：ビューワ
３１：表示ウィンドウ
３２：メニュー
３３：マウスカーソル
３４：接続カメラ名称表示部
３６：重点領域指定枠
３７：オブジェクト指定枠
４４、５１、５２、７４、７５、７６：動きベクトル探索領域
６１、６２、７１、７２、７３：移動物体
６４、６６、６９、７７、７８、７９：動きベクトル
【図１】
2007281961.tif 000003
【図２】
2007281961.tif 000004
【図３】
2007281961.tif 000005
【図４】
2007281961.tif 000006
【図５】
2007281961.tif 000007
【図６】
2007281961.tif 000008
【図７】
2007281961.tif 000009
【図８】
2007281961.tif 000010
【図９】
2007281961.tif 000011
【図１０】
2007281961.tif 000012