(57)【要約】【課題】センサやマーカを用いることなくカメラのみで高速に移動する対象物の速度推定を精度よく行える速度推定方法や速度推定プログラムを提供する。【解決手段】インターレース方式のカメラ手段が移動可能なものであって該カメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、推定したフローベクトルを画像データとして処理し撮像画像と同サイズにリサイズするステップと、撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよびフローベクトルの画像パターンを用いて移動物体の速度を推定するステップとを備える。【選択図】図３
2008217330.tif 000002
【特許請求の範囲】
【請求項１】
インターレース方式のカメラ手段が移動可能なものであって該カメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよび推定したオプティカルフローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えたことを特徴とする速度推定方法。
【請求項２】
移動する被写体をインターレース方式のカメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよび推定したオプティカルフローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えたことを特徴とする速度推定方法。
【請求項３】
インターレース方式のカメラ手段が移動可能なものであって該カメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、推定したフローベクトルを画像データとして処理し前記撮像画像と同サイズにリサイズするステップと、前記撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよび前記フローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えたことを特徴とする速度推定方法。
【請求項４】
移動する被写体をインターレース方式のカメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、推定したフローベクトルを画像データとして処理し前記撮像画像と同サイズにリサイズするステップと、前記撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよび前記フローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えたことを特徴とする速度推定方法。
【請求項５】
前記オプティカルフローを推定するステップにおいて、偶数走査線画像と奇数走査線画像における濃淡分布パターンの移動は局所的であるとして、所定の局所範囲を探索して濃淡パターンのマッチングを行い、フローベクトルを推定することを特徴とする請求項１乃至４のいずれかに記載の速度推定方法。
【請求項６】
前記カメラ手段により撮像して撮像画像を取得するステップにおいて、カメラ手段によりキャプチャされた画像がカラー画像の場合に、該カラー画像をグレースケール画像に変換処理することを特徴とする請求項１乃至４のいずれかに記載の速度推定方法。
【請求項７】
前記推定したフローベクトルを画像データとして処理し前記撮像画像と同サイズにリサイズするステップにおいて、最近隣内挿法を用いてリサンプリング処理を行い、推定したフローベクトルの画像をリサイズすることを特徴とする請求項３又は４に記載の速度推定方法。
【請求項８】
請求項１乃至７のいずれかに記載の速度推定方法の各ステップをコンピュータに実行させるための速度推定プログラム。
【請求項９】
請求項８に記載の速度推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ手段を搭載した高速移動物体の速度推定方法および速度推定プログラムに関する技術であり、特に、インターレース方式のカメラを用いたフレーム内オプティカルフローによる速度推定方法および速度推定プログラムに関するものである。
【背景技術】
【０００２】
近年のコンピュータの小型化・軽量化に伴い、コンピュータを常に身につけて生活するウェアラブルコンピューティングに対する注目が集まっている。そこで、このウェアラブルコンピューティングの技術を用いて、展示会やテーマパーク内でユーザの道案内をし、ユーザの必要としている情報を提供するヒューマンナビゲーションシステムが一つの例として挙げられる。また、医療現場での介護ロボットや災害救助、安全巡視などの役割を果たす移動コンピュータに関する技術や、車両動態の詳細を把握するための技術として、ヘリコプタに代表される特定地点に滞空可能なプラットフォームから時系列画像を取得し、背景差分値、オプティカルフローの情報などを用いて解析する技術も知られている。このような背景から、対象（ユーザ）の位置や速度を正確に推定する要求が高まっている。従来、屋外での位置推定においては、広範囲での実行が可能であるＧＰＳ（Global Positioning System；全地球測位システム）を利用することが一般的である。
【０００３】
しかし、屋内など人工衛星からの電波が届かない場所では、ＧＰＳを用いた各種サービスを利用することができない。そこで、屋内での位置情報を得る手段として、ＧＰＳの代わりとなる位置検出システムの研究が行われている。位置検出システムに用いられる手法として、屋内の天井，壁，床などにセンサやマーカを配置し、それらをカメラで画像に取り込み解析したり、センサから値を受信したりすることによって、ユーザの位置を割り出すというものが多く見られる。使用されるセンサやマーカには多くの種類が存在し、これらの配置の仕方により様々な速度推定の技術が研究されている。
【０００４】
従来の速度推定の技術では、対象物体が高速移動時の移動量の算出の不確定さが課題として挙げられている。これは、従来の速度推定技術の場合、対象物体がカメラの画像が歪まない程度の比較的低速な移動を行うことを想定されていることに起因する。すなわち、カメラを装着した対象物体が比較的低速で移動を行った場合に、カメラ画像のフレーム間で対応する部分があると速度や位置の推定ができるのであるが、カメラを装着した対象物体が高速で移動を行った場合に、カメラ画像のフレーム間が飛んでしまってどれだけ移動したかが検出不能となり、速度や位置の推定ができないことになる。また、カメラを装着した対象物体が高速で移動を行った場合に、カメラ画像に歪みが生じるので、マーカを検出することが困難となり、速度や位置の算出が不正確となるのである。
【０００５】
また、フレーム間における被写体の画像データの差分を用いることなく、１フレームのデータを用いて、簡単な演算処理により、被写体の移動速度を検出する方法が知られている（特許文献１，特許文献２）。これは、偶数走査線と奇数走査線のインターレース画像から形成したノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行って、得られる係数値から速度判定を行うものである。しかし、これらの技術は、対象物の移動速度を推定したり、また、移動量や位置を推定するものではない。
【０００６】
また、従来からマーカを利用せずに移動物体の速度推定する技術として、連続する２枚の画像から求められる、画面上の各点の速度場であるオプティカルフローの手法が知られている。このオプティカルフローは、画像中のある点や図形が次の瞬間にどのような方向へ、どの程度移動するかを示す速度ベクトルのことであり、カメラ手段でキャプチャした画像からオプティカルフローを推定することで、カメラや対象物体の移動方向を推定することができるものである。
【０００７】
しかし、連続する２フレームの画像を用いてオプティカルフローを求める場合、カメラがある一定速度以上速く移動した場合に、正確なフローベクトル推定が行えないといった問題がある。その理由として、カメラを高速で移動させると撮像画像が歪むことが要因の１つにある。これはカメラ手段のノンインターレーススキャンによる画像の歪みによるものである。また、もう一つの理由として、連続するフレーム間の局所領域内の画像に共通部分がなくなることが要因に挙げられる。すなわち、連続するフレーム間の局所領域内に同一物体が入っている場合は推定可能であるが、連続するフレーム間の局所領域内に同一物体がないほど高速で移動した場合は推定不可能となるのである。どれぐらいの速さで移動したときに同一物体が局所領域外に出てしまうかは、画像のスキャンタイムと局所領域のサイズ、さらには物体の大きさによる。一般的な環境の場合、２フレーム間のスキャンタイムは、１００ｍｓ以上はかかると考えられる。１００ｍｓの間に連続する２フレーム間の局所領域内の画像に共通部分がなくなる程度の速さでカメラを高速で移動させた場合は、正確なオプティカルフローが推定で行われないことになる。
【０００８】
【特許文献１】特開２００４−１２６９２３号公報
【特許文献２】特開２００４−１５９３１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように、連続するフレームの画像から求めたオプティカルフローを用いた速度推定の特徴としては、マーカを用いないため汎用性には長けているが、高速移動には対応していないといった問題がある。すなわち、従来のオプティカルフローの技術では、対象がカメラの画像が歪まない程度の比較的低速で移動する場合には対応できているが、高速で移動を行う場合、カメラ画像に歪みが生じ、マーカを検出することができなくなること、連続する２フレームの画像に共通部分がなくなることにより、速度・移動量の算出が不正確となるといった問題がある。
【００１０】
また、マーカを用いて速度推定を行う技術は、実用するにあたり、あらかじめそれらを屋内に多数配置する必要がある。実際の生活環境で、センサやマーカを屋内などに多数配置することは手間がかかることで実用的とは言えず、景観を損ねるといった問題もある。
【００１１】
カメラ画像から対象物あるいはカメラ本体が高速に移動する場合の速度を推定する従来方式では、前フレームと現フレームとで対応する部分を見つけ出し、その変化量からカメラと物体との対象運動が計測できる。しかし、前フレームと現フレームとで対応する部分が見つからない場合の計測はあまり確立していないのが現状である。すなわち、従来技術においては、高速移動対応、かつ、マーカを利用しない汎用性のある速度推定手法が確立されていない。
【００１２】
そこで、本発明は、特殊なマーカを必要とすることなく、カメラを搭載した移動物体自身の高速移動時の速度推定を精度良く行うことができる速度推定方法や速度推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明の第１の観点の速度推定方法は、インターレース方式のカメラ手段が移動可能なものであって該カメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよび推定したオプティカルフローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えた構成とされたことを特徴とする。
【００１４】
本発明は、カメラ手段を搭載する物体が高速で移動する場合を想定し、1 フレームのカメラ画像を奇数走査・偶数走査の順でスキャンするインターレーススキャンによる１フレーム内の画像のブレから被写体の移動速度を推定する。
カメラ手段を搭載する物体が高速で移動する際には、前後のフレームの画像から共通部分を見出せない場合が多い。その場合、フレーム間の対応が不明なため速度の推定ができない。そこで、本発明においては、１フレームの画像から奇数走査画像と偶数走査画像を取得し、この２つの画像における被写体のズレの程度を解析することによって、被写体の移動ベクトルを割り出すのである。
【００１５】
すなわち、インターレース方式のカメラ手段を搭載した物体が高速で移動する場合、1 フレームのカメラ画像のみから、１フレームの画像から取得できる奇数走査画像と偶数走査画像のズレを利用することで、物体の速度ベクトルを割り出すものである。カメラ手段を搭載した物体が移動する場合、カメラ画像の被写体の速度ベクトルで、向きを逆方向としたものが物体の速度ベクトルとなる。
【００１６】
従来のオプティカルフローの手法では、連続する２フレームの画像を用いて行っていたため、そのままでは高速移動に対応することが困難であった。一般的に汎用のコンピュータにおける連続する２フレーム間のフレームレートは、実行するプログラムにもよるが、約１００ｍｓ以上であると想定される。そのフレームレートの長さが速度・位置推定の誤差につながるため、フレームレートの長さをコンピュータの性能を上げる方法以外で速くする必要がある。そこでインターレース方式のカメラ手段を用いる。インターレース方式のカメラ手段では、１フレームの画像を奇数走査・偶数走査の２回の走査に分けてスキャンする。その奇数走査・偶数走査の間の時間(タイムラグ) は、２フレーム間のフレームレート（約１００ｍｓ）に比べると相当速い。したがって、１フレーム内の奇数走査画像・偶数走査画像から速度を推定すれば、１００ｍｓの間に２フレーム間で画像の共通部がないぐらい高速な場合でも正確な推定ができると想定する。もちろん、タイムラグの間に画像が飛んでしまう程カメラを高速で移動させた場合は速度推定の限界となるが、この手法をとることで、従来のオプティカルフローの手法に比べて飛躍的に高速移動に対応できることとなるのである。
【００１７】
また、フローベクトルの画像パターンを用いることにより、カメラ手段を搭載した物体が平行移動する場合のみならず、カメラ手段を搭載した物体が上下・回転・斜め方向などに動いたときでも正確に動きの大きさ・方向を推定可能となる。
【００１８】
なお、カメラ手段としては、ＵＳＢ（Universal Serial Bus）カメラ，ディジタルカメラ，ディジタルビデオカメラなどが利用できる。
【００１９】
また、本発明の速度推定方法は、インターレース方式のカメラ手段が移動可能なものであって該カメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、推定したフローベクトルを画像データとして処理し撮像画像と同サイズにリサイズするステップと、撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよびフローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えた構成とされたことを特徴とする。
コンピュータの表示端末に画像として表示するなど、移動物体の速度と挙動を可視化するものである。
【００２０】
次に、本発明の第２観点の速度推定方法は、移動する被写体をインターレース方式のカメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよび推定したオプティカルフローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えたことを特徴とする。
また、同様に、コンピュータの表示端末に画像として表示するなど、移動物体の速度と挙動を可視化する場合には、移動する被写体をインターレース方式のカメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、推定したフローベクトルを画像データとして処理し撮像画像と同サイズにリサイズするステップと、撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよびフローベクトルの画像パターンを用いて移動物体の速度と挙動を推定するステップと、を備えた構成とされたことを特徴とする。
【００２１】
本発明は、カメラの撮像対象の物体が高速で移動する場合を想定し、1 フレームのカメラ画像を奇数走査・偶数走査の順でスキャンするインターレーススキャンによる１フレーム内の画像のブレから被写体の移動速度を推定する。
高速移動物体をカメラで撮影する際には、前後のフレームの画像から共通部分を見出せない場合が多い。その場合、フレーム間の対応が不明なため速度の推定ができない。そこで、本発明においては、１フレームの画像から奇数走査画像と偶数走査画像を取得し、この２つの画像における被写体のズレの程度を解析することによって、被写体の移動ベクトルを割り出すのである。
【００２２】
ここで、上記請求項１又は２の速度推定方法のオプティカルフローを推定するステップにおいて、偶数走査線画像と奇数走査線画像における濃淡分布パターンの移動は局所的であるとして、所定の局所範囲を探索して濃淡パターンのマッチングを行い、フローベクトルを推定することが好ましい。
所定の局所範囲を探索して濃淡パターンのマッチングを行い、フローベクトルを推定することで、計算量が少なく処理時間を短くすることができる。
【００２３】
また、上記請求項１又は２の速度推定方法のカメラ手段により撮像して撮像画像を取得するステップにおいて、カメラ手段によりキャプチャされた画像がカラー画像の場合に、該カラー画像をグレースケール画像に変換処理することが好ましい。
カラー画像のまま画像処理を行うことにより生じる処理時間の遅延の不都合を回避するためである。
【００２４】
また、上記請求項１又は２の速度推定方法の推定したフローベクトルを画像データとして処理し前記撮像画像と同サイズにリサイズするステップにおいて、最近隣内挿法を用いてリサンプリング処理を行い、推定したフローベクトルの画像をリサイズすることが好ましい。
最近隣内挿法とは、最も近いピクセルの値を利用して出力ピクセルに割り当てる手法であり、処理時間を短縮できる。
【００２５】
また、本発明によれば、上記の速度推定方法の各ステップをコンピュータに実行させるための速度推定プログラム、またその速度推定プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【発明の効果】
【００２６】
本発明の速度推定方法や速度推定プログラムによれば、カメラや被写体が高速で移動している場合、カメラの画像に歪みが生じ、背景が明確に認識されない問題や連続する２フレームの画像に共通部分がないため推定したオプティカルフローが不正確であるという問題点を解決し、センサやマーカを用いることなくカメラのみで高速に移動する対象物の速度推定を精度よく行えるといった効果がある。
従来技術では連続する複数フレームを用いた速度推定が行われていたが、本発明の速度推定方法や速度推定プログラムでは１フレーム内の画像のブレを用いて速度推定を行うため、従来技術と比較して約１０ 倍以上の高速移動への対応が可能となるといった効果がある。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施例について、図面を参照しながら詳細に説明していく。ただし、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【００２８】
先ず、本発明の速度推定方法を実現する移動物体の速度推定コンピュータの概略構成図について図１を参照しながら説明を行う。速度推定コンピュータ１は、中央演算処理装置（ＣＰＵ）２を中心に、本発明の速度推定方法のステップを中央演算処理装置に実行させるプログラムが格納されているＲＯＭ３、上記プログラムの実行時に使用されるＲＡＭ４、ヒューマンマシン・インターフェースであるキーボード５及びマウス６、ディスプレイ７、それと被写体を撮影するカメラ８と、カメラ８で撮影した画像データ及び符号化処理後の符号データを記録するハードディスク（ＨＤ）９により構成される。
【００２９】
次に、本発明の速度推定方法について処理の流れについて、図３を参照しながら説明する。本発明の速度推定方法は、インターレース方式のカメラ手段が移動可能なものであって該カメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、推定したフローベクトルを画像データとして処理し撮像画像と同サイズにリサイズするステップと、撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよびフローベクトルの画像パターンを用いて移動物体の速度を推定するステップとを備える。
以下に、各ステップについて説明を行う。
【００３０】
（１）インターレース方式のカメラ手段を用いて画像をキャプチャする。
先ず、インターレース方式のカメラ手段が移動可能なものであって該カメラ手段により撮像して撮像画像を取得するステップは、インターレース方式のカメラ手段を搭載した物体が周囲の風景（例えば、天井、床など）を撮影（画像をキャプチャ）するものである。
画像のキャプチャは、上記速度推定コンピュータの性能およびプログラム内容にもよるが、約１００ｍｓに１回の割合でキャプチャされる。キャプチャされた画像とは、例えば４８０×４８０のＲＧＢのカラー画像である。
ここで、インターレース方式のカメラ手段について図２を参照しながら説明する。カメラのスキャンの方法には大きく分けて、ノンインターレース方式とインターレース方式の２通りがある。カメラ画像は画素という点の集まりから構成されていて、ノンインターレース方式では、上方の一点から一行ずつスキャンするのに対して、インターレース方式では上方の一点からまず奇数番目の走査線、次に偶数番目の走査線と２度に分けて走査することにより画像を表示する（図２（ａ）参照）。この２つのスキャン方法はいずれも高速の物体を捉える場合や、カメラ本体が高速に移動する場合、スキャンの具合によって取得した画像が歪んだりブレたりする。これは、スキャンの実行時間によるもので、インターレース方式の場合、図２（ｂ）のように奇数走査線画像と偶数走査線画像の被写体にズレ
が生じる。
【００３１】
（２）キャプチャされた画像がカラー画像の場合は、グレースケール画像に変換する。
上記（１）でキャプチャされた画像がカラー画像の場合は、グレースケール画像に変換する。グレースケール化した画像の輝度は０〜２５５の値を取ることになる。
ここで、カメラをある一定以上の速さで動かした場合、図３（ａ）のようにブレが生じた画像が得られる。そのブレは、インターレースカメラの奇数走査・偶数操作のスキャンのタイムラグにより生じるものである。
【００３２】
（３）キャプチャされた１フレームの画像を奇数走査・偶数走査画像に分ける。
撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップは、先ず、上記（２）で得られたグレースケール画像を、図３（ｂ）に示されるように奇数走査により得られた画像と偶数走査により得られた画像とに分けることである。このとき、画像の縦方向に関して１行飛ばしで画像を分けているため、ここで得られる画像サイズは、キャプチャされた画像が４８０×４８０の場合、２４０×４８０となる。
【００３３】
（４）奇数走査・偶数走査画像に分けられた２つの画像からオプティカルフローを推定する。
撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップは、次に、上記（３）で得られた２つの奇数走査画像および偶数走査画像から、例えば、Lucas-Kanade法を用いて偶数走査画像から奇数走査画像へのオプティカルフローを推定する。局所領域の大きさは、適宜４×４や１６×１６に設定して行う。
【００３４】
（５）推定したフローベクトルを画像として保存する。
推定したフローベクトルを画像データとして処理し撮像画像と同サイズにリサイズするステップは、先ず、推定したフローベクトルを画像として保存する。ここでは、上記（３）で奇数・偶数の２４０×４８０画像に分けてオプティカルフローを出しているため、フローベクトルを保存する画像サイズも２４０×４８０である。
【００３５】
（６）フローベクトルが保存された画像をリサイズする。
推定したフローベクトルを画像データとして処理し撮像画像と同サイズにリサイズするステップは、次に、上記（１）でキャプチャした画像に、フローベクトルを描画したいため、フローベクトルを保存している画像サイズを４８０×４８０にリサイズする。このとき、最近隣内挿法（Nearest Neighbor Method）を用いてリサンプリング処理を行う。最近隣内挿法とは、最も近いピクセルの値を利用して出力ピクセルに割り当てる手法として知られているものである。
【００３６】
（７）各点でのフローベクトルを描画し、各フレームでのフローベクトルを求めるリサイズされたフローベクトル画像をキャプチャした画像上に示す。
撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップは、上記（４）でキャプチャされた１枚のフレームの各点においてフローベクトルが推定される。それらを１フレーム内で合計し、そのフレームでのフローベクトルを算出する。
例えば、図３（ｃ）のように画像の各点でのオプティカルフローが推定でき、それらの平均値を画像の真ん中に太い線で出している。その太い線が、キャプチャした画像の１フレームでのオプティカルフローと推定できる。
【００３７】
（８）１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよびフローベクトルの画像パターンを用いて移動物体の速度を推定する。
インターレース方式のカメラ手段の１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグと、フローベクトルの画像パターンを用いてカメラの速度推定を行う。図４に示すように、インターレース方式のカメラ手段では、１フレームの画像を奇数走査・偶数走査の２回の走査に分けてスキャンする場合は、その奇数走査・偶数走査の間の時間(タイムラグ) は、２フレーム間のフレームレート（約１００ｍｓ）に比べると相当速い。したがって、１フレーム内の奇数走査画像・偶数走査画像から速度を推定すれば、１００ｍｓの間に２フレーム間で画像の共通部がないぐらい高速な場合でも正確な推定が可能となる。但し、タイムラグの間に画像が飛んでしまうほど、カメラを高速で移動させた場合は速度推定の限界となる。
【００３８】
また、フローベクトルの画像パターンを用いるとは、図５に示すように、カメラ手段が平行移動・ズーム・回転したときのオプティカルフローの画像パターンに特徴があるために、この画像パターンを利用することでカメラ手段を搭載した物体の動きを捉えることが可能となる。
以上の処理フローを行うことにより、１フレームの画像からオプティカルフローが推定でき、カメラが高速で移動した場合にも正確な速度推定が行える。
【００３９】
また、移動する物体の速度を推定する場合は、本発明の速度推定方法は、移動する被写体をインターレース方式のカメラ手段により撮像して撮像画像を取得するステップと、該撮像画像の１フレームにおける偶数走査線画像と奇数走査線画像のオプティカルフローを推定するステップと、推定したフローベクトルを画像データとして処理し撮像画像と同サイズにリサイズするステップと、撮像画像とリサイズした前記フローベクトルの画像を重畳させるステップと、１フレームの偶数走査線画像と奇数走査線画像のスキャンのタイムラグおよびフローベクトルの画像パターンを用いて移動物体の速度を推定するステップと備える。
各ステップの説明は、上述の（１）〜（８）と同様である。
【００４０】
以下の実施例では、本発明に係る速度推定方法および速度推定プログラムを用いて、従来手法では不正確であった高速移動物体の速度ベクトルおよび移動量を、精度良く算出できることを、実験データを参照しながら説明する。
【実施例１】
【００４１】
実施例１では、本発明の速度推定方法の有用性について、評価実験を行うことにより確認したデータを示しながら説明する。
先ず、評価実験のためのシステム構成について、図６を参照しながら説明する。図６は評価実験装置の模式図を示している。再現性のある背景画像が添付された円筒状の筒を図６のような位置に配置する。その筒の円周は３８０ｃｍであり、手動若しくはモータ等を用いて自動で動かすことができる。また、その筒の外周面から上方に３０ｃｍの距離にカメラを固定し、筒を回転させることでデータを取得する。評価実験で用いたカメラは、アールエフ株式会社製「製品名：Ｔｈｅ  ＣＡＲＤ−７ＲＬ」である。このカメラはインターレース方式で画像のスキャンを行うものである。
【００４２】
円筒状の筒に添付した背景画像は、図７（ａ）に示すような３種類のカラー画像を図７（ｂ）のような位置関係で配置した背景を用いる。これら３種類の画像は画像処理でよく用いられる標準画像であり、３０３ピクセル×３０３ピクセル（８．０２ｃｍ×８．０２ｃｍ）の大きさにＪＰＥＧ形式で圧縮したものである。
従来手法のオプティカルフローを用いた速度推定では、ノンインターレースカメラを用いたものが多いため、本評価実験でもノンインターレースでのスキャンに近い形で比較することとした。本評価実験で用いるカメラはインターレースカメラであり、本発明の速度推定方式の処理ステップの中で奇数走査画像と偶数走査画像に分けるため、どちらかの画像を用いればノンインターレーススキャンにほぼ一致する。そこで、本実験では奇数走査画像だけを利用し、連続する２フレーム間の奇数走査画像でオプティカルフローを推定する手法を従来手法として、本発明の速度推定方式と比較している。
【００４３】
上述した評価実験装置を用いて、速度推定の精度評価実験を行い、従来手法と本発明の速度推定方式との比較を行う。また、比較するにあたり同条件で行う必要があるため、従来手法と本発明の速度推定方式の両方の手法を１回の実験で同時に行う。以下に、実験の手順を説明する。
【００４４】
（実験手順１）図７の背景が添付された筒を一定方向に１周回す。実験ではカメラに対してｙの正方向へ動かす。この場合、ｙの正方向が、オプティカルフローが出るべき方向となる(図８参照)。
（実験手順２）カメラで撮像した各画像フレームで、画像上の各点のオプティカルフローとそれらの合計値を推定する。
（実験手順３）１周回した後、全フレーム（図９参照）において、フレーム１からフレームｘ) の合計値の平均値を１回の実験のデータとして取り扱う。このとき、オプティカルフローの検出値は、ｘ方向の成分とｙ方向の成分とを分けて取得する。
（実験手順４）従来のオプティカルフローの手法と本発明の速度推定方式ともに、筒を動かす速度とオプティカルフローの大きさ(検出値) をグラフにプロットし、それらの関係を記録する。
（実験手順５）これらの作業を３０回繰り返し行う。また、各条件でのフレームレートを記録しておく。
【００４５】
カメラ（本実験の場合は背景を添付した筒）を動かす速度が速いほど、推定されるオプティカルフローの値は大きくなるため、速度とオプティカルフローの検出値が比例関係にあれば、理想的な結果が得られていると考えられる。
また、背景を添付した筒は一定方向（ｙの正方向）へ動かしているため、誤差がまったくないと考えた場合、オプティカルフローの検出値はｙの正方向の値のみ出ることになる。もし、ｘ方向への値またはｙの負方向への値が出ている場合は、オプティカルフロー推定に誤差が生じており、正確な速度推定が行えていないと考えられる。その点に着目して実験結果の評価を行った。
【００４６】
従来のオプティカルフローの手法と本発明の速度推定方式について、下記（ａ）〜（ｄ）で示すように、カメラの移動速度とオプティカルフローの相関関係、限界速度、照度の変化によりオプティカルフローの精度の変化についての相関関係を調べる。また、オプティカルフローの特徴として、各フレームにおいてオプティカルフローを推定する点（座標）の数が多数あることが挙げられることから、推定する点の数を変化させるとどのような精度の変化が見られるかを確認する。
【００４７】
（ａ）カメラの移動速度とオプティカルフローの大きさとの相関関係を調べる。
（ｂ）限界速度（正確な速度推定ができなくなる速度）を調べる。
（ｃ）照度（１０５０ＬＵＸと９０ＬＵＸ）の変化による速度推定の精度を比較する。
（ｄ）各フレームにおいてオプティカルフローを推定する点の数を変化させたときのオプティカルフローの精度を比較する。
【００４８】
まず、照度が１０５０ＬＵＸのときの測定グラフを図１０〜図１３に示す。これらの結果から、従来のオプティカルフローの手法（図中では従来手法と表記）と本発明の速度推定方式（図中では提案手法と表記）についての限界速度を算出したものを下記表１にまとめる。図１０〜図１３と表１より、各条件におけるｘ方向のオプティカルフロー検出値を見ると、従来のオプティカルフローの手法と本発明の速度推定方式ともに限界速度より遅いところでは、０に近い値となっていることが分かる。しかし、完全に０にならない理由としては実験装置の多少のぶれなど実験過程の誤差が考えられるが、ｘ方向の検出値はｙ方向の検出値と比べて無視できる程小さいものである。
【００４９】
【表１】
2008217330.tif 000003
【００５０】
次に、ｙ方向の相関関係について説明する。ここで分かりやすくするため、点の数が３４８６個のときのｙ方向の検出値だけをピックアップしたグラフを図１４に示す。図１４より、従来のオプティカルフローの手法では限界速度である４．３８（ｃｍ／秒）のところまで比例関係にあるのに対して、本発明の速度推定方式では限界速度６３．６２（ｃｍ／秒）のところまで比例関係にあることが認められる。
したがって、従来のオプティカルフローの手法では速度が４．３８（ｃｍ／秒）、本発明の速度推定方式では６３．６２（ｃｍ／秒）まで正確な速度推定が行えており、本発明の速度推定方式は、従来のオプティカルフローの手法に比べ、約１４．５ 倍も高速移動に対応できていることが理解できる。
【００５１】
また、それ以上速度が速くなると、従来のオプティカルフローの手法と本発明の速度推定方式ともにｙ方向の比例関係がなくなっているため、正確な速度推定はできていないことが認められる。
【００５２】
点の数が３４８６個以外の場合についても、上記表１よりすべての場合において、本発明の速度推定方式では、従来のオプティカルフローの手法に比べて、１１〜２０倍、高速移動に対応できていることが理解できる
【００５３】
次に、各フレームにおいてオプティカルフローを推定する点の数の変化による精度を比較する。図１０〜図１３から分かるように、点の数が少なくなるにつれオプティカルフローの検出値にばらつきが生じていることが認められる。背景のパターンによっては、例えば同一色が連続している場所など推定誤差が出やすい場所がある。本発明の速度推定方式では、１フレーム内の推定しているすべての点におけるフローベクトルを足し合わせたものをそのフレームでのオプティカルフローとして扱っているため、点の数が少ないほど推定誤差が顕著になっていると考えている。また、フローベクトルを出す点の数を増やすことによりフレームレートの変化もほぼないことから、オプティカルフローを推定する点の数はなるべく多い方がよいと考えている。
【００５４】
次に、照度９０ＬＵＸのときの結果を図１５〜図１８に示す。照度１０５０ＬＵＸの場合と同様に、従来のオプティカルフローの手法と本発明の速度推定方式についての限界速度を下記表２にまとめる。照度９０ＬＵＸの場合も従来のオプティカルフローの手法と本発明の速度推定方式ともに、限界速度に至るまでは正確な速度推定が行われていることが確認できる。さらに、表２から分かるように、本発明の速度推定方式は従来のオプティカルフローの手法に比べて、１４〜２０倍高速移動に対応できることが理解できる。
【００５５】
【表２】
2008217330.tif 000004
【００５６】
また、オプティカルフローを推定する点の数による精度の変化も照度１０５０ＬＵＸの場合と同様に、点の数が多いほど検出値にばらつきが少ないことも認められる。
【００５７】
次に、照度の違いによる精度の変化について調べた。照度１０５０ＬＵＸの場合（図１０〜図１３）と照度９０ＬＵＸの場合（図１５〜図１８）を比較すると、それぞれ同じような関係のグラフが得られているため、照度による精度の変化はないと考えられる。また、照度の違いによるフレームレートの大きな変化も見られなかった。
【００５８】
以上より、数字上では本発明の速度推定方式による速度推定では、従来のオプティカルフローの手法の１０倍以上高速に対応できることが確認できた。ここで、従来のオプティカルフローの手法と本発明の速度推定方式の限界速度に達するまでの実際の画像の様子、限界速度時の様子をそれぞれ図１９（ａ）〜（ｄ）に示す。図に対して下向きの方向が、本来オプティカルフローが出るべき方向であり、中心に出ている太線が各フレームでのオプティカルフローである。濃い色の太線が従来手法、薄い太線が提案手法のオプティカルフローを示している。
【００５９】
図１９（ａ）では、従来のオプティカルフローの手法と本発明の速度推定方式ともに正確なオプティカルフローが出ている。しかし、図１９（ｂ）では従来のオプティカルフローの手法のオプティカルフローの出る方向が間違っており、この時点で従来手法は正確な速度推定が行えていないことになる。ただし、図１９（ｃ）のような速さでも本発明の速度推定方式では正確な速度推定が行えている。図１９（ｄ）のような速度まで速くなると本発明の速度推定方式でも速度推定は不可能である。
このように図１９（ａ）〜（ｄ）の画像をも見ても、本発明の速度推定方式は、従来のオプティカルフローの手法より相当高速移動に対応できていることが分かる。上述したように実験結果において、照度による精度の変化がないことも分かり、本発明の速度推定方式の有用性が確認できたことになる。
【産業上の利用可能性】
【００６０】
本発明の速度推定方法および速度推定プログラムは、移動ロボットの速度推定，無線制御ヘリコプタなどの移動物体の速度推定などの用途において利用できる。
また、対象物体の大きさ、カメラとの距離が既知であるとすると、カメラ画像がぶれる程高速で移動する物体であったとしても速度が推定でき、スポーツでの選手やボール（野球，サッカー，テニスなど）の移動速度測定や自動速度違反取締装置にも利用できる。
さらに、カメラをマウス代わりに用いるアプリケーションとして、カメラを動かした方向へマウスポインタが動くシステムを構築することにより、空中でもマウスを利用できるという操作インタフェースが実現できる。
【図面の簡単な説明】
【００６１】
【図１】移動物体の速度を推定するコンピュータの概略構成図
【図２】カメラスキャン方式の説明図
【図３】本発明の速度推定方法の処理フロー図
【図４】本発明の速度推定方法の説明図
【図５】オプティカルフローの画像バターンの説明図
【図６】評価実験装置の模式図
【図７】評価実験で用いた画像処理の標準画像と背景パターンの説明図
【図８】背景を添付した筒を動かす方向を示す図
【図９】評価実験データの取り方の説明図
【図１０】照度が１０５０ＬＵＸのときの測定グラフ（点の数３４８６個の場合）
【図１１】照度が１０５０ＬＵＸのときの測定グラフ（点の数２３１個の場合）
【図１２】照度が１０５０ＬＵＸのときの測定グラフ（点の数４５個の場合）
【図１３】照度が１０５０ＬＵＸのときの測定グラフ（点の数１８個の場合）
【図１４】照度が１０５０ＬＵＸ（点の数３４８６個の場合）のときのｙ方向のみの相関を示すグラフ
【図１５】照度が９０ＬＵＸのときの測定グラフ（点の数３４８６個の場合）
【図１６】照度が９０ＬＵＸのときの測定グラフ（点の数２３１個の場合）
【図１７】照度が９０ＬＵＸのときの測定グラフ（点の数４５個の場合）
【図１８】照度が９０ＬＵＸのときの測定グラフ（点の数１８個の場合）
【図１９】従来のオプティカルフローの手法と本発明の速度推定方式の限界速度に達するまでの実際の画像および限界速度時の画像
【符号の説明】
【００６２】
１  速度推定コンピュータ
２  中央演算処理装置（ＣＰＵ）
３  ＲＯＭ
４  ＲＡＭ
５  キーボード
６  マウス
７  ディスプレイ
８  カメラ
９  ハードディスク（ＨＤ）
【図１】
2008217330.tif 000005
【図２】
2008217330.tif 000006
【図３】
2008217330.tif 000007
【図４】
2008217330.tif 000008
【図５】
2008217330.tif 000009
【図６】
2008217330.tif 000010
【図７】
2008217330.tif 000011
【図８】
2008217330.tif 000012
【図９】
2008217330.tif 000013
【図１０】
2008217330.tif 000014
【図１１】
2008217330.tif 000015
【図１２】
2008217330.tif 000016
【図１３】
2008217330.tif 000017
【図１４】
2008217330.tif 000018
【図１５】
2008217330.tif 000019
【図１６】
2008217330.tif 000020
【図１７】
2008217330.tif 000021
【図１８】
2008217330.tif 000022
【図１９】
2008217330.tif 000023