(57)【要約】【課題】カメラがインターレース方式，ノンインターレース方式のどちらの場合でも、物体若しくはカメラを搭載した物体の高速移動時の速度・位置の推定を精度良く行う。【解決手段】移動する被写体をカメラ手段により連続して撮像するステップと、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける被写体の速度ベクトルを算出するステップと、カメラ画像のフレームレートおよびフレーム毎の被写体の速度ベクトルから被写体の移動量を算出し位置を推定するステップを備え、速度ベクトルを算出するステップは、カメラ手段がインターレース方式の場合、偶数走査線画像と奇数走査線画像のスキャンのタイムラグによる被写体のズレを用いて速度ベクトルを算出し、カメラ手段がノンインターレース方式の場合、被写体の上下・左右方向の歪みを用いて速度ベクトルを算出する。【選択図】図５
2008058221.tif 000002
【特許請求の範囲】
【請求項１】
移動する被写体をカメラ手段により連続して撮像するステップと、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける被写体の速度ベクトルを算出するステップと、カメラ画像のフレームレートおよびフレーム毎の被写体の速度ベクトルから被写体の移動量を算出し位置を推定するステップを備えたことを特徴とする高速移動物体の速度・位置の推定方法。
【請求項２】
カメラ手段が高速移動可能なものであって、前記カメラ手段により連続して撮像するステップと、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける前記カメラ手段の速度ベクトルを算出するステップと、カメラ画像のフレームレートおよびフレーム毎の前記カメラ手段の速度ベクトルから前記カメラ手段の移動量を算出し位置を推定するステップを備えたことを特徴とする高速移動物体の速度・位置の推定方法。
【請求項３】
前記カメラ手段がインターレース方式のものであって、前記速度ベクトルを算出するステップは、偶数走査線画像と奇数走査線画像のスキャンのタイムラグによる被写体のズレを用いて速度ベクトルを算出することを特徴とする請求項１又は２に記載の高速移動物体の速度・位置の推定方法。
【請求項４】
前記カメラ手段がノンインターレース方式のもの又はインターレース方式のものであって、前記速度ベクトルを算出するステップは、スキャンのタイムラグによる被写体の上下・左右方向の歪みを用いて速度ベクトルを算出することを特徴とする請求項１又は２に記載の高速移動物体の速度・位置の推定方法。
【請求項５】
カメラ手段により連続して撮像されたカメラ画像を入力するステップと、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける被写体の速度ベクトルを算出するステップと、カメラ画像のフレームレートおよびフレーム毎の被写体の速度ベクトルから被写体の移動量を算出し位置を推定するステップを、コンピュータに実行させるための高速移動物体の速度・位置の推定プログラム。
【請求項６】
カメラ手段が高速移動可能なものであって、前記カメラ手段により連続して撮像されたカメラ画像を入力するステップと、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける前記カメラ手段の速度ベクトルを算出するステップと、カメラ画像のフレームレートおよびフレーム毎の前記カメラ手段の速度ベクトルから前記カメラ手段の移動量を算出し位置を推定するステップを、コンピュータに実行させるための高速移動物体の速度・位置の推定プログラム。
【請求項７】
前記カメラ手段がインターレース方式のものであって、前記速度ベクトルを算出するステップは、偶数走査線画像と奇数走査線画像のスキャンのタイムラグによる被写体のズレを用いて速度ベクトルを算出することを特徴とする請求項５又は６に記載の高速移動物体の速度・位置の推定プログラム。
【請求項８】
前記カメラ手段がノンインターレース方式のもの又はインターレース方式のものであって、前記速度ベクトルを算出するステップは、スキャンのタイムラグによる被写体の上下・左右方向の歪みを用いて速度ベクトルを算出することを特徴とする請求項１又は２に記載の高速移動物体の速度・位置の推定プログラム。
【請求項９】
請求項５乃至８のいずれか１項に記載の高速移動物体の速度・位置の推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１０】
移動する被写体を連続して撮像し得るカメラ手段と、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける被写体の速度ベクトルを算出する手段と、カメラ画像のフレームレートおよびフレーム毎の被写体の速度ベクトルから被写体の移動量を算出し位置を推定する手段を少なくとも備えたことを特徴とする高速移動物体の速度・位置の推定システム。
【請求項１１】
カメラ手段が高速移動可能なものであって、連続して撮像し得る前記カメラ手段と、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける前記カメラ手段の速度ベクトルを算出する手段と、カメラ画像のフレームレートおよびフレーム毎の前記カメラ手段の速度ベクトルから前記カメラ手段の移動量を算出し位置を推定する手段を少なくとも備えたことを特徴とする高速移動物体の速度・位置の推定システム。
【請求項１２】
前記カメラ手段がインターレース方式のものであって、前記速度ベクトルを算出する手段は、偶数走査線画像と奇数走査線画像のスキャンのタイムラグによる被写体のズレを用いて速度ベクトルを算出することを特徴とする請求項１０又は１１に記載の高速移動物体の速度・位置の推定システム。
【請求項１３】
前記カメラ手段がノンインターレース方式のもの又はインターレース方式のものであって、前記速度ベクトルを算出する手段は、スキャンのタイムラグによる被写体の上下・左右方向の歪みを用いて速度ベクトルを算出することを特徴とする請求項１０又は１１に記載の高速移動物体の速度・位置の推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像を用いた高速移動物体の速度および位置の推定方法、推定プログラム、および推定システムに関する技術である。
【背景技術】
【０００２】
近年、計算機の処理能力が飛躍的に向上し、画像処理やコンピュータビジョンの研究が幅広い分野で応用されるようになってきている。さらに、携帯電話やＰＤＡ（Personal Digital Assistance；個人用の携帯情報端末）に搭載されたカメラの普及によって、小型で高性能なカメラの開発が進められ、カメラは人々の日常生活と密接な関係になってきた。カメラ画像における画像解析の基本的な要素としてはカメラ，物体，光源があり、これらのうちどの要素が移動するかによって解析の方法も異なってくる。
【０００３】
また、近年のコンピュータの小型化・軽量化に伴い、コンピュータを常に身につけて生活するウェアラブルコンピューティングに対する注目が集まっている。そこで、このウェアラブルコンピューティングの技術を用いて、展示会やテーマパーク内でユーザの道案内などを行うヒューマンナビゲーションに関する研究が数多く行われており、正確にユーザの位置を同定する要求が高まっている。従来、屋外での位置推定においては、広範囲での実行が可能であるＧＰＳ（Global Positioning System；全地球測位システム）を利用することが一般的である。
【０００４】
しかし、屋内など人工衛星からの電波が届かない場所では、ＧＰＳを用いた各種サービスを利用することができない。そこで、屋内での位置情報を得る手段として、ＧＰＳの代わりとなる位置検出システムの研究が行われている。位置検出システムに用いられる手法として、屋内の天井，壁，床などにセンサやマーカを配置し、それらをカメラで画像に取り込み解析したり、センサから値を受信したりすることによって、ユーザの位置を割り出すというものが多く見られる。ここで使用されるセンサやマーカには多くの種類が存在し、また、これらの配置の仕方によっても位置推定の手法が異なる。さらには、マーカとセンサの両方を組み合わせた手法なども研究されており、従来から様々な位置推定の手法が存在するが、いずれの手法にも利点と欠点がある。
【０００５】
このうちセンサによって位置推定を行う手法として、赤外線センサや加速度センサなどを用いた手法が挙げられる。センサによる手法では、マーカを用いた手法に比べてカメラが撮影した画像を解析する必要がないため、暗闇などの視界が悪い状況においても精度を保つことができる。
しかし、高価なセンサ類やセンサからの値を解析する受信機を屋内の空間にあらかじめたくさん配置しなければならず、あまり効率的であるとは言えない。
【０００６】
次に、人為的に配置されたマーカによって位置推定を行う手法について説明する。人為的に配置されたマーカは、同定のためのＩＤ情報を有しているものと有していないものに分類することができる。
非ＩＤマーカを用いた位置推定の手法では、マーカ自体は情報を保持していないため、カメラが長時間にわたる移動や、高速での移動を行った場合、位置推定に関する誤差が蓄積されることで次第に精度が落ち、最後には位置を追従することができなくなってしまうといった問題がある。
【０００７】
一方、ＩＤマーカを用いた位置推定の手法では、各マーカに位置情報が登録されているため、ユーザの前後状態の情報を必要とせず、カメラによってマーカ単体を捕捉し、登録されているＩＤ情報を解析するだけでユーザの位置を推定することが可能である。
しかし、この手法ではＩＤ情報を認識する際に、画質が悪いと認識率が下がるため高性能のカメラが必要となる。また、認識したＩＤ情報を解析するための計算量が多く、位置推定を行うにはある程度の時間を要するため、実時間での作業に支障が生じる。
そのため従来では、センサやＩＤマーカを組み合わせるなどして位置の補正を行なっている。
【０００８】
しかし、上述したような従来手法では、対象物体が高速移動時の移動量の算出の不確定さが課題として挙げられている。
これは、従来手法の場合、対象物体がカメラの画像が歪まない程度の比較的低速な移動を行うことを想定されていることに起因する。すなわち、カメラを装着した対象物体が比較的低速で移動を行った場合に、図１（ａ）に示すように、カメラ画像のフレーム間で対応する部分があると速度や位置の推定ができるのであるが、カメラを装着した対象物体が高速で移動を行った場合に、図１（ｂ）に示すように、カメラ画像のフレーム間が飛んでしまってどれだけ移動したかが検出不能となり、速度や位置の推定ができないことになる。また、カメラを装着した対象物体が高速で移動を行った場合に、カメラ画像に歪みが生じるので、マーカを検出することが困難となり、速度や位置の算出が不正確となるのである。
【０００９】
また、フレーム間における被写体の画像データの差分を用いることなく、１フレームのデータを用いて、簡単な演算処理により、被写体の移動速度を検出する方法が知られている（特許文献１，特許文献２）。これは、偶数走査線と奇数走査線のインターレース画像から形成したノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行って、得られる係数値から速度判定を行うものである。
しかし、これらの技術は、対象物の移動速度を推定したり、また、移動量や位置を推定するものではない。
【００１０】
【特許文献１】特開２００４−１２６９２３号公報
【特許文献２】特開２００４−１５９３１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
カメラ画像から対象物あるいはカメラ本体が高速に移動する場合の速度を推定する従来方式では、前フレームと現フレームとで対応する部分を見つけ出し、その変化量からカメラと物体との対象運動が計測できる。しかし、前フレームと現フレームとで対応する部分が見つからない場合の計測はあまり確立していないのが現状である。  そこで本発明は、物体の高速移動時の速度・位置の推定を精度良く行うことを目的とする。特に、特殊なマーカを必要とすることなく推定が行えるものとする。
また、カメラを搭載した移動物体自身の高速移動時の速度・位置の推定も精度良く行うことを目的とする。
さらに、カメラがインターレース方式，ノンインターレース方式のどちらの場合でも、物体若しくはカメラを搭載した移動物体自身の高速移動時の速度・位置の推定を行えることを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の請求項１の高速移動物体の速度・位置の推定方法は、移動する被写体をカメラ手段により連続して撮像するステップと、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける被写体の速度ベクトルを算出するステップと、カメラ画像のフレームレートおよびフレーム毎の被写体の速度ベクトルから被写体の移動量を算出し位置を推定するステップを備えた構成とされたことを特徴とする。
【００１３】
本発明は、カメラの撮像対象の物体が高速で移動する場合を想定し、1 フレームのカメラ画像のみから、カメラの画像の歪みを利用することで速度ベクトルを割り出し、求めた速度ベクトルと前フレームとのフレームレートを用いて移動量を算出し、位置推定を行うものである。
高速移動物体をカメラで撮影する際には、前後のフレームの画像から共通部分を見出せない場合が多い。その場合、フレーム間の対応が不明なため速度の推定ができない。そこで、本発明においては、１フレームの画像のみを処理し、歪みの程度を解析することによって、カメラの被写体の速度ベクトルを割り出し、求めた速度ベクトルと前フレームとのフレームレートを用いて移動量を算出し、位置推定を行うこととしたものである。
【００１４】
本発明は、前後のフレームの画像と全く共通部分がない場合においても、1 フレームの画像のみを処理し、歪みの程度を解析することによって、被写体の速度ベクトルを割り出すことが可能である。また、カメラによってスキャン方式にインターレース方式とノンインターレース方式の２種類が存在するが、本発明では、後述するように方式毎に異なった速度ベクトルの推定方法を提供する。
【００１５】
また、求めた速度ベクトルと前フレームとのフレームレートを用いて移動量を算出するというのは、速度のシーケンスから速度遷移を推定し、推定された速度遷移と前フレームとのフレームレートを用いることによって移動量を算出するものである。
なお、カメラ手段としては、ＵＳＢ（Universal Serial Bus）カメラ，ディジタルカメラ，ディジタルビデオカメラなどが利用できる。
【００１６】
次に、本発明の請求項２の高速移動物体の速度・位置の推定方法は、カメラ手段が高速移動可能なものであって、カメラ手段により連続して撮像するステップと、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおけるカメラ手段の速度ベクトルを算出するステップと、カメラ画像のフレームレートおよびフレーム毎のカメラ手段の速度ベクトルからカメラ手段の移動量を算出し位置を推定するステップを備えた構成とされたことを特徴とする。
【００１７】
カメラが高速で移動する場合を想定し、1 フレームのカメラ画像のみから、カメラの画像の歪みを利用することで速度ベクトルを割り出し、求めた速度ベクトルと前フレームとのフレームレートを用いて移動量を算出し、位置推定を行う。
ここで、カメラ手段としては、ＵＳＢ（Universal Serial Bus）カメラ，ディジタルカメラ，ディジタルビデオカメラなどが利用できる。
本発明では、前後のフレームの画像と全く共通部分がない場合においても、1 フレームの画像のみを処理し、歪みの程度を解析することによって、カメラの速度ベクトルを割り出すことが可能である。また、カメラによってスキャン方式にインターレース方式とノンインターレース方式の２種類が存在するが、本発明では、方式毎に異なった速度ベクトルの推定方法を提供する。
また、本発明は、速度のシーケンスから速度遷移を推定し、推定された速度遷移と前フレームとのフレームレートを用いることによってカメラの移動量の算出を行うものである。
【００１８】
ここで、本発明の請求項３の高速移動物体の速度・位置の推定方法は、請求項１又は２の高速移動物体の速度・位置の推定方法において、カメラ手段がインターレース方式のものであって、速度ベクトルを算出するステップは、偶数走査線画像と奇数走査線画像のスキャンのタイムラグによる被写体のズレを用いて速度ベクトルを算出することを特徴とするものである。
【００１９】
カメラ手段がインターレース方式の場合、被写体が高速移動する若しくはカメラ手段が高速移動するものである場合、偶数走査線画像と奇数走査線画像のスキャンのタイムラグによって、カメラ画像に被写体のズレが発生する。
このズレから被写体の移動速度ベクトル（移動速度と移動方向）を求めることができるのである。
また、カメラ手段が高速移動するものであれば、この被写体の速度ベクトルで、向きを逆方向とすることで、カメラ手段の速度ベクトルを求めることができる。
【００２０】
また、本発明の請求項４の高速移動物体の速度・位置の推定方法は、請求項１又は２の高速移動物体の速度・位置の推定方法において、カメラ手段がノンインターレース方式のもの又はインターレース方式のものであって、速度ベクトルを算出するステップは、スキャンのタイムラグによる被写体の上下・左右方向の歪みを用いて速度ベクトルを算出することを特徴とするものである。
【００２１】
カメラ手段がノンインターレース方式の場合において、被写体が高速移動する若しくはカメラ手段が高速移動するものである場合、スキャンの時間が長いために、スキャンの最中に対象が移動してしまうため、カメラ画像に歪みが発生する。  カメラ画像に発生する被写体の上下方向，左右方向の歪みから被写体の移動速度ベクトル（移動速度と移動方向）を求めることができるのである。  また、カメラ手段が高速移動するものであれば、この被写体の速度ベクトルで、向きを逆方向とすることで、カメラ手段の速度ベクトルを求めることができる。  また、被写体のゆがみを利用するノンインターレースの方式は、インターレース方式の場合にも利用できる。すなわち、偶数ライン画像だけ、奇数ライン画像だけをみたときに、被写体が歪む場合があり、上述のインターレース方式では検出できないくらい高速な場合（すなわち、インターレース方式で、被写体がズレて見えるのではなく、被写体が歪んで見える場合）に、同様にカメラ画像に発生する被写体の上下方向，左右方向の歪みから被写体の移動速度ベクトル（移動速度と移動方向）を求めることができるのである。
【００２２】
本発明の請求項５〜９の高速移動物体の速度・位置の推定プログラムは、上記の請求項１〜４の高速移動物体の速度・位置の推定方法のステップをコンピュータに実行させるプログラム若しくは当該プログラムを記録したコンピュータ読み取り可能な記録媒体である。  
【００２３】
次に、本発明の請求項１０の高速移動物体の速度・位置の推定システムは、移動する被写体を連続して撮像し得るカメラ手段と、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおける被写体の速度ベクトルを算出する手段と、カメラ画像のフレームレートおよびフレーム毎の被写体の速度ベクトルから被写体の移動量を算出し位置を推定する手段を少なくとも備えた構成とされる。  
【００２４】
また、本発明の請求項１１の高速移動物体の速度・位置の推定システムは、カメラ手段が高速移動可能なものであって、連続して撮像し得るカメラ手段と、１フレームのカメラ画像における被写体の形状の歪み若しくはズレから、該フレームにおけるカメラ手段の速度ベクトルを算出する手段と、カメラ画像のフレームレートおよびフレーム毎のカメラ手段の速度ベクトルからカメラ手段の移動量を算出し位置を推定する手段を少なくとも備えた構成とされるものである。  
【００２５】
また、本発明の請求項１２の高速移動物体の速度・位置の推定システムは、請求項１０又は１１の高速移動物体の速度・位置の推定システムにおいて、カメラ手段がインターレース方式のものであって、速度ベクトルを算出する手段は、偶数走査線画像と奇数走査線画像のスキャンのタイムラグによる被写体のズレを用いて速度ベクトルを算出することを特徴とするものである。
【００２６】
また、本発明の請求項１３の高速移動物体の速度・位置の推定システムは、請求項１０又は１１の高速移動物体の速度・位置の推定システムにおいて、カメラ手段がノンインターレース方式のもの又はインターレース方式のものであって、速度ベクトルを算出する手段は、スキャンのタイムラグによる被写体の上下・左右方向の歪みを用いて速度ベクトルを算出することを特徴とするものである。
【発明の効果】
【００２７】
本発明に係る高速移動物体の速度・位置の推定方法、推定プログラムおよび推定システムによれば、１フレーム内の画像の歪みやズレを用いて、その画像フレームの撮影時の速度ベクトルを推定でき、また求めた速度ベクトルから移動量・位置の推定を精度良く行えるといった効果がある。
【発明を実施するための最良の形態】
【００２８】
先ず、カメラのスキャンの方法には大きく分けて２通りある。１つは上方の一点から一行ずつスキャンしていくノンインターレース方式であり、他の１つは上方の一点から一行飛ばし、すなわち奇数行をスキャンしていき、次に飛ばした偶数行をスキャンするインターレース方式である。１つの画面をスキャンするときには、水平方向の走査線を上から下に走査することを繰り返し行っている。このとき、１つの画面（フレーム）の表示を２回に分けて行い、１回目に奇数番目の線を描き、２回目に偶数番目の線を描く方式のことを「インターレース」と呼んでいる。また、１つの画面を１回の走査で表示する方式のことは「ノンインターレース」と呼んでいる（図２参照）。  
【００２９】
この二つのスキャンの方法は、いずれも高速の物体を捉える場合や、カメラ本体が高速に移動する場合、スキャンの具合によって取得した画像が歪んだり、画像がズレたりすることになる。この画像の歪みやズレは、スキャンの実行時間によるもので、ノンインターレース方式の場合は、図３に示されるように対象物が伸びたり縮んだりする。すなわち、図３（ａ）のような静止状態の画像（円形画像）が、スキャンのタイムラグによって、図３（ｂ）の移動画像のように楕円形状に歪むのである。このことを利用して、図３（ｃ）のように伸びる方向と伸びる距離を求めて、スキャンのタイムラグから速度ベクトルを求めるのである。
逆にインターレース方式の場合は、図４のように偶数走査線画像と奇数走査線画像の被写体のズレが生じることになる。図４は偶数走査線画像と奇数走査線画像のタイムラグにより、図４（ａ）のような静止状態の画像（円形画像）が、スキャンのタイムラグによって、図４（ｂ）の移動画像のように画像がズレるのである。このことを利用して、図４（ｃ）のように伸びる方向と伸びる距離を求めて、スキャンのタイムラグから速度ベクトルを求めるのである。
【００３０】
図５，図６は、本発明に係る高速移動物体の速度・位置の推定方法のフローチャート図を示している。図５はカメラがインターレース方式の場合を示しており、図６はカメラがノンインターレース方式の場合を示している。
【００３１】
先ず、図５のフローチャートを用いて、カメラがインターレース方式の場合の高速移動物体の速度・位置の推定方法について説明する。
ここで、高速の程度は規定しないが、１フレームの画像データに歪みやズレが確認できる程度の速度を高速の領域と考えている。
図５のフローチャートに示されるように、先ず、被写体をカメラ手段により連続して撮像する（ステップＳ１１）。次に、１フレームの画像データを取得する（ステップＳ１２）。そして、１フレームの画像データにおける偶数走査線画像と奇数走査線画像のスキャンのタイムラグによる被写体のズレ幅を求める（ステップＳ１３）。このズレ幅と偶数走査線画像と奇数走査線画像のスキャンのタイムラグ（時間）から、被写体の移動速度を計算する（ステップＳ１４）。次に、ズレ方向から被写体の移動方向を求める（ステップＳ１５）。そして、求めた被写体の移動速度および移動方向により、被写体の速度ベクトルを推定する（ステップＳ１６）。
【００３２】
上記ステップ１２からステップ１６までを繰り返し、フレーム毎の被写体の速度ベクトルを算出する。
そして、カメラ画像のフレームレートから各フレームの時間（撮影間隔）を求め、上記のフレーム毎の被写体の速度ベクトルから被写体の移動量を算出する（ステップ１７）。各フレームの時間（撮影間隔）は短いため、各フレームにおける速度ベクトルに、フレームの撮影間隔時間とから移動量と向きを推定し、それらを加算していくことにより、位置を推定するのである（ステップ１８）。
図７は、速度から移動量の算出方法の説明図である。取得した１フレーム毎の画像データからの推定速度と、前フレームとのフレームレート（すなわち撮影間隔）から直線的に距離を求めるものである。一連の動きが最終的に実際の移動量に近づくと予想される。更に、なめらかに速度を補正することにより実際の移動量に限りなく近づくと予想される。  
【００３３】
次に、図６のフローチャートを用いて、カメラがノンインターレース方式の場合の高速移動物体の速度・位置の推定方法について説明する。
図６のフローチャートに示されるように、先ず、被写体をカメラ手段により連続して撮像する（ステップＳ２１）。次に、１フレームの画像データを取得する（ステップＳ２２）。そして、１フレームの画像データにおける被写体の上下・左右方向の歪みを求める（ステップＳ２３）。これは、スキャン方向（通常はカメラ画像の上方から下方）の被写体形状の伸びを歪みととらえ、その歪んだ形状を取得するのである。そして、事前に登録されている被写体の静止状態の形状との差分を行い、スキャン方向への伸び幅を求めるのである。この歪み幅（伸び幅）とスキャンのタイムラグ（時間）から、被写体の移動速度を計算する（ステップＳ２４）。次に、歪み方向から被写体の移動方向を求める（ステップＳ２５）。そして、求めた被写体の移動速度および移動方向により、被写体の速度ベクトルを推定する（ステップＳ２６）。
【００３４】
上記ステップ２２からステップ２６までを繰り返し、フレーム毎の被写体の速度ベクトルを算出する。
そして、カメラ画像のフレームレートから各フレームの時間（撮影間隔）を求め、上記のフレーム毎の被写体の速度ベクトルから被写体の移動量を算出する（ステップ２７）。各フレームの時間（撮影間隔）は短いため、各フレームにおける速度ベクトルに、フレームの撮影間隔時間とから移動量と向きを推定し、それらを加算していくことにより、位置を推定するのである（ステップ２８）。
【００３５】
上記は被写体が高速移動する場合であるが、カメラが高速移動物体（例えば、高速移動ラジコン・ヘリコプター）に搭載され、カメラ自体が高速移動する場合も同様な処理フローとなる。但し、ベクトル方向が被写体の移動ベクトル方向と逆になる。
【００３６】
次に、図８は、本発明に係る高速移動物体の速度・位置の推定システムの概略システム構成図を示している。速度・位置の推定システム１は、中央演算処理装置（ＣＰＵ）２を中心に、上述した速度・位置の推定方法のステップを中央演算処理装置に実行されるプログラムが格納されているＲＯＭ３、上記プログラムの実行時に使用されるＲＡＭ４、ヒューマンマシン・インターフェースであるキーボード５及びマウス６、ディスプレイ７、それと被写体を撮影するカメラ８と、カメラ８で撮影した画像データ及び符号化処理後の符号データを記録するハードディスク（ＨＤ）９により構成される。
【００３７】
以下の本実施例では、本発明に係る高速移動物体の速度・位置の推定方法を用いて、従来手法では不正確であった高速移動物体の速度ベクトルおよび移動量を、精度良く算出できることを、実験データを参照しながら説明する。
【実施例１】
【００３８】
本実施例は、屋内での位置同定システムの１つとして、格子状パターンに配置された多数の同一色，同一形状マーカをカメラ撮影することによって位置推定を行うものである。
本実施例で用いる実験システムの構成を図９に示す。カメラから２７．５ｃｍの距離に格子状パターンに黒色、直径２ｃｍ，同一色，同一形状の円形マーカを配置したものである。背景は、すべて白色に限定している。カメラで撮影された映像はコンピュータに送られている。このシステムで使用したカメラは、アールエフ社製「The CARD」である。を使用する。このカメラは、インターレース方式で画像のスキャンを行うものである。
【００３９】
ここで、実験の手順を図１０のフローチャートで説明する。先ず、カメラで撮影した２５６階調の画像を取得する。画像の大きさは横の画素数６４０，縦の画素数４８０である。次に、マーカ検出を容易にするために画像に二値化処理を行う。二値化の閾値は、一般的な明るさ（照度1000LUX-1300LUX)のもとで黒色マーカの検出を行いやすい３５としている。なお、この値は、その場の明るさに応じて容易に変更できる。二値化処理を行った画像の各ピクセルの画素値は、白なら２５５，黒なら０となっている。それを縦方向に奇数行（偶数行）合計した値を１００で割ったもので横軸のヒストグラムを作る。そこから閾値５９０以下かつ前列も５９０以下である列の集合をとりだし、その中間の列をｘ座標とする。集合が複数ある場合にはｘ座標が集合の個数分だけ求まることになる。
【００４０】
導き出したｘ座標を中心としてに横１２８，縦９６の小窓を縦に５つ作り、それぞれに横軸，縦軸の画素ヒストグラムを作る。作り方は上記の全体画像のヒストグラムの作り方と同じであり、各ピクセルの画素値を奇数行（偶数行）縦方向に合計した値を合計した値を１００で割ったもので横軸のヒストグラム，画素値を横方向に合計した値を１００で割ったもので縦軸のヒストグラムを作る。そこから横軸の閾値以下の列の集合を取り出して、その中間の列をｘ座標とし、縦軸の閾値以下の行の集合を取り出して、その中間の行をｙ座標とする。その取り出したｘ座標ｙ座標から奇数行（偶数行）ポイントを取り出す。
【００４１】
しかし、このままだと同じマーカに複数のポイントを撮ってしまう場合がある。そこでマーカの一つのポイントを中心として、半径約４０画素にあるポイントを同じポイントとみなすようにしている。この半径４０画素という値は、マーカからの距離27.5ｃｍに位置したカメラから取得した画像において、同じマーカのポイント集合の範囲を十分に確保できる値である。
これで図１１のように各マーカに奇数行，偶数行一つずつのポイントがついている状態になる。
【００４２】
次に、各奇数マーカ，偶数マーカの対応付けを行う。この対応付けは奇数マーカを中心に半径１００画素の範囲で偶数マーカを探し出す。この数字は静止時に隣のマーカが入らず、かつ移動時、さらには高速移動時にも隣のマーカが入らない値である。
そして、対応付けされた奇数マーカ偶数マーカの距離と方向を求め、各マーカ全体の平均値をとる。このとき、極端に不自然なマーカの距離と方向は省くことにした。平均値からあらかじめ実験していたデータを元に速度ベクトルを作った。前画像とのフレームレートとで移動量を算出した。
【００４３】
実験環境としては、直径２ｃｍのマーカを１０ｃｍおきに床に並べたものを用いて、カード型小型カメラを一定の高さにして、マーカの上を平行移動させている。
この実験は、取得した画像中のマーカの奇数点と偶数点の間の画素数を実空間の速度ベクトルに変換する時の値を求める。手順は次の通りである。
【００４４】
１）実験環境のマーカの上を平行移動させる。
２）１フレームごとに画像を記録しておく。そのとき、その画像内の奇数点偶数点間の画素の平均値と前画像との間のフレームレートを記録する。
３）等速に近い連続したフレームを取り出す。
４）取り出した連続フレームの画像から実空間の移動量を求め、フレームレートから速度ベクトルを求める。
５）上記１）〜４）の作業を６０回繰り返す。
６）求めた速度ベクトルと画素数の平均値をグラフにプロットする。
７）グラフから近似直線を求め、その傾きから画素数から速度ベクトルへの変換値を求める。
【００４５】
図１２は、上記の実験における６０サンプルの画像の速度と画素数をプロットした図である。この速度推定の実験では、変換値は、4.27716 となった。
【００４６】
次に、実際動いた距離とシステムによって算出された移動量とのばらつきを求める実験データについて説明する。
１）上述の実験環境にて４００ｃｍ平行移動させる。
２）取り込んだ画像内の奇数点偶数点間の画素の平均値から速度ベクトルを求める。
３）求めた速度ベクトルと、前画像の間のフレームレートから、前画像からの移動量を算出する。
４）上記２），３）の作業を繰り返し、積み重ねることで、全体の移動量を算出する。
５）上記１）〜４）の作業を３０回繰り返す。
６）得られた値をグラフにし、実際の移動量とのばらつきを調べる。
７）得られたグラフを図１３に示す．
【００４７】
上述した速度推定実験では、図１２からも明らかなように、１つの画像から取り出される奇数マーカ，偶数マーカの間の平均画素数は実空間の速度に比例しており、画素数から速度を算出することができることが確認できる。
図１４は、１フレーム画像からの速度推定方法の説明図である。図１４（ｂ）で、マーカの外側の円より外側に出ると隣接するマーカの対応関係がわからなくなる限界領域を示している。また同心円の中心が奇数ラインのスキャンしたマーカ画像で、それぞれ右にシフトしてズレて見えるのが偶数ラインのスキャンしたマーカ画像である。奇数ラインをスキャンしてから偶数ラインをスキャンしている。また、図１４（ｂ）のカメラ画像の中央にある大きな円は、位置推定のための最初と最後の位置あわせのための基準を示したものである。  また、評価実験ではからも明らかなように、４００ｃｍの移動に対して誤差が、−１０ｃｍから＋１０ｃｍという、かなり精度の高い結果が得られている。実験環境を向上して、速度推定実験のサンプルを増やすとより精度の高い値が得られると予想される。
【００４８】
本実験は、推定した速度を、前フレームとのフレームレートとで直線的に補完して、移動量を算出したが、図１５のようにフレーム間の急激な速度変化による位置のずれが生じる可能性があるため、フレーム間の速度を滑らかに補完することが加えることにより、さらに精度が向上することが期待できる。
【実施例２】
【００４９】
実施例２では、取得した画像中のマーカの奇数点と偶数点の間の画素数を実空間の速度ベクトルに変換する時の値を求め方の一例を示す。実験装置として、直径1.5ｃｍのマーカを１０ｃｍ間隔に敷き詰めた帯の終端同士を繋げ合わせて円を作製する。円の円周は２００ｃｍにしている。この装置では、装置にとりつけたハンドルを１周回すと、円自体は３周回るようにしている。従って、装置ハンドルを１周回転するとことになり、円周部分の移動距離は６００ｃｍとなる。また、装置を１周回すのにかかる時間を測定する事前に測定している。
【００５０】
次に、円周の外側から円周上のマーカを撮影し、そのカメラ画像をフレームごとに画像を記録しておく。そのとき、その画像内の奇数点偶数点間の画素の平均値と前画像との間のフレームレートを記録しておく。取り出した連続フレームの画像から実空間の移動量を求め、装置を１周回すのにかかる時間を用いて、１周装置を回すときの平均速度を計算する。この作業を６０回繰り返す。
【００５１】
求めた速度ベクトルと画素数の平均値をグラフにプロットする。グラフから近似直線を求め、その傾きから画素数から速度ベクトルへの変換値を求める。カメラの方向を変えて、カメラに対して８方向にマーカが動くようにし、それぞれの方向について同様の実験を行う。
【００５２】
次に、以下の実験により、実際動いた距離とシステムによって算出された移動量とのばらつきを求める。
１）実施例２の実験環境にて、６００ｃｍカメラを移動させる。すなわち、装置を１周させる。
２）速度推定実験で求めた変換値を用いて、前画像からの移動量を算出する。３）取り出した連続フレームの画像から実空間の移動量を求める。４）上記２），３）の作業を繰り返し積み重ねることで、全体の移動量を算出する。５）上記１）〜４）の作業を繰り返す。
６）得られた値をグラフ化し、実際の移動量とのばらつきを評価する。  
【００５３】
実施例２の速度・位置推定実験として、６方向（進行方向，後退方向，右方向，左方向，左斜め前方向，右斜め後ろ方向）について実験を行った。その結果を図１６〜図２１のグラフに示す。結果として得られた変換値はそれぞれ、進行方向：2.4504, 後退方向：2.1805, 右方向：2.0606，左方向：2.1377, 左斜め前方向：2.0623, 右斜め後ろ方向：1.9508 であった。
いずれも速度と画素ズレの量の間に相関関係が見られる。方向による変換値の違いは、マーカをスキャンし終わるまでに要する時間の違いであり、想定に整合した値が得られている。
【００５４】
また、進行方向の位置推定実験の結果を図２２のグラフに示す。
ここで装置１周は１０秒程度で回転している。すなわち平均速度は約６０ｃｍ／ｓである。またフレームレートは約７フレーム／秒であった。６００ｃｍの移動に対して検出値の誤差は−３０ｃｍ〜＋２０ｃｍに収まっており、５％以下の精度が得られたといえる。実験中マーカが検出できないフレームがいくかあった（５％程度）が、主としてカメラ画像にノイズが入っている場合であった。カメラ画像の品質を上げるか、画像処理の耐ノイズ性能を向上することで、性能は向上するものと考えられる。
【産業上の利用可能性】
【００５５】
本発明に係る高速移動物体の速度・位置の推定方法、推定プログラムおよび推定システムは、移動ロボットの位置の推定，無線制御ヘリコプタなどの移動物体の速度の推定，スポーツ選手の移動速度の推定，ボール（野球，サッカー，テニスなど）の移動速度の推定などの用途において利用できる。
【図面の簡単な説明】
【００５６】
【図１】カメラを装着した対象物体が高速で移動の場合の非ＩＤマーカにおける問題点の説明図
【図２】インターレース方式とノンインターレース方式の説明図
【図３】ノンインターレース方式の場合の被写体の歪みについての説明図
【図４】インターレース方式の場合の被写体のズレについての説明図
【図５】インターレース方式の場合の高速移動物体の速度・位置の推定方法のフローチャート図
【図６】ノンインターレース方式の場合の高速移動物体の速度・位置の推定方法のフローチャート図
【図７】速度から移動量の算出方法の説明図
【図８】本発明に係る高速移動物体の速度・位置の推定システムの概略システム構成図
【図９】実施例１で用いる実験システムの構成図
【図１０】実施例１の実験の手順のフローチャート
【図１１】奇数行偶数行のポイント
【図１２】実空間の速度とそのときの画像の平均画素数
【図１３】カメラを４００ｃｍ移動したときのシステムの算出した移動量とばらつき
【図１４】１フレーム画像からの速度推定方法の説明図
【図１５】フレーム間の急激な速度変化による位置のずれが生じる問題点の説明図
【図１６】速度推定実験結果（進行方向）のグラフ図
【図１７】速度推定実験結果（後退方向）のグラフ図
【図１８】速度推定実験結果（右方向）のグラフ図
【図１９】速度推定実験結果（左方向）のグラフ図
【図２０】速度推定実験結果（左斜め前方向）のグラフ図
【図２１】速度推定実験結果（右斜め後ろ方向）のグラフ図
【図２２】位置推定実験結果（進行方向）のグラフ図
【符号の説明】
【００５７】
１  速度・位置の推定システム
２  中央演算処理装置（ＣＰＵ）  ３  ＲＯＭ  ４  ＲＡＭ  ５  キーボード
６  マウス
７  ディスプレイ
８  カメラ
９  ハードディスク（ＨＤ）
【図５】
2008058221.tif 000003
【図６】
2008058221.tif 000004
【図１】
2008058221.tif 000005
【図２】
2008058221.tif 000006
【図３】
2008058221.tif 000007
【図４】
2008058221.tif 000008
【図７】
2008058221.tif 000009
【図８】
2008058221.tif 000010
【図９】
2008058221.tif 000011
【図１０】
2008058221.tif 000012
【図１１】
2008058221.tif 000013
【図１２】
2008058221.tif 000014
【図１３】
2008058221.tif 000015
【図１４】
2008058221.tif 000016
【図１５】
2008058221.tif 000017
【図１６】
2008058221.tif 000018
【図１７】
2008058221.tif 000019
【図１８】
2008058221.tif 000020
【図１９】
2008058221.tif 000021
【図２０】
2008058221.tif 000022
【図２１】
2008058221.tif 000023
【図２２】
2008058221.tif 000024