(57)【要約】【課題】画像に表示される物体を認識する装置及び方法等を提供する。【解決手段】特徴点選択部８は、特徴点スコア値選択部６から入力された前記画素情報から特徴点の候補となる候補点を特定し、当該新たに特定された候補点が、既に設定された特徴点の領域に存在すると判定した場合には、上記新たに特定された候補点と、当該候補点が存在する既存の特徴点の領域に対応する特徴点のスコア値の大きさを判定し、新たに特定された候補点のスコア値が大きいと判断した場合には、当該新たに特定された候補点を新たな特徴点として設定する。【選択図】図１
2012079004.tif 000002
【特許請求の範囲】
【請求項１】
画像に示される特徴点を追跡処理し当該特徴点の動きベクトルを取得するために、入力された前記画像を構成し前記画像における所定の位置情報を有する画素情報から、所定の順序に従って所定の数量の前記特徴点を順次設定する特徴点抽出装置であって、
入力された前記画素情報から特徴点の候補となる候補点を特定する候補点特定手段と、
前記候補点の評価値を示すスコア値の入力を受け付けるスコア値入力手段と、
前記候補点特定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在するか否かを判定する領域判定手段と、
前記領域判定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在すると判定された場合に、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値の大きさを判定するスコア値判定手段と、
前記スコア値判定手段によって、前記候補点のスコア値が大きいと判定された場合には、前記候補点を前記画像における新たな特徴点として設定する特徴点設定手段と、
を備えることを特徴とする特徴点抽出装置。
【請求項２】
請求項１に記載の特徴点抽出装置であって、
前記画像を所定の領域毎に分割した分割領域を設定する分割領域設定手段と、
前記候補点特定手段によって新たに特定された候補点が属する分割領域を基準に、当該基準とされた分割領域から所定の分割領域の範囲内に既に特定された特徴点が存在するか否かを判定する分割領域判定手段と、を備え、
前記スコア値判定手段は、前記分割領域判定手段によって、前記基準とされた分割領域から所定の分割領域の範囲内に既に特定された特徴点が存在する領域であって、前記新たに特定された候補点が、前記既に特定された特徴点から予め定められた領域内に存在すると判定された場合には、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値を比較することを特徴とする特徴点抽出装置。
【請求項３】
請求項１に記載の特徴点抽出装置であって、
前記領域判定手段によって、前記新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在しないと判定された場合には、前記特徴点判定手段は、前記候補点を前記画像における新たな特徴点として設定することを特徴とする特徴点抽出装置。
【請求項４】
請求項２に記載の特徴点抽出装置であって、
前記分割領域判定手段によって、前記新たに特定された候補点が属する分割領域を基準に、当該基準とされた分割領域から所定の分割領域の範囲内に既に特定された特徴点が存在しないと判定された場合には、前記特徴点判定手段は、前記候補点を前記画像における新たな特徴点として設定することを特徴とする特徴点抽出装置。
【請求項５】
請求項１乃至４の何れか１項に記載の特徴点抽出装置が搭載されたことを特徴とする画像に示される特徴点を追跡処理し当該特徴点の動きベクトルを取得する画像処理装置。
【請求項６】
画像に示される特徴点を追跡処理し当該特徴点の動きベクトルを取得するために、入力された前記画像を構成し前記画像における所定の位置情報を有する画素情報から、所定の順序に従って所定の数量の前記特徴点を順次設定する特徴点抽出装置における特徴点抽出方法であって、
入力された前記画素情報から、特徴点の候補となる候補点を特定する特徴点候補特定工程と、
前記候補点の評価値を示すスコア値の入力を受け付けるスコア値入力工程と、
前記特徴点候補特定工程によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在するか否かを判定する領域判定工程と、
前記領域判定工程によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在すると判定された場合に、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値の大きさを判定するスコア値判定工程と、
前記スコア値判定工程によって、前記候補点のスコア値が大きいと判定された場合には、前記候補点を前記画像における新たな特徴点として設定する特徴点設定工程と、
を有することを特徴とする特徴点抽出方法。
【請求項７】
画像に示される特徴点を追跡処理し当該特徴点の動きベクトルを取得するために、入力された前記画像を構成し前記画像における所定の位置情報を有する画素情報から、所定の順序に従って所定の数量の前記特徴点を順次設定する特徴点抽出装置に含まれるコンピュータを、
入力された前記画素情報から、特徴点の候補となる候補点を特定する候補点特定手段、
前記候補点の評価値を示すスコア値の入力を受け付けるスコア値入力手段、
前記候補点特定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在するか否かを判定する領域判定手段、
前記領域判定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在すると判定された場合に、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値の大きさを判定するスコア値判定手段、
前記スコア値判定手段によって、前記候補点のスコア値が大きいと判定された場合には、前記候補点を前記画像における新たな特徴点として設定する特徴点設定手段、
として機能させることを特徴とする特徴点抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に表示される物体を認識する装置及び方法等の技術分野に関する。
【背景技術】
【０００２】
画像に表示される物体を認識し、当該物体の動きを解析する画像処理技術では、例えば、当該画像から公知のＫＬＴ（Kanade Lucas Tomasi）法、Ｍｏｒａｖｅｃオペレータ、ＳＵＳＡＮオペレータ、又はＨａｒｒｉｓオペレータ等を用いて特徴点が抽出され、抽出された特徴点に対して、ニュートンラプソン法を用いて追跡処理が行われている。
【０００３】
また、画像からバランスよく特徴点を抽出するための技術として、特許文献１では、入力された画像を所定の部分画像に分割し、各部分画像中からそれぞれ所定の数だけ特徴点を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２００６−３５０８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した各方法による特徴点の抽出では、画像における輝度勾配（輝度の差）が大きい画素（評価値が高い値）の周辺が特徴点として抽出されるため、当該画像の評価値が高い値が局所に集中してしまうという問題点があった。
【０００６】
すなわち、上記特徴点の抽出方法では、輝度勾配が大きい画素として表示される人間の服装や画像のエッジ部分等（例えば、画像の輪郭部分や服のチェック柄等）を特徴点として抽出してしまう結果、抽出された特徴点が一点に密集し、画面全体にバランス良く特徴点の抽出が行えず、また、当該特徴点を用いて追跡等の処理を行ったとしても正確な動作解析等が行えないとの問題点があった。
【０００７】
そこで、本発明は上記各問題点に鑑みてなされたもので、その目的の一例は、撮像された画像から正確かつ可用性のある特徴点を抽出する装置及び方法等を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１に記載の発明は、画像に示される特徴点を追跡処理し当該特徴点の動きベクトルを取得するために、入力された前記画像を構成し前記画像における所定の位置情報を有する画素情報から、所定の順序に従って所定の数量の前記特徴点を順次設定する特徴点抽出装置であって、前記画素情報から、特徴点の候補となる候補点を特定する候補点特定手段と、前記候補点の評価値を示すスコア値の入力を受け付けるスコア値入力手段と、前記候補点特定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在するか否かを判定する領域判定手段と、前記領域判定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在すると判定された場合に、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値の大きさを判定するスコア値判定手段と、前記スコア値判定手段によって、前記候補点のスコア値が大きいと判定された場合には、前記候補点を前記画像における新たな特徴点として設定する特徴点設定手段と、を備えることを特徴とする。
【０００９】
この発明によれば、撮像された画像から正確かつ可用性のある特徴点を抽出することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の特徴点抽出装置であって、前記画像を所定の領域毎に分割した分割領域を設定する分割領域設定手段と、前記候補点特定手段によって新たに特定された候補点が属する分割領域を基準に、当該基準とされた分割領域から所定の分割領域の範囲内に既に特定された特徴点が存在するか否かを判定する分割領域判定手段と、を備え、前記スコア値判定手段は、前記分割領域判定手段によって、前記基準とされた分割領域から所定の分割領域の範囲内に既に特定された特徴点が存在する領域であって、前記新たに特定された候補点が、前記既に特定された特徴点から予め定められた領域内に存在すると判定された場合には、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値を比較することを特徴とする。
【００１１】
この発明によれば、特徴点抽出装置の処理負担を軽減しつつ、撮像された画像から正確かつ可用性のある特徴点を抽出することができる。
【００１２】
請求項３に記載の発明は、請求項１に記載の特徴点抽出装置であって、前記領域判定手段によって、前記新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在しないと判定された場合には、前記特徴点判定手段は、前記候補点を前記画像における新たな特徴点として設定することを特徴とする。
【００１３】
請求項４に記載の発明は、請求項２に記載の特徴点抽出装置であって、前記分割領域判定手段によって、前記新たに特定された候補点が属する分割領域を基準に、当該基準とされた分割領域から所定の分割領域の範囲内に既に特定された特徴点が存在しないと判定された場合には、前記特徴点判定手段は、前記候補点を前記画像における新たな特徴点として設定することを特徴とする。
【００１４】
請求項５に記載の発明は、画像に示される特徴点を追跡処理し当該特徴点の動きベクトルを取得する請求項１乃至４の何れか１項に記載の特徴点抽出装置が搭載されたことを特徴とする。
【００１５】
請求項６に記載の発明は、画像に示される特徴点を追跡処理し当該特徴点の動きベクトルを取得するために、入力された前記画像を構成し前記画像における所定の位置情報を有する画素情報から、所定の順序に従って所定の数量の前記特徴点を順次設定する特徴点抽出装置における特徴点抽出方法であって、前記画素情報から、特徴点の候補となる候補点を特定する特徴点候補特定工程と、前記候補点の評価値を示すスコア値の入力を受け付けるスコア値入力工程と、前記特徴点候補特定工程によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在するか否かを判定する領域判定工程と、前記領域判定工程によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在すると判定された場合に、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値の大きさを判定するスコア値判定工程と、前記スコア値判定工程によって、前記候補点のスコア値が大きいと判定された場合には、前記候補点を前記画像における新たな特徴点として設定する特徴点設定工程と、を有することを特徴とする。
【００１６】
請求項７に記載の発明は、画像に示される被写体の特徴点を追跡処理し当該被写体の運動解析を行わせるために、入力された前記画像を構成し前記画像における所定の位置情報を有する画素情報から、所定の順序に従って所定の数量の前記特徴点を順次設定する特徴点抽出装置に含まれるコンピュータを、前記画素情報から、特徴点の候補となる候補点を特定する候補点特定手段、前記候補点の評価値を示すスコア値の入力を受け付けるスコア値入力手段、前記候補点特定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在するか否かを判定する領域判定手段、前記領域判定手段によって、新たに特定された候補点が、既に特定された特徴点から予め定められた領域内に存在すると判定された場合に、前記新たに特定された候補点と、前記既に特定された特徴点が候補点として特定された際に入力されたスコア値の大きさを判定するスコア値判定手段、前記スコア値判定手段によって、前記候補点のスコア値が大きいと判定された場合には、前記候補点を前記画像における新たな特徴点として設定する特徴点設定手段、として機能させることを特徴とする。
【発明の効果】
【００１７】
以上のように、本発明によれば、撮像された画像から正確かつ可用性のある特徴点を抽出することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】特徴点テーブル及び候補点テーブルの詳細を示す図である。
【図３】特徴点選択部８の動作の概要を模式的に表した模式図である。
【図４】特徴点選択部８の動作を示すシーケンス図である。
【発明を実施するための形態】
【００１９】
［１．画像処理装置の構成及び機能概要］
まず、本願の最良の実施形態を添付図面に基づいて説明する。
【００２０】
なお、以下に説明する実施の形態は、画像処理装置に対して本願の特徴点抽出装置を適用した場合の実施形態である。
【００２１】
なお、本願の画像処理装置は、撮像された画像に表示される物体を認識し、当該物体の動きを解析する画像処理を行うための装置である。具体的に、当該画像処理装置は、撮像された画像から公知のＫＬＴ（Kanade Lucas Tomasi）法等を用いて特徴点を抽出し、抽出された特徴点に対して、勾配法又はニュートンラプソン法を用いて追跡処理を実行し（即ち、画像に示される特徴点を追跡処理する）、当該特徴点の動きベクトルを取得することにより上記画像処理を行う機能を有している。
【００２２】
そして、本願の特徴点抽出装置は、画像処理装置に組み込まれ、撮像された画像から正確かつ可用性のある特徴点を抽出すべく、後述する所定の特徴点を設定する機能を有している。
【００２３】
まず、本実施形態にかかる画像処理装置の構成及び機能概要について、図１を用いて説明する。
【００２４】
図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。
【００２５】
画像処理装置Ｓは、光学系エンジン１、入力画像取得部２、フレームバッファ３、特徴点抽出部４、微分画像保持部５、特徴点スコア値選択部６、特徴点閾値記憶部７、特徴点選択部８（本願の特徴点抽出装置の一例）、画像毎の特徴点情報記憶部（領域）９、特徴点動きベクトル抽出部１０と、を備える。
【００２６】
光学系エンジン１では、光学系レンズ１aから取り込まれた光が、図示しない絞り機構等によって調節され、イメージセンサ１ｂ上に光学像（画像）として結像される。かかる画像は、イメージセンサ１ｂによって電気信号に変換され、入力画像取得部２（カメラI／Ｆ２）へ出力されるようになっている。
【００２７】
イメージセンサ１ｂは、上記結像された光学像を、例えばマトリクス配置されたフォトダイオード等を用いた光電交換機能によって光学像の明るさに比例した電気信号に変換し、入力画像取得部２（カメラＩ／Ｆ）へ出力する。イメージセンサ１ｂの一例として、例えば、ＣＣＤ（Charge Couple Semiconductor）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が適用される。
【００２８】
入力画像取得部２（カメラI／Ｆ）は、イメージセンサ１ｂから出力された信号を処理し、ディスプレイの解像度に応じて、画像を構成する色情報（Ｒ，Ｇ，Ｂの何れかの原色成分に対応した電荷等）をもつ画素（ドット）情報（ラスタデータ）を生成し、フレームバッファ３へ出力する機能を有する。
【００２９】
この解像度の一例としては、ＶＧＡ（６４０×４８０ドット）、ＳＶＧＡ（８００×６００ドット）、ＸＧＡ（１０２４×７６８ドット）等が適用され、当該解像度に応じて画素情報が生成される。即ち、ＶＧＡでは約３０万の画素情報が、ＳＶＧＡでは約４０万の画素情報が、ＸＧＡでは約７８万の画素情報が夫々生成されることとなる。
【００３０】
また、この画素情報には、上記解像度に対応した画像における所定の位置情報（例えば、座標情報等）が付与されている。従って、例えば上記ＶＧＡでは、所定の原点を基準にＸ方向（画像の長手方向）に配列された６４０ドットの画素が、さらにＹ方向（画像の縦方向）に４８０ドット配列されて画像が構成されるため（即ち、６４０×４８０ドットの格子状の一つの枠が一つの画素として把握できる）、当該画像を構成する特定の画素の位置は、ＸＹ座標にて特定することができる。以下、画素情報に付与された位置情報を単に、「画素の位置」とする。
【００３１】
入力画像取得部２の一例として、例えば、産業用デジタルカメラと画像入力ボードを接続する規格仕様である公知のカメラリンク（Camera Link）に対応したインターフェースが適用される。
【００３２】
フレームバッファ３は、入力された上記画素情報（ピクセル情報、ビットマップ）を記憶するためのメモリ領域であり、例えばプログラムの制御のもと、当該記憶された画素情報を、外部（例えば、特徴点抽出部４等）へ一括して出力する機能を有する。
【００３３】
特徴点抽出部４は、入力された画素情報を特定し、公知のＫＬＴ法を用いて、特徴点選択部８によって選択されるべき特徴点の候補となる候補点（以下、単に「候補点」とする。）の評価値を示すスコア値を算出する機能を有する。
【００３４】
ここで、スコア値とは、上記候補点の評価値として算出されるものであり、上述したＫＬＴ法では、上記画素情報の輝度勾配の大きさを示す値として定義されている。即ち、スコア値が大きい場合には上記画素情報の輝度勾配が大きいものとして、スコア値が小さい場合には上記画素情報の輝度勾配が小さいものとして、それぞれ定義されている。従って、スコア値の値によって、上記候補点を評価することができる。
【００３５】
このスコア値の算出方法は、公知の技術であるため詳しい説明は省略するが、特徴点抽出部４は、上記候補点として算出された画素情報に基づいて固有値Ｇを算出し、かかる固有値Ｇをスコア値として算出するようになっている。即ち、公知のＫＬＴ法においては、輝度勾配として固有値Ｇを算出し、当該固有値Ｇが示す値が大きい画素を特徴点の候補点として算出するようになっている。
【００３６】
そして、詳しくは後述するが、本願の特徴点選択部８は、このように算出された固有値Ｇの値を評価（即ち固有値Ｇが示す値の大小関係を比較）し、当該候補点を新たな特徴点として設定するようになっている。
【００３７】
この固有値Ｇの算出方法については公知の手法であるため詳しい説明は省略するが、その一例を以下に説明する。なお、固有値Ｇの算出方法は以下に限定されることはない。
【００３８】
上記固有値Ｇの算出方法としては、まず、上記画像点の位置Ｘ＝（ｘ，ｙ）における空間的な輝度勾配Ｉのモーメント行列を式（１）とする。
【００３９】
【数１】
2012079004.tif 000003
また、モーメント行列Ｍを式（２）とした場合に、式（２）の固有値λは、Ｅを単位行列として、式（３）のλに対する解として求められる。
【００４０】
【数２】
2012079004.tif 000004
【００４１】
【数３】
2012079004.tif 000005
式（３）の解は、式（４）となる。
【００４２】
【数４】
2012079004.tif 000006
本実施例では、上記λのうち、式（５）を固有値Ｇとして算出する。
【００４３】
【数５】
2012079004.tif 000007
このように算出された固有値Ｇの値を示すλを用いて、特徴点選択部８は、当該λが示す値の大小関係を比較し、上記特徴点を設定するようになっている。
【００４４】
なお、本実施形態においては、ＫＬＴ法を用いて固有値Ｇによって算出される値λをスコア値とするように構成したがこれに限定されず、例えば、公知のテンプレートマッチングやカラーマッチングによって定量化された値をスコア値として適用するように構成してもよい。
【００４５】
なお、以下の説明においては、スコア値といった場合には、画素情報に基づいて算出された固有値Ｇ（λ）を示すものとする。
【００４６】
そして、特徴点抽出部４は、算出されたスコア値を微分画像保持部５及び特徴点スコア値選択部６へ出力する。
【００４７】
微分画像保持部５は、入力された画像の微分画像を保持する機能を有し、この微分画像は、例えば、勾配法を用いた動きベクトルの算出において用いられ、後述する特徴点動きベクトル抽出回路１０へ出力する。
【００４８】
特徴点スコア値選択部６は、特徴点抽出部４から入力されたスコア値から、所定の閾値を超えたスコア値に対応する画素情報を特徴点選択部８へ出力する機能を有する。上記閾値は、任意に構成することができ、例えば、所定のスコア値を閾値（即ち、所定の閾値を超えたものしか特徴点選択部８へ出力しない。）としたり、所定の座標値で囲まれた範囲を閾値とすることもできる。この閾値は、特徴点閾値記憶部７に記憶されている。
【００４９】
このように特徴点選択部８へ出力する画素情報の数量を限定することにより、特徴点選択部８や画像処理装置Ｓ全体の処理負担を軽減し、処理の高速化を図ることができる。
【００５０】
なお、特徴点スコア値選択部６を設けず、特徴点抽出部４から入力されたスコア値に対応する画素情報全てを特徴点選択部８へ出力するようにしてもよい。
【００５１】
特徴点選択部８は、本願の候補点特定手段、スコア値入力手段、領域判定手段、スコア値判定手段、特徴点設定手段、分割領域設定手段、及び分割領域判定手段として機能し、特徴点スコア値選択部６から入力された候補点を特定し、当該候補点（新たに特定された候補点）が、既に特定された特徴点から予め定められた領域内に存在せず（即ち、近接する候補点が予め定められた所定の距離以上の距離を有するように存在する）、かつ、スコア値が高い値を示す所定の数量の候補点を特徴点として設定するようになっている。
【００５２】
なお、既に設定された特徴点から予め定められた領域内とは、当該特徴点を基準とした画素の位置から所定のドット分（例えば、１０×１０ドット分）離れた範囲内を示す。また、上記領域は、設定された特徴点毎に対応した領域を有するようになっている。従って、上記領域は特徴点毎に存在する。
【００５３】
以下、既に設定された特徴点から予め定められた領域内を、単に、「既に設定された特徴点の領域」と定義する。
【００５４】
一般的な特徴点の抽出方法では、輝度勾配が大きい画素として表示される人間の服装や画像のエッジ部分等を特徴点として抽出してしまう結果、抽出された特徴点が密集し、正確な特徴点の抽出が行えず、また、当該特徴点を用いて追跡等の処理を行ったとしても正確な動作解析等が行えない。
【００５５】
しかし、特徴点選択部８が備える上記各手段によれば、新たに特定された候補点が、既に設定された特徴点の領域に存在しない場合に、当該候補点を特徴点として特定するため、特徴点が密集することなく、正確な特徴点の抽出が可能である。従って、撮像された画像から正確かつ可用性のある特徴点を抽出することができる。
【００５６】
このような特徴点選択部８が備える各手段について説明すると、まず、候補点特定手段としての特徴点選択部８は、特徴点スコア値選択部６から入力された画素情報を特徴点の候補となる候補点として特定する。
【００５７】
また、スコア値入力手段としての特徴点選択部８は、特徴点抽出部４によって算出された、上記特定した候補点に対応するスコア値の入力を受け付ける。特徴点選択部８によって特定された候補点は、上述したように画素情報である。そして、当該画素情報は、特徴点抽出部４によって既にスコア値が算出されている。特徴点選択部８は、この算出されたスコア値の入力を受け付けるわけである。
【００５８】
また、領域判定手段としての特徴点選択部８は、上記新たに特定された候補点が、既に設定された特徴点の領域に存在するか否かを判定する。
【００５９】
また、スコア値判定手段としての特徴点選択部８は、上記新たに特定された候補点が、既に設定された特徴点の領域に存在すると判定した場合には、当該新たに特定された候補点と、上記既に特定された特徴点が候補点として特定された際に特徴点抽出部４から入力されたスコア値の大きさを判定する。
【００６０】
また、特徴点設定手段としての特徴点選択部８は、上記新たに特定された候補点のスコア値が大きいと判定した場合には、前記候補点を前記画像における新たな特徴点として設定する。
【００６１】
なお、分割領域設定手段、及び分割領域判定手段の詳細については後述する。
【００６２】
画像領域毎の特徴点情報記憶部９は、特徴点選択部８によって特定される特徴点に関する情報が記憶されており、その一例として、特徴点テーブル及び候補点テーブルが記憶されている。
【００６３】
ここで、特徴点テーブル及び候補点テーブルについて図２を用いて説明する。
【００６４】
図２（Ａ）は特徴点テーブルの詳細を示す図であり、図２（Ｂ）は、候補点テーブルの詳細を示す図である。
【００６５】
図２（Ａ）に示すように、特徴点テーブルは、特徴点選択部８によって設定された特徴点に関する情報が記憶されるようになっており、具体的には、図２（Ａ）に示すように、既に設定された各特徴点（１）〜（１００）についてそれぞれ、Ｘ座標、Ｙ座標、スコア値、ヒットフラグ、及び登録フラグが対応付けて記憶されている。
【００６６】
各特徴点（１）〜（１００）は、特徴点選択部８によって設定された所定の数量の特徴点を示す。即ち、各特徴点（１）〜（１００）は、既に設定された特徴点を示す。図２（Ａ）に示す例では、所定の数量として１００個の特徴点が既に設定されていることを示しているがこれに限定されず、任意の数量の特徴点を設定できる。
【００６７】
Ｘ座標及びＹ座標には、特徴点として既に設定された画素の位置が記憶される。また、スコア値は、特徴点として既に設定された画素のスコア値が記憶される。なお、スコア値は、上述したように画像上の１画素における周辺画素との輝度勾配情報から算出される値であり、勾配が急であるほど高い値を示す。
【００６８】
ヒットフラグは、特徴点選択部８によって特定された（特徴点スコア値選択部６から入力された特徴点の候補となる）候補点（新たに入力された候補点）が、既に設定された各特徴点（１）〜（１００）の領域（特定された各特徴点の領域）に存在するか否かを示すフラグである。
【００６９】
例えば、特徴点選択部８によって特定された候補点が、既に設定された各特徴点（１）〜（１００）の領域の何れかに存在した場合には、当該候補点が存在する既に設定された特徴点（１）〜（１００）の領域に対応する各特徴点（１）〜（１００）のヒットフラグの値は１が、存在しない場合には０が、それぞれ代入される。
【００７０】
登録フラグは、特徴点として設定されているか否かを示すフラグである。登録フラグの値は、特徴点として設定されている場合には１が、特徴点として登録されていない場合には０が、それぞれ代入される。
【００７１】
なお、図２（Ａ）に示す例では、特徴点選択部８によって、所定の数量の特徴点の全てが設定された状態が示されている。一方、特徴点選択部８によって、所定の数量に満たない数量の特徴点しか設定されていない場合には、特徴点テーブルの特徴点の欄には空欄の箇所が存在することとなる。
【００７２】
図２（Ｂ）に示す候補点テーブルは、特徴点選択部８によって新たに特定された候補点に関する情報が記憶されるようになっており、具体的には、図２（Ｂ）に示すように、新たに特定された候補点のＸ座標、Ｙ座標、及び削除フラグ（登録しないフラグ）が対応付けて記憶されている。
【００７３】
Ｘ座標及びＹ座標には、新たに特定された候補点の画素の位置が記憶される。
【００７４】
削除フラグは、特徴点選択部８によって新たに特定された候補点が特徴点として設定されるか否かを示すフラグである。削除フラグの値は、特徴点選択部８によって新たに特定された候補点が、特徴点として設定される場合には０が、特徴点として設定されない場合には１がそれぞれ代入される。
【００７５】
なお、特徴点に関する情報（上記特徴点テーブル及び候補点テーブル等を含む）は、追跡処理を実行する際に用いられるため、２つの画像（即ち、連続するフレーム分）が保持される。そして、画像領域毎の特徴点情報記憶部９は、記憶された特徴点に関する情報を特徴点動きベクトル抽出部１０へ出力する。
【００７６】
特徴点動きベクトル抽出部１０は、画像領域毎の特徴点情報記憶部９から入力された特徴点に関する情報に対して、公知のニュートンラプソン法等を用いて追跡処理を行う機能を有している。追跡処理については公知の技術であるため詳しい説明は省略するが、連続する２つの画像における上記特徴点の移動量を解析する処理をいう。
【００７７】
なお、フレームバッファ３乃至特徴点動きベクトル抽出部１０の一部又は全部の機能を実現するために、フレームバッファ３〜特徴点動きベクトル抽出部１０の一部又は全部に、各処理を実行するために設計された専用のハードウェアを適用するができる（所謂、ハードウェアアクセラレーション）。特徴点選択部４等を専用のハードウェアで実現することによって、当該ハードウェア内では回路の並列性を生かして演算を並列に行うことができるため、逐次的な命令実行（例えば、ＣＰＵによるソフトウェアの実行）の場合より処理の高速化等が実現されるからである。なお、ソフトウェアの制御のもと、ＣＰＵ、ＲＡＭ、及びＲＯＭ等の制御装置が、フレームバッファ３乃至特徴点動きベクトル抽出部１０の一部又は全部が有する機能を実行するようにできることはいうまでもない。
［２．特徴点選択部８の動作］
本動作例における特徴点選択部８は、上述した各手段に加えて、分割領域設定手段、及び分割領域判定手段として機能し、特徴点を特定するようになっている。
【００７８】
以下に、上述した各手段に加えて、分割領域設定手段、及び分割領域判定手段として機能する特徴点選択部８の動作の概要について、図３及び図４を対比して詳細に説明する。
【００７９】
図３は特徴点選択部８の動作の概要を模式的に表した模式図であり、図４は特徴点選択部８の動作を示すシーケンス図である。
【００８０】
まず、本動作例に用いられる画像は、前提として、分割領域設定手段としての特徴点選択部８によって、所定の分割領域に分割される。
【００８１】
具体的には、図３に示すように、分割領域設定手段としての特徴点選択部８は、上記画像２１を所定の大きさの分割領域毎に分割した分割領域１〜３０（図３の１〜３０の番号が付与された矩形領域）を設定する。
【００８２】
ここで、画像は、上述したように解像度に応じた画素が配列されており、本動作例における画像は、原点（０，０）を基準に、Ｘ方向に６４０ドットの画素が、Ｙ方向に４８０ドットの画素が夫々配列されたＶＧＡが採用されている。即ち、当該画像には、（０，０）〜（６３９，４７９）の約３０万の画素が配列される。そして、各分割領域には、上記画像が有する画素数を当該各分割領域で除した数の画素（一つの分割領域には約１万の画素が配列）が配列されることとなる。本動作例における特徴点選択部８は、上記原点を基準に、座標値に応じて（即ち、（０、０）、（１、０）、・・・（６３９、０）、（０、１）・・・の順に）、順次新たな候補点を特定するように構成されているが、これに限られず任意の順序に応じて当該候補点を特定することができる。
【００８３】
そして、特徴点選択部８は、特徴点スコア値選択部６から入力された画素情報から特徴点の候補となる候補点を特定する（図４のステップＳ１）。図３には特定された候補点として候補点２４（図３における二重丸）が模式的に示されている。以下、上記特徴点スコア値選択部６から入力された画素情報を、「新たに特定された候補点」と称する。
【００８４】
そして、特徴点選択部８は、上記特定した候補点の画素の位置から、当該候補点が、上記画面のどの分割領域に存在するのかを特定する（図４のステップＳ２）。そして特徴点選択部８は、上記候補点テーブルに新たに特定した候補点の画素の位置としての座標値（Ｘ座標、及びＹ座標の値）を記憶する。
【００８５】
次に、特徴点選択部８は、上記特徴点テーブルのヒットフラグの値、及び上記候補点テーブルの削除フラグの値を初期化（即ち、０を代入）する（図４のステップＳ３）。
【００８６】
次に、分割領域判定手段としての特徴点選択部８は、上記特定された候補点が属する分割領域を基準に、当該基準とされた分割領域から所定の分割領域の範囲内に既に設定された特徴点が存在するか否かを判定する（図４のステップＳ４）。
【００８７】
この当該基準とされた分割領域から所定の分割領域の範囲とは、当該特定された候補点が属する分割領域に、所定の数量の分割領域を加えた範囲をいう。具体的には、図３に示すように、上記基準とされた分割領域から所定の分割領域の範囲は、特定された候補点２４が属する分割領域１５に、所定の数量として５つの分割領域８，９，１０，１４、及び１６を加えた範囲をいう。以下、上記基準とされた分割領域から所定の分割領域の範囲を、「近傍チェックエリア」と称する。
【００８８】
なお、上記近傍チェックエリアとして、図３には、特定された候補点２４が属する分割領域１５に、所定の数量として５つの分割領域８，９，１０，１４、及び１６を加えた範囲が近傍チェックエリア２５として示されることとなる。
【００８９】
そして、特徴点選択部８は、近傍チェックエリアに既に特定された特徴点が存在すると判断した場合には（図４のステップＳ４：ＹＥＳ）、上記新たに特定された候補点が、既に設定された特徴点の領域に存在するか否かを判定する（図４のステップＳ５）。
【００９０】
具体的には、図３に示すように、特徴点選択部８は、新たに特定された候補点２４が、既に設定された特徴点２６〜３１の既に設定された特徴点の領域２６ａ〜３１ａ（特徴点を中心とした破線部で示す矩形領域）に存在するか否かを判定する。
【００９１】
なお、図３に示す例では、新たに特定された候補点２４は、何れの既に設定された特徴点の領域２６ａ〜３１ａにも存在していないことを示している（後述する図４のステップＳ５：ＮＯの場合）。
【００９２】
そして、特徴点選択部８は、上記新たに特定された候補点が、既に設定された特徴点の領域に存在すると判定した場合には（図４のステップＳ５：ＹＥＳ）、特徴点テーブルを参照して、当該候補点が存在する既に設定された特徴点の領域に対応する特徴点のヒットフラグに１を代入する（図４のステップＳ６）。
【００９３】
そして、特徴点選択部８は、上記新たに特定された候補点と、当該候補点が存在する上記既に設定された特徴点の領域に対応する特徴点のスコア値の大きさを判定する（図４のステップＳ７）。なお、上記既に設定された特徴点の領域に対応する特徴点のスコア値は、当該特徴点が候補点として特定された際に特徴点抽出部４から入力された値を用いるようにしてもよいし、当該段階で新たに算出するようにしてもよい。以下、上記既に設定された特徴点の領域に対応する特徴点のスコア値を、単に「既存の特徴点のスコア値」と称する。
【００９４】
そして、特徴点選択部８は、既存の特徴点のスコア値が大きいと判断した場合には（図４のステップＳ７：ＹＥＳ）、上記新たに特定された候補点の削除フラグに１を代入する（図４のステップＳ８）。この場合、以下の処理において、当該新たに特定された候補点は、新たな特徴点として設定されないこととなる。
【００９５】
一方、特徴点選択部８は、既存の特徴点のスコア値が小さいと判断した場合には（図４のステップＳ７：ＮＯ）、上記新たに特定された候補点の削除フラグには何らの値も代入しない（即ち、０のまま）。この場合、以下の処理において、当該新たに特定された候補点は、新たな特徴点として設定されることとなる。
【００９６】
そして、特徴点選択部８は、近傍チェックエリアに存在する全ての特徴点について上述したステップＳ４からステップＳ８までの処理を行ったかを判定し（図４のステップＳ９）、当該処理を行った場合には（図４のステップＳ９：ＹＥＳ）、図４のステップＳ１０へ移行する。一方、上記処理が行われていない場合には（図４のステップＳ９：ＮＯ）、当該処理を行うべく図４のステップＳ４へ移行する。
【００９７】
図４のステップＳ１０では、特徴点選択部８は、上記新たに特定された候補点の削除フラグの値を判定する。
【００９８】
そして、上記削除フラグの値が０であった場合には（図４のステップＳ１０：０）、特徴点選択部８は、特徴点テーブルを参照して、ヒットフラグが１の値を示す特徴点を検索する（図４のステップＳ１１）。
【００９９】
そして、ヒットフラグが１の値を示す特徴点が存在した場合には、特徴点選択部８は、上記新たに特定された候補点を新たな特徴点として設定する。具体的には、特徴点選択部８は、特徴点テーブルに記憶されるヒットフラグが１の値を示す特徴点の値（Ｘ座標、Ｙ座標、及びスコア値）を、上記新たに特定された候補点が示すＸ座標、Ｙ座標、及びスコア値に書き換える（上書き登録する）。そして、特徴点選択部８は処理を終了する。
【０１００】
また、ヒットフラグが１の値を示す特徴点が存在しなかった場合には、上記新たに特定された候補点を新たな特徴点として設定する（新規登録する）。この場合、特徴点選択部８は、所定の数量に満たない数量の特徴点しか登録しておらず、特徴点テーブルの特徴点の欄には空欄の箇所が存在する。従って、特徴点選択部８は、特徴点テーブルの空欄部分に、上記新たに特定された候補点が示すＸ座標、Ｙ座標、及びスコア値を記憶する。そして、特徴点選択部８は処理を終了する。
【０１０１】
一方、上記削除フラグの値が１であった場合には（図４のステップＳ１０：１）、上記新たに特定された候補点は特徴点として登録されず、処理を終了する。
【０１０２】
また、特徴点選択部８は、近傍チェックエリアに既に設定された特徴点が存在しないと判断した場合には（図４のステップＳ４：ＮＯ）、上記新たに特定された候補点は、新たな特徴点として設定されることとなる。
【０１０３】
具体的な処理としては、特徴点選択部８は、まずステップＳ１０へ移行する。このとき上記新たに特定された候補点の削除フラグの値は、何らの値も代入されていないため０を示す。従って、特徴点選択部８は、図４のステップＳ１０：０の処理へと移行し、ステップＳ１２又はステップＳ１３の処理を経て、上記新たに特定された候補点は、新たな特徴点として設定されることとなる。
【０１０４】
なお、以上説明した実施形態は特許請求の範囲にかかる発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組合せ全てが発明の課題解決に必須の手段であるとは限らない。
【０１０５】
以上説明したように、本実施形態においては、特徴点選択部８は、特徴点スコア値選択部６から入力された画素情報から特徴点の候補となる候補点を特定し、当該新たに特定された候補点が、既に設定された特徴点の領域に存在すると判定した場合には、上記新たに特定された候補点と、当該候補点が存在する既存の特徴点の領域に対応する特徴点のスコア値の大きさを判定し、新たに特定された候補点のスコア値が大きいと判断した場合には、当該新たに特定された候補点を新たな特徴点として設定するように構成したため、撮像された画像から正確かつ可用性のある特徴点を抽出することができる。
【０１０６】
なお、上述した動作例では、分割領域１〜３０は、上記画像２１を所定の大きさの分割領域毎に分割されているがこれに限定されず、所定の分割領域に分割されていればよく、例えば、異なる大きさの複数の分割領域に分割するようにしてもよい。
【０１０７】
また、上記近傍チェックエリアは、任意に設定することができる。上述した動作例では、近傍チェックエリアは、上記基準とされた分割領域から５つの分割領域を加えた広さとなっている。しかし、既に設定された特徴点の領域２６ａ〜３１ａが示す領域を狭い領域で設定した場合には、近傍チェックエリアを狭い領域（例えば、当該基準とされた分割領域から２つの分割領域を加えた広さを近傍チェックエリアとする。）に設定することができる。
【０１０８】
この場合、近傍チェックエリアを通常よりも狭い範囲で設定することとなるが、特徴点選択部８は、特徴点同士がオーバーラップすることなく、当該特徴点を設定することができる。
【０１０９】
また、既に設定された特徴点の領域２６ａ〜３１ａが示す領域を広い領域で設定した場合には、近傍チェックエリアを広い領域（例えば、当該基準とされた分割領域から８つの分割領域を加えた広さを近傍チェックエリアとする。）に設定することができる。
【０１１０】
この場合、近傍チェックエリアを通常よりも広い範囲で設定することとなるが、特徴点選択部８は、特徴点同士がオーバーラップすることなく、当該特徴点を設定することができる。
【０１１１】
さらに、ローカルエリア及び近傍チェックエリアを設定しないようにしてもよい。この場合、特徴点選択部８は、上記新たに特定された候補点が、上記画像における全ての既に設定された特徴点の領域に存在するか否かを判定する。そして、特徴点選択部８は、上記新たに特定された候補点が、既に設定された特徴点の領域に存在すると判定した場合には、上記新たに特定された候補点と、当該候補点が存在する既存の特徴点の領域に対応する特徴点のスコア値の大きさを判定する。そして、特徴点選択部８は、新たに特定された候補点のスコア値が大きいと判断した場合には、当該新たに特定された候補点を、新たな特徴点として設定する。
【０１１２】
なお、上記実施形態においては、本願を画像表示装置に対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。
【０１１３】
さらに、入力装置、行為認識、画像のブレ補正装置、接近・後退検出、動体検知、動領域検知、動体の状態測定、運動状態の推定、運動能力評価、移動体の速度計測、剛性の評価・推定、及び３次元計測等の様々な用途に適用可能である。
【符号の説明】
【０１１４】
１    光学系エンジン
２    入力画像取得部
３    フレームバッファ
４    特徴点抽出部
５    微分画像保持部
６    特徴点スコア値選択部
７    特徴点閾値記憶部
８    特徴点選択部
９    画像領域毎の特徴点情報記憶部（領域）
１０  特徴点動きベクトル抽出部
Ｓ    画像処理装置
【図１】
2012079004.tif 000008
【図２】
2012079004.tif 000009
【図３】
2012079004.tif 000010
【図４】
2012079004.tif 000011