(57)【要約】      （修正有）【課題】映像フレームの特徴点の追跡精度を向上させる。【解決手段】第１フレームから特徴点を抽出する抽出部と、第２フレームに対して、特徴点を含むブロックとのブロックマッチングを行い、特徴点に対応する追跡点を特定する追跡部と、特徴点に最も類似する第１画素の位置、第１の画素と特徴点との類似度、特徴点に２番目に類似する第２画素の位置、及び第２画素と特徴点との類似度を検出する検出部と、追跡点位置と第１画素の位置とが一致し、かつ第１画素の類似度と第２画素の類似度との差が第１閾値以上の場合、第１条件を満たすと判定する第１判定部と、追跡点と特徴点との類似度と、追跡点の複数の周辺の画素の各々と特徴点との類似度とを算出し、追跡点の類似度と、複数の周辺の画素の各々の類似度との差が、第２閾値以上の場合、第２条件を満たすと判定する第２判定部とを有し、第１条件と第２条件を満たす場合、特徴点が追跡点に対応すると判断する。【選択図】図３
2017027363.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像のフレームから特徴点を抽出する抽出部と、
前記第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対して、前記第１の映像のフレームの一部であって、前記特徴点を含むブロックとのブロックマッチング処理を行うことにより、前記特徴点に対応する追跡点を特定する追跡部と、
前記所定の領域において、前記特徴点に最も類似する第１の画素の位置、該第１の画素と前記特徴点との類似度、前記特徴点に２番目に類似する第２の画素の位置、及び該第２の画素と前記特徴点との類似度を検出する検出部と、
前記追跡点の位置と前記第１の画素の位置とが一致し、かつ前記第１の画素の類似度と前記第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定する第１の判定部と、
前記追跡点と前記特徴点との類似度と、前記追跡点の複数の周辺の画素の各々と前記特徴点との類似度とを算出し、算出された前記追跡点の類似度と、前記複数の周辺の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定する第２の判定部と、を有し、
前記第１の条件、及び前記第２の条件を満たす場合、前記追跡部は、前記特徴点が前記追跡点に対応すると判断する映像処理装置。
【請求項２】
前記検出部は、前記所定の領域において、前記特徴点と類似する複数の類似画素を検出し、前記複数の類似画素は、各々に隣接する画素よりも前記特徴点と類似しており、検出された前記複数の類似画素のうち、最も前記特徴点に類似する画素を前記第１の画素、２番目に前記特徴点に類似する画素を前記第２の画素とする請求項１に記載の映像処理装置。
【請求項３】
前記特徴点との類似度は、前記特徴点における輝度と、該類似度の算出対象となる画素の輝度との差で表される請求項１又は２に記載の映像処理装置。
【請求項４】
前記特徴点との類似度は、前記特徴点における各色の輝度の合計値と、該類似度の算出対象となる画素の輝度の合計値との差で表される請求項１又は２に記載の映像処理装置。
【請求項５】
前記追跡部は、画素よりも細かい単位である副画素の精度で、前記ブロックマッチング処理を行い、前記追跡点を特定し、
前記検出部は、前記副画素の精度で、前記第１の画素と、前記第２の画素とを検出する請求項１又は２に記載の映像処理装置。
【請求項６】
前記検出部は、隣接する画素の間に存在する副画素と前記特徴点との類似度を、前記隣接する画素の周辺の画素の各々と前記特徴点との類似度から補間する請求項５に記載の映像処理装置。
【請求項７】
前記検出部は、前記所定の領域の画素と前記第１の映像のフレームの前記所定の領域に対応する領域の画素との類似度の変化に基づいて前記副画素の座標を算出し、該座標における前記特徴点との類似度を補間する請求項６に記載の映像処理装置。
【請求項８】
前記第２の判定部は、前記追跡点と前記特徴点との類似度と、前記周辺の画素と前記特徴点との類似度とから２次曲面の類似度の分布を形成し、形成された２次曲面の類似度の分布から前記第２の条件を満たすかを判定する請求項１に記載の映像処理装置。
【請求項９】
第１の映像のフレームから特徴点を抽出するステップと、
前記第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対して、前記第１の映像のフレームの一部であって、前記特徴点を含むブロックとのブロックマッチング処理を行うことにより、前記特徴点に対応する追跡点を特定するステップと、
前記所定の領域において、前記特徴点に最も類似する第１の画素の位置、該第１の画素と前記特徴点との類似度、前記特徴点に２番目に類似する第２の画素の位置、及び該第２の画素と前記特徴点との類似度を検出するステップと、
前記追跡点の位置と前記第１の画素の位置とが一致し、かつ前記第１の画素の類似度と前記第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定するステップと、
前記追跡点と前記特徴点との類似度と、前記追跡点の複数の周辺の画素の各々と前記特徴点との類似度とを算出し、算出された前記追跡点の類似度と、前記複数の周辺の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定するステップと、
前記第１の条件、及び前記第２の条件を満たす場合、前記特徴点が前記追跡点に対応すると判断するステップと、を有する映像処理方法。
【請求項１０】
請求項９に記載の映像処理方法を、映像処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
自動車の自立運転等に用いる技術の一つに、自己位置の推定を行う技術（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ  Ｌｏｃａｌｉｚａｔｉｏｎ  Ａｎｄ  Ｍａｐｐｉｎｇ）があり、ＳＬＡＭを用いて正確に自己位置の推定を行う方法が広く検討されている。ＳＬＡＭでは、カメラ等で撮影された映像データから特徴点を抽出し、かかる特徴点を追跡することにより、自己位置の推定を行う。
【０００３】
特徴点の追跡の手法として、映像のフレーム間の所定の領域の類似度を比較して、特徴点の追跡を行うブロックマッチングが広く知られている。
【０００４】
ブロックマッチングでは、類似度の比較のときの計算誤差により、特徴点の追跡を誤る場合があった。このため、輝度等の画素の属性を用いて、特徴点の追跡の精度を向上させる様々な方法が提案されている（例えば、特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、提案されている方法を用いても、追跡された特徴点の周辺に類似する画素が分布している場合には、特徴点を正確に追跡できないという課題があった。
【０００６】
本発明は、上記の課題を鑑みてされたものであって、映像のフレームの特徴点の追跡の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本実施形態に係る映像処理装置は、第１の映像のフレームから特徴点を抽出する抽出部と、前記第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対して、前記第１の映像のフレームの一部であって、前記特徴点を含むブロックとのブロックマッチング処理を行うことにより、前記特徴点に対応する追跡点を特定する追跡部と、前記所定の領域において、前記特徴点に最も類似する第１の画素の位置、該第１の画素と前記特徴点との類似度、前記特徴点に２番目に類似する第２の画素の位置、及び該第２の画素と前記特徴点との類似度を検出する検出部と、前記追跡点の位置と前記第１の画素の位置とが一致し、かつ前記第１の画素の類似度と前記第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定する第１の判定部と、前記追跡点と前記特徴点との類似度と、前記追跡点の複数の周辺の画素の各々と前記特徴点との類似度とを算出し、算出された前記追跡点の類似度と、前記複数の周辺の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定する第２の判定部と、を有し、前記第１の条件、及び前記第２の条件を満たす場合、前記追跡部は、前記特徴点が前記追跡点に対応すると判断する。
【発明の効果】
【０００８】
本実施形態によれば、映像のフレームの特徴点の追跡の精度が向上された映像処理装置、映像処理方法、及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態に係る映像処理装置の機能ブロック図である。
【図２】一実施形態に係る映像処理装置の追跡部の機能ブロック図である。
【図３】一実施形態に係る動作手順を示すフローチャートである。
【図４】一実施形態に係るブロックマッチングの処理を示す図（その１）である。
【図５】一実施形態に係るブロックマッチングの処理を示す図（その２）である。
【図６】一実施形態に係るブロックマッチングの処理の計算式を示す図である。
【図７】一実施形態に係る第１の判定の動作を説明するための図（その１）である。
【図８】一実施形態に係る第１の判定の動作の計算式を示す図（その１）である。
【図９】一実施形態に係る第１の判定の動作を説明するための図（その２）である。
【図１０】一実施形態に係る第１の判定の動作の計算式を示す図（その２）である。
【図１１】一実施形態に係る第１の判定の動作を説明するための図（その３）である。
【図１２】一実施形態に係る第１の判定の動作の計算式を示す図（その３）である。
【図１３】一実施形態に係る第１の判定の動作を説明するための図（その４）である。
【図１４】一実施形態に係る第１の判定の動作を示すフローチャートである。
【図１５】一実施形態に係るブロックマッチングの処理を示す図（その３）である。
【図１６】一実施形態に係る第２の判定の動作を説明するための図である。
【図１７】一実施形態に係る第２の判定の動作の計算式を示す図である。
【図１８】一実施形態に係る映像処理装置のハードウェア構成図である。
【発明を実施するための形態】
【００１０】
［第１実施形態］
＜機能構成＞
（１）全体構成
図１を用いて、本実施形態に係る映像処理装置１の機能構成について説明する。映像処理装置１は、撮影部１００と、映像入力部１１０と、映像補正部１２０と、特徴点抽出部１３０と、追跡部１４０と、フレームバッファ１５０と、重複点除去部１６０とを有する。
【００１１】
撮影部１００は、カメラで映像を撮影する。撮影された映像を映像入力部１１０に出力する。カメラは単眼カメラ、ステレオカメラのいずれでもよい。撮影部１００のカメラは、自動車に取り付ける車載カメラでもよい。
【００１２】
映像入力部１１０は、撮影部１００によって撮影された映像の入力を受け付ける。また、映像入力部１１０は、撮影部１００以外から映像の入力を受け付けてもよい。例えば、映像入力部１１０は、記憶媒体に記憶された映像の入力を受け付けてもよいし、ネットワーク経由で映像の入力を受け付けてもよい。
【００１３】
映像補正部１２０は、映像入力部１１０から映像フレームを取得し、かかる映像フレームのひずみを補正する。
【００１４】
特徴点抽出部１３０は、映像フレームの特徴点を抽出する。特徴点とは、例えば、物体の角など、際立って検出できる映像フレーム上の点である。
【００１５】
フレームバッファ１５０は、映像補正部１２０から取得した映像フレームを保存する。フレームバッファ１５０は、追跡部１４０に、映像フレームを送信する。
【００１６】
追跡部１４０は、特徴点抽出部１３０で抽出された特徴点を追跡する。具体的には、追跡部１４０は、特徴点が抽出された映像フレームより時間的に後の映像フレームから、かかる特徴点に対応する追跡点を抽出する。追跡部１４０は、映像補正部１２０から映像フレームを取得する。
【００１７】
追跡部１４０は、特徴点抽出部１３０から、かかる映像フレームにおいて抽出された特徴点に関する情報を取得する。特徴点に関する情報とは、例えば、特徴点における輝度、及び特徴点の映像フレーム内の位置を示す座標情報等である。追跡部１４０は、フレームバッファ１５０から特徴点が抽出された映像フレームより時間的に前の映像フレームを取得する。追跡部１４０は、取得した映像フレーム、及び特徴点に関する情報から、特徴点を追跡する。
【００１８】
追跡部１４０が、時間Ｍにおける映像フレームＦ（Ｍ）で抽出された特徴点を追跡する場合について説明する。
【００１９】
追跡部１４０は、時間Ｍにおける映像フレームＦ（Ｍ）における特徴点に関する情報を特徴点抽出部１３０から取得する。追跡部１４０は、時間Ｍ＋１における映像フレームＦ（Ｍ＋１）を映像補正部１２０から取得する。追跡部１４０は、フレームバッファ１５０より、映像フレームＦ（Ｍ）を取得する。
【００２０】
追跡部１４０は、映像フレームＦ（Ｍ）と、かかる映像フレームにおける特徴点に関する情報とから、映像フレームＦ（Ｍ＋１）における特徴点に対応する追跡点を抽出する。
【００２１】
重複点除去部１６０は、特徴点抽出部１３０で抽出された映像フレームＦ（Ｍ＋１）の特徴点と、追跡部１４０で抽出された映像フレームＦ（Ｍ＋１）の追跡点とが重複する場合に、一方を除去する。
【００２２】
（２）追跡部の構成
図２を用いて、追跡部１４０、及び追跡部１４０と関連する機能部について詳細に説明する。
【００２３】
追跡部１４０は、ブロックマッチング部１４１と、極値検出部１４２と、単一性判定部１４３と、曲面形状判定部１４５とを有する。
【００２４】
特徴点抽出部１３０は、第１の映像のフレームから特徴点を抽出する。
【００２５】
ブロックマッチング部１４１は、かかる第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対してブロックマッチング処理を行い、特徴点に対応する追跡点を特定する。なお、ブロックマッチング処理を実行する場合、ブロックマッチング部１４１は、第１の映像のフレームの一部であって特徴点を含むブロックを用いる。
【００２６】
極値検出部１４２は、第２の映像のフレームの所定の領域において、特徴点に最も類似する第１の画素の位置、第１の画素と特徴点との類似度、特徴点に２番目に類似する第２の画素の位置、及び第２の画素と特徴点との類似度を検出する。
【００２７】
なお、以下の記述において類似度とは、特徴点に対する類似度を意味する。従って、例えば「画素Ａの類似度」とは、「特徴点と画素Ａとの類似度」を意味する。
【００２８】
なお、極値検出部１４２は、第１の画素と、第２の画素とを検出するときに、画素自体の特徴点との類似度に加えて、かかる画素と特徴点との類似度と、隣接する画素と特徴点との類似度の差を考慮して第１の画素と第２の画素とを検出してもよい。
【００２９】
単一性判定部１４３は、追跡点の位置と第１の画素の位置とが一致し、かつ第１の画素の類似度と第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定する。
【００３０】
曲面形状判定部１４５は、追跡点と特徴点との類似度と、追跡点の周辺の複数の画素の各々と特徴点との類似度とを算出し、算出された追跡点の類似度と、周辺の複数の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定する。
【００３１】
追跡部１４０は、第１の条件、及び第２の条件を満たす場合、第１の映像のフレームの特徴点が、第２の映像のフレームにおいて追跡点に対応すると判断する。この場合、追跡部１４０は、第１の映像のフレームの特徴点が、第２の映像のフレームにおいて追跡点に移動したと判断してもよい。
【００３２】
ブロックマッチング処理に加えて、第１の条件、及び第２の条件を満たす場合に、特徴点が追跡点に対応すると判断されるため、映像処理装置１は、追跡点を正確に特定することができる。
【００３３】
なお、ブロックマッチング部１４１は追跡部の一例である。極値検出部１４２は、検出部の一例である。単一性判定部１４３は、第１の判定部の一例である。曲面形状判定部１４５は、第２の判定部の一例である。
【００３４】
第１の画素と、第２の画素とを検出する場合、極値検出部１４２は、第２の映像のフレームの所定の領域において、特徴点と類似する複数の類似画素を検出してもよい。かかる複数の類似画素は隣接する画素より特徴点と類似する。これらの類似画素は極値を有する画素と表現されてもよい。例えば、隣接する８画素よりも特徴点と類似する画素が、極値を有する画素であってもよい。極値検出部１４２は、極値を有する画素の中から第１の画素と第２の画素とを検出してもよい。この場合、特徴点に最も類似する極値を有する画素が第１の画素、特徴点に２番目に類似する極値を有する画素が第２の画素となる。
【００３５】
映像フレームが白黒の映像の場合、特徴点との類似度は、特徴点における輝度と、類似度の算出対象となる画素の輝度との差で表されてもよい。かかる差が小さい画素ほど、特徴点と類似している。
【００３６】
映像フレームがカラーの映像の場合、特徴点との類似度は、特徴点における各色の輝度の合計値と、類似度の算出対象となる画素の輝度の合計値との差で表されてもよい。かかる合計値との差が小さい画素ほど、特徴点と類似している。
【００３７】
ブロックマッチング部１４１は、画素よりも細かい単位である副画素の精度で、ブロックマッチング処理を行い、追跡点を特定してもよい。また、極値検出部１４２は、副画素の精度で、第１の画素と、第２の画素とを検出してもよい。
【００３８】
追跡点が副画素の精度で特定されるため、特徴点に対応する追跡点を正確に特定することができる。
【００３９】
なお、画素はピクセル、副画素はサブピクセルと表現されてもよい。
【００４０】
極値検出部１４２は、隣接する画素の間に存在する副画素と特徴点との類似度を、隣接する画素の周辺の画素の各々と特徴点との類似度から補間してもよい。
【００４１】
例えば、極値検出部１４２は、所定の領域の画素と第１の映像のフレームの所定領域に対応する領域の画素との類似度の変化に基づいて副画素の座標を算出し、かかる座標の副画素と特徴点との類似度を補間してもよい。変化の傾向から副画素の座標を算出する場合、極値検出部１４２は、勾配法を用いて、かかる座標を算出してもよい。なお、「第１の映像のフレームの所定領域に対応する領域の画素」とは、所定の領域の画素と第１の映像のフレームの中で同一の位置にある画素である。
【００４２】
具体的な、補間の手順については後述する。
【００４３】
曲面形状判定部１４５は、追跡点と特徴点との類似度と、周辺の画素と特徴点との類似度とから２次曲面の類似度の分布を形成し、形成された２次曲面の類似度の分布から第２の条件を満たすかを判定してもよい。
【００４４】
例えば、曲面形状判定部１４５は、２次曲面が平坦に近い形状の場合、つまり特徴点と類似している点が周辺の画素と比較して際立っていない場合、第２の条件を満たさないと判断してもよい。これにより、追跡点の誤検出を避けることができる。
【００４５】
２次曲面の分布を表す方程式の２次の係数の少なくとも１つが、第３の閾値以上の場合、曲面形状判定部１４５は、第２の条件を満たすと判定してもよい。かかる２次の係数が大きい程、曲面が際立っており、追跡点が特徴点に対応する可能性が高いためである。
【００４６】
極値検出部１４２は、極値を有する画素を、特徴点と類似する順に並べ、特徴点とＮ番目に類似する極値を有する画素と、特徴点とＮ＋１番目に類似する極値を有する画素との特徴点との類似度の差を算出する。ここでＮは２以上の自然数であり、Ｎ＋１の最大値は第２の映像のフレームの所定の領域に含まれる極値を有する画素の数である。
【００４７】
単一性判定部１４３は、第１の画素の類似度と第２の画素の類似度との差が、第１の閾値以上でない場合であっても、第１の条件を満たすと判定してもよい場合がある。
【００４８】
例えば、第１の画素の類似度と第２の画素の類似度との差が、第２の映像のフレームの所定の領域に含まれる特徴点とＮ番目に類似する極値を有する画素と特徴点とＮ＋１番目に類似する極値を有する画素との間の類似度の差より大きい場合、第１の条件を満たすと判定してもよい。
【００４９】
第１の画素が特徴点と最も類似しかつ、第１の画素と第２の画素との類似度の差が、特徴点とＮ番目に類似する極値を有する画素と特徴点とＮ＋１番目に類似する極値を有する画素との類似度の差よりも大きいため、他の画素よりも特徴点と際立って類似していると判断できるためである。
【００５０】
第１の条件を満たさない場合、映像処理装置１は、第２の映像フレームの所定の領域を拡大した領域において、ブロックマッチング処理と、第１の条件を満たすかの判定を実行してもよい。
【００５１】
なお、「第２の映像フレームの所定の領域」は、第１の探索ウィンドウと呼ばれてもよい。
【００５２】
＜動作手順＞
図３を用いて、本実施形態の動作手順の一例について説明する。
【００５３】
特徴点に対応する追跡点を特定する場合、映像処理装置１は、ブロックマッチング処理、第１の判定の処理、第２の判定の処理の順番で処理を実行する。
【００５４】
ステップＳ３００で、ブロックマッチング部１４１は、ブロックマッチング処理を実行する。ブロックマッチング部１４１は、第１の映像フレームで抽出された特徴点を中心とした任意のサイズの画像を第１の映像フレームから抜き出す。抜き出された画像は、テンプレートパッチと呼ばれてもよい。次に、ブロックマッチング部１４１は、テンプレートパッチを、第２の映像フレームの第１の探索ウィンドウ内で移動させる。
【００５５】
ブロックマッチング部１４１は、テンプレートパッチを第１の探索ウィンドウ内で移動させ、テンプレートパッチと、テンプレートパッチと重複する部分との類似度を計算し、最も類似する位置におけるテンプレートパッチの中心を追跡点とする。具体的な計算方法については後述する。
【００５６】
ブロックマッチング処理が成功した場合（ステップＳ３０１  ＹＥＳ）、ステップＳ３０２に進む。一方、ブロックマッチング処理が成功しなかった場合（ステップＳ３０１  ＮＯ）、ステップＳ３０８に進む。
【００５７】
ステップＳ３０２乃至ステップＳ３０４は、第１の条件の判定の処理の動作手順である。
【００５８】
ステップＳ３０２で、極値検出部１４２は、単一性比較値の計算処理を行う。具体的には、極値検出部１４２は、探索ウィンドウ内の画素と特徴点との類似度を算出する。類似度は、例えば特徴点と探索ウィンドウ内の画素との輝度の差でもよい。この場合、類似度が小さい程、画素は特徴点と類似している。
【００５９】
極値検出部１４２は、周辺の画素よりも類似度が小さい画素を抽出し、極値とする。例えば、極値検出部１４２は、任意の画素と、かかる任意の画素の周辺の８画素とを比較して、極値を抽出してもよい。
【００６０】
探索ウィンドウ内で、最も小さい極値を有する画素が第１の画素であり、２番目に小さい極値を有する画素が第２の画素である。
【００６１】
ステップＳ３０３で、極値検出部１４２は、第１の画素の類似度と第２の画素の類似度とを比較し、類似度の差が、第１の閾値以上か比較する。第１の閾値は、映像処理装置１のユーザが設定可能な値である。例えば、第１の閾値に第１の画素の類似度の１０％、２０％といった値が設定されてもよい。
【００６２】
ステップＳ３０４で、類似度の差が第１の閾値以上であり、かつ第１の画素の位置がブロックマッチングで抽出した追跡点と一致する場合、単一性判定部１４３は、単一性判定が成功したと判定し、ステップＳ３０５に進む（ステップＳ３０４  ＹＥＳ）。「単一性判定が成功したこと」は、「第１の条件を満たす」と表現されてもよい。
【００６３】
一方、類似度の差が第１の閾値以上でない、又は第１の画素の位置が追跡点と一致しない場合、単一性判定部１４３は、単一性判定が失敗したと判定し、ステップＳ３０８に進む（ステップＳ３０８  ＮＯ）。
【００６４】
ステップＳ３０５乃至ステップＳ３０７は、第２の条件の判定の処理の動作手順である。
【００６５】
ステップＳ３０５で、曲面形状判定部１４５は、追跡点と特徴点との類似度と、追跡点の周辺の画素と特徴点との類似度とを算出し、算出された追跡点の類似度と、周辺の画素の類似度とから２次曲面の分布を形成する。
【００６６】
ステップＳ３０６で、曲面形状判定部１４５は、形状が際立っているか判定する。例えば、２次曲面の分布を表す方程式の２次の係数の少なくとも１つ以上が、第３の閾値以上の場合、曲面形状判定部１４５は、形状が際立っていると判定する。
【００６７】
２次の係数が大きい場合には、曲面の形状が平坦ではなく、形状が際立っているためである。２次の係数は周辺の画素の類似度と、追跡点の類似度との差を表している。第３の閾値は、映像処理装置１のユーザが設定可能な値であり、０．１、０．２といった値が設定される。
【００６８】
ステップＳ３０６で、曲面形状判定部１４５が、形状が際立っていると判定した場合、つまり、第２の条件を満たすと判定した場合、ステップＳ３０７に進む。一方、曲面形状判定部１４５が、形状が際立っていないと判定した場合、つまり第２の条件を満たさないと判定した場合、ステップＳ３０８に進む。
【００６９】
ステップＳ３０７に進んだ場合、追跡部１４０は、追跡が成功したと判定する。一方、ステップＳ３０８に進んだ場合、追跡部１４０は、追跡が失敗したと判定する。
【００７０】
なお、映像処理装置１は、ステップＳ３０２及びステップＳ３０３を実行し、第１の画素と、第２の画素とを抽出した後に、ステップＳ３００及びステップＳ３０１のブロックマッチングの処理を実行してもよい。
【００７１】
＜ブロックマッチング処理＞
図４乃至図６を用いて、ブロックマッチング処理について説明する。
【００７２】
図４及び図５は、ブロックマッチングの処理の概要を示す図である。図４の（１）に示すように、ブロックマッチング部１４１は、ｎ枚目の映像のフレーム４１０から特徴点４００を抽出する。ブロックマッチング部１４１は、ｎ枚目の映像のフレーム４１０から特徴点４００を中心にＮ（画素）×Ｎ（画素）のサイズの領域を抜き出しテンプレートパッチ４３０を生成する。
【００７３】
図４の（２）に示すように、ブロックマッチング部１４１は、ｎ枚目以降の映像のフレーム４２０の中のＨ（画素）×Ｗ（画素）のサイズの領域を抜き出し第２の探索ウィンドウ４４０を生成する。
【００７４】
ここで、テンプレートパッチ４３０のサイズ、及び第２の探索ウィンドウ４４０のサイズは映像処理装置１のユーザが設定可能な値である。
【００７５】
図５の（１）に示すように、ブロックマッチング部１４１は、テンプレートパッチ４３０の中心を第２の探索ウィンドウ４４０内で移動させる。つまり、ブロックマッチング部１４１は、ｎ枚目以降の映像のフレーム４２０の中の（Ｈ＋Ｎ）（画素）×（Ｗ＋Ｎ）（画素）のサイズの領域を抜き出し、かかる領域内にテンプレートパッチ４３０を移動させる。この領域は、第１の探索ウィンドウ４５０と表現されてもよい。
【００７６】
ブロックマッチング部１４１は、テンプレートパッチ４３０を、第１の探索ウィンドウ４５０内で移動させ、テンプレートパッチ４３０との重複部分と、テンプレートパッチ４３０との類似度を算出する。
【００７７】
例えば、図５の（１）に示すように、ブロックマッチング部１４１は、テンプレートパッチ４３０を、第１の探索ウィンドウ４５０内で水平方向に移動させてもよい。ブロックマッチング部１４１は、テンプレートパッチ４３０を１画素ずつ、縦、又は横に移動させつつ、テンプレートパッチ４３０と重複部分との類似度を算出する。ブロックマッチング部１４１は、１画素よりも細かい単位である副画素単位で、テンプレートパッチ４３０を縦、又は横に移動させて類似度を算出してもよい。
【００７８】
図６の（式１）に類似度の算出例を示す。テンプレートパッチ４３０内の画素の輝度値の合計値と、重複部分の輝度値の合計値との差ＥＳＡＤが、最も小さくなる場合、又は所定の閾値よりも小さくなる場合に、ブロックマッチング部１４１は、かかる重複部分の中心が特徴点に対応する追跡点であると判断する。
【００７９】
図５の（２）の例では、テンプレートパッチ４３０の中心がＶｎ（Ｘ、Ｙ）に移動した場合に算出されるＥＳＡＤから、ブロックマッチング部１４１は、Ｖｎ（Ｘ、Ｙ）が追跡点５６０であると判断する。
【００８０】
ブロックマッチング部１４１は、ｎ枚目のフレームの特徴点４００が、ｎ枚目以降の映像のフレーム４２０で追跡点５６０に移動したと判断してもよい。また、ブロックマッチング部１４１は、特徴点が移動の軌跡５７０に沿って移動したと判断してもよい。ブロックマッチング部１４１は、ｎ枚目以降の映像のフレームに繰り返しブロックマッチングの処理を行い、特徴点の移動の軌跡を算出してもよい。特徴点の移動の軌跡は、オプティカルフローと呼ばれてもよい。
【００８１】
上述した実施形態では、テンプレートパッチ４３０の輝度値の合計値と、重複部分の輝度値の合計値との絶対値の差（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）であるＥＳＡＤを用いる場合について説明した。ブロックマッチング部１４１は、その他の方法を用いてブロックマッチングの処理を実行してもよい。例えば、ブロックマッチング部１４１は、テンプレートパッチ４３０と重複部分の輝度値の差の二乗和を算出するＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を用いてもよいし、テンプレートパッチ４３０と重複部分の輝度値の相互相関を算出するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）を用いてもよい。
【００８２】
映像のフレームがカラーの場合、ブロックマッチング部１４１は、各色の輝度を合計した値を用いて、テンプレートパッチと重複部分との類似度を判断してもよい。
【００８３】
＜第１の条件の判定＞
図７乃至図１５を用いて第１の条件の判定の動作について説明する。
【００８４】
（１）極値の検出方法（その１）
図７と図８を用いて極値を検出する手順について説明する。
【００８５】
極値検出部１４２は、第１の探索ウィンドウ内の各画素と特徴点との類似度を算出する。例えば、極値検出部１４２は、第１の探索ウィンドウ内の各画素と特徴点との輝度の差を算出する。図７の（１）に各画素と特徴点との類似度の分布のグラフの一例を示す。類似度の値が小さい画素ほど、特徴点と類似している。
【００８６】
次に、極値検出部１４２は、算出された特徴点との類似度を用いて極値を有する画素を抽出する。極値を有する画素は、隣接する画素より特徴点と類似している画素である。例えば、図７の（２）において、位置（Ｘｉ，Ｙｉ）の画素と特徴点との類似度Ｒ（Ｘｉ，Ｙｉ）が、周辺の８画素よりも特徴点と類似している場合、極値検出部１４２は、位置（Ｘｉ，Ｙｉ）の画素を極値を有する画素、Ｒ（Ｘｉ，Ｙｉ）をかかる画素の極値と判断する。具体的には、極値検出部１４２は、図８の（式２）を満たす場合、位置（Ｘｉ，Ｙｉ）の画素を極値を有する画素と判断する。
【００８７】
極値検出部１４２は、抽出された極値を有する画素のうち、特徴点と最も類似する極値を有する画素を第１の画素とし、特徴点と２番目に類似する極値を有する画素を第２の画素とする。
【００８８】
図７の（３）に極値となる画素と特徴点との類似度の分布の一例を示す。類似度の値が小さいほど特徴点と類似していることを表している。極値検出部１４２は、類似度の値が最も小さい極値を有する画素７２０と、類似度の値が２番目に小さい極値を有する画素７３０とを検出する。極値検出部１４２は、画素７２０を第１の画素とし、画素７３０を第２の画素とする。
【００８９】
単一性判定部１４３は、第１の画素の位置が、ブロックマッチングの処理で特定された追跡点の位置と同じであり、かつ、第１の画素と特徴点との類似度と第２の画素と特徴点との類似度の差が第１の閾値以上の場合、第１の条件を満たすと判断する。
【００９０】
第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度が十分に離れていない場合には、単一性判定部１４３は、追跡点を誤って抽出する可能性が高い。例えば、探索ウィンドウ内の画像に、縞模様のような、類似する特徴が繰り返し出現する場合、単一性判定部１４３は、特徴点に対応する追跡点を誤って抽出する可能性が高い。
【００９１】
単一性判定部１４３は、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上の場合にのみ第１の画素を追跡点の候補とする。このため、単一性判定部１４３は、適切な追跡点の候補を抽出することができる。
【００９２】
（２）副画素における極値の検出方法
図９を用いて副画素における極値の検出方法について説明する。上述した極値の検出方法においては、画素単位の精度で極値を算出したが、極値検出部１４２は、画素より細かい精度である副画素単位で極値の検出を行ってもよい。
【００９３】
上述した検出方法では、単一性判定部１４３は、中心の画素（Ｘｉ，Ｙｉ）と特徴点との類似度と、周辺の８画素と特徴点との類似度とを比較し、極値を検出している。かかる検出方法では、中心の画素と特徴点との類似度と、略同じ特徴点との類似度を有する画素が周辺８点内の画素に存在した場合、図８の（式２）を満たさない。
【００９４】
図８の（式２）を満たさないときには、画像に特徴がなく追跡点になり得ない場合と、画素の間に極値が存在する場合とがある。図９は、画素の間に極値が存在する場合の一例を示している。図９は、隣接する画素である（Ｘｉ，Ｙｉ）と（Ｘｉ＋１，Ｙｉ）における特徴点との類似度Ｒ（Ｘｉ，Ｙｉ）とＲ（Ｘｉ＋１，Ｙｉ）とが略同じ場合に、副画素（ａ，ｂ）９００において、極値が存在する例を示している。
【００９５】
極値検出部１４２は、画素の精度よりも正確に極値を検出するため、副画素の精度で極値の検出を実行してもよい。
【００９６】
副画素の精度で極値の検出を実行する場合、極値検出部１４２は、中心の画素及び、周辺の画素と特徴点との類似度を補間することにより副画素の精度で極値を検出する。
【００９７】
図９の（３）を用いて、副画素（ａ，ｂ）９００における極値を検出する例について説明する。ここでは、各画素と特徴点との輝度の差Ｌ（以下、輝度の類似度Ｌ）から、副画素（ａ，ｂ）９００と特徴点との輝度の類似度Ｌを補間する例について説明するが、輝度以外の類似度を用いてもよいことは勿論である。
【００９８】
図９の（３）では、画素間の距離はβ（例えば、（Ｘｉ，Ｙｉ）〜（Ｘｉ，Ｙｉ−１））であり、補間対象の副画素（ａ，ｂ）９００の中心の画素（Ｘｉ，Ｙｉ）からの距離がαである場合を示している。
【００９９】
副画素（ａ，ｂ）９００における輝度の類似度Ｌ（ａ，ｂ）は図１０の（式３）から算出される。副画素（ａ，ｂ）９００の周辺の画素における輝度の類似度Ｌを、副画素（ａ，ｂ）９００と各画素との距離により重み付けすることにより、副画素（ａ，ｂ）９００における輝度の類似度が算出される。
【０１００】
（３）勾配法による極値の算出方法
副画素の精度で極値の検出を実行する場合、極値検出部１４２は、勾配法を用いて極値を有する副画素の位置を特定してもよい。
【０１０１】
ここでは、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ  Ｔｏｍａｓｉ）法を用いて副画素の位置を特定する方法について、図１１及び図１２を用いて説明する。
【０１０２】
図１１は、Ｎ枚目の映像のフレーム１１００の画像Ｉと、Ｎ＋１枚目の映像のフレーム１１１０の画像Ｊ、画像Ｊ上の第１の探索ウィンドウ１１２０、画像Ｉ上の第１の探索ウィンドウ１１３０、画像Ｉ上の輝度値Ｉ（ｘ，ｙ）１１４０、画像Ｊ上の輝度値Ｊ（ｘ，ｙ）１１５０を表している。
【０１０３】
画像Ｉと画像Ｊの各画素の輝度値から、画像Ｊ上の副画素の座標を特定する方法について説明する。
【０１０４】
極値検出部１４２は、図１２の（式４）を用いて画像Ｉと画像Ｊの対応する画素における輝度値の差（δＩｋ）を算出する。
【０１０５】
極値検出部１４２は、図１２の（式５）を用いて、画像Ｊの第１の探索ウィンドウ１１２０内の各画素における「輝度値の差（δＩｋ）に画像Ｉ、Ｊの各画素を微分した値を乗算した値」であるｂｋを求める。ここで、位置（ｘ，ｙ）で画像Ｉの各画素を微分した値は、Ｉｘ（ｘ，ｙ）で表され、位置（ｘ，ｙ）で画像Ｊの各画素を微分した値は、Ｉｙ（ｘ，ｙ）で表される。
【０１０６】
また、極値検出部１４２は、図１２の（式６）を用いて、第１の探索ウィンドウ１１２０内の各画素におけるｘ方向の微分値（Ｉｘ）とｙ方向の微分値（Ｉｙ）とを乗算して算出される２行２列の行列Ｇを算出する。
【０１０７】
極値検出部１４２は、図１２の（式７）を用いてｂｋとＧの逆行列とから、（ｘ，ｙ）方向の移動量ηｋを算出する。
【０１０８】
極値検出部１４２は、図１２の（式８）を用いて、副画素の座標を算出する。（式８）は、極値を有する画素の位置からの距離を表しており、νｋの初期値は０である。また、ｋは計算回数を表す。
【０１０９】
極値検出部１４２は、所定の回数νｋの算出を繰り返してもよい。例えば、極値検出部１４２は、νｋの算出を２０回程度、繰り返してもよい。或いは、極値検出部１４２は、移動量ηｋが所定の閾値以下になるまでνｋの算出を繰り返してもよい。例えば、極値検出部１４２は、ηｋが０．０３副画素以下になるまで、νｋの算出を繰り返してもよい。
極値検出部１４２は、算出された位置の副画素と特徴点との類似度を算出する。例えば、極値検出部１４２は、図１０の（式３）を用いてかかる位置の副画素と特徴点との輝度の差を算出してもよい。
【０１１０】
極値検出部１４２は、算出された位置の副画素と特徴点との類似度と、画素単位で算出された周辺の極値の候補の画素と特徴点との類似度とを比較し、特徴点により類似する方を極値を有する画素とする。
【０１１１】
なお、ＫＬＴ法により副画素の座標を算出する方法について説明したが、その他の方法を用いて副画素の座標を算出してもよい。また、極値検出部１４２が、副画素の座標を算出する範囲は第１の探索ウィンドウ内に限らなくてよい。
【０１１２】
Ｎ＋１枚目の映像のフレームにおける副画素の座標を算出する方法について説明したが、Ｎ＋１枚目以降の映像のフレームにおける副画素の座標の算出にも上述した算出方法を適用できる。
【０１１３】
（４）極値の検出方法（その２）
上述した極値の検出方法においては、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上でない場合、単一性判定部１４３は、第１の条件を満たさないと判定した。しかし、かかる類似度の差が第１の閾値以上でない場合でも、その他の極値を有する画素と特徴点との類似度によっては、第１の画素が追跡点である可能性がある。このような場合、単一性判定部１４３は、第１の画素を追跡点の候補とする方が好ましい。かかる場合における極値の検出の動作手順について、図１３及び図１４を用いて説明する。
【０１１４】
上述したように、単一性判定部１４３は、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上の場合、第１の条件を満たすと判定する。
【０１１５】
図１３の（１）は、第１の探索ウィンドウ内の画素の各々と特徴点との類似度を示す分布１３００を示しており、図１３の（２）は、図１３の（１）の分布で示される画素と、かかる画素と特徴点との類似度の関係とを２次元で示す図である。これらの図では、類似度が小さい程、特徴点と類似していることを示している。
【０１１６】
図１３の（２）の場合、第１の画素１３１０と特徴点との類似度と、第２の画素１３２０と特徴点との類似度の差１３３０が、第１の閾値以上であるため、単一性判定部１４３は、第１の画素１３１０を追跡点の候補とする。
【０１１７】
次に、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上でない場合について説明する。
【０１１８】
図１３の（３）は、第１の探索ウィンドウ内の画素の各々と特徴点との類似度を示す分布１３４０であり、図１３の（４）は、図１３の（３）の分布で示される画素と、かかる画素と特徴点との類似度の関係を２次元で示す図である。
【０１１９】
図１３の（４）において、第１の画素１３５０、第２の画素１３６０、及び第１の画素１３５０と第２の画素１３６０の特徴点との類似度の差１３５５で示されている。
【０１２０】
類似度の差１３５５が、第１の閾値より小さい場合、単一性判定部１４３は、第２の画素１３６０と特徴点と３番目に類似する極値を有する画素１３７０との類似度の差１３６５、及び特徴点と３番目に類似する極値を有する画素１３７０と特徴点と４番目に類似する極値を有する画素１３８０との類似度の差１３７５等を算出する。
【０１２１】
次に、単一性判定部１４３は、かかる算出された類似度の差（１３６５、及び１３７５等）と、類似度の差１３５５とを比較する。つまり、単一性判定部１４３は、特徴点にＮ番目に類似する極値を有する画素と特徴点との類似度と、Ｎ＋１番目に類似する極値を有する画素と特徴点との類似度の差（以下、「ＮとＮ＋１との類似度の差」）を算出する。
【０１２２】
そして、単一性判定部１４３は、算出されたＮとＮ＋１との類似度の差と、類似度の差１３５５とを比較する（Ｎは２以上の自然数）。
【０１２３】
かかる比較の結果、類似度の差１３５５が、ＮとＮ＋１との類似度の差より大きい場合、単一性判定部１４３は、類似度の差１３５５が、第１の閾値より小さい場合であっても、第１の画素１３５０を追跡点の候補とする。
【０１２４】
図１４を用いて、単一性判定部１４３の処理フローを説明する。
【０１２５】
ステップＳ１４０１において、単一性判定部１４３は、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上であるか否か判定する。かかる類似度の差が第１の閾値以上の場合、ステップＳ１４０４に進む（ステップＳ１４０１  ＹＥＳ）。一方、かかる類似度の差が第１の閾値以上でない場合、ステップＳ１４０２に進む（ステップＳ１４０１  ＮＯ）。
【０１２６】
ステップＳ１４０２において、単一性判定部１４３は、第１の画素と特徴点との類似度と第２の画素と特徴点との類似度の差と、ＮとＮ＋１との類似度の差とを比較する。第１の画素と第２の画素の類似度の差が、ＮとＮ＋１との類似度の差より大きい場合、ステップＳ１４０４に進む（ステップＳ１４０２  ＹＥＳ）。一方、第１の画素と第２の画素の類似度の差が、ＮとＮ＋１との類似度の差より大きくない場合、ステップＳ１４０３に進む（ステップＳ１４０２  ＮＯ）。
【０１２７】
ステップＳ１４０３で、単一性判定部１４３は、単一性の判定を失敗と判断し、処理を終了する。
【０１２８】
ステップＳ１４０４で、第１の画素の位置が、ブロックマッチング処理で特定された追跡点の位置と一致する場合、単一性判定部１４３は、単一性の判定を成功と判断し、処理を終了する。
【０１２９】
なお、探索ウィンドウ内に極値を有する画素が１つしか検出されなかったときには、かかる画素の位置が、ブロックマッチングの処理で特定された追跡点の位置と一致する場合に、単一性判定部１４３は、単一性の判定を成功と判断する。
【０１３０】
（５）第２の映像フレームの探索ウィンドウの拡大
単一性判定部１４３が単一性の判定を失敗と判断した場合、映像処理装置１は、第２の映像フレームの探索ウィンドウを拡大して、ブロックマッチングの処理、及び第１の条件の判定の処理を行ってもよい。
【０１３１】
図１５を用いて、第２の映像フレームの探索ウィンドウを拡大した場合の映像処理装置１の処理内容について説明する。
【０１３２】
図１５の（１）は、探索ウィンドウを拡大する前の第２の映像フレーム１５５０における第１の探索ウィンドウ１５３０、第２の探索ウィンドウ１５００、及びテンプレートパッチ１５１０の関係を示す図である。
【０１３３】
第２の映像フレーム１５５０は、柵の奥に家が存在する画像を示している。第１及び第２の探索ウィンドウ（１５３０、１５００）が設定されている領域は、柵に対応する部分であり、似たようなパターンが繰り返されている。単一性判定部１４３は、追跡点の候補となる第１の画素を抽出するのは難しい。また、似たようなパターンが繰り返されているため、ブロックマッチング部１４１は、追跡点を誤って特定するおそれがある。
【０１３４】
このような場合には、映像処理装置１は、探索ウィンドウを拡大して、ブロックマッチングの処理と、単一性の判定とを実行してもよい。
【０１３５】
図１５の（２）は、探索ウィンドウを拡大した場合の一例である。図１５の（２）では、第２の探索ウィンドウ１５００のサイズは一定であるが、映像処理装置１は、第１の探索ウィンドウ１５４０を拡大する。また、映像処理装置１は、第１の探索ウィンドウ内を移動する、テンプレートパッチ１５２０のサイズも拡大する。
【０１３６】
テンプレートパッチ１５２０が拡大されることにより、テンプレートパッチ１５２０の第２の映像フレーム１５５０の重複部分が広くなる。これにより、重複部分は、柵以外の部分も含むようになり、テンプレートパッチ１５２０を第１の探索ウィンドウ内で移動した場合に、重複部分とテンプレートパッチ１５２０との類似度を評価する値が変化するため、追跡点を抽出し易くなる。
【０１３７】
また、拡大された第１の探索ウィンドウ１５４０は、拡大前よりも変化のある画像であるため、単一性判定部１４３は、最も類似する第１の画素を追跡点の候補と判定し易くなる。
【０１３８】
なお、第２の映像のフレームの探索ウィンドウを拡大する場合に、映像処理装置１は、テンプレートパッチ１５１０を拡大しなくてもよい。また、映像処理装置１は、第１の探索ウィンドウと共に、第２の探索ウィンドウのサイズを拡大してもよい。
【０１３９】
＜第２の条件の判定＞
（１）曲面形状の算出方法
図１６及び図１７を用いて、曲面形状の算出方法について説明する。曲面形状判定部１４５は、ブロックマッチング処理と、単一性の判定（第１の条件の判定）の処理との結果、抽出された追跡点の候補の画素が追跡点であるかの判定を行う（第２の条件の判定）。
【０１４０】
追跡点の候補の画素が追跡点か否かの判定を行うときに、曲面形状判定部１４５は、追跡点の候補の画素が周辺の画素に対して際立った特徴を有するか否かの判定を行う。本実施形態では、曲面形状判定部１４５が、追跡点の候補の画素と特徴点との類似度と、かかる候補の画素の周辺の８画素と特徴点との類似度とを比較し、追跡点か否かの判定を行う。
【０１４１】
具体的には、曲面形状判定部１４５は、候補の画素（ｘ，ｙ）とその周辺８画素の位置と、これらの画素と特徴点との類似度から２次曲面の形状を算出する。
【０１４２】
図１６の（１）に候補の画素（ｘ，ｙ）と周辺８画素との位置関係を示す。Ｒは各画素と特徴点との類似度を表す。例えば、Ｒは特徴点との輝度の類似度を表してもよい。
【０１４３】
図１６の（２）は、候補の画素（ｘ，ｙ）と周辺８画素の位置と類似度の値とから２次曲面を形成した様子を示す図である。図１６の（２）は、候補の画素（ｘ，ｙ）の類似度Ｒ（ｘ，ｙ）を中心に２次曲面を切り出した様子を示している。
【０１４４】
２次曲面は、図１７の（式９）から求められる。ここで、ｘの２次の係数ａと、ｙの２次の係数ｃとは、それぞれ（式１０）と（式１１）とから求められる。
【０１４５】
ここで、（式１０）は、図１６の（１）の両端の２列の６画素（（ｘ−１，ｙ−１）、（ｘ−１、ｙ）、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ−１）、（ｘ＋１，ｙ）、（ｘ＋１，ｙ＋１））の類似度と、候補の画素（ｘ，ｙ）を含む真ん中の列の３画素（（ｘ，ｙ−１）、（ｘ，ｙ）、（ｘ，ｙ＋１））の類似度の２倍との差を表している。また、（式１１）は、図１６の（１）の上段と下段の２行の６画素（（ｘ−１，ｙ−１）、（ｘ，ｙ−１）、（ｘ＋１，ｙ−１）、（ｘ−１，ｙ＋１）、（ｘ，ｙ＋１）、（ｘ＋１，ｙ＋１））の類似度と、候補の画素（ｘ，ｙ）を含む真ん中の行の３画素（（ｘ−１，ｙ）、（ｘ，ｙ）、（ｘ＋１，ｙ））の類似度の２倍との差を表している。ｘの２次の係数ａと、ｙの２次の係数ｃの値とが第３の閾値より小さい場合、候補の画素（ｘ，ｙ）と周辺の画素の類似度から形成される２次曲面の形状は平坦に近く、候補の画素（ｘ，ｙ）で際立っていない。このため、特徴点に対応する追跡点が正しく特定できていない可能性が高い。この場合には、曲面形状判定部１４５は、第２の条件を満たさないと判定し、映像処理装置１は、追跡点の抽出に失敗したと判断する。
【０１４６】
一方、２次の係数ａとｃの少なくともいずれか一方が、第３の閾値より大きい場合、候補の画素（ｘ，ｙ）は周辺の画素に対して、特徴点との類似度が際立っている。このため、曲面形状判定部１４５は、第２の条件を満たすと判定し、映像処理装置１は、追跡点の抽出に成功したと判断する。
【０１４７】
ブロックマッチングの処理及び第１の判定の処理が副画素の精度で実行された場合、曲面形状判定部１４５は、追跡点の候補となる副画素から最も近い位置の画素を選択し、かかる画素とその周辺の画素とを用いて、第２の判定の処理を実行してもよい。或いは、曲面形状判定部１４５は、追跡点の候補となる副画素と特徴点との類似度と、周辺の画素と特徴点との類似度とから２次曲面を形成し、第２の判定の処理を実行してもよい。
【０１４８】
上述した実施形態では、候補の画素（ｘ，ｙ）と隣接する周辺８画素とから２次曲面の形状を算出しているが、周辺の画素は候補の画素（ｘ，ｙ）と隣接しない画素を含んでもよいことに留意すべきである。例えば、周辺の画素は、候補の画素（ｘ，ｙ）の２画素、又は３画素、隣りまで含んでもよい。
【０１４９】
＜ハードウェア構成＞
映像処理装置１は、例えば図１８に示すようなハードウェア構成により実現される。
【０１５０】
映像処理装置１は入出力部２０１、外部Ｉ／Ｆ２０３、ＲＡＭ２０４、ＲＯＭ２０５、ＣＰＵ２０６、通信Ｉ／Ｆ２０７、ＨＤＤ２０９、カメラモジュール２１０などを備え、それぞれがバスＢで相互に接続されている。
【０１５１】
入出力部２０１は、カメラモジュール２１０で撮影した映像のフレームを表示する。入出力部２０１は、映像処理装置１の状態などを表示する。また、入出力部２０１は、映像処理装置１のユーザから、映像処理装置１の各種設定を受け付けてもよい。
【０１５２】
通信Ｉ／Ｆ２０７は、サーバ、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等と、有線、又は無線のネットワークを介して通信を行う。映像処理装置１は、通信Ｉ／Ｆ２０７を介して、ＰＣ等の端末から、映像処理装置１に対する指示を受け付けてもよい。
【０１５３】
また、ＨＤＤ２０９はプログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには映像処理装置１全体を制御する基本ソフトウェアであるＯＳ、ＯＳ上において各種機能を提供するアプリケーションソフトウェアなどがある。なお、映像処理装置１はＨＤＤ２０９に替え、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を利用するものであってもよい。
【０１５４】
外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａなどがある。これにより、映像処理装置１は外部Ｉ／Ｆ２０３を介して記録媒体２０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体２０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、及びＵＳＢメモリなどがある。
【０１５５】
ＲＯＭ２０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ２０５には映像処理装置１の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ２０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。
【０１５６】
カメラモジュール２１０は、カメラを有し、ＣＰＵ２０６からの指示に基づいて撮影を行い、撮影された映像データをＲＡＭ２０４等の記憶装置に送信する。ＲＡＭ２０４等の記憶装置は受信した撮影データを記憶し、ＣＰＵ２０６の指示に応じて読み出す。
【０１５７】
ＣＰＵ２０６は、ＲＯＭ２０５及びＨＤＤ２０９などの記憶装置からプログラムやデータをＲＡＭ２０４上に読み出し、処理を実行することで、映像処理装置１全体の制御や図１及び図２に示す映像処理装置１の機能を実現する演算装置である。映像処理装置１は図１６に示すハードウェア構成により、上述した各種処理を実現できる。
【０１５８】
［その他］
上述した実施形態では、第１の探索ウィンドウ内の画素を用いて、映像処理装置１は、第１の判定処理と、第２の判定処理とを実行しているが、第２の探索ウィンドウ内の画素を用いてこれらの処理を実行してもよい。これにより、映像処理装置１は、第１の判定処理と第２の判定処理の対象となる画素を追跡点の候補の周辺の画素に絞ることができる。
【０１５９】
上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、映像処理装置１に供給してもよい。そして、映像処理装置１が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、上述の実施形態が、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、いずれかの実施の形態を構成することになる。ここで、記憶媒体は、記録媒体または非一時的な記憶媒体である。
【０１６０】
また、コンピュータ装置が読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に従って、コンピュータ装置上で動作しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施形態の機能が実現されてもよいことは言うまでもない。
【０１６１】
以上、本発明の好ましい実施形態について説明したが、本発明はこうした実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【０１６２】
１  映像処理装置
１１０  映像入力部
１２０  映像補正部
１３０  特徴点抽出部
１４０  追跡部
１４１  ブロックマッチング部
１４２  極値検出部
１４３  単一性判定部
１４５  曲面形状判定部
１５０  フレームバッファ
１６０  重複点除去部
【先行技術文献】
【特許文献】
【０１６３】
【特許文献１】特開２００３−０７８８０７号公報
【図１】
2017027363.tif 000003
【図２】
2017027363.tif 000004
【図３】
2017027363.tif 000005
【図４】
2017027363.tif 000006
【図５】
2017027363.tif 000007
【図６】
2017027363.tif 000008
【図７】
2017027363.tif 000009
【図８】
2017027363.tif 000010
【図９】
2017027363.tif 000011
【図１０】
2017027363.tif 000012
【図１１】
2017027363.tif 000013
【図１２】
2017027363.tif 000014
【図１３】
2017027363.tif 000015
【図１４】
2017027363.tif 000016
【図１５】
2017027363.tif 000017
【図１６】
2017027363.tif 000018
【図１７】
2017027363.tif 000019
【図１８】
2017027363.tif 000020