(57)【要約】【課題】オプティカルフローの計算において信頼度を上げる。【解決手段】映像中の２枚の画像の選択を入力する映像選択処理１２、映像選択処理１２で選択された２枚の画像の各点において微小な動きを想定してオプティカルフローを計算する際にどの程度の信頼性が得られるかを評価するフロー拘束式信頼度評価値計算処理１５、映像選択処理１２で選択された入力された２枚の画像の各点においてフローベクトルとなりうる各ベクトル毎にそのベクトルが移動ベクトルとなりうる確率を計算するフロー確率推定処理１６、画像の各点の、各２枚のセット毎に前記フロー拘束式信頼度評価値計算処理１５及びフロー確率推定処理１６の出力をテーブル化する信頼度テーブル作成処理１７を実行する。【選択図】図１
2007156954.tif 000002
【特許請求の範囲】
【請求項１】
映像を処理して動きに関する情報を抽出する方法であって、
映像選択手段が、映像中の２枚の画像の選択を入力する映像選択ステップと、
フロー拘束式信頼度評価値計算手段が、前記映像選択ステップで選択された２枚の画像の各点において微小な動きを想定してオプティカルフローを計算する際にどの程度の信頼性が得られるかを評価するフロー拘束式信頼度評価値計算ステップと、
フロー確率推定手段が、前記映像選択ステップで選択された入力された２枚の画像の各点においてフローベクトルとなりうる各ベクトル毎にそのベクトルが移動ベクトルとなりうる確率を計算するフロー確率推定ステップと、
信頼度テーブル作成手段が、画像の各点の、各２枚のセット毎に前記フロー拘束式信頼度評価値計算ステップ及び前記フロー確率推定ステップの出力をテーブル化する信頼度テーブル作成ステップと、を有することを特徴とする信頼度テーブル作成方法。
【請求項２】
前記フロー拘束式信頼度評価値計算ステップは、
前記映像選択ステップで選択された２枚の画像のそれぞれに対して特徴抽出処理を行いこれらの結果の類似度を定義して用いることを特徴とする請求項１に記載の信頼度テーブル作成方法。
【請求項３】
前記フロー確率推定ステップは、
局所的画像特徴量計算手段が、画像の局所的計算に基づく局所的画像特徴量計算を行う局所的画像特徴量計算ステップと、
変化特徴計算手段が、画像の局所的な時間変化に基づく変化特徴計算を行う変化特徴計算ステップと、
確率推定手段が、前記局所的画像特徴量計算結果及び前記変化特徴結果から各点毎、ベクトル毎にそのベクトルが正解フローである確率を推定する確率推定ステップと、を有することを特徴とする請求項１又は２に記載の信頼度テーブル作成方法。
【請求項４】
映像を処理して各点毎に動きを抽出する方法であって、
前記請求項１〜３いずれかにより得た信頼度テーブルを入力し、
統合処理手段が、前記信頼度テーブル内に局所的計算結果として得られているフロー確率推定の値のうち同じ動きが想定できる点において該信頼度テーブル内に蓄積されたフロー拘束式信頼度評価値計算結果に応じて重み付け積又は平均を計算して準局所的なフロー確率推定結果を得る統合処理ステップと、
フロー推定処理手段が、前記統合結果からオプティカルフローを推定するフロー推定ステップと、を有することを特徴とするオプティカルフロー推定方法。
【請求項５】
映像を処理して動きに関する情報を抽出する装置であって、
映像中の２枚の画像の選択を入力する映像選択手段と、
前記映像選択手段で選択された２枚の画像の各点において微小な動きを想定してオプティカルフローを計算する際にどの程度の信頼性が得られるかを評価するフロー拘束式信頼度評価値計算手段と、
前記映像選択手段で選択された入力された２枚の画像の各点においてフローベクトルとなりうる各ベクトル毎にそのベクトルが移動ベクトルとなりうる確率を計算するフロー確率推定手段と、
画像の各点の、各２枚のセット毎に前記フロー拘束式信頼度評価値計算手段及び前記フロー確率推定手段の出力をテーブル化する信頼度テーブル作成手段と、を有することを特徴とする信頼度テーブル作成装置。
【請求項６】
前記フロー拘束式信頼度評価値計算手段は、
前記映像選択手段で選択された２枚の画像のそれぞれに対して特徴抽出処理を行いこれらの結果の類似度を定義して用いることを特徴とする請求項５に記載の信頼度テーブル作成装置。
【請求項７】
前記フロー確率推定手段は、
画像の局所的計算に基づく局所的画像特徴量計算を行う局所的画像特徴量計算手段と、
画像の局所的な時間変化に基づく変化特徴計算を行う変化特徴計算手段と、
前記局所的画像特徴量計算結果及び前記変化特徴結果から各点毎、ベクトル毎にそのベクトルが正解フローである確率を推定する確率推定手段と、を有することを特徴とする請求項５又は６に記載の信頼度テーブル作成装置。
【請求項８】
映像を処理して各点毎に動きを抽出する装置であって、
前記請求項５〜７いずれかにより得た信頼度テーブルを入力し、
前記信頼度テーブル内に局所的計算結果として得られているフロー確率推定の値のうち同じ動きが想定できる点において該信頼度テーブル内に蓄積されたフロー拘束式信頼度評価値計算結果に応じて重み付け積又は平均を計算して準局所的なフロー確率推定結果を得る統合処理手段と、
前記統合結果からオプティカルフローを推定するフロー推定手段と、を有することを特徴とするオプティカルフロー推定装置。
【請求項９】
前記請求項１〜４いずれかに記載の方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オプティカルフローの推定に関するものである。
【背景技術】
【０００２】
以前から、映像中の動きを検出する手段として、オプティカルフローの計算法は知られており、様々な工夫によってその精度向上の努力が行われて来た。
【０００３】
その代表的なものが、フローを計算しその信頼性が低いと考えられる点は周囲の情報を利用する、という方法である（例えば、特許文献１参照。）。
【０００４】
また、動きの連続性を仮定して、信頼できないと考えられるフローをアウトライアーとして除去する方法もある（例えば、特許文献２参照。）。
【０００５】
いずれの方法も、フローが精度良く計算できることが前提となっている。すべて各点において１つの速度ベクトルが割り当てられた後に計算する方法であって、結果の初期状態に大きく依存する。また、それぞれのオプティカルフローの計算の方法に依存した調整を行う必要があり、複雑な系となっていた。使われるオプティカルフローの拘束式は対象の明るさが一定であると仮定されており、一般環境では照明変動が発生する場合は精度低下が発生していた。
【０００６】
また、オプティカルフローの計算では多くの場合ノイズが発生して結果が安定しないが、この問題は、近傍と異なる、得られた動きが大きすぎる等の判断を行って却下する方法がとられており、そもそも動きを検出することが難しい点も含めて処理を行うためにノイズの影響を排除しがたい状況も発生していた。
【特許文献１】特許３４３５０８４号公報
【特許文献２】特許３４０８１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
オプティカルフローの計算において信頼度を上げるには、その手法毎に精度を上げる工夫が必要となっていた。つまり、得られたフローについて信頼度を与え、改めてフローの候補を計算するという繰り返しが必要となっていた。このように各手法に依存した形でのみ精度向上の道が知られているのみであった。
【０００８】
その他にも、特にオプティカルフローの拘束式では「明るさ一定」を仮定するため、実際の問題では照明変動に起因する誤差が発生し、各手法毎の様々な設定が必要となっていた。
【０００９】
さらに、一般にはオプティカルフローの拘束式からフローを推定するには、他の情報（例えば連続性）を付加することが必要となっていたため、パラメータをそれぞれの状況に応じて設定することが必要となり、複雑となっていた。
【課題を解決するための手段】
【００１０】
そこで上記課題を解決するために、請求項１に記載の発明は、映像を処理して動きに関する情報を抽出する方法であって、映像選択手段が、映像中の２枚の画像の選択を入力する映像選択ステップと、フロー拘束式信頼度評価値計算手段が、前記映像選択ステップで選択された２枚の画像の各点において微小な動きを想定してオプティカルフローを計算する際にどの程度の信頼性が得られるかを評価するフロー拘束式信頼度評価値計算ステップと、フロー確率推定手段が、前記映像選択ステップで選択された入力された２枚の画像の各点においてフローベクトルとなりうる各ベクトル毎にそのベクトルが移動ベクトルとなりうる確率を計算するフロー確率推定ステップと、信頼度テーブル作成手段が、画像の各点の、各２枚のセット毎に前記フロー拘束式信頼度評価値計算ステップ及び前記フロー確率推定ステップの出力をテーブル化する信頼度テーブル作成ステップと、を有することを特徴とする。
【００１１】
また、請求項２に記載の発明は、前記フロー拘束式信頼度評価値計算ステップは、前記映像選択ステップで選択された２枚の画像のそれぞれに対して特徴抽出処理を行いこれらの結果の類似度を定義して用いることを特徴とする。
【００１２】
また、請求項３に記載の発明は、前記フロー確率推定ステップは、局所的画像特徴量計算手段が、画像の局所的計算に基づく局所的画像特徴量計算を行う局所的画像特徴量計算ステップと、変化特徴計算手段が、画像の局所的な時間変化に基づく変化特徴計算を行う変化特徴計算ステップと、確率推定手段が、前記局所的画像特徴量計算及び前記変化特徴結果から各点毎、ベクトル毎にそのベクトルが正解フローである確率を推定する確率推定ステップと、を有することを特徴とする。
【００１３】
また、請求項４に記載の発明は、映像を処理して各点毎に動きを抽出する方法であって、前記請求項１〜３いずれかにより得た信頼度テーブルを入力し、統合処理手段が、前記信頼度テーブル内に局所的計算結果として得られているフロー確率推定の値のうち同じ動きが想定できる点において該信頼度テーブル内に蓄積されたフロー拘束式信頼度評価値計算結果に応じて重み付け積又は平均を計算して準局所的なフロー確率推定結果を得る統合処理ステップと、フロー推定処理手段が、前記統合結果からオプティカルフローを推定するフロー推定ステップと、を有することを特徴とする。
【００１４】
また、請求項５に記載の発明は、映像を処理して動きに関する情報を抽出する装置であって、映像中の２枚の画像の選択を入力する映像選択手段と、前記映像選択手段で選択された２枚の画像の各点において微小な動きを想定してオプティカルフローを計算する際にどの程度の信頼性が得られるかを評価するフロー拘束式信頼度評価値計算手段と、前記映像選択手段で選択された入力された２枚の画像の各点においてフローベクトルとなりうる各ベクトル毎にそのベクトルが移動ベクトルとなりうる確率を計算するフロー確率推定手段と、画像の各点の、各２枚のセット毎に前記フロー拘束式信頼度評価値計算手段及び前記フロー確率推定手段の出力をテーブル化する信頼度テーブル作成手段と、を有することを特徴とする。
【００１５】
また、請求項６に記載の発明は、前記フロー拘束式信頼度評価値計算手段は、前記映像選択手段で選択された２枚の画像のそれぞれに対して特徴抽出処理を行いこれらの結果の類似度を定義して用いることを特徴とする。
【００１６】
また、請求項７に記載の発明は、前記フロー確率推定手段は、画像の局所的計算に基づく局所的画像特徴量計算を行う局所的画像特徴量計算手段と、画像の局所的な時間変化に基づく変化特徴計算を行う変化特徴計算手段と、前記局所的画像特徴量計算及び前記変化特徴結果から各点毎、ベクトル毎にそのベクトルが正解フローである確率を推定する確率推定手段と、を有することを特徴とする。
【００１７】
また、請求項８に記載の発明は、映像を処理して各点毎に動きを抽出する装置であって、前記請求項５〜７いずれかにより得た信頼度テーブルを入力し、前記信頼度テーブル内に局所的計算結果として得られているフロー確率推定の値のうち同じ動きが想定できる点において該信頼度テーブル内に蓄積されたフロー拘束式信頼度評価値計算結果に応じて重み付け積又は平均を計算して準局所的なフロー確率推定結果を得る統合処理手段と、前記統合結果からオプティカルフローを推定するフロー推定手段と、を有することを特徴とする。
【００１８】
また、請求項９に記載の発明は、前記請求項１〜４いずれかに記載の方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【発明の効果】
【００１９】
請求項１〜９に記載の発明によれば、オプティカルフローの計算手法とは独立にフローが計算できるか、さらにすべての速度ベクトル候補に対してフローとして成り立つかを、いずれも連続的な数値、かつ相関係数、確率という尺度を付与することができ、結果としてフロー計算の精度向上を実現するための基本情報を得ることができる。
【発明を実施するための最良の形態】
【００２０】
図１を用いて、映像中のオプティカルフロー拘束式信頼度とオプティカルフローの確率分布推定方法を含む信頼度テーブルの取得方法を説明する。
【００２１】
図１において、１１は画像列、１２は映像選択処理、１３は入力画像１、１４は入力画像２、１５はフロー拘束式信頼度評価計算処理、１６はフロー確率推定処理、１７は信頼度テーブル作成処理、１８は信頼度テーブルである。
【００２２】
画像列１１は、処理の元となる画像列である。蓄積された映像でも、すでに蓄積された映像でも、また複数の画像が一枚ずつ独立したものでもかまわない。
【００２３】
映像選択処理１２は、画像列１１から処理を行う２枚の入力画像１３、１４を選択する。映像はＩ（ｘ，ｙ，ｔ）であって、各ｔ毎に１枚の画像が表現される。画像の１点は（ｘ，ｙ）が画素値である。よって(ｘ，ｙ)を変数とした２次元関数と考える。
【００２４】
この際、選択する２枚の画像は、ｔ＝ｔ0、ｔ＝ｔ0＋１とする。基本的に得られる２枚の画像は、同一の画像で短い時間差で撮影された、同じ画素数の画像である。以下の処理上ではモノクロ濃淡画像とするが、カラーであった場合は、ここでモノクロに変換すればよい。
【００２５】
フロー拘束式信頼度評価計算処理１５は、２枚の画像の各点においてオプティカルフロー計算処理にどの程度の信頼性が得られるかを計算するフロー拘束式信頼度評価値計算処理である。具体的には２枚の画像の点毎にオプティカルフローの拘束式
【００２６】
【数１】
2007156954.tif 000003
【００２７】
の信頼度を評価値として計算する。ここで、
【００２８】
【数２】
2007156954.tif 000004
【００２９】
は、オプティカルフロー（速度ベクトル）、
【００３０】
【数３】
2007156954.tif 000005
【００３１】
などはＩに対する偏微分である。また、必要でない限り(ｘ，ｙ)又は(ｘ，ｙ)は省略する。
【００３２】
信頼度の計算式の例は、図２の説明の中でまとめて示す。図２に示すように、入力された２枚の画像の各点において、その点におけるフローベクトルの可能性をベクトル場で表現したものである。この計算式も、フロー拘束式信頼度評価計算処理１５と同様以下にまとめて示す。
【００３３】
１７は信頼度テーブル作成処理、１８はその結果であり、映像中のオプティカルフロー拘束式信頼度とオプティカルフローの確率分布推定結果を含んだ信頼度テーブルである。
【００３４】
図２は、フロー確率推定処理１６の実施例を具体的方法によって示すものである。図２において、２１は局所的画像特徴量計算処理、２２は変化特徴計算処理、２３は確率推定処理である。
【００３５】
図２を用いて、フロー拘束式信頼度評価計算処理１５及びフロー確率推定処理１６の具体的方法を説明する。
【００３６】
まず、オプティカルフローの拘束式数１をｘおよびｙ方向で偏微分すると、
【００３７】
【数４】
2007156954.tif 000006
【００３８】
が得られる。ここで
【００３９】
【数５】
2007156954.tif 000007
【００４０】
などは、Ｉの変数のうち(ｘ，ｙ)に対する２回微分を示す。
【００４１】
【数６】
2007156954.tif 000008
【００４２】
を関数ｆのヘッセ行列とする。時間変化は含んでいない。
この場合、数４は
【００４３】
【数７】
2007156954.tif 000009
【００４４】
と書き改めることができる。Ｉのヘッセ行列の行列式がゼロでない場合は、
【００４５】
【数８】
2007156954.tif 000010
【００４６】
が得られる。（文献Ｕｒａｓ(Ａ  ｃｏｍｐｕｔａｔｉｏｎａｌ  ａｐｐｒｏａｃｈ  ｔｏ  ｍｏｔｉｏｎ  ｐｅｒｃｅｐｔｉｏｎ，Ｓ．Ｕｒａｓ，Ｆ．Ｇｉｒｏｓｉ，Ａ  ｖｅｒｒｉ，Ｖ．Ｔｏｒｒｅ，Ｂｉｏｌ．Ｃｙｂｅｒｎ．，ｖｏｌ６０，ｐｐ．７９−９７，１９８８)）。この拘束式は、照明変動への耐久性があることが知られている（文献Ｂｒｏｘ(Ｂｒｏｘ，Ｔ．，Ｂｒｕｈｎ，Ａ．，Ｐａｐｅｎｂｅｒｇ，Ｎ．，Ｗｅｉｃｋｅｒｔ，ｊ．：
Ｈｉｇｈ  Ａｃｃｕｒａｃｙ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ  Ｅｓｔｉｏｍａｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  ａ  Ｔｈｅｏｒｙ  ｏｆ  Ｗａｒｐｉｎｇ，
ＥＣＣＶ  ２００４，２５−３６（Ｖｏｌｕｍｅ  ３０２４  ｏｆ  Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ）)）。
【００４７】
以上の準備の元、フロー拘束式信頼度評価値計算１３では、
【００４８】
【数９】
2007156954.tif 000011
【００４９】
を計算し、フロー拘束式信頼度評価値とする。ここでσは、予め想定したノイズ量を示すゼロ以上の値である。
【００５０】
またｋは、ノイズ量を重み付けして信頼度を計算するためのパラメータであり、正の定数とする。例えば１を利用する。この結果、
【００５１】
【数１０】
2007156954.tif 000012
【００５２】
となり、ｋが小さいか、
【００５３】
【数１１】
2007156954.tif 000013
【００５４】
が大きい場合は、
【００５５】
【数１２】
2007156954.tif 000014
【００５６】
は２枚の入力画像のグラジエント計算後の相関値
【００５７】
【数１３】
2007156954.tif 000015
【００５８】
に近い値を持つ。従って、
【００５９】
【数１４】
2007156954.tif 000016
【００６０】
はノイズの存在を考慮した相関係数の近似値とみなすことができる。
【００６１】
一方、ｋが大きく、且つ、
【００６２】
【数１５】
2007156954.tif 000017
【００６３】
が小さい場合、
【００６４】
【数１６】
2007156954.tif 000018
【００６５】
は小さくなる。これは、この点において画像の特徴が少なく、ノイズの影響によってどのような結果も得られる可能性があり、得られたフローが信頼できないことを意味する。従って、この値
【００６６】
【数１７】
2007156954.tif 000019
【００６７】
が大きい（１に近い）ほどフロー拘束式の信頼度が高いと判断する。
【００６８】
次に、フロー確率推定１６の具体的計算方法例を示す。
【００６９】
例えば最も単純には、Ｈｅｓｓ（Ｉ）を局所的な画像特徴量２１、また
【００７０】
【数１８】
2007156954.tif 000020
【００７１】
を時間経過に伴う変化特徴２２とする。そして確率推定手段２３では、
【００７２】
【数１９】
2007156954.tif 000021
【００７３】
を計算する。ここでのσは、数９と同じ値とする。
【００７４】
この方法では、それぞれの点(ｘ，ｙ)に対応して各
【００７５】
【数２０】
2007156954.tif 000022
【００７６】
毎に数１９を当てはめればよい。
【００７７】
このステップにおいて、各点(ｘ，ｙ)、各ベクトル
【００７８】
【数２１】
2007156954.tif 000023
【００７９】
毎に、独立に計算でき、繰り返し演算はない。
【００８０】
(ｘ，ｙ)を固定し
【００８１】
【数２２】
2007156954.tif 000024
【００８２】
の場を考えると、確率の密度分布が得られる。この分布の広がり度合いは、Ｈｅｓｓ（Ｉ）の特性によって決まる。例えば、特徴的な点では分布は狭い範囲に集中、エッジでは長い範囲に広がり、特徴がない平坦な点では２次元状に広がった形となる。
【００８３】
実際に、この方法をプログラムで実現する場合、ベクトル候補
【００８４】
【数２３】
2007156954.tif 000025
【００８５】
は連続的に定期可能な値であるため、全てについてこれを計算することは不可能である。
【００８６】
従って、分布を得たい場合には必要に応じた細かさでベクトル候補をサンプリングし、数１９を計算することになる。また場合によっては、必要なベクトル候補のみに対して数１９を計算してもよい。例えば、別のオプティカルフロー計算方法によってフローが推定された場合に、その推定されたベクトルの確率を確かめる場合がある。つまり、必要なベクトルについてのみ確率を計算することは、当然の方法として考えられる。
【００８７】
図３は、以上のプロセスを具体的な画像例で示すものである。図３において、３１は入力画像の１枚目、３２は入力画像の１枚目の一部、３３は入力画像２枚目の一部であって３２と同じ位置から切り出した画像、３４はフロー拘束式信頼度評価処理結果例、３５はフロー確率推定処理結果例である。
【００８８】
入力画像の１枚目３１は、濃淡画像であって、動きながら撮影されたものである。
【００８９】
入力画像の１枚目の一部３２、入力画像２枚目の一部３３は、画像の一部を同じ位置から切り出したものである。元々は２０×２０画素であったが、これを１／４縮小して５×５画素として示している。同じパターンが左に移動していることがわかる。
【００９０】
フロー拘束式信頼度評価処理結果例３４は、５×５点について、数９を用いて信頼度を計算した結果である。
【００９１】
白いほど信頼度が高く、黒いほど信頼度が低いことを示している。この例では、左下が信頼度が低い。実際のこの点では、元の２枚の画像を比較しても大きく変化していることがわかる。
【００９２】
フロー確率推定処理結果例３５は、フロー拘束式信頼度評価処理結果例３４と同じ点（合計２５点）において、数１９を用いてフロー確率推定を行った結果である。
【００９３】
各マスは、±４ドット分の動きを、０．２５ドット単位の大きさベクトル候補で表現した。中央の点が動きなしを意味する。これらの例２５点では、各点の特徴に従って、その分布は大きく異なる。しかし、いずれの点においても、左向きのフロー候補では、信頼度が比較的高いという特徴は共通しており、これはパターンが左に動いているということと矛盾しない。
【００９４】
信頼度テーブルには、フロー拘束式信頼度評価処理結果とフロー確率推定処理結果が併せて蓄積されることとなる。
【００９５】
次に、図４を用いて映像中のオプティカルフロー推定方法について説明する。図４において、４１は信頼度テーブルであり、信頼度テーブル１８の出力である。４２は統合処理、４３はフロー推定処理である。
【００９６】
統合処理４２では、同じ動きが想定できる点に関する信頼度テーブル４１のデータを利用して、各点、各ベクトル毎に統合結果を得る。具体的な式で示すと、例えば
【００９７】
【数２４】
2007156954.tif 000026
【００９８】
【数２５】
2007156954.tif 000027
【００９９】
等が考えられる。ここでｗiは、
【０１００】
【数２６】
2007156954.tif 000028
【０１０１】
となる係数、ｉに連動して座標のずれ(ｘi，ｙi)が定義されているとする。(ｘi，ｙi)の範囲は、同じ動きが想定できる範囲を限定し、ｗiは重みである。この重みは、フロー拘束式信頼度評価値に比例して設定する方法がある。その他にも、フロー拘束式信頼度評価値にしきい値処理を行って、評価値が高い点のみのデータを利用する方法も考えられる。
【０１０２】
より具体的な(ｘi，ｙi)とｗiの例を示す。最も単純には、(ｘi，ｙi)は、ｙi＝−１．０，１、ｘi＝−１．０，１、ｗi＝１／９とする。これは、８近傍領域で同じ動きであると推定し、すべての点で重みを同じにした場合である。同じ近傍について、重みを数１９に比例させてもよい。
【０１０３】
また、統合処理４２の別の例として、例えば
【０１０４】
【数２７】
2007156954.tif 000029
【０１０５】
を考えることも可能である。
【０１０６】
フロー推定処理４３は、上記の統合処理４２の結果から、最も確率が高いと考えられるオプティカルフローを選択する。選択された(ｕ，ｖ)が、各点におけるオプティカルフローとして出力される。これを式で示すと、数２４、数２５に対してそれぞれ
【０１０７】
【数２８】
2007156954.tif 000030
【０１０８】
【数２９】
2007156954.tif 000031
【０１０９】
で表現できる。なお数２９は、
【０１１０】
【数３０】
2007156954.tif 000032
【０１１１】
と同等である。この場合、σの値の影響はない。
【０１１２】
以上の定義は１点(ｘ，ｙ)のみを利用する形で説明したが、実際にはＨｅｓｓ（Ｉ（ｔ））、▽Ｉなどの近傍において積分（または総和）を計算したり、
【０１１３】
【数３１】
2007156954.tif 000033
【０１１４】
の計算などにおいて領域の積分値を使っても、全く同様の議論が成り立つ。この方法によって、結果の安定性向上が見込まれる。
【０１１５】
なお、処理にあたり実際には、画像に対して何らかの前処理を施しておいてもよい。たとえば平滑化、対数変換が考えられる。平滑化処理では、高周波成分の影響を取り除くことが期待できる。高周波成分を取り除いた後は、同時に画像縮小を行うこともできる。また、対数変換が加わることで、さらに照明変動の影響が低減できる。
【０１１６】
(装置構成について)
上記各処理を行う信頼度算出装置、フロー推定装置の構成について説明する。
【０１１７】
信頼度算出装置は、入力画像を入力する入力部、フロー拘束信頼度評価計算処理、フロー確率推定処理、信頼度テーブル作成処理に必要な数式を記録する記録部、信頼度テーブルを出力する出力部、並びにフロー拘束信頼度評価計算処理、フロー確率推定処理、信頼度テーブル作成処理を行う制御部を備える構成にすることができる。
【０１１８】
例えば、ＣＰＵを用いて制御部を実現した場合には、このＣＰＵにはメモリ、出力部であるディスプレイ、入力部であるキーボード及び画像入力装置、記憶部であるハードディスクが接続される。ハードディスクにはフロー拘束信頼度評価計算処理、及びフロー確率推定処理、信頼度テーブル作成処理を実行するプログラム、数式、並びにオペレーティングシステムが記憶されている。プログラムはＣＤ−ＲＯＭドライブを介してＣＤ−ＲＯＭからインストールことが可能である。
【０１１９】
フロー推定装置は信頼度テーブルを入力する入力部、統合処理、フロー推定処理に必要な数式を記録する記録部、フローを出力する出力部、並びに統合処理、及びフロー推定処理を行う制御部を備える構成にすることができる。
【０１２０】
例えば、ＣＰＵを用いて制御部を実現した場合には、このＣＰＵにはメモリ、出力部であるディスプレイ、入力部であるキーボード及び信頼度入力部、記憶部であるハードディスクが接続される。ハードディスクには統合処理、及びフロー推定処理を実行するプログラム、数式、並びにオペレーティングシステムが記憶されている。プログラムはＣＤ−ＲＯＭドライブを介してＣＤ−ＲＯＭからインストールことが可能である。
【０１２１】
(実施形態の効果)
上記実施形態によれば、オプティカルフローの計算アルゴリズムとは独立に各点毎にフロー拘束式が成り立ちうるかを判断した結果を得、さらにこれとは独立に、各点において必要なすべてのベクトルについての可能性を確率的数値で示すことによって、フロー計算結果の初期状態に依存せずに精度向上を行うことができる情報を提供できる。
【０１２２】
これは、オプティカルフローの計算に必要となる様々なパラメータと上記結果が完全に独立となるため、パラメータの設定がフロー計算方法に依存せず、単純になる。
【０１２３】
さらに、特徴点でない、例えばエッジのような速度を一意に決定不能な点においてもその動きの範囲を特定することができ、これまで特徴が少ないとして破棄または信頼度が低いとされて来た点においても情報を抽出する方法を提供できるようになる。
【０１２４】
さらに、その基本方程式に照明変動の影響を軽減するフィルタ処理を含むため、照明変動が変化しても結果は影響を受けない方法を提供できるようになる。
【０１２５】
さらにこの結果は、同一の動きであると推定され、拘束式が十分信頼できる場合における点の相互の情報を統合することによって、オプティカルフローそのものを推定できる。この方法は、上記の照明変動安定性等を含めた特徴を持つ。
【０１２６】
パラメータを繰り返し演算で最適化して決めるプロセスがなく、直接局所的な情報のみから計算が可能であるため、並列化にも適用できる。
【図面の簡単な説明】
【０１２７】
【図１】信頼度テーブル取得の説明図。
【図２】フロー確率推定処理の説明図。
【図３】信頼度テーブル取得の実施例説明図。
【図４】オプティカルフロー推定方法の説明図。
【符号の説明】
【０１２８】
１１  画像列
１２  映像選択処理
１３  入力画像１
１４  入力画像２
１５  フロー拘束式信頼度評価計算処理
１６  フロー確率推定処理
１７  信頼度テーブル作成処理
１８  信頼度テーブル
２１  局所的画像特徴計算処理
２２  変化特徴計算処理
２３  確率推定処理
３１  入力画像の１枚目
３２  入力画像の１枚目の一部
３３  入力画像２枚目の一部
３４  フロー拘束式信頼度評価処理結果例
３５  フロー確率推定処理結果例
４１  信頼度テーブル
４２  統合処理
４３  フロー推定処理
【図１】
2007156954.tif 000034
【図２】
2007156954.tif 000035
【図４】
2007156954.tif 000036
【図３】
2007156954.tif 000037