(57)【要約】【課題】反射表面を有する観測対象のオプティカルフローを推定すること。【解決手段】観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、目的関数を最小化問題として解くことにより、観測対象のオプティカルフローを推定するので、反射表面を有する観測対象のオプティカルフローを推定する。【選択図】図１
2011248704.tif 000002
【特許請求の範囲】
【請求項１】
反射表面を有する観測対象を写した観測画像を入力する入力手段と、
入力された前記観測画像を記憶する記憶手段と、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する推定手段と、
を有することを特徴とするオプティカルフロー推定装置。
【請求項２】
前記推定手段は、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ｘＩ（ｘ，ｙ，ｔ）＝Ｉｘ＝∂ｘ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｙＩ（ｘ，ｙ，ｔ）＝Ｉｙ＝∂ｙ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｔＩ（ｘ，ｙ，ｔ）＝Ｉｔ＝∂ｔ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉｘｕ＋Ｉｙｖ＋Ｉｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ（ｉ，ｊ）∈Ω［Ｉｘｕ＋Ｉｙｖ＋Ｉｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とする請求項１に記載のオプティカルフロー推定装置。
【請求項３】
前記推定手段は、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする請求項２に記載のオプティカルフロー推定装置。
【請求項４】
前記推定手段は、
前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする請求項２又は３に記載のオプティカルフロー推定装置。
【請求項５】
コンピュータにより、
反射表面を有する観測対象を写した観測画像を入力する第１のステップと、
入力された前記観測画像を記憶手段に記憶する第２のステップと、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する第３のステップと、
を有することを特徴とするオプティカルフロー推定方法。
【請求項６】
前記第３のステップは、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ｘＩ（ｘ，ｙ，ｔ）＝Ｉｘ＝∂ｘ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｙＩ（ｘ，ｙ，ｔ）＝Ｉｙ＝∂ｙ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｔＩ（ｘ，ｙ，ｔ）＝Ｉｔ＝∂ｔ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉｘｕ＋Ｉｙｖ＋Ｉｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ（ｉ，ｊ）∈Ω［Ｉｘｕ＋Ｉｙｖ＋Ｉｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とする請求項５に記載のオプティカルフロー推定方法。
【請求項７】
前記第３のステップは、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする請求項６に記載のオプティカルフロー推定方法。
【請求項８】
前記第３のステップは、
前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする請求項６又は７に記載のオプティカルフロー推定方法。
【請求項９】
請求項５乃至８のいずれか１項に記載のオプティカルフロー推定方法における各ステップをコンピュータによって実行させることを特徴とするオプティカルフロー推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された観測画像から反射表面を有する観測対象のオプティカルフローを推定する技術に関する。
【背景技術】
【０００２】
実環境センシングにおいて、カメラ撮影により得られた動画像から対象の動きを動画解析する手法は、基本的な動き検出手段である（非特許文献１参照）。カメラにより撮影された画像を用いる利点は、対象にセンサを装着できない場合、非接触状態で観測する場合、広域範囲を同時に見渡すことを要する場合にある。
【０００３】
そのような動画解析手法の一つに、オプティカルフロー法を挙げることができる。オプティカルフロー法とは、時間的に連続する複数の画像を利用して、画像の速度場を求めてベクトル集合で表現する方法であり、撮影された画像内に写された対象の動き（オプティカルフロー）を検出することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理編集委員会、「ディジタル画像処理」、第2版、日本、財団法人  画像情報教育振興委員会（ＣＧ−ＡＲＴＳ協会）、2006年3月1日、p.49-57、64-68、279-282
【非特許文献２】武川  直樹、「動画像解析における光学モデル」、電子情報通信学会、Vol.J77-D-II、No.4、1994年、p.711-718
【非特許文献３】「共役勾配法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月21日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E5%85%B1%E5%BD%B9%E5%8B%BE%E9%85%8D%E6%B3%95>
【非特許文献４】「最急降下法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月21日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E6%9C%80%E6%80%A5%E9%99%8D%E4%B8%8B%E6%B3%95>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、環境外乱の影響により、安定した動き推定や解析が阻害されることが多い。その要因の一つに、雨や霧等の発生によって周囲の湿度が高くなり、対象の表面や背景が乾いた状態から濡れた状態に変化することが挙げられる。
【０００６】
従来のオプティカルフロー法は、撮影される観測対象の表面が乾いた状態であることを前提としているため、濡れた面を有する観測対象の動きを検出できないという問題があった。
【０００７】
なお、非特許文献２には拡散反射モデルに基づく動き検出法が開示されているが、その拡散反射モデルは画像間の輝度変動にのみ利用され、画像の輝度に対する直接的な光学モデルとしては利用されていない。また、動きを検出する際に使用されるモデルパラメータが増加した場合には、計算の収束性が低下するものである。また、ミリ波レーダ等の特殊で高価な装置を用いて表面状態を検出可能ではあるが、一般的で安価なカメラ画像を用いることが切望されている。
【０００８】
本発明は、上記を鑑みてなされたものであり、反射表面を有する観測対象のオプティカルフローを推定することを課題とする。
【課題を解決するための手段】
【０００９】
請求項１に記載のオプティカルフロー推定装置は、反射表面を有する観測対象を写した観測画像を入力する入力手段と、入力された前記観測画像を記憶する記憶手段と、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する推定手段と、を有することを特徴とする。
【００１０】
本発明によれば、観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、目的関数を最小化問題として解くことにより、観測対象のオプティカルフローを推定するため、反射表面を有する観測対象のオプティカルフローを推定することができる。
【００１１】
請求項２に記載のオプティカルフロー推定装置は、請求項１に記載のオプティカルフロー推定装置において、前記推定手段は、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ｘＩ（ｘ，ｙ，ｔ）＝Ｉｘ＝∂ｘ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｙＩ（ｘ，ｙ，ｔ）＝Ｉｙ＝∂ｙ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｔＩ（ｘ，ｙ，ｔ）＝Ｉｔ＝∂ｔ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉｘｕ＋Ｉｙｖ＋Ｉｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ（ｉ，ｊ）∈Ω［Ｉｘｕ＋Ｉｙｖ＋Ｉｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とする。
【００１２】
本発明によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）で定義し、定義された光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ｘＩ（ｘ，ｙ，ｔ）＝Ｉｘ＝∂ｘ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｙＩ（ｘ，ｙ，ｔ）＝Ｉｙ＝∂ｙ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｔＩ（ｘ，ｙ，ｔ）＝Ｉｔ＝∂ｔ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］）をそれぞれ導出し、オプティカルフロー法の拘束条件（Ｉｘｕ＋Ｉｙｖ＋Ｉｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ（ｉ，ｊ）∈Ω［Ｉｘｕ＋Ｉｙｖ＋Ｉｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、観測画像における任意の画素の位置，観測画像の一定画像領域）を導出し、各１次微分と観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを目的関数に代入して最小化問題として解くことにより、観測対象の表面状態と観測対象のオプティカルフロー（ｕ，ｖ）とを推定するため、観測対象の表面特性とオプティカルフローとを同時に推定することができる。
【００１３】
請求項３に記載のオプティカルフロー推定装置は、請求項２に記載のオプティカルフロー推定装置において、前記推定手段は、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする。
【００１４】
本発明によれば、拡散反射係数及び鏡面反射係数に係る拘束条件と、オプティカルフローの滑らかさに係る拘束条件とを目的関数に適用するため、目的関数計算の収束性を高めることができる。
【００１５】
請求項４に記載のオプティカルフロー推定装置は、請求項２又は３に記載のオプティカルフロー推定装置において、前記推定手段は、前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする。
【００１６】
本発明によれば、観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、拡散反射係数に対するよりも鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、鏡面反射係数に対するよりも拡散反射係数に対して高い重み付けを行うため、目的関数計算の収束性を更に高めることができる。
【００１７】
請求項５に記載のオプティカルフロー推定方法は、コンピュータにより、反射表面を有する観測対象を写した観測画像を入力する第１のステップと、入力された前記観測画像を記憶手段に記憶する第２のステップと、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された前記光学モデルをオプティカルフロー法の拘束条件に適用し、適用された前記拘束条件からオプティカルフローを推定する目的関数を導出して、前記目的関数を最小化問題として解くことにより、前記観測対象のオプティカルフローを推定する第３のステップと、を有することを特徴とする。
【００１８】
本発明によれば、観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、目的関数を最小化問題として解くことにより、観測対象のオプティカルフローを推定するため、反射表面を有する観測対象のオプティカルフローを推定することができる。
【００１９】
請求項６に記載のオプティカルフロー推定方法は、請求項５に記載のオプティカルフロー推定方法において、前記第３のステップは、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）で定義し、定義された前記光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ｘＩ（ｘ，ｙ，ｔ）＝Ｉｘ＝∂ｘ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｙＩ（ｘ，ｙ，ｔ）＝Ｉｙ＝∂ｙ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｔＩ（ｘ，ｙ，ｔ）＝Ｉｔ＝∂ｔ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］）をそれぞれ導出し、前記オプティカルフロー法の拘束条件（Ｉｘｕ＋Ｉｙｖ＋Ｉｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ（ｉ，ｊ）∈Ω［Ｉｘｕ＋Ｉｙｖ＋Ｉｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、前記観測画像における任意の画素の位置，前記観測画像の一定画像領域）を導出し、前記各１次微分と前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを前記目的関数に代入して最小化問題として解くことにより、前記観測対象の表面状態と前記観測対象のオプティカルフロー（ｕ，ｖ）とを推定することを特徴とする。
【００２０】
本発明によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）で定義し、定義された光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ｘＩ（ｘ，ｙ，ｔ）＝Ｉｘ＝∂ｘ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｙＩ（ｘ，ｙ，ｔ）＝Ｉｙ＝∂ｙ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｔＩ（ｘ，ｙ，ｔ）＝Ｉｔ＝∂ｔ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］）をそれぞれ導出し、オプティカルフロー法の拘束条件（Ｉｘｕ＋Ｉｙｖ＋Ｉｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ（ｉ，ｊ）∈Ω［Ｉｘｕ＋Ｉｙｖ＋Ｉｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、観測画像における任意の画素の位置，観測画像の一定画像領域）を導出し、各１次微分と観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを目的関数に代入して最小化問題として解くことにより、観測対象の表面状態と観測対象のオプティカルフロー（ｕ，ｖ）とを推定するため、観測対象の表面特性とオプティカルフローとを同時に推定することができる。
【００２１】
請求項７に記載のオプティカルフロー推定方法は、請求項６に記載のオプティカルフロー推定方法において、前記第３のステップは、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件と、前記オプティカルフローの滑らかさに係る拘束条件とを前記目的関数に適用することを特徴とする。
【００２２】
本発明によれば、拡散反射係数及び鏡面反射係数に係る拘束条件と、オプティカルフローの滑らかさに係る拘束条件とを目的関数に適用するため、目的関数計算の収束性を高めることができる。
【００２３】
請求項８に記載のオプティカルフロー推定方法は、請求項６又は７に記載のオプティカルフロー推定方法において、前記第３のステップは、前記観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、前記拡散反射係数に対するよりも前記鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、前記鏡面反射係数に対するよりも前記拡散反射係数に対して高い重み付けを行うことを特徴とする。
【００２４】
本発明によれば、観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、拡散反射係数に対するよりも鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、鏡面反射係数に対するよりも拡散反射係数に対して高い重み付けを行うため、目的関数計算の収束性を更に高めることができる。
【００２５】
請求項９に記載のオプティカルフロー推定プログラムは、請求項５乃至８のいずれか１項に記載のオプティカルフロー推定方法における各ステップをコンピュータによって実行させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、反射表面を有する観測対象のオプティカルフローを推定することができる。
【図面の簡単な説明】
【００２７】
【図１】オプティカルフロー推定装置の機能ブロック構成を示す図である。
【図２】拡散反射及び鏡面反射に関する光学モデルの一例を示す図である。
【図３】観測画像内において大きさの異なる画像領域の平均輝度値を示す図である。
【図４】本手法と従来法とに基づくオプティカルフロー推定結果を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２９】
図１は、本実施の形態に係るオプティカルフロー推定装置の機能ブロック構成を示す図である。このオプティカルフロー推定装置１は、画像入力部１１と、データ蓄積部１２と、オプティカルフロー推定部１３と、推定結果表示部１４とで構成されている。
【００３０】
画像入力部１１は、カメラ（不図示）により撮影され、濡れた表面を有する観測対象を写した１枚以上の観測画像の入力を受け付けて、オプティカルフロー推定装置１の内部に入力する機能を有している。
【００３１】
データ蓄積部１２は、画像入力部１１で受付・入力された観測画像を読み出し可能に記憶する機能を有している。
【００３２】
オプティカルフロー推定部１３は、観測画像をデータ蓄積部１２から取得し、その観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、導出した目的関数を最小化問題として解くことにより、観測対象の表面状態やオプティカルフローを推定する機能を有している。
【００３３】
推定結果表示部１４は、オプティカルフロー推定部１３によって推定された観測対象の表面状態やオプティカルフローを画面に表示する機能を有している。
【００３４】
なお、本実施の形態では、観測対象の表面が濡れた状態であることを一例に説明するが、カメラ撮影された観測画像内の観測対象が反射表面を有していればよい。
【００３５】
次に、オプティカルフロー推定部１３について詳細に説明する。本実施の形態では、図２に示すように、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルを利用している。太陽光等の光源３１からの入射光Ｌｉと観測対象３２の表面の位置Ｐでの法線ベクトルＮとのなす角（入射角）をθとし、その位置Ｐにおける拡散反射Ｄの拡散反射係数（拡散反射率）をＫｄ、鏡面反射Ｓの鏡面反射係数（鏡面反射率）をＫｓとすると、オプティカルフロー推定装置１に接続されたカメラ３３で撮影される観測画像の画素の輝度値Ｉ（ｘ，ｙ）を、位置Ｐにおいて、式（１）で定義することができる。但し、ｎは１以上の自然数であり、後述するように鏡面反射強度に相当している。
【数１】
2011248704.tif 000003
【００３６】
なお、カメラ３３で撮影される観測対象３２は位置Ｐの集合であり、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θは、各位置Ｐで異なっている。ゆえに、観測画像の画素の位置（ｘ，ｙ）との関係で言えば、式（１）の右辺の各変数は、Ｋｄ＝Ｋｄ（ｘ，ｙ）、Ｋｓ＝Ｋｓ（ｘ，ｙ）、θ＝θ（ｘ，ｙ）で表現され、位置に応じて異なる値を有している。また、反射の法則より、入射角θに代えて、入射角θの角度と同じ角度を有する、法線ベクトルＮと反射光Ｌｒとのなす角（反射角）を利用してもよい。
【００３７】
式（１）において、拡散反射係数Ｋｄが大きい場合には、観測対象３２の表面は全体的に一様に広がるような状態となり、光強度は光源３１よりも小さくなる。一方、鏡面反射係数Ｋｓが大きい場合には、観測対象３２の表面はスポットライトのような点に近い状態となり、光源３１の光強度に近づく。特に、ｎの値が大きくなるほど鏡面反射の程度が強くなることを示している。
【００３８】
次に、定義された式（１）に時間成分を含めて、画素の位置（ｘ，ｙ）に関する輝度の１次微分（∂ｘＩ＝Ｉｘ，∂ｙＩ＝Ｉｙ）と、時間ｔに関する輝度の１次微分（∂ｔＩ＝Ｉｔ）とをそれぞれ導出する（以下、式（２）〜式（４）参照）。
【数２】
2011248704.tif 000004
【００３９】
なお、式（２）〜式（４）の各変数に対して離散化を施し、離散近似して計算することも可能である。例えば、観測画像上の任意の画素の位置を（ｉ，ｊ）とし、時間をｍとすると、拡散反射係数Ｋｄのｘ方向の空間１次微分は、有限差分法を用いて式（５）のように離散近似することができる。ｙ方向又はｔ方向の空間１次微分や、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）についても同様である。
【数３】
2011248704.tif 000005
【００４０】
一方、オプティカルフロー法における基本的な拘束条件は、画像の画素の位置（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）に時間成分を含めたＩ（ｘ，ｙ，ｔ）において、その位置（ｘ，ｙ）に関する輝度の１次微分を∂ｘＩ＝Ｉｘ，∂ｙＩ＝Ｉｙとし、時間ｔに関する１次微分を∂ｔＩ＝Ｉｔとし、推定するオプティカルフローを（ｕ，ｖ）とすると、以下の式（６）で与えられる。
【数４】
2011248704.tif 000006
【００４１】
但し、ｑは時系列画像間の輝度変動量であり、ｑ＝０の場合には、画像間で観測対象の輝度変動はなく一定であることを条件として計算される。また、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，ｙ方向成分である。
【００４２】
そして、式（６）から、オプティカルフローを推定するための目的関数を導出する（式（７）参照）。
【数５】
2011248704.tif 000007
【００４３】
但し、（ｉ,ｊ）,Ω，ｕｘ，ｕｙ，ｖｘ，ｖｙは、それぞれ、観測画像における任意の画素の位置，観測画像の一定画像領域，ｕのｘ方向に関する空間１次微分，ｕのｙ方向に関する空間１次微分，ｖのｘ方向に関する空間１次微分，ｖのｙ方向に関する空間１次微分である。
【００４４】
なお、（Ｋｄ＋Ｋｓ−１）２は、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓに関する拘束条件である。反射特性は、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓの２つの係数のバランスに基づいていることから、Ｋｄ＋Ｋｓ≒１であることを考慮したものである。また、（ｕｘ＋ｕｙ＋ｖｘ＋ｖｙ）２は、オプティカルフローの滑らかさに関する拘束条件である。このような２つの拘束条件を与えることにより、式（７）の計算の収束性を高めることができる。これら２つの拘束条件を使用しないことも可能である。
【００４５】
そして、式（２）〜式（４）の各１次微分と、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを式（７）の目的関数に代入して最小化問題として解くことにより、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎ、オプティカルフローのｘ方向成分ｕ、オプティカルフローのｙ方向成分ｖの各値をそれぞれ推定する。Ｋｄ、Ｋｓ、θ、ｎの各推定値から、観測対象の表面状態が得られ、ｕ、ｖの各推定値から、観測対象のオプティカルフローが得られる。
【００４６】
なお、最小化計算をする際の必要条件として、式（８）を与えるものとする。
【数６】
2011248704.tif 000008
【００４７】
ここで、このような最小化計算は公知の計算方法を用いて解くことができる。例えば、最小二乗法を用いることができる。最小二乗法については様々な数値解法が知られているが、共役勾配法や最急降下法等を適用することができる（非特許文献３，４参照）。代表的な最急降下法では、例えば、拡散反射係数Ｋｄを以下の式（９）を用いて最小化計算をすることが可能である。但し、ｐは反復回数であり、ｈは収束調整係数である。他の変数についても同様である。
【数７】
2011248704.tif 000009
【００４８】
例えば、反復回数ｐを２０、収束調整係数ｈを０．０１、６つのパラメータの初期値を０（ゼロ）に設定しておき、各計算式をそれぞれ反復計算することにより、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎ、オプティカルフローのｘ方向成分ｕ、オプティカルフローのｙ方向成分ｖをそれぞれ計算する。
【００４９】
なお、実環境上でカメラ撮影された観測画像には環境外乱やノイズが含まれているため、ロバスト統計学に基づいた非線形最小二乗法を用いることも可能であり、効果的である。
【００５０】
以上より、観測対象の表面状態及びオプティカルフローを推定することができるが、式（７）の計算の収束性を更に高めるために、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓに対して観測画像の輝度の大きさに応じた重み付けを行う。これは、鏡面反射は拡散反射よりも狭い領域で輝度が高く、拡散反射は鏡面反射よりも広い領域で一様又は緩やかに変化する輝度をもたらす性質を利用するものである。
【００５１】
具体的には、観測画像から２×２画素の画像領域と１０×１０画素の画像領域とを選択し、各画像領域の平均輝度値を計算する。そして、２×２画素の画像領域の平均輝度値の方が高い場合には、鏡面反射領域の候補となるように、鏡面反射係数Ｋｓに対して高い重み付けを行い、１０×１０画素の画像領域の平均輝度値の方が高い場合には、拡散反射領域の候補となるように、拡散反射係数Ｋｄに対して高い重み付けを行う。
【００５２】
なお、重み付けについては、０〜２５５の範囲の平均輝度値を用いるようにしてもよい。画像の輝度値Ｉ（ｘ，ｙ，ｔ）に対してｗ＝Ｉ（ｘ，ｙ，ｔ）／２５５を計算し、大きさの異なる２つの画像領域毎に、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓに対して、Ｋｄ×ｗ、Ｋｓ×ｗとする重み付けを行う。
【００５３】
次に、オプティカルフロー推定装置１の処理フローについて説明する。最初に、画像入力部１１により、カメラによって撮影され、濡れた表面を有する観測対象を写した１枚以上の観測画像が入力される（Ｓ１）。
【００５４】
次いで、データ蓄積部１２により、Ｓ１で入力された観測画像が読み出し可能に記憶される（Ｓ２）。
【００５５】
次いで、オプティカルフロー推定部１３により、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）が式（１）の光学モデルで定義され、定義された光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）及び時間ｔに関する式（２）〜式（４）に示された輝度の１次微分がそれぞれ導出され、式（６）のオプティカルフロー法の拘束条件から式（７）の目的関数を導出し、式（２）〜式（４）の各１次微分と観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とが上記目的関数に代入されて最小化問題として解かれることにより、６つのパラメータ（Ｋｄ、Ｋｓ、θ、ｎ、ｕ、ｖ）の値がそれぞれ推定され、観測対象の表面状態（Ｋｄ、Ｋｓ、θ、ｎ）とオプティカルフロー（ｕ，ｖ）とが推定される（Ｓ３）。
【００５６】
最後に、推定結果表示部１４により、Ｓ３の推定結果が画面に表示される（Ｓ４）。
【００５７】
図３は、観測画像内において大きさの異なる画像領域の平均輝度値を示す図である。観測画像３４から２×２画素の画像領域における平均輝度値を求めた結果、画像領域５０ａでは高い輝度を示し、同じ大きさの画像領域５０ｂでは低い輝度を示した。また、１０×１０画素の画像領域７０では、やや高い輝度を示した。このことから、２×２画素の画像領域５０ａが鏡面反射領域であり、２×２画素の画像領域５０ｂと１０×１０画素の画像領域７０とが拡散反射領域であると推定できた。
【００５８】
図４は、本手法と従来法とに基づくオプティカルフロー推定結果を示す図である。図４（ａ）に示すような濡れた面のある画像３４を人工的に生成し、２つの時刻間で画像３４を画面の右方向に等速直線運動で平行移動させた場合、本手法によれば、推定されたオプティカルフローを表現している矢印は右方向に揃う状態で表示された（同図（ｂ）参照）。一方、従来法によれば、表示された矢印は右方向を示しているが、乱れた状態で表示された（同図（ｃ）参照）。これにより、本手法の有効性が示されたと言える。
【００５９】
最後に、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルは、オプティカルフロー推定部１３が用いる光学モデルの一例であり、観測対象の表面状態やオプティカルフローを推定可能であれば他の光学モデルを用いることも可能である。
【００６０】
また、本実施の形態で説明したオプティカルフロー推定装置１は、マルチメディア分野、符号化分野、通信分野、非破壊検査分野、実環境におけるモニタリングや画像センシング，映像製作等に関する産業分野に適用することが可能である。
【００６１】
また、本実施の形態で説明したオプティカルフロー推定装置１は、コンピュータで構成される。すなわち、データ蓄積部１２は、メモリ等の記憶手段で実現される。また、画像入力部１１と、オプティカルフロー推定部１３と、推定結果表示部１４とは、ＣＰＵ等の演算手段で実現され、プログラムで実行される。
【００６２】
また、本実施の形態で説明したオプティカルフロー推定装置１をプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作をオプティカルフロー推定装置１として機能させることができるのは勿論である。
【００６３】
本実施の形態によれば、観測画像の各画素の輝度値を反射特性が考慮された光学モデルで定義し、定義された光学モデルをオプティカルフロー法の拘束条件に適用し、適用された拘束条件からオプティカルフローを推定する目的関数を導出して、目的関数を最小化問題として解くことにより、観測対象のオプティカルフローを推定するので、反射表面を有する観測対象のオプティカルフローを推定することができる。
【００６４】
本実施の形態によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度に関する光学モデル（Ｉ（ｘ，ｙ）＝Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）で定義し、定義された光学モデルに時間成分を含めて画素の位置（ｘ，ｙ）と時間ｔとに係る１次微分（∂ｘＩ（ｘ，ｙ，ｔ）＝Ｉｘ＝∂ｘ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｙＩ（ｘ，ｙ，ｔ）＝Ｉｙ＝∂ｙ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］、∂ｔＩ（ｘ，ｙ，ｔ）＝Ｉｔ＝∂ｔ［Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ］）をそれぞれ導出し、オプティカルフロー法の拘束条件（Ｉｘｕ＋Ｉｙｖ＋Ｉｔ）（但し、ｕ，ｖは、それぞれ、オプティカルフローのｘ方向成分，オプティカルフローのｙ方向成分）から目的関数（Σ（ｉ，ｊ）∈Ω［Ｉｘｕ＋Ｉｙｖ＋Ｉｔ］）（但し、（ｉ,ｊ）,Ωは、それぞれ、観測画像における任意の画素の位置，観測画像の一定画像領域）を導出し、各１次微分と観測画像の各画素の輝度値Ｉ（ｘ，ｙ）とを目的関数に代入して最小化問題として解くことにより、観測対象の表面状態と観測対象のオプティカルフロー（ｕ，ｖ）とを推定するので、観測対象の表面特性とオプティカルフローとを同時に推定することができる。
【００６５】
本実施の形態によれば、拡散反射係数及び鏡面反射係数に係る拘束条件と、オプティカルフローの滑らかさに係る拘束条件とを目的関数に適用するので、目的関数計算の収束性を高めることができる。
【００６６】
本実施の形態によれば、観測画像において面積の異なる２つの画像領域の平均輝度値をそれぞれ計算し、小さい面積の画像領域の平均輝度値の方が高い場合には、拡散反射係数に対するよりも鏡面反射係数に対して高い重み付けを行い、大きい面積の画像領域の平均輝度値の方が高い場合には、鏡面反射係数に対するよりも拡散反射係数に対して高い重み付けを行うので、目的関数計算の収束性を更に高めることができる。
【符号の説明】
【００６７】
１…オプティカルフロー推定装置
１１…画像入力部（入力手段）
１２…データ蓄積部（記憶手段）
１３…オプティカルフロー推定部（推定手段）
１４…推定結果表示部
３１…光源
３２…観測対象
３３…カメラ
３４…観測画像，画像
５０ａ，５０ｂ…２×２画素の画像領域
７０…１０×１０画素の画像領域
Ｓ…ステップ
【図１】
2011248704.tif 000010
【図２】
2011248704.tif 000011
【図３】
2011248704.tif 000012
【図４】
2011248704.tif 000013