【手続補正書】
【提出日】令和1年12月17日(2019.12.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の一様態は、第１の画像及び該第１の画像を縮小することで得られる複数の縮小画像のそれぞれを含む第１の画像群と、第２の画像及び該第２の画像を縮小することで得られる複数の縮小画像のそれぞれを含む第２の画像群と、を用いた階層処理を実行することにより、前記第１の画像と前記第２の画像との間における動きベクトルを示すオプティカルフローを生成する画像処理装置であって、
前記第１の画像群および前記第２の画像群のそれぞれから、処理対象の階層に対応する解像度の画像を、第１の取得画像および第２の取得画像として取得する取得手段と、
前記処理対象の階層の解像度より低解像度の階層に対応するオプティカルフローを、前記処理対象の階層の解像度に変換した変換済みオプティカルフローを生成する変換手段と、
前記変換済みオプティカルフローと、前記第１の取得画像と、前記第２の取得画像と、に基づいて、前記処理対象の階層に対応する解像度の新オプティカルフローを生成する第１の生成手段と、
前記処理対象の階層より低解像度の階層から生成した前記新オプティカルフローと、前記第１の取得画像と、前記第２の取得画像と、を用いて、前記処理対象の階層の解像度に対応するオプティカルフローを生成する第２の生成手段と、
前記取得手段、前記変換手段、前記第１の生成手段、および前記第２の生成手段の処理を低解像度の階層から順に繰り返す階層処理を実行することで得られる、前記第１の画像と前記第２の画像との間における前記オプティカルフローを出力する出力手段と
を備えることを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
式４、式７はＬＫ法における中間データであるＡ，ｂを算出する式である。Ａやｂを算出するには式４、式７で十分であるが、ｕを利用して画素をワーピングした画像Ｉ２ｘｗ、Ｉ２ｙｗを事前に作っておき、式５，式８を適用しても処理としては同義である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
式１３は、ベクトルＶが与えられた場合に、ベクトルＶのｘ成分であるＶｘ、ｙ成分であるＶｙのそれぞれについて、四捨五入により整数値を得る式である。式１３では、Ｖｘ（Ｖｙ）に０．５を足してｆｌｏｏｒ関数で計算することにより、四捨五入を行って小数部を除去している。ｆｌｏｏｒ関数とは周知の通り、引数となる値の整数部を返す関数である。本実施形態では、sadの計算に際し、座標値をround関数を利用して整数化しているが、round関数を用いず次数として計算してもよい。この場合、前述のとおりバイリニア補間により画素値を得ることになる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
次に、上記のステップＳ３０５５の追加と、ステップＳ２０７０をステップＳ３０７０に置き換えたことによる効果について、図６を用いて説明する。図６は被写体の境界を説明する図である。図６（ａ）では、バスが右から左に移動しているが、木は静止している状態を表している。この画像を縮小すると例えば太線の矩形が一画素になるように縮小される。図６（ｂ）は、この矩形を拡大したもの表している。この矩形には静止した木の一部と動いているバスの一部が含まれており、等倍画像（Ｉ１，Ｉ２）に対応するオプティカルフローではこの矩形内に異なる複数の動きベクトルが存在する。そのため、縮小画像の画素（矩形）に対し割り当てる一つの動きベクトルと、より高解像度画像の階層や等倍画像の動きベクトルの関係は不定なものになる。図２のステップＳ２０７０の処理において入力となるｆｌｏｗ’［ｌｖ＋１］は縮小画像の階層のｆｌｏｗ［ｌｖ＋１］を単純に拡大したものであり、上記の問題を踏襲し、動被写体の境界の動きベクトルが不確かなものとなる。本実施形態では、ステップＳ３０５５においては、着目画素の周辺の画素に対応する複数の動きベクトルを参照し、着目画素に対しその動きベクトルが指す位置の画素との差分ＳＡＤを計算し、差分ＳＡＤが低い動きベクトルを選択している。これは、図６の例では、境界領域で不定であった動きベクトルでなく、その周辺の木、または、バスの領域に含まれる動きベクトルを選択していることになる。重要な点は、差分ＳＡＤの算出にｆｌｏｗ［ｌｖ＋１］を算出した階層（ｌｖ＋１）よりも高解像度の階層ｌｖの画像Ｉ１［ｌｖ］，Ｉ２［ｌｖ］を利用していることである。解像度が高いため、境界領域の動きベクトルの正確性が高まる。また、前述の配置パターンは、単純に着目画素の近傍とせず、着目画素から十分に遠く粗に配置している。これは、オプティカルフローの拡大処理により、オプティカルフローに一種のローパスフィルタがかかった状態にあり、境界だけでなく境界周辺の動きベクトルの正確度も低下している。本実施形態では、近傍４点を参照して拡大するバイリニア法を利用してオプティカルフローを２倍に拡大しているため、拡大後のオプティカルフローの動きベクトルは、半径２画素分以内の画素の動きベクトルの影響をうけてしまう。そのため、図４の配置パターンに設定される候補位置は互いに３画素以上離間している。仮に、拡大処理にタップ数の多いバイキュービック法や２倍以上の拡大を行う場合には、各候補位置は、図４の配置パターンよりも粗く配置することが好ましい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
＜変形例１＞
第１の実施形態では、補間の演算量削減のために式１２の関数が扱う画素位置を整数に限定したが、演算量削減不要であれば、画素位置を実数のまま扱い、補間した画素値で差分ＳＡＤを算出してもよい。また、第１の実施形態では、対応の確からしさがより高い対応点を抽出するために、差分としてＳＡＤを求めているが、ＳＡＤに限定せず、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）や、重み付きＳＡＤ，ＳＳＤを用いてもよい。さらには、ＳＩＦＴ特徴量など画素の特徴量を多次元ベクトルで表現し、そのノルムを指標としてもよい。この場合もノルムが小さいほど、対応の確からしさは高いといえる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
【数１７】
2018107615.tif 000001
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
オクルージョン領域は、異なる動きを持つ被写体の境界に発生する。つまり、オプティカルフローを画像とみなした場合のエッジ部分に発生するといえる。本実施形態ではこの現象を考慮し、オプティカルフローのエッジの度合いが大きいほどオクルージョンの度合いが大きいものとしてオクルージョン度マップを生成している。そのためエッジ検出作用のある７ｘ７のラプラシアンをかけた。しかし、フィルタのカーネルサイズは特定のサイズに限るものではなく、演算量の増加を容認するのであれば、大きなサイズのフィルタを用いてもよい。また、エッジ検出のアルゴリズムもラプラシアンフィルタに限定されず、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）処理によりオプティカルフローのエッジを検出してもよい。また、例えば非特許文献５にあるように、フィルタ処理によらないオクルージョン領域の検出を用いてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
また、以上説明した各実施形態や各変形例は、その一部若しくは全部を適宜組み合わせて若しくは選択的に使用しても構わない。まとめると、一般にピラミッド処理を利用して画素単位の動きベクトルの集合であるオプティカルフローを算出する方法では、解像度の低い階層のオプティカルフローを入力し、着目階層のオプティカルフローを算出する。上記の実施形態では、オプティカルフローを算出した階層よりも高解像度の階層の画像情報を用いて、動きベクトルを表現する２つの画素の対応の確からしさを現す指標を算出する工程が存在する。そして、解像度の低い階層のオプティカルフローの動きベクトルを、着目画素の周辺画素に対応する動きベクトルから、より対応の確からしさが高い動きベクトルを算出して置き換える。この動きベクトルがおきかえられたオプティカルフローを利用して着目階層のオプティカルフローを算出する。
【手続補正９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像及び該第１の画像を縮小することで得られる複数の縮小画像のそれぞれを含む第１の画像群と、第２の画像及び該第２の画像を縮小することで得られる複数の縮小画像のそれぞれを含む第２の画像群と、を用いた階層処理を実行することにより、前記第１の画像と前記第２の画像との間における動きベクトルを示すオプティカルフローを生成する画像処理装置であって、
前記第１の画像群および前記第２の画像群のそれぞれから、処理対象の階層に対応する解像度の画像を、第１の取得画像および第２の取得画像として取得する取得手段と、
前記処理対象の階層の解像度より低解像度の階層に対応するオプティカルフローを、前記処理対象の階層の解像度に変換した変換済みオプティカルフローを生成する変換手段と、
前記変換済みオプティカルフローと、前記第１の取得画像と、前記第２の取得画像と、に基づいて、前記処理対象の階層に対応する解像度の新オプティカルフローを生成する第１の生成手段と、
前記処理対象の階層より低解像度の階層から生成した前記新オプティカルフローと、前記第１の取得画像と、前記第２の取得画像と、を用いて、前記処理対象の階層の解像度に対応するオプティカルフローを生成する第２の生成手段と、
前記取得手段、前記変換手段、前記第１の生成手段、および前記第２の生成手段の処理を低解像度の階層から順に繰り返す階層処理を実行することで得られる、前記第１の画像と前記第２の画像との間における前記オプティカルフローを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の生成手段は、前記新オプティカルフローにおける着目座標位置毎に、前記変換済みオプティカルフローにおける該着目座標位置の画素および該着目座標位置の周辺の複数の画素に対応する動きベクトルを抽出し、前記第２の取得画像内の該着目座標位置から該動きベクトルそれぞれに応じて離間した画素位置の画素値それぞれと、前記第１の取得画像内の該着目座標位置に対応する画素位置の画素値と、の差分に基づいて、前記抽出した動きベクトルから前記新オプティカルフローにおける前記着目座標位置の動きベクトルを特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の生成手段は、前記差分が最小となる１つの動きベクトルを特定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の生成手段は、前記差分が小さい順に複数の動きベクトルを特定し、該特定した複数の動きベクトルの平均を前記着目座標位置における要素とする新オプティカルフローを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第１の生成手段は、
前記変換済みオプティカルフローの各座標位置におけるエッジ量を求め、
前記変換済みオプティカルフローにおける着目座標位置を基準とした複数の位置に対応する動きベクトルのうち、前記着目座標位置から該動きベクトルに応じて離間した画素位置におけるエッジ量と前記差分との積が小さい順に１つの動きベクトルを特定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１の生成手段は、
前記変換済みオプティカルフローの各座標位置におけるエッジ量を求め、
前記変換済みオプティカルフローにおける着目座標位置を基準とした複数の位置に対応する動きベクトルのうち、該位置におけるエッジ量と前記差分との積が小さい順に１つの動きベクトルを特定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記第１の画像及び前記第２の画像のそれぞれは、複数台の撮像装置において同時刻、若しくは互いに異なる時刻に撮像された画像であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記第１の画像及び前記第２の画像のそれぞれは、単一の撮像装置において互いに異なる時刻に撮像された画像であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項９】
前記第１の画像及び前記第２の画像のそれぞれは、ステレオ画像を構成する一方の視点の画像及び他方の視点の画像であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項１０】
第１の画像及び該第１の画像を縮小することで得られる複数の縮小画像のそれぞれを含む第１の画像群と、第２の画像及び該第２の画像を縮小することで得られる複数の縮小画像のそれぞれを含む第２の画像群と、を用いた階層処理を実行することにより、前記第１の画像と前記第２の画像との間における動きベクトルを示すオプティカルフローを生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、前記第１の画像群および前記第２の画像群のそれぞれから、処理対象の階層に対応する解像度の画像を、第１の取得画像および第２の取得画像として取得する取得工程と、
前記画像処理装置の変換手段が、前記処理対象の階層の解像度より低解像度の階層に対応するオプティカルフローを、前記処理対象の階層の解像度に変換した変換済みオプティカルフローを生成する変換工程と、
前記画像処理装置の第１の生成手段が、前記変換済みオプティカルフローと、前記第１の取得画像と、前記第２の取得画像と、に基づいて、前記処理対象の階層に対応する解像度の新オプティカルフローを生成する第１の生成工程と、
前記画像処理装置の第２の生成手段が、前記処理対象の階層より低解像度の階層から生成した前記新オプティカルフローと、前記第１の取得画像と、前記第２の取得画像と、を用いて、前記処理対象の階層の解像度に対応するオプティカルフローを生成する第２の生成工程と、
前記画像処理装置の出力手段が、前記取得工程、前記変換工程、前記第１の生成工程、および前記第２の生成工程を低解像度の階層から順に繰り返す階層処理を実行することで得られる、前記第１の画像と前記第２の画像との間における前記オプティカルフローを出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。