【手続補正書】
【提出日】令和1年11月25日(2019.11.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
以下では、画像をＩと表記した場合、該画像上の画素位置（ｘ、ｙ）における画素値はＩ（ｘ，ｙ）と表記する。オプティカルフローにおいて、基準画像Ｉ上の画素位置（ｘ、ｙ）に対応する要素は（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））と表記する。ｕ（ｘ，ｙ）は、基準画像Ｉの画素位置（ｘ、ｙ）に対応する動きベクトルの水平方向成分（Ｘ成分）を表し、ｖ（ｘ，ｙ）は、基準画像Ｉの画素位置（ｘ、ｙ）に対応する動きベクトルの垂直方向成分（Ｙ成分）を表している。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
オプティカルフローについて図２を例にとり説明する。図２では、画像２０１に対する画像２０２のオプティカルフローについて説明する。画像２０１は、人物２０３が移動しているシーンを撮像装置を動かしながら撮像した動画像中のＮ（Ｎは１以上の整数）フレーム目の画像であり、画像２０２は該動画像における（Ｎ＋Ｎ’）（Ｎ’は１以上の整数）フレーム目の画像である。画像２０１及び画像２０２には被写体として人物２０３と家２０４とが含まれている。動きベクトル２０５は、画像２０１中の人物２０３から画像２０２中の人物２０３への動きベクトルを表しており、動きベクトル２０６は、画像２０１中の家２０４から画像２０２中の家２０４への動きベクトルを表している。一般的に、画像中の人物２０３（家２０４）の領域を構成するそれぞれの画素に対する動きベクトルは全く同じではないが、図２では説明を簡単にするために、オブジェクト内の各画素の動きベクトルは全て同じであるものとする。つまり図２では、画像２０１中の人物２０３の領域内の各画素の動きベクトルは全て動きベクトル２０５とし、画像２０１中の家２０４の領域内の各画素の動きベクトルは全てベクトル２０６としている。ここで、動きベクトル２０５の成分を（１０，５）、動きベクトル２０６の成分を（−５，０）とする。このとき、画像２０１上の画素位置（ｘ、ｙ）が人物２０３の領域に含まれている場合、画像２０１に対するオプティカルフローにおいて画素位置（ｘ、ｙ）に対応する要素（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））＝（１０，５）となる。また、画像２０１上の画素位置（ｘ、ｙ）が家２０４の領域に含まれている場合、画像２０１に対するオプティカルフローにおいて画素位置（ｘ、ｙ）に対応する要素（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））＝（−５，０）となる。なお、画像２０１上の画素位置（ｘ、ｙ）が背景領域（人物２０３及び家２０４以外の領域）に含まれている場合、画像２０１に対するオプティカルフローにおいて画素位置（ｘ、ｙ）に対応する要素（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））＝（０，０）とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
ステップＳ４０８では、ＯＦ初期化部３０３は、階層ｍａｘ＿ｌｖにおけるオプティカルフローの全ての要素の値を０に初期化する。以下では、階層ｌｖにおけるオプティカルフローをＯＦ［ｌｖ］と表記する。ＯＦ［ｌｖ］の解像度はＩ１［ｌｖ］、Ｉ２［ｌｖ］の解像度と同じである。そして処理はステップＳ４０９に進む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
ここで、Ｂは画素位置（ｘ、ｙ）を中心としたパッチ領域を表しており、例えば７×７のパッチを考えた場合、ｐはｘ−３からｘ＋３まで、ｑはｙ−３からｙ＋３までの整数値をとる。この手法の利点は、ρとして例えば差分２乗を採用した場合、最小となるオプティカルフローを解析的に求めることができる点である。一方で、推定されるオプティカルフローは正解から外れた値になることが多く、高精度に推定することが困難である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
画像Ｉ０を基準とした画像Ｉ１における人物２０３の動きベクトル７１３を該動きベクトル７１３の分だけ移動させた動きベクトルを、画像Ｉ１を基準とした画像Ｉ２における人物２０３の動きベクトル７０７として求める。もし、画像Ｉ１を基準とした画像Ｉ０における人物２０３の動きベクトル７０５が得られている場合には、これを反転させたものを動きベクトル７０７としても良い。画像Ｉ０を基準とした画像Ｉ１における家２０４の動きベクトル７０４を該動きベクトル７０４の分だけ移動させた動きベクトルを、画像Ｉ１を基準とした画像Ｉ２における家２０４の動きベクトル７０８として求める。もし、画像Ｉ１を基準とした画像Ｉ０における家２０４の動きベクトル７０６が得られている場合には、これを反転させたものを動きベクトル７０８としても良い。このようにして求めた動きベクトル７０７，７０８が上記の参考オプティカルフローとなる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
ＯＦデータ取得部８０１は、上記の画像処理装置１００が生成して出力したオプティカルフローを取得する。ＯＦデータ取得部８０１によるオプティカルフローの取得方法については特定の取得方法に限らない。例えば、画像処理装置１００から無線若しくは有線のネットワーク、若しくは有線と無線の組み合わせによるネットワークを介してオプティカルフローを取得しても良いし、外部の記憶装置に格納されているオプティカルフローを取得しても良い。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
算出部８０２は、ＯＦデータ取得部８０１が取得したオプティカルフローを用いてグローバルモーションを算出する。グローバルモーションとは、画像全体に対して最も支配的な動きの方向であり、一つのベクトルで表される。グローバルモーションは、例えばオプティカルフローのヒストグラムを生成して最頻値を取得することにより算出することが可能である。なお、画像全体の動きを算出することができれば、別の手法で算出しても構わない。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
画像変形部９０１は、ｋ＝１〜ｎ−１としたとき、ＯＦデータ取得部８０１が取得したオプティカルフロー内の各要素（動きベクトルの成分）をｋ／ｎ倍した動きベクトルを用いて、式４に従って画像１をシフトしたシフト画像を生成する。例えば、ｎ＝１０とすると、ｋ＝１〜９に対して、ｎ−１枚分のシフトしたシフト画像を生成する。画像合成部９０２は、ｎ−１枚の変形画像と画像１とを画素毎に合成した合成画像を生成し、該合成画像の各画素の画素値をｎで除算することにより、ブラーが付与された画像を生成する。動きの大きな被写体ほどオプティカルフローベクトルが大きく、静止している被写体は、オプティカルフローベクトルが０になるため、動きが大きいほどブラーが発生した画像が生成される。本実施形態では、ｎとして固定値を用いたが、画像中のオプティカルフローの長さの最大値から決めてもよい。例えば、オプティカルフローの長さの最大値が５０ｐｉｘであれば、ｎ＝５０とする。また、ユーザーがブラーの強度を指定できる場合は、強度に応じてオプティカルフローをリスケールし、同様の処理を行ってもよい。例えば、ブラーの効果を強くする場合は、元のオプティカルフローを何倍かして処理を行えばよい。本実施形態によれば、オプティカルフローを用いることで、カメラ機能を高速化・高精度化したり、映像効果を付与することが可能になる。また、異なる撮像装置で同一時刻に撮影された画像の場合は、オプティカルフローから被写体の奥行きを算出することも可能である。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2018084997.tif 000001