【手続補正書】
【提出日】平成29年12月7日(2017.12.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
しかしながら、エピポーラ転送方式の手ぶれ補正は、手ぶれ補正の対象となる各フレームの画像について、例えば過去１０フレームの画像との間でのオプティカルフローの計算、及び１フレーム当たり数千本から数万本に及ぶエピポーラ線の投影等、多くの座標計算を必要とする。このため、演算負荷が非常に大きかった。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
前記目的を達成するため、本発明に係る画像撮像装置の一態様は、
動画を構成する複数の画像の中から１つを指定する指定部と、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部と、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る撮像装置の一態様は、
前記画像処理装置と、
被写体を撮像することにより、前記動画を構成する画像を生成する撮像部と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る画像処理方法の一態様は、
動画を構成する複数の画像の中から１つを指定する指定処理と、
前記複数の画像のうちの前記指定処理によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別処理と、
前記複数の画像の中から前記指定処理によって指定する画像を変えて、前記指定処理及び前記選別処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道と、前記平滑化処理によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正処理と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータを、
動画を構成する複数の画像の中から１つを指定する指定部、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部、
として機能させる、
ことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
図４に示すように、少なくとも２本のエピポーラ線があればその交点として仮想特徴点ｖｉを取得できるものの、実際にはノイズやトラッキングエラー、モデリングエラー等の影響により交点の信頼性は損なわれている。そこで、仮想特徴点生成部１０４は、最大１０本のエピポーラ線のうち組み合わせ可能な異なる２本のエピポーラ線の交点（最大で１０Ｃ２＝４５個の交点）を求め、求めた交点の座標の平均を求めることにより、より正確な仮想特徴点ｖｉを取得する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１４６
【補正方法】変更
【補正の内容】
【０１４６】
本実施形態では、１００個の仮想特徴点軌道ｖにより、手ぶれ補正前の撮像装置１の動きを定義する（手ぶれ補正前の各フレームの画像を定義する）。そこで、ステップＳ５０１ｄにおいて、仮想特徴点生成部１０４は、１００個の仮想特徴点軌道ｖに対してステップＳ５０１ｂ〜Ｓ５０１ｃの処理を施したか否か判別する（ステップＳ５０１ｄ）。１００個の仮想特徴点軌道ｖに処理を施していないと判別すると（ステップＳ５０１ｄ；ＮＯ）、処理はステップＳ５０１ａへ戻り、仮想特徴点生成部１０４は、別の仮想特徴点軌道ｖを選択してステップＳ５０１ｂ〜Ｓ５０１ｃの処理を実行する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
図１４のフローチャートに戻って、ステップＳ５０１の仮想特徴点軌道準備処理を終了した後、仮想特徴点生成部１０４は、仮想特徴点軌道準備処理を施された１００個の仮想特徴点軌道ｖのうち何れか１つを選択する（ステップＳ５０２）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
最終的に、インクリメント後の値Ｈが値ｔに一致すると判別した場合（ステップＳ５０７；ＹＥＳ）、仮想特徴点生成部１０４は、取得された複数のエピポーラ線から任意の１組を選択し（ステップＳ５０８）。そして、これら１組のエピポーラ線が互いに成す角度が１．５°以上であるか否かを判別する（ステップＳ５０９）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】変更
【補正の内容】
【０１５５】
１組のエピポーラ線が平行に近いほど、これらのエピポーラ線が与える交点の信頼性は低い。そこで、仮想特徴点生成部１０４は、一定以上に大きな角度を成すエピポーラ線の組が与える交点の座標のみを取得することにより、信頼性の低い交点を排除する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１５６
【補正方法】変更
【補正の内容】
【０１５６】
具体的には、成す角度が１．５°未満であると判別すると（ステップＳ５０９；ＮＯ）、処理はステップＳ５１１へ移る。一方、成す角度が１．５°以上であると判別すると（ステップＳ５０９；ＹＥＳ）、仮想特徴点生成部１０４は、これらのエピポーラ線の交点の座標を取得し（ステップＳ５１０）、処理はステップＳ５１１へ移る。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１６１
【補正方法】変更
【補正の内容】
【０１６１】
ステップＳ５１４において、仮想特徴点生成部１０４は、ステップＳ５０１の仮想特徴点軌道準備処理により処理された１００個の仮想特徴点軌道ｖ全てが選択されたか否かを判別する（ステップＳ５１４）。未だ選択されていない仮想特徴点軌道ｖがあると判別すると（ステップＳ５１４；ＮＯ）、処理はステップＳ５０２へ戻り、仮想特徴点生成部１０４は、未選択の仮想特徴点軌道ｖのうち何れか１個を選択して、同様の仮想特徴点生成処理を実行する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１８９
【補正方法】変更
【補正の内容】
【０１８９】
あるいは、逆に、特徴点ｐｉの移動ベクトルのうち所定の割合を、画像中の、検出された背景領域から抽出することもできる。この方法によれば、被写体からは手ぶれの影響を検出できない（手ぶれの成分を検出できない）ものの背景からは比較的容易に手ぶれの影響を検出できる場合（被写体が非常に画像全体に占める割合が非常に小さい場合や、被写体が激しく動いている場合等）にも、背景領域から抽出された特徴点ｐｉの移動ベクトルに基づいて画像間の類似度を評価することにより、画像間の類似度を正確に評価することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１９４
【補正方法】変更
【補正の内容】
【０１９４】
あるいは、抽出される特徴点ｐｉの移動ベクトルの数は、画像を解析して得られる情報に基づいて設定することもできる。例えば、上述の検出手段によって人物領域又は移動領域が検出された場合に、検出されなかった場合に比べて抽出される特徴点ｐｉの移動ベクトルの数を増やすこととしてもよい。この方法によれば、ユーザが注目する被写体である可能性が高い人物や手ぶれの影響を受けている可能性が高い移動物体が画像に含まれている場合、含まれていない場合よりも多くの特徴点ｐｉの移動ベクトルに基づいて、より慎重に画像間の類似度を比較し、画像間の類似度を正確に評価することができる。
【手続補正１２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画を構成する複数の画像の中から１つを指定する指定部と、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部と、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部と、
を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記選別部によって選別された画像のそれぞれについて、前記指定部によって指定された画像との関係を表す前記基礎行列を取得する基礎行列取得部と、
前記基礎行列取得部によって取得された前記基礎行列に基づいて、前記選別部によって選別された画像内の互いに対応する特徴点を前記指定された画像にエピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成部と、
を更に備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の処理は、前記指定部、前記選別部、前記基礎行列取得部及び前記仮想特徴点生成部の処理を繰り返すことである、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記選別部は、
前記所定数の画像のうちの各画像について、前記所定数の画像のうちの各画像とは異なる画像との間における特徴点の移動量を取得し、
取得した前記移動量に基づいて、前記所定数の画像の中から、前記基礎行列の取得対象となる画像を選別する、
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記選別部は、
前記所定数の画像のうちの各画像について、前記所定数の画像のうちの各画像とは異なる画像との間における、複数の特徴点の移動量を取得し、
取得した前記複数の特徴点の前記移動量を積算した積算値に基づいて、前記所定数の画像の中から、前記基礎行列の前記取得対象となる画像を選別する、
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記選別部は、
前記特徴点の前記移動量の前記積算値と閾値との大小関係に基づいて、前記所定数の画像の中から、前記基礎行列の前記取得対象となる画像を選別する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記閾値は、前記移動量を取得する前記特徴点の数に応じて設定される、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
請求項１乃至７の何れか１項に記載の前記画像処理装置と、
被写体を撮像することにより、前記動画を構成する画像を生成する撮像部と、
を備える、
ことを特徴とする撮像装置。
【請求項９】
動画を構成する複数の画像の中から１つを指定する指定処理と、
前記複数の画像のうちの前記指定処理によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別処理と、
前記複数の画像の中から前記指定処理によって指定する画像を変えて、前記指定処理及び前記選別処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道と、前記平滑化処理によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正処理と、
を含む、
ことを特徴とする画像処理方法。
【請求項１０】
前記選別処理によって選別された画像のそれぞれについて、前記指定処理によって指定された画像との関係を表す前記基礎行列を取得する基礎行列取得処理と、
前記基礎行列取得処理によって取得された前記基礎行列に基づいて、前記選別処理によって選別された画像内の互いに対応する特徴点を前記指定された画像にエピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成処理と、
を更に含む、
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記所定の処理は、前記指定処理、前記選別処理、前記基礎行列取得処理及び前記仮想特徴点生成処理を繰り返すことである、
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
コンピュータを、
動画を構成する複数の画像の中から１つを指定する指定部、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像の中から、基礎行列の取得対象となる画像を選別する選別部、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部、
として機能させる、
ことを特徴とするプログラム。
【請求項１３】
前記コンピュータを、
前記選別部によって選別された画像のそれぞれについて、前記指定部によって指定された画像との関係を表す前記基礎行列を取得する基礎行列取得部、
前記基礎行列取得部によって取得された前記基礎行列に基づいて、前記選別部によって選別された画像内の互いに対応する特徴点を前記指定された画像にエピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成部、
として更に機能させる、
ことを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記所定の処理は、前記指定部、前記選別部、前記基礎行列取得部及び前記仮想特徴点生成部の処理を繰り返すことである、
ことを特徴とする請求項１３に記載のプログラム。