【手続補正書】
【提出日】平成29年12月7日(2017.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画を構成する複数の画像の中から１つを指定する指定部と、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像のそれぞれについて、前記指定された画像との関係を表す基礎行列を取得する基礎行列取得部と、
前記基礎行列取得部によって前記所定数の画像のそれぞれについて取得された前記基礎行列に基づいて、前記所定数の画像の中から、前記指定された画像にエピポーラ投影をするための画像を選別する選別部と、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部、前記基礎行列取得部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部と、
を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記基礎行列取得部によって取得された前記基礎行列のうちの、前記選別部によって選別された画像について取得された前記基礎行列に基づいて、前記選別された画像内の互いに対応する特徴点を前記指定された画像に前記エピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成部、
を更に備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の処理は、前記指定部、前記基礎行列取得部、前記選別部及び前記仮想特徴点生成部の処理を繰り返すことである、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記基礎行列取得部によって前記所定数の画像のそれぞれについて取得された前記基礎行列の類似度を評価する評価部を更に備え、
前記選別部は、前記評価部による評価結果に基づいて、前記所定数の画像の中から前記指定された画像に前記エピポーラ投影をするための画像を選別する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記選別部は、前記評価部による前記評価結果により、前記所定数の画像の中に互いに類似している２以上の画像がある場合、前記２以上の画像のうちのいずれか１つ以外の画像を、前記指定された画像に前記エピポーラ投影をするための画像から除外する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記評価部は、異なる２つの前記基礎行列の間において、一方の基礎行列を正規化した行列に含まれる各要素と、他方の基礎行列を正規化した行列における対応する要素と、の差分をとった値がいずれも閾値以下である場合に、前記２つの基礎行列が類似していると評価する、
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記評価部は、異なる２つの前記基礎行列の間において、一方の基礎行列を正規化した行列に含まれる各要素と、他方の基礎行列を正規化した行列における対応する要素と、の差分の２乗和をとった値が閾値以下である場合に、前記２つの基礎行列が類似していると評価する、
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項８】
請求項１乃至７の何れか１項に記載の前記画像処理装置と、
被写体を撮像することにより、前記動画を構成する画像を生成する撮像部と、
を備える、
ことを特徴とする撮像装置。
【請求項９】
動画を構成する複数の画像の中から１つを指定する指定処理と、
前記複数の画像のうちの前記指定処理によって指定された画像以外の所定数の画像のそれぞれについて、前記指定された画像との関係を表す基礎行列を取得する基礎行列取得処理と、
前記基礎行列取得処理によって前記所定数の画像のそれぞれについて取得された前記基礎行列に基づいて、前記所定数の画像の中から、前記指定された画像にエピポーラ投影をするための画像を選別する選別処理と、
前記複数の画像の中から前記指定処理が指定する画像を変えて、前記指定処理、前記基礎行列取得処理及び前記選別処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道と、前記平滑化処理によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正処理と、
を含む、
ことを特徴とする画像処理方法。
【請求項１０】
前記基礎行列取得処理によって取得された前記基礎行列のうちの、前記選別処理によって選別された画像について取得された前記基礎行列に基づいて、前記選別された画像内の互いに対応する特徴点を前記指定された画像に前記エピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成処理、
を更に含む、
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記所定の処理は、前記指定処理、前記基礎行列取得処理、前記選別処理及び前記仮想特徴点生成処理を繰り返すことである、
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
コンピュータを、
動画を構成する複数の画像の中から１つを指定する指定部、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像のそれぞれについて、前記指定された画像との関係を表す基礎行列を取得する基礎行列取得部、
前記基礎行列取得部によって前記所定数の画像のそれぞれについて取得された前記基礎行列に基づいて、前記所定数の画像の中から、前記指定された画像にエピポーラ投影をするための画像を選別する選別部、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部、前記基礎行列取得部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部、
として機能させる、
ことを特徴とするプログラム。
【請求項１３】
前記コンピュータを、
前記基礎行列取得部によって取得された前記基礎行列のうちの、前記選別部によって選別された画像について取得された前記基礎行列に基づいて、前記選別された画像内の互いに対応する特徴点を前記指定された画像に前記エピポーラ投影をすることにより、前記指定された画像内における仮想特徴点を生成する仮想特徴点生成部、
として更に機能させる、
ことを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記所定の処理は、前記指定部、前記基礎行列取得部、前記選別部及び前記仮想特徴点生成部の処理を繰り返すことである、
ことを特徴とする請求項１３に記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
前記目的を達成するため、本発明に係る画像撮像装置の一態様は、
動画を構成する複数の画像の中から１つを指定する指定部と、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像のそれぞれについて、前記指定された画像との関係を表す基礎行列を取得する基礎行列取得部と、
前記基礎行列取得部によって前記所定数の画像のそれぞれについて取得された前記基礎行列に基づいて、前記所定数の画像の中から、前記指定された画像にエピポーラ投影をするための画像を選別する選別部と、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部、前記基礎行列取得部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部と、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る撮像装置の一態様は、
前記画像処理装置と、
被写体を撮像することにより、前記動画を構成する画像を生成する撮像部と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る画像処理方法の一態様は、
動画を構成する複数の画像の中から１つを指定する指定処理と、
前記複数の画像のうちの前記指定処理によって指定された画像以外の所定数の画像のそれぞれについて、前記指定された画像との関係を表す基礎行列を取得する基礎行列取得処理と、
前記基礎行列取得処理によって前記所定数の画像のそれぞれについて取得された前記基礎行列に基づいて、前記所定数の画像の中から、前記指定された画像にエピポーラ投影をするための画像を選別する選別処理と、
前記複数の画像の中から前記指定処理が指定する画像を変えて、前記指定処理、前記基礎行列取得処理及び前記選別処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化処理と、
前記仮想特徴点軌道構築処理によって構築された前記仮想特徴点軌道と、前記平滑化処理によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正処理と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータを、
動画を構成する複数の画像の中から１つを指定する指定部、
前記複数の画像のうちの前記指定部によって指定された画像以外の所定数の画像のそれぞれについて、前記指定された画像との関係を表す基礎行列を取得する基礎行列取得部、
前記基礎行列取得部によって前記所定数の画像のそれぞれについて取得された前記基礎行列に基づいて、前記所定数の画像の中から、前記指定された画像にエピポーラ投影をするための画像を選別する選別部、
前記複数の画像の中から前記指定部が指定する画像を変えて、前記指定部、前記基礎行列取得部及び前記選別部の処理を含んで繰り返す所定の処理により、仮想特徴点軌道を構築する仮想特徴点軌道構築部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道を時間方向に平滑化する平滑化部、
前記仮想特徴点軌道構築部によって構築された前記仮想特徴点軌道と、前記平滑化部によって平滑化された前記仮想特徴点軌道と、の間の関係に基づいて、前記複数の画像のそれぞれを補正する補正部、
として機能させる、
ことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明によれば、視差の影響を考慮した手ぶれ補正を簡易な演算により実行できる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することが可能となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
図４に示すように、少なくとも２本のエピポーラ線があればその交点を仮想特徴点ｖｉとして取得できるものの、実際にはノイズやトラッキングエラー、モデリングエラー等の影響により交点の信頼性は損なわれている。そこで、仮想特徴点生成部１０４は、最大１０本のエピポーラ線のうち組み合わせ可能な異なる２本のエピポーラ線の交点（最大で１０Ｃ２＝４５個の交点）を求め、求めた交点の座標の平均を求めることにより、より正確な仮想特徴点ｖｉを取得する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
このように第Ｃフレームをスキップするか否かを決定すると、選別部１０３は、値Ｃを１だけインクリメントする（ステップＳ４０５）。そして、インクリメント後の値Ｃが値（ｔ−１）に一致するか否かを判別する（ステップＳ４０６）。一致しないと判別した場合（ステップＳ４０６；ＮＯ）、処理はステップＳ４０２へ戻る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
本実施形態では、１００個の仮想特徴点軌道ｖにより、手ぶれ補正前の撮像装置１の動きを定義する（手ぶれ補正前の各フレームの画像を定義する）。そこで、ステップＳ５０１ｄにおいて、仮想特徴点生成部１０４は、１００個の仮想特徴点軌道ｖに対してステップＳ５０１ｂ〜Ｓ５０１ｃの処理を施したか否か判別する（ステップＳ５０１ｄ）。１００個の仮想特徴点軌道ｖに処理を施していないと判別すると（ステップＳ５０１ｄ；ＮＯ）、処理はステップＳ５０１ａへ戻り、仮想特徴点生成部１０４は、別の仮想特徴点軌道ｖを選択してステップＳ５０１ｂ〜Ｓ５０１ｃの処理を実行する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
図１４のフローチャートに戻って、ステップＳ５０１の仮想特徴点軌道準備処理を終了した後、仮想特徴点生成部１０４は、仮想特徴点軌道準備処理を施された１００個の仮想特徴点軌道ｖのうち何れか１つを選択する（ステップＳ５０２）。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
最終的に、インクリメント後の値Ｈが値ｔに一致すると判別した場合（ステップＳ５０７；ＹＥＳ）、仮想特徴点生成部１０４は、第ｔフレームの画像に投影した複数のエピポーラ線から任意の１組を選択する（ステップＳ５０８）。そして、選択した１組のエピポーラ線が互いに成す角度が１．５°以上であるか否かを判別する（ステップＳ５０９）。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
１組のエピポーラ線が平行に近いほど、これらのエピポーラ線が与える交点の信頼性は低い。そこで、仮想特徴点生成部１０４は、一定以上に大きな角度を成すエピポーラ線の組が与える交点の座標のみを取得することにより、信頼性の低い交点を排除する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
具体的には、成す角度が１．５°未満であると判別すると（ステップＳ５０９；ＮＯ）、処理はステップＳ５１１へ移る。一方、成す角度が１．５°以上であると判別すると（ステップＳ５０９；ＹＥＳ）、仮想特徴点生成部１０４は、これらのエピポーラ線の交点の座標を取得し（ステップＳ５１０）、処理はステップＳ５１１へ移る。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１４６
【補正方法】変更
【補正の内容】
【０１４６】
ステップＳ５１４において、仮想特徴点生成部１０４は、ステップＳ５０１の仮想特徴点軌道準備処理により処理された１００個の仮想特徴点軌道ｖ全てが選択されたか否かを判別する（ステップＳ５１４）。未だ選択されていない仮想特徴点軌道ｖがあると判別すると（ステップＳ５１４；ＮＯ）、処理はステップＳ５０２へ戻り、仮想特徴点生成部１０４は、未選択の仮想特徴点軌道ｖのうち何れか１個を選択して、同様の仮想特徴点生成処理を実行する。