【手続補正書】
【提出日】令和1年12月13日(2019.12.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得ることと、
少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記複数の異なる第一基礎マトリックスのそれぞれによるマッピング変換後の第一画像対と、マッピング変換前の第一画像対との相対変形を示す第一画像変形情報を取得することと、
少なくとも前記第一画像変形情報に基づいて前記複数の異なる第一基礎マトリックスから第一最適化基礎マトリックスを特定することと、
前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正することと、を含むことを特徴とするダブル視野角画像較正方法。
【請求項２】
前記複数の異なる第一基礎マトリックスのそれぞれによるマッピング変換後の第一画像対と、マッピング変換前の第一画像対との相対変形を示す第一画像変形情報を取得する前記ステップは、
前記第一基礎マトリックスに基づいて前記第一画像対における二つの画像に対してマッピング変換を行うことと、
各画像における少なくとも一対のマッピング前後の対応する特徴点間の距離に基づき、前記第一画像変形情報を取得することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得する前記ステップは、
前記第一特徴点対集合内の少なくとも二つの異なる特徴点対サブ集合のうちの各特徴点対サブ集合に基づいて、少なくとも二つの第一基礎マトリックス内の各第一基礎マトリックスをそれぞれ生成することを含むことを特徴とする請求項１または２に記載の方法。
【請求項４】
さらに、
各特徴点対サブ集合のマッチング誤差情報を特定することを含み、
少なくとも前記第一画像変形情報に基づいて前記複数の異なる第一基礎マトリックスから第一最適化基礎マトリックスを特定する前記ステップは、
前記マッチング誤差情報および前記第一画像変形情報に基づいて前記複数の異なる第一基礎マトリックスから第一最適化基礎マトリックスを特定することを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記マッチング誤差情報は、特徴点対サブ集合内の所定のマッチング条件を満たさない特徴点対が特徴点対サブ集合または第一特徴点対集合に占める割合を含むことを特徴とする請求項３または４に記載の方法。
【請求項６】
さらに、
前記第一最適化基礎マトリックスを記憶または更新することを含むことを特徴とする請求項１から５のいずれか一項に記載の方法。
【請求項７】
さらに、
前記第一特徴点対集合内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を記憶または更新することを含むことを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
特徴点対集合に含まれる全ての特徴点対の数に対して前記記憶または更新された特徴点対の数が占める割合は、設定閾値よりも小さいことを特徴とする請求項７に記載の方法。
【請求項９】
所定のマッチング条件を満たす前記少なくとも一対の特徴点対の情報は、
所定のマッチング条件を満たす少なくとも一対の特徴点対の座標を含むことを特徴とする請求項７または８に記載の方法。
【請求項１０】
さらに、
前記第一最適化基礎マトリックスに基づいて第二画像対を較正することを含むことを特徴とする請求項６から９のいずれか一項に記載の方法。
【請求項１１】
さらに、
第二画像対に対して特徴マッチングを行って第二特徴点対集合を得ることと、前記第二特徴点対集合に基づき、前記第二画像対の第二画像変形情報および／または特徴点対サブ集合のマッチング誤差情報を含むマッピングコスト情報を特定することと、を含み、
前記第一最適化基礎マトリックスに基づいて第二画像対を較正する前記ステップは、
前記マッピングコスト情報が所定の閾値条件を満たすことに応じて、前記第一最適化基礎マトリックスに基づいて前記第二画像対を較正することを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
さらに、
前記マッピングコスト情報が所定の閾値条件を満たさないことに応じて、前記第二画像対の対応する第二最適化基礎マトリックスを取得することと、
前記第二最適化基礎マトリックスに基づいて前記第二画像対を較正することと、を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記第二画像対の対応する第二最適化基礎マトリックスを取得する前記ステップは、
第二画像対に対して特徴マッチングを行って前記第二画像対の第二特徴点対集合を得ることと、
前記第二特徴点対集合および記憶された、所定のマッチング条件を満たす少なくとも一対の特徴点対に基づき、前記第二画像対の複数の異なる第二基礎マトリックスを取得し、および前記複数の異なる第二基礎マトリックスのそれぞれの対応する第二画像変形情報を取得することと、
少なくとも前記第二画像変形情報に基づいて前記複数の異なる第二基礎マトリックスから前記第二最適化基礎マトリックスを特定することと、を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
さらに、
前記第二最適化基礎マトリックスを利用して記憶された前記第一最適化基礎マトリックスを更新すること、および／または、
前記第二特徴点対集内の所定のマッチング条件を満たす少なくとも一対の特徴点対の情報を利用して、記憶された、所定のマッチング条件を満たす少なくとも一対の特徴点対情報を更新することを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
さらに、
二つのカメラが設けられた機器によって画像対を撮影することを含むことを特徴とする請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
請求項１から１５のいずれか一項に記載のダブル視野角画像較正方法を利用して同一シーンに対応する二つの異なる視野角でそれぞれ撮影して得られた少なくとも一つの画像対を較正することと、
較正後の画像対に基づき、三次元再構成処理、画像ぼかし処理、被写界深度計算、拡張現実処理のいずれか一つまたは複数を含む応用処理を行うことと、を含むことを特徴とする画像処理方法。
【請求項１７】
同一シーンに対応する二つの異なる視野角でそれぞれ撮影した二つの画像を含む第一画像対に対して特徴マッチングを行って第一特徴点対集合を得るための特徴マッチングモジュールと、
少なくとも前記第一特徴点対集合に基づいて前記第一画像対の複数の異なる第一基礎マトリックスを取得し、および前記複数の異なる第一基礎マトリックスのそれぞれによるマッピング変換後の第一画像対と、マッピング変換前の第一画像対との相対変形を示す第一画像変形情報を取得するための第一取得モジュールと、
少なくとも前記第一画像変形情報に基づいて前記複数の異なる第一基礎マトリックスから第一最適化基礎マトリックスを特定するための第一特定モジュールと、
前記第一最適化基礎マトリックスに基づいて前記第一画像対を較正するための第一較正モジュールと、を含むことを特徴とするダブル視野角画像較正装置。
【請求項１８】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体であって、前記プログラム命令はプロセッサにより実行される時に請求項１から１５のいずれか一項に記載のダブル視野角画像較正方法または請求項１６に記載の画像処理方法のステップを実現することを特徴とするコンピュータ読み取り可能記憶媒体。
【請求項１９】
コンピュータ読み取り可能コードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能コードが機器において実行される時、前記機器内のプロセッサは請求項１から１５のいずれか一項に記載のダブル視野角画像較正方法または請求項１６に記載の画像処理方法における各ステップを実現するための命令を実行することを特徴とするコンピュータプログラム。
【請求項２０】
プロセッサ、および
前記プロセッサに請求項１から１５のいずれか一項に記載のダブル視野角画像較正方法の対応する動作を実行させ、および／または、前記プロセッサに請求項１６に記載の画像処理方法の対応する動作を実行させる少なくとも一つの実行可能命令を格納するためのメモリを含むことを特徴とする電子機器。
【請求項２１】
さらに、通信バスを介して前記プロセッサと互いに通信する少なくとも二つのカメラを含むことを特徴とする請求項２０に記載の電子機器。