(57)【要約】  ビデオ安定化方法が開示される。該ビデオ安定化方法は、第一画像における第一領域を選択し；前記第一領域に基づいて少なくとも1つの第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチング対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行い、動きパラメータを取得し；及び、前記動きパラメータに基づいて、前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを含む。
2021534600.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ安定化方法であって、
第一画像における第一領域を選択し；
前記第一領域に基づいて少なくとも1つの第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチング対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行い、動きパラメータを取得し；及び
前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得することを含む、ビデオ安定化方法。
【請求項２】
請求項1に記載のビデオ安定化方法であって、
前記第一画像における第一領域を選択することは、前記第一画像内の、第一状態を有する画素を含む少なくとも1つの第一領域を選択することを含み、
前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を前記少なくとも1つの第一特徴点として取得することを含む、ビデオ安定化方法。
【請求項３】
請求項2に記載のビデオ安定化方法であって、
前記第一状態は、非移動状態であり、
前記非移動状態は、
静止状態；及び
画素の瞬間移動速度が所定の閾値よりも小さい状態を含む、ビデオ安定化方法。
【請求項４】
請求項2に記載のビデオ安定化方法であって、
前記第一画像内の、第一状態を有する画素を含む少なくとも1つの第一領域を選択することは、
前記第一画像における各画素のオプティカルフロー値を計算し；及び
画素のオプティカルフロー値が所定の閾値よりも小さい領域を前記第一領域とすることを含む、ビデオ安定化方法。
【請求項５】
請求項1に記載のビデオ安定化方法であって、
前記第一画像における第一領域を選択することは、
前記第一画像に対して物体検出を行い、少なくとも1つの物体を取得し；及び
前記第一画像における前記少なくとも1つの物体の種類に基づいて少なくとも1つの第一領域を選択し、各第一領域に重み値を与えることを含み、
前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、
前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を取得し；及び
前記少なくとも1つ第一領域に与えた前記重み値に基づいて、前記少なくとも1つの特徴点を前記少なくとも1つの第一特徴点とすることを含む、ビデオ安定化方法。
【請求項６】
請求項1に記載のビデオ安定化方法であって、
前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得することは、
動きの一致性に基づくアプローチを用いて、誤った特徴点マッチング対を除去することを含む、ビデオ安定化方法。
【請求項７】
請求項1に記載のビデオ安定化方法であって、
前記動きパラメータに基づいて前記第一画像に対して動き補償を行うことは、
平均フィルタリングにより、前記動きパラメータに対して平滑化処理を行い、平滑化後の動きパラメータを取得し；及び
平滑化後の前記動きパラメータを用いて、前記第一画像に対して動き補償を行うことを含む、ビデオ安定化方法。
【請求項８】
請求項1に記載のビデオ安定化方法であって、
前記第二画像は、前記第一画像の隣接するフレームであり；又は
前記第二画像は、ビデオにおける参照フレームである、ビデオ安定化方法。
【請求項９】
請求項8に記載のビデオ安定化方法であって、
前記第二画像が前記第一画像の隣接するフレームである場合、前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行うことは、
前記少なくとも1つの特徴点マッチング対を用いて、前記第二画像に対する前記第一画像のホモグラフィ行列を推定することを含む、ビデオ安定化方法。
【請求項１０】
請求項9に記載のビデオ安定化方法であって、
前記第二画像が前記第一画像の隣接するフレームである場合、前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行うことは、
前記ホモグラフィ行列、及び、前記第二画像と前記参照画像との間の相対移動を用いて、前記第一画像と前記参照画像との間の動きパラメータを推定することをさらに含む、ビデオ安定化方法。
【請求項１１】
ビデオ安定化装置であって、
第一画像における第一領域を選択する選択部；
前記第一領域に基づいて少なくとも1つの第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチング対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含むマッチング部；
前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行い、動きパラメータを取得する推定部；及び
前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得する補償部を含む、ビデオ安定化装置。
【請求項１２】
ビデオ安定化装置であって、
コンピュータ実行可能な指令を記憶している記憶器；及び
前記記憶器に接続される処理器を含み、
前記コンピュータ実行可能な指令は、実行されるときに、前記処理器に、請求項1に記載のビデオ安定化方法を実行させる、ビデオ安定化装置。
【請求項１３】
処理器により実行されるコンピュータ実行可能な指令を記憶している非一時的コンピュータ可読媒体であって、
前記コンピュータ実行可能な指令は、実行されるときに、前記処理器に、請求項1に記載のビデオ安定化方法を実行させる、非一時的コンピュータ可読媒体。
【請求項１４】
コンピュータに、請求項1に記載のビデオ安定化方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特に、ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ビデオ安定化方法は、主に、結像システム、照準システム、測位システムなどの外乱を除去するために使用される。具体的には、ビデオ安定化方法は、２つのクラス、即ち、センサーベースのビデオ安定化方法とアルゴリズムベースのビデオ安定化方法に大別することができる。代表的なアルゴリズムベースのビデオ安定化方法は、通常、動き推定、動き平滑化及び動き補償のステップを含む。これらのステップを実行することで、カメラの動きずれを把握することができるため、該カメラが撮影したビデオを出力する際に動きずれを解消することができる。これにより、より安定した画像シーケンス（即ち、ビデオ）を表示することができ、つまり、その出力品質を向上させることができる。
【０００３】
しかし、従来技術におけるアルゴリズムベースのビデオ安定化方法では、多くの場合、動き推定を実行するときに、カメラが撮影した画像（「フレーム」、「ビデオ画像」又は「ビデオフレーム」とも称される）内のすべての物体の移動状態が含まれる。実際のシーンにおける移動物体の移動状態が画像に含まれると、ビデオ安定化の計算結果に干渉を生じ、外乱除去効果やビデオ品質が低下する恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、上述の技術的問題を解決するために、ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の第一側面によれば、ビデオ安定化方法が提供され、それは、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを含む。
【０００６】
本発明の第二側面によれば、ビデオ安定化装置が提供され、それは、
第一画像における第一領域を選択する選択部；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含むマッチング部；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行う推定部；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得する補償部を含む。
【０００７】
本発明の第三側面によれば、ビデオ安定化装置が提供され、それは、
コンピュータ実行可能な指令を記憶している記憶器；及び
前記記憶器に接続される処理器を含み、
前記コンピュータ実行可能な指令は、前記処理器により実行されるときに、前記処理器に、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを実行させる。
【０００８】
本発明の第四側面によれば、コンピュータ実行可能な指令を記憶している非一時的コンピュータ可読媒体が提供され、前記コンピュータ実行可能な指令は、処理器により実行されるときに、前記処理器に、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを実行させる。
【０００９】
本発明の第五側面によれば、コンピュータプログラムが提供され、それは、処理器に、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを実行させることができる。
【発明の効果】
【００１０】
本発明により、ビデオ安定化アルゴリズムに影響を与えることができるビデオ画像におけるシーン領域の、画像補償に対する干渉を回避することができるため、関連するビデオの出力品質を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第一実施例によるビデオ安定化方法のフローチャートである。
【図２Ａ】本発明の第一実施例に用いられる第一画像を示す図である。
【図２Ｂ】図2Aに示す第一画像に対して行われるオプティカルフローの計算を示す図である。
【図３Ａ】本発明の第一実施例で取得される物体検出結果を示す図である。
【図３Ｂ】本発明の第一実施例で取得される他の物体検出結果を示す図である。
【図４】パノラマカメラが撮影した三次元（3D）画像に対して投影を行うことで取得される正距円筒画像（Equirectangular  Image）における異なる部分の理論的移動方向を示す図である。
【図５】本発明の第二実施例によるビデオ安定化装置のブロック図である。
【図６】本発明の第三実施例による他のビデオ安定化装置のブロック図である。
【発明を実施するための形態】
【００１２】
当業者が本発明をよりよく理解するために、以下、図面を参照しながら本発明の実施例を詳細に説明する。なお、本明細書及び図面において同一の符号は、基本的に同一の機能や構成を有する構成要素を表し、また、構成要素の説明の繰り返しは省略する。
【００１３】
本発明の実施例では、従来技術における特徴点マッチング及び動き推定の精度が十分ではないという問題を解決するために、ビデオ画像をビデオ安定化のプロセスで複数の領域に分割し、そして、分割した領域に基づいて特徴点マッチング及び後続の動き推定、動き補償を行う。これにより、ビデオの出力品質を向上させることができる。
【００１４】
＜第一実施例＞
図1は、本実施例によるビデオ安定化方法のフローチャートである。
【００１５】
なお、ビデオ安定化方法は、通常のカメラで撮影した二次元（2D）画像だけでなく、パノラマカメラで撮影した3D画像にも適用することができるが、本発明は、これに限定されない。
【００１６】
図1に示すように、ステップS101において、第一画像における第一領域を選択する。
【００１７】
画像における移動物体を含む動き推定及び画像全体の動き補償により、画像内の静的物体に対しての過剰な補償を引き起こす可能性があることを考慮して、画像におけるシーン領域（例えば、移動物体の所在する領域）の、ビデオ安定化に対する干渉をできるだけ回避するために、このステップでは、ビデオ安定化処理待ちの第一画像に対して領域選択行うことで、1つ又は複数の第一領域を取得する。
【００１８】
オプションとして、第一画像は、収集されたビデオ画像の中の現在のフレームであっても良いが、もちろん、その中のどんなフレームであっても良い。また、移動ロボット、インテリジェント自動車、ドローンなどに設けられた撮影部により、第一画像、後述する第二画像などを撮影することが可能である。撮影部は、単レンズカメラ又はビデオカメラであっても良いが、明らかのように、2レンズ又はマルチレンズのカメラ或いはビデオカメラであっても良い。
【００１９】
一例では、ビデオ画像が2D画像である場合、第一領域は、その中から直接選択することができる。別の例では、ビデオ画像が3D画像である場合、ビデオ画像に対して座標変換を行うことで2D画像（例えば、経度・緯度画像）を取得し、そして、2D画像における第一領域を選択することができる。
【００２０】
また、一例では、第一画像から選択される第一領域は、画素が第一状態を有する１つ又は複数の第一領域を含み得る。第一状態は、非移動状態であり、該非移動状態は、静止状態、及び、画素の瞬間移動速度が所定の閾値未満である状態を含んでも良い。
【００２１】
具体的には、第一画像のオプティカルフロー値に基づいて、第一画像における第一領域を選択することが可能である。一般的に言えば、オプティカルフローは、画像内のすべての画素の動き情報を表すために使用することができ、また、関連するオプティカルフローフィールドは、画像内のすべての画素により形成される瞬間移動速度フィールドを示すことができる。よって、非移動状態にある画素を含む第一画像における第一領域を決定するために、第一画像における各画素のオプティカルフロー値を計算し、そして、画素のオプティカルフロー値が所定の閾値未満である領域を第一領域として取得することができる。ここで、所定の閾値は、第一画像全体のオプティカルフロー値の平均値を計算することにより得ることができる。
【００２２】
図2Aは、第一画像を示す図であり、図2Bは、図2Aに示す第一画像に対して行われるオプティカルフローの計算を示す図である。
【００２３】
図2A及び図2Bから分かるように、第一画像内の相対的に静止している物体、例えば、木、中央にある人物などに対応する画素のオプティカルフロー値は、比較的小さい（図2Bでは、このような物体の色が比較的明るい）。これに対して、第一画像内の相対的に移動している物体、例えば、ベビーカーを押す歩行者、ランニングしている人々などに対応する画素のオプティカルフロー値は、比較的大きい（図2Bでは、このような物体の色が比較的暗い）。このため、オプティカルフロー値を使用することで、後続の特徴点マッチングステップ及び動き推定ステップから第一画像内の相対的に移動している物体を除去し、ビデオ安定化の精度を高めることができる。
【００２４】
例えば、図2Bにおいて特定のオプティカルフロー値（例えば、平均オプティカルフロー値）が所定の閾値を超えた領域を矩形枠により選択し、そして、図2Aから選択された領域を差し引くことにより、残りの領域を第一画像の第一領域とすることができる。なお、明らかのように、実際の応用では、矩形枠の代わりに、画素又は画素グループを使用することで同じ処理を行うこともできる。
【００２５】
また、別の例では、人工知能（AI）ベースのアプローチ、例えば、ディープラーニングを採用することで、第一画像に対して物体検出を行い、そして、物体検出結果に基づいてその中の第一領域を取得することができる。この例では、第一画像における第一領域を選択することは、第一画像に対して物体検出を行い、そして、第一画像から検出された少なくとも1つの物体の種類に基づいて、少なくとも1つの第一領域を選択することを含んでも良い。ここで、各第一領域は、対応する重み値を有する。
【００２６】
例示として、第一画像に対して物体検出を行うことにより、複数の種類の物体を取得することができる。その後、異なる種類の物体に基づいて、異なる種類の異なる物体の所定する異なる第一領域に異なる重み値を与えることができる。
【００２７】
図3A及び図3Bは、それぞれ、前述の物体検出プロセスを行った後に得られた例示的な結果を示す図である。
【００２８】
図3Aに示す検出物体は、窓（WINDOW）及び扉（DOOR）であり、図3Bに示す検出物体は、建物（BUILDING）である。もちろん、図3A及び図3Bに示すのは、例示に過ぎない。実際の応用では、第一画像に対応する異なるシーンに基づいて、様々な種類の物体、例えば、人物、車、動物、木、空、道路、机、椅子などを検出することができる。第一画像における物体及びその種類が確定された後に、異なる種類の物体の所在する異なる第一領域を選択することができる。また、異なる物体の種類に応じて、異なる第一領域に異なる重み値を与えることができる。
【００２９】
例えば、相対的に静止している物体の所在する第一領域に、比較的大きい重み値を与えることができる。これに対して、相対的に移動している物体の所在する第一領域に、比較的小さい重み値を与えることができる。具体的には、空、建物、扉、窓、机又は椅子の所在する第一領域に重み値0.9を与えることができ、また、人物、車又は動物の所在する第一領域に重み値0.1を与えることができる。もちろん、上述の物体検出方法及び重み値割り当て方法は、例示に過ぎない。実際の応用では、他の任意の物体検出方法及び重み値割り当て方法を採用しても良い。
【００３０】
再び図1を参照するに、ステップS102において、第一画像から選択された第一領域に基づいて1つ又は複数の特徴点を決定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、第一画像と第二画像との間の少なくとも1つの特徴点マッチング対を取得する。ここで、各特徴点マッチング対は、第一画像の第一特徴点及び第二画像の第二特徴点を含む。
【００３１】
このステップでは、第一画像における第一領域を選択するための異なる方式及び基準に従って、異なる方式を採用して第一特徴点を確定しても良い。一例として、非移動状態にある画素を有する第一画像における第一領域を選択した後に、第一領域に対して特徴点検出を行い、そして、検出した特徴点を、特徴点マッチングを行うための第一特徴点としても良い。具体的には、オプティカルフローベースのアプローチが第一画像から第一領域を選択するために使用される場合、選択された第一画像のみに対して特徴点検出を行っても良い。これは、重み値1を選択された第一領域に与え、その中のすべての特徴点（100％の特徴点）を、第二画像内の対応する領域と特徴点マッチングを行って少なくとも1つの特徴点マッチング対を得るための第一特徴点として選択することに相当する。
【００３２】
それに応じて、第一画像から第一領域を選択するための方式と同様の方式で、第二画像における第二領域を選択することもできる。例えば、オプティカルフローベースのアプローチを用いて、第二画像から選択された、非移動状態にある画素を有する第二領域に対して特徴点検出を行い、そして、第一画像及び第二画像内の特徴点が確定された後に、第一画像における第一特徴点及び第二画像における第二特徴点を用いて特徴点マッチングを行い、少なくとも1つの特徴点マッチング対を取得することができる。
【００３３】
なお、上述の選択方式は、例示に過ぎない。別の場合、第一画像における第一領域及び非特定領域から特定の数又は割合の特徴点をそれぞれ選択して第一特徴点とし、第二画像内の対応する第二特徴点と特徴点マッチングを行うことも可能である。
【００３４】
或いは、前述の物体検出により、第一画像から異なる重み値を有する1つ又は複数の第一領域を選択した後に、検出された1つ又は複数（或いは、少なくとも一部）の特徴点を、第一領域に対応する重み値に基づいて特徴点マッチングを行うための第一特徴点としても良い。例えば、第一画像に空、建物、木及び人物が存在すると判断された場合、これらの種類の物体のそれぞれの所在する領域を第一領域とすることができる。その後、空及び建物に対応する第一領域に所定の重み値1を与え、木に対応する第一領域に所定の重み値0.9を与え、また、人物に対応する第一領域に所定の重み値0.1を与えても良い。
【００３５】
この場合では、重み値は、それぞれの第一領域における1つ又は複数の第一特徴点を選択するための比率とされても良い。つまり、各第一領域に対応する比率に基づいて、該第一領域から1つ又は複数の特徴点を1つ又は複数の第一特徴点として選択しても良い。具体的には、空及び建物のそれぞれの所在する第一領域におけるすべての特徴点（即ち、100％の特徴点）は、対応する比率（重み値）がすべて1であるので、第一特徴点として選択することができる。木の所在する第一領域における90％の特徴点は、対応する比率（重み値）が0.9であるので、第一特徴点として選択することができる。また、人物の所在する第一領域における10％の特徴点は、対応する比率（重み値）が0.1であるので、第一特徴点として選択することができる。なお、本発明は、これに限られない。例えば、所定のルールに従って、第一画像内の少なくとも1つの第一特徴点を選択しても良い。
【００３６】
また、一例では、上述のように、第一画像から第一領域を選択するための方式と同様の方式で、第二画像における1つ又は複数の第二領域を選択しても良い。第二画像における第二領域が取得された後に、各第二領域と、第一画像内の対応する第一領域との間の対応関係を確立し、また、第二領域に基づいて、特徴点検出、特徴点マッチングなどを行っても良い。
【００３７】
例えば、第一画像の第一領域のみに対して特徴点検出を行い、且つ検出されたすべての特徴点を、特徴点マッチングを行うための第一特徴点とすると判断された場合、第一画像の第一領域に対応する第二画像の第二領域に対して特徴点検出を行い、検出されたすべての特徴点を、特徴点マッチングを行うための第二特徴点としても良い。或いは、第一画像における第一領域から特定の数又は割合の特徴点を第一特徴点として選択すると判断された場合、第一画像における第一領域に対応する第二画像における第二領域から同じ数又は割合の特徴点を第二特徴点として選択しても良い。オプションとして、これを基に、ビデオの一部又は全部のフレームに対して領域分割及び領域選択を行い、そして、異なるフレーム間の特徴点検出及び特徴点マッチングを行っても良い。
【００３８】
本実施例では、特徴点検出は、SIFT（Scale  Invariant  Feature  Transform）、SURF（Speeded  UP  Robust  Features）、Harrisコーナー又はORB（Oriented  FAST  and  Rotated  BRIEF）ベースのアルゴリズムにより実現することができる。特徴点検出が行われた後に、オプションとして、検出された特徴点は、グレースケール特徴、勾配特徴、視差情報などを用いる様々な特徴記述方法で記述することができる。
【００３９】
また、第一画像と第二画像との間の特徴点マッチングは、例えば、GMS（Grid-based Motion  Statistics）ベースのアルゴリズムにより実現することができる。特徴点マッチングを行う目的は、特徴点マッチング結果が正しいかを判断することで、幾つかの誤った又は不一致の特徴点を除去し、適切な特徴点及び関連する特徴点マッチング対を取得することにある。これにより、特徴点マッチングの安定性を向上させることができる。例示として、誤った特徴点マッチング対の除去は、動きの一致性（motion  consistency）に基づく方法により実現することができる。
【００４０】
図4は、パノラマカメラが撮影した3D画像に対して投影を行うことにより得られた正距円筒画像における異なる部分の理論的移動方向を示す図である。
【００４１】
図4に示す場合では、3D画像は、パノラマカメラを地面と平行に移動させることにより取得されるものである。パノラマカメラが移動するにつれて、正距円筒画像の異なる部分における画素は異なる方向に沿って移動する。言い換えると、特徴点マッチングが図4に示すようなシーンで得られた第一画像及び第二画像に対して行われるときに、2つの画像の取得時点間の間隔、及び、得られた特徴点マッチング対における特徴点の実際の移動方向と、図4に示すような理論的移動方向との間の一致性に基づいて、誤った特徴点マッチング対を除去することができる。
【００４２】
以下、一例を挙げてより詳細に説明する。
【００４３】
この例では、次のように仮定し、即ち、第一画像及び第二画像が、隣接するフレームであり、
（外１）
2021534600.tif 000003
が、第一画像の第一特徴点及び第二画像の第二特徴点を含む特徴点マッチング対の実際の移動方向を示し、例えば、2つの特徴点を通る直線で表されても良く、
（外２）
2021534600.tif 000004
が、第一特徴点又は第二特徴点に対応する図4中の位置の理論的移動方向を表し、例えば、この位置を通過する曲線の、この位置における接線方向であっても良く、αが、
（外３）
2021534600.tif 000005
と
（外４）
2021534600.tif 000006
の間の角度であると仮定する。そうすると、以下の公式（1）を得ることができる。
【数１】
2021534600.tif 000007
【００４４】
公式（1）は、移動方向が所定の条件を満たす特徴点マッチング対を選択するために用いられる。例えば、
【数２】
2021534600.tif 000008
の場合、関連する特徴点マッチング対は残り、そうでない場合、関連する特徴点マッチング対は除去する。なお、本発明は、これに限定されない。実際の応用では、特徴点マッチング対の選択を行うために、移動方向の一致性に基づく任意のマッチングアプローチを採用しても良い。
【００４５】
特徴点マッチングを行った後に、取得された各々の特徴点マッチング対は、第一画像の第一特徴点及び第二画像の第二特徴点を含む。つまり、第一画像の各第一特徴点と、第二画像の対応する第二特徴点とは、1対1の関係を有し、且つ1つの特徴点マッチング対を形成する。
【００４６】
再び図1を参照するに、ステップS130において、取得された特徴点マッチング対に基づいて動きパラメータの推定を行う。
【００４７】
第一画像の第一特徴点及び第二画像の第二特徴点を含む特徴点マッチング対が得られた後に、これに基づいて動きパラメータの推定を行うことができる。例えば、RANSAC（Random  Sample  Consensus）ベースのアプローチで、第一画像と第二画像との間のホモグラフィ行列（homography  matrix）を推定することができる。
【００４８】
オプションとして、第二画像は、第一画像の直前のフレームであっても良く、即ち、2つの画像は、隣接するフレームである。この場合では、動きパラメータの推定を行うときに、後続の動き補償用の、第一画像と第二画像との間のホモグラフィ行列を推定するために、取得された特徴点マッチング対のみを利用しても良い。また、これを基に、第二画像と参照フレームとの間の相対移動をさらに利用することで、第一画像と参照フレームとの間の動きパラメータを、両者間の動き補償のために推定することができる。具体的には、まず、第一画像と第一画像の直前のフレーム（即ち、第二画像）との間のホモグラフィ行列を計算し、次に、参照画像に到達するまで、第二画像の、その前のフレームに対するホモグラフィ行列を順次計算し（例えば、第二画像と、使用される前の各フレームとの間のフレーム数は2の倍数であっても良い）、これにより、最終的には、動き補償のための、参照フレームに対する第一画像のホモグラフィ行列を得ることができる。
【００４９】
或いは、第二画像は、ビデオにおける参照フレームであっても良い。この場合では、取得された特徴点マッチング対を用いて、第一画像と第二画像（即ち、参照フレーム）との間のホモグラフィ行列を推定して、後続の動き補償のための推定される動きパラメータとすることができる。
【００５０】
言い換えると、取得される動きパラメータは、第二画像に対する第一画像の動きパラメータであっても良く、又は、所定の参照フレームに対する第一画像の動きパラメータであっても良い。これは、後続のステップで第一画像の動き補償がどのフレームに対して行われるかを決定する。
【００５１】
再び図1を参照するに、ステップS104において、推定された動きパラメータに基づいて、第一画像に対して動き補償を行い、第一安定画像を取得する。
【００５２】
このステップでは、動き補償を行う前に、平均フィルタリングにより、推定された動きパラメータ、例えば、上述のホモグラフィ行列に対して平滑化処理を行い、そして、平滑化後の動きパラメータを用いて、第一画像に対して動き補償を行うことも可能である。
【００５３】
具体的には、例えば、ホモグラフィ行列Roriginが与えられた場合、Roriginからオイラー角（Euler  Angles）を導出することができ、そして、平均フィルタリングに基づく平滑化処理がオイラー角に対して行われた後に、平滑化後のオイラー角は、以下の公式（2）により表すことができる。
【数３】
2021534600.tif 000009
【００５４】
ここで、nは、フレームの番号を示し、sizeは、平均フィルタリングに基づく平滑化処理に適用されるスライディングウィンドウのサイズを表す。
【００５５】
次に、平滑化後のオイラー角に基づいて、平滑化後の行列Rを以下のように取得することができる。
【数４】
2021534600.tif 000010
【００５６】
その後、与えられた平滑化前のホモグラフィ行列Roriginと、平滑化後の行列Rとに基づいて第一画像に対して動き補償を行うことで、補償後の第一安定画像Stable（img）を以下の公式（4）に示すように得ることができる。
【数５】
2021534600.tif 000011
【００５７】
ここで、Unstable（img）は、補償前の第一画像を示す。
【００５８】
一例では、第一画像が3Dビデオ画像である場合、Unstable（img）は3D画像であり、取得された第一安定画像Stable（img）も3D画像である。また、第一安定画像が得られた後に、第一安定画像に対して座標変換を行うことで、変換後の2D画像を取得することもできる。
【００５９】
別の例では、第一画像が2Dビデオ画像である場合、それを上述の公式に直接代入することで、3Dから2Dへの座標変換を行うことなく第一安定画像を取得することができる。
【００６０】
よって、本実施例によるビデオ安定化方法を用いて、第一画像から第一領域を選択し、そして、選択された第一領域に基づいて、特徴点マッチング、動きパラメータ推定及び動き補償を行うことで、画像内の移動物体を含む動き推定及び画像全体の動き補償による静的物体に対しての過剰な補償を回避することができる。これにより、ビデオの出力品質を向上させることができる。
【００６１】
＜第二実施例＞
図5は、本実施例によるビデオ安定化装置500のブロック図である。
【００６２】
なお、ビデオ安定化装置500は、第一実施例によるビデオ安定化方法を実行することができる。
【００６３】
図5に示すように、ビデオ安定化装置500は、選択部510、マッチング部520、推定部530及び補償部540を含む。もちろん、ビデオ安定化装置500は他の部品を含んでも良いが、このような部品は本実施例とは密接な関係がないため、ここでは図示及び説明を省略する。
【００６４】
具体的には、選択部510、マッチング部520、推定部530及び補償部540は、第一実施例におけるステップS101〜S104（図１に示されている）を実行するように構成される。なお、これらのステップは第一実施例によるビデオ安定化方法において詳細に説明されているので、即ち、ステップS101〜S104の詳細については第一実施例を参照することができるので、ここでは詳しい説明を省略する。
【００６５】
よって、本実施例によるビデオ安定化装置を用いて、第一画像から第一領域を選択し、そして、選択された第一領域に基づいて、特徴点マッチング、動きパラメータ推定及び動き補償を行うことで、画像内の移動物体を含む動き推定及び画像全体の動き補償による静的物体に対しての過剰な補償を回避することができる。これにより、ビデオの出力品質を向上させることができる。
【００６６】
＜第三実施例＞
図6は、本実施例における他のビデオ安定化装置600のブロック図である。
【００６７】
図6に示すように、ビデオ安定化装置600は、少なくとも1つの処理器610及び記憶器620を含み、記憶器620は、処理器610に接続される。なお、ビデオ安定化装置600は、他の部品を含んでも良いが、このような部品は、本実施例とは密接な関係がないため、ここでは図示及び説明を省略する。
【００６８】
具体的には、処理器610は、CPU（Central  Processing  Unit）或いはデータ処理能力及び／又は指令実行能力を有する任意の他の処理部であっても良く、且つ第一実施例によるビデオ安定化方法におけるステップS101〜S104を実現するためのコンピュータプログラムを実行するように構成される。該コンピュータプログラムは、例えば、記憶器620に記憶されている。なお、ビデオ安定化方法におけるステップS101〜S104の詳細については第一実施例を参照することができるので、ここでは詳しい説明を省略する。
【００６９】
また、記憶器は、フロッピーディスク、ハードディスク、CD  ROM、磁気テープデバイス、ソリッドステートメモリデバイスなどのプロセッサー可読コンピュータプログラムを格納するための任意の記憶媒体であっても良い。
【００７０】
＜第四実施例＞
本実施例では、コンピュータプログラム及び非一時的コンピュータ可読媒体が提供され、以下のように簡単に説明される。
【００７１】
コンピュータプログラムは、コンピュータに、第一実施例によるビデオ安定化方法を実行させることができる。
【００７２】
また、非一時的コンピュータ可読媒体は、処理器又は処理システムを含むコンピュータにより実行されるコンピュータ実行可能な指令（即ち、コンピュータプログラム）を記憶することができる。コンピュータ実行可能な指令は、実行されるときに、処理器又は処理システムに、第一実施例によるビデオ安定化方法を実行させることができる。
【００７３】
なお、本発明の実施例は、例えば、専用ハードウェア又は専用ハードウェアとソフトウェアとの混合を使用して任意の便利な形で実装することができる。また、本発明の実施例は、1つ又は複数のネットワーク化された処理装置により実行されるコンピュータソフトウェアとして実装することができる。ネットワークは、インターネットなどの従来の地上又は無線通信ネットワークを含んでも良い。処理装置は、汎用コンピュータ、携帯情報端末、携帯電話（例えば、WAP又は3G準拠の電話）などの適切にプログラムされた装置を含んでも良い。本発明の実施例は、ソフトウェアとして実装することができるので、本発明のありとあらゆる態様は、プログラマブルデバイス上で実装可能なコンピュータソフトウェアを包含する。
【００７４】
コンピュータソフトウェアは、フロッピーディスク、ハードディスク、CD  ROM、磁気テープデバイス、ソリッドステートメモリデバイスなどのプロセッサー可読コードを格納するための任意の記憶媒体を使用してプログラム可能なデバイスに提供されても良い。ハードウェアプラットフォームは、例えば、中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及びハードディスクドライブ（HDD）を含む任意のハードウェアリソースを含む。CPUは、任意のタイプ及び数のプロセッサーを含んでも良い。RAMは、任意の揮発性又は不揮発性メモリを含んでも良い。HDDは、大量のデータを記憶することができる任意の不揮発性メモリを含んでも良い。ハードウェアリソースは、装置の種類に応じて、入力デバイス、出力デバイス及びネットワークデバイスをさらに含み得る。HDDは、装置からアクセス可能であれば、装置の外部に設けられていても良い。この場合、CPU、例えば、CPUのキャッシュメモリ及びRAMは、装置の物理メモリ又は一次メモリとして動作し、HDDは、装置の二次メモリとして動作する。
【００７５】
以上、本発明の好ましい実施形態を説明したが、本発明はこのような実施形態に限定されず、本発明の趣旨を逸脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【００７６】
本出願は、2018年05月15日に中国専利局に出願した、出願番号が201810461379.4である中国特許出願に基づく優先権を主張するものであり、その全内容を参照によりここに援用する。
【図１】
2021534600.tif 000012
【図２Ａ】
2021534600.tif 000013
【図２Ｂ】
2021534600.tif 000014
【図３Ａ】
2021534600.tif 000015
【図３Ｂ】
2021534600.tif 000016
【図４】
2021534600.tif 000017
【図５】
2021534600.tif 000018
【図６】
2021534600.tif 000019
【手続補正書】
【提出日】令和2年11月27日(2020.11.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ安定化方法であって、
第一画像における第一領域を選択し；
前記第一領域に基づいて少なくとも1つの第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチング対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行い、動きパラメータを取得し；及び
前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得することを含み、
前記第一画像における第一領域を選択することは、
前記第一画像に対して物体検出を行い、少なくとも1つの物体を取得し；及び
前記第一画像における前記少なくとも1つの物体の種類に基づいて少なくとも1つの第一領域を選択し、各第一領域に重み値を与えることを含み、
前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、
前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を取得し；及び
前記少なくとも1つ第一領域に与えた前記重み値に基づいて、前記少なくとも1つの特徴点を前記少なくとも1つの第一特徴点とすることを含む、ビデオ安定化方法。
【請求項２】
請求項1に記載のビデオ安定化方法であって、
前記第一画像における第一領域を選択することは、前記第一画像内の、第一状態を有する画素を含む少なくとも1つの第一領域を選択することを含み、
前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を前記少なくとも1つの第一特徴点として取得することを含む、ビデオ安定化方法。
【請求項３】
請求項2に記載のビデオ安定化方法であって、
前記第一状態は、非移動状態であり、
前記非移動状態は、
静止状態；及び
画素の瞬間移動速度が所定の閾値よりも小さい状態を含む、ビデオ安定化方法。
【請求項４】
請求項2に記載のビデオ安定化方法であって、
前記第一画像内の、第一状態を有する画素を含む少なくとも1つの第一領域を選択することは、
前記第一画像における各画素のオプティカルフロー値を計算し；及び
画素のオプティカルフロー値が所定の閾値よりも小さい領域を前記第一領域とすることを含む、ビデオ安定化方法。
【請求項５】
請求項1に記載のビデオ安定化方法であって、
前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得することは、
動きの一致性に基づくアプローチを用いて、誤った特徴点マッチング対を除去することを含む、ビデオ安定化方法。
【請求項６】
請求項1に記載のビデオ安定化方法であって、
前記動きパラメータに基づいて前記第一画像に対して動き補償を行うことは、
平均フィルタリングにより、前記動きパラメータに対して平滑化処理を行い、平滑化後の動きパラメータを取得し；及び
平滑化後の前記動きパラメータを用いて、前記第一画像に対して動き補償を行うことを含む、ビデオ安定化方法。
【請求項７】
請求項1に記載のビデオ安定化方法であって、
前記第二画像は、前記第一画像の隣接するフレームであり；又は
前記第二画像は、ビデオにおける参照フレームである、ビデオ安定化方法。
【請求項８】
請求項7に記載のビデオ安定化方法であって、
前記第二画像が前記第一画像の隣接するフレームである場合、前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行うことは、
前記少なくとも1つの特徴点マッチング対を用いて、前記第二画像に対する前記第一画像のホモグラフィ行列を推定することを含む、ビデオ安定化方法。
【請求項９】
請求項8に記載のビデオ安定化方法であって、
前記第二画像が前記第一画像の隣接するフレームである場合、前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行うことは、
前記ホモグラフィ行列、及び、前記第二画像と前記参照画像との間の相対移動を用いて、前記第一画像と前記参照画像との間の動きパラメータを推定することをさらに含む、ビデオ安定化方法。
【請求項１０】
ビデオ安定化装置であって、
第一画像における第一領域を選択する選択部；
前記第一領域に基づいて少なくとも1つの第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチング対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含むマッチング部；
前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行い、動きパラメータを取得する推定部；及び
前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得する補償部を含み、
前記第一画像における第一領域を選択することは、
前記第一画像に対して物体検出を行い、少なくとも1つの物体を取得し；及び
前記第一画像における前記少なくとも1つの物体の種類に基づいて少なくとも1つの第一領域を選択し、各第一領域に重み値を与えることを含み、
前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、
前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を取得し；及び
前記少なくとも1つ第一領域に与えた前記重み値に基づいて、前記少なくとも1つの特徴点を前記少なくとも1つの第一特徴点とすることを含む、ビデオ安定化装置。
【請求項１１】
ビデオ安定化装置であって、
プログラムを記憶している記憶器；及び
前記記憶器に接続される処理器を含み、
前記プログラムは、前記処理器により実行されるときに、前記処理器に、請求項1乃至9のうちの任意の1項に記載のビデオ安定化方法を実行させる、ビデオ安定化装置。
【請求項１２】
コンピュータに、請求項1乃至9のうちの任意の1項に記載のビデオ安定化方法を実行させるためのプログラム。
【請求項１３】
請求項12に記載のプログラムを記憶しているコンピュータ読み取り可能な記憶媒体。
【国際調査報告】
2021534600.tif 000020
2021534600.tif 000021
2021534600.tif 000022
2021534600.tif 000023
2021534600.tif 000024