(57)【特許請求の範囲】
【請求項１】
ＣＭＯＳセンサから取得された映像に対して、ローリングシャッタに起因する回転動き歪み変形を含む隣接する２画像間の動きを、前記回転動き歪みのない仮想的な２画像間の動きとして、逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの更新量を１次近似することにより並進及び回転パラメータを推定する
ことを特徴とする映像安定化処理方法。
【請求項２】
請求項１に記載の映像安定化処理方法において、
移動カメラの場合には、推定した前記並進パラメータの時系列処理を遂行する
ことを特徴とする映像安定化処理方法。
【請求項３】
請求項１または請求項２に記載の映像安定化処理方法において、
ＣＭＯＳセンサから取得された映像における回転動き歪み変形と、揺れの補正と、を同時に行うこと
ことを特徴とする映像安定化処理方法。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の映像安定化処理方法をコンピュータに実行させるためのプログラム。
【請求項５】
請求項４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項６】
請求項１乃至請求項３のいずれか一項に記載の映像安定化処理方法を実行するビデオスタビライザー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳセンサを用いたカメラにより撮影された映像における回転動き歪み変形の補正（ローリングシャッタ回転歪み補正）と、揺れの補正を同時に行う映像安定化処理に関する。
【背景技術】
【０００２】
映像の動きを推定する方法は古くから研究されており、当該方法は、特徴ベースによる方法と、領域ベースによる方法に大別される。特徴ベースによる方法は、コーナー点や直線等の画像特徴を検出し、それらを画像（フレーム）間で対応付けることにより画像の動きを推定する。そして、推定した動きを相殺するように画像を幾何学変換（例えば、並進、回転、拡大縮小等）することによって、映像に含まれる揺れの補正を行う。その他、加速度センサによってカメラ自体の動きを計測してカメラの動きを相殺するようにレンズを移動させることによって揺れの補正を行うものも知られている。しかし、エッジ等の特徴抽出処理及びそれらのフレーム間対応付け処理には、比較的多くの処理時間とコストが掛かる。
【０００３】
このように、特徴ベースによる方法は、特徴抽出処理やその後の対応付け処理にコストを要することから、領域ベースによる方法を用いた揺れ安定化装置の開発や製品化も鋭意なされている。しかし、いずれもＣＣＤセンサにより取得されたカメラ映像を対象としており、ＣＭＯＳセンサによる動き歪み変形には対応しておらず、当該ＣＭＯＳの揺れ映像の安定化はできない。
【０００４】
また、従来、カメラの意図的な動き（例えばパン）と、意図しない揺れ（ぶれ）による動きとを、取得された映像段階において判別することができないことから、移動カメラによる取得映像から、画像処理により不要な揺れ（ぶれ）のみを除去することは、十分にはできなかった。
【０００５】
下記特許文献１には、ＣＭＯＳセンサからの映像データ読み出し方法において、ある走査線の読み込み中に次の走査線の読み込みを開始する複数走査線の同時読み出し等の工夫をすることにより、歪みを軽減する撮像方式が開示されている。
【０００６】
また、下記特許文献２では、映像処理による歪み補正を行う方法が開示されているが、画像特徴点を用いる方法であり、映像の揺れによる平行移動成分と歪み成分の両者を別々に推定する技術思想が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１４２５９２号公報
【特許文献２】特開２０１３−０１７１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、特徴ベースによる方法は、特徴抽出処理やその後の対応付け処理にコストが掛かる。特に、抽出した複数の特微量を画像間で対応付ける処理は、ラスタスキヤンされた画素データからなる映像信号を処理するためのワイヤードロジック方式によるハードウェアでの実現には向かない。
【０００９】
一方、画素を直接用いる領域ベースによる方法は、ワイヤードロジック方式によるハードウェア実現も可能であり、領域ベースによる方法を用いた揺れ安定化装置の製品化もなされているが、いずれもＣＣＤセンサによるカメラ映像を対象としており、ＣＭＯＳセンサによる動き歪み変形には対応しておらず、揺れ映像の安定化はできない。
【００１０】
また、光学式による補正でも十分とは言えない。また、移動カメラの場合に映像から不要な揺れのみを除去することは、十分にはできなかった。これは、カメラの動きと揺れによる動きを判別することができないからである。
【００１１】
本発明は上述の問題点等に鑑み為されたものであり、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に処理可能とすること等を目的とする。また、移動カメラによる揺れ映像の場合、カメラの移動を保持したまま、映像中の揺れのみを補正することを目的とする。また、移動カメラから固定カメラヘ遷移する場合、あるいはその逆の場合にも忠実に対応することを目的とする。さらには、回転やスケール変換、複雑な変形運動に対応することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行う。ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張する。隣接する２画像の差分二乗総和が最小になる動きパラメータを画像の勾配情報に基づき推定する。このとき、何らの画像特徴や対応付けを必要としない。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を行うために、推定した隣接２画像間の動きパラメータの累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対してレベル適応巡回フィルタを適用することにより、カメラの移動を保持したまま、不要な揺れ成分のみを除去する。これにより、移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現する。
【００１３】
本発明の映像安定化処理方法は、ＣＭＯＳセンサから取得された映像に対して、ローリングシャッタに起因する回転動き歪み変形を含む隣接する２画像間の動きを、回転動き歪みのない仮想的な２画像間の動きとして、逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの更新量を１次近似することにより並進及び回転パラメータを推定することを特徴とする。
【００１４】
また、本発明の映像安定化処理方法は、好ましくは移動カメラの場合には、推定した並進パラメータの時系列処理を遂行することを特徴とする。
【００１５】
また、本発明の映像安定化処理方法は、さらに好ましくはＣＭＯＳセンサから取得された映像における回転動き歪み変形と、揺れの補正と、を同時に行うことことを特徴とする。
【発明の効果】
【００１６】
本発明により、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に処理可能となる。また、本発明により、移動カメラによる揺れ映像の場合、カメラの移動を保持したまま、映像中の揺れのみを補正することが可能となる。また、移動カメラから固定カメラヘ遷移する場合、あるいはその逆の場合にも忠実に対応することが可能となる。さらには、回転やスケール変換、複雑な変形運動に対応することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態のＣＭＯＳカメラの剛体歪み変形を説明するためのブロック図である。
【図２】本実施形態のＣＭＯＳカメラ映像の動き歪み補正および映像安定化処理のフローを示すブロック図である。
【図３】ＣＭＯＳカメラの順次露光による動き歪みを説明する図であり、上段が縦線が画像の右方向へ移動する場合（カメラが左を向く場合）とその結果の歪み画像を説明し、下段が円が画像の下方向へ移動する場合（カメラが上を向く場合）とその結果の歪み画像を説明する図である。
【図４】ＣＭＯＳカメラの並進歪みを説明する図である。
【図５】シミュレーションにより生成したＣＭＯＳ回転歪み画像を説明する図であり、（ａ）がカメラ動きなし（基準画像）を示し、（ｂ）がカメラが３度回転（時計回りの回転）すると画像は左に変形する状態を示し、（ｃ）がカメラが−３度回転（反時計回りの回転）すると画像は右に変形する状態を示している。
【図６】ＣＭＯＳカメラの剛体歪みを説明する図である。
【図７】ＣＭＯＳカメラ映像の動き歪み補正および映像安定化処理のブロック図である（文献［５］では誤りがあったので修正している）。
【図８】図５の格子画像を歪み変形させたシミュレーション画像において、カメラの動きなしの画像を基準画像として、回転歪み補正した結果である。（ａ）が、ＣＭＯＳ回転歪み補正画像のカメラ動きなしの場合（基準画像）を示し、（ｂ）（ｃ）が、図５のカメラの動きによる回転歪み画像（ｂ）（ｃ）の補正結果を示すものである。
【図９】（ａ）は、剛体歪み画像列の加算平均画像（６０フレーム）を示し、（ｂ）は、剛体歪み補正結果の画像列の加算平均画像を示す。
【図１０】（ａ）〜（ｃ）は、剛体歪み画像列の生成に用いたフレームに対する並進および回転パラメータであり、（ｄ）は、フレームに対するピークＳＮ比の変化を示す。
【図１１】ディジタルカメラ（キヤノンＩＸＹ ＤＩＧＩＴＡＬ５００（登録商標））で撮影した２５９２×１９４４画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して生成した剛体歪み画像列の一部である。
【図１２】隣接２画像間の並進パラメータの時系列変化のグラフである。
【図１３】本発明を説明するスライドである。
【図１４】本発明を説明するスライドである。
【図１５】本発明を説明するスライドである。
【図１６】本発明を説明するスライドである。
【図１７】本発明を説明するスライドである。
【図１８】本発明を説明するスライドである。
【図１９】本発明を説明するスライドである。
【図２０】本発明を説明するスライドである。
【図２１】本発明を説明するスライドである。
【図２２】本発明を説明するスライドである。
【図２３】本発明を説明するスライドである。
【図２４】本発明を説明するスライドである。
【図２５】本発明を説明するスライドである。
【図２６】本発明を説明するスライドである。
【図２７】本発明を説明するスライドである。
【図２８】本発明を説明するスライドである。
【図２９】本発明を説明するスライドである。
【図３０】本発明を説明するスライドである。
【発明を実施するための形態】
【００１８】
本実施形態においては、ローリングシシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張する。隣接する２画像の差分二乗総和が最小になる動きパラメータを画像の勾配情報に基づき推定する。このとき、何らの画像特徴や対応付けを必要としない。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を行うために、推定した隣接２画像間の動きパラメータの累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対してレベル適応巡回フィルタを適用することにより、カメラの移動を保持したまま、不要な揺れ成分のみを除去する。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現できる。  
【００１９】
本実施形態では、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正が同時に可能となる。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型フィルタにレベル適応を加味したフィルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。レベル適応によるフィルタ処理のため、移動カメラから固定カメラヘの遷移、あるいはその逆の場合にも忠実に対応することが可能となる。
【００２０】
ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動に拡張する方法、隣接する２画像の差分二乗総和が最小になる動きパラメータを画像の勾配情報に基づき推定する方法、さらに推定した並進パラメータの時系列変化に対して、レベル適応処理を加味した巡回型フィルタ処理を施すことを特徴とする。
【００２１】
この実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。
【００２２】
また、カメラ映像を動画像圧縮したものをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、歪み補正および安定化処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態が考えられる。また、動き推定処理の精度の向上や掛かる処理コストを低減するために、階層画像を用いた階層動き推定処理を用いることができる。
【００２３】
図１は、本実施形態のＣＭＯＳカメラの剛体歪み変形を説明するためのブロック図である。隣接する剛体歪み画像
【００２４】
【数１】
0006505501.tif 000002
【００２５】
の間の動きを、仮想的な歪みのない隣接する画像
【００２６】
【数２】
0006505501.tif 000003
【００２７】
との間の歪み変形による変換と、歪みのない隣接する２画像間の動きによる変換に分離して考える。すなわち、剛体歪み変換
【００２８】
【数３】
0006505501.tif 000004
【００２９】
は、図中、
【００３０】
【数４】
0006505501.tif 000005
【００３１】
とたどればよい。ただし、最初の歪み変形変換の上付き添字”−１”は図中の矢印とは逆向きであることを意味する。すなわち、逆変換である。これらの変換を合成することによって、隣接２画像間の剛体歪み変換は次のように書ける。
【００３２】
【数５】
0006505501.tif 000006
【００３３】
Ｖは、画像縦サイズであり、
【００３４】
【数６】
0006505501.tif 000007
【００３５】
はそれぞれ水平、垂直成分、回転成分を表す。
このようにすると、回転を含む剛体歪み変換のみならず、より高自由度な相似、アフィン、射影変換による動き歪みについても同様にモデル化できる（
【００３６】
【数７】
0006505501.tif 000008
【００３７】
とすると、並進歪みになる）。
隣接する２画像間の動きを推定して、歪みのない第１フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第ｎ＋１フレーム歪み画像
【００３８】
【数８】
0006505501.tif 000009
【００３９】
を仮想的な歪みのない第ｎフレーム画像
【００４０】
【数９】
0006505501.tif 000010
【００４１】
に位置合わせする。推定したパラメータ
【００４２】
【数１０】
0006505501.tif 000011
【００４３】
を用いて、図１中において、
【００４４】
【数１１】
0006505501.tif 000012
【００４５】
とたどる。
上付き添字”−１”は、図１中の矢印とは逆向きであることを意味する。この場合も、これらの変換を合成すると、動き歪み補正と安定化は、すべてのパラメータの推定結果の累積加算により行えばよい。パラメータの推定方法等の詳細は後述する。
【００４６】
問題は、移動カメラの場合であり、映像に含まれる動きが不要な揺れなのか、有意なカメラの動きなのかを判別しなければならない。なぜなら、第１フレームを基準画像として固定すると、移動カメラの場合には、カメラが移動するに従って、補正ができなくなる。
【００４７】
図２は、本実施形態のＣＭＯＳカメラ映像の動き歪み補正および映像安定化処理のフローを示すブロック図である。図２において、動き推定（Motion Estimaiton）により隣接する２画像
【００４８】
【数１２】
0006505501.tif 000013
【００４９】
の間の動き歪みパラメータを推定する。動き歪みパラメータの内の並進成分
【００５０】
【数１３】
0006505501.tif 000014
【００５１】
に対して、時系列フィルタ処理（LPF）を行う。時系列フィルタ処理結果
【００５２】
【数１４】
0006505501.tif 000015
【００５３】
との差分
【００５４】
【数１５】
0006505501.tif 000016
【００５５】
を累積加算した並進成分
【００５６】
【数１６】
0006505501.tif 000017
【００５７】
によって、動き歪み補正と安定化処理（Motion Correction）を行う。
【００５８】
【数１７】
0006505501.tif 000018
【００５９】
は１フレーム遅延を表す。その他の成分についても同様に累積加算したものを用いる。時系列フィルタ処理が完全であれば、固定カメラの場合の低域通過フィルタの出力は厳密に０となり、フィルタ処理結果との差分は並進パラメータそのものになる。しかし、実際にはそうとは限らないので、現在のフレームと前フレームにおけるフィルタ出力結果の差分絶対値のしきい値処理によって、固定／移動カメラの判別を行う。固定カメラと判定された場合には、並進パラメータの累積加算値によって補正する。画像シミュレーションにおける補正結果の詳細は後述する。
【００６０】
（対応点を用いないローリングシャッター歪み補正と映像の安定化〜並進から回転へ）
（Ａｂｓｔｒａｃｔ）
ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化する。そして、従来の並進動きの場合［５］から、回転を含む一般的な運動の場合に拡張する。動きパラメータを“逆結合Lucas-Kanadeアルゴリズム［１］”の更新量を１次近似した”近似逆結合Lucas-Kanadeアルゴリズム［７］”により推定する。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を同時に行うために、推定した隣接２画像間の動きパラメータを累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対して、“巡回型バイラテラルフイルタ［５，６］”により揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現する。
【００６１】
（１．はじめに）
近年、低価格な携帯電話カメラからハイエンドのディジタル一眼レフカメラ（Digital Single Lens Reflexcamera、DSLR）まで、ＣＭＯＳセンサが多く使われてきている。ＣＭＯＳセンサは、低価格化、低消費電力化、大判化が可能であるが、これが従来のＣＣＤセンサと大きく異なる点は、ローリングシャッターと呼ばれる順次露光機構であり、それに起因して映像に動き歪み変形が生じる点である。
【００６２】
これまでのスタビライザ処理の多くはＣＣＤセンサによるカメラを前提としているが、ＣＭＯＳセンサにおけるスタビライザ処理の研究もなされている。RingabyとForssen［８］は、携帯電話のカメラ映像を安定化するために、予めカメラの内部パラメータを校正した後、映像中の特徴点を抽出し、それを追跡した。カメラの運動を３次元回転モデルにより記述し、そのパラメータ推定には、再投影誤差の最小化を行うために非線形最適化を用いた。そして、推定したパラメータを平均化することによって安定化を行った。Grundmannら［２］は、画面をブロック分割して、ブロック毎に隣接する２画像間の２次元射影変換を計算して、それらの空間的な重み付け平均により動き歪みを補正したが、射影変換を計算するためには、やはり、映像中の特徴点を用いている。
【００６３】
松永［５］は、ＣＭＯＳセンサを用いたカメラにより撮影された映像における並進歪み変形と揺れの補正を同時に行うために、ローリングシャッターに起因する並進歪み変形を隣接する２画像間の２次元４パラメータアフィン変換により記述して、勾配拘束条件の最小二乗推定を反復することによって、その変換行列を最適に推定した。推定したアフィン変換行列を解析的に分解することにより並進パラメータを計算した。そして、移動カメラの場合に、推定した並進パラメータの時系列変化に対して、TomasiとManduchiによるバイラテラルフィルタ［９］を拡張した巡回型バイラテラルフィルタを発見的に導入した。巡回型バイラテラルフィルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正した。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現した。
【００６４】
本文書では、並進動きによる歪み補正および安定化処理を回転を含む一般の動き歪みの場合に拡張する。その概要は、次の３つの項目に纏められる。
１）回転を含む剛体歪み変換モデルを定式化する。これは、歪みのない画像と歪み画像間における歪み変換と、歪みのない画像間における動き変換の合成の１次近似によるものである。これによって、さらに高自由度な相似、アフィン、射影変換による動き歪み変換のモデル化も可能となる。
【００６５】
２）剛体歪み変換の補正パラメータの推定には、“Lucas-Kanadeアルゴリズム［４］”を効率的に計算する“逆結合Lucas-Kanadeアルゴリズム［１］”の更新量を１次近似する“近似逆結合Lucas-Kanadeアルゴリズム［７］”の適用が可能なことを示す。
【００６６】
３）隣接する剛体歪み２画像間における変換パラメータの推定結果による歪み補正処理と安定化処理を導出するとともに、剛体歪み画像列に対しても、移動カメラにおける安定化処理のために、推定した並進パラメータに対する時系列フィルタ処理として、レベル適応による“巡回型バイラテラルフィルタ［５，６］”が有効であることを示す。
【００６７】
本文書の構成は、２章で、ＣＭＯＳ動き歪みモデルとしてローリングシャッター機構による動き歪みのモデルについて説明する。３章で、ＣＭＯＳ動き歪みモデルとして、並進歪みモデルを記述して、その後、回転を含む剛体歪みモデルに拡張する。４章で、Lucas-Kanadeアルゴリズム、さらに、Lucas-Kanadeアルゴリズムを効率的に計算する逆結合Lucas-Kanadeアルゴリズムの更新量を１次近似する近似逆結合Lucas-Kanadeアルゴリズムによる剛体歪み変換のパラメータ推定について説明する。５章で、推定した剛体歪み変換パラメー夕による剛体歪み補正および揺れの安定化のための時系列処理について説明する。６章で人工画像および実画像列によるシミュレーション実験を行い、本文書の手法による結果を示して、７章で纏める。
【００６８】
（２．ＣＭＯＳ動き歪みモデル）
ＣＭＯＳセンサはＣＣＤセンサとは異なるシャッター機構を持つ。ＣＣＤセンサではすべての画素が同時に露光されるが、ＣＭＯＳセンサの場合、小型、低価格を達成するためにライン走査による順次露光を用いている。したがって、カメラの動きが走査時間に比較して非常に大きい場合、ＣＭＯＳセンサの最初と最後のラインの時間差のために、ＣＭＯＳカメラ映像はカメラの動きによって歪む。図３では、そのようなローリングシャッター機構において、走査時間の間にシーン中の物体が動くと、画像中では、どのように歪んで見えるのかを示している（物体とカメラの動きは相対的である）。
【００６９】
図３は、ＣＭＯＳカメラの順次露光による動き歪みを説明する図であり、上段が縦線が画像の右方向へ移動する場合（カメラが左を向く場合）とその結果の歪み画像を説明し、下段が円が画像の下方向へ移動する場合（カメラが上を向く場合）とその結果の歪み画像を説明する図である。
画像縦横サイズがＶ×ＨのＣＭＯＳカメラが動くと、撮影されたシーン中の物体の任意の点ｘが１フレーム期間中に画像の動きｕによって動くとする。その速度ｖは１フレーム時間Ｔｆで割ることによって得られる。
【００７０】
【数１８】
0006505501.tif 000019
時刻ｔ＝０で画面左上の画像原点から走査開始する画Ｉｎにおいて、任意の点
【００７１】
【数１９】
0006505501.tif 000020
が１フレーム期間にｕｎで動くとすると、画素位置
【００７２】
【数２０】
0006505501.tif 000021
までの経過時間は、
【００７３】
【数２１】
0006505501.tif 000022
であり、ＣＭＯＳ歪み位置
【００７４】
【数２２】
0006505501.tif 000023
は、歪みのない場合の位置ｘｎに動き歪みによる変動項を加えた次のようなＣＭＯＳ動き歪みモデルを満たす。
【００７５】
【数２３】
0006505501.tif 000024
【００７６】
【数２４】
0006505501.tif 000025
である。
【００７７】
（３．並進歪みから回転歪みへ）
（３．１並進歪みの場合）
１フレーム期間中の画像の動きを、並進動きと仮定すると、
【数２５】
0006505501.tif 000026
であり、これを式（３）に代入すると、
【数２６】
0006505501.tif 000027
したがって、
【数２７】
0006505501.tif 000028
の間の並進動きによる歪み変換は次のようになる（ここでは、点の位置ベクトルを同次形式としている）。
【数２８】
0006505501.tif 000029
したがって、並進歪みによる隣接する２画像
【数２９】
0006505501.tif 000030
の間の関係は次のようになる（図４参照）。ここで、図４は、ＣＭＯＳカメラの並進歪みを説明する図である。
【数３０】
0006505501.tif 000031
並進動きによる歪み変形を表す変換行列Ａｎは、２次元アフィン変換になるが、その自由度（未知パラメータの個数）は４である。松永［５］は、勾配拘束条件の最小二乗推定を反復することによって、並進動きによる歪み変形を表す４パラメータアフィン変換行列Ａｎを、最適に計算して、それを解析的に分解することにより並進パラメータ
【数３１】
0006505501.tif 000032
を求めた。
（３．２回転歪みの場合）
本書面では、回転運動を含む、より高自由度な動き歪みの場合に拡張する。純粋回転を仮定すると、
【数３２】
0006505501.tif 000033
である。ただし、回転行列Ｒにおける回転角θは小さいものとして１次近似した。並進動きによる歪み同様、これを式（３）に代入すると（ここでの回転を含む歪み変換の式の導出では、添字のｎを省略している）、
【数３３】
0006505501.tif 000034
式（１２）（１３）より、歪みのない場合の位置ｘ，ｙとＣＭＯＳ歪み位ｘｄ，ｙｄの関係は線形ではないことがわかる。しかし、式（１２）（１３）をｘ，ｙについて解くことはできて、
【数３４】
0006505501.tif 000035
である。ただし、式（１０）同様、θは小さいとして、その高次項を無視する近似を行った。
したがって、回転歪み画像を生成することは可能である。計算されるサブピクセル精度の画像位置における画素値は、ピクセル精度の近傍画素位置の画素値を用いて内挿補間生成すればよい［５］。注意すべきは、回転中心が左上画像原点になることである。図５に回転歪み画像例を示す。
図５は、シミュレーションにより生成したＣＭＯＳ回転歪み画像を説明する図であり、図５（ａ）がカメラ動きなし（基準画像）を示し、図５（ｂ）がカメラが３度回転（時計回りの回転）すると画像は左に変形する状態を示し、図５（ｃ）がカメラが−３度回転（反時計回りの回転）すると画像は右に変形する状態を示している。
並進成分を加えた剛体歪みの場合は、式（１０）に、
【数３５】
0006505501.tif 000036
を加えると、
【数３６】
0006505501.tif 000037
これらの事実から、パラメータ同士の積項を無視する１次近似によって、回転を含む動きにおいても、歪みのない画像と歪み画像の間の幾何学的な変換をパラメータに関して線形とすることができる。そこで、動きによる変換と歪み変形による変換に分けてモデル化して、それらを合成して、さらに１次近似する。
式（１６）（１７）の剛体歪み変換をパラメータ同士の積項を無視する１次近似をすると、次のようになる。
【数３７】
0006505501.tif 000038
そして、歪みのある隣接する２画像
【数３８】
0006505501.tif 000039
の間の動きを、仮想的な歪みのない隣接する２画像
【数３９】
0006505501.tif 000040
との間の歪み変形による変換と、歪みのない隣接する２画像間の動きによる変換に分離すると、次のようになる（図６参照）。ここで、図６は、ＣＭＯＳカメラの剛体歪みを説明する図である。
【数４０】
0006505501.tif 000041
式（２０）を式（２１）に代人して、パラメータ同士の積項を無視する１次近似を行う。
【数４１】
0006505501.tif 000042
さらに、式（２３）（２４）を式（２２）に代人して、パラメータ同士の積項を無視する１次近似を行う。
【数４２】
0006505501.tif 000043
ここで、
【数４３】
0006505501.tif 000044
このようにすると、回転を含む剛体歪みのみならず、より高自由度な相似、アフィン、射影変換による動き歪みについても同様にモデル化を行うことが可能となる（当然ではあるが、並進歪みも同様である。並進歪みにおける４パラメータアフィン変換行列Ａｎの各要素をパラメータ同士の積項を無視する１次近似すると、式（２５）（２６）においてｐ２ｎ＝ｑ２ｎ＝０としたものと一致する）。
（４．ＣＭＯＳ動き歪みの推定）
剛体歪み変換
【数４４】
0006505501.tif 000045
は、次のようになる。
【数４５】
0006505501.tif 000046
したがって、剛体歪み変換は
【数４６】
0006505501.tif 000047
の高次項を含む多項式変換である。剛体歪み変換パラメータ
【数４７】
0006505501.tif 000048
を“近似逆結合Lucas-Kanadeアルゴリズム［７］”により推定する。これは、Lucas-Kanadeアルゴリズム［４］を効率的に推定する逆結合Lucas-Kanadeアルゴリズム［１］における更新量を１次近似したものである［７］。Lucas-Kanadeアルゴリズムは画素を直接処理する領域ベースの手法であり、何らの画像特徴や対応付けを必要としない。松永［５］は、勾配拘束条件の最小二乗推定を反復的に解くことによって並進歪みによる４パラメータアフィン変換の最適化を行ったが、それは、Lucas-Kanadeアルゴリズムと等価である。
第ｎ＋１フレームの剛体歪み画像
【数４８】
0006505501.tif 000049
を第ｎフレームの剛体歪み画像
【数４９】
0006505501.tif 000050
に合わせる。
【数５０】
0006505501.tif 000051
だから、Lucas-Kanadeアルゴリズムにより、次の差分二乗総和を最小化するｐｎを推定する。
【数５１】
0006505501.tif 000052
式（２９）が、
【数５２】
0006505501.tif 000053
と摂動したとする。それをテイラー展開して１次近似したものを△ｐｎで微分して０と置く。△ｐｎについて解くと次のようになる。
【数５３】
0006505501.tif 000054
ここで、
【数５４】
0006505501.tif 000055
は第ｎ＋１フレーム画像
【数５５】
0006505501.tif 000056
での勾配である。
∂ｗ/∂ｐｎはヤコビ行列と呼ばれ、剛体歪み変換の場合には、次のようになる。
【数５６】
0006505501.tif 000057
したがって、ｐｎは適当な初期値から△ｐｎを反復的に解くことによって、求めることができる。これは、ヘッセ行列を計算するのに２階微分を行わずに近似する“ガウス・ニュートン法［３］”であるが、ヘッセ行列Ｈｎ＋１（の逆行列）は、反復毎に計算しなければならない。
そこで、第ｎフレーム画像と第ｎ＋１フレーム画像の役割を次のように交換する。
【数５７】
0006505501.tif 000058
となる。ヤコビ行列∂Ｗ/∂ｐｎは
【数５８】
0006505501.tif 000059
で評価する。これはパラメータによらず、予め計算しておくことができる。反復毎に第ｎ＋１フレーム画像Ｉｎ＋１を変換して、それから誤差画像
【数５９】
0006505501.tif 000060
と第ｎフレーム画像の最急降下画像
【数６０】
0006505501.tif 000061
の積和を計算する。そして、予め計算しておいた第ｎフレーム画像のヘッセ行列の逆行列
【数６１】
0006505501.tif 000062
を掛けたものを変化量とするが、その更新方法が異なる。変化量を加算により更新するのではなく、変化量による変換（の逆変換）を合成することにより更新する。
【数６２】
0006505501.tif 000063
これは、逆結合Lucas-Kanadeアルゴリズム（Inverse Compositional Algorithm）と呼ばれ、Lucas-Kanadeアルゴリズムの効率的な方法として提案されている［１］。
しかし、高次項を含む多項式変換である剛体歪み変換の逆変換を解析的に求めることはできない。そこで、逆変換を１次近似して、さらに、変換との合成結果を１次近似する。そのようにしても、通常は問題ないことが実験的に確認される［７］。すなわち、
【数６３】
0006505501.tif 000064
である。このような逆結合による更新を１次近似によって、逆方向の加算とすることでLucas-Kanadeアルゴリズムの効率化が図れることから、これを“近似逆結合Lucas-Kanadeアルゴリズム”と呼ぶ［７］。
（５．ＣＭＯＳ動き歪み補正と安定化処理）
（５．１固定カメラの場合）
隣接する２画像間の動きを推定して、歪みのない第１フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第ｎ＋１フレーム歪み画像
【数６４】
0006505501.tif 000065
を仮想的な歪みのない第ｎフレーム画像
【数６５】
0006505501.tif 000066
に位置合わせする（図６参照）。
【数６６】
0006505501.tif 000067
式（３８）を式（３９）に代人して、パラメータ同士の積項を無視する１次近似すると、
【数６７】
0006505501.tif 000068
である。ただし、α＝１のとき、
【数６８】
0006505501.tif 000069
であることを用いた（第１フレーム基準画像は歪みなしと仮定しているから）。
【数６９】
0006505501.tif 000070
についても、同様である。そして、歪みのない第１フレーム基準画像
【数７０】
0006505501.tif 000071
に位置合わせをするためには、
【数７１】
0006505501.tif 000072
である。したがって、動き歪み補正と安定化は、すべてのパラメータの推定結果の累積加算により行えばよい。
（５．２移動カメラの場合）
問題は、移動カメラの場合であり、映像に含まれる動きが不要な揺れなのか、有意なカメラの動きなのかを判別しなければならない。なぜなら、第１フレームを基準画像として固定すると、移動カメラの場合には、カメラが移動するに従って、補正ができなくなる。
松永［５］は、隣接する並進歪み２画像間の並進パラメータの推定結果に対して時系列フィルタ処理を行うことによって、移動カメラにおける安定化処理を行った。時系列フィルタには、信号のレベル差に応じた重み係数を導入した巡回型フィルタを用いた。低域通過フィルタとして巡回型フィルタを用いると、現在と過去のデータしか使わないので余分なフレーム遅延が発生せず、処理全体の遅延量の観点から優位であり、レベル適応により静止から移動、あるいは、移動から静止へのカメラの状態の遷移にも追従が可能となる。
これは、バイラテラルフィルタ［９］の巡回型フィルタへの拡張と見なすことができる（詳細は［５，６］参照）。松永は、これを“拡張バイラテラルフィルタ”と呼んで、画像ノイズ除去処理にも用いた［６］。
図７は、ＣＭＯＳカメラ映像の動き歪み補正および映像安定化処理のブロック図である（文献［５］では誤りがあったので修正している）。図７中、動き推定（Motion Estimaiton）により隣接する２画像
【数７２】
0006505501.tif 000073
の間の動き歪みパラメータを推定する。動き歪みパラメータの内の並進成分
【数７３】
0006505501.tif 000074
に対して、時系列フィルタ処理（ＬＰＦ）を行う。時系列フィルタ処理結果
【数７４】
0006505501.tif 000075
との差分
【数７５】
0006505501.tif 000076
を累積加算した並進成分
【数７６】
0006505501.tif 000077
によって、動き歪み補正と安定化処理（Motion Correction）を行う（その他の成分についても同様に累積加算したものを用いる）。Ｚ−１は１フレーム遅延を表す。
時系列フィルタ処理が完全であれば、固定カメラの場合の低域通過フィルタの出力は厳密に０となり（不要な揺れによる移動量が期待値０の正規分布に従うと仮定する）、フィルタ処理結果との差分は並進パラメータそのものになる。しかし、実際にはそうとは限らないので、現在のフレームと前フレームにおけるフィルタ出力結果の差分絶対値のしきい値処理によって、固定／移動カメラの判別を行う。固定カメラと判定された場合には、並進パラメータの累積加算値によって補正する。最終的な補正パラメータによるサブピクセル精度の画素座標における画素値は、近傍画素による内挿補間により計算する［５］。
（６．画像シミュレーション）
（６．１人工画像シミュレーション）
図８は、図５の格子画像を歪み変形させたシミュレーション画像において、カメラの動きなしの画像を基準画像として、回転歪み補正した結果である。図８（ａ）が、ＣＭＯＳ回転歪み補正画像のカメラ動きなしの場合（基準画像）を示し、（ｂ）（ｃ）が、図５のカメラの動きによる回転歪み画像（ｂ）（ｃ）の補正結果を示すものである。図８においては、画像境界は歪み変形の補正がわかりやすいように黒のままとしている。図８によれば、回転歪み変形が補正できているのがわかる。
（６．２実画像列シミュレーション（固定カメラの場合））
ディジタルカメラ（ニコンＤ４０）で撮影した３００８×２０００画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して、剛体歪み画像を生成する。水平および垂直方向にそれぞれ平均０、標準偏差１画素の正規乱数による並進パラメータ、平均０、標準偏差０．２度の正規乱数による回転パラメータを用いて剛体歪み画像列を生成する。生成した画像サイズは６４０×４８０画素である。これは、固定カメラによる定点監視映像と見なすことができる。
図９（ａ）はそのようにして生成した剛体歪み画像列の加算平均画像である（６０フレーム）。歪み変形と揺れにより輪郭が重なって見える。第１フレームを基準画像として、第２フレーム以降、順次隣接する２画像間の剛体歪みパラメータを推定した結果を用いて歪み補正および安定化処理を行った。図９（ｂ）は処理結果の画像列の加算平均画像である。処理前の加算平均画像に対して、安定化処理によって加算平均画像は明瞭に見
える。画像境界付近の黒は補正処理による見切れのためである。
図１０（ａ）〜（ｃ）は、剛体歪み画像列の生成に用いたフレームに対する並進および回転パラメータである。剛体歪みパラメータの推定結果（estimate （rigid））とともに、真の値（true）も表示している。並進に関しては、並進歪み補正モデルによる推定結果（estimate（trans））も表示している。剛体歪みパラメータの推定結果は、ほぼ真の値に一致しているが、並進歪み補正モデルによる推定結果は、モデル化誤差のため十分ではない。
第１フレーム基準画像と補正画像の間の二乗誤差画像のピークＳＮ比により定量的に評価する。ピークＳＮ比ＰＳＮＲは二乗誤差画像の平均輝度値（平均ノイズ電力）ＭＳＥおよび最大輝度値（最大信号電力）
【数７７】
0006505501.tif 000078
から
次のように求められる（実験では、Ｉｍａｘを８ビット最大画素値２５５とした）。
【数７８】
0006505501.tif 000079
補正画像の中央領域９０％におけるピークＳＮ比の平均値は、剛体歪み補正モデルの場合に６１．８５（±１．１８）［ｄＢ］であり、並進歪み補正モデルの場合に４６．３１（±１０．４９）［ｄＢ］であった（括弧内は標準偏差を表す）。図１０（ｄ）にフレームに対するピークＳＮ比の変化を示す。
（６．３実画像列シミュレーション（移動カメラの場合））
図１１は、ディジタルカメラ（キヤノンＩＸＹ ＤＩＧＩＴＡＬ５００（登録商標））で撮影した２５９２×１９４４画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して生成した剛体歪み画像列の一部である。水平および垂直方向の基準となる並進パラメータ
【数７９】
0006505501.tif 000080
に対して、それぞれ平均０、標準偏差１画素の正規乱数を加えた並進パラメータ、平均０、標準偏差０．２度の正規乱数による回転パラメータを用いて剛体歪み画像列を生成する。生成した画像サイズは７２０×４８６画素である。図中、画像は左から右の順に、カメラが左上方ヘパンアップしている等速直線運動する移動カメラによる映像と見なすことができる。同図上段は、そのようにして生成した原画像列であり、中段は、固定カメラとして補正した結果の画像列、下段は移動カメラとして補正した結果の画像列である。
固定カメラとして行った歪み補正および安定化処理の結果は、第１フレームを基準として安定しているが、入力が移動カメラによる画像列のため、基準フレームから大きく移動すると、次第に見切れる領域が大きくなって行く。一方、移動カメラとして行った歪み補正および安定化処理の結果は、カメラの移動に伴い、補正処理が追従しているのがわかる。ここでは、不要な揺れ成分を除去して、カメラの軌跡を滑らかにするために、隣接２画像間において推定した並進パラメータの時系列変化に対して１次バタワース巡回型バイラテラルフィルタ処理［５］を行い、その結果の並進パラメータを用いて各フレームを補正した。１次バタワース巡回型バイラテラルフィルタにおけるカットオフ周波数は水平および垂直方向いずれも０．０１Ｈｚ、
【数８０】
0006505501.tif 000081
をそれぞれ、１５，５とした。図１２は、隣接２画像間の並進パラメータの時系列変化のグラフである。上段が水平方向、下段が垂直方向である。１次バタワース巡回型バイラテラルフィルタにより揺れ成分である高周波成分が除去されて並進パラメータが滑らかになっているのがわかる。
さらに、並進パラメータを
【数８１】
0006505501.tif 000082
として、同様に正規乱数を加えて、引き続き剛体歪み画像列を生成する。すなわち、カメラが移動した後、静止して固定カメラになる場合である。図１２の３２フレーム目の移動カメラから固定カメラヘの変化点において、カットオフ周波数が０．７５Ｈｚの１次バタワース巡回型フィルタにより平滑化した並進パラメータは、平滑化作用による減衰のためカメラが静止したフレームを越えても、すぐには０にはならない。一方、１次バタワース巡回バイラテラルフィルタによる平滑化の結果は、移動カメラにおける揺れ成分を除去しつつ、変化点も保持しており、カメラが静止した後もほぼ０に近い平滑結果が得られている。
（まとめ）
本文書では、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行うために、ローリングシヤッターに起因する動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張した。近似逆結合Lucas-Kanadeアルゴリズムを用いて、何らの画像特徴や対応付けを用いることなく、画素を直接的に処理することにより推定を行った。
画像シミュレーション実験を行い、固定カメラ、移動カメラいずれの映像に含まれる剛体歪み変形を補正するとともに揺れを除去して安定化した。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型バイラテラルフイルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正した。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現した。
今後の課題としては、次のものが挙げられる。
・局所移動物体や輝度変動に対してロバストな推定補正の実現
・マルチコアＣＰＵ／ＧＰＵによる実時間処理の実現。
なお、図１３〜図３０には、本発明を説明するスライドを示した。
また、本文書中に［＊］（＊は数字）で示した参照先は、＊の数字に該当する下記論文を意味するものである。
［１］S. Baker and l. Matthews, Lucas-Kanade 20 years on: A unifying framework, International Journal of Computer Vision,56-3(2004),221-265.
［２］M. Grundmann, V. Kwatra, D. Caistro, and l. Essa,Calibration-free rolling shutter removal, Proceedings of IEEE Conference on Computational Photography(ICCP2012)，April, 2012.
［３］金谷健一，これなら分かる最適化数学−基礎原理から計算手法まで−」，共立出版, 2005年9月.
［４］B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision,Proceedings of the 1981 DARPA Image Understanding Workshop, April 1981, 121-130.
［５］松永力，対応点を用いないローリングシャッタ歪み補正と映像安定化，第19回画像センシングシンポジウム(SSII2013)講演論文集,横浜(パシフィコ横浜), 2013年6月.
［６］松永力，無限インパルス応答システムによる拡張バイラテラルフィルタ，第19回画像センシングシンポジウム(SSII2013)講演論文集，横浜(パシフィコ横浜), 2013年6月.
［７］松永力，画像からの倍率色収差の自動推定補正，第20回画像センシングシンポジウム(SSII2014)講演論文集，横浜(パシフィコ横浜), 2014年6月.
［８］E. Ringaby and P.-E. Forssen, Efficient video rectification and stabilisation for cell-phones,International Journal of Computer Vision, 96-3 (2012), 335-352.
［９］C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images,Proceedings of the Sixth IEEE International Conference on Computer Vision(ICCV'98), Bombay, India, January, 1998.
【産業上の利用可能性】
【００７８】
本発明は、映像処理全般、特に、映像監視やセキュリティに好適である。映像の動き情報を推定して、動き補正処理を行うビデオスタビライザ、フレームレー卜変換等の処理を遂行する場合の基礎とできる。
【図１】
0006505501.tif 000083
【図２】
0006505501.tif 000084
【図３】
0006505501.tif 000085
【図４】
0006505501.tif 000086
【図５】
0006505501.tif 000087
【図６】
0006505501.tif 000088
【図７】
0006505501.tif 000089
【図８】
0006505501.tif 000090
【図９】
0006505501.tif 000091
【図１０】
0006505501.tif 000092
【図１１】
0006505501.tif 000093
【図１２】
0006505501.tif 000094
【図１３】
0006505501.tif 000095
【図１４】
0006505501.tif 000096
【図１５】
0006505501.tif 000097
【図１６】
0006505501.tif 000098
【図１７】
0006505501.tif 000099
【図１８】
0006505501.tif 000100
【図１９】
0006505501.tif 000101
【図２０】
0006505501.tif 000102
【図２１】
0006505501.tif 000103
【図２２】
0006505501.tif 000104
【図２３】
0006505501.tif 000105
【図２４】
0006505501.tif 000106
【図２５】
0006505501.tif 000107
【図２６】
0006505501.tif 000108
【図２７】
0006505501.tif 000109
【図２８】
0006505501.tif 000110
【図２９】
0006505501.tif 000111
【図３０】
0006505501.tif 000112