(57)【要約】【課題】ブレ補正機能を備えていない固定カメラにおける映像ブレを補正する方法を提案する。【解決手段】カメラ映像からの現画像を記憶すると共に、１フレーム遅れの画像（前画像）を出力する手段と、現画像と前画像に設けた共通エリアの射影を計算して現画像の射影メモリと前画像の射影メモリに記憶する手段と、２組の射影メモリに格納してある射影を比較して画像のブレ量を検出する手段と、検出したブレ量に基づいて前画像を補正して、１フレーム遅れの補正画像を出力する手段とによって構成し、連続的にブレ量の検出と補正を行うようにした。【選択図】　　　　図１
2004015515.tif 000002
【特許請求の範囲】
【請求項１】
カメラ映像から入力した現画像をメモリに記憶すると共に、１フレーム遅れの画像（前画像）を出力する手段と、
画像に射影を計算するエリアを設け、前記現画像と前画像のエリア内の射影を計算し、それぞれの計算結果を現画像の射影メモリと前画像の射影メモリに記憶する手段と、
前記２組の射影メモリに格納してある射影を比較して、画像のブレ量を検出する手段と、
検出したブレ量に基づいて前画像を補正して、１フレーム遅れの補正画像を出力する手段と、
によって構成し、連続的にブレの検出と補正を繰り返して、映像によるブレ補正を行うようにしたことを特徴とする映像によるブレ補正方法。
【請求項２】
前記現画像の射影メモリをｄ（−ｈ〜ｈ、ｈはエリアの縦あるいは横成分より小さい任意の実数）ドットずらして読み出した射影と、前記前画像メモリからの射影とを比較して射影の非一致度を検出し、
前記射影の非一致度が最も小さくなったときのｄ値をブレ量として１フレーム間保持し、このｄ値を位置補正量として前画像を補正するようにしたことを特徴とする請求項１に記載の映像によるブレ補正方法。
【請求項３】
射影の計算に用いられるエリアにおいて、前記非一致度の最小値が明瞭に求められない場合には、画像に設定したエリアを計算に適切なエリアになるまで逐次切り替えて非一致度が最小となるときのｄ値を求め、このｄ値を位置補正量として前画像を補正するようにしたことを特徴とする請求項１に記載の映像によるブレ補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固定カメラにおける映像ブレを補正する方法に関する。
【０００２】
【従来の技術】
ハンディカム・カメラ等では、手持ち使用を考慮してブレ補正機能をカメラに内蔵しているが、カメラを固定した状態で使用する固定カメラは、ブレ補正機能を備えていない。
固定カメラであっても、設置環境によっては車両の通行による振動や、屋外撮影での風等の影響を受けてカメラブレが生じるが、問題視されていなかった。
最近に至って、より詳細な映像による情報が求められるようになり、拡大率の高いズームカメラが用いられる機会が増えてきた。
しかし、ズームカメラの映像はカメラブレの影響が大きくなるので、ブレを懸念してカメラの性能を活かしきれていないのが実情である。
【０００３】
【発明が解決しようとする課題】
上述した従来技術による撮影方法では、解決すべき多くの課題があった。
▲１▼映像自体によるブレ量の検出と補正
固定して使用することを前提とする固定カメラにはブレ補正機能はなく、また、ブレ情報も得られないので、映像自体によるブレ量の検出と補正が必要である。
▲２▼ブレ量検出の計算量の低減
従来の映像によるブレ補正は、映像全体の輪郭に着目して、変化する撮影対象を含む映像全体を処理するため計算量は膨大となる。そのため、装置としてもかなり大掛りなものとなるばかりでなく、計算量を減らす検出方法が必要である。
▲３▼適切な検出エリアの自動選択
上述したブレ量検出の計算量低減により、エリアによっては誤検出が生じる。この誤検出をなくすために、ブレ量の推定に適したエリアを自動的に選択する方法が必要である。
【０００４】
【課題を解決するための手段】
本発明は上述した従来技術による欠点を解消するためになされたものであって、
▲１▼映像自体によるブレ量の検出と補正手段としては、
ａ．ブレ量の検出：前画像（１フレーム遅れの補正画像）を基準にして、現画像とのブレ量（水平方向と垂直方向）を求め、前画像のブレ補正量とする。
ｂ．補正手段：検出したブレ補正量を、フレームメモリの読み出し開始アドレスに加算することで、ブレをキャンセルする。
ｃ．連続的な映像の補正：次のフレームでも同様なブレ量の検出と補正を行うことで、連続的な補正を実行する。
【０００５】
▲２▼ブレ量検出の計算量の低減手段としては、
ａ．ブレ量の検出：画像に射影を計算するエリアを設け、前画像と現画像のエリア内の射影を計算する。射影をＹ軸方向に計算した結果は水平方向のブレ量を、Ｘ軸方向に計算した結果は垂直方向のブレ量を検出するのに用いられる。
射影の計算範囲（エリア）をｉ×ｊ（０＜ｉ≦ｎ，０＜ｊ≦ｍ）とし、Ｙ軸方向の射影をＰＲＯＪＡ（ｉ）とすると、
【数１】
2004015515.tif 000003
となる。ここで、Ｘｉｊはエリア内の任意の座標（ｉ，ｊ）の輝度値。
Ｘ軸方向の射影についても同様にして次のように求まる。
【数２】
2004015515.tif 000004
次に、１フレーム前の射影ＰＲＯＪＡ（ｉ）と、現画像の射影をｄドットずらした射影ＰＲＯＪＢ（ｉ＋ｄｘ）との差Ｓｘ（ｄｘ）を求めると、
【数３】
2004015515.tif 000005
（−ｈ≦ｄ≦ｈ，ｈは｜ｈ｜＜ｎの実数）
Ｓ（ｄ）はＰＲＯＪＡ（ｉ）とＰＲＯＪＢ（ｉ＋ｄｘ）のＸ軸方向の非一致度を示すので、Ｓｘ（ｄｘ）の最小値Ｓｘ（ｄｘ）ｍｉｎをとるときのｄｘ値をＸ軸方向の位置ブレ量として検出する。
Ｙ軸方向の非一致度についても同様に
【数４】
2004015515.tif 000006
（−ｈ≦ｄ≦ｈ，ｈは｜ｈ｜＜ｍの実数）
として求まり、Ｙ軸方向の位置ブレ量ｄｙを検出する。
ｂ．補正手段：検出した補正量を、フレームメモリの読み出し開始アドレスに加算することで、ブレをキャンセルする。
ｃ．連続的な映像の補正：次のフレームでも同様なブレ量の検出と補正を行うことで、連続的な補正を実行する。
水平方向のブレを検出するための射影計算の一例を図２に示す。
【０００６】
▲３▼適切な検出エリアの自動選択について、
上述の計算量の低減によりエリアによってはＳ（ｄ）ｍｉｎが最小値として明瞭でない場合が生じ、ブレ量を誤検出する恐れがある。誤検出をなくすために適切な検出エリアを自動選択する。まず、Ｓ（ｄ）ｍｉｎとその両端のＳ（ｄ±１）の差を評価値とし、それが閾値以上になるエリアを良しと評価する。評価値が小さいときは誤検出の恐れが高いので、この場合の射影エリアは不適切として他のエリアに切り替え、評価値が閾値以上になる適切なエリアに当たるまで繰り返す。
【０００７】
【発明の実施の形態】
以下、本発明に係る映像によるブレ補正方法を、図面を参照しながら説明する。
図１は、ブレ量の検出と補正の流れを示す説明図である。
フレームメモリ１は、ブレのある入力画像（現画像）をカメラ映像として入力して記憶し、１フレーム遅れの前画像（位置ブレを補正した補正画像）を出力すると共に、以下に記載するブレ量の検出と補正を行う。
【０００８】
ａ．画像に射影を計算するためのエリアを設定し、現画像、前画像それぞれの射影を計算する。（射影計算Ｂ・３と射影計算Ａ・８）
計算された射影を射影メモリＢ・４と射影メモリＡ・７に格納する。
ｂ．射影メモリＢ・４の現画像の射影をｄドット（−１６〜１６）ずらして読み出し、射影メモリＡ・７の前画像の射影との差をＡＢ比較Ｓ（ｄ）・６において求め、Ｓ（ｄ）が最も小さいときのｄ値を位置ブレ量ｄとして得る。
ｃ．このｄ値を１フレーム間保持したものを位置補正量として前画像を補正し、１フレーム遅れの補正画像として出力する。
ｄ．上述したブレの検出と補正を繰り返し、補正された画像を表示させる。
ｅ．ブレ量の検出と補正は水平方向と垂直方向に分けて行う。
【０００９】
ｄドットずらした現画像の射影と前画像の射影とを比較して求めたブレ量Ｓ（ｄ）は、次式によって表わせる。
【数５】
2004015515.tif 000007
ここに、−ｈ≦ｄ≦ｈ、ｈは｜ｈ｜＜ｎの実数
射影ＡとＢはベクトルであって、射影Ａベクトルと射影Ｂベクトルをｄ（−ｈ≦ｄ≦ｈ）ずらしたベクトル間の距離Ｓ（ｄ）を計算している。この距離が最も小さいときＳ（ｄ）ｍｉｎのｄがブレの推定値である。
あるフレームでのＳ（ｄ）をバーグラフで表示すると図３のようになり、そのフレームでのＳ（ｄ）ｍｉｎが求められる。
【００１０】
誤検出をなくすためには、Ｓ（ｄ）ｍｉｎが明瞭に他と区別できる最小値であることが必要であって、Ｓ（ｄ）のグラフの先鋭度が優れていればよい。
実際には、Ｓ（ｄ）ｍｉｎとその両隣のＳ（ｄ±１）の差を評価値とし、それが閾値以上になるエリアを良しと評価する。
図４は評価良の例を、図５は評価悪の例を示す。
評価値が小さいときは誤検出の恐れが高いので、この場合の射影計算エリアは不適切として他のエリアへ切り替え、評価値が閾値以上になる適切なエリアにあたるまで繰り返す。
【００１１】
【発明の効果】
以上説明したように、本発明に係る映像によるブレ補正方法では、
▲１▼映像自体によるブレ量の検出と補正を行えるので、補正機能がないカメラでもカメラブレを低減できる。
▲２▼あるエリア（ｍ×ｎ）の画像を比較する場合、一般には（ｍ×ｎ）オーダの処理量を要するが、本発明は射影計算の結果を比較するので処理量は（ｎ＋ｍ）オーダに低減される。従って、リアルタイムに、かつ比較的安価に処理ができる。
▲３▼フレームメモリの前後でブレを検出することにより、画像ブレを連続的に検出・補正できる。
▲４▼適切な射影エリアの自動選択により、正しくブレの検出・補正が行われる。
▲５▼高倍率のズーム時には大きなブレが生じるが、ズーム時でもブレのない画像が得られるので、ズームレンズの性能を活かした見やすい画像が得られる。
▲６▼映像をセンサーとする動き検出においては、映像のブレは画面全体を動く物体と認識する誤検出を招く恐れがあるが、センサー画像としてブレ補正画像を用いると、誤検出を低減できる。
▲７▼映像を動画像のまま記録または伝送するニーズが高まっているが、動画像圧縮手段は前後の画像の変化が小さいことを前提して成立している。
カメラのブレはこの条件を悪化させ、圧縮率の低下を招くことがあるので、動画像圧縮の前段にブレ補正手段を入れることによりファイル・サイズを縮小できる。
【図面の簡単な説明】
【図１】ブレ量の検出と補正の流れを示す説明図。
【図２】水平方向のブレ検出のための射影計算方法の説明図。
【図３】Ｓ（ｄ）のバーグラフ表示図。
【図４】射影計算エリアの評価（評価良）。
【図５】射影計算エリアの評価（評価悪）。
【符号の説明】
１　フレームメモリ
２　ブレ量検出
３　射影計算Ｂ
４　射影メモリＢ
６　ＡＢ比較Ｓ（ｄ）
７　射影メモリＡ
８　射影計算Ａ
９　位置ブレ量保持
【図１】
2004015515.tif 000008
【図２】
2004015515.tif 000009
【図３】
2004015515.tif 000010
【図４】
2004015515.tif 000011
【図５】
2004015515.tif 000012