(57)【要約】【課題】  複数の画像フレーム間で明るさ変動があった場合でも、明るさ変動の影響を減らしノイズ改善効果がある合成画像を生成する画像処理装置を提供することを目的とする。【解決手段】  基準フレーム画像と複数の他フレーム画像を撮像する撮像手段と、前記基準フレーム画像に対する前記複数の他フレーム画像の信号の変化量を求める変化量算出手段と、前記基準フレーム画像と前記他フレーム画像を比較して背景領域を抽出する抽出手段と、前記複数の他フレーム画像の、前記基準となるフレーム画像に対する信号の変化量に基づいて、前記複数の他フレーム画像の合成比率を算出する比率算出手段と、前記比率算出手段で算出された合成比率で対象の２画像を合成する合成手段とを有し、前記比率算出手段は、前記変化量がより小さい他フレーム画像により大きい重みを付けて合成比率を算出することを特徴とする。【選択図】  図１
2019101997.tif 000002
【特許請求の範囲】
【請求項１】
基準フレーム画像と複数の他フレーム画像を取得する取得手段と、
前記基準フレーム画像に対する前記複数の他フレーム画像の信号の変化量を求める変化量算出手段と、
前記基準フレーム画像と前記他フレーム画像を比較して背景領域を抽出する抽出手段と、
前記複数の他フレーム画像の、前記基準となるフレーム画像に対する信号の変化量に基づいて、前記複数の他フレーム画像の合成比率を算出する比率算出手段と、
前記比率算出手段で算出された合成比率で対象の２画像を合成する合成手段とを有し、
前記比率算出手段は、前記変化量がより小さい他フレーム画像により大きい重みを付けて合成比率を算出することを特徴とする画像処理装置。
【請求項２】
前記変化量算出手段は、前記基準フレーム画像と前記他フレームとの輝度値の差分情報を用いて算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記比率算出手段は、前記背景領域の信頼度が高いほど、前記他のフレーム画像の合成比率を高くすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記背景領域の信頼度は、背景と検出される領域の面積が大きいほど高いことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記背景領域の信頼度は、画像を示す画像信号の標準偏差によって求められる被写体のテクスチャ量が多いほど高いことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
抽出手段は、前記基準フレーム画像と、前記他フレーム画像の間で被写体の動き量が小さい領域を抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記抽出手段は係数算出手段と処理手段を有し、
前記係数算出手段は、前記他フレーム画像を前記基準フレーム画像の位置に基づいて補正するための幾何変換係数を算出し、
前記処理手段は、前記幾何変換係数を用いて、前記他フレーム画像に幾何変形処理を行い、前記基準フレーム画像と前記幾何変形処理を行った後の前記他フレーム画像の間で被写体の動き量が小さい領域を前記背景領域として抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記抽出手段は係数算出手段を有し、
前記係数算出手段は、前記他フレーム画像を前記基準フレーム画像の位置に補正するための幾何変換係数を算出し、
前記幾何変換係数と相関が高い前記基準フレーム画像と、前記他フレーム画像の間の被写体の動き量を持つ領域を前記背景領域として抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
基準フレーム画像と複数の他フレーム画像を取得する取得ステップと、
前記基準フレーム画像に対する前記複数の他フレーム画像の信号の変化量を求める変化量算出ステップと、
前記基準フレーム画像と前記他フレーム画像を比較して背景領域を抽出する抽出ステップと、
前記複数の他フレーム画像の、前記基準となるフレーム画像に対する信号の変化量に基づいて、前記複数の他フレーム画像の合成比率を算出する比率算出ステップと、
前記比率算出ステップにて算出された合成比率で対象の２画像を合成する合成ステップとを有し、
前記比率算出ステップでは、前記変化量がより小さい他フレーム画像により大きい重みを付けて合成比率を算出することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータに、請求項９に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像画像を合成しノイズを低減する複数枚合成技術に関する。
【背景技術】
【０００２】
従来から静止画像の画像処理技術として連続撮影した画像に対して画像合成を行うことでノイズ低減効果を得る技術が知られている（以後マルチショットＮＲと呼ぶ）。マルチショットＮＲ技術は、現在では静止画撮影においてだけではなく、動画撮影に対しても処理を行われ始めている。
【０００３】
マルチショットＮＲを動画で実現する方法としては、動画を連続する静止画フレームとして扱い、動画の所定再生位置から数フレームを複数の静止画のフレームとして切り出すことを行う。次に切り出した静止画フレームの画像合成を行うことでノイズ低減を行った合成静止画フレームを生成することができる。この時、動いている被写体を合成すると被写体が多重像になってしまい、ノイズ改善の弊害として見栄えが悪い画像になってしまう。
【０００４】
これに対して特許文献１は、第１画像と第２画像との差分情報に基づいて動体尤度を検出し、動体尤度が高い領域は第２画像を合成しないように合成比率を制御して合成するため、動いている被写体に対して多重像になることを防ぐことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１０２５５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら動画から切り出した静止画フレームでは、シーンの明るさに変動があった場合に、ＡＥ（自動明るさ調整）が露出制御に反映されるまでの制御が静止画撮影に比べ遅く、数フレーム後に適正なＡＥになるように制御する場合がある。その影響で、動いていない被写体領域に対しても明るさが異なり、複数フレームの間で第１画像と第２画像の差分が大きくなってしまい、動体尤度が高く検出され合成されなくなってしまう。従って、明るさの変化が検出される領域はノイズ改善効果が小さい合成画像が生成されてしまう。
【０００７】
上記課題に鑑み、本発明の目的は動画のように複数の画像フレーム間で明るさ変動があった場合でも、明るさ変動の影響を減らしノイズ改善効果がある合成画像を生成する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、基準フレーム画像と複数の他フレーム画像を取得する取得手段と、前記基準フレーム画像に対する前記複数の他フレーム画像の信号の変化量を求める変化量算出手段と、前記基準フレーム画像と前記他フレーム画像を比較して背景領域を抽出する抽出手段と、前記複数の他フレーム画像の、前記基準となるフレーム画像に対する信号の変化量に基づいて、前記複数の他フレーム画像の合成比率を算出する比率算出手段と、前記比率算出手段で算出された合成比率で対象の２画像を合成する合成手段とを有し、前記比率算出手段は、前記変化量がより小さい他フレーム画像により大きい重みを付けて合成比率を算出することを特徴とする。
【０００９】
また、本発明の画像処理方法は、基準フレーム画像と複数の他フレーム画像を取得する取得ステップと、前記基準フレーム画像に対する前記複数の他フレーム画像の信号の変化量を求める変化量算出ステップと、前記基準フレーム画像と前記他フレーム画像を比較して背景領域を抽出する抽出ステップと、前記複数の他フレーム画像の、前記基準となるフレーム画像に対する信号の変化量に基づいて、前記複数の他フレーム画像の合成比率を算出する比率算出ステップと、前記比率算出ステップにて算出された合成比率で対象の２画像を合成する合成ステップとを有し、前記比率算出ステップでは、前記変化量がより小さい他フレーム画像により大きい重みを付けて合成比率を算出することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、明るさ変動の影響を低減してノイズ改善効果がある合成画像を生成することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の画像処理技術を実現する撮像装置の構成例を示すブロック図
【図２】本実施例１における処理フローチャート図
【図３】ＡＥ処理と実際の撮像で設定する露出の差を説明する図
【図４】被写体の明るさ変化を説明する図
【図５】背景被写体領域の検出方法を説明する図
【図６】ベクトル検出方法を説明する図
【図７】位置合わせの特徴点を説明する図
【図８】本実施例２における処理フローチャート図
【図９】明るさ変化量に基づく合成比率変換の説明図
【図１０】位置合わせの対象画像を説明する図
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
【実施例１】
【００１３】
図１は、本発明の画像処理技術を適用可能な画像処理装置を含む撮像装置の構成例を示すブロック図である。以下では画像処理装置、撮像装置の一例として、デジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう画像処理装置は、撮像画像を取得可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
【００１４】
システム制御部１０１は、例えばＣＰＵであり、撮像装置であるカメラ１００が備える各ブロックの動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することによりカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、カメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、カメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１５】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成される。光学系１０４を介して取得された被写体像は、撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、前記光学系により前記撮像部に結像された光学像を光電変換し、得られた一対のアナログ画像信号を順次Ａ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。
【００１６】
画像処理部１０７は、ＲＡＭ１０３に記録された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、電子ズーム処理など、様々な画像処理を適用する。
【００１７】
表示部１０８は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記録した画像処理部による画像処理後の画像及び後述の記録部１０９に記録した画像やユーザからの指示を受け付けるための操作ユーザーインターフェイスを表示する。記録部１０９は、メモリーカードやハードディスク等の記録媒体であり、本実施例の画像処理を行った最終的な出力画像データを格納する。
【００１８】
以上、撮像装置（以下カメラとする）１００の構成と、基本動作について説明した。
【００１９】
以下、本実施例の特徴である、画像処理部１０７の動作について図２に記載のフローチャートを用いて説明を行う。以下の処理はＲＯＭ１０２に記録されたプログラムに従って、制御部１０１が装置の各部を制御し、画像処理部１０７への入力や出力を制御することにより実現される。
【００２０】
図２のステップＳ２０１では、撮影動作を行うためＩＳＯ感度、シャッタースピード、絞りなどの露出等のカメラ設定を行い、画像を取得する。
【００２１】
尚本実施例ではカメラ１００を三脚等に固定して撮影することで、手ぶれ等の影響による２枚の画像間で位置ずれは生じておらず無視できるものとする。このとき、撮像部１０５で本撮影前に撮像した動画像のフレームを用いて、画像処理部１０７ではＡＥ（自動露出）処理を行う。ＡＥ処理では、撮影するシーンが適正な明るさで画像信号が取得できるように絞り、感度、シャッタースピードの露出パラメータを設定するための適正露出を算出する。ただし動画のＡＥ処理では静止画のＡＥ処理と異なり、動画像の前後フレーム間で明るさの変化が大きく変更しないように所定フレーム後に適正な露出に合うように撮像時の露出設定の制御を行う。
【００２２】
図２のステップＳ２０２は、動画像のフレームから基準位置を決定する。この基準位置の動画像フレームは最終出力の合成画像で画角の基準となり、ユーザからのフレームの指定を受け付けつけて決定する。
【００２３】
以上ステップＳ２０１〜Ｓ２０２までの各処理について図３と図４を用いて詳しく説明する。
【００２４】
図４は、天候が晴れから曇りに変わりシーンの明るさが変化した時のある所定間隔（例えば１００フレーム毎）で動画像フレームから取り出した３フレームを表わしている。晴れの状態の動画像フレーム４０１から、雲が広がっている４０２、そして完全に曇りとなる４０３の動画像フレーム間で被写体の明るさが変化している。そのため、４０１〜４０３それぞれの動画像フレームの明るさを適正に調整するためのＡＥ処理を行い、絞り、感度、シャッタースピードの露出パラメータを算出する。正確に被写体の明るさを表わす指標はＢＶ値と呼ばれ、ＢＶ＝ＥＶ（絞り値＋シャッタースピード値）＋ＳＶ（感度値）で表せられる。本実施例では撮影感度を一定で撮影したとして説明する。従って実施例ではＥＶ値で被写体の明るさを表現する。ここで、動画像フレームに対してカメラ１００で制御されたＥＶ値と目標となるＥＶ値の変化を図３で表す。
【００２５】
図３のグラフは横軸に時系列で撮像された画像フレーム、縦軸はＥＶ値を表わす。ＥＶ値とは、レンズの絞り値とシャッタースピードの組み合わせで得られる光の量を表わしている。ＥＶ目標値（３０１、３０２、３０３の点線）は実際のシーンを撮影する時の適正な明るさに相当し、制御ＥＶ値（３１１、３１２、３１３の実線）はカメラ１００で撮像した動画像フレームの信号値の明るさを表わしている。区間３４１は図４の４０１、区間３４２は図４の４０２、区間３４３は図４の４０３のシーンに対応する動画像フレームとなっている。このときシーンの明るさが変わらない区間３４１、３４３は、ＥＶ目標値と制御ＥＶ値の差が無い（図の表示上実線と点線を離しているが実際は重なっている）ため、適正な明るさで動画像データが撮像されている。しかし、区間３４２では、ＥＶ目標値と制御ＥＶ値の間に差３３１が発生しており、この区間３４２では適正よりも動画像データは暗く撮像されている。このときユーザが選択した合成の基準となる動画像のフレームは、基準を基準位置３５１とすると、基準フレーム画像３５１を含み、その後方の所定数のフレームを合成対象の動画像のフレーム（以下、他フレーム画像と呼ぶ）とする。
【００２６】
図２のフローチャートの説明に戻る。
【００２７】
図２のステップＳ２０３では、他フレーム画像に対して背景領域を検出する。本実施形でいう背景領域とは、基準フレーム画像と、他フレーム画像の画像間で被写体の動きが小さい領域を示す。具体的には、背景領域抽出処理として、基準フレーム画像に対する他フレーム画像の動き量としてベクトルを検出し、ベクトル動き方向や、ベクトル動きの大きさを元に動体（背景ではない領域）と非動体領域（背景領域）を判定する。図５を用いて背景領域について説明する。
【００２８】
図５はある被写体シーンに対する背景領域として検出した領域を示した図である。図５（ａ）は背景領域が広い場合を表わしている。そして、図５（ａ）の背景領域５３１は、基準フレーム画像５０１と、他フレーム画像の内の１フレームを表わす５０２のフレームから検出された背景領域である。一方、図５（ｂ）は背景領域が狭い場合を表わしている。そして、図５（ｂ）の背景領域５３３は、基準フレーム画像５０３と、他フレーム画像の内の１フレーム５０４のフレームから検出された背景領域である。背景領域の判定は、フレーム間の被写体の動きベクトルを検出し、ベクトルの大きさが小さい領域を背景領域とする。ベクトルを用いて領域を決定する方法については、上記の方法以外にも既存のベクトルのクラスタリングアルゴリズムを適用することが可能である。
【００２９】
動き領域５３２は、例えば動きベクトル５２２のようなベクトルが大きく、周囲のベクトルと大きさ、向きが近い領域をひとつの動体領域とする（設計上の所定値と閾値判定によって判断する）。逆に５２１のような静止していて動きがない領域に関しては、ベクトルが０付近の値となり動き領域とは異なると判断する。ベクトル検出方法にテンプレートマッチング法を用いて算出する。テンプレートマッチング法では、基準フレーム画像と他フレーム画像間の所定領域内の相対的な差を元にベクトルを求めるため、被写体の輝度変化にもロバスト性を持たせることができる。テンプレートマッチング法を用いたベクトル検出について以下図６で詳しく説明を行う。
【００３０】
図６（ａ）は、ベクトル探索を行うためのテンプレート位置を示した図である。例えば、図６（ａ）の６２０は、等間隔に配置した複数のテンプレート画像群を表している。説明のためにそのうちの一つのテンプレート画像を６２１として説明する。
【００３１】
図６（ｂ）は、ベクトル探索の位置や範囲の設定を説明する図で、基準画像６００（基準フレーム画像に相当）とベクトル検出画像６０１の画像である（他フレーム画像に相当）。ベクトル検出画像から決定したテンプレート６２１の領域と位置を起点にして、基準画像ではテンプレート６２２の位置をベクトル探索開始位置とする。そして、その周囲の斜線領域をベクトル探索範囲６４１として、テンプレート６２１と比較を行い相関が高い位置と、テンプレート６２１との位置ズレを動きベクトルとして検出する。この操作を、テンプレート画像群６２０すべての領域で行い、テンプレートの数分のベクトルを検出する。このとき、例えばテンプレート画像群のそれぞれのテンプレート画像のコントラストを判定し、コントラストが低いテンプレート画像に関してはテンプレートマッチングを行わなくてもよい。
【００３２】
図２のフローチャートの説明に戻る。
【００３３】
図２のステップＳ２０４では、基準フレーム画像と、合成対象となる他フレーム画像の画像上の領域を分割し、分割した所定領域毎の明るさ変化を検出する変化量算出処理を行う。明るさ変化の検出方法としては、基準フレーム画像と、他フレーム画像それぞれで分割した領域毎に輝度積分を行い、２つのフレーム間での輝度値を積分した輝度積分値の差を評価値として算出する。２フレーム間の明るさの比較方法は上記によらず、２フレームの画像データを比較し、評価値を取得する演算として輝度値の平均値の比較など他の方法を用いてもよい。
【００３４】
図２のステップＳ２０５では、評価値として得られる明るさ変化量を元に合成比率を算出する合成比率算出処理を行う。例えば図９（ａ）のグラフを用いて明るさ変化量から合成比率を算出する。図９（ａ）のグラフで横軸は明るさ変化量を、縦軸は合成比率を表わしたものである。他フレーム画像の基準フレーム画像との合成比率は明るさの変化量に応じた９０２のカーブで制御する。明るさの変化量が大きいほど、他フレーム画像の基準フレーム画像との合成比率を小さく制御する。また明るさ変化量が小さいときは、他フレーム画像の基準フレーム画像との合成比率を大きくなるように制御する。
【００３５】
続いて、図２のステップＳ２０６では、合成する領域が背景かどうかを確認する。合成する領域が背景と判定された場合には図２のステップＳ２０７へ移行する。
【００３６】
逆に、合成する領域が背景ではないと判定された場合には、図９（ａ）のグラフの基に決定された明るさの変化量に応じた合成比率を他フレーム画像の対象領域の合成比率として決定し、ステップＳ２０８へ移行する。
【００３７】
図２のステップＳ２０７では、ステップ２０５で求めた明るさ変化量を元にした合成比率に対して、さらに他フレーム画像の基準フレーム画像との合成比率を高く制御する処理を行う。具体的には、図９（ｂ）を用いて説明する。
【００３８】
図９（ｂ）では、明るさ変化量に応じた合成比率に対して、さらに背景の判定結果に応じて更に合成比率を制御する。明るさ変化量が大きくても、その領域が背景であれば合成することで合成画像が多重にならず更にノイズ低減効果を見込めるためである。したがって、背景領域と判定された場合には、他フレーム画像の基準フレーム画像との合成比率を上げるため９１３の合成比率になるように制御する。９１２は背景領域以外の領域の基準フレーム画像との合成比率を示している。
【００３９】
図２のステップ２０８では、ステップＳ２０５、ステップＳ２０７で決定した合成比率を用いて基準フレーム画像と他フレーム画像の加算平均合成を行いノイズ低減を実現する。
【００４０】
具体的に、巡回的に２枚の動画像フレームの合成を繰り返し、最終的に複数の動画像フレームの加算平均合成を行う一般的な方法を説明する。
【００４１】
基準フレーム画像の他に、他フレーム画像３枚を合成する場合には、基準フレーム画像１枚に対し、１回目の合成では基準フレーム画像と１枚目の他フレーム画像を上限１／２の比率で合成し合成画像を生成する。２回目の巡回合成では、１回目の合成画像と２枚目の他フレーム画像を上限１／３の比率で合成することで実現できる。同様にして３回目の巡回合成では、３枚目の他フレーム画像を上限１／４の割合で合成することで基準フレーム画像を含む４枚の動画像フレームを均等の割合で合成した加算平均合成を巡回的な処理で行うことが可能である。上記で説明した加算平均合成処理を式で書くと以下になる。
【００４２】
【数１】
2019101997.tif 000003
【００４３】
ここでｉｍｇ０は基準フレーム画像の信号値、ｉｍｇｎ≠０は合成範囲の動画像フレームの信号値を表し、ｎは合成回数に該当する。
【００４４】
更に今回は、ステップＳ２０５、ステップＳ２０７で決定した合成比率を加味した加算平均合成を行うため以下の式で合成処理を行う。
【００４５】
【数２】
2019101997.tif 000004
【００４６】
ｒａｔｉｏは、ステップＳ２０５、ステップＳ２０７で決定した他フレーム画像の基準フレーム画像との合成比率を表わす。式（１）に対して、他フレーム画像の基準フレーム画像との合成比率（ｒａｔｉｏ）を加えた合成処理を行うことでステップＳ２０８の合成は実現する。
【００４７】
以上で、図２のフローチャートの処理の説明を終了する。
【００４８】
図２のフローチャートの処理を行うことで、複数の画像フレーム間で明るさが変動した場合でも基準フレーム画像と他フレーム画像の間の動き被写体成分を排除し、ノイズ改善効果をもつ合成画像を出力する画像処理装置を提供することができる。
【００４９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５０】
本実施例中では、背景領域か否かに応じて合成比率を制御する方法を説明したが、背景判定に行う際の信頼度を元に合成比率を更に細かく制御することが可能である。具体的には、図２のステップＳ２０７の処理で、図９（ｃ）のグラフで示す合成比率の制御を行う。
【００５１】
図９（ｃ）の９２４は、背景領域の信頼度が高い場合の他フレーム画像の基準フレーム画像との合成比率である。９２３は、背景領域の信頼度が低い場合の他フレーム画像の基準フレーム画像との合成比率を示す。９２２は背景領域以外の他フレーム画像の基準フレーム画像との合成比率を示す。背景領域の信頼度は、検出した背景領域の面積の大きさに応じて決定する方法（図５（ａ）と図５（ｂ）で信頼度を変える）や、ベクトルを検出する時のテンプレート領域（図６の６２１の領域）のテクスチャ量（標準偏差）を元に算出することができる。このように、背景領域の信頼度を算出し、他フレーム画像の合成比率を細かく制御することで、背景領域の誤検出の影響を考慮した合成比率を算出することができる。
【実施例２】
【００５２】
以下、実施例２では、三脚固定で撮影された動画像フレームではなく、手持ちで撮影された動画像フレームに対して適用した例について説明する。
【００５３】
本発明の実施形態に係るデジタルカメラであるカメラ１００の機能構成は実施例１と同じであるため説明を省略する（図１）。
【００５４】
本実施例の特徴である、画像処理部１０７の動作について図２に記載のフローチャートを用いて説明を行う。以下の処理はＲＯＭ１０２に記録されたプログラムに従って、制御部１０１が装置の各部を制御し、画像処理部１０７への入力や出力を制御することにより実現される。図８のフローチャートを用いて実施例２の全体処理を説明する。尚、実施例２の全体処理の図８のフローチャートは、実施例１の図２のフローチャートと同じ処理を行うステップは、図２のフローチャートと同記号を用いて説明を省略する。実施例１と異なる処理ステップはステップＳ８０１の処理であるため、ステップＳ８０１以降の処理を説明する。
【００５５】
図８のステップＳ８０１は、ステップＳ２０２で求めた基準位置を決定した動画像フレームと、合成対象の動画像フレームの背景被写体の位置を合わせる処理を行う。基準位置の動画像フレームと合成対象の動画像フレームの対応位置を動きベクトルを算出し、ベクトルを元に幾何変形を行い、合成対象の動画像フレームの位置を基準位置の動画像フレームに合わせる処理を行う。位置合わせに関しては図７、１０を用いて詳細に説明を行う。
【００５６】
位置合わせ処理を行うためには、画像間の変形量を補正する位置合わせ係数を算出する。まず図１０を用いて位置合わせ処理について説明する。図１０の画像１００１と１００２は、それぞれ位置合わせ基準の画像（１００１）と、位置合わせ補正対象の画像（１００２）である。位置合わせ補正処理は、並進成分に加え手振れが発生することで回転や煽りの成分が発生し、その結果、画像１００２の様に画像が回転や煽りの影響を受けた画像が取得される。このような場合に並進成分や回転成分、あおり成分を幾何変形処理によって補正するための係数として幾何変換係数算出を行う。この幾何変形処理を行う幾何変換係数を位置合わせ係数と呼ぶ。例えば、画像１００２を模式的に表した図が１００３であり、本来補正すべき画像１００１の位置を１００４で示している。この時１００３から１００４に幾何変形処理を行う際に用いる位置合わせ係数が１０１１である。１００５の位置合わせ係数Ａは一般的に式（２）で表され、画像の座標をＩ（ｘ座標，ｙ座標）とすると式（３）の幾何変形処理を行うことで、１００３から１００４の位置合わせを実行することができる係数となっている。
【００５７】
【数３】
2019101997.tif 000005
【００５８】
【数４】
2019101997.tif 000006
【００５９】
位置合わせ係数を算出するために、それぞれ位置合わせ基準の画像（１００１）と、位置合わせ補正対象の画像（１００２）の２画像間で画像セットを設定する。画像セットは、例えば補正対象画像よりも撮影時間が１フレーム前の画像を位置合わせの基準とする画像とし、もう一枚を補正対象画像とする。
【００６０】
そして、画像セット間で画像の領域毎に特徴点（もしくは特徴領域）の移動方向・移動量を特徴量としてベクトルを算出する。そして、算出したベクトルを基に画像セット間の位置関係（並進・回転・縮小・拡大）を表す幾何変換係数を位置合わせ係数として求める。
【００６１】
図７（ａ）の７０１は画像全体を表し、７１１は画像全体に均等に設定した特徴点（または特徴領域）を表す。特徴点としては、単純に画像領域で等間隔位置のブロックを取り出しても良いが、エッジ部分や高周波から低周波の周波数成分を多く含むテクスチャを選択した方が画像セット間のベクトルを正確に求めることができる。
【００６２】
図７（ｂ）の７０２は、位置合わせ対象画像であり、７０３は、画像セット間で位置合わせの基準とする画像を表す。画像７０２と画像７０３に対して、対応する特徴点の位置を計算し、対応する特徴点の方向と移動量を算出する。例えば、７２１〜７２３、７３１〜７３３は、方向と移動量を表す特徴量としてベクトルを矢印で図示したものである。同様にして、残りの特徴点に対してもベクトルを算出する。
【００６３】
一般的に画像間の特徴点の対応関係を求める方法として、ブロックマッチング手法が用いられている。このブロックマッチング手法は、撮影した等倍の画像だけで無く、段階的に縮小した画像に対してブロックマッチングを行うことで、階層ベクトル検出を行うことも可能である。階層的にベクトル検出を行うことで、探索範囲を広くしてもベクトル検出に掛かる処理時間の増加を抑えることが可能となる。
【００６４】
続いて求めたベクトル群を用いて、幾何変換係数を求める。例えばベクトルＸ１は、基準画像の特徴点の座標Ｘ’＝（ｘ’１，ｙ’１，１）と位置合わせ対象画像の特徴点の座標Ｘ＝（ｘ１，ｙ１，１）の３次元の座標系を含む情報を持っている。従って、式（４）のように、位置合わせ対象画像の特徴点の座標Ｘに所定の変換係数Ａを掛けることで求めた座標Ｘ’と、基準画像の特徴点の座標と差分が最も小さくなる変換係数Ａを求める。
【００６５】
【数５】
2019101997.tif 000007
【００６６】
この変換係数Ａを求める手法としては、ニュートン法やガウスニュートン法等、公知の最適化手法を用いて求める。求められた変換係数Ａを位置合わせ係数として採用する。
【００６７】
図８のフローチャートに戻って説明を行う。
【００６８】
図８のステップＳ２０３では、基準フレーム画像とステップＳ８０１で位置合わせを行った合成対象の動画像フレームの画像を用いて実施例１のステップＳ２０３の処理を行い背景領域の検出を行う。背景領域の検出は、基準フレーム画像に対して手ぶれを補正するための幾何変換を行った後の他フレーム画像を用いるため、背景領域は、動きベクトルはほぼゼロとなり、図５の（ａ）または（ｂ）と同じように背景領域を検出することができる。
【００６９】
図８のステップＳ２０４〜２０８の処理は実施例１と同様の処理のため説明を省略する。
【００７０】
以上で、図８のフローチャートの処理の説明を終了する。
【００７１】
図８のフローチャートの処理を行うことで、手持ちで撮影した動画像フレームに対してノイズの影響を軽減する画像処理装置を提供することができる。
【００７２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７３】
また、図８のステップＳ２０４の背景領域の検出は、基準フレーム画像に対して手ぶれを補正するための幾何変換を行う前の他フレーム画像のベクトルの大きさと向きを用いて背景判定を行うことも可能である。具体的には、位置合わせ前の他フレーム画像で算出した各々のベクトル開始位置（図７のベクトル始点７４１）に対して、式（４）変換係数Ａを求める。その後各々のベクトル開始位置に対して変換係数Ａで行列演算した座標と、各々のベクトル終了位置（図７のベクトル終点７４２）との誤差がある所定以下になるベクトルを検出することで、背景領域の判定を行うことが可能である。
【００７４】
なお、上述した実施の形態の処理は、各機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行可能とすることによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。
【００７５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。
【００７６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。
【符号の説明】
【００７７】
１０１  システム制御部
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  光学系
１０５  撮像部
１０６  Ａ／Ｄ変換部
１０７  画像処理部
１０８  表示部
１０９  記録部
【図１】
2019101997.tif 000008
【図２】
2019101997.tif 000009
【図３】
2019101997.tif 000010
【図４】
2019101997.tif 000011
【図５】
2019101997.tif 000012
【図６】
2019101997.tif 000013
【図７】
2019101997.tif 000014
【図８】
2019101997.tif 000015
【図９】
2019101997.tif 000016
【図１０】
2019101997.tif 000017