(57)【要約】      （修正有）【課題】ゆらぎ強度が高い場合やセンサノイズが強い場合でも、アーティファクトの少ないゆらぎ補正の結果を得ることができる画像処理装置および画像処理方法、プログラムを提供する。【解決手段】情報処理装置は、大気のゆらぎの影響により画質が劣化した複数の画像データのゆらぎの影響度に基づいて、第一の補正処理による複数の画像データの第一の補正結果と、第一の補正処理とは異なる第二の補正処理による複数の画像データの第二の補正結果とを出力する出力手段を有する。【選択図】図２
2020003885.tif 000002
【特許請求の範囲】
【請求項１】
大気のゆらぎの影響により画質が劣化した複数の画像データのゆらぎの影響度に基づいて、第一の補正処理による前記複数の画像データの第一の補正結果と、前記第一の補正処理とは異なる第二の補正処理による前記複数の画像データの第二の補正結果とを出力する出力手段を有する画像処理装置。
【請求項２】
前記第一の補正結果と前記第二の補正結果に基づいて、合成画像データを生成する合成手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、前記影響度に基づいて、前記第一の補正結果と第二の補正結果とを選択的に出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記出力手段は、前記影響度に基づいて、前記第一の補正結果と第二の補正結果を合成して出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記出力手段は、前記影響度に基づいて、前記第一の処理又は前記第二の処理を行わないことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項６】
前記複数の画像は複数のブロックからなり、
前記出力手段は、前記複数のブロック単位で前記第一の補正結果と前記第二の補正結果を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記影響度は前記複数の画像データの間の動きベクトルのばらつきに基づいて決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記影響度は前記複数の画像データの間の動きベクトルの時間変化に基づいて決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記影響度は、ユーザからの入力により決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記影響度は、前記複数の画像データのノイズを示す情報が含まれていることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記影響度は、前記複数の画像が取得された際の気象条件に基づいて決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
コンピュータを請求項１乃至１１のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【請求項１３】
大気のゆらぎの影響により画質が劣化した複数の画像データのゆらぎの影響度に基づいて、第一の補正処理による前記複数の画像データの第一の補正結果と、前記第一の補正処理とは異なる第二の補正処理による前記複数の画像データの第二の補正結果とを出力する出力手段を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像における大気ゆらぎの影響を低減する方法に関する。
【背景技術】
【０００２】
従来、監視カメラシステムなどにおいて、大気ゆらぎに起因する画像の劣化を補正する技術（以降ではゆらぎ補正と呼ぶ）が用いられている。ここで大気ゆらぎとは、大気の乱流や温度差により屈折率が空間的および時間的に変化する自然現象を指す。また、大気ゆらぎは陽炎とも呼ばれる。大気ゆらぎは光の屈折や位相のばらつきを引き起こし、その結果として特に望遠レンズで遠方を撮影した場合に、被写体の像に時間的に変化するぼけと歪み（以降ではゆらぎと呼ぶ）が発生する。このような画像の劣化は、被写体の視認性を大きく低下させるため、除去されることが望ましい。
【０００３】
このような課題に対し、複数フレームの画像からぼけと歪みを同時に低減した画像を生成する技術として、スペックルイメージングが知られている。以降の説明では、動画像を構成する時系列に並んだ画像データをフレームと呼ぶ。スペックルイメージングは元来天文分野で開発された手法であり、再構成画像のフーリエスペクトルの振幅成分と位相成分を独立に推定する。振幅成分は、入力フレームのパワースペクトルの平均を算出し、これに対し撮像装置の光学系の光学伝達関数に基づいて決定された高周波成分を増幅するフィルタをかけることで推定される。一方位相成分は、入力画像のバイスペクトラムに基づき、低周波成分の既知の位相値を用いて高周波成分の位相値を逐次的に推定していく。特許文献１では、スペックルイメージングをゆらぎ補正に応用する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許７２４５７４２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術はゆらぎ強度が高い場合やセンサノイズが強い場合などに位相推定精度が低下し、結果として再構成画像に特有のアーティファクトが生じて視認性を低下させるという課題があった。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明の画像処理装置は、大気のゆらぎの影響により画質が劣化した複数の画像データのゆらぎの影響度に基づいて、第一の補正処理による前記複数の画像データの第一の補正結果と、前記第一の補正処理とは異なる第二の補正処理による前記複数の画像データの第二の補正結果とを出力する出力手段を有する。
【発明の効果】
【０００７】
ゆらぎ強度が高い場合やセンサノイズが強い場合でも、アーティファクトの少ないゆらぎ補正の結果を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１の装置の構成を示す概略図。
【図２】実施例１の情報処理装置の構成を示すブロック図。
【図３】実施例１のパラメータ算出部の構成を示すブロック図。
【図４】実施例２のパラメータ算出部の構成を示すブロック図。
【図５】実施例１の第１の補正部の構成を示すブロック図。
【図６】実施例１の情報処理装置の処理の流れを示すフローチャート。
【図７】実施例１のパラメータ算出部が行う処理の流れを示すフローチャート。
【図８】実施例１の第１の補正部が行う処理の流れを示すフローチャート。
【図９】実施例２のパラメータ算出部が行う処理の流れを示すフローチャート。
【図１０】実施例３の情報処理装置の構成を示すブロック図。
【図１１】実施例３の情報処理装置の処理の流れを示すフローチャート。
【図１２】実施例４のパラメータ算出部の構成を示すブロック図。
【図１３】実施例４のパラメータ算出部が行う処理の流れを示すフローチャート。
【図１４】実施例１の情報処理装置の構成を示す別のブロック図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【実施例１】
【００１０】
本実施例では、入力された画像データから、大気ゆらぎの強度を示すパラメータとして面内の変位量の不均一さ（ばらつき）を算出することで、良好なゆらぎ補正を実現する例を述べる。まず、本実施例の情報処理装置（画像処理装置）の構成を説明する。
【００１１】
図１は、本実施例の情報処理装置の構成の一例を示す図である。本実施例の情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、出力インターフェース１０６を含む。情報処理装置１００の各構成要素はシステムバス１０７によって相互に接続されている。また、情報処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８および操作部１１０に接続されている。また、情報処理装置１００は、出力インターフェース１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。
【００１２】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して情報処理装置１００の各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、情報処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施例ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行う。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。
【００１３】
入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。情報処理装置１００は、入力インターフェース１０５を介して、外部装置からデータや命令等を入力する。本実施例では、情報処理装置１００は、入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。また本実施例では、情報処理装置１００は、操作部１１０に入力されたユーザの指示を、入力インターフェース１０５を介して取得する。操作部１１０は、マウスやキーボードなどの入力装置であり、ユーザの指示を入力する。
【００１４】
出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子であってもよい。情報処理装置１００は、出力インターフェース１０６を介して、外部装置にデータ等を出力する。本実施例では、情報処理装置１００は、出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、ＣＰＵ１０１によって処理されたデータ（例えば、画像データ）を出力する。なお、情報処理装置１００の構成要素は上記以外にも存在するが、本実施例の主眼ではないため、説明を省略する。
【００１５】
図２は、本実施例による情報処理装置の機能ブロック図である。情報処理装置１００は、図２に示すように、画像データ取得部２０１、画像分割部２０２、パラメータ算出部２０３、位相推定精度判定部２０４、第１の補正部２０５、第２の補正部２０６、画像結合部２０７としての機能を有する。
【００１６】
また、パラメータ算出部２０３は、本実施例においては図３に示すように動きベクトル算出部３０１、ばらつき３０２部としての機能を有する。
【００１７】
また、第１の補正部２０５は、図５に示すように、前処理部５０１、フーリエ変換部５０２、バイスペクトラム算出部５０３、位相推定部５０４、平均パワースペクトル算出部５０５、振幅推定部５０６、画像合成部５０７としての機能を有する。
【００１８】
上記各部の機能は、ＣＰＵ１０１がＲＯＭ１０３内に格納された制御プログラムを読み込み実行することで実現される。なお、各部に相当する専用の処理回路を備えるように情報処理装置１００を構成するようにしてもよい。以下、各部により行われる処理の流れを説明する。
【００１９】
以下、各部により行われる処理の流れを説明する。ゆらぎ補正を行う手法として、「スペックルイメージング処理」が知られている。この処理は、他に知られている処理（例えば「ブラインド・デコンボリューション処理」や「平均化処理（前後の複数フレームを平均し、フィルタ処理でエッジ強調）」など）と比較してボケや歪みを良好に補正することができる。しかしながら、ゆらぎ強度が高い場合やセンサノイズが強い場合に位相推定精度が低下し、結果として再構成画像に特有のアーティファクトが生じて視認性を低下させてしまう。そこで本実施例では、位相推定精度が高いと判定される場合にスペックルイメージング処理でゆらぎ補正を行い、そうでない場合に他の処理（例えば「ブラインド・デコンボリューション処理」や「平均化処理」など）を用いてゆらぎ補正を行う。
【００２０】
図６は、本実施例における処理の流れを示すフローチャートである。
【００２１】
ステップＳ６０１では、画像データ取得部２０１が、処理対象である複数フレームからなる画像データを取得する。
【００２２】
ステップＳ６０２では、画像分割部２０２が、前記画像データを複数の小領域データ（ブロックデータ）に分割する。ここで複数の小領域データは重複が許容される。小領域データのサイズは、大気ゆらぎの影響が一定であるとみなせる範囲（アイソプラナティックパッチ）よりも小さいことが好ましい。以降のステップＳ６０３、ステップＳ６０４、ステップＳ６０５ａ／ｂは、ブロック単位で小領域データそれぞれに対して行う。
【００２３】
ステップＳ６０３では、パラメータ算出部２０３が、前記画像データ取得時の大気ゆらぎの強度を示すパラメータを算出する。処理の詳細は後述する。
【００２４】
ステップＳ６０４では、位相推定精度判定部２０４が、後述するスペックルイメージング処理における位相推定精度の判定を行う。ステップＳ６０３で算出したパラメータが、予め算出した閾値より小さい場合に位相推定精度が高いと判定し、ステップＳ６０５ａに進む。ステップＳ６０３で算出したパラメータが、予め算出した閾値より大きい場合に位相推定精度が低いと判定し、ステップＳ６０５ｂに進む。
【００２５】
ステップＳ６０５ａでは、第１の補正部が、スペックルイメージング処理によって前記小領域データからゆらぎ補正された小領域データを生成する。処理の詳細は後述する。
【００２６】
ステップＳ６０５ｂでは、第２の補正部が、スペックルイメージング処理とは異なる第２の補正処理によって前記小領域データからゆらぎ補正された小領域データを生成する。
【００２７】
ステップＳ６０６では、ステップＳ６０５ａ／ｂで生成されたゆらぎ補正された小領域データを結合して、ゆらぎ補正された画像データを生成する。
【００２８】
このように、大気ゆらぎの強度に応じて異なる処理でゆらぎ補正を行い、アーティファクトを抑制して高画質な出力画像を得ることが本実施例の特徴である。
【００２９】
次に、ステップＳ６０３の処理の詳細を説明する。図７は、本実施例におけるパラメータ算出部２０３が行う処理の流れを示すフローチャートである。大気ゆらぎの影響として、画像には局所的な変位が発生する。本処理では、この変位を評価して前記パラメータを算出する。このとき、大気ゆらぎと同じく画像に変位をもたらす「カメラのブレ」や「被写体の動き」と区別して評価する必要がある。そこで、大気ゆらぎに特有の「変位の方向や量が面内で不均一である」という性質に着目し、面内の変位量の不均一さ（ばらつき）を評価する。
【００３０】
ステップＳ７０１では、小領域データ内の複数点（ｎ個）に対して、動きベクトルを算出する。
【００３１】
ステップＳ７０２では、前記動きベクトルのばらつき（大気ゆらぎ強度Ｂ、ゆらぎの影響度）を算出する。ｎ個の動きベクトル
【００３２】
【数１】
2020003885.tif 000003
【００３３】
に対して、大気ゆらぎ強度Ｂ１は、
【００３４】
【数２】
2020003885.tif 000004
【００３５】
のように算出することができる。ここで
【００３６】
【数３】
2020003885.tif 000005
【００３７】
は
【００３８】
【数４】
2020003885.tif 000006
【００３９】
の平均ベクトルであり、｜｜はベクトルの絶対値を示す。
【００４０】
以上の処理により、画像データに基づき大気ゆらぎの強度を示すパラメータＢ１を算出することができる。
【００４１】
ステップＳ６０４では、この大気ゆらぎ強度Ｂ１が、あらかじめ定めた閾値Ｂｔｈより小さい場合にはスペックルイメージング処理における位相推定精度が高いと判定し、ステップＳ６０５ａに進む。一方で大気ゆらぎ強度Ｂ１が、閾値Ｂｔｈより大きい場合にはスペックルイメージング処理における位相推定精度が低いと判定し、ステップＳ６０５ｂに進む。
【００４２】
次に、ステップＳ６０５ａの処理の詳細を説明する。図８は、第１の補正部が行うスペックルイメージング処理の流れを示すフローチャートである。
【００４３】
ステップＳ８０１では、前処理部５０１が、小領域データの各々に対し前処理を行う。前処理は、不良画素処理、位置合わせ、輝度傾斜補正、アポダイゼーションのいずれかを含む。不良画素処理は、光学系に存在する塵や撮像素子の画素の欠陥により正常な値を持たない画素を事前に検出しておき、撮像後に当該画素の値を周辺画素の値の平均値などで置き換える処理である。位置合わせは、撮像装置の振動などによりフレーム間で位置ずれが発生する場合に、ある基準フレームに対する各フレームの位置ずれを推定し、各フレームの位置ずれを補正する。位置ずれが平行移動に限定されると仮定すれば、位置ずれの推定にはフーリエ相関法などの既存の方法を用いることができる。輝度傾斜補正は、各小領域データの輝度分布に対し１次平面をフィッティングし、それを各画素の輝度値から差し引く処理である。１次平面は傾き０に限定してもよく、その場合は小領域データの平均輝度値を差し引くことになる。アポダイゼーションは、小領域データごとに画像処理を行った結果を統合する際に境界で発生する不整合を抑制する目的で、小領域データに窓関数をかける。以上の処理は全てが必ずしも実行される必要はなく、必要な処理だけが実行されればよい。
【００４４】
ステップＳ８０２では、フーリエ変換部５０２が、小領域データの各フレームに対してフーリエ変換を行ってフーリエスペクトルを生成する。
【００４５】
ステップＳ８０３では、バイスペクトラム算出部５０３が、ステップＳ８０２で得られたフーリエスペクトルを用いて、小領域データの各々に対応したバイスペクトラムデータを生成する。ｎフレーム目の小領域データのフーリエスペクトルＩｎからバイスペクトラムＩＢ，ｎは数式５によって定義される。
【００４６】
【数５】
2020003885.tif 000007
【００４７】
ここで、ｕ、ｖはそれぞれ周波数平面上の座標を表す２次元のデータである。フーリエスペクトルが２次元のデータであるのに対し、バイスペクトラムは４次元のデータである。
【００４８】
ステップＳ８０４では、位相推定部５０４が、前記バイスペクトラムデータを用いて、出力画像のフーリエスペクトルＯの位相を推定する。特許文献１に示されている通り、この位相は数式６によって決定される。
【００４９】
【数６】
2020003885.tif 000008
【００５０】
ここで、＜＞は複数フレームにわたる平均を表す。数式６によると、周波数平面上の（０，０）、（１，０）、（０，１）の３点における位相を初期位相として予め決めておけば、逐次的に任意の座標における位相を決定することができる。この３点の位相として、例えば複数フレームを平均した小領域データのフーリエスペクトルの位相の値を用いる。初期位相は周波数平面上の４点以上に対して定めるようにしても良い。
【００５１】
ステップＳ８０５では、平均パワースペクトル算出部５０５が、複数フレームの小領域データのパワースペクトルの平均を算出する。
【００５２】
ステップＳ８０６では、振幅推定部５０６が、ステップＳ８０５で得られた平均パワースペクトルＡを用いて、出力画像のフーリエスペクトルの振幅を推定する。具体的には、例えば参考文献１に示されているように、数式７に従い算出される。
【００５３】
【数７】
2020003885.tif 000009
【００５４】
ここで、Ｔは撮像装置の光学伝達関数、Ｓはスペックル伝達関数である。Ｔは、予め大気ゆらぎなどの外乱がない状態で点光源を撮像して求めてもよいし、モデルを用いて数値計算によって求めてもよい。Ｓは大気ゆらぎに起因する画像の劣化を表現する関数であり、予め計測してデータを保持しても良いし、モデルを用いて数値計算によって求めても良い。また、大気ゆらぎの強度に応じて異なる複数の計測データやモデルを保持しておき、ステップＳ６０３で算出した大気ゆらぎの強度を示すパラメータに基づいて選択して用いるようにしても良い。
【００５５】
ステップＳ８０７では、画像合成部５０７が、出力画像のフーリエスペクトルＯの位相と振幅を統合し、逆フーリエ変換によって出力画像を生成し、合成画像データを出力する。
【００５６】
以上のスペックルイメージング処理により、大気ゆらぎの影響による画質が劣化した画像に対して画質を向上させる補正を行うことができる。このスペックルイメージング処理によれば高画質化が可能である一方で、大気ゆらぎの強度が高い場合やセンサノイズが強い場合に特有のアーティファクトが生じ視認性が低下するというデメリットがあった。
【００５７】
一方で、第２の補正部２０４による補正処理である「ブラインド・デコンボリューション処理」や「平均化処理」によっても大気ゆらぎの影響を低減し高画質な画像を出力することができる。この第２の補正部２０４による補正は、第１の補正部２０５による補正よりも高画質化は図れないが、大気ゆらぎの強度が高い場合やセンサノイズが強い場合であっても安定した画質の画像を出力できる。
【００５８】
以下、ステップＳ６０６の処理の詳細を説明する。ステップＳ６０６において画像結合部２０７は、第１の補正部２０５により出力された第１の補正結果と第２の補正部２０６により出力された第２の補正結果を取得する。画像結合部２０７は、小領域単位で受領される補正結果を結合することにより、最終的な画像データを出力する。
【００５９】
以上、本実施例によれば、位相推定精度判定部２０４の判定により、画質向上とアーティファクト低減との二つの効果を適宜得ることができる。
【００６０】
なお、上述の実施例では位相推定精度判定部２０４の結果により、第１の補正部２０５及び第２の補正部の何れか一方のみが補正処理するとした。一方で図１４に示す通り位相推定精度判定部１４０４の結果に関わらず第１の補正部１４０５及び第２の補正部１４０６による補正処理を行うことも可能である。位相推定精度判定部１４０４の判定結果は、第１の補正結果と第２の補正結果のいずれを採用するかに使用される。
【００６１】
更に、第１の補正結果と第２の補正結果を位相推定精度判定部の判定結果に基づいて「合成」することも可能である。たとえば、大気ゆらぎ強度Ｂ１を重み係数として第１の補正結果と第２の補正結果を重み付加算することにより、より適切な補正結果を得られる。
【実施例２】
【００６２】
本実施例では、入力された画像データから、大気ゆらぎの強度を示すパラメータとして変位量の時間変化を算出することで、良好なゆらぎ補正を実現する例を述べる。
【００６３】
本実施例の構成は、実施例１と比較して、図２のパラメータ算出部２０３が有する機能が異なる。図２のパラメータ算出部２０３は、本実施例においては、図４に示すように動きベクトル算出部４０１、時間変化算出部４０２としての機能を有する。
【００６４】
本実施例の処理は、実施例１の処理と比較して、ステップＳ６０３の処理内容が異なる。
【００６５】
以下に、ステップＳ６０３の処理の詳細を説明する。図９は、本実施例のステップＳ６０３においてパラメータ算出部２０３が行う処理の流れを示すフローチャートである。大気ゆらぎの影響として、画像には局所的な変位が発生する。本処理では、この変位を評価して前記パラメータを算出する。このとき、大気ゆらぎと同じく画像に変位をもたらす「カメラのブレ」や「被写体の動き」と区別して評価する必要がある。そこで、大気ゆらぎに特有の「変位の方向や量の時間変化が大きい」という性質に着目し、面内の変位量の時間変化を評価する。
【００６６】
ステップＳ９０１では、小領域データ内の複数フレームに対して、動きベクトルを算出する。
【００６７】
ステップＳ９０２では、前記動きベクトルの時間変化を算出する。ｋフレームに対する動きベクトル
【００６８】
【数８】
2020003885.tif 000010
【００６９】
に対して、時間変化Ｂ２は例えば、
【００７０】
【数９】
2020003885.tif 000011
【００７１】
のように算出することができる。ここで、＜＞は複数フレームにわたる平均を表す。また、｜｜はベクトルの絶対値を示す。小領域データ内の複数点で上記動きベクトルの時間変化を算出し、その統計量（平均値や中央値など）を算出するようにしても良い。
【００７２】
以上の処理により、画像データに基づき大気ゆらぎの強度を示すパラメータを算出することができる。
【実施例３】
【００７３】
実施例１および２では、入力画像データを複数の小領域データに分割し、それぞれの小領域データに対して算出される大気ゆらぎの強度を示すパラメータに基づいてゆらぎ補正方法を異ならせる例を説明した。本実施例では、入力画像データ全体に対して同一の処理で大気ゆらぎ補正を行う例を説明する。その際に用いる大気ゆらぎ補正の結果は、入力画像データ全体に対して算出される大気ゆらぎの影響度を示すパラメータに基づいて選択的に出力される。
【００７４】
本実施例の情報処理装置１００は、図１０に示すように、画像データ取得部１００１、パラメータ算出部１００３、位相推定精度判定部１００４、画像分割部１００２、第１の補正部１００５、第２の補正部１００６、画像結合部１００７としての機能を有する。図１０の各部は、図２の同一名称のブロックと同一の機能を有する。
【００７５】
図１１は、本実施例における処理の流れを示すフローチャートである。
【００７６】
ステップＳ１１０１では、画像データ取得部１００１が、処理対象である複数フレームからなる画像データを取得する。
【００７７】
ステップＳ１１０２では、パラメータ算出部１００３が、前記画像データ取得時の大気ゆらぎの強度を示すパラメータを算出する。図７あるいは図９で説明した処理では、画像データを分割した小領域データに対してゆらぎの強度を示すパラメータを算出したが、ここでは同様の処理を、前記入力画像データ全体に対して行う。他の方法として、大気ゆらぎの強度を示すパラメータをユーザが操作部１１０に入力してそれを用いるようにしても良い。別の方法として、前記画像データ取得時の気象条件（気温や風速など）の情報から算出するようにしても良い。
【００７８】
ステップＳ１１０３では、位相推定精度判定部１００４が、スペックルイメージング処理における位相推定精度の判定を行う。ステップＳ１１０２で算出したパラメータが、予め算出した閾値より小さい場合に位相推定精度が高いと判定し、ステップＳ１１０４に進む。ステップＳ１１０２で算出したパラメータが、予め算出した閾値より大きい場合に位相推定精度が低いと判定し、ステップＳ１１０７に進む。
【００７９】
ステップＳ１１０４では、画像分割部１００２が、前記画像データを複数の小領域データに分割する。ここで複数の小領域データは重複が許容される。小領域データのサイズは、大気ゆらぎの影響が一定であるとみなせる範囲（アイソプラナティックパッチ）よりも小さいことが好ましい。次のステップＳ１１０５は、前記複数の小領域データそれぞれに対して行う。
【００８０】
ステップＳ１１０５では、第１の補正部１００５が、スペックルイメージング処理によって前記小領域データからゆらぎ補正された小領域データを生成する。
【００８１】
ステップＳ１１０６では、ステップＳ１１０５で生成されたゆらぎ補正された小領域データを結合して、ゆらぎ補正された画像データを生成する。
【００８２】
ステップＳ１１０７では、第２の補正部が、スペックルイメージング処理とは異なる第２の補正処理によって前記画像データからゆらぎ補正された画像データを生成する。
【００８３】
このように、第１の補正部による補正結果と第２の補正部による補正結果とが大気のゆらぎの影響度に応じて選択的に出力される。この結果、アーティファクトを抑制して高画質な出力画像データを得ることができる。
【実施例４】
【００８４】
本実施例では、入力された画像に含まれるノイズの強度を示すパラメータを算出することで、良好なゆらぎ補正を実現する例を述べる。
【００８５】
スペックルイメージング処理では、ノイズ強度が高い場合に位相推定精度が低下し、結果として再構成画像に特有のアーティファクトが生じて視認性を低下させてしまう。
【００８６】
本実施例の構成は、実施例３と比較して、図１０のパラメータ算出部１００３が有する機能が異なる。図１０のパラメータ算出部１００３は、本実施例においては、図１２に示すように撮影情報取得部１２０１、ノイズ強度算出部１２０２としての機能を有する。
【００８７】
本実施例の処理は、実施例３の処理と比較して、ステップＳ１１０２の処理内容が異なる。
【００８８】
以下に、ステップＳ１１０２の処理の詳細を説明する。図１３は、本実施例におけるパラメータ算出部１００３が行う処理の流れを示すフローチャートである。
【００８９】
ステップＳ１３０１では、撮影情報取得部１２０１が処理対象である画像データ取得時の撮影情報を取得する。撮影情報には、ＩＳＯ感度等のノイズ強度に影響を与える情報が含まれる。
【００９０】
ステップＳ１３０２では、ノイズ強度算出部１２０２がノイズ強度を算出する。ノイズ強度を算出する方法としては、ＬＵＴ（ルックアップテーブル）を参照する方法や、モデル式を適用する方法が挙げられる。
【００９１】
このように、ノイズの強度に応じて異なる処理でゆらぎ補正を行い、アーティファクトを抑制して高画質な出力画像を得ることができる。
【００９２】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９３】
１００  情報処理装置
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  ＲＯＭ
１０９  表示装置
２０１  画像データ取得部
２０２  画像分割部
２０３  パラメータ算出部
２０４  位相推定精度判定部
２０５  第１の補正部
２０６  第２の補正部
２０７  画像結合部
【図１】
2020003885.tif 000012
【図２】
2020003885.tif 000013
【図３】
2020003885.tif 000014
【図４】
2020003885.tif 000015
【図５】
2020003885.tif 000016
【図６】
2020003885.tif 000017
【図７】
2020003885.tif 000018
【図８】
2020003885.tif 000019
【図９】
2020003885.tif 000020
【図１０】
2020003885.tif 000021
【図１１】
2020003885.tif 000022
【図１２】
2020003885.tif 000023
【図１３】
2020003885.tif 000024
【図１４】
2020003885.tif 000025