(57)【要約】【課題】画像復元のような高負荷な処理を、連続撮影された複数の画像に対して適用する際に、撮影条件の変化やフィルタの変化を鑑み、フィルタ処理を効率化し、応答性の低下を最小限に抑える画像処理装置を提供すること。【解決手段】連続撮影されたそれぞれの画像に適用する画像復元のフィルタを、弊害などのデメリットがある閾値以下になる場合には、補間などの簡易処理で生成することで、処理時間を短縮し、応答性の低下を抑える。【選択図】図１
2019179279.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の連続して撮影された画像の組に対して、画像復元を適用することのできる画像処理装置であって、
複数枚の連続して撮影された画像の組を読み込む入力部と、
複数枚の画像の一部、もしくは全ての撮影条件を取得する撮影条件取得部と、
取得した撮影条件から、画像復元のフィルタを生成する対象を決定する、フィルタ生成決定部と、
撮影条件や光学特性から、一部の画像に対する画像復元のフィルタを算出するフィルタ算出部と、
フィルタを算出していない撮影条件について、算出済のフィルタを用いて適用するフィルタを生成するフィルタ生成部と、
生成したフィルタを適用する画像復元部と、
複数枚の連続して撮影された全ての画像に対して、画像復元が適用された結果を出力する出力部と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続して撮影された一連の複数枚画像に対する、画像復元処理に関する。
【背景技術】
【０００２】
まず、画像復元に関する技術について、特許文献１を参考に、簡単に説明を行う。
【０００３】
ＰＳＦは、一般には入力及び出力の位置に依存してその値が変わるが、２次元システムの応答が均一で入力の位置による応答が変わらないとみなせる領域内では、次の式１が成り立つ。
【０００４】
g(x, y) = f(x, y) * h(x, y)      ・・・式１
ここで、＊は、畳み込み積分(convolution integral)を表している。
【０００５】
これをフーリエ変換して空間周波数領域で表現すると、式１は次の式２のようになる。
【０００６】
G(u, v) = H(u, v) F(u, v)        ・・・式２
ここで、ｕ、ｖはそれぞれｘ方向、ｙ方向の空間周波数、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）は、ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｈ（ｘ，ｙ）を２次元フーリエ変換したものである。Ｈ（ｕ，ｖ）は、システムの周波数応答特性を示す空間周波数伝達関数、即ち、２次元フィルタの周波数特性を示すもので光学伝達関数（ＯＴＦ:optical transfer function）と呼ばれている。
【０００７】
撮像された画像ｇ（ｘ，ｙ）から画像復元を行うには、式２を変形した次の式３を利用すればよい。
【０００８】
F(u, v) = G(u, v) / H(u, v)      ・・・式３
ＯＴＦの逆フィルタである１／Ｈ（ｕ，ｖ）をかけて求めたＦ（ｕ，ｖ）を、逆フーリエ変換して実空間に戻すことで、原画像ｆ（ｘ，ｙ）を求めることができる。また、式３を逆フーリエ変換した式４のように、１／Ｈ（ｕ，ｖ）を逆フーリエ変換して求めた画像復元フィルタを、撮像された画像ｇ（ｘ，ｙ）に対して畳み込み積分することで、原画像ｆ（ｘ，ｙ）を求めることができる。
【０００９】
f(x, y) = g(x,y) *F^(-1) {1/H(u,v)}      ・・・式４
実際に画像を復元処理する際には、撮影された画像ｇ（ｘ，ｙ）にノイズ成分が含まれるため、画像復元フィルタＦ^(-1)｛１／Ｈ（ｕ，ｖ）｝をそのまま用いると、ノイズが増幅された画像となってしまう。この問題については、例えば、ウィーナフィルタのようにノイズ成分が存在することを考慮した方法を用いればよい。なお、ＰＳＦであるｈ（ｘ，ｙ）は、ズーム、絞り、被写体位置、像高で変わる。
【００１０】
像平面上に焦点の合った像を形成するのは、物体空間の面である焦平面(focal plane)である。撮像装置では、ＡＦやマニュアル操作で光学系のフォーカス用レンズ群を繰り出し、物体空間の一つの面(焦平面)に焦点を合わせて撮影する。画像復元を行う場合、フォーカス用レンズ群の繰り出しにより焦点の合った被写体距離(以下、合焦被写体距離と称す)に基づく画像復元フィルタが適用されることになるが、先行技術のように、データを膨大に持つことで合焦被写体距離以外の被写体についても、撮影距離からフィルタを生成し、適用することで、画像復元や画像のシミュレートを行うことができる。
【００１１】
このように、従来より撮影された画像に生じたはぼけ(Blur)を復元するための画像復元アルゴリズムが知られている。ぼけには、収差、焦点ずれ、露光時間中の撮像装置の移動(手ぶれを含む)、露光時間中の被写体の移動、大気のゆらぎ等の要因がある。
【００１２】
画像復元を行うためのフィルタについて説明する。フィルタは、例えば１辺数百の２次元配列であり、注目画素がフィルタの中心として、注目画素の周辺の画素との折りたたみ演算を行う。画素は通常RGBの３チャンネル存在するため、フィルタもそれぞれのチャンネルごとに３種類用意する必要がある。そのため、データのサイズとしては１辺１００画素として、１つの注目画素に対して３万ものデータが必要になり、それらを畳み込む演算処理の負荷は膨大である。
【００１３】
一方、カメラなどの撮像装置において、一度の動作で連続撮影を行い、撮影した大量枚数の画像の組を扱うシステムは従来より存在する。撮影される画像および、そのフォーマット、一連の撮影全体に対する情報の記録に関してなど、形式は様々考えられる。例えば、画像ファイルは通常の１枚撮影の画像と同じようにしておき、ファイル名などのルールで一連の撮影である関連付けを示した上で、撮影全体の情報、例えば撮影枚数や秒数などを別途ヘッダ情報のファイルとして保持する形式も考えられる。この場合には、対応するソフトウェアであれば１つの撮影としてまとめて扱うことが可能でありつつも、対応していないソフトウェアでも１枚１枚の画像については互換性があるため、表示、編集することができるというメリットが有る。それ以外にも、全ての画像を、１つのファイルに含めて保存するという形式も考えられる。１００枚単位で一度に撮影した場合に、それぞれの画像ごとにファイルが別れていると、ファイルの移動や管理が煩雑になりやすい。そのため、１つのファイル内に複数の画像データを含めた形にすることで、ユーザの利便性を確保する場合もある。
【００１４】
このような連続撮影された一連の画像に対して画像調整をする場合に、全ての画像に対して一括に調整結果を適用するということはよく行われる。画像復元についても、一連の画像に対して適用するために、各画像に対応したフィルタを生成し、フィルタを適用する畳み込み演算処理を行うことになるが、応答性や利便性の面から懸念が残る。特に、画像復元のフィルタは、絞りや撮影距離、焦点距離などの撮影条件によって通常決まるが、連続撮影中にズーム（焦点距離）を変えた場合など、フィルタ生成の元となる撮影条件が変わることもある。その場合に、全ての画像に対して、OTFからフーリエ変換などの高負荷な処理を繰り返し行っていく必要が出てきてしまい、応答性が極端に低下してしまう。
【００１５】
画像復元を適用する場合に、処理負荷を軽減する必要があるということは知られており、従来からさまざまな効率化の手法が提案されてきた。その１つとして、例えばフィルタに応じて、画像内の部分領域についてフィルタの適用を行わないことで、フィルタ及び処理負荷の削減を行うことなどがある（特許文献２）。
【００１６】
一方で、連続撮影のように撮影条件が少しずつ変化していくと考えられる場合には、OTFの特性としても変化が少ない、もしくは連続的に変化するものとして考えることができる。これはすなわち、多少異なるフィルタでも、適用した画像として差が少ない場合には、同じフィルタを複数の画像に適用してもそれほど実害がないケースや、前後のフィルタから補間してフィルタを生成することでも同等の効果が得られるケースが有るということを示している。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開昭６２−１２７９７６号公報
【特許文献２】特開２０１１−０１０２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、従来の手法では、フィルタの状態に応じて特定の条件下で効率的に生成するものであったが、撮影条件が少しずつ変化していくような連続撮影された画像に対しては、それぞれの画像に対するフィルタを生成する必要があり、応答性の低下は避けられなかった。
【００１９】
本発明は、画像復元のような高負荷な処理を、連続撮影された複数の画像に対して適用する際に、撮影条件の変化やフィルタの変化を鑑み、フィルタ処理を効率化し、応答性の低下を最小限に抑えるものである。
【課題を解決するための手段】
【００２０】
上記の課題を解決するために、本発明に係る画像処理装置は、
連続撮影されたそれぞれの画像に適用する画像復元のフィルタを、弊害などのデメリットがある閾値以下になる場合には、補間などの簡易処理で生成することで、処理時間を短縮し、応答性の低下を抑える。
【発明の効果】
【００２１】
本発明に係る画像処理装置によれば、連続撮影された画像に対するフィルタを、弊害などのデメリットを最小限に抑えながら、処理時間を短縮し、応答性の低下を抑えることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態における構成例を示すブロック図である。
【図２】本発明の実施形態における入力部の概要を表すフローチャート図である。
【図３】本発明の実施形態における撮影条件取得部の概要を表すフローチャート図である。
【図４】本発明の実施形態におけるフィルタ生成決定部の概要を表すフローチャート図である。
【図５】本発明の実施形態におけるフィルタ算出部の概要を表すフローチャート図である。
【図６】本発明の実施形態におけるフィルタ生成部の概要を表すフローチャート図である。
【図７】本発明の実施形態における画像復元部の概要を表すフローチャート図である。
【図８】本発明の実施形態における出力部の概要を表すフローチャート図である。
【図９】本発明の実施形態における記録フォーマットの概要を表す概念図である。
【発明を実施するための形態】
【００２３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００２４】
＜実施例１＞
図１は実施例１における代表的な構成図である。
【００２５】
入力部（１０１）において、連続撮影された複数の画像の入力を受付け、撮影条件取得部（１０２）において任意の画像の撮影条件を取得し、どの画像に対してフィルタを適用するかをフィルタ生成決定部（１０３）で決定する。フィルタ生成部（１０５）では、撮影条件に応じてOTFデータからフィルタを生成する。生成したフィルタを用いて、フィルタ算出部（１０４）では簡易的な処理によってフィルタを算出する。それぞれの画像ごとに、フィルタを生成するのか算出するのかをフィルタ生成決定部によって決定された後、画像毎にフィルタ生成部とフィルタ算出部を利用する。画像復元部（１０６）では、生成した全ての画像に対するフィルタを利用して、それぞれの画像に対して画像復元を適用する。そして、画像復元を適用した複数の画像を出力部（１０７）において出力する。
【００２６】
連続撮影された複数の画像について説明する。
【００２７】
画像のフォーマットは様々存在するが、ここでは１つのファイルに複数の画像を含むフォーマットとするが、複数のファイルからなるフォーマットでも同様に扱うことができる。また、複数の画像全体に対するメタデータ、ヘッダ情報が存在する場合もあるが、本実施例においてはヘッダ情報がない最も単純な構成を考える。１つのファイル（９０１）の中に、各画像が記録されている。各画像は撮影条件（９０２）と画像本体（９０３）が存在し、それらが複数含まれている。
【００２８】
次に、入力部（１０１）において説明する。
【００２９】
連続撮影された複数の画像の入力を受け付けるため、全ての画像を読み込むまで（Ｓ２０１）画像を入力する（Ｓ２０２）。入力については、装置として撮影機能を持ち、撮影した画像を直接入力としても良いし、ネットワークなどの通信路を経由して、外部の装置から画像を受け取っても良い。また、外部の記憶装置に記憶している画像を読み込むような形式でもよい。
【００３０】
撮影条件取得部（１０２）について説明する。
【００３１】
撮影条件取得部は、画像を１枚ずつ読み込み（Ｓ３０２）、撮影条件を取得可能な画像であれば（Ｓ３０３）、画像の撮影条件を取得する（Ｓ３０４）。画像の撮影条件をここでは、OTFを特定するために必要な、焦点距離、撮影距離、絞り値、レンズやカメラの種類とする。レンズやカメラの種類がわかれば、撮影時の光学系が特定でき、光学系において焦点距離、撮影距離、絞り値が決まれば、OTFデータを特定することができる。それらの元となるOTFデータは、あらかじめ本装置に保持しておくこととする。撮影条件については、各画像ごとに通常の画像同様に記録されていることも考えられるが、連続撮影する場合に、記録時間や撮影時の処理時間などの兼ね合いから、一部の画像にのみ記録されている事も考えられる。例えば、最初の画像と最後の画像しか記録されていない状況などである。
【００３２】
フィルタ生成決定部（１０３）について説明する。
【００３３】
フィルタ生成決定部では一度画像全体を読み込む（Ｓ４０１）。一部の画像のフィルタを生成し、残りのフィルタを簡易的に算出する方法を行うが、本実施例としては最初と最後の画像に対応したフィルタを生成するものとする（Ｓ４０２）。これは、最初と最後に限る必要はなく、一部しか撮影条件が取得できない場合には取得できた画像に対応したフィルタを用いればよいし、最初と最後だけではなく中間も用いるなど、２点に限る必要もない。最初と最後の画像に対応したフィルタをフィルタ生成部で生成した後、読み込んだ画像全体に対してフィルタを算出していく（Ｓ４０３）。対象となる画像を１つずつ選択し（Ｓ４０４）、画像の撮影条件を取得し、すでにフィルタを生成済みであれば（Ｓ４０５）次の画像へ処理をうつす。フィルタがまだ生成されていなければ、生成したフィルタの中で、対象としている画像の前後にあたる画像のフィルタを取得し（Ｓ４０６）、それらのフィルタの差を算出する（Ｓ４０７）。ここでの差は、単純なフィルタの積分値の差でもよいし、実際に画像復元を適用する場合に画像の見えに効果のあるゲインを比較してもよい。ゲインとは、フィルタの中心部、直流成分の値である。また、各画像に適用するフィルタは１種類ではなく、例えばRGBの色のチャンネルごとに存在したり、画像の領域ごとに光学特性は異なるため、画像の領域ごとにフィルタも異なる。よって、ここでの差は、適用するフィルタ全体を比較するべきであり、本実施例としては、ゲインを算出し、その差の２乗を求め、求めた差の２乗を画面全体の全てのフィルタに対して加算した２乗和とする。２乗和があらかじめ定められた誤差範囲以内におさまるのであれば（Ｓ４０８）、前後のフィルタが同じものだと考えられるので、前側のフィルタをコピーしてそのまま利用する（Ｓ４１１）。あらかじめ定められたしきい値以内であれば、撮影条件に応じたフィルタの変化量が大きくなく、簡易的な生成で代用可能であるため、前後のフィルタと撮影条件に応じてフィルタ算出部によってフィルタを算出する（Ｓ４１０）。２乗和がしきい値よりも大きい場合には、簡易的な生成では誤差が大きくなってしまうため、OTFデータからフィルタを生成する必要がある（Ｓ４０９）。このような処理を全ての画像に対して行い（Ｓ４０３）、全ての画像に対応したフィルタを生成する。
【００３４】
フィルタ算出部（１０４）について説明する。
【００３５】
フィルタ生成決定部において、対象の画像のフィルタを簡易的に生成すると判定された場合に、フィルタ算出部に対象の画像が渡される（Ｓ５０１）（Ｓ５０２）。すでに生成された前後の画像に対応したフィルタとその撮影条件を取得する（Ｓ５０３）。前後のフィルタから、簡易的にフィルタを生成する方法はいくつも考えられるが、ここでは各フィルタ、実際には２次元フィルタの集合それぞれについて、前後のフィルタから撮影条件に応じて重み付けを行い単純な線形補間することとする（Ｓ５０４）。フィルタを算出したら、その結果をフィルタ生成決定部に返す。
【００３６】
フィルタ生成部（１０５）について説明する。
【００３７】
フィルタ生成決定部において、対象の画像のフィルタをOTFデータから生成すると判定された場合に、フィルタ生成部に対象の画像が渡される（Ｓ６０１）。撮影条件を取得し（Ｓ６０２）、撮影条件に応じたOTFデータを取得し（Ｓ６０３）、OTFデータをフーリエ変換するなどし、フィルタを生成する（Ｓ６０４）。ここでは簡単な方法として、撮影条件は撮影されたレンズやカメラなどの光学系の情報、焦点距離、撮影距離、絞り値などとするが、センサの情報などそれ以外の情報を記録しておき、利用する事も考えられる。それらの撮影条件に応じて、あらかじめ保持してあるOTFデータのデータベースから、該当するデータを取得する。OTFデータから画像復元に利用するフィルタを生成する処理は一般的にいくつかの方法が提案されているが、基本的にはOTFデータは対象となる光学系の特性であるため、補正するための逆特性を求め、フーリエ変換することで実空間上のフィルタとして処理する。生成したフィルタをフィルタ生成決定部に返す。
【００３８】
画像復元部（１０６）について説明する。
【００３９】
画像復元部では全ての画像に対して画像復元のフィルタを適用する（Ｓ７０１）。対象となる画像を１つ選択し（Ｓ７０２）、対応するフィルタを取得し（Ｓ７０３）、画像に含まれる画素１つ１つに対してフィルタを適用する（Ｓ７０４）。画像復元のフィルタは通常、画面内いくつかの離散的な点に対応するフィルタを保持しておく。本来であれば全ての画素に対してフィルタが存在するが、現実的に全ての画素に対してフィルタを持つことは非効率であるため、例えば画面中央から周辺に向けて１０分割程度で持っておき、任意の画素である点が与えられた場合に、フィルタの回転と補間を行うことで、注目画素に対応したフィルタを算出し（Ｓ７０５）、適用することができる（Ｓ７０６）。このように、全ての画素に対して、フィルタを生成し、畳込み演算であるフィルタを適用するという処理を行い、そのような画像に対する復元処理を、全ての画像に対して行うことで、画像復元を実現する。
【００４０】
出力部（１０７）について説明する。
【００４１】
画像復元部において画像復元を適用した画像を１つずつ読み込み（Ｓ８０２）、全ての画像をまとめて（Ｓ８０１）外部の装置へ出力する（Ｓ８０３）。出力の方法は出力先の装置によって異なり、ネットワークを通して通信を行う場合であればストリームのような形式の場合もあるし、メモリのような記憶装置であれば、ファイルとして構成し保存することになる。本実施例では、元のフォーマットである、１つのファイル内に全ての画像を内包するフォーマットとして再構成し、保存することを想定している。
【符号の説明】
【００４２】
１０１  入力部、１０２  撮影条件取得部、１０３  フィルタ生成決定部、
１０５  フィルタ生成部
【図１】
2019179279.tif 000003
【図２】
2019179279.tif 000004
【図３】
2019179279.tif 000005
【図４】
2019179279.tif 000006
【図５】
2019179279.tif 000007
【図６】
2019179279.tif 000008
【図７】
2019179279.tif 000009
【図８】
2019179279.tif 000010
【図９】
2019179279.tif 000011