(57)【要約】【課題】演算処理を軽減することができる画像回復方法、画像回復装置、撮影装置、画像回復プログラムを提供する。【解決手段】画像回復方法は、画像取得部が、撮影部により撮影された撮影画像を取得する画像取得ステップと、ＰＳＦ演算部が、前記撮影画像の画素配列の全体よりも小さな小領域を複数設定し、前記小領域に含まれる画素についての前記撮影画像のＰＳＦ行列を前記小領域毎に演算するＰＳＦ行列演算ステップと、逆行列演算部が、前記ＰＳＦ行列の逆行列を前記小領域毎に演算する逆行列演算ステップと、画像回復部が、前記逆行列演算ステップにより演算された前記逆行列を用いて画像回復処理を行なう回復ステップとを備える。【選択図】図１
2020087146.tif 000002
【特許請求の範囲】
【請求項１】
画像取得部が、撮影部により撮影された撮影画像を取得する画像取得ステップと、
ＰＳＦ演算部が、前記撮影画像の画素配列の全体よりも小さな小領域を複数設定し、前記小領域に含まれる画素についての前記撮影画像のＰＳＦ行列を前記小領域毎に演算するＰＳＦ行列演算ステップと、
逆行列演算部が、前記ＰＳＦ行列の逆行列を前記小領域毎に演算する逆行列演算ステップと、
画像回復部が、前記逆行列演算ステップにより演算された前記逆行列を用いて画像回復処理を行なう回復ステップと、
を備える画像回復方法。
【請求項２】
請求項１に記載の画像回復方法において、
前記小領域は特定の画素を中心とした領域として設定され、かつ、前記特定の画素は、隣接せずに間隔を空けて設定されており、
前記小領域の設定対象となる前記特定の画素に設定されていない画素に関する画像回復処理は、前記小領域が設定されている画素に対する前記逆行列を用いて補間された逆行列を用いて行なわれること、
を特徴とする画像回復方法。
【請求項３】
請求項１又は請求項２に記載の画像回復方法において、
前記画像取得ステップ及び前記逆行列演算ステップは、複数の撮影距離毎と複数の合焦距離毎との少なくとも一方で行なわれ、
前記画像回復処理は、複数演算された前記逆行列の中から選択された逆行列を用いて、又は、複数演算された前記逆行列を用いて補間された逆行列を用いて行なわれること、
を特徴とする画像回復方法。
【請求項４】
請求項１から請求項３までのいずれかに記載の画像回復方法において、
前記画像取得ステップと、前記逆行列演算ステップとは、前記撮影部の製造過程又は撮影前に予め実行して前記逆行列が演算されており、
撮影時又は撮影後には、予め演算された前記逆行列を用いて前記回復ステップを実行すること、
を特徴とする画像回復方法。
【請求項５】
請求項１から請求項４までのいずれかに記載の画像取得部と、逆行列演算部と、画像回復部と、
を備える画像回復装置。
【請求項６】
撮影部と、
請求項５に記載の画像回復装置と、
を備える撮影装置。
【請求項７】
コンピュータに、
撮影部により撮影された撮影画像を取得する画像取得ステップと、
撮影画像を取得する画像取得ステップと、
前記撮影画像の画素配列の全体よりも小さな小領域を複数設定し、前記小領域に含まれる画素についての前記撮影画像のＰＳＦ行列を前記小領域毎に演算するＰＳＦ行列演算ステップと、
前記ＰＳＦ行列の逆行列を前記小領域毎に演算する逆行列演算ステップと、
前記逆行列演算ステップにより演算された前記逆行列を用いて画像回復処理を行なう回復ステップと、
を実行させるための画像回復プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像回復方法、画像回復装置、撮影装置、画像回復プログラムに関するものである。
【背景技術】
【０００２】
ＰＳＦ（Point spread function）を用いて画像回復する技術が従来から知られている。特許文献１では、ＰＳＦをフーリエ変換して、逆数をとり、逆フーリエ変換することによって、劣化した画像を回復するカーネル（逆算のための畳込み関数）を求める手法が開示されている。
【０００３】
しかし、特許文献１の手法では、劣化画像の全体について画像処理を行なうので、演算処理量が大きかった。特に、高画素化が進むにつれて演算処理の負担が大きく、演算処理の軽減が求められていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７８７９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、演算処理を軽減することができる画像回復方法、画像回復装置、撮影装置、画像回復プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
第１の発明は、画像取得部（２１）が、撮影部（１０）により撮影された撮影画像を取得する画像取得ステップと、ＰＳＦ演算部（２２）が、前記撮影画像の画素配列の全体よりも小さな小領域を複数設定し、前記小領域に含まれる画素についての前記撮影画像のＰＳＦ行列を前記小領域毎に演算するＰＳＦ行列演算ステップと、逆行列演算部（２３）が、前記ＰＳＦ行列の逆行列を前記小領域毎に演算する逆行列演算ステップと、画像回復部（２４）が、前記逆行列演算ステップにより演算された前記逆行列を用いて画像回復処理を行なう回復ステップと、を備える画像回復方法である。
【０００８】
第２の発明は、第１の発明に記載の画像回復方法において、前記小領域は特定の画素を中心とした領域として設定され、かつ、前記特定の画素は、隣接せずに間隔を空けて設定されており、前記小領域の設定対象となる前記特定の画素に設定されていない画素に関する画像回復処理は、前記小領域が設定されている画素に対する前記逆行列を用いて補間された逆行列を用いて行なわれること、を特徴とする画像回復方法である。
【０００９】
第３の発明は、第１の発明又は第２の発明に記載の画像回復方法において、前記画像取得ステップ及び前記逆行列演算ステップは、複数の撮影距離毎と複数の合焦距離毎との少なくとも一方で行なわれ、前記画像回復処理は、複数演算された前記逆行列の中から選択された逆行列を用いて、又は、複数演算された前記逆行列を用いて補間された逆行列を用いて行なわれること、を特徴とする画像回復方法である。
【００１０】
第４の発明は、第１の発明から第３の発明までのいずれかに記載の画像回復方法において、前記画像取得ステップと、前記逆行列演算ステップとは、前記撮影部（１０）の製造過程又は撮影前に予め実行して前記逆行列が演算されており、撮影時又は撮影後には、予め演算された前記逆行列を用いて前記回復ステップを実行すること、を特徴とする画像回復方法である。
【００１１】
第５の発明は、第１の発明から第４の発明までのいずれかに記載の画像取得部（２１）と、逆行列演算部（２３）と、画像回復部（２４）と、を備える画像回復装置（２０）である。
【００１２】
第６の発明は、撮影部（１０）と、第５の発明に記載の画像回復装置（２０）と、を備える撮影装置（１）である。
【００１３】
第７の発明は、コンピュータに、撮影部（１０）により撮影された撮影画像を取得する画像取得ステップと、撮影画像を取得する画像取得ステップと、前記撮影画像の画素配列の全体よりも小さな小領域を複数設定し、前記小領域に含まれる画素についての前記撮影画像のＰＳＦ行列を前記小領域毎に演算するＰＳＦ行列演算ステップと、前記ＰＳＦ行列の逆行列を前記小領域毎に演算する逆行列演算ステップと、前記逆行列演算ステップにより演算された前記逆行列を用いて画像回復処理を行なう回復ステップと、を実行させるための画像回復プログラムである。
【発明の効果】
【００１４】
本発明によれば、演算処理を軽減することができる画像回復方法、画像回復装置、撮影装置、画像回復プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明による撮影装置１の実施形態を示す図である。
【図２】撮影画像を簡略化して説明する図である。
【図３】図３は、小領域に着目して、撮影時の滲みについて説明する図である。
【図４】ＰＳＦ行列を説明する図である。
【図５】撮影装置１の画像回復の動作の流れを示すフローチャートである。
【図６】元画像及び撮影画像の小領域の例を示す図である。
【図７】ＰＳＦ行列の演算を説明する図である。
【図８】ＰＳＦ行列の演算を説明する図である。
【図９】画像回復を説明する図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
【００１７】
（実施形態）
図１は、本発明による撮影装置１の実施形態を示す図である。
撮影装置１は、撮影部１０と、画像回復装置２０とを備えている。
【００１８】
撮影部１０は、不図示のレンズ及び撮像素子を備えており、被写体像を画素ごとの輝度信号に変換し、デジタルデータの画像データを生成する。なお、本実施形態では、撮影部１０が備えるレンズは、焦点距離が固定であって、かつ、実使用時の撮影距離において、略焦点が合焦しているとみなせる、いわゆるパンフォーカスのレンズであるとして説明を行なう。
【００１９】
画像回復装置２０は、画像取得部２１と、ＰＳＦ演算部２２と、逆行列演算部２３と、画像回復部２４とを備えている。画像回復装置２０は、例えば、不図示のＣＰＵ、メモリ等を備えたコンピュータにより構成することができる。
【００２０】
画像取得部２１は、撮影部１０により被写体を撮影された撮影画像を取得する画像取得ステップを実行する。また、画像取得部２１は、元画像についても取得を行なう。
ここで、元画像とは、撮影部１０により撮影されるものではなく、理想的、又は、理想に近い状態で画像化された被写体画像であり、本来の被写体の見え方に忠実、又は、近い画像である。
また、ここで、被写体とは、ＰＳＦ行列を取得するために用意された検査用の被写体であり、例えば、点光源が複数配列されたり、検査用チャートが表示されたりした検査用のボード等である。
【００２１】
ＰＳＦ演算部２２は、撮影画像の画素配列の全体よりも小さな小領域を複数設定し、小領域に含まれる画素についての撮影画像のＰＳＦ行列を小領域毎に演算するＰＳＦ行列演算ステップを実行する。
ここで、小領域とＰＳＦ行列について説明する。
図２は、撮影画像を簡略化して説明する図である。
図２中の左上の小領域には、説明上、画素に１〜９の番号を設定した。図２中に正方形で示した範囲は、１画素を示しており、図示した例では、９×９の８１画素の撮影画像として示している。なお、実際には、例えば、１００万画素としたり、１０００万画素としたりすることができるが、ここでは説明のため大幅に簡略化している。
図２中に太線で囲った３×３の９画素の領域が、上述した小領域に相当する。本実施形態では、小領域を密接配置して合計９領域配置している。なお、この小領域は、図２に示したように密接配置とせずに、各小領域の一部が重なるように配置してもよいし、小領域の間隔が空いて、小領域が配置されていない画素が存在していてもよい。この小領域を設けることにより、画像全体での演算を行わずに、小領域毎に演算を小分けすることが可能となる。
【００２２】
レンズの収差等によって生じる被写体像の劣化や、焦点ずれによって生じる被写体像のボケ等（以下、これらを総称して、「画像の滲み」と呼ぶ）の広がる範囲が、画素としてみると、１画素の滲みが画像全体に広がるようなことは稀であり、限定的な範囲での滲みが主である。したがって、小領域を適切な範囲に設定することにより、撮影画像の全体にわたって演算を行わずに、小領域毎に演算を行なっても、適切な画像回復を行なうことが可能となる。
【００２３】
ここでは、理解を容易にするために、小領域として、図２に示した３×３の９画素の領域で説明を行なうが、実際には、もう少し大きな領域、例えば、１６×１６としたり、６４×６４としたりしてもよく、この大きさは、撮影する被写体や撮影環境等に応じて適宜変更してもよい。
【００２４】
図３は、小領域に着目して、撮影時の滲みについて説明する図である。図３（ａ）は、元画像を示し、図３（ｂ）は、画像の滲みの影響を受けた撮影画像を示す。
ここでは、１〜９の番号は、その画素の輝度データに画素の番号を付けて表現している。すなわち、撮影画像では、画像の滲みの影響により、１〜９の輝度データが、１’〜９’のように変化してしまっていることを表現している。この画像の劣化は、ＰＳＦ行列によって説明することができる。
【００２５】
図４は、ＰＳＦ行列を説明する図である。
図４中のＰＳＦ行列として示した部分に記載した、５１、５２、・・・等の数値は、例えば、５１であれば、左側の数値「５」の位置番号の画素が、右側の数値「１」に及ぼす影響がこの行列位置に与えられていることを示している。よって、図２及び図３に示した画素番号５が周囲の画素番号１、２、３、４、６、７、８、９へ与える影響は、図４中のＰＳＦ行列において太線で囲った部分のみが関係することになる。そして、このＰＳＦ行列が元画像にかけ合わせられることにより、画像の滲みの影響を受けた撮影画像が得られている。
ここで、元画像と撮影画像が得られているので、ＰＳＦ行列は、行列演算によって、求めることが可能である。
【００２６】
逆行列演算部２３は、ＰＳＦ演算部２２が演算したＰＳＦ行列の逆行列を小領域毎に演算する逆行列演算ステップを実行する。
【００２７】
画像回復部２４は、逆行列演算ステップにより演算された逆行列を用いて画像回復処理を行なう回復ステップを実行する。ＰＳＦ行列の逆行列が求まっていれば、撮影画像から元画像を生成（復元）、すなわち、画像の劣化を除去又は軽減した回復画像を得ることが可能である。
【００２８】
次に、より具体的に、本実施形態における画像回復の動作について説明する。
図５は、撮影装置１の画像回復の動作の流れを示すフローチャートである。
ステップ（以下、Ｓとする）１１では、撮影部１０が検査用チャートの撮影を行なう。
Ｓ１２では、画像取得部２１が、撮影画像及び元画像を取得する。元画像については、例えば、別途用意された元画像の入力により行なわれる。
図６は、元画像及び撮影画像の小領域の例を示す図である。図６（ａ）は、元画像の小領域を示し、図６（ｂ）は撮影画像の小領域を示す。
図６に示す各画素に記載されている数値は、輝度を表すものであり、元画像での最も高い輝度を１００として示している。以下、この小領域を例として、説明を行なう。
【００２９】
Ｓ１３では、ＰＳＦ演算部２２が、ＰＳＦ行列の演算を行なう。
図７及び図８は、ＰＳＦ行列の演算を説明する図である。
撮影画像には、レンズの収差等、撮影部固有の特性によって、元画像に画像の滲みが生じている。この画像の滲み発生の仕方は、撮影部が同じで、かつ、撮影条件が同じであれば、同様な発生の仕方となる。この画像の滲み発生の仕方は、ＰＳＦによって表すことができるので、図７に示すような関係となる。よって、ＰＳＦ行列は、行列演算によって、求めることができ、図８に示すようになる。
具体的な例で説明すると、画素１〜９において、画素５の輝度が１の点光源の元画像から、画素１〜９の輝度が０．２，０．０７５，０．０２５，０．０７５，０．５，０．０２５，０．０２５，０．０２５，０．０５の撮影画像が得られたとき、それがそのままＰＳＦ行列の５１〜５９に相当し、画素５以外でも同様である（図４及び図８参照）。なお、点光源以外の元画像を用い、計算にてＰＳＦ行列を求めても構わない。
【００３０】
Ｓ１４では、逆行列演算部２３が、Ｓ１３で求めてＰＳＦについて、ＰＳＦ逆行列の演算を行なう。なお、逆行列が一意に求まらない場合は、擬似逆行列にてそれに代える。
Ｓ１５では、逆行列演算部２３が、ＰＳＦ逆行列の保存を行なう。
【００３１】
上述した、Ｓ１１からＳ１５までの動作は、例えば、撮影部１０の製造工場における調整工程等において行なわれるとよい。
Ｓ１６では、撮影部１０が撮影を行なう。このＳ１６での撮影は、実際に撮影装置１を利用する場合の通常の撮影動作である。
Ｓ１７では、画像回復部２４が、撮影画像の画像回復を行なう。このとき、先に保存しておいたＰＳＦ逆行列を用いる。
図９は、画像回復を説明する図である。
図９中に示したＰＳＦ逆行列は、Ｓ１４で演算してＳ１５で保存しておいたものであり、撮影画像は、Ｓ１６で撮影した画像である。撮影画像にＰＳＦ逆行列をかけ合わせることにより、回復画像を得ることができる。
すなわち、画素５の滲みが画素１〜９と互いに影響を及ぼし合うと想定して画素１〜９の小領域に着目した場合、画素５の画像（輝度）は、ＰＳＦ行列１１〜９９から求めた逆行列の１５〜９５と通常撮影した画素１〜９の輝度の内積にて回復することができる。なお、滲みの実情に合わせ、ＰＳＦ行列及び逆行列を拡大縮小するのは言うまでもない。
【００３２】
なお、上記説明では、小領域の５番の符号をつけた画素の滲みを回復する例として説明したが、この動作を撮影画像中の画素すべてにおいて順次行なう。ここで、ＰＳＦ逆行列は、小領域毎でのみ演算を行なっており、小領域が設定されていない部分では、ＰＳＦ逆行列の演算を行なっていない。すなわち、図２に示した画素番号５については、ＰＳＦ逆行列の演算を行なっているが、それ以外の画素番号１〜４、及び、６〜９については、ＰＳＦ逆行列の演算を行なっていない。これらの部分については、他の小領域のＰＳＦ逆行列も利用して、平均値や近似値等を用いて内挿（補間）処理を行なう。これにより、演算処理をさらに高速化することができる。
【００３３】
本実施形態では、画像全体よりも小さな小領域毎に回復演算を行なうように構成した。これにより、画像全体での演算を行なう必要がなく、演算を高速で行なうことができる。
【００３４】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
【００３５】
（１）実施形態において、撮影装置１に画像回復装置２０が含まれている構成を例に挙げて説明した。これに限らず、例えば、画像回復装置は、撮影装置に含まれず別体に構成されていてもよい。
【００３６】
（２）実施形態において、撮影部のレンズがパンフォーカスである例を挙げて説明した。これに限らず、例えば、フォーカスずれ（ピンとずれ）によるボケの回復に本発明を適用してもよい。その場合、複数の撮影距離や合焦距離等でＰＳＦ逆行列を予め求めて保存しておき、撮影時の撮影距離や合焦距離から、ＰＳＦ逆行列を内挿するとよい。
【００３７】
（３）実施形態において、撮影部のレンズは、撮影光軸が一つの通常の撮影レンズとして説明した。これに限らず、例えば、複数のレンズが並べて配置されたレンズアレイの形態であって、撮影光軸が複数のいわゆる複眼レンズの構成であってもよい。
【００３８】
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。
【符号の説明】
【００３９】
１      撮影装置
１０    撮影部
２０    画像回復装置
２１    画像取得部
２２    ＰＳＦ演算部
２３    ＰＳＦ逆行列演算部
２４    画像回復部
【図１】
2020087146.tif 000003
【図２】
2020087146.tif 000004
【図３】
2020087146.tif 000005
【図４】
2020087146.tif 000006
【図５】
2020087146.tif 000007
【図６】
2020087146.tif 000008
【図７】
2020087146.tif 000009
【図８】
2020087146.tif 000010
【図９】
2020087146.tif 000011