(57)【要約】【課題】  画像に生じたボケがピンボケであるか手ブレボケであるかによらず、共通のアルゴリズムを用いて、高速かつ高精度の先鋭化処理を行う手段を提供する。【解決手段】  本画像処理プログラム６は、被写体Ｈから発せられてカメラの撮像素子面Ｓ上に位置する所定の撮像素子（ｘ，ｙ）によって受け止められる光の総量が、被写体Ｈの所定部分から発せられて撮像素子面Ｓに到達した光のうち所定の撮像素子（ｘ，ｙ）によって受け止められる光量と、被写体Ｈの所定部分から発せられた光の拡散範囲内に含まれる撮像素子のうち所定の撮像素子（ｘ，ｙ）を除く他の撮像素子によって受け止められる光の総量との合計に等しいと近似して、被写体Ｈの所定部分から発せられて撮像素子面Ｓに到達した光量を算出することにより、原画像データに基づいて新たな画像を生成する処理をコンピュータに実行させるものである。【選択図】  図５
2007226520.tif 000002
【特許請求の範囲】
【請求項１】
ピンボケや手ブレボケが生じた原画像に対する先鋭化処理をコンピュータに実行させる画像処理プログラムにおいて、
被写体から発せられてカメラの撮像素子面上に位置する所定の撮像素子によって受け止められる光の総量が、前記被写体の所定部分から発せられて前記撮像素子面に到達した光のうち前記所定の撮像素子によって受け止められる光量と、前記被写体の所定部分から発せられた光の拡散範囲内に含まれる撮像素子のうち前記所定の撮像素子を除く他の撮像素子によって受け止められる光の総量との合計に等しいと近似して、前記被写体の所定部分から発せられて前記撮像素子面に到達した光量を算出することにより、原画像データに基づいて新たな画像を生成する処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１記載の画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項３】
ピンボケや手ブレボケが生じた原画像に先鋭化処理を実行する画像処理装置において、
原画像の画像データを入力するための原画像入力手段と、被写体から発せられてカメラの撮像素子面上に位置する所定の撮像素子によって受け止められる光の総量が、前記被写体の所定部分から発せられて前記撮像素子面に到達した光のうち前記所定の撮像素子によって受け止められる光量と、前記被写体の所定部分から発せられた光の拡散範囲内に含まれる撮像素子のうち前記所定の撮像素子を除く他の撮像素子によって受け止められる光の総量との合計に等しいと近似して、前記被写体の所定部分から発せられて前記撮像素子面に到達した光量を算出する近似的理想像算出手段と、該近似的理想像算出手段の算出結果に基づいて新たな画像を生成する新画像生成手段と、を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピンボケ画像や手ブレ画像を先鋭な画像に修正する画像処理プログラム及び画像処理装置に関し、特に、同じアルゴリズムでピンボケと手ブレの双方を、短い処理時間で且つ高い精度で修正可能な画像処理プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに画像処理装置画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等を用いて被写体を撮影した場合、写真画像にボケが生じる場合がある。このボケとしては、焦点距離のズレに起因するピンボケと、撮像者の手のぶれに起因する手ブレボケと、被写体が動くことに起因する被写体ブレボケとが挙げられる。このようなボケ画像を先鋭化すなわちくっきりとした画像に修正する方法として、いわゆるアンシャープマスクやラプラシアンフィルタによる処理が従来用いられている（例えば特許文献１及び特許文献２参照）。アンシャープマスクによる処理は、ボケが生じた原画像を更にぼかしたボカシ画像を生成し、このボカシ画像と原画像との差分を原画像に上乗せすることによりボケを修正するものである。一方、ラプラシアンフィルタによる処理は、原画像の二次微分値を調べることにより、明暗や色合いが急激に変化している境界を見つけ、それを原画像に上乗せすることによりボケを修正するものである。
【０００３】
【特許文献１】特開２００６−０３１１９５号公報
【特許文献２】特開２００６−０１１６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、アンシャープマスクやラプラシアンフィルタを用いて先鋭化処理を行う従来の画像処理プログラムや画像処理装置では、ピンボケと手ブレボケの双方を包括的に先鋭化することができないため、画像に生じたボケに応じてアンシャープマスクやラプラシアンフィルタ等を適宜使い分ける必要があって処理が煩雑になり、また、ピンボケと手ブレボケの双方が複合的に発生した画像に対しては有効な先鋭化を行うことが難しいという問題があった。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、画像に生じたボケがピンボケであるか手ブレボケであるかによらず、共通のアルゴリズムを用いて、高速かつ高精度の先鋭化処理を行う手段を提供する。
【課題を解決するための手段】
【０００６】
上記目的を達成するための請求項１記載の画像処理プログラムは、ピンボケや手ブレボケが生じた原画像に対する先鋭化処理をコンピュータに実行させる画像処理プログラムにおいて、被写体から発せられてカメラの撮像素子面上に位置する所定の撮像素子によって受け止められる光の総量が、前記被写体の所定部分から発せられて前記撮像素子面に到達した光のうち前記所定の撮像素子によって受け止められる光量と、前記被写体の所定部分から発せられた光の拡散範囲内に含まれる撮像素子のうち前記所定の撮像素子を除く他の撮像素子によって受け止められる光の総量との合計に等しいと近似して、前記被写体の所定部分から発せられて前記撮像素子面に到達した光量を算出することにより、原画像データに基づいて新たな画像を生成する処理をコンピュータに実行させるものである。
【０００７】
請求項２記載のコンピュータ読み取り可能な記録媒体は、請求項１記載の画像処理プログラムが記録されたものである。
【０００８】
請求項３記載の画像処理装置は、ピンボケや手ブレボケが生じた原画像に先鋭化処理を実行する画像処理装置において、原画像の画像データを入力するための原画像入力手段と、被写体から発せられてカメラの撮像素子面上に位置する所定の撮像素子によって受け止められる光の総量が、前記被写体の所定部分から発せられて前記撮像素子面に到達した光のうち前記所定の撮像素子によって受け止められる光量と、前記被写体の所定部分から発せられた光の拡散範囲内に含まれる撮像素子のうち前記所定の撮像素子を除く他の撮像素子によって受け止められる光の総量との合計に等しいと近似して、前記被写体の所定部分から発せられて前記撮像素子面に到達した光量を算出する近似的理想像算出手段と、該近似的理想像算出手段の算出結果に基づいて新たな画像を生成する新画像生成手段と、を備えるものである。
【発明の効果】
【０００９】
本発明の請求項１に係る画像処理プログラムによれば、膨大な変数を含んだ連立方程式を解くことなく、焦点距離のズレや撮影者の手ブレが全くない場合の被写体の理想像を近似的に算出することにより、高速且つ高精度の先鋭化処理が可能となる。また、光の拡散率を適宜調整することによって、ピンボケと手ブレボケの双方が複合的に発生した画像であっても、有効な先鋭化処理を行うことができる。
【００１０】
本発明の請求項２に係るコンピュータ読み取り可能な記録媒体によれば、請求項１記載の画像処理プログラムを持ち運んで所望の場所で使用することができる。
【００１１】
また、本発明の請求項３に係る画像処理装置によれば、膨大な変数を含んだ連立方程式を解くことなく、焦点距離のズレや撮影者の手ブレが全くない場合の被写体の理想像を近似的に算出することにより、高速且つ高精度の先鋭化処理が可能となる。また、光の拡散率を適宜調整することによって、ピンボケと手ブレボケの双方が複合的に発生した画像であっても、有効な先鋭化処理を行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施例に係る画像処理装置及び画像処理プログラムについて図面に基づいて説明する。図１は、本実施例に係る画像処理装置１の構成を示すブロック図である。本画像処理装置１は、修正すべき原画像の画像データを入力するためのメディアリーダ（原画像入力手段）２と入力された原画像に基づいてこれを先鋭化した新画像を生成するコンピュータ３と、生成された新画像をプリントアウトするための写真プリンタ４と、を備えてなるものである。
【００１３】
メディアリーダ２は、メモリカード，ＣＤ等の各種記憶媒体に記憶された原画像データを読み取ってコンピュータ３に入力するためのものである。もちろん、本発明にかかる原画像入力手段として、本実施例のメディアリーダ２に代えて従来公知のイメージスキャナ等を用いることにより、プリント済みの写真画像から画像データを読み取ることも可能である。
【００１４】
コンピュータ３は、メディアリーダ２から入力された原画像データを記憶する画像メモリ５と、画像先鋭化のための画像処理プログラム６を格納するハードディスク７と、該ハードディスク７から読み出された画像処理プログラム６を一時記憶するＲＡＭ（Ｒａｎｄａｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８と、この画像処理プログラム６に従って原画像データを先鋭化処理するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９と、原画像や先鋭化処理後の画像を表示するための表示部１０と、マウスやキーボード等で構成される操作部１１と、がシステムバス１２を介して接続されてなるものである。
【００１５】
以下、本発明に係る画像処理プログラム６のアルゴリズムについて説明する。本画像処理プログラム６は、種々のプログラミング言語を用いて作成され、原画像データに基づいてピントずれや手ブレがまったく発生しない時の理想像を近似的に算出するものである。
【００１６】
画像処理プログラム６のアルゴリズムの説明に先立って、まず、デジタルカメラにおけるピンボケや手ブレボケの発生メカニズムについて説明する。一般に、デジタルカメラの内部には、光を受けると電気的に反応する素子（以下、「撮像素子」という）が設けられており、撮影しようとする物体（以下、「被写体」という）の表面から発せられた光の粒である光子が、デジタルカメラのシャッターが開いている間に、カメラ内部の撮像素子に到達することより、被写体に応じた像が形成される。これにより、デジタルカメラによる被写体の撮影が可能となっている。本発明では、図２に示すように、被写体Ｈの表面を格子状に分割して、各格子内に位置する被写体Ｈの所定部分を被写体（ｘ，ｙ）と表し、被写体（ｘ，ｙ）の部分から発せられた全ての光子のうち、デジタルカメラの撮像素子面Ｓまで到達した光子の数すなわち光の量を、出力光量＿被写体（ｘ，ｙ）と表すこととする。一方、デジタルカメラの撮像素子面Ｓは、被写体の分割数と同数の撮像素子が整列してできたものとし、撮像素子の所定部分を撮像素子（ｘ，ｙ）と表し、撮像素子（ｘ，ｙ）の部分が受け取った光子の数すなわち光の量を、入力光量＿撮像素子（ｘ，ｙ）と表すこととする。
【００１７】
ここで、下記の式（１）のような理想的な条件が完全に整った時、すなわち、被写体（ｘ，ｙ）から発せられてデジタルカメラの撮像素子面Ｓまで到達した光子の全てが唯１個の撮像素子（ｘ，ｙ）によって受け止められ、それ以外の撮像素子によって受け止められた光子が１個もない時、撮像素子面Ｓには被写体Ｈと全く同一の像が形成され、ピンボケ・手ブレボケが全く発生しないピンボケ及び手ブレボケ・ゼロ状態の写真を撮ることができる。
【数１】
2007226520.tif 000003
【００１８】
しかし、現実の写真撮影においては、レンズの性能限界や、シャッターが開いている間に撮影者がカメラを動かしてしまったり（手ブレ）、被写体Ｈに焦点距離が合っていない（ピンボケ）等の事情により、式（１）が完全に成り立つことはなく、被写体（ｘ，ｙ）から発せられてデジタルカメラの撮像素子面Ｓまで到達した光子の一部は、撮像素子（ｘ，ｙ）以外の撮像素子によって受け止められる。例えば、手ブレが生じた場合、図３に示すように、撮像素子まで到達した光子の一部は、撮像素子（ｘ，ｙ）に対して手ブレ方向とは逆方向に位置する撮像素子によって受け止められ、これにより手ブレボケが発生する。また、被写体Ｈに焦点距離が合っていない場合、図４に示すように、撮像素子まで到達した光子の一部は、四方八方に拡散して撮像素子（ｘ，ｙ）の周囲の撮像素子によって受け止められ、これによりピンボケが発生する。
【００１９】
このようにしてピンボケ・手ブレボケが生じた原画像からボケのない理想像を求めるべく、本発明に係る画像処理プログラム６では、光子の拡散率が適宜設定されている。表１は、光子の拡散率の一例を示すテーブルである。この場合、被写体（ｘ，ｙ）から撮像素子面Ｓまで到達した光子のうち、約４０％が撮像素子（ｘ，ｙ）によって受け止められ、約１０％が撮像素子（ｘ，ｙ−１），撮像素子（ｘ，ｙ＋１），撮像素子（ｘ−１，ｙ），撮像素子（ｘ＋１，ｙ）によってそれぞれ受け止められ、約５％が撮像素子（ｘ−１，ｙ−１），撮像素子（ｘ−１，ｙ＋１），撮像素子（ｘ＋１，ｙ−１），撮像素子（ｘ＋１，ｙ＋１）によって受け止められることを意味している。すなわち、被写体（ｘ，ｙ）から発せられた光子が拡散する範囲は、撮像素子（ｘ，ｙ）とこれを包囲するようにして隣接する計９個の撮像素子の範囲に限られ、それより外側の撮像素子の範囲へは拡散しないことを意味している。
【表１】
2007226520.tif 000004
【００２０】
そして、光子の拡散率を表１に示すように設定した場合、図５に示すように、撮像素子（ｘ，ｙ）が受け止める光子の総数は、被写体（ｘ，ｙ）とこれを包囲するようにして隣接する計９個の被写体格子から発せられた光子の合計となり、次の式（２）が成立する。
【数２】
2007226520.tif 000005
【００２１】
ここで、式（２）における入力光量＿撮像素子（ｘ，ｙ）は、メディアリーダ２から入力された原画像データを参照することで全てのｘとｙについて得られる既知の値であるため、この既知の入力光量＿撮像素子（ｘ，ｙ）に基づいて、被写体（ｘ，ｙ）から発せられた全ての光子のうちデジタルカメラの撮像素子面Ｓに到達した光子の総数である出力光量＿被写体（ｘ，ｙ）を全てのｘとｙについて求めることにより、撮影した被写体Ｈの正確な像を得ることができる。すなわち、ボケが生じている原画像に基づいて、ボケのない被写体Ｈの正確な像を知ることができる。
【００２２】
本画像処理プログラム６では、被写体Ｈや撮像素子面Ｓの分割数を多くした場合でも、式（２）において、膨大な変数を含んだ連立方程式を解くことなく、全てのｘとｙについて出力光量＿被写体（ｘ，ｙ）を近似的に算出することを可能とすべく、出力光量＿被写体（ｘ−１，ｙ）を入力光量＿撮像素子（ｘ−１，ｙ）に、出力光量＿被写体（ｘ＋１，ｙ）を入力光量＿撮像素子（ｘ＋１，ｙ）に、出力光量＿被写体（ｘ，ｙ−１）を入力光量＿撮像素子（ｘ，ｙ−１）に、出力光量＿被写体（ｘ，ｙ＋１）を入力光量＿撮像素子（ｘ，ｙ＋１）に、出力光量＿被写体（ｘ−１，ｙ−１）を入力光量＿撮像素子（ｘ−１，ｙ−１）に、出力光量＿被写体（ｘ＋１，ｙ−１）を入力光量＿撮像素子（ｘ＋１，ｙ−１）に、出力光量＿被写体（ｘ−１，ｙ＋１）を入力光量＿撮像素子（ｘ−１，ｙ＋１）に、出力光量＿被写体（ｘ＋１，ｙ＋１）を入力光量＿撮像素子（ｘ＋１，ｙ＋１）に、それぞれ置換して導出した以下の式（３）を用いている。
【数３】
2007226520.tif 000006
【００２３】
ここで、下記の式（４）のように定義する光総量・周囲分なる値を新たに導入することにより式（３）を下記の式（５）のように書き直すことができる。
【数４】
2007226520.tif 000007
【数５】
2007226520.tif 000008
【００２４】
そして、式（５）を変形することによって、下記の式（６）を導くことができる。
【数６】
2007226520.tif 000009
ここで、前述のように、入力光量＿撮像素子（ｘ，ｙ）と光総量・周囲分とは、共に入力された原画像データから得られる既知の値である。従って、前記ＣＰＵ８は、この式（６）を用いて全てのｘとｙについて出力光量＿被写体（ｘ，ｙ）を算出し、これに応じた画像を新たに生成する。このように、ボケている原画像を修正するのではなく、ボケている原画像データに基づいてボケがない状態での被写体Ｈの理想像を近似的に算出した上で、これに応じた新たな画像を生成することとしたので、膨大な数の変数を含んだ連立方程式を解く必要がない分、処理時間を短縮することができ、且つ、高い精度でボケを修正することができる。
【００２５】
尚、光子の拡散率は表１に限定されず任意の設定に変更することが可能であり、拡散率の設定を変化させることにより、ボケの修正の度合いを強くし又は弱くするように調整することができる。また、本実施例では被写体（ｘ，ｙ）から発せられた光子が撮像素子（ｘ，ｙ）及びこれを包囲するように隣接する計９個の撮像素子の範囲に拡散し、それより外側の撮像素子の範囲には拡散しないものとして拡散率を設定したが、これに限られず、例えば撮像素子（ｘ，ｙ）の隣の隣の撮像素子、すなわち撮像素子（ｘ，ｙ）を中心として５×５＝計２５個あるいは７×７＝計４９個の撮像素子の範囲に光子が拡散するものとして拡散率を設定することも可能である。以下の表２と表３は、この場合の拡散率の設定例を示したものであり、表２はピンボケ修正の度合いを強めにした場合の設定例であって、表３は表２より修正の度合いを弱めにした場合の設定例を示している。
【表２】
2007226520.tif 000010
【表３】
2007226520.tif 000011
【００２６】
また、光子の拡散の様相が２次元正規分布に従うということを前提として光子の拡散率を設定することも可能である。この場合、標準偏差という１個の数値をパラメータとして与えるだけで、ピンボケの修正度合いを強くし又は弱くするように自在に調整することができるので、操作が極めてシンプルになるという利点がある。尚、この場合の画像処理のアルゴリズムは、式（６）を用いて行う点で前述と同様であり、ここでは説明を省略する。
【００２７】
一方、本画像処理プログラム６は、光子の拡散率の設定を、ピンボケ修正の場合と異なる設定とすることによって、手ブレボケの修正も行うことが可能となっている。表４は、手ブレボケ修正の場合の光子の拡散率の設定例であり、撮像素子（ｘ，ｙ）の他に、手ブレ方向とは逆方向に隣接する撮像素子（ｘ−１，ｙ）と、更にそれに隣接する撮像素子（ｘ−２，ｙ）とが光子を受け止めることを示している。
【表４】
2007226520.tif 000012
この場合、前記式（５）と同様に下記の式（７）が成立し、これを変形することで式（８）に示すように出力光量＿被写体（ｘ，ｙ）を算出することができる。これにより、手ブレボケした原画像データに基づいて手ブレがない状態での被写体Ｈの理想像を近似的に算出した上で、これに応じた新たな画像を生成することにより、手ブレボケを修正することができる。
【数７】
2007226520.tif 000013
【数８】
2007226520.tif 000014
【００２８】
このように、同じアルゴリズムを用いてピンボケと手ブレボケの双方を修正可能としたことにより、画像に生じたボケがピンボケか手ブレボケかによって修正のためのアルゴリズムを使い分ける必要がなく、処理が簡略化される。加えて、ピンボケと手ブレボケの双方が複合的に生じた画像でも、有効な先鋭化処理を行うことができるという利点がある。
【００２９】
また、多画素化が進む近年のデジタルカメラで撮影した画像であって、被写体Ｈから発せられた光子が撮像素子の広い範囲に渡って拡散することが想定される場合には、本発明の適用に当たり、以下のような応用的な手法を用いることも可能である。すなわち、修正すべき原画像上に、複数の画素を含んでなる所定大きさのメッシュを設定する。このメッシュの大きさは、原画像の横方向と縦方向のそれぞれにメッシュ個数が１０００個を超えないような大きさとする。そして、光子の拡散率を表２に示すように設定する前提の下で式（６）を変更した式（９）を用いることにより、被写体Ｈの理想像を近似的に算出する。尚、式（９）中の｛メッシュ中平均＿入力光量＿撮像素子（ｍ，ｎ）｝とは、原画像中の横方向にｍ番目、縦方向にｎ番目に位置するメッシュ（ｍ，ｎ）に注目し、その内部に存在する全ての撮像素子（ｘ，ｙ）に対して｛入力光量＿撮像素子（ｘ，ｙ）｝を調べ、それらの平均値を算出したものである。
【数９】
2007226520.tif 000015
【産業上の利用可能性】
【００３０】
本発明は、ピンボケ画像や手ブレ画像を先鋭な画像に修正する画像処理プログラム及び画像処理装置に適用可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施例に係る画像処理装置１の構成を示すブロック図。
【図２】被写体Ｈから発せられた光子が撮像素子面Ｓに到達する様子を説明するための説明図。
【図３】手ブレボケの発生を説明するための説明図。
【図４】ピンボケの発生を説明するための説明図。
【図５】撮像素子（ｘ，ｙ）が受け止める光子の総数を説明するための説明図。
【符号の説明】
【００３２】
１  画像処理装置
２  メディアリーダ
３  コンピュータ
６  画像処理プログラム
９  ＣＰＵ
Ｈ  被写体
Ｓ  撮像素子面
【図１】
2007226520.tif 000016
【図２】
2007226520.tif 000017
【図３】
2007226520.tif 000018
【図４】
2007226520.tif 000019
【図５】
2007226520.tif 000020
【手続補正書】
【提出日】平成18年8月9日(2006.8.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
そして、式（５）を変形することによって、下記の式（６）を導くことができる。
【数６】
2007226520.tif 000021
ここで、前述のように、入力光量＿撮像素子（ｘ，ｙ）と光総量・周囲分とは、共に入力された原画像データから得られる既知の値である。従って、前記ＣＰＵ９は、この式（６）を用いて全てのｘとｙについて出力光量＿被写体（ｘ，ｙ）を算出し、これに応じた画像を新たに生成する。このように、ボケている原画像を修正するのではなく、ボケている原画像データに基づいてボケがない状態での被写体Ｈの理想像を近似的に算出した上で、これに応じた新たな画像を生成することとしたので、膨大な数の変数を含んだ連立方程式を解く必要がない分、処理時間を短縮することができ、且つ、高い精度でボケを修正することができる。