(57)【要約】【課題】  画像劣化に対応することが可能で、また、計算量が多大とならぬようにする。【解決手段】  処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得る輝度補正画像作成手段３と、前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得る差分手段４と、を具備する。【選択図】  図１
2007049244.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得る輝度補正画像作成手段と、
前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得る差分手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
複数種のパラメータを有しており、処理対象画像のコントラストに応じて対応するパラメータを選択して前記輝度補正画像作成手段による処理に用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度補正画像作成手段による処理に先立って、処理画像に対してノイズを除去する平滑化を行う平滑化手段が具備されていることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
処理対象画像の明るさに応じて輝度補正画像作成手法を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得る輝度補正画像作成ステップと、
前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得る差分ステップと、
を具備することを特徴とする画像処理方法。
【請求項６】
複数種のパラメータを有しており、処理対象画像のコントラストに応じて対応するパラメータを選択して前記輝度補正画像作成ステップによる処理に用いることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記輝度補正画像作成ステップによる処理に先立って、処理画像に対してノイズを除去する平滑化を行う平滑化ステップが具備されていることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
処理対象画像の明るさに応じて輝度補正画像作成手法を変更することを特徴とする請求項５に記載の画像処理方法。
【請求項９】
コンピュータにより実行されることにより、
処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得る輝度補正画像作成ステップと、
前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得る差分ステップと、
が実現されることを特徴とする画像処理プログラム。
【請求項１０】
複数種のパラメータを有しており、処理対象画像のコントラストに応じて対応するパラメータを選択して前記輝度補正画像作成ステップによる処理に用いることを特徴とする請求項９に記載の画像処理プログラム。
【請求項１１】
前記輝度補正画像作成ステップによる処理に先立って、処理画像に対してノイズを除去する平滑化を行う平滑化ステップが具備されていることを特徴とする請求項９または１０に記載の画像処理プログラム。
【請求項１２】
処理対象画像の明るさに応じて輝度補正画像作成手法を変更することを特徴とする請求項９に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、得られた画像について画質の改善を図るための画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
監視システムにおいて用いられているカメラにより得られた画像は、次の如くの原因により低画質画像となることが多い。すなわち、カメラ本体の性能が元々低い場合、カメラの経年劣化による画質低下の場合、カメラ本体は性能が良いがレンズの性能が低い場合、カメラ画像を遠隔に伝送するためときの伝送路等における経年劣化の場合等である。
【０００３】
従来の装置にあっては画像の明るさの改善を行うことは可能なものの、画質を改善するものは少ない。特に、事象検出の画像処理を行う場合には低画質画像が入力されると検出性能が低下することは避けることができない。従来のＦＡ分野においては、固定カメラを用いてライン上を流れる対象物を撮像し、対象物を一定時間同じ場所に固定し、欠陥の有無を検査するシーンで次の処理を実施するものである。時間平均画像を作成することで入力画像中のノイズを除去する等の単純なものが多く、一般的な低画質画像の高画質化に適用することは必ずしも適切ではない。
【０００４】
また、純粋研究分野などにおいては、低画質画像（低コントラスト、ピントボケ、ノイズ他）に対して演算を行い、本来のあるべき姿の画像（高画質画像）を復元するものがある。低画質画像に残されているエッジ情報等を基にして低画質画像を高画質画像へ変換する計算式を算出するものが多い。しかし、画像によっては画像中のエッジが少ないなどにより変換式を正常に演算できない場合がある。また、変換式の計算量が多大であり、リアルタイムに低画質画像を高画質画像へ変換することが困難であるという問題もある。
【０００５】
更に、画質の改善を行うものとして、特許文献１には、フレーム間差分の場合にエリア分けして、エリア毎の重み付け係数を設定して、この係数をエリア毎に適用して画質改善を行うことが示されている。
【０００６】
また、引用文献２には、入力ディジタル画像ファイルのＤＣＴ係数の配列から複数のＤＣＴ係数を読み出し、この複数の係数から全ブロック中の最小のぼけ量を持つブロックのぼけ量を数値化し、また上記の複数の係数からを全ブロックのぼけ量を数値化し、これらの２通りの数値化した値に基づきフィルタを選択して上記入力ディジタル画像ファイルに適用するシステムが示されている。
【特許文献１】特開平７−１０７３４４号公報（全般）
【特許文献２】特開２００４−２０１２９０号公報（全般）
【０００７】
しかしながら、引用文献１のものは特に対象物が動いていることに対応するものであり、カメラの劣化等に対して適用でき難いものである。また、引用文献２のものは、計算量が多いことが懸念されるものであった。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
解決しようとする課題は、カメラ劣化等の通常に生じる画像劣化に対応することが可能であり、また、計算量が多大となることのない画像処理装置、画像処理方法及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得る輝度補正画像作成手段と、前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得る差分手段と、を具備することを特徴とする。
【００１０】
本発明に係る画像処理装置は、複数種のパラメータを有しており、処理対象画像のコントラストに応じて対応するパラメータを選択して前記輝度補正画像作成手段による処理に用いることを特徴とする。
【００１１】
本発明に係る画像処理装置は、前記輝度補正画像作成手段による処理に先立って、処理画像に対してノイズを除去する平滑化を行う平滑化手段が具備されていることを特徴としている。
【００１２】
本発明に係る画像処理装置は、処理対象画像の明るさに応じて輝度補正画像作成手法を変更することを特徴とする。
【００１３】
本発明に係る画像処理方法は、処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得る輝度補正画像作成ステップと、前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得る差分ステップと、を具備することを特徴とする。
【００１４】
本発明に係る画像処理方法は、複数種のパラメータを有しており、処理対象画像のコントラストに応じて対応するパラメータを選択して前記輝度補正画像作成ステップによる処理に用いることを特徴とする。
【００１５】
本発明に係る画像処理方法は、前記輝度補正画像作成ステップによる処理に先立って、処理画像に対してノイズを除去する平滑化を行う平滑化ステップが具備されていることを特徴とする。
【００１６】
本発明に係る画像処理方法は、処理対象画像の明るさに応じて輝度補正画像作成手法を変更することを特徴とする。
【００１７】
本発明に係る画像処理プログラムは、コンピュータにより実行されることにより、処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得る輝度補正画像作成ステップと、前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得る差分ステップと、が実現されることを特徴とする。
【００１８】
本発明に係る画像処理プログラムは、複数種のパラメータを有しており、処理対象画像のコントラストに応じて対応するパラメータを選択して前記輝度補正画像作成ステップによる処理に用いることを特徴とする。
【００１９】
本発明に係る画像処理プログラムは、前記輝度補正画像作成ステップによる処理に先立って、処理画像に対してノイズを除去する平滑化を行う平滑化ステップが具備されていることを特徴とする。
【００２０】
本発明に係る画像処理プログラムは、処理対象画像の明るさに応じて輝度補正画像作成手法を変更することを特徴とする。
【発明の効果】
【００２１】
本発明においては、処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像を得て、前記処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得るようにしているので、人工的に作成した輝度補正画像の成分を処理対象画像から引き算することにより、処理対象画像に含まれる輝度補正画像を除去し画質の改善を図った画像を得ることができる。
【発明を実施するための最良の形態】
【００２２】
本発明では、処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、前記注目画素の輝度値と変換することにより人工的に所謂ボケ画像である輝度補正画像を作成して、この輝度補正画像を処理対象画像から引き算するという比較的簡単な処理により、画質の改善を行う目的を達成したものである。
【実施例１】
【００２３】
以下添付図面を参照して、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの実施例を説明する。図１には、本発明に係る画像処理装置の構成が示されている。本発明に係る画像処理装置は、画像入力部１、平滑化手段２、輝度補正画像作成手段３及び差分手段４を具備している。画像入力部１は、カメラにより撮像された監視対象の画像信号、或いは記録されている処理対象画像信号を取り込む（読み込む）ための構成であり、画像信号がディジタル化されていなければ、画素対応の輝度情報へ変換するディジタル化を行う構成を備えるものである。
【００２４】
平滑化手段２は、処理画像に対してノイズを除去する平滑化を行うものであり、雑音により劣化されていることが多い入力画像に対し単に輪郭・模様強調を行う処理を行うと共に、処理結果の画像に偽りの輪郭検出が行われる可能性を除去するものである。係る平滑化は、光学的には焦点をはずして画像をぼかすことにより実現でき、これと同じ効果は処理対象の画素の周囲に窓と称される領域を設け、この窓に入っている画素の平均輝度で上記処理対象画素の輝度を置き換える処理により得られる。
【００２５】
輝度補正画像作成手段３は、処理対象画像における各画素の輝度情報について、注目画素に直接または間接に隣接する周囲画素群の輝度情報にパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小の値となった輝度値を、上記注目画素の輝度値と変換するものである。
【００２６】
輝度補正画像作成手段３には、コントラストに応じてここでは３種類のパラメータが記憶されたパラメータ格納部３Ａと、処理対象画像におけるコントラストに応じて上記パラメータ格納部３Ａから１種類のパラメータを選択して輝度補正処理に供するパラメータ選択部３Ｂと、最終的に得られる輝度補正画像の明るさを適正にするために用意された２通りの補正式（（式２）と（式３）など）のいずれかを選択するための補正式選択部３Ｃが具備されている。差分手段４は、処理対象画像と前記輝度補正画像の差分演算を行うことにより補正画像を得るものである。差分手段４により得られた結果である補正画像は、画像認識装置や画像表示装置などの画像利用装置５へ送られる。
【００２７】
上記画像処理装置は、図２に示されるような構成に係るワークステーション、パーソナルコンピュータ、その他の計算機として構築される。すなわち、図２の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、インタフェース５７には回線を介してカメラから画像信号の取り込みを行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、インタフェース５７においてはＡ／Ｄ変換等が行われ、ＣＰＵ５１による処理が可能な画像データとされる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。なお、処理対象画像は、磁気ディスク装置６５、フレキシブルディスク、磁気カード或いはＩＣカード、ＭＯ等により投入しても良い。
【００２８】
上記構成に係る計算機においては、図３に示されるフローチャートに対応する画像処理プログラムを例えば、主記憶装置５２に備えており、このプログラムを実行することにより図１の各手段を実現するので、このフローチャートに基づき画像処理装置の動作を説明する。まず、処理対象に係る画像の入力（取り込み）を行う（Ｓ１）。カメラから得られた画像信号の場合には、インタフェース５７においてはＡ／Ｄ変換等が行われ、ＣＰＵ５１へ送られる。ディジタル化された画像情報を磁気ディスク装置６５等から取り込む場合には、取り込んだ画像情報を処理する。
【００２９】
次に、ＣＰＵ５１は、ノイズを除去する平滑化を行う（Ｓ２）。具体的には、図４に一例として例示する３×３のパラメータを各画素に適用して、図５に示されるように窓を移動させて全画素について次の（式１）に例示される演算で平滑化を行う。ここで、（ｉ，ｊ）は、処理対象画像中の画素を示すインデックスであり、ｉは横方向の画素に対応して０〜３１９、ｊは縦方向の画素に対応して０〜２３９である画像を例とし、輝度値は０〜２５５までの２５６階調を例としている。また、Ｉ（ｉ，ｊ）は処理対象画像であり、Ｉsmooth（ｉ，ｊ）は平滑化後の処理対象画像である。
【００３０】
【数１】
2007049244.tif 000003
【００３１】
処理対象画像が例えば図６（ａ）に示されるような画像であるとき、上記平滑化により、図６（ｂ）に示される平滑化画像が得られる。この平滑化のステップが終了すると、平滑化画像に対して輝度補正画像作成を行う（Ｓ３〜Ｓ６）。まず、ステップＳ３では、平滑化後の画像のコントラストに基づき、パラメータ格納部３Ａ（主記憶装置５２）に記憶されている３種類のパラメータ（図７、図８、図９に示される３種）の１種類を選択する。そして、ステップＳ４からステップＳ６において、処理対象画像を構成する各画素の輝度情報について、注目画素（ｎ×ｎのマトリックス中心に位置する画素）に直接または間接に隣接する周囲画素群の輝度情報に上記で選択した１種類のパラメータを適用して得た各周囲画素群毎の演算結果を比較し、周囲画素群の輝度情報にパラメータを適用した値の中において最小となった値を、上記注目画素の輝度値と変換することにより処理対象画像について陰影を強調した輝度補正画像（ボケ画像）を得る。
【００３２】
具体的には、輝度補正画像作成処理に用いるオペレ−タが例えば主記憶装置５２に複数種（ここでは、３種）備えられており、処理対象画像のボケ具合（コントラスト）に応じて３種のいずれか１種が選択される。上記処理対象画像のボケ具合（コントラスト）の検出については、例えば、ＣＰＵ５１が、隣接画素と所定以上の輝度差を有するエッジ画素の総数を処理対象画像について求め、これを低コントラストと中コントラストを分ける閾値及び中コントラストと高コントラストを分ける閾値と比較し、低中高のいずれのコントラストであるかを判定することにより行うことができる。ＣＰＵ５１は、このコントラスト情報に基づきいずれか１種のオペレータを決定する。
【００３３】
この例において３種類のオペレータを用意した理由は、以下に述べる通りである。まず、低コントラストの画像にあっては、注目画素と近傍の画素の輝度差が小さい場合が多い。係る場合には注目画素と輝度を比較する対象画素との距離を大きくとることで輝度変化を強調でき得ると考えられる。そこで、対象画素との距離に応じて図７〜図９に示される３種のパラメータを備えている。図７は３×３の大きさを持つ高コントラストの画像に採用されるべきパラメータを示し、図８は５×５の大きさを持つ中程度のコントラストの画像に採用されるべきパラメータを示し、図９は７×７の大きさを持つ低コントラストの画像に採用されるべきパラメータを示している。
【００３４】
図７に示す３×３の大きさを持つ高コントラストの画像に採用されるべきパラメータを説明すると、０度から４５度ずつ変化する３１５度までの８方向のパラメータ値からなる。物体の輪郭部や、特徴的な模様部分にはエッジが存在し、エッジ部分とその周囲の画素では大きな輝度差が発生していると推定される。エッジは様々な方向を向いているので、エッジの方向を意識した処理を行うため、上記８方向のパラメータ値を用いている。図８に示す中コントラストの画像に採用されるべきパラメータと図９に示す低コントラストの画像に採用されるべきパラメータについても同様に０度から４５度ずつ変化する３１５度までの８方向のパラメータ値を持っている。
【００３５】
そして、高コントラストの処理対象画像についての輝度補正画像作成処理では、平滑化後の画像をＩ（ｉ，ｊ）とし、ｋ（ｋ：１〜８）方向別の輝度補正後の輝度をＩdir-k （ｉ，ｊ）とするとき、図７に示すパラメータを用いることにより、以下の（式２）以前の各式で示されるように、各注目画素について８パターン（８方向に対応）の輝度変更を行う（Ｓ４）。そして、次に示す（式２）または（式３）により、輝度補正画像（ボケ画像）Ｉnlt （ｉ，ｊ）を得る（Ｓ５、Ｓ６）。
【００３６】
【数２】
2007049244.tif 000004
【００３７】
上記において、Inlt- bright(i,j)は、処理対象画像が明るい画像である場合に使用する（２）式を用いた輝度補正画像（ボケ画像）であり、Inlt- dark(i,j)は、処理対象画像が暗い画像である場合に使用する（式３）を用いた輝度補正画像（ボケ画像）である。また、divは輝度補正画像（ボケ画像）の明るさを調整するパラメータであり、通常は輝度補正画像(ボケ画像)に属する画素の中で最高輝度が２５６階調で２５５以下になるように決定され、例えば１〜２程度の値を持つものである。そして、（式２）と（式３）のいずれを用いるかについては、min(Idir-k(i,j))の値が所定閾値より大であれば（式２）を用い、min(Idir-k(i,j))の値が所定閾値以下であれば（式３）を用いる（Ｓ６）。要は、処理対象画像から輝度補正画像（ボケ画像）を引いた画像が適当な明るさを持つものとなるように（式２）と（式３）の選択を行うものであり、上記閾値の例としては１００から１５０程度が想定される。
【００３８】
上記の輝度補正画像（ボケ画像）を得る演算処理において、８方向における隣接した３つの画素の組については、それらの輝度の関係は図１０（ａ）〜図１０（ｃ）に示されるように類型化される。図１０（ａ）は、中心の画素（係数「−３」を掛ける画素）の輝度が両端の画素（係数「３」を掛ける画素）の輝度より大きい場合であり、図１０（ｂ）や図１０（ｃ）は、中心の画素の輝度と両端の画素の輝度との差が小さい場合である。式２により、図１０（ｂ）や図１０（ｃ）の状態にある画素の組を検出し、注目画素（中央に位置する画素）の輝度に置き換えることで、平滑化画像中における低輝度な画素の数が増加し、低輝度な画素が強調された輝度補正画像が得られる。この輝度補正画像は、処理対象画像を複数の小領域に分割したときに、各画素が小領域の周囲の画素と比べてどの程度強調して見えるべきかを規定する基準画像（輝度に関する基準）ということができる。
【００３９】
別の説明をすると、図１１に示すように物体の輪郭或いは模様の境界に係る線分Ｌが画像中に存在し、線分Ｌ上の例示した画素Ｐ１〜Ｐ４についてその周辺の輝度が上に凸の曲線Ｋ１〜Ｋ４にて示すように変化しているとする。つまり、曲線Ｋ１〜Ｋ４は、物体の輪郭或いは模様の境界に係る線分Ｌに近付くほど輝度が黒に近い輝度となっていることを示す。係る場合に、輝度補正処理によって、線分Ｌの近傍がより黒に近い輝度へと置き換えられる上記輝度補正処理がなされ、エッジが明瞭化されることになる。上記演算処理による処理前の平滑化画像の例を図１２（ａ）に示し、高コントラストの画像に採用されるべきパラメータを用いた輝度補正処理後の輝度補正画像（タイプ１：処理対象画像が明るい画像である場合に使用する（式２）を用いた輝度補正画像）を図１２（ｂ）に示す。
【００４０】
次に、図８に示す５×５の大きさを持つ中コントラストの画像に採用されるべきパラメータを説明すると、中心の注目画像に対して間接的に隣接した、０度から４５度ずつ変化する３１５度までの８方向のパラメータ値からなる。そして、中コントラストの画像に対する輝度補正処理ではステップＳ３において、この図８に示すパラメータが選択され、平滑化後の画像をＩ（ｉ，ｊ）とし、ｋ（ｋ：１〜８）方向別の強調後の輝度をＩdir-k （ｉ，ｊ）とするとき、図８に示すパラメータを用いることにより、以下の（式４）以前の各式で示されるように、各注目画素について８パターン（８方向に対応）の輝度変更を行う（Ｓ４）。そして、次に示す（式４）または（式５）により、輝度補正画像Ｉnlt （ｉ，ｊ）を得る（Ｓ５、Ｓ６）。
【００４１】
【数３】
2007049244.tif 000005
【００４２】
上記において、Inlt- bright(i,j)は、処理対象画像が明るい画像である場合に使用する（式４）を用いた輝度補正画像（ボケ画像）であり、Inlt- dark(i,j)は、処理対象画像が暗い画像である場合に使用する（式５）を用いた輝度補正画像（ボケ画像）である。また、divは輝度補正画像（ボケ画像）の明るさを調整するパラメータであり、通常は輝度補正画像(ボケ画像)に属する画素の中で最高輝度が２５６階調で２５５以下になるように決定され、例えば１〜２程度の値を持つものである。そして、（式４）と（式５）のいずれを用いるかについては、min(Idir-k(i,j))の値が所定閾値より大であれば（式４）を用い、min(Idir-k(i,j))の値が所定閾値以下であれば（式５）を用いる。要は、処理対象画像から輝度補正画像（ボケ画像）を引いた画像が適当な明るさを持つものとなるように（式４）と（式５）の選択を行うものであり、上記閾値の例としては１００から１５０程度が想定される。
【００４３】
上記の中コントラストの画像に採用されるべきパラメータを用いた演算処理による処理前の平滑化画像の例を図１３（ａ）に示し、輝度補正処理後の輝度補正画像（タイプ１：処理対象画像が明るい画像である場合に使用する（式４）を用いた輝度補正画像）を図１３（ｂ）に示す。
【００４４】
更に次に、図９に示す７×７の大きさを持つ低コントラストの画像に採用されるべきパラメータを説明すると、中心の注目画像に対して間接的に隣接した、０度から４５度ずつ変化する３１５度までの８方向のパラメータ値からなる。そして、輝度補正処理では、平滑化後の画像をＩ（ｉ，ｊ）とし、ｋ（ｋ：１〜８）方向別の強調後の輝度をＩdir-k （ｉ，ｊ）とするとき、図９に示すパラメータを用いることにより、以下の（式６）以前の各式で示されるように、各注目画素について８パターン（８方向に対応）の輝度変更を行う（Ｓ４）。そして、次に示す（式６）または（式７）により、輝度補正画像Ｉnlt （ｉ，ｊ）を得る（Ｓ５、Ｓ６）。
【００４５】
【数４】
2007049244.tif 000006
【００４６】
上記において、Inlt- bright(i,j)は、処理対象画像が明るい画像である場合に使用する（式６）を用いた輝度補正画像（ボケ画像）であり、Inlt- dark(i,j)は、処理対象画像が暗い画像である場合に使用する（式７）を用いた輝度補正画像（ボケ画像）である。また、divは輝度補正画像（ボケ画像）の明るさを調整するパラメータであり、通常は輝度補正画像(ボケ画像)に属する画素の中で最高輝度が２５６階調で２５５以下になるように決定され、例えば１〜２程度の値を持つものである。そして、（式６）と（式５）のいずれを用いるかについては、min(Idir-k(i,j))の値が所定閾値より大であれば（式４）を用い、min(Idir-k(i,j))の値が所定閾値以下であれば（式７）を用いる。要は、処理対象画像から輝度補正画像（ボケ画像）を引いた画像が適当な明るさを持つものとなるように（式６）と（式７）の選択を行うものであり、上記閾値の例としては１００から１５０程度が想定される。
【００４７】
上記低コントラストの画像に採用されるべきパラメータを用いた演算処理による処理前の平滑化画像の例を図１４（ａ）に示し、上記低コントラストの画像に採用されるべきパラメータを用いた輝度補正処理後の輝度補正画像（タイプ１：処理対象画像が明るい画像である場合に使用する（式６）を用いた輝度補正画像）を図１４（ｂ）に示す。
【００４８】
以上のようにして、ステップＳ３〜Ｓ６において３種類から選択された１種類のパラメータを用いて輝度補正処理を行い、得られた輝度補正画像（タイプ１：処理対象画像が明るい画像である場合に使用する式を用いたもの、或いは、タイプ２：処理対象画像が暗い画像である場合に使用する式を用いたもの）を用いて、入力画像と輝度補正画像との差分計算を行い、画質改善画像を取得してこれを出力する（Ｓ７）。
【００４９】
上記のステップＳ７における処理は、次の式により表すことができる。まず、Inlt-bright(i,j)を輝度補正画像１（処理対象画像が明るい画像である場合の輝度補正画像）とし、Inlt-dark(i,j)を輝度補正画像２（処理対象画像が暗い画像である場合の輝度補正画像）とし、Magを画像の明るさを補正する係数とし、Ｉimproved1(i,j)を画質改善画像（処理対象画像が明るい画像である場合の輝度補正画像によるもの）とし、Ｉimproved2(i,j)を画質改善画像（処理対象画像が暗い画像である場合の輝度補正画像によるもの）とし、Ｉ(i,j)を入力画像とすると、画質改善画像は次の（式８）または（式９）により作成される。
【００５０】
【数５】
2007049244.tif 000007
【００５１】
上記において、Magは例えば、Mag＝256/（差分画像の平均輝度）として求めることができる。処理対象画像が図１５（ａ）に示すようである場合に、平滑化を行った後に図に示す３×３のパラメータを適用して（式２）により輝度補正を行って図１５（ｂ）に示す如くの輝度補正画像（タイプ１）を得た場合に、差分計算のステップＳ７においては（式８）による処理が行われて、図１５（ｃ）に示される如き画質改善画像が得られる。この図１５（ｃ）に示す通り、指の輪郭や皮膚の皺などが明瞭となり、画像全体がシャープな画質改善画像を得ることができた。
【００５２】
また、処理対象画像が図１６（ａ）に示すようなトンネル内の監視画像である場合に、平滑化を行った後に図に示す３×３のパラメータを適用して（式３）により輝度補正を行って図１６（ｂ）に示す如くの輝度補正画像（タイプ２）を得た場合に、差分計算のステップＳ７においては（式９）による処理が行われて、図１６（ｃ）に示される如き画質改善画像が得られる。この図１６（ｃ）に示す通り、車両の輪郭やトンネル壁面の模様などが明瞭となり、画像全体がシャープな画質改善画像を得ることができた。
【００５３】
図１７（ａ）に手のひらについての処理対象画像を示し、これを画像処理して図１７（ｂ）に示されるようなシャープな画質改善画像を得ることができた。また、図１８（ａ）に床の模様についての処理対象画像を示し、これを画像処理して図１８（ｂ）に示されるような模様の明瞭な画質改善画像を得ることができた。
【００５４】
以上の画像処理装置、画像処理方法更に画像処理プログラムは、工業用カメラ、家庭用ムービーカメラ、ディジタルカメラ、医療用カメラに搭載することができ、出力画像として極めてシャープな映像を得ることができるものである。また、画質改善画像について画像認識を行った場合にも極めて精度のよい結果を得ることができる。
【図面の簡単な説明】
【００５５】
【図１】本発明に係る画像処理装置の実施例を示す構成図。
【図２】本発明に係る画像処理装置を実現する計算機（コンピュータ）の構成図。
【図３】本発明に係る画像処理方法を示すまたは画像処理プログラムによる動作を示すフローチャート。
【図４】本発明に係る画像処理装置において用いる平滑化パラメータの一例を示す図。
【図５】図４に示す平滑化パラメータを用いた画素変換動作を説明するための図。
【図６】本発明に係る画像処理装置において平滑化した前後の画像を示す図。
【図７】本発明に係る画像処理装置において用いる輝度補正パラメータ（３×３）の一例を示す図。
【図８】本発明に係る画像処理装置において用いる輝度補正パラメータ（５×５）の一例を示す図。
【図９】本発明に係る画像処理装置において用いる輝度補正パラメータ（７×７）の一例を示す図。
【図１０】本発明に係る画像処理装置において用いる輝度補正処理の効果を説明するための図。
【図１１】本発明に係る輝度補正パラメータに関し、３つの画素に関し輝度関係を類型化して示した図。
【図１２】輝度補正パラメータ（３×３）を用いて輝度補正処理を行った前後の画像を示す図。
【図１３】輝度補正パラメータ（５×５）を用いて輝度補正処理を行った前後の画像を示す図。
【図１４】輝度補正パラメータ（７×７）を用いて輝度補正処理を行った前後の画像を示す図。
【図１５】本発明に係る画像処理装置における画質改善画像作成処理についての画像（タイプ１）を示す図。
【図１６】本発明に係る画像処理装置における画質改善画像作成処理についての画像（タイプ２）を示す図。
【図１７】本発明に係る画像処理装置の前後に係る画像を示す図。
【図１８】本発明に係る画像処理装置の前後に係る画像を示す図。
【符号の説明】
【００５６】
１  画像入力部 
２  平滑化手段 
３  輝度補正手段 
３Ａ  パラメータ格納部 
３Ｂ  パラメータ選択部 
３Ｃ  補正式選択部 
４  差分手段 
５  画像利用装置
【図１】
2007049244.tif 000008
【図２】
2007049244.tif 000009
【図３】
2007049244.tif 000010
【図４】
2007049244.tif 000011
【図５】
2007049244.tif 000012
【図７】
2007049244.tif 000013
【図８】
2007049244.tif 000014
【図９】
2007049244.tif 000015
【図１０】
2007049244.tif 000016
【図１１】
2007049244.tif 000017
【図６】
2007049244.tif 000018
【図１２】
2007049244.tif 000019
【図１３】
2007049244.tif 000020
【図１４】
2007049244.tif 000021
【図１５】
2007049244.tif 000022
【図１６】
2007049244.tif 000023
【図１７】
2007049244.tif 000024
【図１８】
2007049244.tif 000025