(57)【要約】【課題】対象画像の内容に依存することなく、生体における網膜や皮質と同等の役割をモデル化したＲｅｔｉｎｅｘ画像処理技術本来の特性を発揮することができる画像処理プログラムを提供する。【解決手段】Ｒｅｔｉｎｅｘ処理部１０３で画像処理を行う対象画像として、色補正、γ補正、ＭＴＦ補正などが施されていない画像を用いる。すなわち、ＣＣＤイメージセンサ１０１の電気信号をＡ／Ｄコンバータ１０２でデジタルに変換しただけのＲＡＷ画像をＲｅｔｉｎｅｘ処理の対象画像とする。Ｒｅｔｉｎｅｘ処理後にγ補正部１０４で所定のγ補正を行う。これにより、生体における網膜や皮質と同等の役割をモデル化したＲｅｔｉｎｅｘアルゴリズム本来の性能が発揮される。【選択図】        図１
2004164121.tif 000002
【特許請求の範囲】
【請求項１】
Ｒｅｔｉｎｅｘ処理をコンピュータに実行させる画像処理プログラムにおいて、
処理対象となる原画像として、ＲＡＷ画像を用いることを特徴とする画像処理プログラム。
【請求項２】
前記ＲＡＷ画像とは、撮像デバイスの電気信号に対してＡ／Ｄ変換を行った直後のデータであることを特徴とする、請求項１に記載の画像処理プログラム。
【請求項３】
前記ＲＡＷ画像に対してＲｅｔｉｎｅｘ処理を施した後、所定のγ補正を行うことを特徴とする、請求項１または２に記載の画像処理プログラム。
【請求項４】
前記Ｒｅｔｉｎｅｘ処理は、前記ＲＡＷ画像をそのぼけ画像で除算する処理を含むことを特徴とする、請求項１〜３のいずれかに記載の画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理プログラムに関し、特にデジタルカメラやフィルムスキャナなどの出力画像の処理においてＲｅｔｉｎｅｘ処理を行う画像処理プログラムに関する。
【０００２】
【従来の技術】
従来の画像処理の分野では、生体における網膜や皮質と同等の役割をモデル化した画像処理技術として、Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ  Ｒｅｔｉｎｅｘ処理が提案されている（例えば、特許文献１参照）。
【０００３】
Ｒｅｔｉｎｅｘ処理とは、デジタルデータである画像情報を補正する方法である。Ｒｅｔｉｎｅｘ処理には各種の変形例が考えられるが、ここでは、視覚をモデル化して注目画素に対して周辺情報を加味する画像の補正方法を総括してＲｅｔｉｎｅｘ処理と呼んでいる。後述する拡張Ｒｅｔｉｎｅｘも、Ｒｅｔｉｎｅｘ処理の一形態に含まれるものとする。Ｒｅｔｉｎｅｘ処理では画像中の明暗部に応じて、局所局所でゲイン調整が変わるため、ダイナミックレンジを圧縮する効果がある。
【０００４】
Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ  Ｒｅｔｉｎｅｘアルゴリズムに関して、Ｓｉｎｇｌｅ  Ｓｃａｌｅ  Ｒｅｔｉｎｅｘ（ＳＳＲ）、及びＭｕｌｔｉ  Ｓｃａｌｅ  Ｒｅｔｉｎｅｘ（ＭＳＲ）が知られている。以下にそれぞれのアルゴリズムについて説明する。
【０００５】
Ｓｉｎｇｌｅ  Ｓｃａｌｅ  Ｒｅｔｉｎｅｘ（ＳＳＲ）は、次の式（１）によって表される。式（１）の処理をＲ，Ｇ，Ｂの各チャンネルに対して実行し、統合することでカラー出力画像が得られる。
【０００６】
Ｔｉ（ｘ，ｙ）＝  ｌｏｇ  Ｉｉ（ｘ，ｙ）−ｌｏｇ｛Ｆ（ｘ，ｙ）＊Ｉｉ（ｘ，ｙ）｝      …（１）
（ｉ＝Ｒ，Ｇ，Ｂ）
ここで、「＊」はコンボリューション積分を表す。また、Ｔｉ（ｘ，ｙ）はＳＳＲ処理後の画素値を表し、Ｉｉ（ｘ，ｙ）は原画像の画素値を表す。Ｆ（ｘ，ｙ）は、注目画素の周囲の画素を考慮してボケ画像を作成するためのフィルタに用いられる関数である。Ｆ（ｘ，ｙ）として例えばガウス関数を用いると、Ｆ（ｘ，ｙ）は、次の式（２）および（３）を満たすこととなる。
【０００７】
Ｆ（ｘ，ｙ）＝Ｋ・ｅｘｐ｛−（ｘ２＋ｙ２）／ｃ２｝              …（２）
ΣΣＦ（ｘ，ｙ）＝１                                        …（３）
ここで、ｃはガウス関数における周辺の広がりを決める定数であり、カーネル値と呼ばれる。式（３）を満たすように定数Ｋは定められる。一般的には、ｃの値が小さい程、画像処理においてエッジを強調する効果が高くなり、ｃの値が大きい程、ダイナミックレンジ圧縮の効果が高くなることが知られている。
【０００８】
また、ＳＳＲ処理後の出力画像のコントラストを向上させることを目的に、クリッピング処理が行われる。通常、ヒストグラム分布にして、上下３％前後の画素値はクリッピングしてから、線形変換によって出力ビット数（例えば８ビット）に応じたデジタル値に割り振られる。
【０００９】
図８は、ボケ画像作成のためにガウス関数を用いたＳＳＲの具体的な処理を説明するための図である。
【００１０】
図を参照して、ｉ＝Ｒ，Ｇ，Ｂからなるオリジナル画像（処理対象画像）Ｄ２に対して処理が行われる。なお、オリジナル画像においてＲＧＢを合成した画像を図中Ｐ２で示している。
【００１１】
Ｄ２の各画素値は、Ｉｉ（ｘ，ｙ）として示される。ボケ画像Ｄ４を作成するためにＩｉ（ｘ，ｙ）＊Ｇ（ｘ，ｙ）の演算が行われる。ここにＧ（ｘ，ｙ）はガウス関数である。
【００１２】
オリジナル画像の各画素値を、ボケ画像の各画素値で除算する処理が行われ、そのｌｏｇを求めることで、Ｒｅｔｉｎｅｘ処理後の画像Ｄ５が得られる。Ｄ５の各画素値をここではＲｉ（ｘ，ｙ）とする。Ｒ，Ｇ，ＢからなるＤ５を合成することで、Ｒｅｔｉｎｅｘ処理後の画像Ｐ１が得られる。
【００１３】
一方、Ｍｕｌｔｉ  Ｓｃａｌｅ  Ｒｅｔｉｎｅｘ（ＭＳＲ）では、式（２）における定数ｃとして、異なる幾つかの値が用いられる。これにより、周辺の広がりが異なるガウス関数によるＳＳＲ処理が行われる。それぞれの結果を足し合わせて平均化することにより、エッジ強調、及びダイナミックレンジ圧縮を同時に達成している。
【００１４】
図９は、ガウス関数を用いたＭＳＲ処理を説明するための図である。
図を参照して、周辺の広がりが狭いガウス関数（サイズの小さいフィルタ）により作成されたボケ画像Ｄ４−１、周辺の広がりが中位のガウス関数（サイズの中位のフィルタ）により作成されたボケ画像Ｄ４−２、および周辺の広がりが広いガウス関数（サイズの大きいフィルタ）により作成されたボケ画像Ｄ４−３がオリジナル画像Ｄ２に基づいて作成される。
【００１５】
そして、オリジナル画像Ｄ２を各ボケ画像で除算し、それぞれの対数をとることで、画像Ｄ５−１〜Ｄ５−３が得られる。フィルタサイズが小さい関数で処理を行った画像の方がエッジ強調効果が高く、逆にフィルタサイズが大きい関数で処理を行った画像の方がダイナミックレンジ圧縮の効果が高い。画像Ｄ５−１〜Ｄ５−３を足し合わせて平均化することにより、エッジ強調、及びダイナミックレンジ圧縮を同時に達成することができる。
【００１６】
ネガフィルムなどからフィルムスキャナによってデジタル化された画像データや、デジタルスチルカメラなどで撮影されたデジタル画像データに対して以上のようなＳＳＲ、およびＭＳＲ処理を適用する研究が盛んに行われている。
【００１７】
また、特許文献２は、画像の異なる領域間の小さなコントラスト差を維持しながら、画像の異なる領域間の大きなコントラスト差を縮小する技術を開示している。
【００１８】
また、非特許文献１は、Ｒｅｔｉｎｅｘ処理を線形演算で構成することを開示している。
【００１９】
【特許文献１】
米国特許第５，９９１，４５６号明細書
【００２０】
【特許文献２】
特開２００１−２４５１５４号公報
【００２１】
【非特許文献１】
小林正明、小寺宏嘩、「Ｒｅｔｉｎｅｘモデルによる画像の見えの改善」、カラーフォーラムＪＡＰＡＮ２００１（第４７回光学四学会連合講演会、２００１年１１月１３日〜１５日開催）予稿集
【００２２】
【発明が解決しようとする課題】
上述した従来のＣｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ  Ｒｅｔｉｎｅｘアルゴリズムなどの画像処理技術の問題点として、以下の事項が挙げられる。
【００２３】
・色の偏りが多い画像での全体的な色味のシフト、
・顔などの明るい領域での不自然な輝度飽和、
こうした問題を解決するために、
・原画像の情報も出力画像に加味する方式、
・輝度情報のみにＲｅｔｉｎｅｘ処理を施す方式、
・ガウス関数によるフィルタリング後のボケ画像の一定輝度以上の部分を丸め込む方式、
など、極端な色味のシフトや、明るい領域での不自然な輝度飽和を抑制する拡張Ｒｅｔｉｎｅｘ処理技術が提案されている。
【００２４】
本発明は、対象画像の内容に依存することなく、生体における網膜や皮質と同等の役割をモデル化したＲｅｔｉｎｅｘ画像処理技術の本来の特性を発揮することができる新規な画像処理プログラムを提供することを目的としている。
【００２５】
【課題を解決するための手段】
上記目的を達成するため、この発明のある局面に従うと、Ｒｅｔｉｎｅｘ処理をコンピュータに実行させる画像処理プログラムは、処理対象となる原画像として、ＲＡＷ画像を用いることを特徴とする。
【００２６】
この発明によると、Ｒｅｔｉｎｅｘ処理の対象として、ＲＡＷ画像が用いられるため、Ｒｅｔｉｎｅｘ処理本来の特性が発揮される。
【００２７】
好ましくはＲＡＷ画像とは、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどの撮像デバイスの電気信号に対してＡ／Ｄ変換を行った直後のデータであることを特徴とする。なお、「Ａ／Ｄ変換を行なった直後」とは、少なくともγ補正が施される前の段階を示し、好ましくは色補正や、ＭＴＦ補正が施されていない段階である。撮像デバイスの画素間における感度ばらつきなどのハードウェア調整のための補正や、ｇａｍｕｔなどの色相変換を行っていても本発明におけるＲＡＷ画像とみなしてよい。更には、例えば撮像デバイスとしてカラーフィルタを有したエリア型センサである場合、Ａ／Ｄ変換後に各色の画像データについて画素補間の処理が施されるが、このような補間処理後の画像データも本発明におけるＲＡＷ画像とみなしてよい。
【００２８】
この発明によると、Ａ／Ｄ変換を行った直後のデータに対してＲｅｔｉｎｅｘ処理が行われるため、Ｒｅｔｉｎｅｘ処理本来の特性がさらに発揮される。
【００２９】
好ましくは画像処理プログラムは、ＲＡＷ画像に対してＲｅｔｉｎｅｘ処理を施した後、所定のγ補正を行うことを特徴とする。
【００３０】
このようにＲｅｔｉｎｅｘ処理を行った画像に対してγ処理を行うことで、デバイスにあわせた画像の出力が可能となる。
【００３１】
好ましくはＲｅｔｉｎｅｘ処理とは、前記ＲＡＷ画像をそのぼけ画像で除算する処理を含むことを特徴とする。
【００３２】
【発明の実施の形態】
本発明の実施の形態に開示される画像処理方法、画像処理プログラムおよび画像処理装置などは、Ｒｅｔｉｎｅｘ処理を行う対象画像を、Ａ／Ｄ変換を行った直後の、色補正やγ補正、ＭＴＦ補正などが施されていない生のセンサ応答とし、Ｒｅｔｉｎｅｘ処理後に所定のγ補正を行うことを特徴としている。
【００３３】
これにより、生体における網膜や皮質と同等の役割をモデル化したＲｅｔｉｎｅｘ処理本来の特性が発揮される。
【００３４】
すなわち、通常のフィルムスキャナやデジタルスチルカメラから出力されるデジタル画像データは、いわゆるホワイトバランスなどの色補正、γ補正、さらにはＭＴＦ補正などがすでに施された画像データである。従来技術におけるＲｅｔｉｎｅｘ処理や拡張Ｒｅｔｉｎｅｘ処理で対象とされているデジタル画像データも、こうした幾つかの画像処理がすでに行われた画像データであった。これら幾つかの画像処理がすでに行われた画像データに対して、さらに、そのコントラストや見えなどの画質を改善することを目的にＲｅｔｉｎｅｘ処理は適用されてきた。
【００３５】
しかしながら、本来のＲｅｔｉｎｅｘモデルは、生体の網膜や皮質と同等の役割を果たす仕組みである。その特性を十分に発揮するためには、Ｒｅｔｉｎｅｘモデルは、生のセンサ応答に対して適用されるべきである。逆に言えば、すでに色補正、γ補正、ＭＴＦ補正などの従来の画像処理が施された画像データに対してさらにＲｅｔｉｎｅｘ処理を実行することで、従来技術のような不具合（色の偏りが多い画像での全体的な色味のシフトや、顔などの明るい領域が全般に飛び傾向になってしまうこと）が発生している可能性もあり、その結果、より複雑な拡張Ｒｅｔｉｎｅｘ処理によってその不具合を抑制しなければならない事態に陥っていると考えることもできる。
【００３６】
このような観点の下、本実施の形態においては、ＳＳＲやＭＳＲなどのＲｅｔｉｎｅｘ処理を、ＣＣＤイメージセンサなどの撮像デバイスの電気信号をＡ／Ｄ変換しただけの生のデジタル画像データ（γ補正などが行われていないＲＡＷデータ）に対して適用することで、Ｒｅｔｉｎｅｘモデル本来の効果を発揮できるようにしている。
【００３７】
以下に本発明の実施の形態について、図面を参照しながら順に説明する。
［第１の実施の形態］
図１は、第１の実施の形態におけるＲｅｔｉｎｅｘ処理を行なう撮像装置の構成を示すブロック図である。図中、画像データの流れを矢印で示している。
【００３８】
図を参照して撮影装置は、撮像デバイスとしてのＣＣＤイメージセンサ１０１と、Ａ／Ｄコンバータ１０２と、Ｒｅｔｉｎｅｘ処理部１０３と、γ補正部１０４と、表示・保存部１０５とを備えている。
【００３９】
ＣＣＤイメージセンサ１０１は、光電変換によって入射光から電気信号であるアナログ信号Ｒ，Ｇ，Ｂを生成する。Ａ／Ｄコンバータ１０２はアナログ信号Ｒ，Ｇ，Ｂを、例えば８ｂｉｔの離散的なデジタル信号Ｒ，Ｇ，Ｂに変換する。Ｒｅｔｉｎｅｘ処理部１０３は、Ａ／Ｄコンバータ１０２でＡ／Ｄ変換のみ施されたデジタル画像信号に対して、ＳＳＲやＭＳＲなどのＲｅｔｉｎｅｘ処理を各ＲＧＢのチャンネルに対して独立に行う。
【００４０】
γ補正部１０４は、Ｒｅｔｉｎｅｘ処理部１０３で得られたＲｅｔｉｎｅｘ出力に対して、後工程である表示・保存工程で求められる所定のγ補正を行う。
【００４１】
最後に、表示・保存部１０５では、γ補正部１０４で所定のγ処理が施された画像データをモニタなどに表示、またはハードディスクなどに保存する。
【００４２】
図１に示した構成をデジタルスチルカメラ内部でハード的に実行することも可能であるが、例えば、ＲＡＷ画像としてＡ／Ｄ変換のみ行った画像データを入手可能であるデジタルカメラであれば、一旦ＲＡＷ形式で保存された画像データに対して、パソコンなどにインストールされたアプリケーションを用いて、ソフト的に上述したＲｅｔｉｎｅｘ処理、及びγ補正処理などの画像処理を実行することも可能である。
【００４３】
なお、上記（１）式で示されるＲｅｔｉｎｅｘ処理にはコンボリューション積分が含まれているため、その処理速度はＦ（ｘ，ｙ）で示されるガウス関数などのフィルタのサイズや画像サイズそのものに大きく依存する。一般に、Ｒｅｔｉｎｅｘ処理に用いられるフィルタのサイズは非常に大きく、比較的解像度の低い画像（例えば６４０×４８０画素のＶＧＡ）でも、カーネル値ｃ＝１００程度のサイズのフィルタが用いられることが多い。このような場合、最近の高速な処理を行うパーソナルコンピュータでもその処理を完了するまでに数時間かかってしまうことがあり、実用的ではない。
【００４４】
コンボリューション積分を高速に実行する方法として、周波数領域で計算を実行する手法であるフーリエ変換が知られている。デジタル画像のような離散的な信号に対しては、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍｓ）やＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍｓ）といった高速処理手法が適用できる。上記（１）式のコンボリューション積分は、画像サイズが２のべき乗の場合、式（４）で表現することができる。
【００４５】
Ｆ（ｘ，ｙ）＊Ｉｉ（ｘ，ｙ）＝ＦＦＴ−１［ＦＦＴ［Ｆ（ｘ，ｙ）］・ＦＦＴ［Ｉｉ（ｘ，ｙ）］］…（４）
ここで、ＦＦＴ−１は逆ＦＦＴを、「・」は周波数領域での掛け算を表す。この場合、その処理速度はＦ（ｘ，ｙ）で表されるガウス関数のフィルタサイズには関係なく、画像サイズそのものに依存することになる。なお、画像サイズが２のべき乗でない場合、ＤＦＴを代用に用いることができる。
【００４６】
以上説明したように、本発明は、Ｒｅｔｉｎｅｘ処理をＡ／Ｄ変換のみが行われたＲＡＷ画像に対して適用し、Ｒｅｔｉｎｅｘ処理後に所定のγ補正を行うという構成で、生体における網膜や皮質と同等の役割をモデル化したＲｅｔｉｎｅｘ処理本来の機能を可能にしている。
【００４７】
なお、ＲＡＷ画像とは、基本的にはＣＣＤの出力をＡ／Ｄ変換しただけのデータを示す。ただし、ＣＣＤ素子の感度ばらつきなどのハードウェアの調整のための補正や、ｇａｍｕｔなどの色相変換を行なったものをＲＡＷ画像としていてもよい。また、更には、例えば撮像素子としてカラーフィルタを有したエリア型センサであるような場合、Ａ／Ｄ変換後に各色の画像データについて画素補間の処理が施されるが、このような補間処理後の画像データもＲＡＷ画像とみなしてよい。
【００４８】
本願においては、少なくともγ補正前の画像データをＲＡＷ画像と呼んでおり、好ましくはＲＡＷ画像は、さらにシャープバランス、ホワイトバランス補正前の画像であることが望ましい。
【００４９】
［第２の実施の形態］
図２は、第２の実施の形態におけるＲｅｔｉｎｅｘ処理を行なう撮像装置の構成を示すブロック図である。
【００５０】
本実施の形態においては、Ｒｅｔｉｎｅｘ処理部１０３において、線形Ｒｅｔｉｎｅｘが実行される。線形Ｒｅｔｉｎｅｘ処理は、ｌｏｇを用いないＲｅｔｉｎｅｘ処理であり、例えば、次の式（５）の原画像とぼけ画像の比率によって実行される。
【００５１】
Ｔｉ（ｘ，ｙ）＝Ｉｉ（ｘ，ｙ）／｛Ｆ（ｘ，ｙ）＊Ｉｉ（ｘ，ｙ）｝…（５）
（ｉ＝Ｒ，Ｇ，Ｂ）
式（５）では、式（１）同様に、「＊」はコンボリューション積分を表し、Ｔｉ（ｘ，ｙ）は線形Ｒｅｔｉｎｅｘ処理後の画素値、Ｉｉ（ｘ，ｙ）は原画像の画素値、Ｆ（ｘ，ｙ）は前述した式（２）、（３）を満たすボケ画像作成のための例えばガウス関数である。
【００５２】
なお、ここでの線形Ｒｅｔｉｎｅｘ処理もＭＳＲにより実行されてもよい。
さらに、Ｒｅｔｉｎｅｘ処理部１０３においては、Ｔｉ（ｘ，ｙ）を１／γで累乗する処理（γ補正）が行なわれてもよい。これは、式（６）で示される。
【００５３】
γ｛Ｔｉ（ｘ，ｙ）｝＝Ｔｉ（ｘ，ｙ）＾（１／γ）                …（６）
例えば、ｓＲＧＢを想定したモニタに画像を表示する場合、そのγは２．２が想定されており、その逆数１／２．２をＴｉ（ｘ，ｙ）に乗じることでγ補正は実現される。もちろん、表示や印字が行われるデバイスに応じて、このγの値を可変調整する構成でもよい。
【００５４】
さらには、Ｒｅｔｉｎｅｘ出力されるデータのγ特性を特定のモニタ等のγに合わせ込む必要性はなく、例えば、明度に対してリニアな特性としたい場合には、線形Ｒｅｔｉｎｅｘ出力に対して１／３を累乗する（γ＝３とする）とよい。
【００５５】
なお、式（６）で得られるＲｅｔｉｎｅｘ出力のγ補正画像に対しても、そのコントラストを向上させることを目的に、上述したような、ヒストグラム分布にして上下３％前後の画素値をクリッピングする処理を行ってもよい。もちろん、線形Ｒｅｔｉｎｅｘ処理部１０３で得られたＲｅｔｉｎｅｘ出力に対して、このクリッピング処理を行った後、γ補正を行うような構成も可能である。
【００５６】
［第３の実施の形態］
図３は、第３の実施の形態におけるＲｅｔｉｎｅｘ処理を行なう撮像装置の構成を示すブロック図である。
【００５７】
本実施の形態においては、図２に示されるＲｅｔｉｎｅｘ処理部１０３で線形Ｒｅｔｉｎｅｘ処理を行なった後で、さらにデバイスのためのγ補正をγ補正部１０４で行うものである。これによると、デバイスにあわせたγ補正を行なうことが可能である。すなわち、γ補正をγ補正部１０４のみで行ってもよいし、上述のようにＲｅｔｉｎｅｘ処理部１０３で、出力を明度に対してリニアな特性とするために、γ＝３でのγ補正を行い、さらにγ補正部１０４でデバイスにあわせた補正を行うようにしてもよい。
【００５８】
［第４の実施の形態］
図４は、本発明の第４の実施の形態におけるデジタルカメラの構成を示すブロック図である。
【００５９】
図を参照して、デジタルカメラは、レンズＬと、レンズを駆動するレンズ制御部２０９と、ＣＣＤイメージセンサ２０１と、ＣＣＤイメージセンサの出力をＡ／Ｄ変換するＡ／Ｄコンバータ２０３と、画像処理のためのＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）２０５と、バッファメモリ２０７と、ＣＰＵ２１１と、ＲＡＭ２１３と、ＲＯＭ（ファームウェアメモリ）２１５と、画像表示部２２１と、カードインタフェース２１７と、メモリカード２１９とを備えている。
【００６０】
ＡＳＩＣ２０５内のモジュールとして、Ｒｅｔｉｎｅｘ処理回路２５１、色補間回路２５３、γ補正回路２５５、色空間変換回路２５７、および画像圧縮回路２５９が設けられている。
【００６１】
ＡＳＩＣ２０５内では、Ａ／Ｄコンバータ２０３からの入力に対して、図の左のモジュールから順に処理が行なわれる。ＡＳＩＣ２０５内のモジュールはバッファメモリ２０７を共有しており、ＣＰＵ２１１は、どのモジュールがメモリにアクセスするかのタイミングコントロールを行なう。
【００６２】
本実施の形態においても、デジタルカメラにおいてＲｅｔｉｎｅｘ処理をＡ／Ｄ変換のみが行われたＲＡＷ画像に対して適用し、Ｒｅｔｉｎｅｘ処理後に所定の画像処理を行う。これにより、生体における網膜や皮質と同等の役割をモデル化したＲｅｔｉｎｅｘ処理本来の機能を可能にしている。
【００６３】
なお、図４の回路構成は、デジタルビデオカメラ、スキャナ、フィルムスキャナなどに対しても応用することができる。
【００６４】
［第５の実施の形態］
図５は、本発明の第５の実施の形態における、プログラムを実行するコンピュータの構成を示すブロック図である。
【００６５】
図を参照して、コンピュータは、装置全体の制御を行なうＣＰＵ３０１と、表示部３０３と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード３０５（またはモデムカード）と、キーボードやマウスなどにより構成される入力部３０７と、フレキシブルディスクドライブ３０９と、ＣＤ−ＲＯＭドライブ３１１と、ハードディスクドライブ３１３と、ＲＯＭ３１５と、ＲＡＭ３１７とを備えている。
【００６６】
以後のフローチャートに示される、ＣＰＵ（コンピュータ）３０１を駆動させるためのプログラムは、フレキシブルディスク（Ｆ１）やＣＤ−ＲＯＭ（Ｃ１）などの記録媒体に記録することができる。このプログラムは、前記記録媒体からＲＡＭその他の記録媒体に送られ、記録される。なお、プログラムはハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供するようにしてもよい。また、インターネットを介して外部のサイトなどよりそのようなプログラムをワークステーションやコンピュータにダウンロードして実行させるようにしてもよい。
【００６７】
図６は、図５のコンピュータが実行するＲｅｔｉｎｅｘ処理を示すフローチャートである。
【００６８】
図を参照して、ＣＣＤイメージセンサなどにより得られたアナログデータＤ１は、ステップＳ１０１でＡ／Ｄ変換器により変換され、ＲＡＷ画像のデータＤ２とされる。これがステップＳ１０３で、コンピュータ内においてフーリエ変換される。
【００６９】
一方ステップＳ１０５では、ガウス周辺関数Ｄ３がフーリエ変換される。ステップＳ１０７で、ステップＳ１０３およびＳ１０５で得られたデータの周波数領域での掛け算が行なわれる。その後、ステップＳ１０９で逆フーリエ変換が行なわれることでボケ画像Ｄ４が得られる。
【００７０】
ステップＳ１１１で、Ｄ２をＤ４で割り、ステップＳ１１３でそれをｌｏｇ処理することで、Ｒｅｔｉｎｅｘ出力Ｄ５が得られる。
【００７１】
その後、Ｒｅｔｉｎｅｘ出力に対し、γ補正（ステップＳ１１５）、その他画像処理（ステップＳ１１７）、クリッピング処理（ステップＳ１１９）、および８ｂｉｔ割り付け処理（ステップＳ１２１）が行なわれる。その後、画像が表示される（ステップＳ１２３）。
【００７２】
図７は、図５のコンピュータが実行する線形Ｒｅｔｉｎｅｘ処理を示すフローチャートである。
【００７３】
図を参照して、ステップＳ１０１〜Ｓ１１１での処理は図６におけるそれと同じであるため、ここでの説明を繰り返さない。ステップＳ１１１における割り算の出力がＲｅｔｉｎｅｘ出力Ｄ６とされる。ここでは、出力Ｄ６に対してγ補正（ここでは１／３乗にする処理とする）が行われる（ステップＳ１１８）。その後、クリッピング処理（ステップＳ１１９）、８ｂｉｔ割付処理（ステップＳ１２１）、表示処理（ステップＳ１２３）が行われる。
【００７４】
なお、インターネットなどの通信回線を通じて送信されてきた画像データに対して上述の画像処理を行ってもよいし、その結果を通信回線を通じて他の装置へ送信するようにしてもよい。
【００７５】
（発明の他の構成例）
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【００７６】
（１）  Ｒｅｔｉｎｅｘ処理をコンピュータに実行させる画像処理プログラムであって、
ＲＡＷ画像を入力するステップと、
前記入力されたＲＡＷ画像からボケ画像を作成するステップと、
前記ＲＡＷ画像と前記ボケ画像とに基づいてＲｅｔｉｎｅｘ処理を実行するステップとをコンピュータに実行させる、画像処理プログラム、またはそれを記録したコンピュータ読取可能な記録媒体。
【００７７】
（この構成によると、Ｒｅｔｉｎｅｘ処理の対象として、ＲＡＷ画像が用いられるため、Ｒｅｔｉｎｅｘ処理本来の特性を発揮することができる画像処理プログラム、またはそれを記録したコンピュータ読取可能な記録媒体を提供することができる。）
（２）  前記Ｒｅｔｉｎｅｘ処理を実行した後、所定のγ補正を行うステップをさらにコンピュータに実行させる、（１）に記載の画像処理プログラム、またはそれを記録したコンピュータ読取可能な記録媒体。
【００７８】
（このようにＲｅｔｉｎｅｘ処理を行った画像に対してγ処理を行うことで、モニタやプリンタなどの出力装置にあわせた画像の出力が可能となる。）
（３）  前記Ｒｅｔｉｎｅｘ処理は、前記ＲＡＷ画像をそのぼけ画像で除算する処理を含むことを特徴とする、（１）または（２）に記載の画像処理プログラム、またはそれを記録したコンピュータ読取可能な記録媒体。
【００７９】
（４）  Ｒｅｔｉｎｅｘ処理を実行する画像処理装置において、
処理対象となる原画像として、ＲＡＷ画像を用いることを特徴とする画像処理装置。
【００８０】
（この構成によると、Ｒｅｔｉｎｅｘ処理の対象として、ＲＡＷ画像が用いられるため、Ｒｅｔｉｎｅｘ処理本来の特性を発揮することができる画像処理装置を提供することができる。）
（５）  前記ＲＡＷ画像に対してＲｅｔｉｎｅｘ処理を施した後、所定のγ補正を行うγ処理部を備えた、（４）記載の画像処理装置。
【００８１】
（このようにＲｅｔｉｎｅｘ処理を行った画像に対してγ処理を行うことで、出力装置にあわせた画像の出力が可能となる。）
（６）  （４）または（５）に記載の画像処理装置を備えた、デジタルカメラ、デジタルビデオ、スキャナ、フィルムスキャナその他のデジタル機器。
【００８２】
（この構成によると、Ｒｅｔｉｎｅｘ処理の対象として、ＲＡＷ画像が用いられるため、Ｒｅｔｉｎｅｘ処理本来の特性を発揮することができるデジタルカメラ、デジタルビデオ、スキャナ、フィルムスキャナその他のデジタル機器を提供することができる。）
（７）  Ｒｅｔｉｎｅｘ処理をコンピュータに実行させる画像処理プログラムプロダクトであって、
ＲＡＷ画像を入力するステップと、
前記入力されたＲＡＷ画像からボケ画像を作成するステップと、
前記ＲＡＷ画像と前記ボケ画像とに基づいてＲｅｔｉｎｅｘ処理を実行するステップとをコンピュータに実行させる、画像処理プログラムプロダクト。
【００８３】
（この構成によると、Ｒｅｔｉｎｅｘ処理の対象として、ＲＡＷ画像が用いられるため、Ｒｅｔｉｎｅｘ処理本来の特性を発揮することができる画像処理プログラムプロダクトを提供することができる。）
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００８４】
【発明の効果】
本発明によると、Ｒｅｔｉｎｅｘ処理の対象として、ＲＡＷ画像が用いられるため、生体における網膜や皮質と同等の役割をモデル化したＲｅｔｉｎｅｘ処理本来の特性が発揮される。
【図面の簡単な説明】
【図１】第１の実施の形態におけるＲｅｔｉｎｅｘ処理を行なう撮像装置の構成を示すブロック図である。
【図２】第２の実施の形態におけるＲｅｔｉｎｅｘ処理を行なう撮像装置の構成を示すブロック図である。
【図３】第３の実施の形態におけるＲｅｔｉｎｅｘ処理を行なう撮像装置の構成を示すブロック図である。
【図４】第４の実施の形態におけるデジタルカメラの構成を示すブロック図である。
【図５】第５の実施の形態における、プログラムを実行するコンピュータの構成を示すブロック図である。
【図６】図５のコンピュータが実行するＲｅｔｉｎｅｘ処理を示すフローチャートである。
【図７】図５のコンピュータが実行する線形Ｒｅｔｉｎｅｘ処理を示すフローチャートである。
【図８】ボケ画像作成のためにガウス関数を用いたＳＳＲの具体的な処理を説明するための図である。
【図９】ガウス関数を用いたＭＳＲ処理を説明するための図である。
【符号の説明】
１０１  ＣＣＤイメージセンサ、１０２  Ａ／Ｄコンバータ、１０３  Ｒｅｔｉｎｅｘ処理部、１０４  γ補正部、１０５  表示・保存部、Ｌ  レンズ、２０１  ＣＣＤイメージセンサ、２０３  Ａ／Ｄコンバータ、２０５  ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、２０７  バッファメモリ、２０９レンズ制御部、２１１  ＣＰＵ、２１３  ＲＡＭ、２１５  ＲＯＭ（ファームウェアメモリ）、２１７  カードインタフェース、２１９  メモリカード、２２１  画像表示部、２５１  Ｒｅｔｉｎｅｘ処理回路、２５３  色補間回路、２５５  γ補正回路、２５７  色空間変換回路、２５９  画像圧縮回路、３０１  ＣＰＵ、３０３  表示部、３０５  ＬＡＮカード、３０７  入力部、３０９  フレキシブルディスクドライブ、３１１  ＣＤ−ＲＯＭドライブ、３１３  ハードディスクドライブ、３１５  ＲＯＭ、３１７  ＲＡＭ、Ｆ１  フレキシブルディスク、Ｃ１  ＣＤ−ＲＯＭ、Ｄ１  アナログ画像、Ｄ２  オリジナルデジタル画像、Ｄ４  ボケ画像、Ｄ５  Ｒｅｔｉｎｅｘ出力画像、Ｄ６  線形Ｒｅｔｉｎｅｘ出力画像。
【図１】
2004164121.tif 000003
【図２】
2004164121.tif 000004
【図３】
2004164121.tif 000005
【図４】
2004164121.tif 000006
【図５】
2004164121.tif 000007
【図６】
2004164121.tif 000008
【図７】
2004164121.tif 000009
【図８】
2004164121.tif 000010
【図９】
2004164121.tif 000011