(57)【要約】【課題】ぼけを有するカラー画像を復元処理した際に偽色の発生を極力防止可能な撮像装置を提供する。【解決手段】本発明の撮像装置２は、撮像対象１を撮像する撮像光学系３と、撮像対象１を撮像光学系３を介してぼけを有する劣化画像として受像するカラー用の撮像素子４と、撮像素子４から得られた色毎に、各画素から出力される画素データにより劣化画像を生成した後、劣化画像に画像処理を行ってぼけが除去された画像を復元する復元処理部５Ｃと、偽色の発生を防止するために、画素データのうち飽和領域側の復元処理に用いる有役情報を無役情報化させる有役情報無役化処理部５Ｂとを備えている。【選択図】  図７
2015091072.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象を撮像する撮像光学系と、
前記撮像対象を前記撮像光学系を介してぼけを有する劣化画像として受像するカラー用の撮像素子と、
該撮像素子から得られた色毎に、各画素から出力される画素データにより前記劣化画像を生成した後、該劣化画像に画像処理を行ってぼけが除去された画像を復元する復元処理部と、
偽色の発生を防止するために、画素データのうち飽和領域側の復元処理に用いる有役情報を無役情報化させる有役情報無役化処理部と、を備えていることを特徴とする撮像装置。
【請求項２】
前記有役情報無役化処理部は、前記劣化画像の復元処理を行う前に、色毎に前記飽和領域側の有役情報を無役情報化させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記有役情報無役化処理部は、飽和値よりも低い所定値を超えた有役情報としての画素データを有する画素について前記画素データを前記所定値に置換することにより、前記色毎に画素データの飽和領域側の有役情報を無役情報化させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記有役情報無役化処理部は、飽和値よりも低い画素データを有する画素について所定値を加算することにより飽和領域側の有役情報としての画素データを飽和させた後、飽和した画素を含めて各画素について前記所定値を減算することにより、前記色毎に画素データの飽和領域側の有役情報を無役情報化させることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記有役情報無役化処理部は、色毎に各画素が有する画素データを１よりも大きな所定値を乗算することにより飽和領域側の有役情報としての画素データを飽和させた後、飽和した画素を含めて各画素についてその所定値で前記各画素データを除算することにより、前記色毎に画素データの飽和領域側の有役情報を無役情報化させることを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記有役情報無役化処理部は、前記劣化画像の復元処理後に、色毎の画素データから画素毎に輝度信号データと色差信号データとを生成する生成部と、生成された輝度信号データを用いて飽和している輝度信号データを有する飽和画素を探索する探索部と、前記飽和画素に対応する各画素を含めてその近傍の領域に存在する画素により得られる色差信号データを無役情報化させることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記有役情報無役化処理部による有役情報の無役情報化を行う前に前記撮像素子からの画素データに対してホワイトバランス処理を行うホワイトバランス処理部が設けられていることを特徴とする請求項１ないし請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記有役情報無役化処理部は、赤色と青色の画素データについて飽和領域側の画素データを無役情報化させることを特徴とする請求項２ないし請求項５のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像光学系は前記撮像対象までの距離の変化に対する被写界深度の変化を低減する手段を有することを特徴とする請求項１ないし請求項８のいずれか１項に記載の撮像装置。
【請求項１０】
請求項２ないし請求項５のいずれか１項に記載の撮像装置又は請求項８の撮像装置に対して所定値を入力する入力部と、
該入力部から入力された所定値により色毎に前記有役情報無役化処理部に前記飽和領域側の有役情報を無役情報化させる制御を行う制御部とを備え、
前記有役情報無役化処理部は、前記飽和領域側の有役情報を無役情報化させる画素を記憶すると共に前記所定値を記憶する記憶部を有することを特徴とする撮像システム。
【請求項１１】
前記有役情報無役化処理部は、前記記憶部に記憶された画素について、飽和値よりも低い所定値を超えた有役情報としての画素データを前記所定値に置換することを特徴とする請求項１０に記載の撮像システム。
【請求項１２】
前記有役情報無役化処理部は、前記記憶部に記憶された画素について、前記所定値を加算することにより有役情報としての画素データを飽和させた後、飽和した画素を含めて各画素について前記所定値を減算することにより、色毎に画素データの飽和領域側の有役情報を無役情報化させることを特徴とする請求項１０に記載の撮像システム。
【請求項１３】
前記有役情報無役化処理部は、前記記憶部に記憶された各画素について、１よりも大きな所定値を乗算することにより有役情報としての画像データを飽和させた後、飽和した画素を含めて各画素についてその所定値の逆数で画素データを除算することにより、色毎に画素データの飽和領域側の有役情報を無役情報化させることを特徴とする請求項１０に記載の撮像システム。
【請求項１４】
前記復元処理部により復元されたカラー画像を表示するモニタ装置を有することを特徴とする請求項１０ないし請求項１３のいずれか１項に記載の撮像システム。
【請求項１５】
請求項１０に記載の入力部により請求項１０に記載の制御部に請求項１０に記載の所定値を入力する入力ステップと、
前記制御部により請求項１０に記載の有役情報無役化処理部に請求項１０に記載の色毎に飽和領域側の有役情報を無役情報化させる有役情報無役化ステップと、
該有役情報無役化ステップにより無役情報化された飽和領域側の画素データと無役情報化されていない画素データとを用いて請求項１０に記載の撮像装置の復元処理部により色毎に劣化画像を復元することによりカラー画像を作成して、該カラー画像を請求項１３に記載のモニタ装置に出力する出力ステップと、
前記モニタ装置に表示されたカラー画像を確認することにより偽色の有無を確認する確認ステップと、
前記偽色が存在する場合には、前記入力部に入力する前記所定値を変更しかつ偽色の有無がないと判断したときには請求項１０に記載の記憶部に前記飽和領域側の有役情報を無役情報化させる画素を記憶させると共に前記所定値を記憶させる記憶ステップとを含むことを特徴とする偽色除去方法。
【請求項１６】
前記有役情報無効化処理部により入力される画素データに対してホワイトバランス処理が行われていることを特徴とする請求項１５に記載の偽色除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ぼけを有するカラー画像に画像処理を行うことにより高精細なカラー画像を取得可能な撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法に関する。
【背景技術】
【０００２】
従来から、撮像装置には、撮像光学系の光路に位相板を挿入して、焦点深度を拡大し、この焦点深度の拡大によりぼけた画像（劣化画像）に対して、復元フィルタ処理という画像処理を行うことにより元の高解像度の画像に復元する技術が提案されている（例えば、特許文献１参照）。
【０００３】
この復元フィルタ処理では、点広がり関数（又は点像分布関数（ＰＳＦ）又はいわゆるぼけ関数）を逆変換処理することにより求められたフィルタが用いられる。また、元の高解像度の画像を正確に復元するためには、撮像対象の各部位からの光量が、その各部位に対応する撮像素子の各画素に正確に取得されなければならない。
【０００４】
ところが、撮像対象のある部位から閾値以上の光量が撮像素子に入射すると、その部位に対応する撮像素子の画素の出力が飽和する。このため、撮像素子のその部位に対応する画素は被写体からの光量を正確に取得できず、その被写体の部位に対応する光量の正確な情報が欠落する。
【０００５】
ぼけ関数の広がり領域全体に渡って、撮像対象の部位からの光量をその部位に対応する各画素が正確に取得できてさえいれば、復元処理により元の高解像度の画像を復元できる。しかしながら、画素の出力が飽和している近傍領域の画素（画像の復元に用いるフィルタのサイズに含まれる画素）では、光量の正確な情報が欠落しているので、元の高解像度の画像を正確に復元できない。
【０００６】
なお、類似の技術として、カラー画像の復元処理によりカラー画像のぼけを極力少なくする技術も提案されている（特許文献２参照）。
ところで、モノクロの画像については、解像度の若干の劣化として人間の眼に感じるが、カラー画像の場合には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の画像のうちの例えば緑色（Ｇ）の画像について復元処理が正確に行われず、赤色（Ｒ）、青色（Ｂ）の画像について正確な復元処理が行われると、色毎の画像を合成してカラー画像を作成した場合に偽色が発生する。人の脳は色について敏感に反応するため、偽色が生じると違和感が生じる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記の事情に鑑みて為されたもので、ぼけを有するカラー画像を復元処理した際に偽色が発生するのを極力防止可能な撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像対象を撮像する撮像光学系と、前記撮像対象を前記撮像光学系を介してぼけを有する劣化画像として受像するカラー用の撮像素子と、該撮像素子から得られた色毎に、各画素から出力される画素データにより前記劣化画像を生成した後、該劣化画像に画像処理を行ってぼけが除去された画像を復元する復元処理部と、偽色の発生を防止するために、画素データのうち飽和領域側の復元処理に用いる有役情報を無役情報化させる有役情報無役化処理部と、を備えていることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ぼけを有するカラー画像を復元処理した際に偽色の発生を極力防止可能であるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１Ａ】図１Ａは撮像対象の一例を模式的に示す説明図である。
【図１Ｂ】図１Ｂは図１Ａに示す撮像対象に対応する画像であって、劣化のない画像を示す模式図である。
【図１Ｃ】図１Ｃは図１Ａに示す撮像対象に対応する画像であって、ぼけを有する劣化画像を示す模式図である。
【図２】図２は図１Ｂに示す水平走査ラインにより得られる一次元プロファイル像を示す模式図である。
【図３】図３は図１Ｃに示す水平走査ラインにより得られる一次元プロファイル像を示す模式図である。
【図４】図４は図１Ｃに示す劣化像の輝度値が飽和している場合の一次元プロファイル像を示す模式図である。
【図５】図５は図１Ｃに示す劣化画像に対して復元処理を行ったときに本来得られるはずの一次元プロファイル像を示す模式図である。
【図６】図６は図１Ｃに示す劣化画像に対して復元処理を行ったときに実際に得られる一次元プロファイル像を示す模式図である。
【図７】図７は本発明の実施例に係る撮像システムの一例を示すブロック図である。
【図８】図８は本発明の実施例１に係る画像処理部の詳細構成を示す説明図であって、図７に示す画像処理部のブロック図である。
【図９】図９は図８に示す制御部１の内部の構成の一部を概念的に示すブロック図である。
【図１０】図１０は図８に示す有役情報無役化処理部の作用を説明するための説明図であって、図１０（ａ）は図１Ｃに示す劣化画像について、赤色と青色とについて各画素が飽和していないときの復元処理を行う前の一次元プロファイル像を示し、図１０（ｂ）は図１Ｃに示す劣化画像について、赤色と青色とについて各画素が飽和していないときの復元処理後の一次元プロファイル像を示す。
【図１１】図１１は図８に示す有役情報無役化処理部の作用を説明するための説明図であって、図１１（ａ）は図１Ｃに示す劣化画像について、緑色について画素の一部が飽和しているときの復元処理を行う前の一次元プロファイル像を示し、図１１（ｂ）は図１Ｃに示す劣化画像について、緑色について画素の一部が飽和しているときの復元処理後の一次元プロファイル像を示す。
【図１２】図１２は図８に示す有役情報無役化処理部の作用を説明するための説明図であって、図１２（ａ）は図１Ｃに示す劣化画像について、赤色と青色の各画素について、飽和領域側の所定値以上の画素データを切り捨てた一次元プロファイル像を示し、図１２（ｂ）は図１Ｃに示す劣化画像について、図１２（ａ）に示す飽和領域側の所定値以上の画素データを切り捨てた情報を用いて赤色と青色とについて復元処理を行った後の一次元プロファイル像を示す。
【図１３】図１３は復元処理の概念を模式的に説明するための図であって、劣化画像と逆変換処理フィルタとのコンボリュ―ションを概念的に説明する説明図である。
【図１４】図１４は本発明の実施例２に係る画像処理部の詳細構成を示す説明図であって、図７に示す画像処理部のブロック図である。
【発明を実施するための形態】
【実施例】
【００１１】
まず、本発明に係るぼけを有するカラー画像を復元処理した際に偽色の発生を極力防止可能な撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法を説明する前にぼけを有する劣化画像とその復元処理と偽色との関係を概念的に説明する。
【００１２】
図１Ａは撮像対象１の模式図である。撮像対象１は、人でも監視対象物体でも、バーコードでも、文字列でも何でも良いが、ここでは、黒領域１Ａと白領域１Ｂとの境界１Ｃが明瞭であるバーコードの一部とする。
【００１３】
図１Ａに示す撮像対象１を撮像したときに、撮像装置により撮像された画像鮮明であると図１Ｂに示す劣化のない画像が得られる。撮像装置により撮像された画像がぼけていると、図１Ｃに示すぼけた劣化画像が得られる。その図２は図１Ｂに示す劣化のない画像を水平走査ラインＳＣで走査したときに得られる一次元プロファイル像である。図３はその図１Ｃに示す劣化画像を水平走査ラインで走査したときに得られる一次元プロファイル像である。その図２、図３において、縦軸は画素データとしての輝度値（Ｙ）であり、横軸は画素Ｘの水平方向の番号である。
なお、一次元プロファイル像とは、二次元の画像構成する多数本の水平走査ラインＳＣのうちの一本の水平走査ラインＳＣによる像の強度変化を輝度値で表した曲線をいう。
【００１４】
図２、図３に示す一次元プロファイル像は、図１Ｂ、図１Ｃに示す水平走査ラインＳＣ上の画素が有する輝度値の変化を示している。輝度値（Ｙ）＝２５５は飽和値ＨＯを意味し、撮像対象１の各部位からこの飽和値を超える光量が入射したとしても、その光量情報は復元処理に用いるのに役に立たない無役な情報である。各画素が飽和すると、各画素は飽和値「２５５」の画素データを有するものとなる。
【００１５】
画像が鮮明な場合、図２に示すように、黒領域１Ａに対応する低輝度側の画素領域１Ａ’と白領域１Ｃに対応する高輝度側の画素領域（飽和領域側の画素領域）１Ｂ’との間の境界画素領域１Ｃ’の傾斜が急峻となる。
【００１６】
これに対して、劣化画像の場合、図３に示すように、黒領域１Ａに対応する低輝度画素領域１Ａ’と白領域１Ｃに対応する高輝度画素領域（飽和領域側の画素領域）１Ｂ’との境界画素領域１Ｃ’の低輝度側と飽和領域側とがなだらかな曲線１Ｃ”となる。
その傾斜がなだらかであることは、境界１Ｃの部位が複数の画素にまたがって受像されていること、すなわち、境界領域１Ｃ’がぼけていることを意味している。
【００１７】
図３に示す一次元プロファイル像では、輝度値（Ｙ）が飽和していない。なので、全ての画素について画素データを有役情報として用いることができる。従って、原理的に、図３に示す画素データに点広がり関数の逆関数を用いて復元処理を行うと、図２に示す一次元プロファイル像を復元できる。つまり、図１Ｃに示す劣化画像を復元することにより図１Ｂに示す劣化のない鮮明な画像が得られる。
【００１８】
しかしながら、図４の一次元プロファイル像で示すように、劣化画像の輝度値（Ｙ）が飽和していると、本来、飽和していないときに得られる破線部分の画素データの情報（光量情報）が失われる。すなわち、その飽和値ＨＯを有する画素については、復元処理を行う際に有役情報として用いることができない。
【００１９】
その結果、本来、復元処理を行った際に得られるはずの図５に示す一次元プロファイル像を復元することができず、図６の一次元プロファイル像に示すように、境界画素領域１Ｃ’の低輝度側においてなだらかな曲線１Ｃ”となり、復元処理を行った場合に低輝度側の境界領域１Ｃがぼけた画像となる。
【００２０】
以上、画像の一次元プロファイル像に輝度値（Ｙ）を用いて劣化画像の復元処理について説明したが、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色についても、画素データが飽和すると同様に正確な復元処理を行うことができない。
【００２１】
例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のうち、緑色（Ｇ）の画素の一部の画素データが飽和しており、残りの赤色（Ｒ）、青色（Ｂ）の全ての画素については、画素データが飽和していないものとする。
【００２２】
このように三色のうちの一色（例えば、緑色）について、一部の画素の画素データが飽和値ＨＯを有している場合、劣化画像を復元処理すると、緑色（Ｇ）の画素については、図６に示すように低輝度側の境界画素領域１Ｃ’がなだらかな曲線１Ｃ”となる。
【００２３】
これに対して、赤色（Ｒ）、青色（Ｂ）の画素については、図２に示すように、低輝度側画素領域１Ｃ’でも急峻な傾斜となるため、低輝度側の境界領域１Ｃ’を復元処理した場合に、緑色（Ｇ）と赤色（Ｒ）、青色（Ｂ）とで復元処理結果に差が生じ、これらの復元処理を行った各色の画素データを用いてカラー画像を生成した場合、斜線で示すＱＲの領域に偽色が発生する。
【００２４】
（本発明の原理）
次に、本発明の原理を概念的に説明する。
劣化画像（ぼけた画像）を正確に復元処理するためには、既述したように、全ての画素データが復元処理を行うのに有役な有役情報であることが前提である。しかしながら、一部の画素について画素データが飽和していると、その画素データが復元処理を行うのに役に立たない無役情報となるため、各色について同じ復元処理を行うと、偽色が発生する。
【００２５】
そこで、偽色の発生を防止するために、画像の復元処理を行う前に色毎に画素データの飽和領域側の有役情報を無役情報化させる。例えば、各色について、飽和領域側の有役情報を所定値に揃えて無役情報化させることにすれば、ある色（例えば、緑色）の画素の一部が飽和し、他の色（例えば、赤色と青色）の画素の画素データが飽和していない場合でも、その画素の一部が飽和している色についての復元程度と同程度に復元処理の正確度を低減させることができる。その結果、カラー画像を合成した場合に偽色の発生を防止できることになる。
【００２６】
また、偽色が生じるのは、ある色の画素の一部の画素領域が飽和し、他の色の画素が飽和していない場合である。そこで、各色について輝度データと色差信号データとを作成して飽和値を有する画素領域を探索し、この飽和値を有する画素領域の色差データ信号を無役情報化させる。すなわち、色差信号データを０に近づける。
【００２７】
このように、飽和値を有する画素領域の色差信号データを無役情報化させると、カラー画像を合成したときに飽和値を有する画素領域の近傍では、色差信号データが０に近づけられる。これにより、カラー画像を合成した場合に、境界領域１Ｃの近傍の色が薄められ、偽色の発生が防止される。
【００２８】
（実施例１）
図７は本発明に係る撮像システムのブロック図である。
この図７において、符号２は撮像装置を示す。撮像装置２は、撮像光学系としてのレンズユニット３、ＣＣＤ、ＣＭＯＳセンサ等のカラー用の撮像素子４、画像処理部５、データ通信部６を有する。その撮像素子４には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のベイヤー配列型のものが用いられる。
【００２９】
そのレンズユニット３には、前側レンズ系Ｌ１と後側レンズ系Ｌ２との間に絞り部材７が設けられている。その絞り部材７の直前には位相板８が設けられている。この位相板８は被写界深度を拡大するための収差を発生させるのに用いられる。すなわち、撮像光学系は撮像対象１までの距離の変化に対する被写界深度の変化を低減する手段として位相板８を有する。
【００３０】
この位相板８は、レンズユニット３に対して着脱可能であり、位相板８をレンズユニット３の光路から除去した場合には、ぼけのほとんどない鮮明な画像を撮影可能な通常のカメラとして撮像装置２を用いることができる。位相板８を撮像光学系の光路に挿入した場合、被写界深度を拡張するいわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ：強化被写体深度）に対応したカメラに用いることができる。
【００３１】
撮像対象１の部位ＢＵは、撮像光学系を介して点広がり関数に対応するぼけた劣化画像として撮像素子４に受像される。撮像素子４はその劣化画像に対応する画素データを画像処理部５に出力する。
【００３２】
画像処理部５には、撮像素子４から各色に対応する画素データが入力される。その画像処理部５は、図８に示すように、ホワイトバランス処理部５Ａと、有役情報無役化処理部５Ｂと、復元処理部５Ｃと、ゲイン調整部５Ｄと、ベイヤー補間処理部５Ｄとを備えている。
【００３３】
ホワイトバランス処理部５Ａは、公知の処理によりホワイトバランスを調整するための処理を行う。例えば、そのホワイトバランス調整は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色について、メモリ等に保持されたゲイン値を各画素の画素データに乗算することにより行われる。
【００３４】
有役情報無役化処理部５Ｂと、復元処理部５Ｃとについては後述する。ベイヤー補間部５Ｄは、不足する色情報を線形補間法、勾配に基づく補間法、適応型カラープレーン補間法等のベイヤー補間処理を行った後、カラー画像データを生成する。
【００３５】
そのカラー画像データは、データ通信部６に向かって出力される。データ通信部６は、イーサネット（登録商標）（Ethernet（登録商標））等と接続され、画像データはパーソナルコンピュータ９に入力される。
【００３６】
そのパーソナルコンピュータ９は入力部１０と制御部１１とを有する。その制御部１１にはモニタ装置１２が接続されている。制御部１１はそのデータ通信部６から出力されたカラー画像をモニタ装置１２の画面に表示させる機能を有すると共に、画像処理部５をデータ通信部６を介して制御する機能を有する。
【００３７】
有役情報無役化処理部５Ｂは、偽色の発生を防止するために、画像を復元する処理を行う前に色毎に画像データの飽和領域側の有役情報を無役情報化させる機能を有する。
実施例１では、飽和値よりも低い所定値ＴＨを超えた有役情報としての画素データを有する画素Ｘについて画素データとしての輝度値Ｙを所定値ＴＨに置換することにより、色毎に画素データの飽和領域側の有役情報を無役情報化させる。
【００３８】
その制御部１１は、図９に示すように、例えば比較器ＣＰ１を有する。この比較器ＣＰ１は各画素の輝度値Ｙと所定値ＴＨとを比較し、所定値ＴＨを超えた場合に所定値ＴＨをメモリ（記憶部）１３に向かって出力すると共にその所定値ＴＨを超えた画素の番地情報をメモリ１３に向かって出力する。有役情報無役化処理部５Ｂはこのメモリ１３に記憶されている情報に基づいて無役情報化処理を行うものであるが、その詳細は、後述する。
【００３９】
復元処理部５Ｃは、カラー用の撮像素子４から得られる色毎に、各画素から出力される画素データにより点広がり関数に対応する劣化画像を生成した後、劣化画像に点広がり関数の逆関数を用いてぼけの除去された画像を復元する機能を有する。
【００４０】
その復元処理には、公知の逆フィルタ処理、ウィナーフィルタ処理を用いることができるが、この実施例では、ウィナーフィルタ処理を用いる。このウィナーフィルタ処理については、例えば、非特許文献（「コンピュータ画像処理」著者  田村秀行）等に記載されている。そのウィナーフィルタの公式は以下に示す通りである。
【００４１】
2015091072.tif 000003
ここで、Ｒは、画像処理フィルタ、Ｈは光学系の伝達関数（ＯＴＦ）、Ｓ2は被写体のパワースペクトル、Ｗ2は撮像素子４の固有ノイズのパワースペクトル、ｕ、ｖは縦方向、横方の空間周波数を示している。
【００４２】
光学伝達関数Ｈ（ｕ、ｖ）は、光学系の設計データから求めることができる。画像処理フィルタＷ（ｕ、ｖ）、Ｓ（ｕ、ｖ）は実際に測定することにより正確に求めることができる。しかしながら、実際には、Ｗ2/Ｓ2を適宜の定数として設定して取り扱っても差し支えない。
【００４３】
撮像装置２に、ウィナーフィルタをそのまま組み込んで、周波数空間上で処理を行うと、復元処理の負荷が過大となる。そこで、周波数空間をフーリエ変換して実空間上のＦＩＲフィルタに変換し、ＦＩＲフィルタを劣化画像にコンボリュ―ションすることにより復元処理する。その演算処理の一例についてその概念を概略説明する。
【００４４】
図１３は逆変換処理のフィルタと劣化画像とのコンボリュ―ションを模式的に説明するための説明図である。
符号２０は復元処理に用いる劣化画像の部分画像に対応する画素領域を示し、符号２１はその画素領域２０の復元処理に用いるＦＩＲフィルタを示している。例えば、その画素領域２０は、図１Ｃに示す劣化画像の５×５の画素領域である。その画素領域２０の画素がそれぞれ有する画素データを符号Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１〜Ａ３５、Ａ４１〜Ａ４５、Ａ５１〜Ａ５５で示す。
【００４５】
そのＦＩＲフィルタ２１は、その画素領域２０のサイズに対応するサイズの大きさであり、符号ａ１１〜ａ１５、ａ２１〜ａ２５、ａ３１〜ａ３５、ａ４１〜ａ４５、ａ５１〜ａ５５はコンボリュ―ションに用いるフィルタ係数を示している。
【００４６】
その画素領域２０の各画素とＦＩＲフィルタ２１とのコンボリュ―ションを図１３に示す式に基づいて行う。このコンボリュ―ションの演算を、第１行目の水平走査ラインについて図１Ｃに破線で示すように例えば左から右に向かって行い、ついで、第１行目の水平走査ラインＳＣのコンボリュ―ション演算が終了すると、第２行目の水平走査ラインＳＣについてコンボリュ―ション演算を実行し、この逆変換処理を最終行の水平走査ラインＳＣのコンボリュ―ション演算が終了するまで行う。
【００４７】
これらの逆変換処理によって、ぼけが除去された画像が取得されるものであるが、その詳細は、例えば、特開２００９−８９０８２号公報に開示されている。また、復元処理それ自体は公知であるので、その詳細は割愛し、次にこのコンボリュ―ション処理に用いる画素データについて説明する。
【００４８】
有役情報無役化処理部５Ｂは、メモリ１３からの情報に基づいて、飽和値よりも低い所定値ＴＨを超えた有役情報としての画素データを有する画素について画素データを所定値ＴＨに置換することにより、色毎に飽和領域側の画素領域の有役情報を無役情報化させる。
【００４９】
例えば、赤色（Ｒ）の画像の画素データと青色（Ｂ）の画像の画素データとが飽和しにくく、緑色（Ｒ）の画素データが飽和し易いものとする。この場合、図１０（ａ）に示す赤色（Ｒ）、青色（Ｂ）の劣化画像に復元処理を行うと、図９（ｂ）に示すように、境界領域１Ｃ’が急峻な一次元プロファイルが得られる。
【００５０】
これに対して、図１１（ａ）に示す緑色（Ｇ）の劣化画像に復元処理を行うと、図１１（ｂ）に示すように、境界領域１Ｃの低輝度側の画像領域がなだらかな曲線１Ｃ”が得られる。緑色（Ｇ）については、飽和領域側の画素領域で有役情報が欠落し、復元処理の際には無役な情報であるので、境界領域１Ｃの低輝度側がなだらかとなる。このため、何らの処理も行わずに各色について復元処理した画像データを用いてカラー画像を合成すると、偽色が発生する。
【００５１】
これに対して、劣化画像の復元処理を行う前に、図１２（ａ）に示すように、赤色（Ｒ）、青色（Ｂ）の画像データについて、飽和値よりも低い閾値としての所定値ＴＨを設定し、所定値ＴＨを超えた有役情報としての画素データを有する画素について画素データを所定値ＴＨに置換する。
【００５２】
このように、赤色（Ｒ）、青色（Ｂ）の画素データについて、所定値ＴＨ以上の画素を有する画素データを無役情報化させて、復元処理を行うと、図１２（ｂ）に示すように、緑色（Ｂ）の画像データと同様に、復元処理の際に境界領域１Ｃ’の低輝度側が正常に復元できなくなる。
【００５３】
その結果、低輝度側の境界領域１Ｃにおいて、各色の一次元プロファイル像をほぼ同一に揃えることができることになり、カラー画像を合成した場合に偽色の発生を低減できる。
この実施例１では、所定値ＴＨで画素データの有役情報を切り捨てて、有役情報を無役情報化させているため、高輝度側での赤色（Ｒ）と青色（Ｂ）とについては、その飽和値（所定値ＴＨ）と緑色（Ｇ）の飽和値ＨＯとにずれが生じる。このため、カラー画像を合成した場合に、違和感が生じる。
【００５４】
そこで、この実施例１では、飽和値ＨＯと所定値ＴＨとの比（ＨＯ/ＴＨ）の倍数を赤色の画素データと緑色の画素データとに乗算して、各色について飽和値を揃えるためのゲイン調整を行う。
そのゲイン調整データは制御部１１からデータ通信部６を経由してゲイン調整部５Ｄに入力することにより行う。
【００５５】
なお、ゲイン調整部５Ｄは、飽和値ＨＯを各色について調整する処理を行う機能を有するのみであるので、このゲイン調整部５Ｄにおいて、緑色（Ｇ）について所定値ＴＨ以上の画素データを切り捨て、所定値ＴＨの画素データに置換する構成としても良い。
【００５６】
（変形例１）
有役情報無役化処理部５Ｂは、飽和値ＨＯよりも低い画素データを有する画素について所定値ＴＨを加算することにより有役情報としての画素データを飽和させた後、飽和した画素を含めて各画素について所定値ＴＨを減算することにより、色毎に画素データの飽和領域側の有役情報を無役情報化させても良い。
【００５７】
（変形例２）
また、有役情報無役化処理部５Ｂは、色毎に各画素が有する画素データに「１」よりも大きな係数としての所定値ＴＨを乗算することにより有役情報としての画素データを飽和させた後、飽和した画素を含めて各画素についてその所定値ＴＨで除算することにより、色毎に画素データの飽和領域側の有役情報を無役情報化させてもよい。
【００５８】
このように、この実施例１に係る撮像システムでは、撮像装置２に対して所定値を入力する入力部１０と、入力部１０から入力された所定値ＴＨにより色毎に有役情報無役化処理部５Ｂに飽和領域側の有役情報を無役情報化させる制御を行う制御部１１とを備えている。また、この有役情報無役化処理部５Ｂは、飽和領域側の有役情報を無役情報化させる画素を記憶すると共に所定値ＴＨを記憶するメモリ１３を有している。
【００５９】
（偽色除去方法）
次に、この撮像システムによる偽色除去法を以下に説明する。
まず、撮像装置２により図１（Ｃ）に示す劣化画像を取得する。
ついで、入力部１０により制御部１１に所定値ＴＨを入力する（入力ステップ）。
次に、制御部１１により有役情報無役化処理部５Ｂに色毎に飽和領域側の有役情報を無役情報化させる（有役情報無役化ステップ）。
【００６０】
この有役情報無役化ステップにより無役情報化された飽和領域側の画素データと無役情報化されていない画素データとを用いて撮像装置２の復元処理部５Ｃにより色毎に劣化画像を復元することによりカラー画像を作成する。そして、このカラー画像をモニタ装置１２に出力する（出力ステップ）。
【００６１】
ついで、モニタ装置１２に表示されたカラー画像を確認することにより偽色の有無を確認する（確認ステップ）。
そして、偽色が存在する場合には、入力部１０に入力する所定値ＴＨを変更しかつ偽色の有無がないと判断したときには、メモリ１３に飽和領域側の有役情報を無役情報化させる画素を記憶させると共に所定値ＴＨを記憶させる（記憶ステップ）。
これにより、偽色が除去される。
【００６２】
（実施例２）
この実施例２では、劣化画像の復元処理後に、有役情報を無役情報化させるものである。この実施例２では、図１４に示すように、画像処理部５は、ホワイトバランス処理部５Ａと、復元処理部５Ｃと、ベイヤー補間部５Ｄと、ＹＣｂＣｒ変換部５Ｅと、ＣｂＣr抑圧処理部５Ｆとを有する。
【００６３】
ホワイトバランス処理部５Ａ、復元処理部５Ｃ、ベイヤー補間部５Ｄの機能は、実施例１と同様である。
ＹＣｂＣｒ変換部５Ｅは、ＲＧＢの色空間からＹＣｂＣｒ色空間への変換処理を行う。これにより、輝度信号データＹ’と色差信号データＣｂ、Ｃｒが生成される。すなわち、ＹＣｂＣｒ変換部５Ｅは、色毎の画素データから画素毎に輝度信号データＹ’と色差信号データＣｂ、Ｃｒとを生成する生成部として機能する。
【００６４】
ＣｂＣr抑圧処理部５Ｆは、生成された輝度信号データＹ’を用いて飽和している輝度信号データＹ’を有する飽和画素を探索する探索部と、飽和画素に対応する各画素を含めてその近傍の領域に存在する画素により得られる色差信号データＣｂ、Ｃｒを無役情報化させる有役情報無役化処理部との機能を有する。
【００６５】
その近傍の画素領域は、例えば、５×５の画素範囲でも良く、この５×５の画素範囲について、色差信号データＣｂ、Ｃｒの値に０.１程度のゲインを加えたり、色差信号データＣｂ、Ｃｒの値を０に設定することにより、飽和画素に対応する各画素を含めてその近傍の領域に存在する画素によって構築される画像の色を低減し、輝度信号が際立つように処理する。
【００６６】
飽和領域側の輝度信号は、青色（Ｂ）と赤色（Ｒ）と緑色（Ｇ）とによって構築されたものであり、その輝度信号を構成する飽和領域に対応する画素の近傍領域を色差信号データに分解したときに対応する画素には、低輝度側の画素領域から高輝度側の画素領域にわたる境界領域１Ｃの画素が含まれ、偽色が発生する可能性のある領域の色を除去できるため、その結果、偽色の発生を除去できる。
【符号の説明】
【００６７】
１…撮像対象１
２…撮像装置
３…レンズユニット（撮像光学系）
４…撮像素子
５…画像処理部
５Ｂ…有役情報無役化処理部
５Ｃ…復元処理部
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２００９−８９０８２号
【特許文献２】特開２０１１-１７０７７７号公報
【図１Ａ】
2015091072.tif 000004
【図１Ｂ】
2015091072.tif 000005
【図１Ｃ】
2015091072.tif 000006
【図２】
2015091072.tif 000007
【図３】
2015091072.tif 000008
【図４】
2015091072.tif 000009
【図５】
2015091072.tif 000010
【図６】
2015091072.tif 000011
【図７】
2015091072.tif 000012
【図８】
2015091072.tif 000013
【図９】
2015091072.tif 000014
【図１０】
2015091072.tif 000015
【図１１】
2015091072.tif 000016
【図１２】
2015091072.tif 000017
【図１３】
2015091072.tif 000018
【図１４】
2015091072.tif 000019