(57)【要約】【課題】異なる特性を有する画像に対し、画像の輝度レベル、正側及び負側でのノイズの違いが考慮された高精度なノイズ除去及びエッジ保存を行う。【解決手段】ノイズ除去手段が、画像から特性が統一された低周波成分を取得する低周波成分取得手段と、画像から特性が統一された高周波成分を取得する高周波成分取得手段と、低周波成分のレベルに応じて正側及び負側のノイズ量を算出するノイズ量算出手段と、画像から特性が統一されたエッジ量を検出するエッジ量検出手段と、エッジ量と正側及び負側のノイズ量とに基づいてエッジ補正係数を算出するエッジ補正係数算出手段と、正側及び負側のノイズ量に基づいて高周波成分に対するコアリングを行うコアリング手段と、エッジ補正係数に基づいてコアリング度合いを調整する調整手段と、調整したコアリング度合でコアリングされた高周波成分と低周波成分とを加算する加算手段とを備える。【選択図】図５
2008113337.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる光電変換特性を有する固体撮像素子と、
前記固体撮像素子により得られる複数の異なる特性を有する画像に対するノイズ除去処理を行うノイズ除去手段とを備える撮像装置であって、
前記ノイズ除去手段は、
前記画像から、前記複数の異なる特性を１種類の特性に統一する統一変換がなされた低周波成分を取得する低周波成分取得手段と、
前記画像から、前記統一変換がなされた高周波成分を取得する高周波成分取得手段と、
前記低周波成分に対して信号レベルが高い側を正側、低い側を負側と定める場合において、前記低周波成分のレベルに応じて前記正側のノイズ量と前記負側のノイズ量とを算出するノイズ量算出手段と、
前記画像から、前記統一変換がなされたエッジ量を検出するエッジ量検出手段と、
前記エッジ量と、前記低周波成分のレベルに応じて算出された正側及び負側のノイズ量とに基づいて、前記画像のエッジ保存に関するエッジ補正係数を算出するエッジ補正係数算出手段と、
前記正側及び負側のノイズ量に基づいて、前記高周波成分に対するコアリングを行うコアリング手段と、
前記エッジ補正係数に基づいて、前記コアリングの度合いを調整する調整手段と、
前記調整されたコアリング度合でコアリングされた高周波成分と、前記低周波成分とを加算する加算手段とを備えることを特徴とする撮像装置。
【請求項２】
前記調整手段は、前記コアリング手段によりコアリングされた高周波成分と、該コアリング手段によりコアリングされていない高周波成分との合成の比率を前記エッジ補正係数に応じて変化させることにより前記コアリングの度合いを調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記調整手段は、前記コアリングに用いるコアリング係数を前記エッジ補正係数に応じて変化させることにより前記コアリングの度合いを調整することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有するものであって、
前記画像は、前記線形特性の画像と前記対数特性の画像とからなる複数特性画像であることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形特性と、該第１の線形特性とグラフ上の傾きが異なる第２の線形特性とからなる光電変換特性を有するものであって、
前記画像は、２種類の前記線形特性の画像からなる複数特性画像であることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項６】
前記低周波成分取得手段及び高周波成分取得手段は、前記複数特性画像の各特性を前記１種類の線形特性に統一する前記統一変換を行う特性変換手段を備えることを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
前記ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理を行う階調変換手段をさらに備え、
前記コアリング手段は、
前記ノイズ除去手段によりノイズ除去処理が行われた画像に対して前記階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、前記正側及び負側それぞれにおいて前記低周波成分のレベルに依らず一定となるようなコアリング係数を用いて前記コアリングを行うことを特徴とする請求項１〜６のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の異なる光電変換特性を有する固体撮像素子を用いた撮像装置であって、特に、この固体撮像素子により得られた撮影画像に対するノイズ除去が可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置は、所定の固体撮像素子（撮像センサ）を備え、この固体撮像素子による撮像によって撮影画像を取得する。一般的に、撮影画像（画像信号）にはノイズ成分が含まれるが、近年における更なる高画質化の要請にも伴い、このノイズ成分を好適に除去することが求められている。
【０００３】
ところで、固体撮像素子には、光電変換特性が複数の異なる光電変換特性からなるもの、例えば入射光量に対して電気信号が線形的に変換されて出力される線形の光電変換特性（線形特性という）と、入射光量に対して電気信号が対数的に変換されて出力される対数の光電変換特性（対数特性という）とからなる光電変換特性を有する固体撮像素子（リニアログセンサという）がある。この線形特性及び対数特性（線形／対数特性という）を有するリニアログセンサによる撮影画像のことを「線形／対数画像」という。
【０００４】
上記線形／対数特性のように複数の異なる光電変換特性を有する固体撮像素子により撮影する場合、対数特性において入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジ（広ダイナミックレンジ）が確保できるという利点がある反面、画像信号が対数圧縮されるためコントラスト性が悪くなるつまり対数特性の画像が低コントラストとなるという不都合がある。そのため、画像から照明成分と反射率成分とを抽出し、対数特性の照明成分を線形変換して全体を線形特性に統一した後、これを圧縮することにより局所的なコントラストを保存したまま全体のダイナミックレンジ（ＤＲ）を圧縮するＤＲ圧縮などの階調変換を行うことで、当該対数特性における高コントラスト化が図られる。
【０００５】
しかしながら、上記階調変換に伴ってノイズも増幅されてしまう、すなわち階調変換による画像データの伸張度合い（圧縮度合い）が大きな画素においては、コントラスト成分だけでなくノイズ成分も伸張されてしまい、伸張度合いの大きな領域でのノイズが目立ってしまっていた。これに関し、例えば特許文献１には、ノイズ除去量を階調変換における伸張度合いに応じて制御する、つまり撮影画像における当該伸張度合いに相当する輝度レベルに応じてノイズ除去量に関するコアリング係数を算出し、このコアリング係数を用いたコアリング処理（ノイズ除去処理）を行うことで、全体の残留ノイズ量が一定となるようにする技術が開示されている。
【０００６】
しかしながら、上記線形／対数特性に対する線形変換を行う際、線形特性と対数特性との切り替わり点付近及び対数特性領域において正側のノイズと負側のノイズとでノイズの増幅率が異なるものとなり、また、対数特性領域において画像の輝度レベルが高いほどノイズの増幅率が大きくなる。上記特許文献１における技術では、このようなノイズに対して一律なノイズ除去量でのノイズ除去が行われるので正確なノイズ除去を行うことができない。そこで、例えば特許文献２に開示される技術のように、線形／対数特性に対する線形変換を行う際に、画像の輝度レベル（低周波成分のレベル）並びに正側のノイズ及び負側のノイズによってノイズ量が異なることを考慮してノイズ除去を行う方法が考案されている。
【特許文献１】特願２００５−２７６２９９号
【特許文献２】特願２００６−２６３０２５号
【特許文献３】特開２０００−３５４１８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記コアリング処理によりノイズ除去を行うに際して、ノイズ以外の画像の高周波成分、特に画像のエッジ部つまりエッジ情報の欠落を抑止するために、エッジ補正係数を導入してエッジ補正を行うつまりエッジ補正係数に応じてコアリング量を調整する技術が知られている。上記特許文献２においてもこのエッジ補正係数を用いてエッジ補正が行われている。しかしながら、このエッジ補正（エッジ補正係数）に対しては、上記画像の輝度レベルや正側及び負側のノイズによってノイズ量が異なるということについて考慮されていない。エッジ補正係数は、エッジ量が或る閾値以上となるときに該エッジ量が大きくなるにつれて徐々にコアリング量を小さくしていく（基画像に残すエッジ量の割合を大きくしていく）ための係数であるが、当該輝度レベルやノイズの正側及び負側の違いについて考慮されていないことからも、ノイズ量が小さいところではエッジをノイズと見なして除去してしまいエッジが残らなかったり、逆にノイズ量が大きいところではノイズがエッジと見なされて除去できないといったエッジ保存精度の問題が依然として残る。
【０００８】
また、上記特許文献３には、エッジ補正係数を高域信号量等によって制御する技術が開示されているものの、エッジ補正係数に対するノイズの正側及び負側の違いについては考慮されておらず、線形／対数特性等の２つ以上の異なる光電変換特性を有する固体撮像素子から得られる画像に対する当該技術の好適な適用は困難である。
【０００９】
本発明は、上記事情に鑑みてなされたもので、複数の異なる特性を有する画像に対する、該画像の輝度レベル並びに正側及び負側でのノイズの違いが考慮された高精度なノイズ除去及びエッジ保存が可能であり、ひいては高画質な撮影画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、複数の異なる光電変換特性を有する固体撮像素子と、前記固体撮像素子により得られる複数の異なる特性を有する画像に対するノイズ除去処理を行うノイズ除去手段とを備える撮像装置であって、前記ノイズ除去手段は、前記画像から、前記複数の異なる特性を１種類の特性に統一する統一変換がなされた低周波成分を取得する低周波成分取得手段と、前記画像から、前記統一変換がなされた高周波成分を取得する高周波成分取得手段と、前記低周波成分に対して信号レベルが高い側を正側、低い側を負側と定める場合において、前記低周波成分のレベルに応じて前記正側のノイズ量と前記負側のノイズ量とを算出するノイズ量算出手段と、前記画像から、前記統一変換がなされたエッジ量を検出するエッジ量検出手段と、前記エッジ量と、前記低周波成分のレベルに応じて算出された正側及び負側のノイズ量とに基づいて、前記画像のエッジ保存に関するエッジ補正係数を算出するエッジ補正係数算出手段と、前記正側及び負側のノイズ量に基づいて、前記高周波成分に対するコアリングを行うコアリング手段と、前記エッジ補正係数に基づいて、前記コアリングの度合いを調整する調整手段と、前記調整されたコアリング度合でコアリングされた高周波成分と、前記低周波成分とを加算する加算手段とを備えることを特徴とする。
【００１１】
上記構成によれば、撮像装置が、複数の異なる光電変換特性を有する固体撮像素子と、固体撮像素子により得られる複数の異なる特性を有する画像に対するノイズ除去処理を行うノイズ除去手段とを備えるものとされ、ノイズ除去手段において、低周波成分取得手段によって複数の異なる特性を１種類の特性に統一する統一変換がなされた低周波成分が画像から取得され、高周波成分取得手段によって当該統一変換がなされた高周波成分が画像から取得される。また、低周波成分に対して信号レベルが高い側を正側、低い側を負側と定める場合において、ノイズ量算出手段によって低周波成分のレベルに応じて正側のノイズ量と負側のノイズ量とが算出され、エッジ量検出手段によって画像から統一変換がなされたエッジ量が検出される。エッジ補正係数算出手段によって、この検出されたエッジ量と、低周波成分のレベルに応じて算出された正側及び負側のノイズ量とに基づいて、画像のエッジ保存に関するエッジ補正係数が算出される。そして、コアリング手段によって正側及び負側のノイズ量に基づいて高周波成分に対するコアリングが行われ、調整手段によってエッジ補正係数に基づいてコアリングの度合いが調整され、加算手段によって当該調整されたコアリング度合でコアリングされた高周波成分と低周波成分とが加算される。
【００１２】
また、上記構成において、前記調整手段は、前記コアリング手段によりコアリングされた高周波成分と、該コアリング手段によりコアリングされていない高周波成分との合成の比率を前記エッジ補正係数に応じて変化させることにより前記コアリングの度合いを調整することが好ましい。（請求項２）
【００１３】
これによれば、調整手段によって、コアリング手段によりコアリングされた高周波成分と、該コアリング手段によりコアリングされていない高周波成分との合成の比率がエッジ補正係数に応じて変化されることによりコアリングの度合いが調整される。
【００１４】
また、上記構成において、前記調整手段は、前記コアリングに用いるコアリング係数を前記エッジ補正係数に応じて変化させることにより前記コアリングの度合いを調整することが好ましい。（請求項３）
【００１５】
これによれば、調整手段によって、コアリングに用いるコアリング係数がエッジ補正係数に応じて変化されることによりコアリングの度合いが調整される。
【００１６】
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有するものであって、前記画像は、前記線形特性の画像と前記対数特性の画像とからなる複数特性画像であることが好ましい。（請求項４）
【００１７】
これによれば、固体撮像素子が、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有するものとされ、この固体撮像素子により得られる画像が、線形特性の画像と対数特性の画像とからなる複数特性画像とされる。
【００１８】
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形特性と、該第１の線形特性とグラフ上の傾きが異なる第２の線形特性とからなる光電変換特性を有するものであって、前記画像は、２種類の前記線形特性の画像からなる複数特性画像であることが好ましい。（請求項５）
【００１９】
これによれば、固体撮像素子が、入射光量に対して電気信号が線形的に変換されて出力される第１の線形特性と、該第１の線形特性とグラフ上の傾きが異なる第２の線形特性とからなる光電変換特性を有するものとされ、この固体撮像素子により得られる画像が、２種類の前記線形特性の画像からなる複数特性画像とされる。
【００２０】
また、上記構成において、前記低周波成分取得手段及び高周波成分取得手段は、前記複数特性画像の各特性を前記１種類の線形特性に統一する前記統一変換を行う特性変換手段を備えることが好ましい。（請求項６）
【００２１】
これによれば、特性変換手段によって、複数特性画像の各特性を１種類の線形特性に統一する統一変換が行われる。
【００２２】
また、上記構成において、前記ノイズ除去手段によりノイズ除去処理が行われた画像に対する階調変換処理を行う階調変換手段をさらに備え、前記コアリング手段は、前記ノイズ除去手段によりノイズ除去処理が行われた画像に対して前記階調変換手段による階調変換処理を行った後に該画像に残る残留ノイズ量が、前記正側及び負側それぞれにおいて前記低周波成分のレベルに依らず一定となるようなコアリング係数を用いて前記コアリングを行うことが好ましい。（請求項７）
【００２３】
これによれば、コアリング手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対して階調変換手段による階調変換処理が行われた後に該画像に残る残留ノイズ量が、正側及び負側それぞれにおいて低周波成分のレベルに依らず一定となるようなコアリング係数を用いたコアリングが行われる。
【発明の効果】
【００２４】
請求項１に係る撮像装置によれば、低周波成分のレベルすなわち画像の輝度レベルに応じて算出された正側及び負側のノイズ量に基づいて高周波成分に対するコアリングが行われるので、画像の輝度レベル並びに正側及び負側でのノイズの違いが考慮された高精度なノイズ除去（ノイズ除去処理、コアリング処理）が可能となる。また、画像から検出されたエッジ量と上記低周波成分のレベルに応じて算出された正側及び負側のノイズ量とに基づいてエッジ補正係数が算出されて、すなわち、エッジ量と、低周波成分のレベルと、正側及び負側のノイズ量との情報に基づいてエッジ補正係数が算出されて、このエッジ補正係数に基づいて調整されたコアリング度合による上記コアリングが行われるので、画像の輝度レベル並びに正側及び負側でのノイズの違いが考慮された高精度なエッジ保存が可能となる。これらのことにより、ひいては高画質な撮影画像を得ることができる。
【００２５】
請求項２に係る撮像装置によれば、コアリングされた高周波成分とコアリングされていない高周波成分との合成比率がエッジ補正係数に応じて変化されることによりコアリングの度合いが調整されるので、当該合成比率をエッジ補正係数に応じて変化させるという方法により容易にコアリングの度合いを調整することができる、すなわちエッジ補正係数がコアリングに反映されることによるエッジ保存の高精度化を容易に行えるようになる。
【００２６】
請求項３に係る撮像装置によれば、コアリング係数がエッジ補正係数に応じて変化されることによりコアリングの度合いが調整されるので、当該コアリング係数をエッジ補正係数に応じて変化させるという方法により容易にコアリングの度合いを調整することができる、すなわちエッジ補正係数がコアリングに反映されることによるエッジ保存の高精度化を容易に行えるようになる。
【００２７】
請求項４に係る撮像装置によれば、線形特性及び対数特性からなる光電変換特性を有する固体撮像素子により、線形特性の画像と対数特性の画像とからなる複数特性画像が得られるので、この複数特性画像を用いて、広いダイナミックレンジを確保しつつ、画像の輝度レベル並びに正側及び負側でのノイズの違いを考慮した高精度なノイズ除去及びエッジ保存がなされた高画質な画像を得ることが可能となる。
【００２８】
請求項５に係る撮像装置によれば、２種類の線形特性からなる光電変換特性を有する固体撮像素子により、該２種類の線形特性の画像からなる複数特性画像が得られるので、この複数特性画像を用いて、広いダイナミックレンジを確保しつつ、画像の輝度レベル並びに正側及び負側でのノイズの違いを考慮した高精度なノイズ除去及びエッジ保存がなされた高画質な画像を得ることが可能となる。
【００２９】
請求項６に係る撮像装置によれば、複数特性画像の各特性が１種類の線形特性に統一されるので、ノイズ除去処理後に当該特性が統一された画像に対して別途行われる階調変換処理の簡素化を図ることができる、すなわち階調変換処理時の画像の取り扱い性が良くなる。
【００３０】
請求項７に係る撮像装置によれば、ノイズ除去処理が行われた画像に対して階調変換処理が行われた後に該画像に残る残留ノイズ量が、正側及び負側それぞれにおいて低周波成分のレベルに依らず一定となるようなコアリング係数を用いたコアリングが行われるので、当該コアリング係数を用いたコアリングにより、画像の輝度レベル並びに正側及び負側でのノイズの違いが考慮された高精度なノイズ除去を、容易に且つ確実に行えるようになる。
【発明を実施するための最良の形態】
【００３１】
（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラ１の主に撮像処理に関するブロック構成図を示す。図１に示すようにデジタルカメラ１は、レンズ部２、固体撮像素子３、アンプ４、Ａ／Ｄ変換部５、ノイズ除去部６、階調変換部７、画像メモリ８、全体制御部９、モニタ部１０及び操作部１１を備えている。
【００３２】
レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている固体撮像素子３へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、全体制御部９によってこの絞りやシャッタが駆動制御される。
【００３３】
固体撮像素子３は、レンズ部２により結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂの各色成分の画像信号に光電変換して後段のアンプ４へ出力する撮像センサである。本実施形態においては、固体撮像素子３として、図４に示すような入力輝度（センサ入射輝度）が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性と、輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性とからなる光電変換特性、換言すれば、低輝度側が線形の光電変換特性、高輝度側が対数特性の光電変換特性を有するものが用いられる。このような光電変換特性を有する固体撮像素子３（リニアログセンサという）による撮像によって線形／対数画像が得られる。なお、線形特性と対数特性との切り替わり点（変曲点）は、固体撮像素子３の各画素回路に対する所定の制御信号に基づいて任意に変化させることが可能である。また、光電変換特性における上記線形特性に示すような低輝度側の特性を「低輝度側特性」、上記対数特性に示すような高輝度側の特性を「高輝度側特性」と表現するものとする。
【００３４】
図２は、固体撮像素子３の一例である二次元のＭＯＳ型固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。同図において、Ｇ１１〜Ｇｍｎは、行列（マトリクス）配列された画素を示している。この画素Ｇ１１〜Ｇｍｎからなる画素部の外周縁部近傍には、垂直走査回路３０１と水平走査回路３０２とが配設されている。垂直走査回路３０１は、行のライン（信号線）３０４−１、３０４−２、・・・３０４−ｎ（これらを纏めて行ライン３０４という）を順次走査する。水平走査回路３０２は、各画素から出力信号線３０６−１、３０６−２、・・・３０６−ｍ（これらを纏めて出力信号線３０６という）に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン３０５により電力供給がなされている。
【００３５】
出力信号線３０６−１、３０６−２、・・・３０６−ｍには、それぞれ、後述のトランジスタＴ１２と対になって増幅回路を構成する定電流源３０７−１、３０７−２、・・・３０７−ｍ（これらを纏めて定電流源３０７という）が設けられている。ただし、この増幅回路として、定電流源３０７に代えて抵抗やトランジスタを設けてもよい。この出力信号線３０６を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路（サンプルホールド回路）３０８−１、３０８−２、・・・３０８−ｍ（これらを纏めて選択回路３０８という）に出力される。この選択回路３０８に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路３０９に出力され、補正回路３０９において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路３０９から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
【００３６】
図３は、図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。同図に示すように、固体撮像素子３の各画素は、フォトダイオードＰＤ１、ＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）としてのトランジスタＴ１０〜Ｔ１３、及びＦＤ（Floating Diffusion）から構成されている。トランジスタＴ１０〜Ｔ１３は、ここではＮチャンネルＭＯＳＦＥＴが採用されている。ＶＤＤ、φＲＳＢ、φＲＳＴ、φＴＸ及びφＶは、各トランジスタに対する信号（電圧）を示し、ＧＮＤは接地を示している。
【００３７】
フォトダイオードＰＤ１は、感光部（光電変換部）であり、被写体からの入射光量に応じた電気信号（光電流ＩＰＤ１）を出力する。トランジスタＴ１２は、図２に示す定電流源３０７と対になってソースフォロワ増幅用の増幅回路（ソースフォロワアンプ）を構成するものであり、後述する電圧Ｖ１ＯＵＴに対する増幅（電流増幅）を行う。トランジスタＴ１３は、ゲートに印加する電圧（信号φＶ）に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ（行選択トランジスタ）である。トランジスタＴ１３のソースは、図２に示す出力信号線３０６に接続されており、トランジスタＴ１３がオンした場合、トランジスタＴ１２で増幅された電流を出力電流として出力信号線３０６へ導出する。
【００３８】
トランジスタＴ１０は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードＰＤ１で発生した光電流ＩＰＤ１（電荷）のＦＤに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードＰＤ１で発生した光電流ＩＰＤ１はフォトダイオードＰＤ１の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタＴ１０がオン状態であれば、この寄生容量に蓄積された電荷（負電荷）がＦＤへ向けて移動する。ＦＤは、電荷（信号電荷）を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える（電荷電圧変換を行う）所謂キャパシタの役割を担うものである。
【００３９】
トランジスタＴ１１（リセットゲートトランジスタ）は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてＦＤに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに（例えばトランジスタＴ１１がオン状態の場合、トランジスタＴ１０もオン状態となっており、トランジスタＴ１１、ＦＤ、トランジスタＴ１０及びフォトダイオードＰＤ１を挟んだφＲＳＢ及びＧＮＤ間にリセットバイアスがかけられた状態となる）、ゲート電圧をＭｉｄ電位（中間レベル）とすることで、フォトダイオードＰＤ１からＦＤに移動する電荷（ＦＤを流れる電流）のＦＤ及びトランジスタＴ１１による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。
【００４０】
この場合、トランジスタＴ１１には上記Ｍｉｄ電位に応じた電流（リセット電流）が流れ、トランジスタＴ１１のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードＰＤ１から移動してくる電荷による電位が、Ｍｉｄ電位に応じたトランジスタＴ１１のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードＰＤ１に入射される入射光量が少ない場合には、ＦＤにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードＰＤ１に入射される入射光量が多い場合には、トランジスタＴ１１において対数変換としての電荷電圧変換が行われる。
【００４１】
これにより、ＦＤとトランジスタＴ１２との接続ノード（出力Ｖ１ＯＵＴ）には、ＦＤにおける光電流ＩＰＤ１の積分値による線形出力としての電圧、或いはトランジスタＴ１１における光電流ＩＰＤ１に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はＦＤにおける光電流ＩＰＤ１の積分値となるが、対数特性領域については、ＦＤ部に蓄えられた電荷による電位がトランジスタＴ１１（リセットゲート）のソース電流を超えた領域において、光電流ＩＰＤ１と等しい電流がトランジスタＴ１１に流れ、トランジスタＴ１１において光電流ＩＰＤ１が電流−電圧変換された値（電圧）が当該出力値としてＦＤ部に現れる（信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される）。このトランジスタＴ１１での電流−電圧変換が上記対数変換に相当する。そして、トランジスタＴ１３がオンされると、これら各電圧に応じたトランジスタＴ１２による増幅電流が、トランジスタＴ１３を介して出力電流として出力信号線３０６に導出される。このように固体撮像素子３により、被写体輝度（センサ入射輝度）に応じて線形変換又は対数変換された出力信号が得られる。
【００４２】
なお、ここでは、固体撮像素子３の各画素において上記ＮチャンネルＭＯＳＦＥＴを採用しているが、ＰチャンネルＭＯＳＦＥＴを採用してもよい。また、固体撮像素子３として、上述のようにＦＤを用いて線形変換及び対数変換を行うＣＭＯＳイメージセンサに限らず、例えばＭＯＳＦＥＴ（Ｐ型又はＮ型）の所謂サブスレッショルド特性（ゲート電圧が閾値以下の時にサブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用することで当該線形変換及び対数変換を行うＣＭＯＳイメージセンサを採用してもよい。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
【００４３】
アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路を備え、固体撮像素子３から入力されるアナログ画像信号がＡ／Ｄ変換部５の入力電圧範囲に合うように、適切な増幅率で増幅するものである。アンプ４は、ＡＧＣ回路の他、画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路等を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は全体制御部９によって設定される。
【００４４】
Ａ／Ｄ変換部５は、アンプ４にて増幅（ゲイン調整）されたアナログ画像信号をデジタル画像信号に変換するものであり、固体撮像素子３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。
【００４５】
ノイズ除去部６は、Ａ／Ｄ変換部５から入力される画像信号のノイズを除去するものである。なお、ノイズ除去部６から出力される画像信号は、後述するように特性が線形特性に統一された状態の画像信号である。このノイズ除去部６の構成及び動作の詳細については後述する。
【００４６】
階調変換部７は、ノイズ除去部６から入力される画像信号（線形画像信号）が適切な出力レベルとなるように、画像信号に対して階調変換処理を行い、該画像信号の階調特性を変化させるものである。この階調変換においては、一般的にＤＲ圧縮と呼ばれる技術を利用する。ＤＲ圧縮技術の一例として、画像から照明成分と反射率成分とを抽出し（画像を照明成分と反射率成分とに分解し）、照明成分を圧縮した後、これを反射率成分と合成する方法がある。この技術は、広ダイナミックレンジ画像は、照明成分が広ダイナミックレンジであるので、この照明成分のダイナミックレンジを圧縮すればよい、という考えに基づいている。
【００４７】
画像（入力画像、基画像）Ｉは、照明成分Ｂと反射率成分Ｄとを用いて、以下の（１）式で表すことができる。
Ｉ＝Ｂ＊Ｄ  ・・・（１）
但し、記号「＊」は乗算を示す（以降同じ）。
【００４８】
上記照明成分Ｂは、低周波であるとの仮定に基づき、画像Ｉをローパスフィルタ（ＬＰＦ）に通すことで求めることができる。ここで、照明成分Ｂの高輝度部を適切な出力レベルとなるように処理を施し、すなわちＤＲ圧縮を行い、これにより圧縮後の照明成分Ｂ’を得る。この照明成分Ｂ’を用いてＤＲ圧縮された画像Ｉ’は以下の（２）式により表される。
Ｉ’＝Ｂ’＊Ｄ  ・・・（２）
【００４９】
また、上記（１）、（２）式より、画像Ｉ’は以下の（３）式で表される。
Ｉ’＝Ｉ＊Ｂ’／Ｂ＝ｋ（Ｂ）＊Ｉ  ・・・（３）
但し、ｋ（Ｂ）（＝Ｂ’／Ｂ）（ｋ（Ｂ）を単にｋとも表す）は、ＤＲ圧縮率又は圧縮特性を示す。また、記号「／」は除算を示す（以降同じ）。
【００５０】
画像メモリ８は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、ノイズ除去部６や階調変換部７においてデータ処理される前のＲＡＷ画像データ、或いはノイズ除去部６、階調変換部７又は全体制御部９での各種データ処理時又は処理後の画像データ等を格納するものである。
【００５１】
全体制御部９は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。全体制御部９は、固体撮像素子３や操作部１１等の各処理部から送信されてくる情報（信号）と装置の動作状態とに基づき、各処理部が必要とするパラメータ等の動作情報を算出し、これを送信することで各処理部の動作を制御する。
【００５２】
モニタ部１０は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、固体撮像素子３による撮影画像、すなわちノイズ除去部６や階調変換部７で処理された画像や画像メモリ８に格納されている画像等を表示するものである。モニタ部１０は、後述のノイズ除去処理（コアリング処理）等の各種処理結果が反映された画像を表示してもよい。
【００５３】
操作部１１は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えば、上記レリーズスイッチが押下（オン）されることで、撮像動作すなわち固体撮像素子３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ８等に記録されるといった一連の撮影動作が実行される。
【００５４】
ここで、ノイズ除去部６の構成及び動作の詳細について説明する。図５は、ノイズ除去部６の一例を示すブロック構成図である。同図に示すようにノイズ除去部６は、ＬＰＦ部６１、線形変換部６２Ａ、６２Ｂ、減算部６３、コアリング処理部６４、ノイズ量算出部６５、コアリング係数算出部６６、エッジ量検出部６７、エッジ補正係数算出部６８、合成部６９及び加算部７０を備えている。
【００５５】
ＬＰＦ部６１は、ノイズ除去部６に入力されてきた画像信号、すなわち固体撮像素子３により得られた線形／対数画像（基画像Ｉ）に対して、ガウシアンフィルタ等の線形のＬＰＦによるフィルタ処理（ＬＰＦ処理）を行い、この基画像Ｉから低周波成分を抽出するものである。ただし、このＬＰＦ処理に用いるＬＰＦは線形フィルタに限らず、メディアンフィルタ等の非線形フィルタであってもよい。
【００５６】
線形変換部６２Ａは、ＬＰＦ部６１によりＬＰＦ処理された線形／対数画像の低周波成分l（低周波成分画像）に対して、この線形／対数画像における対数特性の画像を線形特性の画像に変換する変換処理（対数特性を線形特性へ変換する変換処理のことを「ログリニア変換」という）を行うものである。これは、謂わば線形及び対数の２種類の特性からなる画像データを、線形特性１種類の画像データに統一して扱えるようにする処理である。なお、線形特性つまり線形画像に統一された画像のことを「統一線形画像」という。また、線形／対数画像に対してログリニア変換を行って統一線形画像を得ることを、適宜、線形／対数特性（画像）を線形変換するとも表現する。なお、低周波成分ｌが線形変換部６２Ａにより線形変換されて出力されたもの（統一線形画像）を低周波成分Ｌとする。
【００５７】
線形変換部６２Ｂは、ＬＰＦ部６１によりＬＰＦ処理されていないそのままの基画像Ｉ（線形／対数画像）に対して上記と同様に線形変換（ログリニア変換）を行い、統一線形画像として出力するものである。
【００５８】
減算部６３は、線形変換部６２Ｂから出力された統一線形画像（入力画像信号が線形変換された信号）から、線形変換部６２Ａから出力された低周波成分Ｌを減算（或いは低周波成分Ｌを負の値として加算）することで、当該統一線形画像から高周波成分Ｈを抽出するものである。
【００５９】
コアリング処理部６４は、後述するコアリング係数算出部６６により算出されたコアリング係数に基づいてコアリング処理を行うものである。コアリング処理は、画像信号における微小振幅信号をノイズと見なして取り除く処理である。コアリング処理部６４は、減算部６３により抽出された高周波成分Ｈに対して、図６に示す入出力特性（コアリング特性Ｃ１という）に基づくコアリング処理を行う。コアリング特性Ｃ１における記号「Ｓ」は、コアリング係数算出部６６で算出されるコアリング係数Ｓを示す。このコアリング処理では、入力が−Ｓより大きくＳより小さいときには出力がゼロ（０）となり、入力が−Ｓ以下であるときには出力が、入力に対してＳを加えた値となり、入力がＳ以上であるときには出力が、入力に対してＳを減じた値となるような変換処理が行われる。本実施形態では、このコアリング係数Ｓの値を、ノイズ除去精度が高くなるような値に設定する。この場合、コアリング係数Ｓは、低周波成分やＤＲ圧縮率により変化するだけでなく、低周波成分に対してノイズが正側又は負側のノイズであるということによっても変化する。
【００６０】
ノイズ量算出部６５は、線形変換後のノイズ量Ｎを算出（設定）するものである。ノイズ量算出部６５は、線形変換部６２Ａから出力された低周波成分Ｌ及び減算部６３から出力された高周波成分Ｈ、並びにノイズ量（ｎ）の情報を用いてノイズ量Ｎを算出する。このノイズ量Ｎの算出については後に詳述する。
【００６１】
コアリング係数算出部６６は、コアリング係数Ｓを算出（設定）するものである。コアリング係数算出部６６は、ノイズ量算出部６５から出力されたノイズ量Ｎ、並びに残留ノイズ量（ｒ）及びＤＲ圧縮率（ｋ）の情報を用いてコアリング係数Ｓを算出する。コアリング係数算出部６６において算出されたコアリング係数Ｓの情報はコアリング処理部６４に入力される。このコアリング係数Ｓの算出については後に詳述する。
【００６２】
ところで、上記ノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋの情報は、全体制御部９において設定される（全体制御部９から与えられる）ものであり、例えば全体制御部９内或いはこれに接続される所定のメモリに記憶されている。ノイズ量ｎ及び残留ノイズ量ｒは、例えば工場出荷時において、所定の基準画像（平坦な画像；例えば空や壁の画像）をデジタルカメラ１で撮影し、どれくらいのノイズ量ｎや残留ノイズ量ｒを与えてやれば高画質な画像が得られるのかを調整によって決める謂わば調整値である。例えばノイズ量ｎについては、製造された各デジタルカメラ１による撮影画像に固有のノイズ量ｎはどれくらいの大きさであるのかを測定するなどして定めた値（測定値、既定値）である。残留ノイズ量ｒは、ノイズ除去処理後にどれくらいのノイズ量ｒが残っていても許容されるのかつまりノイズの許容量について定めた値（既定値）であり、例えば、この残留ノイズ量ｒを０（ゼロ）と定めてもよいし、ノイズ量ｎの何分の１の量と定めてもよい。
【００６３】
また、ＤＲ圧縮率ｋは、階調変換部７によるＤＲ圧縮において使用される値として定められる。このＤＲ圧縮率ｋは、上記（３）式に示すように照明成分Ｂ、Ｂ’の関数すなわち低周波成分の関数（低周波成分に応じて決定される値）であるので、上記線形変換部６２Ａ等により得られる低周波成分Ｌの値に応じて決定される。この場合、例えばメモリ（テーブル）に既定値（固定値）として記憶しておいた各種ＤＲ圧縮率ｋの中から当該低周波成分Ｌの値に対応するＤＲ圧縮率ｋの情報を取り出してくる構成としてもよい。なお、本実施形態では、ノイズ量算出部６５に低周波成分Ｌの情報が入力されると、ノイズ量算出部６５はこの低周波成分Ｌの情報を全体制御部９へ送信し、全体制御部９では、この低周波成分Ｌに対応するＤＲ圧縮率ｋを該全体制御部９内のメモリに記憶してある上記テーブルから選択するとともに、当該低周波成分Ｌに応じて選択したＤＲ圧縮率ｋ（ｋ（Ｌ））の情報をコアリング係数算出部６６へ送信する構成となっている。
【００６４】
なお、上述のようにノイズ量ｎ及び残留ノイズ量ｒは既定値であり、またＤＲ圧縮率ｋは低周波成分Ｌによって決まる値である、つまりこれらパラメータは全て低周波成分Ｌで表せるものである（低周波成分の関数である）。このことから、ノイズ量算出部６５及びコアリング係数算出部６６は、それぞれノイズ量Ｎ及びコアリング係数Ｓを、低周波成分のレベルに応じて（低周波成分に基づいて）求めるものである、と言うことができる。
【００６５】
エッジ量検出部６７は、線形変換部６２Ｂから出力された統一線形画像（線形／対数画像）に対してエッジ検出処理を行い、この統一線形画像からエッジ量を検出するものである。具体的にはエッジ量検出部６７は、エッジ検出処理として、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等のエッジ強度検出用フィルタを用いたフィルタ処理を行うことで、画像ここでは統一線形画像からエッジ量Ｇ（エッジ強度）を検出する。
【００６６】
エッジ補正係数算出部６８は、エッジ量検出部６７により検出したエッジ量Ｇと、ノイズ量算出部６５により算出されたノイズ量Ｎと、後述するエッジ補正係数Ｅの特性（図９参照）における閾値Ｇｌ、Ｇｈの設定に際して用いる閾値ｅｌ、ｅｈとの情報を用いて、画像のエッジ保存に関するエッジ補正係数（エッジ保存係数、合成係数）Ｅを算出するものである。このエッジ補正係数Ｅの算出については後に詳述する。
【００６７】
合成部６９は、高周波成分Ｈと、コアリング処理部６４においてこの高周波成分Ｈにコアリング処理が施されてなる高周波成分Ｈｃとを、エッジ補正係数算出部６８により算出されたエッジ補正係数Ｅを用いて合成するものである。この合成処理については後に詳述する。
【００６８】
これらエッジ量検出部６７、エッジ補正係数算出部６８及び合成部６９それぞれによるエッジ量検出、エッジ補正係数算出及び合成処理は、コアリングするに際して画像に必要なエッジ情報の欠落を抑止（低減、防止）するためのものであると言える。エッジ量が大きいほどノイズ成分除去（コアリング）の程度が抑えられてエッジ成分が保存される。
【００６９】
加算部７０は、合成部６９により得られた高周波成分Ｈ’と、上記線形変換部６２Ａからの低周波成分Ｌとを加算（合成）するものである。この加算処理により、ノイズが除去された出力画像Ｏが得られる。この出力画像Ｏは後段の処理部へ出力される。
【００７０】
このような構成を備えたノイズ除去部６において、上記コアリング係数Ｓの値をノイズ除去精度が高くなるような値に設定するとともに、エッジ補正係数Ｅの値をエッジ情報の欠落が抑止されるような値に設定し、これらコアリング係数Ｓ及びエッジ補正係数Ｅに基づいてノイズ除去を行う。以下に、コアリング係数Ｓ及びエッジ補正係数Ｅをどのような値に設定するか或いはどように算出するか等についてその原理を説明する。先ず、線形／対数特性から線形特性への変換によって、ノイズ量がどのように変化するのか或いはどのような値になるのかについて説明する。
【００７１】
［線形／対数特性から線形特性への変換におけるノイズについての説明］
線形／対数特性の光電変換特性は一般的に以下の（４）、（５）式のように表される。
ｖ＝ａ＊ｕ＋Ｂ  （ｕ≦Ｕｔｈ）  ・・・（４）
ｖ＝α＊ｌｎ（ｕ）＋β  （ｕ＞Ｕｔｈ）  ・・・（５）
【００７２】
ここで、上記（４）、（５）式におけるｘ＝ａ＊ｕ、ｙ＝ｖ−ｂとおくと（原点を通るようにする）、以下の（６）、（７）式が得られる。
ｙ＝ｘ  （ｘ≦Ｔ、ｙ≦Ｔ）  ・・・（６）
ｙ＝ｃ＊ｌｎ（ｘ）＋ｄ  （ｘ＞Ｔ、ｙ＞Ｔ）  ・・・（７）
但し、ｃ＝α、ｄ＝−α＊ｌｎ（ａ）＋β−ｂ、Ｔ＝ａ＊Ｕｔｈ
以下、この（６）、（７）式を線形／対数特性の光電変換特性として計算する。
【００７３】
この線形／対数特性の対数特性を線形特性に変換して全体で１つの線形特性にする（線形特性に統一する）。変換後の線形特性をＹとすると、Ｙは上記（６）、（７）式より以下の（８）、（９）式と表される。
Ｙ＝ｙ  （ｙ≦Ｔ）  ・・・（８）
Ｙ＝ｅｘｐ（（ｙ−ｄ）／ｃ）  （ｙ＞Ｔ）  ・・・（９）
したがって、ｙがノイズの無い信号であるとすると、全ｙ（すなわち全ｘ）において、Ｙ＝ｘとなる。
【００７４】
ところで、固体撮像素子３により光電変換された後で、信号にのるノイズ（ランダムノイズ）は、線形特性領域、対数特性領域に関係なくその大きさが一定と考えられるので、ノイズを有する信号をｙｎ、ノイズをｎ（ｎ＞０）とすると、ｙｎ＝ｙ±ｎと表すことができる。すなわち、信号ｙｎ＝ｙ±ｎは、信号ｙに対してこのｙの値よりも大きな値となる（画像の信号ｙに対して該信号のレベルよりもレベルが高い値となる）つまりｙのグラフに対して正側（図における上側に存在する）のノイズと、ｙの値よりも小さな値となる（画像の信号ｙに対して該信号のレベルよりもレベルが低い値となる）つまりｙのグラフに対して負側（図における下側に存在する）のノイズとが、当該信号ｙを挟んで略同等の振幅を有する波（ランダムな波形ではあるが、信号ｙを挟んで正側及び負側で略同じ大きさの波の高さを有している）として存在しており、この場合の正側の各ノイズ波の例えば包絡線（各ノイズ波の曲線族と接線を共有する線）に相当するものをｙｎ＝ｙ＋ｎとし、負側も同様に各ノイズ波の包絡線に相当するものをｙｎ＝ｙ−ｎとしている。なお、この信号ｙに対するノイズ±ｎは、このように包絡線に相当するものに限定されず、例えば正側、負側それぞれにおけるノイズの平均値（正側の平均値が＋ｎ、負側の平均値が−ｎ）、最高レベル、ピークｔｏピーク、或いはＲＭＳ（二乗平均粗さ）等、任意に設定可能である。
【００７５】
上記（６）、（７）式より、ノイズが正側のノイズ（ノイズ正側）である場合（ｙｎ＝ｙ＋ｎ）、以下の（１０）、（１１）式のように表される。
ノイズ正側
ｙｎ＝ｘ＋ｎ  （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ）  ・・・（１０）
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ  （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ）  ・・・（１１）
【００７６】
また、ノイズが負側のノイズ（ノイズ負側）である場合（ｙｎ＝ｙ−ｎ）、以下の（１０）’、（１１）’式のように表される。
ノイズ負側
ｙｎ＝ｘ−ｎ  （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ）  ・・・（１０）’
ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ  （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ）  ・・・（１１）’
【００７７】
ｙｎを線形特性に変換したものをＹｎとすると、このＹｎは、ノイズ正側の場合、上記（８）〜（１１）式より以下の（１２）〜（１４）式で表される。
ノイズ正側
Ｙｎ＝ｙｎ＝ｘ＋ｎ  （ｙｎ≦Ｔ、ｘ≦Ｔ−ｎ）  ・・・（１２）
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｘ＋ｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｘ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）  （Ｔ＜ｙｎ≦Ｔ＋ｎ、Ｔ−ｎ＜ｘ≦Ｔ）  ・・・（１３）
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｃ＊ｌｎ（ｘ）＋ｄ＋ｎ−ｄ）／ｃ）
＝ｘ＊ｅｘｐ（ｎ／ｃ）  （Ｔ＋ｎ＜ｙｎ、Ｔ＜ｘ）  ・・・（１４）
【００７８】
また、Ｙｎは、ノイズ負側の場合、上記（８）、（９）、（１０）’及び（１１）’式より、以下の（１２）’〜（１４）’式で表される。
ノイズ負側
Ｙｎ＝ｙｎ＝ｘ−ｎ  （ｙｎ≦Ｔ−ｎ、ｘ≦Ｔ）  ・・・（１２）’
Ｙｎ＝ｙｎ＝ｃ＊ｌｎ（ｘ）＋ｄ−ｎ  （Ｔ−ｎ＜ｙｎ≦Ｔ、Ｔ＜ｘ≦Ｔ＊ｅｘｐ（ｎ／ｃ））  ・・・（１３）’
Ｙｎ＝ｅｘｐ（（ｙｎ−ｄ）／ｃ）
＝ｅｘｐ（（ｃ＊ｌｎ（ｘ）＋ｄ−ｎ−ｄ）／ｃ）
＝ｘ＊ｅｘｐ（−ｎ／ｃ）  （Ｔ＜ｙｎ、Ｔ＊ｅｘｐ（ｎ／ｃ）＜ｘ）  ・・・（１４）’
【００７９】
これら（１２）〜（１４）式及び（１２）’〜（１４）’式は、図７に示すグラフとなる。すなわち図７のグラフにおいて、ノイズ正側の場合、（１２）式に相当するものが符号４０１で示す特性（特性４０１）、（１３）式に相当するものが符号４０２で示す特性（特性４０２）、（１４）式に相当するものが符号４０３で示す特性（特性４０３）となる。また、ノイズ負側の場合、（１２）’式に相当するものが符号４１１で示す特性（特性４１１）、（１３）’式に相当するものが符号４１２で示す特性（特性４１２）、（１４）’式に相当するものが符号４１３で示す特性（特性４１３）となる。
【００８０】
ここで、図７の符号４２１で示す特性（特性４２１）は、上記（６）、（７）式に示す線形／対数特性であり、これが線形変換されてＹ＝ｘ（上記（８）、（９）式におけるノイズのない信号であると仮定した場合）の特性４２２（統一線形特性になる。一方、特性４２１の信号に対する正側のノイズは符号４３１で示す特性（特性４３１；ｙｎ（＋））で示され、特性４２１の信号に対する負側のノイズは符号４４１で示す特性（特性４４１；ｙｎ（−））で示される。この特性４３１、４４１が上記特性４２１から特性４２２への線形変換と同様に線形変換される場合に、それぞれ、線形の特性４４２、４３２（特性４２２と平行な特性グラフ）に変換されずに（特性４４２、４３２に変換されるのであれば問題がないが）、当該特性４０１、４０２及び４０３に示す正側の特性、及び特性４１１、４１２及び４１３に示す負側の特性に変換されてしまう。
【００８１】
なお、値Ｔを変曲点Ｔとすると、Ｔ−ｎ＜ｘ≦Ｔの範囲４０２１つまり正側の特性４０２は、理論的には特性４３２上の線形特性となる筈であるが、ノイズの各値（画素値）で見た場合、例えばノイズ波上の符号４５１の点に示すように、変曲点Ｔ（ｙ座標）を超えているので、実際には線形特性のデータであるにも拘わらず、当該変曲点Ｔを超えているノイズデータが対数特性のデータであると誤認識されてしまい（ノイズを対数特性の信号と間違ってしまい）、特性４０２のように変換される。
【００８２】
Ｔ＜ｘ≦Ｔ＊ｅｘｐ（ｎ／ｃ）の範囲４１２１つまり負側の特性４１２も同様に、ノイズの各値（画素値）で見た場合、例えばノイズ波上の符号４６１の点に示すように、変曲点Ｔ（ｙ座標）より小さい値となっているので、実際には対数特性のデータであるにも拘わらず、当該変曲点Ｔ未満のノイズデータが線形特性のデータであると誤認識されてしまい（ノイズを線形特性の信号と間違ってしまい）、特性４１２のように変換される。特性４０３、４１３では、実際の特性と画素値の特性とが同じであるものの、当該信号ｙ（Ｙ）に対する対数領域でのノイズ＋ｎ、−ｎの所謂オフセットの分がそれぞれ上記特性４０２、４１２に対する変曲点Ｔ、Ｔ＊ｅｘｐ（ｎ／ｃ）（ｘ座標）からの続きの値として加えられたものとなる。このように、線形変換されることにより、正側、負側のノイズは、特性４３２、４４２とならずに、原点を通る直線上の特性４０３、４１３のようにｘ座標の値が大きくなるにつれて広がるような特性に変換されるので、Ｙ＝ｘの特性４２２に対する正側のノイズ量と負側のノイズ量とが、それぞれ、ｘ＞Ｔ−ｎの範囲において一定でなく、異なる値となってしまう。
【００８３】
上述においては、線形／対数特性から線形特性への変換により、ノイズ量が正側と負側とで異なるものとなることを示したが、次に、このような正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どようなコアリング係数Ｓを設定すれば一定となるのかということについて説明する。
【００８４】
［コアリング係数算出についての説明］
ノイズがのった画像信号を低周波成分と高周波成分とに分けると、高周波成分には画像信号の高周波成分とノイズとが含まれるが、ここではコアリング係数を求めるべくノイズ量だけを計算上で求めたいので、このノイズについてだけ考えることとし、ノイズは画像の平坦部（信号波形における緩やか（なだらか）なところ；急峻でない変化の少ないところ）にのっているものと仮定して説明する。この場合、画像信号には高周波成分が存在せず、低周波成分が画像信号に等しいものとなり、ノイズ成分は高周波成分に相当するものとして扱う。
【００８５】
線形変換前のノイズを含んだ信号は前述のようにｙｎ＝ｙ±ｎである。このｙｎをＬＰＦに通してなる信号をｌ（Ｌの小文字）とすると、上記±ｎの項は平均化（キャンセル）されて０（ゼロ）となるので、ｌ＝ＬＰＦ（ｙｎ）＝ＬＰＦ（ｙ）と表される。但し、ＬＰＦ（ｙｎ）はＬＰＦにｙｎを通す処理（ＬＰＦ処理）を示している。ｙは低周波画像であるので、ＬＰＦ（ｙ）はｙと見なすことができ、上記（６）、（７）式を満たす。したがって、ｌは上記（８）、（９）式により線形変換することができ、以下の（１５）式で示すＬで表すことができる。
Ｌ＝Ｙ＝ｘ  ・・・（１５）
但し、Ｌは線形変換後の画像信号（の低周波成分）となる。
【００８６】
なお、仮に、上記ｙｎを線形変換後にＬＰＦに通すとすると、上記（１３）、（１４）、（１３）’及び（１４）’式から分かるようにノイズは正側と負側とで等しくないので±ｎの項は０（ゼロ）にはならず、上記（１５）式は成立しない。このことから、ＬＰＦ処理後に線形変換するようにしている（ＬＰＦ部６１の後段に線形変換部６２Ａが配置されている）。
【００８７】
ここで、線形変換後のノイズを含んだ画像信号Ｙｎは、上記ノイズ正側の（１２）〜（１４）式及びノイズ負側の（１２）’〜（１４）’式に対して上記（１５）式を用いることで、それぞれ以下の（１６）〜（１８）式及び（１６）’〜（１８）’式に示すように低周波成分Ｌで表すことができる。
ノイズ正側
Ｙｎ＝Ｌ＋ｎ  （Ｌ≦Ｔ−ｎ）  ・・・（１６）
Ｙｎ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）  （Ｔ−ｎ＜Ｌ≦Ｔ）  ・・・（１７）
Ｙｎ＝Ｌ＊ｅｘｐ（ｎ／ｃ）  （Ｔ＜Ｌ）  ・・・（１８）
ノイズ負側
Ｙｎ＝Ｌ−ｎ  （Ｌ≦Ｔ）  ・・・（１６）’
Ｙｎ＝ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ  （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ））・・・（１７）’
Ｙｎ＝Ｌ＊ｅｘｐ（−ｎ／ｃ）  （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ）  ・・・（１８）’  
【００８８】
＜ノイズ量の算出＞
高周波成分Ｈは、画像信号Ｙｎから上記（１５）式の低周波成分Ｌを減算したものであるから、Ｈ＝Ｙｎ−Ｌである。
ところで、これまでノイズ量を正側、負側というように正・負の値として扱ってきたが、説明の都合上（後述のコアリング係数を正、負に依らずに比較したいがため）、このノイズ量Ｎを“正”（Ｎ≧０）として扱いたいので、ノイズ量Ｎは高周波成分Ｈであることから、このＨを利用して、
Ｈ≧０のとき、ノイズ正側でＮ＝Ｈ
Ｈ＜０のとき、ノイズ負側でＮ＝−Ｈ
とする。すなわち、ノイズ量の“正・負”を、高周波成分Ｈの“正・負”に置き換えている（なお、ノイズ量Ｎが正側のものであるか負側のものであるかは、Ｈが正の値であるか負の値であるかによって判断できるとも言える）。
【００８９】
線形変換後のノイズ量Ｎは、ノイズ正側（Ｈ≧０）の場合、上記（１６）〜（１８）式より、以下の（１９）〜（２１）式で表される。
ノイズ正側
Ｎ＝Ｌ＋ｎ−Ｌ＝ｎ  （Ｌ≦Ｔ−ｎ）  ・・・（１９）
Ｎ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）−Ｌ  （Ｔ−ｎ＜Ｌ≦Ｔ）  ・・・（２０）
Ｎ＝Ｌ＊（ｅｘｐ（ｎ／ｃ）−１）  （Ｔ＜Ｌ）  ・・・（２１）
【００９０】
また、ノイズ負側（Ｈ＜０）の場合、上記（１６）’〜（１８）’式より、以下の（１９）’〜（２１）’式で表される。
ノイズ負側
Ｎ＝Ｌ−（Ｌ−ｎ）＝ｎ  （Ｌ≦Ｔ）  ・・・（１９）’
Ｎ＝Ｌ−（ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ）  （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ））  ・・・（２０）’
Ｎ＝Ｌ＊（１−ｅｘｐ（−ｎ／ｃ））  （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ）  ・・・（２１）’
【００９１】
このように求められるノイズ正側及び負側の線形変換後のノイズ量Ｎ（（１９）〜（２１）式及び（１９）’〜（２１）’式）は、図８に示すグラフで示される。すなわち図８のグラフにおいて、ノイズ正側の場合、（１９）式に相当するものが符号５０１で示す特性（特性５０１）、（２０）式に相当するものが符号５０２で示す特性（特性５０２）、（２１）式に相当するものが符号５０３で示す特性（特性５０３）となる。また、ノイズ負側の場合、（１９）’式に相当するものが符号５１１で示す特性（特性５１１）、（２０）’式に相当するものが符号５１２で示す特性（特性５１２）、（２１）’式に相当するものが符号５１３で示す特性（特性５１３）となる。ただし、特性５０１〜５０３を合わせた全体の特性を特性５１０、特性５１１〜５１３を合わせた全体の特性を特性５２０とする。
【００９２】
なお、ノイズ量Ｎは、上記（１９）〜（２１）式及び（１９）’〜（２１）’式に示すように低周波成分Ｌを用いて表される（ノイズ量ｎは既定値である）、すなわち、ノイズ量Ｎは低周波成分Ｌによって決まる（ノイズ量Ｎに基づいて算出される）パラメータであると言える。ノイズ量算出部６５は、このように低周波成分Ｌとノイズ量ｎと高周波成分Ｈ（高周波成分Ｈは例えばノイズが正側のノイズであるか負側のノイズであるかの判定に用いる）との情報を用いて線形変換後のノイズ正側及び負側の各ノイズ量Ｎを算出する。
【００９３】
また、このように“線形変換後”のノイズ量Ｎについて考えるのは、ノイズ除去部６でのノイズ除去処理後における階調変換部７での階調変換処理に際して、一つの特性ここでは線形特性に統一された画像に対して階調変換（ＤＲ圧縮）が行われるので、線形変換後のノイズ量における階調変換による影響を考慮して逆算的に当該ノイズ量を評価するためである。
【００９４】
＜ＤＲ圧縮後の残留ノイズ量が一定となる条件＞
階調変換部７でのＤＲ圧縮後の残留ノイズ量ｒ（ｒ≧０）が輝度（或いは低周波成分のレベル）に依らず一定となるようにコアリング係数を求める。コアリング係数（コアリング量）をＳ（Ｓ≧０）、コアリング処理後のノイズ量をＲ（Ｒ≧０）とすると、ノイズ量Ｒは以下の（２２）式で表される。ただし、ここでは残留ノイズについて考えているので、Ｎ≧Ｓの場合のみを扱うものとする。すなわち、ノイズ量はコアリング量よりも大きいものであるとし（ノイズがコアリング量より大きな場合だけを考えるものとする）、ノイズ量がコアリング量よりも小さい場合は、図６より、以下の（２２）’式に示すように一律にゼロとなる。
Ｒ＝Ｎ−Ｓ  （Ｎ≧Ｓ）  ・・・（２２）
Ｒ＝０  （Ｎ＜Ｓ）  ・・・（２２）’
【００９５】
コアリング処理後の画像信号をＹｓとすると、Ｙｓはノイズ正側及び負側において以下の（２３）、（２３）’式と表される。
ノイズ正側  Ｙｓ＝Ｌ＋Ｒ  ・・・（２３）
ノイズ負側  Ｙｓ＝Ｌ−Ｒ  ・・・（２３）’
【００９６】
ＤＲ圧縮後の画像信号をＹｓ’とすると、上記（３）、（２３）、（２３）’式より、Ｙｓ’はノイズ正側及び負側において以下の式で表される。
ノイズ正側  Ｙｓ’＝ｋ（Ｂ）＊（Ｌ＋Ｒ）＝ｋ（Ｂ）＊Ｌ＋ｋ（Ｂ）＊Ｒ
ノイズ負側  Ｙｓ’＝ｋ（Ｂ）＊（Ｌ−Ｒ）＝ｋ（Ｂ）＊Ｌ−ｋ（Ｂ）＊Ｒ
この式における残留ノイズ量は、ｋ（Ｂ）＊Ｒであり、これがｒ（ｒ≧０）一定であるので、ｋ（Ｂ）＊Ｒ＝ｒとなる。
【００９７】
ここで、上記（３）式のＤＲ圧縮率ｋ（Ｂ）のＢは、照明成分すなわち低周波成分である。画像Ｉからの照明成分Ｂと低周波成分Ｌとの抽出方法は異なる可能性があるが、ここでは前述のように画像平坦部のノイズを考えているため、照明成分Ｂと低周波成分Ｌとは等しいものと考えてよい。したがって、ｋ（Ｂ）＝ｋ（Ｌ）として、上記ｋ（Ｂ）＊Ｒ＝ｒは、以下の（２４）式で表されることになる。
ｋ（Ｌ）＊Ｒ＝ｒ  ・・・（２４）
【００９８】
上記（２２）、（２４）式より、コアリング係数Ｓは以下の（２５）式で表される。
Ｓ＝Ｎ−ｒ／ｋ（Ｌ）  ・・・（２５）
すなわちこの（２５）式を満たすコアリング係数Ｓを求めればよい。コアリング係数算出部６６は、ノイズ量Ｎと残留ノイズ量ｒとＤＲ圧縮率ｋ（Ｌ）との情報を用いてこのコアリング係数Ｓを算出する。ただし、ノイズ量Ｎはノイズ量算出部６５において算出した上記（１９）〜（２１）式及び（１９）’〜（２１）’式に示すものであり、これらを（２５）式に代入することで、ノイズ正側とノイズ負側との場合それぞれのコアリング係数Ｓを算出する。
【００９９】
すなわち、ノイズ正側の場合、上記（１９）〜（２１）式及び（２５）式により、以下の（２６）〜（２８）式で表されるコアリング係数Ｓを算出する。
ノイズ正側
Ｓ＝ｎ−ｒ／ｋ（Ｌ）  （Ｌ≦Ｔ−ｎ）  ・・・（２６）
Ｓ＝ｅｘｐ（（Ｌ−ｄ）／ｃ）＊ｅｘｐ（ｎ／ｃ）−Ｌ−ｒ／ｋ（Ｌ）  （Ｔ−ｎ＜Ｌ≦Ｔ）  ・・・（２７）
Ｓ＝Ｌ＊（ｅｘｐ（ｎ／ｃ）−１）−ｒ／ｋ（Ｌ）  （Ｔ＜Ｌ）  ・・・（２８）
【０１００】
また、ノイズ負側の場合、上記（１９）’〜（２１）’式及び（２５）式により、以下の（２６）’〜（２８）’式で表されるコアリング係数Ｓを算出する。
ノイズ負側
Ｓ＝ｎ−ｒ／ｋ（Ｌ）  （Ｌ≦Ｔ）  ・・・（２６）’
Ｓ＝Ｌ−（ｃ＊ｌｎ（Ｌ）＋ｄ−ｎ）−ｒ／ｋ（Ｌ）  （Ｔ＜Ｌ≦Ｔ＊ｅｘｐ（ｎ／ｃ））  ・・・（２７）’
Ｓ＝Ｌ＊（１−ｅｘｐ（−ｎ／ｃ））−ｒ／ｋ（Ｌ）  （Ｔ＊ｅｘｐ（ｎ／ｃ）＜Ｌ）  ・・・（２８）’
【０１０１】
これら（２６）〜（２８）式及び（２６）’〜（２８）’式に示す結果のように、算出されたコアリング係数Ｓは、ノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋ（低周波成分Ｌに応じて決定されるＤＲ圧縮率ｋ（Ｌ））を用いて表される。また、コアリング係数Ｓは、Ｌ＞Ｔ−ｎの範囲で、ノイズの正側と負側とで異なるものとなる。このようにノイズを一律なものとしてではなく、ノイズを正側のノイズと、負側のノイズとに場合分けすることで、正側と負側とでコアリング係数Ｓが異なる値となる。コアリング係数算出部６６により算出した当該コアリング係数Ｓを用いて上記コアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。すなわち図８に示すように、特性５１０に示す正側のノイズ量Ｎ及び特性５２０に示す負側のノイズ量Ｎそれぞれからコアリング量５３０（Ｓ）を差し引いた残りの値つまり残留ノイズ量５４０（ｒ）が、低周波成分Ｌの低レベルから高レベルに亘る全レベル範囲で等しい値となる（輝度に依らず一定となる）ようなコアリング係数Ｓの値が求められる。当該残留ノイズ量ｒを一定とすることにより、ノイズ除去を高精度に行うことが可能となる。
【０１０２】
＜階調変換前において残留ノイズ量が一定となる条件＞
基画像に対して階調変換を行わない場合、すなわち例えば線形特性（階調変換を行う前の全体が線形特性に統一されてなる線形特性）の状態のまま広ＤＲ画像として保存しておきたい場合や、階調変換部でのＤＲ圧縮率を予め決められない場合などには、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合、上記（２６）〜（２８）式及び（２６）’〜（２８）’式におけるｋ（Ｌ）の値を「１」にする、すなわちＤＲ圧縮率を１として（謂わばＤＲ圧縮のパラメータｋを除外して）、各コアリング係数Ｓを算出すればよい。この場合であっても、線形／対数画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。なお、上記図８に示すコアリング量５３０（Ｓ）及び残留ノイズ量５４０（ｒ）は、当該ｋ（Ｌ）＝１の場合のものを示している。
【０１０３】
［エッジ補正係数算出及びこれを用いた合成処理についての説明］
エッジ補正係数算出部６８により算出されるエッジ補正係数Ｅは、例えば図９に示すような特性を有している。この特性において横軸はエッジ量Ｇであり、縦軸はエッジ補正係数Ｅである。エッジ補正係数Ｅはエッジ量Ｇにおける或る閾値エッジ量Ｇｌ、Ｇｈを用いた以下の（３０）〜（３２）式に示される値として与えられる。
Ｅ＝１．０                        （Ｇ≦Ｇｌ）  ・・・（３０）
Ｅ＝（Ｇｈ−Ｇ）／（Ｇｈ−Ｇｌ）  （Ｇｌ＜Ｇ≦Ｇｈ）  ・・・（３１）
Ｅ＝０．０                        （Ｇｈ＜Ｇ）  ・・・（３２）
【０１０４】
同特性に示すように、エッジ補正係数Ｅは、エッジ量Ｇが或る閾値Ｇｌより小さい場合には、Ｅ＝１．０であり、エッジ量Ｇが閾値Ｇｌより大きくなるにつれてこの１．０から徐々に小さくなるような係数である。上述のように合成部６９はこのエッジ補正係数Ｅを用いて高周波成分Ｈと高周波成分Ｈｃとを合成するが、この合成により得られるものを高周波成分Ｈ’とすると、このＨ’は以下の（２９）式で表される。
Ｈ’＝Ｅ＊Ｈｃ＋（１−Ｅ）＊Ｈ  ・・・（２９）
【０１０５】
この（２９）式は、エッジ量が小さいときは、コアリングされた高周波成分Ｈｃをそのまま出力し、エッジ量が大きくなるに従い、コアリングされていない高周波成分Ｈが多くなるよう該高周波成分Ｈｃとの合成が行われることを示している。換言すれば、高周波成分Ｈに対してどのくらいの割合でコアリングを行うか、すなわちエッジ量ＧがＧｌより小さいものはコアリング処理した画像（Ｈｃ）をそのまま使用し（Ｅ＝１．０の場合でありＨ’＝Ｈｃとなる）、エッジ量Ｇがエッジ量Ｇｌより大きくなるにつれて徐々にコアリングされていない画像（Ｈ）に置き換える（エッジ量Ｇが大きい部分はエッジ補正係数Ｅを小さくすることでコアリング処理された高周波成分Ｈｃの合成比が小さくなるとともに、コアリング処理されていない高周波成分Ｈの合成比が大きくなる）ことを示している。これにより、エッジ量が小さい画像平坦部などではコアリングによりノイズ除去された画像が得られ、エッジ量が大きい部分ではコアリングされていないので、エッジ部や画像のディテールの欠落が少ない（エッジ情報の欠落が抑止された）鮮明な画像（ノイズ除去画像）が得られる。
【０１０６】
本実施形態では、上述のようにノイズ量Ｎが、低周波成分Ｌのレベル、並びに低周波成分Ｌに対して正側（Ｈ≧０）及び負側（Ｈ＜０）によって異なるので、このことを考慮してエッジ補正係数Ｅを決める必要がある。
【０１０７】
ここで、エッジ量Ｇは、エッジ量検出部６７におけるエッジ量検出時に検出されるノイズ量と上述で求めたノイズ量Ｎとが等しくなるように補正されているものとする。すなわち、ノイズだけと見なせる画像平坦部を考え、このときのエッジ量検出のフィルタの出力をＧｎ、高周波成分の値をＮｎとすると、該エッジ量検出のフィルタの出力に対して、Ｎｎ／Ｇｎ（定数）の値を乗算したものをエッジ量Ｇと定める。これにより、ノイズだけと見なせる画像平坦部において、エッジ量Ｇとノイズ量Ｎとが等しくなる。
【０１０８】
＜Ｇｌ、Ｇｈの値について＞
画像平坦部では、合成された高周波成分Ｈ’はコアリングされた高周波成分Ｈｃそのものであってほしいことから、少なくともＧｌ≧Ｎである必要がある。しかしながら、Ｇｌ＞＞Ｎとする（ＧｌをＮよりかなり大きな値に設定する）と、エッジ部分も殆どコアリングされてしまい、エッジ補正の意味が薄れてしまう。したがって、Ｇｌ≧Ｎで且つＧｌ≒Ｎであることが当該Ｇｌの値設定における目安となる。実際には、例えばＧｌをＮに近い値で変更しながら画像を見て調整することで、該Ｇｌを決定すればよい。この場合、図１１において説明したエッジ補正係数算出部６８に対して与える閾値ｅｌ及びｅｈを用いて、Ｇｌ＝ｅｌ＊Ｎとし、このｅｌの初期値を１．０（ｅｌ＝１．０）として、この１．０から徐々に増加させながらＧｌの最適値を見つければよい。なお、当該Ｇｌが最適値となるときのｅｌの値は規定値として全体制御部９等に予め記憶されており、エッジ補正係数Ｅの算出時にエッジ補正係数部６８へ与えられる。
【０１０９】
一方、Ｇｈの値についての目安は特にはないが、あまりＧｌに近い値であると、高周波成分Ｈ’の値が高周波成分Ｈと高周波成分Ｈｃと値の間を急激に変化するので、画像の乱れ等が目立ってしまい好ましくない。逆に、あまり大きな値となりすぎるとエッジ部分も殆どコアリングされることになり、エッジ補正の意味が薄れてしまう。このような事情を鑑みて、本実施形態では、ＧｈをＧｌの約２倍〜３倍の範囲の値に設定するものとする（Ｇｈ＝２＊Ｇｌ〜３＊Ｇｌ）。実際には、このＧｈの値はＧｌの場合と同様に調整により見つければよい。すなわち、上記調整によってｅｌつまりＧｌ（＝ｅｌ＊Ｎ）の値を決定した後、閾値ｅｈを用いて、Ｇｈ＝ｅｈ＊Ｇｌとし、このｅｈの初期値を２．０（ｅｈ＝２．０）として、この２．０から徐々に増加或いは減少させながらＧｈの最適値を見つければよい。上記と同様、当該Ｇｈが最適値となるときのｅｈの値は規定値として全体制御部９等に予め記憶されており、エッジ補正係数Ｅの算出時にエッジ補正係数部６８へ与えられる。
【０１１０】
このように決定されたＧｌ、Ｇｈを用いると、上記（３０）〜（３２）式は以下の（３３）〜（３５）式と表される。
Ｅ＝１．０      （Ｇ≦Ｇｌ＝ｅｌ＊Ｎ）  ・・・（３３）
Ｅ＝−Ｇ／Ｎ／（ｅｌ＊（ｅｈ−１））＋ｅｈ／（ｅｈ−１）      （Ｇｌ＝ｅｌ＊Ｎ＜Ｇ≦Ｇｈ＝ｅｈ＊Ｇｌ＝ｅｌ＊ｅｈ＊Ｎ）  ・・・（３４）
Ｅ＝０．０      （Ｇｈ＝ｅｈ＊Ｇｌ＝ｅｌ＊ｅｈ＊Ｎ＜Ｇ）  ・・・（３５）
【０１１１】
これら（３３）〜（３５）式から分かるように、エッジ補正係数Ｅはエッジ量Ｇとノイズ量Ｎとのパラメータで表すことができる（ｅｌ、ｅｈは上記既定値（固定値）である）。ノイズ量Ｎは、低周波成分Ｌのレベル並びに低周波成分Ｌに対して正側（Ｈ≧０）及び負側（Ｈ＜０）によって異なるので、このノイズ量Ｎを用いて表されるエッジ補正係数Ｅも低周波成分Ｌのレベル並びに低周波成分Ｌに対して正側（Ｈ≧０）及び負側（Ｈ＜０）によって異なる。この場合のエッジ補正係数Ｅも、図９で説明したように、エッジ量ＧがＧ≦Ｇｌ＝ｅｌ＊Ｎのとき（上記（３３）式参照）にＥ＝１．０であり、Ｇｌ＝ｅｌ＊Ｎ＜ＧのときにＥ＝１．０〜０．０の範囲で徐々に減少する特性であればよい。
【０１１２】
このように、画像の低周波成分Ｌのレベルつまり画像の輝度レベル、並びに正側のノイズ量及び負側のノイズ量を考慮して、エッジ補正係数Ｅを求めるようにしたので、画像の高周波成分、特にエッジ部の欠落の少ないノイズ除去画像を得ることができる。
【０１１３】
図１０は、第１の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。先ず固体撮像素子３による撮影により線形／対数画像が得られる（ステップＳ１）。この線形／対数画像（基画像Ｉ）がノイズ除去部６に入力され、ＬＰＦ部６１によりＬＰＦ処理されて低周波成分ｌ（線形／対数画像）が抽出される（ステップＳ２）。この低周波成分ｌが線形変換部６２Ａにより線形変換されて低周波成分Ｌ（統一線形画像）が得られるとともに、上記ＬＰＦ処理されていない基画像Ｉに対して線形変換部６２Ａにより線形変換がなされる（この基画像Ｉの統一線形画像が得られる）（ステップＳ３）。
【０１１４】
次に、減算部６３によって、線形変換部６２Ｂからの基画像Ｉの統一線形画像信号から、線形変換部６２Ａからの低周波成分Ｌが減算されることで高周波成分Ｈが抽出される（ステップＳ４）。ノイズ量算出部６５によって、線形変換部６２Ａから出力された低周波成分Ｌ及び減算部６３から出力された高周波成分Ｈと、全体制御部９から与えられるノイズ量（ｎ）との情報に基づいてノイズ量Ｎが算出される（ステップＳ５）。コアリング係数算出部６６によって、ノイズ量算出部６５から出力されたノイズ量Ｎと、全体制御部９から与えられる残留ノイズ量ｒ及びＤＲ圧縮率ｋ（ｋ（Ｌ））との情報に基づいて、ノイズ正側及び負側のコアリング係数Ｓが算出される（ステップＳ６）。そして、この算出されたコアリング係数Ｓの情報に基づいて、コアリング処理部６４によって、減算部６３からの高周波成分Ｈに対するコアリング処理が行われて高周波成分Ｈｃが得られる（ステップＳ７）。
【０１１５】
一方、エッジ量検出部６７によって、線形変換部６２Ｂにより線形変換がなされた基画像Ｉからエッジ量Ｇが検出される（ステップＳ８）。検出されたこのエッジ量Ｇと、ノイズ量算出部６５から出力されるノイズ量Ｎと、全体制御部９から与えられるエッジ量の閾値ｅｌ、ｅｈとの情報に基づいて、エッジ補正係数算出部６８によりエッジ補正係数Ｅ（（３３）〜（３５）式参照）が算出される（ステップＳ９）。そして、合成部６９によって、エッジ補正係数算出部６８からのエッジ補正係数Ｅの情報に基づいて、当該高周波成分Ｈｃと高周波成分Ｈとの合成処理が行われ（ステップＳ１０）、加算部７０によって、この合成処理により得られた高周波成分Ｈ’と線形変換部６２Ａからの低周波成分Ｌとが加算されて出力画像Ｏとして後段の処理部（階調変換部７）へ出力される（ステップＳ１１）。
【０１１６】
（実施形態２）
第１の実施形態では、高周波成分（Ｈ）とコアリング処理後の高周波成分（Ｈｃ）との合成処理に、画像の輝度レベル並びに正側及び負側のノイズ量を考慮して算出したエッジ補正係数Ｅを反映させることで、コアリング量（ノイズ除去量）を制御する構成であったが、第２の実施形態では、このエッジ補正係数Ｅを用いて、コアリング係数Ｓ自体を制御することで、コアリング量を制御する構成となっている。
【０１１７】
図１１は、第２の実施形態に係るデジタルカメラ１におけるノイズ除去部６ａの一例を示すブロック構成図である。ノイズ除去部６ａは、ノイズ除去部６と比べて、主にコアリング処理部６４ａ、コアリング係数算出部６６ａ及び加算部７０ａが異なる。すなわち、ノイズ除去部６では、図５に示すようにエッジ補正係数算出部６８からのエッジ補正係数Ｅは合成部６９に入力される構成となっているが、ノイズ除去部６ａでは、このエッジ補正係数算出部６８からのエッジ補正係数Ｅがコアリング係数算出部６６ａに入力され、且つ合成部６９を設けずにコアリング処理部６４ａから出力された信号がそのまま加算部７０ａに入力される構成となっている。これ以外の構成は、ノイズ除去部６と同様である。
【０１１８】
ここで、上記（２９）式において、高周波成分Ｈｃは、高周波成分Ｈに対して図６に示すコアリング特性Ｃ１によるコアリング処理を施したものであるが、大きさだけを考えると、以下の（３６）式で表すことができる。
Ｈｃ＝Ｈ−Ｓ  ・・・（３６）
【０１１９】
この（３６）式を用いて（２９）式を書き直すと、以下の（３７）式となる。
Ｈ’＝Ｅ＊Ｈｃ＋（１−Ｅ）＊Ｈ
＝Ｅ＊（Ｈ−Ｓ）＋（１−Ｅ）＊Ｈ
＝Ｈ−Ｅ＊Ｓ  ・・・（３７）
これにより、第１の実施形態における高周波成分Ｈ’は、エッジ補正係数Ｅとコアリング係数Ｓとを乗算したもの（Ｅ＊Ｓ）を用いて、高周波成分Ｈに対してコアリング処理を施すことによっても得られることが分かる。
【０１２０】
コアリング係数算出部６６ａは、ノイズ量算出部６５から出力されたノイズ量Ｎと、全体制御部９から与えられる残留ノイズ量（ｒ）及びＤＲ圧縮率（ｋ）と、エッジ補正係数算出部６８から出力されたエッジ補正係数Ｅとの情報を用いて、上記コアリング係数Ｓに対してエッジ補正係数Ｅが乗算されてなるコアリング係数Ｓ’（Ｓ’＝Ｅ＊Ｓ）を算出する。算出されたこのコアリング係数Ｓ’の情報はコアリング処理部６４ａに入力される。コアリング処理部６４ａは、減算部６３から出力された高周波成分Ｈに対して、当該コアリング係数Ｓ’の情報に基づくコアリング処理を施して高周波成分Ｈ’を出力する。出力されたこの高周波成分Ｈ’は加算部７０ａに入力される。加算部７０ａは、コアリング処理部６４ａにより得られた高周波成分Ｈ’と、線形変換部６２Ａからの低周波成分Ｌとを加算（合成）する。この加算処理により、ノイズが除去された出力画像Ｏが得られる。
【０１２１】
図１２は、第２の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。先ず固体撮像素子３による撮影により線形／対数画像が得られる（ステップＳ２１）。この線形／対数画像（基画像Ｉ）がノイズ除去部６ａに入力され、ＬＰＦ部６１によりＬＰＦ処理されて低周波成分ｌ（線形／対数画像）が抽出される（ステップＳ２２）。この低周波成分ｌが線形変換部６２Ａにより線形変換されて低周波成分Ｌ（統一線形画像）が得られるとともに、上記ＬＰＦ処理されていない基画像Ｉに対して線形変換部６２Ａにより線形変換がなされる（この基画像Ｉの統一線形画像が得られる）（ステップＳ２３）。
【０１２２】
次に、減算部６３によって、線形変換部６２Ｂからの基画像Ｉの統一線形画像信号から、線形変換部６２Ａからの低周波成分Ｌが減算されることで高周波成分Ｈが抽出される（ステップＳ２４）。そして、ノイズ量算出部６５によって、線形変換部６２Ａから出力された低周波成分Ｌ及び減算部６３から出力された高周波成分Ｈと、全体制御部９から与えられるノイズ量（ｎ）との情報に基づいてノイズ量Ｎが算出される（ステップＳ２５）。
【０１２３】
一方、エッジ量検出部６７によって、線形変換部６２Ｂにより線形変換がなされた基画像Ｉからエッジ量Ｇが検出される（ステップＳ２６）。検出されたこのエッジ量Ｇと、ノイズ量算出部６５から出力されるノイズ量Ｎと、全体制御部９から与えられるエッジ量の閾値ｅｌ、ｅｈとの情報に基づいて、エッジ補正係数算出部６８によりエッジ補正係数Ｅ（（３３）〜（３５）式参照）が算出される（ステップＳ２７）。
【０１２４】
次に、コアリング係数算出部６６ａによって、ノイズ量算出部６５から出力されたノイズ量Ｎと、全体制御部９から与えられる残留ノイズ量（ｒ）及びＤＲ圧縮率（ｋ）と、エッジ補正係数算出部６８から出力されたエッジ補正係数Ｅとの情報に基づいて、ノイズ正側及び負側のコアリング係数Ｓ’が算出される（ステップＳ２８）。この算出されたコアリング係数Ｓ’の情報に基づいて、コアリング処理部６４ａによって、減算部６３からの高周波成分Ｈに対するコアリング処理が行われて高周波成分Ｈ’が得られる（ステップＳ２９）。そして、加算部７０ａによって、この高周波成分Ｈ’と線形変換部６２Ａからの低周波成分Ｌとが加算されて出力画像Ｏとして後段の処理部（階調変換部７）へ出力される（ステップＳ３０）。
【０１２５】
（実施形態３）
第１の実施形態では線形／対数特性から１つの線形特性への変換を行う構成であったが、第３の実施形態では、線形／線形特性から１つの線形特性への変換を行う構成となっている。すなわち、第３の実施形態では、ノイズ除去部の構成は第１の実施形態におけるノイズ除去部６と同じであるが、固体撮像素子３が、線形／対数特性ではなく線形／線形特性である光電変換特性を有するものとされている。その他の構成は第１の実施形態と同じである。
【０１２６】
ところで上記線形／線形特性とは、図１３に示すように、低輝度側、高輝度側ともに線形の光電変換特性（低輝度側を第１線形特性、高輝度側を第２線形特性とする）を有しており、輝度レベルに応じてすなわち所定の出力レベル点（変曲点）を境としてこれら光電変換特性の線形の傾きが変化する（異なる）光電変換特性である。この場合の光電変換特性も、上記線形／対数特性の場合と同様、複数の異なる光電変換特性からなるものであると言える。本実施形態では、固体撮像素子３として、このような線形／線形特性を有する例えば可変蓄積時間型撮像センサや可変蓄積容量型撮像センサが採用される。
【０１２７】
本実施形態においても、第１の実施形態での線形／対数特性の場合と同様、線形／線形特性に対して線形変換（この場合をリニアリニア変換という）を行って１つの線形特性に統一するが、これは図１３に示すように、高輝度側の線形特性の傾きを低輝度側の線形特性の傾きと一致させるような変換を行うものである。なお、露光量や感度の異なる複数の撮影画像を固体撮像素子外部で合成してなる画像等も本実施形態に適用可能である。
【０１２８】
以下、本実施形態において、線形／線形特性から線形特性への変換によって、ノイズ量がどのように変化するのか或いはどのような値になるのかについて説明する。
［線形／線形特性から線形特性への変換におけるノイズについての説明］
線形／線形特性の光電変換特性は、以下の（３８）、（３９）式のように表される。
ｙ＝ｘ  （ｘ≦Ｔ、ｙ≦Ｔ）  ・・・（３８）
ｙ＝ｃ＊ｘ＋ｄ  （ｘ＞Ｔ、ｙ＞Ｔ）  ・・・（３９）
【０１２９】
これを１つの線形特性に変換すると、変換後の特性Ｙは、以下の（４０）、（４１）式で表される。
Ｙ＝ｙ  （ｙ≦Ｔ）  ・・・（４０）
Ｙ＝（ｙ−ｄ）／ｃ  （ｙ＞Ｔ）・・・（４１）
したがって、ｙがノイズの無い信号であるとすると、全ｙ（すなわち全ｘ）において、Ｙ＝ｘとなる。
【０１３０】
ノイズがのっている信号をｙｎ、このノイズをｎ（ｎ＞０）とすると、ｙｎ＝ｙ±ｎと表すことができるので、上記（３８）、（３９）式より、ノイズ正側の場合（ｙｎ＝ｙ＋ｎ）、以下の（４２）、（４３）式のように表される。
ノイズ正側
ｙｎ＝ｘ＋ｎ  （ｘ≦Ｔ、ｙｎ≦Ｔ＋ｎ）  ・・・（４２）
ｙｎ＝ｃ＊ｘ＋ｄ＋ｎ  （ｘ＞Ｔ、ｙｎ＞Ｔ＋ｎ）  ・・・（４３）
【０１３１】
また、ノイズ負側の場合（ｙｎ＝ｙ−ｎ）、以下の（４２）’、（４３）’式のように表される。
ノイズ負側
ｙｎ＝ｘ−ｎ  （ｘ≦Ｔ、ｙｎ≦Ｔ−ｎ）  ・・・（４２）’
ｙｎ＝ｃ＊ｘ＋ｄ−ｎ  （ｘ＞Ｔ、ｙｎ＞Ｔ−ｎ）  ・・・（４３）’
【０１３２】
ｙｎを線形特性に変換したものをＹｎとすると、このＹｎは、ノイズ正側の場合、上記（４０）〜（４３）式より以下の（４４）〜（４６）式で表される。
ノイズ正側
Ｙｎ＝ｙｎ＝ｘ＋ｎ  （ｙｎ≦Ｔ、ｘ≦Ｔ−ｎ）  ・・・（４４）
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（ｘ＋ｎ−ｄ）／ｃ  （Ｔ＜ｙｎ≦Ｔ＋ｎ、Ｔ−ｎ＜ｘ≦Ｔ）  ・・・（４５）
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（（ｃ＊ｘ＋ｄ＋ｎ）−ｄ）／ｃ
＝ｘ＋ｎ／ｃ  （Ｔ＋ｎ＜ｙｎ、Ｔ＜ｘ）  ・・・（４６）
【０１３３】
また、Ｙｎは、ノイズ負側の場合、上記（４０）、（４１）、（４２）’及び（４３）’式より、以下の（４４）’〜（４６）’式で表される。
ノイズ負側
Ｙｎ＝ｙｎ＝ｘ−ｎ  （ｙｎ≦Ｔ−ｎ、ｘ≦Ｔ）  ・・・（４４）’
Ｙｎ＝ｙｎ＝ｃ＊ｘ＋ｄ−ｎ  （Ｔ−ｎ＜ｙｎ≦Ｔ、Ｔ＜ｘ≦（Ｔ−ｄ＋ｎ）／ｃ）  ・・・（４５）’
Ｙｎ＝（ｙｎ−ｄ）／ｃ
＝（ｃ＊ｘ＋ｄ−ｎ−ｄ）／ｃ
＝ｘ−ｎ／ｃ  （Ｔ＜ｙｎ、（Ｔ−ｄ＋ｎ）／ｃ＜ｘ）  ・・・（４６）’
【０１３４】
これら（４４）〜（４６）式、及び（４４）’〜（４６）’式は、図１４に示すグラフとなる。すなわち図１４のグラフにおいて、ノイズ正側の場合、（４４）式に相当するものが符号６０１で示す特性（特性６０１）、（４５）式に相当するものが符号６０２で示す特性（特性６０２）、（４６）式に相当するものが符号６０３で示す特性（特性６０３）となる。また、ノイズ負側の場合、（４４）’式に相当するものが符号６１１で示す特性（特性６１１）、（４５）’式に相当するものが符号６１２で示す特性（特性６１２）、（４６）’式に相当するものが符号６１３で示す特性（特性６１３）となる。
【０１３５】
この場合も、図７での説明と同様、変曲点Ｔ（ｘ座標で考えている）を挟んでＴ−ｎ＜ｘ≦Ｔの範囲６０２１とＴ＜ｘ≦（Ｔ−ｄ＋ｎ）／ｃの範囲６１２１とにおいて、（３８）、（３９）式の異なる方で変換されてしまい、特性６０２、６１２となる（ただし、本実施形態では基画像Ｉが線形／線形特性であるので、この特性６０２、６１２は線形となる）。また、Ｔ＜ｘの範囲、（Ｔ−ｄ＋ｎ）／ｃ＜ｘの範囲では、それぞれ、線形変換する前の特性が線形特性であることから、特性６０３、６１３のようになる。これら特性６０３、６１３はそれぞれ特性６０１、６１１と平行な（傾きが同じ）グラフとなっている。この場合も、細部のグラフ形状は異なるものの、全体としては図７に示す場合と同様に、線形変換後、Ｙ＝ｘの特性６２２に対する正側のノイズ量と負側のノイズ量とが、Ｔ−ｎ＜ｘ＜（Ｔ−ｄ＋ｎ）／ｃにおいて、異なる値となってしまう。
【０１３６】
次に、本実施形態の場合について、正側と負側とで異なる特徴を有するノイズに対してノイズ除去処理を行った後の残留ノイズ量が、どようなコアリング係数Ｓを設定すれば、一定となるのかということについて説明する。
【０１３７】
［コアリング係数算出についての説明］
第１の実施形態と同様に、低周波成分Ｌを用いて、上記（４４）〜（４６）式及び（４４）’〜（４６）’式を表すと、以下の（４７）〜（４９）式及び（４７）’〜（４９）’式となる。
ノイズ正側
Ｙｎ＝Ｌ＋ｎ  （Ｌ≦Ｔ−ｎ）  ・・・（４７）
Ｙｎ＝（Ｌ−ｄ＋ｎ）／ｃ  （Ｔ−ｎ＜Ｌ≦Ｔ）  ・・・（４８）
Ｙｎ＝Ｌ＋ｎ／ｃ  （Ｔ＜Ｌ）  ・・・（４９）
ノイズ負側
Ｙｎ＝Ｌ−ｎ  （Ｌ≦Ｔ）  ・・・（４７）’
Ｙｎ＝ｃ＊Ｌ＋ｄ−ｎ  （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ）・・・（４８）’
Ｙｎ＝Ｌ−ｎ／ｃ  （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ）  ・・・（４９）’
【０１３８】
＜ノイズ量の算出＞
第１の実施形態と同様にノイズ量Ｎ（Ｎ≧０）を求める。ノイズ量Ｎは、ノイズ正側の場合、上記（４７）〜（４９）式から低周波成分Ｌを減算することにより、以下の（５０）〜（５２）式で表される。
ノイズ正側
Ｎ＝ｎ  （Ｌ≦Ｔ−ｎ）  ・・・（５０）
Ｎ＝（Ｌ−ｄ＋ｎ）／ｃ−Ｌ＝（（１−ｃ）＊Ｌ−ｄ＋ｎ）／ｃ  （Ｔ−ｎ＜Ｌ≦Ｔ）  ・・・（５１）
Ｎ＝ｎ／ｃ  （Ｔ＜Ｌ）  ・・・（５２）
【０１３９】
一方、ノイズ負側の場合、低周波成分Ｌから上記（４７）’〜（４９）’式を減算することにより、以下の（５０）’〜（５２）’式で表される。
ノイズ負側
Ｎ＝ｎ  （Ｌ≦Ｔ）  ・・・（５０）’
Ｎ＝Ｌ−（ｃ＊Ｌ＋ｄ−ｎ）＝（１−ｃ）＊Ｌ−ｄ＋ｎ  （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ）  ・・・（５１）’
Ｎ＝ｎ／ｃ  （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ）  ・・・（５２）’
【０１４０】
このように求められるノイズ正側及び負側の線形変換後のノイズ量Ｎ（（５０）〜（５２）式及び（５０）’〜（５２）’式）は、図１５に示すグラフで示される。すなわち図１５のグラフにおいて、ノイズ正側の場合、（５０）式に相当するものが符号７０１で示す特性（特性７０１）、（５１）式に相当するものが符号７０２で示す特性（特性７０２）、（５２）式に相当するものが符号７０３で示す特性（特性７０３）となる。また、ノイズ負側の場合、（５０）’式に相当するものが符号７１１で示す特性（特性７１１）、（５１）’式に相当するものが符号７１２で示す特性（特性７１２）、（５２）’式に相当するものが符号７１３で示す特性（特性７１３）となる。ただし、特性７０１〜７０３を合わせた全体の特性を特性７１０、特性７１１〜７１３を合わせた全体の特性を特性７２０とする。
【０１４１】
なお、ノイズ量Ｎは、上記（５０）〜（５２）式及び（５０）’〜（５２）’式に示すように低周波成分Ｌを用いて表される（ノイズ量ｎは既定値である）、すなわち、ノイズ量Ｎは低周波成分Ｌによって決まる（ノイズ量Ｎに基づいて算出される）パラメータであると言える。本実施形態においても、ノイズ量算出部６５は、このように低周波成分Ｌとノイズ量ｎと高周波成分Ｈ（高周波成分Ｈは例えばノイズが正側のノイズであるか負側のノイズであるかの判定に用いる）との情報を用いて線形変換後のノイズ正側及び負側の各ノイズ量Ｎを算出する。
【０１４２】
＜ＤＲ圧縮後の残留ノイズ量が一定となる条件＞
ＤＲ圧縮後の残留ノイズ量が一定となる条件は、第１の実施形態の場合と同じ条件（上記（２５）式）が成立する。すなわち、ＤＲ圧縮後の残留ノイズ量ｒ（ｒ≧０：一定）、及びＤＲ圧縮率ｋ（Ｌ）を用いて、コアリング係数Ｓ（Ｓ≧０）を表すと、以下の（２５）式となる。
Ｓ＝Ｎ−ｒ／ｋ（Ｌ）  ・・・（２５）
【０１４３】
コアリング係数算出部６６は、ノイズ量Ｎと残留ノイズ量ｒとＤＲ圧縮率ｋ（Ｌ）との情報を用いてこのコアリング係数Ｓを算出する。ただし、ノイズ量Ｎはノイズ量算出部６５において算出した上記（５０）〜（５２）式及び（５０）’〜（５２）’式に示すものであり、これらを（２５）式に代入することで、ノイズ正側とノイズ負側との場合それぞれのコアリング係数Ｓを算出する。
【０１４４】
すなわち、ノイズ正側の場合、上記（２５）式及び（５０）〜（５２）式により、以下の（５３）〜（５５）式で表されるコアリング係数Ｓを算出する。
ノイズ正側
Ｓ＝ｎ−ｒ／ｋ（Ｌ）  （Ｌ≦Ｔ−ｎ）  ・・・（５３）
Ｓ＝（（１−ｃ）＊Ｌ−ｄ＋ｎ）／ｃ−ｒ／ｋ（Ｌ）  （Ｔ−ｎ＜Ｌ≦Ｔ）  ・・・（５４）
Ｓ＝ｎ／ｃ−ｒ／ｋ（Ｌ）  （Ｔ＜Ｌ）  ・・・（５５）
【０１４５】
また、ノイズ負側の場合、上記（２５）式及び（５０）’〜（５２）’式により、以下の（５３）’〜（５５）’式で表されるコアリング係数Ｓを算出する。
ノイズ負側
Ｓ＝ｎ−ｒ／ｋ（Ｌ）  （Ｌ≦Ｔ）  ・・・（５３）’
Ｓ＝（１−ｃ）＊Ｌ−ｄ＋ｎ−ｒ／ｋ（Ｌ）  （Ｔ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃ）  ・・・（５４）’
Ｓ＝ｎ／ｃ−ｒ／ｋ（Ｌ）  （（Ｔ−ｄ＋ｎ）／ｃ＜Ｌ）  ・・・（５５）’
【０１４６】
これら（５３）〜（５５）式及び（５３）’〜（５５）’式に示す結果のように、算出されたコアリング係数Ｓは、ノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋ（低周波成分Ｌに応じて決定されるＤＲ圧縮率ｋ（Ｌ））を用いて表される。また、コアリング係数Ｓは、Ｔ−ｎ＜Ｌ≦（Ｔ−ｄ＋ｎ）／ｃの範囲で、ノイズの正側と負側とで異なるものとなる。このようにノイズを一律なものとしてではなく、ノイズを正側のノイズと、負側のノイズとに場合分けすることで、正側と負側とでコアリング係数Ｓが異なる値となる。コアリング係数算出部６６により算出した当該コアリング係数Ｓを用いて上記コアリング処理部６４によるコアリング処理を行うことで、残留ノイズ量ｒを一定とすることができる。すなわち図１５に示すように、特性７１０に示す正側のノイズ量Ｎ及び特性７２０に示す負側のノイズ量Ｎそれぞれからコアリング量７３０（Ｓ）を差し引いた残りの値つまり残留ノイズ量７４０（ｒ）が、低周波成分Ｌの低レベルから高レベルに亘る全レベル範囲で等しい値となる（輝度に依らず一定となる）ようなコアリング係数Ｓの値が求められる。当該残留ノイズ量ｒを一定とすることにより、ノイズ除去を高精度に行うことが可能となる。
【０１４７】
本実施形態におけるエッジ補正係数Ｅの算出も第１の実施形態と同様、エッジ量検出部６７により検出されたエッジ量Ｇと、上記（５０）〜（５２）式及び（５０）’〜（５２）’式で示されるノイズ量Ｎ（低周波成分Ｌのレベル並びに低周波成分Ｌに対して正側及び負側によって異なるノイズ量Ｎ）との情報を用いて、上記（３３）〜（３５）式に示されるエッジ補正係数Ｅがエッジ補正係数算出部６８により算出される。
【０１４８】
このように、画像の低周波成分Ｌのレベルつまり画像の輝度レベル、並びに正側のノイズ量及び負側のノイズ量を考慮して、エッジ補正係数Ｅを求めるようにしたので、すなわち、当該算出されたエッジ補正係数Ｅを用いて上記（２９）式に基づき高周波成分Ｈ’を求めるようにしたので、エッジ量が小さい画像平坦部などではコアリングによりノイズ除去されて且つエッジ量が大きい部分ではコアリングがなされていない、エッジ部や画像のディテールでの欠落が少ない（エッジ情報の欠落が抑止された）鮮明な画像（ノイズ除去画像）を得ることができる。なお、当該エッジ補正係数Ｅの算出時に与えられる閾値ｅｌ、ｅｈについても、第１の実施形態と同様、予め所定の方法で閾値Ｇｌ、Ｇｈが最適値となるよう調整された値（既定値）が使用される。
【０１４９】
＜階調変換前において残留ノイズ量が一定となる条件＞
第１の実施形態と同様に、上記（５３）〜（５５）式及び（５３）’〜（５５）’式におけるｋ（Ｌ）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も、線形／線形画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。なお、上記図１５に示すコアリング量７３０（Ｓ）及び残留ノイズ量７４０（ｒ）は、当該ｋ（Ｌ）＝１の場合のものを示している。
【０１５０】
（実施形態４）
上記第３の実施形態における線形／線形特性から１つの線形特性への変換を行う構成を、第２の実施形態に適用することも可能である（この場合を第４の実施形態とする）。すなわち、第２の実施形態におけるデジタルカメラ１の固体撮像素子３を、線形／線形特性である光電変換特性を有するものとする。そして、図１１において、コアリング係数算出部６６ａにより算出された上記（５３）〜（５５）式及び（５３）’〜（５５）’式に示すコアリング係数Ｓに対して、エッジ補正係数算出部６８により算出されたエッジ補正係数Ｅを乗算してなるコアリング係数Ｓ’（上記（３７）式に示すＥ＊Ｓ）を用いて、コアリング処理部６４ａによって高周波成分Ｈに対してコアリング処理を施すようにしてもよい。
【０１５１】
本実施形態の場合も、上記（５３）〜（５５）式及び（５３）’〜（５５）’式におけるｋ（Ｌ）の値を「１」として、階調変換前において残留ノイズ量が一定となるようにしてもよい。この場合も、線形／線形画像を線形変換したときに増幅されるノイズを除去することができるので、ノイズ除去精度を高める効果がある。
【０１５２】
なお、上記第３及び第４の実施形態の場合のフローチャートは、それぞれ第１及び第２の実施形態における図１０及び図１２のフローチャートにおけるステップＳ１の線形／対数画像を、線形／線形画像に置き換えたものであり、この線形／線形画像に対して以下同様のフローにて処理が実行される。
【０１５３】
第３及び第４の実施形態のように、線形／線形特性の画像を扱う場合も、画像の低周波成分Ｌのレベルつまり画像の輝度レベル、並びに正側のノイズ量及び負側のノイズ量を考慮して、エッジ補正係数Ｅを求めるようにしたので、画像の高周波成分、特にエッジ部の欠落の少ないノイズ除去画像を得ることができる。
【０１５４】
以上のように、上記各実施形態に係る撮像装置（デジタルカメラ１）によれば、撮像装置が、複数の異なる光電変換特性を有する固体撮像素子３と、固体撮像素子３により得られる複数の異なる特性を有する画像に対するノイズ除去処理を行うノイズ除去部６（６ａ）（ノイズ除去手段）とを備えるものとされ、このノイズ除去手段において、ＬＰＦ部６１及び線形変換部６２Ａ（低周波成分取得手段）によって複数の異なる特性を１種類の特性に統一する統一変換がなされた低周波成分Ｌが画像（基画像Ｉ）から取得され、線形変換部６２Ｂ及び減算部６３（高周波成分取得手段）によって当該統一変換がなされた高周波成分Ｈが画像（基画像Ｉ）から取得される。また、低周波成分Ｌに対して信号レベルが高い側を正側、低い側を負側と定める場合において、ノイズ量算出部６５（ノイズ量算出手段）によって低周波成分Ｌのレベルに応じて正側のノイズ量Ｎと負側のノイズ量Ｎとが算出され、エッジ量検出部６７（エッジ量検出手段）によって画像（線形変換部６２Ｂによる線形変換後の基画像Ｉ）から上記統一変換がなされたエッジ量Ｇが検出される。エッジ補正係数算出部６８（エッジ補正係数算出手段）によって、この検出されたエッジ量Ｇと、低周波成分Ｌのレベルに応じて算出された正側及び負側のノイズ量Ｎとに基づいて、画像のエッジ保存に関するエッジ補正係数Ｅが算出される。そして、コアリング処理部６４（６４ａ）（コアリング手段）によって正側及び負側のノイズ量Ｎに基づいて高周波成分Ｈに対するコアリング（コアリング処理）が行われ、合成部６９（コアリング係数算出部６６ａ）（調整手段）によってエッジ補正係数Ｅに基づいてコアリングの度合いが調整され、当該調整されたコアリング度合でコアリングされた高周波成分Ｈ’と低周波成分Ｌとが加算部７０（７０ａ）（加算手段）によって加算される。
【０１５５】
このように、低周波成分Ｌのレベルすなわち画像の輝度レベルに応じて算出された正側及び負側のノイズ量Ｎに基づいて高周波成分Ｈに対するコアリングが行われるので、画像の輝度レベル並びに正側及び負側でのノイズの違いが考慮された高精度なノイズ除去（ノイズ除去処理、コアリング処理）が可能となる。また、画像から検出されたエッジ量Ｇと上記低周波成分Ｌのレベルに応じて算出された正側及び負側のノイズ量Ｎとに基づいてエッジ補正係数Ｅが算出されて、すなわち、エッジ量Ｇと、低周波成分Ｌのレベルと、正側及び負側のノイズ量Ｎとの情報に基づいてエッジ補正係数Ｅが算出されて、このエッジ補正係数Ｅに基づいて調整されたコアリング度合による上記コアリングが行われるので、画像の輝度レベル並びに正側及び負側でのノイズの違いが考慮された高精度なエッジ保存が可能となる。これらのことにより、ひいては高画質な撮影画像を得ることができる。
【０１５６】
また、調整手段（合成部６９）によって、コアリング手段（コアリング処理部６４）によりコアリングされた高周波成分Ｈｃと、該コアリング手段によりコアリングされていない高周波成分Ｈとの合成の比率がエッジ補正係数Ｅに応じて変化されることによりコアリングの度合いが調整されるので、当該合成比率をエッジ補正係数Ｅに応じて変化させるという方法により容易にコアリングの度合いを調整することができる、すなわちエッジ補正係数Ｅがコアリングに反映されることによるエッジ保存の高精度化を容易に行えるようになる。
【０１５７】
また、調整手段（コアリング係数算出部６６ａ）によって、コアリングに用いるコアリング係数Ｓがエッジ補正係数Ｅに応じて変化される（コアリング係数Ｓ’となる）ことによりコアリングの度合いが調整されるので、当該コアリング係数Ｓをエッジ補正係数Ｅに応じて変化させるという方法により容易にコアリングの度合いを調整することができる、すなわちエッジ補正係数Ｅがコアリングに反映されることによるエッジ保存の高精度化を容易に行えるようになる。
【０１５８】
また、固体撮像素子３が、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有するものとされ、この固体撮像素子３により得られる画像が、線形特性の画像と対数特性の画像とからなる複数特性画像とされる（線形特性及び対数特性からなる光電変換特性を有する固体撮像素子により、線形特性の画像と対数特性の画像とからなる複数特性画像が得られる）ので、この複数特性画像を用いて、広いダイナミックレンジを確保しつつ、画像の輝度レベル並びに正側及び負側でのノイズの違いを考慮した高精度なノイズ除去及びエッジ保存がなされた高画質な画像を得ることが可能となる。
【０１５９】
また、固体撮像素子３が、入射光量に対して電気信号が線形的に変換されて出力される第１の線形特性と、該第１の線形特性とグラフ上の傾きが異なる第２の線形特性とからなる光電変換特性を有するものとされ（図１３参照）、この固体撮像素子３により得られる画像が、２種類の前記線形特性の画像からなる複数特性画像とされる（２種類の線形特性からなる光電変換特性を有する固体撮像素子により、該２種類の線形特性の画像からなる複数特性画像が得られる）ので、この複数特性画像を用いて、広いダイナミックレンジを確保しつつ、画像の輝度レベル並びに正側及び負側でのノイズの違いを考慮した高精度なノイズ除去及びエッジ保存がなされた高画質な画像を得ることが可能となる。
【０１６０】
また、上記低周波成分取得手段及び高周波成分取得手段がそれぞれ備える線形変換部６２Ａ及び線形変換部６２Ｂ（特性変換手段）によって、複数特性画像の各特性を１種類の線形特性に統一する統一変換が行われるので、ノイズ除去処理後に当該特性が統一された画像に対して別途行われる階調変換処理の簡素化を図ることができる、すなわち階調変換処理時の画像の取り扱い性が良くなる。
【０１６１】
さらに、コアリング手段によって、ノイズ除去手段によりノイズ除去処理が行われた画像に対して階調変換手段による階調変換処理が行われた後に該画像に残る残留ノイズ量ｒが、正側及び負側それぞれにおいて低周波成分Ｌのレベルに依らず一定となる（図８、１５参照）ようなコアリング係数Ｓを用いたコアリングが行われるので、当該コアリング係数Ｓを用いたコアリングにより、画像の輝度レベル並びに正側及び負側でのノイズの違いが考慮された高精度なノイズ除去を、容易に且つ確実に行えるようになる。
【０１６２】
なお、本発明は、以下の態様をとることができる。
（Ａ）上記各実施形態においては、撮影画像に対するノイズ除去処理をデジタルカメラ１内（ノイズ除去部６、６ａ）で行う構成としているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＡＤ変換後のデータを、メモリカード等の記録メディア、或いは通信手段、すなわちＵＳＢや無線ＬＡＮ等による有線又は無線接続（ネットワーク接続）により情報伝達可能に構成されたユーザーインターフェイスを介して、ＰＣ（Personal  Computer）やＰＤＡ（Personal Digital Assistant）等の情報処理機器に送信し、この情報処理機器内で当該ノイズ除去処理を行う構成としてもよい。
【０１６３】
（Ｂ）上記各実施形態においては、固体撮像素子３は２つの異なる光電変換特性（線形特性及び対数特性、或いは第１線形特性及び第２線形特性）からなる光電変換特性を有するものとされるが、３つ以上の異なる光電変換特性からなる光電変換特性を有するものとされてもよい（この場合、３つ以上の異なる光電変換特性の内のいずれか１種類の光電変換特性に統一される）。
【０１６４】
（Ｃ）上記各実施形態においては、図５（図１１）に示すように、ノイズ量Ｎの算出及びコアリング係数Ｓの算出を、ノイズ量算出部６５とコアリング係数算出部６６（コアリング係数算出部６６ａ）との２つの機能ブロックに分けて行っているが、これらを１つの機能ブロックで行う構成としてもよい。すなわちこの１つの機能ブロックによって、該機能ブロックに入力される低周波成分Ｌ（及び高周波成分Ｈ）、ノイズ量ｎ、残留ノイズ量ｒ及びＤＲ圧縮率ｋに基づいて、ノイズ量Ｎを算出するとともにコアリング係数Ｓ（Ｓ’）を算出するようにしてもよい。この場合も、ノイズ量Ｎの情報はエッジ補正係数算出部６８へ出力されてエッジ補正係数Ｅの算出に供されるものとする。
【図面の簡単な説明】
【０１６５】
【図１】第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関するブロック構成図である。
【図２】上記固体撮像素子の一例である二次元のＭＯＳ型固体撮像装置の概略構成図である。
【図３】図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。
【図４】上記固体撮像素子の光電変換特性の一例を示すグラフ図である。
【図５】図１に示すノイズ除去部の一例を示すブロック構成図である。
【図６】コアリング処理におけるコアリング特性を示すグラフ図である。
【図７】第１の実施形態における線形変換後の正側及び負側のノイズの特性について説明するグラフ図である。
【図８】第１の実施形態における線形変換後の正側及び負側のノイズ（ノイズ量Ｎ）の特性について説明するグラフ図である。
【図９】エッジ量とエッジ補正係数との関係を示すグラフ図である。
【図１０】第１の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。
【図１１】第２の実施形態に係るデジタルカメラにおけるノイズ除去部の一例を示すブロック構成図である。
【図１２】第２の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。
【図１３】第３及び第４の実施形態に係る固体撮像素子の光電変換特性の一例を示すグラフ図である。
【図１４】第３及び第４の実施形態における線形変換後の正側及び負側のノイズの特性について説明するグラフ図である。
【図１５】第３及び第４の実施形態における線形変換後の正側及び負側のノイズ（ノイズ量Ｎ）の特性について説明するグラフ図である。
【符号の説明】
【０１６６】
１  デジタルカメラ（撮像装置）
３  固体撮像素子
６、６ａ  ノイズ除去部（ノイズ除去手段）
６１  ＬＰＦ部（低周波成分取得手段）
６２Ａ  線形変換部（低周波成分取得手段、特性変換手段）
６２Ｂ  線形変換部（高周波成分取得手段、特性変換手段）
６３  減算部（高周波成分取得手段）
６４、６４ａ  コアリング処理部（コアリング手段）
６５  ノイズ量算出部（ノイズ量算出手段）
６６  コアリング係数算出部
６６ａ  コアリング係数算出部（請求項１及び３に記載の調整手段）
６７  エッジ量検出部（エッジ量検出手段）
６８  エッジ補正係数算出部（エッジ補正係数算出手段）
６９  合成部（請求項１及び２に記載の調整手段）
７０、７０ａ  加算部（加算手段）
７  階調変換部（階調変換手段）
Ｅ  エッジ補正係数
Ｇ  エッジ量
Ｓ、Ｓ’  コアリング係数
【図１】
2008113337.tif 000003
【図２】
2008113337.tif 000004
【図３】
2008113337.tif 000005
【図４】
2008113337.tif 000006
【図５】
2008113337.tif 000007
【図６】
2008113337.tif 000008
【図７】
2008113337.tif 000009
【図８】
2008113337.tif 000010
【図９】
2008113337.tif 000011
【図１０】
2008113337.tif 000012
【図１１】
2008113337.tif 000013
【図１２】
2008113337.tif 000014
【図１３】
2008113337.tif 000015
【図１４】
2008113337.tif 000016
【図１５】
2008113337.tif 000017