(57)【要約】【課題】各行および／または各列に含まれる基準画素の数が少ない場合においても、縞状ノイズを除去可能な画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置を、被写体からの光束に基づく画素信号を出力する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子と、有効画素領域の有効画素から出力される画素信号に対して信号処理を施す信号処理手段と、基準画素領域の基準画素から出力される画素信号に基づいて画素信号における行方向および／または列方向の特定ノイズの評価値を算出する評価値算出手段とから構成する。信号処理手段は、評価値に基づいて信号処理方法を決定し、有効画素から出力される画素信号に対して信号処理を施す。【選択図】図２
2015231084.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光束に基づく画素信号を出力する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子と、
前記有効画素領域の有効画素から出力される画素信号に対して信号処理を施す信号処理手段と、
前記基準画素領域の基準画素から出力される画素信号に基づいて該画素信号における行方向および／または列方向の特定ノイズの評価値を算出する評価値算出手段と、を備え、
前記信号処理手段は、前記評価値に基づいて信号処理方法を決定し、前記有効画素から出力される画素信号に対して信号処理を施す、
画像処理装置。
【請求項２】
前記評価値算出手段は、
前記基準画素領域の各行および／または各列について、該各行および／または該各列に含まれる基準画素から出力される画素信号に基づいて代表値を算出し、
前記各行および／または前記各列の代表値に基づいて前記評価値を算出する、
請求項１に記載の画像処理装置。
【請求項３】
前記代表値は、前記各行および／または前記各列に含まれる基準画素から出力される画素信号の平均値、積分値、中央値、最頻値の何れか一つである、
請求項２に記載の画像処理装置。
【請求項４】
前記評価値は、前記各行および／または前記各列の代表値の標準偏差である、
請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記信号処理は、ノイズ除去処理、輪郭強調処理、階調変換処理の少なくとも１つを含む、
請求項１から請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記信号処理手段は、前記評価値が大きいほど、信号処理方法をノイズ除去効果の強いものに決定する、
請求項５に記載の画像処理装置。
【請求項７】
前記信号処理手段は、前記評価値が大きいほど、信号処理方法を輪郭強調効果の弱いものに決定する、
請求項５に記載の画像処理装置。
【請求項８】
前記信号処理手段は、前記評価値が大きいほど、信号処理方法を階調変換の増幅率の強いものに決定する、
請求項５に記載の画像処理装置。
【請求項９】
前記有効画素領域内の画素から出力される画素信号に基づいて該画素信号の輝度情報を算出する輝度情報算出手段を備え、
前記信号処理手段は、
前記輝度情報に基づいて前記信号処理方法を修正する、
請求項１から請求項８の何れか一項に記載の画像処理装置。
【請求項１０】
前記有効画素領域内の画素から出力される画素信号に基づいて該画素信号の空間周波数情報を算出する空間周波数算出手段を備え、
前記信号処理手段は、
前記空間周波数情報に基づいて前記信号処理方法を修正する、
請求項１から請求項９の何れか一項に記載の画像処理装置。
【請求項１１】
被写体からの光束に基づく画素信号を出力する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子を備える画像処理装置における画像処理方法であって、
前記有効画素領域の有効画素から出力される画素信号に対して信号処理を施す信号処理ステップと、
前記基準画素領域の基準画素から出力される画素信号に基づいて該画素信号における行方向および／または列方向の特定ノイズの評価値を算出する評価値算出ステップと、を含み、
前記信号処理ステップにて、前記評価値に基づいて信号処理方法が決定され、前記有効画素から出力される画素信号に対して信号処理が施される、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素信号に対して信号処理を施す画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタル一眼レフカメラやビデオカメラ等の撮影装置には、撮像素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが多く使用されている。また、撮影装置には撮像処理の高速化が求められている。
【０００３】
撮像処理を高速化する方法として、２次元的に配置された画素の各列に画素信号の出力経路を設け、複数列の画素信号の読み出しを同時に行う多チャンネル化がある。しかし、出力経路（チャンネル）によってノイズ量にバラつきがあるため、画素信号には列によって異なる量のノイズが発生する。この列間の画素信号のノイズのバラつきは、垂直方向の縞状ノイズと呼ばれる。
【０００４】
また、ＣＭＯＳイメージセンサでは、各画素の駆動電源やＧＮＤは共通であるため、画素信号の読み出し中に駆動電源やＧＮＤの電圧レベルが変動すると、読み出される画素信号のレベルが変動するという問題が生じる。通常、ＣＭＯＳイメージセンサの画素信号の読み出しは左上の画素から１行ずつ左から右へ読み出される。そのため、駆動電源やＧＮＤのレベルが変動すると、画素信号のレベルの変動は行間のレベル差となって現れる。この行間の画素信号のレベル差は、水平方向の縞状ノイズと呼ばれる。
【０００５】
このような縞状ノイズを除去する撮影装置として、特許文献１に、ＣＭＯＳイメージセンサの撮像面に、遮光された画像補正用の基準画素（オプティカルブラック画素）を設けた撮影装置が開示されている。特許文献１に記載の撮影装置では、基準画素から出力される画素信号に基づいて行毎に補正値を決定し、通常の画素（有効画素）から出力される画素信号から行毎に異なる補正値を減算することによって縞状ノイズを除去している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６３５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の撮影装置では、基準画素から出力される画素信号を用いて行毎に補正値が決定されている。しかし、各行に含まれる基準画素の数が少ない場合、縞状ノイズを除去するための補正値の精度が低くなり、縞状ノイズを除去できない虞があった。
【０００８】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、各行に含まれる基準画素の数が少ない場合においても、縞状ノイズを除去可能な画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００９】
本実施形態の画像処理装置は、被写体からの光束に基づく画素信号を出力する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子と、有効画素領域の有効画素から出力される画素信号に対して信号処理を施す信号処理手段と、基準画素領域の基準画素から出力される画素信号に基づいて画素信号における行方向および／または列方向の特定ノイズの評価値を算出する評価値算出手段と、を備える。信号処理手段は、評価値に基づいて信号処理方法を決定し、有効画素から出力される画素信号に対して信号処理を施す。
【００１０】
このような構成によれば、行方向および／または列方向の特定ノイズの評価値に基づいて信号処理方法が決定されるため、基準画素領域の各行および／または各行に含まれる基準画素の数が少ない場合においても、縞状ノイズの除去効果を高めることができる。
【００１１】
また、評価値算出手段は、基準画素領域の各行および／または各列について、各行および／または各列に含まれる基準画素から出力される画素信号に基づいて代表値を算出し、各行および／または各列の代表値に基づいて評価値を算出してもよい。
【００１２】
また、代表値は、各行および／または各列に含まれる基準画素から出力される画素信号の平均値、積分値、中央値、最頻値の何れか一つであってもよい。
【００１３】
また、評価値は、各行および／または各列の代表値の標準偏差であってもよい。
【００１４】
また、信号処理は、ノイズ除去処理、輪郭強調処理、階調変換処理の少なくとも１つを含んでもよい。
【００１５】
また、信号処理手段は、評価値が大きいほど、信号処理方法をノイズ除去効果の強いものに決定してもよい。
【００１６】
また、信号処理手段は、評価値が大きいほど、信号処理方法を輪郭強調効果の弱いものに決定してもよい。
【００１７】
また、信号処理手段は、評価値が大きいほど、信号処理方法を階調変換の増幅率の強いものに決定してもよい。
【００１８】
また、画像処理装置は、有効画素領域内の画素から出力される画素信号に基づいて画素信号の輝度情報を算出する輝度情報算出手段を備えてもよい。この場合、信号処理手段は、輝度情報に基づいて信号処理方法を修正する。
【００１９】
また、画像処理装置は、有効画素領域内の画素から出力される画素信号に基づいて画素信号の空間周波数情報を算出する空間周波数算出手段を備えてもよい。この場合、信号処理手段は、空間周波数情報に基づいて信号処理方法を修正する。
【００２０】
本実施形態の画像処理方法は、被写体からの光束に基づく画素信号を出力する有効画素からなる有効画素領域と、基準となる画素信号を出力する基準画素からなる基準画素領域とを有する撮像素子を備える画像処理装置における画像処理方法であって、有効画素領域の有効画素から出力される画素信号に対して信号処理を施す信号処理ステップと、基準画素領域の基準画素から出力される画素信号に基づいて画素信号における行方向および／または列方向の特定ノイズの評価値を算出する評価値算出ステップと、を含む。信号処理ステップにて、評価値に基づいて信号処理方法が決定され、有効画素から出力される画素信号に対して信号処理が施される。
【発明の効果】
【００２１】
本実施形態によれば、各行および／または各列に含まれる基準画素の数が少ない場合においても、行方向および／または列方向の特定ノイズを除去可能な画像処理装置及び画像処理方法が提供される。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態にかかる撮影装置の構成を示すブロック図である。
【図２】本発明の実施形態にかかる画像処理エンジンによる信号処理のフローチャートである。
【図３】本発明の実施形態にかかる撮像素子の撮像面の概略図である。
【図４】本発明の実施形態にかかる縞状ノイズの評価値を説明するための図である。
【図５】本発明の実施形態にかかる階調変換処理における階調変換パラメータの例を示す図である。
【図６】本発明の実施形態の第１の変形例にかかる画像処理エンジンによる信号処理のフローチャートである。
【図７】本発明の実施形態の第１の変形例にかかる有効画素信号の輝度値毎の出現頻度を表すヒストグラムである。
【図８】本発明の実施形態の第１の変形例にかかる修正される前の階調処理パラメータ及び輝度情報に基づいて修正された後の階調処理パラメータを示す図である。
【図９】本発明の実施形態の第２の変形例にかかる画像処理エンジンによる信号処理のフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態の撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能及び画像処理機能を有する別の形態の装置に置き換えてもよい。
【００２４】
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１には画像処理装置が組み込まれており、ＣＰＵ（Central Processing Unit）１００、操作部１０２、絞り・シャッタ駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、撮像素子１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４及びＲＯＭ（Read Only Memory）１２６を備えている。
【００２５】
操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが押されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。ＣＰＵ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。
【００２６】
レリーズスイッチが操作されると、ＣＰＵ１００は、撮影装置１に内蔵されたＴＴＬ（Through The Lens）露出計（不図示）で測定された測光値に基づき適正露出が得られるように、絞り・シャッタ駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ速度優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、ＣＰＵ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。
【００２７】
被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して撮像素子１１２により受光される。撮像素子１１２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサである。以下では、撮像素子１１２はＣＭＯＳイメージセンサであるとして説明する。
【００２８】
信号処理回路１１４は、撮像素子１１２より入力される画素信号に対してクランプ処理、デモザイク処理等の所定の信号処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力される画素信号に対して階調変換処理、エッジ強調処理、ノイズ除去処理、マトリクス演算処理、Ｙ／Ｃ分離処理、ホワイトバランス調整処理等の信号処理を施して撮影画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による信号処理の実行時、処理データの一時的な保存場所として用いられる。
【００２９】
カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、圧縮された撮影画像信号（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。
【００３０】
また、画像処理エンジン１１６は、生成された撮影画像信号をフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットの映像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される映像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画を、ＬＣＤ１２４の表示画面を通じて視認することができる。
【００３１】
画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリから読み出して所定のフォーマットの映像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される映像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。
【００３２】
次に、画像処理エンジン１１６による画素信号の信号処理（画像処理）について詳細に説明する。図２は、本実施形態における画像処理エンジン１１６による信号処理のフローチャートを示す。
【００３３】
撮像素子１１２から出力された画素信号が信号処理回路１１４を介して画像処理エンジン１１６に入力されると、信号処理が開始される（Ｓ１０１）。信号処理では、まず、撮像素子１１２の撮像面１３０に設けられた画素のうち、基準画素（オプティカルブラック画素）から出力された画素信号が参照される（Ｓ１０２）。基準画素は遮光されており、被写体からの光束は基準画素に入射されない。
【００３４】
図３は、本実施形態における撮像素子１１２の撮像面１３０の概略図である。撮像面１３０には、複数の画素が、撮像素子１１２の上下方向（垂直方向）にｍ行、左右方向（水平方向）にｎ列となるように並んで配置されている（ｍ及びｎは正の整数）。また、撮像面１３０には、有効画素を含む有効画素領域１３０Ａ及び基準画素を含む基準画素領域１３０Ｂが設けられている。有効画素領域１３０Ａは撮像面１３０の右下側に設けられており、有効画素領域１３０Ａ内にはｐ行、ｑ列に亘って複数の有効画素が配置されている（ｐ及びｑは正の整数）。基準画素領域１３０Ｂは、有効画素領域１３０Ａの上側から左側にかけてＬ字状に設けられている。有効画素から出力される画素信号（有効画素信号）は、被写体からの光束に基づいて撮影画像信号を生成するために使用される。基準画素から出力される画素信号（基準画素信号）は、有効画素信号を補正するために使用される。
【００３５】
処理ステップＳ１０３では、基準画素信号に含まれる縞状ノイズの評価値が算出される。画素信号（有効画素信号及び基準画素信号）には、垂直方向及び水平方向の縞状ノイズが含まれている。縞状ノイズは、撮像素子１１２であるＣＭＯＳイメージセンサの構造及び画素信号の読み出し方法に起因して発生する。
【００３６】
ＣＭＯＳイメージセンサの各画素は、光電変換部及びアンプ部を有している。光電変換部は、受光した光の光量に応じた電荷を蓄積する。アンプ部は光電変換部に蓄積された電荷を増幅して電圧（画素信号）に変換する。アンプ部で増幅された画素信号は、ＣＭＯＳイメージセンサの水平方向に並んで配置された垂直信号線（不図示）を伝播して出力される。各垂直信号線は、ＣＭＯＳイメージセンサの垂直方向に並んで配置された複数の画素（有効画素及び基準画素）と接続されている。そのため、垂直信号線毎に異なるノイズが発生すると、画素信号には列によって異なる大きさのノイズが重畳される。このノイズは撮影画像の水平方向の輝度や色のムラ（垂直方向の縞）として現れる。そのため、この画素信号におけるノイズは垂直方向のパターンノイズ（縞状ノイズ）と呼ばれる。
【００３７】
また、ＣＭＯＳイメージセンサでは、各画素の駆動電源及びＧＮＤ（アース）が共通化されている。そのため、ＣＭＯＳイメージセンサからの画素信号の読み出し中に駆動電源又はＧＮＤの電圧レベルが変動すると、読み出される画素信号のレベルが変動するという問題が生じる。ＣＭＯＳイメージセンサからの画素信号の読み出しは、通常、行毎に行われる。具体的には、ＣＭＯＳイメージセンサの左上の画素から１行ずつ左から右へ水平方向に移動しながら画素信号が読み出される。１行分の画素信号が読み出されると、垂直方向に１行下に移動し、再度水平方向に移動しながら画素信号の読み出しが行われる。そのため、画素信号の読み出し中に駆動電源又はＧＮＤの電圧レベルが変動すると、行間で画素信号のレベルに差が生じる。このレベルの差は撮影画像の垂直方向の輝度や色のムラ（水平方向の縞）として現れる。そのため、この画素信号におけるレベルの差は水平方向のパターンノイズ（縞状ノイズ）と呼ばれる。
【００３８】
なお、上述の垂直方向、水平方向の縞状ノイズはそれぞれ、行間、列間の画素信号のレベル差により、ノイズが縦縞、横縞、あるいは、縦方向のパターン、横方向のパターンとして現れやすいノイズのことである。ただし、縞状ノイズは、必ずしも縞やパターンとして視認されるわけではない。具体的には、縞状ノイズは、帯状に現れる場合がある。例えば、水平方向の縞状ノイズは、撮影画像の上半分の輝度のレベルと下半分の輝度のレベルに差として生じる場合がある。この場合、水平方向の縞状ノイズは、ヒトの目には縞としては視認されにくい。
【００３９】
また、縞状ノイズは、撮影画像全体のうち、特定の行（あるいは特定の列）のみに輝度や色のムラとして発生する場合がある。この場合、ヒトの目には縞状ノイズは、縞ではなく、線として視認される。
【００４０】
また、縞状ノイズの輝度や色のムラが表われる周期が短い（縞の間隔が狭い）場合や、輝度や色のムラが小さい場合（画素信号のレベルの変動する振幅が小さい場合）は、縞状ノイズは、ヒトの目には縞として視認されにくい。
【００４１】
また、垂直方向の縞状ノイズと水平方向の縞状ノイズとの両方が発生している場合、これらの縞状ノイズは、ヒトの目には縞状ではなく格子状のノイズとして視認される。
【００４２】
処理ステップＳ１０３では、まず、基準画素の各行について、基準画素信号の代表値（行代表値）が算出される。行代表値は、その行に含まれる基準画素の基準画素信号が反映される値であり、例えば、基準画素信号の平均値、積分値、中央値又は最頻値である。以下では、行代表値は平均値であるとして説明する。各行について平均値が算出されると、ｍ個の基準画素信号の平均値が得られる。次に、算出されたｍ個の平均値の標準偏差が算出される。基準画素は遮光されているため、基準画素信号には被写体からの光束に応じた成分は含まれておらず、ノイズ成分のみが含まれている。ノイズ成分には、縞状ノイズ成分に加えてランダムノイズ成分が含まれている。しかし、基準画素信号の平均値では、各基準画素信号のランダムノイズ成分が打ち消されるため、処理ステップＳ１０３で算出される標準偏差は、実質的に水平方向の縞状ノイズの量を表す評価値となる。なお、垂直方向の縞状ノイズは、各基準画素信号の平均値に同程度ずつ含まれるため、標準偏差の値には実質的に影響を与えない。また、縞状ノイズは有効画素信号と基準画素信号の両方に現れる。そのため、基準画素信号の縞状ノイズの評価値は、有効画素信号の縞状ノイズの量を表している。
【００４３】
図４（ａ）、図４（ｂ）は、本実施形態における縞状ノイズの評価値を説明するための図である。図４（ａ）及び図４（ｂ）の横軸は画素の行の番号を示しており、縦軸は行毎の基準画素信号の平均値を示している。縦軸の単位は、撮像素子１１２から出力される画素信号の最小単位ビット（ＬＳＢ）である。図４（ａ）は評価値が小さい場合、図４（ｂ）は評価値が大きい場合の基準画素信号の平均値を表している。なお、図４（ａ）及び図４（ｂ）では、説明の便宜上、１行目から３０１行目までの基準画素信号の平均値が示されている。図４（ａ）、図４（ｂ）に示されるように、評価値(平均値の標準偏差)が大きくなるほど、基準画素信号の平均値のバラつきが大きくなる。このバラつきが、撮像画像において、水平方向の縞状ノイズとして現れる。
【００４４】
処理ステップＳ１０４では、処理ステップＳ１０３で算出された評価値に基づいて、有効画素信号に施される信号処理が決定される。信号処理には、階調変換処理、ノイズ除去処理、エッジ強調処理等の画像処理が含まれる。また、画像処理エンジン１１６の所定の記憶領域には、予め複数の信号処理パラメータ（画像処理パラメータ）が記憶されている。処理ステップＳ１０４では、評価値に応じて信号処理パラメータが選択される。
【００４５】
表１は、本実施形態における縞状ノイズの評価値ａと選択される信号処理パラメータとの関係を説明するための表である。縞状ノイズの評価値ａには、複数の閾値（ａ１、ａ２、ａ３）が設けられている。表１に示されるように、算出された評価値ａと各閾値との関係に応じて、階調変換処理に使用されるパラメータ（設定１〜４）、ノイズ除去処理に用いられるパラメータ（設定Ｉ〜ＩＶ）及びエッジ強調処理に用いられるパラメータ（設定Ａ〜Ｄ）が選択される。
【表１】
2015231084.tif 000003
【００４６】
階調変換処理は、例えば、ガンマ補正処理やコントラスト調整処理である。以下では、評価値ａに基づいた階調変換処理に使用される信号処理パラメータ（階調変換パラメータ）の決定方法について説明する。図５は、本実施形態における階調変換処理における階調変換パラメータ（入出力特性）の例を示す図である。図５の横軸は階調変換処理前の有効画素信号の輝度値（入力値）、縦軸は階調変換処理後の有効画素信号の輝度値（出力値）を示している。また、入力値及び出力値の階調は何れも、８ｂｉｔ、２５６階調である。図５に示されるように、設定１の階調変換パラメータでは、入力値が小さいほど、入力値に対する出力値の比（増幅率）は大きく設定されている。また、図５に示される設定２の階調変換パラメータでは、設定１に比べて入力値に対する出力値の比は小さく設定されている。設定１と設定２の関係と同様に、階調変換パラメータの符番が大きくなるほど（設定１から設定４に向かうほど）、入力値に対する出力値の比は小さく設定されている。
【００４７】
評価値ａが大きい場合、縞状ノイズの量が多くなる。また、撮像面１３０の有効画素領域１３０Ａの内、被写体からの光束の光量が低い領域（暗い領域）では、有効画素信号に含まれる縞状ノイズ成分の割合が大きくなる。そのため、評価値ａが大きい場合に、設定１の階調変換パラメータを用いて階調変換処理が行われると、暗い領域において縞状ノイズの目立つ撮影画像が得られる虞がある。処理ステップＳ１０４では、縞状ノイズを抑えるため、評価値ａが大きく、例えば、ａ１≦ａ＜ａ２を満たす場合は、設定２の階調変換パラメータが選択される。これにより、有効画像信号に対して階調変換処理が施される際に、撮影画像に現れる縞状ノイズを抑えることができる。
【００４８】
エッジ強調処理は、例えば、ラプラシアンフィルタを用いたフィルタ処理である。表１に示されるエッジ強調処理に用いられる信号処理パラメータ（エッジ強調パラメータ）は、設定Ｉから設定ＩＶに向かうに従ってエッジ強調効果が弱くなるように設定されている。縞状ノイズの評価値ａが大きい場合、エッジ強調処理によって縞状ノイズが強調された撮影画像が得られる虞がある。そのため、処理ステップＳ１０４では、評価値ａが大きいほど、エッジ強調効果の弱いエッジ強調パラメータが選択される。
【００４９】
ノイズ除去処理は、例えば、ローパスフィルタ、メディアンフィルタ又はガウシアンフィルタを用いたフィルタ処理である。表１に示されるノイズ除去処理に用いられる信号処理パラメータ（ノイズ除去パラメータ）は、設定Ａから設定Ｄに向かうに従ってノイズ除去効果が強くなるように設定されている。縞状ノイズの評価値ａが大きいほど、撮影画像において縞状ノイズが目立ちやすくなる。そのため、処理ステップＳ１０４では、評価値ａが大きいほど、ノイズ除去効果の強いノイズ除去パラメータが選択される。
【００５０】
なお、画像処理エンジン１１６は、処理ステップＳ１０４において、信号処理パラメータを選択すると共に、画素信号に対して施す信号処理の種類を選択してもよい。具体的には、縞状ノイズの評価値が小さい場合、撮影画像に現れる縞状ノイズは目立ちにくい。そのため、画像処理エンジン１１６は、評価値が小さい場合は、有効画素信号に施す信号処理としてノイズ除去処理を選択せず、階調変換処理とエッジ強調処理を選択する。また、縞状ノイズの評価値が大きい場合、有効画素信号にエッジ強調処理を施すと、縞状ノイズが強調される虞がある。そのため、画像処理エンジン１１６は、評価値が大きい場合は、有効画素信号に施す信号処理としてエッジ強調処理は選択せず、階調変換処理とノイズ除去処理を選択する。
【００５１】
処理ステップＳ１０５では、画像処理エンジン１１６は、処理ステップＳ１０４で決定された信号処理方法（信号処理パラメータ）に基づいて有効画素信号に対して信号処理（階調変換処理、エッジ強調処理、ノイズ除去処理）を施す。また、画像処理エンジン１１６は、信号処理が施された有効画素信号に対してマトリクス演算処理やＹ／Ｃ分離処理等の所定の信号処理、並びに、圧縮処理又は映像信号への変換処理等を施す。
【００５２】
このように本実施形態では、画素信号に対して施される信号処理の信号処理方法（信号処理パラメータ）は、縞状ノイズの評価値に基づいて決定される。縞状ノイズの評価値は、各行の基準画素信号の平均値のバラつき（標準偏差）に基づいて算出される。そのため、従来技術のように、基準画素の行毎又は列毎に信号処理パラメータが算出される場合と比較して、信号処理パラメータを算出するために使用される基準画素信号の数が多いため、撮影画像に現れる縞状ノイズの除去（又は抑制）に適した信号処理パラメータを精度良く決定することができる。
【００５３】
また、従来技術では、行毎に有効画素信号が補正されている。そのため、行間で補正量の精度にバラつきがある場合、補正量が不足する行と補正量が過剰な行が発生し、縞状ノイズが残留するという問題があった。これに対し、本実施形態では、有効画素領域１３０Ａ全体の信号処理に使用される信号処理パラメータが決定される。そのため、本実施形態では、行間で補正量の精度（ノイズ除去効果）にバラつきが生じることが抑えられ、縞状ノイズが残留することを抑えることができる。
【００５４】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【００５５】
（第１の変形例）
図６は、本実施形態の第１の変形例における画像処理エンジン１１６による信号処理のフローチャートを示す。図６に示される処理ステップのうち、図２に示される処理ステップについては、便宜上その説明を省略する。具体的には、図６の処理ステップＳ２０１〜Ｓ２０３、Ｓ２０６はそれぞれ、図２の処理ステップＳ１０１〜Ｓ１０３、Ｓ１０５と同じである。そのため、これらの処理ステップ（Ｓ２０１〜Ｓ２０３、Ｓ２０６）の説明は省略する。
【００５６】
処理ステップＳ２０４では、有効画素信号の輝度情報が算出される。具体的には、処理ステップＳ２０４では、各有効画素信号の輝度値（画素値）に基づいて輝度値毎の出現頻度が算出される。算出された出現頻度の内、比較的頻度の高い輝度値が輝度情報となる。
【００５７】
図７は、本実施形態における有効画素信号の輝度値毎の出現頻度を表すヒストグラムの例である。図７の横軸は有効画素信号の輝度値（８ｂｉｔ、２５６階調）、縦軸は有効画素信号の出現頻度を示している。図７に示される例では、輝度値が約８０〜１６０の有効画素信号の出現頻度が比較的高いため、輝度値８０〜１６０が輝度情報となる。
【００５８】
処理ステップＳ２０５では、処理ステップＳ２０３で算出された縞状ノイズの評価値及び処理ステップＳ２０４で算出された輝度情報に基づいて、有効画素信号に施される信号処理方法が決定される。具体的には、まず、処理ステップＳ１０４と同様に、予め所定の記憶領域記憶されている複数の信号処理パラメータの中から、評価値に応じた信号処理パラメータが選択される。
【００５９】
次いで、輝度情報に基づいて選択された信号処理パラメータが修正される。図７に示される例では、輝度情報（頻度の高い輝度値）は８０〜１６０である。ここで、縞状ノイズは、輝度値によらず全ての有効画素信号に発生している。そのため、階調変換処理において、出現頻度の高い輝度値（ここでは、輝度値８０〜１６０）の有効画素信号に対する増幅率（入力値に対する出力値の比）が高い場合、階調変換処理によって多くの縞状ノイズも同時に増幅される。これにより、階調変換処理によって縞状ノイズの目立つ撮影画像が得られる虞がある。処理ステップＳ２０５では、階調変換処理によって縞状ノイズが増幅されないように、階調変換パラメータ（入出力特性）が修正される。
【００６０】
図８は、本実施形態における処理ステップＳ２０５で修正される前の階調処理パラメータ（設定１Ａ）及び輝度情報（８０〜１６０）に基づいて修正された後の階調処理パラメータ（設定１Ｂ）を示す図である。図８の横軸は階調変換処理前の有効画素信号の輝度値（入力値）、縦軸は階調変換処理後の有効画素信号の輝度値（出力値）を示している。また、入力値及び出力値の階調は何れも、８ｂｉｔ、２５６階調である。図８に示される設定１Ｂの階調変換パラメータは、設定１Ａの階調変換パラメータに比べて、入力値が８０〜１６０の場合を中心に、入力値に対する出力値の比が下げられている。そのため、輝度情報が８０〜１６０である場合、修正された後の階調変換パラメータ（設定１Ｂ）を使用して階調変換処理を行うことにより、輝度８０〜１６０の縞状ノイズが増幅されることが抑えられ、撮影画像に現れる縞状ノイズを抑えることができる。
【００６１】
なお、処理ステップＳ２０５では、評価値に応じて選択された階調変換パラメータが、輝度情報に基づいて修正されるが、本変形例はこれに限定されない。例えば、画像処理エンジン１１６は、所定の記憶領域に、評価値及び輝度情報に応じた複数の階調変換パラメータを予め記憶していてもよい。この場合、処理ステップＳ２０５では、予め記憶されている複数の階調変換パラメータの中から、評価値及び輝度情報に応じて一つの信号処理パラメータが選択される。
【００６２】
（第２の変形例）
図９は、本実施形態の第２の変形例における画像処理エンジン１１６による信号処理のフローチャートを示す。図９に示される処理ステップのうち、図２に示される処理ステップについては、便宜上その説明を省略する。具体的には、図９の処理ステップＳ３０１〜Ｓ３０３、Ｓ３０６はそれぞれ、図２の処理ステップＳ１０１〜Ｓ１０３、Ｓ１０５と同じである。そのため、これらの処理ステップ（Ｓ３０１〜Ｓ３０３、Ｓ３０６）の説明は省略する。
【００６３】
処理ステップＳ３０４では、有効画素信号の空間周波数情報が算出される。空間周波数情報は、例えば、有効画素信号をフーリエ変換することによって求められる。
【００６４】
処理ステップＳ３０５では、処理ステップＳ３０３で算出された縞状ノイズの評価値及び処理ステップＳ３０４で算出された空間周波数情報に基づいて、有効画素信号に対して施される信号処理方法が決定される。具体的には、まず、処理ステップＳ１０４と同様に、予め所定の記憶領域記憶されている複数の信号処理パラメータの中から、評価値に応じて信号処理パラメータが選択される。
【００６５】
次いで、空間周波数情報に基づいて信号処理パラメータが修正される。例えば、有効画素信号に含まれる高い空間周波数成分が比較的多い場合、撮影画像において縞状ノイズは高い周波数成分の画像信号に埋もれて目立ちにくくなる。この場合、信号処理パラメータ（エッジ強調パラメータ、ノイズ除去パラメータ）は、評価値に応じて選択されたものよりも、エッジ強調効果が強く、ノイズ除去効果が弱いものに変更される。一方、有効画素信号に含まれる高い空間周波数成分が比較的少ない場合、撮影画像において縞状ノイズが目立ちやすくなる。そのため、縞状ノイズを抑えるために、信号処理パラメータ（エッジ強調パラメータ、ノイズ除去パラメータ）は、評価値に応じて選択されたものよりも、エッジ強調効果が弱く、ノイズ除去効果が強いものに変更される。
【００６６】
（その他の変形例）
本実施形態では、各行の基準画素信号の代表値（行代表値）の標準偏差を縞状ノイズの評価値としているが、本発明はこれに限定されない。評価値は、行代表値のバラつきを表すものであればよく、例えば、行代表値の分散、ＲＭＳ（二乗平均平方根）値、平均偏差、四分位数範囲、最小値と最大値の差等であってもよい。
【００６７】
本実施形態では、各行の基準画素信号の代表値（行代表値）の標準偏差を縞状ノイズの評価値としているが、本発明はこれに限定されない。例えば、縞状ノイズの評価値として、各列の基準画素信号の代表値（列代表値）の標準偏差を用いてもよい。また、縞状ノイズの評価値を、行代表値の標準偏差と列代表値の標準偏差との両方に基づいて決定してもよい。
【００６８】
本実施形態では、表１に示されるように、評価値ａが閾値（ａ１、ａ２、ａ３）を跨ぐ毎に、異なる信号処理パラメータが設定されるが、本発明はこれに限定されない。信号処理パラメータの種類（階調変換パラメータ、エッジ強調パラメータ、ノイズ除去パラメータ）によって、評価値ａに異なる閾値が設定されていてもよい。また、評価値によって変化しない信号処理パラメータがあってもよい。
【００６９】
本実施形態では、階調変換パラメータ、エッジ強調パラメータ及びノイズ除去パラメータが評価値に応じて選択されるが、本発明はこれに限定されない。例えば、マトリクス演算処理やホワイトバランス調整処理に使用されるパラメータが、評価値に基づいて決定されてもよい。
【００７０】
本実施形態では、信号処理パラメータは、予め所定の記憶領域に記憶されているが、本発明はこれに限定されない。例えば、信号処理パラメータは、評価値に基づいて算出されてもよい。
【００７１】
本実施形態では、評価値に基づいて信号処理パラメータが選択されるが、本発明はこれに限定されない。ノイズ除去処理を例にとって説明すると、ノイズ除去処理がローパスフィルタを用いたフィルタ処理である場合、評価値に基づいてローパスフィルタを用いたフィルタ処理で使用されるパラメータが変更されてもよい。あるいは、ノイズ除去処理では、評価値に基づいて、ローパスフィルタ、メディアンフィルタ及びガウシアンフィルタの中から、フィルタ処理に使用されるフィルタが選択されても良い。このように、本発明では、評価値に基づいて、信号処理パラメータだけでなく、信号処理方法が変更されても良い。
【００７２】
本実施形態では、輝度情報および／または空間周波数情報に基づいて信号処理パラメータが修正されるが、本発明はこれに限定されない。例えば、輝度情報および／または空間周波数情報に基づいて信号処理方法が修正（変更）されてもよい。
【００７３】
本実施形態では、図３に示されるように、基準画素領域１３０Ｂは、有効画素領域１３０Ａの左側及び上側に設けられているが、本発明はこれに限定されない。例えば、基準画素領域１３０Ｂは、有効画素領域１３０Ａの上下左右の何れか一方の側にのみ設けられていてもよく、有効画素領域１３０Ａを囲うように上下左右に設けられていてもよい。
【符号の説明】
【００７４】
１  撮影装置
１００  ＣＰＵ
１０２  操作部
１０４  絞り・シャッタ駆動回路
１０６  撮影レンズ
１０８  絞り
１１０  シャッタ
１１２  撮像素子
１１４  信号処理回路
１１６  画像処理エンジン
１１８  バッファメモリ
１２０  カード用インタフェース
１２２  ＬＣＤ制御回路
１２４  ＬＣＤ
１２６  ＲＯＭ
１３０  撮像面
１３０Ａ  有効画素領域
１３０Ｂ  基準画素領域
２００  メモリカード
【図１】
2015231084.tif 000004
【図２】
2015231084.tif 000005
【図３】
2015231084.tif 000006
【図４】
2015231084.tif 000007
【図５】
2015231084.tif 000008
【図６】
2015231084.tif 000009
【図７】
2015231084.tif 000010
【図８】
2015231084.tif 000011
【図９】
2015231084.tif 000012