(57)【要約】【課題】画像内における信号対雑音比のムラを低減することができる画像処理装置、撮像装置及び画像処理プログラムを提供する。【解決手段】画像処理装置は、画像データを取得し、互いに隣接する複数の画素を含む対象領域毎に、当該対象領域に含まれる画素の輝度に応じて加算対象とする画素を選択し、当該選択した画素について画素値の加算平均を算出する画像処理部１４０を備える。【選択図】図１
2013207630.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得し、互いに隣接する複数の画素を含む対象領域毎に、当該対象領域に含まれる画素の輝度に応じて加算対象とする画素を選択し、当該選択した画素について画素値の加算平均を算出する画像処理部
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記対象領域に含まれる画素の輝度に応じて、異なる大きさの範囲の前記加算対象を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記対象領域に含まれる各画素の輝度が予め定められた第１閾値以下であるか否かを判定し、前記第１閾値以下であると判定した画素の画素値に基づいて、加算平均することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記画像データに対して、信号対雑音比が低い環境で撮影された画像であることを示す信号対雑音比情報が付与されているか否かを判定し、前記信号対雑音比情報が付与されていると判定した場合、前記信号対雑音比情報が付与されていないと判定した場合に決定する対象領域の範囲よりも狭い範囲を対象領域と決定し、該決定した対象領域に含まれる画素に基づき加算平均することを特徴とする請求項１から３のうちいずれか一項に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記対象領域に含まれる複数の画素のうち予め定められた位置の基準画素の輝度が、予め定められている第２閾値以下であるか否かを判定し、前記第２閾値未満であると判定した場合、前記第２閾値以上であると判定した場合に決定する対象領域の範囲よりも狭い範囲を対象領域と決定し、該決定した対象領域に含まれる画素に基づき加算平均することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
被写体を撮像して撮像画像の画像データを出力する撮像部と、
請求項１から請求項５のいずれか一項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項７】
コンピュータに、
画像データを取得し、互いに隣接する複数の画素を含む対象領域毎に、当該対象領域に含まれる画素の輝度に応じて加算対象とする画素を選択し、当該選択した画素について画素値の加算平均を算出する手順
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
例えば、外光が少ない場所（暗所）で撮像した場合、光量が十分でないため、画質の良い画像が得られない場合がある。このため、暗所で撮像した画像の画質を向上させるため、同色の複数の画素からの出力信号を加算して各画素の出力信号を取得し、撮像画像の感度を向上させるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４１８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、明部と暗部が画像に混在している場合、複数の画素の出力信号を加算し、各画素の出力信号を取得して画像を生成した場合、暗部における信号対雑音比（Ｓｉｇｎａｌ−Ｎｏｉｓｅ Ｒａｔｉｏ，ＳＮＲ）が低下してしまうという問題がある。これにより、明部と暗部における信号対雑音比のばらつきが生じることで、画像内に信号対雑音比のムラが生じてしまうという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、画像内における信号対雑音比のムラを低減することができる画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、画像データを取得し、互いに隣接する複数の画素を含む対象領域毎に、当該対象領域に含まれる画素の輝度に応じて加算対象とする画素を選択し、当該選択した画素について画素値の加算平均を算出する画像処理部を備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、被写体を撮像して撮像画像の画像データを出力する撮像部と、画像処理装置と、を備えることを特徴とする撮像装置である。
【０００８】
また、本発明は、コンピュータに、画像データを取得し、互いに隣接する複数の画素を含む対象領域毎に、当該対象領域に含まれる画素の輝度に応じて加算対象とする画素を選択し、当該選択した画素について画素値の加算平均を算出する手順を実行させるための画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、画像処理装置は、画像内における信号対雑音比のムラを低減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態における、撮像装置の一例を示す図である。
【図２】本発明の第１実施形態における、画像処理フローの一例を示すフローチャートである。
【図３】本発明の第１実施形態における、隣接画素領域Ｒの一例を説明するための図である。
【図４】本発明の第２実施形態における、画像処理フローの一例を示すフローチャートである。
【図５】本発明の第２実施形態における、縮小隣接画素領域ＲＳの一例を説明するための図である。
【図６】本発明の第２実施形態における、拡大隣接画素領域ＲＬの一例を説明するための図である。
【図７】本発明の第３実施形態における、画像処理フローの一例を示すフローチャートである。
【図８】本発明の第３実施形態における、基準輝度判定対象Ｏの一例を説明するための図である。
【図９】本発明の第３実施形態における、暗部隣接画素領域Ｒｄの一例を説明するための図である。
【図１０】本発明の第３実施形態における、明部隣接画素領域Ｒｌの一例を説明するための図である。
【図１１】本発明の第３実施形態における、明部隣接画素領域Ｒｌの他の例を説明するための図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
本発明の一実施形態について図面を参照して詳細に説明する。図１には、レンズ鏡筒１１１と、撮像装置１００と、記憶媒体２００との構成が、ブロック図により表されている。撮像装置１００は、レンズ鏡筒１１１から入射される光学像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。
【００１２】
まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。
【００１３】
ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、光学像を導く。
【００１４】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
【００１５】
鏡筒制御部１１８は、撮像装置１００のＣＰＵ１９０から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。
【００１６】
また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、ＣＰＵ１９０に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。
【００１７】
レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。
【００１８】
次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０とを備える。
【００１９】
撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。
【００２０】
撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。
【００２１】
また、撮像素子１１９は、操作部１８０を介してユーザからの撮像指示を受け付けた際に得られる画像（以下、「撮像画像」という）を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像（以下、「スルー画像」という）を、Ａ／Ｄ変換部１２０を介して、バッファメモリ部１３０及び表示部１５０に出力する。なお、撮像画像は、スルー画像よりも解像度が高い画像である。
【００２２】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像（各画素値）を、バッファメモリ部１３０に出力する。
【００２３】
操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、受け付けた操作入力に応じた信号をＣＰＵ１９０に出力する。
【００２４】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件に基づいて、バッファメモリ部１３０に記憶されている撮像画像を画像処理する。画像処理された撮像画像は、通信部１７０を介して記憶媒体２００に記憶される。
【００２５】
また、画像処理部１４０は、バッファメモリ部１３０に記憶されている撮像画像（各画素値）を取得し、互いに隣接する複数の画素からなる隣接画素領域毎に、隣接画素領域に含まれる各画素の輝度に応じて加算対象とする画素を選択し、選択した画素について画素値の加算平均を算出する。
【００２６】
すなわち、この画像処理部１４０は、隣接画素領域に含まれる画素の輝度に応じて、異なる範囲の加算対象を選択する。例えば、画像処理部１４０は、隣接画像領域に含まれる各画素の輝度と、閾値Ｔｈ１とを比較して、輝度が閾値Ｔｈ１以下となる画素（以下、「低輝度画素ＰＬ」という）を、加算対象として選択する。なお、閾値Ｔｈ１は、ノイズが重畳されている（信号対雑音比が小さい）可能性の高い画像領域であって、信号対雑音比（ＳＮＲ）の改善処理が必要な暗部の画像領域の範囲を規定するために、適する値に定められるものとする。本実施形態において、閾値Ｔｈ１は、画像内の明るさに基づき、暗所の被写体を規定するために予め定められる値である。
【００２７】
なお、隣接画素領域は、予め定められている範囲であってもよく、撮像画像の信号対雑音比や輝度に応じて、異なる大きさの範囲であってもよい。本実施形態では、隣接画素領域が予め定められている例について以下説明する。このように、隣接画素領域が予め定められている設定モードを、以下、「基本判定モード」という。
【００２８】
また、本発明は、この設定モードに限られず、例えば、以下のような設定モードを利用することができる。例えば、隣接画素領域の大きさが撮像画像の信号対雑音比に応じて異なる設定モード（以下、「ＳＮＲ加算領域判定モード」という）を、利用することができる。この一例については、第２実施形態において説明する。また、隣接画素領域の大きさが撮像画像の輝度に応じて異なる設定モード（以下、「基準輝度加算領域判定モード」という）を、利用することができる。この一例については、第３実施形態において説明する。
【００２９】
表示部１５０は、撮像部１１０によって得られた撮像画像、及び操作画面等を表示する。表示部１５０は、例えば、液晶ディスプレイである。
【００３０】
バッファメモリ部１３０は、撮像部１１０によって撮像された撮像画像（各画素値）を記憶する。
【００３１】
記憶部１６０は、シーン判定の際にＣＰＵ１９０によって参照される判定条件と、シーン判定によって判断されたシーン毎に対応付けられた撮像条件と、被写体領域を示す情報等とを記憶する。なお、シーン判定の判定条件としては、例えば、光量が少ないため夜景等を撮像するシーン（夜景シーン）であることを判定するための条件が設定されている。
【００３２】
ＣＰＵ１９０は、設定された撮像条件（例えば、絞り値、露出値）に従って、撮像部１１０を制御する。このＣＰＵ１９０は、例えば、判定されるシーンに応じた撮像条件に従って撮像部１１０を制御し、撮像した撮像画像に対して判定されたシーンを示す属性情報を付与する。
また、ＣＰＵ１９０は、レンズ鏡筒１１１の鏡筒制御部１１８に駆動制御信号を出力することで、画像から抽出された被写体領域に合焦させるよう焦点を調節する。
【００３３】
また、ＣＰＵ１９０は、画像処理のプレ処理又はポスト処理として、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像（オブジェクト）の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。
【００３４】
また、ＣＰＵ１９０は、トーンカーブ（階調カーブ）の設定、静止画及び動画の同時撮影を実行するか否かの設定などを制御する。
【００３５】
また、ＣＰＵ１９０は、プレ処理又はポスト処理として、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置１００の発光部（不図示）が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。
【００３６】
また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画形式又は動画形式の画像を、画像処理部１４０に画像処理させる。
【００３７】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ、領域を示す情報など）の書込み、読み出し、あるいは消去を行う。
【００３８】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データ、領域を示す情報など）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。
【００３９】
次に、図２及び図３を参照して、本実施形態に係る画像処理の一例について説明する。図２は、本実施形態に係る画像処理フローの一例を示すフローチャートである。なお、本実施形態に係る画像処理は、基本判定モードが設定されている場合に実行される処理である。
【００４０】
基本判定モードでは、隣接画素領域Ｒｉとして、基準となる中心の画素とこれに隣接する８個の画素との計９個の画素からなる領域が予め定められている。この隣接画素領域Ｒｉの一例について、図３を参照して説明する。図３は、本実施形態に係る隣接画素領域Ｒｉの一例を説明するための図である。
【００４１】
図３に示す通り、撮像画像は、複数の画素Ｐ１０１、Ｐ１０２・・・によって構成されている。図３には、隣接画素領域Ｒ１〜Ｒ４を示す。
隣接画素領域Ｒ１は、画素Ｐ１０１、Ｐ１０２、Ｐ１０３、Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ３０１、Ｐ３０２、Ｐ３０３から構成される。隣接画素領域Ｒ２は、画素Ｐ１０４、Ｐ１０５、Ｐ１０６、Ｐ２０４、Ｐ２０５、Ｐ２０６、Ｐ３０４、Ｐ３０５、Ｐ３０６から構成される。隣接画素領域Ｒ３は、画素Ｐ４０１、Ｐ４０２、Ｐ４０３、Ｐ５０１、Ｐ５０２、Ｐ５０３、Ｐ６０１、Ｐ６０２、Ｐ６０３から構成される。また、隣接画素領域Ｒ４は、画素Ｐ４０４、Ｐ４０５、Ｐ４０６、Ｐ５０４、Ｐ５０５、Ｐ５０６、Ｐ６０４、Ｐ６０５、Ｐ６０６から構成される。なお、図３において、輝度が閾値Ｔｈ１未満の低輝度画素は、背景を灰色で文字を白抜きで表わす。
【００４２】
（ステップＳＴ１）
画像処理部１４０は、隣接画素領域Ｒｉごとに、各画素の輝度を検出する。
はじめに、画像処理部１４０は、隣接画素領域Ｒ１に含まれる画素Ｐ１０１、Ｐ１０２、Ｐ１０３、Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ３０１、Ｐ３０２、Ｐ３０３の輝度を検出する。
【００４３】
（ステップＳＴ２）
次いで、画像処理部１４０は、隣接画素領域Ｒ１に含まれる画素のうち、輝度が閾値Ｔｈ１未満である画素が少なくとも１つあるか否かを判定する。本実施形態において、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３の輝度が閾値Ｔｈ１未満であると判定する。よって、画像処理部１４０は、閾値Ｔｈ１未満の画素が少なくとも１つあると判定する。
【００４４】
（ステップＳＴ３）
そして、画像処理部１４０は、輝度が閾値Ｔｈ１以下である画素Ｐ２０３、Ｐ３０３を低輝度画素ＰＬ１として選択する。つまり、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３を加算平均の加算対象として選択する。
【００４５】
（ステップＳＴ４）
次いで、画像処理部１４０は、低輝度画素ＰＬ１として選択した画素の数をカウントする。本実施形態において、低輝度画素ＰＬ１の画素数は、“２”である。
【００４６】
（ステップＳＴ５）
そして、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３の加算平均を算出する。つまり、画像処理部１４０は、画素Ｐ２０３の画素値と、画素Ｐ３０３の画素値を加算した和を、低輝度画素ＰＬ１の画素数は、“２”で除算する。なお、この演算式を以下に示す。
【００４７】
加算平均＝低輝度画素ＰＬｉの画素値の総和／低輝度画素ＰＬｉの画素数
【００４８】
（ステップＳＴ６）
次いで、画像処理部１４０は、全ての隣接画素領域に対して加算平均の算出の有無を判定したか否かを判定する。画像処理部１４０は、加算平均を算出していない隣接画素領域があった場合、当該隣接画素領域について、ステップＳＴ１に戻って処理を続ける。
【００４９】
これにより、画像処理部１４０は、例えば、図３に示したような隣接画素領域Ｒ１〜Ｒ４については、各低輝度画素ＰＬ１〜ＰＬ４のそれぞれの加算平均を算出する。つまり、輝度が閾値Ｔｈ１以上の画素の画素値は、加算平均に用いられない。
【００５０】
以上のように、画像処理部１４０は、輝度が低い低輝度画素ＰＬを選択し、隣接画素領域ごとに低輝度画素ＰＬの画素値の加算平均を算出する。つまり、輝度が閾値Ｔｈ１以上である明部については加算平均することなく、輝度が閾値Ｔｈ１未満である暗部についてのみ加算平均することができる。これにより、暗部の画像領域に対してのみノイズ低減処理を実行することができる。また、画像内に明部と暗部が混在している場合であっても、暗部の信号対雑音比の低下を防止し、明部と暗部における信号対雑音比のばらつき、つまり、画像内の信号対雑音比のムラを低減させることができる。
【００５１】
［第２実施形態］
次に、図４〜図６を参照して、本実施形態に係る画像処理の一例について説明する。図４は、本実施形態に係る画像処理フローの一例を示すフローチャートである。なお、本実施形態に係る画像処理は、ＳＮＲ加算領域判定モードが設定されている場合に実行される処理である。このＳＮＲ加算領域判定モードは、信号対雑音比が低い画像ほど、加算対象の領域を広く設定し、信号対雑音比が高い画像ほど、加算対象の領域を狭く設定する設定モードである。
【００５２】
なお、本実施形態において、信号対雑音比が高い領域（例えば、フラッシュ光が届く範囲）と低い領域（例えば、フラッシュ光が届かない範囲）とが画像に含まれる場合の一例として、シーン判定において夜景シーンが判定され、夜景を撮像する撮像モード（以下、「夜景モード」という）が設定された状態で撮影された画像について、以下に説明する。なお、信号対雑音比が高い領域と低い領域とが画像に含まれる場合については、これに限らなくてもよい。
【００５３】
（ステップＳＴ１１）
図４に示す通り、ＳＮＲ加算領域判定モードでは、画像処理部１４０が、撮像画像が撮像された際に夜景モードが設定されていたか否かを判定する。例えば、画像処理部１４０は、撮像画像に関連づけられている属性情報に基づき、夜景モードが設定されていたことを示す情報が含まれているか否かを判定する。
【００５４】
（ステップＳＴ１２）
夜景モードが設定されていないと判定された場合、画像処理部１４０は、信号対雑音比が低いときの隣接画素領域として予め定められている縮小隣接画素領域ＲＳｍを、隣接画素領域の範囲として設定する。この縮小隣接画素領域ＲＳｍの一例について、図５を参照して説明する。図５は、本実施形態に係る縮小隣接画素領域ＲＳｍの一例を説明するための図である。
【００５５】
図５に示す縮小隣接画素領域ＲＳ１は、基準となる中心の画素Ｒ２０２と、この画素Ｒ２０２に隣接する８つの画素Ｐ１０１、Ｐ１０２、Ｐ１０３、Ｐ２０１、Ｐ２０３、Ｐ３０１、Ｐ３０２、Ｐ３０３の９個の画素から構成される。なお、図５において、輝度が閾値Ｔｈ１未満である低輝度画素は、背景を灰色で、文字を白抜きで表わされている。
【００５６】
（ステップＳＴ１３）
そして、画像処理部１４０は、縮小隣接画素領域ＲＳ１に含まれる画素Ｐ１０１、Ｐ１０２、Ｐ１０３、Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ３０１、Ｐ３０２、Ｐ３０３の輝度を検出する。
【００５７】
（ステップＳＴ１４）
次いで、画像処理部１４０は、縮小隣接画素領域ＲＳ１に含まれる画素のうち、輝度が閾値Ｔｈ１未満である画素が少なくとも１つあるか否かを判定する。本実施形態において、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３の輝度が閾値Ｔｈ１未満であると判定する。よって、画像処理部１４０は、閾値Ｔｈ１未満の画素が少なくとも１つあると判定する。
（ステップＳＴ１５）
そして、画像処理部１４０は、輝度が閾値Ｔｈ１未満である画素Ｐ２０３、Ｐ３０３を低輝度画素ＰＬ１１として選択する。つまり、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３を加算平均の加算対象として選択する。
【００５８】
（ステップＳＴ１６）
次いで、画像処理部１４０は、低輝度画素ＰＬ１１として選択した画素の数をカウントする。本実施形態において、低輝度画素ＰＬ１１の画素数は、“２”である。
【００５９】
（ステップＳＴ１７）
そして、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３の加算平均を算出する。つまり、画像処理部１４０は、画素Ｐ２０３の画素値と、画素Ｐ３０３の画素値を加算した和を、低輝度画素ＰＬ１１の画素数の“２”で除算する。
【００６０】
（ステップＳＴ１８）
次いで、画像処理部１４０は、全ての縮小隣接画素領域ＲＳｍに対する加算平均の算出の有無を判定したか否かを判定する。画像処理部１４０は、加算平均の有無を判定していない縮小隣接画素領域ＲＳｍがあった場合、当該縮小隣接画素領域ＲＳｍについて、ステップＳＴ１２に戻って処理を続ける。
【００６１】
（ステップＳＴ１９）
一方、ステップＳＴ１１において、夜景モードが設定されていると判定された場合、画像処理部１４０は、信号対雑音比が高いときの隣接画素領域として予め定められている拡大隣接画素領域ＲＬｎを、隣接画素領域の範囲として設定する。この拡大隣接画素領域ＲＬｎの一例について、図６を参照して説明する。図６は、本実施形態に係る拡大隣接画素領域ＲＬｎの一例を説明するための図である。
【００６２】
図６に示す拡大隣接画素領域ＲＬ１は、基準となる中心の画素Ｒ３０３と、この画素Ｒ３０３に隣接する８つの画素Ｐ２０２、Ｐ２０３、Ｐ２０４、Ｐ３０２、Ｐ３０４、Ｐ４０２、Ｐ４０３、Ｐ４０４と、これら隣接する８つの画素に隣接する画素１０１、Ｐ１０２、Ｐ１０３、Ｐ１０４、Ｐ１０５、Ｐ２０１、Ｐ２０５、Ｐ３０１、Ｐ３０５、Ｐ４０１、Ｐ４０５、Ｐ５０１、Ｐ５０２、Ｐ５０３、Ｐ５０４、Ｐ５０５の２５個の画素から構成される。なお、図６において、輝度が閾値Ｔｈ１未満である低輝度画素は、背景を灰色で文字を白抜きで表わす。
【００６３】
（ステップＳＴ２０）
そして、画像処理部１４０は、拡大隣接画素領域ＲＬ１に含まれる画素Ｐ１０１〜Ｐ１０５、Ｐ２０１〜Ｐ２０５、Ｐ３０１〜Ｐ３０５、Ｐ４０１〜Ｐ４０５、Ｐ５０１〜Ｐ５０５の輝度を検出する。
【００６４】
（ステップＳＴ２１）
次いで、画像処理部１４０は、拡大隣接画素領域ＲＬ１に含まれる画素のうち、輝度が閾値Ｔｈ１未満である画素が少なくとも１つあるか否かを判定する。本実施形態において、画像処理部１４０は、画素Ｐ２０３〜Ｐ２０５、Ｐ３０３〜Ｐ３０５、Ｐ４０３〜Ｐ４０５、Ｐ５０３〜Ｐ５０５の輝度が閾値Ｔｈ１未満であると判定する。よって、画像処理部１４０は、閾値Ｔｈ１未満の画素が少なくとも１つあると判定する。
【００６５】
（ステップＳＴ２２）
そして、画像処理部１４０は、輝度が閾値Ｔｈ１未満である画素Ｐ２０３〜Ｐ２０５、Ｐ３０３〜Ｐ３０５、Ｐ４０３〜Ｐ４０５、Ｐ５０３〜Ｐ５０５を低輝度画素ＰＬ２１として選択する。つまり、画像処理部１４０は、画素Ｐ２０３〜Ｐ２０５、Ｐ３０３〜Ｐ３０５、Ｐ４０３〜Ｐ４０５、Ｐ５０３〜Ｐ５０５を加算平均の加算対象として選択する。
【００６６】
（ステップＳＴ２３）
次いで、画像処理部１４０は、低輝度画素ＰＬ２１として選択した画素の数をカウントする。本実施形態において、低輝度画素ＰＬ２１の画素数は、“１２”である。
【００６７】
（ステップＳＴ２４）
そして、画像処理部１４０は、画素Ｐ２０３〜Ｐ２０５、Ｐ３０３〜Ｐ３０５、Ｐ４０３〜Ｐ４０５、Ｐ５０３〜Ｐ５０５の加算平均を算出する。つまり、画像処理部１４０は、画素Ｐ２０３〜Ｐ２０５、Ｐ３０３〜Ｐ３０５、Ｐ４０３〜Ｐ４０５、Ｐ５０３〜Ｐ５０５のそれぞれの画素値をすべて加算した和を、低輝度画素ＰＬ２１の画素数“１２”で除算する。
【００６８】
（ステップＳＴ２５）
次いで、画像処理部１４０は、全ての拡大隣接画素領域ＲＬｎに対して加算平均の算出の有無を判定したか否かを判定する。画像処理部１４０は、加算平均の算出の有無を判定していない拡大隣接画素領域ＲＬｎがあった場合、当該拡大隣接画素領域ＲＬｎについて、ステップＳＴ２０に戻って処理を続ける。
【００６９】
以上のように、画像処理部１４０は、全体として信号対雑音比が低い画像（夜景モードにおいて撮像された画像）について、より大きい隣接画素領域として予め定められている拡大隣接画素領域ＲＬｎに基づき、低輝度画素ＰＬを選択して加算平均をする。一方、全体として信号対雑音比が高い画像（夜景モードにおいて撮像されていない画像）について、より小さい隣接画素領域として予め定められている縮小隣接画素領域ＲＳｍに基づき、低輝度画素ＰＬを選択して加算平均をする。このように、信号対雑音比が低い画像ほど、広い範囲で加算平均することにより、画像内の信号対雑音比を向上させることができる。
【００７０】
［第３実施形態］
次に、図７〜図１１を参照して、本実施形態に係る画像処理の一例について説明する。図７は、本実施形態に係る画像処理フローの一例を示すフローチャートである。なお、本実施形態に係る画像処理は、基準輝度加算領域判定モードが設定されている場合に実行される処理である。なお、図８〜図１１において、輝度が閾値Ｔｈ１未満である低輝度画素は、背景を灰色で、文字を白抜きで表わされている。
【００７１】
（ステップＳＴ３１）
図７に示す通り、基準輝度加算領域判定モードでは、画像処理部１４０が、基準輝度判定対象Ｏｊごとに、予め定められている基準画素の輝度を検出し、この基準画素の輝度が予め定められた閾値Ｔｈ２未満であるか否かを判定する。この基準輝度判定対象Ｏｊの一例について図８を参照して説明する。図８は、本実施形態に係る基準輝度判定対象Ｏｊの一例を説明するための図である。
【００７２】
図８に示す通り、基準輝度判定対象Ｏｊは、画素Ｐ１０１〜Ｐ１０６、Ｐ２０１〜Ｐ２０６、Ｐ３０１〜Ｐ３０６、Ｐ４０１〜Ｐ４０６、Ｐ５０１〜Ｐ５０６、Ｐ６０１〜Ｐ６０６からなる３６個の画素を含む領域である。この基準輝度判定対象Ｏｊは、隣接画素領域として予め定められている最小単位である複数の最小隣接画素領域Ｓｋを含む。本実施形態において、基準輝度判定対象Ｏｊは、４つの最小隣接画素領域Ｓ１〜Ｓ４を含む。この最小隣接画素領域Ｓ１〜Ｓ４ごとに、１つの基準画素ＰＰ１〜ＰＰ４が割り当てられている。この最小隣接画素領域Ｓｋは、１つの基準画素ＰＰｋと、この基準画素ＰＰｋに隣接する８つの画素と、からなる画素領域である。例えば、基準画素ＰＰ１〜ＰＰ４は、各最小隣接画素領域Ｓ１〜Ｓ４の中央に位置する画素であり、図示において丸印で示す画素Ｒ２０２、Ｐ２０５、Ｐ５０２、Ｐ５０５である。
【００７３】
画像処理部１４０は、基準画素Ｒ２０２、Ｐ２０５、Ｐ５０２、Ｐ５０５の輝度を検出し、この基準画素の輝度が予め定められた閾値Ｔｈ２未満であるか否かを判定する。なお、本実施形態において、閾値Ｔｈ２は、上述の閾値Ｔｈ１と同一の値である。しかしこれに限られず、閾値Ｔｈ１と閾値Ｔｈ２とは、異なる値であってもよい。
【００７４】
（ステップＳＴ３２）
そして、画像処理部１４０は、基準画素Ｒ２０２、Ｐ２０５、Ｐ５０２、Ｐ５０５のそれぞれと閾値Ｔｈ２とを比較する。本実施形態において、図８に示す通り、基準画素Ｒ２０２、Ｐ５０２が閾値Ｔｈ２以上であり、基準画素Ｒ２０５、Ｐ５０５が閾値Ｔｈ２未満である。
【００７５】
（ステップＳＴ３３）
基準画素Ｒ２０２、Ｐ２０５、Ｐ５０２、Ｐ５０５のうち、その輝度が閾値Ｔｈ２未満である基準画素ＰＰｋが検出された場合、画像処理部１４０は、輝度が閾値Ｔｈ２未満である基準画素ＰＰｋを含む最小隣接画素領域Ｓｋのすべて含む領域を、暗部隣接画素領域Ｒｄｒと定める。
【００７６】
本実施形態において、画像処理部１４０は、暗部隣接画素領域Ｒｄｒとして、基準画素Ｒ２０５、Ｐ５０５を含む最小隣接画素領域Ｓ２、Ｓ４のすべてを含む領域を暗部隣接画素領域Ｒｄ３１と定める。図９には、この暗部隣接画素領域Ｒｄ３１の一例が示されている。つまり、画像処理部１４０は、画素Ｐ１０４〜Ｐ１０６、Ｐ２０４〜Ｐ２０６、Ｐ３０４〜Ｐ３０６、Ｐ４０４〜Ｐ４０６、Ｐ５０４〜Ｐ５０６、Ｐ６０４〜Ｐ６０６からなる１８個の画素を含む領域を、暗部隣接画素領域Ｒｄ３１として定める。
【００７７】
（ステップＳＴ３４）
そして、画像処理部１４０は、暗部隣接画素領域Ｒｄ３１に含まれる画素Ｐ１０４〜Ｐ１０６、Ｐ２０４〜Ｐ２０６、Ｐ３０４〜Ｐ３０６、Ｐ４０４〜Ｐ４０６、Ｐ５０４〜Ｐ５０６、Ｐ６０４〜Ｐ６０６の輝度を検出する。
【００７８】
（ステップＳＴ３５）
次いで、画像処理部１４０は、暗部隣接画素領域Ｒｄｒに含まれる画素のうち、輝度が閾値Ｔｈ１未満である画素が少なくとも１つあるか否かを判定する。本実施形態において、画像処理部１４０は、画素Ｐ２０４〜Ｐ２０６、Ｐ３０４〜Ｐ３０６、Ｐ４０４〜Ｐ４０６、Ｐ５０４〜Ｐ５０６、Ｐ６０４〜Ｐ６０６の輝度が閾値Ｔｈ１未満である、と判定する。
【００７９】
（ステップＳＴ３６）
そして、画像処理部１４０は、輝度が閾値Ｔｈ１未満である画素Ｐ２０４〜Ｐ２０６、Ｐ３０４〜Ｐ３０６、Ｐ４０４〜Ｐ４０６、Ｐ５０４〜Ｐ５０６、Ｐ６０４〜Ｐ６０６を低輝度画素ＰＬ３１として選択する。つまり、画像処理部１４０は、画素Ｐ２０４〜Ｐ２０６、Ｐ３０４〜Ｐ３０６、Ｐ４０４〜Ｐ４０６、Ｐ５０４〜Ｐ５０６、Ｐ６０４〜Ｐ６０６を、加算平均の加算対象として選択する。
【００８０】
（ステップＳＴ３７）
次いで、画像処理部１４０は、低輝度画素ＰＬ３１として選択した画素の数をカウントする。本実施形態において、低輝度画素ＰＬ３１の画素数は、“１５”である。
【００８１】
（ステップＳＴ３８）
そして、画像処理部１４０は、画素Ｐ２０４〜Ｐ２０６、Ｐ３０４〜Ｐ３０６、Ｐ４０４〜Ｐ４０６、Ｐ５０４〜Ｐ５０６、Ｐ６０４〜Ｐ６０６の加算平均を算出する。つまり、画像処理部１４０は、画素Ｐ２０４〜Ｐ２０６、Ｐ３０４〜Ｐ３０６、Ｐ４０４〜Ｐ４０６、Ｐ５０４〜Ｐ５０６、Ｐ６０４〜Ｐ６０６のそれぞれの画素値のすべてを加算した和を、低輝度画素ＰＬ３１の画素数“１５”で除算する。
【００８２】
（ステップＳＴ３９）
一方、基準画素Ｒ２０２、Ｐ２０５、Ｐ５０２、Ｐ５０５のうち、その輝度が閾値Ｔｈ２以上である基準画素ＰＰｋが検出された場合、画像処理部１４０は、輝度が閾値Ｔｈ２以上である基準画素ＰＰｋを含む最小隣接画素領域Ｓｋのそれぞれを、明部隣接画素領域Ｒｌｔと決定する。
【００８３】
本実施形態において、画像処理部１４０は、明部隣接画素領域Ｒｌｔとして、基準画素Ｒ２０２を含む最小隣接画素領域Ｓ１と、Ｐ５０２を含む最小隣接画素領域Ｓ３を、それぞれ、明部隣接画素領域Ｒｌ４１、Ｒｌ４２と決定する。この明部隣接画素領域Ｒｌ４１、Ｒｌ４２の一例を図１０及び図１１に示す。図１０は、明部隣接画素領域Ｒｌ４１の一例を示す図である。図１１は、明部隣接画素領域Ｒｌ４２の一例を示す図である。
【００８４】
つまり、画像処理部１４０は、画素Ｐ１０１〜Ｐ１０３、Ｐ２０１〜Ｐ２０３、Ｐ３０１〜Ｐ３０３からなる９個の画素を含む最小隣接画素領域Ｓ１を、明部隣接画素領域Ｒｌ４１として定める。また、画像処理部１４０は、画素Ｐ４０１〜Ｐ４０３、Ｐ５０１〜Ｐ５０３、Ｐ６０１〜Ｐ６０３からなる９個の画素を含む領域を、明部隣接画素領域Ｒｄとして定める。
【００８５】
（ステップＳＴ４０）
そして、画像処理部１４０は、明部隣接画素領域Ｒｌ４１に含まれる画素Ｐ１０１〜Ｐ１０３、Ｐ２０１〜Ｐ２０３、Ｐ３０１〜Ｐ３０３の輝度と、明部隣接画素領域Ｒｌ４２に含まれる画素Ｐ４０１〜Ｐ４０３、Ｐ５０１〜Ｐ５０３、Ｐ６０１〜Ｐ６０３の輝度を、それぞれ検出する。
【００８６】
（ステップＳＴ４１）
次いで、画像処理部１４０は、明部隣接画素領域Ｒｌｔごとに、明部隣接画素領域Ｒｌｔに含まれる画素のうち輝度が閾値Ｔｈ１未満の画素が少なくとも１つあるか否かを判定する。本実施形態において、画像処理部１４０は、明部隣接画素領域Ｒｌ４１の画素Ｐ２０３、Ｐ３０３の輝度が閾値Ｔｈ１未満であると判定する。また、画像処理部１４０は、明部隣接画素領域Ｒｌ４２の画素Ｐ４０３、Ｐ５０３、Ｐ６０３の輝度が閾値Ｔｈ１未満であると判定する。よって、画像処理部１４０は、明部隣接画素領域Ｒｌ４１、明部隣接画素領域Ｒｌ４２のそれぞれについて、閾値Ｔｈ１未満の画素が少なくとも１つある、と判定する。
【００８７】
（ステップＳＴ４２）
そして、画像処理部１４０は、輝度が閾値Ｔｈ１未満である明部隣接画素領域Ｒｌ４１の画素Ｐ２０３、Ｐ３０３を低輝度画素ＰＬ４１として選択する。つまり、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３を加算平均の加算対象として選択する。また、画像処理部１４０は、輝度が閾値Ｔｈ１未満である明部隣接画素領域Ｒｌ４２の画素Ｐ４０３、Ｐ５０３、Ｐ６０３を低輝度画素ＰＬ４２として選択する。つまり、画像処理部１４０は、画素Ｐ４０３、Ｐ５０３、Ｐ６０３を、加算平均の加算対象として選択する。
【００８８】
（ステップＳＴ４３）
次いで、画像処理部１４０は、低輝度画素ＰＬ４１として選択した画素の数をカウントする。本実施形態において、低輝度画素ＰＬ４１の画素数は、“２”である。また、画像処理部１４０は、低輝度画素ＰＬ４２として選択した画素の数をカウントする。本実施形態において、低輝度画素ＰＬ４２の画素数は、“３”である。
【００８９】
（ステップＳＴ４４）
そして、画像処理部１４０は、低輝度画素ＰＬ４１に含まれる画素Ｐ２０３、Ｐ３０３の加算平均を算出する。つまり、画像処理部１４０は、画素Ｐ２０３、Ｐ３０３のそれぞれの画素値のすべてを加算した和を、低輝度画素ＰＬ４１の画素数は、“２”で除算する。また、画像処理部１４０は、低輝度画素ＰＬ４２に含まれる画素Ｐ４０３、Ｐ５０３、Ｐ６０３の加算平均を算出する。つまり、画像処理部１４０は、画素Ｐ４０３、Ｐ５０３、Ｐ６０３のそれぞれの画素値のすべてを加算した和を、低輝度画素ＰＬ４２の画素数“３”で除算する。
【００９０】
（ステップＳＴ４５）
次いで、画像処理部１４０は、全ての基準輝度判定対象Ｏｊに対して加算平均の算出の有無を判定したか否かを判定する。画像処理部１４０は、加算平均の算出の有無を判定していない基準輝度判定対象Ｏｊがあった場合、当該基準輝度判定対象Ｏｊについて、ステップＳＴ３１に戻って処理を続ける。
【００９１】
以上のように、画像処理部１４０は、基準輝度判定対象Ｏｊにおいて、輝度が低い暗部隣接画素領域Ｒｄの低輝度画素ＰＬを、まとめて加算平均する。一方、基準輝度判定対象Ｏｊにおいて、輝度が高い明部隣接画素領域Ｒｌの低輝度画素ＰＬは、最小隣接画素領域Ｓｋごとに、低輝度画素ＰＬの加算平均をする。このように、輝度が低い画素ほど、広い範囲で加算平均することにより、画像内の信号対雑音比を向上させることができる。
【００９２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００９３】
例えば、画像処理部１４０は、隣接画素領域に含まれる複数の画素のうち、同一の色成分（Ｒ，Ｇ，Ｂ）ごとに低輝度画素ＰＬを選択し、選択した低輝度画素ＰＬを色成分ごとに加算平均するものであってもよい。
【００９４】
また、画像処理部１４０は、隣接画素領域内の低輝度画素ＰＬを選択するものではなく、ラベリング等の技術を利用して低輝度画素ＰＬの連続する領域を検出し、検出した低輝度画素ＰＬの全体について加算平均するものであってもよい。
【００９５】
さらに、本実施形態において、画像処理部１４０が撮像装置１００に搭載されている例について説明したが、本発明はこれに限られず、画像処理部１４０を含む画像処理装置であってもよい。
【００９６】
また、上記に説明した画像処理装置、撮像装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【００９７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００９９】
１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１４０…画像処理部
【図１】
2013207630.tif 000003
【図２】
2013207630.tif 000004
【図３】
2013207630.tif 000005
【図４】
2013207630.tif 000006
【図５】
2013207630.tif 000007
【図６】
2013207630.tif 000008
【図７】
2013207630.tif 000009
【図８】
2013207630.tif 000010
【図９】
2013207630.tif 000011
【図１０】
2013207630.tif 000012
【図１１】
2013207630.tif 000013