(57)【特許請求の範囲】
【請求項１】
所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、
所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された被写体像を、前記各画素により光電変換することで、前記各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、
前記撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、
前記デジタル画像信号から前記光学的位相変調手段による被写体像の劣化を除去する対象領域の画素群を選択する手段と、
前記撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正する補正部であって、前記対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は前記対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、前記対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正する補正部と、
前記補正部によって欠陥の補正された前記対象領域の画素群に対応するデジタル画像信号から、前記光学的位相変調手段による被写体像の劣化を除去する復元処理を施す復元処理部であって、分散画像信号を分散のない画像信号として復元する復元処理部と、
を備える撮像モジュール。
【請求項２】
前記補正部は、前記対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する請求項１に記載の撮像モジュール。
【請求項３】
静止画撮影モードまたは動画撮影モードの選択を判定する判定部を備え、
前記補正部は、前記判定部が前記静止画撮影モードの選択を判定した場合、静止画信号の読み出し画素群のうち前記対象領域の画素群に対応するデジタル画像信号の前記第２レベルのキズによるデジタル画像信号の欠陥を補正し、前記判定部が前記動画撮影モードの選択を判定した場合、動画信号の読み出し画素群の全てに対応するデジタル画像信号の前記第１レベルのキズによるデジタル画像信号の欠陥を補正する請求項１または２に記載の撮像モジュール。
【請求項４】
所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された被写体像を、前記各画素により光電変換することで、前記各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、前記撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、を備えた撮像モジュールが、
前記デジタル画像信号から前記光学的位相変調手段による被写体像の劣化を除去する対象領域の画素群を選択するステップと、
前記撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正するステップであって、前記対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は前記対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、前記対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正するステップと、
前記欠陥の補正された前記対象領域の画素群に対応するデジタル画像信号から、前記光学的位相変調手段による被写体像の劣化を除去する復元処理を施すステップであって、分散画像信号を分散のない画像信号として復元するステップと、
を実行する画像信号処理方法。
【請求項５】
各画素がマトリクス状に配列された結像面にレンズ部を介して結像された被写体像を前記各画素により光電変換する撮像素子から出力された各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力された前記デジタル画像から被写体像の劣化を除去する対象領域の画素群を選択する手段と、
前記撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正する補正部であって、前記対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は前記対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、前記対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正する補正部と、
前記補正部によって欠陥の補正された前記対象領域の画素群に対応するデジタル画像信号から、被写体像の劣化を除去する復元処理を施す復元処理部であって、分散画像信号を分散のない画像信号として復元する復元処理部と、
を備える復元処理装置。
【請求項６】
前記補正部は、前記対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する請求項５に記載の復元処理装置。
【請求項７】
前記補正部は、前記デジタル画像信号が静止画信号の場合には該静止画信号の読み出し画素群のうち前記対象領域の画素群に対応するデジタル画像信号の前記第２レベルのキズによるデジタル画像信号の欠陥を補正し、前記デジタル画像信号が動画信号の場合には該動画信号の読み出し画素群の全てに対応するデジタル画像信号の前記第１レベルのキズによるデジタル画像信号の欠陥を補正する請求項５または６に記載の復元処理装置。
【請求項８】
各画素がマトリクス状に配列された結像面にレンズ部を介して結像された被写体像を前記各画素により光電変換する撮像素子から出力された各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力された前記デジタル画像から被写体像の劣化を除去する対象領域の画素群を選択するステップと、
前記撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正するステップであって、前記対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は前記対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、前記対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正するステップと、
前記欠陥の補正された前記対象領域の画素群に対応するデジタル画像信号から、被写体像の劣化を除去する復元処理を施すステップであって、分散画像信号を分散のない画像信号として復元するステップと、
を備える復元処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高解像度の画像信号を得る技術に関する。
【背景技術】
【０００２】
従来、撮影光学系の光路中に位相を変調させる光波面変調素子を挿入することにより焦点深度を拡大し、焦点深度の拡大によりぼけた画像（大きな点像）に、復元処理パラメータを有するカーネルによるデコンボリューション処理を掛けることより高解像度の画像（小さな点像）に復元するようにした撮像装置が提案されている（特許文献１）。この撮像素子は、光波面変調素子を含む光学系と、光学系を通過した被写体像を撮像する撮像素子と、撮像素子からの被写体の画像データに対して所定の処理を施す画像処理装置と、を有し、画像処理装置は、選択した特定領域の分散画像を分散のない画像信号として復元する。
【０００３】
選択される特定領域は、例えば画像内で予め決められている。また、特定領域は、画像内から特徴部位を抽出し、その部分を選択して決定されるように構成することも可能である。
【０００４】
光波面変調素子は、例えば、３次元的曲面を有し、物体側レンズと結像レンズ間に配置され、結像レンズによる撮像素子の受光面への結像の波面を変形させる位相板である。あるいは、位相板の他の例として、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）などがある。
【０００５】
特許文献２・３は撮像デバイスのキズ補正の一例を示す。補正の方法の一例としては、個々の欠陥セルに上下および左右の方向において隣接する４個のセルの画素信号を単純平均して、欠陥セルの画素信号を補正する、すなわちその欠陥画素信号を補正値に置き換える「埋戻し」がある。
【０００６】
特許文献４は静止画または動画撮影に適した画像信号の読み出し方式の一例を示す。信号の読み出し方式として動画撮像に適しているものでは、例えば色差線順次方式がある。色差線順次方式は、配列された画素の上に補色フィルタを配置し、画素のラインのうち奇数ラインの画素の信号を読み出してＡフィールドの信号とし、偶数ラインの画素の信号を読み出してＢフィールド信号として、１フレームに対してＡおよびＢの２つのフィールド信号で読み出す。一方で静止画撮像では、ＲＧＢがベイヤー配列されたカラーフィルタを画素上に配置し、一ライン毎に順次読み出して全画素の信号を読み出す方式が多く採用されている。
【０００７】
デフォーカス量が不明なため、ピントが合っていてもいなくてもＰＳＦが同じような広がりを有するようにした特殊な光学系は、ＥＤｏｆ（Extended Depth of Field、拡大された焦点深度）と呼ばれる（特許文献５〜７）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2009-159535号公報
【特許文献２】特開2000-184289号公報
【特許文献３】特開2004-23683号公報
【特許文献４】特開2010-171868号公報
【特許文献５】特開2009-10944号公報
【特許文献６】特開2009-187092号公報
【特許文献７】特開2009-188676号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２・３に記載のように、通常、撮像素子には欠陥画素（キズ）が含まれている。キズには、撮像信号に関係なく常時一定の信号を出力する白キズおよび黒キズと、周辺画素と一定以上ゲインの異なる信号を出力する変調キズ、読み出し回路の欠陥から生じる線キズなどがある。
【００１０】
これらのうち、レベルの大きいものは無条件に補正する必要がある。ＥＤｏｆ光学系から得られたボケ画像の復元時には、特許文献１のようにレベルの低い信号（ＭＴＦ）を持ち上げる補正処理を行うため、通常のキズとは異なる微細なキズまで補正しないと、復元後の画像の画質に影響する。しかし、微細なレベルのキズを全画面に渡って補正するのは時間的に困難である。
【００１１】
本発明はこのような事情に鑑みてなされたもので、光学系から得られた画像の復元に必要な領域に限って詳細なキズ補正を行う技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された被写体像を、各画素により光電変換することで、各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、デジタル画像信号から光学的位相変調手段による被写体像の劣化を除去する対象領域の画素群を選択する手段と、撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正する補正部であって、対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正する補正部と、補正部によって欠陥の補正された対象領域の画素群に対応するデジタル画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施す復元処理部であって、分散画像信号を分散のない画像信号として復元する復元処理部と、を備える撮像モジュールを提供する。
【００１３】
補正部は、対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する。
【００１４】
静止画撮影モードまたは動画撮影モードの選択を判定する判定部を備え、補正部は、判定部が静止画撮影モードの選択を判定した場合、静止画信号の読み出し画素群のうち対象領域の画素群に対応するデジタル画像信号の第２レベルのキズによるデジタル画像信号の欠陥を補正し、判定部が動画撮影モードの選択を判定した場合、動画信号の読み出し画素群の全てに対応するデジタル画像信号の第１レベルのキズによるデジタル画像信号の欠陥を補正する。
【００１５】
本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された被写体像を、各画素により光電変換することで、各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、を備えた撮像モジュールが、デジタル画像信号から光学的位相変調手段による被写体像の劣化を除去する対象領域の画素群を選択するステップと、撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正するステップであって、対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正するステップと、欠陥の補正された対象領域の画素群に対応するデジタル画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施すステップであって、分散画像信号を分散のない画像信号として復元するステップと、を実行する画像信号処理方法を提供する。
また、本発明は、各画素がマトリクス状に配列された結像面にレンズ部を介して結像された被写体像を各画素により光電変換する撮像素子から出力された各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力されたデジタル画像から被写体像の劣化を除去する対象領域の画素群を選択する手段と、撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正する補正部であって、対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正する補正部と、補正部によって欠陥の補正された対象領域の画素群に対応するデジタル画像信号から、被写体像の劣化を除去する復元処理を施す復元処理部であって、分散画像信号を分散のない画像信号として復元する復元処理部とを備える復元処理装置を提供する。
補正部は、対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する。
補正部は、デジタル画像信号が静止画信号の場合には静止画信号の読み出し画素群のうち対象領域の画素群に対応するデジタル画像信号の第２レベルのキズによるデジタル画像信号の欠陥を補正し、デジタル画像信号が動画信号の場合には動画信号の読み出し画素群の全てに対応するデジタル画像信号の第１レベルのキズによるデジタル画像信号の欠陥を補正する。
さらに、本発明は、各画素がマトリクス状に配列された結像面にレンズ部を介して結像された被写体像を各画素により光電変換する撮像素子から出力された各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力されたデジタル画像から被写体像の劣化を除去する対象領域の画素群を選択するステップと、撮像素子内のキズ画素によるデジタル画像信号の欠陥を補正するステップであって、対象領域以外の領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズによるデジタル画像信号の欠陥を補正する、又は対象領域以外の領域の画素群に対応するデジタル画像信号に対しては補正を行わず、対象領域の画素群に対応するデジタル画像信号に対し、第１レベルのキズより微細なキズである第２レベルのキズによるデジタル画像信号の欠陥を補正するステップと、欠陥の補正された対象領域の画素群に対応するデジタル画像信号から、被写体像の劣化を除去する復元処理を施すステップであって、分散画像信号を分散のない画像信号として復元するステップとを備える復元処理方法を提供する。
【発明の効果】
【００１６】
本発明では、復元処理のされる所定領域の画像信号については、より微細なキズを補正する処理が行われた上で復元処理が施されるから、復元処理により微細なキズが顕在化するのを防ぐことができ、かつ画像全体の微細なキズを補正するよりも補正に要する時間が短くて済む。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る撮像モジュールのブロック図
【図２】レンズ部の光学系の一例を示す図
【図３】第１の実施形態の復元処理を示すフローチャート
【図４】第２の実施形態の復元処理を示すフローチャート
【図５】第３の実施形態の復元処理を示すフローチャート
【図６】撮像装置の一例を示すブロック図
【発明を実施するための形態】
【００１８】
［第１の実施形態］
図１は本発明に係る撮像モジュール１の第１の実施形態を示すブロック図である。
【００１９】
図１に示すように、撮像モジュール１は、レンズ部１０と、撮像素子１２と、ＡＤ変換部１４と、復元処理ブロック２０とから構成されている。
【００２０】
図２はレンズ部１０の光学系の一例を示す図である。レンズ部１０は、図２に示すように単焦点の固定された撮影レンズ１０Ａと、瞳位置に挿入される光学フィルタ１１とから構成されている。光学フィルタ１１は、位相を変調させるもので、拡大された焦点深度（Extended Depth Of Focus:EDoF）が得られるように撮影レンズをEDoF化させる。
【００２１】
尚、光学フィルタ１１の近傍には、図示しない絞りが配設されている。また、光学フィルタ１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１は、光学的位相変調手段の一例にすぎず、その他のもの、例えば特許文献１のような各種の光波面変調素子が採用されてもよい。
【００２２】
このレンズ部１０は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。
【００２３】
EDoF化されたレンズ部１０を透過した光学像は、撮像素子１２に結像され、ここで電気信号に変換される。
【００２４】
撮像素子１２は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンでマトリクス状に配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、ハニカム配列等）されたカラー撮像素子であり、Ｃ−ＭＯＳイメージセンサまたはＣＣＤイメージセンサにより構成されている。レンズ部１０を介して撮像素子１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。
【００２５】
ＡＤ変換部１４は、撮像素子１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック２０に加えられる。復元処理ブロック２０から出力された画像信号は、デモザイク信号処理部２６に加えられる。デモザイク信号処理部２６は、モザイク状の画像データから欠落した色成分を補って、ＲＧＢの各成分がそろった画像信号であるＲＡＷデータを生成するデモザイク処理を行う。
【００２６】
復元処理ブロック２０は、主として、復元処理ブロック判定部２１、キズテーブル選択部２２、キズデータ記憶部２３、キズ補正処理部２４、画像復元処理部２５を含む。
【００２７】
復元処理ブロック判定部２１は、ＡＤ変換部１４から入力された画像信号が、復元処理の対象のブロック（画素群）から出力された画像信号であるか、または、復元処理の対象外のブロックから出力された画像信号であるかを判定する。この判定は、特許文献１に開示されるような復元処理の必要な箇所の選択と同様に行われる。例えば、画面中央など予め決められた領域内に存在するブロックや、画像内から抽出された顔など特徴部位に存在するブロックの画素から読み出された画像信号が、復元処理の対象のブロックから出力された画像信号と判定される。
【００２８】
ブロックは静止画像の画素群全体をカバーするＮ個の部分画素群領域である。ブロックのサイズは復元処理の単位と一致する。例えば、デコンボリューションフィルタのカーネルサイズが７×７であれば、１ブロックの単位は７×７画素となる。
【００２９】
キズテーブル選択部２２は、復元処理ブロック判定部２１の判定結果に基づき、キズデータ記憶部２３に記憶されたテーブルの中から、キズ補正に使用するテーブルを選択する。キズデータ記憶部２３は、第１キズテーブル２３ａ、第２キズテーブル２３ｂ、第３キズテーブル２３ｃを記憶している。
【００３０】
第１キズテーブル２３ａは、動画撮影時に画像信号を読み出す画素に対応した第１レベルのキズ（画素欠陥）の座標を記憶する。第１レベルのキズは、補正を必要とする程度に目立つキズである。第２キズテーブル２３ｂは、静止画撮影時に画像信号を読み出す画素に対応した第１レベルのキズの座標を記憶する。第１キズテーブル２３ａと第２キズテーブル２３ｂは、それぞれ静止画信号および動画信号の読み出し画素におけるキズの座標を示すが、第１レベルのキズの座標を記憶する点では共通する。第３キズテーブル２３ｃは、静止画撮影時に画像信号を読み出す画素に対応した第２レベルのキズの座標を記憶する。第２レベルのキズは、第１レベルのキズよりも微細なキズである。キズのレベルは視覚的なキズの程度を示し、キズの種類には無関係である。キズの種類としては、白キズ、黒キズ、変調キズ、線キズなどが含まれる。
【００３１】
また、第１のレベルのキズと第２のレベルのキズの定義の方法は特に限定されない。例えば、撮像素子１２の画素（群）のキズをサイズの大きいものからソートし、先頭の最もサイズの大きいキズからから所定の個数分だけ順位が小さいキズ（例えば先頭から１００番目のキズ）までを第１のレベルのキズとし、第１のレベルのキズの最も小さいものよりもさらに所定順位だけサイズの小さいキズ（例えば先頭から１０１番目から２００番目までのキズ）を第２レベルのキズと定義する。あるいは、第１のレベルのキズ以外は全て第２の第２のキズとしてもよい。撮影画像の記録時に画像データを圧縮する場合、どの程度の微細なキズを補正するかを、記録画像の圧縮率に依存させてもよい。例えば、FINEモードの静止画記録であれば、先頭から１０１番目から３００番目までのキズを第２レベルのキズと定義し、Normalモードの静止画記録であれば、先頭から１０１番目から２００番目までのキズを第２レベルのキズと定義する。
【００３２】
キズ補正処理部２４は、キズテーブル選択部２２の選択したテーブルから、キズの座標情報を取得して、当該キズの座標情報に基づき、画像信号のキズ補正を行う。キズ補正の方法は公知のものが採用されうる。例えば、特許文献２・３に記載のような、欠陥画素の周辺に存在する画素の「埋め戻し」でキズ補正が行われる。
【００３３】
画像復元処理部２５は、キズ補正後の画像信号について、復元処理の必要なブロックの分散画像信号を分散のない画像信号として復元する復元処理を施す。例えば、特許文献１に記載のように、復元処理では、１次画像の空間周波数における変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を持ち上げ、位相板を用いない場合のＭＴＦ特性に近づける補正を行い、高精細な最終画像を形成する処理が行われる。
【００３４】
次に、復元処理ブロック２０による復元処理について説明する。図３は第１の実施形態
の復元処理ブロック２０による復元処理を示すフローチャートである。この処理は静止画撮影モードの選択に応じて開始される。
【００３５】
Ｓ１では、ＡＤ変換部１４から復元処理ブロック判定部２１とキズ補正処理部２４にデジタル画像信号が加えられる。この画像信号は静止画の読み出し画素、例えば偶数および奇数ラインの画素の各々から出力される。
【００３６】
Ｓ２では、復元処理ブロック判定部２１は、ＡＤ変換部１４から入力された画像信号から、復元処理の対象のブロックと復元処理の対象外のブロックを判定する。ブロックには通し番号ｎ（ｎ＝１〜Ｎ）が付与されているものとする。
【００３７】
Ｓ３では、キズテーブル選択部２２は、通し番号ｎ＝１を設定する。
【００３８】
Ｓ４では、キズテーブル選択部２２は、通し番号ｎの付与されたブロックが、復元処理するブロックであると判定されているか否かを判断する。Ｙｅｓの場合はＳ５に進み、Ｎｏの場合はＳ６に進む。
【００３９】
Ｓ５では、キズテーブル選択部２２は、第３キズテーブル２３ｃを選択する。キズ補正処理部２４は、キズテーブル選択部２２の選択したテーブル（ここでは第３キズテーブル２３ｃ）から、キズの座標情報を取得する。そして、当該キズの座標情報に基づき、復元対象ブロックからの画像信号についてのみ第２のレベルのキズの補正を行う。さらに、第２のレベルのキズの補正に前後して、キズテーブル選択部２２は、第２キズテーブル２３ｂを選択する。キズ補正処理部２４は、キズテーブル選択部２２の選択したテーブル（ここでは第２キズテーブル２３ｂ）から、キズの座標情報を取得する。そして、当該キズの座標情報に基づき、復元対象ブロックからの画像信号についてのみ第１のレベルのキズの補正を行う。これにより、復元対象ブロックからの画像信号については、大きな第１のレベルのキズ、微細な第２のレベルのキズの双方が補正される。
【００４０】
Ｓ６では、キズテーブル選択部２２は、ｎを１だけインクリメントする。
【００４１】
Ｓ７では、キズテーブル選択部２２は、ｎ＝Ｎとなったか否かを判断する。Ｙｅｓの場合はＳ８に進み、Ｎｏの場合はＳ４に戻る。
【００４２】
Ｓ８では、画像復元処理部２５は、復元処理の対象のブロックから出力された画像信号（キズ補正済みの画像信号も含まれる）についてのみ復元処理を施し、復元対象ブロックについてボケのない静止画像信号を生成する。尚、画像復元処理部２５は、復元処理の対象外のブロックからの画像信号を、そのままデモザイク信号処理部２６に入力する。
【００４３】
Ｓ９では、画像復元処理部２５からの画像信号（復元後の静止画像信号と復元の対象外の静止画信号の両方が含まれる）がデモザイク信号処理部２６に入力され、デモザイク処理が施され、ＲＡＷデータが出力される。
【００４４】
以上の処理により、復元が必要なブロックについては、より微細なキズを補正する処理が行われた上で復元処理が施されるから、復元処理により微細なキズが顕在化するのを防ぐことができ、かつ画像全体の微細なキズを補正する場合よりも補正に要する時間が短くて済む。
【００４５】
［第２の実施形態］
図４は第２の実施形態の復元処理ブロック４０による復元処理を示すフローチャートで
ある。第１実施形態と同様の処理ステップについての説明は省略する。
【００４６】
Ｓ１０〜Ｓ１２はＳ１〜３と同様である。
【００４７】
Ｓ１３はＳ４の判断と同様である。ただし、Ｙｅｓの場合はＳ１４、Ｎｏの場合はＳ１５に進む。
【００４８】
Ｓ１４はＳ５と同様である。
【００４９】
Ｓ１５では、キズテーブル選択部２２は、第２キズテーブル２３ｂを選択する。キズ補正処理部２４は、キズテーブル選択部２２の選択したテーブル（ここでは第２キズテーブル２３ｂ）から、キズの座標情報を取得する。そして、当該キズの座標情報に基づき、画像信号全体の第１のレベルのキズの補正を行う。
【００５０】
Ｓ１６〜Ｓ１９はＳ６〜Ｓ９と同様である。ただし、Ｓ１７にてＹｅｓの場合はＳ１８に進み、Ｎｏの場合はＳ１３に戻る。
【００５１】
以上の処理により、復元が必要なブロックについては、より微細なキズを補正する処理が行われた上で復元処理が施されるから、復元処理により微細なキズが顕在化するのを防ぐことができ、かつ画像全体の微細なキズを補正するよりも補正に要する時間が短くて済む。また、復元な不要なブロックについては、目立つキズを補正する処理だけが行われる。
【００５２】
［第３の実施形態］
図５は第３の実施形態の復元処理ブロック４０による復元処理を示すフローチャートで
ある。第１ないし第２の実施形態と同様の処理ステップについての説明は省略する。
【００５３】
Ｓ２０では、復元処理ブロック判定部２１は、撮影モードのユーザ選択として、動画モードまたは静止画モードのいずれが指示されているかを判定する。動画モードの場合はＳ２１、静止画モードの場合はＳ２６に進む。
【００５４】
Ｓ２１では、ＡＤ変換部１４から復元処理ブロック判定部２１とキズ補正処理部２４にデジタル画像信号が加えられる。この画像信号は動画の読み出し画素、例えば奇数ラインの画素から定期的に出力される。
【００５５】
Ｓ２２では、キズテーブル選択部２２は、第１キズテーブル２３ａを選択する。
【００５６】
Ｓ２３では、キズ補正処理部２４は、キズテーブル選択部２２の選択したテーブル（ここでは第１キズテーブル２３ａ）から、キズの座標情報を取得する。そして、当該キズの座標情報に基づき、動画信号の第１のレベルのキズ補正を行う。このキズ補正は画像信号の全てに渡って行われる。
【００５７】
Ｓ２４では、画像復元処理部２５は、動画の読み出し画素に対応する全ての画像信号（キズ補正済みの画像信号も含まれる）に復元処理を施し、ボケのない動画フレームの画像信号を生成する。
【００５８】
Ｓ２５では、復元後の動画フレーム信号がデモザイク信号処理部２６に入力され、デモザイク処理が施される。このデモザイク処理後の動画フレーム信号は、スルー画として表示されたり、動画データとして記録されることができる。
【００５９】
Ｓ２６は、第１の実施形態または第２の実施の形態のいずれかの復元処理が実行される。いずれを実行するかは任意であり、ユーザ設定などで選択されていてもよい。
【００６０】
Ｓ２７では、復元処理ブロック判定部２１は、撮影モード終了をする指示がユーザから入力されたか否かを判断する。Ｙｅｓの場合は処理を終了し、Ｎｏの場合はＳ２０に戻る。
【００６１】
［第４の実施形態］
図６は撮像モジュール１が適用された撮像装置の一例を示すブロック図である。
【００６２】
図６に示す撮像装置１００は、図１に示した撮像モジュール１が組み込まれたもので、撮像モジュール以外は通常のデジタルカメラ等と同じ構成を有している。
【００６３】
中央処理装置（ＣＰＵ）１０２は、操作部１０４からの操作入力及び所定のプログラムに従って装置全体を統括制御する部分であり、自動露出（ＡＥ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段としても機能する。
【００６４】
ＣＰＵ１０２には、バス１０３およびメモリ・インターフェース１０６を介してＲＡＭ（Random Access Memory）１０８およびＲＯＭ（Read Only Memory）１１０が接続されている。ＲＡＭ１０８は、プログラムの展開領域およびＣＰＵ１０２の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１１０には、ＣＰＵ１０２が実行するプログラムおよび制御に必要な各種データや、撮像動作に関する各種定数／情報等が格納されている。ＣＰＵ１０２が上記第１〜３の実施形態の復元処理の流れを制御するプログラムは、ＲＯＭ１１０に記憶されている。
【００６５】
撮像モジュール１は、ＣＰＵ１０２からの指令により撮影動作等を行い、ＲＧＢのＲＡＷデータを出力する。このＲＡＷデータは、バス１０３およびメモリＩ／Ｆ１０６を介してＲＡＭ１０８に一時的に保存される。
【００６６】
ＲＡＭ１０８に保存されたＲＧＢのＲＡＷデータは、画像処理ブロック３０に入力され、各種の画像処理が施される。画像処理は、ガンマ補正、コントラスト調整処理、シャープネス調整処理、ノイズリダクション処理、色補正処理、ＹＣ変換などの各種の処理が含まれる。
【００６７】
また、ＲＡＷデータ記録が選択されている場合には、ＲＡＷデータはＲＡＷファイルのフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。
【００６８】
操作部１０４には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部（ＬＣＤ）１１８にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部１０４からの出力信号は、バス１０３を介してＣＰＵ１０２に入力され、ＣＰＵ１０２は操作部１０４からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。
【００６９】
撮像装置１００には、被写体にフラッシュ光を照射するためのフラッシュ装置１２０が含まれ、フラッシュ装置１２０は、ＣＰＵ１０２からの発光指令によって充電部１２２から電源の供給を受けてフラッシュ光を照射する。
【００７０】
画像処理ブロック３０で処理された画像データ（静止画または動画）は、画像記録部３１に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式やMPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル（例えば、JPEGファイルやMPEGファイル）のフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。画像記録部３１にて撮影画像の記録時に画像データを圧縮する場合、どの程度の微細なキズを補正するかを、記録画像の圧縮率に依存させてもよい。
【００７１】
また、ＬＣＤ１１８には、ＬＣＤインターフェース１２６を介して加えられる動画信号により撮像準備中に映像（スルー画像）が表示され、また、再生モード時にメモリカード１１６に記録されたJPEGファイル、MPEGファイル、ＲＡＷファイルなどの画像ファイルが読み出され、画像が表示される。尚、JPEGファイルやMPEGファイルに格納された圧縮画像データは、圧縮伸張処理回路１２４によって伸張処理が行われてＬＣＤ１１８に出力され、ＲＡＷファイルに格納されたＲＡＷデータは、画像処理ブロック３０によってＲＡＷ現像した後にＬＣＤ１１８に出力される。
【符号の説明】
【００７２】
１…撮像モジュール、１０…レンズ部、１０Ａ…撮影レンズ、１１…光学フィルタ、１２…撮像素子、１４…ＡＤ変換部、２０…復元処理ブロック、２１…復元処理ブロック判定部、２２…キズテーブル選択部、２４…キズ補正処理部、２５…画像復元処理部
【図１】
0005513310.tif 000002
【図２】
0005513310.tif 000003
【図３】
0005513310.tif 000004
【図４】
0005513310.tif 000005
【図５】
0005513310.tif 000006
【図６】
0005513310.tif 000007