(57)【要約】【課題】  デジタル画像を階調圧縮による明部、暗部ともに階調再現する画像処理装置において、プログレッシブ方式とインターレース方式の双方の画像に対して階調補正処理を行うと生ずる、画像の微小領域における同一箇所に対する補正結果の違いを回避する。【解決手段】  階調補正処理の対象画像がプログレッシブ画像である時は、対象画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、対象画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成する。更に階調補正処理の対象画像が固体撮像素子のフレームモード動作出力時は、対象画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、対象画像がドラフトモード動作出力時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成する。【選択図】  図２
2006166173.tif 000002
【特許請求の範囲】
【請求項１】
外部画像出力装置と通信を行って画像を受信するとともに受信画像の画像フォーマット情報を受信する通信部、受信画像を記憶する原画像バッファ、受信画像からボケ画像を生成するボケ画像生成ブロック、生成されたボケ画像から補正係数を求めるテーブル参照部、補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、受信画像の画像フォーマット情報に応じて画像処理装置全体を制御する制御部からなり、更に、ボケ画像生成ブロックは受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて縮小画像を生成する画像縮小部、縮小画像を記憶する縮小画像バッファ、縮小画像に対して輝度の平滑化をして縮小ボケ画像を出力するガウシアンフィルタ処理部、縮小ボケ画像を記憶してこれをボケ画像として出力するガウシアンバッファからなり、前記制御部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする画像処理装置。
【請求項２】
請求項１において、前記画像フォーマット情報は、画像の水平方向画素数と垂直方向画素数、画像走査方法からなり、さらに画像走査方法はプログレッシブ方式又はインターレース方式のどちらであるかを示すものであることを特徴とする画像処理装置。
【請求項３】
請求項１ないし２において、前記画像縮小部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるように、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるような任意の縮小倍率に設定できることを特徴とする画像処理装置。
【請求項４】
外部画像出力装置と通信を行って画像を受信するとともに受信画像の画像フォーマット情報を受信する通信部、受信画像を記憶する原画像バッファ、受信画像から複数の解像度の異なるボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像から補正係数を求めるテーブル参照部、複数の補正係数を加算する補正係数加算部、加算された補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、受信画像の画像フォーマット情報に応じて画像処理装置全体を制御する制御部からなり、更に、ボケ画像生成ブロックは受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、前記制御部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする画像処理装置。
【請求項５】
請求項４において、前記画像フォーマット情報は、画像の水平方向画素数と垂直方向画素数、画像走査方法からなり、さらに画像走査方法はプログレッシブ方式又はインターレース方式のどちらであるかを示すものであることを特徴とする画像処理装置。
【請求項６】
請求項４ないし５において、前記画像縮小部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるように、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるような任意の縮小倍率に設定できることを特徴とする画像処理装置。
【請求項７】
請求項４ないし６において、前記複数の縮小画像は、互いに異なる解像度であることを特徴とする画像処理装置。
【請求項８】
請求項４ないし７において、前記テーブル参照部は、複数のボケ画像に対して、各々異なるテーブルを用いることを特徴とする画像処理装置。
【請求項９】
請求項４ないし７において、前記テーブル参照部は、複数のボケ画像に対して、同一のテーブルを用いることを特徴とする画像処理装置。
【請求項１０】
請求項９において、前記テーブル参照部は、参照するとともに、総和が１となる複数の重み付け係数で重み付けした補正係数を前記補正係数加算部に出力することを特徴とする画像処理装置。
【請求項１１】
外部画像出力装置と通信を行って画像を受信するとともに受信画像の画像フォーマット情報を受信する通信部、受信画像を記憶する原画像バッファ、受信画像から複数の解像度の異なる複数のボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像を合成して合成ボケ画像を生成する合成処理部、合成ボケ画像から補正係数を求めるテーブル参照部、補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、受信画像の画像フォーマット情報に応じて画像処理装置全体を制御する制御部からなり、更に、ボケ画像生成ブロックは受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、前記制御部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、前記画像フォーマット情報は、画像の水平方向画素数と垂直方向画素数、画像走査方法からなり、さらに画像走査方法はプログレッシブ方式又はインターレース方式のどちらであるかを示すものであることを特徴とする画像処理装置。
【請求項１３】
請求項１１ないし１２において、前記画像縮小部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるように、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるような任意の縮小倍率に設定できることを特徴とする画像処理装置。
【請求項１４】
請求項１１ないし１３において、前記複数の縮小画像は、互いに異なる解像度であることを特徴とする画像処理装置。
【請求項１５】
請求項１１ないし１４において、前記合成処理部は、総和が１となる重み付け係数で前記複数のボケ画像に対して重み付けをして後、加算合成して前記合成ボケ画像を生成することを特徴とする画像処理装置。
【請求項１６】
フレーム読み出しモードとドラフト読み出しモードの２つの動作モードで動作して入射される光に応じてアナログ画像信号を出力する固体撮像素子、固体撮像素子を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部、デジタル画素信号を色調補正して撮影画像を出力する現像処理部、撮影画像を記憶する原画像バッファ、撮影画像からボケ画像を生成するボケ画像生成ブロック、生成されたボケ画像から補正係数を求めるテーブル参照部、補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、固体撮像素子の動作モード及び現像処理部が出力する解像度を決定して画像処理装置全体を制御する制御部からなり、更に、ボケ画像生成ブロックは撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて縮小画像を生成する画像縮小部、縮小画像を記憶する縮小画像バッファ、縮小画像に対して輝度の平滑化をして縮小ボケ画像を出力するガウシアンフィルタ処理部、縮小ボケ画像を記憶してこれをボケ画像として出力するガウシアンバッファからなり、前記制御部は、固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする画像処理装置。
【請求項１７】
請求項１６において、前記固体撮像素子は、前記フレーム読み出しモード動作時に比べて、前記ドラフト読み出しモード動作時の垂直方向の出力画素数が少ないことを特徴とする画像処理装置。
【請求項１８】
請求項１６ないし１７において、前記画像縮小部は前記固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるように、前記固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるような任意の縮小倍率に設定できることを特徴とする画像処理装置。
【請求項１９】
フレーム読み出しモードとドラフト読み出しモードの２つの動作モードで動作して入射される光に応じてアナログ画像信号を出力する固体撮像素子、固体撮像素子を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部、デジタル画素信号を色調補正して撮影画像を出力する現像処理部、撮影画像を記憶する原画像バッファ、撮影画像から複数のボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像から補正係数を求めるテーブル参照部、複数の補正係数を加算する補正係数加算部、加算された補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、固体撮像素子の動作モード及び現像処理部が出力する解像度を決定して画像処理装置全体を制御する制御部からなり、更に、ボケ画像生成ブロックは撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、前記制御部は、固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする画像処理装置。
【請求項２０】
請求項１９において、前記固体撮像素子は、前記フレーム読み出しモード動作時に比べて、前記ドラフト読み出しモード動作時の垂直方向の出力画素数が少ないことを特徴とする画像処理装置。
【請求項２１】
請求項１９ないし２０において、前記画像縮小部は前記固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるように、前記固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるような任意の縮小倍率に設定できることを特徴とする画像処理装置。
【請求項２２】
請求項１９ないし２１において、前記複数の縮小画像は、互いに異なる解像度であることを特徴とする画像処理装置。
【請求項２３】
請求項１９ないし２２において、前記テーブル参照部は、複数のボケ画像に対して、各々異なるテーブルを用いることを特徴とする画像処理装置。
【請求項２４】
請求項１９ないし２２において、前記テーブル参照部は、複数のボケ画像に対して、同一のテーブルを用いることを特徴とする画像処理装置。
【請求項２５】
請求項２４において、前記テーブル参照部は、参照するとともに、総和が１となる複数の重み付け係数で重み付けした補正係数を前記補正係数加算部に出力することを特徴とする画像処理装置。
【請求項２６】
フレーム読み出しモードとドラフト読み出しモードの２つの動作モードで動作して入射される光に応じてアナログ画像信号を出力する固体撮像素子、固体撮像素子を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部、デジタル画素信号を色調補正して撮影画像を出力する現像処理部、撮影画像を記憶する原画像バッファ、撮影画像から複数のボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像を合成して合成ボケ画像を生成する合成処理部、合成ボケ画像から補正係数を求めるテーブル参照部、補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、固体撮像素子の動作モード及び現像処理部が出力する解像度を決定して画像処理装置全体を制御する制御部からなり、更に、ボケ画像生成ブロックは撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、前記制御部は、固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする画像処理装置。
【請求項２７】
請求項２６において、前記固体撮像素子は、前記フレーム読み出しモード動作時に比べて、前記ドラフト読み出しモード動作時の垂直方向の出力画素数が少ないことを特徴とする画像処理装置。
【請求項２８】
請求項２６ないし２７において、前記画像縮小部は前記固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるように、前記固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるような任意の縮小倍率に設定できることを特徴とする画像処理装置。
【請求項２９】
請求項２６ないし２８において、前記複数の縮小画像は、互いに異なる解像度であることを特徴とする画像処理装置。
【請求項３０】
請求項２６ないし２９において、前記合成処理部は、総和が１となる重み付け係数で前記複数のボケ画像に対して重み付けをして後、加算合成して前記合成ボケ画像を生成することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像を階調圧縮による明部、暗部ともに階調再現する画像処理装置に関するものである。
【背景技術】
【０００２】
従来、デジタル画像の階調補正を行う画像処理装置において、外部画像出力手段や固体撮像素子等の画像入力手段によって入力される画像データの輝度を所定の基準輝度と比較し、高輝度部のみを、あるいは高低に個別に基準輝度を設けて、低い基準輝度に対する低輝度部と高い基準輝度に対する高輝度部の両方を、信号処理回路は部分的に階調数を減じて、階調圧縮を行っている。この場合、例えば画像データの明部領域においてはコントラストが低下してしまう。
【０００３】
これに対して、特許文献１は、部分的な階調数の減少を防ぐ為、画像データを定数Ｍ×Ｎの大きさを持つ複数の領域に分け、それぞれの領域の平均値に応じた補正係数を生成し、同一領域内に属する画素に対しては同一の補正係数によって画素値を補正することによって、同一領域内では画素値の大小関係を保持することで、例えば画像データの明部領域においてもコントラストの劣化を回避する事ができる。
【特許文献１】特許第３２３３１１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては画像データを複数の領域に分ける際の定数Ｍ×Ｎについて、固定値が用いられている。
【０００５】
従って、水平７２０ドット×垂直４８０ドットの画像データ又は水平７２０ドット×垂直５７６ドットの画像データが入力される場合、水平７２０ドット×垂直４８０ドットの入力画像の水平垂直比は３：２であるが、水平７２０ドット×垂直５７６ドットの入力画像の水平垂直比は５：４であり、定数の比Ｍ：Ｎを３：２とした場合は、同一の補正係数を与える領域の形状が水平７２０ドット×垂直４８０ドットの入力画像に対しては相似形となるが、水平７２０ドット×垂直５７６ドットの入力画像に対しては非相似形となる。このような処理を行うと同一被写体を保存している異なるフォーマットの画像の微小領域において、被写体の同一箇所に対する補正係数に違いが出てしまう問題があった。
【０００６】
そこで、この問題を解消するべく、同一の補正係数を与える領域の形状は、入力画像の形状と相似形とするか、又は、例えば入力画像の水平垂直比３：２に対して定数の比Ｍ：Ｎを３：１とした場合、入力画像の水平垂直比に対する同一の補正係数を与える領域の水平垂直比の変倍率が同一となるように、入力画像の水平垂直比は５：４に対して定数の比Ｍ：Ｎを５：２にするというように、入力画像の解像度に応じて変える必要がある。
【０００７】
入力された画像データの解像度に応じて決定し、同一の補正係数を与える領域の形状を入力画像の形状と相似形にするべく、入力画像の解像度に応じてＭ：Ｎを変える場合、外部画像出力手段から入力される画像がプログレッシブ方式の時の水平垂直比は３：２であるが、インターレース方式の時の水平垂直比は３：１であり、同一の補正係数を与える領域の形状に違いが出ることになり、プログレッシブ方式とインターレース方式の両方の入力を可能な画像処理装置に適用した場合、同一画像を異なる方式で入力した時の画像の微小領域において、被写体の同一箇所に対する補正係数に違いが出てしまう問題があった。また主に高画素の静止画記録時に使用されるフレーム読み出しモードと、主にファインダー画像表示時に使用されるドラフト読み出しモードの２つの動作モードで動作する固体撮像素子の出力画像は、動作モードに応じて水平垂直比が異なるため、このような固体撮像素子の階調補正を行う装置に適用した場合にも、同一被写体を異なる動作モードで撮影した時の撮影画像の微小領域において、被写体の同一箇所に対する補正係数に違いが出てしまう問題があった。
【０００８】
本発明は以上の点を考慮してなされたもので、プログレッシブ方式とインターレース方式の双方の入力画像に対して、画像の微小領域において、同一箇所に対する補正結果の違いを回避することができる画像処理装置を提案しようとするものである。
【０００９】
さらに、主に高画素の静止画記録時に使用されるフレーム読み出しモードでの固体撮像素子の出力画像に対して、画像の微小領域において、同一箇所に対する補正結果の違いを回避することができる画像処理装置を提案しようとするものである。
【課題を解決するための手段】
【００１０】
画像処理装置において、外部画像出力装置と通信を行って画像を受信するとともに受信画像の画像フォーマット情報を受信する通信部、受信画像を記憶する原画像バッファ、受信画像からボケ画像を生成するボケ画像生成ブロック、生成されたボケ画像から補正係数を求めるテーブル参照部、補正係数を原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、受信画像の画像フォーマット情報に応じて画像処理装置全体を制御する制御部からなる。更に、ボケ画像生成ブロックは受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて縮小画像を生成する画像縮小部、縮小画像を記憶する縮小画像バッファ、縮小画像に対して輝度の平滑化をして縮小ボケ画像を出力するガウシアンフィルタ処理部、縮小ボケ画像を記憶してこれをボケ画像として出力するガウシアンバッファからなり、制御部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする。
【００１１】
また、別の実施形態として、画像処理装置において、外部画像出力装置と通信を行って画像を受信するとともに受信画像の画像フォーマット情報を受信する通信部、受信画像を記憶する原画像バッファ、受信画像から複数の解像度の異なるボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像から補正係数を求めるテーブル参照部、複数の補正係数を加算する補正係数加算部、加算された補正係数を原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、受信画像の画像フォーマット情報に応じて画像処理装置全体を制御する制御部からなる。更に、ボケ画像生成ブロックは受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、制御部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする。
【００１２】
また、別の実施形態として、画像処理装置において、外部画像出力装置と通信を行って画像を受信するとともに受信画像の画像フォーマット情報を受信する通信部、受信画像を記憶する原画像バッファ、受信画像から複数の解像度の異なる複数のボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像を合成して合成ボケ画像を生成する合成処理部、合成ボケ画像から補正係数を求めるテーブル参照部、補正係数を原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、受信画像の画像フォーマット情報に応じて画像処理装置全体を制御する制御部からなる。更に、ボケ画像生成ブロックは受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、制御部は、受信画像がプログレッシブ画像である時は、受信画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、受信画像がインターレース画像である時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする。
【００１３】
また、別の実施形態として、画像処理装置において、フレーム読み出しモードとドラフト読み出しモードの２つの動作モードで動作して、入射される光に応じてアナログ画像信号を出力する固体撮像素子、固体撮像素子を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部、デジタル画素信号を色調補正して撮影画像を出力する現像処理部、撮影画像を記憶する原画像バッファ、撮影画像からボケ画像を生成するボケ画像生成ブロック、生成されたボケ画像から補正係数を求めるテーブル参照部、補正係数を原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、固体撮像素子の動作モード及び現像処理部が出力する解像度を決定して画像処理装置全体を制御する制御部からなる。更に、ボケ画像生成ブロックは撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて縮小画像を生成する画像縮小部、縮小画像を記憶する縮小画像バッファ、縮小画像に対して輝度の平滑化をして縮小ボケ画像を出力するガウシアンフィルタ処理部、縮小ボケ画像を記憶してこれをボケ画像として出力するガウシアンバッファからなり、制御部は、固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるようにボケ画像を生成し固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする。
【００１４】
また、別の実施形態として、画像処理装置において、フレーム読み出しモードとドラフト読み出しモードの２つの動作モードで動作して、入射される光に応じてアナログ画像信号を出力する固体撮像素子、固体撮像素子を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部、デジタル画素信号を色調補正して撮影画像を出力する現像処理部、撮影画像を記憶する原画像バッファ、撮影画像から複数のボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像から補正係数を求めるテーブル参照部、複数の補正係数を加算する補正係数加算部、加算された補正係数を原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、固体撮像素子の動作モード及び現像処理部が出力する解像度を決定して画像処理装置全体を制御する制御部からなる。更に、ボケ画像生成ブロックは撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、制御部は、固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする。
【００１５】
また、別の実施形態として、画像処理装置において、フレーム読み出しモードとドラフト読み出しモードの２つの動作モードで動作して、入射される光に応じてアナログ画像信号を出力する固体撮像素子、固体撮像素子を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部、デジタル画素信号を色調補正して撮影画像を出力する現像処理部、撮影画像を記憶する原画像バッファ、撮影画像から複数のボケ画像を生成するボケ画像生成ブロック、生成された複数のボケ画像を合成して合成ボケ画像を生成する合成処理部、合成ボケ画像から補正係数を求めるテーブル参照部、補正係数を原画像バッファに記憶されている画像に適用して補正画像を生成、外部機器等に出力させる補正係数適用部、固体撮像素子の動作モード及び現像処理部が出力する解像度を決定して画像処理装置全体を制御する制御部からなる。更に、ボケ画像生成ブロックは撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部、複数の縮小画像を記憶する縮小画像バッファ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部、複数の縮小ボケ画像を記憶するガウシアンバッファ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理して複数のボケ画像を出力する画像拡大部からなり、制御部は、固体撮像素子の動作モードがフレーム読み出しモードの時は、撮影画像の画素数の水平垂直比と同一になるようにボケ画像を生成し、固体撮像素子の動作モードがドラフト読み出しモードの時は、２フィールド分である１フレーム分の画素数の水平垂直比と同一になるようにボケ画像を生成するように制御することを特徴とする。
【発明の効果】
【００１６】
以上説明したように、本発明の第１の実施例記載の画像処理装置によれば、プログレッシブ画像とインターレース画像というフォーマットの差による同一の補正係数を与える受信画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避することができる。
【００１７】
本発明の第２、第３の実施例記載の画像処理装置によれば、プログレッシブ画像とインターレース画像というフォーマットの差による同一の補正係数を与える受信画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避しつつ、より精度よく階調再現ができる。
【００１８】
本発明の第４の実施例記載の画像処理装置によれば、固体撮像素子のフレーム読み出しモードとドラフト読み出しモードという動作モードの違いから生じる、同一の補正係数を与える撮影画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避することで、階調補正後のファインダー画像と高画素記録画像への効果の差を解消する。
【００１９】
本発明の第５、第６の実施例記載の画像処理装置によれば、固体撮像素子のフレーム読み出しモードとドラフト読み出しモードという動作モードの違いから生じる、同一の補正係数を与える撮影画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避し、階調補正後のファインダー画像と高画素記録画像への効果の差を解消しつつ、より精度よく階調再現ができる。
【発明を実施するための最良の形態】
【００２０】
（第１の実施例）
以下、本発明の第１の実施例を図面に基づいて説明する。
【００２１】
本発明の第１の実施例を表す図として、図１、図２であり、図１は構成を表すブロック図、図２は制御の流れを表すフローチャートである。
図１に従って、本発明の第１の実施例の全体構成を説明する。画像処理装置１は、外部画像出力装置２と通信を行って画像を受信するとともに受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報を受信する通信部１５、受信画像を記憶する原画像バッファ１２、線形補間法等の演算処理によって受信画像から輝度成分のボケ画像を生成するボケ画像生成ブロック２２、生成されたボケ画像の輝度レベルから補正係数を求めるテーブル参照部１３、補正係数を原画像バッファ１２に記憶されている画像に適用して補正画像を生成、外部機器等に出力する補正係数適用部１４、受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報に応じて画像処理装置１全体を制御する制御部１１から構成される。外部画像出力装置２は、例えばデジタル画像を撮像可能なカメラであり、色信号ＲＧＢ、色差信号ＹＣｂＣｒ等のデジタル画像データを画像処理装置１に対して出力する。
【００２２】
ボケ画像生成ブロック２２は、受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１０１、Ｙ画像の解像度を下げて縮小画像を生成する画像縮小部１０２、縮小画像を記憶する縮小画像バッファ１０３、縮小画像に対して輝度の平滑化をして縮小ボケ画像を出力するガウシアンフィルタ処理部１０４、縮小ボケ画像を記憶してこれをボケ画像として出力するガウシアンバッファ１０５からなる。
【００２３】
以下、図２を用いて実際の動作について説明する。
【００２４】
まず外部画像出力装置２から画像及び受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報を通信部１５が受信すると（ステップＳ１１）、制御部１１は画像の解像度を判別すると共にインターレース画像であるかプログレッシブ画像であるかを判別する（ステップＳ１２）。画像フォーマット情報は、例えば画像の先頭に付与されるものであってもよいし、画像とは別の通信線を用いて送信されてくるものであっても良い。
【００２５】
ここで受信画像が水平７２０ドット×垂直４８０ドット、プログレッシブ画像であると制御部１１が判別した場合、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する縮小画像の解像度を受信画像と同じ水平垂直比である３：２になるように制御する。例えば縮小画像の解像度を水平３６０ドット×垂直２４０ドットにする。縮小倍率はここでは水平、垂直方向に各々１／２倍としているが、受信画像の画素数の水平垂直比と同一になる縮小倍率であれば、受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した縮小画像は縮小画像バッファ１０３に蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３から縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて縮小ボケ画像を生成し、ガウシアンバッファ１０５に蓄積する（ステップＳ１３）。ガウシアンバッファ１０５からボケ画像として制御部１１はデータを読み出し、テーブル参照部１３を用いてボケ画像の輝度レベルから補正係数を求める（ステップＳ１５）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各補正係数を適用して補正画像を生成（ステップＳ１６）、外部機器等に出力させる（ステップＳ１７）。
【００２６】
次に受信画像が水平７２０ドット×垂直２４０ドット、インターレース画像であると制御部１１が判別した場合、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する縮小画像の解像度を、１フィールド分の受信画像と同じ水平垂直比である３：１ではなく、２フィールド分である１フレーム分の同じ水平垂直比である３：２になるように制御する。例えば縮小画像の解像度を水平３６０ドット×垂直２４０ドットにする。縮小倍率はここでは水平方向に１／２倍、垂直方向に等倍としているが、２フィールド分である１フレーム分の画素数の水平垂直比と同一になる縮小倍率であれば、受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した縮小画像は縮小画像バッファ１０３に蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３から縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて縮小ボケ画像を生成し、ガウシアンバッファ１０５に蓄積する（ステップＳ１４）。制御部１１はガウシアンバッファ１０５からボケ画像としてデータを読み出し、テーブル参照部１３を用いてボケ画像の輝度レベルから補正係数を求める（ステップＳ１５）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各補正係数を適用して補正画像を生成（ステップＳ１６）、外部機器等に出力させる（ステップＳ１７）。
【００２７】
以上のように、第１の実施例では、受信画像とボケ画像生成ブロック２２の出力するボケ画像の水平垂直比をプログレッシブ画像ではボケ画像の水平垂直比と同一にし、インターレース画像においては、２フィールド分である１フレーム分の画素数の水平垂直比とボケ画像の水平垂直比が同一になるようにボケ画像を生成することで、プログレッシブ画像とインターレース画像というフォーマットの差による同一の補正係数を与える受信画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避することができる。
【００２８】
（第２の実施例）
以下、本発明の第２の実施例を図面に基づいて説明する。
【００２９】
本発明の第２の実施例を表す図として、図３、図４であり、図３は構成を表すブロック図、図４は制御の流れを表すフローチャートである。
【００３０】
図３に従って、本発明の第２の実施例の全体構成を説明する。画像処理装置１は、外部画像出力装置２と通信を行って画像を受信するとともに受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報を受信する通信部１５、受信画像を記憶する原画像バッファ１２、線形補間法等の演算処理によって受信画像から輝度成分の複数の解像度の異なるボケ画像を生成するボケ画像生成ブロック２２、生成された複数のボケ画像の輝度レベルから複数の補正係数を求めるテーブル参照部１３−１〜Ｎ、複数の補正係数を加算する補正係数加算部２０、補正係数の加算結果を原画像バッファ１２に記憶されている画像に適用して補正画像を生成、外部機器等に出力する補正係数適用部１４、受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報に応じて画像処理装置１全体を制御する制御部１１から構成される。外部画像出力装置２は、例えばデジタル画像を撮像可能なカメラであり、色信号ＲＧＢ、色差信号ＹＣｂＣｒ等のデジタル画像データを画像処理装置１に対して出力する。
【００３１】
ボケ画像生成ブロック２２は、受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１０１、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部１０２、画像縮小部１０２からの出力先を縮小画像の解像度に応じて振り分ける第１のデマルチプレクサ１０６、第１のデマルチプレクサ１０６から出力される複数の縮小画像を記憶する縮小画像バッファ１０３−１〜Ｎ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部１０４、ガウシアンフィルタ処理部１０４へデータを出力する縮小画像バッファ１０３−１〜Ｎを選択するセレクタ１０８、ガウシアンフィルタ処理部１０４からの出力先を縮小ボケ画像の解像度に応じて振り分ける第２のデマルチプレクサ１０７、複数の縮小ボケ画像を記憶するガウシアンバッファ１０５−１〜Ｎ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理してボケ画像を出力する画像拡大部１０９−１〜Ｎからなる。
【００３２】
以下、図４を用いて実際の動作について説明する。
【００３３】
まず外部画像出力装置２から画像及び受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報を通信部１５が受信すると（ステップＳ２１）、制御部１１は画像の解像度を判別すると共にインターレース画像であるかプログレッシブ画像であるかを判別する（ステップＳ２２）。画像フォーマット情報は、例えば画像の先頭に付与されるものであってもよいし、画像とは別の通信線を用いて送信されてくるものであっても良い。
【００３４】
ここで受信画像が水平７２０ドット×垂直４８０ドット、プログレッシブ画像であると制御部１１が判別した場合、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を受信画像と同じ水平垂直比である３：２になるように制御する。例えば縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。受信画像の画素数の水平垂直比と同一になる縮小倍率であれば、受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ２３）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１はテーブル参照部１３−１〜Ｎを用いて、生成された複数のボケ画像の輝度レベルから複数の補正係数を求める（ステップＳ２５）。さらに補正係数加算部２０において複数の補正係数を加算し（ステップＳ２６）、補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各加算された補正係数を適用して補正画像を生成（ステップＳ２７）、外部機器等に出力させる（ステップＳ２８）。
【００３５】
次に受信画像が水平７２０ドット×垂直２４０ドット、インターレース画像であると制御部１１が判別した場合、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を、１フィールド分の受信画像と同じ水平垂直比である３：１ではなく、２フィールド分である１フレーム分の同じ水平垂直比である３：２になるように制御する。例えばプログレッシブ画像と同様に縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。２フィールド分である１フレーム分の画素数の水平垂直比と同一になる縮小倍率であれば、受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、に各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ２４）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１はテーブル参照部１３−１〜Ｎを用いて、生成された複数のボケ画像の輝度レベルから複数の補正係数を求める（ステップＳ２５）。さらに補正係数加算部２０において複数の補正係数を加算し（ステップＳ２６）、補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各加算された補正係数を適用して補正画像を生成（ステップＳ２７）、外部機器等に出力させる（ステップＳ２８）。
【００３６】
ここで画像縮小部１０２は複数の縮小倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる縮小倍率について各々画像縮小部１０２を設けるようにしても良い。
【００３７】
さらに画像拡大部１０９−１〜Ｎは複数の拡大倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる拡大倍率について各々画像拡大部を設けるようにしても良い。
【００３８】
また画像拡大部１０９−１〜Ｎは、１つのボケ画像生成に１つの画像拡大部１０９−１〜Ｎを用いる構成で説明したが、時分割で単一の画像拡大部を複数のボケ画像生成に用いるようにしても良い。
【００３９】
さらに縮小画像バッファ１０３−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００４０】
さらにガウシアンバッファ１０５−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００４１】
さらに縮小画像バッファ１０３−１〜Ｎ、ガウシアンバッファ１０５−１〜Ｎの両方を単一のメモリを用いて内部領域を分ける構成としても良い。
【００４２】
さらにテーブル参照部１３−１〜Ｎは複数のボケ画像に対して一つのテーブル参照部としてて構成しても良い。この場合、総和が１となる重み付け係数Ｋ１〜ＫＮで参照結果に対して重み付けを行い、複数のボケ画像に対する複数の補正係数を求める。
【００４３】
以上のように、第２の実施例では、受信画像とボケ画像生成ブロック２２の出力するボケ画像の水平垂直比をプログレッシブ画像ではボケ画像の水平垂直比と同一にし、インターレース画像においては、２フィールド分である１フレーム分の画素数の水平垂直比とボケ画像の水平垂直比が同一になるように複数のボケ画像を生成して、より滑らかに変化する加算された補正係数を適用することによって、プログレッシブ画像とインターレース画像というフォーマットの差による同一の補正係数を与える受信画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避しつつ、より精度よく階調再現ができる。
【００４４】
（第３の実施例）
以下、本発明の第３の実施例を図面に基づいて説明する。
【００４５】
本発明の第３の実施例を表す図として、図５、図６であり、図５は構成を表すブロック図、図６は制御の流れを表すフローチャートである。
【００４６】
図５に従って、本発明の第３の実施例の全体構成を説明する。画像処理装置１は、外部画像出力装置２と通信を行って画像を受信するとともに受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報を受信する通信部１５、受信画像を記憶する原画像バッファ１２、線形補間法等の演算処理によって受信画像から輝度成分の複数の解像度の異なるボケ画像を生成するボケ画像生成ブロック２２、生成された複数のボケ画像を合成して合成ボケ画像を生成する合成処理部２１、合成ボケ画像の輝度レベルから補正係数を求めるテーブル参照部１３、補正係数を原画像バッファ１２に記憶されている画像に適用して補正画像を生成、外部機器等に出力する補正係数適用部１４、受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報に応じて画像処理装置１全体を制御する制御部１１から構成される。外部画像出力装置２は、例えばデジタル画像を撮像可能なカメラであり、色信号ＲＧＢ、色差信号ＹＣｂＣｒ等のデジタル画像データを画像処理装置１に対して出力する。
【００４７】
ボケ画像生成ブロック２２は、受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１０１、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部１０２、画像縮小部１０２からの出力先を縮小画像の解像度に応じて振り分ける第１のデマルチプレクサ１０６、第１のデマルチプレクサ１０６から出力される複数の縮小画像を記憶する縮小画像バッファ１０３−１〜Ｎ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部１０４、ガウシアンフィルタ処理部１０４へデータを出力する縮小画像バッファ１０３−１〜Ｎを選択するセレクタ１０８、ガウシアンフィルタ処理部１０４からの出力先を縮小ボケ画像の解像度に応じて振り分ける第２のデマルチプレクサ１０７、複数の縮小ボケ画像を記憶するガウシアンバッファ１０５−１〜Ｎ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理してボケ画像を出力する画像拡大部１０９−１〜Ｎからなる。
【００４８】
以下、図６を用いて実際の動作について説明する。
【００４９】
まず外部画像出力装置２から画像及び受信画像の解像度及び走査方法等の情報を含む画像フォーマット情報を通信部１５が受信すると（ステップＳ３１）、制御部１１は画像の解像度を判別すると共にインターレース画像であるかプログレッシブ画像であるかを判別する（ステップＳ３２）。画像フォーマット情報は、例えば画像の先頭に付与されるものであってもよいし、画像とは別の通信線を用いて送信されてくるものであっても良い。
【００５０】
ここで受信画像が水平７２０ドット×垂直４８０ドット、プログレッシブ画像であると制御部１１が判別した場合、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を受信画像と同じ水平垂直比である３：２になるように制御する。例えば縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。受信画像の画素数の水平垂直比と同一になる縮小倍率であれば、受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ３３）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１は、合成処理部２１が、総和が１となる重み付け係数Ｋ１〜ＫＮで複数のボケ画像に対して重み付けを行って複数のボケ画像を加算合成して合成ボケ画像を生成するように制御し（ステップＳ３５）、テーブル参照部１３を用いて合成ボケ画像の輝度レベルから補正係数を求める（ステップＳ３６）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する補正係数を適用して補正画像を生成（ステップＳ３７）、外部機器等に出力させる（ステップＳ３８）。
【００５１】
次に受信画像が水平７２０ドット×垂直２４０ドット、インターレース画像であると制御部１１が判別した場合、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を、１フィールド分の受信画像と同じ水平垂直比である３：１ではなく、２フィールド分である１フレーム分の同じ水平垂直比である３：２になるように制御する。例えばプログレッシブ画像と同様に縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。２フィールド分である１フレーム分の画素数の水平垂直比と同一になる縮小倍率であれば、受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、に各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ３４）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１は、合成処理部２１が、総和が１となる重み付け係数Ｋ１〜ＫＮで複数のボケ画像に対して重み付けを行って複数のボケ画像を加算合成して合成ボケ画像を生成するように制御し（ステップＳ３５）、テーブル参照部１３を用いて合成ボケ画像の輝度レベルから補正係数を求める（ステップＳ３６）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する補正係数を適用して補正画像を生成（ステップＳ３７）、外部機器等に出力させる（ステップＳ３８）。
【００５２】
ここで画像縮小部１０２は複数の縮小倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる縮小倍率について各々画像縮小部１０２を設けるようにしても良い。
【００５３】
さらに画像拡大部１０９−１〜Ｎは複数の拡大倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる拡大倍率について各々画像拡大部を設けるようにしても良い。
【００５４】
また画像拡大部１０９−１〜Ｎは、１つのボケ画像生成に１つの画像拡大部１０９−１〜Ｎを用いる構成で説明したが、時分割で単一の画像拡大部を複数のボケ画像生成に用いるようにしても良い。
【００５５】
さらに縮小画像バッファ１０３−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００５６】
さらにガウシアンバッファ１０５−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００５７】
さらに縮小画像バッファ１０３−１〜Ｎ、ガウシアンバッファ１０５−１〜Ｎの両方を単一のメモリを用いて内部領域を分ける構成としても良い。
【００５８】
以上のように、第３の実施例では、第２の実施例と同様に、プログレッシブ画像とインターレース画像というフォーマットの差による同一の補正係数を与える受信画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避しつつ、より精度よく階調再現ができる。
【００５９】
（第４の実施例）
以下、本発明の第４の実施例を図面に基づいて説明する。
【００６０】
本発明の第４の実施例を表す図として、図７、図８であり、図７は構成を表すブロック図、図８は制御の流れを表すフローチャートである。
【００６１】
図７に従って、本発明の第４の実施例の全体構成を説明する。画像処理装置１は、主に高画素の静止画記録時に使用されるフレーム読み出しモードと、主にファインダー画像表示時に使用されるドラフト読み出しモードの２つの動作モードで動作して、入射される光に応じてアナログ画像信号を出力する固体撮像素子１６、固体撮像素子１６を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部１８、デジタル画素信号を色調補正して撮影画像を出力する現像処理部１９、撮影画像を記憶する原画像バッファ１２、線形補間法等の演算処理によって撮影画像から輝度成分のボケ画像を生成するボケ画像生成ブロック２２、生成されたボケ画像の輝度レベルから補正係数を求めるテーブル参照部１３、補正係数を原画像バッファ１２に記憶されている画像に適用して補正画像を生成、外部機器等に出力する補正係数適用部１４、不図示のコマンド入力手段から入力されるコマンドに従って固体撮像素子１６の動作モード及び現像処理部１９が出力する解像度を決定して画像処理装置１全体を制御する制御部１１から構成される。
【００６２】
ボケ画像生成ブロック２２は、撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１０１、Ｙ画像の解像度を下げて縮小画像を生成する画像縮小部１０２、縮小画像を記憶する縮小画像バッファ１０３、縮小画像に対して輝度の平滑化をして縮小ボケ画像を出力するガウシアンフィルタ処理部１０４、縮小ボケ画像を記憶してこれをボケ画像として出力するガウシアンバッファ１０５からなる。
【００６３】
以下、図８を用いて実際の動作について説明する。
【００６４】
まず制御部１１は、不図示のコマンド入力手段から入力されるコマンドに従って固体撮像素子１６の動作モード及び現像処理部１９が出力する解像度を決定して（ステップＳ４１）、動作モードと解像度に応じてタイミングジェネレータ（ＴＧ）、固体撮像素子１６、Ａ／Ｄ変換部１８、現像処理部１９を駆動して、画像処理装置１の撮像動作を開始する。
【００６５】
ここで固体撮像素子１６の動作モードをフレーム読み出しモード、現像処理部１９が出力する解像度を水平７２０ドット×垂直４８０ドットと制御部１１が決定した場合（ステップＳ４２）、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する縮小画像の解像度を撮影画像と同じ水平垂直比である３：２になるように制御する。例えば縮小画像の解像度を水平３６０ドット×垂直２４０ドットにする。縮小倍率はここでは水平、垂直方向に各々１／２倍としているが、撮影画像の画素数の水平垂直比と同一になる縮小倍率であれば、撮影画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した縮小画像は縮小画像バッファ１０３に蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３から縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて縮小ボケ画像を生成し、ガウシアンバッファ１０５に蓄積する（ステップＳ４３）。ガウシアンバッファ１０５からボケ画像として制御部１１はデータを読み出し、テーブル参照部１３を用いてボケ画像の輝度レベルから補正係数を求める（ステップＳ４５）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各補正係数を適用して補正画像を生成（ステップＳ４６）、外部機器等に出力させる（ステップＳ４７）。
【００６６】
次に固体撮像素子１６の動作モードをドラフト読み出しモード、現像処理部１９が出力する解像度を水平７２０ドット×垂直２４０ドットと制御部１１が決定した場合（ステップＳ４２）、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する縮小画像の解像度を、１フィールド分の撮影画像と同じ水平垂直比である３：１ではなく、２フィールド分である１フレーム分の同じ水平垂直比である３：２になるように制御する。例えば縮小画像の解像度を水平３６０ドット×垂直２４０ドットにする。縮小倍率はここでは水平方向に１／２倍、垂直方向に等倍としているが、２フィールド分である１フレーム分の画素数の水平垂直比と同一になる縮小倍率であれば、撮影画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した縮小画像は縮小画像バッファ１０３に蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３から縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて縮小ボケ画像を生成し、ガウシアンバッファ１０５に蓄積する（ステップＳ４４）。制御部１１はガウシアンバッファ１０５からボケ画像としてデータを読み出し、テーブル参照部１３を用いてボケ画像の輝度レベルから補正係数を求める（ステップＳ４５）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各補正係数を適用して補正画像を生成（ステップＳ４６）、外部機器等に出力させる（ステップＳ４７）。
【００６７】
以上のように、第４の実施例では、撮影画像とボケ画像生成ブロック２２の出力するボケ画像の水平垂直比を固体撮像素子１６の動作モードがフレーム読み出しモードの時はボケ画像の水平垂直比と同一にし、固体撮像素子１６の動作モードがドラフト読み出しモードの時は２フィールド分である１フレーム分の画素数の水平垂直比とボケ画像の水平垂直比が同一になるようにボケ画像を生成することで、固体撮像素子１６の動作モードの違いから生じる、同一の補正係数を与える撮影画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避することができる。
【００６８】
（第５の実施例）
以下、本発明の第５の実施例を図面に基づいて説明する。
【００６９】
本発明の第５の実施例を表す図として、図９、図１０であり、図９は構成を表すブロック図、図１０は制御の流れを表すフローチャートである。
【００７０】
図９に従って、本発明の第５の実施例の全体構成を説明する。画像処理装置１は、主に高画素の静止画記録時に使用されるフレーム読み出しモードと、主にファインダー画像表示時に使用されるドラフト読み出しモードの２つの動作モードで動作して、入射される光に応じてアナログ画像信号を出力する固体撮像素子１６、固体撮像素子１６を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部１８、デジタル画素信号を色調補正して撮影画像を出力する現像処理部１９、撮影画像を記憶する原画像バッファ１２、線形補間法等の演算処理によって撮影画像から輝度成分の複数の解像度の異なるボケ画像を生成するボケ画像生成ブロック２２、生成された複数のボケ画像の輝度レベルから複数の補正係数を求めるテーブル参照部１３−１〜Ｎ、複数の補正係数を加算する補正係数加算部２０、補正係数の加算結果を原画像バッファ１２に記憶されている画像に適用して補正画像を生成、外部機器等に出力する補正係数適用部１４、不図示のコマンド入力手段から入力されるコマンドに従って固体撮像素子１６の動作モード及び現像処理部１９が出力する解像度を決定して画像処理装置１全体を制御する制御部１１から構成される。
【００７１】
ボケ画像生成ブロック２２は、撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１０１、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部１０２、画像縮小部１０２からの出力先を縮小画像の解像度に応じて振り分ける第１のデマルチプレクサ１０６、第１のデマルチプレクサ１０６から出力される複数の縮小画像を記憶する縮小画像バッファ１０３−１〜Ｎ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部１０４、ガウシアンフィルタ処理部１０４へデータを出力する縮小画像バッファ１０３−１〜Ｎを選択するセレクタ１０８、ガウシアンフィルタ処理部１０４からの出力先を縮小ボケ画像の解像度に応じて振り分ける第２のデマルチプレクサ１０７、複数の縮小ボケ画像を記憶するガウシアンバッファ１０５−１〜Ｎ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理してボケ画像を出力する画像拡大部１０９−１〜Ｎからなる。
【００７２】
以下、図１０を用いて実際の動作について説明する。
【００７３】
まず制御部１１は、不図示のコマンド入力手段から入力されるコマンドに従って固体撮像素子１６の動作モード及び現像処理部１９が出力する解像度を決定して（ステップＳ５１）、動作モードと解像度に応じてタイミングジェネレータ（ＴＧ）、固体撮像素子１６、Ａ／Ｄ変換部１８、現像処理部１９を駆動して、画像処理装置１の撮像動作を開始する。
【００７４】
ここで固体撮像素子１６の動作モードをフレーム読み出しモード、現像処理部１９が出力する解像度を水平７２０ドット×垂直４８０ドットと制御部１１が決定した場合（ステップＳ５２）、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を撮影画像と同じ水平垂直比である３：２になるように制御する。例えば縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。撮影画像の画素数の水平垂直比と同一になる縮小倍率であれば、撮影画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ５３）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１はテーブル参照部１３−１〜Ｎを用いて、生成された複数のボケ画像の輝度レベルから複数の補正係数を求める（ステップＳ５５）。さらに補正係数加算部２０において複数の補正係数を加算し（ステップＳ５６）、補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各加算された補正係数を適用して補正画像を生成（ステップＳ５７）、外部機器等に出力させる（ステップＳ５８）。
【００７５】
次に固体撮像素子１６の動作モードをドラフト読み出しモード、現像処理部１９が出力する解像度を水平７２０ドット×垂直２４０ドットと制御部１１が決定した場合（ステップＳ５２）、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を、１フィールド分の撮影画像と同じ水平垂直比である３：１ではなく、２フィールド分である１フレーム分の同じ水平垂直比である３：２になるように制御する。例えばプログレッシブ画像と同様に縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。２フィールド分である１フレーム分の画素数の水平垂直比と同一になる縮小倍率であれば、撮影画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、に各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ５４）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１はテーブル参照部１３−１〜Ｎを用いて、生成された複数のボケ画像の輝度レベルから複数の補正係数を求める（ステップＳ５５）。さらに補正係数加算部２０において複数の補正係数を加算し（ステップＳ５６）、補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する各加算された補正係数を適用して補正画像を生成（ステップＳ５７）、外部機器等に出力させる（ステップＳ５８）。
【００７６】
ここで画像縮小部１０２は複数の縮小倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる縮小倍率について各々画像縮小部１０２を設けるようにしても良い。
【００７７】
さらに画像拡大部１０９−１〜Ｎは複数の拡大倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる拡大倍率について各々画像拡大部１０９を設けるようにしても良い。
【００７８】
また画像拡大部１０９−１〜Ｎは、１つのボケ画像生成に１つの画像拡大部１０９−１〜Ｎを用いる構成で説明したが、時分割で単一の画像拡大部１０９を複数のボケ画像生成に用いるようにしても良い。
【００７９】
さらに縮小画像バッファ１０３−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００８０】
さらにガウシアンバッファ１０５−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００８１】
さらに縮小画像バッファ１０３−１〜Ｎ、ガウシアンバッファ１０５−１〜Ｎの両方を単一のメモリを用いて内部領域を分ける構成としても良い。
【００８２】
さらにテーブル参照部１３−１〜Ｎは複数のボケ画像に対して一つのテーブル参照部として構成しても良い。この場合、総和が１となる重み付け係数Ｋ１〜ＫＮで参照結果に対して重み付けを行い、複数のボケ画像に対する複数の補正係数を求める。
【００８３】
以上のように、第５の実施例では、撮影画像とボケ画像生成ブロック２２の出力するボケ画像の水平垂直比を固体撮像素子１６の動作モードがフレーム読み出しモードの時はボケ画像の水平垂直比と同一にし、固体撮像素子１６の動作モードがドラフト読み出しモードの時は２フィールド分である１フレーム分の画素数の水平垂直比とボケ画像の水平垂直比が同一になるように複数のボケ画像を生成して、より滑らかに変化する加算された補正係数を適用することによって、固体撮像素子１６の動作モードの違いから生じる、同一の補正係数を与える撮影画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避しつつ、より精度よく階調再現ができる。
【００８４】
（第６の実施例）
以下、本発明の第６の実施例を図面に基づいて説明する。
【００８５】
本発明の第６の実施例を表す図として、図１１、図１２であり、図１１は構成を表すブロック図、図１２は制御の流れを表すフローチャートである。
【００８６】
図１１に従って、本発明の第６の実施例の全体構成を説明する。画像処理装置１は、主に高画素の静止画記録時に使用されるフレーム読み出しモードと、主にファインダー画像表示時に使用されるドラフト読み出しモードの２つの動作モードで動作して、入射される光に応じてアナログ画像信号を出力する固体撮像素子１６、固体撮像素子１６を駆動するタイミングジェネレータ（ＴＧ）、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部１８、デジタル画素信号を色調補正して撮影画像を出力する現像処理部１９、撮影画像を記憶する原画像バッファ１２、線形補間法等の演算処理によって撮影画像から輝度成分の複数の解像度の異なるボケ画像を生成するボケ画像生成ブロック２２、生成された複数のボケ画像を合成して合成ボケ画像を生成する合成処理部２１、合成ボケ画像の輝度レベルから補正係数を求めるテーブル参照部１３、補正係数を原画像バッファ１２に記憶されている画像に適用して補正画像を生成、外部機器等に出力する補正係数適用部１４、不図示のコマンド入力手段から入力されるコマンドに従って固体撮像素子１６の動作モード及び現像処理部１９が出力する解像度を決定して画像処理装置１全体を制御する制御部１１から構成される。
【００８７】
ボケ画像生成ブロック２２は、撮影画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１０１、Ｙ画像の解像度を下げて複数の縮小画像を生成する画像縮小部１０２、画像縮小部１０２からの出力先を縮小画像の解像度に応じて振り分ける第１のデマルチプレクサ１０６、第１のデマルチプレクサ１０６から出力される複数の縮小画像を記憶する縮小画像バッファ１０３−１〜Ｎ、複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部１０４、ガウシアンフィルタ処理部１０４へデータを出力する縮小画像バッファ１０３−１〜Ｎを選択するセレクタ１０８、ガウシアンフィルタ処理部１０４からの出力先を縮小ボケ画像の解像度に応じて振り分ける第２のデマルチプレクサ１０７、複数の縮小ボケ画像を記憶するガウシアンバッファ１０５−１〜Ｎ、複数の縮小ボケ画像の解像度を最も解像度の高い画像に合わせて拡大処理してボケ画像を出力する画像拡大部１０９−１〜Ｎからなる。
【００８８】
以下、図１２を用いて実際の動作について説明する。
【００８９】
まず制御部１１は、不図示のコマンド入力手段から入力されるコマンドに従って固体撮像素子１６の動作モード及び現像処理部１９が出力する解像度を決定して（ステップＳ６１）、動作モードと解像度に応じてタイミングジェネレータ（ＴＧ）、固体撮像素子１６、Ａ／Ｄ変換部１８、現像処理部１９を駆動して、画像処理装置１の撮像動作を開始する。
【００９０】
ここで固体撮像素子１６の動作モードをフレーム読み出しモード、現像処理部１９が出力する解像度を水平７２０ドット×垂直４８０ドットと制御部１１が決定した場合（ステップＳ６２）、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を撮影画像と同じ水平垂直比である３：２になるように制御する。例えば縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。撮影画像の画素数の水平垂直比と同一になる縮小倍率であれば、撮影画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ６３）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１は、合成処理部２１が、総和が１となる重み付け係数Ｋ１〜ＫＮで複数のボケ画像に対して重み付けを行って複数のボケ画像を加算合成して合成ボケ画像を生成するように制御し（ステップＳ６５）、テーブル参照部１３を用いて合成ボケ画像の輝度レベルから補正係数を求める（ステップＳ６６）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する補正係数を適用して補正画像を生成（ステップＳ６７）、外部機器等に出力させる（ステップＳ６８）。
【００９１】
次に固体撮像素子１６の動作モードをドラフト読み出しモード、現像処理部１９が出力する解像度を水平７２０ドット×垂直２４０ドットと制御部１１が決定した場合（ステップＳ６２）、Ｙ成分抽出部１０１の出力するY画像を受けて画像縮小部１０２が出力する複数の縮小画像の解像度を、１フィールド分の撮影画像と同じ水平垂直比である３：１ではなく、２フィールド分である１フレーム分の同じ水平垂直比である３：２になるように制御する。例えばプログレッシブ画像と同様に縮小画像を３パターン生成するものとして、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットにする。縮小倍率は同じ組み合わせに固定する必要は無い。２フィールド分である１フレーム分の画素数の水平垂直比と同一になる縮小倍率であれば、撮影画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に外部からコマンドを与えて縮小倍率を任意に変更できるようにしても良い。画像縮小部１０２が出力した複数の縮小画像は第１のデマルチプレクサ１０６で振り分けられて縮小画像バッファ１０３−１〜Ｎに蓄積され、蓄積の進行に応じて、制御部１１は縮小画像バッファ１０３−１〜Ｎからセレクタ１０８を介して順次複数の縮小画像を読み出し、ガウシアンフィルタ処理部１０４を動作させて複数の縮小ボケ画像を生成し、第２のデマルチプレクサ１０７で振り分けられてガウシアンバッファ１０５−１〜Ｎに蓄積する。制御部１１はガウシアンバッファ１０５−１〜Ｎから複数の縮小ボケ画像を読み出し、に各縮小ボケ画像を拡大処理してボケ画像を出力するように画像拡大部１０９−１〜Ｎを制御する（ステップＳ６４）。この例では最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１０９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。もちろんデータ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全ての複数の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。そして制御部１１は、合成処理部２１が、総和が１となる重み付け係数Ｋ１〜ＫＮで複数のボケ画像に対して重み付けを行って複数のボケ画像を加算合成して合成ボケ画像を生成するように制御し（ステップＳ６５）、テーブル参照部１３を用いて合成ボケ画像の輝度レベルから補正係数を求める（ステップＳ６６）。さらに補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の画素に対応する補正係数を適用して補正画像を生成（ステップＳ６７）、外部機器等に出力させる（ステップＳ６８）。
【００９２】
ここで画像縮小部１０２は複数の縮小倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる縮小倍率について各々画像縮小部１０２を設けるようにしても良い。
【００９３】
さらに画像拡大部１０９−１〜Ｎは複数の拡大倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる拡大倍率について各々画像拡大部を設けるようにしても良い。
【００９４】
また画像拡大部１０９−１〜Ｎは、１つのボケ画像生成に１つの画像拡大部１０９−１〜Ｎを用いる構成で説明したが、時分割で単一の画像拡大部を複数のボケ画像生成に用いるようにしても良い。
【００９５】
さらに縮小画像バッファ１０３−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００９６】
さらにガウシアンバッファ１０５−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
【００９７】
さらに縮小画像バッファ１０３−１〜Ｎ、ガウシアンバッファ１０５−１〜Ｎの両方を単一のメモリを用いて内部領域を分ける構成としても良い。
【００９８】
以上のように、第６の実施例では、第５の実施例と同様に、、固体撮像素子１６の動作モードの違いから生じる、同一の補正係数を与える撮影画像の領域の形状の差をなくし、画像の微小領域において、被写体の同一箇所に対する補正係数に違いを回避しつつ、より精度よく階調再現ができる。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施例に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施例に係る画像処理装置の画像処理の流れを表すフローチャートである。
【図３】本発明の第２の実施例に係る画像処理装置の構成を示すブロック図である。
【図４】本発明の第２の実施例に係る画像処理装置の画像処理の流れを表すフローチャートである。
【図５】本発明の第３の実施例に係る画像処理装置の構成を示すブロック図である。
【図６】本発明の第３の実施例に係る画像処理装置の画像処理の流れを表すフローチャートである。
【図７】本発明の第４の実施例に係る画像処理装置の構成を示すブロック図である。
【図８】本発明の第４の実施例に係る画像処理装置の画像処理の流れを表すフローチャートである。
【図９】本発明の第５の実施例に係る画像処理装置の構成を示すブロック図である。
【図１０】本発明の第５の実施例に係る画像処理装置の画像処理の流れを表すフローチャートである。
【図１１】本発明の第６の実施例に係る画像処理装置の構成を示すブロック図である。
【図１２】本発明の第６の実施例に係る画像処理装置の画像処理の流れを表すフローチャートである。
【符号の説明】
【０１００】
１  画像処理装置
２  外部画像出力装置
１１  制御部
１２  原画像バッファ
１３  テーブル参照部
１４  補正係数適用部
１５  通信部
１６  固体撮像素子
１７  タイミングジェネレータ（ＴＧ）
１８  Ａ／Ｄ変換部
１９  現像処理部
２０  補正係数加算部
２１  合成処理部
２２  ボケ画像生成ブロック
１０１  Ｙ成分抽出部
１０２  画像縮小部
１０３  縮小画像バッファ
１０４  ガウシアンフィルタ処理部
１０５  ガウシアンバッファ
１０６  第１のデマルチプレクサ
１０７  第２のデマルチプレクサ
１０８  セレクタ
１０９  画像拡大部
【図１】
2006166173.tif 000003
【図２】
2006166173.tif 000004
【図３】
2006166173.tif 000005
【図４】
2006166173.tif 000006
【図５】
2006166173.tif 000007
【図６】
2006166173.tif 000008
【図７】
2006166173.tif 000009
【図８】
2006166173.tif 000010
【図９】
2006166173.tif 000011
【図１０】
2006166173.tif 000012
【図１１】
2006166173.tif 000013
【図１２】
2006166173.tif 000014