(57)【要約】【課題】ＨＤＲ合成を行う画像処理装置において、露光量の異なる複数枚の画像を表す複数種類の画像データを格納するメモリーとＨＤＲ画像処理回路との間で転送される画像データを削減する。【解決手段】この画像処理装置は、少なくとも１種類の画像データにおいて複数のラインに含まれている画素の配置を複数の色成分毎に並べ替えてから該画像データを圧縮する圧縮回路と、複数種類の画像データを格納するメモリーと、圧縮された画像データを伸張し、伸張された画像データにおいて複数のラインに含まれている画素の配置を復元する伸張回路と、画像データにおける各画素について、周辺画素のデータ値を用いて補間演算を行うことにより、各画素について複数の色成分を含む画像データを出力する補間回路と、補間された画像データを合成することによりＨＤＲ画像データを生成するダイナミックレンジ拡張回路とを含む。【選択図】図１
2013179584.tif 000002
【特許請求の範囲】
【請求項１】
異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを取得する画像データ取得部と、
前記画像データ取得部によって取得される少なくとも１種類の画像データにおいて複数のラインに含まれている画素の配置を複数の色成分毎に並べ替えてから該画像データを圧縮する圧縮回路と、
前記画像データ取得部によって取得され、前記圧縮回路によって圧縮された少なくとも１種類の画像データを含む複数種類の画像データを、各種類について少なくとも１フレーム分格納するメモリーと、
前記メモリーから読み出された複数種類の画像データの内で圧縮された画像データを伸張し、伸張された画像データにおいて複数のラインに含まれている画素の配置を復元する伸張回路と、
前記メモリーから読み出され、前記伸張回路によって伸張及び復元された少なくとも１種類の画像データを含む複数種類の画像データにおける各画素について、周辺画素のデータ値を用いて補間演算を行うことにより、各画素について複数の色成分を含む画像データを出力する補間回路と、
前記補間回路から出力される複数種類の画像データを合成することにより、ダイナミックレンジが拡張された１つのカラー画像を表す合成画像データを生成するダイナミックレンジ拡張回路と、
を具備する画像処理装置。
【請求項２】
前記画像データ取得部によって取得される画像データにおける奇数番目のラインが、第１の色成分を表す画素と、第２の色成分を表す画素とを含み、該画像データにおける偶数番目のラインが、第２の色成分を表す画素と、第３の色成分を表す画素とを含み、
前記圧縮回路が、少なくとも１種類の画像データにおいて隣接する複数のラインに含まれている画素の配置を、第１の色成分を表す画素の列と、第２の色成分を表す画素の列と、第３の色成分を表す画素の列とに並べ替える、請求項１記載の画像処理装置。
【請求項３】
前記圧縮回路が、少なくとも１種類の画像データにおいて隣接する２つのラインに含まれている画素の配置を、第１の色成分を表す画素の１つの列と、第２の色成分を表す画素の２つの列と、第３の色成分を表す画素の１つの列とに並べ替える、請求項２記載の画像処理装置。
【請求項４】
前記圧縮回路が、前記画像データ取得部によって取得される画像データによって表される画像が生成される際に用いられるカラーフィルターの情報を表す設定信号に従って、少なくとも１種類の画像データにおいて複数のラインに含まれている画素の配置を複数の色成分毎に並べ替える、請求項１〜３のいずれか１項記載の画像処理装置。
【請求項５】
異なる露光量で撮影対象を撮影することにより、異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを生成する撮像部と、
前記撮像部によって生成される複数種類の画像データが供給される請求項１〜４のいずれか１項記載の画像処理装置と、
を具備する電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露光量を変化させながら撮影された複数枚の画像を合成することによって、白とびや黒つぶれの少ない広大なダイナミックレンジを有する画像を生成する画像処理装置に関する。さらに、本発明は、そのような画像処理装置を用いて生成される画像を記録するドライブレコーダーやビデオムービー等の電子機器等に関する。
【背景技術】
【０００２】
例えば、ドライブレコーダーは、自動車事故が発生した場合に、どの自動車の運転手に過失があったか等を立証するために用いられるので、明瞭な画像を記録する必要がある。しかしながら、ドライブレコーダーによってトンネルの出口付近を昼間に撮影した場合に、露光量が小さければ、トンネルの外の明るい被写体は明瞭に撮影されるが、トンネルの中の暗い被写体は黒くつぶれて撮影されてしまう（黒つぶれ）。一方、露光量が大きければ、トンネルの中の暗い被写体は明瞭に撮影されるが、トンネルの外の明るい被写体は白く飽和して撮影されてしまう（白とび）。
【０００３】
そこで、ドライブレコーダーにおいて、ハイダイナミックレンジ（ＨＤＲ：high dynamic range、又は、ワイドダイナミックレンジ（ＷＤＲ：wide dynamic range）とも呼ばれる）合成を用いることが考えられる。ハイダイナミックレンジ合成とは、露光量を変化させながら複数枚の画像を撮影し、それらを合成することによって、白とびや黒つぶれの少ない広大なダイナミックレンジを有する画像（ＨＤＲ画像）を生成する技法である（例えば、特許文献１及び２を参照）。ハイダイナミックレンジ合成によれば、自動車がトンネルの出口付近を走行する場合や逆光の場合に、白とびや黒つぶれの少ない画像を得ることができる。
【０００４】
従来技術においては、撮像素子によって露光時間を変化させながら撮影を行うことによって得られた複数枚の画像を表す画像データをフレームメモリーに一旦格納し、フレームメモリーから読み出された画像データをＨＤＲ画像処理回路において合成することによって、ＨＤＲ画像が生成される。従って、フレームメモリーに格納される画像データの量、及び、ＨＤＲ画像処理回路とフレームメモリーとの間で転送される画像データの転送帯域（伝送ビットレート）が、露光時間が異なる画像の枚数に応じて大きくなってしまう。
【０００５】
関連する技術として、特許文献３には、ダイナミックレンジ拡大処理機能を持つ撮像装置において、通常時と同等のフレームレートと低消費電力を達成できる物理情報取得方法が開示されている。この物理情報取得方法は、固体撮像素子における全体の撮像範囲の内で垂直列方向に連続した複数のライン（水平列）からなる領域において、垂直列方向を複数（たとえば３つ）の領域に分割し、その内の一部の領域（たとえば領域Ｂ）を、ダイナミックレンジ拡大処理に寄与する有効領域として取り扱い、この領域Ｂを使って、露光時間が異なる条件の下で、全体の検知領域から処理対象信号を取得する際の処理速度と同じ処理速度で複数の画像信号を取得する。しかしながら、特許文献３によれば、固体撮像素子における一部の検知領域のみから画像信号を取得することになる。
【０００６】
このような事情から、ＨＤＲ画像のさらなるダイナミックレンジ拡大、高解像度化、又は、高フレームレート化を実現するためには、ＨＤＲ画像処理回路とフレームメモリーとの間で転送される画像データの量や伝送ビットレートがボトルネックとなる可能性が大きい。
【０００７】
これを解消するために、フレームメモリーの記憶容量を増大したり、転送クロック信号の周波数を高くしたり、フレームメモリーのバスラインの幅を拡げたりすれば、コストの増大等を招き、上記改善項目の実現を困難にしてしまう。また、ＨＤＲ画像処理回路を後段システムと共にシステムオンチップに組み込もうとした場合にも、ＨＤＲ合成用のフレームメモリーと後段システムのメモリーとを一体化する際に、メモリー容量や内部バス帯域についての課題や制約が発生してしまう。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２１３０３２号公報（段落０００６−００１２）
【特許文献２】特開２００７−３２９８９６号公報（段落０００４−０００９）
【特許文献３】特開２００６−１４１１７号公報（要約書）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の幾つかの観点によれば、ＨＤＲ合成を行う画像処理装置において、露光量を変化させながら撮影された複数枚の画像を表す画像データを格納するメモリーとＨＤＲ画像処理回路との間で転送される画像データの量を削減して、画像データの伝送ビットレートを低減することができる。
【課題を解決するための手段】
【００１０】
本発明の１つの観点に係る画像処理装置は、異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを取得する画像データ取得部と、画像データ取得部によって取得される少なくとも１種類の画像データにおいて複数のラインに含まれている画素の配置を複数の色成分毎に並べ替えてから該画像データを圧縮する圧縮回路と、画像データ取得部によって取得され、圧縮回路によって圧縮された少なくとも１種類の画像データを含む複数種類の画像データを、各種類について少なくとも１フレーム分格納するメモリーと、メモリーから読み出された複数種類の画像データの内で圧縮された画像データを伸張し、伸張された画像データにおいて複数のラインに含まれている画素の配置を復元する伸張回路と、メモリーから読み出され、伸張回路によって伸張及び復元された少なくとも１種類の画像データを含む複数種類の画像データにおける各画素について、周辺画素のデータ値を用いて補間演算を行うことにより、各画素について複数の色成分を含む画像データを出力する補間回路と、補間回路から出力される複数種類の画像データを合成することにより、ダイナミックレンジが拡張された１つのカラー画像を表す合成画像データを生成するダイナミックレンジ拡張回路とを具備する。
【００１１】
ここで、画像データ取得部によって取得される画像データにおける奇数番目のラインが、第１の色成分を表す画素と、第２の色成分を表す画素とを含み、該画像データにおける偶数番目のラインが、第２の色成分を表す画素と、第３の色成分を表す画素とを含み、圧縮回路が、少なくとも１種類の画像データにおいて隣接する複数のラインに含まれている画素の配置を、第１の色成分を表す画素の列と、第２の色成分を表す画素の列と、第３の色成分を表す画素の列とに並べ替えるようにしても良い。
【００１２】
特に、圧縮回路が、少なくとも１種類の画像データにおいて隣接する２つのラインに含まれている画素の配置を、第１の色成分を表す画素の１つの列と、第２の色成分を表す画素の２つの列と、第３の色成分を表す画素の１つの列とに並べ替えるようにしても良い。
【００１３】
以上において、圧縮回路が、画像データ取得部によって取得される画像データによって表される画像が生成される際に用いられるカラーフィルターの情報を表す設定信号に従って、少なくとも１種類の画像データにおいて複数のラインに含まれている画素の配置を複数の色成分毎に並べ替えるようにしても良い。
【００１４】
本発明の１つの観点に係る電子機器は、異なる露光量で撮影対象を撮影することにより、異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを生成する撮像部と、撮像部によって生成される複数種類の画像データが供給される本発明のいずれかの観点に係る画像処理装置とを具備する。
【発明の効果】
【００１５】
本発明の１つの観点によれば、画像データ取得部によって取得される少なくとも１種類の画像データにおいて複数のラインに含まれている画素の配置を複数の色成分毎に並べ替えてから該画像データを圧縮し、圧縮された画像データをメモリーに格納することにより、ＨＤＲ画像処理回路とメモリーとの間で転送される画像データの量を削減して、画像データの伝送ビットレートを低減することができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る画像処理装置を用いた電子機器を示すブロック図。
【図２】２次元イメージセンサーの動作を説明するための図。
【図３】図１に示す撮像部におけるカラーフィルターの配置例を示す図。
【図４】図１に示す圧縮回路及び伸張回路の構成例を示すブロック図。
【図５】画素の配置の並べ替えの第１の例を説明するための図。
【図６】画素の配置の並べ替えの第２の例を説明するための図。
【図７】図１に示すダイナミックレンジ拡張回路の構成例を示すブロック図。
【図８】異なる露光時間の画像においてオレンジ色を構成する色成分を示す図。
【図９】画像合成処理の第１の例を説明するための図。
【図１０】合成画像データにおける元の画像データの混合割合の例を示す図。
【図１１】ドライブレコーダーによって撮影された画像の例を示す図。
【図１２】第２の実施形態に係る画像処理装置を用いた電子機器を示すブロック図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
図１は、本発明の第１の実施形態に係る画像処理装置を用いた電子機器の構成例を示すブロック図である。本発明の第１の実施形態によれば、画像処理装置によって生成されるＨＤＲ画像を記録するドライブレコーダーやビデオムービー等の電子機器を実現することができる。
【００１８】
図１に示すように、この電子機器は、撮像部１０と、ＨＤＲ画像処理回路２０と、フレームメモリー３０と、動画像処理回路４０とを含んでいる。ここで、少なくともＨＤＲ画像処理回路２０及びフレームメモリー３０が、画像処理装置を構成している。また、ＨＤＲ画像処理回路２０と、フレームメモリー３０と、動画像処理回路４０とは、１つの半導体集積回路（ＩＣ）によって構成されても良いし、それぞれ個別の半導体集積回路によって構成されても良い。
【００１９】
撮像部１０は、ＣＣＤ（Charge Coupled Device）等の撮像素子を用いた２次元イメージセンサーを含み、異なる露光量で撮影対象（被写体）を撮影する。これにより、撮像部１０は、異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを生成する。
【００２０】
以下においては、２次元イメージセンサーにおいてＣＣＤを用い、異なる露光時間Ｔ１、Ｔ２、Ｔ３で撮影対象を撮影することによって画像データＡ、Ｂ、Ｃを生成する場合について説明する。画像データＡによって表される画像の露光時間Ｔ１と、画像データＢによって表される画像の露光時間Ｔ２と、画像データＣによって表される画像の露光時間Ｔ３とは、Ｔ１＜Ｔ２＜Ｔ３の関係にあって、例えば、Ｔ１：Ｔ２：Ｔ３＝２：３：６であるものとする。
【００２１】
ここで、中間的な露光量が得られる露光時間Ｔ２を標準露光時間とし、標準露光時間で撮影された撮影対象の画像を標準画像とする。なお、４種類以上の露光量で撮影対象を撮影することにより４つ以上の画像を得る場合には、最小の露光量で撮影された画像及び最大の露光量で撮影された画像を除く画像の内から１つの画像を標準画像として選択すれば良い。
【００２２】
図２は、２次元イメージセンサーが異なる露光時間で撮影対象を撮影する動作を説明するための図である。ＣＣＤ１０１ａを含む２次元イメージセンサー１０１の露光領域には、ＣＣＤ１０１ａに蓄積された電荷を読み出すために３つの読出しラインＬ１、Ｌ２、Ｌ３が設けられている。ＣＣＤ１０１ａは、図中に示すスキャン方向に繰り返しスキャンされて、ＣＣＤ１０１ａに蓄積された電荷が読み出される。読出しラインＬ１〜Ｌ３から読み出された電荷は、図示しないＡＦＥ（Analog Front End）を介してＡ／Ｄ変換部に入力され、画像データに変換される。
【００２３】
読出しラインＬ１は、最も少ないＣＣＤに蓄積された電荷を読み出すために用いられる読出しラインである。読出しラインＬ１から読み出された電荷に基づいて、露光時間が最も短い画像を表す画像データＡが生成される。また、読出しラインＬ２から読み出された電荷に基づいて、標準露光時間による標準画像を表す画像データ（標準画像データ）Ｂが生成される。なお、読出しラインＬ１及びＬ２からの読出しは、いずれもリセットを伴わない非破壊読出しである。
【００２４】
読出しラインＬ３は、最も多くのＣＣＤに蓄積された電荷を読み出すと共に、ＣＣＤをリセットするために用いられる読出しラインである。リセットを伴う読出しは、破壊読出しとも呼ばれている。読出しラインＬ３から読み出された電荷に基づいて、露光時間が最も長い画像を表す画像データＣが生成される。
【００２５】
１回の撮影において、読出しラインＬ１からの非破壊読出しと、読出しラインＬ２からの非破壊読出しと、読出しラインＬ３からの破壊読出しとは、それぞれ独立に実行される。このような読出しタイミングの制御は、電子シャッター機能によって実現される。ただし、本発明は、このような構成に限定されるものではなく、撮像部の絞りを制御して露光量を変更するようにしても良い。
【００２６】
ところで、２次元イメージセンサーを用いてカラー撮影を行うためには、カラーフィルターによって光を３原色に分解する必要がある。一般的には、２次元イメージセンサーに含まれている複数の撮像素子（画素）に配置されるカラーフィルターをベイヤー（Bayer）型画素配置とすることにより、総画素数の削減が図られている。図１に示す撮像部１０のカラーフィルターも、ベイヤー型画素配置に従って配置されている。
【００２７】
即ち、２次元イメージセンサーの奇数番目のラインが、第１の色成分を透過するフィルターの透過光を受光する素子と、第２の色成分を透過するフィルターの透過光を受光する素子とを、交互に含んでいる。また、２次元イメージセンサーの偶数番目のラインが、第２の色成分を透過するフィルターの透過光を受光する素子と、第３の色成分を透過するフィルターの透過光を受光する素子とを、交互に含んでいる。
【００２８】
図３は、図１に示す撮像部におけるカラーフィルターの配置例を示す図である。この例においては、第１の色成分を青（Ｂ）とし、第２の色成分を緑（Ｇ）とし、第３の色成分を赤（Ｒ）としている。その場合には、２次元イメージセンサーの総画素数Ｎに対して、緑（Ｇ）の解像度はＮ／２となり、青（Ｂ）又は赤（Ｒ）の解像度はＮ／４となる。ここで、緑（Ｇ）の画素を青（Ｂ）又は赤（Ｒ）の画素の２倍設けているのは、人間の眼の分光感度が緑付近をピークとしており、緑の解像度を高くすることが見かけ上の解像度を向上させるからである。
【００２９】
これにより、図１に示す撮像部１０によって生成される画像データにおいては、奇数番目のラインが、第１の色成分を表す画素と、第２の色成分を表す画素とを、交互に含むことになる。また、偶数番目のラインが、第２の色成分を表す画素と、第３の色成分を表す画素とを、交互に含むことになる。このように、撮像部１０によって生成される画像データは、各画素について単一の色成分を含んでいる。この画像データは、ＲＡＷデータ（生データ）として、ライン単位でＨＤＲ画像処理回路２０に供給される。
【００３０】
ＨＤＲ画像処理回路２０は、撮像部１０から供給される複数種類の画像データをフレームメモリー３０に一旦格納し、フレームメモリー３０から読み出された複数種類の画像データを合成することにより、ダイナミックレンジが拡張された１つのカラー画像を表す合成画像データ（ＨＤＲ画像データ）を生成する。
【００３１】
図１に示すように、ＨＤＲ画像処理回路２０は、画像データ取得部２１と、圧縮回路２２と、フレームメモリー制御回路２３と、伸張回路２４と、補間回路２５と、ダイナミックレンジ拡張回路２６とを含んでいる。画像データ取得部２１は、異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを撮像部１０から取得する。
【００３２】
例えば、撮像部１０から出力される１０ビットのＲＡＷデータ（露光時間Ｔ１、Ｔ２、Ｔ３）に基づいて、毎秒３０フレームのＨＤＲ画像を生成すると仮定する。２次元イメージセンサーがＶＧＡサイズ（水平６４０ピクセル、垂直４８０ピクセル）である場合には、画像データの書き込み及び読み出しを同時に行うために、６４０×４８０×１０×３×３０×２÷８＝約６９Ｍバイト／秒の伝送レートが必要となる。実際には、ＨＤＲ画像の生成に利用されない画像データや、露光前の初期値として１フレーム分の画像データも取得するので、伝送レートが約１００Ｍバイト／秒となることもある。２次元イメージセンサーがフルＨＤサイズ（水平１９２０ピクセル、垂直１０８０ピクセル）である場合には、単純計算で約４６７Ｍバイト／秒、実現方法によっては約６３０Ｍバイト／秒の伝送レートが必要となってしまう。
【００３３】
この約４６７Ｍバイト／秒〜約６３０Ｍバイト／秒という伝送レートは、一般的な３２ビットバス幅のＳＤＲ（シングルデータレート）−ＳＤＲＡＭ、又は、１６ビットバス幅のＤＤＲ（ダブルデータレート）−ＳＤＲＡＭの理想的な実効帯域をほぼ使い切るか、あるいは、それを超える伝送レートである。また、データ容量も、約１６Ｍバイト〜約２１Ｍバイトとなってしまう。
【００３４】
そこで、本実施形態においては、画像データ取得部２１によって取得された複数種類の画像データをフレームメモリー３０に格納する前に、少なくとも１種類の画像データを圧縮する圧縮回路２２が設けられている。画像データは、撮像部１０から画像データ取得部２１にライン単位で供給されるので、圧縮回路２２における圧縮方式としては、１ライン又は２ライン単位で完結するアルゴリズムが適している。ＪＰＥＧ（Joint Photographic Experts Group）のように２次元状（８×８ピクセル）の画像データを圧縮するためには、数ライン分の画像データを保持するためのバッファメモリーが必要となってしまうからである。
【００３５】
また、撮像部１０のカラーフィルターはベイヤー型画素配置とされているので、隣り合う画素のＲＡＷデータは、異なる色のカラーフィルターを透過した光の光量に基づいており、隣接する画素におけるデータ値の連続性が乏しい。従って、各画素について補間演算を行う前のＲＡＷデータに対しては、隣接する画素におけるデータ値の連続性を利用する一般的な画像圧縮アルゴリズムは適していない。
【００３６】
そこで、圧縮回路２２は、画像データ取得部２１によって取得される複数種類の画像データの内の少なくとも１種類の画像データにおいて、複数のラインに含まれている画素の配置を複数の色成分毎に並べ替えてから、その画像データを圧縮してフレームメモリー３０に格納する。これに対応して、伸張回路２４は、フレームメモリー３０から読み出された複数種類の画像データの内で圧縮された画像データを伸張し、伸張された画像データにおいて、複数のラインに含まれている画素の配置を復元する。
【００３７】
図４は、図１に示す圧縮回路及び伸張回路の構成例を示すブロック図である。図４に示すように、圧縮回路２２は、並べ替え回路２２０と、ライン圧縮回路２２１〜２２３とを含んでいる。並べ替え回路２２０は、少なくとも１種類の画像データにおいて隣接する複数のラインに含まれている画素の配置を、第１の色成分を表す画素の列と、第２の色成分を表す画素の列と、第３の色成分を表す画素の列とに並べ替える。
【００３８】
例えば、並べ替え回路２２０は、画像データ取得部２１によって取得されるＲＡＷデータが生成される際に用いられるカラーフィルターの情報を表す設定信号に従って、少なくとも１種類の画像データにおいて隣接する２つのラインに含まれている画素の配置を、緑（Ｇ）を表す画素の列と、青（Ｂ）を表す画素の列と、赤（Ｒ）を表す画素の列とに並べ替えることにより、Ｇデータ、Ｂデータ、Ｒデータを出力する。ライン圧縮回路２２１〜２２３は、並べ替え回路２２０から出力されるＧデータ、Ｂデータ、Ｒデータを、ライン単位でそれぞれ圧縮する。
【００３９】
フレームメモリー制御回路２３は、圧縮回路２２によって圧縮された少なくとも１種類の画像データを含む複数種類の画像データを各種類について少なくとも１フレーム分格納するように、フレームメモリー３０（図１）を制御する。なお、圧縮回路２２は、圧縮しない画像データについては、画像データ取得部２１によって取得される画像データをそのまま出力する。
【００４０】
例えば、圧縮回路２２は、露光時間Ｔ１、Ｔ２、Ｔ３で撮影対象が撮影された３つのカラー画像をそれぞれ表す画像データＡ、Ｂ、Ｃを圧縮する。フレームメモリー３０は、圧縮された画像データＡ、Ｂ、Ｃをそれぞれの記憶領域３０Ａ、３０Ｂ、３０Ｃに格納する。一方、例えば、標準画像データＢについて圧縮を行わない場合には、フレームメモリー３０は、圧縮された画像データＡ及びＣをそれぞれの記憶領域３０Ａ及び３０Ｃに格納し、圧縮されていない画像データＢを記憶領域３０Ｂに格納する。
【００４１】
また、フレームメモリー制御回路２３は、フレームメモリー３０から複数種類の画像データを読み出して伸張回路２４に供給する。伸張回路２４は、フレームメモリー３０から読み出された複数種類の画像データの内で圧縮された画像データを伸張する。さらに、伸張回路２４は、伸張された画像データにおいて複数のラインに含まれている画素の配置を復元することにより、ＲＡＷデータと同じかＲＡＷデータとほぼ等しい復元データを出力する。なお、伸張回路２４は、圧縮されていない画像データについては、フレームメモリー３０から読み出された画像データをそのまま出力する。
【００４２】
図４に示すように、伸張回路２４は、復元回路２４０と、ライン伸張回路２４１〜２４３とを含んでいる。ライン伸張回路２４１〜２４３は、フレームメモリー制御回路２３から出力されるＧデータ、Ｂデータ、Ｒデータを、ライン単位でそれぞれ伸張する。復元回路２４０は、ライン伸張回路２４１〜２４３によって伸張されたＧデータ、Ｂデータ、Ｒデータにおいて複数のラインに含まれている画素の配置を復元する。例えば、復元回路２４０は、画像データ取得部２１によって取得されるＲＡＷデータが生成される際に用いられるカラーフィルターの情報を表す設定信号に従って、複数のラインに含まれている画素の配置を復元する。
【００４３】
図５は、画像データにおいて複数のラインに含まれている画素の配置の並べ替えの第１の例を説明するための図である。図５（ａ）は、ＲＡＷデータにおいて奇数番目のライン及び偶数番目のラインに含まれている画素の配置を示しており、図５（ｂ）は、並べ替え後の画像データにおける画素の配置を示している。
【００４４】
図５（ａ）に示すように、ＲＡＷデータにおいては、奇数番目のラインが、青（Ｂ）を表す画素Ｂ０、Ｂ１、Ｂ２、・・・、Ｂｎと、緑（Ｇ）を表す画素Ｇ１、Ｇ３、Ｇ５、・・・、Ｇ（２ｎ＋１）とを、交互に含んでいる。また、偶数番目のラインが、緑（Ｇ）を表す画素Ｇ０、Ｇ２、Ｇ４、・・・、Ｇ（２ｎ）と、赤（Ｒ）を表す画素Ｒ０、Ｒ１、Ｒ２、・・・、Ｒｎとを、交互に含んでいる。
【００４５】
ＲＡＷデータにおいて奇数番目のライン及び偶数番目のラインに含まれている画素の配置を並べ替えることにより、図５（ｂ）に示すような画素の配置が得られる。並べ替え後の画像データにおいては、第１のラインが、緑（Ｇ）を表す画素Ｇ０、Ｇ１、Ｇ２、・・・、Ｇ（ｎ）、Ｇ（２ｎ＋１）を含み、第２のラインが、青（Ｂ）を表す画素Ｂ０、Ｂ１、Ｂ２、・・・、Ｂｎを含み、第３のラインが、赤（Ｒ）を表す画素Ｒ０、Ｒ１、Ｒ２、・・・、Ｒｎを含んでいる。このように、第１の例においては、ラインの数が２つから３つに増加すると共に、第１のラインに含まれる緑（Ｇ）を表す画素数が、第２又は第３のラインに含まれる青（Ｂ）又は赤（Ｒ）を表す画素数の２倍となる。
【００４６】
図６は、画像データにおいて複数のラインに含まれている画素の配置の並べ替えの第２の例を説明するための図である。図６（ａ）は、ＲＡＷデータにおいて奇数番目のライン及び偶数番目のラインに含まれている画素の配置を示しており、図６（ｂ）は、並べ替え後の画像データにおける画素の配置を示している。
【００４７】
図６（ａ）に示すように、ＲＡＷデータにおいては、奇数番目のラインが、青（Ｂ）を表す画素Ｂ０、Ｂ１、Ｂ２、・・・、Ｂｎと、緑（Ｇ）を表す画素Ｇ１、Ｇ３、Ｇ５、・・・、Ｇ（２ｎ＋１）とを、交互に含んでいる。また、偶数番目のラインが、緑（Ｇ）を表す画素Ｇ０、Ｇ２、Ｇ４、・・・、Ｇ（２ｎ）と、赤（Ｒ）を表す画素Ｒ０、Ｒ１、Ｒ２、・・・、Ｒｎとを、交互に含んでいる。
【００４８】
ＲＡＷデータにおいて奇数番目のライン及び偶数番目のラインに含まれている画素の配置を並べ替えることにより、図６（ｂ）に示すような画素の配置が得られる。奇数番目のラインに含まれている画素の配置の並べ替えにおいては、第１のラインが、緑（Ｇ）を表す画素Ｇ１、Ｇ３、Ｇ５、・・・、Ｇ（２ｎ＋１）を含み、第２のラインが、青（Ｂ）を表す画素Ｂ０、Ｂ１、Ｂ２、・・・、Ｂｎを含んでいる。また、偶数番目のラインに含まれている画素の配置の並べ替えにおいては、第３のラインが、緑（Ｇ）を表す画素Ｇ０、Ｇ２、Ｇ４、・・・、Ｇ（２ｎ）を含み、第４のラインが、赤（Ｒ）を表す画素Ｒ０、Ｒ１、Ｒ２、・・・、Ｒｎを含んでいる。このように、第２の例においては、ラインの数が２つから４つに増加すると共に、各々のラインに含まれる画素数が等しくなる。
【００４９】
以上において説明したように、画像が生成される際に用いられるカラーフィルターの色毎に画素を並べ変えてから画像データを圧縮することによって、隣接する画素におけるデータ値の連続性を確保することができる。従って、より高能率なデータ圧縮を実現し、及び／又は、圧縮及び伸張による画質への影響を低減することが可能である。また、フレームメモリー制御回路２３とフレームメモリー３０との間の転送帯域（伝送ビットレート）を抑制することによって、コストの増大等を抑えながら、ＨＤＲ画像のさらなるダイナミックレンジ拡大、高解像度化、又は、高フレームレート化を実現することができる。
【００５０】
図４に示すライン圧縮回路２２１〜２２３における画像データの圧縮には、１ライン又は２ライン内において連続する複数の画素のデータ値の連続性を利用することができる。例えば、ライン圧縮回路２２１〜２２３における画像データの圧縮方式として、特開２００７−１８１０５１号公報に記載されている画像符号化装置及び方法を用いることができる。以下に、その内容について簡単に説明する。
【００５１】
この画像符号化装置は、非可逆モードにおいて、符号化対象画素の画素データを規定圧縮率となる固定長符号で表現して符号化する非可逆符号化部と、可逆モードにおいて、符号化対象画素の画素データの圧縮率が規定圧縮率よりも高い圧縮率となる時には、固定長符号に対する余剰符号を余らせて符号化対象画素の画素データを符号化し、符号化対象画素の画素データの圧縮率が規定圧縮率よりも低い圧縮率となる時には、固定長符号に追加される余剰符号を消費して符号化対象画素の画素データを符号化する可逆符号化部と、可逆符号化部で符号化を行う時に、余剰符号をカウントアップし、消費された余剰符号をカウントダウンする余剰符号カウンタと、余剰符号カウンタのカウント値が規定圧縮率よりも低圧縮率を示す値とならない範囲で可逆符号化部の符号化動作を継続させる符号化制御部とを含んでいる。
【００５２】
この画像符号化装置によれば、余剰符号カウンタのカウント値が規定圧縮率よりも低圧縮率を示す値とならない範囲で可逆符号化部の符号化動作を継続させることにより、可逆モードにおける符号化が、常に規定圧縮率以上の高圧縮率となる。また、非可逆モードにおいては常に規定圧縮率で符号化を行うので、可逆モード及び非可逆モードにおけるトータルの圧縮率も規定圧縮率以上の高圧縮率となることが保障される。さらに、可逆モードを優先しているので、規定圧縮率と等しい圧縮率で符号化する非可逆モードを優先するよりも圧縮率を高めることができ、しかもデータの再現性は向上する。
【００５３】
再び図１を参照すると、補間回路２５は、フレームメモリー３０から読み出され、伸張回路２４によって伸張及び復元された少なくとも１種類の画像データを含む複数種類の画像データにおける各画素について、周辺画素のデータ値を用いて補間演算を行うことにより、各画素について赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分を含む複数種類のＲＧＢ画像データを出力する。
【００５４】
ここで、複数種類のＲＧＢ画像データは、最も短い露光時間Ｔ１で撮影された画像を表す画像データＡと、標準露光時間Ｔ２で撮影された標準画像を表す標準画像データＢと、最も長い露光時間Ｔ３で撮影された画像を表す画像データＣとを、時系列に含んでいる。ダイナミックレンジ拡張回路２６は、補間回路２５から出力される複数種類のＲＧＢ画像データを合成することにより、ダイナミックレンジが拡張された１つのカラー画像を表すＨＤＲ画像データを生成する。
【００５５】
図７は、図１に示すダイナミックレンジ拡張回路の構成例を示すブロック図である。ダイナミックレンジ拡張回路２６は、画像切換部２６１と、正規化部２６２と、画像信頼性評価部２６３と、画像合成部２６４と、トーンマップ処理部２６５とを含んでいる。
【００５６】
画像切換部２６１は、補間回路２５から順次供給される画像データＡ、Ｂ、Ｃを分離して、正規化部２６２及び画像信頼性評価部２６３に供給する。正規化部２６２は、画像データＡ、Ｂ、Ｃを正規化する。これと並行して、画像信頼性評価部２６３は、画像データＡ、Ｂ、Ｃの信頼性を評価して、信頼性の評価結果を画像合成部２６４に供給する。
【００５７】
画像合成部２６４は、画像信頼性評価部２６３から供給される信頼性の評価結果に基づいて、正規化部２６２によって正規化された画像データＡ、Ｂ、Ｃをハイダイナミックレンジ合成することにより、ダイナミックレンジが拡張された画像を表す合成画像データＤを生成する。
【００５８】
トーンマップ処理部２６５は、画像合成部２６４から出力されるダイナミックレンジが拡張された画像を表す合成画像データＤのビット数を、画像データ取得部２１によって取得されるＲＡＷデータのビット数（例えば、緑（Ｇ）成分、青（Ｂ）成分、赤（Ｒ）成分の各々について８ビット）に一致させるトーンマップ処理を行う。
【００５９】
次に、図７に示すダイナミックレンジ拡張回路の動作例について説明する。
まず、図７に示す正規化部２６２において行われる正規化処理の例について説明する。以下の式において、「ｘ、ｙ」は画素の座標を表し、「Ｒ」はＲ成分を表す。正規化部２６２に入力される正規化前の画像データＡ、Ｂ、ＣのＲ成分のデータ値を、それぞれ、Ａ_T1（ｘ、ｙ、Ｒ）、Ｂ_T2（ｘ、ｙ、Ｒ）、Ｃ_T3（ｘ、ｙ、Ｒ）とする。また、正規化部２６２によって正規化された画像データＡ、Ｂ、Ｃのデータ値を、それぞれ、Ａ_NT3（ｘ、ｙ、Ｒ）、Ｂ_NT3（ｘ、ｙ、Ｒ）、Ｃ_NT3（ｘ、ｙ、Ｒ）とする。正規化における両者の関係は、次式で表される。
【００６０】
Ａ_NT3（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ１）
Ｂ_NT3（ｘ、ｙ、Ｒ）＝Ｂ_T2（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ２）
Ｃ_NT3（ｘ、ｙ、Ｒ）＝Ｃ_T3（ｘ、ｙ、Ｒ）
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００６１】
次に、図７に示す画像信頼性評価部２６３によって行われる画像データの信頼性評価の第１の例について説明する。図８は、異なる露光時間で同一の撮影対象を撮影することにより得られた画像においてオレンジ色を構成するＲ、Ｇ、Ｂ成分のデータ値を示している。図８において、横軸は、Ｒ、Ｇ、Ｂ成分を区別しており、縦軸は、各成分のデータ値を表している。また、図８（Ａ）は、最も短い露光時間Ｔ１で撮影された画像を表す画像データＡのデータ値を示し、図８（Ｂ）は、標準露光時間Ｔ２で撮影された画像を表す画像データＢのデータ値を示し、図８（Ｃ）は、最も長い露光時間Ｔ３で撮影された画像を表す画像データＣのデータ値を示している。
【００６２】
画像信頼性評価部２６３は、データ値に基づいて画像データの信頼性を評価することにより、信頼性の評価結果を表す値である信頼度を求める。本実施形態においては、データ値が大きければＳ／Ｎ比が高くなることから、より大きいデータ値に、より高い信頼度を付与している。ただし、データ値が大き過ぎて最大値２５５に達している（飽和している）場合には、元の画像の正確なデータ値が得られない。従って、最大値２５５よりもやや低いデータ値（例えば、２２４）に、信頼度の最高値を付与するようにしている。
【００６３】
このような信頼度の付与は、予め設定されている式にデータ値を代入するか、あるいは、データ値に基づいてＬＵＴ（Look Up Table）を参照することによって実現される。以下に、画像データＡ_T1（ｘ、ｙ、Ｒ）のデータ値が２２４を超えた場合に信頼度Ｅ_T1（ｘ、ｙ、Ｒ）を算出するための式を例示する。
【００６４】
ｉｆ  Ａ_T1（ｘ、ｙ、Ｒ）＞２２４
ｔｈｅｎ  Ｅ_T1（ｘ、ｙ、Ｒ）＝（２５５−Ａ_T1（ｘ、ｙ、Ｒ））／３１
ｅｌｓｅ  Ｅ_T1（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ））／２２４
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００６５】
上式中の数字「３１」は、データ値の最大値２５５と信頼度が最高値となるデータ値２２４との差である。データ値の最大値２５５とデータ値２２４との差によって、データ値の最大値２５５と画像データＡ_T1（ｘ、ｙ、Ｒ）のデータ値との差を除算することにより、画像データＡ_T1（ｘ、ｙ、Ｒ）のデータ値が飽和に近くなると信頼度を低下させることができる。
【００６６】
画像信頼性評価部２６３は、以上述べた信頼性の評価を実行し、算出された信頼度を画像合成部２６４に出力する。なお、信頼度を算出する式は、上記のような形式に限定されるものではなく、出力特性やノイズ特性を考慮してデータ値の信頼性の指標となるものであれば、どのような形式のものであっても良い。また、信頼性の評価は、信頼度を用いることに限定されるものではなく、最も高い信頼性を有する画像データを特定する信号を出力するようにしても良い。
【００６７】
上式に従って、図８（Ａ）〜（Ｃ）に示すデータ値を評価すると、Ｒ成分については、図８（Ａ）に示す画像データＡのＲ成分Ｒ１が、図８（Ｂ）に示す画像データＢのＲ成分Ｒ２や図８（Ｃ）に示す画像データＣのＲ成分Ｒ３よりも高い信頼度を得ることになる。また、Ｇ成分については、図８（Ｂ）に示す画像データＢのＧ成分Ｇ２が、図８（Ａ）に示す画像データＡのＧ成分Ｇ１や図８（Ｃ）に示す画像データＣのＧ成分Ｇ３よりも高い信頼度を得ることになる。さらに、Ｂ成分については、図８（Ｃ）に示す画像データＣのＢ成分Ｂ３が、図８（Ａ）に示す画像データＡのＢ成分Ｂ１や図８（Ｂ）に示す画像データＢのＢ成分Ｂ２よりも高い信頼度を得ることになる。
【００６８】
次に、図７に示す画像合成部２６４によって行われる画像合成処理の第１の例について説明する。画像合成部２６４は、Ｒ、Ｇ、Ｂ成分の各々について、画像データＡ、Ｂ、Ｃの内で信頼度が最も高い画像データを選択する。そして、選択された画像データのＲ、Ｇ、Ｂ成分を合成することにより、オレンジ色を表示する合成画像データＤを生成する。
【００６９】
図９は、画像合成処理の第１の例を説明するための図である。図９（Ａ）、図９（Ｂ）、図９（Ｃ）は、図１に示す正規化部２６２によって正規化された画像データＡ、Ｂ、Ｃの各色成分のデータ値をそれぞれ示しており、図９（Ｄ）は、図７に示す画像合成部２６４によって合成された合成画像データＤの各色成分のデータ値を示している。
【００７０】
画像合成部２６４は、図９（Ａ）に示す画像データＡのＲ成分Ｒ１と、図９（Ｂ）に示す画像データＢのＧ成分Ｇ２と、図９（Ｃ）に示す画像データＣのＢ成分Ｂ３とを選択して合成することにより、図９（Ｄ）に示す合成画像データＤを生成する。この合成画像データＤは、図８（Ａ）に示すデータ値が飽和していない短時間露光のＲ成分Ｒ１と、図８（Ｂ）に示すデータ値が適切な標準露光のＧ成分Ｇ２と、図８（Ｃ）に示すデータ値が改善された長時間露光のＢ成分Ｂ３とに基づいて生成されるので、図８（Ｂ）に示す標準露光の画像データＢと比較してダイナミックレンジが拡張されている。
【００７１】
ただし、図９（Ｄ）に示す合成画像データＤにおいては、正規化によって、データ値の最大値が２５５を超えている。そこで、図７に示すトーンマップ処理部２６５は、画像合成部２６４から出力される合成画像データＤのビット数を、画像データ取得部２１によって取得されるＲＡＷデータのビット数（例えば、Ｒ、Ｇ、Ｂ成分の各々について８ビット）に一致させるトーンマップ処理を行う。このトーンマップ処理は、例えば、合成画像データＤの各色成分のデータ値に（Ｔ１／Ｔ３）を掛けることによって行われる。
【００７２】
次に、画像データの信頼性評価及び画像合成処理の第２の例について説明する。第２の例においては、画像合成部２６４が、露光量が異なる複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合することにより、合成画像データＤを生成する。そのために、画像信頼性評価部２６３は、信頼性評価結果として、複数の画像データＡ、Ｂ、Ｃの各色成分の混合割合（重み付け係数）を算出して画像合成部２６４に供給する。画像合成部２６４は、供給された混合割合に従って、複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合する。
【００７３】
このような混合の結果、画像データＡのＲ成分Ｒ１と画像データＢのＲ成分Ｒ２と画像データＣのＲ成分Ｒ３とが混合されて、合成画像データＤのＲ成分が生成される。同様に、画像データＡのＧ成分Ｇ１と画像データＢのＧ成分Ｇ２と画像データＣのＧ成分Ｇ３とが混合されて、合成画像データＤのＧ成分が生成される。また、画像データＡのＢ成分Ｂ１と画像データＢのＢ成分Ｂ２と画像データＣのＢ成分Ｂ３とが混合されて、合成画像データＤのＢ成分が生成される。混合されたＲ、Ｇ、Ｂ成分によって、合成画像データＤが構成される。
【００７４】
画像信頼性評価部２６３は、次のようにして、複数の画像データＡ、Ｂ、Ｃの各色成分の重み付け係数を決定しても良い。ここで、重み付け係数とは、画像データＡ、Ｂ、Ｃの混合割合を示すものであって、重み付け係数が大きいほど混合割合が大きいものとする。画像データＡ、Ｂ、ＣのＲ成分の重み付け係数Ｗ＿T1（ｘ、ｙ、Ｒ）、Ｗ＿T2（ｘ、ｙ、Ｒ）Ｗ＿T3（ｘ、ｙ、Ｒ）は、例えば、信頼度に基づいて、次式によって算出される。
【００７５】
Ｗ＿T1（ｘ、ｙ、Ｒ）＝Ｅ＿T1（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T2（ｘ、ｙ、Ｒ）＝Ｅ＿T2（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T3（ｘ、ｙ、Ｒ）＝Ｅ＿T3（ｘ、ｙ、Ｒ）／Ｅsum
ただし、Ｅsum＝Ｅ＿T1（ｘ、ｙ、Ｒ）＋Ｅ＿T2（ｘ、ｙ、Ｒ）＋Ｅ＿T3（ｘ、ｙ、Ｒ）である。これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００７６】
画像信頼性評価部２６３によって算出された重み付け係数は、画像合成部２６４に供給される。画像合成部２６４は、それらの重み付け係数を画像データＡ、Ｂ、Ｃのそれぞれの色成分に乗算し、乗算後のデータ値を色成分毎に加算して、合成画像データＤを生成する。
【００７７】
Ｄ（ｘ、ｙ、Ｒ）＝Ｗ＿T1（ｘ、ｙ、Ｒ）×Ａ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T2（ｘ、ｙ、Ｒ）×Ｂ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T3（ｘ、ｙ、Ｒ）×Ｃ_NT3（ｘ、ｙ、Ｒ）
この式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００７８】
図１０は、合成画像データにおける元の画像データの混合割合の例を示す図である。この例においては、合成画像データＤのＲ、Ｇ、Ｂ成分が、全ての画像データＡ、Ｂ、ＣのＲ、Ｇ、Ｂ成分をそれぞれ含んでいるが、信頼性の最も低い画像データの色成分の重み付け係数をゼロに設定することにより、信頼性の最も低い画像データの色成分を排除しても良い。
【００７９】
以上述べたダイナミックレンジ拡張処理によれば、異なる露光量で撮影対象が撮影された複数の画像データの信頼性を、画像データの色成分毎に評価することができる。また、評価された信頼性に基づいて、それらの画像データの色成分の内から信頼性の高い色成分を採用し、採用された色成分を合成して合成画像データを生成することができる。
【００８０】
図１１は、本発明が適用されるドライブレコーダーによって撮影された画像の例を示す図である。図１１には、露光時間を３段階に変えてトンネルの出口付近を撮影して得られた画像、及び、それらの画像を合成して得られた合成画像が示されている。
【００８１】
図１１（Ａ）は、短時間露光の画像を示している。短時間露光の場合には、トンネルの外の被写体は明瞭に撮影されるが、トンネルの中の被写体は黒つぶれによって不明瞭となる。一方、図１１（Ｃ）は、長時間露光の画像を示している。長時間露光の場合には、トンネルの中の被写体は明瞭に撮影されるが、トンネルの外の被写体は白とびによって不明瞭となる。また、図１１（Ｂ）は、標準露光の画像を示している。標準露光の場合には、トンネルの中の一部において黒つぶれが発生し、トンネルの外の一部において白とびが発生する。
【００８２】
図１１（Ｄ）は、図１１（Ａ）〜（Ｃ）に示す画像を合成して得られた合成画像を示している。図１１（Ａ）〜（Ｃ）に示す画像から、輝度が適切な領域（画素）の画像を切り出して合成することにより、黒つぶれや白とびのない１枚（フレーム）の画像を得ることができる。
【００８３】
再び図１を参照すると、動画像処理回路４０は、ＨＤＲ画像処理回路２０によって生成されるＨＤＲ画像データを、ＭＰＥＧ（Moving Picture Experts Group）等の動画像圧縮方式に従って圧縮することにより、保存すべき画像データを生成する。また、動画像処理回路４０は、保存すべき画像データを、ＳＤカードやハードディスク等の記録媒体に記録する。ＳＤカードは、フラッシュメモリーに属する持ち運び可能な記録媒体である。あるいは、不図示の画像データ保存部が、保存すべき画像データを、ネットワークを介して他の端末に送信することにより、他の端末が画像データを記録しても良い。
【００８４】
次に、本発明の第２の実施形態について説明する。
図１２は、本発明の第２の実施形態に係る画像処理装置を用いた電子機器の構成例を示すブロック図である。第２の実施形態においては、図１に示す第１の実施形態におけるＨＤＲ画像処理回路２０及び動画像処理回路４０が、メインＣＰＵ５０と共にシステムオンチップに組み込まれて、画像処理回路６０を構成している。また、フレームメモリー３０及びフレームメモリー制御回路２３の替わりに、メインメモリー７０及びメインメモリー制御回路２３ａが用いられる。その他の点に関しては、第１の実施形態と同様である。
【００８５】
メインＣＰＵ５０は、ダイナミックレンジ拡張回路２６がダイナミックレンジ拡張動作を行う際に用いる各種のパラメーターを設定したり、動画像処理回路４０の動画像圧縮動作を制御したり、保存すべき画像データを格納するために用いられるファイルシステムの管理を行う。
【００８６】
メインメモリー７０は、圧縮回路２２から出力される画像データＡ、Ｂ、Ｃをそれぞれ格納する記憶領域７０Ａ、７０Ｂ、７０Ｃと、動画像処理回路４０が動画像圧縮動作を行う際に用いる一時記憶領域７０Ｄと、メインＣＰＵ５０のための作業領域７０Ｅとを含んでいる。
【００８７】
メインメモリー制御回路２３ａは、内部バスライン１を介して圧縮回路２２及び伸張回路２４に接続されている。メインメモリー制御回路２３ａは、圧縮回路２２から出力される複数種類の画像データＡ、Ｂ、Ｃを各種類について少なくとも１フレーム分格納するようにメインメモリー７０を制御すると共に、メインメモリー７０から画像データＡ、Ｂ、Ｃを読み出して伸張回路２４に供給する。
【００８８】
また、メインメモリー制御回路２３ａは、内部バスライン２を介して動画像処理回路４０及びメインＣＰＵ５０に接続されている。メインメモリー制御回路２３ａは、動画像処理回路４０から出力される画像データを格納するようにメインメモリー７０を制御すると共に、メインメモリー７０から画像データを読み出して動画像処理回路４０に供給する。さらに、メインメモリー制御回路２３ａは、メインＣＰＵ５０から出力されるパラメーター等を格納するようにメインメモリー７０を制御すると共に、メインメモリー７０からパラメーター等を読み出してメインＣＰＵ５０に供給する。
【００８９】
本実施形態におけるように、ダイナミックレンジ拡張動作用のフレームメモリーを後段システムのメモリーと一体化する場合においても、圧縮回路２２によって画像データの量を削減することにより、他の機能への影響を低減して、メモリー容量や内部バス帯域についての課題や制約を解決することができる。
【００９０】
以上の実施形態においては、撮像部１０のカラーフィルターにおいて、第１の色成分を青（Ｂ）とし、第２の色成分を緑（Ｇ）とし、第３の色成分を赤（Ｒ）とした場合について説明したが、本発明は、それ以外の場合にも適用可能である。例えば、第１の色成分を輝度信号（Ｙ）とし、第２及び第３の色成分を色差信号（Ｃｒ、Ｃｂ）としても良い。また、撮像部１０のカラーフィルターにおける画素配置についても、各色の位置や順番が異なったり、奇数番目のラインと偶数番目のラインとにおいて画素の水平方向位置が異なったりしても良い。
【符号の説明】
【００９１】
１、２…内部バスライン、１０…撮像部、１０１…２次元イメージセンサー、１０１ａ…ＣＣＤ、２０…ＨＤＲ画像処理装置、２１…画像データ取得部、２２…圧縮回路、２２０…並べ替え回路、２２１〜２２３…ライン圧縮回路、２３…フレームメモリー制御回路、２３ａ…メインメモリー制御回路、２４…伸張回路、２４０…復元回路、２４１〜２４３…ライン伸張回路、２５…補間回路、２６…ダイナミックレンジ拡張回路、２６１…画像切換部、２６２…正規化部、２６３…画像信頼性評価部、２６４…画像合成部、２６５…トーンマップ処理部、３０…フレームメモリー、４０…動画像処理回路、５０…メインＣＰＵ、６０…画像処理回路、７０…メインメモリー。
【図１】
2013179584.tif 000003
【図３】
2013179584.tif 000004
【図４】
2013179584.tif 000005
【図５】
2013179584.tif 000006
【図６】
2013179584.tif 000007
【図７】
2013179584.tif 000008
【図８】
2013179584.tif 000009
【図９】
2013179584.tif 000010
【図１０】
2013179584.tif 000011
【図１２】
2013179584.tif 000012
【図２】
2013179584.tif 000013
【図１１】
2013179584.tif 000014