(57)【要約】【課題】１画素当りのデータ量が８ビットを超える任意のビット数の画像データを、画質劣化を低減しながら効率的に圧縮及び伸張する。【解決手段】この画像処理装置は、入力される１画素当り９ビット以上の画像データを、１画素当り各８ビットの複数の分割画像データであって上位ビット側の分割画像データの少なくとも１つの下位ビットとその下位ビット側の分割画像データの少なくとも１つの上位ビットとが重複する複数の分割画像データに分割する画像分割部と、画像分割部によって分割された複数の分割画像データを圧縮する圧縮部と、圧縮部によって圧縮された複数の分割画像データを格納部に格納する制御部と、格納部から読み出された複数の分割画像データを伸張する伸張部と、伸張部によって伸張された複数の分割画像データに基づいて元の画像データを再構成する画像再構成部とを具備する。【選択図】図３
2013162340.tif 000002
【特許請求の範囲】
【請求項１】
入力される１画素当り９ビット以上の画像データを、１画素当り各８ビットの複数の分割画像データであって上位ビット側の分割画像データの少なくとも１つの下位ビットとその下位ビット側の分割画像データの少なくとも１つの上位ビットとが重複する複数の分割画像データに分割する画像分割部と、
前記画像分割部によって分割された複数の分割画像データを圧縮する圧縮部と、
前記圧縮部によって圧縮された複数の分割画像データを格納部に格納する制御部と、
前記格納部から読み出された複数の分割画像データを伸張する伸張部と、
前記伸張部によって伸張された複数の分割画像データに基づいて元の画像データを再構成する画像再構成部と、
を具備する画像処理装置。
【請求項２】
前記画像分割部が、上位ビット側の分割画像データにおいて、その下位ビット側の分割画像データと重複していないビットに「１」があるときに、それよりも下位ビット側の分割画像データの値を所定の値に変更する、請求項１記載の画像処理装置。
【請求項３】
前記画像再構成部が、下位ビット側の分割画像データにおいてその上位ビット側の分割画像データと重複するビットの値が所定の値であるか否かを判定し、重複するビットの値が所定の値でない場合に、下位ビット側の分割画像データを用いて元の画像データを再構成し、重複するビットの値が所定の値であり、その上位ビット側の分割画像データにおいて下位ビット側の分割画像データと重複していないビットに「１」がある場合に、その上位ビット側の分割画像データ又はそれよりも上位ビット側の分割画像データを用いて元の画像データを再構成する、請求項２記載の画像処理装置。
【請求項４】
上位ビット側の分割画像データとその下位ビット側の分割画像データとの間で重複するビットの数が、４〜６ビットである、請求項１〜３のいずれか１項記載の画像処理装置。
【請求項５】
請求項１〜４のいずれか１項記載の画像処理装置を具備する電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１画素当りのデータ量（カラー画像の場合には各色のデータ量）が８ビットを超えるようなダイナミックレンジの広い画像データを処理する画像処理装置に関する。さらに、本発明は、そのような画像処理装置を用いた電子機器等に関する。
【背景技術】
【０００２】
近年における撮像素子の高精度化に伴い、広いダイナミックレンジの画像を撮影して、ビット数の多い画像データが得られるようになっている。例えば、ＣＣＤ（Charge Coupled Device）を用いた２次元イメージセンサーを用いて、１画素当りの各色のデータ量が１０ビット〜２０ビット程度の画像データを得ることができる。
【０００３】
また、ドライブレコーダーやデジタルカメラ等の電子機器においては、ハイダイナミックレンジ（ＨＤＲ：high dynamic range）合成を行う場合がある。ＨＤＲ合成とは、露光量を変化させながら複数枚の画像を撮影し、それらを合成することによって、白とびや黒つぶれの少ない広大なダイナミックレンジを有する画像を生成する技法である。ＨＤＲ合成を行うことによって、１画素当りのデータ量がさらに拡大する。
【０００４】
しかしながら、現在の一般的な画像圧縮及び伸張システムやパーソナルコンピューター等の汎用機器は、１画素当りのデータ量が８ビットの画像データを対象としており、１画素当りのデータ量が８ビットを超えるようなダイナミックレンジの広い画像データを扱うことはできない。一方、ダイナミックレンジの広い画像データの下位ビットを切り捨てて１画素当り８ビットの画像データとすれば、その後の画像処理等において画質が劣化してしまう。
【０００５】
そこで、１画素当りのデータ量が８ビットを超えるダイナミックレンジの広い画像データを、下位ビットを切り捨てることなく圧縮してメモリーや記録媒体等の格納部に格納し、読み出された圧縮画像データを伸張して画像処理等に用いることが望まれている。
【０００６】
関連する技術として、特許文献１及び２には、高精細で取得された画像データを高い圧縮率で圧縮することができる画像データ圧縮方法が開示されている。特許文献１に開示されている画像データ圧縮方法は、画像入力手段によって１画素当り一定ビット数で取得された画像データを、上位側の所定ビット数で表される上位側ビットデータと下位側の所定ビット数で表される下位側ビットデータとに分離するステップと、上位側ビットデータに可変長符号化を施すステップと、下位側ビットデータを複数の画素宛ビットシフト演算にてパッキングするステップと、可変長符号化された上位側ビットデータ及びパッキングされた下位側ビットデータを個別に管理するための管理データを生成するステップと、可変長符号化された上位側ビットデータとパッキングされた下位側ビットデータと生成された管理データとを記憶媒体に記憶するステップとからなる。
【０００７】
また、特許文献２に開示されている画像データ圧縮方法は、画像入力手段によって１画素当り一定ビット数（１２ビット）で取得された画像データを圧縮するに当り、一定ビット数の画素毎の元データを上位の所定ビット数（８ビット）で表される上位側ビットデータと下位の所定ビット数（４ビット）で表される下位側ビットデータとに分離するステップと、上位側ビットデータに可逆的な符号化（ＪＰＥＧロスレス符号化）を施すステップと、一定ビット数（１２ビット）の画素毎の元データに基づいて下位側ビットデータ（４ビット）の有効ビット数を決定するステップと、有効ビット数の幅で下位側ビットデータの所定ビット（４ビット）のうち上位のデータを抽出するステップと、可逆的な符号化（ＪＰＥＧロスレス符号化）が施された上位側ビットデータと抽出された有効ビット数の幅の下位側ビットデータとを、個別に管理するための管理データを生成するステップと、可逆的な符号化（ＪＰＥＧロスレス符号化）が施された上位側ビットデータと抽出された有効ビット数の幅の下位側ビットデータと生成された管理データとを記憶媒体に記憶するステップとによって、圧縮処理を行うものである。
【０００８】
さらに、特許文献３には、画素データの量子化ビット数が８ビットを超え１６ビット未満の画像データを可逆的に圧縮符号化する符号化方法が開示されている。この符号化方法は、画素データをＬＳＢ側の８ビットからなる第１の部分と、第１の部分を除いたＭＳＢ側のビットからなる第２の部分とに分離するステップと、第１の部分に対して可逆的な第１の圧縮符号化を行う第１の圧縮符号化ステップと、第２の部分に対して第１の圧縮符号化とは異なる可逆的な第２の圧縮符号化を行う第２の圧縮符号化ステップとを有する。
【０００９】
特許文献１〜３に開示されている画像データ圧縮方法（符号化方法）は、例えば、１２ビットの画像データを８ビットと４ビットとに分けて、８ビットの画像データに対して可逆的な圧縮符号化（ＪＰＥＧロスレス符号化）を施すものである。４ビットの画像データは、少なくとも一部がＲＡＷデータ（生データ）のままで記録されるか、又は、簡単な圧縮符号化が施される。しかしながら、いずれの画像データ圧縮方法も、１画素当りのデータ量が１２ビット程度である場合を想定したものであり、任意のビット数に適用すると、圧縮率が低下したり画質が劣化したりするおそれがある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−２４４７４４号公報（段落０００９−００１１）
【特許文献２】特開２０００−２４４９２２号公報（段落００１０）
【特許文献３】特開２００７−２１４８１３号公報（段落００１０−００１１）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の幾つかの観点によれば、１画素当りのデータ量（カラー画像の場合には各色のデータ量）が８ビットを超える任意のビット数の画像データを、画質劣化を低減しながら効率的に圧縮及び伸張することができる。
【課題を解決するための手段】
【００１２】
本発明の１つの観点に係る画像処理装置は、入力される１画素当り９ビット以上の画像データを、１画素当り各８ビットの複数の分割画像データであって上位ビット側の分割画像データの少なくとも１つの下位ビットとその下位ビット側の分割画像データの少なくとも１つの上位ビットとが重複する複数の分割画像データに分割する画像分割部と、画像分割部によって分割された複数の分割画像データを圧縮する圧縮部と、圧縮部によって圧縮された複数の分割画像データを格納部に格納する制御部と、格納部から読み出された複数の分割画像データを伸張する伸張部と、伸張部によって伸張された複数の分割画像データに基づいて元の画像データを再構成する画像再構成部とを具備する。
【００１３】
ここで、画像分割部は、上位ビット側の分割画像データにおいて、その下位ビット側の分割画像データと重複していないビットに「１」があるときに、それよりも下位ビット側の分割画像データの値を所定の値に変更するようにしても良い。
【００１４】
その場合に、画像再構成部は、下位ビット側の分割画像データにおいてその上位ビット側の分割画像データと重複するビットの値が所定の値であるか否かを判定し、重複するビットの値が所定の値でない場合に、下位ビット側の分割画像データを用いて元の画像データを再構成し、重複するビットの値が所定の値であり、その上位ビット側の分割画像データにおいて下位ビット側の分割画像データと重複していないビットに「１」がある場合に、その上位ビット側の分割画像データ又はそれよりも上位ビット側の分割画像データを用いて元の画像データを再構成するようにしても良い。
【００１５】
以上において、上位ビット側の分割画像データとその下位ビット側の分割画像データとの間で重複するビットの数は、４〜６ビットであることが望ましい。
また、本発明の１つの観点に係る電子機器は、本発明のいずれかの観点に係る画像処理装置を具備する。
【発明の効果】
【００１６】
本発明の１つの観点によれば、１画素当りのデータ量が８ビットを超える任意のビット数の画像データを、少なくとも１つのビットを重複させながら１画素当り各８ビットの複数の分割画像データに分割して圧縮し、伸張された複数の分割画像データに基づいて元の画像データを再構成することにより、画質劣化を低減しながら効率的に圧縮及び伸張することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置を用いた電子機器のブロック図。
【図２】図１に示す圧縮回路及び伸張回路の構成例を示すブロック図。
【図３】図２に示す画像分割部における画像データの分割方法の例を示す図。
【図４】図２に示す画像再構成部における画像データの再構成方法の別の例を示す図。
【図５】図１に示すダイナミックレンジ拡張回路の構成例を示すブロック図。
【図６】ドライブレコーダーによって撮影された画像の例を示す図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
図１は、本発明の一実施形態に係る画像処理装置を用いた電子機器の構成例を示すブロック図である。本実施形態においては、１画素当りのデータ量（カラー画像の場合には各色のデータ量）が８ビットを超えるようなダイナミックレンジの広い画像データを記録するドライブレコーダーやデジタルカメラ等の電子機器を実現することができる。
【００１９】
図１に示すように、この電子機器は、撮像部１０と、画像処理装置２０と、フレームメモリー３０と、ＳＤカード４０とを含んでいる。ＳＤカード４０は、フラッシュメモリーに属する持ち運び可能な記録媒体である。ここで、フレームメモリー３０及びＳＤカード４０は、画像データを格納する格納部の例として挙げたものである。格納部としては、それらの他に、内蔵のハードディスク、外付けハードディスク、フレキシブルディスク、ＭＯ、ＭＴ、ＲＡＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＷ、又は、ＤＶＤ−ＲＡＭ等を用いることもできる。
【００２０】
以下においては、撮像部１０が１画素当り９ビット以上の各色の画像データを出力し、画像処理装置２０がハイダイナミックレンジ（ＨＤＲ：high dynamic range）合成を行う場合について説明するが、本発明はこれに限定されない。即ち、撮像部１０が１画素当り９ビット以上の各色の画像データを出力して画像処理装置２０がＨＤＲ合成を行わない場合や、撮像部１０が１画素当り８ビット以下の各色の画像データを出力して画像処理装置２０がＨＤＲ合成を行う場合にも、本発明を適用することができる。
【００２１】
撮像部１０は、ＣＣＤ（Charge Coupled Device）等の撮像素子を用いた２次元イメージセンサーを含んでいる。２次元イメージセンサーを用いてカラー撮影を行うためには、カラーフィルターによって光を３原色に分解する必要がある。一般的には、２次元イメージセンサーに含まれている複数の撮像素子（画素）に配置されるカラーフィルターをベイヤー（Bayer）型画素配置とすることにより、総画素数の削減が図られている。
【００２２】
例えば、２次元イメージセンサーの奇数番目のラインが、青（Ｂ）の色成分を透過するフィルターの透過光を受光する素子と、緑（Ｇ）の色成分を透過するフィルターの透過光を受光する素子とを、交互に含んでいる。また、２次元イメージセンサーの偶数番目のラインが、緑（Ｇ）の色成分を透過するフィルターの透過光を受光する素子と、赤（Ｒ）の色成分を透過するフィルターの透過光を受光する素子とを、交互に含んでいる。ここで、緑（Ｇ）の画素を青（Ｂ）又は赤（Ｒ）の画素の２倍設けているのは、人間の眼の分光感度が緑付近をピークとしており、緑の解像度を高くすることが見かけ上の解像度を向上させるからである。
【００２３】
撮像部１０において、ＣＣＤから読み出された電荷は、アナログフロントエンドを介してＡ／Ｄ変換部に入力され、１画素当り９ビット以上の画像データに変換される。さらに、補間回路が、画像データにおける各画素について、周辺画素のデータ値を用いて補間演算を行うことにより、各画素について赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色成分を含む画像データが得られる。
【００２４】
ＨＤＲ合成を行う場合に、撮像部１０は、異なる露光量で撮影対象（被写体）を撮影することにより、異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを生成する。例えば、撮像部１０は、異なる露光時間Ｔ１、Ｔ２、Ｔ３で撮影対象を撮影することによって、画像データＡ、Ｂ、Ｃをそれぞれ生成する。露光時間Ｔ１、Ｔ２、Ｔ３は、Ｔ１＜Ｔ２＜Ｔ３の関係にあるものとする。ここで、中間的な露光量が得られる露光時間Ｔ２を標準露光時間とし、標準露光時間で撮影された撮影対象の画像を標準画像とする。
【００２５】
露光時間の制御は、ＣＣＤから電荷を読み出すタイミングの制御によって行われ、電子シャッター機能によって実現される。ただし、本発明は、このような構成に限定されるものではなく、撮像部の絞りを制御して露光量を変更するようにしても良い。なお、４種類以上の露光量で撮影対象を撮影することにより４つ以上の画像を得る場合には、最小の露光量で撮影された画像及び最大の露光量で撮影された画像を除く画像の内から１つの画像を標準画像として選択すれば良い。このようにして得られた複数種類の画像データは、ＲＡＷデータ（生データ）として画像処理装置２０に供給される。
【００２６】
画像処理装置２０は、撮像部１０から供給される複数種類の画像データをフレームメモリー３０に一旦格納し、フレームメモリー３０から読み出された複数種類の画像データを合成することにより、ダイナミックレンジが拡張された１つのカラー画像を表す合成画像データ（ＨＤＲ画像データ）を生成する。
【００２７】
その際に、画像処理装置２０は、複数種類の画像データを圧縮してからフレームメモリー３０に格納し、フレームメモリー３０から読み出された複数種類の画像データを伸張しても良い。また、画像処理装置２０は、ＨＤＲ画像データを圧縮してからＳＤカード４０に格納し、ＳＤカード４０から読み出されたＨＤＲ画像データを伸張しても良い。
【００２８】
そのために、画像処理装置２０は、画像データ取得部２１と、圧縮回路２２と、フレームメモリー制御部２３と、伸張回路２４と、ダイナミックレンジ拡張回路２５と、圧縮回路２６と、ＳＤカード制御部２７と、伸張回路２８とを含んでいる。画像データ取得部２１は、異なる露光量で撮影対象が撮影された複数のカラー画像をそれぞれ表す複数種類の画像データを撮像部１０から取得する。
【００２９】
圧縮回路２２は、画像データ取得部２１によって取得される複数種類の画像データの内の少なくとも１種類の画像データを圧縮する。フレームメモリー制御部２３は、圧縮回路２２によって圧縮された少なくとも１種類の画像データを含む複数種類の画像データを各種類について少なくとも１フレーム分格納するように、フレームメモリー３０を制御する。なお、圧縮回路２２は、圧縮しない画像データについては、画像データ取得部２１によって取得される画像データをそのまま出力する。
【００３０】
例えば、圧縮回路２２は、露光時間Ｔ１、Ｔ２、Ｔ３で撮影対象が撮影された３つのカラー画像をそれぞれ表す画像データＡ、Ｂ、Ｃを圧縮する。フレームメモリー３０は、圧縮された画像データＡ、Ｂ、Ｃをそれぞれの記憶領域３０Ａ、３０Ｂ、３０Ｃに格納する。一方、例えば、標準画像データＢについて圧縮を行わない場合には、フレームメモリー３０は、圧縮された画像データＡ及びＣをそれぞれの記憶領域３０Ａ及び３０Ｃに格納し、圧縮されていない画像データＢを記憶領域３０Ｂに格納する。
【００３１】
また、フレームメモリー制御部２３は、フレームメモリー３０から複数種類の画像データを読み出して伸張回路２４に供給する。伸張回路２４は、フレームメモリー３０から読み出された複数種類の画像データの内で圧縮された画像データを伸張することにより、ＲＡＷデータと同じか又はほぼ等しい画像データを出力する。なお、伸張回路２４は、圧縮されていない画像データについては、フレームメモリー３０から読み出された画像データをそのまま出力する。
【００３２】
ここで、複数種類の画像データは、最も短い露光時間Ｔ１で撮影された画像を表す画像データＡと、標準露光時間Ｔ２で撮影された標準画像を表す標準画像データＢと、最も長い露光時間Ｔ３で撮影された画像を表す画像データＣとを、時系列に含んでいる。ダイナミックレンジ拡張回路２５は、伸張回路２４から出力される複数種類の画像データを合成することにより、ダイナミックレンジが拡張された１つのカラー画像を表すＨＤＲ画像データを生成する。
【００３３】
圧縮回路２６は、ダイナミックレンジ拡張回路２５によって生成されるＨＤＲ画像データを圧縮する。ＳＤカード制御部２７は、圧縮回路２６によって圧縮されたＨＤＲ画像データを格納するようにＳＤカード４０を制御する。また、ＳＤカード制御部２７は、ＳＤカード４０から圧縮されたＨＤＲ画像データを読み出して伸張回路２８に供給する。伸張回路２８は、ＳＤカード４０から読み出されたＨＤＲ画像データを伸張することにより、圧縮前のＨＤＲ画像データと同じか又はほぼ等しい復元画像データを生成して出力端子に供給する。
【００３４】
本実施形態においては、圧縮回路２２及び／又は２６が、１画素当り９ビット以上の各色の画像データを圧縮するために、入力される画像データを１画素当り各８ビットの複数の分割画像データに分割してから圧縮する。これに対応して、伸張回路２４及び／又は２８が、圧縮された複数の分割画像データを伸張し、伸張された複数の分割画像データに基づいて元の画像データを再構成する。
【００３５】
図２は、図１に示す圧縮回路及び伸張回路の構成例を示すブロック図である。以下においては、圧縮回路２６及び伸張回路２８の構成及び動作について説明するが、圧縮回路２２及び伸張回路２４の構成及び動作もそれらと同様である。
【００３６】
図２に示すように、圧縮回路２６は、画像分割部２６０と、圧縮部２６１〜２６４とを含んでいる。画像分割部２６０は、入力される１画素当り９ビット以上のＨＤＲ画像データＧ０を、１画素当り各８ビットの複数の分割画像データＧ４〜Ｇ１に分割する。その際に、画像分割部２６０は、上位ビット側の分割画像データの少なくとも１つの下位ビットとその下位ビット側の分割画像データの少なくとも１つの上位ビットとが重複するように、ＨＤＲ画像データＧ０を分割する。
【００３７】
その理由は、複数の分割画像データをそれぞれ圧縮及び伸張すると、各々の分割画像データの下位ビットの値が変化してしまう可能性があるからである。従って、上位ビット側の分割画像データとその下位ビット側の分割画像データとの間で重複するビット（「重複ビット」ともいう）を設けることにより、圧縮及び伸張による画質劣化を低減することができる。ここで、重複ビットの数は、画質劣化を低減しながら圧縮率を高めるために４〜６ビットが適しており、以下においては、重複ビットの数が４ビットである場合について説明する。
【００３８】
図３は、図２に示す画像分割部における画像データの分割方法の例を示す図である。ここでは、入力されるＨＤＲ画像データのデータ量が、各色について１画素当り２０ビットである場合について説明する。画像分割部２６０は、入力される１画素当り２０ビットのＨＤＲ画像データＧ０［１９：０］を、１画素当り各８ビットの４つの分割画像データＧ４［７：０］、Ｇ３［７：０］、Ｇ２［７：０］、Ｇ１［７：０］に分割する。
【００３９】
分割画像データＧ４及びＧ３において、上位ビット側の分割画像データＧ４の下位４ビット［３：０］とその下位ビット側の分割画像データＧ３の上位４ビット［７：４］とが重複している。また、分割画像データＧ３及びＧ２において、上位ビット側の分割画像データＧ３の下位４ビット［３：０］とその下位ビット側の分割画像データＧ２の上位４ビット［７：４］とが重複している。また、分割画像データＧ２及びＧ１において、上位ビット側の分割画像データＧ２の下位４ビット［３：０］とその下位ビット側の分割画像データＧ１の上位４ビット［７：４］とが重複している。
【００４０】
再び図２を参照すると、圧縮部２６１〜２６４は、画像分割部２６０によって分割された分割画像データＧ４〜Ｇ１をそれぞれ圧縮する。圧縮部２６１〜２６４における分割画像データＧ４〜Ｇ１の圧縮には、例えば、ＪＰＥＧ（Joint Photographic Experts Group）や、特開２００７−１８１０５１号公報に記載されている画像符号化装置及び方法を用いることができる。
【００４１】
ＪＰＥＧによれば、画像が固定サイズ（８×８画素）のブロックに分割され、そのブロック単位で、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いて、画像データが空間領域から周波数領域に変換される。変換された画像データは、量子化によって情報量を削減してから、ハフマン符号又は算術符号を用いたエントロピー符号化が施されて圧縮が行われる。エントロピー符号化とは、データの生起確率の高低に応じて異なる長さの符号を割り当てることによって圧縮を行うものである。
【００４２】
一方、特開２００７−１８１０５１号公報に記載されている画像符号化装置は、非可逆モードにおいて、符号化対象画素の画素データを規定圧縮率となる固定長符号で表現して符号化する非可逆符号化部と、可逆モードにおいて、符号化対象画素の画素データの圧縮率が規定圧縮率よりも高い圧縮率となる時には、固定長符号に対する余剰符号を余らせて符号化対象画素の画素データを符号化し、符号化対象画素の画素データの圧縮率が規定圧縮率よりも低い圧縮率となる時には、固定長符号に追加される余剰符号を消費して符号化対象画素の画素データを符号化する可逆符号化部と、可逆符号化部で符号化を行う時に、余剰符号をカウントアップし、消費された余剰符号をカウントダウンする余剰符号カウンタと、余剰カウンタのカウント値が規定圧縮率よりも低圧縮率を示す値とならない範囲で可逆符号化部の符号化動作を継続させる符号化制御部とを含んでいる。
【００４３】
この画像符号化装置によれば、余剰カウンタのカウント値が規定圧縮率よりも低圧縮率を示す値とならない範囲で可逆符号化部の符号化動作を継続させることにより、可逆モードにおける符号化が、常に規定圧縮率以上の高圧縮率となる。また、非可逆モードにおいては常に規定圧縮率で符号化を行うので、可逆モード及び非可逆モードにおけるトータルの圧縮率も規定圧縮率以上の高圧縮率となることが保障される。さらに、可逆モードを優先しているので、規定圧縮率と等しい圧縮率で符号化する非可逆モードを優先するよりも圧縮率を高めることができ、しかもデータの再現性は向上する。
【００４４】
図２に示すように、伸張回路２８は、画像再構成部２８０と、伸張部２８１〜２８４とを含んでいる。伸張部２８１〜２８４は、ＳＤカード制御部２７によってＳＤカード４０（図１）から読み出された分割画像データＧ４〜Ｇ１を伸張する。画像再構成部２８０は、伸張部２８１〜２８４によって伸張された複数の分割画像データＧ４〜Ｇ１に基づいて、元の画像データを再構成する。
【００４５】
画像データの再構成において、画像再構成部２８０は、上位ビット側の分割画像データとその下位ビット側の分割画像データとにおいて重複するビットについては下位ビット側の分割画像データを用いるようにして、分割画像データＧ４〜Ｇ１を結合しても良い。上位ビット側の分割画像データにおける下位ビットの値は、圧縮及び伸張によって変化している可能性があるからである。
【００４６】
例えば、画像再構成部２８０は、図３に示す分割画像データＧ４の上位４ビット［７：４］と、分割画像データＧ３の上位４ビット［７：４］と、分割画像データＧ２の上位４ビット［７：４］と、分割画像データＧ１［７：０］とを結合することにより、復元画像データＧ５［１９：０］を生成しても良い。
【００４７】
次に、画像データの分割方法及び再構成方法の別の例について説明する。
図２に示す画像分割部２６０は、上位ビット側の分割画像データにおいて、その下位ビット側の分割画像データと重複していないビットに「１」があるときに、それよりも下位ビット側の分割画像データの値を所定の値に変更する。
【００４８】
隣接する画素間において、画像データの上位ビットの値に高い相関があったとしても、下位ビットの値の相関はそれほど高くないと考えられる。従って、下位ビット側の分割画像データの値を所定の値に変更することにより、隣接する画素間における分割画像データの相関を高めて、画像データの圧縮率を向上させることができる。
【００４９】
上位ビット側の分割画像データにおいて、その下位ビット側の分割画像データと重複していないビットに「１」があるときには、その画像は明るい画像であり、それよりも下位ビット側の分割画像データの値はあまり重要でない。従って、このように分割画像データの値を変更しても、画質への影響は小さい。
【００５０】
これに対応して、図２に示す画像再構成部２８０は、下位ビット側の分割画像データにおいてその上位ビット側の分割画像データと重複するビットの値が所定の値であるか否かを、下位ビット側の分割画像データから順に判定して、元の画像データを再構成する。
【００５１】
即ち、画像再構成部２８０は、重複するビットの値が所定の値でない場合に、下位ビット側の分割画像データを用いて元の画像データを再構成する。一方、画像再構成部２８０は、重複するビットの値が所定の値であり、その上位ビット側の分割画像データにおいて下位ビット側の分割画像データと重複していないビットに「１」がある場合に、その上位ビット側の分割画像データ又はそれよりも上位ビット側の分割画像データを用いて元の画像データを再構成する。
【００５２】
例えば、画像分割部２６０は、図３に示す画像データの分割において、以下のようにＨＤＲ画像データＧ０を分割する。分割画像データＧ４の値が「１０ｈ」以上であるときに、それよりも下位ビット側の分割画像データＧ３、Ｇ２、Ｇ１の値が「ＦＦｈ」（２進表示でオール「１」）に変更される。なお、「ｈ」は１６進表示を表しており、１つの１６進数が４ビットの値を表している。
【００５３】
また、分割画像データＧ４の値が「１０ｈ」よりも小さく、かつ、分割画像データＧ３の値が「１０ｈ」以上であるときには、それよりも下位ビット側の分割画像データＧ２及びＧ１の値が「ＦＦｈ」に変更される。同様に、分割画像データＧ４及びＧ３の値が「１０ｈ」よりも小さく、かつ、分割画像データＧ２の値が「１０ｈ」以上であるときには、それよりも下位ビット側の分割画像データＧ１の値が「ＦＦｈ」に変更される。
【００５４】
これに対応して、画像再構成部２８０は、以下のように復元画像データＧ５を再構成する。分割画像データＧ１の上位４ビット［７：４］の値が「Ｆｈ」でない場合には、それよりも上位ビット側の分割画像データＧ４〜Ｇ２の上位４ビット［７：４］に有効なデータ（「１」）がないものと推定される。従って、図４（ａ）に示すように、復元画像データＧ５［１９：８］＝０００ｈとされ、復元画像データＧ５［７：０］＝分割画像データＧ１［７：０］とされる。
【００５５】
一方、分割画像データＧ１の上位４ビット［７：４］の値が「Ｆｈ」である場合には、それよりも上位ビット側の分割画像データＧ４〜Ｇ２に有効なデータ（「１」）が存在する可能性があるので、分割画像データＧ４〜Ｇ２の値が検討される。
【００５６】
分割画像データＧ２の上位４ビット［７：４］の値が「０ｈ」である場合には、分割画像データＧ２が圧縮及び伸張によって変化したものと推定されるので、分割画像データＧ２の下位４ビット［３：０］は使用されない。従って、図４（ａ）に示すように、復元画像データＧ５［１９：８］＝０００ｈとされ、復元画像データＧ５［７：０］＝分割画像データＧ１［７：０］とされる。
【００５７】
分割画像データＧ２の上位４ビット［７：４］の値が「１ｈ」〜「Ｅｈ」である場合には、それよりも上位ビット側の分割画像データＧ４及びＧ３の上位４ビット［７：４］に有効なデータ（「１」）がなく、分割画像データＧ２の値が有効であると推定される。従って、図４（ｂ）に示すように、復元画像データＧ５［１９：１２］＝００ｈとされ、復元画像データＧ５［１１：４］＝分割画像データＧ２［７：０］とされ、復元画像データＧ５［３：０］＝０ｈとされる。なお、復元画像データＧ５［３：０］の値は、任意の値としても良い。
【００５８】
分割画像データＧ２の上位４ビット［７：４］の値が「Ｆｈ」である場合には、それよりも上位ビット側の分割画像データＧ４及びＧ３に有効なデータ（「１」）が存在する可能性があるので、分割画像データＧ４及びＧ３の値が検討される。
【００５９】
分割画像データＧ３の上位４ビット［７：４］の値が「０ｈ」である場合には、分割画像データＧ３が圧縮及び伸張によって変化したものと推定されるので、分割画像データＧ３の下位４ビット［３：０］は使用されない。従って、図４（ｂ）に示すように、復元画像データＧ５［１９：１２］＝００ｈとされ、復元画像データＧ５［１１：４］＝分割画像データＧ２［７：０］とされ、復元画像データＧ５［３：０］＝０ｈとされる。なお、復元画像データＧ５［３：０］の値は、任意の値としても良い。
【００６０】
分割画像データＧ３の上位４ビット［７：４］の値が「１ｈ」〜「Ｅｈ」である場合には、それよりも上位ビット側の分割画像データＧ４の上位４ビット［７：４］に有効なデータ（「１」）がなく、分割画像データＧ３の値が有効であると推定される。従って、図４（ｃ）に示すように、復元画像データＧ５［１９：１６］＝０ｈとされ、復元画像データＧ５［１５：８］＝分割画像データＧ３［７：０］とされ、復元画像データＧ５［７：０］＝００ｈとされる。なお、復元画像データＧ５［７：０］の値は、任意の値としても良い。
【００６１】
分割画像データＧ３の上位４ビット［７：４］の値が「Ｆｈ」である場合には、それよりも上位ビット側の分割画像データＧ４に有効なデータ（「１」）が存在する可能性があるので、分割画像データＧ４の値が検討される。
【００６２】
分割画像データＧ４の上位４ビット［７：４］の値が「０ｈ」である場合には、分割画像データＧ４が圧縮及び伸張によって変化したものと推定されるので、分割画像データＧ４の下位４ビット［３：０］は使用されない。従って、図４（ｃ）に示すように、復元画像データＧ５［１９：１６］＝０ｈとされ、復元画像データＧ５［１５：８］＝分割画像データＧ３［７：０］とされ、復元画像データＧ５［７：０］＝０ｈとされる。なお、復元画像データＧ５［７：０］の値は、任意の値としても良い。
【００６３】
分割画像データＧ４の上位４ビット［７：４］の値が「１ｈ」〜「Ｆｈ」である場合には、分割画像データＧ４の値が有効であると推定される。従って、図４（ｄ）に示すように、復元画像データＧ５［１９：１２］＝分割画像データＧ４［７：０］とされ、復元画像データＧ５［１１：０］＝０００ｈとされる。なお、復元画像データＧ５［１１：０］の値は、任意の値としても良い。
【００６４】
次に、図１に示すダイナミックレンジ拡張回路２５の構成及び動作について説明する。
図５は、図１に示すダイナミックレンジ拡張回路の構成例を示すブロック図である。ダイナミックレンジ拡張回路２５は、画像切換部２５１と、正規化部２５２と、画像信頼性評価部２５３と、画像合成部２５４とを含んでいる。
【００６５】
画像切換部２５１は、伸張回路２４から順次供給される画像データＡ、Ｂ、Ｃを分離して、正規化部２５２及び画像信頼性評価部２５３に供給する。正規化部２５２は、画像データＡ、Ｂ、Ｃを正規化する。これと並行して、画像信頼性評価部２５３は、画像データＡ、Ｂ、Ｃの信頼性を評価して、信頼性の評価結果を画像合成部２５４に供給する。
【００６６】
画像合成部２５４は、画像信頼性評価部２５３から供給される信頼性の評価結果に基づいて、正規化部２５２によって正規化された画像データＡ、Ｂ、Ｃをハイダイナミックレンジ合成することにより、ダイナミックレンジが拡張された画像を表すＨＤＲ画像データＤを生成する。
【００６７】
このようなダイナミックレンジ拡張処理によれば、異なる露光量で撮影対象が撮影された複数の画像データの信頼性を、画像データの色成分毎に評価することができる。また、評価された信頼性に基づいて、それらの画像データの色成分の内から信頼性の高い色成分を採用し、採用された色成分を合成して合成画像データを生成することができる。
【００６８】
図６は、本発明が適用されるドライブレコーダーによって撮影された画像の例を示す図である。図６には、露光時間を３段階に変えてトンネルの出口付近を撮影して得られた画像、及び、それらの画像を合成して得られた合成画像が示されている。
【００６９】
図６（Ａ）は、短時間露光の画像を示している。短時間露光の場合には、トンネルの外の被写体は明瞭に撮影されるが、トンネルの中の被写体は黒つぶれによって不明瞭となる。一方、図６（Ｃ）は、長時間露光の画像を示している。長時間露光の場合には、トンネルの中の被写体は明瞭に撮影されるが、トンネルの外の被写体は白とびによって不明瞭となる。また、図６（Ｂ）は、標準露光の画像を示している。標準露光の場合には、トンネルの中の一部において黒つぶれが発生し、トンネルの外の一部において白とびが発生する。
【００７０】
図６（Ｄ）は、図６（Ａ）〜（Ｃ）に示す画像を合成して得られた合成画像を示している。図６（Ａ）〜（Ｃ）に示す画像から、輝度が適切な領域（画素）の画像を切り出して合成することにより、黒つぶれや白とびのない１枚（フレーム）の画像を得ることができる。
【００７１】
以上の実施形態においては、撮像部１０のカラーフィルターにおいて、第１の色成分を青（Ｂ）とし、第２の色成分を緑（Ｇ）とし、第３の色成分を赤（Ｒ）とした場合について説明したが、本発明は、それ以外の場合にも適用可能である。例えば、第１の色成分を輝度信号（Ｙ）とし、第２及び第３の色成分を色差信号（Ｃｒ、Ｃｂ）としても良い。
【符号の説明】
【００７２】
１０…撮像部、２０…画像処理装置、２１…画像データ取得部、２２…圧縮回路、２３…フレームメモリー制御部、２４…伸張回路、２５…ダイナミックレンジ拡張回路、２５１…画像切換部、２５２…正規化部、２５３…画像信頼性評価部、２５４…画像合成部、２６…圧縮回路、２６０…画像分割部、２６１〜２６４…圧縮部、２７…ＳＤカード制御部、２８…伸張回路、２８０…画像再構成部、２８１〜２８４…伸張部、３０…フレームメモリー、４０…ＳＤカード
【図１】
2013162340.tif 000003
【図２】
2013162340.tif 000004
【図３】
2013162340.tif 000005
【図４】
2013162340.tif 000006
【図５】
2013162340.tif 000007
【図６】
2013162340.tif 000008