(57)【特許請求の範囲】
【請求項１】
第１露光時間で撮像された第１画像と、前記第１露光時間より短い第２露光時間で撮像されて前記第１画像とともに画像合成処理が成される第２画像とが入力され、前記第１画像のうち前記画像合成処理の際に使用されない高輝度の画素値をＤＣ変換するとともに、前記第２画像のうち前記画像合成処理の際に使用されない低輝度の画素値をＤＣ変換するＤＣ成分変換部と、
前記画像合成処理を行う画像合成部と、を備え、
前記画像合成部は、
前記第１画像のうち高輝度の画素値を判定するための第１閾値と、
前記第１画像のうち低輝度の画素値を判定するための第２閾値と、
に基づいて画像合成を行い、
前記ＤＣ成分変換部は、前記第１閾値より大きい前記第１画像の画素値を、前記第１閾値でＤＣ変換を行い、
前記第２閾値に基づき、前記第２画像のうち低輝度の画素値を判定するための第３閾値を算出し、前記第３閾値より小さい前記第２画像の画素値を、前記第３閾値でＤＣ変換を行うことを特徴とする、撮像装置。
【請求項２】
前記ＤＣ成分変換部は、
前記第１画像のうち前記画像合成処理の際に使用されない高輝度の画素値を前記第１閾値でＤＣ変換する第１画素変換部と、
前記第２画像のうち前記画像合成処理の際に使用されない低輝度の画素値を前記第３閾値でＤＣ変換する第２画素変換部と、
を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
画像を圧縮する画像圧縮部と、
前記第１画像及び第２画像の一方において前記ＤＣ成分変換部によってＤＣ変換される画素数を、前記第１画像及び前記第２画像の他方の画素値に基づいて予測するＤＣ成分予測部と、を更に備え、
前記画像圧縮部は、
画像圧縮方式の異なる第１画像圧縮部及び第２画像圧縮部を備え、
前記ＤＣ成分予測部によって予測された前記ＤＣ変換される画素数に基づいて、前記第１画像圧縮部又は前記第２画像圧縮部を選択し、前記第１画像及び前記第２画像の一方の圧縮を行う
ことを特徴とする、請求項１または２に記載の撮像装置。
【請求項４】
前記第１画像圧縮部の圧縮方式は、ランレングス符号化方式であり、
前記第２画像圧縮部の圧縮方式は、ランレングス符号化方式以外の方式である
ことを特徴とする、請求項３に記載の撮像装置。
【請求項５】
第１露光時間で撮像された第１画像と、前記第１露光時間より短い第２露光時間で撮像されて前記第１画像とともに画像合成処理が成される第２画像とが入力され、前記第１画像のうち前記画像合成処理の際に使用されない高輝度の画素値をＤＣ変換するとともに、前記第２画像のうち前記画像合成処理の際に使用されない低輝度の画素値をＤＣ変換するＤＣ成分変換工程と、
前記画像合成処理を行う画像合成工程と、を含み、
前記画像合成工程においては、
前記第１画像のうち高輝度の画素値を判定するための第１閾値と、
前記第１画像のうち低輝度の画素値を判定するための第２閾値と、
に基づいて画像合成を行い、
前記ＤＣ成分変換工程においては、前記第１閾値より大きい前記第１画像の画素値を、前記第１閾値でＤＣ変換を行い、
前記第２閾値に基づき、前記第２画像のうち低輝度の画素値を判定するための第３閾値を算出し、前記第３閾値より小さい前記第２画像の画素値を、前記第３閾値でＤＣ変換を行うことを特徴とする、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮方法及び撮像装置に関する。
【背景技術】
【０００２】
近年では、デジタルスチルカメラやデジタルビデオカメラにおいて、多画素化が進んでいる。ここで、画像処理ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）内又は画像処理ＬＳＩチップとメモリ等のチップ間で転送される画像データは、画像Ｂｕｓを経由する。そのため、下記の特許文献１及び２のように、撮像画像を一旦メモリに転送した後、画像処理ＬＳＩに転送して画像処理を行う場合、多画素化によってサイズが大きくなった画像データの転送の際に、画像Ｂｕｓに大きな負荷がかかる。
【０００３】
そこで、画像処理ＬＳＩのクロック周波数や画像Ｂｕｓ部のｂｉｔ幅を増加させることも考えられる。しかし、画像処理ＬＳＩのクロック周波数を増加させる場合には、撮像装置の消費電力が上昇する。また、画像Ｂｕｓ部のｂｉｔ幅を増加させる場合には、製品の生産コストが上昇する。
【０００４】
上記のような問題に対し、例えば、下記の特許文献３には、取得した撮像画像データに対し画像圧縮を含めた各種画像処理を行った後、最終的な画像データのみをメインメモリに格納することにより、画像Ｂｕｓに画像データを転送する回数を減少させる方法が開示されている。
【０００５】
また、画像データを可変長符号化方式で圧縮することにより、画像データの転送の際の画像Ｂｕｓ部の負荷を小さくする方法が提案されている。例えば、下記の特許文献４には、画像を画素の係数値Ｌ及び連続する係数値Ｌの個数Ｒを用いてＲＬ列で表現した後、複数のコードテーブルを切り替えながらＲＬ列の符号化を行うことにより、画像圧縮を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−５１５３２６号公報
【特許文献２】特開２０１１−１７１８４２号公報
【特許文献３】特開２０１１−１５５６９６号公報
【特許文献４】特開２０１０−１６１７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
撮像画像中には、予め画像処理において使用しないことが判明している画素情報が含まれる場合がある。特に、異なる露光時間で撮像された複数の撮像画像を合成することにより、ダイナミックレンジの広いワイドダイナミックレンジ画像を生成する場合には、長時間露光撮像画像の高輝度領域及び短時間露光撮像画像の低輝度領域に含まれる画素情報を使用しないことが予め判明している。
【０００８】
しかし、上記の引用文献３及び４に記載の技術では、画像圧縮後のワイドダイナミックレンジ処理において予め不要と判明している長時間露光撮像画像の高輝度領域及び短時間露光撮像画像の低輝度領域に含まれる画素情報についても一律に圧縮を行うため、圧縮効率が悪い。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ワイドダイナミックレンジ処理前に、ワイドダイナミックレンジ処理に使用する画像の効率的な圧縮をすることが可能な、新規かつ改良された撮像装置及び画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、第１露光時間で撮像された第１画像と、前記第１露光時間より短い第２露光時間で撮像されて前記第１画像とともに画像合成処理が成される第２画像とが入力され、前記第１画像のうち前記画像合成処理の際に使用されない高輝度の画素値をＤＣ変換するとともに、前記第２画像のうち前記画像合成処理の際に使用されない低輝度の画素値をＤＣ変換するＤＣ成分変換部を備えることを特徴とする、撮像装置が提供される。
【００１１】
この構成により、第１画像のうち画像合成処理の際に使用されない高輝度の画素値、及び第２画像のうち画像合成処理の際に使用されない低輝度の画素値がＤＣ変換される。その結果、第１画像及び第２画像を効率的に圧縮することが可能になる。
【００１２】
また、前記ＤＣ成分変換部は、前記第１画像のうち前記画像合成処理の際に使用されない高輝度の画素値を第１変換値でＤＣ変換する第１画素変換部と、前記第２画像のうち前記画像合成処理の際に使用されない低輝度の画素値を第２変換値でＤＣ変換する第２画素変換部と、を備える。
【００１３】
この構成により、第１画像のうち画像合成処理の際に使用されない高輝度の画素値が第１変換値でＤＣ変換され、第２画像のうち画像合成処理の際に使用されない低輝度の画素値が第２変換値でＤＣ変換される。その結果、第１画像及び第２画像を効率的に圧縮することが可能になる。
【００１４】
また、前記撮像装置は、前記画像合成処理を行う画像合成部を更に備え、前記画像合成部は、前記第１画像のうち高輝度の画素値を判定するための第１閾値と、前記第１画像のうち低輝度の画素値を判定するための第２閾値と、に基づいて画像合成を行い、前記第１画素変換部は、前記第１閾値より大きい前記第１画像の画素値を、前記第１変換値でＤＣ変換を行い、前記第２画素変換部は、前記第２閾値に基づき、前記第２画像のうち低輝度の画素値を判定するための第３閾値を算出し、前記第３閾値より小さい前記第２画像の画素値を、前記第２変換値でＤＣ変換を行う。
【００１５】
この構成により、第１画像のうち画像合成処理の際に使用されない第１閾値より大きい画素値が第１変換値でＤＣ変換され、第２画像のうち画像合成処理の際に使用されない第２閾値より小さい画素値が第２変換値でＤＣ変換される。その結果、第１画像のうち高輝度の画素値及び第２画像のうち低輝度の画素値を容易に判別するとともに、第１画像及び第２画像を効率的に圧縮することが可能になる。また、第１画像及び第２画像が合成されることにより、ダイナミックレンジの広い画像が生成される。
【００１６】
また、前記第１変換値は、前記第１閾値であり、前記第２変換値は、前記第３閾値である。
【００１７】
この構成により、第１画像のうち高輝度の画素値が画像合成処理における第１閾値でＤＣ変換されるとともに、第２画像のうち低輝度の画素値が画像合成処理における第２閾値でＤＣ変換される。その結果、ＤＣ変換される画素値と、ＤＣ変換されない画素値との差が小さくなり、第１画像及び第２画像を効率的に圧縮することが可能になる。
【００１８】
また、前記撮像装置は、画像を圧縮する画像圧縮部と、前記第１画像及び第２画像の一方において前記ＤＣ成分変換部によってＤＣ変換される画素数を、前記第１画像及び前記第２画像の他方の画素値に基づいて予測するＤＣ成分予測部と、を更に備え、前記画像圧縮部は、画像圧縮方式の異なる第１画像圧縮部及び第２画像圧縮部を備え、前記ＤＣ成分予測部によって予測された前記ＤＣ変換される画素数に基づいて、前記第１画像圧縮部又は前記第２画像圧縮部を選択し、前記第１画像及び前記第２画像の一方の圧縮を行う。
【００１９】
この構成により、第１画像及び第２画像の一方の画像圧縮が行われる前に、第１画像及び第２画像の一方のＤＣ変換される画素数が予測され、圧縮方式が選択される。その結果、入力された第１画像及び第２画像に適切な圧縮方式を選択することが可能になる。
【００２０】
また、前記第１画像圧縮部の圧縮方式は、ランレングス符号化方式であり、前記第２画像圧縮部の圧縮方式は、ランレングス符号化方式以外の方式である。
【００２１】
この構成により、第１画像及び第２画像の一方をより効率的に圧縮することが可能になる。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、第１露光時間で撮像された第１画像と、前記第１露光時間より短い第２露光時間で撮像されて前記第１画像とともに画像合成処理が成される第２画像とが入力され、前記第１画像のうち前記画像合成処理の際に使用されない高輝度の画素値をＤＣ変換するとともに、前記第２画像のうち前記画像合成処理の際に使用されない低輝度の画素値をＤＣ変換するＤＣ成分変換工程を含むことを特徴とする、画像処理方法。
【００２３】
この構成により、第１画像のうち画像合成処理の際に使用されない高輝度の画素値、及び第２画像のうち画像合成処理の際に使用されない低輝度の画素値がＤＣ変換される。その結果、第１画像及び第２画像を効率的に圧縮することが可能になる。
【発明の効果】
【００２４】
以上説明したように本発明によれば、ワイドダイナミックレンジ処理前に、ワイドダイナミックレンジ処理に使用する画像の効率的な圧縮をすることが可能になる。
【図面の簡単な説明】
【００２５】
【図１】ワイドダイナミックレンジ処理を行う撮像装置の全体構成の一例を示した説明図である。
【図２】ワイドダイナミックレンジ処理を行う撮像装置の画像合成部について、詳細な機能構成を示した説明図である。
【図３】長時間露光撮像画像及び短時間露光撮像画像Ｐ２における、光量と信号値との関係を示した説明図である。
【図４】長時間露光撮像画像における輝度ヒストグラムの一例を示した説明図である。
【図５】短時間露光撮像画像における輝度ヒストグラムの一例を示した説明図である。
【図６】本発明の第１の実施形態に係る撮像装置の全体構成の一例を示した説明図である。
【図７】同実施形態に係るＤＣ成分変換部について、詳細な機能構成を示した説明図である。
【図８】同実施形態に係るＤＣ成分変換処理の流れの一例を示した流れ図である。
【図９】同実施形態に係るＤＣ成分変換処理の流れの一例を示した流れ図である。
【図１０】ＤＣ成分変換処理前の画像のＤＣ変換領域の空間周波数分布の一例を示した説明図である。
【図１１】ＤＣ成分変換処理後の画像のＤＣ変換領域の空間周波数分布の一例を示した説明図である。
【図１２】ワイドダイナミックレンジ処理に用いる画像におけるＤＣ変換領域の一例を示した説明図である。
【図１３】本発明の第２の実施形態に係る撮像装置の全体構成の一例を示した説明図である。
【図１４】同実施形態に係る撮像装置の画像圧縮処理の流れの一例を示した流れ図である。
【図１５】同実施形態の変形例における画像圧縮処理の流れの一例を示した流れ図である。
【図１６】同実施形態に係る撮像装置において撮像される撮像画像の輝度ヒストグラムの一例を示した説明図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
＜１．ワイドダイナミックレンジ処理について＞
本発明の好適な実施形態についての説明に先立ち、ワイドダイナミックレンジ（以下、ＷＤＲという。）画像合成処理について、図１〜図５を参照しながら説明する。
【００２８】
ダイナミックレンジとは、撮像素子の飽和信号出力レベルとノイズの最大値との差である。ＷＤＲ画像とは、一定の露光量で撮像した場合に撮像素子が表現できるダイナミックレンジよりも広いダイナミックレンジを有する画像である。ＷＤＲ画像は、複数の露光時間の異なる画像を合成することにより生成される。
【００２９】
図１は、ＷＤＲ処理を行う撮像装置の全体構成の一例を示した説明図である。ＷＤＲ処理を行う撮像装置は、図１に示すように、レンズ１０１と、撮像素子１０３と、画像圧縮部１０７と、画像Ｂｕｓ部１０９と、画像記憶部１１１と、画像伸張部１１３と、画像合成部１１５と、を主に備える。
【００３０】
レンズ１０１は、被写体から入射した光を集光し、撮像素子１０３で結像させる。なお、レンズ１０１に入射する光量は、絞り（不図示）によって調節される。
【００３１】
撮像素子１０３は、レンズ１０１を透過して入射した光を電気信号に変換する複数の光電変換素子で構成される。撮像素子１０３は、被写体像が入射する撮像面を有し、受光した光量に応じた電気信号を生成する。なお、利用可能な撮像素子１０３としては、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどがある。
【００３２】
撮像素子１０３は、生成した電気信号を画像圧縮部１０７に出力する。
【００３３】
画像圧縮部１０７は、入力された画像を圧縮（符号化）する。圧縮方式は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）等のフォーマット、もしくは独自フォーマットであり、可逆圧縮が一般的である。
【００３４】
画像圧縮部１０７は、画像Ｂｕｓ部１０９を介して、圧縮画像を画像記憶部１１１に出力する。
【００３５】
また、撮像装置は、画像圧縮部１０７の代わりに、Ｐａｃｋ処理を行うＰａｃｋ処理部を備えていても良い。
【００３６】
（Ｐａｃｋ処理の概要）
撮像素子１０３から入力される画素値は１２ｂｉｔで表現されることが多い。一方で、画像処理ＬＳＩがＳＤＲＡＭへ転送する最小単位は１ｂｙｔｅ（＝８ｂｉｔ）である。１画素が１２ｂｉｔで表現されている場合は、転送するためには２ｂｙｔｅ必要になるため、そのまま転送すると、上位４ｂｉｔは、無駄になってしまう。このため、上位４ｂｉｔに次の画素を挿入して、上記のように無駄なｂｉｔを転送しない方式のことを、Ｐａｃｋ処理という。
【００３７】
ここで、ＷＤＲ処理を行う撮像装置においては、長時間露光撮像画像Ｐ１及び短時間露光撮像画像Ｐ２の２枚の画像データを使用する。そのため、まず、長時間露光撮像画像Ｐ１がレンズ１０１、撮像素子１０３などの光学系によって撮像された後、画像圧縮部１０７によって圧縮され、画像記憶部１１１に一時的に記憶される。次に、短時間露光撮像画像Ｐ２がレンズ１０１、撮像素子１０３などの光学系によって撮像された後、画像圧縮部１０７によって圧縮され、画像記憶部１１１に一時的に記憶される。
【００３８】
画像記憶部１１１は、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）等のメモリであり、撮像された画像を一時的に記憶する。画像記憶部１１１に記憶された圧縮画像は、画像合成のために伸張される際に読み出される。
【００３９】
画像伸張部１１３は、画像記憶部１１１に記憶された長時間露光撮像画像及び短時間露光撮像画像を圧縮（符号化）した圧縮画像を伸張（復号化）する。画像伸張部１１３は、画像圧縮部１０７の圧縮方式に対応した方法で圧縮画像の伸張を行う。
【００４０】
画像伸張部１１３は、伸張した画像を、画像合成部１１５に出力する。
【００４１】
長時間露光撮像画像を圧縮後、伸張した画像（以下、長時間露光伸張画像Ｐ１’）と、短時間露光撮像画像を圧縮後、伸張した画像（以下、短時間露光伸張画像Ｐ２’）と、が画像合成部１１５に入力される。画像合成部１１５は、長時間露光伸張画像Ｐ１’及び短時間露光伸張画像Ｐ２’を合成することにより、ＷＤＲ画像Ｐ３を生成する。
【００４２】
以下では、図２を参照しながら、画像合成部１１５の機能構成の詳細について説明する。図２は、画像合成部１１５の機能構成を示した説明図である。
【００４３】
図２に示すように、画像合成部１１５は、レベル判定部１３１と、合成処理部１３３とを備える。長時間露光伸張画像Ｐ１’は、画像合成部１１５のレベル判定部１３１及び合成処理部１３３に入力される。短時間露光伸張画像Ｐ２’は、露光比率αを乗算された後、合成処理部１３３に入力される。なお、露光比率αは露光時間の異なる長時間露光撮像画像及び短時間露光撮像画像を合成するための係数であり、例えば、下記の式１０１で表される。
【００４４】
【数１】
0005847569.tif 000002
・・・（１０１）
【００４５】
レベル判定部１３１は、予めＲＯＭ等に記録された閾値ＴＨ０及び閾値ＴＨ１（ＴＨ１＞ＴＨ０）を用いて、入力された長時間露光伸張画像Ｐ１’を構成する各画素の閾値判定を行う。レベル判定部１３１は、長時間露光伸張画像Ｐ１’の各画素値と閾値との大小関係によって、各画素が３種類のＣａｓｅ（Ｃａｓｅ１〜Ｃａｓｅ３）のいずれかに属するかを判定する。
【００４６】
ここで、長時間露光伸張画像Ｐ１’の位置（ｘ，ｙ）における画素値をＬＰ（ｘ，ｙ）とする。
【００４７】
【数２】
0005847569.tif 000003
・・・(１０３)
0005847569.tif 000004
・・・（１０５）
0005847569.tif 000005
・・・（１０７）
【００４８】
上記の式１０３が成立する場合を、Ｃａｓｅ１とする。式１０５が成立する場合を、Ｃａｓｅ２とする。式１０７が成立する場合を、Ｃａｓｅ３とする。
【００４９】
レベル判定部１３１は、長時間露光伸張画像Ｐ１’を構成する各画素の閾値判定を行うと、判定結果を合成処理部１３３に出力する。
【００５０】
なお、レベル判定部１３１は、長時間露光伸張画像Ｐ１’を構成する各画素の閾値判定を行う代わりに、短時間露光伸張画像Ｐ２’を構成する各画素の閾値判定を行ってもよい。
【００５１】
合成処理部１３３は、レベル判定部１３１の判定結果に基づき、長時間露光伸張画像Ｐ１’の位置（ｘ，ｙ）における画素値ＬＰ（ｘ，ｙ）と短時間露光伸張画像Ｐ２’の位置（ｘ，ｙ）における画素値ＳＰ（ｘ，ｙ）とから、生成するＷＤＲ画像Ｐ３の位置（ｘ，ｙ）における画素値Ｐ３（ｘ，ｙ）を算出する。
【００５２】
（Ｃａｓｅ１）
Ｃａｓｅ１においては、短時間露光伸張画像Ｐ２’の低輝度領域で、輝度の違いを表現できずに画像情報が欠落してしまう黒つぶれが発生していることがある。そのため、合成処理部１３３は、短時間露光伸張画像Ｐ２’の画素値ＳＰ（ｘ，ｙ）を用いずに、長時間露光伸張画像Ｐ１’の画素値ＬＰ（ｘ，ｙ）を、ＷＤＲ画像の画素値Ｐ３（ｘ，ｙ）として出力する。
【００５３】
（Ｃａｓｅ２）
Ｃａｓｅ２においては、合成処理部１３３は、下記の式１０９に基づいてＷＤＲ画像の画素値Ｐ３（ｘ，ｙ）を算出し、算出した値を出力する。なお、式１０９のβは、長時間露光伸張画像Ｐ１’及び短時間露光伸張画像Ｐ２’を合成する割合を表す係数である。
【００５４】
【数３】
0005847569.tif 000006
・・・（１０９）
【００５５】
（Ｃａｓｅ３）
Ｃａｓｅ３においては、長時間露光伸張画像Ｐ１’の高輝度領域で、輝度の違いを表現できずに画像情報が欠落してしまう白とびが発生していることがある。そのため、合成処理部１３３は、長時間露光伸張画像Ｐ１’の画素値ＬＰ（ｘ，ｙ）を用いずに、短時間露光伸張画像Ｐ２’の画素値ＳＰ（ｘ，ｙ）に画素値に露光比率αを乗算した値を、ＷＤＲ画像の画素値Ｐ３（ｘ，ｙ）として出力する。
【００５６】
以上、図２を参照しながら、画像合成部１１５の詳細な機能構成について説明した。
【００５７】
ここで、図３〜図５を参照しながら、画像合成部１１５で用いられない画像情報について考える。図３は、長時間露光撮像画像Ｐ１及び短時間露光撮像画像Ｐ２における、光量と信号値との関係を示した説明図である。図４は、長時間露光撮像画像Ｐ１における輝度ヒストグラムの一例を示した説明図である。図５は、短時間露光撮像画像Ｐ２における輝度ヒストグラムの一例を示した説明図である。
【００５８】
図３に示すように、ＬＰ＜ＴＨ０（Ｃａｓｅ１）の領域では、短時間露光撮像画像Ｐ２の画素値はＷＤＲ画像Ｐ３の合成において使用されない。また、ＬＰ＞ＴＨ１（Ｃａｓｅ３）の領域では、長時間露光撮像画像Ｐ１の画素値はＷＤＲ画像Ｐ３の合成において使用されない。
【００５９】
ここで、図４に示すように、露光時間が長い長時間露光撮像画像Ｐ１においては、ＷＤＲ画像Ｐ３の合成に使用しない、高い信号値を有する画素が多く存在する場合がある。また図５に示すように、露光時間が短い短時間露光撮像画像Ｐ２においては、ＷＤＲ画像Ｐ３の合成に使用しない、低い信号値を有する画素が多く存在する場合がある。
【００６０】
つまり、長時間露光撮像画像Ｐ１及び短時間露光撮像画像Ｐ２は、ＷＤＲ画像Ｐ３の合成に不要な画素情報を多く包含している。
【００６１】
以下では、上記のような不要な画素情報を長時間露光撮像画像Ｐ１及び短時間露光撮像画像Ｐ２が多く包含していることによる撮像装置への影響について説明する。
【００６２】
上述したように、ＷＤＲ処理は、長時間露光撮像画像Ｐ１及び短時間露光撮像画像Ｐ２の２枚の画像データを使用する。そのため、長時間露光撮像画像Ｐ１及び短時間露光撮像画像Ｐ２が、ＷＤＲ処理前に一時的に、画像Ｂｕｓ部１０９経由で画像記憶部１１１に記録される。
【００６３】
ここで、近年では画像データが多画素化している。そのため、要求処理速度を実現するためには、画像処理ＬＳＩのクロック周波数を上げることが必要となり、画像データの画像記憶部１１１への転送の際に発生する消費電力が増大する現象が生じている。
【００６４】
また、画像記憶部１１１へ転送する前に行う画像圧縮処理又はＰａｃｋ処理においては、ＷＤＲ処理の際に不要な画素情報が形成する領域のＡＣ成分も含めて圧縮又はＰａｃｋ処理を行うため、非効率であるという現象が生じている。
【００６５】
ここで、ＷＤＲ処理の際に不要な画素情報は、長時間露光撮像画像Ｐ１の高輝度領域及び短時間露光撮像画像Ｐ２の低輝度領域である。図４に示すように、長時間露光撮像画像Ｐ１では、露光時間が長く高輝度側の信号値を有する画素数が多い傾向が強い。換言すれば、長時間露光撮像画像Ｐ１において、画像全体の面積に対する高輝度領域の面積の割合が大きくなる傾向が強い。また、図５に示すように、短時間露光撮像画像Ｐ２では、露光時間が短く低輝度側の信号値を有する画素数が多い傾向が強い。換言すれば、短時間露光撮像画像Ｐ２において、画像全体の面積に対する低輝度領域の面積の割合が大きくなる傾向が強い。
【００６６】
つまり、ＷＤＲ処理に不要な画像情報が多く含まれたまま非常に効率の悪い画像圧縮及び圧縮画像の転送が行われることとなる。
【００６７】
本発明者は、ワイドダイナミックレンジ処理前に、ワイドダイナミックレンジ処理に使用する画像の効率的な圧縮をすることが可能な技術について鋭意検討を行った結果、以下で説明するような技術に想到した。
＜２．第１の実施形態＞
［２−１：本実施形態に係る撮像装置１０の全体構成］
まず、図６を参照しながら、本発明の第１の実施形態に係る撮像装置１０の全体構成について説明をする。図６は、本実施形態に係る撮像装置１０の全体構成の一例を示した説明図である。なお、図６に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは、変更したりしてもよい。また、撮像装置１０は、例えば、静止画像を撮影可能なデジタルスチルカメラ、動画像を撮影可能なビデオカメラ、或いは、デジタルスチルカメラやビデオカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどである。
【００６８】
本実施形態に係る撮像装置１０は、図６に示すように、レンズ１０１と、撮像素子１０３と、ＤＣ成分変換部１０５と、画像圧縮部１０７と、画像Ｂｕｓ部１０９と、画像記憶部１１１と、画像伸張部１１３と、画像合成部１１５と、を備える。
【００６９】
図６のＰ１１は、ＷＤＲ処理に用いる長時間露光撮像画像を表す。また、図６のＰ２１は、ＷＤＲ画像生成に用いる短時間露光撮像画像を表す。
【００７０】
レンズ１０１は、被写体から入射した光を撮像素子１０３まで導光する。なお、レンズ１０１に入射する光量は、絞り（不図示）によって調節される。
【００７１】
撮像素子１０３は、レンズ１０１を透過して入射した光を電気信号に変換する複数の光電変換素子で構成される。撮像素子１０３は、被写体像が入射する撮像面を有し、受光した光量に応じた電気信号を生成する。なお、利用可能な撮像素子１０３としては、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどがある。
【００７２】
撮像素子１０３は、順次撮像した長時間露光撮像画像Ｐ１１及び短時間露光撮像画像Ｐ２１をＤＣ成分変換部１０５に出力する。
【００７３】
ＤＣ成分変換部１０５に長時間露光撮像画像Ｐ１１及び短時間露光撮像画像Ｐ２１が入力されると、ＤＣ成分変換部１０５は、長時間露光撮像画像Ｐ１１及び短時間露光撮像画像Ｐ２１において、ＷＤＲ処理に用いない領域についてはＤＣ変換する。なお、本稿において、ＤＣ変換とは、値を一定の値で置き換えることをいう。ＤＣ成分変換部１０５が行うＤＣ変換処理についての詳細については後述する。
【００７４】
ＤＣ成分変換部１０５は、ＤＣ変換を行うと、長時間露光変換画像Ｐ１２及び短時間露光変換画像Ｐ２２を、画像圧縮部１０７に出力する。
【００７５】
画像圧縮部１０７は、入力された長時間露光変換画像Ｐ１２及び短時間露光変換画像Ｐ２２を圧縮する。圧縮方式は、例えば、ＪＰＥＧ、ＰＮＧ等のフォーマット、もしくは独自フォーマットであり、可逆圧縮が一般的である。
【００７６】
画像圧縮部１０７は、長時間露光変換画像Ｐ１２及び短時間露光変換画像Ｐ２２を圧縮すると、圧縮後の各画像を、画像Ｂｕｓ部１０９を介して画像記憶部１１１に出力する。
【００７７】
また、撮像装置１０は、画像圧縮部１０７の代わりに、Ｐａｃｋ処理を行うＰａｃｋ処理部を備えていても良い。
【００７８】
画像記憶部１１１は、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）等のメモリであり、撮像された画像を一時的に記憶する。画像記憶部１１１に記憶された圧縮画像は、画像合成のために伸張される際に読み出される。
【００７９】
画像記憶部１１１に記録された長時間露光変換画像Ｐ１２及び短時間露光変換画像Ｐ２２を圧縮（符号化）した圧縮画像を、画像伸張部１１３は、伸張（復号化）する。画像伸張部１１３は、画像圧縮部１０７の圧縮方式に対応した方法で圧縮画像の伸張を行う。
【００８０】
画像伸張部１１３は、圧縮画像を伸張すると、伸張した画像を画像合成部１１５に出力する。
【００８１】
画像合成部１１５は、長時間露光撮像画像を圧縮後、伸張した画像と、短時間露光撮像画像を圧縮後、伸張した画像とを合成することにより、ＷＤＲ画像Ｐ３を生成する。画像合成部１１５の機能構成については、図２及び上記で説明した内容と同様である。
【００８２】
［２−２：ＤＣ成分変換部１０５の機能構成］
以下では、図７〜図９を参照しながら、ＤＣ成分変換部１０５の詳細な機能構成について説明する。図７は、ＤＣ成分変換部１０５の機能構成を示した説明図である。図８及び図９は、ＤＣ成分変換部１０５が行う処理の流れの一例を示した説明図である。
【００８３】
図７に示すように、ＤＣ成分変換部１０５は、第１レベル判定部１２１と、第１画素変換部１２３と、第２レベル判定部１２５と、第２画素変換部１２７とを備える。
【００８４】
ＴＨ０’及びＴＨ１は、ＷＤＲ処理にて使用する画像情報を決定するための閾値である。長時間露光撮像画像Ｐ１１の画素値ＬＰ（ｘ，ｙ）がＴＨ１より大きい場合に、ＷＤＲ処理において長時間露光撮像画像Ｐ１１を使用しないこととなる。また、短時間露光撮像画像Ｐ２１の画素値ＳＰ（ｘ，ｙ）がＴＨ０’より小さい場合に、ＷＤＲ処理において短時間露光撮像画像Ｐ２１を使用しないこととなる。
【００８５】
まず、図８を参照しながら、長時間露光撮像画像Ｐ１１が入力された際に、第１レベル判定部１２１及び第１画素変換部１２３が行う処理の流れについて説明する。
【００８６】
図８に示すように、長時間露光撮像画像Ｐ１１は、第１レベル判定部１２１及び第１画素変換部１２３に入力される（Ｓ１０１）。
【００８７】
第１レベル判定部１２１は、入力された長時間露光撮像画像Ｐ１１の位置（ｘ，ｙ）における画素値ＬＰ（ｘ，ｙ）と、予めＲＯＭ等に記録されたＷＤＲ処理に使用する閾値ＴＨ１との大小関係を判定する。画素値ＬＰ（ｘ，ｙ）が閾値ＴＨ１より大きい場合、第１レベル判定部１２１は、ＤＣ成分変換ＦｌａｇをＨｉとする。一方、画素値ＬＰ（ｘ，ｙ）が閾値ＴＨ１以下の場合、第１レベル判定部１２１は、ＤＣ成分変換ＦｌａｇをＬｏｗとする。第１レベル判定部１２１は、ＤＣ成分変換Ｆｌａｇを第１画素変換部１２３に出力する（Ｓ１０３）。
【００８８】
入力されたＤＣ成分変換ＦｌａｇがＨｉである場合、第１画素変換部１２３は、画素値ＬＰ（ｘ，ｙ）を閾値ＴＨ１で置換する（Ｓ１０５）。
【００８９】
一方、入力されたＤＣ成分変換ＦｌａｇがＬｏｗである場合、第１画素変換部１２３は、画素値ＬＰ（ｘ，ｙ）を保持する（Ｓ１０７）。
【００９０】
ＤＣ成分変換部１０５は、長時間露光撮像画像Ｐ１１を構成する全画素について、上記のステップＳ１０３〜Ｓ１０７の処理を行う。
【００９１】
ＤＣ成分変換部１０５は、長時間露光撮像画像Ｐ１１を変換した長時間露光変換画像Ｐ１２を、画像圧縮部１０７に出力し、一連の処理を終了する（Ｓ１０９）。
【００９２】
なお、ステップＳ１０５では画素値ＬＰ（ｘ，ｙ）をＷＤＲ処理で使用する閾値ＴＨ１で置換したが、置換する値は閾値ＴＨ１に限られない。例えば、閾値ＴＨ１の近傍の任意の値で置換してもよい。
【００９３】
ここで、長時間露光撮像画像Ｐ１１のＤＣ変換領域以外の領域内において、ＤＣ変換領域との境界付近に位置する画素の画素値は閾値ＴＨ１又は閾値ＴＨ１の近傍の値を有する。
【００９４】
上記のように、長時間露光撮像画像Ｐ１１のＤＣ変換領域（画像中のＤＣ成分変換対象となる領域）の画素値を、ＷＤＲ処理で使用する閾値ＴＨ１又は閾値ＴＨ１の近傍の値で置換することにより、ＤＣ変換領域とＤＣ変換領域以外の領域との境界付近で画素値が緩やかに変化する、つまり高周波のＡＣ成分が発生することがない。特に、長時間露光撮像画像Ｐ１１のＤＣ変換領域の画素値を、閾値ＴＨ１で置換することにより、ＡＣ成分の発生をより効果的に抑制することが可能になる。
【００９５】
次に、図９を参照しながら、短時間露光撮像画像Ｐ２１が入力された際に、第２レベル判定部１２５及び第２画素変換部１２７が行う処理の流れについて説明する。
【００９６】
図９に示すように、短時間露光撮像画像Ｐ２１は、第２レベル判定部１２５及び第２画素変換部１２７に入力される（Ｓ２０１）。
【００９７】
第２レベル判定部１２５は、入力された短時間露光撮像画像Ｐ２１の位置（ｘ，ｙ）における画素値ＳＰ（ｘ，ｙ）と、予めＲＯＭ等に記録された閾値ＴＨ０’との大小関係を判定する。画素値ＳＰ（ｘ，ｙ）が閾値ＴＨ０’より小さい場合、第２レベル判定部１２５は、ＤＣ成分変換ＦｌａｇをＨｉとする。一方、画素値ＳＰ（ｘ，ｙ）が閾値ＴＨ０’以上の場合、第２レベル判定部１２５は、ＤＣ成分変換ＦｌａｇをＬｏｗとする。第２レベル判定部１２５は、ＤＣ成分変換Ｆｌａｇを第２画素変換部１２７に出力する（Ｓ２０３）。
【００９８】
ここで、例えば、上記の閾値ＴＨ０’と、ＷＤＲ処理に用いる画像の低輝度領域を判定するための閾値ＴＨ０とには、以下の式１１１が成立する。
【００９９】
【数４】
0005847569.tif 000007
・・・（１１１）
【０１００】
入力されたＤＣ成分変換ＦｌａｇがＨｉである場合、第２画素変換部１２７は、画素値ＳＰ（ｘ，ｙ）を閾値ＴＨ０’で置換する（Ｓ２０５）。
【０１０１】
一方、入力されたＤＣ成分変換ＦｌａｇがＬｏｗである場合、第２画素変換部１２７は、画素値ＳＰ（ｘ，ｙ）を保持する（Ｓ２０７）。
【０１０２】
ＤＣ成分変換部１０５は、短時間露光撮像画像Ｐ２１を構成する全画素について、上記のステップＳ２０３〜Ｓ２０７の処理を行う。
【０１０３】
ＤＣ成分変換部１０５は、短時間露光撮像画像Ｐ２１を変換した短時間露光変換画像Ｐ２２を、画像圧縮部１０７に出力し、一連の処理を終了する（Ｓ２０９）。
【０１０４】
なお、ステップＳ２０５では画素値ＳＰ（ｘ，ｙ）をＷＤＲ処理で使用する閾値ＴＨ０に基づいて定められる閾値ＴＨ０’で置換したが、置換する値は閾値ＴＨ０’に限られない。例えば、閾値ＴＨ０’の近傍の任意の値で置換してもよい。
【０１０５】
ここで、短時間露光撮像画像Ｐ２１のＤＣ変換領域以外の領域内において、ＤＣ変換領域との境界付近に位置する画素の画素値は閾値ＴＨ０’又はＴＨ０’の近傍の値を有する。
【０１０６】
上記のように、短時間露光撮像画像Ｐ２１のＤＣ変換領域（画像中のＤＣ成分変換対象となる領域）の画素値を、ＷＤＲ処理で使用する閾値ＴＨ０によって定められる閾値ＴＨ０’又は閾値ＴＨ０’の近傍の値で置換することにより、ＤＣ変換領域とＤＣ変換領域以外の領域との境界付近で画素値が緩やかに変化する、つまり高周波のＡＣ成分が発生することがない。特に、短時間露光撮像画像Ｐ２１のＤＣ変換領域の画素値を、閾値ＴＨ０’で置換することにより、ＡＣ成分の発生をより効果的に抑制することが可能になる。
【０１０７】
以上では、図７〜図９を参照しながら、ＤＣ成分変換部１０５の機能構成及びＤＣ成分変換部１０５が行う処理の流れについて説明した。
【０１０８】
以下では、図１０〜図１２を参照しながら、本実施形態に係る撮像装置１０を利用することによる効果について説明する。図１０は、ＤＣ成分変換部１０５の処理前の画像のＤＣ変換領域の空間周波数分布の一例を示した説明図である。図１１は、ＤＣ成分変換部１０５の処理後の画像の空間周波数分布の一例を示した説明図である。
【０１０９】
ここで、ＤＣ変換領域は、長時間露光撮像画像Ｐ１１又は短時間露光撮像画像Ｐ２１において、ＷＤＲ処理に使用しない画素情報からなり、ＤＣ成分変換部１０５によりＷＤＲ画像生成の際の閾値ＴＨ０’又は閾値ＴＨ１で画素値が置換される領域をさす。
【０１１０】
図１０に示すように、長時間露光撮像画像Ｐ１１又は短時間露光撮像画像Ｐ２１中のＷＲ画像合成に使用しない領域には、空間周波数が０でないＡＣ成分が含まれる。ここで、多くの圧縮方式では、近傍画素との差分を用いて原画像を表現することにより圧縮している。そのため、画像圧縮は、近傍画素との差分（ＡＣ成分）が小さいほど圧縮効率が向上する。そこで、ＷＤＲ処理に使用しない領域（ＤＣ変換領域）のＡＣ成分については、図１１に示すように０とすることで、圧縮効率を向上することができる。
【０１１１】
図１２は、ＷＤＲ処理に用いる画像におけるＤＣ変換領域の一例を示した説明図である。但し、ＷＤＲ処理に用いる画像とは、長時間露光撮像画像Ｐ１１又は短時間露光撮像画像Ｐ２１をさす。
【０１１２】
図１２のＡＲ１及びＡＲ２は、ＷＤＲ処理に用いる画像におけるＤＣ変換領域である。
【０１１３】
長時間露光撮像画像Ｐ１１の場合には、画素値が閾値ＴＨ１より大きくなり、白とびが発生している画素がＤＣ変換領域ＡＲ１及びＡＲ２に含まれる。ＤＣ変換領域ＡＲ１及びＡＲ２に含まれる画素については、上述したように画素値が閾値ＴＨ１で変換される。
【０１１４】
また、短時間露光撮像画像Ｐ２１の場合には、画素値が閾値ＴＨ０’未満となり、黒つぶれが発生している画素がＤＣ変換領域ＡＲ１及びＡＲ２に含まれる。ＤＣ変換領域ＡＲ１及びＡＲ２に含まれる画素については、上述したように画素値が閾値ＴＨ０’で変換される。
【０１１５】
また、図１２のＡＲ３は、ＷＤＲ処理に用いる画像におけるＤＣ変換領域以外の領域であり、ＷＤＲ処理に用いる画像の値が保持される。
【０１１６】
ＤＣ変換領域は、長時間露光撮像画像Ｐ１１における高輝度領域や、短時間露光撮像画像Ｐ２１における低輝度領域であり、広範囲に及ぶ場合がある。図１２に示すように、ＤＣ変換領域（図１２のＡＲ１及びＡＲ２）のＡＣ成分は０であるため、本実施形態のようにこの領域をランレングス符号化方式により圧縮した場合、圧縮後の画像のサイズは、様々な圧縮方式の最小値となる。
【０１１７】
以上、図６〜図１２を参照しながら、本発明の第１の実施形態に係る撮像装置１０について説明した。
【０１１８】
以上説明したように本発明の第１の実施形態によれば、本実施形態に係る撮像装置１０は、予めＷＤＲ処理に使用しないと判明している領域については、ＡＣ成分をＤＣ成分とするように画像空間周波数の分布変換を行う。このため、画像圧縮の圧縮効率が向上する。
【０１１９】
さらに、圧縮率向上により、転送データ量が低減されるので、画像処理ＬＳＩのＩ／Ｏ（Ｉｎｐｕｔ−Ｏｕｔｐｕｔ）バッファでの充放電を押さえ、かつ、ＳＤＲＡＭ等の記憶装置の消費電力を抑制することができる。このため、画像情報をＳＤＲＡＭ等の記憶装置へ転送する際の消費電力を低減することが可能となる。
【０１２０】
＜３．第２の実施形態＞
［３−１：本実施形態に係る撮像装置２０の全体構成］
まず、図１３を参照しながら、本発明の第２の実施形態に係る撮像装置２０の全体構成について説明をする。図１３は、本実施形態に係る撮像装置２０の全体構成の一例を示した説明図である。なお、図１３に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは、変更したりしてもよい。また、撮像装置２０は、例えば、静止画像を撮影可能なデジタルスチルカメラ、動画像を撮影可能なビデオカメラ、或いは、デジタルスチルカメラやビデオカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどである。
【０１２１】
撮像装置２０は、図１３に示すように、レンズ１０１と、撮像素子１０３と、ＤＣ成分変換部１０５と、画像圧縮部１０７と、画像Ｂｕｓ部１０９と、画像記憶部１１１と、画像伸張部１１３と、画像合成部１１５と、を主に備える。
【０１２２】
図１３のＰ１１は、ＷＤＲ処理に用いる長時間露光撮像画像を表す。また、図１３のＰ２１は、ＷＤＲ画像生成に用いる短時間露光撮像画像を表す。
【０１２３】
レンズ１０１と、撮像素子１０３と、ＤＣ成分変換部１０５と、画像Ｂｕｓ部１０９と、画像記憶部１１１と、画像合成部１１５の機能構成は上述した本発明の第１の実施形態と共通しているため、説明を省略する。
【０１２４】
レンズ１０１を通過した被写体像は撮像素子１０３で電気信号に変換され、ＤＣ成分変換部１０５及びＤＣ成分予測部１４１に入力される。撮像装置２０では、長時間露光撮像画像Ｐ１１及び短時間露光撮像画像Ｐ２１が撮像され、ＤＣ成分変換部１０５及びＤＣ成分予測部１４１に入力されることとなる。
【０１２５】
ＤＣ成分予測部１４１は、長時間露光撮像画像Ｐ１１の入力時に、長時間露光撮像画像Ｐ１１の画素情報に基づき、短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数を予測し、予測結果を画像圧縮部１０７に出力する。
【０１２６】
また、画像圧縮部１０７は、第１画像圧縮部１４３と、第２画像圧縮部１４５とを備える。第１画像圧縮部１４３は、ランレングス符号化以外の圧縮方式により、入力された画像の圧縮を行う。第２画像圧縮部１４５は、ランレングス符号化により、入力された画像の圧縮を行う。
【０１２７】
ここで、ランレングス符号化とは、画像中の同じ値のデータが並んでいる場合に、そのデータの値及び並びの数を記録していくことにより、データ量を削減する（圧縮する）方法である。一般的に、画像中のＤＣ成分がＡＣ成分と比較して多く含まれる状況では、ランレングス符号化が、他の圧縮方式に比べ圧縮効率が高い。
【０１２８】
しかし、通常自然画像においては、ＤＣ成分がＡＣ成分と比較して多く含まれる状況（換言すれば、画像中に同じ値のデータが並んでいる状況）はほとんどなく、ランレングス符号化方式を自然画像に適用した場合、元の画像よりもサイズが大きくなってしまうこともあり、自然画像に対して、ランレングス符号化方式を適用することはなかった。
【０１２９】
これに対し、本実施形態に係る撮像装置２０では、ＷＤＲ処理に使用しない画像領域に対してはＤＣ成分変換部１０５によるＤＣ変換が行われるため、ＤＣ成分変換領域が広域に及ぶ結果、ランレングス符号化方式を効果的に適用することができる場合がある。
【０１３０】
画像圧縮部１０７は、短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数の予測結果に基づき、第１画像圧縮部１４３又は第２画像圧縮部１４５を選択し、機能させる。
【０１３１】
より具体的には、短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数の予測値ＳＰ＿ＤＣ＿ＮＵＭが圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨより小さい場合に、画像圧縮部１０７は、ランレングス符号化以外の方式を適用した第１画像圧縮部１４３を選択し、機能させる。
【０１３２】
一方で、短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数の予測値ＳＰ＿ＤＣ＿ＮＵＭが圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨより大きい場合に、画像圧縮部１０７は、圧縮効率の高いランレングス符号化方式を適用した第２画像圧縮部１４５を選択し、機能させる。
【０１３３】
なお、短時間露光撮像画像Ｐ２１のＤＣ変換領域とは、上述したように、長時間露光撮像画像Ｐ１１の対応する位置における画素の画素値ＬＰ（ｘ，ｙ）が閾値ＴＨ０より小さい領域である。
【０１３４】
画像伸張部１１３は、第１画像伸張部１４７と、第２画像伸張部１４９とを備える。なお、第１画像伸張部１４７は、画像圧縮部１０７の第１画像圧縮部１４３の圧縮方式に対応する伸張方式により、入力された圧縮画像を伸張する。第２画像伸張部１４９は、画像圧縮部１０７の第２画像圧縮部１４５の圧縮方式に対応する伸張方式、つまりランレングス復号化により、入力された圧縮画像の伸張を行う。画像伸張部１１３は、画像圧縮部１０７で選択された画像圧縮方式に対応する画像伸張方式として、第１画像伸張部１４７又は第２画像伸張部１４９を選択し、機能させる。
【０１３５】
［３−２：本実施形態に係る撮像装置２０が行う画像圧縮処理の流れ］
以下では、図１４を参照しながら、本実施形態に係る撮像装置２０の画像圧縮処理の流れについて説明する。図１４は、本実施形態に係る撮像装置２０の画像圧縮処理の流れの一例を示した流れ図である。なお、一連の処理の開始時には、短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数の予測値ＳＰ＿ＤＣ＿ＮＵＭは０とおく。
【０１３６】
図１４に示すように、長時間露光撮像画像Ｐ１１がＤＣ成分変換部１０５及びＤＣ成分予測部１４１に入力されると、ＤＣ成分変換部１０５は、長時間露光撮像画像Ｐ１１において、画素値ＬＰが閾値ＴＨ１より大きい領域についてＤＣ変換を行う（Ｓ３０１）。
【０１３７】
次に、ＤＣ成分予測部１４１は、長時間露光撮像画像Ｐ１１の各画素について、画素値ＬＰと、閾値ＴＨ０との大小関係を判定する（Ｓ３０３）。
【０１３８】
長時間露光撮像画像Ｐ１１の位置（ｘ，ｙ）における画素の画素値ＬＰ（ｘ，ｙ）が閾値ＴＨ０より小さい場合、ＤＣ成分予測部１４１は、当該画素と対応する短時間露光撮像画像Ｐ２１の画素はＤＣ変換領域に含まれると予測し、以下の式１１３のように、ＳＰ＿ＤＣ＿ＮＵＭを１加算する（Ｓ３０５）。
【０１３９】
【数５】
0005847569.tif 000008
・・・（１１３）
【０１４０】
長時間露光撮像画像Ｐ１１の位置（ｘ，ｙ）における画素の画素値ＬＰ（ｘ，ｙ）が閾値ＴＨ０より大きい場合、ＤＣ成分予測部１４１は、当該画素と対応する短時間露光撮像画像Ｐ２１の画素はＤＣ変換領域に含まれないと予測し、以下の式１１５のように、ＳＰ＿ＤＣ＿ＮＵＭの値を保持する（Ｓ３０７）。
【０１４１】
【数６】
0005847569.tif 000009
・・・（１１５）
【０１４２】
ＤＣ成分予測部１４１は、上記のステップＳ３０３〜ステップＳ３０７までの処理を、長時間露光撮像画像Ｐ１１に含まれる全ての画素について行う。
【０１４３】
次に、第１画像圧縮部１４３は、長時間露光撮像画像Ｐ１１の圧縮を行い、圧縮画像を画像記憶部１１１へ転送する（Ｓ３０９）。
【０１４４】
次に、画像圧縮部１０７は、短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数の予測値ＳＰ＿ＤＣ＿ＮＵＭと、圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨとの大小関係を判定する（Ｓ３１１）。
【０１４５】
短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数の予測値ＳＰ＿ＤＣ＿ＮＵＭが圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨより大きい場合には、画像圧縮部１０７は、短時間露光撮像画像Ｐ２１の圧縮方式を第２画像圧縮部１４５に変更する（Ｓ３１３）。
【０１４６】
一方、短時間露光撮像画像Ｐ２１のＤＣ変換領域に含まれる画素数の予測値ＳＰ＿ＤＣ＿ＮＵＭが圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨより小さい場合には、画像圧縮部１０７は、短時間露光撮像画像Ｐ２１の圧縮方式を第１画像圧縮部１４３とする（Ｓ３１５）。
【０１４７】
次に、短時間露光撮像画像Ｐ２１がＤＣ成分変換部１０５に入力されると、ＤＣ成分変換部１０５は、短時間露光撮像画像Ｐ２１において、画素値ＳＰが閾値ＴＨ０’より小さい領域についてＤＣ変換を行う。さらに、画像圧縮部１０７は、ステップＳ３１１〜ステップＳ３１５で選択した圧縮方式で短時間露光撮像画像Ｐ２１の圧縮を行う。画像圧縮部１０７は、圧縮画像を画像記憶部１１１に転送し、一連の処理を終了する（Ｓ３１７）。
【０１４８】
以上、図１４を参照しながら、本実施形態に係る撮像装置２０の画像圧縮処理の流れについて説明した。なお、一部の処理ステップについては、処理の順序を入れ替えても良い。
【０１４９】
また、上記の説明では、画像圧縮部１０７が第１画像圧縮部１４３又は第２画像圧縮部１４５の選択を行うこととしたが、本実施形態に係る技術の適用範囲はかかる例に限定されない。例えば、撮像装置２０が備える制御部（不図示）が第１画像圧縮部１４３又は第２画像圧縮部１４５の選択を行ってもよい。
【０１５０】
以上、図１３〜図１４を参照しながら、本発明の第２の実施形態に係る撮像装置２０について説明した。
【０１５１】
以上説明したように本発明の第２の実施形態によれば、本実施形態に係る撮像装置２０は、予めＷＤＲ処理に使用しないと判明している長時間露光撮像画像Ｐ１１の高輝度領域及び短時間露光撮像画像Ｐ２１の低輝度領域については、ＡＣ成分をＤＣ成分とするように画像空間周波数の分布変換を行う。このため、画像圧縮の圧縮効率が向上する。
【０１５２】
さらに、圧縮率向上により、転送データ量が低減されるので、画像処理ＬＳＩのＩ／Ｏ（Ｉｎｐｕｔ−Ｏｕｔｐｕｔ）バッファでの充放電を押さえ、かつ、ＳＤＲＡＭ等の記憶装置の消費電力を抑制することができる。このため、画像情報をＳＤＲＡＭ等の記憶装置へ転送する際の消費電力を低減することが可能となる。
【０１５３】
また、本実施形態によれば、ＷＤＲ画像生成に使用する長時間露光撮像画像Ｐ１１を入力中に、次に入力する短時間露光撮像画像Ｐ２１のＤＣ成分変換領域の画素数を予測し、ＤＣ成分変換領域の画素数の予測値に基づいて、短時間露光撮像画像Ｐ２１の圧縮方式を選択することが可能である。つまり、ＷＤＲ処理に使用しないＤＣ変換領域が大きい画像に対しては、同じ値のデータが並んでいる画像に対する圧縮効率が高い方式により圧縮を行う。そのため、圧縮効率が従来と比較して大幅に向上する。
【０１５４】
また、上記では、第２画像圧縮部１４５の圧縮方式としてランレングス符号化を用い、第２画像伸張部１４９の伸張方式としてランレングス復号化を用いる例について説明したが、本実施形態に係る技術の適用範囲はかかる例に限定されない。第２画像圧縮部１４５の圧縮方式は、同じ値のデータが並んでいる場合に圧縮効率が高い方式であればよく、第２画像伸張部１４９の伸張方式は、第２画像圧縮部１４５の圧縮方式に対応した伸張方式であればよい。
【０１５５】
［３−３：第２の実施形態の変形例］
ＤＣ成分予測部１４１が、短時間露光撮像画像Ｐ２１の入力時に、短時間露光撮像画像Ｐ２１の画素情報に基づき、長時間露光撮像画像Ｐ１１のＤＣ変換領域に含まれる画素数を予測し、予測結果を画像圧縮部１０７に出力する構成にしてもよい。なお、ＤＣ成分予測部１４１及び画像圧縮部１０７以外の全体構成については、第２の実施形態に係る撮像装置２０と同様である。
【０１５６】
以下では、ＤＣ成分予測部１４１が、短時間露光撮像画像Ｐ２１の入力時に、短時間露光撮像画像Ｐ２１の画素情報に基づき、長時間露光撮像画像Ｐ１１のＤＣ成分変換領域に含まれる画素数を予測する場合の処理の流れについて、図１５を参照しながら説明する。図１５は、本実施形態に係る撮像装置２０の画像圧縮処理の流れの一例を示した流れ図である。なお、一連の処理の開始時には、長時間露光撮像画像Ｐ１１のＤＣ変換領域に含まれる画素数の予測値ＬＰ＿ＤＣ＿ＮＵＭは０とおく。
【０１５７】
図１５に示すように、短時間露光撮像画像Ｐ２１がＤＣ成分変換部１０５及びＤＣ成分予測部１４１に入力されると、ＤＣ成分変換部１０５は、短時間露光撮像画像Ｐ２１において、画素値ＳＰが閾値ＴＨ０’より小さい領域についてＤＣ変換を行う（Ｓ４０１）。
【０１５８】
次に、ＤＣ成分予測部１４１は、短時間露光撮像画像Ｐ２１の各画素について、画素値ＳＰと、閾値ＴＨ１’との大小関係を判定する（Ｓ４０３）。ここで、ＴＨ１’は、例えばＷＤＲ画像生成で用いる閾値ＴＨ１（ＬＰ＞ＴＨ１であればＷＤＲ画像生成の際に短時間露光撮像画像Ｐ２１のみを用いる。）を用いて、以下の式１１７で表される。
【０１５９】
【数７】
0005847569.tif 000010
・・・（１１７）
【０１６０】
短時間露光撮像画像Ｐ２１の位置（ｘ，ｙ）における画素の画素値ＳＰ（ｘ，ｙ）が閾値ＴＨ１’より大きい場合、当該画素と対応する長時間露光撮像画像Ｐ１１の画素はＤＣ変換領域に含まれると予測し、以下の式１１９のように、ＬＰ＿ＤＣ＿ＮＵＭを１加算する（Ｓ４０５）。
【０１６１】
【数８】
0005847569.tif 000011
・・・（１１９）
【０１６２】
短時間露光撮像画像Ｐ２１の位置（ｘ，ｙ）における画素の画素値ＳＰ（ｘ，ｙ）が閾値ＴＨ１’より小さい場合、ＤＣ成分予測部１４１は、当該画素と対応する長時間露光撮像画像Ｐ１１の画素はＤＣ変換領域に含まれないと予測し、以下の式１２１のように、ＬＰ＿ＤＣ＿ＮＵＭの値を保持する（Ｓ４０７）。
【０１６３】
【数９】
0005847569.tif 000012
・・・（１２１）
【０１６４】
ＤＣ成分予測部１４１は、上記のステップＳ４０３〜ステップＳ４０７までの処理を、短時間露光撮像画像Ｐ２１に含まれる全ての画素について行う。
【０１６５】
次に、第１画像圧縮部１４３は、短時間露光撮像画像Ｐ２１の圧縮を行い、圧縮画像を画像記憶部１１１へ転送する（Ｓ４０９）。
【０１６６】
次に、画像圧縮部１０７は、長時間露光撮像画像Ｐ１１のＤＣ変換領域に含まれる画素数の予測値ＬＰ＿ＤＣ＿ＮＵＭと、圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨとの大小関係を判定する（Ｓ４１１）。
【０１６７】
長時間露光撮像画像Ｐ１１のＤＣ変換領域に含まれる画素数の予測値ＬＰ＿ＤＣ＿ＮＵＭが圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨより大きい場合には、画像圧縮部１０７は、長時間露光撮像画像Ｐ１１の圧縮方式を第２画像圧縮部１４５に変更する（Ｓ４１３）。
【０１６８】
一方、長時間露光撮像画像Ｐ１１のＤＣ変換領域に含まれる画素数ＬＰ＿ＤＣ＿ＮＵＭが圧縮方式選択閾値ＥＮＣ＿ＳＥＬ＿ＴＨより小さい場合には、画像圧縮部１０７は、長時間露光撮像画像Ｐ１１の圧縮方式を第１画像圧縮部１４３とする（Ｓ４１５）。
【０１６９】
次に、長時間露光撮像画像Ｐ１１がＤＣ成分変換部１０５に入力されると、ＤＣ成分変換部１０５は、長時間露光撮像画像Ｐ１１において、画素値ＳＰが閾値ＴＨ１より大きい領域についてＤＣ変換を行う。さらに、画像圧縮部１０７は、ステップＳ４１１〜ステップＳ４１５で選択した圧縮方式で長時間露光撮像画像Ｐ１１の圧縮を行う。画像圧縮部１０７は、圧縮画像を画像記憶部１１１に転送し、一連の処理を終了する（Ｓ４１７）。
【０１７０】
以上、図１５を参照しながら、第２の実施形態の変形例に係る画像圧縮処理の流れについて、説明した。なお、一部の処理ステップについては、処理の順序を入れ替えても良い。
【０１７１】
また、上記の説明では、画像圧縮部１０７が第１画像圧縮部１４３又は第２画像圧縮部１４５の選択を行うこととしたが、本実施形態に係る技術の適用範囲はかかる例に限定されない。例えば、撮像装置２０が備える制御部（不図示）が第１画像圧縮部１４３又は第２画像圧縮部１４５の選択を行ってもよい。
【０１７２】
以上説明したように、本発明の第２の実施形態の変形例によれば、ＷＤＲ画像生成に使用する短時間露光撮像画像Ｐ１２を入力中に、次に入力する長時間露光撮像画像Ｐ１１のＤＣ成分変換領域の画素数を予測し、ＤＣ成分変換領域の画素数の予測値に基づいて、長時間露光撮像画像Ｐ１１の圧縮方式を選択することが可能である。つまり、ＷＤＲ処理に使用しないＤＣ変換領域が大きい画像に対しては、同じ値のデータが並んでいる画像に対する圧縮効率が高い方式により圧縮を行う。そのため、圧縮効率が従来と比較して大幅に向上する。
【０１７３】
また、上記では、第２画像圧縮部１４５の圧縮方式としてランレングス符号化を用い、第２画像伸張部１４９の伸張方式としてランレングス復号化を用いる例について説明したが、本実施形態に係る技術の適用範囲はかかる例に限定されない。第２画像圧縮部１４５の圧縮方式は、同じ値のデータが並んでいる場合に圧縮効率が高い方式であればよく、第２画像伸張部１４９の伸張方式は、第２画像圧縮部１４５の圧縮方式に対応した伸張方式であればよい。
【０１７４】
図１６は、本実施形態に係る撮像装置において撮像される撮像画像の輝度ヒストグラムの一例を示した説明図である。図１６に示した例のように、画像中の明暗の差が激しく、高輝度領域が小さい画像に対して、同じ値のデータが並んでいる画像に対する圧縮効率が高い方式により圧縮を行うことにより、特に圧縮効率が向上する。
【０１７５】
換言すれば、前述したＷＤＲ画像生成における以下の判定式１０３〜１０５が成立する場合Ｃａｓｅ１〜Ｃａｓｅ３において、Ｃａｓｅ２に該当する画像領域がほとんどなく、Ｃａｓｅ３に該当する画像領域と比較して、Ｃａｓｅ１に該当する画像領域が画像全体の広範囲に及ぶ場合に、同じ値のデータが並んでいる画像に対する圧縮効率が高い方式により圧縮を行うことにより、特に圧縮効率が向上する。
【０１７６】
【数１０】
0005847569.tif 000013
・・・(１０３)
0005847569.tif 000014
・・・（１０５）
0005847569.tif 000015
・・・（１０７）
【０１７７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１７８】
１０，２０    撮像装置
１０１        レンズ
１０３        撮像素子
１０５        ＤＣ成分変換部
１０７        画像圧縮部
１０９        画像Ｂｕｓ部
１１１        画像記憶部
１１３        画像伸張部
１１５        画像合成部
１２１        第１レベル判定部
１２３        第１画素変換部
１２５        第２レベル判定部
１２７        第２画素変換部
１３１        レベル判定部
１３３        合成処理部
１４１        ＤＣ成分予測部
１４３        第１画像圧縮部
１４５        第２画像圧縮部
１４７        第１画像伸張部
１４９        第２画像伸張部
【図１】
0005847569.tif 000016
【図２】
0005847569.tif 000017
【図３】
0005847569.tif 000018
【図４】
0005847569.tif 000019
【図５】
0005847569.tif 000020
【図６】
0005847569.tif 000021
【図７】
0005847569.tif 000022
【図８】
0005847569.tif 000023
【図９】
0005847569.tif 000024
【図１０】
0005847569.tif 000025
【図１１】
0005847569.tif 000026
【図１２】
0005847569.tif 000027
【図１３】
0005847569.tif 000028
【図１４】
0005847569.tif 000029
【図１５】
0005847569.tif 000030
【図１６】
0005847569.tif 000031