(57)【特許請求の範囲】
【請求項１】
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短いＮ種類（
Ｎは１以上の自然数）の露光時間でそれぞれ撮像された各画像の画像データを記憶する画
像データ記憶手段と、
前記各露光時間に対応する各画像データを構成する各画素データの示す輝度が飽和して
いるか否かを判定する判定手段と、
前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データの各画素デ
ータのうち非飽和と判定された画素データ以外の画素データを一定値に置換した前記各露
光時間毎の有効画像データを生成する有効画像データ生成手段と、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する
画像圧縮手段と、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付け
てなる露光時間情報を生成する露光時間情報生成手段と、を備え、
前記有効画像データ生成手段は、露光時間の長い方から順に前記有効画像データを生成
すると共に、前記標準露光時間以外の各露光時間に対応する前記有効画像データの生成処
理において、１つ前の有効画像データの生成時に一定値に置換された画素データの情報に
基づき、各露光時間に対応する画像データにおける、前記１つ前の有効画像データにおい
て前記一定値に置換の施された画素データのうち非飽和の画素データを選択し、当該選択
した画素データ以外の画素データを前記一定値に置換して前記有効画像データを生成することを特徴とする画像圧縮装置。
【請求項２】
前記露光時間情報生成手段は、前記各露光時間に対応する各有効画像データにおける前
記非飽和の画素データの位置情報に基づき、当該非飽和の各画素データに対して、当該各
画素データにそれぞれ対応する露光時間に係る情報を対応付けてなる露光時間情報を生成
することを特徴とする請求項１記載の画像圧縮装置。
【請求項３】
前記露光時間情報を所定の可逆圧縮方法を用いて可逆圧縮する露光時間情報圧縮手段を
備えることを特徴とする請求項１乃至請求項２のいずれか１項に記載の画像圧縮装置。
【請求項４】
前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データを構成する
各画素データを、飽和及び非飽和をそれぞれ示す２値のいずれかの値に変換してなる２値
画像データを生成する２値画像データ生成手段と、
前記２値画像データ生成手段で生成された各露光時間に対応する２値画像データにおけ
る飽和を示すデータに対して、孤立点除去処理を施すノイズ除去手段と、を備え、
前記有効画像データ生成手段は、前記ノイズ除去手段で処理後の２値画像データに基づ
き、前記有効画像データを生成することを特徴とする請求項１乃至請求項３のいずれか１
項に記載の画像圧縮装置。
【請求項５】
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い複数種類
の露光時間でそれぞれ撮像された各画像の画像データを構成する、各画素データの示す輝
度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画
素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効
画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する
画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付け
てなる露光時間情報を生成する露光時間情報生成ステップと、を含み、
前記有効画像データ生成ステップは、露光時間の長い方から順に前記有効画像データを生成すると共に、前記標準露光時間以外の各露光時間に対応する前記有効画像データの生成処理において、１つ前の有効画像データの生成時に一定値に置換された画素データの情報に基づき、各露光時間に対応する画像データにおける、前記１つ前の有効画像データにおいて前記一定値に置換の施された画素データのうち非飽和の画素データを選択し、当該選択した画素データ以外の画素データを前記一定値に置換して前記有効画像データを生成するステップからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする画像圧縮プログラム。
【請求項６】
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い複数種類
の露光時間でそれぞれ撮像された各画像の画像データを構成する、各画素データの示す輝
度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画
素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効
画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する
画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付け
てなる露光時間情報を生成する露光時間情報生成ステップと、を含み、
前記有効画像データ生成ステップは、露光時間の長い方から順に前記有効画像データを生成すると共に、前記標準露光時間以外の各露光時間に対応する前記有効画像データの生成処理において、１つ前の有効画像データの生成時に一定値に置換された画素データの情報に基づき、各露光時間に対応する画像データにおける、前記１つ前の有効画像データにおいて前記一定値に置換の施された画素データのうち非飽和の画素データを選択し、当該選択した画素データ以外の画素データを前記一定値に置換して前記有効画像データを生成するステップを含むことを特徴とする画像圧縮方法。
【請求項７】
請求項１乃至請求項４のいずれか１項に記載の画像圧縮装置で圧縮された有効画像データを圧縮前の有効画像データに復元し、当該復元した有効画像データと前記露光時間情報とに基づきＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像生成装置であって、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元
手段と、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データ
に対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置
換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算手段と、
前記乗算手段で乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像
データを生成するＨＤＲ画像データ生成手段と、を備えることを特徴とするＨＤＲ画像生
成装置。
【請求項８】
請求項１乃至請求項４のいずれか１項に記載の画像圧縮装置で圧縮された有効画像デー
タを圧縮前の有効画像データに復元し、当該復元した有効画像データと前記露光時間情報
とに基づきＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成プ
ログラムであって、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元
ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データ
に対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置
換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定さ
れる定数を乗算する乗算ステップと、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ
画像データを生成するＨＤＲ画像データ生成ステップとからなる処理をコンピュータに実
行させるためのプログラムを含むことを特徴とするＨＤＲ画像データ生成プログラム。
【請求項９】
請求項１乃至請求項４のいずれか１項に記載の画像圧縮装置で圧縮された有効画像デー
タを圧縮前の有効画像データに復元し、当該復元した有効画像データと前記露光時間情報
とに基づきＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成方
法であって、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元
ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データ
に対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置
換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定さ
れる定数を乗算する乗算ステップと、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ
画像データを生成するＨＤＲ画像データ生成ステップとを、含むことを特徴とするＨＤＲ
画像データ生成方法。
【請求項１０】
標準露光時間及び当該標準露光時間よりも短い前記Ｎ種類（Ｎは１以上の自然数）の露
光時間で撮像対象を撮像する撮像手段と、
前記撮像手段で撮像した、前記標準露光時間で撮像された画像の画像データ及び前記Ｎ
種類の露光時間でそれぞれ撮像された各画像の画像データをそれぞれ別々に出力する画像
データ出力手段と、
前記出力手段で出力した、前記標準露光時間で撮像された画像の画像データ及び前記Ｎ
種類の露光時間でそれぞれ撮像された各画像の画像データを記憶する画像データ記憶手段
と、
各露光時間に対応する各画像データを構成する各画素データの示す輝度が飽和している
か否かを判定する判定手段と、
前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データの各画素デ
ータのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効画像
データを生成する有効画像データ生成手段と、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する
画像圧縮手段と、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付け
てなる露光時間情報を生成する露光時間情報生成手段と、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元
手段と、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データ
に対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置
換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定さ
れる定数を乗算する乗算手段と、
前記乗算手段で乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像
データを生成するＨＤＲ画像データ生成手段と、を備え、
前記有効画像データ生成手段は、露光時間の長い方から順に前記有効画像データを生成
すると共に、前記標準露光時間以外の各露光時間に対応する前記有効画像データの生成処
理において、１つ前の有効画像データの生成時に一定値に置換された画素データの情報に
基づき、各露光時間に対応する画像データにおける、前記１つ前の有効画像データにおい
て前記一定値に置換の施された画素データのうち非飽和の画素データを選択し、当該選択
した画素データ以外の画素データを前記一定値に置換して前記有効画像データを生成することを特徴とする画像処理システム。
【請求項１１】
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い前記Ｎ種
類（Ｎは１以上の自然数）の露光時間でそれぞれ撮像された各画像の画像データを構成する各画素データの示す輝度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画
素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効
画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する
画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付け
てなる露光時間情報を生成する露光時間情報生成ステップと、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元
ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データ
に対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置
換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算ステップと、
前記有効画像データ生成ステップは、露光時間の長い方から順に前記有効画像データを生成すると共に、前記標準露光時間以外の各露光時間に対応する前記有効画像データの生成処理において、１つ前の有効画像データの生成時に一定値に置換された画素データの情報に基づき、各露光時間に対応する画像データにおける、前記１つ前の有効画像データにおいて前記一定値に置換の施された画素データのうち非飽和の画素データを選択し、当該選択した画素データ以外の画素データを前記一定値に置換して前記有効画像データを生成するステップを含み、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ
画像データを生成するＨＤＲ画像データ生成ステップとからなる処理をコンピュータに実
行させるためのプログラムを含むことを特徴とする画像処理プログラム。
【請求項１２】
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い前記Ｎ種
類（Ｎは１以上の自然数）の露光時間でそれぞれ撮像された各画像の画像データを構成す
る各画素データの示す輝度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画
素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効
画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する
画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付け
てなる露光時間情報を生成する露光時間情報生成ステップと、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元
ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データ
に対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置
換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算ステップと、
前記有効画像データ生成ステップは、露光時間の長い方から順に前記有効画像データを生成すると共に、前記標準露光時間以外の各露光時間に対応する前記有効画像データの生成処理において、１つ前の有効画像データの生成時に一定値に置換された画素データの情報に基づき、各露光時間に対応する画像データにおける、前記１つ前の有効画像データにおいて前記一定値に置換の施された画素データのうち非飽和の画素データを選択し、当該選択した画素データ以外の画素データを前記一定値に置換して前記有効画像データを生成するステップを含み、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ
画像データを生成するＨＤＲ画像データ生成ステップとを、含むことを特徴とする画像処
理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＤＲ（High Dynamic Range）画像データを生成するための複数種類の露光時間でそれぞれ撮像された画像の画像データを圧縮するのに好適な画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、これらのいずれかで圧縮された画像データに基づきＨＤＲ画像データを生成するのに好適なＨＤＲ画像生成装置、ＨＤＲ画像生成プログラム及びＨＤＲ画像生成方法、並びに前記画像圧縮方法で圧縮された画像データを復元し、当該復元した画像データに基づきＨＤＲ画像データを生成可能な画像処理システム、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
近年、セキュリティ用途などに使用される監視カメラの広ダイナミックレンジ化（ＨＤＲ化）が望まれている。セキュリティ用途に対しては、対数圧縮型ＣＭＯＳセンサ(研究段階)や、ＣＣＤ撮像素子の２段階露光等を利用した監視カメラが実用化されつつある。
一方、大容量デジタルネットワーク社会への移行に伴い、ネットワークを利用した監視システムが実用化されつつある。また、ネットワーク化に加え、計算機が不審者、進入物を認識するマシンビジョンを組み合わせた監視システムの実用化が待たれている。
【０００３】
以上のように、監視カメラの機能に対してはＨＤＲ化が、そして監視カメラシステムに対しては、ネットワーク化とマシンビジョン化が期待されている。
広ダイナミックレンジカメラとネットワークとを組み合わせたシステムとしては、例えば、特許文献１に記載の現場監視システム、特許文献２に記載の映像信号送受信システム及び特許文献３に記載の映像情報調整装置、映像情報送信装置及び映像情報受信装置がある。
【０００４】
特許文献１の従来技術は、対数関数状の入出力特性を有し、現場の広範囲を撮像した画像データを出力する広視野角の広ダイナミックレンジカメラと、広ダイナミックレンジカメラから送信された画像データを表示させる表示手段を有するホストコンピュータ、とを具備し、表示手段に表示された画像に基づいて現場を監視するものである。
また、特許文献２の従来技術は、長時間露光映像及び短時間露光映像を別々に圧縮して伝送し、受信端末側では、伝送されたデータを別々に伸長し、任意の比率で合成を行って広ダイナミックレンジ映像を表示するものである。
【０００５】
また、特許文献３の従来技術は、所定の撮像条件に基づいて、少なくとも２種類の異なる照度範囲に対応する画像情報を、それぞれ別々に同一ショットから獲得する照度情報獲得部と、前記少なくとも２種類の異なる照度範囲に対応する画像情報を、それぞれ別々に外部に送信し、別の少なくとも２種類の異なる照度範囲に対応する画像情報を外部から受信する伝送部と、前記別の少なくとも２種類の異なる照度範囲に対応する画像情報の全部又は一部を用いて、所定の照度範囲に基づいて、輝度調整済みの画像情報を生成する照度情報調整部とを備えたものである。これにより、外部に送信された画像情報を受信側で調整することができる。
【特許文献１】特開２００２―２０４４４３号公報
【特許文献２】特開２００３―２９９０６７号公報
【特許文献３】特開平８−３４０５２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１〜３の従来技術においては、非常に大きなコントラストを有する画像（ＨＤＲ画像）又は当該ＨＤＲ画像を生成するための複数の画像を撮像するため、画像データの情報量は大きなものとなる。そして、このような画像データをネットワークを介して受信側の装置に送信する必要があるため、特に、インターネットを介して撮像画像データを伝送し、遠隔地においてリアルタイムで撮像画像を監視するような監視システムに適用する場合には、ネットワーク遅延等を考慮して、高速且つ安定したデータ伝送処理を行う必要がある。従って、データ伝送速度を高めるためにも各フレームの画像データの伝送量をできる限り少なくすることが望ましいが、上記特許文献１及び３の従来技術においては、送信側で画像データ量を圧縮する等の伝送データ量を削減する処理については何も触れられていない。
【０００７】
一方、上記特許文献２の従来技術においては、複数のカメラで撮影した長露光及び短露光の撮像画像データをそれぞれＪＰＥＧ等によって圧縮して伝送することでデータ伝送量を削減することが記載されているが、システムの性質上、カメラの台数の増加や、露光時間の種類の増加等によって、伝送する画像データ量もこれに比例して増加するため、リアルタイムの監視システムを実現するためには、圧縮率の高い圧縮処理を行うなどしてできる限り伝送する画像データ量を削減して画像データを受信側に高速に伝送する必要があるが、圧縮率を高めすぎると画質に影響がでてきてしまうため、監視システムにおいて重要な撮像画像の視認性が悪化するという問題が生じてしまう恐れがある。
【０００８】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、ＨＤＲ（High Dynamic Range）画像データを生成するための複数種類の露光時間でそれぞれ撮像された画像の画像データを圧縮するのに好適な画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、これらのいずれかで圧縮された画像データに基づきＨＤＲ画像データを生成するのに好適なＨＤＲ画像生成装置、ＨＤＲ画像生成プログラム及びＨＤＲ画像生成方法、並びに前記画像圧縮方法で圧縮された画像データを復元し、当該復元した画像データに基づきＨＤＲ画像データを生成可能な画像処理システム、画像処理プログラム及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
〔形態１〕  上記目的を達成するために、形態１の画像圧縮装置は、
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短いＮ種類（Ｎは１以上の自然数）の露光時間でそれぞれ撮像された各画像の画像データを記憶する画像データ記憶手段と、
前記各露光時間に対応する各画像データを構成する各画素データの示す輝度が飽和しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した前記各露光時間毎の有効画像データを生成する有効画像データ生成手段と、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する画像圧縮手段と、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成する露光時間情報生成手段と、を備えることを特徴としている。
【００１０】
このような構成であれば、画像データ記憶手段によって、標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短いＮ種類（Ｎは１以上の自然数）の露光時間でそれぞれ撮像された各画像の画像データを記憶することが可能であり、判定手段によって、前記各露光時間に対応する各画像データを構成する各画素データの示す輝度が飽和しているか否かを判定することが可能であり、有効画像データ生成手段によって、前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した前記各露光時間毎の有効画像データを生成することが可能であり、画像圧縮手段によって、前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮することが可能であり、露光時間情報生成手段によって、前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成することが可能である。
【００１１】
従って、各露光時間に対応する画像データを構成する画素データのうち、非飽和の画素データをそのままに、飽和した画素データを一定値（例えば、０など）に変換して有効画像データを生成し、当該有効画像データを所定の画像圧縮方法を用いて圧縮するようにしたので、各露光時間の画像データをそのまま圧縮するよりも、一定値とした部分を効率よく圧縮することができるという効果が得られる。
【００１２】
また、標準露光時間よりも短い露光時間にそれぞれ対応する有効画像データは、ＨＤＲ画像データの生成時において輝度レベルの補正が必要となるが、有効画像データの圧縮時において、標準露光時間よりも短い露光時間にそれぞれ対応する有効画像データに対しては輝度レベルの補正を行わない状態で圧縮し、各露光時間に対応する有効画像データに対して、各露光時間に係る情報を対応付けた露光時間情報を生成するようにしたので、各露光時間に対応する有効画像データを合成してＨＤＲ画像データを生成するときに、前記露光時間情報によって、標準露光時間よりも短い画像データの輝度レベルを簡易に必要な輝度レベルへと補正することができる。つまり、標準露光時間よりも短い露光時間にそれぞれ対応する有効画像データは、エントロピー（情報量）の低い（小さい）状態で圧縮することができるので、これにより、圧縮後の総データ量をより低減することができるという効果が得られる。
【００１３】
ここで、上記ＨＤＲ画像データは、一般に、同じ撮像対象を、標準露光時間で撮像した画像データと、これよりも短い短露光時間で撮像した画像データとをそれぞれ構成する画素データのうち非飽和の画素データを組み合わせて生成される。具体的には、例えば、前記標準露光時間で撮像した画像データにおける飽和した画素データを、前記短露光時間で撮像した画像データにおける非飽和の画素データに置換することでＨＤＲ画像データを生成する。以下、画像圧縮プログラムに関する形態、画像圧縮方法に関する形態、ＨＤＲ画像生成装置に関する形態、ＨＤＲ画像生成プログラムに関する形態、ＨＤＲ画像生成方法に関する形態、画像処理システムに関する形態、画像処理プログラムに関する形態、画像処理方法に関する形態、発明を実施するための最良の形態の欄などにおいて同じである。
【００１４】
また、上記一定値としては、通常画素値としてとりえない値や、後のＨＤＲ画像データ生成時の乗算処理において乗算後でも値の変わらない値（例えば「０」）などが設定される。以下、画像圧縮プログラムに関する形態、画像圧縮方法に関する形態、ＨＤＲ画像生成装置に関する形態、ＨＤＲ画像生成プログラムに関する形態、ＨＤＲ画像生成方法に関する形態、画像処理システムに関する形態、画像処理プログラムに関する形態、画像処理方法に関する形態、発明を実施するための最良の形態の欄などにおいて同じである。
【００１５】
また、上記所定の圧縮処理方法とは、ＪＰＥＧ（Joing  Picture Expert  Group）、ＰＮＧ（Portable Network Graphic）、ＴＩＦＦ（Tagged Image File Format）などの様々な符号化処理方法を含み、可逆圧縮及び非可逆圧縮のいずれでも良い。以下、画像圧縮プログラムに関する形態、画像圧縮方法に関する形態、ＨＤＲ画像生成装置に関する形態、ＨＤＲ画像生成プログラムに関する形態、ＨＤＲ画像生成方法に関する形態、画像処理システムに関する形態、画像処理プログラムに関する形態、画像処理方法に関する形態、発明を実施するための最良の形態の欄などにおいて同じである。
【００１６】
〔形態２〕  更に、形態２の画像圧縮装置は、形態１の画像圧縮装置において、
前記有効画像データ生成手段は、露光時間の長い方から順に前記有効画像データを生成すると共に、前記標準露光時間以外の各露光時間に対応する前記有効画像データの生成処理において、１つ前の有効画像データの生成時に一定値に置換された画素データの情報に基づき、各露光時間に対応する画像データにおける、前記１つ前の有効画像データにおいて前記一定値に置換の施された画素データのうち非飽和の画素データを選択し、当該選択した画素データ以外の画素データを前記一定値に置換して前記有効画像データを生成することを特徴としている。
【００１７】
このような構成であれば、各露光時間に対応する画像データを構成する画素データのうち、露光時間の長い方から短い方へと順に、非飽和の画素データをそのままに、飽和した画素データを一定値（例えば、０など）に変換して有効画像データを生成し、且つ、標準露光時間以外の各露光時間に対応する有効画像データの生成処理においては、１つ前の生成処理において一定値に変換した画素データの情報に基づき、各画像データのうち１つ前で一定値に変換された画素位置と同じ位置の画素データのうち非飽和の画素データを選択し、当該選択した画素データをそのままに、それ以外の画素データを一定値に変換して有効画像データを生成することが可能である。
【００１８】
従って、単純に飽和した画素データと非飽和の画素データとを選別して、飽和した画素データを一定値に変換して有効画像データを生成するよりも、標準露光時間以外の露光時間に対応した有効画像データにおける一定値の割合を増加させることができるので、効率よく圧縮することができ、圧縮後の総データ量をより低減することができるという効果が得られる。
【００１９】
〔形態３〕  更に、形態３の撮像装置は、形態２の撮像装置において、
前記露光時間情報生成手段は、前記各露光時間に対応する各有効画像データにおける前記非飽和の画素データの位置情報に基づき、当該非飽和の各画素データに対して、当該各画素データにそれぞれ対応する露光時間に係る情報を対応付けてなる露光時間情報を生成することを特徴としている。
【００２０】
このような構成であれば、各露光時間に対応する画像データにおける非飽和の画素データの画素位置にそれぞれ対応した露光時間に係る情報から構成される露光時間情報を得ることができる。
従って、露光時間情報を１枚の画像データとして扱うことができると共に、ＨＤＲ画像データを生成するために各露光時間に対応する有効画像データを合成した後でも各画素データの輝度レベルの補正を簡易に行うことができるという効果が得られる。
【００２１】
〔形態４〕  更に、形態４の撮像装置は、形態１乃至３のいずれか１の撮像装置において、
前記露光時間情報を所定の可逆圧縮方法を用いて可逆圧縮する露光時間情報圧縮手段を備えることを特徴としている。
このような構成であれば、露光時間情報のデータ量も低減することができ、総データ量をより低減することができるという効果が得られる。
ここで、上記可逆圧縮方法とは、ランレングス圧縮などの圧縮前の情報を完全に再現できる圧縮方法のことである。
【００２２】
〔形態５〕  更に、形態５の撮像装置は、形態１乃至４のいずれか１の撮像装置において、
前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データを構成する各画素データを、飽和及び非飽和をそれぞれ示す２値のいずれかの値に変換してなる２値画像データを生成する２値画像データ生成手段と、
前記２値画像データ生成手段で生成された各露光時間に対応する２値画像データにおける飽和を示すデータに対して、孤立点除去処理を施すノイズ除去手段と、を備え、
前記有効画像データ生成手段は、前記ノイズ除去手段で処理後の２値画像データに基づき、前記有効画像データを生成することを特徴としている。
【００２３】
このような構成であれば、２値画像データ生成手段によって、前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データを構成する各画素データを、飽和及び非飽和をそれぞれ示す２値のいずれかの値に変換してなる２値画像データを生成することが可能であり、ノイズ除去手段によって、前記２値画像データ生成手段で生成された各露光時間に対応する２値画像データにおける飽和を示すデータに対して、ノイズ等が原因で発生する孤立データを除去することができる。更に、前記有効画像データ生成手段は、前記ノイズ除去手段で処理後の２値画像データに基づき、前記有効画像データを生成することが可能である。
【００２４】
つまり、ノイズ除去後の各露光時間に対応する２値画像データに基づき、各露光時間に対応する有効画像データにおける飽和した画素データを一定値に変換することで各有効画像データから孤立画素データ部分を除去することができるので、これらの有効画像データから生成されるＨＤＲ画像データの画質を向上することができるという効果が得られる。
【００２５】
ここで、ノイズ除去手段としては、例えばｎ回（ｎは１以上の自然数）の膨張処理及び当該ｎ回の膨張処理後にｎ回の収縮処理を施す２値画像処理がある。上記膨張処理とは、ある画素の近傍（４近傍，８近傍）に一つでも１（白）があればその画素を１にする処理である。また、上記収縮処理とは、ある画素の近傍（４近傍，８近傍）に一つでも０があればその画素を０にする処理である。つまり、膨張処理の後に収縮処理を行うことで、選択画素が孤立した画素であれば、この画素が除去（「０」に変換）される。
また、上記２値画像処理は、ｎ回の膨張処理の後で、ｎ回の収縮処理を行うもので、複数回の膨張処理を行うことで、孤立画素の除去だけでなく、２画素以上が切れて離れてしまっているようなかすれた画像を連結してきれいな画像へと修復することも可能となる。
【００２６】
〔形態６〕  一方、上記目的を達成するために、形態６の画像圧縮プログラムは、
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い複数種類の露光時間でそれぞれ撮像された各画像の画像データを構成する、各画素データの示す輝度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成する露光時間情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００２７】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１の画像圧縮装置と同等の作用および効果が得られる。
【００２８】
〔形態７〕  また、上記目的を達成するために、形態７の画像圧縮方法は、
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い複数種類の露光時間でそれぞれ撮像された各画像の画像データを構成する、各画素データの示す輝度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成する露光時間情報生成ステップと、を含むことを特徴としている。
これにより、形態１の画像圧縮装置と同等の作用及び効果が得られる。
【００２９】
〔形態８〕  一方、上記目的を達成するために、形態８のＨＤＲ画像生成装置は、
請求項１乃至請求項５のいずれか１項に記載の画像圧縮装置で圧縮された有効画像データを圧縮前の有効画像データに復元し、当該復元した有効画像データと前記露光時間情報とに基づきＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像生成装置であって、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元手段と、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算手段と、
前記乗算手段で乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成するＨＤＲ画像データ生成手段と、を備えることを特徴としている。
【００３０】
このような構成であれば、有効画像データ復元手段によって、請求項１乃至請求項５のいずれか１項に記載の画像圧縮装置において、前記所定の圧縮手法を用いて圧縮された有効画像データを復元することが可能であり、乗算手段によって、前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算することが可能であり、ＨＤＲ画像データ生成手段によって、前記乗算手段で乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成することが可能である。
【００３１】
従って、例えば、請求項１乃至請求項５のいずれか１項に記載の画像圧縮装置と本形態のＨＤＲ画像生成装置とを、ネットワークを介して接続した場合などに、前記画像圧縮装置において高効率で圧縮された有効画像データと、露光時間情報とを、ネットワークを介してＨＤＲ画像生成装置に伝送し、ＨＤＲ画像生成装置において前記ネットワークを介して受信した有効画像データ及び露光時間情報に基づきＨＤＲ画像データを生成することができるので、遠隔地の撮像画像をリアルタイムに監視する監視システムなど、ＨＤＲ画像データを生成するために必要な各種データを高速に伝送する必要があるシステムを簡易に構築することができるという効果が得られる。
【００３２】
〔形態９〕  また、上記目的を達成するために、形態９のＨＤＲ画像生成プログラムは、
請求項１乃至請求項５のいずれか１項に記載の画像圧縮装置で圧縮された有効画像データを圧縮前の有効画像データに復元し、当該復元した有効画像データと前記露光時間情報とに基づきＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成プログラムであって、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算ステップと、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成するＨＤＲ画像データ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００３３】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態８のＨＤＲ画像生成装置と同等の作用および効果が得られる。
【００３４】
〔形態１０〕  また、上記目的を達成するために、形態１０のＨＤＲ画像生成方法は、
請求項１乃至請求項５のいずれか１項に記載の画像圧縮装置で圧縮された有効画像データを圧縮前の有効画像データに復元し、当該復元した有効画像データと前記露光時間情報とに基づきＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成方法であって、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算ステップと、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成するＨＤＲ画像データ生成ステップとを、含むことを特徴としている。
これにより、形態８のＨＤＲ画像生成装置と同等の作用及び効果が得られる。
【００３５】
〔形態１１〕  一方、上記目的を達成するために、形態１１の画像処理システムは、
標準露光時間及び当該標準露光時間よりも短い前記Ｎ種類（Ｎは１以上の自然数）の露光時間で撮像対象を撮像する撮像手段と、
前記撮像手段で撮像した、前記標準露光時間で撮像された画像の画像データ及び前記Ｎ種類の露光時間でそれぞれ撮像された各画像の画像データをそれぞれ別々に出力する画像データ出力手段と、
前記出力手段で出力した、前記標準露光時間で撮像された画像の画像データ及び前記Ｎ種類の露光時間でそれぞれ撮像された各画像の画像データを記憶する画像データ記憶手段と、
各露光時間に対応する各画像データを構成する各画素データの示す輝度が飽和しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効画像データを生成する有効画像データ生成手段と、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する画像圧縮手段と、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成する露光時間情報生成手段と、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元手段と、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算手段と、
前記乗算手段で乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成するＨＤＲ画像データ生成手段と、を備えることを特徴としている。
【００３６】
このような構成であれば、撮像手段によって、標準露光時間及び当該標準露光時間よりも短い前記Ｎ種類（Ｎは１以上の自然数）の露光時間で撮像対象を撮像することが可能であり、画像データ出力手段によって、前記撮像手段で撮像した、前記標準露光時間で撮像された画像の画像データ及び前記Ｎ種類の露光時間でそれぞれ撮像された各画像の画像データをそれぞれ別々に出力することが可能であり、画像データ記憶手段によって、前記画像データ出力手段で出力した、前記標準露光時間で撮像された画像の画像データ及び前記Ｎ種類の露光時間でそれぞれ撮像された各画像の画像データを記憶することが可能であり、判定手段によって、各露光時間に対応する各画像データを構成する各画素データの示す輝度が飽和しているか否かを判定することが可能であり、有効画像データ生成手段によって、前記判定手段の判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効画像データを生成することが可能であり、露光時間情報生成手段によって、前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成することが可能である。
【００３７】
また、有効画像データ復元手段によって、前記所定の圧縮手法を用いて圧縮された有効画像データを復元することが可能であり、乗算手段によって、前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算することが可能であり、ＨＤＲ画像データ生成手段によって、前記乗算手段で乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成することが可能である。
【００３８】
従って、各露光時間に対応する画像データを構成する画素データのうち、非飽和の画素データをそのままに、飽和した画素データを一定値（例えば、０など）に変換して有効画像データを生成し、当該有効画像データを所定の画像圧縮方法を用いて圧縮するようにしたので、各露光時間の画像データをそのまま圧縮するよりも、一定値とした部分を効率よく圧縮することができるので圧縮後の総データ量を低減することができるという効果が得られる。また、このように高効率に圧縮された有効画像データを復元し、当該復元した有効画像データと露光時間情報とに基づきＨＤＲ画像データを簡易に生成することができるという効果が得られる。
【００３９】
例えば、撮像手段と画像データ出力手段とから撮像装置を構成し、画像データ記憶手段と、判断手段と、有効画像データ生成手段と、露光時間情報生成手段とから画像圧縮装置を構成し、有効画像データ復元手段と、乗算手段と、ＨＤＲ画像データ生成手段とからＨＤＲ画像生成装置を構成し、これらをネットワークを介して接続して画像処理システムを構成した場合に、撮像装置において各露光時間毎に画像を撮像し、且つ当該撮像した画像データを各露光時間毎に別々に出力することができ、また、前記画像圧縮装置において高効率で圧縮された有効画像データと、露光時間情報とを、ネットワークを介してＨＤＲ画像生成装置に伝送し、ＨＤＲ画像生成装置において前記ネットワークを介して受信した有効画像データ及び露光時間情報に基づきＨＤＲ画像データを生成することができるので、遠隔地の撮像画像をリアルタイムに監視する監視システムなど、ＨＤＲ画像データを生成するために必要な各種データを高速に伝送する必要があるシステムを簡易に構築することができるという効果が得られる。
【００４０】
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【００４１】
〔形態１２〕  また、上記目的を達成するために、形態１２の画像処理プログラムは、
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い前記Ｎ種類（Ｎは１以上の自然数）の露光時間でそれぞれ撮像された各画像の画像データを構成する各画素データの示す輝度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成する露光時間情報生成ステップと、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算ステップと、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成するＨＤＲ画像データ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００４２】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１１の画像処理システムと同等の作用および効果が得られる。
【００４３】
〔形態１３〕  また、上記目的を達成するために、形態１３の画像処理方法は、
標準露光時間で撮像された画像の画像データ及び当該標準露光時間よりも短い前記Ｎ種類（Ｎは１以上の自然数）の露光時間でそれぞれ撮像された各画像の画像データを構成する各画素データの示す輝度が飽和しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づき、前記各露光時間に対応する各画像データの各画素データのうち非飽和と判定された画素データ以外の画素データを一定値に置換した有効画像データを生成する有効画像データ生成ステップと、
前記各露光時間に対応する前記有効画像データを所定の画像圧縮方法を用いて圧縮する画像圧縮ステップと、
前記圧縮された各有効画像データに対して、それぞれの露光時間に係る情報を対応付けてなる露光時間情報を生成する露光時間情報生成ステップと、
前記所定の圧縮手法を用いて圧縮された有効画像データを復元する有効画像データ復元ステップと、
前記復元された前記各露光時間に対応する各有効画像データと、当該各有効画像データに対応する前記露光時間情報とに基づき、前記各有効画像データにおける前記一定値に置換されていない画素データに対して、前記標準露光時間と各露光時間との比率から決定される定数を乗算する乗算ステップと、
前記乗算ステップで乗算後の前記各露光時間に対応する有効画像データに基づきＨＤＲ画像データを生成するＨＤＲ画像データ生成ステップとを、含むことを特徴としている。
これにより、形態１１の画像処理システムと同等の作用及び効果が得られる。
【発明を実施するための最良の形態】
【００４４】
以下、本発明に係る画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ＨＤＲ画像生成装置、ＨＤＲ画像生成プログラム及びＨＤＲ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法の実施の形態を、図面に基づいて説明する。図１〜図１３は、本発明に係る画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ＨＤＲ画像生成装置、ＨＤＲ画像生成プログラム及びＨＤＲ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法の実施の形態を示す図である。
【００４５】
以下、本発明に係る画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ＨＤＲ画像生成装置、ＨＤＲ画像生成プログラム及びＨＤＲ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法をカメラシステムに適用した場合の実施の形態を説明する。
以下、図１に基づき、カメラシステム１の全体構成を説明する。ここで、図１は、カメラシステム１の全体構成を示すブロック図である。
【００４６】
カメラシステム１は、図１に示すように、複数種類の露光時間で撮像対象を撮像可能な多段階露光カメラ１００と、当該多段階露光カメラ１００において複数種類の露光時間で撮像された各画像の画像データに基づきＨＤＲ画像圧縮データを生成する画像圧縮装置２００と、画像圧縮装置２００からネットワークを介して送信された画像圧縮データに基づき、ＨＤＲ画像データを生成するＨＤＲ画像データ生成装置３００と、ＨＤＲ画像データ生成装置３００で生成されたＨＤＲ画像データに基づき、所定の制御処理を実行する計算機４００と、計算機４００をコントロールするコントロール手段５００と、ＨＤＲ画像データ生成装置３００から出力されたＨＤＲ画像データに基づきＨＤＲ画像を表示する表示装置６００と、画像圧縮装置２００及びＨＤＲ画像生成装置３００を互いにデータ通信可能に接続するネットワーク７００とを含んで構成される。
【００４７】
多段階露光カメラ１００は、１フレーム期間（１回の露光期間）に、標準露光時間で露光された画像を撮像すると共に、当該標準露光時間（ユーザにより任意に設定可能）の露光と同じ１フレーム期間に、短露光時間、超短露光時間及び超超短露光時間（標準露光時間＞短露光時間＞長短露光時間＞超超短露光時間）の各露光時間で露光された画像を撮像する機能を有している。更に、これら４種類の露光時間で撮像された各画像の画像データを、４つの出力チャンネル（ＣＨ１〜ＣＨ４）を用いて、画像圧縮装置２００にそれぞれ独立且つ並列に出力する機能を有している。本実施の形態においては、ＣＨ１から標準露光時間、ＣＨ２から短露光時間、ＣＨ３から超短露光時間、ＣＨ４から超超短露光時間で撮像された画像の画像データがそれぞれ出力されることとする。
【００４８】
画像圧縮装置２００は、多段階露光カメラ１００のＣＨ１〜ＣＨ４からそれぞれ出力される上記４種類の露光時間にそれぞれ対応する画像データを記憶する画像記憶部２０と、当該画像記憶部２０に記憶された４種類の露光時間にそれぞれ対応する画像データに基づきＨＤＲ画像圧縮データを生成する画像圧縮部２２と、当該画像圧縮部２２で生成されたＨＤＲ画像圧縮データをネットワーク７００を介してＨＤＲ画像生成装置３００に送信するデータ送信部２４とを含んで構成される。以下、標準露光時間に対応する画像データを標準露光画像データと称し、短露光時間に対応する画像データを短露光画像データと称し、超短露光時間に対応する画像データを長短露光画像データと称し、超超短露光時間に対応する画像データを著長短露光画像データと称すこととする。
【００４９】
画像記憶部２０は、多段階露光カメラ１００から画素のライン毎に入力される、標準露光画像データ、短露光画像データ、超短露光画像データ及び超超短露光画像データをライン毎に記憶し、当該記憶した４種類の画像データを後段の処理において同期を取る為に、各画像データをバッファリング（蓄積）する。あるいは、４種類の画像データを１フレーム分蓄積後に、画像圧縮部２２にそれぞれ独立に、もしくは並列に出力する機能を有している。
【００５０】
画像圧縮部２２は、画像記憶部２０から入力される各露光時間に対応した画像データに基づき、各露光時間に対応したマスクデータ、有効領域画像データ及び無効２値画像データをそれぞれ生成すると共に、各露光時間に対応する有効領域画像データに基づき露光コード画像データを生成する。更に、各露光時間に対応する有効領域画像データ及び前記生成した露光コード画像データを所定の圧縮方法を用いて圧縮すると共に、これら５つのデータを１つのファイルにまとめてＨＤＲ画像圧縮データを生成し、これをデータ伝送部２４に出力する。
【００５１】
データ伝送部２４は、画像圧縮部２２から入力されたＨＤＲ画像圧縮データを、ネットワーク７００を介してＨＤＲ画像生成装置３００に送信する他、ＨＤＲ画像生成装置３００を含む外部機器等から画像圧縮装置２００宛に送られてきた各種データを受信する機能も有している。
【００５２】
ＨＤＲ画像生成装置３００は、画像圧縮装置２００からネットワーク７００を介して送られてきたＨＤＲ画像圧縮データを受信するデータ伝送部３０と、データ伝送部３０で受信したＨＤＲ画像圧縮データに基づきＨＤＲ画像データを生成するＨＤＲ画像生成部３２と、データ伝送部３０で受信したＨＤＲ画像圧縮データを記録する記録装置３４と、ＨＤＲ画像生成部３２で生成されたＨＤＲ画像データを計算機４００に伝送したり、表示装置６００に伝送したりするなどの処理を行うＨＤＲ画像処理部３６とを含んで構成される。
【００５３】
データ伝送部３０は、画像圧縮装置２００から送信されたＨＤＲ画像圧縮データを、ネットワーク７００を介して受信する他、当該受信したＨＤＲ画像圧縮データを、ＨＤＲ画像生成部３２及び記録装置３４にそれぞれ出力したり、画像圧縮装置２００を含む外部機器等に対して、ネットワーク７００を介して各種データを送信したりする機能も有している。
【００５４】
ＨＤＲ画像生成部３２は、データ伝送部３０から入力されたＨＤＲ画像圧縮データを４つの圧縮された有効領域画像データ及び１つの圧縮された露光コード画像データに分解すると共に、これら５つの圧縮画像データを伸張（復号）する機能を有している。更に、これら伸張された４つの有効領域画像データを合成すると共に、露光コード画像データに基づき、合成後の画像データ各画素データの輝度レベルを補正してＨＤＲ画像データを生成する機能を有している。
【００５５】
記録装置３４は、画像圧縮装置２００から送られてくるＨＤＲ画像圧縮データを記録保持しておくもので、記録されたＨＤＲ画像圧縮データは、計算機４００などで過去の撮像画像データを再度解析する際などに用いられる。
ＨＤＲ画像処理部３６は、ＨＤＲ画像生成部３２で生成されたＨＤＲ画像データを、計算機４００及び表示装置６００に伝送したり、計算機４００からの制御命令に応じて、表示装置６００で表示する画像の階調を変更したりするなど、ＨＤＲ画像データに対して各種処理を行う機能を有している。
【００５６】
計算機４００は、例えば、本カメラシステム１が監視用途に用いられる場合は、ＨＤＲ画像データを解析して、撮像画像に不審者が映っているか否か等を判断し、更に、当該判断結果に基づく動作を実行する（例えば、警報機を作動させる信号を出力するなど）。
コントロール手段５００は、オペレータが計算機４００に指示を与えるための手段であり、例えば、キーボードやマウス等の入力デバイスなどから構成される。
【００５７】
表示装置６００は、ＨＤＲ画像処理部３４からの表示画像データ（ＨＤＲ画像データ、あるいはＨＤＲ画像データを低階調に補正した画像データ）に基づき撮像画像を表示する機能を有している。
ネットワーク７００は、公知のＬＡＮ、ＷＡＮ、インターネットなどのいずれか、あるいはこれらを組み合わせて構成されるものであり、画像圧縮装置２００とＨＤＲ画像生成装置３００との結線は有線及び無線、あるいはこれらの組み合わせのいずれでも良い。また、ネットワーク７００は、本システムの用途に合わせて適切なものを選択して用いる。例えば、監視対象と監視場所（監視者）とが遠く離れているような場合は、ＷＡＮやインターネット等を利用する。
【００５８】
更に、図２〜図６に基づき、画像圧縮部２２の内部構成を説明する。ここで、図２は、画像圧縮部２２の内部構成を示す図である。また、図３は、有効画像形成部２２ａの内部構成を示す図である。また、図４は、マスクデータ生成部２２０ａの内部構成を示す図である。
【００５９】
画像圧縮部２２は、図２に示すように、各露光時間に対応する有効領域画像データ及び各有効領域画像データの露光時間を示す露光コード画像データを生成する有効画像形成部２２ａと当該有効画像形成部２２ａで生成された有効領域画像データ及び露光コード画像データを所定の圧縮方法で圧縮する有効画像圧縮部２２ｂと、当該有効画像圧縮部２２ｂで圧縮された有効領域画像データ及び露光コード画像データを１つのファイルに変換してＨＤＲ画像圧縮データを生成するファイル変換部２２ｃとを含んで構成される。
【００６０】
有効画像形成部２２ａは、図３に示すように、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄと、第１〜第４有効・無効画像生成部２２４ａ〜２２４ｄと、露光コード画像生成部２２８とを含んで構成される。
第１マスクデータ生成部２２０ａは、図４（ａ）に示すように、飽和領域検出部２２０ａ1と、ノイズ除去フィルタ２２０ａ2とを含んで構成される。
【００６１】
飽和領域検出部２２０ａ1は、図４（ｂ）に示すように、比較器を有しており、当該比較器は、標準露光画像データの各画素データ（信号）の入力と、予め設定された閾値YHighとを比較し、入力画素データが閾値YHigh以下のときは「０」を出力し、閾値YHighより大きいときは「１」を出力する。この出力は、ノイズ除去フィルタ２２０ａ2に入力される。つまり、飽和領域検出部２２０ａ1は、標準露光画像データにおける、非飽和の各画素データを「０」、飽和した各画素データを「１」に変換した２値画像データとなる。
【００６２】
ノイズ除去フィルタ２２０ａ2は、飽和領域検出部２２０ａ1からの２値画像データに対して、２値画像処理を施して、ノイズが原因で発生する孤立画素等を除去する。例えば、２回の膨張処理を行うと共に、当該２回の膨張処理の後に２回の収縮処理を行う。
そして、２値画像処理によりノイズ除去が施された２値画像データを第１マスクデータとして、第１有効・無効画像生成部２２４ａに出力する。
【００６３】
なお、第２〜第４マスクデータ生成部２２０ｂ〜２２０ｄは、入力される画像データが、それぞれ短露光画像データ、超短露光画像データ及び超超短露光画像データとなるだけで、第１マスクデータ生成部２２０ａと同様の構成となるので説明を省略する。第２〜第４マスクデータ生成部２２０ｂ〜２２０ｄは、それぞれ生成した第２〜第４マスクデータを、第２〜第４有効・無効画像生成部２２４ｂ〜２２４ｄにそれぞれ出力する。
【００６４】
図３に戻って、第１有効・無効画像生成部２２４ａは、画像記憶部２０からの標準露光画像データと、第１マスクデータ生成部２２０ａからの第１マスクデータとに基づき、第１マスクデータにおいて値が「１」（飽和）となっている各画素データの画素位置と同位置の標準露光画像データを無効とし、それ以外の画素データの値を有効とする。この有効／無効に基づき、標準露光有効領域画像データを生成する。すなわち、標準露光有効領域画像データは、無効画素はその値を「０」に変換し、有効画素は標準露光画像データそのままの値とする。つまり、標準露光有効領域画像データは、標準露光画像データにおける飽和している画素データが「０」に変換される。更に、標準露光画像データの無効／有効を示す第１無効２値画像データを生成する。第１無効２値画像データは、その値が「１」のときは標準露光画像データが有効であることを示し、「０」のときは標準露光画像データは無効であることを示す。そして、標準露光有効領域画像データを有効画像圧縮部２２ｂに出力し、第１無効２値画像データを第２有効・無効画像生成部２２４ｂ及び露光コード画像生成部２２８にそれぞれ出力する。
【００６５】
第２有効・無効画像生成部２２４ｂは、画像記憶部２０からの短露光画像データと、第２マスクデータ生成部２２０ｂからの第２マスクデータと、第１有効・無効画像生成部２２４ａからの第１無効２値画像データとが入力され、短露光画像データの各画素データのうち、第１無効２値画像データにおいて値が「０」（飽和）で且つ第２マスクデータにおいて値が「０」（非飽和）となっている画素データの値を有効とし、それ以外の画素データの値を無効とする。この有効／無効に基づき、短露光有効領域画像データを生成する。すなわち、短露光有効領域画像データは、有効画素は短露光画像データの値そのままとし、無効画素は「０」に変換する。短露光有効領域画像データは、標準露光有効領域画像データにおいて有効な画素と同じ画素位置の画素データの値が全て「０」（無効）に変換されており、これにより、標準露光有効領域画像データと短露光有効領域画像データとの相互間で、有効な画素データが同じ画素位置で重複しないので、後述の如く、画像の圧縮効率が向上する。
【００６６】
更に、短露光有効領域画像データの無効／有効を示す第２無効２値画像データを生成する。第２無効２値画像データは、第１無効２値画像データの値が「１」（有効）の画素データと同じ画素位置の画素データの値を「１」とし、また、短露光有効領域画像データが有効な画素を「１」とし、それ以外を「０」とする。そして、短露光有効領域画像データを有効画像圧縮部２２ｂに出力し、第２無効２値画像データを第３有効・無効画像生成部２２４ｃ及び露光コード画像生成部２２８にそれぞれ出力する。
【００６７】
第３有効・無効画像生成部２２４ｃは、画像記憶部２０からの超短露光画像データと、第３マスクデータ生成部２２０ｃからの第３マスクデータと、第２有効・無効画像生成部２２４ａからの第２無効２値画像データとが入力され、超短露光画像データの各画素データのうち、第２無効２値画像データにおいて値が「０」（飽和）で且つ第３マスクデータにおいて値が「０」（非飽和）の画素を有効とし、それ以外の画素を無効とする。この有効／無効に基づき、超短露光有効領域画像データを生成する。すなわち、超短露光有効領域画像データは、有効画素は超短露光画像データの値そのままとし、無効画素は「０」に変換する。超短露光有効領域画像データは、標準露光有効領域画像データ及び短露光有効領域画像データが有効な画素が全て「０」に変換されており、これにより、標準露光有効領域画像データ、短露光有効領域画像データ及び超短露光有効領域画像データとの各相互間で非飽和の画素データが同じ画素位置で重複しないようになる。
【００６８】
更に、超短露光有効領域画像データの無効／有効を示す第３無効２値画像データを生成する。第３無効２値画像データは、第２無効２値画像データの値が「１」（有効）の画素データと同じ画素位置の画素データの値を「１」とし、また、超短露光有効領域画像データが有効な画素を「１」とし、それ以外を「０」とする。そして、超短露光有効領域画像データを有効画像圧縮部２２ｂに出力し、第３無効２値画像データを第４有効・無効画像生成部２２４ｄ及び露光コード画像生成部２２８にそれぞれ出力する。
【００６９】
第４有効・無効画像生成部２２４ｄは、画像記憶部２０からの超超短露光画像データと、第４マスクデータ生成部２２０ｃからの第４マスクデータと、第３有効・無効画像生成部２２４ａからの第３無効２値画像データとが入力され、超超短露光画像データの各画素データのうち、第３無効２値画像データにおいて値が「０」（飽和）で且つ第４マスクデータにおいて値が「０」（非飽和）の画素を有効とし、それ以外の画素を無効とする。この有効／無効に基づき、画像を超超短露光有効領域画像データを生成する。すなわち、超超短露光有効領域画像データは、有効画素は超超短露光画像データの値そのままとし、無効画素は「０」に変換する。超超短露光有効領域画像データは、標準露光有効領域画像データ、短露光有効領域画像データ及び超短露光有効領域画像データが有効な画素全てが「０」（無効）に変換されており、これにより、標準露光有効領域画像データ、短露光有効領域画像データ、超短露光画像データ及び超超短露光有効領域画像データとの各相互間で非飽和の画素データが同じ画素位置で重複しないようになる。
【００７０】
更に、超超短露光有効領域画像データの無効／有効を示す第４無効２値画像データを生成する。第４無効２値画像データは、第３無効２値画像データの値が「１」の画素データと同じ画素位置の画素データの値を「１」とし、また、超超短露光有効領域画像データが有効な画素を「１」とし、それ以外を「０」とする。そして、超超短露光有効領域画像データを有効画像圧縮部２２ｂに出力し、第４無効２値画像データを露光コード画像生成部２２８に出力する。
【００７１】
露光コード画像生成部２２８は、第１無効２値画像データ、第２無効２値画像データ、第３無効２値画像データ、第４無効２値画像データの４ビットの画素データから、各画素毎に露光コードを生成する。ここで露光コードとは、露光量を与えるコードである。いま、以下に示す式（１）のベクトルを考える。
【００７２】
ベクトル＝（第１無効２値画像データ、第２無効２値画像データ、第３無効２値画像データ、第４無効２値画像データ）                                      ・・・（１）
前述の生成法を用いると、上式（１）に示すベクトルとして、（１，１，１，１）、（０，１，１，１）、（０，０，１，１）、（０，０，０，１）の４種類のベクトルが生成される。そして、これらの値に応じて露光コードを割り振る。本発明では、特開平６−２９２０２１号公報に記載の手法に準拠して、露光コードを割り振る。その手法は、４つのベクトルの発生頻度（画素の総数）を各々計数する。このとき、最も頻度の高いベクトルに２ビットの露光コード「００」を、次に頻度の高いものに「０１」を、次に頻度の高いものに「１０」を、最も頻度の低いベクトルに「１１」を割り振る。これにより、情報圧縮に適した（エントロピーの低い）コードを割り振ることが可能となる。そして、これら２ビットの露光コードからなる露光コード画像データを生成する。なお、この露光コード画像データは、具体的には、各露光時間に対応した有効領域画像データを構成する各非飽和の画素データの画素位置と各露光コードとが一対一に対応付けられたデータとなる。また、露光コードには、各対応する有効領域画像データの露光時間の情報が対応付けられる。この露光時間の情報は、ＨＤＲ画像生成装置３００において標準露光時間以外の露光時間に対応する有効領域画像データに対して輝度レベルの補正を行うときに用いる。更に、露光コード画像生成部２２８は、前記生成した露光コード画像データを有効画像圧縮部２２ｂに出力する。
【００７３】
有効画像圧縮部２２ｂには、標準露光有効領域画像データ、短露光有効領域画像データ、超短露光有効領域画像データ及び超超短露光有効領域画像データと、露光コード画像データとが、有効画像形成部２２ａから入力される。そして、有効画像圧縮部２２ｂは、各有効領域画像データに対して、ネットワーク遅延や通信速度等を考慮して、圧縮処理を行う。その為に、図示しないが各有効領域画像データのバッファリング（蓄積）を行う。ここで、圧縮率を高めたい場合はＪＰＥＧ等の非可逆圧縮方法を用いて圧縮を行い、画質を優先させたい場合は、ＴＩＦＦ等の可逆圧縮方法を用いて圧縮を行う。なお、４つの画像データ毎に独立して圧縮してもよいし、４つの画像を一つの画像として圧縮しても良い。これは４つの画像の対応する画素位置において有効な画像は一つのみなので可能となる。一方、露光コード画像データは、別の手法で圧縮処理を行う。すなわち、送信先のＨＤＲ画像データ生成装置３００において正確な情報として復元させる必要があるため、ランレングス圧縮等の可逆圧縮方法によって圧縮を行う。そして、圧縮後の各露光時間に対応した４つの有効領域画像データ及び１つの露光コード画像データをファイル変換部２２ｃに出力する。
【００７４】
ファイル変換部２２ｃは、有効画像圧縮部２２ｂから入力された４つの有効領域画像データ及び１つの露光コード画像データから、これら５つの画像データを１つのファイルに変換してなるＨＤＲ画像圧縮データを生成し、これをデータ伝送部２４に出力する。
更に、図５に基づき、ＨＤＲ画像生成部３２の内部構成を説明する。ここで、図５は、ＨＤＲ画像生成部３２の内部構成を示すブロック図である。
【００７５】
ＨＤＲ画像生成部３２は、図５に示すように、ファイル分割部３２ａと、有効画像伸張部３２ｂと、画像合成部３２ｃとを含んで構成される。
ファイル分割部３２ａは、データ伝送部３０から入力される１つのＨＤＲ画像圧縮データを、標準露光有効領域画像データ、短露光有効領域画像データ、超短露光有効領域画像データ及び超超短露光有効領域画像データの４つの有効領域画像データと、１つの露光コード画像データとに分割し、これら分割後の各画像データを有効画像伸張部３２ｂに出力する。
【００７６】
有効画像伸張部３２ｂは、画像圧縮装置２００の圧縮方式に対応しており、可逆圧縮又は非可逆圧縮で圧縮された各有効領域画像データを伸張（復号）すると共に、可逆圧縮で圧縮された露光コード画像データを伸張（復号）して、これら伸張後の各画像データを画像合成部３２ｃに出力する。
【００７７】
画像合成部３２ｃは、有効画像伸張部３２ｂから入力される、伸張後の、標準露光有効領域画像データ、短露光有効領域画像データ、超短露光有効領域画像データ及び超超短露光有効領域画像データの４つの有効領域画像データの各画素データの画素値に、これら各画素データの画素位置に対応する露光コード画像データの各露光コードで指定される定数を乗算して、前記各画素データをＨＤＲ画素データに変換する。本実施の形態において、前記定数は、例えば、標準露光時間（長露光時間）を基準として、短露光時間が基準の１／１０、超短露光時間が基準の１／１００、超超短露光時間が基準の１／１０００であれば、標準露光時間は「１」、短露光時間は「１０」、超短露光時間は「１００」、超超短露光時間は「１０００」と予め決定されていることとする。
【００７８】
従って、標準露光時間に対応する有効領域画像データの各画素データの画素値は１倍し、短露光時間に対応する有効領域画像データの各画素データの画素値は１０倍し、超短露光時間に対応する有効領域画像データの各画素データの画素値は１００倍し、超超短露光時間に対応する有効領域画像データの各画素データの画素値は１０００倍する。
そして、前記各定数で乗算後の４つの有効領域画像データの各非飽和の画素データを合成することでＨＤＲ画像データを生成する。更に、画像合成部３２ｃは、当該生成したＨＤＲ画像データをＨＤＲ画像処理部３４に出力する。
【００７９】
更に、図６に基づき、画像圧縮装置２００の動作処理の流れを説明する。ここで、図６は、画像圧縮装置２００の動作処理を示すフローチャートである。
図６に示すように、まずステップＳ１００に移行し、画像記憶部２０において、標準露光時間、短露光時間、超短露光時間及び超超短露光時間の４種類の露光時間にそれぞれ対応した標準露光画像データ、短露光画像データ、超短露光画像データ及び超超短露光画像データが、後段の処理が実行できるデータ量を記憶されたか否かを判定し、記憶されたと判定された場合(Yes)は、記憶された各画像データを画像圧縮部２２に出力してステップＳ１０２に移行し、そうでない場合(No)は、記憶されるまで待機する。
【００８０】
ステップＳ１０２に移行した場合は、画像圧縮部２２において、ステップＳ１００で画像記憶部２０から入力された各露光時間に対応する画像データのマスクデータを生成してステップＳ１０４に移行する。
ステップＳ１０４では、画像圧縮部２２において、ステップＳ１０２で生成したマスクデータに基づき、標準露光有効領域画像データ、短露光有効領域画像データ、超短露光有効領域画像データ及び超超短露光有効領域画像データの４種類の各露光時間に対応する有効領域画像データ、並びに各露光時間に対応する第１〜第４無効２値画像データを生成してステップＳ１０６に移行する。
【００８１】
ステップＳ１０６では、画像圧縮部２２において、ステップＳ１０４で生成した第１〜第４無効２値画像データに基づき、露光コード画像データを生成してステップＳ１０８に移行する。
なお、ステップＳ１０２からＳ１０６までをハードウェア処理する場合は、並列処理が可能であり、一つのステップとすることができる。
【００８２】
ステップＳ１０８では、画像圧縮部２２において、ステップＳ１０４で生成した、標準露光有効領域画像データ、短露光有効領域画像データ、超短露光有効領域画像データ及び超超短露光有効領域画像データの４種類の有効領域画像データを所定の圧縮方法（ＪＰＥＧ、ＴＩＦＦなど）を用いて圧縮してステップＳ１１０に移行する。
ステップＳ１１０では、画像圧縮部２２において、ステップＳ１０６で生成した露光コード画像データを所定の可逆圧縮方法（ランレングス圧縮など）を用いて圧縮してステップＳ１１２に移行する。
【００８３】
なお、ステップＳ１０８、Ｓ１１０は、専用のハードウェア処理も可能であり、その場合、高速な処理が可能である。
ステップＳ１１２では、画像圧縮部２２において、ステップＳ１０８で圧縮後の４種類の有効領域画像データ及びステップＳ１１０で圧縮後の１つ露光コード画像データを１つのファイルにまとめたＨＤＲ画像圧縮データを生成し、当該生成したＨＤＲ画像圧縮データをデータ伝送部２４に出力してステップＳ１１４に移行する。
【００８４】
ステップＳ１１４では、データ伝送部２４において、画像圧縮部２２から入力されたＨＤＲ画像圧縮データを、ネットワーク７００を介してＨＤＲ画像生成装置３００に送信してステップＳ１００に移行する。
更に、図７に基づき、上記ステップＳ１０２の画像圧縮部２２におけるマスクデータ生成処理の流れを説明する。ここで、図７は、画像圧縮部２２のマスクデータ生成処理を示すフローチャートである。なお、この処理は図４のごとくハードウェア処理も可能である。
【００８５】
マスクデータ生成処理は、図７に示すように、まずステップＳ２００に移行し、有効画像形成部２２ａの第１〜第４マスクデータ生成部２２０ａ〜２２０ｄの各々において、標準露光画像データ、短露光画像データ、超短露光画像データ及び超超短露光画像データのうち、各自に対応する画像データが入力されたか否かを判定し、入力されたと判定された場合(Yes)は、ステップＳ２０２に移行し、そうでない場合(No)は、入力されるまで待機する。
【００８６】
ステップＳ２０２に移行した場合は、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄの各々において、入力画像データの各画素データの画素値と、予め設定された閾値YHighとを比較し、画素値が閾値YHigh以下のときは当該画素値に対して「０」が、閾値YHighより大きいときは「１」がそれぞれ対応付けられた第１〜第４の２値画像データをそれぞれ生成してステップＳ２０４に移行する。
【００８７】
ステップＳ２０４では、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄの各々において、ステップＳ２０２で生成したそれぞれ対応する２値画像データに対して膨張処理を２回連続して施してステップＳ２０６に移行する。
ステップＳ２０６では、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄの各々において、ステップＳ２０４で膨張処理後のそれぞれ対応する２値画像データに対して収縮処理を２回連続して施してマスクデータを生成しステップＳ２０８に移行する。
【００８８】
ステップＳ２０８では、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄの各々において、ステップＳ２０６で生成したそれぞれ対応するマスクデータを、第１〜第４有効・無効画像生成部２２４ａ〜２２４ｄのうち対応する有効・無効画像生成部に出力してステップＳ２００に移行する。
【００８９】
更に、図８に基づき、上記ステップＳ１０４の画像圧縮部２２における標準露光有効領域画像データ及び第１無効２値画像データの生成処理の流れを説明する。ここで、図８は、画像圧縮部２２の標準露光有効領域画像データ及び第１無効２値画像データの生成処理を示すフローチャートである。なお、この処理は、マルチプレクサやゲート回路により専用のハードウェア処理も可能である。
【００９０】
標準露光有効領域画像データ及び第１無効２値画像データの生成処理は、図８に示すように、まずステップＳ３００に移行し、第１有効・無効画像生成部２２４ａにおいて、画像記憶部２０から標準露光画像データが入力され且つ第１マスクデータ生成部２２０ａから第１マスクデータが入力されたか否かを判定し、入力されたと判定された場合(Yes)は、ステップＳ３０２に移行し、そうでない場合(No)は、入力されるまで待機する。
【００９１】
ステップＳ３０２に移行した場合は、第１有効・無効画像生成部２２４ａにおいて、標準露光画像データにおける、第１マスクデータで非飽和（０）となっている画素位置と同じ画素位置の画素データを有効と判定してそのままとし、それ以外の画素データを無効と判定してそれらの値を「０」に変換してなる標準露光有効領域画像データを生成してステップＳ３０４に移行する。
【００９２】
ステップＳ３０４では、第１有効・無効画像生成部２２４ａにおいて、ステップＳ３０２で生成した標準露光有効領域画像データにおける、有効（画素値そのもの）の値を１に変換した第１無効２値画像データを生成してステップＳ３０６に移行する。
ステップＳ３０６では、第１有効・無効画像生成部２２４ａにおいて、ステップＳ３０２で生成した標準露光有効画像データを有効画像圧縮部２２ｂに出力してステップＳ３０８に移行する。
【００９３】
ステップＳ３０８では、第１有効・無効画像生成部２２４ａにおいて、ステップＳ３０４で生成した第１無効２値画像データを、第２有効・無効画像生成部２２４ｂ及び露光コード画像生成部２２８にそれぞれ出力して処理を終了する。
【００９４】
更に、図９に基づき、上記ステップＳ１０４の画像圧縮部２２における標準露光時間以外の各露光時間に対応する有効領域画像データ及び無効２値画像データの生成処理の流れを説明する。ここで、図９は、画像圧縮部２２の標準露光時間以外の各有効露光時間に対応する有効領域画像データ及び無効２値画像データの生成処理を示すフローチャートである。なお、この処理は、マルチプレクサやゲート回路により専用のハードウェア処理も可能である。
【００９５】
有効領域画像データ及び無効２値画像データの生成処理は、図９に示すように、まずステップＳ４００に移行し、第２〜第４有効・無効画像生成部２２４ｂ〜２２４ｄのいずれかにおいて、自己に対応する画像データ、マスクデータ及び無効２値画像データが入力されたか否かを判定し、入力されたと判定された場合(Yes)は、ステップＳ４０２に移行し、そうでない場合(No)は、入力されるまで待機する。
【００９６】
ステップＳ４０２に移行した場合は、第２〜第４有効・無効画像生成部２２４ｂ〜２２４ｄのいずれかにおいて、自己に対応するマスクデータ及び無効２値画像データに基づき、入力画像データにおける、無効２値画像データで無効「０」となっている画素データの画素位置と同じ画素位置の画素データのうち、マスクデータで非飽和（０）となっている画素データの画素位置と同じ画素位置の画素データを有効と判定してその値をそのままにし、それ以外の画素データを無効と判定してそれらの値を「０」に変換してなる有効領域画像データを生成してステップＳ４０４に移行する。
【００９７】
ステップＳ４０４では、第２〜第４有効・無効画像生成部２２４ｂ〜２２４ｄのいずれかにおいて、ステップＳ４０２で生成した有効領域画像データ及びステップＳ４００で入力された無効２値画像データに基づき、当該有効領域画像データにおける有効（画素値そのもの）の値を１に変換すると共に、前段の無効２値画像データで有効「１」となっている画素データと同じ画素位置の画素データの値を「１」に変換して無効２値画像データを生成しステップＳ４０６に移行する。
【００９８】
ステップＳ４０６では、第２〜第４有効・無効画像生成部２２４ｂ〜２２４ｄのいずれかにおいて、ステップＳ４０２で生成した有効領域画像データを有効画像圧縮部２２ｂに出力してステップＳ４０８に移行する。
【００９９】
ステップＳ４０８では、第２〜第４有効・無効画像生成部２２４ｂ〜２２４ｄのいずれかにおいて、ステップＳ４０４で生成した無効２値画像データを、次段の有効・無効画像生成部及び露光コード画像データ生成部２２８にそれぞれ出力して処理を終了する。なお、第４有効・無効画像生成部２２４ｄにおいては、次段の有効・無効画像生成部が無いので生成した第４無効２値画像データを露光コード画像データ生成部２２８のみに出力する。
【０１００】
更に、図１０に基づき、上記ステップＳ１１０の画像圧縮部２２における露光コード画像データの生成処理の流れを説明する。ここで、図１０は、画像圧縮部２２の露光コード画像データの生成処理を示すフローチャートである。なお、この処理は、カウンタ、ルックアップテーブル、ゲート回路により専用のハードウェア処理も可能である。
【０１０１】
露光コード画像データの生成処理は、図１０に示すように、まずステップＳ５００に移行し、露光コード画像データ生成部２２８において、第１〜第４有効・無効画像生成部２２４ａ〜２２４ｄからの第１〜第４無効２値画像データが入力されたか否かを判定し、入力されたと判定された場合(Yes)は、ステップＳ５０２に移行し、そうでない場合(No)は、入力されるまで待機する。
【０１０２】
ステップＳ５０２に移行した場合は、露光コード画像データ生成部２２８において、前記４種類のベクトル、（１，１，１，１）、（０，１，１，１）、（０，０，１，１）、（０，０，０，１）の発生頻度（画素の総数）を各々計数してステップＳ５０４に移行する。
【０１０３】
ステップＳ５０４では、露光コード画像データ生成部２２８において、ステップＳ５０２の計数結果に基づき、発生頻度の高いベクトル（画素の総数が多い方）から順に、２ビットの露光コード「００」、「０１」、「１０」、「１１」をそれぞれ対応付けて、且つこれらのベクトル値からなる露光コード画像データを生成してステップＳ５０６に移行する。
【０１０４】
ステップＳ５０６では、露光コード画像データ生成部２２８において、ステップＳ５０４で生成した露光コード画像データを、有効画像圧縮部２２ｂに出力して処理を終了する。
更に、図１１に基づき、ＨＤＲ画像生成装置３００におけるＨＤＲ画像データの生成処理の流れを説明する。ここで、図１１は、ＨＤＲ画像データの生成処理を示すフローチャートである。
【０１０５】
ＨＤＲ画像データの生成処理は、図１１に示すように、まずステップＳ６００に移行し、データ伝送部３０において、画像圧縮装置２００からのＨＤＲ画像圧縮データを受信したか否かを判定し、受信したと判定された場合(Yes)は、当該受信したＨＤＲ画像圧縮データを、ＨＤＲ画像生成部３２及び記録装置３４にそれぞれ出力してステップＳ６０２に移行し、そうでない場合(No)は、受信するまで待機する。
【０１０６】
ステップＳ６０２に移行した場合は、ＨＤＲ画像生成部３２のファイル分割部３２ａにおいて、データ伝送部３０から入力されたＨＤＲ画像データ（ファイル）を、各露光時間に対応する４つの圧縮された有効領域画像データと、１つの圧縮された露光コード画像データとに分割し、これら５つ画像データを有効画像伸張部３２ｂに出力してステップＳ６０４に移行する。
【０１０７】
ステップＳ６０４では、有効画像伸張部３２ｂにおいて、圧縮された４つの有効領域画像データをそれぞれ伸張すると共に、圧縮された露光コード画像データを伸張して、これら伸張された５つの画像データを画像合成部３２ｃに出力してステップＳ６０６に移行する。
【０１０８】
ステップＳ６０６では、画像合成部３２ｃにおいて、ステップＳ６０４で伸張された露光コード画像データに基づき、ステップＳ６０４で伸張された４つの有効領域画像データの各画素データの輝度レベルを補正してステップＳ６０８に移行する。具体的には、前述したように、露光コード画像データの各露光コードに対応した定数を、これら各露光コードに対応する有効領域画像データの各画素データに乗算して輝度レベルを補正する。
【０１０９】
ステップＳ６０８では、画像合成部３２ｃにおいて、ステップＳ６０６で輝度レベルの補正された４つの有効領域画像データを合成してＨＤＲ画像データを生成しステップＳ６１０に移行する。
ステップＳ６１０では、画像合成部３２ｃにおいて、ステップＳ６０８で生成したＨＤＲ画像データをＨＤＲ画像処理部３４に出力してステップＳ６００に移行する。
【０１１０】
次に、図１２及び図１３に基づき、本実施の形態の実際の動作を説明する。
ここで、図１２（ａ）は撮像対象の画像の一例を示す図であり、（ｂ）〜（ｅ）は、各露光時間に対応した有効領域画像の一例を示す図であり、（ｆ）は、（ｂ）〜（ｅ）の有効領域画像に対応する露光コード画像を示す図である。また、図１３（ａ）〜（ｅ）は、図１２（ｂ）〜（ｅ）の有効領域画像にそれぞれ対応した第１〜第４無効２値画像データを示す図である。
【０１１１】
まず、多段階露光カメラ１００において、撮像対象が、標準露光時間、短露光時間、超短露光時間及び超超短露光時間の４種類の露光時間で撮像され、これら各露光時間の撮像画像データである、標準露光画像データ、短露光画像データ、超短露光画像データ及び超超短露光画像データが、各画素のライン毎に４つの出力チャンネル（ＣＨ１〜ＣＨ４）を介して、それぞれ独立に画像圧縮装置２００の画像記憶部２０に出力される。
【０１１２】
画像記憶部２０は、多段階露光カメラ１００から各露光時間に対応する画像データが入力されると、当該入力された画像データを各露光時間毎ににそれぞれ対応する記憶領域に記憶し、且つ記憶された画像データをＨＤＲ画像圧縮部２０ｂに各露光時間毎に独立に出力する（ステップＳ１００）。
画像圧縮部２２は、画像記憶部２０から各露光時間に対応する画像データが入力されると、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄにおいて、マスクデータを生成する（ステップＳ１０２）。
【０１１３】
マスクデータの生成処理は、画像データが入力されると（ステップＳ２００）、まず、比較器において、撮像画像データ中の各画素データの値と、閾値YHighとを比較して、入力画像データにおける画素データの値が閾値YHigh以下のものを「０」、閾値YHighより大きいものを「１」としてなる２値画像データを生成する（ステップＳ２０２）。
【０１１４】
次に、上記生成された２値画像データに対して、２回の膨張処理を連続して施し（ステップＳ２０４）、更に当該２回の膨張処理後の２値画像データに対して、２回の収縮処理を連続して施して、２値画像データから孤立画素データを除去（孤立画素の非飽和の値「０」を飽和「１」に変換）したマスクデータを生成する（ステップＳ２０６）。このマスクデータの生成処理は、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄにおいてそれぞれ行われ、第１マスクデータ生成部２２０ａで生成された第１マスクデータが、第１有効・無効画像生成部２２４ａに、第２マスクデータ生成部２２０ｂで生成された第２マスクデータが、第２有効・無効画像生成部２２４ｂに、第３マスクデータ生成部２２０ｃで生成された第３マスクデータが、第３有効・無効画像生成部２２４ｃに、第４マスクデータ生成部２２０ｄで生成された第４マスクデータが、第４有効・無効画像生成部２２４ｄに、それぞれ出力される（ステップＳ２０８）。
【０１１５】
一方、第１〜第４有効・無効画像生成部２２４ａ〜２２４ｄにおいては、各自に対応するマスクデータ及び画像データが入力されると、これらに基づき、有効領域画像データ及び無効２値画像データを生成する（ステップＳ１０４）。
【０１１６】
以下、有効領域画像データ及び無効２値画像データの生成処理を、多段階露光カメラ１００で撮像した撮像対象画像が、図１２（ａ）の例に示すものである場合を想定して具体的に説明する。ここで、図１２（ａ）の例においては、例えば、輝度の小さい方から順に、「山」、「雲」、「空＝湖」、「太陽」となっているとする。また、最も露光時間の長い標準露光画像データに対応する第１マスクデータにおいては、図１２（ａ）中の「山」の部分に対応する画素データの値が「非飽和（０）」となっており、それ以外の画素データの値が「飽和（１）」となっているとする。同様に、短露光時間画像データに対応する第２マスクデータにおいては、図１２（ａ）中の「山」及び「雲」の部分に対応する画素データの値が「非飽和（０）」となっており、それ以外の画素データの値が「飽和（１）」となっているとし、超短露光時間画像データに対応する第３マスクデータにおいては、図１２（ａ）中の「山」、「雲」、「空」及び「湖」の部分に対応する画素データの値が「非飽和（０）」となっており、「太陽」の部分に対応する画素データの値が「飽和（１）」となっているとし、超超短露光時間画像データに対応する第４マスクデータにおいては、図１２（ａ）の全画像の画素データの値が「非飽和（０）」となっているとする。
【０１１７】
上記のような条件例において、第１〜第４有効・無効画像生成部２２４ａ〜２２４ｄにおける有効領域画像データ及び無効２値画像データの生成処理を説明する。
まず、第１有効・無効画像生成部２２４ａは、標準露光画像データ及び第１マスクデータが入力されると（ステップＳ３００）、第１マスクデータに基づき、標準露光画像データにおける、第１マスクデータで非飽和（０）となっている画素位置の画素データの値をそのまま残し、それ以外の画素データの値を「０」に変換してなる標準露光有効領域画像データを生成する。つまり、図１２（ｂ）に示すように、撮像画像の「山」の部分に対応する画素データを有効としてそのままにし、「山」の部分以外に対応する画素データを無効としてその値を「０」に変換してなる標準露光有効領域画像データを生成する（ステップＳ３０２）。この標準露光有効領域画像データは、有効画像圧縮部２２ｂに出力される。
【０１１８】
更に、第１有効・無効画像生成部２２４ａは、標準露光有効領域画像データを生成すると、次に、図１３（ａ）に示すように、当該標準露光有効領域画像データにおける有効と判定された「山」の部分に対応する画素データの値を「１」に変換し、それ以外の画素データの値を「０」のままとした構成の第１無効２値画像データを生成する（ステップＳ３０４）。更に、この生成した第１無効画像データを、第２有効・無効画像生成部２２４ｂ及び露光コード画像データ生成部２２８にそれぞれ出力する（ステップＳ３０８）。
【０１１９】
一方、第２有効・無効画像生成部２２４ｂは、短露光画像データ、第２マスクデータ及び第１無効２値画像データが入力されると（ステップＳ４００）、短露光画像データにおける、第１無効２値画像データにおいて無効「０」となっている画素位置と同じ画素位置の画素データのうち、第２マスクデータで「非飽和（０）」となっている画素位置と同じ画素位置の画素データを有効と判定してその値をそのままとし、それ以外の画素データを「０」に変換する。つまり、図１２（ｃ）に示すように、撮像画像の「雲」の部分に対応する画素データを有効としてそのままにし、「雲」の部分以外に対応する画素データを無効としてその値を「０」に変換してなる短露光有効領域画像データを生成する（ステップＳ４０２）。この短露光有効領域画像データは、有効画像圧縮部２２ｂに出力される。
【０１２０】
更に、第２有効・無効画像生成部２２４ｂは、短露光有効領域画像データを生成すると、次に、当該短露光有効領域画像データ及び第１無効２値画像データに基づき、図１３（ｂ）に示すように、短露光有効領域画像データにおける第１無効２値画像データの「山」の部分に対応する値が「１」の画素データの画素位置の画素データ及び短露光有効領域画像データにおける有効と判定された「雲」の部分に対応する画素データの値を「１」に変換し、それ以外の画素データの値を「０」のままとした構成の第２無効２値画像データを生成する（ステップＳ４０４）。そして、この生成した第２無効画像データを、第３有効・無効画像生成部２２４ｃ及び露光コード画像データ生成部２２８にそれぞれ出力する（ステップＳ４０８）。
【０１２１】
一方、第３有効・無効画像生成部２２４ｃは、第２有効・無効画像生成部２２４ｂと同様の手順で、第３マスクデータ及び第２無効２値画像データに基づき、図１２（ｄ）に示すように、撮像画像の「空」及び「湖」の部分に対応する画素データを有効としてそのままにし、「空」及び「湖」の部分以外に対応する画素データを無効としてその値を「０」に変換してなる超短露光有効領域画像データを生成し、当該生成した超短露光有効領域画像データを有効画像圧縮部２２ｂに出力する（ステップＳ４０２）。
【０１２２】
更に、第３有効・無効画像生成部２２４ｃは、超短露光有効領域画像データを生成すると、次に、当該超短露光有効領域画像データ及び第２無効２値画像データに基づき、図１３（ｃ）に示すように、超短露光有効領域画像データにおける第２無効２値画像データの「山」及び「雲」の部分に対応する値が「１」の画素データと同じ画素位置の画素データ及び超短露光有効領域画像データにおける有効と判定された「空」及び「湖」の部分に対応する画素データの値を「１」に変換し、それ以外の画素データの値を「０」のままとした構成の第３無効２値画像データを生成する（ステップＳ４０４）。そして、この生成した第３無効画像データを、第４有効・無効画像生成部２２４ｄ及び露光コード画像データ生成部２２８にそれぞれ出力する（ステップＳ４０８）。
【０１２３】
一方、第４有効・無効画像生成部２２４ｄは、第２及び第３有効・無効画像生成部２２４ｂ及び２２４ｃと同様の手順で、第４マスクデータ及び第３無効２値画像データに基づき、図１２（ｅ）に示すように、撮像画像の「太陽」の部分に対応する画素データを有効としてそのままにし、「太陽」の部分以外に対応する画素データを無効としてその値を「０」に変換してなる超超短露光有効領域画像データを生成し、当該生成した超超短露光有効領域画像データを有効画像圧縮部２２ｂに出力する（ステップＳ４０２）。
【０１２４】
更に、第４有効・無効画像生成部２２４ｄは、超超短露光有効領域画像データを生成すると、次に、当該超超短露光有効領域画像データ及び第３無効２値画像データに基づき、図１３（ｄ）に示すように、超超短露光有効領域画像データにおける第３無効２値画像データの「山」、「雲」、「空」及び「湖」の部分に対応する値が「１」の画素データと同じ画素位置の画素データ及び超超短露光有効領域画像データにおける有効と判定された「太陽」の部分に対応する画素データの値を「１」に変換し、それ以外の画素データの値を「０」のままとした構成の第４無効２値画像データを生成する（ステップＳ４０４）。そして、この生成した第４無効２値画像データを、露光コード画像データ生成部２２８に出力する（ステップＳ４０８）。
【０１２５】
一方、露光コード画像データ生成部２２８は、第１〜第４有効・無効画像生成部２２４ａ〜２２４ｄから、第１〜第４無効２値画像データが入力さると（ステップＳ５００）、前記ベクトル、（１，１，１，１）、（０，１，１，１）、（０，０，１，１）、（０，０，０，１）の４種類のベクトル各々の画素の数をそれぞれ計数する（ステップＳ５０２）。図１２の例では、計数の結果、「（０，０，１，１）の画素の総数＞（１，１，１，１）の画素の総数＞（０，１，１，１）の画素の総数＞（０，０，０，１）の画素の総数」といった関係で各ベクトルの画素の総数の大小が求まる。従って、図１２（ｆ）に示すように、ベクトル（０，０，１，１）の画素データ（「空」及び「湖」に対応）に２ビットの露光コード「００」を、ベクトル（１，１，１，１）の画素データ（「山」に対応）に露光コード「０１」を、ベクトル（０，１，１，１）の画素データ（「雲」に対応）に露光コード「１０」を、ベクトル（０，０，０，１）の画素データ（「太陽」に対応）に露光コード「１１」をそれぞれ対応付け、且つ、図１２（ｆ）に示すように、これらを合成した構成の露光コード画像データを生成する（ステップＳ５０４）。そして、この生成した露光コード画像データを有効画像圧縮部２２ｂに出力する（ステップＳ５０６）。
【０１２６】
有効画像圧縮部２２ｂは、標準露光有効領域画像データ、短露光有効領域画像データ、超短露光有効領域画像データ及び超超短露光有効領域画像データの４つの有効領域画像データと、１つの露光コード画像データが入力されると、例えば、４つの有効領域画像データは、圧縮率の高い非可逆圧縮方法の１つであるＪＰＥＧ圧縮を用いて圧縮して、これら４つの圧縮データをファイル変換部２２ｃに出力する（ステップＳ１０８）。
【０１２７】
このように、有効部分の画素データの値はそのままに、無効部分の画素データの値を全て「０」にした有効領域画像データを圧縮するようにしたので、有効部分は通常の画像データと同様な圧縮率で、無効部分は通常の画像データの圧縮率より高い圧縮率で圧縮をすることができ、例えば、各露光時間に対応する４つの画像データをそのまま圧縮するよりも大幅にデータ量を減らすことが可能であり、且つ１枚のＨＤＲ画像データをそのまま圧縮したものよりも少ないデータ量とすることが可能となる。
【０１２８】
更に、圧縮前のデータに正確に復元する必要のある露光コード画像データは、可逆圧縮方法の１つであるランレングス圧縮を用いて圧縮して、この圧縮データをファイル変換部２２ｃに出力する（ステップＳ１１０）。
【０１２９】
この、露光コード画像データも２ビットの４種類コードの羅列となるので、可逆圧縮のランレングス圧縮でも高い圧縮率で圧縮を行うことができる。また、この露光コード画像データは、ＨＤＲ画像データを生成する際に輝度レベルを補正するために用いるもので、輝度レベルの補正が行われた後のＨＤＲ画像データと比較して、各有効領域画像データは、情報量（エントロピー）が圧縮された状態となる。従って、前述したように、このエントロピーが圧縮されている分、有効領域画像データの総データ量を、ＨＤＲ露光画像データのデータ量よりも少なくできる。
【０１３０】
ファイル変換部２２ｃは、各露光時間に対応する圧縮後の４つの有効領域画像データ及び圧縮後の露光コード画像データを１つのファイルにまとめた構成のＨＤＲ画像圧縮データを生成して、これをデータ伝送部２４に出力する（ステップ１１２）。
データ伝送部２４は、上記生成したＨＤＲ画像圧縮データを、ネットワーク７００を介してＨＤＲ画像生成装置３００に送信する（ステップＳ１１４）。
【０１３１】
ＨＤＲ画像生成装置３００は、データ伝送部３０において、画像圧縮装置２００からのＨＤＲ画像圧縮データを受信すると、当該受信したＨＤＲ画像圧縮データをＨＤＲ画像生成部３２のファイル分割部３２ａに出力する（ステップＳ６００）。ファイル分割部３２ａは、入力されたＨＤＲ画像圧縮データを４つの圧縮された有効領域画像データと、１つの圧縮された露光コード画像データとに分割し、当該分割後の５つの画像データを有効画像伸張部３２ｂに出力する（ステップＳ６０２）。有効画像伸張部３２ｂは、前記５つの画像データが入力されると、４つの有効領域画像データはＪＰＥＧ圧縮に対する伸張方法で伸張し、露光コード画像データはランレングス圧縮に対する伸張方法で伸張し、これら伸張した５つの画像データを画像合成部３２ｃに出力する（ステップＳ６０４）。画像合成部３２ｃは、伸張された有効領域画像データ及び露光コード画像データが入力されると、各有効領域画像データにおける、露光コード画像データの各露光コードの画素位置と同じ画素位置の画素データに対して、各露光コードに対して予め設定されている定数を乗算して、各有効領域画像データの輝度レベルを補正する（ステップＳ６０６）。具体的には、露光コードは、図１２（ｆ）のようになっているので、例えば、前述したように、標準露光時間（長露光時間）を基準として、短露光時間が基準の１／１０、超短露光時間が基準の１／１００、超超短露光時間が基準の１／１０００とすると、標準露光時間に対応する露光コード「０１」の定数は「１」、短露光時間に対応する露光コード「１０」の定数は「１０」、超短露光時間に対応する露光コード「００」の定数は「１００」、超超短露光時間に対応する露光コード「１１」の定数は「１０００」と設定される。
【０１３２】
従って、伸張後の標準露光有効領域画像データにおける「山」の部分の画素データの示す輝度値を１倍し、伸張後の短露光有効領域画像データにおける「雲」の部分の画素データの示す輝度値を１０倍し、伸張後の超短露光有効領域画像データにおける「空」及び「湖」の部分の画素データの示す輝度値を１００倍し、伸張後の超超短露光有効領域画像データにおける「太陽」の部分の画素データの示す輝度値を１０００倍することで、輝度レベルを補正する。
【０１３３】
更に、画像合成部３２ｃは、輝度レベルの補正された４つの有効領域画像データにおける各有効と判定された部分の画素データを合成してＨＤＲ画像データを生成する。これにより、例えば、多段階露光カメラ１００の標準露光時間のみの撮像データのダイナミックレンジが６０ｄＢであるとすると、上記４種類の露光時間に対応する有効領域画像データから生成されるＨＤＲ画像データのダイナミックレンジは１２０ｄＢとなり、実に６０ｄＢものダイナミックレンジの拡大がはかれる。
【０１３４】
ＨＤＲ画像生成部３２は、上記のようにして生成されたＨＤＲ画像データをＨＤＲ画像処理部３６に出力し、ＨＤＲ画像処理部３６は、ＨＤＲ画像データを計算機４００及び表示装置６００に出力する。そして、計算機４００はＨＤＲ画像データに基づき画像解析したりするなど用途に応じた処理を行い、一方、表示装置６００はＨＤＲ画像データに基づきＨＤＲ画像を表示する。なお、ＨＤＲ画像圧縮データを記録装置３４に保持するようにしたので、過去の撮像データを再利用したり、再度解析したりすることが可能である。
【０１３５】
このように、本実施の形態のカメラシステム１では、画像圧縮装置２００において、４種類の各露光時間に対応する各画像データにおける、非飽和の画素データを有効としてそのままにし、飽和した画素データを無効としてその値を「０」にした各露光時間に対応する有効領域画像データを生成し、また、各有効領域画像データの有効部分に対してＨＤＲ画像データの生成時に輝度レベル補正するための露光コードを対応付け、これら露光コードを合成した構成の露光コード画像データを生成し、各露光時間に対応する４つの有効領域画像データ及び１つの露光コード画像データを圧縮してＨＤＲ画像圧縮データを生成し、これをネットワーク７００を介してＨＤＲ画像生成装置３００に送信することが可能である。従って、有効部分は通常の画像データと同様な圧縮率で、無効部分は通常の画像データの圧縮率より高い圧縮率で圧縮をすることができ、且つ、露光コード画像データを利用して輝度レベルの補正をＨＤＲ画像生成装置３００側で行うようにしたので、各有効領域画像データは、情報量（エントロピー）が圧縮された状態となり、各露光時間に対応した画像データをそのまま圧縮するよりもデータ量を低減することができ、且つ予めＨＤＲ画像データを生成してこれを圧縮したものよりもデータ量を低減することができる。つまり、従来の圧縮方法よりもデータ伝送量を減らすことが可能である。
【０１３６】
上記実施の形態において、画像記憶部２０は、形態１又は１１の画像データ記憶手段に対応し、飽和領域検出部２２０ａ1は、形態１、５及び１１のいずれか１の判定手段に対応し、有効画像形成部２２ａにおける有効領域画像データの生成処理は、形態１、２、５及び１１のいずれか１の有効画像データ生成手段に対応し、有効画像圧縮部２２ｂにおける有効領域画像データの圧縮処理は、形態１又は１１の画像圧縮手段に対応し、有効画像形成部２２ａにおける露光コード画像データの生成処理は、形態１、３及び１１のいずれか１の露光時間情報生成手段に対応し、有効画像圧縮部２２ｂにおける露光コード画像データの圧縮処理は、形態４の露光時間情報圧縮手段に対応し、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄにおける２値画像データの生成処理は、形態５の２値画像データ生成手段に対応し、第１〜第４マスクデータ生成部２２０ａ〜２２０ｄにおけるクロージング処理は、形態５のノイズ除去手段に対応する。
【０１３７】
また、上記実施の形態において、ＨＤＲ画像生成部３２の有効画像伸張部３２ｂは、形態８又は１１の有効画像データ復元手段に対応し、画像合成部３２ｃにおける輝度レベルの補正処理は、形態８又は１１の乗算手段に対応し、画像合成部３２ｃにおけるＨＤＲ画像データの生成処理は、形態８又は１１おＨＤＲ画像データ生成手段に対応する。
また、上記実施の形態において、ステップＳ２０２は、形態６、７、１２及び１３のいずれか１の判定ステップに対応し、ステップＳ１０４は、形態６、７、１２及び１３のいずれか１の有効画像データ生成ステップに対応し、ステップＳ１０６は、形態６、７、１２及び１３のいずれか１の露光時間情報生成ステップに対応し、ステップＳ１０８は、形態６、７、１２及び１３のいずれか１の画像圧縮ステップに対応する。
【０１３８】
また、上記実施の形態において、ステップＳ６０４は、形態９、１０、１２及び１３のいずれか１の有効画像データ復元ステップに対応し、ステップＳ６０６は、形態９、１０、１２及び１３のいずれか１の乗算ステップに対応し、ステップＳ６０８は、形態９、１０、１２及び１３のいずれか１のＨＤＲ画像データ生成ステップに対応する。
【０１３９】
なお、上記実施の形態においては、画像圧縮装置２００及びＨＤＲ画像生成部３００をハードウェア主体の構成としているが、これに限らず、ソフトウェア主体又はソフトウェアとハードウェアとを混在させた構成としても良い。この場合は、画像圧縮装置２００及びＨＤＲ画像生成部３００は、プロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）とを備えており、プロセッサにより専用のプログラムを実行することによって上記各部の機能を果たす。また、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在していても良い。
【図面の簡単な説明】
【０１４０】
【図１】カメラシステム１の全体構成を示すブロック図である。
【図２】画像圧縮部２２の内部構成を示す図である。
【図３】有効画像形成部２２ａの内部構成を示す図である。
【図４】マスクデータ生成部２２０ａの内部構成を示す図である。
【図５】ＨＤＲ画像生成部３２の内部構成を示すブロック図である。
【図６】画像圧縮装置２００の動作処理を示すフローチャートである。
【図７】画像圧縮部２２のマスクデータ生成処理を示すフローチャートである。
【図８】画像圧縮部２２の標準露光有効領域画像データ及び第１無効２値画像データの生成処理を示すフローチャートである。
【図９】画像圧縮部２２の標準露光時間以外の各有効露光時間に対応する有効領域画像データ及び無効２値画像データの生成処理を示すフローチャートである。
【図１０】画像圧縮部２２の露光コード画像データの生成処理を示すフローチャートである。
【図１１】ＨＤＲ画像データの生成処理を示すフローチャートである。
【図１２】ａ）は撮像対象の画像の一例を示す図であり、（ｂ）〜（ｅ）は、各露光時間に対応した有効領域画像の一例を示す図であり、（ｆ）は、（ｂ）〜（ｅ）の有効領域画像に対応する露光コード画像を示す図である。
【図１３】（ａ）〜（ｅ）は、図１２（ｂ）〜（ｅ）の有効領域画像にそれぞれ対応した第１〜第４無効２値画像データを示す図である。
【符号の説明】
【０１４１】
１００は多段階露光カメラ、２００は画像圧縮装置、３００はＨＤＲ画像生成装置、４００は計算機、５００はコントロール手段、６００は表示装置、７００はネットワーク、２０は画像記憶部、２２は画像圧縮部、２４はデータ伝送部、３０はデータ伝送部、３２はＨＤＲ画像生成部、３４は記録装置、３６はＨＤＲ処理部、２２ａは有効画像形成部、２２ｂは有効画像圧縮部、２２ｃはファイル変換部、３２ａはファイル分割部、３２ｂは有効画像伸張部、３２ｃは画像合成部、２２０ａ〜２２０ｄは第１〜第４マスクデータ生成部、２２４ａ〜２２４ｄは第１〜第４有効・無効画像生成部、２２８は露光コード画像データ生成部、２２０ａ1は飽和領域検出部、２２０ａ2はノイズ除去フィルタ
【図１】
0004561649.tif 000002
【図２】
0004561649.tif 000003
【図３】
0004561649.tif 000004
【図４】
0004561649.tif 000005
【図５】
0004561649.tif 000006
【図６】
0004561649.tif 000007
【図７】
0004561649.tif 000008
【図８】
0004561649.tif 000009
【図９】
0004561649.tif 000010
【図１０】
0004561649.tif 000011
【図１１】
0004561649.tif 000012
【図１２】
0004561649.tif 000013
【図１３】
0004561649.tif 000014