(57)【要約】  【課題】複数の階調変換特性による出力信号を省メモリかつ高速に扱うことができる撮像システム等を提供する。  【解決手段】撮像して得られた映像信号を複数の階調変換曲線に基づき処理してメモリカード等に記録する際に、基準階調変換曲線による映像信号（Ａ）を輝度信号Ｙ1（Ｂ）と色差信号Ｃｂ1（Ｃ）と色差信号Ｃｒ1（Ｄ）とに分離し、同様に、基準外の階調変換曲線による映像信号（Ｅ）から輝度信号Ｙ2（Ｆ）を分離して、さらに、差信号Ｙ1−Ｙ2（Ｉ）を算出し、輝度信号Ｙ1および色差信号Ｃｂ1，Ｃｒ1を非可逆圧縮してから、差信号Ｙ1−Ｙ2を可逆圧縮してから、それぞれ記録するようにし、基準外の階調変換曲線による映像信号を再生するときには、差信号Ｙ1−Ｙ2から輝度信号Ｙ2を復元して色差信号Ｃｂ1，Ｃｒ1とともに用いるようにした撮像システム等。【選択図】図３
2005191711.tif 000002
【特許請求の範囲】
【請求項１】
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手段と、
上記階調変換手段により変換された映像信号を、輝度信号と色差信号とへ分離する分離手段と、
上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手段と、
を具備したことを特徴とする撮像システム。
【請求項２】
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、輝度信号と色差信号とへ分離する分離手段と、
上記分離手段により分離されたＭｂｉｔの階調幅を有する輝度信号を、所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手段と、
上記分離手段により分離されたＭｂｉｔの階調幅を有する色差信号を、上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに、該分離手段により分離された輝度信号と、上記階調変換手段により上記基準となる階調変換曲線に基づき変換された輝度信号と、を用いて補正する色差補正手段と、
上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手段と、
を具備したことを特徴とする撮像システム。
【請求項３】
上記輝度関連信号は、基準外の階調変換曲線に基づき得られた輝度信号自体であることを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項４】
上記輝度関連信号は、上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号と、の差分となる差信号であり、
この差信号を必要に応じて算出するための輝度差分算出手段をさらに具備したことを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項５】
同一の被写体を異なる露光条件で撮像することにより得られたｋｂｉｔ（ｋは自然数であって、Ｍ≧ｋを満たす数）の階調幅を有する映像信号でなる少なくとも二枚の画像を合成することにより、上記Ｍｂｉｔの階調幅を有する映像信号を生成する合成手段をさらに具備したことを特徴とする請求項１から請求項４の何れか一に記載の撮像システム。
【請求項６】
上記階調変換手段は、基準となる階調変換曲線を記録する記録手段を有して構成されたものであることを特徴とする請求項１から請求項５の何れか一に記載の撮像システム。
【請求項７】
上記階調変換手段は、上記基準となる階調変換曲線に基づいて上記基準外の階調変換曲線を算出する階調変換曲線算出手段をさらに有して構成されたものであることを特徴とする請求項６に記載の撮像システム。
【請求項８】
撮影状況を推定する推定手段をさらに具備し、
上記階調変換曲線算出手段は、上記推定手段により推定された撮影状況に応じて、算出する上記基準外の階調変換曲線を異ならせるものであることを特徴とする請求項７に記載の撮像システム。
【請求項９】
上記階調変換手段は、
上記映像信号または上記輝度信号に関して特徴量を算出する特徴量算出手段と、
上記特徴量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、
上記基準となる階調変換曲線に基づき、上記階調変換曲線算出手段により算出された階調変換曲線に対して制限を課すことにより、上記基準外の階調変換曲線を算出する制限手段と、
をさらに有して構成されたものであることを特徴とする請求項７に記載の撮像システム。
【請求項１０】
上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を識別するための識別情報を生成して、生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手段と、
上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方と、上記圧縮された色差信号と、上記ヘッダ情報と、を１つのファイルとして出力する出力手段と、
をさらに具備したことを特徴とする請求項１から請求項５の何れか一に記載の撮像システム。
【請求項１１】
上記階調変換された映像信号に基づき、所定サイズのサムネイル画像を生成するサムネイル生成手段をさらに具備したことを特徴とする請求項１から請求項５の何れか一に記載の撮像システム。
【請求項１２】
上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を識別するための識別情報を生成して、生成した上記識別情報と、上記サムネイル画像と、を含むようにヘッダ情報を生成するヘッダ情報生成手段と、
上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方と、上記圧縮された色差信号と、上記ヘッダ情報と、を１つのファイルとして出力する出力手段と、
をさらに具備したことを特徴とする請求項１１に記載の撮像システム。
【請求項１３】
上記サムネイル画像を表示するための表示手段をさらに具備したことを特徴とする請求項１１に記載の撮像システム。
【請求項１４】
上記表示手段に表示された上記サムネイル画像を選択するためのサムネイル選択手段をさらに具備したことを特徴とする請求項１３に記載の撮像システム。
【請求項１５】
上記サムネイル選択手段により選択されたサムネイル画像に係る、圧縮された輝度信号と圧縮された輝度関連信号との少なくとも一方と、上記基準となる階調変換曲線に対応する圧縮された色差信号と、を１つのファイルとして出力する出力手段をさらに具備したことを特徴とする請求項１４に記載の撮像システム。
【請求項１６】
上記サムネイル選択手段により選択されたサムネイル画像に係る輝度信号および／または輝度関連信号、以外の輝度信号および／または輝度関連信号を消去するための消去手段をさらに具備したことを特徴とする請求項１４に記載の撮像システム。
【請求項１７】
上記消去手段は、さらに、上記サムネイル選択手段により選択されたサムネイル画像以外のサムネイル画像を消去するように構成されたものであることを特徴とする請求項１６に記載の撮像システム。
【請求項１８】
上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連情報を、上記ヘッダ情報に付加して出力させるように上記出力手段を制御する出力制御手段をさらに具備したことを特徴とする請求項１０または請求項１２に記載の撮像システム。
【請求項１９】
基準となる階調変換特性に基づき得られかつ圧縮された輝度信号と、圧縮された色差信号と、ヘッダ情報と、を含み、必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づき得られた輝度信号に係る圧縮された輝度関連信号をさらに含んで構成される信号の圧縮信号部分を伸張して出力する再生システムであって、
上記ヘッダ情報に基づき、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手段と、
上記輝度信号選択手段により選択された輝度信号および／または輝度関連信号と、上記色差信号と、を伸張する伸張手段と、
上記伸張手段により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて、映像信号を合成する合成手段と、
を具備したことを特徴とする再生システム。
【請求項２０】
上記輝度信号選択手段は、基準となる階調変換特性に対応する圧縮された輝度信号を優先的に選択する優先手段を有して構成されたものであることを特徴とする請求項１９に記載の再生システム。
【請求項２１】
上記ヘッダ情報は、サムネイル画像を含んで構成されたものであり、
上記輝度信号選択手段は、
該ヘッダ情報に含まれるサムネイル画像を読み出す読出手段と、
上記読出手段により読み出されたサムネイル画像を表示する表示手段と、
上記表示手段に表示されたサムネイル画像を選択するためのサムネイル選択手段と、
上記サムネイル選択手段により選択されたサムネイル画像に対応する圧縮された輝度信号および／または輝度関連信号を優先的に選択する優先手段と、
を有して構成されたものであることを特徴とする請求項１９に記載の再生システム。
【請求項２２】
上記輝度信号選択手段は、上記サムネイル選択手段により選択されたサムネイル画像に係る輝度信号および／または輝度関連信号、以外の輝度信号および／または輝度関連信号を消去するための消去手段をさらに有して構成されたものであることを特徴とする請求項２１に記載の再生システム。
【請求項２３】
上記消去手段は、さらに、上記サムネイル選択手段により選択されたサムネイル画像以外のサムネイル画像を消去するように構成されたものであることを特徴とする請求項２２に記載の再生システム。
【請求項２４】
上記合成手段は、上記輝度信号選択手段により基準外の階調変換特性に対応する輝度関連信号が選択された場合に上記伸張手段により伸張された上記色差信号を補正するための色差補正手段を有して構成されたものであることを特徴とする請求項１９に記載の再生システム。
【請求項２５】
上記輝度関連信号は、上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号と、の差分となる差信号であり、
上記合成手段は、上記輝度信号選択手段により該輝度関連信号が選択された場合に、上記伸張手段により伸張された該輝度関連信号に、該伸張手段により伸張された上記基準となる階調変換曲線に基づき得られた輝度信号を加算することにより、上記基準外の階調変換曲線に基づき得られた輝度信号を算出する輝度算出手段を有して構成されたものであることを特徴とする請求項１９に記載の再生システム。
【請求項２６】
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手順と、
上記階調変換手順により変換された映像信号を、輝度信号と色差信号とへ分離する分離手順と、
上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手順と、
を含むことを特徴とする撮像方法。
【請求項２７】
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、輝度信号と色差信号とへ分離する分離手順と、
上記分離手順により分離されたＭｂｉｔの階調幅を有する輝度信号を、所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手順と、
上記分離手順により分離されたＭｂｉｔの階調幅を有する色差信号を、上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに、該分離手順により分離された輝度信号と、上記階調変換手順により上記基準となる階調変換曲線に基づき変換された輝度信号と、を用いて補正する色差補正手順と、
上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手順と、
を含むことを特徴とする撮像方法。
【請求項２８】
基準となる階調変換特性に基づき得られかつ圧縮された輝度信号と、圧縮された色差信号と、ヘッダ情報と、を含み、必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づき得られた輝度信号に係る圧縮された輝度関連信号をさらに含んで構成される信号の圧縮信号部分を伸張して出力させるための再生プログラムであって、
コンピュータに、
上記ヘッダ情報に基づき、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手順、
上記輝度信号選択手順により選択された輝度信号および／または輝度関連信号と、上記色差信号と、を伸張する伸張手順、
上記伸張手順により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて、映像信号を合成する合成手順、
を実行させるための再生プログラム。
【請求項２９】
上記ヘッダ情報は、サムネイル画像を含んで構成されたものであり、
上記輝度信号選択手順は、
該ヘッダ情報に含まれるサムネイル画像を読み出す読出手順、
上記読出手順により読み出されたサムネイル画像を表示する表示手順、
上記表示手順により表示されたサムネイル画像を選択するためのサムネイル選択手順、
上記サムネイル選択手順により選択されたサムネイル画像に対応する圧縮された輝度信号および／または輝度関連信号を優先的に選択する優先手順、
を含むことを特徴とする請求項２８に記載の再生プログラム。
【請求項３０】
上記合成手順は、上記輝度信号選択手順により基準外の階調変換特性に対応する輝度関連信号が選択された場合に上記伸張手順により伸張された上記色差信号を補正するための色差補正手順を含むことを特徴とする請求項２８に記載の再生プログラム。
【請求項３１】
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手段と、
上記階調変換手段により変換された映像信号を、輝度信号と色差信号とへ分離する分離手段と、
上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手段と、
上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を識別するための識別情報を生成して、生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手段と、
を備えた撮像システムと、
上記ヘッダ情報に基づき、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手段と、
上記輝度信号選択手段により選択された輝度信号および／または輝度関連信号と、上記色差信号と、を伸張する伸張手段と、
上記伸張手段により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて、映像信号を合成する合成手段と、
を備えた再生システムと、
を具備したことを特徴とする撮像再生システム。
【請求項３２】
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、輝度信号と色差信号とへ分離する分離手段と、
上記分離手段により分離されたＭｂｉｔの階調幅を有する輝度信号を、所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手段と、
上記分離手段により分離されたＭｂｉｔの階調幅を有する色差信号を、上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに、該分離手段により分離された輝度信号と、上記階調変換手段により上記基準となる階調変換曲線に基づき変換された輝度信号と、を用いて補正する色差補正手段と、
上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手段と、
上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を識別するための識別情報を生成して、生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手段と、
を備えた撮像システムと、
上記ヘッダ情報に基づき、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手段と、
上記輝度信号選択手段により選択された輝度信号および／または輝度関連信号と、上記色差信号と、を伸張する伸張手段と、
上記伸張手段により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて、映像信号を合成する合成手段と、
を備えた再生システムと、
を具備したことを特徴とする撮像再生システム。
【請求項３３】
コンピュータに、
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手順、
上記階調変換手順により変換された映像信号を、輝度信号と色差信号とへ分離する分離手順、
上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手順、
上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を識別するための識別情報を生成して、生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手順、
上記ヘッダ情報に基づき、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手順、
上記輝度信号選択手順により選択された輝度信号および／または輝度関連信号と、上記色差信号と、を伸張する伸張手順、
上記伸張手順により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて、映像信号を合成する合成手順、
を実行させるための撮像再生プログラム。
【請求項３４】
コンピュータに、
撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を、輝度信号と色差信号とへ分離する分離手順、
上記分離手順により分離されたＭｂｉｔの階調幅を有する輝度信号を、所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに、必要に応じて、上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手順、
上記分離手順により分離されたＭｂｉｔの階調幅を有する色差信号を、上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに、該分離手順により分離された輝度信号と、上記階調変換手順により上記基準となる階調変換曲線に基づき変換された輝度信号と、を用いて補正する色差補正手順、
上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と、必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を圧縮する圧縮手順、
上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号と、を識別するための識別情報を生成して、生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手順、
上記ヘッダ情報に基づき、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手順、
上記輝度信号選択手順により選択された輝度信号および／または輝度関連信号と、上記色差信号と、を伸張する伸張手順、
上記伸張手順により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて、映像信号を合成する合成手順、
を実行させるための撮像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１以上の階調変換特性に対応する映像信号に対して、撮像と再生との少なくとも一方を行うための撮像システム、再生システム、撮像再生システム、撮像再生プログラム、撮像方法、再生プログラムに関する。
【背景技術】
【０００２】
現在市販されているデジタルスチルカメラやビデオカメラなどは、デジタル信号処理の桁落ちによる画質劣化を防止するために、最終的な出力信号の階調幅（通常８ｂｉｔ）よりも、入力系および処理系における信号の階調幅（１０〜１２ｂｉｔ程度）を広く設定しているものが一般的である。
【０００３】
このような構成の場合には、処理系において処理された信号を出力系へ送る際に、該出力系の階調幅に合致するように階調変換する必要がある。この階調変換は、従来は、標準的な撮影シーンに合わせた固定的な階調変換特性に基づいて行われていた。
【０００４】
一方、露光量の異なる複数枚の画像を合成することによって、階調幅のより広い広ダイナミックレンジの信号を生成する技術が提案されている。
【０００５】
このような構成の場合にも、上述と同様に、得られた広ダイナミックレンジの信号を出力系へ送る際には、該出力系の階調幅に合致するように階調変換する必要がある。
【０００６】
例えば特開２００１−２３８１２８号公報には、上述したような広ダイナミックレンジの画像データを生成する技術が記載されているが、該公報における階調変換は、撮影状況を推定することにより、主要被写体を重視した適応的な変換を行うものとなっている。
【０００７】
また、標準的な階調変換特性とは異なる複数の階調変換を行うために、撮像素子からの未処理のＲａｗデータを保存して、別途に後処理を行う技術がある。
【０００８】
さらに、例えば特開平１０−２８５５４１号公報には、信号処理の全過程を別途保存しておき、処理後の信号を逆処理して適宜の段階の信号まで戻した後に、別の処理を行うようにする技術が記載されている。
【特許文献１】特開２００１−２３８１２８号公報
【特許文献２】特開平１０−２８５５４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したような固定的な階調変換特性に基づく階調変換は、標準的な撮影シーンに合わせたものであるために、逆光などの標準的でない撮影シーンでは必ずしも適切な映像信号を得ることができない。
【００１０】
また、上記特開２００１−２３８１２８号公報に記載の技術では、撮影状況の推定結果に基づく階調変換が、撮影者の意図に沿わない場合がある。例えば、自動的な処理により主要被写体に多くの階調が割り当てられたが、撮影者は、背景などにも階調を割り当てたいと考えている場合などである。こうして、該公報に記載の技術では、撮影者にとって好ましい出力信号を必ずしも得られるとは限らない。
【００１１】
一方、未処理のＲａｗデータを保存する場合には、保存用のメモリ量が多くなってコストが高くなるとともに、別途に信号処理を行う手間が生じるなどの課題がある。
【００１２】
さらに、上記特開平１０−２８５５４１号公報に記載の技術では、出力信号の階調幅（８ｂｉｔ）から入力時の階調幅（１０〜１２ｂｉｔ）に逆変換しても、階調情報の一部が失われたままであるために、逆変換した信号に異なる特性の階調変換を行うと、階調の不連続が生じたりするなどの画質上の課題がある。
【００１３】
本発明は上記事情に鑑みてなされたものであり、複数の階調変換特性による出力信号を省メモリかつ高速に扱うことができる撮像システム、再生システム、撮像再生システム、撮像再生プログラム、撮像方法、再生プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、第１の発明による撮像システムは、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手段と、上記階調変換手段により変換された映像信号を輝度信号と色差信号とへ分離する分離手段と、上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手段と、を具備したものである。
【００１５】
また、第２の発明による撮像システムは、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を輝度信号と色差信号とへ分離する分離手段と、上記分離手段により分離されたＭｂｉｔの階調幅を有する輝度信号を所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手段と、上記分離手段により分離されたＭｂｉｔの階調幅を有する色差信号を上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに該分離手段により分離された輝度信号と上記階調変換手段により上記基準となる階調変換曲線に基づき変換された輝度信号とを用いて補正する色差補正手段と、上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手段と、を具備したものである。
【００１６】
さらに、第３の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記輝度関連信号が、基準外の階調変換曲線に基づき得られた輝度信号自体である。
【００１７】
第４の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記輝度関連信号が、上記基準となる階調変換曲線に基づき得られた輝度信号と、上記基準外の階調変換曲線に基づき得られた輝度信号と、の差分となる差信号であり、この差信号を必要に応じて算出するための輝度差分算出手段をさらに具備したものである。
【００１８】
第５の発明による撮像システムは、上記第１から第４の発明による撮像システムにおいて、同一の被写体を異なる露光条件で撮像することにより得られたｋｂｉｔ（ｋは自然数であって、Ｍ≧ｋを満たす数）の階調幅を有する映像信号でなる少なくとも二枚の画像を合成することにより、上記Ｍｂｉｔの階調幅を有する映像信号を生成する合成手段をさらに具備したものである。
【００１９】
第６の発明による撮像システムは、上記第１から第５の発明による撮像システムにおいて、上記階調変換手段が、基準となる階調変換曲線を記録する記録手段を有して構成されたものである。
【００２０】
第７の発明による撮像システムは、上記第６の発明による撮像システムにおいて、上記階調変換手段が、上記基準となる階調変換曲線に基づいて上記基準外の階調変換曲線を算出する階調変換曲線算出手段をさらに有して構成されたものである。
【００２１】
第８の発明による撮像システムは、上記第７の発明による撮像システムにおいて、撮影状況を推定する推定手段をさらに具備し、上記階調変換曲線算出手段は、上記推定手段により推定された撮影状況に応じて、算出する上記基準外の階調変換曲線を異ならせるものである。
【００２２】
第９の発明による撮像システムは、上記第７の発明による撮像システムにおいて、上記階調変換手段が、上記映像信号または上記輝度信号に関して特徴量を算出する特徴量算出手段と、上記特徴量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、上記基準となる階調変換曲線に基づき上記階調変換曲線算出手段により算出された階調変換曲線に対して制限を課すことにより上記基準外の階調変換曲線を算出する制限手段と、をさらに有して構成されたものである。
【００２３】
第１０の発明による撮像システムは、上記第１から第５の発明による撮像システムにおいて、上記基準となる階調変換曲線に基づき得られた輝度信号と上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを識別するための識別情報を生成して生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手段と、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方と上記圧縮された色差信号と上記ヘッダ情報とを１つのファイルとして出力する出力手段と、をさらに具備したものである。
【００２４】
第１１の発明による撮像システムは、上記第１から第５の発明による撮像システムにおいて、上記階調変換された映像信号に基づき、所定サイズのサムネイル画像を生成するサムネイル生成手段をさらに具備したものである。
【００２５】
第１２の発明による撮像システムは、上記第１１の発明による撮像システムにおいて、上記基準となる階調変換曲線に基づき得られた輝度信号と上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを識別するための識別情報を生成して生成した上記識別情報と上記サムネイル画像とを含むようにヘッダ情報を生成するヘッダ情報生成手段と、上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方と上記圧縮された色差信号と上記ヘッダ情報とを１つのファイルとして出力する出力手段と、をさらに具備したものである。
【００２６】
第１３の発明による撮像システムは、上記第１１の発明による撮像システムにおいて、上記サムネイル画像を表示するための表示手段をさらに具備したものである。
【００２７】
第１４の発明による撮像システムは、上記第１３の発明による撮像システムにおいて、上記表示手段に表示された上記サムネイル画像を選択するためのサムネイル選択手段をさらに具備したものである。
【００２８】
第１５の発明による撮像システムは、上記第１４の発明による撮像システムにおいて、上記サムネイル選択手段により選択されたサムネイル画像に係る圧縮された輝度信号と圧縮された輝度関連信号との少なくとも一方と上記基準となる階調変換曲線に対応する圧縮された色差信号とを１つのファイルとして出力する出力手段をさらに具備したものである。
【００２９】
第１６の発明による撮像システムは、上記第１４の発明による撮像システムにおいて、上記サムネイル選択手段により選択されたサムネイル画像に係る輝度信号および／または輝度関連信号、以外の輝度信号および／または輝度関連信号を消去するための消去手段をさらに具備したものである。
【００３０】
第１７の発明による撮像システムは、上記第１６の発明による撮像システムにおいて、上記消去手段が、さらに、上記サムネイル選択手段により選択されたサムネイル画像以外のサムネイル画像を消去するように構成されたものである。
【００３１】
第１８の発明による撮像システムは、上記第１０または第１２の発明による撮像システムにおいて、上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連情報を上記ヘッダ情報に付加して出力させるように上記出力手段を制御する出力制御手段をさらに具備したものである。
【００３２】
第１９の発明による再生システムは、基準となる階調変換特性に基づき得られかつ圧縮された輝度信号と、圧縮された色差信号と、ヘッダ情報と、を含み、必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づき得られた輝度信号に係る圧縮された輝度関連信号をさらに含んで構成される信号の圧縮信号部分を伸張して出力する再生システムであって、上記ヘッダ情報に基づき上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手段と、上記輝度信号選択手段により選択された輝度信号および／または輝度関連信号と上記色差信号とを伸張する伸張手段と、上記伸張手段により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて映像信号を合成する合成手段と、を具備したものである。
【００３３】
第２０の発明による再生システムは、上記第１９の発明による再生システムにおいて、上記輝度信号選択手段が、基準となる階調変換特性に対応する圧縮された輝度信号を優先的に選択する優先手段を有して構成されたものである。
【００３４】
第２１の発明による再生システムは、上記第１９の発明による再生システムにおいて、上記ヘッダ情報がサムネイル画像を含んで構成されたものであり、上記輝度信号選択手段は、該ヘッダ情報に含まれるサムネイル画像を読み出す読出手段と、上記読出手段により読み出されたサムネイル画像を表示する表示手段と、上記表示手段に表示されたサムネイル画像を選択するためのサムネイル選択手段と、上記サムネイル選択手段により選択されたサムネイル画像に対応する圧縮された輝度信号および／または輝度関連信号を優先的に選択する優先手段と、を有して構成されたものである。
【００３５】
第２２の発明による再生システムは、上記第２１の発明による再生システムにおいて、上記輝度信号選択手段が、上記サムネイル選択手段により選択されたサムネイル画像に係る輝度信号および／または輝度関連信号、以外の輝度信号および／または輝度関連信号を消去するための消去手段をさらに有して構成されたものである。
【００３６】
第２３の発明による再生システムは、上記第２２の発明による再生システムにおいて、上記消去手段が、さらに、上記サムネイル選択手段により選択されたサムネイル画像以外のサムネイル画像を消去するように構成されたものである。
【００３７】
第２４の発明による再生システムは、上記第１９の発明による再生システムにおいて、上記合成手段が、上記輝度信号選択手段により基準外の階調変換特性に対応する輝度関連信号が選択された場合に上記伸張手段により伸張された上記色差信号を補正するための色差補正手段を有して構成されたものである。
【００３８】
第２５の発明による再生システムは、上記第１９の発明による再生システムにおいて、上記輝度関連信号が上記基準となる階調変換曲線に基づき得られた輝度信号と上記基準外の階調変換曲線に基づき得られた輝度信号との差分となる差信号であり、上記合成手段は、上記輝度信号選択手段により該輝度関連信号が選択された場合に、上記伸張手段により伸張された該輝度関連信号に、該伸張手段により伸張された上記基準となる階調変換曲線に基づき得られた輝度信号を加算することにより、上記基準外の階調変換曲線に基づき得られた輝度信号を算出する輝度算出手段を有して構成されたものである。
【００３９】
第２６の発明による撮像方法は、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手順と、上記階調変換手順により変換された映像信号を輝度信号と色差信号とへ分離する分離手順と、上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手順と、を含む方法である。
【００４０】
第２７の発明による撮像方法は、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を輝度信号と色差信号とへ分離する分離手順と、上記分離手順により分離されたＭｂｉｔの階調幅を有する輝度信号を所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手順と、上記分離手順により分離されたＭｂｉｔの階調幅を有する色差信号を上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに該分離手順により分離された輝度信号と上記階調変換手順により上記基準となる階調変換曲線に基づき変換された輝度信号とを用いて補正する色差補正手順と、上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手順と、を含む方法である。
【００４１】
第２８の発明による再生プログラムは、基準となる階調変換特性に基づき得られかつ圧縮された輝度信号と圧縮された色差信号とヘッダ情報とを含み必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づき得られた輝度信号に係る圧縮された輝度関連信号をさらに含んで構成される信号の圧縮信号部分を伸張して出力させるための再生プログラムであって、コンピュータに、上記ヘッダ情報に基づき上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手順、上記輝度信号選択手順により選択された輝度信号および／または輝度関連信号と上記色差信号とを伸張する伸張手順、上記伸張手順により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて映像信号を合成する合成手順、を実行させるためのプログラムである。
【００４２】
第２９の発明による再生プログラムは、上記第２８の発明による再生プログラムにおいて、上記ヘッダ情報がサムネイル画像を含んで構成されたものであり、上記輝度信号選択手順は、該ヘッダ情報に含まれるサムネイル画像を読み出す読出手順、上記読出手順により読み出されたサムネイル画像を表示する表示手順、上記表示手順により表示されたサムネイル画像を選択するためのサムネイル選択手順、上記サムネイル選択手順により選択されたサムネイル画像に対応する圧縮された輝度信号および／または輝度関連信号を優先的に選択する優先手順、を含む手順である。
【００４３】
第３０の発明による再生プログラムは、上記第２８の発明による再生プログラムにおいて、上記合成手順が、上記輝度信号選択手順により基準外の階調変換特性に対応する輝度関連信号が選択された場合に上記伸張手順により伸張された上記色差信号を補正するための色差補正手順を含む手順である。
【００４４】
第３１の発明による撮像再生システムは、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手段と、上記階調変換手段により変換された映像信号を輝度信号と色差信号とへ分離する分離手段と、上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手段と、上記基準となる階調変換曲線に基づき得られた輝度信号と上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを識別するための識別情報を生成して生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手段と、を備えた撮像システムと、上記ヘッダ情報に基づき上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手段と、上記輝度信号選択手段により選択された輝度信号および／または輝度関連信号と上記色差信号とを伸張する伸張手段と、上記伸張手段により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて映像信号を合成する合成手段と、を備えた再生システムと、を具備したものである。
【００４５】
第３２の発明による撮像再生システムは、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を輝度信号と色差信号とへ分離する分離手段と、上記分離手段により分離されたＭｂｉｔの階調幅を有する輝度信号を所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手段と、上記分離手段により分離されたＭｂｉｔの階調幅を有する色差信号を上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに該分離手段により分離された輝度信号と上記階調変換手段により上記基準となる階調変換曲線に基づき変換された輝度信号とを用いて補正する色差補正手段と、上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手段と、上記基準となる階調変換曲線に基づき得られた輝度信号と上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを識別するための識別情報を生成して生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手段と、を備えた撮像システムと、上記ヘッダ情報に基づき上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手段と、上記輝度信号選択手段により選択された輝度信号および／または輝度関連信号と上記色差信号とを伸張する伸張手段と、上記伸張手段により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて映像信号を合成する合成手段と、を備えた再生システムと、を具備したものである。
【００４６】
第３３の発明による撮像再生プログラムは、コンピュータに、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を所定の基準となる階調変換曲線に基づいて出力系のＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する映像信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて出力系のＮｂｉｔの階調幅を有する映像信号へ変換する階調変換手順、上記階調変換手順により変換された映像信号を輝度信号と色差信号とへ分離する分離手順、上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手順、上記基準となる階調変換曲線に基づき得られた輝度信号と上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを識別するための識別情報を生成して生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手順、上記ヘッダ情報に基づき上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手順、上記輝度信号選択手順により選択された輝度信号および／または輝度関連信号と上記色差信号とを伸張する伸張手順、上記伸張手順により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて映像信号を合成する合成手順、を実行させるためのプログラムである。
【００４７】
第３４の発明による撮像再生プログラムは、コンピュータに、撮像系からのＭｂｉｔ（Ｍは自然数）の階調幅を有する映像信号を輝度信号と色差信号とへ分離する分離手順、上記分離手順により分離されたＭｂｉｔの階調幅を有する輝度信号を所定の基準となる階調変換曲線に基づいてＮｂｉｔ（Ｎは自然数であって、Ｍ≧Ｎを満たす数）の階調幅を有する輝度信号へ変換するとともに必要に応じて上記基準となる階調変換曲線とは異なる基準外の階調変換曲線に基づいて該Ｎｂｉｔの階調幅を有する輝度信号へ変換する階調変換手順、上記分離手順により分離されたＭｂｉｔの階調幅を有する色差信号を上記Ｎｂｉｔの階調幅を有する色差信号へ変換するとともに該分離手順により分離された輝度信号と上記階調変換手順により上記基準となる階調変換曲線に基づき変換された輝度信号とを用いて補正する色差補正手順、上記基準となる階調変換曲線に基づき得られた輝度信号および上記補正された色差信号と必要に応じて上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを圧縮する圧縮手順、上記基準となる階調変換曲線に基づき得られた輝度信号と上記基準外の階調変換曲線に基づき得られた輝度信号に係る輝度関連信号とを識別するための識別情報を生成して生成した上記識別情報を含むようにヘッダ情報を生成するヘッダ情報生成手順、上記ヘッダ情報に基づき上記圧縮された輝度信号と上記圧縮された輝度関連信号との少なくとも一方を選択するための輝度信号選択手順、上記輝度信号選択手順により選択された輝度信号および／または輝度関連信号と上記色差信号とを伸張する伸張手順、上記伸張手順により伸張された輝度信号および／または輝度関連信号と色差信号とに基づいて映像信号を合成する合成手順、を実行させるためのプログラムである。
【発明の効果】
【００４８】
本発明の撮像システム、再生システム、撮像再生システム、撮像再生プログラム、撮像方法、再生プログラムによれば、複数の階調変換特性による出力信号を省メモリかつ高速に生成可能となる。
【発明を実施するための最良の形態】
【００４９】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００５０】
図１から図５は本発明の実施例１を示したものであり、図１は撮像システムの構成を示すブロック図、図２は複数の階調変換曲線を示す線図、図３は異なる階調変換曲線により生成された画像データに基づき出力ファイルを生成する手順を示す図、図４は外部Ｉ／Ｆ部の一構成例を示す図、図５はコンピュータにおいて撮像プログラムにより行われる処理を示すフローチャートである。
【００５１】
この撮像システムは、図１に示すように、被写体像を結像するためのレンズ系１と、このレンズ系１内に配置されていて該レンズ系１における光束の通過範囲を規定するための絞り２と、上記レンズ系１による結像光束から不要な高周波成分を除去するためのローパスフィルタ３と、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して電気的な画像信号を出力するものであり例えば原色系の色フィルタが前面に配置された単板ＣＣＤ等でなる撮像素子たるＣＣＤ４と、このＣＣＤ４から出力されるアナログの画像信号をデジタル信号へ変換するＡ／Ｄ変換器５と、このＡ／Ｄ変換器５から出力されるプリ撮像モード時のデジタルの画像データまたは本撮影時における２枚のデジタルの画像データの内の１枚を一時的に記憶する第１画像用バッファ６と、上記Ａ／Ｄ変換器５から出力される本撮影時における２枚のデジタルの画像データの内の他の１枚を一時的に記憶する第２画像用バッファ７と、上記第１画像用バッファ６に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り２、ＣＣＤ４の制御を行う測光評価部８と、上記第１画像用バッファ６に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するＡＦモータ１０を駆動する合焦点検出部９と、この合焦点検出部９により制御されて上記レンズ系１に含まれるフォーカスレンズ等の駆動を行うＡＦモータ１０と、上記第１画像用バッファ６に記憶されている単板状態の映像信号と上記第２画像用バッファ７に記憶されている単板状態の映像信号とを順次読み込んで公知の補間処理，ホワイトバランス処理，強調処理などを行った後に三板状態の映像信号をそれぞれ生成する補間部１１と、この補間部１１から転送された三板状態の短時間露光画像と長時間露光画像とを合成することにより一枚の広ダイナミックレンジ画像を生成する合成手段たる合成部１２と、この合成部１２により生成された広ダイナミックレンジ画像を一時的に記憶する作業用バッファ１３と、基準となる階調変換曲線を記憶する記録手段たる基準曲線ＲＯＭ１４と、後述する制御部２５から転送される測光情報や合焦点情報等の撮影情報に基づいて撮影状況を推定する推定手段たる撮影状況推定部１５と、上記基準曲線ＲＯＭ１４から読み出した基準となる階調変換曲線と上記撮影状況推定部１５により推定された撮影状況とに基づいて階調変換曲線を算出する階調変換曲線算出手段たる変換曲線算出部１６と、上記作業用バッファ１３から広ダイナミックレンジの映像信号を読み出して上記変換曲線算出部１６により算出された階調変換曲線に基づき出力系の階調幅（例えば８ｂｉｔの階調幅）の映像信号へ変換する階調変換手段たる階調変換部１７と、この階調変換部１７からの映像信号を輝度信号と色差信号とに分離する分離手段たるＹ／Ｃ分離部１８と、このＹ／Ｃ分離部１８から出力される基準となる階調変換曲線に係る輝度信号および色差信号と基準外の階調変換曲線に係る輝度信号とを一時的に記憶する出力バッファ１９と、この出力バッファ１９に記憶された基準となる階調変換曲線に係る輝度信号と基準外の階調変換曲線に係る輝度信号との差分を算出する輝度差分算出手段たる輝度差分算出部２０と、上記出力バッファ１９からの基準となる階調変換曲線に係る輝度信号および色差信号を非可逆圧縮するとともに上記輝度差分算出部２０からの差信号を可逆圧縮する圧縮手段たる圧縮部２１と、上記階調変換部１７からの映像信号に基づき階調変換曲線毎にサムネイル画像を生成するサムネイル生成手段たるサムネイル作成部２３と、上記圧縮部２１からの基準となる階調変換曲線に係る非可逆圧縮された輝度信号および色差信号を画像の本体として格納するとともに該圧縮部２１からの可逆圧縮された差信号と上記サムネイル作成部２３からのサムネイル画像と輝度信号を識別する情報とをヘッダ内に格納して所定のファイルフォーマット（例えば、ＪＰＥＧ圧縮ファイルフォーマット）の画像ファイルを作成し例えばメモリカード等に記録するために出力する出力手段たる出力部２２と、上記サムネイル作成部２３により生成されたサムネイル画像を表示するための液晶パネルや電源スイッチ，シャッタボタン，撮影モードなどを切り替えるためモードスイッチ等を備えた外部Ｉ／Ｆ部２４と、上記測光評価部８からの測光情報と上記合焦点検出部９からの合焦点情報とを取得するとともに上記補間部１１，撮影状況推定部１５，変換曲線算出部１６，階調変換部１７，Ｙ／Ｃ分離部１８，圧縮部２１，出力部２２，サムネイル作成部２３，外部Ｉ／Ｆ部２４と双方向に接続されていてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段でありヘッダ情報生成手段、消去手段、出力制御手段を兼ねた制御部２５と、を有して構成されている。
【００５２】
次に、図１に示したような撮像システムにおける信号の流れについて説明する。
【００５３】
この撮像システムは、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮像モードに入る。
【００５４】
上記レンズ系１，絞り２，ローパスフィルタ３を介して原色系単板式のＣＣＤ４により撮影され出力された映像信号は、Ａ／Ｄ変換器５によりデジタル信号へ変換されて、第１画像用バッファ６へ転送され記憶される。本実施例においては、上記Ａ／Ｄ変換器５によりデジタル化された信号の階調幅が、例えば１２ｂｉｔであるものとする。
【００５５】
この第１画像用バッファ６に記憶されたプリ撮像モードの映像信号は、上記測光評価部８と合焦点検出部９とへそれぞれ転送される。
【００５６】
測光評価部８は、映像信号中の輝度レベルを求めて、適正露光となるように絞り２による絞り値やＣＣＤ４の電子シャッタ速度などを制御する。
【００５７】
また、合焦点検出部９は、映像信号のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１０を制御し合焦画像を得る。
【００５８】
上記測光評価部８からの測光情報と、上記合焦点検出部９からの合焦点情報とは、上記制御部２５へも転送される。
【００５９】
このようなプリ撮像モードの動作を行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを検出すると、本撮影が行われる。
【００６０】
本撮影の動作が開始されると、上記測光評価部８によって求められた露光条件に対して、所定の露光比、例えば１／８の露光比となるような露光条件で１枚目の映像信号（短時間露光画像）が撮影される。この短時間露光画像は、Ａ／Ｄ変換器５によってデジタル信号に変換された後に、上記第２画像用バッファ７へ転送されて記憶される。
【００６１】
続いて、測光評価部８によって求められた露光条件によって２枚目の画像（長時間露光画像）が撮影され、上記Ａ／Ｄ変換器５によってデジタル信号に変換された後に、第１画像用バッファ６へ転送されて記憶される。
【００６２】
補間部１１は、制御部２５の制御に基づいて、上記第１画像用バッファ６に記憶されている単板状態の映像信号と上記第２画像用バッファ７に記憶されている単板状態の映像信号と、を順次読み込んで、公知の補間処理、ホワイトバランス処理、強調処理などを行って三板状態の映像信号を生成し、合成部１２へ転送する。
【００６３】
合成部１２は、上記特開２００１−２３８１２８号公報に記載されたように、短時間露光画像の適正露光域と長時間露光画像の適正露光域とを合成することにより、一枚の広ダイナミックレンジの映像信号を生成する。
【００６４】
この合成部１２により生成された広ダイナミックレンジの映像信号は、作業用バッファ１３へ転送されて記憶される。
【００６５】
上述したように、本実施例では、デジタル化された信号の階調幅を１２ｂｉｔ、短時間露光画像と長時間露光画像との露光比を１：８（つまり、３ｂｉｔ分のシフト）としているために、合成される映像信号の階調幅は１５ｂｉｔとなる。
【００６６】
広ダイナミックレンジの映像信号の上記作業用バッファ１３への転送が行われた後に、上記制御部２５は、撮影状況推定部１５と変換曲線算出部１６とに処理を実行させるように制御する。
【００６７】
まず、上記撮影状況推定部１５は、上記特開２００１−２３８１２８号公報に記載されたように、制御部２５を介して取得した測光情報と合焦点情報とに基づいて、撮影シーンが、風景撮影、人物撮影、接写撮影などの何れであるかや、これらに加えて逆光状態であるか否かの推定を行う。
【００６８】
次に、変換曲線算出部１６は、上記基準曲線ＲＯＭ１４から基準となる階調変換曲線を読み込むとともに、上記撮影状況推定部１５により上述したように推定された撮影時の情報を読み込む。
【００６９】
そして、変換曲線算出部１６は、まず、基準曲線ＲＯＭ１４から読み込んだ基準となる階調変換曲線を、変更なしに階調変換部１７へ転送する。
【００７０】
次に、該変換曲線算出部１６は、上記基準となる階調変換曲線に所定の係数を乗算することにより、１つ以上の異なる階調変換曲線を生成して、階調変換部１７へ転送する。
【００７１】
この変換曲線算出部１６により算出される階調変換曲線について、図２を参照して説明する。
【００７２】
この図２に示す例では、実線で示すような基準となる階調変換曲線ＴＣ０に、１種類以上の係数を乗算することにより、１つ以上の異なる階調変換曲線を生成するようになっている。例えば、プラス方向へ修正した階調変換曲線ＴＣ＋は、上記階調変換曲線ＴＣ０に係数として１．２を乗算することにより算出される。また、マイナス方向へ修正した階調変換曲線ＴＣ−は、上記階調変換曲線ＴＣ０に係数として０．８を乗算することにより算出される。
【００７３】
こうして、本実施例では、基準となる階調変換曲線を含めて合計３種類の階調変換曲線が生成される。
【００７４】
上述したような、基準となる階調変換曲線に乗算する係数は、上記１．２や０．８に固定されるものではなく、上記撮影状況推定部１５により推定された撮影状況に基づいて、変換曲線算出部１６が、適応的に変化させることができるようになっている。
【００７５】
例えば、撮影シーンが風景などの場合には、映像信号のダイナミックレンジが広いと想定される。従って、このような場合には、マイナス方向へ修正した階調変換曲線を生成して用いるようにすることが考えられる。これに対して、撮影シーンが人物などの場合には、映像信号のダイナミックレンジが狭いと想定されるために、プラス方向へ修正した階調変換曲線を生成して用いるようにすると良い。さらに、撮影シーンが逆光状態であると推定された場合には、より大きくプラス方向へ修正した階調変換曲線を生成するなどが考えられる。このような適応的な階調変換曲線の生成を行うことによって、より高品位な映像信号を得ることができる。
【００７６】
また、基準となる階調変換曲線に乗算する係数を、上記外部Ｉ／Ｆ部２４を介して、撮影者が手動で任意に設定することができるようにしても構わない。さらに、階調変換曲線は、係数を乗算して生成するに限らず、撮影者が手動で所望の曲線形状となるように設定することも可能である。
【００７７】
上述したように変換曲線算出部１６により生成されもしくは経由される階調変換曲線は、制御部２５の制御に基づいて、所定のタイミングで、上記階調変換部１７へ転送される。
【００７８】
階調変換部１７は、制御部２５の制御に基づいて、上記変換曲線算出部１６から転送された階調変換曲線を読み込み、作業用バッファ１３に記憶されている例えば上記１５ｂｉｔの広ダイナミックレンジの映像信号を、出力系の階調幅、例えば８ｂｉｔの階調幅の映像信号へ変換する。
【００７９】
階調変換部１７により変換された映像信号は、Ｙ／Ｃ分離部１８と、サムネイル作成部２３と、へそれぞれ転送される。
【００８０】
また、制御部２５は、階調変換曲線を生成したときの識別情報を上記変換曲線算出部１６から取得する。この識別情報は、例えば上記図２に示した例においては、映像信号が、上記基準となる階調変換曲線と、係数１．２を乗算してプラス方向へ修正した階調変換曲線と、係数０．８を乗算してマイナス方向へ修正した階調変換曲線と、の何れに基づき生成された映像信号であるかと、その係数値と、等を含む情報である。そして、制御部２５は、この識別情報を出力部２２へ転送する。
【００８１】
なお、上記階調変換部１７において最初に用いられる変換曲線は、基準となる階調変換曲線となるように設定されている。
【００８２】
次に、Ｙ／Ｃ分離部１８は、制御部２５の制御に基づいて、階調変換部１７から転送される階調変換後の映像信号を、次の数式１に示すように、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとへ分離する。 
［数１］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【００８３】
そして、該Ｙ／Ｃ分離部１８は、基準となる階調変換曲線により変換された映像信号に関しては上記輝度信号Ｙと色差信号Ｃｂ，Ｃｒとの両方を、また、基準外の階調変換曲線により変換された映像信号に関しては上記輝度信号Ｙのみを、出力バッファ１９へ転送して記憶させる。
【００８４】
輝度差分算出部２０は、上記出力バッファ１９から、上記基準となる階調変換曲線に対応する輝度信号と基準外の階調変換曲線に対応する輝度信号とを読み込んで、これらの差分をとることにより輝度関連信号として差信号を生成し、上記圧縮部２１へ転送する。
【００８５】
圧縮部２１は、制御部２５の制御に基づいて、上記出力バッファ１９から基準となる階調変換曲線に対応する輝度信号と色差信号とを読み出して、公知の圧縮方法、例えばＪＰＥＧ（Joint Photographic Experts Group）などの非可逆圧縮を用いて圧縮し、出力部２２へ転送する。
【００８６】
次に、圧縮部２１は、輝度差分算出部２０から転送される差信号を、公知の圧縮方法、例えばハフマン符号などの可逆圧縮を用いて圧縮し、出力部２２へ転送する。このような可逆圧縮を用いることにより、情報を欠落させることなく、元の非圧縮の状態の差信号を確実に復元することができる。また、基準となる階調変換曲線に対応する輝度信号と、基準外の階調変換曲線に対応する輝度信号と、は相関性が高いために、可逆圧縮を用いたとしても、比較的高い圧縮率を期待することができると考えられる。
【００８７】
ここで、上述したような処理に基づく信号の流れを、図３を参照して説明する。
【００８８】
図３（Ａ）は、変換曲線算出部１６を介して転送される基準となる階調変換曲線を用いて、階調変換部１７により生成された映像信号の様子を示している。
【００８９】
図３（Ｂ），図３（Ｃ），図３（Ｄ）は、図３（Ａ）に示すような映像信号から、Ｙ／Ｃ分離部１８によって生成された、輝度信号Ｙ1，色差信号Ｃｂ1，色差信号Ｃｒ1の様子をそれぞれ示している。
【００９０】
一方、図３（Ｅ）は、変換曲線算出部１６によって生成された基準外の階調変換曲線（ここでは、プラス方向に修正された階調変換曲線）を用いて、階調変換部１７により生成された映像信号の様子を示している。
【００９１】
また、図３（Ｆ）は、図３（Ｅ）に示すような映像信号から、Ｙ／Ｃ分離部１８によって生成された輝度信号Ｙ2の様子を示している。さらに、図３（Ｇ），図３（Ｈ）は、図３（Ｅ）に示すような映像信号から、Ｙ／Ｃ分離部１８によって処理が行われて生成されたと仮定した場合の、色差信号Ｃｂ2，色差信号Ｃｒ2の様子をそれぞれ示している。これら図３（Ｇ），図３（Ｈ）に示す色差信号Ｃｂ2，Ｃｒ2は、本実施例では実際には算出されないが、説明を分かりやすくするために、ここでは図示している。
【００９２】
一方、図３（Ｉ）は、図３（Ｂ）に示すような輝度信号Ｙ1と、図３（Ｆ）に示すような輝度信号Ｙ2と、に基づき、輝度差分算出部２０により算出される差信号の様子を示している。
【００９３】
そして、図３（Ｊ）は、上記圧縮部２１により、図３（Ｂ）に示したような輝度信号Ｙ1と、図３（Ｃ）に示したような色差信号Ｃｂ1と、図３（Ｄ）に示したような色差信号Ｃｒ1と、が非可逆圧縮されるとともに、図３（Ｉ）に示したような差信号Ｙ1−Ｙ2が可逆圧縮されることを示している。
【００９４】
加えて、図３（Ｋ）は、上記出力部２２により、上記圧縮部２１からの映像信号がファイル化されて出力されることを示している。
【００９５】
一方、サムネイル作成部２３は、階調変換部１７から転送された映像信号を、所定サイズに縮小することにより、サムネイル画像を作成する。このサムネイル画像は、階調変換曲線毎に作成されて、出力部２２へ出力されるとともに、必要に応じて外部Ｉ／Ｆ部２４へ転送される。
【００９６】
出力部２２は、制御部２５の制御に基づいて、基準となる階調変換曲線に対応する圧縮された輝度信号および色差信号に関しては、所定のファイルフォーマット（本実施例ではＪＰＥＧ圧縮を想定しているために、ここでは上述したようにＪＰＥＧ圧縮ファイルフォーマット）で保存する。
【００９７】
さらに、出力部２２は、基準外の階調変換曲線に対応する輝度関連信号（つまり、基準となる階調変換曲線からの輝度信号と、基準外の階調変換曲線に対応する輝度信号と、の差信号を、さらに上述したように可逆圧縮した信号）と、上記輝度信号を識別するための上記識別情報と、上記サムネイル画像と、をヘッダ部に追加する形式で保存する。
【００９８】
なお、上述では、基準となる階調変換曲線に基づいて得られる輝度信号を保存するとともに、該輝度信号と基準外の階調変換曲線に基づいて得られる輝度信号との差信号を保存するようになっているが、これに限定されるものではない。例えば、基準外の階調変換曲線に基づいて得られる輝度信号自体を輝度関連情報として保存することも可能である。
【００９９】
あるいは、撮影後に、各種の階調変換曲線に対応するサムネイル画像を表示するなどして、これらのサムネイル画像の中から１つのサムネイル画像を撮影者が選択すると、該選択されたサムネイル画像に対応する輝度信号や輝度関連信号のみが保存されるようにすることも可能である。
【０１００】
図４に示すような外部Ｉ／Ｆ部２４の構成の一例を参照して、このような処理について説明する。
【０１０１】
この図４に示す外部Ｉ／Ｆ部２４は、上記サムネイル作成部２３により作成されたサムネイル画像を表示可能であるとともに該撮像システムに係る各種の情報等も表示し得るようになされた表示手段たる液晶パネル３１と、この液晶パネル３１の表示と非表示とを切り替えるための液晶オン／オフスイッチ３２と、例えば基準となる階調変換曲線に基づき基準外の階調変換曲線を生成する際の係数等を入力するための数字キー３３と、上記液晶パネル３１に複数並べて表示されているサムネイル画像の内の１つを選択する際などに用いられるサムネイル選択手段たる選択キー３４と、この選択キー３４により選択されたサムネイル画像を選択対象として確定するためのサムネイル選択手段たる確定スイッチ３５と、を有して構成されている。
【０１０２】
次に、このような外部Ｉ／Ｆ部２４を用いた処理は、以下のようになっている。
【０１０３】
撮影を行った後に、撮影済みのファイルの一覧を上記液晶パネル３１等に表示させて、表示された一覧の中から１つのファイルを選択すると、該ファイルのヘッダ部に保存されている各種の階調変換曲線に対応する複数のサムネイル画像が液晶パネル３１上に表示される。
【０１０４】
例えば、この図４に示す例では、基準階調変換曲線に係るサムネイル画像が中央に、係数１．２によるプラス修正が行われた基準階調変換曲線に係るサムネイル画像が右側に、係数０．８によるマイナス修正が行われた基準階調変換曲線に係るサムネイル画像が左側に、並べて表示される。
【０１０５】
この状態で、撮影者が上記選択キー３４を操作することにより、選択されているサムネイル画像を示すための例えば赤枠等が移動する。こうして、所望のサムネイル画像の位置まで赤枠を移動させた後に、上記確定スイッチ３５を操作することにより、該赤枠で囲まれたサムネイル画像の選択が決定する。
【０１０６】
ここでは、例えばプラス修正が行われた基準階調変換曲線に係るサムネイル画像が選択されたものとする。すると、選択されたサムネイル画像の情報が、外部Ｉ／Ｆ部２４から制御部２５へ転送される。
【０１０７】
制御部２５は、出力部２２を制御することにより、選択されていないサムネイル画像を消去するとともに、選択されていない基準外の階調変換曲線に係る差信号および識別情報を消去する。すなわち、この例では、マイナス修正が行われた基準階調変換曲線に係るサムネイル画像とその識別情報とが消去されることになる。
【０１０８】
これにより、記録媒体等に記録される情報として残るのは、基準となる階調変換曲線に係る輝度信号および色差信号と、選択されたサムネイル画像と、選択されたサムネイル画像に係る差信号および識別情報と、になる。なお、選択されたのが基準となる階調変換曲線に係るサムネイル画像である場合には、差信号および識別情報は特に記録はされないことになる。
【０１０９】
このような処理を行うことにより、記録媒体の記録容量の効率化、すなわち省メモリ化を図ることが可能となる。また、サムネイル画像により画像を観察しながら選択することができるために、操作性や使用感に優れた撮像システムとなる。
【０１１０】
また、上述ではハードウェアにより処理を行うことを前提としていたが、これに限らず、ソフトウェアによって処理することも可能である。
【０１１１】
図５を参照して、コンピュータにおいて撮像プログラムにより行われる処理について説明する。この処理は、例えば、電子的な撮像を行うためのカメラ部を備えたノート型パーソナルコンピュータや、電子的な撮像を行うためのカメラが接続されたデスクトップ型パーソナルコンピュータ、あるいは同様のカメラ部を備えた携帯電話や情報携帯端末などを含む各種の装置において、広く実行することが可能である。
【０１１２】
処理を開始すると、まず、プリ撮像による画像を取得する（ステップＳ１）。
【０１１３】
そして、取得されたプリ撮像による画像データに基づいて、本撮影におけるＡＥ（測光情報）やＡＦ（合焦点情報）などの撮影条件を決定する（ステップＳ２）。
【０１１４】
このステップＳ２によって設定された撮影条件に対して、所定の露光比、例えば１／８の露光比となるような撮影条件で、１枚目の画像（短時間露光画像）を取得する（ステップＳ３）。
【０１１５】
次に、上記ステップＳ２によって設定された撮影条件に基づいて、２枚目の画像（長時間露光画像）を取得する（ステップＳ４）。
【０１１６】
そして、上記ステップＳ３で取得した短時間露光画像と、上記ステップＳ４で取得した長時間露光画像とに、公知の補間処理、ホワイトバランス処理、強調処理などを行って三板状態の映像信号を生成し、さらに処理後の短時間露光画像の適正露光域と、処理後の長時間露光画像の適正露光域と、を合成することにより、一枚の広ダイナミックレンジの映像信号を生成する（ステップＳ５）。
【０１１７】
その一方で、上記ステップＳ２で取得した測光情報と合焦点情報とに基づいて、撮影シーンが、風景撮影、人物撮影、接写撮影などの何れであるかや、これらに加えて逆光状態であるか否かの推定を行う（ステップＳ６）。
【０１１８】
そして、基準となる階調変換曲線を取得して（ステップＳ７）、取得した基準階調変換曲線と、上記ステップＳ６で推定された撮影状況と、に基づいて、上記図２に示したような基準階調変換曲線を含む複数の階調変換曲線を算出する（ステップＳ８）。また、このステップＳ８において階調変換曲線を生成したときの識別情報は、後述するステップＳ１７の処理において用いられるようになっている。
【０１１９】
上記ステップＳ８において算出された階調変換曲線に基づいて、上記ステップＳ５において合成された広ダイナミックレンジの映像信号を階調変換処理し、出力系の階調幅の映像信号を生成する（ステップＳ９）。このステップＳ９の処理においては、基準となる階調変換曲線による処理を、基準外の階調変換曲線による処理に先立って、最初に行うようになっている。
【０１２０】
次に、生成された映像信号を輝度信号と色差信号とに分離するとともに（ステップＳ１０）、該映像信号に基づきサムネイル画像を作成する（ステップＳ１１）。
【０１２１】
続いて、現在処理している映像信号が、基準となる階調変換曲線による変換に基づく映像信号であるか否かを判断する（ステップＳ１２）。
【０１２２】
ここで、基準階調変換曲線に係る映像信号である場合には、上記ステップＳ１０において分離された輝度信号と色差信号とを非可逆圧縮、例えばＪＰＥＧ圧縮する（ステップＳ１３）。
【０１２３】
また、上記ステップＳ１２において、基準外の階調変換曲線に係る映像信号である場合には、上記ステップＳ１０において分離された基準外の階調変換曲線に基づく輝度信号と、これに先だって求められている基準となる階調変換曲線に基づく輝度信号と、の差信号を算出する（ステップＳ１４）。
【０１２４】
そして、算出された差信号を、可逆圧縮、例えばハフマン符号などにより圧縮する（ステップＳ１５）。
【０１２５】
上記ステップＳ１３またはステップＳ１５の処理が終了したら、規定回数の階調変換が行われたか否かを判断して（ステップＳ１６）、まだ行われていない場合には、上記ステップＳ９へ行って他の階調変換曲線に基づいて上述したような処理を行う。
【０１２６】
こうして、ステップＳ１６において、規定回数の階調変換が行われたと判断された場合には、上記ステップＳ１３の処理により非可逆圧縮された基準階調変換曲線に基づく輝度信号および色差信号と、上記ステップＳ１４およびステップＳ１５の処理により可逆圧縮された基準外の階調変換曲線に基づく輝度信号に係る差信号と、上記ステップＳ１１の処理により作成されたサムネイル画像と、上記ステップＳ８の処理により階調変換曲線を生成したときの識別情報と、を含む各情報を、１つのファイルに統合する（ステップＳ１７）。
【０１２７】
そして、生成されたファイルを出力して（ステップＳ１８）、この一連の処理を終了する。
【０１２８】
なお、上述では、基準外の階調変換曲線に基づき得られる輝度信号については、差分情報を算出して、可逆圧縮して出力するようにしているが、これに限るものではない。例えばＪＰＥＧ圧縮などの非可逆圧縮を行うことも可能である。この場合には、画質は低下するものの、出力ファイルのサイズをより小さくすることができる利点がある。
【０１２９】
また、上述したように、差分情報を算出するに限らず、輝度信号のままＪＰＥＧ圧縮などの通常の輝度信号と同様の圧縮処理を行うようにすることも可能である。この場合には、輝度差分算出部２０の構成を省略することができる。さらに、再生処理を行う際に、圧縮された輝度信号を選択するだけで、通常の再生処理と同一の処理回路等により同等の処理時間で再生することが可能となる利点がある。さらに、上述したような、基準階調変換曲線以外の輝度信号を差分情報として保存する処理を行う場合には、基準階調変換曲線に対応する輝度信号を残す必要があったが、差信号に代えて輝度信号を保存する構成とする場合には、基準階調変換曲線に対応する輝度信号も消去することが可能である。こうして、記録媒体をより効率的に使用することも可能となる。
【０１３０】
このような実施例１によれば、複数の階調変換曲線による輝度情報が含まれる出力ファイルを生成することができる。このとき、基準外の階調変換曲線に基づいて得られる映像信号に関しては輝度信号のみを保存するようにしているために、出力ファイルのサイズを小さくして省メモリ化を図ることができる。さらに、基準外の階調変換曲線に係る輝度信号と、基準階調変換曲線に係る輝度信号との差信号を生成し、圧縮してから保存するようにしているために、出力ファイルのサイズをより小さくすることができる。
【０１３１】
そして、保存される各輝度信号は、入力時の階調幅から生成されたものであるために、複数の階調変換曲線の何れに基づく映像信号を選択したとしても階調の不連続性が発生することはなく、高品位な映像信号を得ることができる。
【０１３２】
また、原信号に直接階調変換を行うようにしたために、処理系を簡略化することができ、撮像システムを低コストに構成することが可能となる。
【０１３３】
さらに、露光が異なる複数の画像を合成して広ダイナミックレンジの映像信号を生成するようにしているために、通常の撮像素子による１回の撮像で得られる画像の階調幅を上回る広ダイナミックレンジな画像を得ることができる。
【０１３４】
加えて、基準となる階調変換曲線はＲＯＭ上に記録しておくために、設定が容易で高速処理が可能となる。
【０１３５】
また、基準外の階調変換曲線を、基準となる階調変換曲線から算出するようにしているために、多様な階調変換曲線を高速かつ容易に生成することが可能となる。
【０１３６】
一方、撮影時の状況を推定して画像毎に階調変換曲線を算出する場合には、より各画像に適した高品位な映像信号を生成することが可能となる。
【０１３７】
さらに、輝度信号を識別する情報や、各階調変換曲線に対応するサムネイル画像を１つのファイル内に格納するようにしているために、画像を識別したり選択したりする際の操作性に優れたシステムを構成することが可能となる。
【０１３８】
そして、基準となる階調変換曲線に対応する輝度信号および色差信号は、所定の圧縮のファイルフォーマットに従ってファイル内に記録されるために、従来の画像ファイルとの互換性が維持され、高い汎用性を有するものとなる。
【実施例２】
【０１３９】
図６から図１０は本発明の実施例２を示したものであり、図６は撮像システムの構成を示すブロック図、図７は制限設定部の構成を示すブロック図、図８は制限設定部により階調変換曲線が修正される様子を示す線図、図９はＹＣｂＣｒ色空間における彩度信号の補正を説明するための図、図１０は色差補正部の構成を示すブロック図である。
【０１４０】
この実施例２において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１４１】
この実施例２の撮像システムは、図６に示すように、上述した実施例１の第１画像用バッファ６および第２画像用バッファ７に代えて画像用バッファ４１を設け、該実施例１の合成部１２、撮影状況推定部１５、サムネイル作成部２３、外部Ｉ／Ｆ部２４を削除して、エッジ抽出部４２、ヒストグラム作成部４３、制限設定部４４、色差補正部４５を追加した構成になっている。
【０１４２】
上記画像用バッファ４１は、Ａ／Ｄ変換器５からのデジタル化された映像信号を一時的に記憶するものであり、映像信号がプリ撮像または本撮影の何れにより得られたかに応じて、上述したように、上記測光評価部８と合焦点検出部９と補間部１１とへ適宜出力するものである。
【０１４３】
また、補間部１１により補間された映像信号は、上記作業用バッファ１３を介して、Ｙ／Ｃ分離部１８へ転送されるようになっている。
【０１４４】
上記エッジ抽出部４２は、特徴量算出手段であって、上記Ｙ／Ｃ分離部１８により分離された輝度信号に基づいて、特徴量たるエッジ成分を抽出するものである。
【０１４５】
上記ヒストグラム作成部４３は、ヒストグラム作成手段であって、このエッジ抽出部４２により抽出されたエッジ成分と上記Ｙ／Ｃ分離部１８により分離された輝度信号とに基づいて、ヒストグラムを作成し、上記変換曲線算出部１６へ出力するものである。
【０１４６】
制限設定部４４は、制限手段であって、上記変換曲線算出部１６により算出された変換曲線を、上記基準曲線ＲＯＭ１４から読み出した基準となる階調変換曲線に基づき補正するものである。
【０１４７】
上記階調変換部１７は、上記Ｙ／Ｃ分離部１８により分離された輝度信号を、上記制限設定部４４を介して基準曲線ＲＯＭ１４から転送された基準となる階調変換曲線に基づき階調変換するとともに、該制限設定部４４により補正された階調変換曲線に基づき階調変換して、上記出力バッファ１９へ出力するものである。また、基準となる階調変換曲線により階調変換された輝度信号については、上記色差補正部４５へも出力されるようになっている。
【０１４８】
上記色差補正部４５は、色差補正手段であって、上記Ｙ／Ｃ分離部１８により分離された色差信号を、上記階調補正部１７からの基準となる階調変換曲線に基づき階調補正された輝度信号を用いて補正し、上記出力バッファ１９へ出力するものである。
【０１４９】
また、上記制御部２５は、上記エッジ抽出部４２、ヒストグラム作成部４３、制限設定部４４、色差補正部４５に対しても双方向に接続されており、これらを制御するようになっている。
【０１５０】
次に、図６に示したような撮像システムにおいて、上記図１に示したような撮像システムと異なる信号の流れは、ほぼ次のようになっている。
【０１５１】
ＣＣＤ４から出力されるアナログの映像信号は、Ａ／Ｄ変換器５によってデジタル信号へ変換されて、画像用バッファ４１へ転送され記憶される。なお、本実施例においても、上記Ａ／Ｄ変換器５によりデジタル化された信号の階調幅が、例えば１２ｂｉｔであるものとする。
【０１５２】
補間部１１は、制御部２５の制御に基づいて、画像用バッファ４１に記憶されている単板状態の映像信号を読み込んで、公知の補間処理、ホワイトバランス処理、強調処理などを行って三板状態の映像信号を生成し、作業用バッファ１３へ転送する。
【０１５３】
Ｙ／Ｃ分離部１８は、制御部２５の制御に基づいて、作業用バッファ１３から転送される映像信号を、上記数式１に従って輝度信号Ｙと色差信号Ｃｂ，Ｃｒとへ分離する。
【０１５４】
エッジ抽出部４２は、制御部２５の制御に基づいて、上記Ｙ／Ｃ分離部１８から転送される輝度信号Ｙに公知のラプラシアン処理などのエッジ抽出処理を行うことによりエッジ成分を抽出し、抽出したエッジ成分をヒストグラム作成部４３へ転送する。
【０１５５】
ヒストグラム作成部４３は、制御部２５の制御に基づいて、エッジ抽出部４２からのエッジ情報と、Ｙ／Ｃ分離部１８からの輝度信号Ｙと、を読み込み、所定のエッジ強度以上の画素に関して累積ヒストグラムを算出し、算出した累積ヒストグラムを変換曲線算出部１６へ転送する。
【０１５６】
変換曲線算出部１６は、制御部２５の制御に基づいて、ヒストグラム作成部４３からの累積ヒストグラムを正規化することにより適応的な階調変換曲線を生成して、生成した階調変換曲線を制限設定部４４へ転送する。
【０１５７】
なお、ここで生成される階調変換曲線は、入力時の映像信号の階調幅を維持する階調変換特性となっていて、すなわち、本実施例では上述したように入力時の映像信号の階調幅が１２ｂｉｔである場合を想定しているために、変換後も１２ｂｉｔの階調幅となるような階調変換特性となっている。
【０１５８】
制限設定部４４は、基準曲線ＲＯＭ１４から基準となる階調変換曲線を読み込むとともに、変換曲線算出部１６から適応的な階調変換曲線を読み込んで、適応的な階調変換曲線に、基準となる階調変換曲線に基づいた制限を課す。
【０１５９】
そして、制限が課された適応的な階調変換曲線（基準外の階調変換曲線）と、基準曲線ＲＯＭ１４からの基準となる階調変換曲線とは、制限設定部４４から階調変換部１７へ転送される。
【０１６０】
階調変換部１７は、制御部２５の制御に基づいて、最初は基準となる階調変換曲線を用いてＹ／Ｃ分離部１８からの輝度信号Ｙを階調変換処理し、次に制限が課された適応的な階調変換曲線を用いてＹ／Ｃ分離部１８からの輝度信号Ｙを階調変換処理し、処理後の各輝度信号を出力バッファ１９へ転送するとともに、基準となる階調変換曲線に基づき階調変換された輝度信号Ｙについては色差補正部４５へも転送する。
【０１６１】
色差補正部４５は、制御部２５の制御に基づいて、階調変換部１７において基準となる階調変換曲線が用いられたときの色差信号に対する補正処理を行う。
【０１６２】
この補正処理は、階調変換部１７からの基準となる階調変換曲線に基づく階調変換後の輝度信号（以後、Ｙtraとする）と、Ｙ／Ｃ分離部１８からの入力時の輝度信号（以後、Ｙorgとする）と、に基づいて、色差信号に対する補正係数を算出し、この補正係数をＹ／Ｃ分離部１８からの色差信号（以後、Ｃｂ，Ｃｒに各対応してＣｂorg，Ｃｒorgとする）に適用することによって行われる。
【０１６３】
補正された色差信号（以後、Ｃｂtra，Ｃｒtraとする）は、入力時の映像信号の階調幅（すなわち、上述したように本実施例では１２ｂｉｔ）を維持したまま、出力バッファ１９へ転送される。
【０１６４】
こうして上述したような処理が行われた後には、出力バッファ１９には、階調変換部１７からの基準となる階調変換曲線に対応する輝度信号と、該階調変換部１７からの制限が課された適応的な階調変換曲線（基準外の階調変換曲線）に対応する輝度信号と、色差補正部４５からの基準となる階調変換曲線に対応する補正された色差信号と、が存在することになる。
【０１６５】
輝度差分算出部２０は、上記出力バッファ１９から、上記基準となる階調変換曲線に対応する輝度信号と、基準外の階調変換曲線に対応する輝度信号と、を読み出して、これらの差信号を差分情報として算出する。
【０１６６】
圧縮部２１は、制御部２５の制御に基づいて、出力バッファ１９に記憶されている基準となる階調変換曲線に対応する輝度信号および色差信号と、輝度差分算出部２０からの差信号と、を出力系の階調幅（例えば８ｂｉｔの階調幅）の信号へ変換する。この変換は、単純な除算処理により行われ、本実施例では１２ｂｉｔを８ｂｉｔへ４ｂｉｔ分シフトすることにより行われる。
【０１６７】
次に、圧縮部２１は、階調幅を変換した基準となる階調変換曲線に対応する輝度信号および色差信号を、公知の圧縮方法（例えばＪＰＥＧなど）により圧縮して、出力部２２へ転送する。
【０１６８】
さらに、圧縮部２１は、出力バッファ１９に記憶されている上記輝度差分算出部２０からの差信号（輝度関連情報）を、公知の圧縮方法（例えばハフマン符号などの可逆圧縮方法）により圧縮して、出力部２２へ転送する。
【０１６９】
出力部２２は、制御部２５の制御に基づいて、基準となる階調変換曲線に対応する圧縮された輝度信号および色差信号に関しては、通常のファイルフォーマット（本実施例においてもＪＰＥＧ圧縮を想定しているために、ここではＪＰＥＧ圧縮ファイルフォーマット）で保存する。
【０１７０】
さらに、基準外の階調変換曲線に対応する輝度信号に係る圧縮された差信号と、輝度信号を識別するための識別情報と、をヘッダ部に追加する形式で保存する。
【０１７１】
次に、図７を参照して、上記制限設定部４４の構成の一例について説明する。
【０１７２】
この制限設定部４４は、上記変換曲線算出部１６からの適応的な階調変換曲線と上記基準曲線ＲＯＭ１４からの基準となる階調変換曲線との距離を算出する距離算出部５１と、この距離算出部５１により算出された距離情報に基づいて該距離が所定範囲内の距離となるように上記変換曲線算出部１６からの適応的な階調変換曲線を補正しこの補正された適応的な階調変換曲線と上記距離算出部５１から転送される基準階調変換曲線とを上記階調変換部１７へ出力する距離補正部５２と、を有して構成されている。
【０１７３】
また、上記制御部２５は、上記距離算出部５１、距離補正部５２に対して双方向に接続されており、これらを制御するようになっている。
【０１７４】
この図７に示したような制限設定部４４の処理の流れは、次のようになっている。
【０１７５】
距離算出部５１は、変換曲線算出部１６から適応的な階調変換曲線を読み込むとともに、基準曲線ＲＯＭ１４から基準となる階調変換曲線を読み込み、該基準となる階調変換曲線からの適応的な階調変換曲線の距離ｌを算出する。この距離ｌの算出は、入力軸に沿って逐次行われ、算出された距離ｌに基づいて、適応的な階調変換曲線の補正が行われる。
【０１７６】
いま、変換曲線算出部１６からの適応的な階調変換曲線をＴとし、基準曲線ＲＯＭ１４からの基準となる階調変換曲線をＴ0とすると、上記距離ｌは、以下の数式２に示すようにして算出される。 
［数２］
ｌ＝Ｍａｘ          （ｌ＞Ｍａｘのとき）
ｌ＝１              （ｌ＜１のとき）
ｌ＝｜Ｔ−Ｔ0｜     （それ以外のとき）
ここに、「Ｍａｘ」は所定の定数項（階調幅が１２ｂｉｔである場合には、例えば１２８）である。
【０１７７】
また、該距離補正部５２による補正後の階調変換曲線Ｔ’は、以下の数式３に示すように算出される。 
［数３］
Ｔ’＝Ｔ0＋（Ｔ−Ｔ0）｛１＋ｌ（ｋ−１）／Ｍａｘ｝
ここに、ｋは所定の定数項（０＜ｋ＜１を満たすような定数であって、例えば０．４）である。
【０１７８】
図８は、このような処理による補正が行われたときの一例を示したものであり、細線で示すような変換曲線算出部１６からの適応的な階調変換曲線Ｔが、点線で示すような基準となる階調変換曲線Ｔ0により近接するように補正されて、太線で示すような補正後の階調変換曲線Ｔ’となっていることがわかる。
【０１７９】
こうして制限設定部４４により補正された後の階調変換曲線は、階調変換部１７へ転送される。
【０１８０】
上述したような補正法は、基準階調変換曲線との距離に基づき連続的に行うものとなっているために、補正による階調変化の不連続性が発生しないというメリットがある。
【０１８１】
次に、図９を参照して、色差補正部４５における色差信号の補正方法の概念について説明する。
【０１８２】
まず、輝度信号Ｖ，色相信号Ｈ，彩度信号Ｃは、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに基づいて、次の数式４に示すようにそれぞれ算出される。 
［数４］
Ｖ＝Ｙ
Ｈ＝ｔａｎ-1（Ｃｂ／Ｃｒ）
Ｃ＝（Ｃｂ・Ｃｂ＋Ｃｒ・Ｃｒ）1/2
【０１８３】
なお、数式４における輝度信号Ｖは、上記数式１により算出される輝度信号Ｙと同一であるために、以後は、輝度信号に対して記号「Ｙ」を用いるものとする。
【０１８４】
いま、Ｙ／Ｃ分離部１８からの入力時の輝度信号をＹorg，該Ｙ／Ｃ分離部１８からの入力時の色差信号をＣｂorg，Ｃｒorgで表し、これに対応する色相信号をＨorg，彩度信号をＣorgで表し、さらに、上記階調変換部１７により基準となる階調変換曲線に基づき階調変換された輝度信号をＹtraで表すものとする。また、図９に示したようなＹＣｂＣｒ色空間における色再現の理論限界特性、すなわち最大彩度を示す関数、をｍａｘＣで表すことにする。
【０１８５】
輝度信号が変化した場合に、視覚的に不自然さのない色を得るためには、色相信号は一定であって、かつ最大彩度に対する比率が保たれるように彩度信号を補正する必要がある。
【０１８６】
そこで、まず、入力時の輝度信号Ｙorgに対する最大の彩度を求めてｍａｘＣorgとし、次に、変換後の輝度信号Ｙtraに対する最大の彩度を求めてｍａｘＣtraとする。
【０１８７】
すると、変換された輝度信号Ｙtraに対応する彩度信号Ｃtraを求めるための補正係数ｋCは、次の数式５に示すように算出される。 
［数５］
ｋC＝ｍａｘＣtra／ｍａｘＣorg
【０１８８】
このような補正係数ｋCを彩度信号Ｃorgに乗算することにより、補正された彩度信号Ｃtraを得ることができる。
【０１８９】
このような演算を行うことにより補正された彩度信号Ｃtraと、上記色相Ｈorgと、を用いて、次の数式６に基づき、補正された色差信号Ｃｂtra，Ｃｒtraを求めることができる。 
［数６］
Ｃｂtra＝Ｃtra・ｓｉｎ（Ｈorg）
Ｃｒtra＝Ｃtra・ｃｏｓ（Ｈorg）
【０１９０】
このようにして算出された補正後の色差信号Ｃｂtra，Ｃｒtraは、出力バッファ１９へ転送される。
【０１９１】
上述したような処理を行うための色差補正部４５の構成の一例について、図１０を参照して説明する。
【０１９２】
この色差補正部４５は、最大彩度を示す関数ｍａｘＣが記録されている関数記録用ＲＯＭ６２と、上記Ｙ／Ｃ分離部１８からの色差信号Ｃｂorg，Ｃｒorgに基づき上記数式４に示したように色相信号Ｈorgおよび彩度信号Ｃorgを算出する色相彩度算出部６３と、この色相彩度算出部６３により算出された色相信号Ｈorgと上記Ｙ／Ｃ分離部１８からの輝度信号Ｙorgとに対応して上記関数記録用ＲＯＭ６２を参照することにより最大彩度ｍａｘＣorgを算出するとともに上記色相信号Ｈorgと上記階調変換部１７からの階調変換後の輝度信号Ｙtraとに対応して該関数記録用ＲＯＭ６２を参照することにより最大彩度ｍａｘＣtraを算出する最大彩度算出部６１と、この最大彩度算出部６１により算出された最大彩度ｍａｘＣorg，ｍａｘＣtraに基づいて上記数式５に示したように補正係数ｋCを算出する比率算出部６４と、この比率算出部６４により算出された補正係数ｋCを上記色相彩度算出部６３からの彩度信号Ｃorgに乗算して補正された彩度信号Ｃtraを算出する乗算部６５と、この乗算部６５からの彩度信号Ｃtraと上記色相彩度算出部６３からの色相信号Ｈorgとに基づいて上記数式６により補正された色差信号Ｃｂtra，Ｃｒtraを算出して上記出力バッファ１９へ出力する色差算出部６６と、を有して構成されている。
【０１９３】
また、上記制御部２５は、上記最大彩度算出部６１、色相彩度算出部６３、比率算出部６４、乗算部６５、色差算出部６６に対して双方向に接続されており、これらを制御するようになっている。
【０１９４】
なお、上記Ｙ／Ｃ分離部１８は、乗算部６５へも接続されている。
【０１９５】
この図１０に示したような色差補正部４５の処理の流れは、次のようになっている。
【０１９６】
色相彩度算出部６３は、制御部２５の制御に基づいて、Ｙ／Ｃ分離部１８から入力信号に対応する色差信号Ｃｂorg，Ｃｒorgを読み込み、上記数式４を用いて、色相信号Ｈorgおよび彩度信号Ｃorgを算出し、算出した色相信号Ｈorgを上記最大彩度算出部６１と上記色差算出部６６とへ転送するとともに、算出した彩度信号Ｃorgを乗算部６５へ転送する。
【０１９７】
最大彩度算出部６１は、制御部２５の制御に基づいて、Ｙ／Ｃ分離部１８から入力時の輝度信号Ｙorgを、階調変換部１７から基準となる階調変換曲線に基づき階調変換された輝度信号Ｙtraを、色相彩度算出部６３から色相信号Ｈorgをそれぞれ読み込む。次に、最大彩度算出部６１は、関数記録用ＲＯＭ６２から図９に示したような最大彩度を示す関数ｍａｘＣを読み込んで、色相信号がＨorgでかつ輝度信号がＹorgである場合に対応する最大彩度ｍａｘＣorgを求める。さらに、最大彩度算出部６１は、関数記録用ＲＯＭ６２から読み込んだ関数ｍａｘＣに基づいて、色相信号がＨorgでかつ輝度信号がＹtraである場合に対応する最大彩度ｍａｘＣtraを求める。そして、最大彩度算出部６１は、求めた最大彩度ｍａｘＣorg，ｍａｘＣtraを比率算出部６４へ転送する。
【０１９８】
比率算出部６４は、制御部２５の制御に基づいて、最大彩度算出部６１から転送された最大彩度ｍａｘＣorg，ｍａｘＣtraを用い上記数式５により補正係数ｋCを算出し、算出した補正係数ｋCを乗算部６５へ転送する。
【０１９９】
乗算部６５は、色相彩度算出部６３からのＣorgに、比率算出部６４からの補正係数ｋCを乗算することにより、補正された彩度信号Ｃtraを生成して、色差算出部６６へ転送する。
【０２００】
色差算出部６６は、乗算部６５から補正された彩度信号Ｃtraを読み込むとともに、色相彩度算出部６３から色相信号Ｈorgを読み込んで、上記数式６に基づき、補正された色差信号Ｃｂtra，Ｃｒtraを求め、求めた色差信号Ｃｂtra，Ｃｒtraを出力バッファ１９へ転送する。
【０２０１】
なお、上述では、圧縮部２１において、１２ｂｉｔの信号を８ｂｉｔの信号へ変換するようにしているが、これに限るものではない。例えば、１２ｂｉｔのまま圧縮処理を行うように構成することも可能である。この場合には、圧縮ファイルの汎用性が低下するが、より高速な処理を行うことが可能となる。
【０２０２】
さらに、上述では、階調変換部１７において、階調幅を維持する階調変換（具体的には、１２ｂｉｔから１２ｂｉｔへの階調変換）を行うようになっているが、これに限るものではない。例えば、１２ｂｉｔから８ｂｉｔへの階調幅の変換も同時に行うような階調変換曲線を用いて階調変換を行うようにしても構わない。この場合には、色差補正部４５は、Ｙ／Ｃ分離部１８からの入力時の１２ｂｉｔの輝度信号Ｙorgを４ｂｉｔ分シフトして８ｂｉｔの輝度信号に変換してから処理を行うことになる。これにより、ｍａｘＣorgは８ｂｉｔの輝度信号Ｙorgに基づき、また、ｍａｘＣtraは８ｂｉｔの輝度信号Ｙtraに基づき、それぞれ算出されることになる。この場合には、彩度補正の精度が若干低下するが、関数記録用ＲＯＭ６２に記録する関数の精度が８ｂｉｔとなるために、ＲＯＭ容量を節約することが可能となる。なお、色差信号についても、Ｙ／Ｃ分離部１８から入力される色差信号Ｃｂorg，Ｃｒorgを、例えば４ｂｉｔ分シフトさせたりあるいはリニアにビット幅を変換させたりすることにより、８ｂｉｔの色差信号に変換することができる。このような８ｂｉｔの色差信号を用いて、彩度信号Ｃorgや色相信号Ｈorgも８ｂｉｔで算出すれば良い。これにより、上述したように８ｂｉｔに変換された輝度信号Ｙorgとともに、該色差補正部４５における以降の処理を８ｂｉｔで行うことが可能となる。
【０２０３】
このように、階調幅の変換は、階調変換部１７や色差補正部４５で行うこともできるし、圧縮部２１において行っても構わないし、これらの両方で行っても良いし、その他の回路部分で行うことも可能であり、特に限定されるものではない。
【０２０４】
このような実施例２によれば、複数の階調変換曲線による輝度情報が含まれる出力ファイルを生成することができる。このとき、基準外の階調変換曲線に基づいて得られる映像信号に関しては輝度信号のみを保存するようにしているために、出力ファイルのサイズを小さくして省メモリ化を図ることができる。さらに、基準外の階調変換曲線に係る輝度信号と、基準階調変換曲線に係る輝度信号との差信号を生成し、圧縮してから保存するようにしているために、出力ファイルのサイズをより小さくすることができる。
【０２０５】
そして、保存される各輝度信号は、入力時の階調幅から生成されたものであるために、複数の階調変換曲線の何れに基づく映像信号を選択したとしても階調の不連続性が発生することはなく、高品位な映像信号を得ることができる。
【０２０６】
また、階調変換を輝度信号のみに行うようにしたために、輝度信号に対する処理と色差信号に対する処理とを分離することができ、高画質な映像信号を得ることができる撮像システムを構成することが可能となる。
【０２０７】
このとき、元の輝度信号と、階調変換された輝度信号と、を用いて色差信号を補正するようにしたために、高品位な色を保つことができる。
【０２０８】
さらに、基準となる階調変換曲線はＲＯＭ上に記録しておくために、設定が容易で高速処理が可能となる。
【０２０９】
加えて、基準外の階調変換曲線は、ヒストグラムに基づいて画像単位で適応的に生成するようにしたために、各画像に適したより高画質な映像信号を生成することができる。
【０２１０】
そして、基準外の階調変換曲線を生成する際に、基準となる階調変換曲線に基づいて制限を課すようにしたために、画像に破綻が生じることがなくなり、安定した画質の画像をより確実に得ることができる。
【０２１１】
また、輝度信号を識別する情報を１つのファイル内に格納するようにしているために、画像を識別したり選択したりする際の操作性に優れたシステムを構成することが可能となる。
【０２１２】
さらに、基準となる階調変換曲線に対応する輝度信号および色差信号は、所定の圧縮のファイルフォーマットに従ってファイル内に記録されるために、従来の画像ファイルとの互換性が維持され、高い汎用性を有するものとなる。
【実施例３】
【０２１３】
図１１、図１２は本発明の実施例３を示したものであり、図１１は再生システムの構成を示すブロック図、図１２はコンピュータにおいて再生プログラムにより行われる処理を示すフローチャートである。
【０２１４】
この実施例３において、上述の実施例１，２と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【０２１５】
本実施例の再生システムは、例えば、上述した実施例１の撮像システムにより撮像された画像ファイルを再生する際に用いられるものとなっている。
【０２１６】
この再生システムは、例えばメモリカード等の記録媒体から上述したような画像ファイルを入力するための入力部７１と、この入力部７１を介して上記画像ファイルのヘッダ部に含まれる全てのサムネイル画像と輝度信号を識別するための識別情報とを読み出して後述する出力部７９のモニタ等へ出力し表示等を行わせる読出手段たるサムネイル読出部７３と、上記モニタ表示等を見て後述する外部Ｉ／Ｆ部８０を介して使用者により選択されたサムネイル画像に応じ上記入力部７１から読み込むデータを制御し読み込ませて入力するものでありさらに選択されたサムネイル画像に係る情報以外の情報を必要に応じて消去し得るようになされた上記入力部７１を制御するための輝度信号選択手段であり消去手段たる選択消去部７２と、この選択消去部７２を介して上記入力部７１から入力された圧縮データを伸張する伸張手段たる伸張部７４と、この伸張部７４により伸張された画像データを一時的に記憶する出力バッファ７５と、この出力バッファ７５から読み込んだ輝度信号が基準外の階調変換曲線に基づく差信号（輝度関連信号）である場合に元の輝度信号を算出する輝度算出手段たる輝度算出部７６と、上記出力バッファ７５から読み込んだ輝度信号が基準外の階調変換曲線に対応するものである場合に上記輝度算出部７６により算出された輝度信号を用いて該出力バッファ７５から読み込んだ色差信号の補正を行う色差補正手段たる色差補正部７７と、上記輝度信号算出部７６から輝度信号を読み込むとともに上記色差補正部７７から色差信号を読み込んでＲＧＢの映像信号を生成する合成手段たるＹ／Ｃ合成部７８と、このＹ／Ｃ合成部７８により生成されたＲＧＢの映像信号を表示するための例えばモニタ等を含む表示手段たる出力部７９と、使用者が操作入力を行うための例えばマウスやキーボードなどを含むインターフェースであり上記出力部７９と双方向に接続されたサムネイル選択手段たる外部Ｉ／Ｆ部８０と、上記入力部７１，選択消去部７２，サムネイル読出部７３，伸張部７４，輝度算出部７６，色差補正部７７，Ｙ／Ｃ合成部７８，出力部７９，外部Ｉ／Ｆ部８０と双方向に接続されていてこれらを含むこの再生システムを統合的に制御するマイクロコンピュータ等でなる制御手段であり優先手段たる制御部８１と、を有して構成されている。
【０２１７】
次に、図１１に示したような再生システムにおける信号の流れについて説明する。
【０２１８】
メモリカード等の記録媒体を、メモリカードリーダ等の読み取り部を有して構成されている入力部７１に装着することにより、記録媒体が上記制御部８１に認識されて、該記録媒体内に記録されている画像ファイルを読み出すことができる状態になる。
【０２１９】
上記画像ファイルは、上述した実施例１で示したように、基準となる階調変換曲線に基づき得られた輝度信号および色差信号が画像の本体として記録されるとともに、必要に応じて、基準外の階調変換曲線に対応する差信号がヘッダ部に記録されているものであり、さらに該ヘッダ部には、各階調変換曲線によって生成された映像信号に対応するサムネイル画像と、上記輝度信号を識別するための識別情報と、が記録されたものである。
【０２２０】
このとき、上記基準となる階調変換曲線に基づき得られた輝度信号および色差信号は、所定の圧縮フォーマット、本実施例では非可逆圧縮であるＪＰＥＧ圧縮に基づくフォーマットで記録されている。
【０２２１】
さらに、上記基準外の階調変換曲線に対応する差信号は、公知の圧縮方法、例えばハフマン符号などの可逆圧縮を用いて圧縮された状態で記録されている。
【０２２２】
サムネイル読出部７３は、制御部８１の制御に基づいて、上記ヘッダ部に含まれる全てのサムネイル画像と、全ての輝度信号を識別するための識別情報と、を読み出して、出力部７９のモニタなどへ転送する。
【０２２３】
このとき出力部７９は、上記識別情報に基づいて、マイナス修正が行われた基準階調変換曲線に係るサムネイル画像から、プラス修正が行われた基準階調変換曲線に係るサムネイル画像までを、修正に用いた係数順に、配列してモニタに表示させるようにする。これにより、モニタには、例えば上述した実施例１の図４に示したものと同様にして、複数のサムネイル画像が表示される。
【０２２４】
このようなモニタの表示を見た使用者が、マウスやキーボードなどの外部Ｉ／Ｆ部８０を介して、上記サムネイル画像の１枚を選択する。
【０２２５】
制御部８１は、この外部Ｉ／Ｆ部８０における操作を検出して、選択されたサムネイル画像に関する情報を選択消去部７２へ転送する。
【０２２６】
選択消去部７２は、選択されたサムネイル画像が基準となる階調変換曲線に基づき得られた画像に対応するサムネイル画像である場合には、入力部７１から基準となる階調変換曲線に対応する圧縮された輝度信号および色差信号を読み込む。
【０２２７】
一方、選択消去部７２は、選択されたサムネイル画像が基準外の階調変換曲線に基づき得られた画像に対応するサムネイル画像である場合には、入力部７１から、基準となる階調変換曲線に対応する圧縮された輝度信号および色差信号と、選択されたサムネイル画像に対する可逆圧縮された差信号（輝度関連信号）と、を読み込む。
【０２２８】
こうして選択消去部７２により入力部７１から読み込まれた信号は、伸張部７４へ転送される。
【０２２９】
伸張部７４は、制御部８１の制御に基づいて、基準となる階調変換曲線に対応する輝度信号および色差信号に対しては、所定の伸張処理、本実施例ではＪＰＥＧ伸張処理を行って、伸張した信号を出力バッファ７５へ転送する。
【０２３０】
また、伸張部７４は、基準外の階調変換曲線に基づき得られたサムネイル画像が選択された場合には、上述したような基準となる階調変換曲線に係る輝度信号および色差信号に対するＪＰＥＧ伸張処理を行うのに加えて、さらに、可逆圧縮された差信号（輝度関連信号）に対する所定の伸張処理、本実施例ではハフマン符号に関する伸張処理も行って、伸張した差信号についても出力バッファ７５へ転送する。
【０２３１】
輝度算出部７６は、制御部８１の制御に基づいて、出力バッファ７５に記憶されている輝度信号が基準となる階調変換曲線に対応する輝度信号である場合にはそのままの輝度信号を正規の輝度信号として、また、該出力バッファ７５に記憶されている輝度信号が基準外の階調変換曲線に対応する差信号である場合には基準となる階調変換曲線に対応する輝度信号を加算することにより正規の輝度信号を算出して、Ｙ／Ｃ合成部７８へ転送する。
【０２３２】
一方、色差補正部７７は、制御部８１の制御に基づいて、出力バッファ７５に記憶されている色差信号を読み込み、該色差信号に対応して該出力バッファに記憶されている輝度信号が、基準となる階調変換曲線に対応するものである場合にはそのままの色差信号を、また、基準外の階調変換曲線に対応するものである場合には色差信号を補正してから、Ｙ／Ｃ合成部７８へ転送する。
【０２３３】
この色差補正部７７による色差信号の補正は、上述した実施例２において図９，図１０を参照して説明したものと同様にして、補正された色差信号Ｃｂtra，Ｃｒtraを求めるものである。ただし、この色差補正部７７の処理においては、基準となる階調変換曲線に対応する輝度信号がＹorg，基準となる階調変換曲線に対応する色差信号がＣｂorg，Ｃｒorgとなり、また、基準外の階調変換曲線に対応する輝度信号がＹtraとなる。
【０２３４】
Ｙ／Ｃ合成部７８は、輝度算出部７６からの輝度信号Ｙと、色差補正部７７からの色差信号Ｃｂ，Ｃｒと、に基づいて、原色系の映像信号Ｒ，Ｇ，Ｂを次の数式７に示すようにして合成する。 
［数７］
Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ＋１．７７２００Ｃｂ
【０２３５】
こうしてＹ／Ｃ合成部７８により合成された映像信号は、出力部７９へ転送されて、モニタへの表示等が行われる。
【０２３６】
また、選択されたサムネイル画像に係る画像以外の不要な情報を消去することにより、入力部７１に装着されたメモリカード等の記録媒体の記憶内容を整理することも可能となっている。
【０２３７】
このような消去処理は、制御部８１の制御に基づいて、選択消去部７２により行われる。
【０２３８】
すなわち、選択消去部７２は、制御部８１から、選択されたサムネイル画像に関する情報を取得する。そして、選択消去部７２は、選択されたサムネイル画像以外のサムネイル画像と、不要な輝度情報等と、輝度信号を識別する情報と、を消去する。
【０２３９】
ここに、不要な輝度情報等とは、輝度関連情報が差信号である場合には、基準階調変換曲線に対応する輝度情報と、選択されたサムネイル画像に対応する差信号と、を除く、それ以外の差信号のことである。従って、基準外の階調変換曲線に対応するサムネイル画像が選択されたときには、選択されていないサムネール画像に係る差信号が全て消去され、また、基準となる階調変換曲線に対応するサムネイル画像が選択されたときには、全ての差信号が消去されることになる。
【０２４０】
また、上述した実施例１において述べたように、輝度関連情報が輝度信号自体であるようなケースでは、基準外の階調変換曲線に対応するサムネイル画像が選択された場合には、基準となる階調変換曲線に対応する輝度信号も消去されることになる。
【０２４１】
これにより、不要な情報を記録媒体から消去することができるために、記録媒体の効率的な使用（省メモリ）が可能となる。
【０２４２】
また、上述ではハードウェアにより処理を行うことを前提としていたが、これに限らず、ソフトウェアによって処理することも可能である。
【０２４３】
図１２を参照して、コンピュータにおいて再生プログラムにより行われる処理について説明する。この処理は、例えば、モニタ等の表示装置を備えた一般的なパーソナルコンピュータで実行することが可能であるとともに、その他の表示機能および演算処理機能を備えたコンピュータにおいても広く実行することが可能である。
【０２４４】
処理を開始すると、まず、基準となる階調変換曲線に基づき得られかつ圧縮された輝度信号および色差信号と、ヘッダ部に記録されたサムネイル画像と、該ヘッダ部に記録された基準外となる階調変換曲線に基づき得られた可逆圧縮された輝度信号の差信号と、該ヘッダ部に記録された上記輝度信号を識別するための識別情報と、を含む各種の情報を読み込む（ステップＳ２１）。
【０２４５】
次に、読み込んだ情報から全てのサムネイル画像を抽出して（ステップＳ２２）、抽出したサムネイル画像をモニタに表示する（ステップＳ２３）。
【０２４６】
このモニタ表示を見た使用者が、マウスやキーボード等を用いてサムネイル画像の一つを選択すると（ステップＳ２４）、まず、基準となる階調変換曲線に基づき得られた圧縮されている輝度信号および色差信号を抽出し（ステップＳ２５）、抽出した輝度信号および色差信号を伸張処理する（ステップＳ２６）。
【０２４７】
続いて、上記ステップＳ２４において選択されたサムネイル画像が、基準外の階調変換曲線に対応するものであるか否かを判断する（ステップＳ２７）。
【０２４８】
ここで、基準外の階調変換曲線に対応するものであると判断された場合には、選択されたサムネイル画像に対応する可逆圧縮された差信号からなる輝度関連信号を抽出して（ステップＳ２８）、可逆圧縮された差信号を伸張して非圧縮の状態の差信号（差分輝度信号）を算出する（ステップＳ２９）。
【０２４９】
そして、このステップＳ２９で算出された差信号と、基準となる階調変換曲線に基づき得られた輝度信号と、を用いて、選択されたサムネイル画像に対応する輝度信号を算出する（ステップＳ３０）。
【０２５０】
次に、基準となる階調変換曲線に基づき得られた輝度信号と、選択されたサムネイル画像に対応する輝度信号と、を用いて、基準となる階調変換曲線に基づき得られた色差信号を、上述した実施例２において図９，図１０を参照して説明したものとほぼ同様にして、補正する（ステップＳ３１）。
【０２５１】
このステップＳ３１の処理が終了するか、または、上記ステップＳ２７において選択されたサムネイル画像が基準の階調変換曲線に対応するものであると判断された場合には、次のような処理を行う。
【０２５２】
まず、上記ステップＳ２４において選択されたサムネイル画像が基準の階調変換曲線に対応するものである場合には、上記ステップＳ２６において伸張された輝度信号と色差信号とを合成して映像信号を生成する。一方、上記ステップＳ２４において選択されたサムネイル画像が基準外の階調変換曲線に対応するものである場合には、上記ステップＳ３０において算出された輝度信号と上記ステップＳ３１において補正された色差信号とを合成して映像信号を生成する（ステップＳ３２）。
【０２５３】
その後、こうして生成された映像信号を出力して（ステップＳ３３）、この一連の処理を終了する。
【０２５４】
なお、上述では、まず全てのサムネイル画像をモニタ等に表示して、該モニタ表示を見た使用者によりサムネイル画像の選択が行われた後に選択されたサムネイル画像に係る画像の再生処理を行うようにしているが、このような処理に限るものではない。例えば、選択等の操作を行わなくても、まず、基準となる階調変換曲線に対応する映像信号を制御部８１が優先的に標準条件に設定し、自動的に再生処理するようにしても良い。これにより、処理が自動化されるために、確認作業を効率的に行うことが可能となる。
【０２５５】
このような実施例３によれば、例えば上記実施例１に示したような画像ファイルが記録された記録媒体からデータを読み出して、複数の階調変換特性に対する輝度信号の何れかを選択して、選択された輝度信号と色差信号とを伸張して映像信号を生成し、再生することができる。
【０２５６】
このとき、色差信号は共通であって、輝度信号のみを切り換えて再生処理を行えば良いために、複数の階調変換特性に対する処理結果を、容易かつ高速に再生することが可能である。
【０２５７】
また、表示されたサムネイル画像を見ながら輝度信号を選択することができるようにしたために、異なる階調変換曲線による処理結果を視覚を介して観察しながら容易に選択することができ、操作性の優れた再生システムを構築することが可能となる。
【０２５８】
さらに、基準外の階調変換曲線に対応する輝度信号が選択された場合には、色差信号を補正して用いるようにしたために、自然な色再現の高品位な映像信号を得ることができる。
【０２５９】
なお、上述した各実施例においては、撮像システム、撮像プログラム、再生システム、再生プログラムについて述べたが、撮像システムや撮像プログラムによる処理を適用した撮像方法、あるいは再生システムや再生プログラムによる処理を適用した再生方法であっても構わない。
【０２６０】
さらに、上述したような撮像システムと再生システムとを組み合わせて、撮像再生システムを構成するようにしても構わないし、あるいは、上述したような撮像プログラムと再生プログラムとを組み合わせて、撮像再生プログラムを構成するようにしても良いし、上述したような撮像方法と再生方法とを組み合わせて、撮像再生方法とすることも可能である。
【０２６１】
例えば、撮像再生システムの場合には、上述した実施例１の撮像システムにより画像データを取得して、上述した実施例３の再生システムにより再生するような撮像再生システムを構成する例が考えられる。あるいは、ほぼ同様にして、上述した実施例２の撮像システムにより画像データを取得して、該画像データを再生するような再生システムにより再生する組み合わせにより、撮像再生システムを構成することも可能である。
【０２６２】
同様に、上述した実施例１の撮像プログラムにより画像データを取得して、上述した実施例３の再生プログラムにより再生するような撮像再生プログラムを構成することも可能であるし、実施例２および実施例３にほぼ対応する撮像再生プログラムや、あるいは撮像再生方法についても可能である。
【０２６３】
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０２６４】
本発明は、複数の階調変換特性に係る映像信号を撮像、再生、処理などする際に、広く適用することが可能である。
【図面の簡単な説明】
【０２６５】
【図１】本発明の実施例１における撮像システムの構成を示すブロック図。
【図２】上記実施例１における複数の階調変換曲線を示す線図。
【図３】上記実施例１において、異なる階調変換曲線により生成された画像データに基づき出力ファイルを生成する手順を示す図。
【図４】上記実施例１における外部Ｉ／Ｆ部の一構成例を示す図。
【図５】上記実施例１のコンピュータにおいて撮像プログラムにより行われる処理を示すフローチャート。
【図６】本発明の実施例２における撮像システムの構成を示すブロック図。
【図７】上記実施例２における制限設定部の構成を示すブロック図。
【図８】上記実施例２の制限設定部により階調変換曲線が修正される様子を示す線図。
【図９】上記実施例２において、ＹＣｂＣｒ色空間における彩度信号の補正を説明するための図。
【図１０】上記実施例２における色差補正部の構成を示すブロック図。
【図１１】本発明の実施例３における再生システムの構成を示すブロック図。
【図１２】上記実施例３のコンピュータにおいて再生プログラムにより行われる処理を示すフローチャート。
【符号の説明】
【０２６６】
１…レンズ系
２…絞り
３…ローパスフィルタ
４…ＣＣＤ（撮像素子）
５…Ａ／Ｄ変換器
６…第１画像用バッファ
７…第２画像用バッファ
８…測光評価部
９…合焦点検出部
１０…ＡＦモータ
１１…補間部
１２…合成部（合成手段）
１３…作業用バッファ
１４…基準曲線ＲＯＭ（記録手段）
１５…撮影状況推定部（推定手段）
１６…変換曲線算出部（階調変換曲線算出手段）
１７…階調変換部（階調変換手段）
１８…Ｙ／Ｃ分離部（分離手段）
１９…出力バッファ
２０…輝度差分算出部（輝度差分算出手段）
２１…圧縮部（圧縮手段）
２２…出力部（出力手段）
２３…サムネイル作成部（サムネイル生成手段）
２４…外部Ｉ／Ｆ部
２５…制御部（ヘッダ情報生成手段、消去手段、出力制御手段）
３１…液晶パネル（表示手段）
３２…液晶オン／オフスイッチ
３３…数字キー
３４…選択キー（サムネイル選択手段）
３５…確定スイッチ（サムネイル選択手段）
４１…画像用バッファ
４２…エッジ抽出部（特徴量算出手段）
４３…ヒストグラム作成部（ヒストグラム作成手段）
４４…制限設定部（制限手段）
４５…色差補正部（色差補正手段）
５１…距離算出部
５２…距離補正部
６１…最大彩度算出部
６２…関数記録用ＲＯＭ
６３…色相彩度算出部
６４…比率算出部
６５…乗算部
６６…色差算出部
７１…入力部
７２…選択消去部（消去手段、輝度信号選択手段）
７３…サムネイル読出部（読出手段）
７４…伸張部（伸張手段）
７５…出力バッファ
７６…輝度算出部（輝度算出手段）
７７…色差補正部（色差補正手段）
７８…Ｙ／Ｃ合成部（合成手段）
７９…出力部（表示手段）
８０…外部Ｉ／Ｆ部（サムネイル選択手段）
８１…制御部（優先手段）
代理人    弁理士      伊    藤      進
【図１】
2005191711.tif 000003
【図２】
2005191711.tif 000004
【図３】
2005191711.tif 000005
【図４】
2005191711.tif 000006
【図５】
2005191711.tif 000007
【図６】
2005191711.tif 000008
【図７】
2005191711.tif 000009
【図８】
2005191711.tif 000010
【図９】
2005191711.tif 000011
【図１０】
2005191711.tif 000012
【図１１】
2005191711.tif 000013
【図１２】
2005191711.tif 000014