(57)【特許請求の範囲】
【請求項１】
画像データを記録する画像記録装置において、
第１階調変換特性により、前記画像データをＮビットレンジの第１情報に変換する第１変換手段と、
前記第１階調変換特性よりも階調圧縮の少ないまたは階調圧縮をしない第２階調変換特性により、前記画像データをＭビットレンジ（Ｍ＞Ｎ）の第２情報に変換する第２変換手段と、
前記第１情報と前記第２情報との相関関係を規定する情報を算出して第３情報とする相関算出手段と、
前記第１情報と前記第３情報とをファイル内に記録する記録手段とを備え、
前記第１階調変換特性と前記第２階調変換特性とは、少なくとも一部の階調範囲において特性が一致する
ことを特徴とする画像記録装置。
【請求項２】
請求項１に記載の画像記録装置において、
前記相関算出手段は、前記第２情報と前記第１情報との差異に関する情報を算出して、第３情報とする
ことを特徴とする画像記録装置。
【請求項３】
請求項１または請求項２に記載の画像記録装置において、
前記記録手段は、ファイル内において優先的に参照される画像格納領域に、前記第１情報を記録する
ことを特徴とする画像記録装置。
【請求項４】
請求項３に記載の画像記録装置において、
前記記録手段は、ファイル内のアプリケーションセグメントに、前記第３情報を記録する
ことを特徴とする画像記録装置。
【請求項５】
画像データを記録する画像記録装置において、
第１階調変換特性により、前記画像データをＮビットレンジの第１情報に変換する第１変換手段と、
前記第１階調変換特性よりも階調圧縮の少ないまたは階調圧縮をしない第２階調変換特性により、前記画像データをＭビットレンジ（Ｍ＞Ｎ）の第２情報に変換する第２変換手段と、
前記第１情報と前記第２情報との相関関係を規定する情報を算出して第３情報とする相関算出手段と、
前記第１情報と前記第３情報とをファイル内に記録する記録手段とを備え、
前記記録手段は、前記第１情報を非可逆圧縮して記録する手段であり、
前記相関算出手段は、非可逆圧縮された第１情報を一旦伸長し、伸長後の第１情報と前記第２情報との相関関係を規定する情報を算出して、第３情報とする
ことを特徴とする画像記録装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の画像記録装置において、
前記記録手段は、前記第３情報を非線形量子化によりデータ圧縮してファイル内に記録する
ことを特徴とする画像記録装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の画像記録装置において、
前記記録手段は、前記第３情報を画面上での標本化刻みを粗くすることによりデータ圧縮してファイル内に記録する
ことを特徴とする画像記録装置。
【請求項８】
請求項１ないし請求項７のいずれか１項に記載の画像記録装置において、
前記記録手段は、前記第３情報を、非相関領域の形状に関するマップ情報と、その非相関領域の値に関する情報とに分けてファイル内に記録する
ことを特徴とする画像記録装置。
【請求項９】
請求項１ないし請求項７のいずれか１項に記載の画像記録装置において、
前記記録手段は、非対応箇所の第３情報をファイル内に記録する
ことを特徴とする画像記録装置。
【請求項１０】
請求項１ないし請求項９のいずれか１項に記載の画像記録装置において、
前記記録手段は、ファイル内に記録する前記第３情報をランレングス符号化および／またはエントロピー符号化および／または予測符号化によりデータ圧縮する
ことを特徴とする画像記録装置。
【請求項１１】
請求項１ないし請求項１０のいずれか１項に記載の画像記録装置において、
前記第２変換手段は、画像データの特徴に対応して、前記第２階調変換特性を変更する
ことを特徴とする画像記録装置。
【請求項１２】
請求項１ないし請求項１１のいずれか１項に記載の画像記録装置によって記録されたファイルから第１情報および第３情報を読み出す読み出し手段と、
前記第１情報および前記第３情報に基づいて、第２情報を再現する第２情報算出手段と
を備えたことを特徴とする画像再生装置。
【請求項１３】
請求項１２に記載の画像再生装置において、
前記読み出し手段は、請求項９に記載の画像記録装置によって記録されたファイルから第１情報および第３情報を読み出す手段であり、
前記第２情報算出手段は、前記第１情報の画素値に基づいて非対応箇所の判別を行い、その非対応箇所に第３情報を配置して第１情報と第３情報との位置合わせを行い、前記第１情報および第１情報と画素位置の対応のとれた第３情報に基づいて、第２情報を再現する手段である
ことを特徴とする画像再生装置。
【請求項１４】
請求項１２または請求項１３に記載の画像再生装置において、
前記第２情報算出手段は、前記第２情報を外部装置で階調再現可能な輝度領域に階調圧縮して出力する
ことを特徴とする画像再生装置。
【請求項１５】
コンピュータを、請求項１ないし請求項１１のいずれか１項に記載の前記第１変換手段、前記第２変換手段、前記相関算出手段および前記記録手段として機能させるための画像処理プログラムを記録した機械読み取り可能な記録媒体。
【請求項１６】
コンピュータを、請求項１２ないし請求項１４のいずれか１項に記載の前記読み出し手段および前記第２情報算出手段として機能させるための画像処理プログラムを記録した機械読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高階調の画像データを記録再生する、画像記録装置、画像再生装置、および画像処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
通常、画像記録装置では、８ビット階調に処理された画像データを圧縮し、汎用の圧縮画像ファイルとして記録するものが多い。
また最近では、電子スチルカメラなどの画像記録装置において、ＲＡＷデータ（撮像素子出力をデジタル化したのみの生データ）の記録モードを選択できるものも知られている。
【０００３】
前者の汎用圧縮画像ファイルは、汎用の画像閲覧プログラムなどで伸長処理して、気軽に印刷・表示できるという長所がある。
一方、後者のＲＡＷデータは、撮像素子の出力信号に忠実で、微細な階調成分を含んだ画像データである。そのため、この種のＲＡＷデータは、デザイン・印刷用途などの複雑なデータ加工に強く、微妙な階調成分が失われにくいという長所を有する。
【０００４】
【発明が解決しようとする課題】
ところで、上述した８ビット階調程度の汎用圧縮画像ファイルでは、階調再現域が比較的狭く、被写体の高輝度側を高々１４０％白程度までしか再現できない。そのため、高輝度側／低輝度側の階調成分が十分かつ豊かに再現できないという問題点があった。そのため、汎用圧縮画像ファイルについては、２００％白、できれば４００％白までの階調再現域を望む声が強い。
また、汎用圧縮画像ファイルは、階調数が８ビット階調程度と比較的粗いため、輝度調整などの画像処理などを経ることにより、階調の非連続性（いわゆる階調のとび）が目立ってしまうという問題点があった。
【０００５】
一方、上述したＲＡＷデータは、量子化ビット数が多いため、微細な中間階調成分を十分かつ豊かに再現することができる。しかしながら、ＲＡＷデータは、電子スチルカメラなどのハードウェア固有の階調特性やデータ形式を有するため、プリンタやモニタなどの汎用の外部装置側では標準対応ができない。そのため、ＲＡＷデータについては、専用の画像処理が必須となり、汎用の外部装置で気軽に印刷・表示できないという問題点があった。
また、ＲＡＷデータのように量子化ビット数の多い画像データは、微細な中間階調成分を豊かに含むため、空間的な冗長性が８ビット階調画像に比べて極端に少ない。そのため、空間冗長性を排除する従来の画像圧縮方式のみでは、十分な圧縮効率が得られないという問題点があった。
【０００６】
そこで、本発明では、階調再現域の広い多階調画像を効率的に記録することを可能とした画像記録装置を提供することを目的とする。
また、本発明では、上記の画像記録装置で記録された多階調画像を再生する画像再生装置を提供することを目的とする。
さらに、本発明では、コンピュータを上記の画像記録装置または画像再生装置として機能させるための画像処理プログラムを記録した記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
《請求項１》
請求項１に記載の発明は、画像データを記録する画像記録装置において、第１階調変換特性により、画像データをＮビットレンジの第１情報に変換する第１変換手段と、第１階調変換特性よりも階調圧縮の少ないまたは階調圧縮をしない第２階調変換特性により、画像データをＭビットレンジ（Ｍ＞Ｎ）の第２情報に変換する第２変換手段と、第１情報と第２情報との相関関係を規定する情報を算出して第３情報とする相関算出手段と、第１情報と第３情報とをファイル内に記録する記録手段とを備え、第１階調変換特性と第２階調変換特性とは、少なくとも一部の階調範囲において特性が一致することを特徴とする。
【０００８】
上記構成では、まず、同一の画像データから、階調圧縮の強いＮビットレンジの第１情報と、階調圧縮の少ないＭビットレンジ（Ｍ＞Ｎ）の第２情報を生成する。このとき、第２情報は、第１情報よりも階調再現域が広く、かつ多階調の画像情報となる。
次に、相関算出手段は、これら両情報間の相関関係を規定する情報を算出して第３情報とする。通常、第１情報と第２情報とは、同一の画像データを元にしているため、階調変化の類似性は非常に高い。したがって、相関算出の作業によって、両情報間の冗長な類似性が適切に区別され、かつ有意な変化分（第１情報から失われてしまった第２情報中の階調情報）を確実に含んだ第３情報を得ることが可能となる。
記録手段は、このように得た第１情報および第３情報を記録する。この場合、第１情報および第２情報を独立して記録するケースに比べて、両情報間の冗長な類似性が予め区別されているので、記録容量を適切に少なくすることが可能となる。
また、上記構成のように、２つの階調変換特性の特性を部分的に一致させることにより、第１情報と第２情報との間の類似性を一段と高めることができる。したがって、相関算出により第３情報を作成する過程で、画像ファイルの記録容量をより確実に低減することが可能となる。
【０００９】
《請求項２》
請求項２に記載の発明は、請求項１に記載の画像記録装置において、相関算出手段は、第２情報と第１情報との差異に関する情報を算出して、第３情報とすることを特徴とする。
【００１０】
《請求項３》
請求項３に記載の発明は、請求項１または請求項２に記載の画像記録装置において、記録手段は、ファイル内において優先的に参照される画像格納領域に、第１情報を記録することを特徴とする。
上記構成では、第１情報が、ファイル内で優先的に参照される画像格納領域に記録される。そのため、汎用の画像閲覧プログラムなどでは、従来の画像ファイルと同様に第１情報を読み出し、気軽に印刷・表示することが可能となる。
【００１１】
《請求項４》
請求項４に記載の発明は、請求項３に記載の画像記録装置において、記録手段は、ファイル内のアプリケーションセグメント（画像ファイルに任意に付加可能な単数または複数のデータ領域）に、第３情報を記録することを特徴とする。
【００１４】
《請求項５》
請求項５に記載の発明は、画像データを記録する画像記録装置において、第１階調変換特性により、画像データをＮビットレンジの第１情報に変換する第１変換手段と、第１階調変換特性よりも階調圧縮の少ないまたは階調圧縮をしない第２階調変換特性により、画像データをＭビットレンジ（Ｍ＞Ｎ）の第２情報に変換する第２変換手段と、第１情報と第２情報との相関関係を規定する情報を算出して第３情報とする相関算出手段と、第１情報と第３情報とをファイル内に記録する記録手段とを備え、記録手段は、第１情報を非可逆圧縮して記録する手段であり、相関算出手段は、非可逆圧縮された第１情報を一旦伸長し、『第２情報』と『伸長後の第１情報』との相関関係を規定する情報を算出して、第３情報とすることを特徴とする。
【００１５】
通常、第１情報を非可逆圧縮した場合、圧縮伸長の課程で第１情報にわずかな変化が生じる。この場合、第２情報を再現する際の基準（第１情報）がずれてしまうため、第２情報を完全に再現することはできなくなる。
そこで、上記構成では、記録用に非可逆圧縮された第１情報を一旦伸長することにより、再生時と同様の『伸長後の第１情報』を作成する。相関算出手段は、この『伸長後の第１情報』と『第２情報』とから第３情報を算出する。
このような第３情報により、画像再生装置側では『第２情報』をより正確に再現することが可能となる。
【００１７】
《請求項６》
請求項６に記載の発明は、請求項１ないし請求項５のいずれか１項に記載の画像記録装置において、記録手段は、第３情報を非線形量子化によりデータ圧縮してファイル内に記録することを特徴とする。
【００１８】
通常、第３情報には、主として、高輝度側の階調成分または低輝度側の階調成分などの情報が含まれる。人間は、これらの階調成分中の微細な階調差に対して、視覚的な感度が一般に低い。したがって、第３情報を非線形量子化することにより、視覚的に目立たない範囲で、効率的に第３情報をデータ圧縮することが可能となる。
【００１９】
《請求項７》
請求項７に記載の発明は、請求項１ないし請求項６のいずれか１項に記載の画像記録装置において、記録手段は、第３情報を画面上での標本化刻みを粗くすることによりデータ圧縮してファイル内に記録することを特徴とする。
【００２０】
通常、第３情報には、主として、高輝度側（または低輝度側）の階調成分などの情報が含まれる。人間は、このような高輝度側（低輝度側）の階調成分中の高域空間周波数成分に対して、視覚的な感度が一般に低い。したがって、第３情報を間引いて標本化刻みを粗くすることにより、視覚的に目立たない範囲で、効率的に第３情報をデータ圧縮することが可能となる。
なお、上記構成は、間引き処理に限るものではない。例えば、第３情報中の高域空間周波数成分を削減するなどして、標本化刻みを実質的に粗くしてもよい。
【００２１】
《請求項８》
請求項８に記載の発明は、請求項１ないし請求項７のいずれか１項に記載の画像記録装置において、記録手段は、第３情報を、非相関領域（第１情報と第２情報とに実質的な差異が生じた画像領域）の形状に関するマップ情報と、その非相関領域の値に関する情報とに分けてファイル内に記録することを特徴とする。
【００２２】
このように記録することにより、第１情報と第２情報との類似した画像領域の情報を第３情報から排除し、第３情報を効率的にデータ圧縮することが可能となる。
また、画像再生装置側では、このマップ情報に基づいて、値に関する情報を再配置することにより、第２情報を容易に再現することが可能となる。
【００２３】
《請求項９》
請求項９に記載の発明は、請求項１ないし請求項７のいずれか１項に記載の画像記録装置において、記録手段は、非対応箇所（第１情報から第２情報を直に算出不可能な画像上の箇所）の第３情報をファイル内に記録することを特徴とする。
【００２４】
例えば、第１階調変換特性と第２階調変換特性との特性が一致している箇所については、第１情報と第２情報とがほぼ一対一に対応する。このように第１情報と第２情報との相関が極めて強い箇所については、第３情報を使うことなく、第１情報から第２情報をある程度まで算出することが可能である。
そこで、上記構成では、非対応箇所（第１情報から第２情報を直に算出不可能な画像上の箇所）の第３情報に限定して記録することにより、第３情報のデータ量を効率的に低減する。
【００２５】
なお、請求項１３に記載の再生方式では、再生時の第１情報に基づいて非対応箇所の判別を実行し、記録されていた第３情報を画面上に再配置する。そこで、上記構成においては、画像再生装置側の非対応箇所の判別と一致するように、画像記録装置側の非対応箇所を決定しておくことが好ましい。そのような一例としては、画像記録装置側で第１情報を一旦伸長し、その伸長後の第１情報から第２情報が直に算出不可能か否かを判定して、非対応箇所を決定すればよい。
【００２６】
《請求項１０》
請求項１０に記載の発明は、請求項１ないし請求項９のいずれか１項に記載の画像記録装置において、記録手段は、ファイル内に記録する第３情報をランレングス符号化および／またはエントロピー符号化および／または予測符号化によりデータ圧縮することを特徴とする。
【００２７】
同一画像データに基づく第１情報と第２情報との相関を算出して、第３情報としているため、第３情報内には無効データや同一データが連続して出現する可能性が高い。このような第３情報については、ランレングス符号化を行うことにより、効率的にデータ圧縮を行うことができる。
また、同一画像データに基づく第１情報と第２情報との相関を算出して、第３情報としているため、第３情報内には無効データや同一データが高頻度に出現する可能性が高い。このような第３情報については、エントロピー符号化を行うことにより、効率的にデータ圧縮を行うことができる。
【００２８】
また、空間的相関性の元々高い画像データから第３情報を求めているため、第３情報も空間的相関性の高いデータ配列となる可能性が高い。このような第３情報については、予測符号化を行うことにより、効率的にデータ圧縮を行うことができる。
また、これらの予測符号化・ランレングス符号化・エントロピー符号化を適宜組み合わせて多重に実行することにより、第３情報を一層効率的にデータ圧縮することが可能となる。
【００２９】
《請求項１１》
請求項１１に記載の発明は、請求項１ないし請求項１０のいずれか１項に記載の画像記録装置において、第２変換手段は、画像データの特徴に対応して、第２階調変換特性を変更することを特徴とする。
【００３０】
一般に、撮像される画像データは、被写体や撮影条件や照明条件に応じて、下例に挙げたような多種多様な特徴を示す。
・高輝度側の階調成分を多数含んでいるもの
・低輝度側の階調成分を多数含んでいるもの
・中間輝度域の階調成分を多数含んでいるもの
・低〜高輝度側の広い輝度域にわたって階調成分が存在するもの
上記構成では、このような階調域の広さや階調域の偏りといった画像データの特徴を判別し、その階調域の特徴に合わせて第２階調変換特性を変更する。したがって、画像データの特徴を第２情報に忠実に反映することが可能となる。
なお、このような第２情報を、後から忠実に再生するためには、使用した第２階調変換特性を特定するための情報を、第１情報および第３情報と合わせて記録しておくことが好ましい。
【００３１】
《請求項１２》
請求項１２に記載の画像再生装置は、請求項１ないし請求項１１のいずれか１項に記載の画像記録装置によって記録されたファイルから第１情報および第３情報を読み出す読み出し手段と、第１情報および第３情報に基づいて、第２情報を再現する第２情報算出手段とを備えたことを特徴とする。
【００３２】
上記構成により読み出される第３情報には、第１情報と第２情報との相関関係を規定する情報が存在する。したがって、この第３情報と第１情報とに基づいて、第２情報（あるいは、第２情報に近似して、階調再現域が広くて多階調な画像）を再現することが可能となる。
【００３３】
《請求項１３》
請求項１３に記載の発明は、請求項１２に記載の画像再生装置において、読み出し手段は、請求項９に記載の画像記録装置によって記録されたファイルから第１情報および第３情報を読み出す手段であり、第２情報算出手段は、第１情報の画素値に基づいて非対応箇所の判別を行い、その非対応箇所に第３情報を配置して第１情報と第３情報との位置合わせを行い、第１情報および『第１情報と画素位置の対応のとれた第３情報』に基づいて、第２情報を再現する手段であることを特徴とする。
【００３４】
《請求項１４》
請求項１４に記載の発明は、請求項１２または請求項１３に記載の画像再生装置において、第２情報算出手段は、第２情報を外部装置で階調再現可能な輝度領域に階調圧縮して出力することを特徴とする。
【００３５】
第２情報の使用用途の一つとして、印刷・デザインなどのデータ加工用途が想定される。このようなデータ加工用途には、再生された第２情報をＭビット階調のまま忠実に出力することが好ましい。
【００３６】
一方、第２情報の別用途としては、第２情報の広い階調再現域や豊かな階調変化を、外部装置（表示装置や印刷装置など）で簡易に楽しむ用途である。しかしながら、これらの外部装置は、Ｍビット階調の輝度領域に標準対応していない。そこで、画像再生装置側において、第２情報を外部装置で階調再現可能な輝度領域に階調圧縮して出力する。このような階調圧縮を行うことにより、第２情報の有する高画質の特徴を、外部装置で簡易に楽しむことが可能となる。
【００３７】
《請求項１５》
請求項１５に記載の記録媒体には、コンピュータを、請求項１ないし請求項１１のいずれか１項に記載の前記第１変換手段、前記第２変換手段、前記相関算出手段および前記記録手段として機能させるための画像処理プログラムを記録する。
【００３８】
《請求項１６》
請求項１６に記載の記録媒体には、コンピュータを、請求項１２ないし請求項１４のいずれか１項に記載の前記読み出し手段および前記第２情報算出手段として機能させるための画像処理プログラムを記録する。
【００３９】
【発明の実施の形態】
以下、図面に基づいて本発明における実施の形態を説明する。
【００４０】
《第１の実施形態》
第１の実施形態は、請求項１，２，７，１０，１１，１２，１４に対応する電子スチルカメラの実施形態である。
図１は、本実施形態における電子スチルカメラ１１の構成を示すブロック図である。
【００４１】
図１において、電子スチルカメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。この撮像素子１３で撮像された画像データは、信号処理部１４およびＡ／Ｄ変換部１５を介して、バッファメモリ１６に一時記録される。このバッファメモリ１６の入出力端子は、データバス１７に接続される。このデータバス１７には、その他にＣＰＵ１８、フレームメモリ１９、メモリカード２０、画像出力インターフェース２１などが接続される。フレームメモリ１９の出力端子は、モニタ２２に接続される。
【００４２】
［各請求項の記載事項と第１の実施形態との対応関係］
以下、請求項の記載事項と第１の実施形態との対応関係について説明する。
請求項１，２，７，１０，１１の各記載事項と第１の実施形態との対応関係については、第１情報は８ビット階調情報に対応し、第２情報は１２ビット階調情報に対応し、第３情報は差分情報に対応し、第１変換手段はＣＰＵ１８の『画像データを８ビット階調情報に変換する機能』に対応し、第２変換手段はＣＰＵ１８の『画像データの特徴に応じて選択した階調変換特性により、画像データを１２ビット階調情報に変換する機能』に対応し、相関算出手段はＣＰＵ１８の『１２ビット階調情報と８ビット階調情報との差分情報を求める機能』に対応し、記録手段はＣＰＵ１８の『８ビット階調情報および差分情報をデータ圧縮してメモリカード２０に記録する機能』に対応する。
請求項１２，１４の記載事項と第１の実施形態との対応関係については、読み出し手段はＣＰＵ１８の『メモリカード２０から８ビット階調情報および差分情報を読み出す機能』に対応し、第２情報算出手段はＣＰＵ１８の『８ビット階調情報および差分情報から１２ビット階調情報を再現し、簡易階調変換して出力する機能』に対応する。
【００４３】
［画像記録の動作説明］
図２は、第１の実施形態における画像記録の動作を説明する流れ図である。
以下、図２に示すステップ番号に沿って、第１の実施形態における画像記録動作を説明する。
ステップＳ１：  撮像素子１３で撮像された画像信号は、信号処理部１４を介して、Ａ／Ｄ変換部１５に与えられる。
Ａ／Ｄ変換部１５は、この画像信号を０〜４００％白までの階調域で直線量子化し、１４ビット階調情報に変換する。Ａ／Ｄ変換部１５は、この１４ビット階調情報をバッファメモリ１６に一時記録する。
ステップＳ２：  ＣＰＵ１８は、この１４ビット階調情報に対して、図４に示すγ１の階調変換を施し、８ビット階調情報を得る。ＣＰＵ１８は、この８ビット階調情報をバッファメモリ１６に一時記録する。
ステップＳ３：  ＣＰＵ１８は、この１４ビット階調情報について、『画面周辺の背景輝度』と『画面中央の主要被写体輝度』との輝度差が閾値以上か否かを判定する。ここで輝度差が閾値以上である場合、ＣＰＵ１８は、高輝度側の階調成分が存在するので、高輝度側の階調再現を重視すべきと判断して、ステップＳ４に動作を移行する。一方、輝度差が閾値に達しない場合、ＣＰＵ１８は、階調域はさほど広くないので、低輝度側の微妙な階調再現を重視すべきと判断して、ステップＳ５に動作を移行する。
ステップＳ４：  ＣＰＵ１８は、１４ビット階調情報に対して、図４に示すγ２の階調変換（高輝度側の階調再現を重視した特性）を施し、１２ビット階調情報を得る。ＣＰＵ１８は、この１２ビット階調情報をバッファメモリ１６に一時記録する。その後、ＣＰＵ１８は、ステップＳ６に動作を移行する。
ステップＳ５：  ＣＰＵ１８は、１４ビット階調情報に対して、図４に示すγ３の階調変換（低輝度側の階調再現を重視した特性）を施し、１２ビット階調情報を得る。ＣＰＵ１８は、この１２ビット階調情報をバッファメモリ１６に一時記録する。その後、ＣＰＵ１８は、ステップＳ６に動作を移行する。
ステップＳ６：  ＣＰＵ１８は、１２ビット階調情報と８ビット階調情報との差分を求めて、差分情報とする。このように算出した差分情報はバッファメモリ１６に一時記録される。
なお、γ３の階調変換特性を使用して１２ビット階調情報を生成した場合には、８ビット階調情報との間に２ビット分のオフセットが生じている。このような場合は、８ビット階調情報を４倍（ビットシフト）して、階調情報間のオフセットを除去した後に、差分情報を求める。
ステップＳ７：  ＣＰＵ１８は、８ビット階調情報に基づいて極端に高輝度な画像領域を求める。このように極端に高輝度な画像領域については、視覚感度が低いので、微細に画像を再現する必要がない。そこで、ＣＰＵ１８は、このような視覚感度の低い画像領域について、差分情報の標本数を１／２または１／４程度に間引く。なお、８ビット階調情報に非可逆圧縮を実行する場合、再生時の画像領域の判定と合わせるために、ＣＰＵ１８は、一旦伸長した８ビット階調情報に基づいて画像領域の判定を行うことが好ましい。
ステップＳ８：  ＣＰＵ１８は、予測符号化（例えばＤＰＣＭ）を実行し、差分情報をデータ圧縮する。
続いて、ＣＰＵ１８は、ランレングス符号化を実行し、差分情報を更にデータ圧縮する。
更に続いて、ＣＰＵ１８は、エントロピー符号化を実行し、差分情報を一段とデータ圧縮する。
ステップＳ９：  ＣＰＵ１８は、次のデータを１ファイルにまとめて、メモリカード２０に記録する。
・８ビット階調情報の圧縮データ
・差分情報の圧縮データ
・γ情報（１２ビット階調変換時に使用した階調変換特性の種類を示す情報）
以上のような動作により、電子スチルカメラ１１の記録動作が完了する。
【００４４】
［画像再生の動作説明］
図３は、第１の実施形態における画像再生の動作を説明する流れ図である。
以下、図３に示すステップ番号に沿って、第１の実施形態における画像再生動作を説明する。
ステップＳ１１：  ＣＰＵ１８は、メモリカード２０内の画像ファイルから８ビット階調情報を再生する。
ステップＳ１２：  次に、ＣＰＵ１８は、メモリカード２０内の画像ファイルに差分情報が存在するか否かを判定する。ここで差分情報が画像ファイル内に存在する場合、ＣＰＵ１８はステップＳ１３に動作を移行する。一方、差分情報が画像ファイル内に存在しない場合、ＣＰＵ１８は、従来の画像ファイルであると判断して再生動作を完了する。
ステップＳ１３：  ＣＰＵ１８は、メモリカード２０内の画像ファイルから、差分情報とγ情報を抽出する。さらに、ＣＰＵ１８は、この差分情報に関して、エントロピー符号化・ランレングス符号化・予測符号化のデータ伸長を順番に実行する。
ステップＳ１４：  ＣＰＵ１８は、８ビット階調情報に基づいて、視覚感度の低い画像領域を判断する。ＣＰＵ１８は、この画像領域について、記録時に間引いた差分情報を、周囲の差分情報などから推定する。
ステップＳ１５：  ＣＰＵ１８は、８ビット階調情報に差分情報を加算して、１２ビット階調情報を再現する。
なお、γ情報によって記録時にγ３の階調変換特性が使用されていたと判断される場合、ＣＰＵ１８は、８ビット階調情報を４倍（ビットシフト）したものに差分情報を加算して、１２ビット階調情報を再現する。
ステップＳ１６：  ＣＰＵ１８は、このように生成した１２ビット階調情報を、γ情報などと共に、画像出力インターフェース２１を介して外部出力する。また、ＣＰＵ１８は、この１２ビット階調情報に、モニタ表示用や外部機器での印刷用の簡易階調変換（例えば、図８に示すγ４′）を施して、８ビット階調に変換して出力する。
以上の動作により、電子スチルカメラ１１の再生動作が完了する。
【００４５】
［第１の実施形態の効果など］
以上説明した動作により、第１の実施形態では、１２ビット階調情報をそのまま記録せずに、８ビット階調情報との差分情報として記録する。したがって、１２ビット階調情報を別に圧縮記録する場合に比べて、記録容量を適切かつ容易に低減することが可能となる。
【００４６】
また、第１の実施形態では、２つの階調変換特性（図４に示すγ１およびγ２、並びにγ１およびγ３）を中間階調域で一致させている。そのため、８ビット階調情報と１２ビット階調情報とは、主要な中間階調域でほぼ一対一に対応するようになる。このように、８ビット階調情報と１２ビット階調情報との相関を強くすることにより、差分情報の圧縮効率を一段と高めることが可能となる。
【００４７】
さらに、第１の実施形態では、視覚感度の低い画像領域（高輝度領域や低輝度領域）について、差分情報を間引いて記録する。このような処理により、視覚的に目立たない範囲で差分情報を効率的にデータ圧縮することが可能となる。
また、第１の実施形態では、差分情報に対して、予測符号化・ランレングス符号化・エントロピー符号化を施すことにより、差分情報を効率的にデータ圧縮することが可能となる。
【００４８】
さらに、第１の実施形態では、画像データの特徴に適応して第２階調変換特性を変更するので、より階調豊かな１２ビット階調情報を生成することができる。また、第１の実施形態では、記録された８ビット階調情報および差分情報に基づいて、階調豊かな１２ビット階調情報を適宜に再生することが可能となる。
【００４９】
さらに、第１の実施形態では、このように再生された１２ビット階調情報を簡易階調変換して出力するので、階調豊かな１２ビット階調情報を外部装置で簡易に楽しむことが可能となる。
【００５０】
次に、別の実施形態について説明する。
《第２の実施形態》
第２の実施形態は、請求項１〜６，９，１０，１２〜１４に記載の発明に対応した電子スチルカメラの実施形態である。
なお、第２の実施形態における電子スチルカメラの構成は、第１の実施形態（図１）と同様である。そのため、図１に示す各構成の参照符号をそのまま使用して、第２の実施形態の構成説明を省略する。
【００５１】
［各請求項の記載事項と第１の実施形態との対応関係］
以下、各請求項の記載事項と第２の実施形態との対応関係について説明する。
請求項１〜６，９，１０の各記載事項と第２の実施形態との対応関係については、第１情報は８ビット階調情報に対応し、第２情報は１２ビット階調情報に対応し、第３情報は差分情報に対応し、第１変換手段はＣＰＵ１８の『画像データを８ビット階調情報に変換する機能』に対応し、第２変換手段はＣＰＵ１８の『画像データを１２ビット階調情報に変換する機能』に対応し、相関算出手段はＣＰＵ１８の『１２ビット階調情報と８ビット階調情報との差分情報を求める機能』に対応し、記録手段はＣＰＵ１８の『８ビット階調情報および差分情報をデータ圧縮してメモリカード２０に記録する機能』に対応する。
請求項１２〜１４の各記載事項と第２の実施形態との対応関係については、読み出し手段はＣＰＵ１８の『メモリカード２０から８ビット階調情報および差分情報を読み出す機能』に対応し、第２情報算出手段はＣＰＵ１８の『差分情報と８ビット階調情報とから１２ビット階調情報を算出して、簡易階調変換して出力する機能』に対応する。
【００５２】
［画像記録の動作説明］
図５は、第２の実施形態における画像記録の動作を説明する流れ図である。
以下、図５に示すステップ番号に沿って、第２の実施形態における記録動作を説明する。
ステップＳ２１：  Ａ／Ｄ変換部１５は、画像信号を０〜４００％白までの階調域で直線量子化し、１４ビット階調情報に変換する。
ステップＳ２２：  ＣＰＵ１８は、この１４ビット階調情報に対して、図７に示すγ４の階調変換を施し、８ビット階調情報に変換する。なお、このときの階調変換としては、ほぼ１４０％白までの階調再現を保証する特性が好ましい。
ステップＳ２３：  ＣＰＵ１８は、１４ビット階調情報に対して、図７に示すγ５の階調変換を施し、１２ビット階調情報に変換する。なお、このときの階調変換としては、ほぼ２００％白（できれば、ほぼ４００％白）までの階調再現を保証する特性が好ましい。
ステップＳ２４：  ＣＰＵ１８は、８ビット階調情報をＪＰＥＧ圧縮して、画像ファイル内の優先参照される画像格納領域に格納する。
ステップＳ２５：  ＣＰＵ１８は、圧縮後の８ビット階調情報に対してＪＰＥＧ伸長を施し、８ビット階調の伸長情報（以下『８ビット伸長情報』という）を得る。
ステップＳ２６：  ＣＰＵ１８は、８ビット伸長情報を画素単位に順次参照し、参照画素が非対応箇所か否かを判定する。
すなわち、参照画素の８ビット伸長情報が所定の閾値（図７に示すＡ）を越えている場合、ＣＰＵ１８は、１２ビット階調情報の再現に差分情報が必須となるので参照画素を非対応箇所と判定する。一方、参照画素の８ビット伸長情報が閾値Ａ以下のときは、８ビット伸長情報から１２ビット階調情報を再現すれば実用上は十分であると判断して、参照画素を非対応箇所ではないと判定する。
ここで、参照画素が非対応箇所である場合、ＣＰＵ１８は動作をステップＳ２７に移行する。一方、参照画素の非対応箇所でない場合、ＣＰＵ１８は動作をステップＳ３０に移行する。
ステップＳ２７：  ＣＰＵ１８は、参照画素について、１２ビット階調情報と８ビット伸長情報との差分値を求める。
ステップＳ２８：  ＣＰＵ１８は、この差分値を、高輝度側（または低輝度側）の階調を圧縮する特性で非線形量子化して量子化ビット数を低減する。
ステップＳ２９：  ＣＰＵ１８は、量子化ビット数を低減した差分値について、ＤＰＣＭ圧縮をさらに施す。
ステップＳ３０：  ＣＰＵ１８は、全画素について参照を完了したか否かを判定する。ここで、全画素の参照が完了している場合、ＣＰＵ１８は、次のステップＳ３１に動作を移す。一方、全画素の参照が未完了の場合、ＣＰＵ１８は、ステップＳ２６に戻って、上記の動作を繰り返す。
ステップＳ３１：  ＣＰＵ１８は、差分情報（上記のように求めた差分値の配列）の圧縮データを、画像ファイル内のアプリケーションセグメントに格納する。ステップＳ３２：  ＣＰＵ１８は、このように生成された画像ファイルを、メモリカード２０に転送して記録する。
以上のような動作により、第２の実施形態における記録動作が完了する。
【００５３】
［画像再生の動作説明］
図６は、第２の実施形態における画像再生の動作を説明する流れ図である。
以下、図６に示すステップ番号に沿って、第２の実施形態における再生動作を説明する。
ステップＳ４１：  ＣＰＵ１８は、メモリカード２０内の画像ファイル内の画像格納領域からＪＰＥＧ圧縮データを抽出して画像伸長し、８ビット伸長情報を得る。
ステップＳ４２：  ＣＰＵ１８は、８ビット伸長情報を画素単位に順次参照し、参照画素が非対応箇所か否かを判定する。
すなわち、参照画素の８ビット伸長情報が閾値Ａ以下の場合、ＣＰＵ１８は参照画素が非対応箇所であると判断して、動作をステップＳ４３に移行する。一方、参照画素の８ビット伸長情報が閾値Ａを越えている場合、ＣＰＵ１８は参照画素を非対応箇所ではないと判断して、動作をステップＳ４４に移行する。
ステップＳ４３：  ＣＰＵ１８は、参照画素の８ビット伸長情報から１２ビット階調情報を算出する（図７に示す特性では、８ビット伸長情報をそのまま１２ビット階調情報とすればよい）。このような処理の後、ＣＰＵ１８は、ステップＳ４７に動作を移行する。
ステップＳ４４：  ＣＰＵ１８は、画像ファイル内のアプリケーションセグメントの差分情報から差分値を抽出する。
ステップＳ４５：  ＣＰＵ１８は、ＤＰＣＭ圧縮されている差分値を復元する。さらに、ＣＰＵ１８は、差分値の高輝度側（または低輝度側）の階調を伸長し、差分値の量子化ビット数を復元する。
ステップＳ４６：  ＣＰＵ１８は、復元された差分値と、８ビット伸長情報とを加算して、参照画素の１２ビット階調情報を再現する。
ステップＳ４７：  ＣＰＵ１８は、全画素について参照を完了したか否かを判定する。ここで、全画素の参照が完了している場合、ＣＰＵ１８は、次のステップＳ４８に動作を移す。一方、全画素の参照が未完了の場合、ＣＰＵ１８は、ステップＳ４２に戻って、上記の動作を繰り返す。
ステップＳ４８：  ＣＰＵ１８は、以上のように求めた１２ビット階調情報を、モニタ表示用や外部機器での印刷用の簡易階調変換を施して、８ビット階調に変換して出力する。（例えば、１２ビット階調情報に対して、図８に示す『γ５の逆特性』と『γ４′の特性』とを順次に施して、８ビット階調に変換する。）
以上の動作により、電子スチルカメラ１１の再生動作が完了する。
【００５４】
［第２の実施形態の効果など］
以上説明した動作により、第２の実施形態においても、１２ビット階調情報をそのまま記録せずに、８ビット階調情報の差分情報として記録する。したがって、１２ビット階調情報を別に圧縮記録する場合に比べて、記録容量を適切かつ容易に低減することが可能となる。
【００５５】
また、第２の実施形態では、２つの階調変換特性（図７に示すγ４およびγ５）を階調値Ａまで一致させている。そのため、８ビット階調情報と１２ビット階調情報との相関が強くなり、差分情報の圧縮効率を一段と高めることができる。
【００５６】
さらに、第２の実施形態では、視覚感度の低い階調域について差分情報を階調圧縮（非線形量子化）して記録する。このような処理により、視覚的に目立たない範囲で差分情報の量子化ビット数を合理的に低減することが可能となる。
【００５７】
また、第２の実施形態では、画像ファイル内の優先参照される画像格納領域に８ビット階調情報を記録する。また、画像ファイル内のアプリケーションセグメントに差分情報を記録する。このような記録形式により、画像ファイルの従来互換性を確実に維持することができる。したがって、汎用の画像閲覧プログラムや汎用の外部装置をそのまま使用して、本発明の画像ファイル内の８ビット階調情報を加工・表示・印刷することが可能となる。
【００５８】
さらに、第２の実施形態では、画像記録時に、『８ビット伸長情報』と『１２ビット階調情報』とに基づいて差分情報を生成する。したがって、画像再生時において、『８ビット伸長情報』と『差分情報』とから１２ビット階調情報をより正確に再現することが可能となる。
【００５９】
なお、第２の実施形態では、再生時に非対応箇所の判定を行うことにより、第３情報と第１情報との対応付けを行っている。このような動作により、第３情報にマップ情報を含める必要がなく、第３情報のデータ量をより効率的に低減できるという利点がある。
【００６０】
なお、請求項８に記載されるように、第３情報を、非相関領域のマップ情報と値情報とに分けて記録してもよい。この場合、マップ情報として、非相関領域か否かを示す２値化ビットマップの圧縮情報を記録してもよい。また、マップ情報として、非相関領域の輪郭形状を示すチェーン符号化情報などを記録してもよい。
【００６１】
さらに、第２の実施形態において、差分情報の標本化刻みを粗くすることにより、差分情報のデータ量を更に低減してもよい。また、上述した第２の実施形態において、画像データの特徴に応じて、図７に示す階調変換特性γ５を自動変更することにより、第２情報の階調再現性を更に高めてもよい。
【００６２】
《実施形態の補足事項について》
なお、上述した実施形態では、説明の都合上、電子スチルカメラの適用例について説明している。しかしながら、本発明は、これに限定されず、高階調画像を記録再生する際に適用可能な技術である。例えば、上述した処理（例えば図１、図２、図５、図６）を実行する画像処理プログラムを所定のプログラム言語で記述し、機械読み取り可能な記録媒体に記録してもよい。また、通信回線を介してこの画像処理プログラムのデータを配送することにより、配送先のコンピュータ内に『画像処理プログラムの記録されたメモリやハードディスクその他の記録媒体』を製造してもよい。このような記録媒体を使用することにより、上述した実施形態と同様の作用効果をコンピュータ上で得ることが可能となる。
【００６３】
また、上述した実施形態では、階調処理を中心に説明を行っているが、これに狭く限定されるものではない。例えば、カラー画像データでは、ＲＧＢ、ＹＣｂＣｒなどの各刺激値の階調ごとに、上述した処理を行えばよい。
また例えば、カラー画像データの各刺激値の中で、視覚感度の高い成分（例えばＹやＧ）に限って第３情報を求めてもよい。このような処理により、第３情報のデータ量をさらに低減することが可能となる。なおこの場合、再生時には、『視覚感度の高い成分からなる第３情報』と『第１情報』とを用いて、第２情報を再現すればよい。このような再生動作では、第３情報から欠落している成分（視覚的に低感度なＣｂＣｒ、ＲＢなど）について１００％完全に復元することはできない。しかしながら、視覚的に実用十分な範囲で第２情報を再現することは可能である。
【００６４】
さらに、上述した実施形態では、第３情報として差分情報を使用しているが、これに限定されるものではない。一般に、第３情報としては、第１情報と第２情報との相関関係を規定する情報であればよい。例えば、第１情報と第２情報との差異として比率を算出し、第３情報としてもよい。
【００６５】
また、上述した実施形態では、予測符号化・ランレングス符号化・エントロピー符号化を多重にかけることにより、第３情報をできる限りデータ圧縮している。しかしながら、これに限定されるものではない。例えば、予測符号化・ランレングス符号化・エントロピー符号化のいずれか１つまたは２つを実施して第３情報をデータ圧縮してもよい。また、第３情報をデータ圧縮せずに記録してももちろんよい。
【００６６】
さらに、上述した実施形態では、第１情報を８ビット階調とし、第２情報を１２ビット階調とした場合について説明したが、本発明は、当然ながら、これらの階調数に限定されるものではない。
【００６７】
また、上述した実施形態では、静止画像の場合について説明したが、本発明はこれに限定されるものではない。例えば、動画像に本発明を適用してもよい。この場合、第３情報について時間軸方向のデータ圧縮などを行ってもよい。
【００６８】
【発明の効果】
請求項１に記載の発明では、同一の画像データから作成した第１情報／第２情報から冗長な類似性を適切に区別して、有意な変化分を確実に含んだ第３情報を得ることが可能となる。このように得た第１情報および第３情報を記録することにより、第１情報および第２情報を無関係に圧縮記録する場合に比べて記録容量を適切かつ容易に低減することが可能となる。
また、請求項１に記載の発明では、２つの階調変換特性を部分的に一致させる。したがって、第１情報と第２情報との相関が確実に強くなり、第３情報のデータ量を適切かつ容易に低減することが可能となる。
【００６９】
請求項２に記載の発明では、第２情報と第１情報との差異を簡易に算出すればよく、第３情報を高速に作成できる。また、画像再生装置側においても、第１情報と第３情報とを加算する程度の簡易な処理で、第２情報を高速に再現することが可能となる。
【００７０】
請求項３に記載の発明では、第１情報をファイル内で優先的に参照される画像格納領域に記録するので、従来の画像ファイルとの互換性を維持することができる。
【００７１】
請求項４に記載の発明では、ファイル内のアプリケーションセグメントに第３情報を記録するので、従来の画像ファイルとの互換性を維持することが可能となる。
【００７２】
請求項５に記載の発明では、『伸長後の第１情報』と『第２情報』とから第３情報を算出するので、再生時に第２情報をより正確に再現することが可能となる。
【００７４】
請求項６に記載の発明では、第３情報を非線形量子化するので、視覚的に目立たない範囲で、効率的に第３情報をデータ圧縮することが可能となる。
【００７５】
請求項７に記載の発明では、第３情報を画面上での標本化刻みを粗くすることにより、視覚的に目立たない範囲で、効率的に第３情報をデータ圧縮することが可能となる。
【００７６】
請求項８に記載の発明では、第３情報を、非相関領域のマップ情報と値情報とに分けてファイル内に記録することにより、第３情報を効率的にデータ圧縮することが可能となる。
【００７７】
請求項９に記載の発明では、第３情報を非対応箇所に限定して記録するので、第３情報のデータ量を効率的に低減することが可能となる。
【００７８】
請求項１０に記載の発明では、第３情報を、ランレングス符号化および／またはエントロピー符号化および／または予測符号化によりデータ圧縮することにより、第３情報を効率的にデータ圧縮することができる。
【００７９】
請求項１１に記載の発明では、画像データの特徴に合わせて第２階調変換特性を変更することにより、より階調豊かな第２情報を作成することが可能となる。
【００８０】
請求項１２、１３に記載の発明では、ファイルから再生される第１情報および第３情報に基づいて、階調豊かな第２情報を再現することが可能となる。
【００８１】
請求項１４に記載の発明では、第２情報を外部装置で階調再現可能な輝度領域に階調圧縮することにより、階調豊かな第２情報を外部装置で気軽に活用することが可能となる。
【００８２】
請求項１５に記載の記録媒体を使用することにより、コンピュータ上において、請求項１ないし請求項１１のいずれか１項に記載の画像記録装置を実現することができる。
【００８３】
請求項１６に記載の記録媒体を使用することにより、コンピュータ上において、請求項１２ないし請求項１４のいずれか１項に記載の画像再生装置を実現することができる。
【図面の簡単な説明】
【図１】電子スチルカメラ１１の構成を示すブロック図である。
【図２】第１の実施形態における画像記録の動作を説明する流れ図である。
【図３】第１の実施形態における画像再生の動作を説明する流れ図である。
【図４】第１の実施形態における階調変換特性を示す図である。
【図５】第２の実施形態における画像記録の動作を説明する流れ図である。
【図６】第２の実施形態における画像再生の動作を説明する流れ図である。
【図７】第２の実施形態における記録時の階調変換特性を示す図である。
【図８】第２の実施形態における再生時の階調変換特性を示す図である。
【符号の説明】
１１  電子スチルカメラ
１２  撮影レンズ
１３  撮像素子
１４  信号処理部
１５  Ａ／Ｄ変換部
１６  バッファメモリ
１７  データバス
１８  ＣＰＵ
１９  フレームメモリ
２０  メモリカード
２１  画像出力インターフェース
２２  モニタ
【図１】
0004288398.tif 000002
【図２】
0004288398.tif 000003
【図３】
0004288398.tif 000004
【図４】
0004288398.tif 000005
【図５】
0004288398.tif 000006
【図６】
0004288398.tif 000007
【図７】
0004288398.tif 000008
【図８】
0004288398.tif 000009