(57)【特許請求の範囲】
【請求項１】
元画像データの縦横比を調整するよう所定画素数の画像データを付加する画像データ付加手段と、
上記画像データ付加手段により画像データを付加された画像の元画像データ部分を直交変換する直交変換手段と、
上記画像データ付加手段が付加した画像データの直流成分を白色になるよう設定する直流成分変換手段と、
上記画像データが付加された元画像データを量子化する量子化手段と、
上記量子化された元画像データを符号化して圧縮画像データを生成する符号化手段とを具備することを特徴とする圧縮画像データ生成装置。
【請求項２】
上記画像データ付加手段は、予めサイズが固定されている元画像データに予めサイズが固定されている上記画像データを付加することを特徴とする上記請求項１に記載の圧縮画像データ生成装置。
【請求項３】
上記画像データ付加手段は、上記元画像データのサイズを検出するサイズ検出手段を備えるとともに、このサイズ検出手段にて検出された元画像データのサイズに応じた上記画像データを付加することを特徴とする上記請求項１に記載の圧縮画像データ生成装置。
【請求項４】
上記画像データ付加手段は、上記元画像データの上下あるいは何れか一方に上記画像データを付加することを特徴とする上記請求項１〜請求項３のいずれかに記載の圧縮画像データ生成装置。
【請求項５】
上記画像データ付加手段は、上記元画像データの左右あるいは何れか一方に上記画像データを付加することを特徴とする上記請求項１〜請求項３のいずれかに記載の圧縮画像データ生成装置。
【請求項６】
上記画像データ付加手段は、上記元画像データの上下左右に上記画像データを付加することを特徴とする上記請求項１〜請求項３のいずれかに記載の圧縮画像データ生成装置。
【請求項７】
上記画像データ付加手段は、白色データにて構成される画像データを上記元画像データに付加することを特徴とする上記請求項１〜請求項６のいずれかに記載の圧縮画像データ生成装置。
【請求項８】
上記画像データ付加手段は、黒色データにて構成される画像データを上記元画像データに付加することを特徴とする上記請求項１〜請求項６のいずれかに記載の圧縮画像データ生成装置。
【請求項９】
所定の元画像データから圧縮画像データを生成する圧縮画像データ生成方法であって、
元画像データの縦横比を調整するよう所定数の画像データを付加する画像データ付加工程と、
上記画像データ付加工程により画像データを付加された画像の元画像データ部分を直交変換する直交変換工程と、
上記画像データ付加工程にて付加した画像データの直流成分を白色になるよう設定する直流成分換工程と、
上記画像データが付加された元画像データを量子化する量子化工程と、
上記量子化された元画像データを符号化して圧縮画像データを生成する符号化工程とを具備することを特徴とする圧縮画像データ生成方法。
【請求項１０】
所定の元画像データから圧縮画像データを生成する圧縮画像データ生成処理プログラムを記録した媒体であって、
元画像データに所定画素数の画像データを付加して画素数の調整を行う画像データ付加機能と、
上記画像データ付加機能により画像データを付加された画像の元画像データ部分を直交変換する直交変換機能と、
上記画像データ付加機能が付加した画像データの直流成分を白色になるよう設定する直流成分変換機能と、
上記画像データが付加された元画像データを量子化する量子化機能と、
上記量子化された元画像データを符号化して圧縮画像データを生成する符号化機能とをコンピュータに実行させることを特徴とする圧縮画像データ生成処理プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮画像データ生成装置、圧縮画像データ生成方法および圧縮画像データ生成処理プログラムを記録した媒体に関し、特に、圧縮画像データ生成装置、圧縮画像データ生成方法および圧縮画像データ生成処理プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
従来、この種の圧縮画像データ生成装置は、縦横比が４：３のサイズに規格化されたＪＰＥＧ圧縮画像データとしてのサムネール画像データを生成するものが知られている。このとき、元画像データの縦横比が４：３であればこの元画像データに基づいて規格に適合したサムネール画像データを生成する。一方、元画像データの縦横比が４：３ではない場合、この元画像データを適宜伸長させて縦横比４：３の規格に適合させることによってサムネール画像データを生成している。
【０００３】
【発明が解決しようとする課題】
上述した従来の圧縮画像データ生成装置においては、元画像データの縦横比が４：３ではない場合、この元画像データを適宜伸長させるため、生成されたサムネール画像データが歪んでしまったりするという課題があった。
【０００４】
本発明は、上記課題にかんがみてなされたもので、簡易な方法で元画像データの縦横比をＪＰＥＧ圧縮画像データの規格に適合させることが可能な圧縮画像データ生成装置、圧縮画像データ生成方法および圧縮画像データ生成処理プログラムを記録した媒体の提供を目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、元画像データの縦横比を調整するよう所定画素数の画像データを付加する画像データ付加手段と、上記画像データ付加手段により画像データを付加された画像の元画像データを直交変換する直交変換手段と、上記画像データ付加手段が付加した上記画像データの直流成分を白色になるよう設定する直流成分変換手段と、上記画像データが付加された元画像データを量子化する量子化手段と、上記量子化された元画像データを符号化して圧縮画像データを生成する符号化手段とを具備する構成としている。
上記のように構成した請求項１にかかる発明では、画像データ付加手段により、元画像データに所定画素数の画像データを付加して画素数調整を行う。次に、上記画像が付加された元画像部分に直交変換手段にて直交変換を行い、付加した画素は直流成分変換手段にて、直流成分を白色に設定するよう変換を行う。
【０００６】
次に量子化手段にて画像データが付加された元画像データを量子化するとともに、符号化手段にて量子化された元画像データを符号化して圧縮画像データを生成する。このように、直交変換された元画像データに直流成分のみにて形成された画像データを付加することによって、この付加する画像データのデータ設定を簡易に行なうことができるとともに、簡易な手法で元画像データの大きさを変化させることが可能になる。また、直流成分のみにて形成される画像データを付加することにより、量子化および符号化における処理負荷を低減することが可能になる。
【０００７】
圧縮画像データを生成する処理の高速化を実現可能な手法の一例として、請求項２にかかる発明は、上記請求項１に記載の圧縮画像データ生成装置において、上記画像データ付加手段は、予めサイズが固定されている元画像データに予めサイズが固定されている上記画像データを付加する構成としてある。
上記のように構成した請求項２にかかる発明においては、元画像データのサイズを予め決めておき固定としておく。従って、画像データ付加手段はこの元画像データのサイズに適した予めサイズを固定した画像データを用意しておく。そして、この予めサイズを固定して用意した画像データを元画像データに付加する。これにより、付加された元画像データは常に同一サイズとなる。従って、各処理も固定サイズに基づいて実行されるようにすればよく、処理速度を高速化することが可能になる。
【０００８】
任意のサイズを有する元画像データに適宜適切な画像データを付加することが可能な手法の一例として、請求項３にかかる発明は、上記請求項１に記載の圧縮画像データ生成装置において、上記画像データ付加手段は、上記元画像データのサイズを検出するサイズ検出手段を備えるとともに、このサイズ検出手段にて検出された元画像データのサイズに応じた上記画像データを付加する構成としてある。
上記のように構成した請求項３にかかる発明においては、画像データ付加手段に元画像データのサイズを検出するサイズ検出手段を備えさせる。そして、画像データ付加手段はこのサイズ検出手段にて検出された元画像データのサイズに応じた上記画像データを付加する。
【０００９】
画像データを付加する態様の一例として、請求項４にかかる発明は、上記請求項１〜請求項３のいずれかに記載の圧縮画像データ生成装置において、上記画像データ付加手段は、上記元画像データの上下あるいは何れか一方に上記画像データを付加する構成としてある。
上記のように構成した請求項４にかかる発明においては、画像データ付加手段にて元画像データの上下あるいは何れか一方に上記画像データを付加する。
【００１０】
画像データを付加する態様の他の一例として、請求項５にかかる発明は、上記請求項１〜請求項３のいずれかに記載の圧縮画像データ生成装置において、上記画像データ付加手段は、上記元画像データの左右あるいは何れか一方に上記画像データを付加する構成としてある。
上記のように構成した請求項５にかかる発明においては、画像データ付加手段にて元画像データの左右あるいは何れか一方に上記画像データを付加する。
【００１１】
画像データを付加する態様のさらに他の一例として、請求項６にかかる発明は、上記請求項１〜請求項３のいずれかに記載の圧縮画像データ生成装置において、上記画像データ付加手段は、上記元画像データの上下左右に上記画像データを付加する構成としてある。
上記のように構成した請求項６にかかる発明においては、画像データ付加手段にて元画像データの上下左右に上記画像データを付加する。
【００１２】
直流成分にて形成される画像データに採用して好適な一例として、請求項７にかかる発明は、上記請求項１〜請求項６のいずれかに記載の圧縮画像データ生成装置において、上記画像データ付加手段は、白色データにて構成される画像データを上記元画像データに付加する構成としてある。
上記のように構成した請求項７にかかる発明においては、画像データ付加手段にて白色データにて構成される画像データを元画像データに付加する。
【００１３】
直流成分にて形成される画像データに採用して好適な他の一例として、請求項８にかかる発明は、上記請求項１〜請求項６のいずれかに記載の圧縮画像データ生成装置において、上記画像データ付加手段は、黒色データにて構成される画像データを上記元画像データに付加する構成としてある。
上記のように構成した請求項８にかかる発明においては、画像データ付加手段にて黒色データにて構成される画像データを元画像データに付加する。
【００１４】
また、所定の元画像データから圧縮画像データを生成する手法は必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。
このため、請求項９にかかる発明は、所定の元画像データから圧縮画像データを生成する圧縮画像データ生成方法であって、元画像データの縦横比を調整するよう所定数の画素を付加する画像データ付加工程と、  上記画像データ付加工程により画像データを付加された画像の元画像データ部分を直交変換する直交変換工程と、上記画像データ付加工手により付加した画像データの直流成分を白色になるよう設定する直流成分変換工程と、上記画像データが付加された元画像データを量子化する量子化工程と、上記量子化された元画像データを符号化して圧縮画像データを生成する符号化工程とを具備する構成としてある。
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００１５】
ところで、このような圧縮画像データ生成装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例として圧縮画像データ生成装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００１６】
その一例として、請求項１０にかかる発明は、所定の元画像データから圧縮画像データを生成する圧縮画像データ生成処理プログラムを記録した媒体であって、元画像データの縦横比を調整するよう所定数の画素を付加する画像データ付加機能と、上記画像データ付加機能により画素を付加された画像の上記元画像データを直交変換する直交変換機能と、上記画像データ付加機能により付加した画像の直流成分を白色になるよう設定する直流成分変換機能と、上記画像データが付加された元画像データを量子化する量子化機能と、上記量子化された元画像データを符号化して圧縮画像データを生成する符号化機能とをコンピュータに実行させる構成としてある。
【００１７】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。また、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００１８】
【発明の効果】
以上説明したように本発明は、直交変換された元画像データに直流成分のみにて形成された画像データを付加することによって、この付加する画像データのデータ設定を簡易に行なうことができるとともに、直流成分のみにて形成される画像データを付加することにより、量子化および符号化における処理負荷を低減することが可能な圧縮画像データ生成装置を提供することができる。
また、請求項２にかかる発明によれば、サイズを固定することによって処理速度を高速化することが可能になる。
さらに、請求項３にかかる発明によれば、任意のサイズを有する元画像データに適宜適切な画像データを付加することが可能になる。
【００１９】
さらに、請求項４にかかる発明によれば、画像データを付加する態様の一例を提示することができる。
さらに、請求項５にかかる発明によれば、画像データを付加する態様の他の一例を提示することができる。
さらに、請求項６にかかる発明によれば、画像データを付加する態様のさらに他の一例を提示することができる。
さらに、請求項７にかかる発明によれば、直流成分にて形成される画像データの一例を提示することができる。
さらに、請求項８にかかる発明によれば、直流成分にて形成される画像データの他の一例を提示することができる。
【００２０】
さらに、請求項９にかかる発明によれば、直交変換された元画像データに直流成分のみにて形成された画像データを付加することによって、この付加する画像データのデータ設定を簡易に行なうことができるとともに、直流成分のみにて形成される画像データを付加することにより、量子化および符号化における処理負荷を低減することが可能な圧縮画像データ生成方法を提供することができる。
さらに、請求項１０にかかる発明によれば、直交変換された元画像データに直流成分のみにて形成された画像データを付加することによって、この付加する画像データのデータ設定を簡易に行なうことができるとともに、直流成分のみにて形成される画像データを付加することにより、量子化および符号化における処理負荷を低減することが可能な圧縮画像データ生成処理プログラムを記録した媒体を提供することができる。
【００２１】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）ディジタルスチルカメラの構成について：
（２）画像処理の概略について：
（３）画像データの生成について：
（４）サムネール画像データ生成処理について：
（５）サムネール画像データ生成処理の変形例について：
（６）まとめ：
【００２２】
（１）ディジタルスチルカメラの構成について：
図１は、本発明のエッジ強調処理装置が適用されるディジタルスチルカメラの概略構成をブロック図により示している。同図において、ディジタルスチルカメラ１０は、光学部２０と、ＣＰＵ３２を核とする制御部３０とから構成されている。光学部２０は、光学レンズ系２１と、オートフォーカス機構２２と、測距部２３と、オートフォーカスコントローラ２４とを備え、オートフォーカスコントローラ２４がコントローラ２５からの制御信号に基づいて測距部２３にて被写体までの距離を測定しつつオートフォーカス機構２２にて光学レンズ系２１を駆動してピントを合わせる。光学レンズ系２１にて被写体像を結像するのは撮像素子としてのＣＣＤ２６の撮像面であり、本ＣＣＤ２６は１８００×１２００画素を有する単板で構成されている。単板で構成しているため、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成してある。なお、シャッターについては電子シャッターとともにメカニカルシャッターを備えているが、メカニカルシャッターについては図示を省略している。
【００２３】
この他、光学部２０にはストロボ２７も備えられており、コントローラ２５からの駆動信号に応じて所定光量および所定回数の発光を行う。これにより、赤目防止であるとかスローシンクといった撮影を実現している。なお、ＣＣＤ２６が出力するアナログ量の電気信号を増幅するオートゲインコントローラ（ＡＧＣ）２８が備えられ、増幅後のアナログ電気信号をディジタル値に変換して出力するＡ／Ｄコンバータ２９が備えられている。むろん、以上の光学部２０については、ディジタルスチルカメラ１０としての一般的な構成の一例に過ぎず、各種の変更が可能であることはいうまでもない。例えば、光学レンズ系２１にはズームレンズを備えることもできるし、あるいは固定焦点としてオートフォーカスの機能を備えない廉価なものであっても良い。
【００２４】
また、制御部３０はバス３１を備えており、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰＵ３２はＲＯＭ３３に書き込まれたファームウェアを実行して光学部２０の制御や画像処理の演算等を実行するものであり、その際にＲＡＭ３４は画像データを保存する画像エリア３４ａとして機能したり演算処理のためのワークエリア３４ｂとして機能したりする。ＣＰＵ３２が光学部２０を制御する際には、コントローラ２５に対して制御信号を出力し、同コントローラ２５が各構成回路などに対する適宜制御信号を生成して出力する。
【００２５】
制御部３０はマンマシンインターフェイスとしての機能も有しており、操作ボタンなどを配置した操作パネル３５と、撮影画像や操作指示などを表示するＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネル３５の操作を監視し、適宜、操作を受けつつ対応する制御を実行する。また、ＬＣＤパネル３６への表示はＲＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに対してＣＰＵ３２が所定のデータを書き込むことにより、ＬＣＤパネル３６に備えられたディスプレイコントローラが適宜同データを読み込んで表示を行う。そして、撮影され、所定の画像処理を経て生成される画像データはＩ／Ｏ３７ａを介して外部メモリであるフラッシュメモリカード３７ｂに書き込まれ、また、必要に応じて同フラッシュメモリカード３７ｂから読み出される。
【００２６】
制御部３０の構成もこの種のディジタルスチルカメラ１０の典型例であって、各種の変更が可能である。例えば、外部メモリの種類については適宜他の種類のものに置き換えることは容易であるし、さらには着脱可能なメモリとのインターフェイスを備えなくてもＵＳＢインターフェイスを介してコンピュータに画像データを出力するようにしてもよい。表示部としてのＬＣＤパネルに付随して情報表示用ＬＣＤを備えてもよいし、ＣＰＵ３２については制御対象が異なる複数のＣＰＵを備えても良い。
【００２７】
光学部２０で撮像された画像はＣＣＤ２６からアナログ電気信号として出力された後、ＡＧＣ２８を経てＡ／Ｄコンバータ２９にてディジタルデータに変換され、さらにバス３１を介してＲＡＭ３４の画像エリア３４ａに記録される。そして、ＣＰＵ３２が所定の画像処理を実行することによりＪＰＥＧ画像データに変換されて上述したフラッシュメモリカード３７ｂに書き込まれることになる。
【００２８】
（２）画像処理の概略について：
図２は、このＣＰＵ３２が実行する画像処理の主要な流れを示している。細部においては後述するような具体的な処理が実行されるものの、概略的にはこの流れに従って処理を進めている。まず、この概略について説明する。同図において、ステップＳ１０２では、欠陥画素補間を実行する。およそ２００万画素を有するＣＣＤ２６には欠陥画素は避けられず、所定の基準値以下のものであれば良品として供給される。このため、良品の範囲内での欠陥画素については同色画素だけを基準とした５×５画素のメヂアンフィルタを使用して補う。すなわち、欠陥画素がシアンの画素であるとすると、この欠陥画素の周囲に位置する５×５のシアン画素の出力値を順番に並べ、中央値を欠陥画素の値とする。なお、欠陥画素自体は光学部２０において既に検出されている。
【００２９】
次のステップＳ１０４ではホワイトバランスの測定を行う。撮影時の光源の種類、およびＣＣＤ２６とカラーフィルタとの組合せによっては、ホワイトバランスがずれることがあり、本実施形態においては、各撮影ごとにステップＳ１０４にてホワイトバランスを測定し、その結果を反映させてずれを少なくするようにステップＳ１１０にてホワイトバランスの制御をする。ホワイトバランスを測定するときには間引き処理で選択した１１３×７５画素の画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りとＢ成分の偏りを測定する。なお、本ＣＣＤ２６は補色系のカラーフィルタを備えており、補色系であることを踏まえて制御をしている。
【００３０】
本実施形態では三種類の画像を生成する。一つ目は確認画像であり、二つ目はサムネール画像であり、三つ目は主画像である。確認画像は撮影後速やかにＬＣＤパネル３６に表示するための画像であり、７２０×２４０画素の画像データで構成される。サムネール画像は主画像とともに画像データとして記録されるものであり１６０×１２０画素の画像データで構成される。主画像は操作者の選択によって三つのサイズを選択可能であり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙｐｉｃｔ２という高解像度化した２１６０×１４４０画素かのいずれかである。
【００３１】
図２において、ステップＳ１０６〜ステップＳ１１４は破線で囲む表示をしてあり、すくなくともこれらの処理は生成される三種類の画像ごとに実施される。ステップＳ１０６ではデータ補間を実施する。ＣＣＤ２６は単板で構成され、２００万画素を有しているものの全画素のそれぞれで色情報が完結しているわけではない。すなわち、ある画素についてはシアンの情報だけ、ある画素についてはマゼンタの情報だけ、ある画素についてはイエローの情報だけ、ある画素についてはグリーンの情報だけとなっている。このデータをモザイクカラーデータと呼ぶ。データ補間では各画素に対して不足する他の色の情報を補うことにより、各画素ごとに色情報を完結させるための処理である。不足する情報は注目画素に隣接して取り囲む８画素に含まれる色情報の平均値である。例えば、シアン画素（Ｃ１）の周囲にはイエローの画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）存在する。
【００３２】
従って、このシアン画素の色情報（Ｃ，Ｍ，Ｙ，Ｇ）については、
Ｃ＝Ｃ１                            ・・・（１）
Ｍ＝（Ｍ１＋Ｍ２）／２              ・・・（２）
Ｙ＝（Ｙ１＋Ｙ２）／２              ・・・（３）
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４  ・・・（４）
として計算する。
【００３３】
ステップＳ１０８では、表色系を変えてＲＧＢ画像データに変換する。変換のための一般式も存在するが、実際には単純な一般式を利用するのではなく、チューニングを施したルックアップテーブルを利用したり行列式を利用したりして変換を行う。ＲＧＢ画像データに変換後、ステップＳ１１０では、上述したようにＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくする制御を実行する。次のステップＳ１１２ではトーンカーブ補正を行う。トーンカーブ補正はいわゆるγ補正とも呼ばれ、このときに各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズの低減や階調性の保持のためにγカーブ自体についての調整も行っている。トーンカーブ補正自体はルックアップテーブルを利用しており、予めチューニングして作成した１０ビット→８ビットのルックアップテーブルを参照して変換する。
【００３４】
この後、ＪＰＥＧ画像圧縮技術を利用するため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する。なお、輝度とイエローを区別するため、以後において輝度はＹｍと表示し、また、後述するようにモザイクカラーデータから直接導き出す輝度を単純輝度Ｙｓとして表示することにする。ＲＧＢ表色系からＹＵＶ表色系への色変換は一般式あるいは行列式を利用して変換する。
【００３５】
なお、モザイクカラーデータからＹＵＶ表色系への変換の一般式は、
Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
となっているが、実際には上述したようなチューニングやホワイトバランスの制御が実施され、この通りの対応関係を採用しているわけではない。
【００３６】
ステップＳ１１６とステップＳ１１８は主画像の作成の際にのみ実施される処理である。ノイズ除去は色成分としてＵＶ成分についてのみいわゆるローパスフィルタを適用する演算を行なう。すなわち、色変化が急峻すぎるものについては押さえ気味に作用する。また、エッジ強調は輝度成分についてのみ当該輝度成分に基づくエッジ量から非線形関数値（例えば、コアリング関数値）を算出し、同非線形関数値を元の輝度成分に加重して演算している。従って、隣接する画素間で輝度値が変化する場合にそのエッジ量を算出し、当該エッジ量の絶対値が大きければその変化量を大きく輝度値に反映させるし、同絶対値が小さければ元輝度値はほぼ元のままの値となる。
【００３７】
以上が画像処理の概略であるが、上記手順は実際の演算処理において複数の処理を同時に行うなどすることにより、演算処理時間の短縮を図ることも行なう。撮影は上述した三種類の画像ごとに上述した画像処理を実行し、最終的にはサムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込むことによって完了する。この他にも、本ディジタルスチルカメラではフラッシュメモリカード３７ｂから画像データを読み込んでＬＣＤパネル３６に表示したり、データの削除や各種の設定を実行可能であるが、これについては一般的な技術を適用可能であるので説明を省略する。
【００３８】
（３）画像データの生成について：
次に、上述した三種類の画像データを生成する処理について説明する。図３は、この三種類の画像データを生成する流れをフローチャートにより示している。上述したように、ＲＡＭ３４の画像エリア３４ａに記録された画像データは、１８００×１２００のドットマトリクス状の画素で多階調表現されている。本実施形態の場合、各画素に１０ビットを割り当てた１０２４階調としている。しかし、各画素のそれぞれで色情報が完結しているわけではなく、図５の左側に示すように、各要素色であるＣＭＹＧ別にモザイク状に配置されたモザイクデータとされている。また、全画素のうちデータの無い欠陥画素もある。そこで、図３においては、先ず、光学部２０において検出された欠陥画素について、同色画素だけを基準とした５×５画素のメヂアンフィルタを使用し、欠陥画素補間を実行する（ステップＳ２０２）。
【００３９】
次に、ホワイトバランスの測定を行う（ステップＳ２０４）。すなわち、全画素のうち、１６×１６画素のデータを平均してデータサイズを小さくした１１３×７５画素の縮小画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りを補正するホワイトバランス係数Ｒｃと、同Ｇ成分を基準としたＢ成分の偏りを補正する係数Ｂｃを算出する。ここで、ホワイトバランス係数Ｒｃ，Ｂｃは様々な手法により算出することができる。例えば、以下のようにして、ホワイトバランス係数Ｒｃ，Ｂｃを算出すればよい。
【００４０】
まず、ＣＭＹＧの縮小画像データから上記単純輝度Ｙｓを算出し、縮小画像データを所定の換算式によりＲＧＢデータに変換する。次に、ＲＧＢの縮小画像データを単純輝度Ｙｓの大きさの順に画素数が均等となるように所定の帯域に分け、各帯域内で、Ｇ成分の総和をＲ成分の総和で除したもの（Ｒｃｉとする）と、Ｇ成分の総和をＢ成分の総和で除したもの（Ｂｃｉとする）を算出する。さらに、Ｒｃｉ，Ｂｃｉが１よりも小さい場合は、Ｒｃｉ，Ｂｃｉを一時的に逆数に置き換える。そして、各Ｒｃｉ，Ｂｃｉについて、次式に基づいて評価関数Ｅｉを算出する。
【００４１】
Ｅｉ ＝ ｜１−Ｒｃｉ｜ ＋ ｜１−Ｂｃｉ｜
そして、逆数に置き換えたＲｃｉ，Ｂｃｉを元に戻して評価関数Ｅｉが最も小さくなるＲｃｉ，Ｂｃｉを取得し、ホワイトバランス係数Ｒｃ，Ｂｃとすることができる。むろん、この手法は一例に過ぎないため、他の一般的な手法を採用してもよいし、本ディジタルスチルカメラの特性に最も合うように他の手法を検討して採用することも可能である。
【００４２】
その後、確認画像データを生成する確認画像生成処理（ステップＳ２０６）、サムネール画像データを生成するサムネール生成処理（ステップＳ２０８）、主画像データを生成する主画像生成処理（ステップＳ２１０）を順番に行う。その際、ステップＳ２０４で算出したホワイトバランス係数Ｒｃ，ＢｃをステップＳ２０６〜Ｓ２１０のすべての処理に使用する。そして、主画像データとサムネール画像データとを圧縮してフラッシュメモリカード３７ｂに記憶させる画像データ記憶処理を行う（ステップＳ２１２）。
【００４３】
上述したように、ＲＡＭ３４の画像エリア３４ａに記録された画像データはドットマトリクス状の１８００×１２００画素で多階調表現されている。そして、後述するように１６０×１０４画素に変換される。従って、縦横比約３：２の画像データとなる。一方、ステップＳ２０８にて実行されるサムネール生成処理では、ＪＰＥＧ規格のサムネール画像データを生成する。ここで、ＪＰＥＧ規格のサムネール画像データは縦横比が４：３に形成される。従って、縦横比約３：２の画像データのまま縦横比４：３のＪＰＥＧ圧縮画像データを生成すると、画像に歪みが発生し、圧縮画像表示が狂ってしまう。そこで、本実施形態においては、後述する手法によって、縦横比約３：２の画像データを縦横比４：３に整形しＪＰＥＧ規格に合わせることによって歪みのないサムネール画像データの生成を可能にしている。
【００４４】
（４）サムネール画像データ生成処理について：
図４は、ステップＳ２０８のサムネール生成処理の処理内容を示したフローチャートである。光学部２０で撮像された画像情報は、ドットマトリクス状の画素で多階調表現した画像データとしてＲＡＭ３４の画像エリア３４ａに記録されている。同画像データは１８００×１２００画素で表現され、ＣＭＹＧ別のモザイクデータとされているが、サムネール画像データを生成するに際しては、この１８００画素×１２００画素の画像データの画素数を削減する必要がある。そこで、同図においては、先ず、１８００×１２００画素のモザイクデータを１６０×１０４画素のモザイクデータに変換する画素数変換処理を行う（ステップＳ３０２）。
【００４５】
この画素数変換処理は、画像データの１８００×１２００画素を間引く処理により行う。ここで、１８００×１２００画素の１８００画素を横方向、１２００画素を縦方向とすると、横１６０×縦１０４画素とするには、横方向の画素が１６０／１８００＝１／１１．２５、縦方向の画素が１０４／１２００＝１／１１．５４となるように間引く必要がある。図５はこの間引き処理の考え方の一例を説明する模式図である。
【００４６】
記録された画像データ４１のある座標４１ａを基準として、横方向に２．５画素間隔、縦方向に５画素間隔の座標を考える（図では、各座標の位置を四角で囲っている）。また、基準の座標４１ａ（図ではＧの画像データが格納されている）については、間引き後の画像データ４２の基準の画素４２ａに同色要素Ｇのデータを格納するものとする。ここで、縦方向については５画素間隔となるので、基準の座標４１ａの５画素下の座標４１ｂはＹのデータとなる。そこで、同座標４１ｂについては、画素４２ａの一つ下の画素４２ｂに同色要素Ｙのデータを格納することができる。同様にして、基準の座標４１ａと同じ列の座標については、間引き後の画像データ４２の基準の画素４２ａと同じ列に同要素色のデータを格納することができる。
【００４７】
しかし、横方向については２．５画素間隔となるので、基準の座標４１ａの２．５画素右の座標４１ｃは記録された画像データ４１の二つの画素にまたがっている。そこで、同二つの画素のうち、間引き後の画像データ４２に格納すべきＭのデータを取得して、画素４２ｃに格納する。座標４１ｃの５画素下の座標４１ｄ等、同じ列の座標についても同様である。また、座標４１ｃの２．５画素右の座標４１ｅについては、間引き後の画像データ４２の画素４２ｅにＧのデータを格納すべきであるのに対し、Ｇとは異なるＭのデータとなっている。
【００４８】
そこで、座標４１ｅに近隣した画素のうちＧのデータが格納された画素（図では、座標４１ｅの左隣と右隣）のデータを取得し、これらのデータを平均して画素４２ｅに格納する。座標４１ｅの５画素下の座標４１ｆ等、同じ列の座標についても同様である。さらに、座標４１ｅの２．５画素右の座標４１ｇについては、記録された画像データ４１の二つの画素にまたがるので、間引き後の画像データ４２に格納すべきＭのデータを取得して、画素４２ｇに格納する。座標４１ｇの５画素下の座標４１ｈ等、同じ列の座標についても同様である。
【００４９】
以上の考えに基づいた画素数変換処理の処理内容を図６のフローチャートに示すなお、図のフローを行う前提として、間引き後の画像データ４２を記憶する領域がＲＡＭ３４のワークエリア３４ｂに設けられている。まず、抽出する画素の座標を算出し（ステップＳ４０２）、この座標の画素の要素色が間引き後の画像データ４２に格納するデータの要素色と同じかどうかを判断する（ステップＳ４０４）。ここで、座標が複数（本例の場合は二つのみ）の画素にまたがっている場合には、同複数の画素のうちいずれか一つが画像データ４２に格納するデータの要素色と同じであれば条件成立としている。
【００５０】
例えば、図５の座標４１ａ，４１ｃ，４１ｇに座標がある場合に条件成立となる。条件成立の場合、間引き後の画像データ４２に格納するデータの要素色の画像データを取得し（ステップＳ４０６）、ステップＳ４１２に進む。一方、図５の座標４１ｅに座標があるときのように、ステップＳ４０４で条件不成立の場合、座標に近隣した画素から画像データ４２に格納するデータの要素色と同じ要素色の画像データを取得し（ステップＳ４０８）、取得した画像データを平均して（ステップＳ４１０）、ステップＳ４１２に進む。
【００５１】
ステップＳ４１２では、取得した画像データを、間引き後の画像データ４２を記憶する領域に格納する。そして、次の座標があるかどうかを判断し（ステップＳ４１４）、次の座標がある場合には再びステップＳ４０２〜Ｓ４１４の処理を行い、次の座標が無い場合には処理を終了する。このようにして、ＲＡＭ３４の画像エリア３４ａに記録された画像データの画素を間引く処理を行うことができる。その結果、１６０×１０４画素のモザイクデータを生成する処理時間が短くて済む。
【００５２】
画素数変換処理が終了すると、１６０×１０４画素のモザイクデータに対してデータ補間を実施する（ステップＳ３０４）。すなわち、上記補間式（１）〜（４）を用いて、各画素に対して不足する他の色の情報を注目画素に隣接して取り囲む８画素に含まれる色情報の平均値とするように計算する。次に、一般式に基づいてチューニングを施した行列式Ａ１を利用して、ＣＭＹＧの画像データをＲＧＢの画像データに色変換する（ステップＳ３０６）。すなわち、ＣＭＹＧの画像データの各画素の各成分を（Ｃ，Ｍ，Ｙ，Ｇ）、ＲＧＢの画像データの各画素の各成分を（Ｒ，Ｇ，Ｂ）で表すと、ＲＧＢの画像データは以下の式により演算することができる。
【数１】
0003855256.tif 000002
【００５３】
さらに、ステップＳ２０４で算出したホワイトバランス係数Ｒｃ，ＢｃによりＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくするホワイトバランス制御を行う（ステップＳ３０８）。すなわち、補正後のＲＧＢの画像データにおける各画素の各成分を（Ｒ’，Ｇ’，Ｂ’）で表すと、以下の式によりホワイトバランス制御を行うことができる。
【数２】
0003855256.tif 000003
【００５４】
ホワイトバランス制御後は、予めチューニングして作成したルックアップテーブルを参照して、トーンカーブ補正を行う（ステップＳ３１０）。このとき、ＲＧＢの各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズを低減させたり階調性を保持させたりする。その後、サムネール画像データを生成するとともにフラッシュメモリカード３７ｂに記憶させるに際して、ＪＰＥＧ画像圧縮処理を実行する（ステップＳ３１２）。
【００５５】
ここで、ステップＳ３１０にてトーンカーブ補正して生成された画像データは１６０×１０４画素であり、サムネール画像データの規格である１６０×１２０画素に対して縦方向において１６画素少なくなっている。そこで、本実施形態では、図７に示すようにステップＳ３１２のＪＰＥＧ画像圧縮処理にてサムネール画像データを生成するに際して、１６０×１０４画素の画像データの上下にそれぞれ帯状の８画素分の画素から構成される画像データを付加することによって、サムネール画像データの規格である１６０×１２０画素の画像データに変換してからサムネール画像データを生成する。このとき、本実施形態においては、付加する画像データを直流成分のみによって指定できる白色の画像データによって構成することによって、簡易に処理負荷をかけることなく、サムネール画像データの規格への変換を実現している。なお、主画像データもＲＡＭ３４の画像エリア３４ａに記録された画像データに基づいて生成されるので、サムネール画像は主画像に対応した画像となる。
【００５６】
次に、ステップＳ３１２にて実行されるＪＰＥＧ画像圧縮処理の処理内容について図８のフローチャートに示す。同図において、先ず、ステップＳ３１０にてトーンカーブ補正された１６０×１０４画素の画像データの上下に８×８画素の画像データを２０個横に並べた８×１６０画素の画像データを付加することによって、１６０×１２０画素の画像データを生成する（ステップＳ５０２）。そして、この１６０×１２０画素の画像データに基づいてＪＰＥＧ画像圧縮を行なう。このＪＰＥＧ画像圧縮は通常８×８画素のブロック単位で実行されるため、この１６０×１２０画素の画像データから８×８画素のブロックデータを取得する（ステップＳ５０４）。８×８画素のブロックデータを取得すると、その先頭画素の座標に基づいて、当該ブロックデータがステップＳ５０２にて付加した画像データであるか否かを判別する（ステップＳ５０６）。
【００５７】
付加された画像データでない場合、ステップＳ３１０にてトーンカーブ補正が実行された画像データであり、この画像データにＪＰＥＧ画像圧縮を行なうため、次の変換式（７）を用いてＲＧＢの画像データからＹｍＵＶの画像データに色変換する（ステップＳ５０８）。
【数３】
0003855256.tif 000004
【００５８】
そして、ＹｍＵＶに色変換した画像データを離散コサイン変換することによって、直流成分と交流成分に分解する（ステップＳ５１０）。一方、ステップＳ５０６にて８×８画素のブロックデータがステップＳ５０２にて付加した画像データであると判別された場合は、このブロックデータを白色の画像データに変換する（ステップＳ５１２）。ブロックデータを白色の画像データに変換する場合、図９に示すように当該ブロックデータのＹｍ成分、Ｕ成分、Ｖ成分を指定するに際して、Ｙｍ成分に白色を示す「０ｘ３Ｆ８」の直流成分を先頭画素データに設定する。そして、Ｙｍ成分の他の画素データを「０」に設定するとともに、Ｕ成分およびＶ成分の全画素を「０」に設定することによって８×８画素のブロックデータを白色の画像データとすることができる。
【００５９】
ステップＳ５１０にて離散コサイン変換された８×８画素のブロックデータおよびステップＳ５１２にて白色の直流成分が設定された８×８画素のブロックデータを量子化するとともに（ステップＳ５１４）、この量子化されたブロックデータを符号化する（ステップＳ５１６）。以上のステップＳ５０６〜Ｓ５１６の処理を全ブロックデータについて実行し（ステップＳ５１８）、全ブロックデータについて符号化までの処理が終了すると、サムネール画像データが生成されることになる（ステップＳ５２０）。
【００６０】
本実施形態においては、ステップＳ５１２にてステップＳ５０２において付加された８×８画素のブロックデータの画像データが白色になるように直流成分を設定することによって、データ設定が簡易であるとともに、ステップＳ５１４の量子化およびステップＳ５１６の符号化の処理負荷を低減することを可能にした。一方、このようにデータ設定が簡易であるとともに、処理負荷を低減することが可能な設定は、白色に限定されるものではなく、黒色であっても良い。
【００６１】
このときは図９に示したＹｍ成分の先頭画素データに黒色の直流成分を設定するとともに、他の画素データおよびＵ成分、Ｙ成分の全画素データに「０」を設定すれば良い。上述した態様では、上下に８×１６０画素の画像データを付加する構成を採用したが、１６０×１２０画素のサムネール画像データの規格に適合させる方法は限定されるものではなく、上下の何れか一方に１６×１６０画素の画像データを付加することによって、１６０×１０４画素の画像データを１６０×１２０画素の画像データに変換するようにしても良いことは言うまでもない。
【００６２】
また、本実施形態においては、ステップＳ３０２の画素数変換処理にて１８００×１２００画素から１６０×１０４画素に変換する構成を採用した。これにより、ステップＳ５０２にて画像データの上下あるいは何れか一方に８×８画素のブロックデータを適宜付加すればサムネール画像データの規格に適合させることが可能になった。ここで、ステップＳ３０２における画素数変換処理にて、１８００×１２００画素から任意の大きさに画素数を変換することを可能にした場合、上下あるいは何れか一方に８×８画素のブロックデータを付加しただけでは、サムネール画像データの規格に適合させることができない。かかる場合、ステップＳ３０２にて生成された画像データの大きさを検出し、この大きさに対応した画像データを付加することによって、サムネール画像データの規格に適合させるようにしても良い。
【００６３】
このように、１６０×１０４画素にて形成された画像データをサムネール画像データの規格である１６０×１２０画素の画像データに変換するに際して、白色の直流成分にて形成される８×１６０画素の画像データを上下に付加する。これによって、付加する画像データのデータ設定を簡易にすることができるとともに、直流成分のみの設定であるため、後処理の処理負荷を低減することが可能になる。
【図面の簡単な説明】
【図１】  本発明の圧縮画像データ生成装置が適用されるディジタルスチルカメラの概略構成を示すブロック図である。
【図２】  画像処理の主要な処理内容を示すフローチャートである。
【図３】  画像データ生成処理の処理内容を示したフローチャートである。
【図４】  サムネール生成処理の処理内容を示したフローチャートである。
【図５】  間引き処理の考え方の一例を説明する模式図である。
【図６】  画素変換処理の処理内容を示したフローチャートである。
【図７】  サムネール画像データの規格に適合させる態様を示した図である。
【図８】  ＪＰＥＧ画像圧縮処理の処理内容を示したフローチャートである。
【図９】  直流成分にて白色を設定する場合の各成分データを示した図である。
【符号の説明】
１０…ディジタルスチルカメラ
２０…光学部
２１…光学レンズ系
２２…オートフォーカス機構
２３…測距部
２４…オートフォーカスコントローラ
２５…コントローラ
２６…ＣＣＤ
２７…ストロボ
２８…オートゲインコントローラ（ＡＧＣ）
２９…Ａ／Ｄコンバータ
３０…制御部
３１…バス
３２…ＣＰＵ
３３…ＲＯＭ
３４…ＲＡＭ
３４ａ…画像エリア
３４ｂ…ワークエリア
３４ｃ…ビデオＲＡＭエリア
３５…操作パネル
３６…ＬＣＤパネル
３７ａ…Ｉ／Ｏ
３７ｂ…フラッシュメモリカード
【図１】
0003855256.tif 000005
【図２】
0003855256.tif 000006
【図３】
0003855256.tif 000007
【図４】
0003855256.tif 000008
【図５】
0003855256.tif 000009
【図６】
0003855256.tif 000010
【図７】
0003855256.tif 000011
【図８】
0003855256.tif 000012
【図９】
0003855256.tif 000013