(57)【特許請求の範囲】
【請求項１】
撮像素子にて取り込まれた画像情報に基づいて所定画素数の主画像データを生成する主画像データ生成手段と、上記画像情報に対応して同所定画素数よりも少ない画素数の副画像データを生成するとともに生成した副画像データに基づいて所定の表示手段に副画像を表示させる副画像データ生成手段とを備える画像データ生成装置であって、
上記副画像データ生成手段は、ソフトウェアに基づく処理により、上記画像情報に基づいて上記副画像データを生成するとともに上記表示手段に副画像を表示させ、
上記主画像データ生成手段は、ソフトウェアに基づく処理により、上記副画像データ生成手段にて上記副画像データが生成された後に該副画像データの生成に使用された上記画像情報に基づいて上記主画像データを生成することを特徴とする画像データ生成装置。
【請求項２】
上記主画像データ生成手段は、上記表示手段にて上記副画像が表示された後に上記主画像データを生成することを特徴とする請求項１に記載の画像データ生成装置。
【請求項３】
上記副画像データ生成手段は、上記画像情報をドットマトリクス状の画素で多階調表現した画像データの画素を間引く処理を行ってから上記副画像データを生成することを特徴とする請求項１または請求項２に記載の画像データ生成装置。
【請求項４】
上記画像情報に対応して上記副画像データの画素数よりも少ない画素数のサムネール画像データを生成するサムネール生成手段と、上記主画像データと同サムネール画像データとを対応させて所定の記憶媒体に記憶させる画像データ記憶手段とが設けられていることを特徴とする請求項１〜請求項３のいずれかに記載の画像データ生成装置。
【請求項５】
上記サムネール生成手段は、上記副画像データ生成手段にて作成された副画像データに基づいて上記サムネール画像データを生成することを特徴とする請求項４に記載の画像データ生成装置。
【請求項６】
上記サムネール生成手段は、上記副画像データの画素を間引く処理を行って上記サムネール画像データを生成することを特徴とする請求項５に記載の画像データ生成装置。
【請求項７】
上記表示手段は、上記副画像データを書き込み可能なメモリと、同副画像データの画素に対応した表示素子を有して同メモリに書き込まれた副画像データを読み込んで表示する液晶ディスプレイとからなり、上記副画像データ生成手段は、上記副画像データを上記メモリに書き込むことにより上記表示手段に副画像を表示させることを特徴とする請求項１〜請求項６のいずれかに記載の画像データ生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像素子にて取り込まれた画像情報に基づいて主画像データを生成するとともに、副画像データを生成して表示する画像データ生成装置に関する。
【０００２】
【従来の技術】
従来、この種の画像データ生成装置を備えるディジタルスチルカメラのような撮像装置では、カラーモザイクフィルタを介して撮像素子にて画像情報を取り込み、ハードウェアの画像処理回路により画素補間処理等の所定の処理を行って主画像データを生成し、同主画像データをフラッシュメモリカード等の記憶媒体に記憶させている。また、撮像装置は、撮像した画像情報をその場で確認可能とするための液晶ディスプレイを備えており、生成された主画像データから副画像データを生成して、副画像を液晶ディスプレイに表示する処理も行っている。
【０００３】
【発明が解決しようとする課題】
上述した従来の画像データ生成装置においては、画素補間処理等を行う画像処理回路が複雑になってしまう問題があった。
また、画像処理回路を簡素化させるため、ソフトウェアに基づく処理により主画像データを生成するとともに同主画像データから副画像データを生成することも考えられる。しかし、主画像データを生成するのに時間がかかるため、副画像が表示されるまでに時間がかかりすぎてしまい、この手法では実用化することができなかった。
本発明は、上記課題にかんがみてなされたもので、簡易な回路構成で、短時間にて副画像を表示することが可能な画像データ生成装置の提供を目的とする。
【０００４】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、撮像素子にて取り込まれた画像情報に基づいて所定画素数の主画像データを生成する主画像データ生成手段と、上記画像情報に対応して同所定画素数よりも少ない画素数の副画像データを生成するとともに生成した副画像データに基づいて所定の表示手段に副画像を表示させる副画像データ生成手段とを備える画像データ生成装置であって、上記副画像データ生成手段は、ソフトウェアに基づく処理により、上記画像情報に基づいて上記副画像データを生成するとともに上記表示手段に副画像を表示させ、上記主画像データ生成手段は、ソフトウェアに基づく処理により、上記副画像データ生成手段にて上記副画像データが生成された後に該副画像データの生成に使用された上記画像情報に基づいて上記主画像データを生成する構成としてある。
【０００５】
上記のように構成した請求項１にかかる発明においては、主画像データ生成手段は、撮像素子にて取り込まれた画像情報に基づいて所定画素数の主画像データを生成する。また、副画像データ生成手段は、同画像情報に対応して主画像データの画素数よりも少ない画素数の副画像データを同画像情報に基づいて生成するとともに、生成した副画像データに基づいて所定の表示手段に副画像を表示させる。ここで、主画像データ生成手段と副画像データ生成手段とは、ともにソフトウェアに基づいて上記処理を行う。そして、主画像データ生成手段は、副画像データ生成手段にて副画像データが生成された後に該副画像データの生成に使用された上記画像情報に基づいて主画像データを生成する。
すると、主画像データの生成を待つことなく副画像データが生成されるので、短時間にて副画像を表示することが可能となる。また、主画像データの生成をハードウェアの画像処理回路にて行う必要が無くなるので、回路構成を簡素化させることができる。
【０００６】
主画像データ生成手段は、副画像データが生成された後に主画像データを生成すればよく、その構成の一例として、請求項２にかかる発明は、上記主画像データ生成手段は、上記表示手段にて上記副画像が表示された後に上記主画像データを生成する構成としてある。すなわち、主画像データの生成を待つことなく副画像が表示されるので、より確実に短時間にて副画像を表示することが可能となる。むろん、主画像データを生成する処理と副画像を表示する処理を並行して行うようにしてもよい。
【０００７】
副画像データ生成手段が主画像データの画素数よりも少ない画素数の副画像データを生成する構成の一例として、請求項３にかかる発明は、上記副画像データ生成手段は、上記画像情報をドットマトリクス状の画素で多階調表現した画像データの画素を間引く処理を行ってから上記副画像データを生成する構成としてある。すなわち、副画像データを生成する簡易な構成を提供することができ、副画像データを生成する処理時間が短くて済む。むろん、副画像データは様々な処理により生成することが可能であり、本画像データ生成装置の使用環境に応じて、例えば、上記画像データの複数の画素に対応したデータに対して平均する処理を行ってから上記副画像データを生成するようにしてもよい。
【０００８】
ところで、主画像を所定の記憶媒体に記憶させ、同記憶媒体から選択して読み出す際、主画像よりもデータサイズの小さい参照用の画像データがあると好適である。そこで、請求項４にかかる発明は、上記画像情報に対応して上記副画像データの画素数よりも少ない画素数のサムネール画像データを生成するサムネール生成手段と、上記主画像データと同サムネール画像データとを対応させて所定の記憶媒体に記憶させる画像データ記憶手段とが設けられている構成としてある。すなわち、記憶媒体に記憶された主画像データを選択して読み出す際に、サムネール画像データを参照することにより素早く選択することができる。
【０００９】
また、サムネール画像データを生成する構成の一例として、請求項５にかかる発明は、上記サムネール生成手段は、上記副画像データ生成手段にて作成された副画像データに基づいて上記サムネール画像データを生成する構成としてある。すなわち、データサイズが比較的小さい副画像データからサムネール画像データを生成するため、サムネール画像生成処理を短縮させることができる。
【００１０】
さらに、請求項６にかかる発明は、上記サムネール生成手段は、上記副画像データの画素を間引く処理を行って上記サムネール画像データを生成する構成としてある。すなわち、サムネール画像データを生成する簡易な構成を提供することができ、サムネール画像データを生成する処理時間が短くて済む。むろん、サムネール画像データは様々な処理により生成することが可能であり、本画像データ生成装置の使用環境に応じて、例えば、副画像データの複数の画素に対応するデータに対して平均する処理を行ってから上記副画像データを生成するようにしてもよい。また、副画像データではなく、上記画像情報をドットマトリクス状の画素で表現した画像データに基づいて、サムネール画像データを生成してもよい。
【００１１】
ところで、副画像データ生成手段がソフトウェアに基づく処理により副画像を表示させる構成の一例として、請求項７にかかる発明は、上記表示手段は、上記副画像データを書き込み可能なメモリと、同副画像データの画素に対応した表示素子を有して同メモリに書き込まれた副画像データを読み込んで表示する液晶ディスプレイとからなり、上記副画像データ生成手段は、上記副画像データを上記メモリに書き込むことにより上記表示手段に副画像を表示させる構成としてある。すなわち、副画像データ生成手段は副画像データをメモリに書き込むのみにて副画像を液晶ディスプレイに表示させることができるので、副画像データ生成手段の行う処理時間が少なくて済む。ここで、副画像データの画素と液晶ディスプレイの表示素子とは１対１に対応している必要はなく、例えば、副画像データの１画素を液晶ディスプレイの複数の表示素子に対応させて表示させてもよい。
【００１２】
上述したように、ソフトウェアに基づく処理により副画像データが生成された後に主画像データを生成する際の手法は、必ずしも実体のある装置に限られる必要はなく、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。したがって、本発明は方法としても適用可能であり、基本的には同様の作用となる。すなわち、その方法としても有効であり、請求項２〜請求項７に記載された装置構成を当該方法に対応させることが可能であることは言うまでもない。
【００１３】
また、本発明を実施しようとする際に、画像データ生成装置にて所定のプログラムをコンピュータに実行させる場合もある。そこで、画像データ生成プログラムにかかる発明においても、基本的には同様の作用となり、請求項２〜請求項７に記載された装置構成を当該プログラムに対応させることが可能であることは言うまでもない。
【００１４】
さらに、本発明を実施しようとする際に、上記プログラムを記録した媒体が流通し、コンピュータにそのプログラムを実行させる場合もある。そこで、画像データ生成プログラムを記録した媒体にかかる発明においても、基本的には同様の作用となる。また、請求項２〜請求項７に記載された装置構成を当該プログラムを記録した媒体に対応させることが可能であることは言うまでもない。
【００１５】
ここで、コンピュータで読み取り可能な記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一部がソフトウェアであって、一部がハードウェアで実現される場合においても本発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む形態のものも含まれる。さらに、一次複製品、二次複製品などの複製段階については全く問う余地なく同等である。
【００１６】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、簡易な回路構成で、短時間にて副画像を表示することが可能な画像データ生成装置を提供することができる。
また、請求項２にかかる発明によれば、より確実に短時間にて副画像を表示することが可能となる。
さらに、請求項３にかかる発明によれば、簡易な構成で、短時間にて副画像データを生成することができる。
さらに、請求項４にかかる発明によれば、記憶媒体に記憶された主画像データを選択して読み出す際に、サムネール画像データを参照することにより素早く選択することができるので、利便性を向上させることができる。
【００１７】
さらに、請求項５にかかる発明によれば、サムネール画像生成処理を短縮させることが可能となる。
さらに、請求項６にかかる発明によれば、簡易な構成で、短時間にてサムネール画像データを生成することができる。
さらに、請求項７にかかる発明によれば、短時間にて副画像を表示させることができる。
【００１８】
【発明の実施の形態】
以下、下記の順序に従って本発明の実施形態を説明する。
（１）画像データ生成装置が適用されるディジタルスチルカメラの概略構成：
（２）第一の実施形態にかかる画像データ生成装置の動作の全体像：
（３）確認画像データを生成する処理：
（４）サムネール画像データを生成する処理：
（５）主画像データを生成する処理：
（６）生成した画像データを記憶させる処理：
（７）第二の実施形態：
【００１９】
（１）画像データ生成装置が適用されるディジタルスチルカメラの概略構成：
図１は、本発明の第一の実施形態にかかる画像データ生成装置が適用されるディジタルスチルカメラの概略構成をブロック図により示している。
ディジタルスチルカメラ１０は、光学部２０と、ＣＰＵ３２を核とする制御部３０とから構成されている。光学部２０は、光学レンズ系２１と、オートフォーカス機構２２と、測距部２３と、オートフォーカスコントローラ２４とを備え、オートフォーカスコントローラ２４がコントローラ２５からの制御信号に基づいて測距部２３にて被写体までの距離を測定しつつオートフォーカス機構２２にて光学レンズ系２１を駆動してピントを合わせる。光学レンズ系２１にて被写体像を結像するのは撮像素子としてのＣＣＤ２６の撮像面であり、本ＣＣＤ２６は１８００×１２００画素を有する単板で構成されている。単板で構成しているため、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成してある。なお、シャッターについては電子シャッターとともにメカニカルシャッターを備えているが、メカニカルシャッターについては図示を省略している。
【００２０】
この他、光学部２０にはストロボ２７も備えられており、コントローラ２５からの駆動信号に応じて所定光量および所定回数の発光を行う。これにより、赤目防止であるとかスローシンクといった撮影を実現している。なお、ＣＣＤ２６が出力するアナログ量の電気信号を増幅するオートゲインコントローラ（ＡＧＣ）２８が備えられ、増幅後のアナログ電気信号をディジタル値に変換して出力するＡ／Ｄコンバータ２９が備えられている。
むろん、以上の光学部２０については、ディジタルスチルカメラ１０としての一般的な構成の一例に過ぎず、各種の変更が可能であることはいうまでもない。例えば、光学レンズ系２１にはズームレンズを備えることもできるし、あるいは固定焦点としてオートフォーカスの機能を備えない廉価なものであっても良い。
【００２１】
また、制御部３０はバス３１を備えており、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰＵ３２はＲＯＭ３３に書き込まれたファームウェアを実行して光学部２０の制御や画像処理の演算等を実行するものであり、その際にＲＡＭ３４は画像データを保存する画像エリア３４ａとして機能したり演算処理のためのワークエリア３４ｂとして機能したりする。ＣＰＵ３２が光学部２０を制御する際には、コントローラ２５に対して制御信号を出力し、同コントローラ２５が各構成回路などに対して適宜制御信号を生成して出力する。
【００２２】
制御部３０はマンマシンインターフェイスとしての機能も有しており、操作ボタンなどを配置した操作パネル３５と、撮影画像や操作指示などを表示する液晶ディスプレイであるＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネル３５の操作を監視し、適宜、操作を受けつつ対応する制御を実行する。ＬＣＤパネル３６は後述する確認画像の画像データの画素に対応した横７２０×縦４８０ドット分の表示素子を有しており、ＬＣＤパネル３６への表示はＲＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに対してＣＰＵ３２が所定のデータを書き込むことにより、ＬＣＤパネル３６に備えられたディスプレイコントローラが適宜同データを読み込んで表示を行う。本発明にいう表示手段は、ＬＣＤパネル３６とビデオＲＡＭエリア３４ｃとから構成される。そして、撮影され、所定の画像処理を経て生成される画像データはＩ／Ｏ３７ａを介して外部の記憶媒体であるフラッシュメモリカード３７ｂに書き込まれ、また、必要に応じて同フラッシュメモリカード３７ｂから読み出される。
【００２３】
制御部３０の構成もこの種のディジタルスチルカメラ１０の典型例であって、各種の変更が可能である。例えば、外部記憶媒体の種類については適宜他の種類のものに置き換えることは容易であるし、さらには着脱可能な記憶媒体とのインターフェイスを備えなくてもＵＳＢインターフェイスを介してコンピュータに画像データを出力するようにしてもよい。また、表示部としてＬＣＤパネルに付随した別のＬＣＤ表示器を備えてもよいし、ＣＰＵ３２については制御対象が異なる複数のＣＰＵを備えても良い。
光学部２０で撮像された画像はＣＣＤ２６からアナログ電気信号として出力された後、ＡＧＣ２８を経てＡ／Ｄコンバータ２９にてディジタルデータに変換され、さらにバス３１を介してＲＡＭ３４の画像エリア３４ａに記録される。そして、ＣＰＵ３２が所定の画像処理を実行することによりＪＰＥＧ画像データに変換されて上述したフラッシュメモリカード３７ｂに書き込まれることになる。図２は、この画像処理の主要な流れを示している。細部においては後述するような具体的な処理が実行されるものの、概略的にはこの流れに従って処理を進めている。まず、この概略について説明する。
【００２４】
ステップＳ１０２では、欠陥画素補間を実行する。およそ２００万画素を有するＣＣＤ２６には欠陥画素は避けられず、所定の基準値以下のものであれば良品として供給される。このため、良品の範囲内での欠陥画素については同色画素だけを基準とした５×５画素のメヂアンフィルタを使用して補う。すなわち、欠陥画素がシアンの画素であるとすると、この欠陥画素の周囲に位置する５×５のシアン画素の出力値を順番に並べ、中央値を欠陥画素の値とする。なお、欠陥画素自体の検出は光学部２０において既にされている。
次のステップＳ１０４ではホワイトバランスの測定を行う。撮影時の光源の種類、およびＣＣＤ２６とカラーフィルタとの組合せによっては、ホワイトバランスがずれることがあり、本実施形態においては、各撮影ごとにステップＳ１０４にてホワイトバランスを測定し、その結果を反映させてずれを少なくするようにステップＳ１１０にてホワイトバランスの制御をする。ホワイトバランスを測定するときには平均化処理でデータサイズを小さくした１１３×７５画素の画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りとＢ成分の偏りを測定する。なお、本ＣＣＤ２６は補色系のカラーフィルタを備えており、補色系であることを踏まえて制御をしている。
【００２５】
本実施形態では三種類の画像を生成する。一つ目は本発明にいう副画像である確認画像であり、二つ目はサムネール画像であり、三つ目は主画像である。確認画像は撮影後速やかにＬＣＤパネル３６に表示するための画像であり、７２０×２４０画素の画像データで構成される。なお、ＬＣＤパネル３６は横７２０×縦４８０ドットとされているため、１画素を横１×縦２ドットに対応させて確認画像を表示する。サムネール画像は主画像とともに画像データとして記録されるものであり１６０×１２０画素の画像データで構成される。主画像は操作者の選択によって三つのサイズを選択可能であり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙｐｉｃｔ２という高解像度化した２１６０×１４４０画素かのいずれかである。
【００２６】
図２において、ステップＳ１０６〜ステップＳ１１４は破線で囲む表示をしてあり、少なくともこれらの処理は生成される三種類の画像ごとに実施される。ステップＳ１０６ではデータ補間を実施する。ＣＣＤ２６は単板で構成され、２００万画素を有しているものの全画素のそれぞれで色情報が完結しているわけではない。すなわち、ある画素についてはシアンの情報だけ、ある画素についてはマゼンタの情報だけ、ある画素についてはイエローの情報だけ、ある画素についてはグリーンの情報だけとなっている。このデータをモザイクデータと呼ぶ。データ補間では各画素に対して不足する他の色の情報を補うことにより、各画素ごとに色情報を完結させるための処理である。不足する情報は注目画素に隣接して取り囲む８画素に含まれる色情報の平均値である。例えば、シアン画素（Ｃ１）の周囲にはイエローの画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）存在する。従って、このシアン画素の色情報（Ｃ，Ｍ，Ｙ，Ｇ）については、
Ｃ＝Ｃ１                            ・・・（１）
Ｍ＝（Ｍ１＋Ｍ２）／２              ・・・（２）
Ｙ＝（Ｙ１＋Ｙ２）／２              ・・・（３）
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４  ・・・（４）
として計算する。
【００２７】
ステップＳ１０８では、表色系を変えてＲＧＢ画像データに変換する。変換のための一般式も存在するが、実際には単純な一般式を利用するのではなく、チューニングを施したルックアップテーブルを利用したり行列式を利用したりして変換を行う。ＲＧＢ画像データに変換後、ステップＳ１１０では、上述したようにＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくする制御を実行する。
次のステップＳ１１２ではトーンカーブ補正を行う。トーンカーブ補正はいわゆるγ補正とも呼ばれ、このときに各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズの低減や階調性の保持のためにγカーブ自体についての調整も行っている。トーンカーブ補正自体はルックアップテーブルを利用しており、予めチューニングして作成した１０ビット→８ビットのルックアップテーブルを参照して変換する。
【００２８】
この後、ＪＰＥＧ画像圧縮技術を利用するため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する（ステップＳ１１４）。なお、輝度とイエローを区別するため、以後において輝度はＹｍと表示し、また、後述するようにモザイクカラーデータから直接導き出す輝度を単純輝度Ｙｓとして表示することにする。ＲＧＢ表色系からＹＵＶ表色系への色変換は一般式あるいは行列式を利用して変換する。
なお、モザイクカラーデータからＹＵＶ表色系への変換の一般式は、
Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
となっているが、実際には上述したようなチューニングやホワイトバランスの制御が実施され、この通りの対応関係を採用しているわけではない。
【００２９】
ステップＳ１１６とステップＳ１１８は主画像の作成の際にのみ実施される処理である。ノイズ除去は色成分としてＵＶ成分についてのみいわゆるローパスフィルタを適用する演算を行う。すなわち、色変化が急峻すぎるものについては押さえ気味に作用する。また、エッジ強調は輝度成分についてのみ当該輝度成分に基づくエッジ量に非線形関数（例えば、コアリング関数）を適用し、非線形関数値を算出し、同非線形関数値を元の輝度成分に加重して演算している。従って、隣接する画素間で輝度値が変化する場合にそのエッジ量を算出し、当該エッジ量の絶対値が大きければその変化量を大きく輝度値に反映させるし、同絶対値が小さければ元輝度値はほぼ元のままの値となる。
以上が画像処理の概略であるが、上記手順は実際の演算処理において複数の処理を同時に行うなどすることにより、演算処理時間の短縮を図ることも行う。
【００３０】
撮影は上述した三種類の画像ごとに上述したソフトウェアに基づく画像処理を実行し、確認画像をＬＣＤパネル３６に表示するとともに、最終的にはサムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込むことによって完了する。この他にも、本ディジタルスチルカメラにはフラッシュメモリカード３７ｂから画像データを読み込んでＬＣＤパネル３６に表示したり、データの削除や各種の設定を実行可能であるが、これについては一般的な技術を適用可能であるので説明を省略する。
【００３１】
（２）第一の実施形態にかかる画像データ生成装置の動作の全体像：
なお、上述した三種類の画像の画像データを生成するにあたり、ハードウェアの画像処理回路により画素補間処理等の所定の処理を行って主画像データを生成し、生成した主画像データから確認画像データやサムネール画像データを生成する手法もある。しかし、この手法では、画素補間処理等を行う画像処理回路が複雑になってしまい、コストアップにつながってしまう。
また、画像処理回路を簡素化させるため、ソフトウェアに基づく処理により主画像データを生成するとともに同主画像データから確認画像データを生成することも考えられる。しかし、主画像データを生成するのに時間がかかるため、確認画像が表示されるまでに時間がかかりすぎてしまうことになる。これでは、実用化は困難である。
そこで、本画像データ生成装置は、三種類の画像データを生成する順序を工夫することにより、ソフトウェアに基づく処理により三種類の画像データを生成することにしている。
図３は、上述した三種類の画像データを生成する流れをフローチャートにより示している。
上述したように、ＲＡＭ３４の画像エリア３４ａに記録された画像データは、１８００×１２００のドットマトリクス状の画素で多階調表現されている。本実施形態の場合、各画素に１０ビットを割り当てた１０２４階調としている。しかし、各画素のそれぞれで色情報が完結しているわけではなく、図４の左側に示すように、各要素色であるＣＭＹＧ別にモザイク状に配置されたモザイクデータとされている。また、全画素のうちデータの無い欠陥画素もある。そこで、まず、光学部２０において検出された欠陥画素について、同色画素だけを基準とした５×５画素のメヂアンフィルタを使用し、欠陥画素補間を実行する（ステップＳ２０２）。
【００３２】
次に、ホワイトバランスの測定を行う（ステップＳ２０４）。すなわち、全画素のうち、１６×１６画素のデータを平均してデータサイズを小さくした１１３×７５画素の縮小画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りを補正するホワイトバランス係数Ｒｃと、同Ｇ成分を基準としたＢ成分の偏りを補正する係数Ｂｃを算出する。ここで、ホワイトバランス係数Ｒｃ，Ｂｃは様々な手法により算出することができる。例えば、以下のようにして、ホワイトバランス係数Ｒｃ，Ｂｃを算出すればよい。
まず、ＣＭＹＧの縮小画像データから上記単純輝度Ｙｓを算出し、縮小画像データを所定の換算式によりＲＧＢデータに変換する。次に、ＲＧＢの縮小画像データを単純輝度Ｙｓの大きさの順に画素数が均等となるように所定の帯域に分け、各帯域内で、Ｇ成分の総和をＲ成分の総和で除したもの（Ｒｃｉとする）と、Ｇ成分の総和をＢ成分の総和で除したもの（Ｂｃｉとする）を算出する。さらに、Ｒｃｉ，Ｂｃｉが１よりも小さい場合は、Ｒｃｉ，Ｂｃｉを一時的に逆数に置き換える。そして、各Ｒｃｉ，Ｂｃｉについて、評価関数
Ｅｉ ＝ ｜１−Ｒｃｉ｜ ＋ ｜１−Ｂｃｉ｜
を求め、逆数に置き換えたＲｃｉ，Ｂｃｉを元に戻して評価関数Ｅｉが最も小さくなるＲｃｉ，Ｂｃｉを取得し、ホワイトバランス係数Ｒｃ，Ｂｃとすることができる。むろん、この手法は一例に過ぎないため、他の一般的な手法を採用してもよいし、本ディジタルスチルカメラの特性に最も合うように他の手法を検討して採用することも可能である。
【００３３】
その後、確認画像データを生成する確認画像生成処理（ステップＳ２０６）、サムネール画像データを生成するサムネール生成処理（ステップＳ２０８）、主画像データを生成する主画像生成処理（ステップＳ２１０）を順番に行う。その際、ステップＳ２０４で算出したホワイトバランス係数Ｒｃ，ＢｃをステップＳ２０６〜Ｓ２１０のすべての処理に使用する。そして、主画像データとサムネール画像データとを圧縮してフラッシュメモリカード３７ｂに記憶させる画像データ記憶処理を行い（ステップＳ２１２）、本フローを終了する。
【００３４】
（３）確認画像データを生成する処理：
以下、ステップＳ２０６〜Ｓ２１２の各処理の詳細を説明する。
図５は、上記確認画像生成処理をフローチャートにより示している。
光学部２０で撮像された画像情報は、ドットマトリクス状の画素で多階調表現した画像データとしてＲＡＭ３４の画像エリア３４ａに記録されている。同画像データは１８００×１２００画素で表現され、ＣＭＹＧ別のモザイクデータとされているが、撮像した画像をＬＣＤパネル３６に表示させるには、７２０×２４０画素の画像データにする必要がある。そこで、まず、１８００×１２００画素のモザイクデータを７２０×２４０画素のモザイクデータに変換する画素数変換処理を行う（ステップＳ３０２）。
この画素数変換処理は、画像データの１８００×１２００画素を間引く処理により行う。ここで、１８００×１２００画素の１８００画素を横方向、１２００画素を縦方向とすると、横７２０×縦２４０画素とするには、横方向の画素が７２０／１２００＝１／２．５、縦方向の画素が２４０／１２００＝１／５となるように間引く必要がある。図４は、この間引き処理の考え方の一例を説明する模式図である。
【００３５】
記録された画像データ４１のある座標４１ａを基準として、横方向に２．５画素間隔、縦方向に５画素間隔の座標を考える（図では、各座標の位置を四角で囲っている）。また、基準の座標４１ａ（図ではＧの画像データが格納されている）については、間引き後の画像データ４２の基準の画素４２ａに同色要素Ｇのデータを格納するものとする。
ここで、縦方向については５画素間隔となるので、基準の座標４１ａの５画素下の座標４１ｂはＹのデータとなる。そこで、同座標４１ｂについては、画素４２ａの一つ下の画素４２ｂに同色要素Ｙのデータを格納することができる。同様にして、基準の座標４１ａと同じ列の座標については、間引き後の画像データ４２の基準の画素４２ａと同じ列に同要素色のデータを格納することができる。
【００３６】
しかし、横方向については２．５画素間隔となるので、基準の座標４１ａの２．５画素右の座標４１ｃは記録された画像データ４１の二つの画素にまたがっている。そこで、同二つの画素のうち、間引き後の画像データ４２に格納すべきＭのデータを取得して、画素４２ｃに格納する。座標４１ｃの５画素下の座標４１ｄ等、同じ列の座標についても同様である。
また、座標４１ｃの２．５画素右の座標４１ｅについては、間引き後の画像データ４２の画素４２ｅにＧのデータを格納すべきであるのに対し、Ｇとは異なるＭのデータとなっている。そこで、座標４１ｅに近隣した画素のうちＧのデータが格納された画素（図では、座標４１ｅの左隣と右隣）のデータを取得し、これらのデータを平均して画素４２ｅに格納する。座標４１ｅの５画素下の座標４１ｆ等、同じ列の座標についても同様である。さらに、座標４１ｅの２．５画素右の座標４１ｇについては、記録された画像データ４１の二つの画素にまたがるので、間引き後の画像データ４２に格納すべきＭのデータを取得して、画素４２ｇに格納する。座標４１ｇの５画素下の座標４１ｈ等、同じ列の座標についても同様である。
【００３７】
以上の考えに基づいた画素数変換処理を示すフローチャートの一例を、図６に示している。なお、図のフローを行う前提として、間引き後の画像データ４２を記憶する領域がＲＡＭ３４のワークエリア３４ｂに設けられている。
まず、抽出する画素の座標を算出し（ステップＳ４０２）、この座標の画素の要素色が間引き後の画像データ４２に格納するデータの要素色と同じかどうかを判断する（ステップＳ４０４）。ここで、座標が複数（本例の場合は二つのみ）の画素にまたがっている場合には、同複数の画素のうちいずれか一つが画像データ４２に格納するデータの要素色と同じであれば条件成立としている。例えば、図４の座標４１ａ，４１ｃ，４１ｇに座標がある場合に条件成立となる。条件成立の場合、間引き後の画像データ４２に格納するデータの要素色の画像データを取得し（ステップＳ４０６）、ステップＳ４１２に進む。
一方、図４の座標４１ｅに座標があるときのように、ステップＳ４０４で条件不成立の場合、座標に近隣した画素から画像データ４２に格納するデータの要素色と同じ要素色の画像データを取得し（ステップＳ４０８）、取得した画像データを平均して（ステップＳ４１０）、ステップＳ４１２に進む。
【００３８】
ステップＳ４１２では、取得した画像データを、間引き後の画像データ４２を記憶する領域に格納する。そして、次の座標があるかどうかを判断し（ステップＳ４１４）、次の座標がある場合には再びステップＳ４０２〜Ｓ４１４の処理を行い、次の座標が無い場合には本フローを終了する。
このようにして、ＲＡＭ３４の画像エリア３４ａに記録された画像データの画素を間引く処理を行うことができる。その結果、７２０×２４０画素のモザイクデータを生成する処理時間が短くて済む。
【００３９】
画素数変換処理が終了すると、７２０×２４０画素のモザイクデータに対してデータ補間を実施する（ステップＳ３０４）。すなわち、上記補間式（１）〜（４）を用いて、各画素に対して不足する他の色の情報を注目画素に隣接して取り囲む８画素に含まれる色情報の平均値とするように計算する。
次に、一般式に基づいてチューニングを施した行列式Ａ１を利用して、ＣＭＹＧの画像データをＲＧＢの画像データに色変換する（ステップＳ３０６）。すなわち、ＣＭＹＧの画像データの各画素の各成分を（Ｃ，Ｍ，Ｙ，Ｇ）、ＲＧＢの画像データの各画素の各成分を（Ｒ，Ｇ，Ｂ）で表すと、ＲＧＢの画像データは以下の式により演算することができる。
【数１】
0004150878.tif 000002
【００４０】
さらに、ステップＳ２０４で算出したホワイトバランス係数Ｒｃ，ＢｃによりＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくするホワイトバランス制御を行う（ステップＳ３０８）。すなわち、補正後のＲＧＢの画像データにおける各画素の各成分を（Ｒ’，Ｇ’，Ｂ’）で表すと、以下の式によりホワイトバランス制御を行うことができる。
【数２】
0004150878.tif 000003
【００４１】
ホワイトバランス制御後は、予めチューニングして作成したルックアップテーブルを参照して、トーンカーブ補正を行う（ステップＳ３１０）。このとき、ＲＧＢの各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズを低減させたり階調性を保持させたりする。
このようにして生成した画像データが、本発明にいう副画像データである確認画像データとなる。
なお、ＲＡＭ３４のビデオＲＡＭエリア３４ｃにはＹｍＵＶの８ビットの画像データを書き込む仕様となっており、ＬＣＤパネル３６に送出される画像データはＹｍＵＶの画像データの状態でビデオＲＡＭエリア３４ｃからハードウェアの回路にて読み出される。そこで、一般的な行列式Ａ２を用いて、ＲＧＢの画像データをＹｍＵＶの画像データに色変換する処理を行う（ステップＳ３１２）。すなわち、ＹｍＵＶの画像データの各画素の各成分を（Ｙｍ，Ｕ，Ｖ）で表すと、ＲＧＢの画像データの各画素の各成分（Ｒ’，Ｇ’，Ｂ’）からＹｍＵＶの画像データは以下の式により演算することができる。
【数３】
0004150878.tif 000004
【００４２】
そして、生成したＹｍＵＶの確認画像データをＲＡＭ３４のビデオＲＡＭエリア３４ｃに書き込み（ステップＳ３１４）、本フローを終了する。
すると、ＬＣＤパネル３６に備えられたディスプレイコントローラがビデオＲＡＭエリア３４ｃに書き込まれた確認画像データを読み込んで、ＬＣＤパネル３６に確認画像を表示する。なお、主画像データもＲＡＭ３４の画像エリア３４ａに記録された画像データに基づいて生成されるので、確認画像は主画像に対応した画像となる。
このように、図５に示す確認画像生成処理は、ソフトウェアに基づく処理により、撮像素子にて取り込まれた画像情報に対応して主画像データの画素数よりも少ない画素数の副画像データを生成するとともに生成した副画像データに基づいて所定の表示手段に副画像を表示させる副画像データ生成手段を構成する。
【００４３】
（４）サムネール画像データを生成する処理：
確認画像データを生成すると、図３のステップＳ２０８のサムネール生成処理を行う。
図７は、上記サムネール生成処理をフローチャートにより示している。なお、ステップＳ５０２〜Ｓ５１２については、上記確認画像生成処理と概略同様の処理を行うことになる。
まず、１８００×１２００画素のモザイクデータを１６０×１０４画素のモザイクデータに変換する画素数変換処理を行う（ステップＳ５０２）。この画素数変換処理では、横方向の画素が１６０／１８００＝１／１１．２５、縦方向の画素が１０４／１２００＝１／１１．５４となるように間引く処理を行う。
この処理は、図６で示したフローチャートにより行うことができる。すなわち、抽出する画素の座標を算出し、この座標の画素の要素色が間引き後の画像データに格納するデータの要素色と同じかどうかを判断する（ステップＳ４０２〜Ｓ４０４）。座標が複数の画素にまたがっている場合には、同複数の画素のうちいずれか一つが上記格納するデータの要素色と同じであれば条件成立とする。条件成立の場合、上記格納するデータの要素色の画像データを取得し（ステップＳ４０６）、条件不成立の場合、座標に近隣した画素から上記格納するデータの要素色と同じ要素色の画像データを取得し、取得した画像データを平均する（ステップＳ４０８〜Ｓ４１０）。その後、取得した画像データを、間引き後の画像データを記憶する領域に格納し、次の座標があるかどうかを判断する（ステップＳ４１２〜Ｓ４１４）。次の座標がある場合には再びステップＳ４０２〜Ｓ４１４の処理を行い、次の座標が無い場合には本フローを終了する。
このようにして画像エリア３４ａに記録された画像データの画素を間引く処理を行うことができ、１６０×１０４画素のモザイクデータを生成する処理時間が短くて済む。
【００４４】
画素数変換処理が終了すると、上記補間式（１）〜（４）を用いて、１２０×１０４画素のモザイクデータに対してデータ補間を実施する（ステップＳ５０４）。次に、上記変換式（５）、（６）を用いて、ＣＭＹＧの画像データをＲＧＢの画像データに色変換し（ステップＳ５０６）、ＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくするホワイトバランス制御を行う（ステップＳ５０８）。さらに、チューニングして作成したルックアップテーブルを参照して、ＲＧＢの各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、トーンカーブ補正を行う（ステップＳ５１０）。
その後、フラッシュメモリカード３７ｂにサムネール画像データを記憶させる際にＪＰＥＧ画像圧縮を行うため、上記変換式（７）を用いてＲＧＢの画像データをＹｍＵＶの画像データに色変換する（ステップＳ５１２）。
【００４５】
ここで、生成した画像データは１６０×１０４画素であり、サムネール画像の規格である１６０×１２０画素に対して縦方向において１６画素少なくなっている。そこで、本実施形態では、１６０×１０４画素の画像データの上下にそれぞれ帯状の８画素分の白色画素を付加し、１６０×１２０画素の画像データに変換して（ステップＳ５１４）、本フローを終了する。そして、生成した画像データが、本発明にいうサムネール画像データとなる。なお、主画像データもＲＡＭ３４の画像エリア３４ａに記録された画像データに基づいて生成されるので、サムネール画像は主画像に対応した画像となる。
このように、図７に示すサムネール生成処理は、撮像素子にて取り込まれた画像情報に対応して副画像データの画素数よりも少ない画素数のサムネール画像データを生成するサムネール生成手段を構成する。
【００４６】
（５）主画像データを生成する処理：
サムネール画像データを生成すると、図３のステップＳ２１０の主画像生成処理を行う。なお、主画像生成処理では、図２のステップＳ１０６〜Ｓ１１８の処理を行うので、図２を用いて説明することにする。また、ステップＳ１０６〜Ｓ１１４の処理ついては、確認画像生成処理やサムネール生成処理と概略同様の処理を行うので、詳細な説明を省略する。
【００４７】
主画像データを生成する際には、ＲＡＭ３４の画像エリア３４ａに記録された画像データを間引くことなくそのまま使用する。そこで、まず、上記補間式（１）〜（４）を用いて、１８００×１２００画素のモザイクデータに対してデータ補間を実施する（ステップＳ１０６）。次に、上記変換式（５）、（６）を用いて、ＣＭＹＧの画像データをＲＧＢの画像データに色変換し（ステップＳ１０８）、ＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくするホワイトバランス制御を行う（ステップＳ１１０）。さらに、チューニングして作成したルックアップテーブルを参照して、ＲＧＢの各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、トーンカーブ補正を行う（ステップＳ１１２）。その後、フラッシュメモリカード３７ｂにサムネール画像データを記憶させる際にＪＰＥＧ画像圧縮を行うため、上記変換式（７）を用いてＲＧＢの画像データをＹｍＵＶの画像データに色変換する（ステップＳ１１４）。
なお、主画像は操作者の選択によって三つのサイズを選択可能である。そこで、図示していないが、１８００×１２００画素の画像データについて、Ｅ−ｍａｉｌ画像が選択された場合には７２０×４８０画素の画像データに変換し、Ｈｙｐｉｃｔ２が選択された場合には２１６０×１４４０画素の画像データに変換し、Ｐｒｉｎｔ画像が選択された場合には画素数の変換を行わないようにしている。
【００４８】
主画像生成処理では、さらに、ＹｍＵＶの画像データのうち、ＵＶ成分についてのみ３×３のいわゆるローパスフィルタを適用してノイズ除去を行う（ステップＳ１１６）。すなわち、ＵＶ各成分についてそれぞれ注目画素を中心とした３×３の画像データを取得し、ＵＶ各成分それぞれ９個の画像データに対してフィルタの係数を乗じた総和を注目画素の画像データとする。その結果、色変化が急峻すぎるものについては、押さえ気味のデータに置き換えられる。
その後、ＹｍＵＶの画像データのうち、Ｙｍ成分についてエッジ強調を行い（ステップＳ１１８）、本フローを終了する。エッジ強調では、まず、輝度成分についてのみ３×３のいわゆるラプラシアンフィルタを使用してエッジ量を算出する。例えば、Ｙｍ成分について注目画素を中心とした３×３の画像データを取得し、９個の画像データに対してフィルタの係数を乗じた総和をエッジ量とする。次に、エッジ量を非線形関数に代入して非線形関数値を算出し、ＹｍＵＶの画像データのＹｍ成分に算出した非線形関数値を加重する。その結果、隣接する画素間で輝度値が大きく変化する場合にその変化量を大きく輝度値に反映させ、変化が小さい場合は元輝度値はほぼ元のままの値となる。
【００４９】
このように、主画像生成処理は、ソフトウェアに基づく処理により、撮像素子にて取り込まれた画像情報に基づいて所定画素数の主画像データを生成する主画像データ生成手段を構成する。そして、生成する主画像データのデータサイズが大きいとともに画質向上のためノイズ除去やエッジ強調を行うため、処理に時間がかかることになる。なお、試作機にて計測したところ、主画像データを生成する処理時間は約２秒であった。
しかし、ソフトウェアに基づく処理により確認画像データが生成された後に主画像データを生成するようにしたので、主画像データが生成される前に上記確認画像生成処理にて確認画像データが生成され、ＬＣＤパネル３６に確認画像が表示される。すなわち、ディジタルスチルカメラの使用者は、短時間にて確認画像を確認することが可能となる。なお、同じ試作機にて計測したところ、撮像してから確認画像が表示されるまで、約０．２秒であった。したがって、主画像データが生成されるまで待つ必要が無くなり、動作が遅いと感じなくなる。また、主画像データの生成をハードウェアの画像処理回路にて行う必要が無くなるので、回路構成を簡素化させることができる。
なお、本実施形態では、確認画像をＬＣＤパネル３６に表示した後に主画像データを生成しているが、確認画像データを生成した時点で即座に主画像データを生成する処理を行ってもよい。その際、主画像データを生成する処理と確認画像を表示する処理を並行して行うと、主画像データが生成される前に確認画像を表示することができるので、利用者は動作が遅いと感じなくなる。
【００５０】
（６）生成した画像データを記憶させる処理：
主画像データを生成すると、図３のステップＳ２１２の画像データ記憶処理を行う。
図８は、上記画像データ記憶処理をフローチャートにより示している。本画像データ記憶処理では、主画像データとサムネール画像データとをＪＰＥＧ画像圧縮を行った後、フラッシュメモリカード３７ｂに記憶させる処理を行う。
まず、サムネール画像データに対して、一般的なＪＰＥＧ画像圧縮を行う（ステップＳ６０２）。すなわち、ＹｍＵＶのサムネール画像データの８×８画素ごとに離散コサイン変換（ＤＣＴ）によりサムネール画像データを周波数空間に変換し、所定の量子化テーブルを参照して量子化を行って周波数表現されたデータを粗く離散化し、ハフマン符号に基づく符号化を行う。その結果、サムネール画像データは圧縮されることになる。なお、量子化では量子化テーブルの値を変更することにより圧縮率を変えることができるが、サムネール画像データのＪＰＥＧ画像圧縮の際には固定された値を使用している。
【００５１】
その後、圧縮後のサムネール画像データのデータサイズを圧縮前のサムネール画像データのデータサイズで除し、圧縮率を算出する（ステップＳ６０４）。次に、算出したサムネール画像データの圧縮率に基づいて、主画像データについての量子化テーブルを選択する（ステップＳ６０６）。この処理は、例えば、図９に示す対応関係を示す図のように、サムネール画像データの圧縮率が小さいほど格納された値の大きい量子化テーブルを選択し、サムネール画像データの圧縮率が大きいほど格納された値の小さい量子化テーブルを選択することにより行うことができる。
量子化テーブルを選択した後、主画像データに対して一般的なＪＰＥＧ画像圧縮を行う。すなわち、ＹｍＵＶの主画像データの８×８画素ごとにＤＣＴにより主画像データを周波数空間に変換する（ステップＳ６０８）。次に、選択した量子化テーブルを参照して、量子化を行って周波数表現されたデータを粗く離散化する（ステップＳ６１０）。ここで、サムネール画像データの圧縮率が小さい場合、選択される量子化テーブルの値は大きいので、主画像データの圧縮率を大きくさせることになる。一方、サムネール画像データの圧縮率が大きい場合、選択される量子化テーブルの値は小さいので、主画像データの圧縮率を小さくさせる。したがって、フラッシュメモリカード３７ｂに記憶させる主画像データのデータサイズを調整することが可能となる。
【００５２】
そして、ハフマン符号に基づく符号化を行い（ステップＳ６１２）、圧縮された主画像データとサムネール画像データとを対応させてフラッシュメモリカード３７ｂに記憶させ（ステップＳ６１４）、本フローを終了する。
このように、図８の画像データ記憶処理は、主画像データとサムネール画像データとを対応させて所定の記憶媒体に記憶させる画像データ記憶手段を構成する。そして、記憶媒体に記憶された主画像データを選択して読み出す際に、サムネール画像データを参照することにより素早く選択することができ、便利である。また、主画像データに対して所定の圧縮処理を行うとともに、サムネール画像データに基づいて圧縮処理の圧縮率を決定するので、データサイズの小さいサムネール画像データを利用することにより、記憶媒体に記憶させる主画像データのデータサイズを調整することが可能となる。
なお、本フローは、ＪＰＥＧ画像圧縮以外にも、様々な圧縮処理に適用可能であり、例えば、ＧＩＦ画像圧縮等に適用してもよい。
以上説明したフローにより、速やかに確認画像をＬＣＤパネル３６に表示した後、サムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込んで、撮影を完了させることになる。
【００５３】
（７）第二の実施形態：
なお、本発明の画像データ生成装置は、様々な構成が可能である。
主画像データは確認画像データのような副画像データが生成された後に生成されればよいので、上記確認画像生成処理の後に上記主画像生成処理を行い、その後、上記サムネール生成処理を行うようにしてもよい。この場合、生成した主画像データに基づいてサムネール画像データを生成することが可能となる。
また、生成した副画像データに基づいてサムネール画像データを生成する構成とすることも可能である。
図１０は、第二の実施形態にかかる画像データ生成装置が行うサムネール生成処理をフローチャートにより示している。
まず、７２０×２４０画素のＣｍＵＶの確認画像データから１６０×１０４画素の画像データに変換する処理を行う（ステップＳ７０２）。ここで、確認画像データはモザイクデータではないので、図６で示した画素数変換処理よりも処理を簡素化することができる。
【００５４】
図１１は、ステップＳ７０２の画素数変換処理の一例をフローチャートにより示している。なお、図のフローを行う前提として、間引き後の画像データ４２を記憶する領域がＲＡＭ３４のワークエリア３４ｂに設けられている。
この画素数変換処理では、横方向の画素が１６０／７２０＝１／４．５、縦方向の画素が１０４／２４０＝１／２．３１となるように間引く処理を行う。すなわち、抽出する画素の座標を算出し（ステップＳ８０２）、算出した座標の画像データを取得する（ステップＳ８０４）。座標が複数の画素にまたがっている場合には、同複数の画素に対応する画像データを取得する。変換前の画像データはモザイクデータではないので、各画素にＹｍＵＶのデータが格納されている。そこで、取得した画像データを各要素色別に平均する（ステップＳ８０６）。その後、取得した画像データを、間引き後の画像データを記憶する領域に格納する（ステップＳ８０８）。そして、次の座標があるかどうかを判断する（ステップＳ８１０）。次の座標がある場合には再びステップＳ８０２〜Ｓ８１０の処理を行い、次の座標が無い場合には本フローを終了する。
このようにして７２０×２４０画素の確認画像データから画素を間引く処理を行うことができ、１６０×１０４画素の画像データを生成する処理時間が短くて済む。
【００５５】
ここで、変換前の確認画像データは、既に、上記データ補間、色変換、ホワイトバランス制御、トーンカーブ補正が行われたデータであるので、変換後の１６０×１０４画素の画像データに対してこれらの処理を行う必要がない。そこで、１６０×１０４画素の画像データの上下にそれぞれ帯状の８画素分の白色画素を付加し、１６０×１２０画素の画像データに変換して（ステップＳ７０４）、本フローを終了する。ここで、生成した画像データが、サムネール画像データとなる。
このように、副画像データ生成手段にて作成された副画像データに基づいてサムネール画像データを生成することが可能である。そして、データサイズが比較的小さい副画像データからサムネール画像データを生成するため、サムネール画像生成処理を短縮させることができる。また、副画像データの画素を間引く処理によりサムネール画像データを生成するので、サムネール画像データを生成する処理時間が短くて済む。
【００５６】
以上説明したように、本発明によると、種々の態様により、簡易な回路構成で、短時間にて副画像を表示することが可能な画像データ生成装置を提供することができる。また、本発明は、画像データを生成する方法やプログラムやプログラムが記録された媒体としても適用可能である。
【図面の簡単な説明】
【図１】本発明の画像データ生成装置が適用されるディジタルスチルカメラの概略構成を示すブロック図である。
【図２】画像処理の主要な流れを示すフローチャートである。
【図３】三種類の画像データを生成する流れを示すフローチャートである。
【図４】間引き処理の考え方の一例を説明する模式図である。
【図５】確認画像生成処理を示すフローチャートである。
【図６】画素数変換処理を示すフローチャートである。
【図７】サムネール生成処理を示すフローチャートである。
【図８】画像データ記憶処理を示すフローチャートである。
【図９】量子化テーブルの対応関係を示す図である。
【図１０】第二の実施形態にかかる画像データ生成装置が行うサムネール生成処理を示すフローチャートである。
【図１１】第二の実施形態にかかる画像データ生成装置が行う画素数変換処理を示すフローチャートである。
【符号の説明】
１０…ディジタルスチルカメラ
２０…光学部
２１…光学レンズ系
２２…オートフォーカス機構
２３…測距部
２４…オートフォーカスコントローラ
２５…コントローラ
２６…ＣＣＤ
２７…ストロボ
２８…オートゲインコントローラ（ＡＧＣ）
２９…Ａ／Ｄコンバータ
３０…制御部
３１…バス
３２…ＣＰＵ
３３…ＲＯＭ
３４…ＲＡＭ
３４ａ…画像エリア
３４ｂ…ワークエリア
３４ｃ…ビデオＲＡＭエリア
３５…操作パネル
３６…ＬＣＤパネル
３７ａ…Ｉ／Ｏ
３７ｂ…フラッシュメモリカード
４１，４２…画像データ
【図１】
0004150878.tif 000005
【図２】
0004150878.tif 000006
【図３】
0004150878.tif 000007
【図４】
0004150878.tif 000008
【図５】
0004150878.tif 000009
【図６】
0004150878.tif 000010
【図７】
0004150878.tif 000011
【図８】
0004150878.tif 000012
【図９】
0004150878.tif 000013
【図１０】
0004150878.tif 000014
【図１１】
0004150878.tif 000015