(57)【要約】【課題】メモリ容量を節約しつつ、記録された画像と判定情報とから高画質の画像を後で生成することを可能にする。【解決手段】撮像処理が開始されると、ＲＡＷ画像が生成され、ＲＡＷ画像からＪＰＥＧ画像が生成され、ＲＡＷ画像またはＪＰＥＧ画像の特性評価から、画質に関してＪＰＥＧ画像が適正でないか否かが判定される。画質に関してＪＰＥＧ画像が適正でない場合はＲＡＷ画像及びＪＰＥＧ画像が記録されると共に判定情報が記録され、ＪＰＥＧ画像が適正である場合はＲＡＷ画像が記録されることなくＪＰＥＧ画像が記録される。【選択図】図５
2017126853.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して第１の画像を生成する第１の生成手段と、
前記第１の生成手段により生成された前記第１の画像から、前記第１の画像よりもデータサイズの小さい第２の画像を生成する第２の生成手段と、
前記第１の画像または第２の生成手段により生成された前記第２の画像に基づいて、画質に関して前記第２の画像が適正か否かを判定する判定手段と、
前記判定手段により前記第２の画像が適正でないと判定された場合は、前記第１の画像及び前記第２の画像を記録すると共に、前記第２の画像の画質に関する判定結果を示す判定情報を記録し、前記判定手段により前記第２の画像が適正であると判定された場合は、前記第１の画像を記録することなく前記第２の画像を記録する記録制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記第１の画像を編集して新たな画像を生成する編集手段と、
前記記録制御手段により前記判定情報が記録された場合に、記録された前記第１の画像の編集が可能であることを報知する報知手段とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記編集手段は、記録された前記判定情報に基づいて、前記第１の画像を編集するためのメニューを提示し、前記メニューに対するユーザからの指示に従って前記第１の画像を編集することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記編集手段は、前記第１の画像を編集して前記新たな画像を生成した場合、記録された前記第１の画像を削除することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記編集手段は、前記第１の画像を編集して前記新たな画像を生成した場合、記録された前記第２の画像をさらに削除することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記判定手段は、前記第１の画像または前記第２の画像における輝度のヒストグラムに基づいて、前記第２の画像が適正か否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記判定手段は、前記輝度のヒストグラムにおいて、第１の所定輝度以下の画素数が第１の所定値以上である場合、または、第２の所定輝度以上の画素数が第２の所定値以上である場合、の少なくともいずれかの場合に、前記第２の画像が適正でないと判定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判定手段は、前記第１の画像または前記第２の画像におけるＲＧＢヒストグラムに基づいて、前記第２の画像が適正か否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項９】
前記判定手段は、前記ＲＧＢヒストグラムにおいて、第１の所定レベル以下の画素数に関し、各色の画素数が他のいずれかの色の画素数に対して所定数倍以上である場合、または、第２の所定レベル以上の画素数に関し、各色の画素数が他のいずれかの色の画素数に対して所定数倍以上である場合、の少なくともいずれかの場合に、前記第２の画像が適正でないと判定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記判定手段は、前記第１の画像または前記第２の画像における領域間の明暗差に基づいて、前記第２の画像が適正か否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項１１】
中央重点測光モードで露出設定値が決定された場合において、前記判定手段は、前記露出設定値を決定するために使用された測光量と周辺領域の各々について測定された測光量との差のうち最大値が閾値以上である場合に、前記第２の画像が適正でないと判定することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
評価測光モードで露出設定値が決定された場合において、前記判定手段は、前記露出設定値を決定するために使用された測光量と、中央の領域について測定された測光量との差が閾値以上である場合に、前記第２の画像が適正でないと判定することを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
評価測光モードで露出設定値が決定された場合において、前記判定手段は、前記露出設定値を決定するために使用された測光量と、前記第１の画像または前記第２の画像における各領域について測定された測光量との差のうち最大値が閾値以上である場合に、前記第２の画像が適正でないと判定することを特徴とする請求項１０に記載の撮像装置。
【請求項１４】
前記第１の画像はＲＡＷ画像であり、前記第２の画像はＪＰＥＧ画像であることを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記判定情報には、何に基づき判定したかを示す判定種別ごとの判定結果が含まれることを特徴とする請求項１〜１４のいずれか１項に記載の撮像装置。
【請求項１６】
被写体を撮像して第１の画像を生成する第１の生成ステップと、
前記第１の生成ステップにより生成された前記第１の画像から、前記第１の画像よりもデータサイズの小さい第２の画像を生成する第２の生成ステップと、
前記第１の画像または第２の生成ステップにより生成された前記第２の画像に基づいて、画質に関して前記第２の画像が適正か否かを判定する判定ステップと、
前記判定ステップにより前記第２の画像が適正でないと判定された場合は、前記第１の画像及び前記第２の画像を記録すると共に、前記第２の画像の画質に関する判定結果を示す判定情報を記録し、前記判定ステップにより前記第２の画像が適正であると判定された場合は、前記第１の画像を記録することなく前記第２の画像を記録する記録制御ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１７】
請求項１６に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において記録形式を選択して画像を記録する技術に関する。
【背景技術】
【０００２】
近年、撮像装置であるディジタル一眼レフカメラでは、各種メディアへの記録フォーマットとして、ＤＣＦ（Digital Camera Format）に準拠した方式が広く使用されている。ＤＣＦでは、撮影データの管理情報等を規定して相互互換性を確保している。特に、撮影データの符号化方式として、ＪＰＥＧ（Joint Picture Expert Group）ベースライン方式が用いられている。ＪＰＥＧ方式では、各画素の色深度は８ビットと規定されている。
【０００３】
ディジタル一眼レフカメラに搭載されるイメージセンサのダイナミックレンジの実効値は８ビット以上あるため、１２〜１４ビット程度のデータを、８ビット化せずにそのまま記録可能な製品も多く提供されている。この記録方式は一般にＲＡＷモード記録と呼ばれている。通常、ＲＡＷモード記録された画像データについては、例えばベイヤ配列のセンサの画素ごとのＡ／Ｄ変換値がそのまま記録され、専用のＲＡＷ現像ソフトで処理され、最終的に現像後のデータはＪＰＥＧ方式で再度記録される。カメラ等の撮像装置で処理されたＪＰＥＧ方式のデータはカメラ現像ＪＰＥＧと称されている。
【０００４】
上記のように、記録形式をＪＰＥＧにして記録する場合は、撮像機器特有のＲＡＷ現像仕様に従い、ダイナミックレンジの実効値が１２〜１４ビットあるＲＡＷから８ビットのＪＰＥＧに変換する処理（ＲＡＷ現像処理と称する）が実行される。そのため、被写体によっては白とび・黒潰れ現象などの適正でない画像となることがあった（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２４５９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ダイナミックレンジの実効値が１２〜１４ビットあるＲＡＷで記録すれば、撮像機器やパーソナルコンピュータ等における画像編集アプリケーションで後処理することで、黒潰れや白とびのない画像を生成することが可能である。しかしながら、ＲＡＷはＪＰＥＧに比べて画像サイズが大きいため、ＲＡＷ画像として記録するとメモリの記憶容量に負荷がかかるという問題があった。
【０００７】
本発明の目的は、メモリ容量を節約しつつ、記録された画像と判定情報とから高画質の画像を後で生成することを可能にすることである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、被写体を撮像して第１の画像を生成する第１の生成手段と、前記第１の生成手段により生成された前記第１の画像から、前記第１の画像よりもデータサイズの小さい第２の画像を生成する第２の生成手段と、前記第１の画像または第２の生成手段により生成された前記第２の画像に基づいて、画質に関して前記第２の画像が適正か否かを判定する判定手段と、前記判定手段により前記第２の画像が適正でないと判定された場合は、前記第１の画像及び前記第２の画像を記録すると共に、前記第２の画像の画質に関する判定結果を示す判定情報を記録し、前記判定手段により前記第２の画像が適正であると判定された場合は、前記第１の画像を記録することなく前記第２の画像を記録する記録制御手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、メモリ容量を節約しつつ、記録された画像と判定情報とから高画質の画像を後で生成することを可能にすることができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成を示すブロック図である。
【図２】輝度のヒストグラム（図（ａ）、（ｂ））、ＲＧＢヒストグラム（図（ｃ）、（ｄ））を示す図である。
【図３】測光方式に基づき適正でない可能性がある画像を判定する方法を説明する図（図（ａ）〜（ｄ））である。
【図４】ＲＡＷ画像のデータ構造（図（ａ））、判定情報領域の詳細構成例（図（ｂ）、（ｃ））を示す図である。
【図５】画像記録処理の一例を示すフローチャートである。
【図６】ステップＳ５０３で実行される画像判定処理のフローチャートである。
【図７】ステップＳ５０３で実行される画像判定処理のフローチャートである。
【図８】ステップＳ５０３で実行される画像判定処理のフローチャートである。
【図９】画像編集処理を示すフローチャートである。
【図１０】画像編集操作のための編集画面を含む操作部の一例を示す図である。
【図１１】ステップＳ９０７で実行される編集処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。
【００１２】
図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。この撮像装置は、例えばディジタル一眼レフカメラとして構成される。図１において、ＣＰＵ１０１は、撮像装置の全体の制御を司る。記憶部１１３は、ＲＡＭやＲＯＭを含み、このＲＯＭにはＣＰＵ１０１により実行される制御プログラムが格納される。またＲＡＭは、ＣＰＵ１０１が制御プログラムを実行する際の作業領域として利用される。
【００１３】
イメージセンサ１０３は、光学レンズ１０４で集光された画像を取得する。Ａ／Ｄコンバータ１０２は、イメージセンサ１０３で読み取られた画素値をディジタル化する。画像処理部１０５は、ディジタル化された画素値に対して、各種の補正や現像処理を行う。画像検出部１０６は、イメージセンサ１０３により得られる撮影画像から画像特性を検出する。画像評価部１０７は、画像検出部１０６で検出された画像特性に対し、その中から適正でない可能性がある画像特性のデータを取得し、その画像特性のデータが適正でない条件を満たすかどうかを判定する。画像評価部１０７での評価結果が、画質に関し撮像画像が適切であるか否かの判定結果となるが、その詳細については図２、図３、さらにはフローチャートで説明する。フォーマット決定部１０８は、画像評価部１０７での評価結果に応じて、撮影画像の記録フォーマットを決定し、すなわち、ＪＰＥＧ方式で記録するかＲＡＷ方式で記録するかを選択する。
【００１４】
撮像装置は、コーデックとしてＲＡＷコーデック１０９とＪＰＥＧコーデック１１０とを有する。ＲＡＷのエンコードフォーマットの詳細については特記しないが、ＲＡＷ方式は、ダイナミックレンジの実効値が１２〜１４ビットの画像データを扱う方式である。ＲＡＷ画像（第１の画像）よりもＪＰＥＧ画像（第２の画像）の方がデータサイズは小さい。記録メディア１１１には、ＪＰＥＧやＲＡＷの画像データが記録可能である。具体的には、記録メディア１１１はＳＤカードやコンパクトフラッシュ（登録商標）カード等である。なお、画像データが記録される媒体は可搬型に限られず、内蔵の記憶部１１３でもよく、他のメモリでもよい。表示装置１１２には、撮像装置上で撮像に関わる設定操作や撮像画像が表示されるほか、画像選択して編集する際に画像や編集メニュー等が表示される。操作部１１４は、ユーザからの操作を受け付ける。操作部１１４には例えば、撮影開始を指示するシャッタボタンが含まれる。なお、撮像送致は、図示はしないが、ネットワークを介して外部機器と通信するためのインターフェイスを備える。
【００１５】
次に、画質に関して撮像画像が適正であるか否かを判定する手法を図２、図３で例示を挙げながら説明する。本実施の形態において、ＣＰＵ１０１による「適正でない」、「適正である」という判定結果は、「適正でない可能性があると判断できる」、「適正でない可能性があると判断できない」という意味であり、適・不適を確定的に判断したものではない。まず、ＣＰＵ１０１は、被写体をイメージセンサ１０３で撮像し、ＲＡＷコーデック１０９によりＲＡＷ画像を生成すると共に、ＲＡＷ画像からＪＰＥＧコーデック１１０によりＪＰＥＧ画像を生成するよう制御する。ＣＰＵ１０１は、画像検出部１０６及び画像評価部１０７を制御して、ＲＡＷ画像またはＪＰＥＧ画像に基づいて、画質に関してＪＰＥＧ画像が適正か否かを判定する。
【００１６】
図２（ａ）、（ｂ）は、輝度のヒストグラムの一例を示す図である。この輝度のヒストグラムは一般的なヒストグラムであり、横軸に輝度、縦軸に画素数をとる。図２（ａ）は、いわゆる黒潰れの可能性が高い画像の輝度のヒストグラムの一例を示す。輝度の低い側で、輝度範囲０〜ΔＬ１に含まれる画素の画像は黒色に近く、画像として黒色として視認される。そこでＣＰＵ１０１は、第１の所定輝度以下（Ａ１以下）の画素の数が第１の所定値以上（Ｎ１以上）である場合、黒に近い画素が多くあると判断して、黒潰れした（適切でない）画像である可能性が高いと判定する。
【００１７】
図２（ｂ）は、いわゆる白飛びの可能性が高い画像の輝度のヒストグラムの一例を示す。輝度の高い側で、輝度範囲ΔＬ２以上である画素の画像は白色に近く、画像として白色として視認される。そこでＣＰＵ１０１は、第２の所定輝度以上（Ａ２以上）の画素の数が第２の所定値以上（Ｎ２以上）である場合、白に近い画素が多くあると判断して、白飛びした（適切でない）画像である可能性が高いと判定する。
【００１８】
図２（ｃ）、（ｄ）は、ＲＧＢ（赤、緑、青）の色ごとのＲＧＢヒストグラムを示す図であり、横軸に出力レベル（８ビットで０〜２５５）、縦軸に画素数をとる。図２（ｃ）、（ｄ）で色被りの可能性がある場合について説明する。一般的に、色被りは、撮像装置におけるホワイトバランス（ＷＢ）の設定の誤りや、蛍光灯の発色に起因する色の偏りにより発生する。
【００１９】
図２（ｃ）は緑色被りの可能性が高い画像のＲＧＢヒストグラムの一例を示す。ＲＧＢヒストグラムにおける１つの色（Ｇ）のヒストグラムのピークが右（高レベル側）に寄っていると、その色の画素が全体的に高い画像であることを表し、緑色の色被りしている画像である可能性が高くなる。図２（ｄ）は黄色被りの可能性が高い画像のＲＧＢヒストグラムの一例を示す。この例では、ＲＧＢヒストグラムにおける１つの色（Ｂ）のヒストグラムのピークが左（低レベル側）に寄っている。しかも、その色の画素が少ない領域の画素数が多いので、その色の補色（この例では黄色）の画素が全体的に高い画像であることを表し、黄色の色被りしている画像である可能性が高くなる。
【００２０】
そこで、ＣＰＵ１０１は、第２の所定レベル以上（Ｂ２以上、Ｂ２は例えば２００）の画素数に関し、各色の画素数を他のいずれかの色の画素数と比較する。そしてＣＰＵ１０１は、各色の画素数が他のいずれかの色の画素数に対して所定数倍以上（Ｎ４倍以上、Ｎ４は例えば１００）である場合、色被りした（適切でない）画像である可能性が高いと判定する。また、ＣＰＵ１０１は、第１の所定レベル以下（Ｂ１以下、Ｂ１は例えば５５）の画素数に関し、各色の画素数と他のいずれかの色の画素数と比較する。そしてＣＰＵ１０１は、各色の画素数が他のいずれかの色の画素数に対して所定数倍以上（Ｎ３倍以上、Ｎ３は例えば１００）である場合、色被りした（適切でない）画像である可能性が高いと判定する。このように、ＲＧＢヒストグラムのデータから色被りの可能性を判定することが可能である。
【００２１】
次に、図３（ａ）〜（ｄ）で、自動露出設定における測光方式に基づき、適正でない可能性がある画像を判定する方法について説明する。
【００２２】
図３（ａ）は、中央重点測光の測光方式を説明する図である。図３（ｂ）は、中央重点測光で撮像して得られたＪＰＥＧ画像の一例を示す図である。中央重点測光では、撮像装置は一般的に、ファインダの中央領域７０１に重点をおいて測光し、露出を決める。すなわち、中央重点測光モードでは、領域間で大きな明暗差があっても、中央付近の明るさを基準として露出設定値が決定される。そのため、図３（ｂ）に例示するように、室内撮影で中央に窓を配置した被写体のように、中央付近が明るく周辺部が暗い被写体では、周辺部が黒隠れする可能性が高くなる。これとは逆に、中央付近が暗く周辺部が明るい被写体では、周辺部が白飛びする可能性が高くなる。そこでＣＰＵ１０１は、中央重点測光モードで露出設定値が決定された場合、露出設定値を決定するために使用された測光量と周辺領域の各々について測定された測光量との差のうち最大値が閾値以上（Ｎ５以上）である場合に、画像が適正でないと判定する。
【００２３】
図３（ｃ）は、評価測光の測光方式を説明する図である。図３（ｄ）は、評価測光で撮像して得られたＪＰＥＧ画像の一例を示す図である。評価測光では、撮像装置は一般的に、撮影される画像の領域をいくつかの領域に分割して各領域の明るさを個別に測り、それらを集計して平均した値に基づき露出を決める。すなわち、評価測光モードでは、領域による大きな明暗差があっても、全体の平均の測光量に基づき露出設定値が決定される。そのため、図３（ｄ）に例示するように、周辺の大きな領域で明るく、中央領域が暗い場合、中央領域の被写体が暗くなって黒隠れする可能性が高くなる。このように、明暗差が大きく異なる領域が存在すると、黒隠れや白飛びする可能性が高くなる。そこでＣＰＵ１０１は、評価測光モードで露出設定値が決定された場合、露出設定値を決定するために使用された測光量と、中央の領域について測定された測光量との差が閾値以上（Ｎ６以上）である場合に、画像が適正でないと判定する。
【００２４】
ところで、Ａ１、Ａ２、Ｂ１、Ｂ２、Ｎ１〜Ｎ６の値は例示した値に限定されない。特に、Ｎ１とＮ２、Ｎ３とＮ４、Ｎ５とＮ６とはそれぞれ同じ値としてもよい。また、これらの値は予め定めた固定値とするが、ユーザによって設定可能としてもよい。
【００２５】
図４（ａ）、（ｂ）、（ｃ）で、画像の画質に関する判定結果である「判定情報」について説明する。図４（ａ）は、判定情報を含んだＲＡＷ画像のデータの構造を示す概念図である。
【００２６】
本実施の形態では、ＣＰＵ１０１は、ＪＰＥＧ画像が適正であると判定された場合は、ＲＡＷ画像を記録することなくＪＰＥＧ画像を記録メディア１１１に記録することで、メモリ容量の節約を図る。一方、ＣＰＵ１０１は、ＪＰＥＧ画像が適正でないと判定された場合は、ＲＡＷ画像及びＪＰＥＧ画像の双方を記録メディア１１１に記録する。その際、判定対象となった画像の画質に関する判定結果である「判定情報」が記録される。この判定情報は、例えば、記録されるＲＡＷ画像データ構造の一部に含まれる。図４（ａ）に示す例は、画像が適正でない可能性があると判定された場合の判定情報をＲＡＷ画像と共に記録した例である。判定情報は、ＪＰＥＧデータ構造の一部として記録してもよい。なお、判定情報は、記録される画像（ＲＡＷ画像またはＪＰＥＧ画像）に対応付けがなされていればよく、画像データ構造の一部に含めることは必須でない。例えば、対応する画像を識別するデータとともに個別に記録してもよい。
【００２７】
図４（ａ）において、ＲＡＷ画像データ構造には、ヘッダ領域４０１、メタデータ領域４０２及び判定情報領域４０３が含まれる。メタデータ領域４０２は画像に関する情報が記録される領域である。判定情報領域４０３は判定情報が記録される領域である。また、簡易ＪＰＥＧ領域４０４は、表示装置１１２に撮像画像を表示するためのサイズの小さい簡易ＪＰＥＧを保持する領域である。ＲＡＷデータ領域４０５は、ＲＡＷ画像が記録される領域である。
【００２８】
図４（ｂ）、（ｃ）は、判定情報領域４０３の詳細構成例を示す図である。判定情報領域４０３に記録される判定情報には、判定種別４１１、判定結果４１５及び画質情報４１６が含まれる。判定種別４１１は、画像の適否が何に基づき判定されたかを示す。例えば、種別４１２は、輝度のヒストグラム（図２（ａ）、（ｂ））に基づき黒潰れや白飛びの有無が判定されたことを示す。種別４１３は、ＷＢ（ホワイトバランス）による判定で、ＲＧＢヒストグラム（図２（ｃ）、（ｄ））に基づき色被りの有無が判定されたことを示す。種別４１４は、測光方式（図３（ａ）〜（ｄ））に応じた領域間の輝度の偏り（明暗差）による判定で、黒隠れや白飛びの有無が判定されたことを示す。なお、判定種別はこれらに限定されず、画質に関する他の判定方法に関するものであってもよい。
【００２９】
判定結果４１５は判定種別４１１ごとに記録される。判定結果４１５には、適正でない可能性があると判定された場合にその旨を示す情報として「ＮＧ」や×が記録され、適正でない可能性があると判定されなかった場合にはその旨を示す情報として「ＯＫ」や白丸が記録される。画質情報４１６は、判定に利用された画質の情報であり、適正でない可能性があると判定された場合に記録される。
【００３０】
図４（ｂ）の例では、種別４１３の判定結果４１５が「ＮＧ」であり、黄色の色被りにより、画像が適正でない可能性があると判定されている。図４（ｃ）の例では、種別４１２、種別４１４の判定結果４１５が「ＮＧ」であり、輝度の偏り及び領域間の輝度の偏りの２つの要因により、特に白飛びによって画像が適正でない可能性があると判定されている。
【００３１】
次に、図５〜図８で、撮影した画像を、記録方式を選択して記録する処理について説明する。図５は、画像記録処理の一例を示すフローチャートである。このフローチャートは、撮像装置が画像撮影を実施し、画像が記録メディア１１１に記録されるときのＣＰＵ１０１による処理ステップを示したものである。この処理は、記憶部１１３のＲＯＭに格納された制御プログラムをＲＡＭに読み出してＣＰＵ１０１が実行することにより実現される。この処理は、撮影開始の指示があると開始される。
【００３２】
撮像装置で撮像処理が開始されると、まず、ＣＰＵ１０１は、ＲＡＷコーデック１０９を制御してＲＡＷ画像を生成する（ステップＳ５０１）。次にＣＰＵ１０１は、ＪＰＥＧコーデック１１０を制御して、本撮像装置のＲＡＷ現像仕様に従ってＲＡＷ現像処理を実施し、ＲＡＷ画像からＪＰＥＧ画像を生成する（ステップＳ５０２）。次にＣＰＵ１０１は、画像検出部１０６及び画像評価部１０７を制御して、ＲＡＷ画像またはＪＰＥＧ画像の特性を評価し、画質に関してＪＰＥＧ画像が適正でないか否かを判定する画像判定処理を実行する（ステップＳ５０３）。この画像判定処理については、図５〜図８で後述する。次にＣＰＵ１０１は、ステップＳ５０３の画像判定処理の結果、画像が適正でないか否かを判別する（ステップＳ５０４）。
【００３３】
ステップＳ５０４の判別の結果、ＣＰＵ１０１は、画像が適正である（適正でない可能性があると判定されなかった）場合、処理をステップＳ５０７に進める。一方、ＣＰＵ１０１は、画像が適正でない（適正でない可能性があると判定された）場合、処理をステップＳ５０５に進める。ステップＳ５０５では、ＣＰＵ１０１は、上記生成したＲＡＷ画像を記録メディア１１１に記録する。さらにステップＳ５０６で、ＣＰＵ１０１は、ステップＳ５０３での画像判定処理で判定に使用した画質に関する情報である判定情報を記録メディア１１１に記録する。例えばＣＰＵ１０１は、上述したように、ＲＡＷ画像を、ＲＡＷ画像データ構造におけるＲＡＷデータ領域４０５に記録すると共に、判定情報を、同じＲＡＷ画像データ構造における判定情報領域４０３に記録する（図４参照）。その後、処理はステップＳ５０７に進む。
【００３４】
ステップＳ５０７では、上記生成したＪＰＥＧ画像を記録メディア１１１に記録する。従って、画像が適正でない場合は、ＲＡＷ画像とＪＰＥＧ画像の双方が記録されるが、画像が適正である場合は、ＪＰＥＧ画像のみが記録される。なお、判定情報をＪＰＥＧ画像に付随させて記録する場合は、ステップＳ５０６の処理後のステップＳ５０７で、ＪＰＥＧ画像の一部として記録すればよい。その後、図５の処理は終了する。図５の処理において、ＣＰＵ１０１は、本発明における第１の生成手段、第２の生成手段、判定手段、記録制御手段としての役割を果たす。
【００３５】
図６、図７、図８は、図５のステップＳ５０３で実行される画像判定処理のフローチャートである。図５のステップＳ５０３で、図６、図７、図８の各処理のうち２つ以上が実行されて、そのうちの少なくとも１つの処理において画像が適正でないと判定された場合に、ステップＳ５０３の判別結果として、画像が適正でないという判定が採用される。なお、ステップＳ５０３では、図６、図７、図８のいずれか１つの処理が実行されるとしてもよい。
【００３６】
図６の処理は、輝度のヒストグラム（図２（ａ）、（ｂ））に基づく画像判定処理である。まず、図６のステップＳ６０１では、ＣＰＵ１０１は、ＲＡＷ画像またはＪＰＥＧ画像における輝度のヒストグラムを取得する（図２（ａ）、（ｂ）参照）。次に、ＣＰＵ１０１は、輝度のヒストグラムのデータから、輝度値が第１の所定輝度Ａ１以下である画素の数を取得する（ステップＳ６０２）。そしてＣＰＵ１０１は、取得した画素数が、閾値である第１の所定値Ｎ１以上であるか否かを判別する（ステップＳ６０３）。その判別の結果、輝度値が第１の所定輝度Ａ１以下である画素数が第１の所定値Ｎ１以上である場合は、黒色と視認される画素数が閾値より多く、黒潰れしている可能性があると判断できるので、ＣＰＵ１０１は、画像が適正でないと判定する（ステップＳ６０４）。
【００３７】
一方、輝度値が第１の所定輝度Ａ１以下である画素数が第１の所定値Ｎ１未満である場合は、黒潰れの可能性がないと判断できるので、輝度のヒストグラムのデータから、輝度値が第２の所定輝度Ａ２以上である画素の数を取得する（ステップＳ６０５）。そしてＣＰＵ１０１は、取得した画素数が、閾値である第２の所定値Ｎ２以上であるか否かを判別する（ステップＳ６０６）。その判別の結果、輝度値が第２の所定輝度Ａ２以上である画素数が第２の所定値Ｎ２以上である場合は、白色と視認される画素数が閾値より多く、白飛びしている可能性があると判断できるので、ＣＰＵ１０１は、画像が適正でないと判定する（ステップＳ６０７）。一方、輝度値が第２の所定輝度Ａ２以上である画素数が第２の所定値Ｎ２未満である場合は、白飛びの可能性がないと判断できるので、ＣＰＵ１０１は、画像が適正であると判定する（ステップＳ６０８）。ステップＳ６０４、Ｓ６０７、Ｓ６０８の後、図６の処理は終了する。
【００３８】
図７の処理は、ＲＧＢヒストグラム（図２（ｃ）、（ｄ））に基づく画像判定処理である。まず、ステップＳ７０１で、ＣＰＵ１０１は、ＲＡＷ画像またはＪＰＥＧ画像におけるＲＧＢヒストグラム（図２（ｃ）、（ｄ））を取得する。次にステップＳ７０２で、ＣＰＵ１０１は、ＲＧＢヒストグラムのデータから色の偏りを解析する。具体的には、ＣＰＵ１０１は、ＲＧＢのそれぞれについて、出力レベルが２００以上の画素数の総和を算出する。
【００３９】
次に、ステップＳ７０３では、ＣＰＵ１０１は、色被りの可能性があるか否かを判別する。具体的には、上述したように、ＣＰＵ１０１は、第１の所定レベルＢ１以下の画素数に関し、各色の画素数が他のいずれかの色の画素数に対してＮ３倍以上である場合、色被りの可能性があると判別する。また、ＣＰＵ１０１は、第２の所定レベルＢ２以上の画素数に関し、各色の画素数が他のいずれかの色の画素数に対してＮ４倍以上である場合、色被りの可能性があると判別する。ステップＳ７０３の判別の結果、画像に色被りの可能性がある場合は、ＣＰＵ１０１は、画像が適正でないと判定し（ステップＳ７０４）、図７の処理を終了させる。一方、画像に色被りの可能性がない場合は、ＣＰＵ１０１は、画像が適正であると判定し（ステップＳ７０５）、図７の処理を終了させる。
【００４０】
図８の処理は、測光方式（図３（ａ）〜（ｄ））に応じた領域間の輝度の偏り（明暗差）に基づく画像判定処理である。まず、ステップＳ８０１で、ＣＰＵ１０１は、測光方式を示す情報を取得する。本実施の形態では、説明を簡単にするため測光方式は中央重点測光と評価測光の２つであることを前提とするが、他の測光方式も考慮するようにしてもよい。
【００４１】
ＣＰＵ１０１は、測光に使用した測定値、すなわち、露出設定値を決定するために使用された測光量を取得し（ステップＳ８０２）、測光方式が中央重点測光であるか否かを判別する（ステップＳ８０３）。その判別の結果、測光方式が中央重点測光である場合は、ＣＰＵ１０１は、周辺領域の各々について測定された測光量を取得する（ステップＳ８０４）。そしてＣＰＵ１０１は、露出設定値を決定するために使用された測光量と周辺領域の測光量との差のうち最大値が、閾値Ｎ５以上であるか否かを判別する（ステップＳ８０５）。その判別の結果、上記最大値が閾値Ｎ５以上である場合は、画像が適正でないと判定し（ステップＳ８０６）、図８の処理を終了させる。一方、上記最大値が閾値Ｎ５未満である場合は、画像が適正であると判定し（ステップＳ８０７）、図８の処理を終了させる。
【００４２】
ステップＳ８０３の判別の結果、測光方式が中央重点測光でない場合は、ＣＰＵ１０１は、測光方式が評価測光であるか否かを判別する（ステップＳ８０８）。その判別の結果、測光方式が評価測光である場合は、ＣＰＵ１０１は、中央の領域について測定された測光量を取得する（ステップＳ８０９）。そしてＣＰＵ１０１は、露出設定値を決定するために使用された測光量と、中央の領域について測定された測光量との差が閾値Ｎ６以上であるか否かを判別する（ステップＳ８１０）。その判別の結果、上記差が閾値Ｎ６以上である場合は、画像が適正でないと判定し（ステップＳ８１１）、図８の処理を終了させる。一方、上記差が閾値Ｎ６未満である場合は、画像が適正であると判定し（ステップＳ８１２）、図８の処理を終了させる。
【００４３】
ステップＳ８０８の判別の結果、測光方式が評価測光でない場合は、ＣＰＵ１０１は、ステップＳ８１２を実行して図８の処理を終了させる。なお、他の測光方式を採用している可能性がある場合は、当該他の測光方式に応じた判定手法を用いて画像の適否を判定してもよい。
【００４４】
なお、評価測光モードにおいては、露出設定値を決定するために使用された測光量と、中央の領域について測定された測光量との差を閾値Ｎ６と比較して画像の適否が判定された。しかし、中央の領域でなく任意の領域について測定された測光量を、露出設定値を決定するために使用された測光量との比較対象としてもよい。その場合、ＣＰＵ１０１は、露出設定値を決定するために使用された測光量と、画像における各領域について測定された測光量との差のうち最大値が閾値Ｎ６以上である場合に、画像が適正でないと判定する。
【００４５】
次に、図９〜図１１で、記録された判定情報を利用して画像編集する処理について説明する。画像編集によると、ダイナミックレンジの実効値の大きいＲＡＷ画像を好適な現像方法で現像して編集することで、適正な画像を新たに生成することができる。また、ＲＡＷ画像の一部分の領域だけを現像・編集することで、適正でない領域を好適なものにした新たな画像を生成することができる。
【００４６】
図９は、画像編集処理を示すフローチャートである。この処理は、記憶部１１３のＲＯＭに格納された制御プログラムをＲＡＭに読み出してＣＰＵ１０１が実行することにより実現される。この処理は、撮影が終了すると開始される。あるいは、撮影終了後、ユーザからの指示に応じて開始されるようにしてもよい。図１０（ａ）、（ｂ）は、画像編集のための編集画面を含む操作部１１４の一例を示す図である。この編集画面は、図９の処理が開始されると表示装置１１２に表示される。
【００４７】
まず、図９のステップＳ９０１では、ＣＰＵ１０１は、編集画面において、ユーザからの操作を受け付けて、編集対象となる画像を選択する。この画像選択は、ユーザが、図１０（ａ）、（ｂ）に示す選択ダイヤル１００１で画像を順次、表示画面１００３に表示させることで実現される。表示画面１００３に表示された画像が編集対象とされる。次に、ステップＳ９０２で、ＣＰＵ１０１は、編集対象の画像に対応する判定情報が記録されているか否かを判別する。その判別の結果、判定情報が記録されていない場合は、編集対象の画像は適正であり、編集の必要がないので、ＣＰＵ１０１は図９の処理を終了させる。一方、編集対象の画像に対応する判定情報が記録されている場合は、編集対象の画像は適正でないので、ＣＰＵ１０１は、ステップＳ９０３で、ＲＡＷ編集可能マーク１００４を、アイコンとして表示画面１００３に表示させる（図１０（ａ）参照）。これにより、記録されたＲＡＷ画像の編集が可能であることがユーザに報知される。なお、編集可能を報知するための表示は例示に限定されず、また、音声によって報知してもよい。
【００４８】
次に、ステップＳ９０４で、ＣＰＵ１０１は、ＲＡＷ編集指示があったか否かを判別する。ＲＡＷ編集指示は、ＲＡＷ編集可能マーク１００４が選択された状態で決定ボタン１００２が押下されることでなされる。その判別の結果、ＲＡＷ編集指示があった場合は、ＣＰＵ１０１は、編集対象の画像に対応する判定情報を検討する（ステップＳ９０５）。そしてＣＰＵ１０１は、ステップＳ９０６で、判定情報の検討結果に応じた編集メニュー１００５を表示画面１００３に表示させる（図１０（ｂ）参照）。ここでは、画像を好適にすることができる可能性の高い操作の一覧が提示される。例えば、不適正の内容が、黒潰れ、白飛び、輝度の偏りである場合は、輝度調整するためのメニューである明るさ調整や色調整（色温度設定）等のメニューが表示される。明るさ調整としては、例えば、おまかせボタン１００６、おまかせ５枚ボタン１００７が表示される。また、不適正の内容が色被りの場合は、ホワイトバランスの修正メニューが表示される。
【００４９】
次に、ＣＰＵ１０１は、ステップＳ９０７で、編集メニュー１００５における編集操作をユーザから受け付け、受け付けた操作に従ってＲＡＷ画像を編集処理する。ステップＳ９０７の編集処理については図１１で後述する。その後ＣＰＵ１０１は、図９の処理を終了させる。
【００５０】
図１１は、図９のステップＳ９０７で実行される編集処理のフローチャートである。まず、ステップＳ１１０１で、ＣＰＵ１０１は、ユーザによる編集メニュー１００５に対する指定操作を判定する。ＣＰＵ１０１は、ステップＳ１１０２で、編集メニュー１００５に対する指定があったか否かを判別し、指定がない場合は、図１１の処理を終了させる一方、指定があった場合は、処理をステップＳ１１０３に進める。ステップＳ１１０３では、ＣＰＵ１０１は、指定に従って編集を実行する。
【００５１】
例えば、手動の場合、明るさ調整や色調整につき、選択ダイヤル１００１を用いてユーザが調整を実施し、決定ボタン１００２を押下することで調整後の値が確定する。編集は、画像の一部に適用することもできる。また、おまかせボタン１００６、おまかせ５枚ボタン１００７が選択された場合は、自動編集が実施される。おまかせボタン１００６は、判定情報に従って、撮像装置のプログラムにて自動で編集するメニューである。例えば、ＣＰＵ１０１は、画質情報が輝度の偏りである場合、輝度の偏りがある領域のみに輝度の調整を実施するように現像処理して編集する。また、おまかせ５枚ボタン１００７は、自動で複数枚（ここでは５枚）の現像処理を実施するメニューである。例えば、ＣＰＵ１０１は、明るさ調整を５段階で実施して表示し、その中から最適なものをユーザに選択してもらうようにする。
【００５２】
編集処理により、好適な現像画像である新しいＪＰＥＧ画像が生成される。ユーザは、提示された編集メニュー１００５により、画像を好適にする可能性の高い操作を速やかに実施できるので、効率良く編集操作を行える。
【００５３】
次に、ステップＳ１１０４では、ＣＰＵ１０１は、画像削除操作の設定値を取得する。画像削除操作の設定値は、編集処理後に画像削除操作を実施するかどうかを示す情報であり、ユーザからの指示に従って、不図示の別途の処理で事前に設定されているとする。ステップＳ１１０５では、ＣＰＵ１０１は、取得した画像削除操作の設定値から、画像削除の設定があるか否かを判別する。その判別の結果、画像削除の設定がある場合は、ＣＰＵ１０１は、ステップＳ１１０６で、ＲＡＷ画像及び元々あったＪＰＥＧ画像を削除する。これら画像の削除により、メモリ容量の節約に寄与する。なお、これらの画像の少なくともいずれかを削除するようにしてもよい。一方、画像削除の設定がなかった場合は、ＣＰＵ１０１は、画像を削除することなく図１１の処理を終了させる。なお、画像削除については、編集終了時毎に、画像を削除するかどうかの確認指示のメッセージを表示し、ユーザにより削除の実施可否を選択してもらうようにしてもよい。あるいは、一律に画像削除が実施される仕様としてもよい。
【００５４】
本実施の形態によれば、画質に関してＪＰＥＧ画像が適正でない場合はＲＡＷ画像及びＪＰＥＧ画像が記録されると共に判定情報が記録され、ＪＰＥＧ画像が適正である場合はＲＡＷ画像が記録されることなくＪＰＥＧ画像が記録される。これにより、必要性がある場合にだけＲＡＷ画像を記録してメモリ容量を節約でき、また、記録されたＲＡＷ画像に対して後で編集して画質の良い画像を生成するのに判定情報を利用できる。よって、メモリ容量を節約しつつ、記録された画像と判定情報とから高画質の画像を後で生成することを可能にすることができる。
【００５５】
また、ＲＡＷ画像を編集して新たな画像が生成された場合、記録されたＲＡＷ画像やＪＰＥＧ画像が削除されるので、メモリ容量の節約に繋がる。
【００５６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【符号の説明】
【００５８】
１０１  ＣＰＵ
１０６  画像検出部
１０７  画像評価部
１１１  記録メディア
【図１】
2017126853.tif 000003
【図２】
2017126853.tif 000004
【図３】
2017126853.tif 000005
【図４】
2017126853.tif 000006
【図５】
2017126853.tif 000007
【図６】
2017126853.tif 000008
【図７】
2017126853.tif 000009
【図８】
2017126853.tif 000010
【図９】
2017126853.tif 000011
【図１０】
2017126853.tif 000012
【図１１】
2017126853.tif 000013