(57)【要約】【課題】容易に最適な画像処理を施すことができるとともに撮影装置と同等の画像処理を施すことができるようにする。【解決手段】デジタルカメラ１０では、イメージセンサから出力される画像信号をＡ／Ｄ変換器でデジタル変換してＲＡＷデータを生成するとともに、ＲＡＷデータに基づいて撮影画像内の人物の顔の画像領域を示す領域情報を生成する。ＲＡＷデータと、領域情報と、領域情報を用いない場合にデジタルカメラ１０で使用される画像処理の画像処理パラメータとから画像ファイルを生成し、これをメモリカード１２に記録する。ＰＣ１１でメモリカードから画像ファイルを読み込む。ＰＣ１１では、デジタルカメラ１０と同様に、領域情報に基づいて人物の顔の画像領域を最適化するように画像処理を行うことも、領域情報を参照しない画像処理を行うこともできる。【選択図】図１
2008022240.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮影するイメージセンサと、イメージセンサから出力される画像信号をデジタル変換して撮影画像のＲＡＷデータを生成するデータ生成手段と、イメージセンサから出力される画像信号に基づいて撮影画像内の人物の顔の画像領域を検出し、検出した顔の画像領域を特定し、その領域情報を生成する顔検出手段と、ＲＡＷデータを主画像データとし、この主画像データに前記領域情報を含む付属情報を付加した画像ファイルを生成するファイル生成手段と、生成された画像ファイルを出力するファイル出力手段とを備えたことを特徴とする撮影装置。
【請求項２】
前記ファイル生成手段は、ＲＡＷデータに対して前記領域情報を参照しない第１の画像処理に用いる画像処理パラメータを含む付属情報を付加することを特徴とする請求項１記載の撮影装置。
【請求項３】
前記顔検出手段は、撮影画像内に複数の顔の画像領域を検出したときには、各顔の画像領域の大きさまたは位置に基づいて各顔の画像領域の優先順位を決定し、その優先順位情報を有する領域情報を生成することを特徴とする請求項１記載の撮影装置。
【請求項４】
前記領域情報を参照して撮影画像内の顔の画像領域を最適化する最適化処理を含む第２の画像処理をＲＡＷデータに対して行う画像処理手段と、主画像データとしてのＲＡＷデータに前記付属情報を付加した画像ファイルを生成して出力する第１の出力モードとＲＡＷデータに対して前記第２の画像処理を施すとともに汎用性のあるデータ形式に変換した主画像データを含む画像ファイルを生成して出力する第２の出力モードとを選択する選択手段とを備えたことを特徴とする請求項１ないし３のいずれか１項に記載の撮影装置。
【請求項５】
前記領域情報を参照して撮影画像内の顔の画像領域を最適化する最適化処理を含む第２の画像処理をＲＡＷデータに対して行う画像処理手段と、主画像データとしてのＲＡＷデータに前記付属情報を付加した画像ファイルを生成して出力する第１の出力モードとＲＡＷデータに対して前記第２の画像処理を施すとともに汎用性のあるデータ形式に変換した主画像データを含む画像ファイルを生成して出力する第２の出力モードとを選択する選択手段とを備え、前記顔検出手段は、撮影画像内に複数の人物の顔の画像領域を検出したときには、各顔の画像領域の大きさまたは位置に基づいて各顔の画像領域の優先順位を決定し、その優先順位情報を有する領域情報を生成し、前記画像処理手段は、顔の画像領域が有する優先順位にしたがって優先順位の高い顔の画像部分が優先して最適化されるように前記第２の画像処理を行うことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記最適化処理は、撮影画像内で検出された顔の画像の階調が最適化されるように画像全体の階調を変換する階調変換処理を含むことを特徴とする請求項４または５記載の撮影装置。
【請求項７】
前記最適化処理は、撮影画像内で検出された顔の画像の色が最適化されるように画像全体のホワイトバランスを補正するホワイトバランス補正処理を含むことを特徴とする請求項４ないし６のいずれか１項に記載の撮影装置。
【請求項８】
第１の出力モード時に、ＲＡＷデータに対して前記第２の画像処理を施すとともに汎用性のあるデータ形式に変換した付加画像データを付加した画像ファイルを生成して出力することを特徴とする請求項４ないし７のいずれか１項に記載の撮影装置。
【請求項９】
前記付加画像データは、画素数を少なくしたサムネイル画像のデータであることを特徴とする請求項８記載の撮影装置。
【請求項１０】
前記付加画像データのデータ形式は、ＪＰＥＧ形式であることを特徴とする請求項８または９記載の撮影装置。
【請求項１１】
画像ファイルの画像に対して画像処理を施す画像処理装置において、
撮影画像のＲＡＷデータとその撮影画像内の人物の顔の画像領域を示す領域情報とを含む画像ファイルを取得するファイル取得手段と、画像ファイルから取り出したＲＡＷデータに対して、画像ファイルから取り出した領域情報に示される顔の画像部分の最適化を含む画像処理を行うデータ処理手段とを備えたことを特徴とする画像処理装置。
【請求項１２】
前記最適化処理は、領域情報に示される人物の顔の階調が最適化されるように画像全体の階調を変換する階調変換処理を含むことを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記最適化処理は、領域情報に示される人物の顔の色が最適化されるように画像全体のホワイトバランスを補正するホワイトバランス補正処理を含むことを特徴とする請求項１１または１２記載の画像処理装置。
【請求項１４】
前記領域情報は、複数の領域情報相互の優先順位を示す優先順位情報を有しており、前記データ処理手段は、各領域情報が有する優先順位にしたがって優先順位の高い顔の画像部分が優先して最適化されるように前記最適化処理を行うことを特徴とする請求項１１ないし１３のいずれか１項に記載の画像処理装置。
【請求項１５】
画像ファイルからそれに含まれるＲＡＷデータを汎用性のあるデータ形式に変換して付加された付加画像データを取出して、この付加画像データに基づいて画像を表示する表示手段を備えたことを特徴とする請求項１０ないし１４のいずれか１項に記載の画像処理装置。
【請求項１６】
外部からの指示に基づいて領域情報の優先順位を変更するための順位変更手段を備え、前記データ処理手段は、前記順位変更手段による変更後の優先順位にしたがって前記最適化処理を行うことを特徴とする請求項１４記載の画像処理装置。
【請求項１７】
画像ファイルからそれに含まれるＲＡＷデータを汎用性のあるデータ形式に変換して付加された付加画像データを取出して、この付加画像データに基づいて画像を表示するとともに、優先順位情報に基づいて優先順位の高低を区別可能にして前記領域情報に基づく顔の領域を画像に重ねて表示する表示手段を備えていることを特徴とする請求項１６記載の画像処理装置。
【請求項１８】
外部からの操作により指示された切出し範囲をＲＡＷデータから切出すトリミング手段と、切出し範囲内の領域情報に示される画像領域の大きさまたは位置に応じて、切出し範囲に含まれる領域情報の優先順位を設定する順位変更手段とを備え、前記データ処理手段は、切り出されたＲＡＷデータに対して再設定後の優先順位にしたがって前記最適化処理を行うことを特徴とする請求項１４記載の画像処理装置。
【請求項１９】
画像ファイルからそれに含まれるＲＡＷデータを汎用性のあるデータ形式に変換して付加された付加画像データを取出して、この付加画像データに基づいて画像を表示するとともに、外部からの操作により指示される切出し範囲を画像に重ねて表示する表示手段を備えていることを特徴とする請求項１８記載の画像処理装置。
【請求項２０】
前記データ処理手段は、画像処理を施したＲＡＷデータを汎用性のあるデータ形式の汎用画像データに変換して出力することを特徴とする請求項１１ないし１９のいずれか１項に記載の画像処理装置。
【請求項２１】
前記汎用画像データのデータ形式は、ＪＰＥＧ形式であることを特徴とする請求項２０記載の画像処理装置。
【請求項２２】
被写体像を撮影してイメージセンサから出力される画像信号をデジタル変換したＲＡＷデータに、イメージセンサから出力される画像信号に基づいて特定した撮影画像内の人物の顔の画像領域を示す領域情報を付加した画像ファイルを生成して出力することを特徴とする画像ファイル生成方法。
【請求項２３】
画像ファイルからＲＡＷデータと撮影画像内の人物の顔の画像領域を示す領域情報とを取り出し、領域情報に示される顔の画像部分の最適化を含む画像処理をＲＡＷデータに対して行うことを特徴とする画像処理方法。
【請求項２４】
ＲＡＷデータと撮影画像内の人物の顔の画像領域を示す領域情報が付加された画像ファイルを取得する機能と、画像ファイルから取り出したＲＡＷデータに対して、画像ファイルから取り出した領域情報に示される顔の画像部分の最適化を含む画像処理を行う機能とをコンピュータに実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置，画像処理装置、画像ファイル生成方法，画像処理方法、画像処理プログラムに関するものである。
【背景技術】
【０００２】
撮影装置として、イメージセンサで被写体を撮影するデジタルカメラが広く普及している。このような、デジタルカメラでは、イメージセンサで被写体像を光電変換した画像信号をデジタル変換した後に、ホワイトバランス補正や階調補正を行う画像処理を行い、さらにそのデータをＪＰＥＧ形式などの汎用的な所定のデータ形式に変換して記録メディアに記録している。近時では上記のようなデジタルカメラにおいて、撮影範囲内から人物の顔を検出し、その人物の顔の部分の露出，ピント，階調表現が適正となるように撮影を制御して、画像データを生成するものも知られている。
【０００３】
記録メディアに記録した画像データは、パーソナルコンピュータ等に取り込まれ、撮影画像をデイスプレイに表示したりプリンタから出力して鑑賞したりするのに利用される。さらに、パーソナルコンピュータに取り込んだ画像データをいわゆるフォトレタッチソフト等と呼ばれる画像処理ソフトを用いてトリミングや階調や明るさを調節するなどの画像編集も行われている。
【０００４】
デジタルカメラで撮影した画像の編集を容易にするための技術が特許文献１によって知られている。特許文献１では、デジタルカメラで撮影した際に、ユーザが所望とする画像処理モードと、ピント位置あるいはユーザが任意に選択した撮影画像の特定の部位を指定する部位情報とを含む画像処理制御データをＪＰＥＧ形式などの画像データに付加した画像ファイルを生成する。そして、パーソナルコンピュータなどの画像処理装置で画像処理する際には、画像処理制御データを参照してユーザが所望とする画像処理を自動で実施するようにしている。
【特許文献１】特開２００３−６６６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に示されるデジタルカメラや画像処理装置では、ユーザが指定した特定の部位，画像処理モードに基づいた画像処理を自動化することはできるが、ユーザの指定する部位や画像処理モードが必ずしも画像を最適化するとは限らず、意図に反した画像処理になってしまう場合もある。また、そのような場合に、ユーザが指定した特定の部位，画像処理モードを無効にしてデジタルカメラから通常に得られる画像を画像処理装置で再現することが難しいという問題があった。
【０００６】
本発明は上記問題を解消するためになされたもので、容易に最適な画像処理を施すことができ、また撮影後に撮影装置と同等の画像処理を施すことができるようにした撮影装置，画像処理装置，画像ファイル生成方法，画像処理方法，画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の撮影装置では、被写体像を撮影するイメージセンサと、イメージセンサから出力される画像信号をデジタル変換して撮影画像のＲＡＷデータを生成するデータ生成手段と、イメージセンサから出力される画像信号に基づいて撮影画像内の人物の顔の画像領域を検出し、検出した顔の画像領域を特定し、その領域情報を生成する顔検出手段と、ＲＡＷデータを主画像データとし、この主画像データに前記領域情報を含む付属情報を付加した画像ファイルを生成するファイル生成手段と、生成された画像ファイルを出力するファイル出力手段とを備えたものである。
【０００８】
請求項２記載の撮影装置では、ファイル生成手段を、ＲＡＷデータに対して領域情報を参照しない第１の画像処理に用いる画像処理パラメータを含む付属情報を付加するようにしたものである。
【０００９】
請求項３記載の撮影装置では、顔検出手段を、撮影画像内に複数の顔の画像領域を検出したときには、各顔の画像領域の大きさまたは位置に基づいて各顔の画像領域の優先順位を決定し、その優先順位情報を有する領域情報を生成するようにしたものである。
【００１０】
請求項４記載の撮影装置では、領域情報を参照して撮影画像内の顔の画像領域を最適化する最適化処理を含む第２の画像処理をＲＡＷデータに対して行う画像処理手段と、主画像データとしてのＲＡＷデータに付属情報を付加した画像ファイルを生成して出力する第１の出力モードとＲＡＷデータに対して第２の画像処理を施すとともに汎用性のあるデータ形式に変換した主画像データを含む画像ファイルを生成して出力する第２の出力モードとを選択する選択手段とを備えたものである。
【００１１】
請求項５記載の撮影装置では、領域情報を参照して撮影画像内の顔の画像領域を最適化する最適化処理を含む第２の画像処理をＲＡＷデータに対して行う画像処理手段と、主画像データとしてのＲＡＷデータに付属情報を付加した画像ファイルを生成して出力する第１の出力モードとＲＡＷデータに対して第２の画像処理を施すとともに汎用性のあるデータ形式に変換した主画像データを含む画像ファイルを生成して出力する第２の出力モードとを選択する選択手段とを備え、顔検出手段を、撮影画像内に複数の人物の顔の画像領域を検出したときには、各顔の画像領域の大きさまたは位置に基づいて各顔の画像領域の優先順位を決定し、その優先順位情報を有する領域情報を生成するようにし、画像処理手段を、顔の画像領域が有する優先順位にしたがって優先順位の高い顔の画像部分が優先して最適化されるように第２の画像処理を行うようにしたものである。
【００１２】
請求項６記載の撮影装置では、最適化処理を、撮影画像内で検出された顔の画像の階調が最適化されるように画像全体の階調を変換する階調変換処理を含むものとしており、請求項７記載の撮影装置では、最適化処理を、撮影画像内で検出された顔の画像の色が最適化されるように画像全体のホワイトバランスを補正するホワイトバランス補正処理を含むようにしたものである。
【００１３】
請求項８記載の撮影装置では、第１の出力モード時に、ＲＡＷデータに対して第２の画像処理を施すとともに汎用性のあるデータ形式に変換した付加画像データを付加した画像ファイルを生成して出力するようにしたものである。請求項９記載の撮影装置では、付加画像データを、画素数を少なくしたサムネイル画像のデータとしたものであり、請求項１０記載の撮影装置では、付加画像データのデータ形式を、ＪＰＥＧ形式としたものである      
【００１４】
請求項１１記載の画像処理装置では、撮影画像のＲＡＷデータとその撮影画像内の人物の顔の画像領域を示す領域情報とを含む画像ファイルを取得するファイル取得手段と、画像ファイルから取り出したＲＡＷデータに対して、画像ファイルから取り出した領域情報に示される顔の画像部分の最適化を含む画像処理を行うデータ処理手段とを備えたものである。
【００１５】
請求項１２記載の画像処理装置では、最適化処理を、領域情報に示される人物の顔の階調が最適化されるように画像全体の階調を変換する階調変換処理を含むものとし、請求項１３記載の画像処理装置では、最適化処理を、領域情報に示される人物の顔の色が最適化されるように画像全体のホワイトバランスを補正するホワイトバランス補正処理を含むものとしたものである。
【００１６】
請求項１４記載の画像処理装置では、領域情報が、複数の領域情報相互の優先順位を示す優先順位情報を有し、データ処理手段を、各領域情報が有する優先順位にしたがって優先順位の高い顔の画像部分が優先して最適化されるように最適化処理を行うようにしたものである。
【００１７】
請求項１５記載の画像処理装置では、画像ファイルからそれに含まれるＲＡＷデータを汎用性のあるデータ形式に変換して付加された付加画像データを取出して、この付加画像データに基づいて画像を表示する表示手段を備えたものである。
【００１８】
請求項１６記載の画像処理装置では、外部からの指示に基づいて領域情報の優先順位を変更するための順位変更手段を備え、データ処理手段を、順位変更手段による変更後の優先順位にしたがって最適化処理を行うようにしたものである。
【００１９】
請求項１７記載の画像処理装置では、画像ファイルからそれに含まれるＲＡＷデータを汎用性のあるデータ形式に変換して付加された付加画像データを取出して、この付加画像データに基づいて画像を表示するとともに、優先順位情報に基づいて優先順位の高低を区別可能にして領域情報に基づく顔の領域を画像に重ねて表示する表示手段を備えたものである。
【００２０】
請求項１８記載の画像処理装置では、外部からの操作により指示された切出し範囲をＲＡＷデータから切出すトリミング手段と、切出し範囲内の領域情報に示される画像領域の大きさまたは位置に応じて、切出し範囲に含まれる領域情報の優先順位を設定する順位変更手段とを備え、データ処理手段を、切り出されたＲＡＷデータに対して再設定後の優先順位にしたがって最適化処理を行うようにしたものである。
【００２１】
請求項１９記載の画像処理装置では、画像ファイルからそれに含まれるＲＡＷデータを汎用性のあるデータ形式に変換して付加された付加画像データを取出して、この付加画像データに基づいて画像を表示するとともに、外部からの操作により指示される切出し範囲を画像に重ねて表示する表示手段を備えたものである。
【００２２】
請求項２０記載の画像処理装置では、データ処理手段を、画像処理を施したＲＡＷデータを汎用性のあるデータ形式の汎用画像データに変換して出力するようにしたものである。また、請求項２１記載の画像処理装置では、汎用画像データのデータ形式を、ＪＰＥＧ形式としたものである。
【００２３】
請求項２２記載の画像ファイル生成方法では、被写体像を撮影してイメージセンサから出力される画像信号をデジタル変換したＲＡＷデータに、イメージセンサから出力される画像信号に基づいて特定した撮影画像内の人物の顔の画像領域を示す領域情報を付加した画像ファイルを生成して出力するようにしたものである。
【００２４】
請求項２３記載の画像処理方法では、画像ファイルからＲＡＷデータと撮影画像内の人物の顔の画像領域を示す領域情報とを取り出し、領域情報に示される顔の画像部分の最適化を含む画像処理をＲＡＷデータに対して行うようにしたものである。
【００２５】
請求項２４記載の画像処理プログラムでは、ＲＡＷデータと撮影画像内の人物の顔の画像領域を示す領域情報が付加された画像ファイルを取得する機能と、画像ファイルから取り出したＲＡＷデータに対して、画像ファイルから取り出した領域情報に示される顔の画像部分の最適化を含む画像処理を行う機能とをコンピュータに実現させるものである。
【発明の効果】
【００２６】
本発明によれば、イメージセンサからの画像信号をデジタル変換したＲＡＷデータに撮影画像内の人物の画像領域を示す領域情報を付加した画像ファイルを生成して出力するようにしたから、画像処理装置での画像処理の際、撮影装置が特定した人物の顔の領域を示す領域情報を基に、その顔の画像部分を最適化するようにする画像処理を行うことができる。また、画像ファイルから取り出したＲＡＷデータに対して、それに付加されている人物の顔の画像領域を示す領域情報に示される顔の画像部分の最適化を含む画像処理を行うようにしているので、操作者を煩わせることなく最適化された画像処理を行うことができる。撮影装置で撮影される画像の多くの場合が人物に重点が置かれており、その人物の顔の再現を最適化することで、ユーザの満足のいく画像とすることができる。
【００２７】
また、本発明によれば、領域情報を参照しない場合に用いられる画像処理パラメータをＲＡＷデータの付属情報として付加するから、人物の顔の画像領域を用いずに撮影装置から通常に得られる画像を画像処理装置で作成するが容易になる。
【発明を実施するための最良の形態】
【００２８】
本発明の画像処理システムの構成を図１に示す。画像処理システムは、撮影装置としてのデジタルカメラ１０と、画像処理装置として機能するパーソナルコンピュータ（以下，ＰＣと称する）１１と、デジタルカメラ１０で画像ファイルが記録され、ＰＣ１１で画像ファイルが読み出されるメモリカード１２とからなる。
【００２９】
デジタルカメラ１０は、レリーズボタン１４の押圧操作に応答して撮影レンズ１５を通して被写体の撮影を行い、この撮影で得られる画像データに情報などを付加した画像ファイルをメモリカード１２に記録する。デジタルカメラ１０には、モード選択ダイアル１６を設けてあり、撮影を行う撮影モード、撮影した画像を再生表示する再生モードを選択できる。また、このモード選択ダイアル１６を操作することによって、撮影モード下での記録モードを選択することができる。
【００３０】
記録モードとしては、通常記録モードとＲＡＷ記録モードのいずれかを選択することができる。通常記録モードは、撮影画像に各種の画像処理を施して汎用性のあるデータ形式に変換した主画像データを含む画像ファイルを生成して出力する第２の出力モードとなっており、このデジタルカメラ１０では例えばＥｘｉｆの規格に準拠したＪＰＥＧ形式の画像データに撮影日時などの付属情報を付加した画像ファイルを出力する。一方のＲＡＷ記録モードは、ＲＡＷデータを主画像データとして、このＲＡＷデータに後述する領域情報等を付属情報として付加した画像ファイルを生成して出力する第１の出力モードとなっている。
【００３１】
ＰＣ１１は、キーボード１１ａ，マウス１１ｂ，モニタ１１ｃが接続されている。このＰＣ１１は、画像処理プログラム１７が書き込まれたハードディスク１８を内蔵しており、画像処理プログラム１７がＣＰＵ１９によって実行されることにより、ＰＣ１１は画像処理装置として機能する。また、ＰＣ１１は、メモリカード１２が挿入されるカードドライブ２０を設けてあり、これにメモリカード１２を挿入することで、メモリカード１２から画像ファイルを読み出すことができる。
【００３２】
なお、この例においては、デジタルカメラ１０を撮影装置とし、ＰＣ１１を画像処理装置とし、撮影装置で生成される画像ファイルを外部に出力するためにメモリカード１２を用いているが、画像処理システムの構成はこれに限定されるものではない。撮影装置としては、撮影で得られる画像を画像ファイルとして出力が可能であればよく、例えばデジタルカメラ機能付きの携帯電話などであってもよいし、画像処理装置としては画像処理が行うことができれば、それ専用の装置やプリンタ等であってもよい。また、メモリカード１２に代えて、ＵＳＢやＬＡＮ，電話回線、無線等を使用して、画像ファイルを撮影装置から画像処理装置に出力してもよい。
【００３３】
図２にデジタルカメラ１０の構成を示す。操作部２１は、レリーズボタン１４，モード選択ダイアル１６，デジタルカメラ１０の背面に設けた電源ボタン，ズームボタン等の各種操作部材を含み、それら操作部材の操作に応じた操作信号をＣＰＵ２２に送る。ＣＰＵ２２は、操作部２１からの各種信号に基づいてデジタルカメラ１０の各部を制御する。
【００３４】
ＣＰＵ２２には、各種シーケンスを実行するためのプログラム等が書き込まれたＲＯＭ２２ａ，撮影シーケンスなどを実行する際に必要なデータを一時的に記憶するワークメモリとして利用されるＲＡＭ２２ｂが内蔵されている。ＣＰＵ２２は、ＲＯＭ２２ａのプログラムにしたがって各部を制御する。
【００３５】
撮影レンズ１５には、操作部２１のズーム操作に応答して作動するズーム機構１５ａ，被写体にピントを合致させるフォーカス機構１５ｂ，露光量を調節するための絞り装置１５ｃ，スメアの発生を防止するシャッタ装置１５ｄが組み込まれている。ズーム機構１５ａ，フォーカス機構１５ｂ，絞り装置１５ｃは、レンズ駆動部２３を介してＣＰＵ２２によって駆動が制御される。シャッタ装置１５ｄは、通常はシャッタ羽根を開いており、イメージセンサ２４による撮影（電荷蓄積）完了直後にシャッタ羽根を閉じるようにタイミングジェネレータ２５によって作動が制御される。
【００３６】
撮影レンズ１５の背後に、イメージセンサ２４を配してあり、撮影レンズ１５による被写体像がイメージセンサ２４の受光面に結像される。イメージセンサ２４は、タイミングジェネレータ２５からの各種駆動信号により駆動され、被写体像を電気的なアナログの画像信号として出力する。イメージセンサ２４の受光面には、多数の画素（受光素子）をマトリクス状に配してあり、カラー撮影を行うために各画素のそれぞれについて赤色，緑色，青色のうちのいずれか１色の色フィルタを設けてある。
【００３７】
イメージセンサ２４としては、画素の配列が正方配列のものに限られず、ハニカム配列であってもよく、色フィルタの配列は画素の配列に応じた種々のものを採用することができる。また、この例では１個のイメージセンサ２４によってカラー画像を撮影するいわゆる単板式であるが、色ごとにイメージセンサを設けて撮影する３板式であってもよい。さらに、イメージセンサ２４としては、例えばＣＣＤイメージセンサを用いているが、それに限るものではなくＭＯＳ型等のイメージセンサを用いてもよい。
【００３８】
イメージセンサ２４からの画像信号は、アナログ信号処理部２６に送られる。アナログ信号処理部２６は、ＣＤＳ回路２６ａ，ＡＭＰ回路２６ｂ，Ａ／Ｄ変換器２６ｃから構成されており、タイミングジェネレータ２５からの駆動タイミング信号で動作し、イメージセンサ２４の動作に同期して画像信号に対して信号処理を行う。
【００３９】
ＣＤＳ回路２６ａは、相関二重サンプリングを行うことによって画像信号に含まれるリセットノイズの除去を行なう。ＡＭＰ回路２６ｂは所定のゲインで画像信号を増幅する。Ａ／Ｄ変換器２６ｃは、画素ごとに画像信号をデジタル変換することによってＲＡＷデータを生成し出力する。このように生成されるＲＡＷデータは、イメージセンサ２４の画素ごとに検出した各色の光量をそのまま高い精度で示すデータとなっており、１画素につき例えば１４ビットのデータ幅で生成される。
【００４０】
ＤＳＰ（デジジタル信号処理回路）２７は、バス２８で接続されたＣＰＵ２２，顔検出部３０，画像入力コントローラ３１，デジタル画像処理部３２，圧縮処理部３３，ＡＦ検出部３４，ＡＥ／ＡＷＢ検出部３５，メディアコントローラ３６，内部メモリ３７，ＬＣＤドライバ３８から構成されており、これら各部はバス２８を介してＣＰＵ２２に制御されるとともに、相互間でデータの授受が可能になっている。
【００４１】
Ａ／Ｄ変換器２６ｃからの画像データは、顔検出部３０と画像入力コントローラ３１に入力される。画像入力コントローラ３１は、バス２８へのＲＡＷデータの入力を管制する。
【００４２】
顔検出部３０は、入力されるＲＡＷデータを調べて顔情報を生成して出力する。顔情報には、撮影画像中に含まれている人物の顔の個数を示す個数情報と、その顔の画像領域を示す領域情報とからなる。領域情報には、顔の領域の大きさ及び画像中の位置に応じた人物の顔の優先順位情報が付けられている。優先順位は、例えば画像中における人物の顔の領域の大きいものほど優先順位を高くし、ほぼ同じ大きさの場合には画面中央に近い顔ほど優先順位を高くするようにしてある。なお、撮影画像中に顔が検出されなかった場合には「０」の個数情報だけが顔情報として生成される。
【００４３】
デジタル画像処理部３２は、詳細を後述するように、第１オフセット補正，キズ補正からなる前処理と、第２オフセット補正，ホワイトバランス補正，γ補正（階調変換），ノイズ除去処理，ＹＣ変換（色空間変換）からなる後処理と、リサイズ処理とを行う。
【００４４】
ＲＡＷ記録モードの場合には、デジタル画像処理部３２は、前処理を施した記録用のＲＡＷデータを出力するとともに、撮影画像を縮小したサムネイル画像のＹＣデータを出力する。通常記録モードの場合には、デジタル画像処理部３２は、記録用のＹＣデータと、サムネイル画像のＹＣデータとを出力する。ＹＣデータは、前処理を施したＲＡＷデータに後処理を施すことで作成され、サムネイル画像のＹＣデータは、さらにリサイズ処理を施すことで作成される。
【００４５】
圧縮処理部３３は、デジタル画像処理部３２からのＹＣデータに対してＪＰＥＧ方式でのデータ圧縮を行うことにより、ＪＰＥＧデータを生成する。これにより、ＲＡＷ記録モード時では、サムネイル画像のＪＰＥＧデータが作成され、通常記録モード時では、撮影画像のＪＰＥＧデータと、撮影画像を縮小したサムネイル画像のＪＰＥＧデータとが作成される。なお、圧縮処理部３３は、再生モード時では、メモリカード１２から読み出した画像ファイル中のＪＰＥＧデータを伸張して、ＹＣデータを生成する。
【００４６】
ＡＦ検出部３４は、撮影レンズ１５のピント合せのために、画像入力コントローラ３１から出力されるＲＡＷデータを用いて撮影中の画像のコントラストを検出し、そのコントラスト情報をＣＰＵ２２に送る。ＣＰＵ２２は、コントラスト情報を参照し、そのコントラストが最大となるようにレンズ駆動部２３を介してフォーカス機構１５ｂを駆動することにより、被写体にピントを合致させる。
【００４７】
ＡＥ／ＡＷＢ検出部３５は、画像入力コントローラ３１からのＲＡＷデータに基づいて、被写体画像の被写体輝度の検出と、光源の種類または色温度の検出を行い、それらの被写体輝度情報，光源情報をＣＰＵ２２に送る。ＣＰＵ２２は、光源情報に基づいて決定したホワイトバランス用のＷＢパラメータをデジタル画像処理部３２に設定する。また、ＣＰＵ２２は、被写体輝度情報に基づいて適正となる絞り，シャッタ速度等を決定して制御する。
【００４８】
メディアコントローラ３６は、ファイル出力手段となっており、メモリカード１２に対して画像ファイルの書き込みを行う。また、再生モードでは、メディアコントローラ３６は、メモリカード１２から画像ファイルの読み出しを行う。メモリカード１２に記録する画像ファイルはＣＰＵ２２によって生成される。
【００４９】
内部メモリ３７には、デジタル画像処理部３２や圧縮処理部３３での処理対象となるデータ，処理済みのデータや、画像処理パラメータ，顔情報等の付属情報が一時的に書き込まれる。また、この内部メモリ３７の一部領域は、ＬＣＤ３９に表示すべき画像のＹＣデータが書き込まれるビデオメモリとしても用いられる。
【００５０】
ＬＣＤドライバ３８は、ＹＣデータを内部メモリ３７から１ラインずつ読み出し、このＹＣデータに基づいてＬＣＤ３９を駆動する。これにより、ＬＣＤ３９にスルー画像やメモリカード１２に記録されている画像を表示する。ＬＣＤ３９は、デジタルカメラ１０の背面に設けてあり、ユーザは、ＬＣＤ３９に表示される画像を観察することができる。なお、ＬＣＤ３９を駆動する際には、ＹＣデータが赤色，緑色，青色のＲＧＢデータに変換される。
【００５１】
顔検出部３０による顔の検出状態の一例を図３に模式的に示す。顔検出部３０は、画像中の顔の領域Ａ１，Ａ２・・・を画面枠Ｇの縦横に各辺が平行な長方形で特定するようにしてある。領域情報は、画像中の適当な位置を原点として、その長方形の対角の２点の座標で表している。例えば、領域Ａ１は、座標（Ｘ１１，Ｙ１１）と座標（Ｘ１２，Ｙ１２）で表され、領域Ａ２は、座標（Ｘ２１，Ｙ２１）と座標（Ｘ２２，Ｙ２２）とで表される。
【００５２】
また、図３に示される例では、画像中の３つの領域Ａ１〜Ａ３のうちで領域Ａ１が最も大きな領域となるので、この領域Ａ１の顔の優先順位が最も高く（優先順位１）なるようにされる。また、領域Ａ２と領域Ａ３の大きさがほぼ同じであるとすれば、画面の中央に近い領域Ａ２の顔が領域Ａ３の顔よりも順位が高くされる。なお、このように優先順位を決定するのは、撮影者の意図する主要被写体（顔）を階調補正で優先させるためであるが、優先順位の決め方は、これに限られるものではない。例えば領域（の中心）と画面中心との距離に応じた係数を領域の大きさに乗算して得られる値に応じて顔の優先順位を決定するなどでもよい。
【００５３】
図４に、ＲＡＷ記録モード時にＤＳＰ２７で行うデータ処理を機能ブロックで示す。顔検出部３０は、前述のように、入力されるＲＡＷデータを調べ、個数情報と領域情報とからなる顔情報を生成して出力する。
【００５４】
この例における顔検出部３０は、アナログ信号処理部２６からのＲＡＷデータを調べることによって、撮影画像内の人物の顔の画像領域の検出を行うが、画像信号に基づく撮影画像内の人物の顔の画像領域の検出は、これに限るものではなく、例えばＡ／Ｄ変換器２６ｃでデジタル変換する前の画像信号を用いてもよいし、デジタル画像処理部３２での前処理や後処理後のデータを用いてもよい。
【００５５】
第１オフセット補正手段４１は、アナログ信号処理部２６からのＲＡＷデータに対してブラックレベルを補正する第１オフセット補正を行う。この第１オフセット補正には、このデジタルカメラ１０に予め用意されている第１オフセットパラメータを用いて行うが、例えばイメージセンサ２４のオプティカルブラックのＲＡＷデータに基づいて行うこともできる。
【００５６】
キズ補正手段４２は、予め登録されているイメージセンサ２４の欠陥画素に対応するＲＡＷデータを他のＲＡＷデータに置換えるいわゆるキズ補正を行う。このキズ補正では、欠陥画素のＲＡＷデータを例えば欠陥画素の周囲の各画素のＲＡＷデータから生成されるデータに置換えることによって行う。
【００５７】
第１オフセット補正とキズ補正とからなる前処理は、画像信号をＡ／Ｄ変換した直後のＲＡＷデータに比べて、特に撮影画像の情報の損失がない処理であり、この例ではこの前処理を施したデータを撮影画像の記録用のＲＡＷデータとしている。
【００５８】
また、キズ補正されたＲＡＷデータは、サムネイル画像を作成するために、第２オフセット補正手段４３によって第２オフセット補正を行う。第２オフセット補正は、第２オフセットパラメータに基づいてＲＡＷデータを補正することにより撮影画像中の黒を引き締めて画質の向上効果を高めるための補正となっている。第２オフセットパラメータは、イメージセンサ２４の電荷蓄積時間（電子シャッタ速度）や撮影感度に応じたものが用いられる。
【００５９】
ホワイトバランス補正手段４４は、第２オフセット補正を施したデータのうちの２色のデータを１色のデータに対してＷＢパラメータに基づいて相対的に増減することによりホワイトバランスが適正となるようにホワイトバランス補正を行う。ＷＢパラメータは、前述のようにＡＥ／ＡＷＢ検出部３５の検出結果に基づいてＣＰＵ２２が光源の色温度，光源の種類に応じて決定している。
【００６０】
γ補正手段４５は、ホワイトバランス補正されたデータに対して、入力されるデータの階調値に対して変換して出力すべき階調値を規定するγパラメータを用いたγ補正を行って階調変換を行うとともに、１４ビットから８ビットへの階調幅の圧縮も行う。γ補正手段４５の標準γ補正手段４5ａは、予め初期値として与えられた標準γパラメータまたは画像全体の階調を考慮して階調変換を行うようにＲＡＷデータから求めた標準γパラメータに基づいて階調変換を行う標準γ補正を行う。この標準γ補正は、人物の顔が検出されなかった場合に行われる。
【００６１】
一方、撮影画像中に人物の顔が検出された場合には、最適化γ補正手段４５ｂが最適化γ補正を行う。最適化γ補正は、顔検出部３０からの領域情報に示される各顔の領域のＲＡＷデータを調べて、優先順位の高い顔の画像部分の階調が優先して人物の顔として最適化されるように決定される最適化γパラメータを用いて階調変換を行う。この最適化γ補正では、検出された人物の顔が１個だけの場合には、最も高い優先順位の顔だけとなるので、その顔の部分の階調が最適化されるように最適化γパラメータが決められるが、複数の顔が検出された場合に最も優先順位が高い顔の画像部分の階調だけを最適化するように優先順位を考慮して最適化γ補正を行ってもよい。
【００６２】
ノイズ除去手段４６は、ＹＣデータに対してノイズ除去処理を行う。このノイズ除去処理では、イメージセンサ２４の暗電流成分等によるノイズ成分を除去する。ＹＣ変換手段４６は、予め与えられたＹＣ変換パラメータを用いたマトリクス演算等を行うことにより、γ補正されたデータを輝度（Ｙ），各色差（Ｃｒ，Ｃｂ）のＹＣデータに変換するとともに、輝度，各色差のデータの比率が４：２：２とするＹＣ変換を行う。リサイズ手段４８は、ＹＣデータに対して、画素の間引き処理を行うことにより、画素数を少なくしたサムネイル画像を作成するリサイズ処理を行う。
【００６３】
圧縮処理部３３は、サムネイル画像のＹＣデータをＪＰＥＧ形式でデータ圧縮することによりサムネイル画像のＪＰＥＧデータを作成する。この圧縮処理部３３と上記ＹＣ変換手段４７とによりＲＡＷデータを汎用性のあるデータ形式に変換するデータ形式変換手段を構成する。なお、この例では汎用性のあるデータ形式として、ＪＰＥＧ形式を採用しているが、ＴＩＦＦ形式，ＧＩＦ形式，ＢＭＰ形式等の汎用性のある他のデータ形式であってもよい。
【００６４】
上記第１，第２オフセット補正手段４１，４３、γ補正手段４５、ノイズ除去手段４６、ＹＣ変換手段４７、リサイズ手段４８は、主としてデジタル画像処理部３２の機能として実現されており、キズ補正手段４２は、ＣＰＵ２２の機能として、ホワイトバランス補正手段４４は、ＣＰＵ２２，デジタル画像処理部３２及びＡＥ／ＡＷＢ検出部３５の機能によって実現されている。
【００６５】
上記のようにＤＳＰ２７で処理を行う場合に、領域情報を参照しない第１の画像処理は、必ず標準γ補正を行う一連の処理に相当し、領域情報を参照して顔の画像領域を最適化する最適化処理を含む第２の画像処理は、撮影画像に顔が検出された時に最適化γ補正を、撮影画像に顔が検出されなかった時に標準γ補正を行う一連の処理に相当する。
【００６６】
ＣＰＵ２２等の機能によって実現されるファイル生成手段４９は、ＲＡＷ記録モードでは、キズ補正手段４２でキズ補正された後のＲＡＷデータを主画像データとし、これに顔検出手段３０からの顔情報と、第１の画像処理の後処理で使われるべき画像処理パラメータ、すなわち第２オフセット補正手段４３からの第２オフセットパラメータ，ホワイトバランス補正手段４４からのＷＢパラメータ，γ補正手段４５からの標準γパラメータ，ＹＣ変換手段４７からのＹＣ変換パラメータとを含む付属情報と、圧縮処理部３３からのサムネイル画像のＪＰＥＧデータを付加画像データとして付加した画像ファイル（以下、ＲＡＷ画像ファイルという）を生成して出力する。
【００６７】
上記のようにＲＡＷ記録モードにおいて、第１の画像処理の後処理を行った場合に用いる画像処理パラメータ、すなわちデジタルカメラ１０が領域情報を参照しないで撮影画像に対して色や階調等の改善や加工処理等に用いられることになるデジタルカメラ１０に特有なパラメータをＲＡＷデータに付加することにより、このデジタルカメラ１０で領域情報を参照しない場合と同じ画像処理を外部の画像処理装置１１で可能にしている。
【００６８】
このようにＲＡＷ記録モードにおいて、主画像データとしてＲＡＷデータを出力するのは、階調情報や色情報等の損失がほとんどなく、イメージセンサ２４で取得した情報のほとんど全てを用いて画像処理装置等で画像処理を行うことができるようにするためである。
【００６９】
出力するＲＡＷデータとしては、必ずしも画像信号に対して画像の情報損失が実質的にないものであれば、Ａ／Ｄ変換した直後のデータに限られるものではない。したがって、この実施形態のように画像の情報損失がないブラックレベルの補正、キズ補正を行ったデータであってもよい。ＲＡＷデータを各画素について３色のデータに変換した場合、画像情報の損失は実質的にないといえるから、このような変換後のデータであってもよい。また、上記の第２オフセット補正やホワイトバランス補正の実施後のデータも多少の情報損失があるがこれを採用することができる。γ補正後のデータを採用することも可能ではあるが、その場合に好ましくはビット幅の圧縮をしないことが好ましい。ＹＣ変換後のＹＣデータでは、色情報，階調情報の損失が大きいのでそのデータを採用するには無理がある。
【００７０】
ＲＡＷデータに施す画像処理としては、上記の処理、順序に限るものではなく、色，階調，色空間に関するその他の補正や変換処理、輪郭補正やコントラスト補正等の画質に関する処理などデジタルカメラが実施する種々の処理を採用することができ、それら行う処理に用いるパラメータを画像処理パラメータとして出力し付加するようにすればよい。
【００７１】
なお、通常記録モード下では、ＲＡＷ記録モードと同じ処理でサムネイル画像のＪＰＥＧデータが作成され、撮影画像のＪＰＥＧデータは、ＹＣ変換手段４７からのＹＣデータを圧縮処理部３３でデータ圧縮することにより作成される。この撮影画像のＪＰＥＧデータを主画像データとして、Ｅｘｉｆファイルフォーマットに規定される各種の付属情報と、付加画像データとしてのサムネイル画像のＪＰＥＧデータとが付加されて画像ファイルが生成される。
【００７２】
ＲＡＷ画像ファイルの構成を図５に模式的に示す。ＲＡＷ記録モードで生成される画像ファイルのファイル構造は、例えばＥｘｉｆファイルフォーマットと同様な構造であるが、図５（ａ）に示すように主画像データの領域にＲＡＷデータを格納している点で異なっている。前述のようにＲＡＷ記録モード下では、前処理後のＲＡＷデータを主画像データとし、これに付加画像データとしてのサムネイル画像のＪＰＥＧデータと、付属情報とを付加して画像ファイルを生成する。
【００７３】
付属情報は、図５（ｂ）に示すように、画像の幅や高さなどを示す有効画素数情報や主画像データのデータ形式などともに、画像処理パラメータと顔情報とが含まれる。画像処理パラメータは、図５（ｃ）に示すように、第１の画像処理の際に後処理で使われるべき第２オフセットパラメータ，ＷＢパラメータ，標準γパラメータ，ＹＣ変換パラメータからなる。
【００７４】
また、顔情報は、図５（ｄ）に示すように、顔検出部３０で生成される個数情報と領域情報とからなる。個数情報は、顔が検出されなかったときに「０」とされる。また、領域情報は、上述のように長方形の対角の２点の座標であり、領域の左上と右下のそれぞれ縦と横の４つ座標値で１個の領域情報となっている。
【００７５】
各領域情報は、例えば優先順位の順位を示すタグを付与して座標値を記録することで、領域情報に示される顔の優先順位情報が与えられて優先順位がわかるようにしてある。なお、この例では個数情報を付属情報に含めるようにしているが、領域情報の個数からも検出された顔の個数を知ることができるので、個数情報を省略することもできる。また、ＲＡＷデータに対する画像処理パラメータや顔情報に付加のしかたはこれに限られるものではない。
【００７６】
ＰＣ１１は、画像処理プログラムによって、通常記録モード，ＲＡＷ記録モードのいずれの記録モードで記録された画像ファイルの主画像データに対しても、画像処理装置として機能するが、通常記録モードで記録された主画像データに対するその機能は、これまでの画像処理装置と同様であるので、以下ではＲＡＷ記録モードで記録されたＲＡＷ画像ファイルに対する画像処理装置として説明する。
【００７７】
図６に示すように、ＰＣ１１ではカードドライブ２０がファイル取得手段となっており、デジタルカメラ１０で記録されたＲＡＷ画像ファイルをメモリカード１２から読み出し、そのＲＡＷ画像ファイルから抽出されたＲＡＷデータと付属情報とをデータ処理手段５１に送る。この付属情報には画像処理パラメータと顔情報とが含まれる。また、ＲＡＷ画像ファイルから抽出されたサムネイ画像のＪＰＥＧデータは、表示手段５２に送られる。
【００７８】
データ処理手段５１は、ＲＡＷデータに対して画像処理を行ってＹＣデータを生成するとともに、生成したＹＣデータをＪＰＥＧデータに変換してハードディスク１８に記録する。このデータ処理手段５１によるＲＡＷデータに対する画像処理を行うモードとして、標準処理モードと顔補正処理モードとを選択できる。
【００７９】
標準処理モードは、付属情報に含まれる画像処理パラメータを用いて画像処理を行う。
この標準処理モードにおける画像処理は、デジタルカメラ１０の後処理と同様なアルゴリズムとしてあり、第２オフセット補正に対応するオフセット補正，ホワイトバランス補正，γ補正，ノイズ除去処理、ＹＣ変換からなる。
【００８０】
顔補正処理モードは、やはりデジタルカメラ１０の後処理と同様なアルゴリズムで、第２オフセット補正に対応するオフセット補正，ホワイトバランス補正，γ補正，ノイズ除去処理、ＹＣ変換を行うが、γ補正については、画像ファイルから取得した顔情報に基づいて、各顔の領域のＲＡＷデータを調べて優先順位の高い顔の画像部分の階調が優先して最適化されるように求めた最適化γパラメータが用いられる。
【００８１】
なお、ＲＡＷデータに対して行う画像処理の内容は、特定の機種のデジタルカメラに対するものに限られず、例えば、付属情報に含まれる情報からデジタルカメラの機種を特定し、その特定した機種に応じたアルゴリズムを用いて画像処理を行うようにすることができる。
【００８２】
表示手段５２は、ＲＡＷ画像ファイルから抽出されたサムネイ画像のＪＰＥＧデータをデータ伸張し、得られるＹＣデータに基づいてモニタ１１ｃにサムネイル画像を表示する。また、データ処理手段５１で生成されるＹＣデータに基づいてモニタ１１ｃに標準処理モード，顔補正処理モードのいずれかで処理をした画像を表示する。
【００８３】
次に、上記構成の作用について説明する。デジタルカメラ１０で撮影を行う場合には、撮影モードを選択し、さらに記録モードを選択する。撮影モードとなると、イメージセンサ２４によって被写体のスルー画像表示のための光電変換が繰り返し行われ、得られる画像信号がアナログ信号処理部２６，ＤＳＰ２７で処理されることにより、ＬＣＤ３９にスルー画像表示が行われる。そして、このスルー画像を観察してフレーミングを行い、レリーズボタン１４を押圧操作して撮影を行う。
【００８４】
レリーズボタン１４を半押しとすると、ＡＦ検出部３４からのコントラスト情報に基づいてピントの再調節が行われてから、ＡＥ／ＡＷＢ検出部３５から被写体輝度情報に基づいて適正となる絞り，シャッタ速度等が決定される。また、ＡＥ／ＡＷＢ検出部３５からの光源情報に基づいて、ＣＰＵ２２がＷＢパラメータを決定して、それをデジタル画像処理部３２に設定する。
【００８５】
レリーズボタン１４をさらに押し込んで全押しとすると、先に決定した絞り，シャッタ速度を用いた１画面分の露光（電荷蓄積）がイメージセンサ１４によって行われる。そして、その露光完了後に、イメージセンサ１４から１画面分の画像信号がアナログ信号処理部２６に出力され、相関二重サンプリング、増幅が行われた後にＡ／Ｄ変換器２６ｃによってＲＡＷデータに変換される。
【００８６】
Ａ／Ｄ変換器２６ｃからのＲＡＷデータは、顔検出部３０に送られるとともに、画像入力コントローラ３６からバス２８を介して内部メモリ３７に送られて書き込まれる。ＲＡＷデータが入力されと、顔検出部３０は、そのＲＡＷデータを調べて撮影画像中に人物の顔が含まれているか否かを判定し、含まれている場合には含まれている顔の全てについての領域を特定し、さらに顔の領域の大きさ、位置に基づいて各顔の優先順位を決定し、個数情報と領域情報とからなる顔情報を生成する。このようにして、生成された顔情報が内部メモリ３７に書き込まれる。
【００８７】
内部メモリ３７への顔情報の書き込み完了後、個数情報が「０」であるか否かが調べられ、「０」である場合には、デジタル画像処理部３２は、標準γパラメータをγ補正用に設定する。一方、個数情報が「０」でない場合には、デジタル画像処理部３２は、続いて各領域情報を参照し、これら各領域情報に示される領域のＲＡＷデータを調べ、優先順位の高い顔の画像部分の階調が優先して最適化されるように最適化γパラメータを決定し、それを設定する。
【００８８】
γパラメータの設定後、ＲＡＷ記録モードが選択されている場合では、第２オフセットパラメータ，ＷＢパラメータ，標準γパラメータ，ＹＣ変換パラメータが画像処理パラメータとして内部メモリ３７に書き込まれる。
【００８９】
続いて、内部メモリ３７からＲＡＷデータが読み出され、これに対してデジタル画像処理部３２によって画像処理が順次に行われる。第１オフセット補正，キズ補正が行われた後に、第２オフセットパラメータを用いた第２オフセット補正，ＷＢパラメータを用いたホワイトバランスの補正が行われる。
【００９０】
次にγ補正が行わるが、このγ補正では個数情報が「０」であった場合には標準γパラメータが用いられ、「０」でない場合には最適化γパラメータが用いられるから優先順位の高い顔の画像部分の階調が優先して階調が最適化されることになる。γ補正の完了後、ノイズ除去処理が行ってからＹＣ変換パラメータを用いたＹＣ変換が行われ、得られる撮影画像のＹＣデータが内部メモリ３７に書き込まれる。
【００９１】
内部メモリ３７から撮影画像のＹＣデータがデジタル画像処理部３２によって読み出され、その画素を間引くことによってサムネイル画像が作成され、このサムネイル画像のＹＣデータが圧縮処理部３３に送られてＪＰＥＧデータとされる。そして、サムネイル画像のＪＰＥＧデータが内部メモリ３７に書き込まれる。
【００９２】
記録モードとしてＲＡＷ記録モードが選択されている場合には、内部メモリ３７に書き込まれている前処理が施されたＲＡＷデータを主画像データとし、これにサムネイル画像のＪＰＥＧデータを付加画像データとして付加し、さらに画像処理パラメータ及び顔情報を含む付属情報を付加したＲＡＷ画像ファイルがＣＰＵ２２によって生成される。そして、このＲＡＷ画像ファイルがメディアコントローラ３６によってメモリカード１２に書き込まれる。なお、ＲＡＷデータを可逆圧縮したデータを用いてＲＡＷ画像ファイルを作成してもよい。
【００９３】
他方、記録モードとして通常記録モードが選択されている場合には、内部メモリ３７から撮影画像のＹＣデータがそれぞれ読み出されて、圧縮処理部３３に送られてＪＰＥＧデータとされる。そして、このように得られる撮影画像のＪＰＥＧデータを主画像データとし、これにサムネイル画像のＪＰＥＧデータを付加画像データとして付加し、また所定の付属情報を付加した画像ファイルが作成され、この画像ファイルがメディアコントローラ３６によってメモリカード１２に書き込まれる。
【００９４】
上記のようにしてＲＡＷ画像ファイルとして記録されている撮影画像を鑑賞したり、ＪＰＥＧ形式などの汎用性のある画像データとして保存したりする場合には、ＲＡＷ画像ファイルが記録されたメモリカード１２をＰＣ１１のカードドライブ２０に挿入し、画像処理プログラムを実行する。
【００９５】
ＰＣ１１のキーボード１１ａやマウス１１ｂを操作して画像処理の対象となるＲＡＷ画像ファイルを選択すると、図７に示すように、その選択したＲＡＷ画像ファイルがメモリカード１２から読み出されてＲＡＷデータと、付属情報と、サムネイル画像のＪＰＥＧデータとが取得される。
【００９６】
取得したサムネイル画像のＪＰＥＧデータに基づいてモニタ１１ｃが駆動され、選択した画像ファイルのサムネイル画像がモニタ１１ｃに表示される。これにより、操作者は、選択した画像ファイルの内容を素早く確認することができる。
【００９７】
また、サムネイル画像を観察することによって、デジタルカメラ１０の通常記録モードを選択していた場合の画像状態を知ることができる。したがって、人物の顔が検出された画像である場合には、顔補正処理モードを選択した場合の補正の具合を予め知ることができる。このときにサムネイル画像とともに個数情報を表示したり、サムネイル画像に重ねて領域情報に示される領域を表示したりしてもよい。
【００９８】
サムネイル画像の表示後に、付属情報から個数情報が抽出され、顔が検出されている画像であるか否か、すなわち個数情報が「０」であるか否かが調べられる。そして、個数情報が「０」であるときには、自動的に標準処理モードの処理が行われ、「０」でない場合には、標準処理モードと顔補正処理モードを選択する処理となるので、操作者はいずれか一方を選択する。
【００９９】
なお、個数情報が「１」以上の場合に顔補正処理モードが自動的に選択されるようにしてもよい。また、個数情報が「０」の場合にも、顔補正処理モードを選択できるようにして、操作者がデジタルカメラ１０で検出できなかった顔の領域を指定できるようにしてもよい。
【０１００】
例えば、標準処理モードを選択した場合、および個数情報が「０」である場合には、ＰＣ１１によって付属情報から画像処理パラメータが抽出される。そして、その画像処理パラメータを用いて、ＲＡＷ画像ファイルから取得したＲＡＷデータに対して画像処理が行われる。すなわち、撮影したデジタルカメラ１０と後処理と同じ画像処理が行われるが、γ補正には標準γ補正パラメータが用いられる。
【０１０１】
一方、顔補正処理モードを選択した場合には、付属情報から領域情報が抽出され、その領域情報に基づいて最適化γパラメータがＰＣ１１によって算出される。この最適化γパラメータは、デジタルカメラ１０のそれと同じようにして求められる。そして、ＲＡＷデータに付加されてきた画像処理パラメータ中の標準γ補正パラメータを、このようにして求めた最適化γパラメータに置換えた画像処理パラメータを作成し、この画像処理パラメータを用いてオフセット補正，ホワイトバランス補正，γ補正，ノイズ除去，ＹＣ変換を行う。
【０１０２】
したがって、顔補正処理モードを選択すれば、ＰＣ１１での処理によってデジタルカメラ１０の場合と同じく、優先順位の高い顔の画像部分の階調が優先して最適化されるようにしてＹＣデータが作成されることになる。もちろん、最も優先順位が高い顔の画像部分の階調だけを最適化するように優先順位を考慮するように処理してもよい。
よい。
【０１０３】
標準処理モード，顔補正処理モードのいずれの場合にも、ＹＣ変換で得られるＹＣデータは、ＪＰＥＧデータに変換されてハードディスク１８に保存される。また、ＹＣデータに基づいて、その画像がモニタ１１ｃに表示される。これにより、操作者は、ＲＡＷデータから生成された画像を見ることができる。なお、ハードディスク１８に保存する代わりにメモリカード１２等に記録してもよい。
【０１０４】
以上のように、デジタルカメラ１０によって領域情報を付加して画像ファイルを作成しあ、その領域情報に示される顔の画像部分の最適化を含む画像処理をＲＡＷデータに対して行うようにしているので、操作者を煩わせることなく最適化された画像処理を行うことができる。また、領域情報に基づいてなされた補正が好ましくないときには、ＲＡＷデータに対して標準処理モードで処理を行えば、領域情報を参照しないで行われるデジタルカメラ１０の標準的な画像処理を施した画像をも容易に得ることができる。さらに、このような画像処理には、画像の情報損失がないＲＡＷデータを用いるので、デジタルカメラ１０で処理する場合と比べても画質の劣化がない。
【０１０５】
図８，図９は、ＰＣでの画像処理の際に、画像中の顔の領域の優先順位を変更できるようにした例を示すものである。なお、以下に説明する他は、最初の実施形態と同様であり、同じ部材に同じ符号を付してその説明を省略する。
【０１０６】
この例では、顔補正処理モードの選択後に、画像中に複数の顔が含まれると判断されると、操作者に対して優先順位を変更するか否かの問い合せが行われる。この問い合せに対して優先順位を変更しない指示をした場合には、最初の実施形態における顔補正処理モードと同じ処理が行われる。
【０１０７】
一方、優先順位を変更する指示をした場合には、操作者は、例えばキーボード１１ａ，マウス１１ｂ等を操作して優先順位を指定する。例えばサムネイル画像を表示する際に、図１０（ａ）にようにサムネイル画像に重ねて領域情報に示される領域Ａ１，Ａ２・・・が表示されるとともに、各領域Ａ１，Ａ２・・・のそれぞれに対応する優先順位を示す数字「１」，「２」・・・が表示され、操作者が現在設定されている領域、優先順位を知ることができるようにされている。そして、操作者は、マウス１１ｂの操作に連動してモニタ１１ｃ上で移動するポインタで領域を指定し、キーボード１１ａで優先順位を指定し、図１０（ｂ）に示すように各領域Ａ１，Ａ２・・・に所望とする優先順位が表示されるようにする。
【０１０８】
上記のようにして優先順位の変更が入力されると、順位変更手段５３により、付属情報から抽出された領域情報に対応する優先順位が変更され、変更後の領域情報がデータ処理手段５１に送られる。そして、その変更後の優先順位を使って最適化γパラメータが求められ、この最適化γパラメータを含む画像処理パラメータを用いてＹＣデータが生成される。
【０１０９】
これによれば、優先順位を任意に指定できるので、デジタルカメラ１０での検出時に意図する人物とは異なる人物の顔の優先順位が高くされてしまった等という場合にも、優先順位を変更して所望とする優先順での画像処理を行うことができる。
【０１１０】
図１１，図１２は、ＰＣでトリミングが行われた場合に、そのトリミングによって切り出された画像中の領域城を用いて画像処理を行うようにした例を示すものである。なお、以下に説明する他は、最初の実施形態と同様であり、同じ部材に同じ符号を付してその説明を省略する。
【０１１１】
この例では、モニタ１１ｃに表示されているサムネイル画像を参照しながら、キーボード１１ａやマウス１１ｂを操作することによりトリミングを指示することができるようにされている。例えば、図１３（ａ）に示すように、領域情報に示される領域Ａ１，Ａ２・・・がサムネイル画像に重ねて表示されるとともに、各領域Ａ１，Ａ２・・・のそれぞれに対応する優先順位を示す数字「１」，「２」・・・が表示され、操作者が現在設定されている領域、優先順位を知ることができるようにされている。操作者は、このサムネイル画像を参照しながら、キーボード１１ａやマウス１１ｂを操作することにより、トリミングして残すべき切り出し範囲Ｔｍを指定する。
【０１１２】
切り出し範囲Ｔｍが指示されると、トリミング手段５４によって、その範囲のＲＡＷデータが切り出され、切り出されたＲＡＷデータがデータ処理手段５１に入力される。また、トリミング手段５４から切り出し範囲Ｔｍが順位変更手段５３に与えられ、順位変更手段５３は、切出し範囲内の領域情報に示される画像領域の大きさまたは位置に応じて優先順位を再設定する。再設定された優先順位は、データ処理手段５１に送られるとともに、その優先順位が例えば図１３（ｂ）に示すようにモニタ１１ｃに表示される。
【０１１３】
そして、顔補正処理モードが選択された場合には、この再設定された切出し範囲内の領域情報を用いて最適化γパラメータが求められ、この最適化γパラメータでγ補正を行うように画像処理を行う。これによれば、トリミングされて残る画像範囲の顔部分を最適化するようにして、デジタルカメラ１０と同様な画像処理を施した画像を容易に作成できる。
【０１１４】
上記各実施形態では、第２の画像処理において撮影画像中に検出した人物の顔の階調を最適化するようにγ補正（階調変換）を行っているが、これに代えて撮影画像中に検出した人物の顔の色が最適化されるようにホワイトバランス補正を行ってもよい。図１４，図１５にその例を示す。なお、以下に説明する他は、最初の実施形態と同様であり、実質的に同じ部材には同一の符号を付して、その説明を省略する。
【０１１５】
この例では、ホワイトバランス補正手段４４の標準ＷＢ補正手段４４ａは、ＡＥ／ＡＷＢ検出手段３５によって求められる画像全体を考慮してホワイトバランスを適正化するように求めた標準ＷＢパラメータに基づいてホワイトバランスを補正する標準ＷＢ補正を行う。
【０１１６】
一方、最適化ＷＢ補正手段４４ｂは、顔検出部３０からの領域情報に示される各顔の領域のＲＡＷデータを調べて、優先順位の高い顔の画像部分の色が優先して人物の顔として最適化されるように決定される最適化ＷＢパラメータを用いてホワイトバランスを補正する最適化ＷＢ補正を行う。なお、撮影画像中に人物の顔が検出された場合には、最適化ＷＢ補正を行い、人物の顔が検出されなかった場合には、標準ＷＢ補正を行う。そして，ＲＡＷ記録モードでは、付属情報中の画像処理パラメータにはホワイトバランス用のパラメータとして標準ＷＢパラメータが含められる。
【０１１７】
ＰＣ１１側の処理では、標準処理モードは、ＲＡＷデータに付加された標準ＷＢパラメータを用いてホワイトバランスの補正を行い、顔補正処理モードでは、画像ファイルから取得した顔情報に基づいてＰＣ１１で各顔の領域のＲＡＷデータを調べて優先順位の高い顔の画像部分の色が優先して最適化されるように求めた最適化ＷＢパラメータを用いてホワイトバランスの補正を行う。
【０１１８】
上記各実施形態では、第２の画像処理において撮影画像中に検出した人物の顔を最適化するようにγ変換またはホワイトバランス補正のいずれか一方について最適化するようにしているが、図１６，図１７に示す例のようにして、人物の顔の階調及び色調を最適化するようにγ変換とホワイトバランス補正を行うようにしてもよい。
【０１１９】
この場合には、デジタルカメラ１０では、標準ＷＢパラメータと標準γパラメータとをＲＡＷ画像ファイルに付加する画像処理パラメータに含める。また、ＰＣ１１では、顔補正処理モードの際に、画像ファイルから取得した顔情報に基づいてＰＣ１１で各顔の領域のＲＡＷデータを調べて優先順位の高い顔の画像部分の色と階調が優先して人物の顔として最適化されるように求めた最適化γパラメータと最適化ＷＢパラメータを用いてホワイトバランス補正とγ補正とを行う。
【図面の簡単な説明】
【０１２０】
【図１】本発明を実施した画像処理システムの概略を示す説明図である。
【図２】デジタルカメラの構成を示すブロック図である。
【図３】領域情報の検出状態を示す説明図である。
【図４】デジタルカメラの画像処理を示す機能ブロック図である。
【図５】ＲＡＷ画像ファイルのファイル構成を示す構成図である。
【図６】ＰＣの機能を示す機能ブロック図である。
【図７】ＰＣの画像処理の手順を示すフローチャートである。
【図８】画像中の領域情報の優先順位を変更する例におけるＰＣの機能を示す機能ブロック図である。
【図９】画像中の領域情報の優先順位を変更する例におけるＰＣでの画像処理の手順を示すフローチャートである。
【図１０】画像中の領域情報の優先順位を変更した場合のサムネイル画像の表示例を示す説明図である。
【図１１】トリミングをする例におけるＰＣの機能を示す機能ブロック図である。
【図１２】トリミングをする例におけるＰＣの画像処理の手順を示すフローチャートである。
【図１３】トリミングをする場合のサムネイル画像の表示例を示す説明図である。
【図１４】人物の顔領域に基づいてホワイトバランス補正する例におけるデジタルカメラの画像処理を示す機能ブロック図である。
【図１５】人物の顔領域に基づいてホワイトバランス補正する例におけるＰＣの画像処理の手順を示すフローチャートである。
【図１６】人物の顔領域に基づいてγ補正とホワイトバランス補正する例におけるデジタルカメラの画像処理を示す機能ブロック図である。
【図１７】人物の顔領域に基づいてγ補正とホワイトバランス補正する例におけるＰＣの画像処理の手順を示すフローチャートである。
【符号の説明】
【０１２１】
１０  デジタルカメラ
１１パーソナルコンピュータ
１２  メモリカード
１８  プログラム
２４  イメージセンサ
３０  顔検出部
３２  デジタル画像処理部
５１  データ処理手段
５３  順位変更手段
５４  トリミング手段
【図１】
2008022240.tif 000003
【図２】
2008022240.tif 000004
【図３】
2008022240.tif 000005
【図４】
2008022240.tif 000006
【図５】
2008022240.tif 000007
【図６】
2008022240.tif 000008
【図７】
2008022240.tif 000009
【図８】
2008022240.tif 000010
【図９】
2008022240.tif 000011
【図１０】
2008022240.tif 000012
【図１１】
2008022240.tif 000013
【図１２】
2008022240.tif 000014
【図１３】
2008022240.tif 000015
【図１４】
2008022240.tif 000016
【図１５】
2008022240.tif 000017
【図１６】
2008022240.tif 000018
【図１７】
2008022240.tif 000019