(57)【要約】【課題】  画像データはモニタで出力しなければ、その画像データに誰が写っているのかを判別することができない。したがって、写っている人物毎に画像データを分類したい場合は、全ての画像データをモニタに出力する必要があるため手間を要する。【解決手段】  顔認識手段を用いて画像データに含まれる顔を検出し、検出された顔から個人を判定できる特徴情報を作成し、この特徴情報を画像データに付与して記憶させる。【選択図】  図２
2005086516.tif 000002
【特許請求の範囲】
【請求項１】
入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置において、
前記画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、前記特徴点情報を付随させて前記画像データを記憶することを特徴とする撮像装置。
【請求項２】
入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置において、
記憶手段に記憶された画像データを読み出し、前記画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、前記特徴点情報を前記画像データに付随させることを特徴とする撮像装置。
【請求項３】
前記特徴点情報とは、顔の形状情報であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記特徴点情報とは、顔の形状および座標位置を含む情報であることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記特徴点情報とは、さらに顔の色情報を含むことを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
人物別に設定された比較情報を記憶しており、前記特徴点情報と前記比較情報を比較することで、前記画像データに含まれる人物と前記比較情報に対応する人物とが同一人物であるか否かを判断することを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項７】
複数の画像データの中から、前記比較情報を用いて、同一人物が含まれると判断された画像データのみを選択することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記選択された画像データのみを外部に送信することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記選択された画像データのみを圧縮処理することを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記特徴点情報を用いて人物の顔がある顔領域を決定し、前記顔領域の露出値が適正となるよう画像データに処理を施すことを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項１１】
前記特徴点情報を用いて、さらに顔領域から人物の所定の部位がある領域を決定し、前記所定の部位があるとされた顔領域とそれ以外の顔領域とで、画像データに異なる処理を施すことを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記特徴点情報を用いて、さらに顔領域から輪郭を示す領域を決定し、前記領域にのみエッジ強調するための画像処理を施すことを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
前記画像データの顔領域の大きさ、あるいは、前記画像データに付随された年齢情報に応じて、前記画像処理に施す処理を変化させることを特徴とする請求項１０から１２のいずれかに記載の撮像装置。
【請求項１４】
前記画像処理を施された画像データを圧縮処理することを特徴とする請求項１０から１３のいずれかに記載の撮像装置。
【請求項１５】
前記特徴点情報を用いて、複数の画像データを分類することを特徴とする請求項１から６のいずれかに記載の撮像装置。
【請求項１６】
外部から転送された画像データを印刷する印刷装置において、
予め個人別に設けられた比較情報を記憶しており、外部から転送された画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、前記特徴点情報を付随させて前記画像データを記憶するとともに、複数の画像データの中から、人物別に設定された比較情報を用いて、同一人物が含まれると判断された画像データのみを選択し、前記選択された画像データを印刷することを特徴とする印刷装置。
【請求項１７】
外部から転送された画像データを印刷する印刷装置において、
予め個人別に設けられた比較情報を記憶しており、外部から転送された画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、前記特徴点情報を付随させて前記画像データを記憶するとともに、前記特徴点情報を用いて人物の顔がある顔領域を決定し、前記顔領域の露出値が適正となるよう画像データに処理を施して印刷することを特徴とする印刷装置。
【請求項１８】
請求項１から５のいずれかに記載の撮像装置にて得られた画像データを圧縮する画像処理装置であって、
複数の画像データの中から、付随された前記特徴点情報が所定の条件を満たしている画像データを選択して圧縮することを特徴とする画像処理装置。
【請求項１９】
人物別に設定された比較情報を記憶しており、前記画像データに付随された特徴点情報と前記比較情報を比較することで、前記画像データに含まれる人物と前記比較情報に対応する人物とが同一人物であるか否かを判断することを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
複数の画像データの中から、前記比較情報を用いて、同一人物が含まれると判断された画像データのみを選択することを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
請求項１から５のいずれかに記載の撮像装置にて得られた画像データを圧縮する画像処理装置であって、
前記画像データに付随された特徴点情報を用いて人物の顔がある顔領域を決定し、前記顔領域の露出値が適正となるよう画像データに処理を施してから圧縮することを特徴とする画像処理装置。
【請求項２２】
前記特徴点情報を用いて、さらに顔領域から人物の所定の部位がある領域を決定し、前記所定の部位があるとされた顔領域とそれ以外の顔領域とで、画像データに異なる処理を施すことを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記特徴点情報を用いて、さらに顔領域から輪郭を示す領域を決定し、前記領域にのみエッジ強調するための画像処理を施すことを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
前記画像データの顔領域の大きさ、あるいは、前記画像データに付随された年齢情報に応じて、前記画像処理に施す処理を変化させることを特徴とする請求項２１から２３のいずれかに記載の画像処理装置。
【請求項２５】
記憶手段から画像データを読み出させ、読み出させた画像データに含まれる人物の顔を特定するための特徴点情報を抽出させ、前記特徴点情報を付随させて前記画像データを記憶させることを特徴とするプログラム。
【請求項２６】
前記特徴点情報とは、顔の形状に関する情報が含まれていることを特徴とする請求項２５に記載のプログラム。
【請求項２７】
記憶手段から人物別に設定された比較情報を読み出させ、前記特徴点情報と前記比較情報を比較させることで、前記画像データに含まれる人物と前記比較情報に対応する人物とが同一人物であるか否かを判断させることを特徴とする請求項２５または２６に記載のプログラム。
【請求項２８】
複数の画像データの中から、前記比較情報を用いて、同一人物が含まれると判断された画像データのみを選択させることを特徴とする請求項２７に記載のプログラム。
【請求項２９】
前記特徴点情報を用いて人物の顔がある顔領域を決定し、前記顔領域の露出値が適正となるよう画像データに処理を施させることを特徴とする請求項２５または２６に記載のプログラム。
【請求項３０】
前記特徴点情報を用いて複数の画像データを分類させることを特徴とする請求項２５または２６に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光電変換素子を用いた撮像装置で得られた画像データの処理に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置をプリンタ等の印刷装置に接続して、撮像した被写体の画像データを印刷するシステム（以下、ダイレクトプリントシステムという）がある。このシステムで特定の人物が写っている画像データのみを印刷する場合は、デジタルカメラやプリンタに備えられた液晶モニタなどの表示デバイスに画像データを出力して画像を一覧表示させるか、あるいは、操作部材によって画像を順に切り換えるなどして、使用者が各々の画像を確認して印刷対象となる画像データを選択している（特許文献１）。
【０００３】
また、デジタルカメラやパーソナルコンピュータ（以下、ＰＣ）等には記憶した画像データを順次切り換えて画像として表示するスライドショー機能を備えているものがある。この機能では、画像を一覧表示させるか、あるいは、操作部材によって画像を順に切り換えるなどして使用者が対象となる複数の画像データを選択する（特許文献２）。
【０００４】
他にも、デジタルカメラの撮像素子の出力値をデジタル化したＲＡＷ形式の画像データをＰＣ等の情報処理装置でＪＰＥＧ形式等の画像にデータに圧縮して変換する（以下、現像処理という）場合や、デジタルカメラやＰＣで画像データをフォルダに分けて分類する場合でも、画像を一覧表示させるか、あるいは操作部材によって画像を順に切り換えるなどして、使用者が対象となる画像データを選択している。
【特許文献１】特開平１１−２８２４４６号公報
【特許文献２】特開平１１−３３１７３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の如く、使用者による画像データの選択が必要となる場合として、例えば複数人で旅行をした際に撮像された画像を配布もしくは印刷する場合が考えられる。複数人で旅行をした場合に撮像される画像には、旅行をした当人達だけが写っているもの、当人達と別の人物も写っているもの、当人達とは別の人物のみが写っているもの、あるいは、風景だけが写っているものと様々なシチュエーションのものが含まれることが考えられる。これらの画像が含まれる画像データの中から、当人達が写っている画像データのみを印刷したり、写っている人物ごとにフォルダに分けたり、携帯可能な記憶媒体に保存したり、あるいは転送したりする際に、使用者が表示デバイスに表示された画像を確認しながら対象となる画像データを選択する方法では、画像データの総数が多い場合は、使用者が選択作業に費やす時間が増加して操作が煩雑になってしまう。
【０００６】
さらに、ダイレクトプリントシステムの場合は、同一の画像データを複数印刷したいのであれば、使用者が印刷枚数を指定するという操作が加わる。
【０００７】
また、同一の画像データであっても液表モニタで表示された場合とプリンタで印刷された場合とで、出力された画像の色みが異なることがある。これは実際に印刷してみないとわからない場合が多い。
【０００８】
また、ＲＡＷ形式の画像データをＰＣ等の情報処理装置で現像する際に、意図した人物が最適な色合いや明るさになるよう画像処理を施したい場合は、現像に用いるパラメータを使用者が設定する必要があった。
【０００９】
本発明はこのような問題点に鑑みてなされたものであり、画像データを信号処理する際に、顔認識手段を用いることによって、画像に含まれる顔の検出結果や、検出された顔に関する各種情報を作成し、信号処理された画像データに付与して記憶する機能を有する撮像装置を提供することを主な目的とする。
【００１０】
また、この画像データに付与された顔に関する各種情報を基づいて、画像データの信号処理を行う撮像装置、印刷装置、および、画像処理装置を提供することを目的とする。
【００１１】
また、これらの処理を実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本願請求項１に記載の発明は、入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置において、画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、特徴点情報を付随させて画像データを記憶することを特徴とする。
【００１３】
同様に上記目的を達成するために、本願請求項２に記載の発明は、入射した光を電気信号に変換する撮像素子の出力をデジタル値に変換して画像データを得る撮像装置において、記憶手段に記憶された画像データを読み出し、画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、特徴点情報を前記画像データに付随させることを特徴とする。
【００１４】
同様に上記目的を達成するために、本願請求項１６に記載の発明は、外部から転送された画像データを印刷する印刷装置において、予め個人別に設けられた比較情報を記憶しており、外部から転送された画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、特徴点情報を付随させて画像データを記憶するとともに、複数の画像データの中から、人物別に設定された比較情報を用いて、同一人物が含まれると判断された画像データのみを選択し、選択された画像データを印刷することを特徴とする。
【００１５】
同様に上記目的を達成するために、本願請求項１７に記載の発明は、外部から転送された画像データを印刷する印刷装置において、予め個人別に設けられた比較情報を記憶しており、外部から転送された画像データに含まれる人物の顔を特定するための特徴点情報を抽出し、特徴点情報を付随させて画像データを記憶するとともに、特徴点情報を用いて人物の顔がある顔領域を決定し、顔領域の露出値が適正となるよう画像データに処理を施して印刷することを特徴とする。
【００１６】
同様に上記目的を達成するために、本願請求項１８に記載の発明は、上記構成の撮像装置にて得られた画像データを圧縮する画像処理装置であって、複数の画像データの中から、付随された特徴点情報が所定の条件を満たしている画像データを選択して圧縮することを特徴とする。
【００１７】
同様に上記目的を達成するために、本願請求項２１に記載の発明は、蒸気構成の撮像装置にて得られた画像データを圧縮する画像処理装置であって、画像データに付随された特徴点情報を用いて人物の顔がある顔領域を決定し、顔領域の露出値が適正となるよう画像データに処理を施してから圧縮することを特徴とする。
【００１８】
同様に上記目的を達成するために、本願請求項２５に記載の発明は、記憶手段から画像データを読み出させ、読み出させた画像データに含まれる人物の顔を特定するための特徴点情報を抽出させ、特徴点情報を付随させて前記画像データを記憶させることを特徴とするプログラムである。
【発明の効果】
【００１９】
本発明によれば、画像データを表示デバイスで画像として表示せずとも、その画像に含まれる個人の特定や、人物の表情等を判別することが可能となる。
【００２０】
また、画像データを表示デバイスで画像として表示せずとも、特定の人物が含まれている画像データのみを自動的に選択したり、特定の人物の顔が最適な輝度あるいは色表現となるように画像データを自動的に画像処理したりすることが可能となる。
【００２１】
さらに、画像データを表示デバイスで画像として表示せずとも、画像データの分類や複製を行うことも可能になる。
【００２２】
これらの作用により、使用者の操作が簡便になるだけでなく、処理が自動化されるために時間の短縮にもつながる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら、本発明の実施例について説明する。
【実施例１】
【００２４】
図１は本実施例の撮像装置であるデジタルカメラの構成を簡易に示したブロック図である。
【００２５】
１１は撮像素子１３に被写体像を結像するための撮像レンズであり、１２は絞りである。１３はＣＣＤ等の、入射した光を電気信号に変換する撮像素子である。１４はＡ／Ｄ変換部であり、撮像素子１３の出力信号をデジタル値に変換して画像データを得る。１５はＡ／Ｄ変換部から出力された画像データにガンマ補正等の処理を施す画像信号処理部である。１６は画像信号処理部１５から出力された画像データを圧縮する圧縮処理部である。１７は圧縮処理部１６より出力される画像データを参照し、画像に人物の顔が移っているか否かを検出し、検出された顔に関する情報を作成する顔検出処理部である。この顔検出処理部１７は画像信号処理１５に含まれる構成であってもかまわない。１８は圧縮処理部１６で得られた画像データと顔検出処理部１７で得られた特徴点情報を一時的に保存するメモリである。特徴点情報については後述する。１９はメモリ１８内の特徴点情報と画像データが記憶される記憶媒体であり、撮像装置に固定されてあっても着脱可能であっても構わない。２０は撮像素子１３及びＡ／Ｄ変換部１４を駆動する駆動部である。２１は撮像素子１３に対する入射光量を調節する絞り羽根を制御して駆動する絞り制御部である。２２は撮像レンズ２２を駆動して焦点距離を調節するレンズ制御部である。２３は撮像開始を指示するレリーズスイッチである。２４はデジタルカメラ全体の動作制御を司るシステム制御部である。
【００２６】
システム制御部２４は、例えば、レリーズスイッチ２３の操作に応じた制御、焦点距離の調節や露光量の調節、及びメモリ１８や記憶媒体１９へのデータの書き込み制御及び読み出し制御を行う。このシステム制御部２４が所定のプログラムを読み出して実行することで、本実施例における機能を実行する。
【００２７】
顔検出処理部１７は、例えば、特開２００２−２５１３８０号公報に記載されたような顔検出機能を有している。
【００２８】
まず、画像データの中から輝度情報を用いてエッジを抽出して両目や口といった顔を構成する器官と思われる形状を検出し、それらを包含する周囲の輪郭線を抽出し、顔領域を決定する。
【００２９】
決定された顔領域から、輝度情報を用いて更に特徴となる点（以下、特徴点という）を細かく検出する。特徴点からは、両目や鼻などの顔を構成する器官や顔の輪郭などの更に詳細な形状や、座標が求められる。これにより、例えば両目の間隔や、鼻、口、輪郭の形状や、その配置状態といった個人を特定するために有効な情報を得ることができる。個人の特徴点情報を予めデジタルカメラに記憶させておけば、撮像によって得られた画像データが、その個人と同一人物であるか否かを判定することができる。なお、顔領域の形状や座標の情報に加えて、色情報（例えば、瞳や肌の色）を用いることで、より正確に個人を認識することが可能になる。また、画像データに含まれている顔が斜め向きであっても対応できるよう、複数の顔の向きに対応した特徴点情報が予め記憶されている。
【００３０】
また、検出された特徴点情報と予め撮像装置に記憶されている様々な比較用の特徴点情報とを比べて、被写体の具体的な表情（笑っているか否か、目は開いているか否か）を判定することもできる。判定精度が高まれば、性別やおおよその年齢を判定することも可能である。
【００３１】
ただし、詳細な判定を行うためには、比較基準となるデータを予め揃えておく必要がある。同一人物の顔検出を行う度に検出結果を蓄積することで、比較基準となるデータの精度を高めていくことも可能である。
【００３２】
なお、この顔検出機能は撮像素子の出力をデジタル化しただけのＲＡＷ形式の画像データであっても、補正等の処理を加えて圧縮したＪＰＥＧ形式の画像データであっても適用可能である。被写体の形状を判定できる画像データであればかまわない。
【００３３】
次に本実施例におけるデジタルカメラのレリーズスイッチが押されてから画像データが記憶されるまでのフローチャートを、図２を用いて説明する。
【００３４】
使用者がレリーズスイッチ２３を操作すると、撮像装置がこれを検知し撮像動作を開始する（ステップ１０１）。
【００３５】
撮像レンズ１１及び絞り１２を通過した被写体からの光束を受光した撮像素子の出力は、Ａ／Ｄ変換部１４でデジタル信号の画像データ（ＲＡＷ形式の画像データ）に変換される（ステップ１０２）。
【００３６】
画像信号処理部１５は、Ａ／Ｄ変換部１４の出力データに黒引き処理、ホワイトバランスゲイン値演算、アパーチャ補正等を施して輝度信号Ｙを作成し、同時に、色補間やマトリクス変換等を施して色差信号Ｕ，Ｖを作成し、ＹＵＶ形式の信号を形成する（ステップ１０３）。
【００３７】
形成されたＹＵＶ形式の画像データは圧縮処理部１６に出力され、画像圧縮のフォーマットの一つであるＪＰＥＧ形式の画像データを生成し、メモリ１８に記憶する（ステップ１０４）。圧縮処理せずにＲＡＷ形式のままメモリ１８に記憶してもかまわない。
【００３８】
また、ＹＵＶ形式の画像データは顔検出処理部１７で参照され、上述した顔検出機能によって画像中に存在する顔を全て検出する（ステップ１０５）。
【００３９】
顔が検出されなかった場合は、その旨を示す情報をメモリ１８に記憶する（ステップ１１１）。
【００４０】
顔が検出された場合は特徴点の検出処理に進む（ステップ１０６）。
【００４１】
顔であると判定された領域の出力は、顔検出処理部１７内の特徴点検出ブロックに送られ、特徴点を検出し、これら特徴点の配置状態から、例えばそれぞれの器官の形状や、両目の間隔、鼻や口の形状などを求めメモリ１８に記憶する（ステップ１０７）。
【００４２】
デジタルカメラには、予め登録された個人の特徴点に関する情報と、それに付随する付加情報とが記憶されており、今回検出された特徴点と比較を行う（ステップ１０８）。
【００４３】
比較した結果、特徴点の情報が近似（あるいは一致）しているのであれば、予めデジタルカメラに記憶されている人物別の付加情報を、メモリ１８に記憶する（ステップ１０９）。この付加情報は、顔の特徴点からは検出できない詳細な情報、例えば氏名や年齢、瞳の色等を示す情報である。瞳の色は顔検出時に画像データから得ることも可能であるが、赤目現象等によって本来の瞳とは異なる色の画像データが得られる場合があるため、付加情報として用意しておくことが好ましい。
【００４４】
さらに画像データの特徴点情報は、顔検出処理部１７内の表情認識ブロックに送られ、特徴点情報から笑顔であるか否か、両目とも開いているか否か等の表情や、顔の向きを判断し、その結果をメモリ１８に記憶する（ステップ１１０）。
【００４５】
メモリ１８に記憶された特徴点情報、付加情報、および、表情に関する情報を用いてＪＰＥＧ形式に変換された画像データのヘッダ情報を作成し（ステップ１１１）、ＪＰＥＧ形式等の画像データにヘッダ情報を付随させて記憶媒体１９に記憶させる（ステップ１１２）。なお、画像でデータに人物が含まれておらず人物が抽出できないときなどは、その旨をヘッダ情報をして作成する。
【００４６】
なお、上記の付加情報や、表情認識ブロックで得られた情報は必ずしも必要ではない。画像データの特徴点情報があれば、個人を特定することは可能である。
【００４７】
また、上記のフローチャートではＹＵＶ形式の画像データから特徴点の抽出を行ったが、撮像素子の出力をデジタル化しただけのＲＡＷ形式の画像データに対しても適用できることは上述した通りである。
【００４８】
ここで、個人の判別の基準となる特徴点情報や付加情報を登録する方法について説明する。まず、判別の基準となる特徴点情報や付加情報を記憶させておきたい人物の画像データを得る。これはデジタルカメラで実際に撮像しても、外部の記憶媒体から読み出してもよい。
【００４９】
次に得た画像データを顔検出処理部１７に送り、上述のステップ１０５と同様にして顔領域を検出し、検出された顔領域を液晶モニタ等で表示する。そして、使用者は液晶モニタ等を見ながら、登録すべき人物の画像を選択する。
【００５０】
登録すべき人物が選択されたら、上述のステップ１０６、１０７と同様にして特徴点の検出をし、特徴点の配置状態を求める。また、使用者は選択された画像に対して、ユーザーインターフェースを介して、この人物の詳細情報（氏名、年齢、瞳の色等）を入力する。また、このときに顔検出処理部１７で得られた特徴点より得られた性別等の情報を表示させ、誤りがあれば訂正を行えるようにする。このような処理を行うことで、デジタルカメラに予め個人の判別の基準となる特徴点情報や、これに付随する付加情報を記憶させておくことができる。同一人物に対して繰り返し登録を行い、特徴点情報を蓄積させていくことで、個人を判定する精度が向上する。
【００５１】
次に、上記ヘッダ情報が付随された画像データの利用方法について、ダイレクトプリントシステムにおける例を２つあげて説明する。
【００５２】
１つは、上記のデジタルカメラと印刷装置であるプリンタを、ＰＣ等の外部の情報処理装置を介さずに直接接続して印刷を行う場合に、画像データに付随したヘッダ情報を用いて、デジタルカメラに予め登録されている特定の人物が写っている画像データを自動的に検索し、液晶モニタなどにプレビュー表示し、印刷を行うものである。
【００５３】
もう１つは、デジタルカメラに予め登録されている特定の人物が写っている画像を印刷する場合に、ヘッダに記憶された情報からその人物に最適なパラメータを自動的に求めて画像データの補正を実施し、印刷を行うものである。
【００５４】
まずは、特定の人物が写っている画像を自動的に検索して印刷を行う動作について、図３を用いて説明する。
【００５５】
デジタルカメラには、人物を特定する際の比較基準となる特徴点情報及び付加情報が記述されたリストが人物別に記憶されており、液晶モニタにはこのリストが記憶されている人物の一覧が表示される。使用者はこの中から印刷の対象となる人物を選択すると、デジタルカメラは使用者が選択した人物に対応するリストを読み出す（ステップ２０１）。
【００５６】
記憶媒体に記憶されている画像データのヘッダに記述された特徴点情報と、リストに記憶された特徴点情報を比較し、特徴点が近似あるいは一致する場合はその画像データには使用者によって選択された人物が写っていると判断し、画像に印刷対象であることを示すフラグをセットする（ステップ２０２）。選択された人物が写っていないと判断された場合は、次の画像データの処理へと進む。
【００５７】
選択された人物が写っていると判断された場合は、その画像データを液晶モニタなどの表示デバイスに表示する（ステップ２０３）。ここで表示された画像データが印刷不要なものであればフラグを解除することができる。
【００５８】
次に、選択された人物の顔領域に自動的に適正な画像補正を施すプリント自動補正モードであるかを判断する（ステップ２０４）。プリント自動補正モードでなければそのまま表示された画像を印刷し（ステップ２０９）、次の画像データの処理へと進む。
【００５９】
プリント自動補正モードが設定されているならば、画像データのヘッダに記述された特徴点情報より、選択された人物の顔領域を判定する（ステップ２０５）。
【００６０】
選択された顔領域の輝度値が最適となるように輝度補正を行う（ステップ２０６）。
【００６１】
次に選択された顔領域の肌色が最適となるように色補正を行う（ステップ２０７）。
【００６２】
更に選択された顔領域に適度なシャープネス補正を行い、選択された顔領域が引き立つよう処理を行う（ステップ２０８）。
【００６３】
そして、輝度補正、色補正、シャープネス補正が施された画像をプリンタで印刷する（ステップ２０９）。
【００６４】
記憶媒体に記憶された全ての画像、あるいは、使用者が選択した範囲に含まれる全ての画像（例えば使用者が選択したフォルダ内の全ての画像や、撮像日時によって選択された全ての画像）のヘッダに記述された特徴点情報と、予めデジタルカメラに記憶された個人の特徴点情報が記述されたリストとの比較が終了していないのであれば、次の画像データの処理へと進み、終了しているのであればこのフローを終える（ステップ２１０）。
【００６５】
以下に、ステップ２０６からステップ２０８で行った画像補正について簡単に説明する。
【００６６】
まず、顔領域を最適な輝度値（露出値）とするための補正について説明を行う。これは上述のステップ２０６で行う処理に該当する。
【００６７】
画像データのヘッダに記述された特徴点の座標から人物の顔領域を求め、その顔領域内の輝度信号を算出し、その平均値Ｙａｖｅを算出する。
【００６８】
予め設定した人物の顔領域の最適輝度値Ｙｒｅｆと平均値Ｙａｖｅを用いて、次の式により輝度補正係数ｋを算出する。 
ｋ＝Ｙｒｅｆ／Ｙａｖｅ
輝度補正係数ｋが、予め設定された輝度補正係数の下限値よりも小さければ輝度補正係数ｋをこの下限値に設定する。反対に、輝度補正係数ｋが、予め設定された輝度補正係数の上限値よりも大きければ輝度補正係数ｋをこの上限値に設定する。輝度補正係数ｋの範囲を定めるのは過度補正を抑えるためのであり、輝度補正係数ｋの下限値は飽和領域の色バランス崩れを起こさせない程度に、上限値はノイズの劣化を防ぐ程度に設定することが好ましい。
【００６９】
得られた輝度補正係数ｋを、画像データ全体のＲＧＢ値にかける。これにより、求められた顔領域の輝度を最適なものにすることができる。このとき、図４に示すように選択された顔領域の面積（大きさ）に応じて輝度補正係数の上限値を変化させることが望ましい。これは顔の面積がある値以下の場合は補正の度合いを小さくし、小さくしか写っていない顔の輝度を調整するためだけに画像全体の輝度バランスが大きく変化させてしまうことを防ぐためである。
【００７０】
画像中に予め登録した人物が二人以上存在する場合には、それぞれの顔領域にて補正係数を算出し、その平均値を画像データ全体のＲＧＢ値にかけるようにしても良い。また、顔領域の重み付けを増して補正を行うようにしても良い。
【００７１】
次に、顔領域を最適な色表現とするための補正について説明を行う。これは上述のステップ２０７で行う処理に該当する。
【００７２】
ます、画像データのヘッダに記述された特徴点の座標から人物の顔領域を求め、顔領域の中から目、口、髪等の肌色でない部分を除外した領域を定め、その領域内のＹＵＶ形式の信号値を算出する。
【００７３】
予め設定された肌色値となるよう色差信号のゲインを調整する。この調整方法としては、色マトリクスを変更する方法などがあげられる。色マトリクスの変更方法は公知であるため、詳細な説明は省略する。
【００７４】
次に、顔領域に最適なシャープネスを施すための補正について説明を行う。これは上述のステップ２０８で行う処理に該当する。
【００７５】
これはヘッダに記述された特徴点情報を基に、顔や目、鼻、口等の器官の輪郭には適度なシャープネスをかけ、顔のその他の部分には弱めのローパスフィルタをかけることで、選択された人物の顔を引き立たせつつ、しわやしみを目立たせなくする画像補正を行うものである。図５を用いてこの処理の動作フローを説明する。
【００７６】
画像データのヘッダに記述された特徴点の座標から、選択された人物の顔、目、鼻、及び、口の領域を取得する（ステップ４０１）。
【００７７】
顔、鼻、及び、口の領域にバンドパスフィルタをかけて輪郭を検出し（ステップ４０２）、ゲイン及びベースクリップ回路を通すことで検出された輪郭を強調する処理を行う（ステップ４０３）。
【００７８】
また、輪郭を強調する処理と平行して、顔領域全体にローパスフィルタをかける処理を行う（ステップ４０４）。
【００７９】
ゲイン及びベースクリップ回路の出力とローパスフィルタの出力を、特徴点情報あるいは付加情報を用いて算出したＭＩＸ率ｘを用いて加算する（ステップ４０５）。この際、顔、目、鼻、及び、口の輪郭とされた領域では、ゲイン及びベースクリップ回路の出力とローパスフィルタの出力とを加算し、それ以外の領域ではローパスフィルタの出力のみを用いる。この処理により、顔、目、鼻、及び、口の輪郭を引き立たせるとともに、しわやしみを目立たなくさせることができる。また、年齢があがるにつれ顔の目尻のしわなどが目立つことが多いため、図６に示すように、画像データのヘッダに記述された付加情報から得られる年齢に応じて輪郭のゲインを変化させ、エッジ強調をよりソフトなものとして目尻のしわ等を目立ちにくくしている。
【００８０】
以上、特定の人物が写っている画像を自動的に検索して印刷を行う動作について説明した。上記のフローは特定人物を二人以上選んだときにも適用可能であり、複数の特定人物が指定された場合でも同様の処理を行えば、自動的に各人物ごとに印刷処理を行うことができる。つまり、この方法によれば登録された人数分だけ自動的に印刷処理を行うことが可能となる。
【００８１】
また、上記フローでは１つの画像データに対して特徴点情報の比較をして、画像補正と印刷処理を行ってから次の画像データの処理へと進んでいるが、これに限られるものではない。初めに全画像データに対して特徴点の比較を行い、特定人物が写っていると判断された全ての画像データを抽出してから、まとめて画像補正と印刷処理を行うようにしても構わない。
【００８２】
また、上記フローでは画像データのヘッダに記述された特徴点情報を用いて使用者によって選択された特定人物であるか否かの判定を行っているが、例えば、特徴点情報を用いて笑っている人物が写っている画像データのみを印刷したり、写っている全ての人物の目が開いている画像データのみ印刷したり（集合写真で有効）、顔領域のピントが合っている画像データのみを印刷したりすることもできる。
【００８３】
他にも、画像データのヘッダに記述された特徴点情報、あるいは、特徴点情報に付随した付加情報から、例えば、年齢による選択、性別による選択、表情による選択、顔の向きによる選択、画角のうち顔が占める面積の割合による選択等の、様々な条件で自動選択を行って画像補正や印刷処理を行うことが可能となる。
【００８４】
また、上述した特徴点情報の抽出は、記憶媒体に既に保存されている画像データや、外部の電子機器から転送されてメモリや記憶媒体に保存された画像データに対して行うことも可能である。
【００８５】
また、撮像装置ではＲＡＷ形式やＪＰＥＧ形式の画像データを得るだけとし、上述した特徴点情報の抽出や、特定人物の判別や、あるいは、画像補正は撮像装置から画像データを受け取ったプリンタ等の印刷装置で行うことも可能である。
【実施例２】
【００８６】
実施例１では、ＲＡＷ形式の画像データからＪＰＥＧ形式の画像データを生成し、その際に画像データの特徴点情報を検出してヘッダに記述し、印刷時にこのヘッダ情報を用いて画像補正および印刷処理を行う構成について説明した。
【００８７】
本実施例では、ＲＡＷ形式の画像データからＪＰＥＧ形式の画像データを生成する際に、画像データの特徴点を検出するとともに画像補正を行い、予め画像補正が施されたＪＰＥＧ信号を生成する構成について説明する。これはデジタルカメラ等の撮像装置に限定されるものではなく、撮像装置によって得られたＲＡＷ形式の画像データが転送されたＰＣ等の情報処理装置や、撮像装置からＲＡＷ形式の画像データが転送されたプリンタ等の印刷装置にも適用できる構成である。
【００８８】
本実施例で行われる画像補正の内容は、人物の顔にあわせた輝度補正、色再現最適化、シャープネス補正であり、詳細な補正方法は実施例１で説明した処理とほぼ同様である。
【００８９】
図７は、ＲＡＷ形式の画像データの現像プロセスにおける最適処理に必要なパラメータ設定フローを示している。以下、本実施例による現像処理を行う場合のフロー図を説明する。
【００９０】
まず、自動補正モードが設定されているか否かを判定する（ステップ５０１）。自動補正モードとは、ＲＡＷ形式の画像データをＪＰＥＧ形式の画像データに変換する際に、その画像データに特定人物の顔が含まれているのであれば、その特定人物の顔が最適な輝度および色表現となるよう画像補正を行うモードである。自動補正モードが設定されていなければ、公知の方法によってＲＡＷ形式の画像データの現像処理を行う。
【００９１】
ＲＡＷ形式の画像データから特徴点の検出を行い、実施例１と同様に、この検出された特徴点情報と情報処理装置に予め記憶された特徴点情報との比較を行うことで、その画像データに特定人物の顔が含まれているか否かを判定する（ステップ５０２）。特定人物の顔が含まれていない場合は、公知の方法によってＲＡＷ形式の画像データの現像処理を行う。
【００９２】
画像データに特定人物の顔が含まれていると判定されると、検出された特徴点情報より特定人物の顔領域を決定する（ステップ５０３）。
【００９３】
図３のステップ２０６で行った処理と同様にして、特徴点情報を用いて顔領域の輝度情報が最適となるように輝度補正係数を求める（ステップ５０４）。
【００９４】
次に特徴点情報を用いて、顔領域の肌色が最適になるように、図３のステップ２０７で行った処理と同様にして色補正マトリックスを算出する（ステップ５０５）。このとき、予め情報処理装置に記憶されている付加情報に記述された性別と年齢情報を考慮することで、より細やかな補正値を得ることができる。
【００９５】
さらに特徴点情報を用いて、図３のステップ２０８で行った処理と同様にして、シャープネス補正のためのエッジ強調パラメータを算出する（ステップ５０６）。実施例１と同様、付加情報に記述された性別と年齢情報を考慮することが好ましい。例えば、年齢が上がるについて、目尻のしわや皮膚のしみが目立つことが多いため輪郭のエッジ強調をソフトにするとともに、顔領域の輪郭以外の領域をよりソフトな画質となるよう処理を行い、しみやくすみを目立たなくさせる。
【００９６】
そして得られた輝度補正係数、色補正マトリックス、エッジ強調パラメータを用いて現像処理を行う（ステップ５０７）。
【００９７】
次に、図７で示した画像補正を、デジタルカメラ内にて行う場合の概略フローについて図８を用いて説明する。
【００９８】
撮像指令が与えられるとＣＣＤ等の撮像素子は電荷を蓄積し、これを転送する（ステップ６０１）。この出力は黒引き処理され（ステップ６０２）、その出力をもとにホワイトバランスゲイン値を演算する（ステップ６０３）。
【００９９】
デジタルカメラに自動補正モードが設定されていれば、この得られたホワイトバランスゲイン値を、画像データの特徴点情報から得られる顔領域のみに対して乗算してＲＧＢ信号に変換し、さらに顔領域とその他の領域とで別々のマトリクスを用いて色変換を行って色差信号（Ｕ信号、Ｖ信号）が生成される（ステップ６０４）。
【０１００】
ローパスフィルタによってこのＵＶ信号は帯域が制限され（ステップ６０５）、色飽和部の色消しが行われる（ステップ６０６）。
【０１０１】
また、マトリクス回路の出力信号から輝度信号（Ｙ信号）が生成され（ステップ６０７）、顔領域と顔以外の領域にて異なるエッジ強調処理が施される（ステップ６０８）。
【０１０２】
この色飽和部の色消し処理やエッジ強調処理の際に、図７を用いて説明した画像補正が行われる。
【０１０３】
その後、生成されたＵＶ信号とＹ信号を用いてＲＧＢ変換を行い、この信号に対してγ補正を行う。γ補正された信号を再度ＹＵＶ形式の信号に変換し、ＪＰＥＧ形式の画像データを得る。なお、上述の黒引き処理、ホワイトバランスゲイン値の演算、ＲＧＢ信号への変換、色消し等は公知に画像処理方法であるため、詳細な説明は省略する。
【０１０４】
このように、本実施例では、ＲＡＷ形式の画像データをＪＰＥＧ形式の画像データに変換する現像処理において、ＲＡＷ形式の画像データに添付されたヘッダ情報を用いて、予め登録した人物が写されているＲＡＷ形式の画像データを自動検索し、更にその人物の顔が最適な輝度レベル、色再現、解像度となるよう自動補正を実施しながら現像することを特徴としている。同一の画像データに予め登録した人物が複数存在した場合は、それぞれの人物に最適になるよう上記処理を繰り返し、登録された人数分だけ現像処理を実施すればよい。
【実施例３】
【０１０５】
本実施例では、ＪＰＥＧ形式もしくはＲＡＷ形式の画像データのヘッダ情報を用いて、デジタルカメラ等の撮像装置もしくはＰＣ等の情報処理装置上で画像データを自動整理、あるいは、分類することを特徴とする。
【０１０６】
たとえば、まだ分類されていない画像データの特徴点情報あるいは付加情報を読み出し、これに基づいて使用者が作成した複数の任意にフォルダに割り振ったり、画像データを複製したりする。
【０１０７】
図９（Ａ）に例を示す。コンピュータには３つのフォルダが設けられており、フォルダ１にはＡさんが写っている画像データが分類され、フォルダ２にはＢさんが写っている画像データが分類され、フォルダ３にはＣさんが写っている画像データが分類されるよう構成されている。ここでデジタルカメラから新たに６つの画像データ（画像データ１〜６）がＰＣに転送されると、ＰＣはこれら６つの画像データのヘッダ情報と各フォルダ情報とを比較し、自動的に画像データの振り分けを行う。
【０１０８】
図９の例では、画像データ１にはＡさんとＢさんが写っており、画像データ２にはＡさんのみが写っており、画像データ３には風景のみが写っており、画像データ４にはＢさんが写っており、画像データ５にはＣさんが写っており、画像データ６にはＡさんとＢさんが写っている。
【０１０９】
画像データ１〜６のヘッダには特徴点情報が記述されており、各フォルダ情報と比較することによって、誰も写っていない画像データ５を除く他の画像データはいずれかのフォルダに分類される。ここで画像データ１，６はＡさんとＢさんが写っているため、画像データが複製され、両方のフォルダに分類される。
【０１１０】
このように画像データに付随したヘッダに記述された特徴点情報を用いることで、短時間で画像の分類が可能となる。
【０１１１】
本実施例では特徴点情報のみを用いて画像データの分類を行ったが、特徴点情報に付随した付加情報を用いて画像データの分類を行っても構わない。例えば、図９（Ｂ）は付加情報に記述された性別情報を用いて画像データを分類したものであり、図９（Ｃ）は付加情報に記述された年齢情報を用いて画像データを分類したものである。
【０１１２】
このように、本実施例によれば、画像データを表示デイバス等で画像として表示せずとも、写された人物別に画像データを分類することが可能となる。
【０１１３】
以上本発明者によってなされた発明を実施例に基づき説明をしたが、本発明は上記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
【図面の簡単な説明】
【０１１４】
【図１】撮像装置の構成を示すブロック図。
【図２】撮像装置におけるレリーズスイッチが押されてから画像データが記憶されるまでのフローチャート図。
【図３】ダイレクトプリントシステムにおける特定の人物が写っている画像を自動的に検索して印刷を行うまでのフローチャート図。
【図４】顔領域の面積と輝度補正係数の関係を示す図。
【図５】顔領域に最適なシャープネス補正を行うためのフローチャート。
【図６】年齢とシャープネスゲインの関係を示す図。
【図７】ＲＡＷ形式の画像データの現像プロセスにおける最適処理に必要なパラメータを設定するフローチャート。
【図８】ＲＡＷ形式の画像データの現像プロセスを示すフローチャート。
【図９】画像データを分類する例を示す図。
【符号の説明】
【０１１５】
１１  撮像レンズ
１２  絞り
１３  撮像素子
１４  Ａ／Ｄ変換部
１５  画像信号処理部
１６  圧縮処理部
１７  顔検出処理部
１８  メモリ
１９  記憶媒体
２０  駆動部
２１  絞り制御部
２２  レンズ制御部
２３  レリーズスイッチ
２４  システム制御部
【図１】
2005086516.tif 000003
【図２】
2005086516.tif 000004
【図３】
2005086516.tif 000005
【図４】
2005086516.tif 000006
【図５】
2005086516.tif 000007
【図６】
2005086516.tif 000008
【図７】
2005086516.tif 000009
【図８】
2005086516.tif 000010
【図９】
2005086516.tif 000011