(57)【要約】【課題】使い勝手の良い、スルー画像撮像中に顔識別を行う撮像装置を提供する。【解決手段】撮像手段と、撮像手段により撮像された被写体の顔の特徴量情報を抽出する抽出手段と、抽出手段により抽出された特徴量情報を記憶する記憶手段と、記憶手段に記憶されている特徴量情報と、抽出手段が新たに抽出した特徴量情報とが同一の顔を示すかを判定する判定手段と、撮像手段により撮像された被写体像を表示するとともに、その被写体像に含まれる顔が前記記憶手段に記憶されている特徴量情報が示す顔と同一であると判定手段が判定した場合、その顔に関する情報を表示する表示手段と、を備え、表示手段は、被写体像に含まれる顔が表示範囲内におけるいずれの位置に表示されているのかに応じて、その顔に関する情報の表示位置を調整する。【選択図】図１
2010171841.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮像された被写体の顔の特徴量情報を抽出する抽出手段と、
前記抽出手段により抽出された特徴量情報を記憶する記憶手段と、
前記記憶手段に記憶されている特徴量情報と、前記抽出手段が新たに抽出した特徴量情報とが同一の顔を示すかを判定する判定手段と、
前記撮像手段により撮像された被写体像を表示するとともに、その被写体像に含まれる顔が前記記憶手段に記憶されている特徴量情報が示す顔と同一であると前記判定手段が判定した場合、その顔に関する情報を表示する表示手段と、を備え、
前記表示手段は、前記被写体像に含まれる顔が表示範囲内におけるいずれの位置に表示されているのかに応じて、その顔に関する情報の表示位置を調整する、
撮像装置。
【請求項２】
撮像手段と、
前記撮像手段により撮像された被写体の顔の特徴量情報を抽出する抽出手段と、
前記抽出手段により抽出された特徴量情報を記憶する記憶手段と、
前記記憶手段に記憶されている特徴量情報と、前記抽出手段が新たに抽出した特徴量情報とが同一の顔を示すかを判定する判定手段と、
前記撮像手段により撮像された被写体像を表示する表示手段と、を備え、
前記表示手段は、
前記判定手段が同一の顔を示すと判定するのに応じて、
前記抽出手段が新たに抽出した特徴量情報が示す顔の位置と所定の関係にある位置に前記顔に関する情報を表示する一方、
前記所定の関係にある位置が該表示手段による表示範囲外である場合には、前記顔に関する情報を該表示手段による表示範囲内に表示する、
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、顔識別機能を有する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、顔認識技術を適用した電子カメラを開示する。この電子カメラは、個人情報が登録されている人物を認証すると、表示部にその個人情報を表示する。
【特許文献１】特開２００６−１６５８２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載されている電子カメラは、撮像した静止画像上に個人情報を表示するだけである。従って、特許文献１は、スルー画像撮像中に個人情報が登録されている人物を認証した場合に、表示部に個人情報を表示する技術については開示していない。
【０００４】
本発明は、使い勝手の良い、スルー画像撮像中に顔識別を行う撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明にかかる撮像装置は、撮像手段と、撮像手段により撮像された被写体の顔の特徴量情報を抽出する抽出手段と、抽出手段により抽出された特徴量情報を記憶する記憶手段と、記憶手段に記憶されている特徴量情報と、抽出手段が新たに抽出した特徴量情報とが同一の顔を示すかを判定する判定手段と、撮像手段により撮像された被写体像を表示するとともに、その被写体像に含まれる顔が前記記憶手段に記憶されている特徴量情報が示す顔と同一であると判定手段が判定した場合、その顔に関する情報を表示する表示手段と、を備え、表示手段は、被写体像に含まれる顔が表示範囲内におけるいずれの位置に表示されているのかに応じて、その顔に関する情報の表示位置を調整する。
【０００６】
また、本発明にかかる撮像装置は、撮像手段と、撮像手段により撮像された被写体の顔の特徴量情報を抽出する抽出手段と、抽出手段により抽出された特徴量情報を記憶する記憶手段と、記憶手段に記憶されている特徴量情報と、抽出手段が新たに抽出した特徴量情報とが同一の顔を示すかを判定する判定手段と、撮像手段により撮像された被写体像を表示する表示手段と、を備え、表示手段は、判定手段が同一の顔を示すと判定するのに応じて、抽出手段が新たに抽出した特徴量情報が示す顔の位置と所定の関係にある位置に前記顔に関する情報を表示する一方、所定の関係にある位置が該表示手段による表示範囲外である場合には、顔に関する情報を表示手段による表示範囲内に表示するとしてもよい。
【発明の効果】
【０００７】
本発明によれば、使い勝手の良い、スルー画像撮像中に顔識別を行う撮像装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
〔１．実施の形態１〕
〔１−１．概要〕
本実施の形態にかかるデジタルカメラ１００は、被写体の顔を識別することができる。デジタルカメラ１００は、識別対象として事前に登録している顔を識別することができる。デジタルカメラ１００は、表示モニタ２２０にスルー画像を表示する際に、識別対象として登録されている顔を識別した場合、識別対象である顔の周辺に顔に関連する情報を表示する。
【０００９】
本発明は、識別対象である顔の周辺に顔に関連する情報を表示する撮像装置の使い勝手をより向上するためになされた発明である。
【００１０】
〔１−２．構成〕
〔１−２−１．電気的構成〕
本実施の形態にかかるデジタルカメラ１００の電気的構成について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＣＤイメージセンサー１４０で撮像する。ＣＣＤイメージセンサー１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。
【００１１】
光学系１１０は、ズームレンズやフォーカスレンズから構成される。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。
【００１２】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータがこれにあたる。
【００１３】
絞り３００は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、透過する光の量を調整する。
【００１４】
シャッター１３０は、ＣＣＤイメージセンサー１４０に透過させる光を遮光するための手段である。
【００１５】
ＣＣＤイメージセンサー１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤイメージセンサー１３０は、露光、転送、電子シャッターなどの各種動作を行う。
【００１６】
Ａ／Ｄコンバータ１５０は、ＣＣＤイメージセンサー１４０で生成されたアナログ画像データをデジタル画像データに変換する。
【００１７】
画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対して各種処理を施す。画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対して処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤイメージセンサー１４０で生成された画像データに対して、ＪＰＥＧ規格に準拠した圧縮形式等により画像データを圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。
【００１８】
コントローラー１８０は、全体を制御する制御手段である。また、コントローラー１８０は、画像処理部１６０で生成された画像データが示す画像のうちの顔を検出することができる。具体的には、内部メモリ２４０は、標準的な人物等の顔における目の位置、鼻の位置、口の位置等を記憶している。コントローラー１８０は、画像処理部１６０で生成された画像データが示す画像のうち、内部メモリ２４０に記憶されている目、鼻、口等の位置関係と類似する位置関係を有する部分があるかを判断する。類似する位置関係を有する部分があると判断すると、コントローラー１８０は、その部分を中心とする一定の範囲を顔として検出する。また、コントローラー１８０は、画像処理部１６０で生成された画像データが示す被写体の顔が内部メモリ２４０に事前に登録されている顔と同一の顔か否かの識別をすることができる。具体的には、コントローラー１８０は、画像処理部１６０で生成された画像データが示す画像のうちの顔を検出する。コントローラー１８０は、顔を検出した際に、その顔のうちの目、鼻、口の位置関係等から顔の特徴を示す特徴量情報を抽出する。顔の特徴量情報を抽出すると、コントローラー１８０は、抽出した特徴量情報が内部メモリ２４０に事前に登録されている顔の特徴量情報と類似しているかを判断する。類似していると判断すると、コントローラー１８０は、検出した顔が内部メモリ２４０に事前に登録されている顔と同一の顔であると識別する。一方、類似していないと判断すると、コントローラー１８０は、検出した顔が内部メモリ２４０に事前に登録されている顔とは別の顔であると識別する。コントローラー１８０は、半導体素子などで実現可能である。コントローラー１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラー１８０は、マイコンなどで実現できる。
【００１９】
バッファ１７０は、画像処理部１６０及びコントローラー１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００２０】
カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２１】
内部メモリ２４０は、フラッシュメモリや強誘電低メモリなどで構成される。内部メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムや、顔検出に用いられる標準的な顔の目、鼻、口の位置関係に関する情報や、顔を識別するために事前に登録する顔に関する情報等を記憶している。
【００２２】
操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。例えば、使用者からの操作を受け付ける十字キーや決定釦等がこれにあたる。
【００２３】
表示モニタ２２０は、ＣＣＤイメージセンサー１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。
【００２４】
〔１−２−２．本発明との対応〕
ＣＣＤイメージセンサー１４０は、本発明の撮像手段の一例である。コントローラー１８０は、本発明の抽出手段の一例である。内部メモリ２４０は、本発明の記憶手段の一例である。コントローラー１８０は、本発明の判定手段の一例である。表示モニタ２２０は、本発明の表示手段の一例である。
【００２５】
〔１−３．顔識別機能〕
上述したように、デジタルカメラ１００は、顔識別機能を有している。顔識別機能とは、事前に登録されている顔とＣＣＤイメージセンサー１４０で撮像している被写体の顔とが同一の顔であるかを識別する機能である。
【００２６】
デジタルカメラ１００は、登録されている顔の特徴量と、撮像している画像に含まれる顔の特徴量とが類似しているかを判断する。類似していると判断した場合に、デジタルカメラ１００は、登録されている顔と撮像している顔とが同一の顔であると判断する。
【００２７】
デジタルカメラ１００は、被写体の撮像を行う際に、撮像している被写体の中に登録されている顔が存在するかを識別する。登録している顔が存在すると識別した場合に、デジタルカメラ１００は、登録している顔に優先的にフォーカスを合わせる等の動作を行う。
【００２８】
〔１−３−１．識別対象の登録〕
識別対象とする顔を事前に登録する方法について図２、図３を用いて説明する。図２は、識別対象とする顔を事前に登録する方法を説明するためのフローチャートである。図３は、識別対象とする顔を事前に登録する方法を説明するための模式図である。
【００２９】
使用者は、操作部材２１０を操作することにより、識別対象とする顔を事前に登録するモードにデジタルカメラ１００を設定できる（Ｓ１００）。顔を登録するモードに設定すると、コントローラー１８０は、対象とする顔を撮影するモードを開始する（Ｓ１１０）。撮影モードが開始されると、例えば、表示モニタ２２０は図３（Ａ）に示されるような画像を表示する。
【００３０】
識別対象とする顔を撮影するモードが開始されると、コントローラー１８０は、使用者により識別対象とする顔が撮影されるまで待機する（Ｓ１２０）。
【００３１】
使用者により識別対象とする顔の撮影がされると、表示モニタ２２０は、登録する識別対象についての各種情報の入力を促す画面を表示する（Ｓ１３０）。例えば、表示モニタ２２０は、図３（Ｂ）に示されるような識別対象の名前や生年月日や識別優先度に関する情報の入力を促す画面を表示する。ここで、識別優先度とは、事前に登録されている顔が複数ある場合に、それらの複数の顔を撮影するような場面において、どの顔を優先的に識別するかを決定するパラメータである。
【００３２】
情報の入力を促す画面が表示されると、コントローラー１８０は、使用者により各種情報が入力されるまで待機する（Ｓ１４０）。
【００３３】
各種情報が入力されると、コントローラー１８０は、登録された各種情報と顔の特徴量情報とを関連付けて内部メモリ２４０に記憶させる。内部メモリ２４０に情報を記憶すると、顔を登録するモードは終了する（Ｓ１５０）。
【００３４】
このような方法によって、使用者は、識別したい顔に関する情報をデジタルカメラ１００に登録することができる。
【００３５】
〔１−３−２．顔識別機能を用いた撮影を行う際のモニタ表示〕
顔識別機能を用いた撮影を行う際の表示モニタ２２０の表示について図４、図５を用いて説明する。図４は、顔識別機能を用いた撮影を行う際の表示モニタ２２０の表示動作のフローチャートである。図５は、顔識別機能を用いた撮影を行う際の表示モニタ２２０の表示を説明するための模式図である。
【００３６】
使用者は、操作部材２１０を操作することにより、デジタルカメラ１００を顔識別機能を用いた撮影モードに設定することができる（Ｓ２００）。顔識別機能を用いた撮影モードに設定されると、表示モニタ２２０は、ＣＣＤイメージセンサー１４０で撮像されたスルー画像の表示を行う（Ｓ２１０）。
【００３７】
スルー画像の表示を表示モニタ２２０に行わせると、コントローラー１８０は、スルー画像上に顔を検出することができるか否かを判断する（Ｓ２２０）。
【００３８】
顔を検出することができない場合、コントローラー１８０は、顔を検出することができない位置に顔枠表示がされているか否かを判断する（Ｓ２３０）。顔枠表示をしていないと判断すると、コントローラー１８０は、再び顔検出を行う。一方、顔枠表示をしていると判断すると、コントローラー１８０は、表示モニタ２２０に表示させている顔枠を消去する（Ｓ２４０）。
【００３９】
一方、顔を検出することができた場合、コントローラー１８０は、検出した顔の周辺に図５（Ａ）に示す顔枠２３０のような顔枠を表示させる（Ｓ２５０）。
【００４０】
顔枠を表示させると、コントローラー１８０は、表示モニタ２２０上に登録済みの識別対象の顔が表示されているかを判断する（Ｓ２６０）。登録済みの識別対象の顔が表示されていると判断すると、コントローラー１８０は、識別した顔に関連付けて名前情報が記憶されているかを判断する（Ｓ２７０）。
【００４１】
名前情報が記憶されていると判断すると、コントローラー１８０は、顔枠の下方に名前の表示スペースがあるか否かを判断する（Ｓ２８０）。顔枠の下方に名前の表示スペースがあると判断すると、コントローラー１８０は、表示モニタ２２０に対して、名前を顔枠の下方に表示させる（Ｓ２９０）。一方、顔枠の下方に名前の表示スペースがないと判断すると、コントローラー１８０は、表示モニタ２２０に対して、名前を顔枠の上方に表示させる（Ｓ３００）。
【００４２】
名前の表示に関して図５を用いて説明する。図５（Ａ）（Ｂ）（Ｃ）において表示モニタ２２０には３人の人物が表示されている。図５（Ａ）（Ｂ）（Ｃ）に表示されている３人はそれぞれ同一の人物である。ここで、デジタルカメラ１００には、３人のうち左の男性（「たろう」）、中央の女性（「はなこ」）の２人が識別対象として登録されている。また、これら登録されている２人は、名前についてもデジタルカメラ１００に登録されている。
【００４３】
ここで、図５（Ａ）においては、顔識別が行われた「たろう」の顔、及び顔識別が行われた「はなこ」の顔のいずれの下方にも名前を表示するスペースがある。従って、図５（Ａ）においては、「たろう」、「はなこ」それぞれの顔の下方に名前上方が表示される。
【００４４】
ここで、「はなこ」が図５（Ｂ）のように表示モニタ２２０からフェードアウトしようとしたとする。そうすると、「はなこ」の顔の下方には、名前情報を表示するスペースがなくなる。従って、このような場合に、表示モニタ２２０は、顔の下方に名前を表示せず、図５（Ｃ）のように顔の上方に名前情報を表示する。
【００４５】
このように、本実施の形態にかかるデジタルカメラ１００は、ＣＣＤイメージセンサー１４０と、ＣＣＤイメージセンサー１４０により撮像された被写体の顔の特徴量情報を抽出するコントローラー１８０と、コントローラー１８０により抽出された特徴量情報を記憶する内部メモリ２４０と、内部メモリ２４０に記憶されている特徴量情報と、コントローラー１８０が新たに抽出した特徴量情報とが同一の顔を示すかを判定するコントローラー１８０と、ＣＣＤイメージセンサー１４０により撮像された被写体像を表示するとともに、その被写体像に含まれる顔が内部メモリ２４０に記憶されている特徴量情報が示す顔と同一であるとコントローラー１８０が判定した場合、その顔に関する情報を表示する表示モニタ２２０と、を備え、表示モニタ２２０は、被写体像に含まれる顔が表示範囲内におけるいずれの位置に表示されているのかに応じて、その顔に関する情報の表示位置を調整する。
【００４６】
これにより、識別した顔に関する情報を表示する場所を原則的に決めていた場合において、その場所に顔に関する情報を表示することができなくなったとしても、可能な限り顔に関する情報を表示することができる。
【００４７】
このように、本実施の形態にかかるデジタルカメラ１００は、ＣＣＤイメージセンサー１４０と、ＣＣＤイメージセンサー１４０により撮像された被写体の顔の特徴量情報を抽出するコントローラー１８０と、コントローラー１８０により抽出された特徴量情報を記憶する内部メモリ２４０と、内部メモリ２４０に記憶されている特徴量情報と、コントローラー１８０が新たに抽出した特徴量情報とが同一の顔を示すかを判定するコントローラー１８０と、ＣＣＤイメージセンサー１４０により撮像された被写体を表示する表示モニタ２２０と、を備え、表示モニタ２２０は、コントローラー１８０が同一の顔を示すと判定するのに応じて、コントローラー１８０が新たに抽出した特徴量情報が示す顔の位置と所定の関係にある位置に顔に関する情報を表示する一方、所定の関係にある位置が表示モニタ２２０による表示範囲外である場合には、顔に関する情報を表示モニタ２２０による表示範囲内に表示する。
【００４８】
これにより、識別した顔に関する情報を表示する場所を原則的に決めていた場合において、その場所に顔に関する情報を表示することができなくなったとしても、可能な限り顔に関する情報を表示することができる。
〔２．他の実施の形態〕
以上により、本発明の実施の形態として、実施の形態１を説明した。しかし、本発明は、これらには限定されない。そこで、本発明の他の実施の形態を本欄にまとめて説明する。
【００４９】
実施の形態に１にかかる撮像装置は、原則的に名前情報を顔の下方に表示することとしたが、必ずしもこのような構成である必要はない。原則的に名前情報を上方に表示し、上方に表示スペースがなくなったときに名前情報を下方に表示してもよいし、原則的に名前情報を左方に表示し、左方に表示スペースがなくなったときに名前情報を右方に表示してもよい。要するに、顔の位置と所定の関係にある位置に顔に関する情報を表示する一方、所定の関係にある位置が表示モニタ２２０による表示範囲外である場合には、顔に関する情報を表示モニタ２２０による表示範囲内に表示する構成であればよい。
【００５０】
また、実施の形態１では、撮像手段として、ＣＣＤイメージセンサー１４０を例示したが、本発明はこれに限定されない。例えば、ＣＭＯＳイメージセンサーで構成してもよく、ＮＭＯＳイメージセンサーで構成してもよい。
【００５１】
また、実施の形態１では、画像処理部１６０とコントローラー１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。
【００５２】
また、実施の形態１では、コントローラー１８０が顔検出及び顔識別を行う構成としたが、必ずしもこのような構成とする必要はない。例えば、顔検出及び顔識別を行うチップをコントローラー１８０とは別のチップとしてもよい。また、顔検出を行うチップと顔識別を行うチップとを別のチップとしてもよい。
【産業上の利用可能性】
【００５３】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置や、カメラ機能付き携帯電話等に適用できる。
【図面の簡単な説明】
【００５４】
【図１】デジタルカメラ１００のブロック図
【図２】識別対象とする顔を事前に手動で登録する方法を説明するためのフローチャート
【図３】識別対象とする顔を事前に手動で登録する方法を説明するための模式図
【図４】表示モニタ２２０の表示フローを説明するためのフローチャート
【図５】顔識別機能を使った撮影をする際の表示モニタ２２０の表示を説明するための模式図
【符号の説明】
【００５５】
１００    デジタルカメラ
１１０    光学系
１２０    レンズ駆動部
１３０    シャッター
１４０    ＣＣＤイメージセンサー
１５０    Ａ／Ｄコンバータ
１６０    画像処理部
１７０    バッファ
１８０    コントローラー
１９０    カードスロット
２００    メモリカード
２１０    操作部材
２２０    表示モニタ
２３０    顔枠
２４０    内部メモリ
【図１】
2010171841.tif 000003
【図２】
2010171841.tif 000004
【図３】
2010171841.tif 000005
【図４】
2010171841.tif 000006
【図５】
2010171841.tif 000007