(57)【要約】【課題】予め認証登録した人物に応じて、その人物に適した最良の角度での撮影や撮影案内を可能にした画像記録再生装置を提供する。【解決手段】被写体像を電気信号に変換する撮像手段と、撮像手段で得られた画像データから人物の顔を検出する手段と、検出された顔から人物の特徴情報を抽出する手段と、検出された特徴情報から顔の角度情報を抽出する手段と、複数の被写体の特徴情報を記憶保持する手段と、特徴情報に記録された個々の被写体毎の写りのよい角度を登録する手段と、被写体の特徴情報と特徴情報に記憶された特徴情報とを用いて被写体を認証する手段と、撮影指示手段と、撮影案内手段と、撮影指示に応じて撮像素子の出力を読み出して記録用静止画像を生成する撮像装置において、個人認識された被写体を示す特徴情報内の最良角度情報と、個人認識された被写体の顔の角度が所定範囲に入った場合に、撮影指示または、撮影案内を行うことを特徴とする。【選択図】  図４
2014023076.tif 000002
【特許請求の範囲】
【請求項１】
光学系により形成された被写体像を電気信号に変換する撮像手段と、該撮像手段で得られた画像データから人物の顔を検出する顔検出手段と、該検出された顔から人物の特徴情報を抽出する特徴抽出手段と、該検出された特徴情報から顔の角度情報を抽出する角度抽出手段と、複数の被写体の特徴情報を記憶保持する特徴情報記憶手段と、該特徴情報記憶手段に記録された個々の特徴情報に被写体毎の写真写りのよい角度を登録する最良角度登録手段と、前記特徴抽出手段による被写体の特徴情報と前記特徴情報記憶手段の特徴情報とを用いて被写体を認証する被写体認証手段と、撮影指示手段と、撮影案内を行う撮影案内手段と、撮影指示に応じて撮像素子の出力を読み出して記録用静止画像を生成する撮像装置において、前記被写体認証手段で認識された被写体を示す特徴情報内の最良角度情報と、前記被写体認証手段で認識された被写体の顔の角度が所定範囲に入った場合に、撮影指示または、及び、撮影案内を行うことを特徴とする画像記録再生装置。
【請求項２】
前記主被写体の判定は、顔のサイズが最も大きい人物を選択することを特徴とする請求項１に記載の画像記録再生装置。
【請求項３】
前記主被写体は、予め前記特徴情報記憶手段から選択させた人物であることを特徴とする請求項１に記載の画像記録再生装置。
【請求項４】
被写体が複数存在し、認識した顔が前記特徴情報記憶手段に記録されていた場合において、複数の顔の角度が全て所定の範囲に入った場合に撮影指示または、及び、撮影案内を行うことを特徴とする請求項１に記載の画像記録再生装置。
【請求項５】
前記複数の顔の内、主被写体の顔の角度が所定の範囲に入った場合に撮影指示または、及び、撮影案内を行うことを特徴とする請求項４に記載の画像記録再生装置。
【請求項６】
前記主被写体の判定は、顔のサイズが最も大きい人物を選択することを特徴とする請求項５に記載の画像記録再生装置。
【請求項７】
前記主被写体は、予め前記特徴情報記憶手段から選択させた人物であることを特徴とする請求項５記載の画像記録再生装置。
【請求項８】
被写体が複数存在し、最良な角度で撮影する人物を主被写体のみと全員を選択する手段を設け、主被写体のみの場合と、複数人全ての場合とで、顔の角度が最良の角度に入ったと判断する所定の範囲を主被写体のみの場合よりも複数人の場合の範囲を広くすることを特徴とする請求項５乃至請求項９の何れか１項に記載の画像記録再生装置。
【請求項９】
前記特徴情報記憶手段に特徴情報を登録する際、登録する人物の顔画像を前記被写体認証手段で認証し、登録されていない人物の場合には、認証に使用した顔画像を代表画像とし、認証に使用した顔画像の角度を最良角度として記憶することを特徴とする請求項第１乃至請求項８の何れか１項に記載の画像記録再生装置。
【請求項１０】
前記特徴情報記憶手段に特徴情報を登録する際、登録する人物の顔画像を前記被写体認証手段で認証し、登録されている人物の場合には、前記特徴情報記憶手段に登録されている該当人物における最良角度と、認証に使用した顔画像の角度との相関演算を行い、相関がある場合にのみ、前記特徴情報記憶手段に登録されている該当人物における最良角度と、認証に使用した顔画像の角度の重心角度を求め、該当人物における最良角度として特徴情報記憶手段に登録し、該重心角度に最も近い該当人物の登録画像を代表画像として登録し直すことを特徴とする請求項１乃至請求項９の何れか１項に記載の画像記録再生装置。
【請求項１１】
光学系により形成された被写体像を電気信号に変換する撮像ステップと、該撮像ステップで得られた画像データから人物の顔を検出するステップと、該検出された顔から人物の特徴情報を抽出する特徴抽出ステップと、該検出された特徴情報から顔の角度情報を抽出する角度抽出ステップと、複数の被写体の特徴情報を記憶保持する特徴情報記憶ステップと、該特徴情報記憶ステップで記録された個々の特徴情報に被写体毎の写真写りのよい角度を登録する最良角度登録ステップと、前記特徴抽出ステップによる被写体の特徴情報と前記特徴情報記憶ステップで記録された特徴情報とを用いて被写体を認証する被写体認証ステップと、撮影指示ステップと、撮影案内を行う撮影案内ステップと、撮影指示に応じて撮像素子の出力を読み出して記録用静止画像を生成するステップを有する画像記録再生装置の制御方法において、前記被写体認証手段で認識された被写体を示す特徴情報内の最良角度情報と、前記被写体認証手段で認識された被写体の顔の角度が所定範囲に入った場合に、撮影指示または、及び、撮影案内を行うステップを有することを特徴とする画像記録再生装置の制御方法。
【請求項１２】
前記主被写体の判定ステップは、顔のサイズが最も大きい人物を選択することを特徴とする請求項１１に記載の画像記録再生装置の制御方法。
【請求項１３】
予め前記特徴情報記憶ステップで記録された特徴情報から選択するステップで主被写体を選択することを特徴とする請求項１１に記載の画像記録再生装置の制御方法。
【請求項１４】
被写体が複数存在し、認識した顔が前記特徴情報記憶ステップで記録されていた場合において、複数の顔の角度が全て所定の範囲に入った場合に撮影指示または、及び、撮影案内を行うステップを有することを特徴とする請求項１１に記載の画像記録再生装置の制御方法。
【請求項１５】
前記複数の顔の内、主被写体の顔の角度が所定の範囲に入った場合に撮影指示または、及び、撮影案内を行うステップを有することを特徴とする請求項１４に記載の画像記録再生装置の制御方法。
【請求項１６】
前記主被写体の判定ステップは、顔のサイズが最も大きい人物を選択することを特徴とする請求項１５に記載の画像記録再生装置の制御方法。
【請求項１７】
前記主被写体は、予め前記特徴情報記憶された特徴情報から選択ステップで確定させた人物であることを特徴とする請求項１５に記載の画像記録再生装置の制御方法。
【請求項１８】
被写体が複数存在し、最良な角度で撮影する人物を主被写体のみと全員を選択するステップを設け、主被写体のみの場合と、複数人全ての場合とで、顔の角度が最良の角度に入ったと判断する所定の範囲を主被写体のみの場合よりも複数人の場合の範囲を広くすることを特徴とする請求項１５乃至請求項１８の何れか１項に記載の画像記録再生装置の制御方法。
【請求項１９】
前記特徴情報記憶ステップで特徴情報を登録する際、登録する人物の顔画像を前記被写体認証手段で認証し、登録されていない人物の場合には、認証に使用した顔画像を代表画像とし、認証に使用した顔画像の角度を最良角度として記憶するステップを有することを特徴とする請求項１１乃至請求項１８の何れか１項に記載の画像記録再生装置の制御方法。
【請求項２０】
前記特徴情報記ステップで特徴情報を登録する際、登録する人物の顔画像を前記被写体認証手段で認証し、登録されている人物の場合には、前記特徴情報記憶手段に登録されている該当人物における最良角度と、認証に使用した顔画像の角度との相関演算を行い、相関がある場合にのみ、前記特徴情報記憶手段に登録されている該当人物における最良角度と、認証に使用した顔画像の角度の重心角度を求め、該当人物における最良角度として特徴情報記憶手段に登録し、該重心角度に最も近い該当人物の登録画像を代表画像として登録し直すステップを有することを特徴とする請求項１１乃至請求項１９の何れか１項に記載の画像記録再生装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の出力を利用して静止画像を撮影記録及び、再生する画像記録再生装置に関するものである。
【背景技術】
【０００２】
近年のＳＮＳ等のプロフィール等に使用する画像は、証明写真のように正面からの決められた構図には制限されないため、個々人の写りの良い構図で撮れた写真を採用したい要望がある。
【０００３】
採用に適した写真がない場合には、自分自身で撮っても写りのよい構図で撮影できるカメラが所望されるようになってきている。
【０００４】
また、被写体が複数人の撮影においても、それぞれが写真写りの良い構図で撮影を行いたい要望もある。
【０００５】
特許文献１では、カメラと顔の相対角度とカメラの重力に対するカメラの角度に基づいて撮影を行うとしている。
特許文献２では、ライブ画像で検出された顔が所望の構図に合致した場合に撮影を行うとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−４１１３３号公報
【特許文献２】特許第４７９９５０１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献に開示された従来技術では、カメラ固有の角度で撮影されるため、個々人の好みの構図にならない可能性があった。また、従来技術では個人の撮影に適応しているため、複数人で撮影する場合において各個人がよりよい構図で撮影されない可能性があった。
【０００８】
本発明の目的は、こうした課題に鑑み、個人毎に異なる写真写りの良い角度で撮影することを可能にした画像記録装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、光学系により形成された被写体像を電気信号に変換する撮像手段と、撮像手段で得られた画像データから人物の顔を検出する顔検出手段と、検出された顔から人物の特徴情報を抽出する特徴抽出手段と、検出された特徴情報から顔の角度情報を抽出する角度抽出手段と、複数の被写体の特徴情報を記憶保持する特徴情報記憶手段と、前記特徴情報記憶手段に記録された個々の特徴情報に被写体毎の写真写りのよい角度を登録する最良角度登録手段と、前記特徴抽出手段による被写体の特徴情報と前記特徴情報記憶手段の特徴情報とを用いて被写体を認証する被写体認証手段と、撮影指示手段と、撮影案内を行う撮影案内手段と、撮影指示に応じて撮像素子の出力を読み出して記録用静止画像を生成する撮像装置において、前記被写体認証手段で認識された被写体を示す特徴情報内の最良角度情報と、前記被写体認証手段で認識された被写体の顔の角度が所定範囲に入った場合に、撮影指示または、撮影案内を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、個人毎に異なる写りのよい角度で撮影された静止画が得られる画像記録装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施例の画像記録再生装置の外観図
【図２】本実施例の画像記録再生装置のブロック図
【図３】本実施例の顔検出、特徴抽出、角度検出、個人認証のブロック図
【図４】本実施例の第一の撮影のフローチャート
【図５】本実施例の表示用画像データ生成のフローチャート
【図６】本実施例の表示処理のフローチャート
【図７】本実施例の表示終了処理のフローチャート
【図８】本実施例の顔検出のフローチャート
【図９】本実施例の個人認証のフローチャート
【図１０】本実施例の第二の撮影のフローチャート
【図１１】本実施例の特徴情報登録処理のフローチャート
【図１２（ａ）】本実施例の最良角度画像登録処理のフローチャート（その１）
【図１２（ｂ）】本実施例の最良角度画像登録処理のフローチャート（その２）
【図１２（ｃ）】本実施例の最良角度画像登録処理のフローチャート（その３）
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明を実施する最良の形態を詳細に説明する。
【実施例１】
【００１３】
本発明は、カメラに登録された個人認証データに基づいて、個人毎の最良の顔の角度で静止画を撮影記録する技術に関する。
【００１４】
図１に本発明の撮像装置の一例としてのデジタルカメラの外観図を示す。
【００１５】
表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モードダイヤル６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブルとデジタルカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントロールホイール７３は操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。
【００１６】
図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【００１７】
図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１８】
撮像素子の単位画素には、Ｒ、Ｇ、Ｂの色相フィルタがあり、ベイヤ配列を成している。静止画を撮影する場合などには、有効領域の殆ど全ての画素を読み出して画像生成を行う。ＣＣＤの場合には、先幕としてフォトダイオード（以後、ＰＤ）の電荷を掃き捨てた後、後幕としてメカニカルな遮蔽部材によるシャッターを閉じて光路を断った後、ＰＤに蓄積した一面分の電荷をＣＣＤの垂直転送レジスタに移し、１ラインずつ読み出して行われる。ＣＭＯＳの場合には、各画素のＰＤと共に、ＰＤで発生した電荷を一時的に蓄積しておく蓄積領域となるフローティング・デフュージョン（以下、ＦＤ）の電荷を一括してリセットし、行単位で読み出しを行う一括リセット読み出しが行われる。この時も後幕にはメカニカルな遮光部材によるシャッターが用いられる。そして、得られた画像は一旦メモリ３２に保存され、画像処理部２４にて所望の信号処理を行う。
【００１９】
これに対して、ＥＶＦや動画撮影を行う場合、その性質上、画素数を表示用画像生成に必要な画素数近辺になるように間引いたり、加算平均して撮像素子１４から読み出し、出力される画像データを逐次画像処理して実現される。ＣＭＯＳの場合には画素若しくは、行単位でＰＤ及び、ＦＤに蓄積された電荷をリセットした後、画素若しくは、行単位で順次読み出すことによって、行単位の蓄積時間を一定に保ちながら連続的に電荷を読み出す走査で実現する。また、ＣＣＤの場合には、面単位でＰＤの電荷を掃き捨て、面単位で垂直転送路に移して読み出して実現する。
【００２０】
画像処理部２４は、撮像駆動用の同期信号や駆動信号を発生するＳＳＧ回路や、撮像出力となるＡ／Ｄ変換器２３からのデータ、又はメモリ制御部１５を介してメモリ３２からのデジタルデータ出力を受信し、前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、画像合成回路、顔検出認証回路、縮小回路、ラスタブロック変換回路及び、圧縮回路を含む。顔検出認証回路については、後に図３を用いて説明する。
【００２１】
ＳＳＧ回路では、タイミング発生器から撮像駆動用のクロックを受けて、水平及び、垂直同期信号を発生し、タイミング発生器と撮像素子に出力する。前処理回路では、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路では、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路では、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路では、撮像素子出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ制御部１５にＹＵＶ形式の画像データを形成する。
【００２２】
縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直共に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換を行う。こうした一連の画像処理には、メモリ３２がバッファメモリとして用いられて実現される。バッファメモリでブロックスキャンデータに変換した画像データは、圧縮回路でＪＰＥＧデータをブロック単位で圧縮する。
【００２３】
また、信号処理回路では、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。こうした画像処理部２４で生成されたデータ用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２４】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するためのＹＵＶ形式の画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２５】
再生回路１３は、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、表示部２８に出力される。撮像素子からの画像データを逐次処理することによって電子ビューファインダ（以後、ＥＶＦ）が実現される。
【００２６】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２７】
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００２８】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００２９】
モード切り替えスイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００３０】
モード切り替えスイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００３１】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００３２】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３３】
コントロールホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントロールホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントロールホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントロールホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザーの回転操作に応じてコントロールホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントロールホイール７３自体は回転せず、コントロールホイール７３上でのユーザーの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００３４】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３５】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３６】
図３は画像処理部２４内の顔検出認証回路のブロック図である。
【００３７】
顔検出認証回路は図３のように、顔検出回路（１８−ａ乃至、１８−ｆ）、角度抽出回路（１８−ｇ）、幾何変換回路（１８−ｈ）、顔抽出回路（１８−ｉ）、特徴抽出回路（１８−ｊ）、類似判定回路（１８−ｋ）で構成される。入力される信号は、信号処理回路の出力ＹＵＶ形式の画像データ或いは、ＪＰＥＧ伸張され、メモリ３２にバッファリングされたＹＵＶ形式の画像データが選択可能である。入力されたＹＵＶ形式の画像データは、画像変換部（１８−ａ）で一旦、所定サイズの画像に変換される。その後、画像抽出部（１８−ｂ）において所望領域が切り出され、中間画像が生成される。中間画像は一時メモリ（１８−ｃ）に記憶される。中間画像を一時的に記憶するメモリは２６を併用してもよい。次に、輝度抽出部（１８−ｄ）において輝度抽出および、フィルタ処理を行う。その結果をパターン比較して顔の検出を行い、パターン比較結果から顔の座標、顔のサイズ、目の座標、目のサイズ、瞳の中心座標、瞳のサイズ、鼻先の座標、鼻孔の座標、鼻孔端の座標、鼻孔のサイズ、口角の座標及び、その信頼度を内部レジスタ（１８−ｆ）とメモリ制御部１５を介してメモリ３２に転送される。目、瞳、鼻孔、口角については左右のデータで構成される。尚、顔検出時のパターン比較を行う場合において、検出する顔の最大個数や、顔として認識する画素サイズを設定することができる。また、顔データを角度抽出回路（１８−ｇ）に入力し、顔データから顔が向いている角度を検出する。角度抽出回路（１８−ｇ）は鼻先座標と左右の目、瞳、口角の座標とサイズから左右の角度と回転の角度を決定し、鼻先座標と左右の目、瞳、口角の座標及び、鼻孔のサイズで上下の角度を決定する。また顔データは顔抽出回路（１８−ｉ）に入力され、入力画像から対象となる顔画像を抽出して幾何変換回路（１８−ｈ）とメモリ制御部１５を介してメモリ３２に転送される。角度抽出回路（１８−ｇ）で検出された角度に基づいて、特徴情報のデータベース上の画像と顔抽出回路（１８−ｉ）で抽出された顔画像を幾何変換回路（１８−ｈ）で正規化し、特徴抽出回路（１８−ｊ）でそれぞれの特徴量を抽出する。これらの特徴量の類似度を類似判定回路（１８−ｋ）で判定する。特徴量は画像変換部で決定する所定の画像サイズにおける濃淡情報と幾何変換後の顔情報の座標変位量の相関演算結果に基づいて行われる。
【００３８】
図４で本発明の第１の実施例による最良角度撮影の全体の流れを説明する。
まず、モードダイヤル６０を撮影モードに設定すると撮影モードに入る。撮影モードに入ると、ＥＶＦ表示を行う（Ｓ４０１）。ＥＶＦ表示は先に説明した通り、ＥＶＦに適した方法で撮像素子を駆動し、１フレーム単位で連続的に得られる画像データ出力を画像処理部２４で色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成すると同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ３２にＹＵＶ形式の表示用画像データを形成する。表示用画像を格納するメモリ（ＶＲＡＭ）は３フレーム分用意し、１フレーム生成される度に画像を書き込むＶＲＡＭを順次切り替える。この時、表示用画像データは撮像素子の出力レートで生成される。また再生回路１３は、先に説明した処理を施し、表示用画像データをＹ信号とＲＧＢ信号に変換して表示部２８に出力される。表示は再生回路１３の周期で更新され、表示用画像が生成される度に、次回の更新タイミングで表示するＶＲＡＭを切り替えてＥＶＦを実現する。
【００３９】
これらの処理は、ハードウェアとプログラムによって実現されるが、一連の流れを図５乃至、図７で説明する。
【００４０】
ＥＶＦ動画が開始されると撮像素子を駆動し（Ｓ５０１）、撮像素子の出力から表示用画像としてＹＵＶデータを生成するＶＲＡＭ領域をＶＲＡＭ１に設定する（Ｓ５０２）。ＶＲＡＭ領域を設定したら表示用画像生成を開始する（Ｓ５０３）。生成が完了すると（Ｓ５０４）、ＶＲＡＭ領域をＶＲＡＭ２に設定して（Ｓ５０５）、表示用ＶＲＡＭをＶＲＡＭ１に切り替える（Ｓ５０６）。ＥＶＦ表示が終了でなければ（Ｓ５０７）、表示を開始する（Ｓ５０８）。次の表示用画像データが生成されると（Ｓ５０９）、ＶＲＡＭ領域をＶＲＡＭ３に設定し（Ｓ５１０）、表示用ＶＲＡＭをＶＲＡＭ２に切り替える（Ｓ５１１）。ＥＶＦ表示が終了でなく（Ｓ５１２）、次の表示用画像データが生成されると（Ｓ５１３）、ＶＲＡＭ領域をＶＲＡＭ１に設定して（Ｓ５１４）表示用ＶＲＡＭをＶＲＡＭ３に切り替える（Ｓ５１５）。ＥＶＦ表示が終了でなければ（Ｓ５１６）Ｓ５０４から繰り返す。ＥＶＦ表示が終了なら、表示を終了する（Ｓ５１７）。
【００４１】
表示開始処理では、処理中でなければ（Ｓ６０１）、表示用ＶＲＡＭ読み出しを開始し（Ｓ６０２）、表示用ＶＲＡＭを処理して表示を行う（Ｓ６０３）。表示更新で表示用ＶＲＡＭが切り替わり（Ｓ６０４）、表示が更新される。また、表示終了処理では、表示用ＶＲＡＭの読み出しを終了し（Ｓ７０１）、信号処理を停止して終了する。
【００４２】
図４に戻り、表示用画像データを利用した顔検出処理を開始する（Ｓ４０２）。
【００４３】
顔検出処理は図８に示すフローで処理される。システム制御回路５０は、顔検出回路のパターン比較部１８−ｅに検出する顔の最小サイズと検出する顔の数を設定する（Ｓ８０１）。先に説明した一連の顔検出を行う（Ｓ８０２）。この時、顔検出回路には表示用画像データが入力される。顔検出が終了すると（Ｓ８０３）、検出結果である顔の座標、顔のサイズ、目の座標、目のサイズ、瞳の座標、瞳のサイズ、鼻先の座標、鼻孔端の座標、鼻孔のサイズ、口角の座標及び、その信頼度をシステム制御回路が管理するメモリ領域に待避する（Ｓ８０４）。また、角度抽出回路で各顔の角度を抽出する（Ｓ８０６）。顔検出が終了でなければ（Ｓ８０６）次の検出を開始する。これらの動作は、図４の動作とは非同期で独立したスレッドで制御され、顔が検出された場合には、画像処理部２４で表示用ＶＲＡＭに対応したビットマップで矩形枠を生成し、表示用画像に重ねた表示データを生成して表示を行う。
【００４４】
図４に戻ると、顔情報から主被写体を決定し（Ｓ４０３）、主被写体の個人認証を行う（Ｓ４０４）。
【００４５】
個人認証は図９に示すフローで処理される。尚、不図示ではあるが、システム制御回路５０は、起動時に不揮発性メモリ５６に記録した特徴情報データベースをメモリ３２に展開しておく。
【００４６】
まず、システム制御回路５０は決定した主被写体に相当する顔データから角度抽出回路で抽出した対象画像における被写体の角度を確定する（Ｓ９０１）。また、顔データに基づいて入力画像から顔抽出回路で主被写体の顔画像を抽出する（Ｓ９０２）。この場合の主被写体判定は、顔のサイズが最も大きい被写体とする。続いて、抽出した角度に基づいて主被写体の顔画像を幾何変換回路で幾何変換し（Ｓ９０３）、幾何変換した主被写体の顔画像の特徴量を特徴抽出回路で抽出する（Ｓ９０４）。データベースに特徴情報がない或いは、全ての特徴情報を判定終了したら（Ｓ９０５）戻る。特徴情報が記録されている場合、全情報の判定が終わっていなければ（Ｓ９０５）、メモリ３２に展開しているデータベースから一人分の特徴情報を読み出す（Ｓ９０６）。次に類似判定回路で主被写体の特徴量とデータベースから読み出した特徴量の類似判定を行う（Ｓ９０７）。判定結果が同一人物でなければ（Ｓ９０８）、全特徴情報について判定を行ったかの判定に戻る。同一人物であれば（Ｓ９０８）、判定に使用した特徴情報に記録されている最良の角度を読み込んで決定記憶する（Ｓ９０９）。また判定に使用した特徴情報にある個人情報（例えば、名前）をビットマップで生成し、表示用画像に重ねた表示データを生成して表示を行う。
【００４７】
図４に戻ると、決定記憶した最良角度と、随時更新される主被写体の現時点の角度が所定範囲に入っているか判定を行い（Ｓ４０５）、判定結果を表示する（Ｓ４０６）。判定結果の表示は、カメラの前面に配置したＬＥＤ（不図示）を点滅させたり、表示部２８にビットマップで成形した顔枠表示の色を変えるなどして表示させる。ＬＥＤの点滅周期や顔枠の色、判定結果によって段階的に変更してもよい。
【００４８】
続いて、モード変更があれば（Ｓ４０７）、不図示ではあるが必要に応じてＥＶＦ処理と顔検出を停止してから別のモードに遷移する。そして、角度判定レベルが所定値以上であれば（Ｓ４０８）、静止画撮影指示を行う（Ｓ４０９）。判定レベルが所定値に満たなければ（Ｓ４０８）、顔の角度判定に戻る。また、静止画撮影から戻るとＥＶＦ表示から再開される。
【００４９】
このように撮影する被写体から検出される顔の角度と、特徴情報に登録されている角度が所定範囲内に入ったら撮影案内や撮影を行うことによって、個人毎に最適な角度で撮影に導くことができる。また、予め主被写体を特徴情報データベースで特定して動作に入れば、より主被写体を特定して角度保証ができるの、不特定多数の人に撮影を依頼する場合に効果的である。
【実施例２】
【００５０】
以下、図１０で本発明の第２の実施例による最良角度撮影の流れを説明する。
【００５１】
まず、モードダイヤル６０を撮影モードに設定すると撮影モードに入る。撮影モードに入ると、ＥＶＦ表示を行う（Ｓ１００１）。ＥＶＦ表示は第一の実施例に説明したままであるため割愛する。続いて、表示用画像データを利用した顔検出処理を開始する（Ｓ１００２）。顔検出処理は第一の実施例で説明した通りなので割愛する。続いて、顔情報から主被写体を含む複数人を選択決定し（Ｓ１００３）、主被写体の個人認証を行う（Ｓ１００４）。複数人の選択は、顔の大きさが所定上である被写体を優先して選択する。個人認証は実施例１で説明した形式を先に決定した人数分行うものとし、詳細な説明は割愛する。
【００５２】
個人認証の段階で人物毎に決定記憶した最良角度と、随時更新される主被写体の現時点の角度が所定範囲に入っているか判定を行い（Ｓ１００５）、判定結果を表示する（Ｓ１００６）。判定結果の表示は、カメラの前面に配置したＬＥＤ（不図示）を点滅させたり、表示部２８にビットマップで成形した顔枠表示の色を変えるなどして表示させる。ＬＥＤの点滅周期や顔枠の色、判定結果によって段階的に変更してもよい。また角度判定が所定範囲を超えた人数が総数になった時に応じてＬＥＤの点滅周期や、ＧＵＩ上の枠の色を変えてもよい。続いて、モード変更があれば（Ｓ１００７）、不図示ではあるが必要に応じてＥＶＦ処理と顔検出を停止してから別のモードに遷移する。そして、人数分の角度判定レベルが所定値以上であれば（Ｓ１００８）、人数が変わらないことを判定し（Ｓ１００９）、人数が変われば認証人数の確定に戻り、人数が変わらなければ静止画撮影指示を行う（Ｓ１０１０）。また、人数分の角度判定レベルが所定値に満たなければ（Ｓ１００８）、顔の角度判定に戻る。また、静止画撮影から戻るとＥＶＦ表示から再開される。
【００５３】
このように撮影する被写体から検出される顔の角度と、特徴情報に登録されている角度が所定範囲内に入ったら撮影案内や撮影を行うことによって、複数人の撮影であっても、個人毎に最適な角度で撮影に導くことができる。尚、複数人で撮影する場合においても、実施例１と同じように主被写体のみの角度が所定範囲に入ったら撮影案内や撮影指示を行い、主被写体の角度を最良に保つことも可能である。この場合の主被写体判定は、顔のサイズが最も大きい被写体とする。また、予め主被写体を特徴情報データベースで特定して動作に入れば、より主被写体を特定して角度保証ができるの、不特定多数の人に撮影を依頼する場合に効果的である。
【００５４】
さらに、複数の人物をそれぞれ最良の角度で撮影する際、主被写体のみの角度で撮影するか、複数人全ての角度が最良になった時に撮影するか選択可能とし、主被写体のみの場合と、複数人全ての場合とで、検出中の人物の角度が最良の角度に入ったと判断する所定の範囲を変更することにより、撮影指示の条件を変えてもよい。特に一人の時よりも複数人の時の範囲を広くするのが好ましい。
【実施例３】
【００５５】
以下、図１１で本発明の第３の実施例による特徴情報記録の流れを説明する。
【００５６】
まず、特徴情報に登録する人物が移されている画像を選択する（Ｓ１１０１）。画像の選択は、操作部７０の左右方向のボタン操作や、コントロールホイール７３の回転操作で行われ、左方向ボタン操作や、反時計周り方向の操作の場合には、現在の画像の前の画像を選択し、右方向ボタン操作や時計周り方向の操作の場合には、現在の画像の後の画像を選択するといた周知の方法である。実際には記録媒体に記録された画像番号に沿って対象画像が選択され、画像処理部で圧縮画像を伸張し、表示用画像に変倍したＹＵＶ形式の画像データをメモリ３２に配置する。伸張された画像データを再生回路１３で表示部２８に表示させる。
【００５７】
画像の選択が完了すると、対象画像について映し出されている顔の検出を行う（Ｓ１１０２）。検出方法については、実施例１で説明した通りである。また、顔が検出された場合には、主被写体の顔の部分に画像処理部２４で表示用ＶＲＡＭに対応したビットマップで矩形枠を生成し、表示用画像に重ねた表示データを生成して表示を行う。
続いて、顔が写っていない場合には（Ｓ１１０３）、画像選択に戻る。また、選択画像に顔が写っていた場合には登録する人物を選択する（Ｓ１１０４）。選択は操作部７０の左右方向のボタン操作や、コントロールホイール７３の回転操作で行われ、選択された人物の顔に枠表示を移動する。次に選択された人物について第一の実施例と同じ方法で個人認証を行い（Ｓ１１０５）、認証の結果その人物が特徴情報のデータベースに登録されているか判定する（Ｓ１１０６）。登録されていなかった場合には、個人情報を登録し（Ｓ１１０７）、個人認証時に使用した顔抽出回路の出力である顔画像を代表画像として選択する（Ｓ１１０８）。同様に個人認証時に確定した最良角度を更新する（Ｓ１１０９）。特徴情報に登録するのは、顔データ、名前、年齢などが挙げられる。名前や年齢については、表示部２８上にＧＵＩで形成したキーボードで、操作部７０やコントロールホイール７３を使用して文字入力で行わせる。
【００５８】
個人認証での認証結果が既に登録済の人物であった場合、特徴情報の最良角度と、個人認証で確定した最良角度の相関演算を行い（Ｓ１１１０）、相関があるか判定を行う（Ｓ１１１１）。相関があると判定した場合には、特徴情報の最良角度と、個人認証で確定した最良角度で重心角度を求め（Ｓ１１１２）、最良角度を求めた重心角度に更新する（Ｓ１１１３）。相関がなかった場合も含め、次に重心角度に近い画像を代表画像に選択する（Ｓ１１１４）。最後に、認証に使用した顔画像と角度を特徴情報データベースに登録し（Ｓ１１１５）、代表画像と最良角度を登録して終了する（Ｓ１１１６）。
このように特徴情報データベースに気に入った画像を登録する度に自動的に個人毎の最良の撮影角度が更新され且つ、最良な角度で撮影された画像が代表画像に登録することができる。
【実施例４】
【００５９】
以下、図１２で本発明の第４の実施例による最良角度を説明する。
【００６０】
まず、特徴情報データベースから人物を選択する（Ｓ１２０１）。この時、表示部２８には図１２（ｂ）のような画面が映し出される。代表画像と個人情報が並べて表示され、操作部７０の上下ボタンやコントロールホイール７３の回転操作で人物を選択する。人物を選択すると選択された人物の特徴情報に登録されている顔画像が一覧表示される（Ｓ１２０２）。一覧表示は図１２（ｃ）のように表示される。次に最良な角度と思われる画像を一覧表示された顔画像から選択する（Ｓ１２０３）。選択方法は人物選択時と同様に操作部７０やコントロールホイール７３で行う。選択された画像枠は選択されたことが分かるように二重枠で表示される。続いて、選択された画像の角度を最良角度として登録する（Ｓ１２０４）。また、選択された顔画像を代表画像として登録する（Ｓ１２０５）。
【００６１】
このようにして最も良いと思われる角度を明示的に登録することにより、これ以降に行われる第３の実施例で説明した角度重心による自動的な最良角度登録の精度が確実なものとなる。
【００６２】
尚、本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００６３】
１３：再生回路、１５：メモリ制御部、２２：撮像部、２４：画像処理部、２８：表示部、３２：メモリ、５０：システム制御部、７０：操作部、７３：コントロールホイール
【図１】
2014023076.tif 000003
【図２】
2014023076.tif 000004
【図３】
2014023076.tif 000005
【図４】
2014023076.tif 000006
【図５】
2014023076.tif 000007
【図６】
2014023076.tif 000008
【図７】
2014023076.tif 000009
【図８】
2014023076.tif 000010
【図９】
2014023076.tif 000011
【図１０】
2014023076.tif 000012
【図１１】
2014023076.tif 000013
【図１２（ａ）】
2014023076.tif 000014
【図１２（ｂ）】
2014023076.tif 000015
【図１２（ｃ）】
2014023076.tif 000016