(57)【要約】【課題】コンシューマ向けの撮像装置を用いて、処理の高速化及びメモリ量の低消費化を可能にし、視認性の高い代表画像を抽出できるようにする。【解決手段】画像データの被写体に対応した顔部分が存在する領域を表す顔認識情報を取得する顔認識情報取得手段と、前記画像データのピントが合っている領域を表すフォーカス情報を取得するフォーカス情報取得手段と、前記顔認識情報取得手段により取得された顔認識領域と、前記フォーカス情報取得手段により取得されたフォーカス領域との一致を検出する領域一致検出手段と、前記領域一致検出手段が一致すると判断した画像データを再生画像として前記表示装置に表示するよう制御する制御手段とを設ける。【選択図】図２
2012015742.tif 000002
【特許請求の範囲】
【請求項１】
画像データを再生して表示装置に表示する再生装置において、
前記画像データの被写体に対応した顔部分が存在する領域を表す顔認識情報を取得する顔認識情報取得手段と、
前記画像データのピントが合っている領域を表すフォーカス情報を取得するフォーカス情報取得手段と、
前記顔認識情報取得手段により取得された顔認識領域と、前記フォーカス情報取得手段により取得されたフォーカス領域との一致を検出する領域一致検出手段と、
前記領域一致検出手段が一致すると判断した画像データを再生画像として前記表示装置に表示するよう制御する制御手段とを有することを特徴とする再生装置。
【請求項２】
前記領域一致検出手段は、前記顔認識領域と前記フォーカス領域が重複する度合いを検出する一致度検出手段と、
前記一致度検出手段により検出される一致度が前記フォーカス領域に対して所定の閾値以上となった場合に、前記顔認識領域と前記フォーカス領域が一致する再生画像であると判断する一致判断手段とを有することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記一致度検出手段は、前記顔認識領域のすべてが前記フォーカス領域内に内包される場合に、前記顔認識領域と前記フォーカス領域が一致する再生画像であると判断することを特徴とする請求項２に記載の再生装置。
【請求項４】
動画データまたは複数の静止画データから前記顔認識領域と前記フォーカス領域との一致画像データを検索する一致画像検索手段と、
前記一致画像検索手段により検索された一致画像データを縮小してサムネイル画像を生成するサムネイル画像生成手段とを有することを特徴とする請求項１に記載の再生装置。
【請求項５】
前記サムネイル画像と前記一致画像データとを、記録媒体上のどこの論理アドレスに存在するかを関連付ける関連付け手段を有し、
前記制御手段は、前記サムネイル画像を前記表示装置に並べてメニュー画面の表示を行うよう制御することを特徴とする請求項４に記載の再生装置。
【請求項６】
前記サムネイル画像生成手段により生成されたサムネイル画像をプリント選択画面に表示出力する表示出力手段を有し、
前記制御手段は、前記表示出力手段を制御して前記サムネイル画像を前記プリント選択画面に表示して印刷推奨画像であるとユーザに通知することを特徴とする請求項４に記載の再生装置。
【請求項７】
前記顔認識領域と前記フォーカス領域を画像データに変換し、前記一致画像と重ね合わせる描画手段と、
前記描画手段により重ね合わせた画像を前記表示装置に表示出力するＯＳＤ（On Screen Display）手段とを有することを特徴とする請求項１に記載の再生装置。
【請求項８】
前記動画像データ中のピクチャの符号化方式を判定する符号化方式判定手段を有し、
前記制御手段は、動き予測とＤＣＴ（離散コサイン変換）による情報圧縮が行われた動画像データにおいて、前記一致度検出手段が所定の再生区間内で複数の一致画像を検出した場合には、一致画像として選択する再生画像の絞込み処理を行うよう制御することを特徴とする請求項１に記載の再生装置。
【請求項９】
前記再生画像の絞込み処理は、フレーム内符号化画像検出処理と、順方向予測符号化画像検出処理と、イントラマクロブロック数判定処理とを有し、
前記制御手段は、フレーム内符号化を行った画像データが検出された場合は、前記検出された画像データを再生画像として出力し、フレーム内符号化を行った画像データが検出されず順方向予測符号化を行った画像データが検出された場合は、前記検出された画像データを再生画像として出力し、前記いずれの符号化方式の画像データも検出されなかった場合は、符号化画像データ中のイントラマクロブロック数が最も多かった画像データ、または所定の閾値以上のイントラマクロブロック数を持つ画像データを再生画像として出力することを特徴とする請求項８に記載の再生装置。
【請求項１０】
前記顔認識領域情報は、画面内に存在する人物の顔領域を認識する顔画像認識の結果に基づいて座標形式データ、またはビットマップ形式データに変換され、画像データ内に付帯情報として記録されていることを特徴とする請求項１に記載の再生装置。
【請求項１１】
前記ビットマップ形式のデータは、ランレングス圧縮されていることを特徴とする請求項１０に記載の再生装置。
【請求項１２】
前記画像データの読み出し再生時に一致画像検出フラグを取得するフラグ取得手段を有し、
前記制御手段は、前記フラグ取得手段により一致画像検出フラグが検出された場合、前記サムネイル画像を前記表示装置に並べて表示するメニュー画面表示処理、印刷推奨画像であることをユーザに通知する通知処理、出画データの絞込みを行う絞込み処理のうち、何れか１つ、または複数を行うよう制御することを特徴とする請求項１に記載の再生装置。
【請求項１３】
被写体に対応した顔認識情報を取得する顔認識情報取得手段と、
撮影画像データのフォーカス情報を取得するフォーカス情報取得手段と、
前記顔認識情報取得手段により取得された顔認識領域と、前記フォーカス情報取得手段により取得されたフォーカス領域との領域一致検出処理を画像データの記録時に行う領域一致検出手段と、
前記領域一致検出手段が前記顔認識領域とフォーカス領域の領域が一致していることを検出した場合に、一致画像検出フラグを対応する画像データに付帯情報として記録する記録手段とを有することを特徴とする記録装置。
【請求項１４】
画像データを再生して表示装置に表示する再生方法において、
前記画像データの被写体に対応した顔部分が存在する領域を表す顔認識情報を取得する顔認識情報取得工程と、
前記画像データのピントが合っている領域を表すフォーカス情報を取得するフォーカス情報取得工程と、
前記顔認識情報取得工程において取得された顔認識領域と、前記フォーカス情報取得工程において取得されたフォーカス領域との一致を検出する領域一致検出工程と、
前記領域一致検出工程において一致すると判断した画像データを再生画像として前記表示装置に表示するよう制御する制御工程とを有することを特徴とする再生方法。
【請求項１５】
被写体に対応した顔認識情報を取得する顔認識情報取得工程と、
撮影画像データのフォーカス情報を取得するフォーカス情報取得工程と、
前記顔認識情報取得工程において取得された顔認識領域と、前記フォーカス情報取得工程において取得されたフォーカス領域との領域一致検出処理を画像データの記録時に行う領域一致検出工程と、
前記領域一致検出工程において前記顔認識領域とフォーカス領域の領域が一致していることを検出した場合に、一致画像検出フラグを対応する画像データに付帯情報として記録する記録工程とを有することを特徴とする記録方法。
【請求項１６】
画像データを再生して表示装置に表示する工程をコンピュータに実行させるコンピュータプログラムにおいて、
前記画像データの被写体に対応した顔部分が存在する領域を表す顔認識情報を取得する顔認識情報取得工程と、
前記画像データのピントが合っている領域を表すフォーカス情報を取得するフォーカス情報取得工程と、
前記顔認識情報取得工程において取得された顔認識領域と、前記フォーカス情報取得工程において取得されたフォーカス領域との一致を検出する領域一致検出工程と、
前記領域一致検出工程において一致すると判断した画像データを再生画像として前記表示装置に表示するよう制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
被写体に対応した顔認識情報を取得する顔認識情報取得工程と、
撮影画像データのフォーカス情報を取得するフォーカス情報取得工程と、
前記顔認識情報取得工程において取得された顔認識領域と、前記フォーカス情報取得工程において取得されたフォーカス領域との領域一致検出処理を画像データの記録時に行う領域一致検出工程と、
前記領域一致検出工程において前記顔認識領域とフォーカス領域の領域が一致していることを検出した場合に、一致画像検出フラグを対応する画像データに付帯情報として記録する記録工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
請求項１６または１７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は再生装置および記録装置に関し、特に、記録媒体に記録された動画あるいは複数の静止画データ中から、特定のフレーム画像を自動選択する技術に関するものである。
【背景技術】
【０００２】
従来、デジカメやビデオカメラ等の撮像装置で記録した画像データに対して、顔検出処理を行い、検出された顔画像をコンテンツの概要を示すサムネイル代表画像として登録し、表示出力する方法（特許文献１〜４）が開示されている。
【０００３】
特許文献１に示されている方法は、動画像中のフレーム画像から顔認識による顔画像を抽出し、前記顔画像から特徴量を算出する。そして、算出した特徴量に基づいて同一人物判定を行い、最も出現頻度の高いものを代表画像として決定する。
特許文献２に示されている方法は、動画像の所定区間から代表画像候補を決定した後、この代表画像と、予め設定した顔テンプレートとの照合により顔認識を行い、この認識結果に基づいて代表画像を探索して出力する。
特許文献３に示されている方法は、動画中のフレーム画像から人物認識に行い、人物を含む領域を部分画像として抽出する。そして、抽出した部分画像と抽出元のフレーム画像と記録媒体上のアドレス情報とを関連付けて記録する。再生時には前述の部分画像をシーン情報として用いて、動画中の任意シーンを検索する。
特許文献４に示されている方法は、動画像中のフレーム画像から顔領域の有無判定、および予め設定した特定人物画像の顔との類似度を算出する。そして、算出した類似度の判定結果に基づき、特定人物を中心に動画像の再生を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１７４３７８号公報
【特許文献２】特開２００６−３３１２７１号公報
【特許文献３】特開２００４−２９７３０５号公報
【特許文献４】特開２００５−０１８４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１〜４については、いずれも再生時の検索性向上を目的とした、動画中からの顔認識による代表画像抽出方法を提供するものである。しかしながら、特許文献１〜４においては、被写体が動く時の顔認識判定は、被写体ブレが発生したり、またはピントが所望の領域に合っていないような、ピンぼけが発生したりしていても、顔画像であると判定しまうことがある。
【０００６】
特に、コンシューマ向けのデジタルカメラやビデオカメラなどで撮影した場合、静止画、動画に関係なく、前記問題は顕著に発生する。そのため、特許文献１〜４にて提案されている従来技術では、視認性の高い高精細な代表画像が必ずしも得られない問題点があった。特に、コンシューマ向けの撮像装置を用いると、判定処理に必要な処理時間が長くなってしまう問題点、メモリ量を多く消費する問題点、及び視認性の高い高精細な代表画像が得られない問題点があった。
本発明では前述の問題点に鑑み、処理の高速化及びメモリ量の低消費化を可能にし、視認性の高い代表画像を抽出できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の再生装置は、画像データを再生して表示装置に表示する再生装置において、前記画像データの被写体に対応した顔部分が存在する領域を表す顔認識情報を取得する顔認識情報取得手段と、前記画像データのピントが合っている領域を表すフォーカス情報を取得するフォーカス情報取得手段と、前記顔認識情報取得手段により取得された顔認識領域と、前記フォーカス情報取得手段により取得されたフォーカス領域との一致を検出する領域一致検出手段と、前記領域一致検出手段が一致すると判断した画像データを再生画像として前記表示装置に表示するよう制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、処理の高速化及びメモリ量の低消費化を可能になり、記録された多数の画像データから、視認性の高い代表画像のみを抽出することができる。したがって、ユーザが直感的な内容の把握をすることが容易となり、検索性の向上を実現できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の再生装置の概略構成例を示すブロック図である。
【図２】顔画像領域とフォーカス領域が一致する抽出処理を説明する図である。
【図３】顔画像領域とフォーカス領域が一致する抽出処理を説明する図である。
【図４】顔画像領域とフォーカス領域が一致する抽出処理を説明する図である。
【図５】ＬＣＤ上に表示されたインデックス画面の一例を説明する図である。
【図６】外部接続機器を接続したシステム構成を説明する構成図である。
【図７】一致画像が複数個検出された場合の絞込み処理を説明する図である。
【図８】顔画像認識情報を座標情報として生成する処理を説明する図である。
【図９】顔画像認識情報をビットマップ情報として処理する様子を説明する図である。
【図１０】領域が一致する再生画像の抽出処理手順を説明するフローチャートである。
【図１１】複数の顔画像が存在する場合の抽出処理を説明するフローチャートである。
【図１２】複数の顔画像が存在する場合の抽出処理を説明するフローチャートである。
【図１３】顔画像領域とフォーカス領域との一致判定する処理を説明する図である。
【発明を実施するための形態】
【００１０】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
「１．本実施形態のシステム構成例」
図１には、本実施形態による顔認識領域とフォーカス領域の一致画像を検出する手段を具備するビデオカメラシステムを一例にした再生装置の概略構成ブロック図を示した。
以下、本実施形態に係る撮像再生システムの各ブロックの機能について説明する。
【００１１】
光学部１０１は、レンズや光学素子や光学素子の駆動機構を備えている。例えば、レンズ、ＩＲＩＳモータ、ＡＦモータ、フラッシュ（何れも図示せず）を備えており、光学像を結像する。
撮像部１０２は、ＣＣＤやＣＭＯＳなどのイメージセンサ、ＡＧＣ、ＡＤ変換器などを備え、光学部１０１によって結像された光学像を電気信号に変換するととともに、Ａ／Ｄ変換して撮影画像データを生成する。また、光学部１０１および撮像部１０２において、フォーカス制御のために使用した駆動パラメータから、撮像画像データのどこにピントが合っているか、画面内のピントが合っている領域を表しているフォーカス位置情報を生成する。
【００１２】
さらに、前記フォーカス位置情報を、静止画データにおいてはEXIF情報として、動画データにおいては、公知の方法を用いてフォーカス位置情報も含むカメラ情報メタデータとして、後述の符号化処理によって情報圧縮された画像データ中に埋め込む。
【００１３】
顔画像認識部１０３は、入力されたフレーム画像から、顔画像の検出判定を行う。
本実施形態では、撮影記録時に撮影フレーム画像について前述の顔検出判定を行い、顔画像情報を後述する記録方式で画像データ中にメタデータとて保存することを前提としている。ただし、記録媒体からの再生読み出し時に復号画像フレームに対して前述の顔検出判定を行った後に、顔画像情報を作成する手順でもよく、前記顔画像情報を予めメタデータとして持っていない画像データについても本実施形態を適用することが可能である。なお、顔画像検出の判定アルゴリズムは、画面内のエッジ検出、肌色などの特定の色相検出、さらには、顔形状のパターンマッチングなど公知の技術を適用し検出するものとする。
【００１４】
符号化部１０４は、撮像部１０２から入力された画像データに対して、例えば、ＭＰＥＧのようなＤＣＴ変換と動き予測による、空間的な冗長性と時間的な冗長性を削減した動画圧縮を施す。
【００１５】
記録再生部１０５は、符号化部１０４で圧縮された動画データに対して、ＥＣＣなどの誤り訂正パリティ符号を付加し、磁気ディスク１０６あるいは光ディスク１０７などの大容量記録媒体に記録書き込みを行う。また、ＬＣＤパネル等の表示出力部１０９の画面上に現在撮影中のフレームを表示出力する。
【００１６】
続いて、前述した各手段によって、記録媒体に記録された動画データを再生する手順について説明する。
記録再生部１０５は、磁気ディスク１０６あるいは光ディスク１０７などの記録媒体に書き込んだ圧縮動画データを読み出し、記録時に付加したパリティ符号を用いて、誤り訂正を行う。そして、訂正後の動画データを復号化部１０８に出力し、復号化部１０８において入力時と同じ画像データとして復号する。
【００１７】
復号化部１０８にて復号したデータは表示出力部１０９に出力する。また、前述の撮像システムを構成する各ブロックを制御するために、プログラムを内蔵した制御用マイコン１１０が存在し、前記ブロックの処理命令やデータフローのシステムバス１１１を介して行うものとする。
【００１８】
システムバス１１１は、各処理ブロック間でのデータ転送や、制御命令の送受信を行う。
半導体メモリ１１２は、各システムブロックでの処理に必要なデータ蓄積を行う。
また、ユーザからの記録や再生要求あるいは電源の投入、停止などのオペレーションは、外部コントロール１１３経由で、制御用マイコン１１０に通知されるものとし、前記通知内容をトリガーとして制御用マイコン１１０が、システム全体の動作を制御する。
【００１９】
外部入出力インタフェース１１４は、ＵＳＢやＩＥＥＥ１３９４などの有線ケーブル、あるいはBluetooth等の無線ＬＡＮによって接続され、外部機器、またはネットワーク間で、撮像装置内の画像データの送受信を行う。
外部接続機器１１５は、本実施形態の撮像装置と接続され、画像データを表示出力するテレビや、画像データを印刷するプリンタなどの機器である。
以上が、本実施形態の再生装置の基本となるシステム構成である。
【００２０】
「２．顔画像とフォーカス領域の一致画像抽出処理」
続いて、本実施形態による顔画像領域とフォーカス領域の一致する画像フレームを抽出する方法を、図２、図３、図４及び図１０を用いて説明する。
図２は、光ディスク１０７などの記録媒体に記憶された画像データから、各シーンのデータを読み出し、顔画像検出とフォーカス検出を行い、一致する画像だけを抽出した図である。
【００２１】
図２中のように、記録媒体上に記録済みデータとしてCLIP001.MOVとCLIP002.MOVというファイル名で動画データが配置されている時、CLIP002.MOVを読み出し顔画像とフォーカス領域が一致する再生画像を抽出するものとする。
【００２２】
記録媒体から読み出した画像データCLIP002.MOVには、図２中のようにSCN01からSCN05まで５つの代表シーンがあるものとする。この代表シーンは、例えば撮像装置で記録開始時の第１フレーム画像や、数秒間隔自動で無作為に取り出したフレーム画像であってもよいものとする。もちろん、すべてのフレーム画像でもよい。
【００２３】
各代表シーンについて、前述の図１を用いて説明した復号処理を行うと共に、画像データ中にメタデータ形式で記録されているフォーカス領域情報、および後述の方法で作成した顔認識情報の両方を取得する、フォーカス情報取得および顔認識情報取得を行う。本実施形態において、メタデータ内に記述されているフォーカス情報は、撮影した画面内でピントが合っている領域、いわゆる合焦領域を座標値として持っていることが望ましい。またはその合焦領域と同じ意味となる領域情報を導出できるカメラ情報（例えば、焦点距離、画角や被写界深度等）を持っていればよいものとする。
【００２４】
図２中の例では、各領域情報が異なることを図示により説明しやすくする便宜上、代表シーンにおいて検出されたフォーカス領域をエッジ部が太い実線で表現し、顔認識領域は破線で囲まれた四角としてそれぞれ表現している。
【００２５】
本実施形態では前述の各代表シーンについて、この顔検出領域とフォーカス領域が重複する度合いを検出するために、一致面積の比率割合を検出する領域一致度検出処理を行う。そして、検出の結果が予め定めたフォーカス領域の閾値以上の場合に、一致画像であると判定する。
【００２６】
前述の判定方法を数式として表現すると、フォーカス領域の面積がSf[pixel2]、顔認識領域とフォーカス領域の重ね領域の面積がSo[pixel2]とした時、重み付け係数となる閾値が80%とすると、
So [pixel2] ≧ Sf [pixel2]×0.8 ・・・(式１)
となるSoの値を持つ再生画像を、一致画像であると判定する。
【００２７】
図１３には、前述の重なり領域による一致判定方法の具体例を詳細に説明する図を示した。
図１３の（ａ）には、或る一致判定対象の再生画像を図示し、そして（ｂ）には判定対象の再生画像におけるフォーカス領域と顔認識領域の位置情報として、座標値を図示した。
【００２８】
判定対象となる再生画像は、水平方向１９２０ピクセル、垂直ライン数１０８０ラインの画像データであると仮定する。そして、前述の画像データにおけるフォーカス領域と顔認識領域を左上の頂点を原点として、それぞれの領域における左上と右下の対角成分を、再生データ読み込み時に取得するものとする。
【００２９】
各座標値が、As(100, 100)、Ae(500, 500)、Bs(200, 200)、Be(550, 600)となることから、フォーカス領域の面積Sfは、
Sf = (550 - 200) * (600 - 200) = 350 * 400 = 14*104 [pixel2]
図１３の斜線部で示した顔認識領域とフォーカス領域の重なり領域の面積Soは、
So = (500 - 200) * (500 - 200) = 300 * 300 = 9*104 [pixel2]
となる。
【００３０】
続いて、一致判定のための重み付け係数が80％とすると、
9*104 [pixel2] < 14*104 * 0.8 = 11.2*104 [pixel2]
となり、式（１）を満たさない。
よって、図１３の再生画像については一致画像ではないと判定する。
【００３１】
図２中の例においては、前述の判定結果として代表シーン５つのうち、SCN01と、SCN03、SCN05が顔認識とフォーカス領域が一致した画像であると判断されたものである。前述の一致判定のための閾値をどのような値に設定するかによって、抽出する前記一致画像の枚数を柔軟に変更することが可能となり、高精細な代表画像に絞り込むのか、多くの候補画像を選べるようにするのか適応的に選択できる。
【００３２】
また、撮影するシーンによっては、図２のような被写体だけではなく、図３や図４のようなケースも想定される。
図３（ａ）には、パンフォーカス撮影時などに実線で示したフォーカス領域内に、破線で示した複数の顔認識領域が存在する場合の再生画像を例として示した。図３（ａ）の例では、実線で囲んだフォーカスエリア内に、破線で囲んだ顔認識エリアが含まれる形で５つ検出されている。
【００３３】
本発明の目的とするところでは、このような再生画像においても一致画像として判定されることが望ましいが、前述の（式１）による判定処理では一致画像と判定できなくなってしまう。そのため、本実施形態では、このようなケースについても検出漏れをしないために、フォーカス領域中、顔認識領域がすべて内包される場合についても、一致画像であると判定する。
【００３４】
具体的には、フォーカス領域中に顔認識領域がすべて内包されていると判断する方法を用いる。この判断方法は、顔認識領域の座標情報と、フォーカス領域の座標情報から、四つの頂点で囲まれるフォーカス領域の座標内に、同様に顔認識領域の座標値が存在するか否かを算出することによって判断する。
【００３５】
図３（ｂ）には、図３（ａ）に対応したフォーカス領域と顔認識領域を座標値として表現したものを示した。座標値には、矩形エリアの左上の頂点を始点、右下の頂点を終点とした。例えば、水平解像度１２８０ピクセル、垂直ライン数９６０ラインの再生画像について、左上の頂点をゼロ点としてマッピングした場合、図３（ｂ）の凡例に示すような値をもつことが分かったと仮定する。
【００３６】
図３（ｂ）より、前述の再生画像のフォーカス領域はFocusStart(10,10)からFocusEnd(1270, 950)が対角線として結ばれる矩形エリアに相当する。
同様に、顔認識エリアについては、検出された人数分、それぞれFace1Start(20, 10)からFace1End(300, 310)まで。Face2Start(320, 20)からFace2End(620, 320)まで。Face3Start(700, 30)からFace3End(1100, 400)まで。Face4Start(200, 310)からFace4End(350, 460)まで。Face5Start(600, 300)からFace5End(760, 460)までの対角線で結ばれる矩形エリアとして表現する。
【００３７】
前述の顔認識エリアの各座標の水平方向成分、および垂直方向成分の値が、フォーカス領域の始点FocusStart、とフォーカス領域の終点FocusEndの座標値以内に入っているかを判定する。
すなわち、或る顔認識領域の始点または終点座標値をFaceX(a, b)とした時、次式（２）および（３）を、顔認識領域の始点と終点とが共に満たしていれば、フォーカス領域内に顔検出領域が含まれていると判断される。
【００３８】
FocusStartの水平方向成分値 ≦ a ≦ FocusEndの水平方向成分値 ・・・ (式２)
FocusStartの垂直方向成分値 ≦ b ≦ FocusEndの垂直方向成分値 ・・・ (式３)
前述の例では、５人分の顔検出エリアがあるので、上式を５人分の顔認識領域の座標Face1StartからFace5Endまで、すべて比較してフォーカスエリア内に顔検出領域が内包されているか判断する必要がある。
【００３９】
前述した式による判定結果としては、
水平方向  10 ≦ 20/300/320/620/700/1100/200/350/600/760 ≦ 1270
垂直方向  10 ≦ 10/310/20/320/30/400/310/460/300/460 ≦ 950
となるため、一致画像として判定される。
【００４０】
一方、図４のケースでは、被写界深度が浅く、人物などをアップで撮影した場合に、顔の一部だけ（図４中では鼻の部分だけ）にフォーカスが合焦をしている。
このように顔認識領域にフォーカス領域が含まれる場合、（式１）の判定結果としては一致画像となるが、フォーカス領域の大きさやフォーカス位置によっては識別不可能なボケ画像を抽出してしまう可能性がある。
【００４１】
しかしながら、ソフトフォーカスなど撮影効果としての画像データもある。このため、実際にはユーザによる設定あるいは、レンズ性能などを考慮した上で、（式１）による顔認識領域とフォーカス領域の一致画像データ検出処理の前処理を行う。例えば、再生画像を占めるフォーカス領域の最小面積を予め導出し、適用可能か否かを判断する。これにより、アップで人物を撮影した場合に発生する検出漏れを防止することが可能となる。
【００４２】
図１０には、前述の一致画像抽出処理をフローチャートとして表現した。
Ｓ１０１では対象となる動画データの最終フレームまで抽出処理が完了したかを判断する。この判断の結果、完了している場合には、一致画像の抽出処理を終了する。
【００４３】
一方、Ｓ１０１の判断の結果、一致画像検索対象のフレーム画像がまだ残っている場合には、Ｓ１０２に進み、図１で説明した記録媒体からのデータ読み込みを行い、圧縮画像データの復号処理を行う。続いて、Ｓ１０３に進み、画像データ中のメタデータまたは管理情報ファイルからの検索対象となる画像データのフォーカス領域情報を取得する。次に、Ｓ１０４に進み、画像データから顔画像認識部１０３による顔認識領域情報を取得する。
【００４４】
次に、Ｓ１０５において、前述のＳ１０３とＳ１０４のステップより取得した二つの領域情報を元に、フォーカスエリアと顔認識エリアの一致度を、前述の式（１）に基づく判定処理として導出する。
【００４５】
次に、Ｓ１０６のステップでは、Ｓ１０５における判定結果が、予め定めた閾値以上であるか否かの一致判断を行う。この判断の結果、閾値以上である場合は、一致画像として判断し、Ｓ１０７に進んで再生画像を表示出力する。一方、Ｓ１０６の判断の結果、閾値より小さい場合は、次の画像フレームの抽出処理を続けて行う。
以上が、フォーカス領域と顔認識領域の一致画像抽出処理のフローである。
【００４６】
「３．本発明を応用した実施形態」
続いて、本発明による顔画像とフォーカス領域の一致画像フレーム抽出処理を応用した実施形態について、図５および図６を用いて説明する。
図５には、本実施形態によって動画の記録再生を行ったディスクカムコーダの外観と、ディスクカムコーダのLCD上に表示されたインデックス画面の実施形態を示した。
図５に示すように、前述の抽出した一致画像の画像データを縮小したサムネイル画像を複数枚並べたメニュー画面を構成して出力することによって、記録媒体内のコンテンツの概要を視覚的に表す、サムネイルインデックスとして表示出力することが可能となる。これにより、検出された一致画像すべてをメモリ上に展開して保持する必要がなく、さらに、一画面上で複数の画像データを効率よく閲覧することできる。
【００４７】
図５中の例では、THM001からTHM007まで７枚のサムネイル画像を表示しているが、一つの画面上には９枚まで表示可能としている。なお、９枚を超えるサムネイル画像がある場合には、送りボタン等によってジャンプが可能な、別のサムネイルインデックス画面を複数ページに渡って作成してもよい。ただし、一画面上の最大表示可能サムネイル数は、ユーザの視認性を妨げない解像度、および表示装置の大きさ、さらにはメモリ内に保持できるサムネイル画像データ容量などの観点から決定すればよく、特に９枚と限定するものではない。
【００４８】
さらに、ユーザはこのサムネイルメニューから所望のサムネイル画像を選択するだけで、そのサムネイル画像に対応する動画コンテンツを、待ち時間を発生することなく、高速な頭だし再生ができる。なお、抽出した一致画像を縮小処理する方法は、バイキュービック法など公知技術を用いたものでよい。
【００４９】
前述のランダムアクセスを可能とするため、サムネイル画像生成と同時に、各サムネイル画像と、縮小元になった一致画像が存在する動画データ上の記録位置とを関連付けて保持する。例えば、記録媒体上のファイル名と、一致画像を検出した時間位置を図５中のテーブル形式で、システムメモリの論理アドレスに関連付けて保持する。
【００５０】
図５の場合には、既にclip001.mov、clip002.mov、clip003.movと三つの動画ファイルが記録されている。それぞれの動画ファイルに検出されたフォーカス領域と顔認識領域の一致画像のサムネイル画像名THM001からTHM007までが、記録時間と共に関連付けられる。この一致画像サムネイルと記録位置を対応付けたランダムアクセステーブルを作成することにより、ユーザは所望のサムネイル画像を選択することによって、対応した動画ファイルの対応する記録時間を参照し、所望の位置からの再生を実現できる。
【００５１】
図６には、ビデオカメラなど撮像装置を図１の外部インタフェースを経由してプリンタなどに接続し、一致画像をビデオプリントモードにおける推奨画像としてプリンタのＧＵＩ上に表示出力する実施形態を示した。なお、プリンタに光ディスク用のディスクドライブが搭載されている場合には、光ディスクを撮像装置から取り出し、ドライブに装填することで同様の機能を実現できるものとする。
【００５２】
図６では、図５を用いて説明した実施形態と同様に、本実施形態によるフォーカス画像と顔認識領域の一致画像をプリンタ本体の再生機能として取得する。そして、縮小処理したサムネイル画像をLCDなど表示デバイスによる操作画面あるいは表示画面に並べて出力し、印刷推奨画像としてユーザに通知する。本実施形態においては、操作画面には、サムネイル画像の他にプリント部数、プリントサイズ、印刷実行、そして印刷候補画像の送りボタン等を配置したプリント設定用のユーザインタフェースをもつウィンドウ画面を合わせて出力する。これにより、印刷に適したフレーム画像をユーザが検索する手間が省略できる。
【００５３】
ユーザは、操作ウィンドウをプリンタ本体に具備されるボタンキー、タッチパネル、ジョグダイヤルなどの入力手段によって操作することで、対応する一致画像のサムネイル画像を表示出力による候補選択、または一致画像の印刷出力を行う。図６中のプリント選択画面の例では、印刷候補としてPRNT001からPRNT003の三つの一致画像のサムネイル画像が印刷候補として出力されている。
【００５４】
このプリント選択画面では、現在選択中のサムネイル画像PRNT002には、画面の縁取りが太くなっており、ユーザがどの画像を選択中なのかを直感的に理解できるようにしてあるが、特に選択中の画像をどのように強調表示するかは限定しない。
また、左右に前候補PRNT001と後候補PRNT003を並べて表示することで、構図が似たような一致画像が複数検出された際、どちらを印刷したいかユーザが容易に比較できるようにしている。
また、図５、図６中のように、図２の一致画像検出で検出された一致画像の、フォーカス領域および顔認識領域情報を、対応するサムネイル画像にＯＳＤ（On Screen Display）描画することによって、小さな表示画面上でユーザが識別可能とする。あるいは再生機能としてフォーカス情報と顔認識情報の表示モードをオプションとして設けてもよいものとする。これにより、解像度の低い小さな画面でも、ユーザはどこに顔画像が存在するか、そしてフォーカスがどこに合焦をしているかを直感的に理解することができる。したがって、ユーザ操作の失敗、またはやり直し操作を未然に防止することが可能となる。
【００５５】
このように、フォーカス領域と顔検出領域をＯＳＤ機能として出画することで、小さな画面であるサムネイル画像だけでは、どちらから頭だし再生させたいのか、あるいは印刷したいのかを判別しづらいケースでも、ユーザの判断が容易となる。
【００５６】
図５の例の場合では、THM001のフォーカスされている人物のシーンから再生したいのか、THM002あるいはTHM003上でフォーカスされている人物のシーンから再生したいのかは、一致画像だけからはユーザは直感的に判断しづらいことが考えられる。
そこで本実施形態においては、サムネイル画像とサムネイル画像に対応したフォーカス領域と顔認識領域を重ね合わせて描画することで、さらに検索性向上の補助機能を担っている。この効果は、図６の実施形態についても同様に得られる。
【００５７】
なお、本実施形態に図示した例のように、フォーカス領域をエッジ強調によって表示する方法としては、種々の方法で実現することができる。例えば、フォーカス領域内の画像データについて、微分法、ラプラシアン法、Sobelフィルタ、あるいはCannyフィルタなど公知技術を用いてエッジ検出を行った画像を出力することで実現できる。
【００５８】
「４．複数の一致画像が存在する場合の絞込み処理」
続いて、本実施形態による顔画像とフォーカス領域の一致画像フレームが所定再生区間内に複数個検出された場合の絞り込み処理について、図７と図１１、図１２を用いて説明する。
前述の顔画像認識とフォーカス領域の一致画像検出を動画データに対して行うと、静止しているような絵柄の場合に、連続して一致画像が検出されることが考えられる。
また、MPEGやH.264など、動き予測とＤＣＴ（離散コサイン変換）を用いて情報圧縮を行った動画データにおいては、フレーム間予測を行って動画像データ中のピクチャを符号化したＰピクチャやＢピクチャよりも、Ｉピクチャと呼ばれる画面内符号化を行ったフレーム画像が最も高精細で、視認性が高いことが知られている。そこで、動画像データ中のピクチャを符号化した方式を判定する、符号化方式判定処理を行う。
【００５９】
本実施形態では前述の性質を利用し、図７に示した一致画像を検出するための所定の再生区間を設け、この再生区間内で一致画像が複数個検出された場合、優先的にＩピクチャを一致画像として選択するものとする。なお、代表画像の検出再生区間は、特に指定はしないが１ＧＯＰ（ＮＴＳＣ映像信号で１５フレーム期間、ＰＡＬ映像信号で１２フレーム期間）程度に設定されることが望ましい。
【００６０】
図７の例では、代表シーンの検出区間に８枚の再生画像が存在したとする。続いて、その再生画像中、本実施形態による顔認識領域とフォーカス領域とが一致するフレーム画像として、候補１から３までの３フレームが検出される。
【００６１】
前述の「２．顔画像とフォーカス領域の一致画像抽出処理」および図１０のフローチャートでは、この段階ですべての再生画像を表示出力する。それに対して、本方式ではさらに、表示出力画像絞込みの絞込み処理として、フレーム内符号化画像検出処理と、順方向予測符号化画像検出処理と、イントラマクロブロック数判定処理とを行う。そして、符号化画像データ中のIピクチャを第一優先として表示出力する。また、Iピクチャが見つからない場合は、Pピクチャを第二優先とし、IピクチャもPピクチャも候補画像中に検出することができなかった場合には、候補画像の中で、再生画像中最もイントラマクロブロックの発現数が多いフレームを表示出力するものとする。
【００６２】
例えば、標準解像度（７２０ピクセル×４８０ライン）の画像フレームの場合、ＭＰＥＧ−２で符号化すると、１マクロブロックは１６ピクセルｘ１６ラインのラスタ画像に相当するため１画面内に１３５０個のマクロブロックが配置されることになる。そして、各マクロブロックが、符号化モード（イントラ、インター、スキップ）を持つ。このことから、１３５０個中の半分以上、６７５個のマクロブロックがイントラ符号化されていることを閾値として設定することによって、前述の出画画像の絞込みを行う。このようにすることにより、静止した被写体を撮影した場合など、内容の類似した一致画像を連続して何枚も表示してしまい、逆にユーザに対して検索性の低下を招いてしまう不都合を回避することが可能となる。
【００６３】
図７においては、三つの候補画像中、候補２の再生画像がIピクチャで符号化されていることから、候補２の再生画像が一致画像として表示出力される。
前述の圧縮画像の復号結果パラメータは、図１の復号化部１０８のステータスレジスタに格納される。そして、制御用マイコン１１０に内蔵のプログラムが前述のレジスタを読むことによって絞り込み判定処理を行うことが高速化の観点からも望ましい。このようにすることにより、複数枚検出した前記一致画像の中で、最も高画質な画像データだけをユーザに提供することができる。
【００６４】
図１１と図１２に、前述の本方式による一致画像絞込み処理のフローチャートを示す。
図１１のＳ１０１〜Ｓ１０６までの処理手順は、図１０を用いて説明した一致画像の抽出処理の手順と基本的に同様の処理であるので、図１０と同じ符号を付して説明を省略する。
Ｓ１１７においては、選択画像の絞込み処理を行う。次に、ステップＳ１１８に進み、再生画像を外部接続機器１１５に表示出力する。
【００６５】
次に、図１１のＳ１１７において行われる選択画像の絞込み処理の一例について、図１２のフローチャートを用いて説明する。
本実施形態の絞込み処理では、先ず、Ｓ１２１において、前段の一致画像抽出で抽出された画像データ、画像情報を、絞込み処理が完了するまで一時的にメモリ内に保持する。続いて、メモリ内に絞込みのための再生区間分の一致画像が蓄積された後、絞込み処理を行うが、このとき再生区間内に複数の一致画像が連続して存在したか否かを判断する（Ｓ１２２）。
【００６６】
Ｓ１２２の判断の結果、所定区間内に一致画像が存在しなかった場合、すなわち、一致画像がひとつしかなかった場合には、そのフレーム画像を一致画像として絞込み処理を完了し、表示出力する（図１１のＳ１１８）。
【００６７】
一方、Ｓ１２２の判断の結果、複数の一致画像が存在した場合にはＳ１２３に進み、一致画像をすべて検索したか判断する。この判断処理を行うことにより、表示画像の絞り込みが完了するまでメモリ内に蓄積した画像フレーム情報を検索することになる。Ｓ１２３の判断の結果、すべて検索した場合にはＳ１３０に進み、出力画像以外のフレーム情報を破棄する。一方、Ｓ１２３の判断の結果、すべて検索していない場合にはＳ１２４に進む。
【００６８】
Ｓ１２４においては、検索中の画像フレーム情報が、Ｉピクチャで符号化された画像データがあるか検出する。この検出の結果、Ｉピクチャで符号化された画像データを検出した場合は、Ｓ１２５に進み、その時点で、Ｉピクチャの再生画像を出画画像として判定する。その後、Ｓ１３０に進み、それ以外の画像フレーム情報を破棄し、その後、再生画像絞込み処理を完了する。
【００６９】
Ｓ１２４の検出処理でＩピクチャを検出できなかった場合にはＳ１２６に進み、Ｐピクチャで符号化された画像データを検出する。この検出の結果、Ｐピクチャで符号化された画像データが存在する場合はＳ１２７に進み、その時点で、そのＰピクチャの再生画像を出画画像として判定する。その後、Ｓ１３０に進み、それ以外の画像フレーム情報を破棄した後、絞込み処理を完了する。
【００７０】
Ｓ１２６の検出の結果、Ｐピクチャを検出できなかった場合にはＳ１２８に進み、符号化ピクチャ（通常は双方向予測符号化を行ったＢピクチャ）中のイントラマクロブロックの個数が予め定めた閾値以上であるかを判定する（Ｓ１２８）。この判定の結果、閾値以上の場合はＳ１２９に進み、その時点で、そのピクチャの再生画像を出画画像として判定する。その後、Ｓ１３０に進み、それ以外の画像フレーム情報を破棄した後、絞込み処理を完了する。
【００７１】
一方、Ｓ１２８の判定の結果、予め定めた閾値より小さい場合は、Ｓ１２３に戻って次の画像フレーム情報を検索する（Ｓ１２３）。
以上が、フォーカス領域と顔認識領域の一致画像絞込み処理の一例を示すフローである。
【００７２】
「５．顔認識情報の生成処理」
続いて、本実施形態による顔画像認識情報の生成処理について、図８および図９を用いて説明する。
本実施形態においては、顔認識領域とフォーカス領域の一致画像検出処理を、画像データの記録時に行うか、再生読み出し時に行うかについて特に限定していない。しかしながら、再生読み出し時に、図１の顔画像認識部１０３において顔認識処理を行った場合、再生画像を一度バッファしてから表示出力するまでのメモリ使用効率と処理時間の観点から、記録時に顔認識情報を画像データ中にメタデータとして持つことが望ましい。
【００７３】
本実施形態では、顔認識情報の記録方式として、図８に示す、座標形式データによる領域情報の表現方式、および図９に示す、ビットマップ形式データによる領域情報の表現方式の二つを提案する。
第１に、座標による顔認識領域情報の作成方法は、図８中のように、顔認識が二人分、二つの矩形領域で検出された場合、それぞれの矩形について対角の２点の座標（点ＡとＢ，点ＣとＤ）を得る。そして、それぞれの水平方向、垂直方向の成分を検出された人数分セットで座標情報として画像データ中に記録する。
【００７４】
図８の例では（ｘａ、ｙａ）と （ｘｂ、ｙｂ）、（ｘｃ、ｙｃ）と（ｘｄ、ｙｄ）の二組を記録する。これらの顔認識座標情報をメタデータとして画像データ中に記録時間毎に記録する。記録間隔は、例えば図中の圧縮映像データや音声データがアクセスユニット単位で時分割多重されているような場合、ピクチャ（フレーム）単位、ＧＯＰ単位、あるいはユーザ指定の時間間隔のどれでもよいものとする。
【００７５】
メタデータの記録領域として、ＭＰＥＧ−２システム規格で規定されているプライベートストリームパケットデータ、あるいはＭＰＥＧ−２ビデオ規格で規定されるＧＯＰヘッダー、またはピクチャヘッダー中のユーザデータ領域に格納する方法など考えられる。また、同様の方法で図９に示した顔認識情報をビットマップ形式データに変換し、画像データ内に付帯情報として記録する方法も考えられる。
【００７６】
再生画像の画面内について、顔部分を１、そうでない部分を０としてビットマップを作成し、顔認識領域をビットマップとして表現する。このように、ビットマップとして表現することで、座標情報に比べて保持する情報量は多くなるものの、矩形以外の、人物の顔にフィットした自由な形状を表現できるため、人物の顔領域を検出する際一致画像抽出時の精度が向上する。また、顔認識領域とフォーカス領域の一致画像抽出処理においてもビット値１となるビット数を計数すればよく、計算しやすい利点がある。これにより、再生時に前記顔画像領域データを取得するだけでよく、再生装置において多量の画像データに対してメモリアクセスを行う可能性のある顔検出処理を行う必要がなくなり高速化を実現することができる。
【００７７】
認識情報の記録間隔が短い場合、ビットマップをそのまま記録すると、画像データ中に埋め込むオーバヘッドが多くなる。そこで、このビットマップデータをゼロランによるランレングス圧縮を施したデータを記録してもよい。このようにすると、画像データ全体を占める顔画像認識データ量を削減することができ、そのデータ量分だけ、画像データ自体に多くの情報を付与することが可能となる。したがって、情報圧縮による情報欠落が少ない、より高画質な画像データをユーザに提供することができる。
【００７８】
さらには、本実施形態においては図示しないが、撮影記録時において、顔認識領域とフォーカス領域の領域一致検出処理を行い、一致画像と判定した再生画像であると識別可能な、フラグ情報などの識別子だけを画像データにメタデータとして記録してもよい。このようにすると、このフラグ情報だけ判断して一致画像を表示出力すればよく、さらなるコンテンツの検索性向上が期待できる。
【００７９】
なお、顔認識情報の生成は、必ずしも記録撮影時に行わなくてもよい。すなわち、顔認識情報が画像データの再生読み出し時になかった場合には、復号伸張した画像データより顔画像検出処理を行い、一致画像検出のフラグ取得を行うようにしてもよい。そして、一致画像検出フラグが検出された場合には、メニュー画面表示処理、印刷推奨画像であることをユーザに通知する通知処理、出画データの絞込みを行う絞込み処理のうち、何れか１つ、または複数を行うようにする。
【００８０】
また、本発明の実施形態として顔認識情報は画像データ中にメタデータとして記録されていることが、記録媒体へのアクセス効率の観点から望ましいが、画像データとは独立した画像データの属性を記述した管理ファイルデータとして持ってもよい。
【００８１】
なお、再生装置の制御は１つの制御用マイコン１１０ハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、再生装置全体の制御を行ってもよい。また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、前述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００８２】
また、前述した実施形態においては、本発明をビデオカメラに適用した場合を例にして説明したが、これに限らず、動画像を再生可能な装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、デジタルフォトフレーム、ゲーム機、音楽プレーヤーなどの動画再生可能な機器に適用可能である。
【００８３】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）をネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及びそのプログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００８４】
１０１  光学部、１０２  撮像部、１０３  顔画像認識部、１０４  符号化部、１０５  記録再生部、１０６  磁気ディスク、１０７  光ディスク、１０８  復号化部、１０９  表示出力部、１１０  制御用マイコン、１１１  システムバス、１１２  半導体メモリ、１１３  外部コントロール、１１４  外部入出力インタフェース、１１５  外部接続機器
【図１】
2012015742.tif 000003
【図２】
2012015742.tif 000004
【図３】
2012015742.tif 000005
【図４】
2012015742.tif 000006
【図５】
2012015742.tif 000007
【図６】
2012015742.tif 000008
【図７】
2012015742.tif 000009
【図８】
2012015742.tif 000010
【図９】
2012015742.tif 000011
【図１０】
2012015742.tif 000012
【図１１】
2012015742.tif 000013
【図１２】
2012015742.tif 000014
【図１３】
2012015742.tif 000015