(57)【要約】【課題】ユーザの希望する動画像データを容易に検索することができる電子機器を実現する。【解決手段】顔データベース１１１Ａは、複数の参照用顔画像とこれら複数の参照用顔画像にそれぞれ対応する複数の人物名とを格納する。ビデオプロセッサ１１３は、処理対象の動画像データから複数の顔画像を抽出する。マッチング処理部２０１は、抽出された複数の顔画像の各々を複数の参照用顔画像それぞれと比較し、処理対象の動画像データ内に出現する参照用顔画像を特定する。関連付け部２０２は、特定された参照用顔画像に対応する人物名を、処理対象の動画像データに対して検索用インデックス情報として関連付ける。動画像データ検索部２０３は、複数の動画像データの中から、ユーザによって入力された人物名が関連付けられた動画像データを検索する。【選択図】図２
2009181216.tif 000002
【特許請求の範囲】
【請求項１】
複数の参照用顔画像と前記複数の参照用顔画像にそれぞれ対応する複数の人物名とを格納する記憶手段と、
処理対象の動画像データから複数の顔画像を抽出する顔画像抽出手段と、
前記処理対象の動画像データから抽出された複数の顔画像の各々を前記複数の参照用顔画像それぞれと比較するマッチング処理を実行して、前記処理対象の動画像データ内に出現する参照用顔画像を特定するマッチング処理手段と、
前記マッチング処理の結果に基づいて、前記特定された参照用顔画像に対応する人物名を、前記処理対象の動画像データに対して検索用インデックス情報として関連付ける関連付け手段と、
ユーザによって入力された人物名と、検索対象の複数の動画像データそれぞれの検索用インデックス情報とに基づいて、前記複数の動画像データの中から、前記入力された人物名が関連付けられた動画像データを検索する動画像データ検索手段とを具備することを特徴とする電子機器。
【請求項２】
前記顔画像抽出手段は、前記処理対象の動画像データに含まれる複数のシーンから複数の顔画像をそれぞれ抽出し、
前記マッチング処理手段は、前記複数のシーンそれぞれから抽出された複数の顔画像の各々を前記複数の参照用顔画像と比較することによって、前記シーン毎に当該シーンに出現する参照用顔画像を特定し、
前記関連付け手段は、前記各シーンに対して、当該シーン内に出現する参照用顔画像に対応する人物名をインデックス情報として関連付け、
前記動画像データ検索手段は、前記入力された人物名と、前記検索対象の複数の動画像データそれぞれの検索用インデックス情報とに基づいて、前記検索対象の各動画像データから、前記入力された人物名が関連付けられたシーンを検索するように構成されていることを特徴とする請求項１記載の電子機器。
【請求項３】
前記動画像データ検索手段による検索の結果に基づき、前記入力された人物名が関連付けられた動画像データ毎に、前記入力された人物名が関連付けられたシーンの一覧を表示画面上に表示する表示処理手段と、
前記表示画面上のシーンの一覧の中から一つのシーンがユーザによって再生対象として選択された場合、前記選択されたシーンを含む動画像データを、前記選択されたシーンから再生する再生処理手段とをさらに具備することを特徴とする請求項２記載の電子機器。
【請求項４】
前記動画像データ検索手段による検索の結果に基づき、前記検索された動画像データそれぞれを識別する識別子を含むプレイリスト情報を作成するプレイリスト作成手段と、
再生要求イベントの入力に応答して、前記プレイリスト情報内に含まれる識別子によって指定される動画像データそれぞれを順次再生する再生手段とをさらに具備することを特徴とする請求項１記載の電子機器。
【請求項５】
複数の参照用顔画像と前記複数の参照用顔画像にそれぞれ対応する複数の人物名とを格納する記憶手段と、
処理対象の動画像データに含まれる複数のシーンから複数の顔画像をそれぞれ抽出する顔画像抽出手段と、
前記複数のシーンそれぞれから抽出された複数の顔画像の各々を前記複数の参照用顔画像と比較するマッチング処理を実行して、前記シーン毎に当該シーンに出現する参照用顔画像を特定するマッチング処理手段と、
前記マッチング処理の結果に基づいて、前記処理対象の動画像データを検索するための検索用インデックス情報であって、前記シーン毎に当該シーンに出現する参照用顔画像に対応する人物名を示す検索用インデックス情報を生成する検索用インデックス情報生成手段と、
ユーザによって入力された人物名と、前記検索用インデックス情報生成手段によって生成された、検索対象の複数の動画像データそれぞれに対応する検索用インデックス情報とに基づいて、前記検索対象の動画像データ毎に、前記入力された人物名に対応する顔画像が出現するシーンを検索する動画像データ検索手段と、
前記動画像データ検索手段による検索の結果に基づき、前記入力された人物名が関連付けられた動画像データ毎に、前記入力された人物名に対応する顔画像が出現するシーンの一覧を表示画面上に表示する表示処理手段とを具備することを特徴とする電子機器。
【請求項６】
前記表示画面上のシーンの一覧の中からユーザによって選択されたシーンそれぞれを指定する識別子を含むプレイリスト情報を作成するプレイリスト作成手段と、
再生要求イベントの入力に応答して、前記プレイリスト情報内に含まれる識別子によって指定されるシーンそれぞれを順次再生する再生手段とをさらに具備することを特徴とする請求項５記載の電子機器。
【請求項７】
複数の参照用顔画像と前記複数の参照用顔画像にそれぞれ対応する複数の人物名とを格納するデータベースを使用することによって、任意の人物が登場する動画像データを検索する画像処理方法であって、
処理対象の動画像データから複数の顔画像を抽出する顔画像抽出ステップと、
前記処理対象の動画像データから抽出された複数の顔画像の各々を、前記デーベース内に前記複数の参照用顔画像それぞれと比較するマッチング処理を実行して、前記処理対象の動画像データ内に出現する参照用顔画像を特定するマッチングステップと、
前記マッチング処理の結果に基づいて、前記特定された参照用顔画像に対応する人物名を、前記処理対象の動画像データに対して検索用インデックス情報として関連付ける関連付けステップと、
ユーザによって入力された人物名と、検索対象の複数の動画像データそれぞれの検索用インデックス情報とに基づいて、前記複数の動画像データの中から、前記入力された人物名が関連付けられた動画像データを検索する動画像データ検索ステップとを具備することを特徴とする画像処理方法。
【請求項８】
前記顔画像抽出ステップは、前記処理対象の動画像データに含まれる複数のシーンから複数の顔画像をそれぞれ抽出し、
前記マッチングステップは、前記複数のシーンそれぞれから抽出された複数の顔画像の各々を前記複数の参照用顔画像と比較することによって、前記シーン毎に当該シーンに出現する参照用顔画像を特定し、
前記関連付けステップは、前記各シーンに対して、当該シーン内に出現する参照用顔画像に対応する人物名をインデックス情報として関連付け、
前記動画像データ検索ステップは、前記入力された人物名と、前記検索対象の複数の動画像データそれぞれの検索用インデックス情報とに基づいて、前記検索対象の各動画像データから、前記入力された人物名が関連付けられたシーンを検索することを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記検索の結果に基づき、前記入力された人物名が関連付けられた動画像データ毎に、前記入力された人物名が関連付けられたシーンの一覧を表示画面上に表示する表示処理ステップと、
前記表示画面上のシーンの一覧の中から一つのシーンがユーザによって再生対象として選択された場合、前記選択されたシーンを含む動画像データを、前記選択されたシーンから再生する再生処理ステップとをさらに具備することを特徴とする請求項８記載の画像処理方法。
【請求項１０】
前記検索の結果に基づき、前記検索された動画像データそれぞれを識別する識別子を含むプレイリスト情報を作成するプレイリスト作成ステップと、
再生要求イベントの入力に応答して、前記プレイリスト情報内に含まれる識別子によって指定される動画像データそれぞれを順次再生する再生ステップとをさらに具備することを特徴とする請求項７記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像データを検索する電子機器および画像処理方法に関する。
【背景技術】
【０００２】
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種動画像データを記録および再生することが可能である。この場合、電子機器に格納された各動画像データにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各動画像データがどのような内容のものであるかを把握することは困難である。このため、動画像データの内容を把握するためには、その動画像データを再生することが必要となる。しかし、総時間長の長い動画像データの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。
【０００３】
したがって、ユーザが、電子機器に記録された動画像データ群から、そのユーザの希望する動画像データを見つけ出すのには比較的多くの時間を要する。
【０００４】
また、最近では、様々な画像照合システムが開発され始めている。一般的には、画像照合システムは、２つの画像間の類似度を算出する。
【０００５】
特許文献１には、画像照合システムを応用した監視システムが開示されている。
【０００６】
この監視システムは、カメラによって撮影された入店者の顔画像を、予め準備された不正者の顔画像と照合する。そして、カメラによって撮影された入店者の顔画像が不正者の顔画像に一致した場合には、監視システムは、不正者が入店したことを報知する。
【特許文献１】特開２００６−２５５０２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上記特許文献１のシステムでは、動画像データ群から、ユーザの希望する動画像データを検索することについては何等考慮されていない。最近の電子機器は大容量ストレージを有しており、多数の動画像データを格納することが出来る。これら格納された多数の動画像データそれぞれの利用価値を高めるためには、多数の動画像データの中から、ユーザの希望する動画像データを容易に検索するための仕組みが必要である。
【０００８】
本発明は上述の事情を考慮してなされたものであり、ユーザの希望する動画像データを容易に検索することができる電子機器および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、複数の参照用顔画像と前記複数の参照用顔画像にそれぞれ対応する複数の人物名とを格納する記憶手段と、処理対象の動画像データから複数の顔画像を抽出する顔画像抽出手段と、前記処理対象の動画像データから抽出された複数の顔画像の各々を前記複数の参照用顔画像それぞれと比較するマッチング処理を実行して、前記処理対象の動画像データ内に出現する参照用顔画像を特定するマッチング処理手段と、前記マッチング処理の結果に基づいて、前記特定された参照用顔画像に対応する人物名を、前記処理対象の動画像データに対して検索用インデックス情報として関連付ける関連付け手段と、ユーザによって入力された人物名と、検索対象の複数の動画像データそれぞれの検索用インデックス情報とに基づいて、前記複数の動画像データの中から、前記入力された人物名が関連付けられた動画像データを検索する動画像データ検索手段とを具備することを特徴とする電子機器が提供される。
【００１０】
また本発明の別の態様によれば、複数の参照用顔画像と前記複数の参照用顔画像にそれぞれ対応する複数の人物名とを格納する記憶手段と、処理対象の動画像データに含まれる複数のシーンから複数の顔画像をそれぞれ抽出する顔画像抽出手段と、前記複数のシーンそれぞれから抽出された複数の顔画像の各々を前記複数の参照用顔画像と比較するマッチング処理を実行して、前記シーン毎に当該シーンに出現する参照用顔画像を特定するマッチング処理手段と、前記マッチング処理の結果に基づいて、前記処理対象の動画像データを検索するための検索用インデックス情報であって、前記シーン毎に当該シーンに出現する参照用顔画像に対応する人物名を示す検索用インデックス情報を生成する検索用インデックス情報生成手段と、ユーザによって入力された人物名と、前記検索用インデックス情報生成手段によって生成された、検索対象の複数の動画像データそれぞれに対応する検索用インデックス情報とに基づいて、前記検索対象の動画像データ毎に、前記入力された人物名に対応する顔画像が出現するシーンを検索する動画像データ検索手段と、前記動画像データ検索手段による検索の結果に基づき、前記入力された人物名が関連付けられた動画像データ毎に、前記入力された人物名に対応する顔画像が出現するシーンの一覧を表示画面上に表示する表示処理手段とを具備することを特徴とする電子機器が提供される。
【００１１】
本発明のさらに別の態様によれば、複数の参照用顔画像と前記複数の参照用顔画像にそれぞれ対応する複数の人物名とを格納するデータベースを使用することによって、任意の人物が登場する動画像データを検索する画像処理方法であって、処理対象の動画像データから複数の顔画像を抽出する顔画像抽出ステップと、前記処理対象の動画像データから抽出された複数の顔画像の各々を、前記デーベース内に前記複数の参照用顔画像それぞれと比較するマッチング処理を実行して、前記処理対象の動画像データ内に出現する参照用顔画像を特定するマッチングステップと、前記マッチング処理の結果に基づいて、前記特定された参照用顔画像に対応する人物名を、前記処理対象の動画像データに対して検索用インデックス情報として関連付ける関連付けステップと、ユーザによって入力された人物名と、検索対象の複数の動画像データそれぞれの検索用インデックス情報とに基づいて、前記複数の動画像データの中から、前記入力された人物名が関連付けられた動画像データを検索する動画像データ検索ステップとを具備することを特徴とする画像処理方法が提供される。
【発明の効果】
【００１２】
本発明によれば、ユーザの希望する動画像データを容易に検索することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の実施形態を説明する。  
まず、図１を参照して、本発明の一実施形態に係る電子機器のシステム構成を説明する。本実施形態の電子機器は、動画像データの記録および再生が可能な装置であり、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータから実現されている。
【００１４】
このコンピュータは、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録および再生することができる。即ち、このコンピュータは、テレビジョン放送信号によって放送される放送番組データ、外部のＡＶ機器から入力されるビデオデータといった、動画像データを扱うビデオ処理機能を有している。このビデオ処理機能は、放送番組データの視聴および録画を実行する機能、外部のＡＶ機器から入力されるビデオデータを記録および再生する機能等を有している。このビデオ処理機能は、例えば、コンピュータに予めインストールされているビデオ処理プログラムによって実現されている。
【００１５】
さらに、ビデオ処理機能は、パーソナルコンピュータ内の記憶装置に格納された、ビデオデータ、放送番組データのような、動画像データ群の中から、ユーザが希望する動画像データを容易に検索するための動画像検索機能も有している。
【００１６】
本コンピュータは、図１に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。
【００１７】
ＣＰＵ１０１は本コンピュータの動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１Ａ、およびビデオ処理プログラム２０２Ａのような各種アプリケーションプログラムを実行する。ビデオ処理プログラム２０２Ａはビデオ処理機能を実行するためのソフトウェアである。このビデオ処理プログラム２０２Ａは、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
【００１８】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００１９】
ＧＰＵ１０５は、本コンピュータの表示装置として使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
【００２０】
ＨＤＭＩ端子２は外部ディスプレイ装置を接続するための外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００２１】
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２２】
またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。
【００２３】
ビデオプロセッサ１１３は、放送番組データ、ビデオデータといった、動画像データに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、動画像データに対して映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ１１３は、処理対象の動画像データから複数の顔画像を抽出する。顔画像の抽出は、例えば、動画像データのシーン毎に行うことができる。この場合、シーン毎に、当該シーンに出現する顔画像それぞれが抽出される。例えば、あるシーン内に複数の人物それぞれの顔画像が出現する場合には、それら複数の人物それぞれの顔画像が抽出される。
【００２４】
顔画像を抽出する処理は、例えば、動画像データの各フレームから人物の顔領域を検出する顔検出処理、および検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
【００２５】
メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。映像インデキシング処理を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によって映像インデキシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、映像インデキシング処理を実行することが出来る。
【００２６】
なお、顔画像の抽出は必ずしもシーン毎に行う必要はなく、例えば、動画像データを複数の部分区間に分割し、これら部分区間毎に当該部分区間に出現する人物それぞれの顔画像を抽出するようにしてもよい。
【００２７】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。
【００２８】
無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
【００２９】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータをパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
【００３０】
ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、本コンピュータの本体に設けられたアンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【００３１】
次に、図２を参照して、ビデオ処理プログラム２０２Ａの機能構成を説明する。
【００３２】
ビデオ処理プログラム２０２Ａは、顔データベース１１１Ａ、マッチング処理部２０１、関連付け部２０２、動画像データ検索部２０３、表示処理部２０４、再生部２０５、プレイリスト作成部２０６等を備えている。
【００３３】
顔データベース１１１Ａは、顔画像（参照用顔画像）と、人物名のようなメタデータとの対を格納するデータベースである。この顔データベース１１１Ａには、図３に示すように、複数の参照用顔画像と、これら複数の参照用顔画像にそれぞれ対応する複数の人物名とが格納されている。ユーザは、ビデオ処理プログラム２０２Ａに関連するプログラムであるデータベース登録ツール（ＤＢ登録ツール）を使用することにより、任意の顔画像および当該顔画像に対応する人物名を顔データベース１１１Ａに格納することができる。人物名としては、顔画像に対応する人物を識別可能な任意の文字列（例えば、人物の名前、当該人物のニックネーム、等）を使用し得る。
【００３４】
ユーザは、ＤＢ登録ツールを操作することによって、顔画像および人物名を顔画像データ等を顔データベース１１１Ａに参照用顔画像として登録することができる。顔画像としては、例えば、インターネット上のサイトから取得した顔画像データ、デジタルカメラによる撮影によって得られた顔画像データ等を使用することができる。また、ユーザは、ビデオプロセッサ１１によってある動画像データから抽出された顔画像それぞれを、顔データベース１１１Ａに参照用顔画像として登録することもできる。
【００３５】
ビデオプロセッサ１１３は、ビデオ処理プログラム２０２Ａの制御の下、ＨＤＤ１１１等の記憶媒体に格納された処理対象の各動画像データから複数の顔画像を抽出する顔画像抽出部として機能する。この場合、ビデオプロセッサ１１３は、処理対象の動画像データに含まれる複数のシーンから複数の顔画像をそれぞれ抽出する。
【００３６】
マッチング処理部２０１は、ビデオプロセッサ１１３によって処理対象の動画像データから抽出された複数の顔画像（顔画像１，２，…，ｎ）の各々を、顔データベース１１１Ａ内の複数の参照用顔画像それぞれと比較するマッチング処理を実行して、複数の参照用の内で、処理対象の動画像データ内に出現する参照用顔画像を特定する。
【００３７】
マッチング処理においては、マッチング処理部２０１は、例えば、処理対象の動画像データの複数のシーンそれぞれから抽出された複数の顔画像の各々と顔データベース１１１Ａ内の複数の参照用顔画像それぞれと比較することにより、シーン毎に当該シーンに出現する参照用顔画像を特定することができる。抽出された各顔画像と参照用顔画像との比較は、例えば、抽出された顔画像の画像特徴と参照用顔画像の画像特徴との間の類似度を算出する処理や、抽出された顔画像と参照用顔画像との間のパターンマッチングを行うこと、等によって実現し得る。
【００３８】
マッチング処理部２０１により、処理対象の動画像データ内に、顔データベース１１１Ａ内のどの参照用顔画像に対応する人物が出現するかを特定することができる。
【００３９】
関連付け部２０２は、マッチング処理部２０１によるマッチング処理の結果を用いて、処理対象の動画像データに対応する検索用インデックス情報を生成する処理を実行する。検索用インデックス情報は動画像データを検索するために用いられるメタデータである。具体的には、関連付け部２０２は、マッチング処理の結果に基づいて、上述の特定された参照用顔画像に対応する人物名を、処理対象の動画像データに対して上述の検索用インデックス情報として関連付ける。例えば、処理対象の動画像データ内に図３の顔データベース１１１Ａ内の顔画像Ａと類似する顔画像が含まれることが上述のマッチング処理によって決定されたならば、顔データベース１１１Ａ内の、顔画像Ａに対応する人物名Ｎ１が処理対象の動画像データに対して関連付けされる。
【００４０】
このような関連付け処理は、処理対象の動画像データ内のシーン毎に行うことが出来る。この場合、関連付け部２０２は、処理対象の動画像データ内の各シーンに対して、当該シーン内に出現する参照用顔画像に対応する人物名を検索用インデックス情報として関連付ける。図４には、関連付け部２０２によって処理対象の動画像データに関連付けられる検索用インデックス情報の例が示されている。図４においては、動画像データ＃１に対して、検索用インデックス情報＃１が関連付けられている。検索用インデックス情報＃１は、動画像データ＃１に出現する顔画像それぞれに対応する人物名を示す情報である。この検索用インデックス情報＃１は、例えば、動画像データ＃１を構成する複数のシーンの内、顔データベース１１Ａ内のいずれかの参照用顔画像が登場するシーン毎（当該シーンに対応する時間帯毎）に、当該シーンに出現する参照用顔画像に対応する人物名を示す。例えば、動画像データ＃１のシーン１，２に図３の顔データベース１１１Ａ内の顔画像Ａと類似する顔画像がそれぞれ出現し、動画像データ＃１のシーン５，１０に図３の顔データベース１１１Ａ内の顔画像Ｂと類似する顔画像がそれぞれ出現するならば、検索用インデックス情報＃１は、図４に示すように、シーン１，２，５，１０それぞれに人物名Ｎ１，Ｎ１，Ｎ２，Ｎ２の人物が出現することを示す情報を含む。検索用インデックス情報＃１のデータ構造は特に限定されるものではなく、例えば、ある参照用顔画像が出現するシーンそれぞれの時間帯を示す時間情報と、これらシーンそれぞれに登場する参照用顔画像に対応する人物名とを含みさえすれば、どのようなデータ構造であってもよい。
【００４１】
動画像データ検索部２０３は、ユーザによってキーワードとしてタイプ入力された人物名と、検索対象の動画像データそれぞれの検索用インデックス情報とに基づいて、検索対象の複数の動画像データの中から、タイプ入力された人物名が関連付けられた動画像データ、つまりタイプ入力された人物名に対応する顔画像を含む動画像データを検索する。例えば、ＨＤＤ１１１内の特定の記憶領域（特定のディレクトリ等）に格納されている動画像データそれぞれを検索対象とすることができる。
【００４２】
図４で説明したように検索用インデックス情報が各動画像データのシーン毎に当該シーンに出現する人物名を含む場合には、動画像データ検索部２０３は、検索対象の動画像データ群の中から、タイプ入力された人物名が関連付けられた動画像データを検索するだけでなく、検索対象の各動画像データから、タイプ入力された人物名が関連付けられたシーンそれぞれを検索することもできる。
【００４３】
表示処理部２０４は、動画像データ検索部２０３による検索の結果に基づき、検索結果画面を表示装置上に表示する。具体的には、表示処理部２０４は、動画像データ検索部２０３によって検索された動画像データの一覧を表示画面（検索結果画面）上に表示する処理、またはタイプ入力された人物名が関連付けられた動画像データ毎に、検索されたシーンの一覧（タイプ入力された人物名が関連付けられたシーンの一覧）を検索結果画面上に表示する処理を実行する。
【００４４】
再生部２０５は、検索結果画面上の動画像データの一覧の中から一つの動画像データがユーザによって再生対象として選択された場合、この選択された動画像データを再生する処理を実行する。また、検索結果画面上に各動画像データから検索されたシーンの一覧が表示されている場合においては、再生部２０５は、シーンの一覧の中から一つのシーンがユーザによって再生対象として選択された時、その選択されたシーンを含む動画像データを、選択されたシーンから再生する再生処理を実行する。
【００４５】
さらに、再生部２０５は、ユーザによって選択されたプレイリスト（プレイリスト情報）よって指定される動画像データそれぞれを順次再生する機能も有している。プレイリストは再生対象の動画像データそれぞれを規定する情報であり、再生対象の動画像データそれぞれを識別する識別子（再生対象の動画像データそれぞれのファイル名等）を含んでいる。ユーザによってあるプレイリストが選択された状態でユーザ操作により所定の再生要求イベントが入力された時、再生部２０５は、選択されたプレイリストに含まれる識別子によって指定される動画像データそれぞれを順次再生する。
【００４６】
プレイリスト作成部２０６は、動画像データ検索部２０３による検索結果を使用することによって、検索された動画像データそれぞれを識別する識別子を含むプレイリストを自動生成し、生成したプレイリストをＨＤＤ１１１に格納する。プレイリストを作成する処理は、例えば、検索結果画面が表示されている状態でユーザ操作によりプレイリストの作成要求イベントが入力された時に実行される。このプレイリスト作成機能により、ユーザによってタイプ入力された人物名に関するプレイリストを容易に作成することができる。また、このプレイリスト作成機能を使用することにより、人物毎のプレイリストを容易に作成することができる。
【００４７】
本実施形態のビデオ処理機能の利用形態の例として、例えば、ムービーカメラによる撮影によって得られたある動画像データを取り扱う場合について説明する。例えば、親が撮影した、自分の子供が出場する運動会の動画像データを扱う場合を想定する。
【００４８】
ユーザがこの動画像データを処理対象として指定した場合、ビデオ処理プログラム２０２Ａは、ビデオプロセッサ１１３を用いて処理対象の動画像データの映像解析を実行して、処理対象の動画像データから複数の顔画像を抽出する。
【００４９】
そして、ビデオ処理プログラム２０２Ａは、マッチング処理部２０１を用いて、抽出された複数の顔画像の各々を、顔データベース１１１Ａ内に格納された複数の参照用顔画像それぞれと比較するマッチング処理を実行する。
【００５０】
もし、子供の顔画像が参照用顔画像の一つとして顔データベース１１１Ａ内に事前に登録されているならば、上述のマッチング処理により、子供の顔画像が、処理対象の動画像データ内に出現する参照用顔画像として特定される。そして、ビデオ処理プログラム２０２Ａは、関連付け部２０２を用いて、顔データベース１１１Ａに格納された、子供の顔画像に対応する人物名（子供の名前）を示すメタデータを、処理対象の動画像データに検索用インダックス情報として関連付ける。これにより、以降は、ユーザは、子供の名前をキーワードとして入力するだけで、この動画像データを容易に検索することが可能となる。よって、本実施形態では、本コンピュータのＨＤＤ１１１等に格納された多数の動画像データの中からユーザが希望する人物が出現する動画像データを容易に検索することができる。
【００５１】
また、本実施形態では、動画像データ内のシーンの内で、子供の顔画像が登場するシーンそれぞれに対して子供の名前を示すメタデータを関連付けられるので、ユーザは、子供の名前をキーワードとして入力するだけで、この動画像データ内のシーンの中で、子供の顔画像が登場するシーンのみを検索することが出来る。
【００５２】
次に、図５を参照して、顔データベース１１１Ａの作成処理から、動画像データの検索処理までの動作を説明する。
【００５３】
ユーザは、上述のデータベース登録ツールを操作することにより、任意の顔画像データとその顔画像データに対応する人物名（名前）とを顔データベース１１１Ａに格納することができる。図５においては、３人の人物の顔画像それぞれが参照用顔画像として顔データベース１１１Ａに格納されている場合が示されている。
【００５４】
すなわち、顔データベース１１１Ａには、顔画像“AAA.png”とその名前“AAA”とを含む第１の参照用顔画像情報と、顔画像“BBB.png”とその名前“BBB”とを含む第２の参照用顔画像情報と、顔画像“CCC.png”とその名前“CCC”とを含む第３の参照用顔画像情報とが含まれている。
【００５５】
ユーザがＨＤＤ１１１に格納されているある動画像データＡを処理対象として指定した場合、ビデオ処理プログラム２０２Ａは、ビデオプロセッサ１１３を用いて動画像データＡの映像解析をフレーム毎に実行して、動画像データＡから、動画像データＡに出現する人物それぞれの顔画像を抽出する。
【００５６】
そして、ビデオ処理プログラム２０２Ａは、マッチング処理部２０１を用いて、抽出された複数の顔画像の各々を、顔データベース１１１Ａ内に格納された３つの参照用顔画像それぞれと比較するマッチング処理を実行して、動画像データＡ内にどの参照用顔画像が出現するかを特定する。もし動画像データＡ内に参照用顔画像“BBB.png”に類似する顔画像が出現するならば、上述のマッチング処理により、参照用顔画像“BBB.png”が動画像データＡ内に出現する参照用顔画像として特定される。そして、ビデオ処理プログラム２０２Ａは、関連付け部２０２を用いて、参照用顔画像“BBB.png”に対応する名前“BBB”を、動画像データＡに検索用インダックス情報として関連付ける。これにより、以降は、ユーザは、名前“BBB”を検索用のキーワードとして入力するだけで、この動画像データＡを容易に検索することが可能となる。
【００５７】
すなわち、画像検索処理においては、ユーザが例えば名前“BBB”を検索用のキーワードとしてタイプ入力した場合には、ビデオ処理プログラム２０２Ａは、動画像データ検索部２０３を用いて、検索対象の動画像データの中から、名前“BBB”を含む検索用インデックス情報に関連付けられた動画像データを検索する。例えば、検索対象の動画像データの内、動画像データＡ，Ｂ，Ｃの各々が名前“BBB”を含む検索用インデックス情報に関連付けられているならば、それら動画像データＡ，Ｂ，Ｃが、名前“BBB”に関する人物が出現する動画像リストとして検索される。
【００５８】
次に、図６のフローチャートを参照して、本実施形態におけるビデオ処理の手順の例を説明する。
【００５９】
まず、ビデオ処理プログラム２０２Ａは、ユーザの操作に応じて顔データベース１１１Ａを生成する処理を実行する（ステップＳ１１）。この場合、まず、ユーザは、顔データベース１１１Ａに登録すべき顔画像を用意する（ステップＳ１１１）。そして、データベース登録ツールは、ユーザによって指定された顔画像とユーザによって入力された人物名とを顔データベース１１１Ａに格納する（ステップＳ１１２）。
【００６０】
また、ビデオプロセッサ１１３によって実行される映像インデキシング処理によって得られる顔画像を用いて、顔データベース１１１Ａを生成することもできる。この場合、ビデオ処理プログラム２０２Ａは、ビデオプロセッサ１１３を用いて、ユーザによって指定された動画像に対する映像インデキシング処理を実行して、動画像から複数の顔画像を抽出する（ステップＳ１１３）。この後、ビデオ処理プログラム２０２Ａは、複数の顔画像の中からユーザによって選択された顔画像と、ユーザによって入力された人物名とを顔データベース１１１Ａに格納する（ステップＳ１１４）。
【００６１】
次に、ビデオ処理プログラム２０２Ａは、処理対象の動画像データにメタデータを検索用インデックス情報として付与するためのメタデータ付与処理を実行する。この場合、ビデオ処理プログラム２０２Ａは、ビデオプロセッサ１１３を用いて、ユーザによって処理対象として指定された動画像データに含まれる複数のシーンそれぞれから複数の顔画像を抽出する処理を実行する（ステップＳ１２）。
【００６２】
ステップＳ１２においては、ビデオプロセッサ１１３は、例えば、処理対象の動画像データのシーン変化点を検出し、隣接する２つのシーン変化点間に属する区間をシーンとして特定する。そして、ビデオプロセッサ１１３は、各シーンから、当該シーンに出現する人物の顔画像を抽出する。１つのシーンに複数の人物の顔画像が登場する場合には、そのシーンからは、複数の人物それぞれに対応する顔画像を抽出してもよい。
【００６３】
この後、ビデオ処理プログラム２０２Ａは、マッチング処理部２０１を用いて、処理対象の動画像データから抽出された複数の顔画像の各々を、顔データベース１１１Ａ内に格納された参照用顔画像それぞれと比較するマッチング処理を実行する（ステップＳ１３）。ステップＳ１３では、処理対象の動画像データの複数のシーンそれぞれから抽出された複数の顔画像の各々が、顔データベース１１１Ａ内に格納された参照用顔画像それぞれと比較される。これにより、処理対象の動画像データのシーン毎に、当該シーンに出現する１以上の参照用顔画像が特定される。
【００６４】
次いで、ビデオ処理プログラム２０２Ａは、関連付け部２０２を用いて、処理対象の動画像データに対応する検索用インデックス情報を生成する（ステップＳ１４）。このステップＳ１４においては、ビデオ処理プログラム２０２Ａは、処理対象の動画像データの各シーンに対して、当該シーン内に出現する参照用顔画像に対応する人物名をインデックス情報として関連付ける処理を実行する。具体的には、ビデオ処理プログラム２０２Ａは、図４で説明したような検索用インデックス情報を生成し、その生成した検索用インデックス情報を処理対象の動画像データに関連付ける。
【００６５】
次に、ビデオ処理プログラム２０２Ａによって実行される検索処理について説明する。
【００６６】
ユーザによって動画像データの検索が要求されると、ビデオ処理プログラム２０２Ａは、図７に示すような動画検索画面５０１を表示画面上に表示する。動画検索画面５０１は、検索条件としての人物名を入力するための入力フィールド５０２と、検索対象の動画像データの一覧を表示する動画像一覧表示エリア５０３とを含んでいる。動画像一覧表示エリア５０３には、例えば、ビデオ処理プログラム２０２Ａによって検索用インデックス情報が生成された動画像データの一覧が表示される。
【００６７】
ユーザは、顔データベース１１１Ａに登録されている人物名を入力フィールド５０２にタイプ入力する。入力フィールド５０２に例えば人物名“ＴＡＲＯ”が入力された場合、ビデオ処理プログラム２０２Ａは、動画像データ検索部２０３を用いて、検索対象の動画像データ群の中から、人物名“ＴＡＲＯ”を含む検索用インデックス情報に関連付けられた動画像データを検索する（ステップＳ１５）。
【００６８】
このステップＳ１５では、ビデオ処理プログラム２０２Ａは、入力された人物名“ＴＡＲＯ”と、検索対象の複数の動画像データそれぞれの検索用インデックス情報とに基づいて、検索対象の各動画像データから、入力された人物名“ＴＡＲＯ”が関連付けられたシーンを検索する。そして、ビデオ処理プログラム２０２Ａは、検索処理の結果に基づいて、人物名“ＴＡＲＯ”に対応する顔画像が出現する各動画像データ毎に人物名“ＴＡＲＯ”が関連付けられたシーンの一覧を、動画検索画面５０１上に表示する。図８は、検索結果画面の例を示している。図８に示されているように、動画検索画面５０１上には人物名“ＴＡＲＯ”に対応する検索結果表示エリア５０４が表示される。この検索結果表示エリア５０４上には、人物名“ＴＡＲＯ”に対応する顔画像が出現する各動画像データ毎に、人物名“ＴＡＲＯ”が関連付けられたシーンの一覧が表示される。例えば、動画データＡのシーン１，５，１０に人物名“ＴＡＲＯ”に対応する顔画像が出現し、動画データＢのシーン８に人物名“ＴＡＲＯ”に対応する顔画像が出現し、動画データＣのシーン３，２５に人物名“ＴＡＲＯ”に対応する顔画像が出現する場合には、検索結果表示エリア５０４上には、人物名“ＴＡＲＯ”に対応する顔画像を含む動画像データの一覧として動画データＡ，Ｂ，Ｃが表示され、且つこれら動画データＡ，Ｂ，Ｃの各々毎に、人物名“ＴＡＲＯ”に対応する顔画像が出現するシーンの一覧が表示される。
【００６９】
ユーザは、検索結果表示エリア５０４上に表示されているシーンの一覧の中から再生対象の任意のシーンを選択することができる。ユーザによって例えば動画データＡのシーン５が再生対象として選択された場合、ビデオ処理プログラム２０２Ａは、動画データＡの再生を、シーン５から開始する。また、例えば、ユーザによって動画データＣのシーン３が再生対象として選択された場合、ビデオ処理プログラム２０２Ａは、動画データＣの再生を、シーン３から開始する。したがって、ユーザは、例えば、ＨＤＤ１１１に格納されている多数の動画像データの中から、希望する人物が出現するシーンのみを選択的に見る事が出来る。
【００７０】
また、ユーザは、検索結果表示エリア５０４上に表示されているシーンの一覧の中から、プレイリストに登録したいシーンそれぞれを指定するだけで、人物名“ＴＡＲＯ”に関するプレイリストを作成することができる。すなわち、ユーザが検索結果表示エリア５０４上に表示されているシーンの一覧の中からプレイリスト登録対象のシーン群を選択した場合、ビデオ処理プログラム２０２Ａは、プレイリスト作成部２０６を用いて、選択されたシーンそれぞれに対応する識別子（例えば、選択されたシーンを含む動画像データのファイル名、および選択されたシーンに対応する時間情報）を含むプレイリストを作成する。もちろん、検索結果表示エリア５０４上に表示されている全てのシーンそれぞれに対応する識別子（例えば、各動画像データのファイル名、および各シーンに対応する時間情報）を含むプレイリスト、または検索結果表示エリア５０４上に表示されている全ての動画像データそれぞれに対応する識別子を含むプレイリストを作成するようにしてもよい。
【００７１】
以上説明したように、本実施形態によれば、人物の名前からその人物が映っている動画データやシーンを瞬時に探すことができる。よって、シークバー等を用いた検索よりも、高速な人物検索を行うことができる。また、人物ごとのプレイリストも容易に作成することができる。
【００７２】
なお、本実施形態のビデオ処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。
【００７３】
また、本実施形態の電子機器はコンピュータによって実現するのみならず、例えば、録画再生装置（ＨＤＤレコーダ、ＤＶＤレコーダ）、テレビジョン装置、といった様々なコンシューマ電子機器によって実現することもできる。この場合、ビデオ処理プログラム２０２Ａの機能は、ＤＳＰ、マイクロコンピュータのようなハードウェアによって実現することができる。
【００７４】
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態に係る電子機器のシステム構成例を示すブロック図。
【図２】同実施形態の電子機器で用いられるプログラムの機能構成を示すブロック図。
【図３】同実施形態の電子機器で用いられる顔データベースの構成例を示す図。
【図４】同実施形態の電子機器によって作成される検索用インダックス情報を説明するための図。
【図５】同実施形態の電子機器によって実行される、顔データベース作成処理から、動画像データの検索処理までの動作の例を示す図。
【図６】同実施形態の電子機器によって実行されるビデオ処理の手順の例を示すフローチャート。
【図７】同実施形態の電子機器で用いられる検索画面の例を示す図。
【図８】同実施形態の電子機器で用いられる検索結果画面の例を示す図。
【符号の説明】
【００７６】
１１１Ａ…顔データベース、１１３…ビデオプロセッサ、２０１…マッチング処理部、２０２…関連付け部、２０３…動画像データ検索部、２０４…表示処理部、２０５…再生部、２０６…プレイリスト作成部。
【図１】
2009181216.tif 000003
【図２】
2009181216.tif 000004
【図３】
2009181216.tif 000005
【図４】
2009181216.tif 000006
【図５】
2009181216.tif 000007
【図６】
2009181216.tif 000008
【図７】
2009181216.tif 000009
【図８】
2009181216.tif 000010