(57)【要約】【課題】より効率の良いコンテンツ検索サービスをより容易に提供することができるようにする。【解決手段】出演者名マッチング抽出部３０１は、検索元コンテンツに属する、マッチングが取れていない出演者名を使って、他のコンテンツを検索する。顔マッチング制御部３０２は、検索元コンテンツの顔データ２２３に含まれる出演者の顔特徴量群とマッチング対象のコンテンツの顔データ２２３に含まれる出演者の顔特徴量群とから、それぞれ１つずつ顔特徴量を選択して比較し、顔特徴量類似度演算部３１１を用いて互いの類似度を算出する。顔マッチング制御部３０２は、その類似度が所定の閾値より高い場合、その顔画像と出演者名とを関連付け、それらに人物IDを割り当て、登録済人物データを生成する。本発明は、例えば、情報処理装置に適用することができる。【選択図】図４
2010283517.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツの出演者名をコンテンツ間で比較し、一致する出演者名を特定する出演者名比較手段と、
前記コンテンツの出演者の顔画像をコンテンツ間で比較し、前記顔画像の類似度が所定の閾値より高い前記顔画像を特定する顔画像比較手段と、
前記顔画像比較手段により、前記類似度が前記閾値より高いと判定された前記顔画像と、前記出演者名比較手段により特定された前記出演者名とを関連付ける関連付け手段と
を備える情報処理装置。
【請求項２】
前記顔画像比較手段により比較するとされた前記顔画像の特徴量の前記類似度を算出する類似度算出手段をさらに備え、
前記顔画像比較手段は、前記類似度算出手段により算出された前記類似度が前記閾値よりも高い前記顔画像を特定する
請求項１に記載の情報処理装置。
【請求項３】
前記コンテンツを記憶する記憶手段をさらに備え、
前記出演者名比較手段および前記顔画像比較手段は、前記記憶手段により記憶されているコンテンツ間で、前記出演者名または前記顔画像の比較を行う
請求項１に記載の情報処理装置。
【請求項４】
前記コンテンツを取得する取得手段をさらに備え、
前記出演者名比較手段および前記顔画像比較手段は、前記取得手段により取得されるコンテンツより抽出された前記出演者名または前記顔画像の比較を行う
請求項１に記載の情報処理装置。
【請求項５】
前記顔画像比較手段は、前記出演者名比較手段の比較結果に基づいて、共通の出演者名が存在するコンテンツ間で、前記顔画像の比較を行う
請求項１に記載の情報処理装置。
【請求項６】
前記コンテンツの画像から出演者の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された前記顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出された前記顔画像の特徴量を算出する顔特徴量算出手段と
をさらに備え、
前記顔画像比較手段は、前記顔特徴量算出手段により算出された前記特徴量を用いて、前記コンテンツの出演者の顔画像をコンテンツ間で比較する
請求項１に記載の情報処理装置。
【請求項７】
前記コンテンツのデータから前記コンテンツの出演者名を示すデータを抽出する出演者名データ抽出手段をさらに備え、
前記出演者名比較手段は、前記出演者名データ抽出手段により抽出された前記データを用いて前記出演者名の比較を行う
請求項１に記載の情報処理装置。
【請求項８】
前記関連付け手段により互いに関連付けられた前記顔画像および前記出演者名の組み合わせを表示する表示手段と、
ユーザから入力を受け付ける入力手段と、
前記顔画像および前記出演者名の関連付けるデータベースを管理し、前記表示手段により表示された前記顔画像および前記出演者名の組み合わせを参照する前記ユーザにより前記入力手段を介して入力された情報に基づいて、前記データベースを更新する管理手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項９】
情報処理装置の出演者名比較手段が、コンテンツの出演者名をコンテンツ間で比較し、一致する出演者名を特定し、
前記情報処理装置の顔画像比較手段が、前記コンテンツの出演者の顔画像をコンテンツ間で比較し、前記顔画像の類似度が所定の閾値より高い前記顔画像を特定し、
前記情報処理装置の関連付け手段が、前記類似度が前記閾値より高いと判定された前記顔画像と、特定された前記出演者名とを関連付ける
情報処理方法。
【請求項１０】
コンピュータを、
コンテンツの出演者名をコンテンツ間で比較し、一致する出演者名を特定する出演者名比較手段と、
前記コンテンツの出演者の顔画像をコンテンツ間で比較し、前記顔画像の類似度が所定の閾値より高い前記顔画像を特定する顔画像比較手段と、
前記顔画像比較手段により、前記類似度が前記閾値より高いと判定された前記顔画像と、前記出演者名比較手段により特定された前記出演者名とを関連付ける関連付け手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、より効率の良いコンテンツ検索サービスをより容易に提供することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、出演者の顔画像を用いて動画像や静止画像等のコンテンツの検索を行う方法があった。
【０００３】
例えば、顔画像と人物名とを対応させたデータを、ユーザが手入力で作成したり、外部のサーバ等からダウンロードしたりして予め準備し、コンテンツより抽出される出演者の顔画像とそのデータとの比較（マッチング）を行うことにより、そのコンテンツの出演者の名前を特定する方法があった（例えば、特許文献１参照）。
【０００４】
また、外部のサーバに用意された顔画像と人物名とを対応させたデータを利用する方法もあった（例えば、特許文献２参照）。この場合、クライアントは、ユーザ等に指定された人物名に対応する顔画像をサーバに問い合わせ、サーバより提供された、人物名に対応する顔画像を用いてコンテンツの検索を行う。
【０００５】
さらに、ユーザが登録した顔画像を用いてコンテンツの検索を行う方法もあった（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２０５７９２号公報
【特許文献２】特開２００８−２６３３０５号公報
【特許文献３】特開２００６−１０１２３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の方法では、検索に利用する顔画像と人物名とを対応させたデータをユーザが手入力で行う場合、ユーザによる煩雑な作業が必要になり、ユーザにとって、この顔画像を用いた検索サービスの利便性が低減する恐れがあった。
【０００８】
また、特許文献１に記載の方法において、クライアントが、この検索に利用する顔画像と人物名とを対応させたデータを外部のサーバから自動的にダウンロードする場合、ユーザの嗜好性を反映させることが困難であった。
【０００９】
実際には、このような顔画像を用いた検索は、ユーザの要求に基づいて行われたり、ユーザが収集した（録画した）コンテンツに対して行われたりするので、検索に用いられる顔画像（人物）は、ユーザの嗜好によって偏りが生じる場合が多い。
【００１０】
しかしながら、上述したように外部のサーバから自動的にダウンロードする場合、クライアントは、ユーザの嗜好を把握することが困難であるので、十分な検索性能を得るためには、より多くの人物のデータを偏りなくダウンロードし、保持する必要があった。
【００１１】
したがって、利用されることの無い不要な人物のデータが増大する恐れがあった。つまり、その分必要な記憶容量が増大し、コストが増大する恐れがあった。また検索時の照会作業の負荷も不要に増大する恐れもあった。
【００１２】
さらに、ユーザの嗜好やコンテンツに出演する人物の傾向は、日々変化するので、より有効な検索性能を得るためには、顔画像と人物名を対応させるデータの頻繁な更新が必要になるが、上述したようにユーザがデータを手入力する場合、煩雑な作業が必要になり、外部のサーバよりダウンロードする場合、サーバとの通信環境（ネットワーク接続）を維持する必要があった。
【００１３】
また、特許文献２に記載の方法の場合、特許文献１に記載の方法に比べて、クライアントの記憶容量を低減させることができるが、検索の度にサーバに問い合わせを行う必要があり、クライアント単体で検索を行うことができなかった。また、サーバとの通信環境（ネットワーク接続）を維持する必要があった。
【００１４】
さらに、特許文献３に記載の方法の場合、データ入力のためのユーザの煩雑な作業が必要であった。特許文献１の場合と同様に、データ更新作業も容易におこなうことができなかった。
【００１５】
また、特許文献２や特許文献３に記載の方法の場合、コンテンツとは別に用意された顔画像が検索に用いられる。したがって最新の画像でないことにより、例えば年齢や髪型等が現在と異なり、検索性能が低下してしまう恐れがあった。また、画像の入手元が検索対象のコンテンツと異なることにより、解像度、明るさ、または色合い等の画質が検索対象と異なり、検索性能が低下してしまう恐れがあった。
【００１６】
本発明は、このような状況に鑑みて提案されたものであり、出演者の顔画像を用いた、より効率の良いコンテンツ検索サービスをより容易に提供することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面は、コンテンツの出演者名をコンテンツ間で比較し、一致する出演者名を特定する出演者名比較手段と、前記コンテンツの出演者の顔画像をコンテンツ間で比較し、前記顔画像の類似度が所定の閾値より高い前記顔画像を特定する顔画像比較手段と、前記顔画像比較手段により、前記類似度が前記閾値より高いと判定された前記顔画像と、前記出演者名比較手段により特定された前記出演者名とを関連付ける関連付け手段とを備える情報処理装置である。
【００１８】
前記顔画像比較手段により比較するとされた前記顔画像の特徴量の前記類似度を算出する類似度算出手段をさらに備え、前記顔画像比較手段は、前記類似度算出手段により算出された前記類似度が前記閾値よりも高い前記顔画像を特定することができる。
【００１９】
前記コンテンツを記憶する記憶手段をさらに備え、前記出演者名比較手段および前記顔画像比較手段は、前記記憶手段により記憶されているコンテンツ間で、前記出演者名または前記顔画像の比較を行うことができる。
【００２０】
前記コンテンツを取得する取得手段をさらに備え、前記出演者名比較手段および前記顔画像比較手段は、前記取得手段により取得されるコンテンツより抽出された前記出演者名または前記顔画像の比較を行うことができる。
【００２１】
前記顔画像比較手段は、前記出演者名比較手段の比較結果に基づいて、共通の出演者名が存在するコンテンツ間で、前記顔画像の比較を行うことができる。
【００２２】
前記コンテンツの画像から出演者の顔画像を検出する顔検出手段と、前記顔検出手段により検出された前記顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された前記顔画像の特徴量を算出する顔特徴量算出手段とをさらに備え、前記顔画像比較手段は、前記顔特徴量算出手段により算出された前記特徴量を用いて、前記コンテンツの出演者の顔画像をコンテンツ間で比較することができる。
【００２３】
前記コンテンツのデータから前記コンテンツの出演者名を示すデータを抽出する出演者名データ抽出手段をさらに備え、前記出演者名比較手段は、前記出演者名データ抽出手段により抽出された前記データを用いて前記出演者名の比較を行うことができる。
【００２４】
前記関連付け手段により互いに関連付けられた前記顔画像および前記出演者名の組み合わせを表示する表示手段と、ユーザから入力を受け付ける入力手段と、前記顔画像および前記出演者名の関連付けるデータベースを管理し、前記表示手段により表示された前記顔画像および前記出演者名の組み合わせを参照する前記ユーザにより前記入力手段を介して入力された情報に基づいて、前記データベースを更新する管理手段と
をさらに備えることができる。
【００２５】
本発明の一側面は、また、情報処理装置の出演者名比較手段が、コンテンツの出演者名をコンテンツ間で比較し、一致する出演者名を特定し、前記情報処理装置の顔画像比較手段が、前記コンテンツの出演者の顔画像をコンテンツ間で比較し、前記顔画像の類似度が所定の閾値より高い前記顔画像を特定し、前記情報処理装置の関連付け手段が、前記類似度が前記閾値より高いと判定された前記顔画像と、特定された前記出演者名とを関連付ける情報処理方法である。
【００２６】
本発明の一側面は、さらに、コンピュータを、コンテンツの出演者名をコンテンツ間で比較し、一致する出演者名を特定する出演者名比較手段と、前記コンテンツの出演者の顔画像をコンテンツ間で比較し、前記顔画像の類似度が所定の閾値より高い前記顔画像を特定する顔画像比較手段と、前記顔画像比較手段により、前記類似度が前記閾値より高いと判定された前記顔画像と、前記出演者名比較手段により特定された前記出演者名とを関連付ける関連付け手段として機能させるためのプログラムである。
【００２７】
本発明の一側面においては、コンテンツの出演者名がコンテンツ間で比較され、一致する出演者名が特定され、コンテンツの出演者の顔画像がコンテンツ間で比較され、顔画像の類似度が所定の閾値より高い顔画像が特定され、類似度が閾値より高いと判定された顔画像と、特定された出演者名とが関連付けられる。
【発明の効果】
【００２８】
本発明によれば、より効率の良いコンテンツ検索サービスをより容易に提供することができる。特に、顔画像を用いたコンテンツ検索サービスにおいて利用される、顔画像と人物メイトを関連付けるデータを、他の装置やユーザ作業を必要とせずに、より容易に作成することができる。また、ユーザの嗜好に応じた効率のよいデータを作成することができるようにすることもできる。さらに、検索性能を向上させるデータを作成することができるようにすることもできる。
【図面の簡単な説明】
【００２９】
【図１】本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。
【図２】図１のハードディスクレコーダの、録画に関する構成例を示すブロック図である。
【図３】紐付けテーブルの構成例を示図である。
【図４】図１のハードディスクレコーダの、マッチングに関する構成例を示すブロック図である。
【図５】登録済人物データベースの構成例を示す図である。
【図６】図１のハードディスクレコーダの、ユーザ確認に関する構成例を示すブロック図である。
【図７】図１のハードディスクレコーダの、データベース利用に関する構成例を示すブロック図である。
【図８】録画処理の流れの例を説明するフローチャートである。
【図９】関連付け処理の流れの例を説明するフローチャートである。
【図１０】ユーザ確認処理の流れの例を説明するフローチャートである。
【図１１】録画処理の流れの例を説明するフローチャートである。
【図１２】関連付け処理の流れの他の例を説明するフローチャートである。
【図１３】関連付け処理の流れの、さらに他の例を説明するフローチャートである。
【図１４】本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下実施の形態とする）について 説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ハードディスクレコーダ）
【００３１】
＜１．第１の実施の形態＞
［ハードディスクレコーダの構成］
図１は、本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。
【００３２】
図１のハードディスクレコーダ１００は、ハードディスクを内蔵し、ユーザの指示に基づいて、放送される番組（コンテンツ）のデータを記録（録画）したり、ハードディスクに過去に記録されたデータを読み出して再生したりする。
【００３３】
また、ハードディスクレコーダ１００は、録画した番組の出演者について、その顔画像と人物名とを関連付けるデータベースを構築する。ハードディスクレコーダ１００は、そのデータベースを録画や再生に利用する。
【００３４】
図１に示されるようにハードディスクレコーダ１００は、メインCPU（Central Processing Unit）１１１、ROM（Read Only Memory）１１２、メインメモリ１１３、HDD１１４、入力部１１５、顔画像処理部１１６、および放送信号処理部１１７を有する。
【００３５】
メインCPU１１１は、例えば汎用のCPU等により構成され、各種処理を実行したり、ハードディスクレコーダ１００の装置全体を制御したり、各部とデータの授受を行ったりする。
【００３６】
メインCPU１１１は、メインCPU１１１に接続される、ROM１１２やハードディスク（HDD）１１４に記憶から読み出し、RAM（Random Access Memory）等よりなるメインメモリ１１３にロードしたプログラムを実行する。また、メインCPU１１１は、ROM１１２やハードディスク１１４に記憶されるデータ等を読み出して処理する。さらに、メインCPU１１１は、実行中のデータ等をメインメモリ１１３に一時的に保持させたり、メインメモリ１１３に保持されているデータ等を読み出して処理したりする。
【００３７】
また、メインCPU１１１は、入力部１１５を介して入力されたデータ等を処理する。入力部１１５は、インタフェース管理部１２１を有する。インタフェース管理部１２１は、入力インタフェースとして動作する受信インタフェース１２２、USB（Universal Serial Bus）１２３、および入力スイッチ１２４の各部を管理し、それらより供給されるデータ等を取得し、メインCPU１１１に供給する。
【００３８】
受信インタフェース１２２は、リモートコントローラ１３１から供給される赤外線や電磁波等の無線信号を受信し、受信した無線信号を電気信号に変換してインタフェース管理部１２１に供給する。例えば、ユーザがリモートコントローラ１３１を操作し、指示を入力すると、その入力されたユーザ指示（例えば、ハードディスクレコーダに対する制御コマンドやパラメータ等）が無線信号として送信される。受信インタフェース１２２は、その無線信号から制御コマンドやパラメータ等を抽出し、それをインタフェース管理部１２１に供給する。
【００３９】
USB１２３は、USB規格に準拠するインタフェースであり、USBケーブルを介して接続された他のデバイスと通信を行い、他のデバイスより供給されたコマンドやデータ等をインタフェース管理部１２１に供給する。入力スイッチ１２４は、ユーザ操作を受け付ける入力デバイスであり、ユーザがスイッチを操作することにより入力した指示をインタフェース管理部１２１に供給する。
【００４０】
もちろん、入力部１１５が、これら以外のその他の入力インタフェースを有するようにし、インタフェース管理部１２１がその他の入力インタフェースを管理するようにしてもよい。
【００４１】
顔画像処理部１１６は、例えば、コンテンツの画像データについて、出演者の顔画像に関する処理を行う。例えば、顔画像処理部１１６は、メインCPU１１１により制御され、コンテンツの画像データから出演者の顔画像を抽出し、その特徴量を算出する。
【００４２】
放送信号処理部１１７は、放送信号を受信し、画像処理等を行う。放送信号処理部１１７は、放送波チューナ１４１、放送波信号デコーダ１４２、グラフィックスコントローラ１４３、および画面出力部１４４を有する。
【００４３】
放送波チューナ１４１は、メインCPU１１１により制御され、放送局より放送されるテレビジョン放送信号を受信する。放送波チューナ１４１は、メインCPU１１１により制御され、受信するチャンネルを選局し、選局したチャンネルのテレビジョン放送信号を受信することにより、そのチャンネルで放送されている番組（コンテンツ）を受信する。
【００４４】
放送波チューナ１４１は、受信したテレビジョン放送信号を復調してコンテンツのコードストリームを取得し、それを放送波信号デコーダ１４２に供給する。放送波信号デコーダ１４２は、メインCPU１１１に制御され、供給されたコードストリームを復号し、コンテンツの画像データ、音声データ、およびメタデータ等を取得する。放送波信号デコーダ１４２は、メインCPU１１１に制御され、取得したコンテンツのデータをメインCPU１１１、顔画像処理部１１６、およびグラフィックスコントローラ１４３等に供給する。
【００４５】
メインCPU１１１は、供給されたコンテンツのデータから記録用のコンテンツデータを生成し、それをハードディスク１１４に記憶させる（録画する）。また、メインCPU１１１は、コンテンツのデータから番組データ等を抽出し、EPGの生成等を行う。
【００４６】
顔画像処理部１１６は、放送波信号デコーダ１４２から供給されたコンテンツの画像データから顔画像を検出して抽出し、その特徴量を求め、処理結果をメインCPU１１１に供給する。
【００４７】
グラフィックスコントローラ１４３は、メインCPU１１１に制御され、供給されたコンテンツの画像データに対して画像処理等を行い、表示形式等を適切な形式に変換し、画面出力部１４４に供給する。
【００４８】
画面出力部１４４は、出力インタフェースであり、供給されたコンテンツのデータを画面出力部１４４に接続されるモニタ（図示せず）等に供給し、そのコンテンツの画像を表示させたり音声を出力させたりする。
【００４９】
ハードディスクレコーダ１００は、以上のような構成を有する。上述したように、ハードディスクレコーダ１００は、コンテンツの出演者の顔画像と人物名とを関連付け、コンテンツの録画や再生に利用する。
【００５０】
この機能は、大きく分けて３段階の処理により実現される。第１の処理は、録画されたコンテンツの出演者の顔画像の抽出およびその特徴量の算出、並びに出演者の人物名の抽出である。この第１の処理は、ハードディスク１１４に記憶される録画済みのコンテンツデータに対して行うようにしてもよいが、コンテンツの録画時に行うようにしてもよい。
【００５１】
第２の処理は、第１の処理により求められた顔画像（その特徴量）と人物名との関連付けである。ハードディスクレコーダ１００は、第１の処理により求められた顔画像（その特徴量）と人物名をコンテンツ間で比較し、その比較結果を用いて関連付けを行う。このように生成された関連付けに関する情報はデータベース化される。
【００５２】
第３の処理は、第２の処理により生成されたデータベースを用いて、コンテンツの再生や録画への利用である。ハードディスクレコーダ１００は、ユーザに指定された人物名に対応する顔画像を用いて検索を行い、その検索結果に基づいた録画や再生を行う。このように、ハードディスクレコーダ１００は、ユーザが名前で指定する人物が出演するコンテンツ（番組）を、番組データを頼らずに検索することができる。
【００５３】
これらの処理について以下に説明する。最初に、第１の処理に関するハードディスクレコーダ１００の構成例について説明する。図２は、ハードディスクレコーダ１００の、録画に関する構成例を示すブロック図である。
【００５４】
録画時において、ハードディスクレコーダ１００は、受信したコンテンツのデータからコンテンツデータを生成し、それをハードディスク１１４等に保存するとともに、第１の処理として、コンテンツのデータより番組データを抽出し、その番組データから出演者データを抽出し、ハードディスク１１４等に保存する。
【００５５】
また、ハードディスクレコーダ１００は、コンテンツのデータから顔画像を抽出し、さらにその特徴量を算出し、その顔画像や特徴量を顔データとしてハードディスク１１４等に保存する。さらに、ハードディスクレコーダ１００は、コンテンツデータに、出演者データや顔データを紐付けした紐付けテーブルを生成し、ハードディスク１１４等に保存する。
【００５６】
図２に示されるように、メインCPU１１１は、コンテンツデータ生成部２０１、番組データ分離部２０２、EPG（Electronic Program Guide）データ生成部２０３、出演者名データ抽出部２０４、およびデータ紐付け部２０５を有する。
【００５７】
コンテンツデータ生成部２０１は、放送波信号デコーダ１４２において復号されて得られたコンテンツのデータを、ハードディスク１１４に記録可能な形式に変換し、コンテンツデータを生成する。コンテンツデータ生成部２０１は、生成したコンテンツデータをハードディスク１１４に供給して記憶させる（コンテンツデータ２２１）。これが「録画」である。また、コンテンツデータ生成部２０１は、生成したコンテンツデータをデータ紐付け部２０５に供給する。
【００５８】
番組データ分離部２０２は、放送波信号デコーダ１４２においてコードストリームが復号されて得られたコンテンツのデータから、例えば番組名、出演者、内容説明、および放送時刻等の番組（コンテンツ）に関する情報が含まれる番組データを分離する。番組データ分離部２０２は、分離して得られた番組データをEPGデータ生成部２０３に供給する。また、番組データ分離部２０２は、分離して得られた番組データを出演者名データ抽出部２０４に供給する。
【００５９】
EPGデータ生成部２０３は、番組データ分離部２０２から供給された番組データを用いて電子番組表プログラム（EPG）のデータを生成する。生成されたEPGデータは、EPGデータ生成部２０３において保持するようにしてもよいし、例えばハードディスク１１４やメインメモリ１１３等に記憶させるようにしてもよい。
【００６０】
出演者名データ抽出部２０４は、番組データ分離部２０２から供給された番組データから、その番組の出演者名を示すデータである出演者名データを抽出する。出演者名データ抽出部２０４は、抽出した出演者名データをハードディスク１１４に供給して記憶させる（出演者名データ２２２）。また、出演者名データ抽出部２０４は、抽出した出演者名データをデータ紐付け部２０５に供給する。
【００６１】
データ紐付け部２０５は、顔画像処理部１１６から顔画像やその特徴量を含む顔データを取得する。データ紐付け部２０５は、その顔データと出演者名データとを、コンテンツデータに紐付けする。データ紐付け部２０５は、この紐付け結果から、例えば図３に示されるような構成のテーブル情報（紐付けテーブル２２４）を生成する。
【００６２】
図３において紐付けテーブル２２４は、コンテンツデータ毎にそのコンテンツの出演者名やその他の番組データ、並びに、出演者の顔画像とその特徴量をまとめた情報である。図３の例の場合、紐付けテーブル２２４は、コンテンツデータを識別するコンテンツデータID（コンテンツデータID＃１乃至コンテンツデータID＃Ｍ）のそれぞれに対して、そのコンテンツの出演者名の一覧（出演者名リスト）、そのコンテンツについてのその他番組データ、コンテンツの画像データより抽出された顔静止画像群（顔静止画像１乃至顔静止画像Ｎ）、並びに、各顔静止画像の特徴量（顔特徴量１乃至顔特徴量Ｎ）が紐付けされている。
【００６３】
図２に戻り、データ紐付け部２０５は、生成した紐付けテーブル２２４をハードディスク１１４に供給して記憶させる。
【００６４】
ハードディスク１１４には、コンテンツデータ２２１、出演者名データ２２２、および紐付けテーブル２２４が記憶される。ハードディスク１１４にはさらに、顔画像処理部１１６により生成された顔データ２２３が記憶される。
【００６５】
顔データ２２３を生成する顔画像処理部１１６は、出演者抽出制御部２１１、顔検出部２１２、顔静止画像抽出部２１３、および顔特徴量算出部２１４を有する。
【００６６】
出演者抽出制御部２１１は、顔検出部２１２乃至顔特徴量算出部２１４を制御し、顔データを生成させる。
【００６７】
顔検出部２１２は、出演者抽出制御部２１１に制御されて、放送波信号デコーダ１４２から供給されるコンテンツの画像データから、（出演者の）顔画像を検出する。顔画像を検出すると、顔検出部２１２は、検出位置等の顔検出に関する情報を顔静止画像抽出部２１３に供給する。顔静止画像抽出部２１３は、出演者抽出制御部２１１に制御されて、顔検出部２１２において検出された顔画像（静止画像）の抽出を行う。
【００６８】
このとき、顔静止画像抽出部２１３は、顔検出部２１２より検出された顔画像のうち、検索に利用するのにより適切な画像を取捨選択し、選択した画像のみを抽出するようにしてもよい。例えば、コンテンツが動画像である場合、同一人物の顔画像は、一般的に、複数のフレーム画像から検出されるが、顔静止画像抽出部２１３は、これらのうち最適な画像のみを抽出するようにしてもよい。もちろん、この選択は、顔検出部２１２が行うようにしてもよい。
【００６９】
顔静止画像抽出部２１３は、抽出した顔画像を顔特徴量算出部２１４に供給する。顔特徴量算出部２１４は、出演者抽出制御部２１１に制御されて、顔静止画像抽出部２１３により抽出された顔画像の特徴量（顔特徴量）を所定の方法で算出する。
【００７０】
なお、この顔特徴量はどのような情報であってもよい。例えば、輝度値の分布、周波数成分、目と鼻の位置関係等を用いた指標が考えられる。もちろん、これら以外の情報を用いるものであってもよい。また、顔特徴量は、複数種類の指標の組み合わせであってもよい。
【００７１】
顔特徴量算出部２１４は、算出した顔画像の特徴量（顔特徴量）を、顔画像とともに出演者抽出制御部２１１に供給する。
【００７２】
出演者抽出制御部２１１は、供給された顔画像と顔特徴量を顔データとしてハードディスク１１４に供給し、記憶させる（顔データ２２３）。また、出演者抽出制御部２１１は、生成した顔データをデータ紐付け部２０５に供給する。
【００７３】
つまり、ハードディスク１１４には、コンテンツデータ２２１が記憶され、さらに、その録画されたコンテンツ（コンテンツデータ２２１）の、出演者名データ２２２と顔データ２２３が生成されて記憶されるとともに、それらのデータとコンテンツデータ２２１とを紐付けする紐付けテーブル２２４が記憶される。
【００７４】
以上のように録画されたコンテンツについて、ハードディスクレコーダ１００は、顔画像と人物名（出演者名）との関連付けを行い、顔画像と人物名とを関連付ける登録済人物データベースのデータ（登録済人物データ）生成を行う（第２の処理）。次に、この第２の処理に関するハードディスクレコーダ１００の構成例について、図４を参照して説明する。
【００７５】
ハードディスクレコーダ１００は、第１の処理により生成された各データを用いて、複数コンテンツに出演する人物を検索し、その人物の顔画像と人物名とを互いに関連付けることにより、登録済人物データを生成する（第２の処理）。
【００７６】
より具体的には、ハードディスクレコーダ１００は、第１の処理により生成された出演者名データをコンテンツ間で比較し、一致する人物名を特定する（マッチングを行う）とともに、第１の処理により生成された顔データをコンテンツ間で比較し、一致する顔画像を特定する（マッチングを行う）。そして、ハードディスクレコーダ１００は、両者のマッチング結果、比較したコンテンツ同士で一致する顔画像と人物名とを関連付け、登録済人物データベースに登録する。
【００７７】
この第２の処理のための構成として、メインCPU１１１は、図４に示されるように、出演者名マッチング抽出部３０１、顔マッチング制御部３０２、および関連付け部３０３を有する。また、顔画像処理部１１６は、この第２の処理のための構成として、顔特徴量同士の類似度を算出する顔特徴量類似度演算部３１１を有する。
【００７８】
出演者名マッチング抽出部３０１は、ハードディスク１１４に記憶されている紐付けテーブル２２４に基づいて、処理対象のコンテンツデータ２２１に対応する出演者名データ２２２を読み出し、さらに、検索対象のコンテンツデータ２２１に対応する出演者名データ２２２を読み出し、両者のマッチング（共通する出演者名の検索）を行う。出演者名マッチング抽出部３０１は、共通する出演者名を出演者名のマッチング結果として関連付け部３０３に供給する。
【００７９】
顔マッチング制御部３０２は、ハードディスク１１４から、処理対象のコンテンツデータ２２１に対応する顔データ２２３を読み出し、さらに、検索対象のコンテンツデータ２２１に対応する顔データ２２３を読み出し、顔特徴量類似度演算部３１１を利用して、両者のマッチング（一致又は類似する顔画像の検索）を行う。つまり、顔マッチング制御部３０２は、読み出した顔データ２２３を、顔画像処理部１１６の顔特徴量類似度演算部３１１に供給する。
【００８０】
顔特徴量類似度演算部３１１は、供給された複数のコンテンツの顔データ２２３のマッチングを行う。顔特徴量類似度演算部３１１は、所定の方法で顔特徴量同士の類似度を算出し、その類似度が所定の閾値を越えるか否かを判定する。類似度が所定の閾値より高い（または閾値以上である）場合、顔特徴量類似度演算部３１１は、それらの顔画像が一致すると判定し、その旨をマッチング結果として顔マッチング制御部３０２に供給する。顔マッチング制御部３０２は、一致すると判定された顔データを顔画像のマッチング結果として関連付け部３０３に供給する。
【００８１】
関連付け部３０３は、出演者名マッチング抽出部３０１より供給される出演者名のマッチング結果と、顔マッチング制御部３０２より供給される顔画像のマッチング結果とを互いに関連付けて登録済人物データを生成する。関連付け部３０３は、その登録済人物データをハードディスク１１４に供給し、登録済人物データベース３２１に登録する。
【００８２】
図５は、登録済人物データベース３２１に登録される登録済人物データの構成例を示す図である。図５に示されるように、登録済人物データベース３２１には、関連付け部３０３により生成された登録済人物データがレコードとして登録されている（登録済人物データ３２２−１乃至登録済人物データ３２２−Ｈ）。以下において、登録済人物データ３２２−１乃至登録済人物データ３２２−Ｈを互いに区別する必要の無い場合、単に、登録済人物データ３２２と称する。
【００８３】
各登録済人物データ３２２は、人物を識別する人物ID（人物ID＃１乃至人物ID＃Ｈ）、人物名（名前）、顔画像（顔静止画像）、および顔特徴量の各情報を有する。なお、マッチング結果であるならば、１つの人物IDに対して複数の人物名が登録されても良い。同様に、顔画像および顔特徴量の数も任意である。登録済人物データ３２２毎にそれらの数が異なっていてももちろんよい。
【００８４】
なお、顔特徴量類似度演算部３１１により算出される類似度は任意であり、どのようなデータであってもよい。また、その算出方法も任意である。類似度が複数のパラメータにより構成されるようにしてもよい。また、閾値の値も任意である。さらに、類似度と閾値の比較方法も任意である。
【００８５】
以上のようなマッチングの結果において、例えば、類似度が低く（閾値に近似し）、顔画像が一致するとされた判定結果の信頼性が低い場合、ハードディスクレコーダ１００は、顔画像と人物名との関連付け結果、すなわち、登録済人物データをユーザに提示し、ユーザに正しいか否かを判定してもらい、必要に応じて登録済人物データの内容を修正してもらう。
【００８６】
また、例えば、１つの登録済人物データとして、複数の人物名や複数の顔画像が登録された場合、ハードディスクレコーダ１００は、その登録済人物データをユーザに提示し、いずれのデータが正しいかをユーザに選択してもらう（必要に応じて登録済人物データの内容を修正してもらう）。
【００８７】
図６は、このようなユーザ確認に関するハードディスクレコーダ１００の構成例を示すブロック図である。
【００８８】
図６に示されるように、このユーザ確認のための構成として、メインCPU１１１は、データベース管理部３６１および表示制御部３６２を有する。データベース管理部３６１は、ハードディスク１１４に記憶される登録済人物データベース３２１の管理を行う。例えば、データベース管理部３６１は、ユーザ確認を行う登録済人物データを、登録済人物データベース３２１から読み出し、表示制御部３６２に供給する。また、データベース管理部３６１は、入力部１１５を介して入力されるユーザ指示に基づいて、登録済人物データベース３２１のデータの更新を行う。
【００８９】
表示制御部３６２は、データベース管理部３６１から供給された登録済人物データを画像化し、その画像データをグラフィックスコントローラ１４３に供給する。グラフィックスコントローラ１４３は、供給された画像データを表示用の所定の形式に変換する。表示用の形式に変換された画像データは、画面出力部１４４を介してモニタ等の画面３７１に供給され、表示される。
【００９０】
つまり、ユーザ確認が必要な登録済人物データは、データベース管理部３６１により登録済人物データベース３２１から読み出され、表示制御部３６２により画像化され、画面３７１に表示される。ユーザは、この画面３７１を参照し、更新の必要がある場合、入力部１１５を操作して、更新内容を入力する。データベース管理部３６１は、入力部１１５において受け付けられた更新内容に基づいて、登録済人物データベース３２１を更新する。
【００９１】
このようにすることにより、ハードディスクレコーダ１００は、より信頼性の高い登録済人物データベース３２１を構築することができる。
【００９２】
ハードディスクレコーダ１００は、以上のような第２の処理により生成または更新された登録済人物データベース３２１を用いて、ユーザ等に指定される人物名に対応する顔画像を用いたコンテンツの検索を行う（第３の処理）。例えば、ハードディスクレコーダ１００は、このようなコンテンツの検索機能を利用して、ユーザが指定した人物名の人物が登場するコンテンツの録画等の処理を行うことができる。
【００９３】
次に、この第３の処理に関するハードディスクレコーダ１００の構成例について、図７を参照して説明する。ここでは、第３の処理として、ハードディスクレコーダ１００が、ユーザが指定した人物名の人物が登場するコンテンツの録画を行う場合について説明する。
【００９４】
この第３の処理のための構成として、メインCPU１１１は、図７に示されるように、嗜好人物名取得部４０１および顔画像検索部４０２を有する。
【００９５】
嗜好人物名取得部４０１は、例えばハードディスク１１４に記憶されているコンテンツの出演者名データ２２２等に基づいて、ユーザが嗜好する人物名を取得する。例えば、嗜好人物名取得部４０１は、出演者名データ２２２に多く含まれる人物名をユーザが嗜好する人物名であると判定し、それを嗜好人物名として取得する。嗜好人物名取得部４０１は、取得した嗜好人物名を顔画像検索部４０２に供給する。
【００９６】
顔画像検索部４０２はまた、入力部１１５を介して例えばユーザ等により入力された人物名を取得する。顔画像検索部４０２は、ハードディスク１１４の登録済人物データベース３２１から、このように入力部１１５または嗜好人物名取得部４０１より供給された人物名に対応する顔画像を検索し、該当する顔画像を取得する。
【００９７】
また、メインCPU１１１は、この第３の処理のための構成として、顔検索制御部４０３およびチャンネル選択制御部４０４を有する。
【００９８】
顔画像検索部４０２は、取得した顔画像を顔検索制御部４０３に供給する。
【００９９】
顔検索制御部４０３は、チャンネル選択制御部４０４を制御して、受信するチャンネルを切り替えながら、顔画像処理部１１６を制御して、受信されたコンテンツの中から、顔画像検索部４０２より供給される顔画像を検索させる。
【０１００】
チャンネル選択制御部４０４は、顔検索制御部４０３に制御されて、放送波チューナ１４１を制御し、例えば所定の時間（例えば１０秒）毎に受信するチャンネルの切り替えを行う。もちろん、このチャンネル変更タイミングは不定期であってもよい。顔画像処理部１１６において所望の顔画像が検出された場合、チャンネル選択制御部４０４は、顔検索制御部４０３に制御され、例えば、録画処理が終了するまで、チャンネルの切り替えを中止する。
【０１０１】
さらに、メインCPU１１１は、この第３の処理のための構成として、コンテンツデータ生成部２０１、番組データ分離部２０２、EPGデータ生成部２０３、および録画処理制御部４０５を有する。
【０１０２】
録画処理制御部４０５は、EPGデータ生成部２０３において生成されたEPGデータを取得する。録画処理制御部４０５は、顔画像処理部１１６から供給されたマッチング結果と、EPGデータに基づいて、コンテンツデータ生成部２０１によるコンテンツデータの生成を制御する（録画を制御する）。
【０１０３】
例えば、録画処理制御部４０５は、顔画像処理部１１６によるマッチングの結果、現在放送中の番組（コンテンツ）に、ユーザ等に指定された人物名の人物が出演中であると判定されたとき、コンテンツデータ生成部２０１にそのコンテンツのコンテンツデータ２２１を生成させ、ハードディスク１１４に記憶させる（録画させる）。
【０１０４】
このとき、録画処理制御部４０５は、例えば、EPGデータに基づいて、その番組（コンテンツ）の放送終了時刻を把握し、録画終了時刻を決定する。このようにすることにより、録画処理制御部４０５は、コンテンツデータ生成部２０１に、ユーザ等が指定した人物名の人物が出演する番組（コンテンツ）を、その人物が検出されたときから番組の最後まで録画させるようにすることができる。
【０１０５】
なお、図７に示されるように、顔画像処理部１１６は、出演者抽出処理部２１１、顔検出部２１２、顔静止画像抽出部２１３、顔特徴量算出部２１４、および顔特徴量類似度演算部３１１を有する。つまり、顔画像処理部１１６は、基本的に、図２および図４を参照して説明した場合と同様に動作する。
【０１０６】
顔検出部２１２は、検索対象のコンテンツの画像データを放送波信号デコーダ１４２から取得し、顔検索制御部４０３から供給された顔画像の検出を行う。顔静止画像抽出部２１３は、顔検出部２１２により検出された顔画像を抽出する。顔特徴量算出部２１４は、顔静止画像抽出部２１３により抽出された顔画像の顔特徴量を算出する。また、顔特徴量算出部２１４は、顔検索制御部４０３から供給された顔画像の顔特徴量も算出する。顔特徴量類似度演算部３１１は、顔特徴量算出部２１４により算出された各顔画像の特徴量の類似度を算出する。出演者抽出制御部２１１は、類似度が所定の閾値を越えるか否かを判定し、顔特徴量の類似度が所定の閾値を超える（または閾値以上となる）場合、ユーザ等に人物名を指定された人物が、その番組に出演していると判定し、その旨を検索結果として録画処理制御部４０５に通知する。録画処理制御部４０５は、この通知に基づいて、上述したように録画を制御する。
【０１０７】
以上のような方法により、ハードディスクレコーダ１００は、EPGデータを用いずに、ユーザ等が指定した人物名の人物が出演する番組を録画することができる。例えば、ユーザ等が指定した人物名の人物が、番組データの出演者名データ２２２に含まれていない場合であっても、ハードディスクレコーダ１００は、上述したようにその人物が登場するコンテンツを検索し、録画することができる。
【０１０８】
なお、例えば、録画処理制御部４０５が、所望のユーザが出演するシーン（場面）のみを録画させるようにしてもよい。
【０１０９】
また、放送波チューナ１４１が全チャンネルを同時に受信することができるようにし、顔画像処理部１１６が、全チャンネルの番組に対して同時に顔検索を行うことができるようにしてもよい。その場合、コンテンツデータ生成部２０１が、受信されたコンテンツのコンテンツデータを全て生成し、それらを一時的に保持しておき、録画処理制御部４０５から番組が指定された場合、その番組のコンテンツデータをハードディスク１１４に記憶させる（録画する）ようにしてもよい。このようにすることにより、ユーザ等により人物名が指定された人物が、コンテンツのどのシーンで登場する場合であっても、その番組の先頭より録画を行うことができる。
【０１１０】
さらに、顔検索制御部４０３が、所定の１つのチャンネルのみを検索対象とするようにしてもよい。この場合、チャンネルの切り替えが行われないので、全チャンネルを受信する場合と同様に、コンテンツデータ生成部２０１に、番組の先頭から録画を行わせることができる。
【０１１１】
なお、以上のような登録済人物データベースを用いたコンテンツの検索は、録画処理以外にも、例えば、再生の際にも利用することが出来る。例えば、コンテンツを再生する際に、ユーザ等により人物名が指定された人物が出演するシーンのみを抽出して再生するようにすることができる。また、そのようなシーンの一覧をユーザに提示し、どのシーンを再生するかをユーザに選択させることもできる。
【０１１２】
さらに、録画や再生だけでなく、例えば、ハードディスクレコーダ１００が登録済人物データベース３２１の情報をユーザに提示することにより、ユーザは、録画されたコンテンツに搭乗する顔画像に対応する人物名を容易に把握することができる。
【０１１３】
また、検索対象とするコンテンツは任意であり、放送中のコンテンツでなくてもよい。従って、たとえば、ユーザ等により人物名が指定された人物が出演する録画済みコンテンツ（例えばコンテンツ名）の一覧をユーザに提示するようにしてもよい。
【０１１４】
上述したように、検索対象とするコンテンツや、登録済人物データベースの生成に利用するコンテンツは、任意である。例えば、ユーザがビデオカメラやデジタルカメラ等を用いて撮影したコンテンツであってもよいし、光ディスク等のリムーバブルメディアに記録されるコンテンツや、サーバ等の他の装置からネットワーク等を介して配信（ダウンロードやストリーミング）されるコンテンツであってもよい。
【０１１５】
［処理の流れ］
次に、以上のような構成のハードディスクレコーダ１００により実行される各処理の流れを説明する。最初に、図８のフローチャートを参照して、上述した第１の処理に対応する録画処理の流れの例を説明する。つまりこの録画処理は、コンテンツ録画時にコンテンツデータと、出演者名データおよび顔データとの紐付けを行う処理である。
【０１１６】
録画処理が開始されると、放送波チューナ１４１は、ステップＳ１０１において、メインCPU１１１の制御により選択されたチャンネルにおいて放送される番組（コンテンツ）を受信する。放送波チューナ１４１は、受信したテレビジョン信号を復調し、コンテンツのコードストリームを取得する。放送波信号デコーダ１４２は、ステップＳ１０２において、コンテンツのコードストリームを復号する。コンテンツデータ生成部２０１は、ステップＳ１０３において、コードストリームが復号されて得られたコンテンツのデータを用いてコンテンツデータを生成する。
【０１１７】
ステップＳ１０４において、番組データ分離部２０２は、コードストリームが復号されて得られたコンテンツのデータから番組データを分離・抽出する。ステップＳ１０５において、EPGデータ生成部２０３は、その番組データを用いてEPGデータを生成（または更新）する。ステップＳ１０６において、出演者名データ抽出部２０４は、番組データから出演者名データを抽出する。
【０１１８】
ステップＳ１０７において、顔画像処理部１１６の顔検出部２１２は、コンテンツの画像データから出演者の顔部分を検出する。顔静止画像抽出部２１３は、ステップＳ１０８において、コンテンツの画像データから、検出された出演者の顔画像を抽出する。顔特徴量算出部２１４は、ステップＳ１０９において、抽出された顔画像から顔特徴量を算出する。
【０１１９】
ステップＳ１１０において、データ紐付け部２０５は、ステップＳ１０３において生成されたコンテンツデータに、ステップＳ１０６において抽出された出演者名データ、ステップＳ１０８において抽出された顔画像、および、ステップＳ１０９において算出された顔特徴量の各データを対応させる紐付けテーブル２２４を生成する。
【０１２０】
ステップＳ１１１において、ハードディスク１１４は、ステップＳ１０３において生成されたコンテンツデータ２２１、ステップＳ１０６において抽出された出演者名データ２２２、ステップＳ１０８において抽出された顔画像とステップＳ１０９において算出された顔特徴量を含む顔データ２２３、並びに、ステップＳ１１０において生成された紐付けテーブル２２４の各データを記憶する。
【０１２１】
ステップＳ１１２において、メインCPU１１１は、録画処理を終了するか否かを判定する。まだ終了しないと判定された場合、ステップＳ１０１に戻りそれ以降の処理が繰り返される。ステップＳ１１２において、例えば番組の放送が終了する等して、録画処理を終了すると判定された場合、録画処理が終了される。
【０１２２】
以上のように各処理が実行されて録画が行われる。
【０１２３】
次に、図９のフローチャートを参照して、上述した第２の処理に対応する関連付け処理の流れの例を説明する。つまりこの関連付け処理は、登録済人物データベースを生成または更新する処理である。
【０１２４】
関連付け処理が開始されると、ステップＳ１２１において、メインCPU１１１は、検索元コンテンツを任意に１つ決定し、その検索元コンテンツの出演者名データ２２２と顔データ２２３をハードディスク１１４より取得する。ステップＳ１２２において、出演者名マッチング抽出部３０１は、検索元コンテンツに属する、マッチングが取れていない出演者名を使って、他のコンテンツを検索する。つまり、出演者名マッチング抽出部３０１は、顔画像のマッチングをより効率よく行うために、検索元コンテンツの出演者名データを用いて、顔画像のマッチングの対象とするコンテンツの絞込みを行う。
【０１２５】
ステップＳ１２３において、メインCPU１１１は、ステップＳ１２２の検索により、１つ以上のコンテンツが見つかったか否かを判定する。１つ以上のコンテンツが見つかったと判定された場合、ステップＳ１２４に進む。ステップＳ１２４において、顔マッチング制御部３０２は、ステップＳ１２２の検索結果（見つかったコンテンツの中）から任意のコンテンツをひとつマッチングの対象として選択し、そのコンテンツの出演者の顔データ２２３をハードディスク１１４から取得する。
【０１２６】
ステップＳ１２５において、顔マッチング制御部３０２は、ステップＳ１２１において決定した検索元コンテンツの顔データ２２３に含まれる出演者の顔特徴量群と、ステップＳ１２４において選択したマッチング対象のコンテンツの顔データ２２３に含まれる出演者の顔特徴量群とから、それぞれ１つずつ顔特徴量を選択して比較し、顔特徴量類似度演算部３１１を用いて互いの類似度を算出する。
【０１２７】
顔マッチング制御部３０２は、ステップＳ１２５において算出された類似度が、所定の閾値より高いか否かを判定する。高いと判定された場合、ステップＳ１２７に進む。
【０１２８】
ステップＳ１２７において、関連付け部３０３は、類似度が閾値より高いと判定された顔画像と、ステップＳ１２２における検索に使用された出演者名とを関連付け、それらに人物IDを割り当て、登録済人物データを生成する。ステップＳ１２７の処理が終了すると、ステップＳ１３０に進む。
【０１２９】
また、ステップＳ１２６において、類似度が閾値より高くないと判定された場合、ステップＳ１２８に進む。ステップＳ１２８において、顔マッチング制御部３０２は、その顔画像に対して処理済みフラグを立て、その類似度を関連付けてハードディスク１１４等に記憶させる。ステップＳ１２９において、顔マッチング制御部３０２は、検索元コンテンツと現在マッチングの対象とされているコンテンツとの顔画像の全ての組み合わせについて類似度演算を実行したか否かを判定する。未処理の組み合わせが存在すると判定された場合、ステップＳ１２５に戻り、それ以降の処理が繰り返される。
【０１３０】
また、ステップＳ１２９において顔画像の全ての組み合わせについて類似度演算が行われたと判定された場合、ステップＳ１３０に進む。
【０１３１】
ステップＳ１３０において、顔マッチング制御部３０２は、マッチングの対象となる全コンテンツ、すなわち、ステップＳ１２２の検索処理により検索された全てのコンテンツについて、ステップＳ１２４乃至ステップＳ１２９のようなマッチング処理を行ったか否かを判定する。未処理のコンテンツが存在すると判定された場合、ステップＳ１２４に戻りそれ以降の処理が繰りかされる。
【０１３２】
ステップＳ１３０において、ステップＳ１２２の検索処理により検索された全てのコンテンツについて、マッチングが行われたと判定された場合、関連付け処理が終了される。
【０１３３】
また、ステップＳ１２３において、出演者名が検索元コンテンツと重複する他のコンテンツが１つも存在しないと判定された場合、関連付け処理が終了される。
【０１３４】
以上のように各処理が実行されて、コンテンツ間で重複する顔画像と人物名が互いに関連付けられる。
【０１３５】
次に、図１０のフローチャートを参照して、登録済人物データベースのデータの内容をユーザに確認させるユーザ確認処理の流れの例を説明する。
【０１３６】
ユーザ確認処理が開始されると、ステップＳ１５１において、データベース管理部３６１は、内容の確認が必要な登録済人物データ３２２を、ハードディスク１１４の登録済人物データベース３２１から読み出す。
【０１３７】
ステップＳ１５２において、表示制御部３６２は、ステップＳ１５１において読み出された登録済人物データ３２２に含まれる顔画像を画面３７１に表示させる。
【０１３８】
ステップＳ１５３において、入力部１１５は、ユーザ入力の受け付けを開始する。ステップＳ１５４において、入力部１１５は、ユーザ入力を受け付けたか否かを判定し、受け付けたと判定するまで待機する。ステップＳ１５４においてユーザ入力を受け付けたと判定された場合、ステップＳ１５５に進む。
【０１３９】
ステップＳ１５５において、データベース管理部３６１は、受け付けられたユーザ入力に基づいて、登録済人物データベース３２１を更新する。ステップＳ１５６において、データベース管理部３６１は、ユーザ確認処理を終了するか否かを判定する。
【０１４０】
まだ、確認すべきデータが存在し、ユーザ確認処理を終了しないと判定された場合、ステップＳ１５１に戻り、それ以降の処理が繰り返される。また、ステップＳ１５６において、ユーザ確認処理を終了すると判定された場合、ユーザ確認処理が終了される。
【０１４１】
以上のように各処理が実行されて、登録済人物データベース３２１の内容がユーザに確認される。つまり、以上のようなユーザ確認処理により、ユーザが手作業によって登録済人物データベース３２１の内容を編集することができる。
【０１４２】
次に、図１１のフローチャートを参照して、上述した第３の処理に対応する録画処理の流れの例を説明する。つまりこの録画処理は、登録済人物データベース３２１を利用して検索したコンテンツを録画する処理である。
【０１４３】
録画処理が開始されると、ステップＳ１７１において、入力部１１５は、ユーザによる人物名入力を受け付ける。顔画像検索部４０２は、ステップＳ１７２において、ステップＳ１７１において入力された人物名をキーとしてハードディスク１１４の登録済人物データベース３２１を参照し、その人物名に対応する顔画像や顔特徴量が存在するか否かを判定する。存在すると判定された場合、ステップＳ１７３に進む。
【０１４４】
ステップＳ１７３において、顔検索制御部４０３は、ユーザに指定された人物名に対応する顔特徴量を検索キーとして設定する。チャンネル選択制御部４０４は、ステップＳ１７４において、放送波チューナ１４１を制御して任意のチャンネルを選局し、そのチャンネルの放送波を受信し、コードストリームを抽出する。放送波信号デコーダ１４２は、ステップＳ１７５において、ステップＳ１７４において得られたコードストリームを復号する。
【０１４５】
ステップＳ１７６において、顔検出部２１２は、ステップＳ１７５においてコードストリームが復号されて得られたコンテンツの画像データに含まれる顔画像を検出する。ステップＳ１７７において、顔静止画像抽出部２１３は、その検出結果に基づいて顔画像が存在するか否かを判定し、存在しないと判定された場合、ステップＳ１７４に戻り、受信チャンネルが切り替えられて新たなチャンネルに対してステップＳ１７７以降の処理が繰り返される。
【０１４６】
また、ステップＳ１７７において、顔画像が存在すると判定された場合、ステップＳ１７８に進む。ステップＳ１７８において、顔静止画像抽出部２１３は、検出された顔画像の中から任意の顔画像を選択し、抽出する。ステップＳ１７９において、顔特徴量算出部２１４は、抽出された顔画像の顔特徴量を算出する。
【０１４７】
ステップＳ１８０において、顔特徴量類似度演算部３１１は、ステップＳ１７３において検索キーとして設定した顔特徴量と、ステップＳ１７９において得られた顔特徴量の類似度を算出する。
【０１４８】
ステップＳ１８１において、出演者抽出制御部２１１は、ステップＳ１８０において算出された類似度が所定の閾値より高いか否かを判定する。類似度が所定の閾値より低く、一致しないと判定された場合、ステップＳ１７７に戻り、それ以降の処理が繰り返される。
【０１４９】
また、ステップＳ１８１において、類似度が閾値より高いと判定された場合、ステップＳ１８２に進む。
【０１５０】
ステップＳ１８２において、録画処理制御部４０５は、EPGデータ生成部２０３において生成されたEPGデータを利用し、コンテンツデータ生成部２０１を制御して、番組終了まで、現在受信中の番組（コンテンツ）を録画する。番組が終了すると、録画が終了され、録画処理が終了する。
【０１５１】
また、ステップＳ１７２において、ユーザに指定された人物名に対応する顔画像や顔特徴量が存在しないと判定された場合、そのコンテンツにはユーザに指定された人物が登場しないので、録画処理が終了される。
【０１５２】
以上のように各処理が実行されて、顔画像を用いたコンテンツ検索が、コンテンツ録画時に利用される。
【０１５３】
以上のように各種制御が行われることにより、ハードディスクレコーダ１００は、ユーザにとってより効率的な登録済人物データベース３２１を生成することができる。この登録済人物データベース３２１は、ユーザが録画したコンテンツの出演者の顔画像について作成されるので、そのユーザの嗜好性をより強く反映した出演者の選択が行われる。つまり、登録済人物データベース３２１は、ユーザにとってより有用な情報を多く含む。換言するに、登録済人物データベース３２１は、利用される可能性の高いデータをより多く含む。すなわち、ハードディスクレコーダ１００は、より効率の良いコンテンツ検索サービスをユーザに提供することができる。
【０１５４】
なお、登録済人物データベース３２１は、利用される可能性の高いデータをより多く含むことにより、検索性能を不要に低下させずに不要なデータの量を低減させることができる。これにより、登録済人物データベース３２１のデータ量を削減させることが出来る。また、これにより、顔画像検索の付加が低減される。
【０１５５】
さらに上述したように一連の処理は、サーバ等の他の装置を必要とせずに、ハードディスクレコーダ１００のみで処理することができる。すなわち、より容易に登録済人物データベース３２１を生成したり、利用したりすることができる。つまり、ハードディスクレコーダ１００は、より効率の良いコンテンツ検索サービスをより容易に提供することができる。
【０１５６】
さらに、上述したように、登録済人物データベース３２１は、ユーザの手入力無しに容易に生成および更新することができる。もちろん、上述したように、登録済人物データベース３２１の内容をユーザに確認させ、その確認の結果、ユーザが登録済人物データベース３２１の内容を手動により更新することもできる。このように、ハードディスクレコーダ１００は、ユーザの手動操作を利用して、より有用な登録済人物データベース３２１を生成することができる。
【０１５７】
［録画時の関連付け］
なお、以上においては、登録済人物データベース３２１を、録画済みのコンテンツを用いて生成するように説明したが、これに限らず、たとえば、録画中のコンテンツを用いて生成するようにしてもよい。
【０１５８】
図１２のフローチャートを参照して、その場合の関連付け処理の流れの他の例を説明する。この処理は、図９を参照して説明したフローチャートに対応する。
【０１５９】
関連付け処理が開始されると、ステップＳ２０１において、メインCPU１１１は、図９の場合と同様に、検索元コンテンツを任意にひとつ決定する。
【０１６０】
ステップＳ２０２において、出演者名マッチング抽出部３０１は、検索元コンテンツに属する、マッチングが取れていない出演者名を使って、番組表（EPGデータ）から、番組を検索する。つまり、出演者名マッチング抽出部３０１は、顔画像のマッチングをより効率よく行うために、検索元コンテンツの出演者名データを用いて、顔画像のマッチングの対象とする番組の絞込みを行う。
【０１６１】
ステップＳ２０３において、メインCPU１１１は、ステップＳ２０２の検索により、１つ以上のコンテンツが見つかったか否かを判定する。１つ以上のコンテンツが見つかったと判定された場合、ステップＳ２０４に進む。ステップＳ２０４において、放送波チューナ１４１は、指定番組を受信し、ステップＳ２０５において、受信された番組のコードストリームを復号する。
【０１６２】
ステップＳ２０５において、顔マッチング制御部３０２は、デコードした画像から出演者の顔特徴量を取得する。ステップＳ２０６において、顔特徴量類似度演算部３１１は、検索元コンテンツと指定番組の各顔特徴量群から１つずつ顔特徴量を選択して比較し、互いの類似度を算出する。
【０１６３】
ステップＳ２０７において、顔マッチング制御部３０２は、類似度が閾値より高いか否かを判定する。高いと判定された場合、ステップＳ２０８に進む。
【０１６４】
ステップＳ２０８において、関連付け部３０３は、顔特徴量を比較した顔静止画像と、検索された出演者名とを関連付け、人物IDを割り当てる。ステップＳ２０８の処理が終了されると、ステップＳ２０９に進む。
【０１６５】
また、ステップＳ２０７にいて、類似度が閾値より低いと判定された場合、処理はステップＳ２０９に進む。また、ステップＳ２０３において、１つ以上の番組が見つかっていないと判定された場合、処理はステップＳ２０９に進む。
【０１６６】
ステップＳ２０９において、メインCPU１１１は、検索対象画像番組の放送が終了したか否かが判定される。終了していないと判定された場合、ステップＳ２０５に戻り、それ以降の処理が繰り返し実行される。さらに、検索対象番組の放送が終了したと判定された場合、関連付け処理が終了される。
【０１６７】
このようにコンテンツの録画中に登録済人物データベース３２１を生成することにより、録画済のコンテンツが少なくても録画時に登録済人物データベース３２１を生成することができる。また、録画時に登録済人物データベース３２１を生成することにより、より早いタイミングで登録済人物データベース３２１を生成・更新することができるので、より早期に登録済人物データベース３２１を利用することができる。
【０１６８】
［複数候補の関連付け］
さらに、コンテンツ間で複数の出演者が共通する等、１度のマッチングで顔画像と人物名を一義的に関連付けることができない場合が考えられる。その場合、マッチングの結果として複数の顔画像（顔特徴量）と複数の人物名を候補として関連付け、それらをユーザに提示して正しい組み合わせを候補の中からユーザに選択させるようにしてもよい。
【０１６９】
また、さらに他のコンテンツを用いてマッチングを行い、候補の中から絞り込みを行うようにしてもよい。例えば、２つのコンテンツに共通する出演者数よりも３つのコンテンツに共通する出演者の数の方が少ない。さらにコンテンツを増やすほど、全てのコンテンツに共通する出演者の数は減少する。このことを利用して、マッチングを繰り返すことにより、顔画像（顔特徴量）と人物名の組み合わせの候補の絞込みを行う。各マッチングは、上述した場合と同様に実行することができる。つまり、この場合も回数が増えるだけで、容易に登録済人物データベース３２１を生成・更新することができる。
【０１７０】
さらに、顔画像（顔特徴量）または人物名のマッチングを、３つ以上のコンテンツの出演者について一度に行うようにしてもよい。その場合、マッチングに用いた全てのコンテンツに共通する出演者を一度に特定することができる。
【０１７１】
さらに、コンテンツ間で複数の出演者が共通する場合、類似度の最も高い顔画像のみを関連付けるようにしてもよい。図１３のフローチャートを参照して、この場合の関連付け処理の流れの例を説明する。
【０１７２】
この場合も、基本的に図９のフローチャートを参照して説明した場合と同様に各処理が実行される。すなわち、図１３のステップＳ３０１乃至ステップＳ３０６の各処理は、図９のステップＳ１２１乃至ステップＳ１２６の各処理と同様に実行される。
【０１７３】
また、図１３のステップＳ３１０乃至ステップＳ３１２の各処理も、図９のステップＳ１２８乃至ステップＳ１３０の各処理と同様に実行される。
【０１７４】
ステップＳ３０６において、類似度が閾値より高いと判定された場合、ステップＳ３０７に進む。ステップＳ３０７において、顔マッチング制御部３０２は、比較した顔特徴量および顔画像等のデータを、候補として保持する。
【０１７５】
ステップＳ３０８において、顔マッチング制御部３０２は、顔画像の全ての組み合わせについて類似度演算を実行したか否かを判定する。未処理の顔画像の組み合わせが存在すると判定された場合、ステップＳ３０５に戻り、それ以降の処理が繰り返される。
【０１７６】
ステップＳ３０８において、全ての組み合わせについて類似度演算を行ったと判定された場合、ステップＳ３０９に進む。ステップＳ３０９において、関連付け部３０３は、候補の中で最も類似度の高い顔静止画像と出演者名とを関連付け、人物IDを割り当て、登録済人物データ３２２を生成する。
【０１７７】
このように処理を行うことにより、最も正しい可能性の高いマッチング結果を用いて登録済人物データベース３２１を生成・更新することができる。つまり、登録済人物データベース３２１の信頼性を向上させることができる。
【０１７８】
なお、マッチングする出演者名が複数存在する場合、例えば、出演者名データの並び順等を用いて出演者の重み付けを行い、より重要な出演者を１つ選択するようにしてもよい。EPGデータ等においては一般的に、コンテンツの出演者リストはその出演者の重要度順に整列されている。つまり、検索対象とされる可能性が高い人物ほど、先に並べられる。このような整列順を利用し、マッチングする出演者の中からより重要な出演者を選択するようにする。
【０１７９】
より重要な出演者の顔画像の類似度がより高くなるとは限らないが、利用される可能性の高い人物名を関連付けることにより、ユーザがそのデータを確認する可能性が高くなるので、仮にその顔画像と人物名の関連付けが間違っている場合であっても、より早期に修正が施される可能性が高くなる。
【０１８０】
また、重要な人物の場合、その他の番組に出演する可能性もより高くなる。したがって、上述したようにさらに他のコンテンツとでマッチングを行う際に、出演者名がマッチングする可能性が高くなる。つまり顔画像のマッチングも行われる可能性が高くなるため、より早期に修正が施される可能性が高くなる。
【０１８１】
以上のように、登録済人物データベース３２１の信頼性を向上させることができる。
【０１８２】
なお、以上においては、コンテンツを記録するハードディスクレコーダについて説明したが、登録済人物データベース３２１を生成することが出来ればよいので、どのような装置であってもよく、少なくともコンテンツの顔画像、顔特徴量、および人物名を抽出し記録することができれば、コンテンツデータを記録することが出来ない装置であってもよい。例えば、テレビジョン受像機等において、受信中の番組の出演者の顔画像、顔特徴量、および出演者名を抽出して記録し、新たに受信された番組との間で、それらのマッチングを行い、登録済人物データベース３２１を生成するようにしてもよい。また、例えば、デジタルカメラやビデオカメラ等であってもよいし、パーソナルコンピュータ等であっても良い。コンテンツデータを処理する装置であれば、基本的にどのような装置でも適用可能である。
【０１８３】
［パーソナルコンピュータの構成］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１４に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１８４】
図１４において、パーソナルコンピュータ５００のCPU５０１は、ROM５０２に記憶されているプログラム、または記憶部５１３からRAM５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８５】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０１８６】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８７】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０１８８】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１８９】
この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０１９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９２】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０１９３】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９４】
１００  ハードディスクレコーダ，  １１１  メインCPU，  １１４  ハードディスク，  １１６  顔画像処理部，  １４１  放送波チューナ，  １４２  放送波信号デコーダ，  ２０１  コンテンツデータ生成部，  ２０２  番組データ分離部，  ２０４  出演者名データ抽出部，  ２０５  データ紐付け部，  ２１１  出演者抽出制御部，  ２１２  顔検出部，  ２１３  顔静止画像抽出部，  ２１４  顔特徴量算出部，  ２２１  コンテンツデータ，  ２２２  出演者名データ，  ２２３  顔データ，  ２２４  紐付けテーブル，  ３０１  出演者名マッチング抽出部，  ３０２  顔マッチング制御部，  ３０３  関連付け部，  ３１１  顔特徴量類似度演算部，  ３２１  登録済人物データベース，  ３６１  データベース管理部，  ３６２  表示制御部，  ４０１  嗜好人物名取得部，  ４０２  顔画像検索部，  ４０３  顔検索制御部，  ４０４  チャンネル選択制御部，  ４０５  録画処理制御部
【図１】
2010283517.tif 000003
【図２】
2010283517.tif 000004
【図３】
2010283517.tif 000005
【図４】
2010283517.tif 000006
【図５】
2010283517.tif 000007
【図６】
2010283517.tif 000008
【図７】
2010283517.tif 000009
【図８】
2010283517.tif 000010
【図９】
2010283517.tif 000011
【図１０】
2010283517.tif 000012
【図１１】
2010283517.tif 000013
【図１２】
2010283517.tif 000014
【図１３】
2010283517.tif 000015
【図１４】
2010283517.tif 000016