(57)【要約】【課題】本発明は、番組受信装置、番組受信方法、番組受信方法のプログラム及び番組受信方法のプログラムを記録した記録媒体に関し、例えばテレビジョン放送等をハードディスク装置に記録するハードディスクレコーダに適用して、出演者の名前と顔とが結びつかない場合でも、電子番組表等の番組情報を利用した種々の処理を実行することができるようにする。【解決手段】本発明は、番組の出演者の顔認識処理結果である顔画像の識別子と、電子番組表等による番組情報から取得した出演者名とを対応付けて記録する。【選択図】        図１
2007251296.tif 000002
【特許請求の範囲】
【請求項１】
放送により提供される番組を受信する番組受信装置において、
前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出部と、
前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成部と、
番組毎に、前記人名抽出部で検出した出演者名と前記番組識別子生成部で生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付け部とを備える
ことを特徴とする番組受信装置。
【請求項２】
放送により提供される番組を受信する番組受信方法において、
前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出のステップと、
前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成のステップと、
番組毎に、前記人名抽出のステップで検出した出演者名と前記番組識別子生成のステップで生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付けのステップとを有する
ことを特徴とする番組受信方法。
【請求項３】
前記データベースの記録及び前記番組の情報に基づいて、受信可能な番組に出演する出演者の顔画像を表示する顔画像表示のステップと、
前記顔画像の表示のステップで表示した顔画像の選択に応じて、前記番組情報に基づいて、該選択された顔画像の出演者が出演する番組を受信する番組受信のステップとを有する
ことを特徴とする請求項２に記載の番組受信方法。
【請求項４】
前記番組受信のステップによる番組の受信が、記録媒体への該番組の記録のための受信である
ことを特徴とする請求項３に記載の番組受信方法。
【請求項５】
前記番組情報に基づいて、受信可能な番組に出演する出演者名を表示する出演者名表示のステップと、
前記データベースの記録に基づいて、前記出演者名表示のステップで表示した出演者名の顔画像を表示する顔画像表示のステップと、
前記出演者名表示のステップで表示した出演者名の選択に応じて、前記番組情報に基づいて、該選択された出演者名の出演者が出演する番組を受信する番組受信のステップとを有する
ことを特徴とする請求項２に記載の番組受信方法。
【請求項６】
前記番組受信のステップによる番組の受信が、記録媒体への該番組の記録のための受信である
ことを特徴とする請求項４に記載の番組受信方法。
【請求項７】
前記番組情報が、電子番組表の情報である
ことを特徴とする請求項２に記載の番組受信方法。
【請求項８】
前記番組を提供する放送のコマーシャルから、コマーシャルの出演者の顔画像を特徴付ける識別子を生成して記録するコマーシャルの識別子生成のステップと、
前記識別子、人名対応付けのステップにおいて、前記出演者名と対応付けする前記識別子を、前記コマーシャルの識別子生成のステップで生成した前記識別子を基準にして絞り込む絞り込みのステップとを有する
ことを特徴とする請求項２に記載の番組受信方法。
【請求項９】
前記番組からクローズドキャプション情報を検出するクローズドキャプション情報検出のステップと、
前記クローズドキャプション情報検出のステップで検出したクローズドキャプションの情報から人物名を検出し、該検出した人物名により前記データベースを検索して対応する顔画像を表示するクローズドキャプション情報の顔画像表示のステップとを有する
ことを特徴とする請求項２に記載の番組受信方法。
【請求項１０】
放送により提供される番組を受信する番組受信方法のプログラムにおいて、
前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出のステップと、
前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成のステップと、
番組毎に、前記人名抽出のステップで検出した出演者名と前記番組識別子生成のステップで生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付けのステップとを有する
ことを特徴とする番組受信方法をプログラム。
【請求項１１】
放送により提供される番組を受信する番組受信方法のプログラムを記録した記録媒体において、
前記受信方法のプログラムは、
前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出のステップと、
前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成のステップと、
番組毎に、前記人名抽出のステップで検出した出演者名と前記番組識別子生成のステップで生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付けのステップとを有する
ことを特徴とする番組受信方法をプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、番組受信装置、番組受信方法、番組受信方法のプログラム及び番組受信方法のプログラムを記録した記録媒体に関し、例えばテレビジョン放送等をハードディスク装置に記録するハードディスクレコーダに適用することができる。本発明は、番組の出演者の顔認識処理結果である顔画像の識別子と、電子番組表の番組情報から取得した出演者名とを対応付けて記録することにより、出演者の名前と顔とが結びつかない場合でも、電子番組表等の番組情報を利用した種々の処理を実行することができるようにする。
【背景技術】
【０００２】
従来、テレビ番組の受信に関して、特開２００４−３６３９４号公報等に、電子番組表等の番組情報を利用してユーザーの利便を図る方法が種々に提案されている。すなわち例えば各番組の出演者名を含む番組情報を受信し、この受信した番組情報に基づいて番組毎に出演者名を表示すれば、ユーザーの好みの俳優、タレントの出演する番組を選択的に視聴可能、録画可能とすることができる。
【０００３】
しかしながら実際上、出演者の名前と顔とが結びつかない場合もある。具体的に、出演者の顔は判るけれど、名前は知らない場合、名前を度忘れした場合等である。
【０００４】
このような場合、顔は判っているのにもかかわらず、電子番組表等による番組情報によっては、ユーザーの所望する俳優等が出演する番組を視聴したり録画したりすることが困難になり、結局、電子番組表等の番組情報を利用した種々の処理を実行できなくなる問題がある。
【特許文献１】特開２００４−３６３９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の点を考慮してなされたもので、出演者の名前と顔とが結びつかない場合でも、電子番組表等の番組情報を利用した種々の処理を実行することができる番組受信装置、番組受信方法、番組受信方法のプログラム及び番組受信方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため請求項１の発明は、放送により提供される番組を受信する番組受信装置に適用して、前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出部と、前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成部と、番組毎に、前記人名抽出部で検出した出演者名と前記番組識別子生成部で生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付け部とを備えるようにする。
【０００７】
また請求項２の発明は、放送により提供される番組を受信する番組受信方法に適用して、前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出のステップと、前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成のステップと、番組毎に、前記人名抽出のステップで検出した出演者名と前記番組識別子生成のステップで生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付けのステップとを有するようにする。
【０００８】
また請求項１０の発明は、放送により提供される番組を受信する番組受信方法のプログラムに適用して、前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出のステップと、前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成のステップと、番組毎に、前記人名抽出のステップで検出した出演者名と前記番組識別子生成のステップで生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付けのステップとを有するようにする。
【０００９】
また請求項１１の発明は、放送により提供される番組を受信する番組受信方法のプログラムを記録した記録媒体に適用して、前記受信方法のプログラムは、前記番組の番組情報から前記番組の出演者名を検出して記録する人名抽出のステップと、前記番組から出演者の顔画像を特徴付ける識別子を生成して記録する番組識別子生成のステップと、番組毎に、前記人名抽出のステップで検出した出演者名と前記番組識別子生成のステップで生成した前記識別子とを比較し、前記出演者名と前記識別子とを対応付けて記録してデータベースを作成する識別子、人名対応付けのステップとを有するようにする。
【００１０】
それぞれ請求項１、請求項２、請求項１０、請求項１１の構成によれば、番組の出演者名と顔画像とがデータベースの記録により対応付けられていることから、電子番組表等の番組情報を利用して出演者名で種々の処理を実行する場合と同一に、顔画像により電子番組表等の番組情報を利用して種々の処理を実行することができる。これにより出演者の名前と顔とが結びつかない場合でも、電子番組表等の番組情報を利用した種々の処理を実行することができる。
【発明の効果】
【００１１】
本発明によれば、出演者の名前と顔とが結びつかない場合でも、電子番組表等の番組情報を利用した種々の処理を実行することができる。
【発明を実施するための最良の形態】
【００１２】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１３】
（１）実施例の構成
図２は、本発明の実施例１のハードディスクレコーダを示すブロック図である。このハードディスクレコーダ１において、チューナ２は、システムコントローラ３の制御に従って、アンテナ４で受信されるテレビジョン放送波を選局し、テレビジョン放送によるビデオ信号、オーディオ信号を入力切換回路５に出力する。またチューナ２は、電子番組表のデータ、文字放送用のデータ等を受信し、これらのデータをシステムコントローラ３に出力する。入力切換回路５は、システムコントローラ３の制御に従って、このチューナ２から出力されるビデオ信号及びオーディオ信号、外部入力によるビデオ信号及びオーディオ信号を選択的に入力し、この入力したビデオ信号及びオーディオ信号をそれぞれＹＣ分離回路６、アナログディジタル変換回路（Ａ／Ｄ）７に出力する。ＹＣ分離回路６は、入力切換回路５から入力されるビデオ信号をＹＣ分離処理し、輝度信号及び色差信号を出力する。
【００１４】
ＮＴＳＣデコーダ１０は、ＹＣ分離回路６から出力される輝度信号及び色差信号から同期信号を抽出して同期信号制御回路１１に出力し、同期信号制御回路１１は、このＮＴＳＣデコーダ１０から出力される同期信号を基準にしてこのハードディスクレコーダ１の処理に必要な各種クロック等を生成する。またＮＴＳＣデコーダ１０は、この同期信号制御回路１１で生成されるクロックを基準にして輝度信号及び色差信号をアナログディジタル変換処理して輝度データ及び色差データを出力する。なお以下において、この輝度データ及び色差データを適宜、画像データと呼ぶ。
【００１５】
プリ映像信号処理回路１２は、このＮＴＳＣデコーダ１０から出力される画像データをフィルタリング処理等して出力する。ビデオエンコーダ１３は、このプリ映像信号処理回路１２から出力される画像データをＭＰＥＧ（Moving Picture Experts Group）２の手法によりデータ圧縮して出力する。
【００１６】
アナログディジタル変換回路７は、入力切換回路５から出力されるオーディオ信号をアナログディジタル変換処理してオーディオデータを出力する。オーディオエンコーダ１４は、このアナログディジタル変換回路７から出力されるオーディオデータをＭＰＥＧ２の手法によりデータ圧縮して出力する。
【００１７】
ディジタルインターフェース１５は、外部機器との間でデータ圧縮されたビデオデータ及びオーディオデータによるトランスポートストリームを入出力する。マルチプレクサ／デマルチプレクサ１６は、ビデオエンコーダ１３、オーディオエンコーダ１４から出力されるビデオデータ及びオーディオデータを多重化処理してバッファコントローラ１７に出力し、またバッファコントローラ１７の出力データをＡＶデコーダ１９に出力する。また同様にしてバッファコントローラ１７、ディジタルインターフェース１５との間でビデオデータ及びオーディオデータによるトランスポートストリームを入出力する。
【００１８】
バッファコントローラ１７は、マルチプレクサ／デマルチプレクサ１６の出力データ、システムコントローラ３の出力データをハードディスク装置（ＨＤＤ）１８に記録し、またこれとは逆にハードディスク装置１８より再生したデータをマルチプレクサ／デマルチプレクサ１６、システムコントローラ３に出力する。これらによりハードディスクレコーダ１は、テレビジョン放送、外部機器による映像コンテンツ、システムコントローラ３による各種データをハードディスク装置１８に記録し、また記録した映像コンテンツ、各種のデータを再生する。
【００１９】
ＡＶデコーダ１９は、マルチプレクサ／デマルチプレクサ１６から出力されるトランスポートストリームをビデオデータ及びオーディオデータに分離してデータ伸長し、その処理結果によるビデオデータ及びオーディオデータをそれぞれポスト映像信号処理回路２０、ポスト音声信号処理回路２１に出力する。ポスト映像信号処理回路２０は、このＡＶデコーダ１９から出力されるビデオデータ、又はプリ映像信号処理回路１２から出力されるビデオデータを選択的に取得してフィルタリング等の処理を実行する。オンスクリーンディスプレイ（ＯＳＤ）回路２２は、このポスト映像信号処理回路２０から出力されるビデオデータにオンスクリーン表示用のビデオデータを合成して出力し、ＮＴＳＣエンコーダ２３は、このオンスクリーンディスプレイ回路２２から出力されるビデオデータをディジタルアナログ変換処理した後、コンポジットのビデオ信号、Ｓビデオ信号等により出力する。
【００２０】
ポスト音声信号処理回路２１は、ＡＶデコーダ１９から出力されるオーディオデータを入力してフィルタリング処理等して出力する。選択回路２５は、このポスト音声信号処理回路２１から出力されるオーディオデータ、又はアナログディジタル変換回路７から出力されるオーディオデータを選択してディジタルアナログ変換回路（Ｄ／Ａ）２６に出力する。ディジタルアナログ変換回路２６は、この選択回路２５から出力されるオーディオデータをディジタルアナログ変換処理してオーディオ信号を出力する。
【００２１】
これらによりこのハードディスクレコーダ１は、ハードディスク装置１８に記録した各種映像コンテンツを再生してモニタ装置等に出力できるように構成され、さらには録画中の映像コンテンツを外部機器によりモニタできるように構成される。
【００２２】
システムコントローラ３は、このハードディスクレコーダ１の動作を制御する制御手段である。システムコントローラ３は、ランダムアクセスメモリ（ＲＡＭ）２８にワークエリアを確保してリードオンリメモリ（ＲＯＭ）２９に記録されたプログラムを実行し、ユーザーによる操作に応動して各部の動作を制御する。なおこの実施例において、このシステムコントローラ３のプログラムは、このハードディスクレコーダ１に記録されて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００２３】
システムコントローラ３は、このプログラムの実行により、ユーザーがテレビジョン放送の視聴を指示すると、チューナ２等の動作を制御してユーザーの指定したテレビジョン放送を受信する。また受信したビデオ信号及びオーディオ信号を外部のモニタ装置に出力し、テレビジョン放送による映像コンテンツを視聴できるようにする。またユーザーがテレビジョン放送の記録を指示すると、チューナ２等の動作を制御してユーザーの指定したテレビジョン放送を受信してハードディスク装置１８に記録し、これによりテレビジョン放送による映像コンテンツを記録する。またユーザーがタイマー録画を指示すると、図示しないタイマーにより現在時刻を計測してタイマー録画を開始する。またユーザーがハードディスク装置１８に記録した映像コンテンツの再生を指示すると、同様に各部の動作を制御してユーザーが指示した映像コンテンツを再生してＮＴＳＣエンコーダ２３から出力する。
【００２４】
これらの処理において、システムコントローラ３は、テレビジョン放送を受信している場合、プリ映像信号処理回路１２から画像データを取得して処理することにより、番組の出演者を顔認識処理する。またシステムコントローラ３は、チューナ２で受信した電子番組表の番組情報を記録して保持し、この保持した電子番組表に記録された出演者名を顔認識結果と対応付けて記録する。システムコントローラ３は、この顔認識結果と対応付けした出演者名の記録により、顔認識結果と対応付けした出演者名のデータベースを構築する。またこのデータベースを利用して番組録画等の処理を実行する。なおここで番組情報とは、番組を視聴するために必要な放送チャンネル、放送時間、タイトル等の情報であり、この実施例では出演者名を含む情報である。
【００２５】
ここで図３は、システムコントローラ３の電子番組表の処理を示すフローチャートである。システムコントローラ３は、チューナ２から出力される電子番組表のデータの監視により、各チャンネルで電子番組表の更新が検出されると、この処理手順を開始する。すなわちシステムコントローラ３は、ステップＳＰ１からステップＳＰ２に移り、チューナ２から出力される各種のデータを受信し、この受信したデータから電子番組表（ＥＰＧ：Electronic Program Guide）のデータを選択する。またシステムコントローラ３は、この選択した電子番組表の情報をハードディスク装置１８に記録し、タイマー録画等に利用できるようにする。
【００２６】
続いてシステムコントローラ３は、ステップＳＰ３に移り、このハードディスク装置１８に記録した電子番組表の情報を解析し、各番組毎に、電子番組表に記録された出演者名を検出する。なおここでこの出演者名の検出は、例えば電子番組表に記録された番組毎に、形態素解析を用いて電子番組表の文字列を構文解析し、出演者の名前と判断される文字列を順次切り出して実行される。
【００２７】
システムコントローラ３は、続くステップＳＰ４において、ステップＳＰ３で検出した出演者の名前を、対応する番組の放送チャンネル、放送日時と対応付けてハードディスク装置１８に記録し、各番組の出演者名のデータベースをハードディスク装置１８に構築する。なおこのような電子番組表を処理して出演者の名前を検出する代わりに、電子番組表とは別に、テレビジョン放送のメタデータにより各番組の出演者を放送するようにして、このメタデータから各番組の出演者名を検出するようにしてもよい。またインターネット等のネットワークを介してサーバーにアクセスし、このサーバーから各番組の出演者名を検出するようにしてもよい。また俳優、タレント等の名前によるデータベースを事前に用意しておき、このデータベースと電子番組表とを照合して各番組の出演者の名前を検出してもよい。
【００２８】
このステップＳＰ４の処理を完了すると、システムコントローラ３は、ステップＳＰ５に移ってこの処理手順を終了する。この図３の処理手順の実行により、システムコントローラ３は、図４に示すように、放送受信部で受信したメタデータを受信するデータ受信部３Ａ、このデータ受信部３Ａで受信したメタデータから電子番組表のデータを受信するＥＰＧ受信部３Ｂ、このＥＰＧ受信部３Ｂで受信した電子番組表のデータから各番組の出演者名を検出する人名抽出部３Ｃを構成する。またハードディスク装置１８は、ＥＰＧ受信部３Ｂで受信した電子番組表のデータを記録するＥＰＧ情報蓄積部１８Ａ、各番組の出演者名を放送チャンネル、放送日時と対応付けて記録する人名蓄積部１８Ｂを構成する。なおこの図４において、放送受信部は、チューナ２である。
【００２９】
これに対して図５は、番組受信中におけるシステムコントローラ３の処理手順を示すフローチャートである。システムコントローラ３は、ハードディスク装置１８に記録した電子番組表のデータに基づいて、番組毎にこの処理手順を実行する。すなわちシステムコントローラ３は、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、プリ映像信号処理回路１２から出力される画像データを１ピクチャー分受信する。続いてシステムコントローラ３は、ステップＳＰ１３に移り、受信した１ピクチャーの画像データに顔の画像が存在するか否か判定する。なおこの顔の判定は、例えば顔の特徴を示す基準のテンプレートとのマッチングにより実行される。
【００３０】
ここで受信した１ピクチャーの画像に顔の画像が含まれている場合、システムコントローラ３は、ステップＳＰ１３からステップＳＰ１４に移り、この受信した１ピクチャーの画像を画像解析し、この１ピクチャーの画像に含まれている顔を特徴付ける識別子を設定する。なおここでこの識別子の設定にあっては、種々の手法を広く適用することができるものの、この実施例ではTurk等が提案した固有顔(eigenface) による方法（M.Turk and A.Pentland, ''Eigenfaces for recognition,'' Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71-86 (1991). ）、（M.A.Turk and A.P.Pentland, ''Face recognition using eigenfaces,'' Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591 (1991).）を適用する。なおこの手法は、Appearance-based顔認識手法と呼ばれる。この手法の適用によりシステムコントローラ３は、ハードディスク装置１８に保持した学習用の顔画像を基準にしたＭ次元のベクトル空間の座標値で、この受信した１ピクチャーの画像に含まれる顔画像の識別子を設定する。
【００３１】
このステップＳＰ１４の処理を実行すると、システムコントローラ３は、続いてステップＳＰ１５に移るのに対し、ステップＳＰ１３で否定結果が得られると、直接ステップＳＰ１３からステップＳＰ１５に移る。このステップＳＰ１５において、システムコントローラ３は、続くピクチャーがコマーシャル（ＣＭ）中か否か判断する。なおここでこの続くピクチャーは、例えば続くシーンの先頭ピクチャー、ステップＳＰ１２で受信したピクチャーから所定枚数だけ離間したピクチャー等である。
【００３２】
ここで肯定結果が得られると、システムコントローラ３は、ステップＳＰ１５を繰り返してコマーシャルの終了を待機する。またステップＳＰ１５で否定結果が得られると、システムコントローラ３は、ステップＳＰ１５からステップＳＰ１６に移り、ここで番組の終了か否か判断する。このステップＳＰ１６で否定結果が得られると、システムコントローラ３は、ステップＳＰ１２に戻る。
【００３３】
これによりシステムコントローラ３は、コマーシャルの区間を除いて、ステップＳＰ１２−ＳＰ１３−ＳＰ１４−ＳＰ１５−ＳＰ１６−ＳＰ１２の処理手順を繰り返し、例えばシーン毎に、又は所定ピクチャー毎に、現在受信中の番組における顔の画像を検出し、この顔の画像を特徴付ける識別子を順次設定する。また１つの番組について、この一連の処理を完了すると、ステップＳＰ１６で肯定結果が得られ、ステップＳＰ１６からステップＳＰ１７に移る。
【００３４】
このステップＳＰ１７において、システムコントローラ３は、各ピクチャーで検出した識別子の差異を計算し、続くステップＳＰ１８において、この計算した差異が所定範囲内の識別子を１つにまとめる。なおここでこの差異の計算は、顔の画像の識別子がＭ次元のベクトル空間の座標値で表されることから、このＭ次元のベクトル空間における識別子間の距離により求められ、この距離が小さい１つのグループについて、続くステップＳＰ１８において、この１つのグループの座標値を平均値化してこれらの識別子が１つにまとめられる。この一連の処理により、システムコントローラ３は、１つの番組に出演している顔画像の識別子を出演者毎に検出する。
【００３５】
続いてシステムコントローラ３は、ステップＳＰ１９に移り、顔認識結果と対応付けした出演者名のデータベースに既登録の識別子を、ステップＳＰ１８で検出した識別子から削除する。また残った識別子を続くステップＳＰ２０において、ハードディスク装置１８に記録して保持し、続くステップＳＰ２１でこの処理手順を終了する。なおこの実施例において、システムコントローラ３は、ステップＳＰ２０において、識別子を登録する場合には、併せて番組から検出した対応する顔の画像をハードディスク装置１８に記録して保持する。
【００３６】
ところでこの図５の処理によれば、番組の出演者だけでなく、単なる通行人、エキストラ等の識別子まで検出されることから、番組によっては膨大な数の識別子が検出される。そこでシステムコントローラ３は、コマーシャルについても同様にして出演者の顔を特徴付ける識別子を検出し、この識別子を図５の処理手順で検出した識別子の処理に利用する。
【００３７】
このためシステムコントローラ３は、コマーシャル毎に図６に示す処理手順を実行し、コマーシャルに出演する出演者の識別子を検出する。すなわちシステムコントローラ３は、この処理手順を開始すると、ステップＳＰ３１からステップＳＰ３２に移り、プリ映像信号処理回路１２から出力される画像データを１ピクチャー分受信する。続いてシステムコントローラ３は、ステップＳＰ３３に移り、ステップＳＰ１３の場合と同様に、受信した１ピクチャーの画像データに顔の画像が存在するか否か判定する。
【００３８】
ここで受信した１ピクチャーの画像に顔の画像が含まれている場合、システムコントローラ３は、ステップＳＰ３３からステップＳＰ３４に移り、ステップＳＰ１４の場合と同様に、この受信した１ピクチャーの画像を画像解析し、この１ピクチャーの画像に含まれている顔の識別子を検出する。なおここでバストショットに限って識別子を検出するようにして、単なるエキストラの識別子を検出しないようにしてもよい。すなわちコマーシャルでは、俳優、タレントのイメージを利用するものが多く、このようなコマーシャルでは、俳優、タレントがバストショットで撮影されることが多い。従ってバストショットに限って識別子を検出すれば、単なるエキストラを識別子の検出対象から除外して処理を簡略化することができる。なおここでバストショットは、人物の胸から上を撮影したショットである。また実用上充分にエキストラ等を識別子の検出対象から除外することができれば、バストショットに加えて、顔の表情をとらえたアップショット、人物の腰から上を撮影したウエストショットを識別子の検出対象に加えるようにしてもよい。
【００３９】
このステップＳＰ３４の処理を実行すると、システムコントローラ３は、続いてステップＳＰ３５に移るのに対し、ステップＳＰ３３で否定結果が得られると、直接ステップＳＰ３３からステップＳＰ３５に移る。このステップＳＰ３５において、システムコントローラ３は、コマーシャルが終了したか否か判断し、ここで否定結果が得られると、ステップＳＰ３２に戻り、続くピクチャーを受信する。なおここでこの続くピクチャーは、例えば続くシーンの先頭ピクチャー、直前のステップＳＰ３２で受信したピクチャーから所定枚数だけ離間したピクチャー等である。
【００４０】
これによりシステムコントローラ３は、コマーシャルの区間で、ステップＳＰ３２−ＳＰ３３−ＳＰ３４−ＳＰ３５−ＳＰ３２の処理手順を繰り返し、例えばシーン毎に、又は所定ピクチャー毎に、コマーシャル出演者の顔画像を検出し、この顔画像を特徴付ける識別子を順次設定する。また１つのコマーシャルについて、この一連の処理を完了すると、ステップＳＰ３５で肯定結果が得られ、ステップＳＰ３５からステップＳＰ３６に移る。
【００４１】
このステップＳＰ３６において、システムコントローラ３は、ステップＳＰ１７の場合と同様に、検出した識別子の差異を計算する。また続くステップＳＰ３７において、ステップＳＰ１８の場合と同様に、この計算した差異が所定範囲内の識別子を１つにまとめる。この一連の処理により、システムコントローラ３は、１つのコマーシャルに出演している各出演者の顔画像を特徴付ける識別子を検出する。
【００４２】
続いてシステムコントローラ３は、ステップＳＰ３８に移り、顔認識結果と対応付けした出演者名のデータベースに既登録の識別子を、このようにして検出した識別子から削除する。また続くステップＳＰ３９において、残った識別子をハードディスク装置１８に記録して保持し、続くステップＳＰ３１でこの処理手順を終了する。
【００４３】
この図５及び図６の処理手順の実行により、システムコントローラ３は、図４との対比により図７に示すように、プリ映像信号処理回路１２から出力される画像データを受信する映像受信部３Ｄ、この映像受信部３Ｄで受信した画像データに顔画像が含まれているか否か判断する顔判断部３Ｅ、この顔判断部３Ｅで顔画像が含まれていると判断したピクチャーを処理して、番組及びコマーシャルの出演者の顔を特徴付ける識別子を生成する顔識別子生成部３Ｆを構成する。またシステムコントローラ３は、受信した画像データからコマーシャルを検出するＣＭ検出部３Ｇ、このＣＭ検出部３による検出結果に基づいて番組の区切りを検出する番組検出部３Ｈ、顔識別子生成部３Ｆで生成した識別子をコマーシャルの出演者毎に１つにまとめてハードディスク装置１８に記録するコマーシャル類似識別子統合部３Ｉ、顔識別子生成部３Ｆで生成した識別子を番組の出演者毎に１つにまとめてハードディスク装置１８に記録する番組類似識別子統合部３Ｊを構成する。なおこの図７において、コマーシャル識別子蓄積部１８Ｃは、このコマーシャル類似識別子統合部３Ｉによる識別子を蓄積して保持し、番組識別子蓄積部１８Ｄは、この番組類似識別子統合部３Ｊによる識別子を蓄積して保持し、識別子、人名蓄積部１８Ｅは、顔認識結果と対応付けした出演者名のデータベースである。
【００４４】
図１は、図３の処理により蓄積した出演者名、図５、図６の処理により検出した顔画像の識別子を処理するシステムコントローラ３の処理手順を示すフローチャートである。ここでこの図１の処理手順は、ハードディスク装置１８に記録した番組出演者名を、ステップＳＰ５の処理で検出した識別子と対応付けてデータベース化する処理である。システムコントローラ３は、所定のタイミングでこの処理手順を実行する。なおこの所定のタイミングは、必要に応じて種々に設定することができ、システムコントローラ３は、例えば図３の処理を実行する毎、図５、図６の処理手順を所定回数実行する毎等にこの処理手順を実行する。
【００４５】
ここでシステムコントローラ３は、この処理手順を開始すると、ステップＳＰ５１からステップＳＰ５２に移る。ここでシステムコントローラ３は、番組識別子蓄積部１８Ｏに蓄積した識別子の放送チャンネル、放送日時で、人名蓄積部１８Ｂに蓄積した人名の放送チャンネル、放送日時を検出し、これにより図１の処理手順の実行によりハードディスク装置１８に記録した番組出演者名のうちで、未だこの図１の処理手順により顔画素の識別子と対応付けしていない出演者名が存在するか否か判断する。
【００４６】
ここでこのような未だ識別子と対応付けしていない出演者名が存在しない場合、システムコントローラ３は、ステップＳＰ５２からステップＳＰ５３に移り、番組識別子蓄積部１８Ｄ、コマーシャル識別子蓄積部１８Ｃ、人名蓄積部１８Ｂの記録を整理する。ここでシステムコントローラ３は、番組識別子蓄積部１８Ｄについては、番組識別子蓄積部１８Ｄに記録して古くなった識別子を削除して記録を整理する。またコマーシャル識別子蓄積部１８Ｃについては、コマーシャル識別子蓄積部１８Ｃに記録して古くなった識別子を削除して記録を整理する。また人名蓄積部１８Ｂについては、識別子との対応付けが全ての出演者について完了した番組等を番組の記録ごとに削除して整理する。
【００４７】
このようにしてハードディスク装置１８の記録を整理すると、システムコントローラ３は、ステップＳＰ５３からステップＳＰ５４に移ってこの処理手順を終了する。
【００４８】
これに対してステップＳＰ５２で肯定結果が得られると、システムコントローラ３は、ステップＳＰ５２からステップＳＰ５５に移る。このステップＳＰ５５において、システムコントローラ３は、未だ識別子と対応付けしていない出演者名を人名蓄積部１８Ｂから取り出した後、続くステップＳＰ５６において、この出演者が出演していた番組であって、人名蓄積部１８に記録が残っている番組を全て検出する。
【００４９】
続いてシステムコントローラ３は、ステップＳＰ５７に移り、ステップＳＰ５６で検出した番組について、番組識別子蓄積部１８Ｄの記録を検索し、識別子の有無を検出する。ここでステップＳＰ５６で検出した番組の何れについても、識別子が検出されていない場合、顔画像の識別子を検出できなかった場合等であることから、システムコントローラ３は、ステップＳＰ５７からステップＳＰ５２に戻り、続く出演者名に処理を切り換える。
【００５０】
これに対してステップＳＰ５７で肯定結果が得られると、システムコントローラ３は、ステップＳＰ５７からステップＳＰ５８に移る。ここでシステムコントローラ３は、これらの番組について、番組識別子蓄積部１８Ｄに記録された識別子を取得し、この出演者名に対応する識別子の候補を検出する。
【００５１】
続いてシステムコントローラ３は、ステップＳＰ５９に移り、ステップＳＰ４７で検出した識別子と、ステップＳＰ５４で取得した出演者名を一意に対応付けることができるか否か判断する。
【００５２】
ここで１つの番組から１つの識別子しか検出されていない場合であって、対応する番組電子番組表から出演者名を１名分しか検出できていない場合、この識別子による顔画像は、この出演者名の顔画像であると判断することができる。これによりこの場合、この１名分の識別子と出演者名とは一意に対応付けることができる。
【００５３】
またこのように１つの番組から識別子と出演者との対応関係を把握できない場合でも、他の番組で検出された識別子、出演者を参考にすれば、識別子と出演者との対応関係を把握することができる。すなわち例えば１つの番組から２名分の識別子、出演者名が検出されている場合でも、他の番組の検出結果から、これら２名分の識別子、出演者名のうちの１名分の識別子、出演者名を対応付けることができる場合、これら２名分の識別子、出演者名を一意に対応付けることができる。
【００５４】
また図８に示すように、番組ａで識別子Ａ、Ｄが検出され、番組ｂで識別子Ｂ、Ｃ、Ｄが検出されている場合であって、これら番組ａ、ｂでそれぞれ２名及び３名の出演者が検出されている場合に、これらの番組ａ、ｂで１名の出演者が共通し、かつ識別子Ｄがこれらの番組ａ、ｂで共通して検出されている場合、この識別子Ｄの出演者名については、これらの番組ａ、ｂで検出される識別子、出演者の各集合の論理演算により検出することができる。またこの検出結果から番組ａに残る識別子Ａについても、出演者名との対応を一意に特定することができる。具体的にこの図８の例では、識別子Ｄを出演者名と対応付けし、さらにこの対応付けに基づいて番組ａの残りの識別子Ａについても対応付けすることができる。
【００５５】
また図９に示すように、番組ａで識別子Ａ、Ｇ、Ｅが検出され、番組ｂで識別子Ａ、Ｇ、Ｆが検出されている場合であって、これら番組ａ、ｂで共に３名の出演者が検出されている場合に、これらの番組ａ、ｂで２名の出演者が共通し、かつ識別子Ａ、Ｇがこれらの番組ａ、ｂで共通して検出されている場合、各番組ａ、ｂのみの出演者については、それぞれ識別子Ｅ及びＦとの対応関係を一意に把握することができる。
【００５６】
これらによりシステムコントローラ３は、他の番組で検出された出演者名、識別子を参考にして、番組毎に、識別子、出演者名を比較し、一意に対応関係を把握可能な出演者名、識別子を検出する。
【００５７】
システムコントローラ３は、出演者名、識別子を一意に対応付けることができた場合、ステップＳＰ５９からステップＳＰ６０に移る。ここでシステムコントローラ３は、この対応付けた識別子、出演者名をハードディスク装置１８の識別子、人名蓄積部１８Ｅに記録する。またこのとき番組識別子蓄積部１８Ｄに記録して保持した対応する顔画像を、識別子、人名蓄積部１８Ｅに記録する。またこの記録した識別子、出演者名の記録を番組識別子蓄積部１８Ｄ、コマーシャル識別子蓄積部１８Ｃ、人名蓄積部１８Ｂから削除した後、ステップＳＰ５２に戻る。
【００５８】
ところで顔画像の識別子は、番組の出演者だけでなく、単なる通行人、エキストラ等でも検出されることから、番組によっては、ステップＳＰ５９において、識別子及び出演者名を一意に対応付けることが困難な場合がある。
【００５９】
そこでシステムコントローラ３は、ステップＳＰ５９で一意に対応付けることが困難な場合、ステップＳＰ６１に移る。ここでシステムコントローラ３は、ステップＳＰ５８で検出した識別子の中から、コマーシャル識別子蓄積部１８Ｃに記録された識別子を検出し、これによりコマーシャルを有効に利用して番組で検出された識別子を絞り込む。すなわち図１０に示すように、例えば番組ａで識別子Ａ〜Ｄが検出されている場合にあって、これらの識別子Ａ〜Ｄのうちの識別子Ａがコマーシャルで検出されている場合、このコマーシャルで検出された識別子Ａを出演者名との照合対象に設定し、残りの識別子Ｂ〜Ｄを照合対象から除外する。これによりシステムコントローラ３は、例えば単なる通行人、エキストラ等の識別子を処理対象から除外する。
【００６０】
このようにして識別子を絞り込むと、システムコントローラ３は、ステップＳＰ６１からステップＳＰ６２に移る。ここでシステムコントローラ３は、ステップＳＰ５９と同様にして絞り込んだ識別子を用いて一意に対応関係を把握できるか否か判定する。また一意に対応関係を把握できる場合には、ステップＳＰ６２からステップＳＰ６０に移り、この対応する識別子、出演者名、顔画像をハードディスク装置１８の識別子、人名蓄積部１８Ｅに記録する。またこの記録した識別子、出演者名の記録を番組識別子蓄積部１８Ｄ、コマーシャル識別子蓄積部１８Ｃ、人名蓄積部１８Ｂから削除した後、ステップＳＰ５２に戻る。これに対してステップＳＰ６２で否定結果が得られると、システムコントローラ３は、ステップＳＰ６２からステップＳＰ５２に戻り、次の出演者名に処理を切り換える。
【００６１】
この図１の処理手順の実行によりシステムコントローラ３は、図１１に示すように、コマーシャル識別子蓄積部１８Ｃの記録を参考にして、番組識別子蓄積部１８Ｄに記録された識別子と、人名蓄積部１８Ｂに蓄積した出演者名とを対応付けて識別子、人名蓄積部１８Ｅに記録する識別子、人名対応付け部３Ｋを構成する。
【００６２】
なおこのようなコマーシャルを用いた識別子の絞り込みに代えて、又は加えて、他の持ち込みの手法を適用してもよい。なおこの他の絞り込みの手法としては、図５のステップＳＰ１８で平均値化する識別子の数で、１つの番組で検出される各識別子に優先順次を設定し、優先順位の低い識別子を処理対象から除外する方法が考えられる。またこのような識別子の優先順位は、番組識別子蓄積部１８Ｄに記録された複数番組から、同一の識別子が検出された番組数を検出して設定するようにしてもよい。
【００６３】
図１２及び図１３は、タイマー予約時におけるシステムコントローラ３の処理手順を示すフローチャートである。システムコントローラ３は、リモートコマンダをユーザーが操作してタイマー録画を指示すると、この処理手順を開始してステップＳＰ７１からステップＳＰ７２に移る。ここでシステムコントローラ３は、番組表の表示からタイマー録画する番組を指定する番組表モードをユーザーが指示したか否か判断する。ここで肯定結果が得られると、システムコントローラ３は、ステップＳＰ７２からステップＳＰ７３に移り、ハードディスク装置１８に記録した電子番組表の情報に基づいて、モニタ装置に番組表を表示する。また続くステップＳＰ７４において、この番組表の表示において、ユーザーが番組を選択したか否か判断し、ここでユーザーが番組を選択した場合、ステップＳＰ７４からステップＳＰ７５に移り、このユーザーが指定した番組をタイマー録画するように設定した後、ステップＳＰ７６に移ってこの処理手順を終了する。
【００６４】
これに対してステップＳＰ７４で否定結果が得られると、システムコントローラ３は、ステップＳＰ７４からステップＳＰ７７に移り、ユーザーがタイマー予約モードの切り換えを指示したか否か判断する。ここでユーザーがタイマー予約モードの切り換えを指示した場合には、ステップＳＰ７７からステップＳＰ７２に戻るのに対し、ステップＳＰ７７で否定結果が得られると、ステップＳＰ７４に戻る。これによりシステムコントローラ３は、電子番組表を表示してタイマー録画を受け付ける。
【００６５】
これに対してステップＳＰ７２で否定結果が得られると、システムコントローラ３は、ステップＳＰ７２からステップＳＰ７９に移る（図１３）。ここでシステムコントローラ３は、ユーザーが指示したタイマー予約モードが人物名によって番組を選択する人物名モードか否か判断する。ここで肯定結果が得られると、システムコントローラ３は、ステップＳＰ７９からステップＳＰ８０に移る。ここでシステムコントローラ３は、ハードディスク装置１８に記録した電子番組表の情報から出演者名を切り出してソートし、この出演者名の一覧をモニタ装置で表示する。なおこの出演者名の切り出しは、図３について上述したと同様にして実行される。
【００６６】
続いてシステムコントローラ３は、ステップＳＰ８１に移る。ここでシステムコントローラ３は、出演者名の一覧表示において、ユーザーが出演者名を選択したか否か判断し、ここで肯定結果が得られると、ステップＳＰ８２に移り、このユーザーの選択した出演者が出演する番組名等による情報を電子番組表の情報から選択して表示する。なおここでユーザーが出演者の顔画像の表示を指示した場合、システムコントローラ３は、識別子、人名蓄積部１８Ｅの記録に従って対応する出演者の顔画像を例えばピクチャーインピクチャーによりモニタ装置で表示する。
【００６７】
続いてシステムコントローラ３は、ステップＳＰ８３において、このようにして表示した番組の全部又は一部をユーザーが選択して番組の録画を指示したか否か判断し、ここで肯定結果が得られると、ステップＳＰ８３からステップＳＰ７５に移り、このユーザーが指定した番組をタイマー録画するように設定した後、ステップＳＰ７６に移ってこの処理手順を終了する。これに対してステップＳＰ８３で否定結果が得られると、システムコントローラ３は、ステップＳＰ８３からステップＳＰ８０に戻る。これによりシステムコントローラ３は、ユーザーの指示により顔の画像を表示して、人物名を鍵にしてタイマー録画の予約を受ける。
【００６８】
これに対してステップＳＰ８１で否定結果が得られると、システムコントローラ３は、ステップＳＰ８１からステップＳＰ８４に移り、ユーザーがタイマー予約モードの切り換えを指示したか否か判断する。ここでユーザーがタイマー予約モードの切り換えを指示した場合には、システムコントローラ３は、ステップＳＰ８４からステップＳＰ７２に戻るのに対し、ステップＳＰ８４で否定結果が得られると、ステップＳＰ８１に戻る。
【００６９】
これに対してステップＳＰ７９で否定結果が得られると、この場合、この実施例では、人物の顔画像を基準にしてタイマー予約を受け付けるタイマー予約モードであることから、システムコントローラ３は、ステップＳＰ７９からステップＳＰ８７に移る。ここでシステムコントローラ３は、ハードディスク装置１８に記録した電子番組表の情報から出演者名を切り出してソートする。またこのソートした出演者名で識別子、人名蓄積部１８Ｅを検索し、対応する出演者の顔画像を検出する。システムコントローラ３は、この検出した顔画像をモニタ装置で一覧表示し、ステップＳＰ８８に移る。
【００７０】
このステップＳＰ８８において、システムコントローラ３は、この顔画像の一覧表示において、ユーザーが顔画像を選択したか否か判断し、ここで肯定結果が得られると、ステップＳＰ８９に移り、このユーザーの選択した顔画像の出演者が出演する番組名等による情報を電子番組表の情報から選択して表示する。なおここでユーザーが出演者名の表示を指示した場合、システムコントローラ３は、識別子、人名蓄積部１８Ｅの記録に従って対応する出演者名をピクチャーインピクチャーによりモニタ装置で表示する。
【００７１】
続いてシステムコントローラ３は、ステップＳＰ９０において、このようにして表示した番組の全部又は一部をユーザーが選択して番組の録画を指示したか否か判断し、ここで肯定結果が得られると、ステップＳＰ９０からステップＳＰ７５に移り、このユーザーが指定した番組をタイマー録画するように設定した後、ステップＳＰ７６に移ってこの処理手順を終了する。これに対してステップＳＰ９０で否定結果が得られると、システムコントローラ３は、ステップＳＰ９０からステップＳＰ８７に戻る。これによりシステムコントローラ３は、出演者の顔画像を鍵にしてタイマー録画の予約を受ける。
【００７２】
これに対してステップＳＰ８８で否定結果が得られると、システムコントローラ３は、ステップＳＰ８８からステップＳＰ９１に移り、ユーザーがタイマー予約モードの切り換えを指示したか否か判断する。ここでユーザーがタイマー予約モードの切り換えを指示した場合には、システムコントローラ３は、ステップＳＰ９１からステップＳＰ７２に戻るのに対し、ステップＳＰ９１で否定結果が得られると、ステップＳＰ８８に戻る。
【００７３】
システムコントローラ３は、このようにしてタイマー予約を受け付けると、図示しないタイマーを用いて現在時刻を計測し、現在時刻がタイマー予約された番組の放送開始時刻になると、タイマー録画の処理を実行するように、全体の動作を制御する。
【００７４】
この図１の処理手順の実行によりシステムコントローラ３は、図１４に示すように、識別子、人名蓄積部１８Ｅ、ＥＰＧ情報蓄積部１８Ａの記録に基づいて、出演者名、出演者の顔画像により番組の選択を受け付ける統括制御部３Ｌ、この統括制御部３Ｌが受け付けた番組でタイマー予約を受け付ける番組予約部３Ｍを構成する。
【００７５】
（２）実施例の動作
以上の構成において、このハードディスクレコーダ１では（図２）、チューナ２で取得されるビデオ信号及びオーディオ信号、外部機器より取得されるビデオ信号及びオーディオ信号が画像データ及びオーディオデータに変換された後、ビデオエンコーダ１３及びオーディオエンコーダ１４によりデータ圧縮されてハードディスク装置１８に記録される。これによりテレビジョン放送による映像コンテンツ、外部機器より入力される映像コンテンツがハードディスク装置１８に記録される。またこのハードディスク装置１８に記録された画像データ及びオーディオデータがＡＶデコーダ１９によりデコードされた後、ＮＴＳＣエンコーダ２３を介して外部のモニタ装置に出力され、これによりハードディスク装置１８に記録された映像コンテンツを視聴することができる。またチューナ２で取得されるビデオ信号及びオーディオ信号が、プリ映像信号処理回路１２、ポスト映像信号処理回路２０を介して外部のモニタ装置に出力され、これによりテレビジョン放送を視聴することができる。
【００７６】
このハードディスクレコーダ１では、テレビジョン放送の映像コンテンツを受信している際に、メタデータにより提供される電子番組表のデータがシステムコントローラ３で取得されてハードディスク装置１８に保存される。またユーザーがタイマー予約を指示した場合には、このハードディスク装置１８に保存された電子番組表のデータにより番組表が表示され、この番組表における番組の選択によりタイマー予約が受け付けられる（図１２）。これによりこのハードディスクレコーダ１では、いちいち新聞、雑誌等の番組表を開かなくても、所望する番組を録画することができる。
【００７７】
しかしながらユーザーの好みのタレントが予期しない番組に出演する場合もある。また番組表で好みのタレント名を見落とす場合もある。このような場合、ユーザーは、好みのタレントの出演する番組をタイマー予約することが困難になる。そこでこのハードディスクレコーダ１では、電子番組表のデータがシステムコントローラ３により解析されて、各番組の出演者名が検出され、この出演者名の一覧表示によりユーザーの指定したタレントが出演する番組の情報が表示される（図１２）。これによりこのハードディスクレコーダ１では、好みのタレントが予期しない番組に出演する場合等にあっても、好みのタレントが出演する番組を逃すことなくタイマー録画することができる。
【００７８】
しかしながら顔は知っているのに、名前が出てこない場合もある。このような場合、番組表、出演者名では、この名前の出てこないタレントの出演する番組を録画することが困難になる。
【００７９】
そこでこの実施例では、コマーシャルの区間を除いて、各シーン毎に、又は所定ピクチャー毎に、顔認識処理が実行され、番組出演者の顔画像を特徴付ける識別子が検出される。ハードディスクレコーダ１では、この識別子が、番組を特定する情報、顔画像と共に番組毎にハードディスク装置１８に記録されて保持される（図５、図７）。
【００８０】
またこのハードディスクレコーダ１では、電子番組表のデータが解析されて、番組毎に出演者名が検出されてハードディスク装置１８に保存される（図３、図４）。さらにこのハードディスク装置１８の記録した各番組の出演者名と、各番組で検出された出演者の識別子とが番組を単位にして比較され、この比較により出演者名と識別子が対応付けられて、対応する顔画像と共にハードディスク装置１８に記録されてデータベース化される（図１、図７）。
【００８１】
これによりこのハードディスクレコーダ１では、それぞれ番組の出演者名と顔画像とがデータベースの記録により対応付けられていることから、電子番組表等の番組情報を利用して出演者名で種々の処理を実行する場合と同一に、顔画像により電子番組表等の番組情報を利用して種々の処理を実行することができる。従って出演者の名前と顔とが結びつかない場合でも、電子番組表を利用した種々の処理を実行することができる。
【００８２】
すなわちこのハードディスクレコーダ１では、このデータベースの記録に基づいて、ユーザーが顔を思い出せない場合でも、タレント名より対応する顔画像を表示してユーザーのタイマー予約を受け付け、ユーザーの利便を図ることができる（図１２、図１３）。
【００８３】
またハードディスクレコーダ１では、ユーザーの指示により、番組表の表示に代えて、放送が予定される番組の出演者の顔画像が一覧表示され、この一覧表示によるユーザーの選択によりタイマー予約が受け付けられ（図１２、図１３）、これにより出演者の名前と顔とが結びつかない場合、さらには名前を思い出せない場合でも、所望のタレントの出演する番組をタイマー録画することができる。
【００８４】
しかしながら、実際の番組では、スポーツ中継のように、多数の観客が映し出される場合もある。また単なるエキストラが映し出される場合もある。従って１つの番組で検出される識別子の数は、膨大な数となる場合が予測される。この場合、各番組の出演者名と、各番組で検出された出演者の識別子とを比較して、出演者名と識別子とを対応付ける処理は大きな負担となる。また場合によっては、このような対応付けが困難になる。
【００８５】
しかしながらテレビジョン放送では、番組以外にコマーシャルが放送されており、コマーシャルでは、著名なタレントが主体的に映し出される。これによりこのハードディスクレコーダ１では、コマーシャルを有効に利用して対応付け対象の識別子が絞り込まれ、出演者名と識別子とを対応付ける処理が高速度化され、さらには確実に対応付けることが可能となる。
【００８６】
すなわちハードディスクレコーダ１では、コマーシャル毎に、出演者の識別子が検出され、この識別子がハードディスク装置１８に記録される（図５、図７）。また各番組の出演者名と、各番組で検出された出演者の識別子とを比較して出演者名と識別子とを対応付ける際に、識別子と出演者名とを一意に対応付けることが困難な場合、ハードディスク装置１８に記録して保持されたコマーシャル出演者の識別子により、処理対象の識別子が絞り込まれ、この絞り込んだ識別子が出演者名と対応付けられてハードディスク装置１８に記録される。なおこれにより初めにコマーシャルで検出された識別子で処理対象の識別子を絞り込んで、対応付けするようにしてもよい。
【００８７】
（３）実施例の効果
以上の構成によれば、番組の出演者の顔認識処理結果である顔画像の識別子と、電子番組表等による番組情報から取得した出演者名とを対応付けて記録することにより、出演者の名前と顔とが結びつかない場合でも、電子番組表の番組情報を利用した種々の処理を実行することができる。
【００８８】
すなわちこの対応付けした記録と、電子番組表による番組情報に基づいて、受信可能な番組に出演する出演者の顔画像を表示し、この表示した顔画像の選択に応じて、該選択された顔画像の出演者が出演する番組をタイマー録画により受信して記録することにより、名前を思い出せない場合等にあっても、好みのタレントの出演する番組を受信して録画することができる。
【００８９】
また電子番組表による番組情報に基づいて、受信可能な番組に出演する出演者名を表示してタイマー予約を受け付けるようにして、この表示した出演者名の顔画像を表示することによっても、名前を思い出せない好みのタレントの出演する番組を受信して録画することができる。
【００９０】
またコマーシャルから識別子を検出し、このコマーシャルから検出した識別子を用いて、出演者名と対応付けする識別子を絞り込むことにより、簡易かつ迅速に、かつ間違いなく出演者名と識別子とを対応付けすることができる。
【実施例２】
【００９１】
この実施例では、テレビジョン受像機に本発明を適用して、ユーザーが電子番組表による番組情報の表示を指示した場合に、上述の実施例１におけるタイマー予約の場合と同様に、番組表、出演者名、顔画像により受信可能な番組をユーザーに表示し、ユーザーの選択した番組を受信する。なおこの実施例では、この番組の選択表示に係る構成を除いて、実施例１について上述したハードディスクレコーダと同一に構成される。
【００９２】
この実施例のように、視聴する番組を選択する際に、出演者名と識別子とを対応付けして記録したデータベースを利用するようにして、出演者の名前と顔とが結びつかない場合に、電子番組表の番組情報を利用して所望する番組を視聴することができる。
【実施例３】
【００９３】
図１５は、図４及び図１４との対比により、本発明の実施例３のハードディスクレコーダに係るシステムコントローラの構成を示す機能ブロック図である。この実施例のハードディスクレコーダは、この機能ブロックに関するシステムコントローラの構成が異なる点を除いて実施例１のハードディスクレコーダと同一に構成されることから、以下においては、図２の構成を流用して説明する。
【００９４】
このハードディスクレコーダにおいて、システムコントローラ３は、番組の録画時、メタデータを取得してクローズドキャプションの字幕情報を検出し、この字幕情報をハードディスク装置１８に記録する。これによりシステムコントローラ３は、ハードディスク装置１８に、クローズドキャプションの字幕情報を記録したクローズドキャプション情報蓄積部１８Ｆを構成する。
【００９５】
またハードディスク装置１８は、再生時、このクローズドキャプション情報蓄積部１８Ｆに保持した字幕情報を用いて、図１６（Ａ）に示すように、字幕をオンスクリーン表示する。これにより図１６（Ａ）の例では、「○○××てさあ」との人名「○○××」を含む字幕が表示されていることになる。
【００９６】
システムコントローラ３は、字幕により表示する文字列を構文解釈し、字幕に現れる人名を検出する。また字幕を表示する際に、この検出した人名を、他の文字列とは異なる色彩で表示し、人名を認識できるようにする。
【００９７】
システムコントローラ３は、このようにして字幕を表示して、ユーザーによる事前の動作モードの設定により、又はユーザーによる操作子の操作により、表示中の字幕に含まれる人名を識別子、人名蓄積部１８Ｅで検索し、図１６（Ｂ）に示すように、この人名の顔画像をピクチャーインピクチャーにより子画面Ｓで表示する。
【００９８】
これによりシステムコントローラ３は、図１５に示すように、番組情報を検出するＥＰＧ受信部３Ｂで、クローズドキャプション情報を検出するクローズドキャプション情報取得部を構成する。さらにシステムコントローラ３は、このクローズドキャプション情報取得部で検出したクローズドキャプションの情報から人物名を検出し、該検出した人物名によりデータベースを検索して対応する顔画像の表示を指示する統括制御部３Ｎ、この統括制御部３Ｎの指示により顔画像を子画面表示するピクチャーインピクチャー（ＰｉｎＰ）再生部３Ｏを構成する。
【００９９】
なおこのような字幕に現れる人物の顔画像を子画面表示する処理は、テレビジョン放送を受信してモニタしている場合に適用するようにしてもよい。なおこの場合、受信したクローズドキャプション情報をハードディスク装置１８に蓄積することなく、リアルタイムで処理することが必要になる。
【０１００】
この実施例によれば、出演者名と識別子とを対応付けして記録したデータベースを利用して、字幕に現れる人物の顔画像を子画面表示することにより、一段とユーザーの使い勝手を向上することができる。
【実施例４】
【０１０１】
この実施例では、実施例３とは逆に、ユーザーにより指示された出演者の人名をオンスクリーン表示する。なおこの実施例のハードディスクレコーダは、この人名のオンスクリーン表示に関する点を除いて、上述の実施例と同一に形成される。
【０１０２】
すなわちこの実施例において、システムコントローラは、モニタ装置で映像コンテンツをユーザーに提供している際に、リモートコマンダの操作に応動してカーソルをオンスクリーン表示し、またこのオンスクリーン表示したカーソルを移動させる。またユーザーが人物名の表示を指示すると、表示中の映像コンテンツの画像からカーソルにより指示された個所の顔画像を検出する。またこの検出した顔画像から識別子を検出し、この識別子で識別子、人名蓄積部１８Ｅの記録を検索し、この顔画像の人物名を検出する。システムコントローラは、この検出した人物名をオンスクリーン表示する。
【０１０３】
この実施例によれば、出演者名と識別子とを対応付けして記録したデータベースを利用して、ユーザーの指示した人物の人物名を表示することにより、一段とユーザーの使い勝手を向上することができる。
【実施例５】
【０１０４】
この実施例では、実施例１におけるコマーシャルを用いた処理対象識別子の絞り込みに代えて、又は加えて、番組の属性を利用して絞り込みの処理を実行する。
【０１０５】
すなわちテレビジョン放送による番組において、毎日定時で放送される番組、毎週、決まった曜日、決まった時間で放送されるいわゆるレギュラー番組の出演者は、レギュラーの出演者とゲストの出演者とで構成される。従ってレギュラー番組の番組情報から検出される出演者名であって、このレギュラー番組で毎日検出される出演者名、又は毎週、決まった曜日で検出される出演者名は、レギュラーの出演者のものであると言える。またレギュラー番組で毎日検出される識別子、又は毎週、決まった曜日で検出される識別子も、このレギュラーの出演者のものであると言える。
【０１０６】
従ってレギュラー番組では、ユーザーが指示した場合以外に、別途、他の曜日、他の週で放送される同一番組を受信して識別子、出演者名を検出し、この別途検出した識別子、出演者名を利用して、ユーザーが受信を指示した番組で検出された識別子、出演者名を、レギュラーの出演者によるものとゲストの出演者によるものとに区分することができる。従ってこの区分を、識別子と出演者名との対応付けに利用することができる。
【０１０７】
そこでこの実施例において、システムコントローラは、ユーザーが受信を指示した番組について、電子番組表を検索してレギュラー番組か否か判定し、レギュラー番組の場合であって、全ての出演者名を識別子に対応付けることができない場合、別途、次回の放送を受信して識別子、出演者名を検出する。またこの別途検出した識別子、出演者名を利用して、検出した識別子、出演者名をレギュラーの出演者によるものとゲストの出演者によるものとに区分する。
【０１０８】
システムコントローラは、図８及び図９において括弧書により示すように、レギュラー番組では、区分毎に、他の番組で検出した識別子と出演者名とを比較し、識別子と出演者名とを対応付けしてデータベースを構築する。
【０１０９】
この実施例のように、番組の属性を利用して処理対象識別子等を絞り込むようにすれば、一段と簡易かつ確実に、識別子と出演者名とを対応付けしてデータベースを形成することができる。
【実施例６】
【０１１０】
この実施例では、事前に、識別子と出演者名とを対応付けしたデータベースをハードディスク装置に記録して保持するようにする。また番組から検出した識別子、出演者名のうちで、このハードディスク装置に記録されていないものについて、識別子及び出演者名を対応付けて記録を追加する。なおこのような事前の記録には、例えばタレント名鑑等の記録を利用することができる。
【０１１１】
この実施例のように、事前に、識別子と出演者名とを対応付けしたデータベースを設けるようにして、このデータベースを適宜更新するようにしても、上述の実施例と同様の効果を得ることができる。
【実施例７】
【０１１２】
図１７は、図４との対比により本発明の実施例７のハードディスクレコーダにおけるシステムコントローラの構成を示す機能ブロック図である。このハードディスクレコーダは、チューナ２（図２参照）が複数チャンネルを受信可能に構成され、システムコントローラ３は、このチューナ２で受信した複数チャンネルについて、それぞれ識別子を検出する識別子検出部３Ａ、３Ｂが２系統設けられる。
【０１１３】
システムコントローラは、この複数系統により識別子を検出して出演者名と対応付けし、１系統で識別子を検出して出演者名と対応付ける場合に比して、迅速にデータベースの充実を図る。
【０１１４】
具体的に、システムコントローラは、ユーザーの指示に従って、この複数系統で番組を受信してハードディスク装置１８に記録し、またモニタ装置に出力する。またこの複数系統のうちの使用していない系統を使用して、別途、放送を受信して出演者名、識別子を収集する。
【０１１５】
なおこの別途の出演者名、識別子の収集は、検出済の出演者名、識別子の対応付けに有効に利用できる番組を電子番組表から選択して実行することが考えられる。すなわち例えば図８の番組ａを受信して２名の識別子Ａ、Ｄが検出されている場合に、番組ｂのように、この番組ａの２名の出演者のうちの一方の出演者のみが出演する番組を選択して受信すれば、この２名の識別子Ａ、Ｄを間違いなく、出演者名に対応付けることができる。すなわちこの場合、先の番組で検出されて識別子と一意に対応付けすることができない出演者名のうちで、一部が出演している番組を別途受信して識別子を検出することになる。しかしながらこの番組ａの２名の出演者が共に出演する番組では、このような対応付けが困難になる。なおこのような別途の識別子の収集をコマーシャルで実行するようにしてもよい。すなわち１系統のみの受信では、ユーザーがチャンネルを切り換える等により、取得可能な識別子の数が限られる。しかしながら複数系統により受信する場合には、例えば使用していない１系統をコマーシャルの受信に専用に割り当てる等により、取得可能な識別子の数を段階的に増大させることができる。
【０１１６】
この実施例では、別途、放送を受信して識別子、出演者名を収集することにより、迅速にデータベースの充実を図り、ユーザーの利便を図ることができる。
【実施例８】
【０１１７】
この実施例では、複数のハードディスクレコーダでそれぞれ番組を受信して検出した識別子、出演者名を、インターネット上のサーバーにアップロードし、このサーバーで識別子、出演者名を収集する。また、このサーバーで、識別子、出演者名を対応付けし、各ハードディスクレコーダに通知する。
【０１１８】
この実施例のように、識別子と出演者名との対応関係を別途、サーバーで検出して通知するようにしても、上述の実施例と同様の効果を得ることができる。
【実施例９】
【０１１９】
なお上述の実施例においては、データ放送により提供される電子番組表の番組情報を処理して出演者名を検出する場合について述べたが、本発明はこれに限らず、別途、インターネット等により電子番組表の情報を取得するようにしてもよく、また電子番組表以外の種々の番組情報を利用するようにしてもよい。
【０１２０】
また上述の実施例においては、チューナによりテレビジョン放送波を受信して番組を受信する場合について述べたが、本発明はこれに限らず、例えばケーブルテレビ、インターネットで放送される番組を受信する場合等にも広く適用することができる。
【０１２１】
また上述の実施例においては、本発明をハードディスクレコーダ、テレビジョン受像機に適用する場合について述べたが、本発明はこれに限らず、例えば携帯電話、カーナビゲーション装置等の種々の機器で放送番組を受信する場合、さらにはパーソナルコンピュータで放送番組を受信する場合等に広く適用することができる。
【産業上の利用可能性】
【０１２２】
本発明は、例えばテレビジョン放送等をハードディスク装置に記録するハードディスクレコーダに適用することができる。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施例１のハードディスクレコーダのシステムコントローラにおいて、識別子と出演者名との対応付けの処理を示すフローチャートである。
【図２】本発明の実施例１のハードディスクレコーダを示すブロック図である。
【図３】図２のハードディスクレコーダのシステムコントローラにおける出演者名の検出処理を示すフローチャートである。
【図４】図３の処理による機能ブロック図である。
【図５】図２のハードディスクレコーダのシステムコントローラにおける識別子の検出処理を示すフローチャートである。
【図６】図２のハードディスクレコーダのシステムコントローラにおけるコマーシャルからの識別子の検出処理を示すフローチャートである。
【図７】図５及び図６の処理による機能ブロック図である。
【図８】図１の処理手順の説明に供する略線図である。
【図９】図８の場合とは異なる場合における図１の処理手順の説明に供する略線図である。
【図１０】コマーシャルを利用した絞り込みの処理の説明に供する略線図である。
【図１１】図１の処理による機能ブロック図である。
【図１２】タイマー予約時における処理手順を示すフローチャートである。
【図１３】図１２の続きの処理手順を示すフローチャートである。
【図１４】図１２、図１３の処理による機能ブロック図である。
【図１５】図４及び図１４との対比により、本発明の実施例３のハードディスクレコーダに係るシステムコントローラの構成を示す機能ブロック図である。
【図１６】図１５の処理手順の説明に供する略線図である。
【図１７】図４との対比により本発明の実施例７のハードディスクレコーダにおけるシステムコントローラの構成を示す機能ブロック図である。
【符号の説明】
【０１２４】
１……ハードディスクレコーダ、２……チューナ、３……システムコントローラ、３Ａ……データ受信部、３Ｂ……ＥＰＧ受信部、３Ｃ……人名抽出部、３Ｄ……顔判断部、３Ｅ……顔識別子生成部、３Ｇ……ＣＭ検出部、３Ｈ……番組検出部、３Ｉ……ＣＭ類似識別子統合部、３Ｊ……番組類似識別子統合部、３Ｋ……識別子、人名対応付け部、３Ｌ、３Ｎ……統括制御部、３Ｍ……番組予約部、３Ｏ……ピクチャーインピクチャー再生部、１８……ハードディスク装置
【図１】
2007251296.tif 000003
【図２】
2007251296.tif 000004
【図３】
2007251296.tif 000005
【図４】
2007251296.tif 000006
【図５】
2007251296.tif 000007
【図６】
2007251296.tif 000008
【図７】
2007251296.tif 000009
【図８】
2007251296.tif 000010
【図９】
2007251296.tif 000011
【図１０】
2007251296.tif 000012
【図１１】
2007251296.tif 000013
【図１２】
2007251296.tif 000014
【図１３】
2007251296.tif 000015
【図１４】
2007251296.tif 000016
【図１５】
2007251296.tif 000017
【図１６】
2007251296.tif 000018
【図１７】
2007251296.tif 000019