(57)【要約】【課題】  ユーザによって指定された画像を含むフレームが映像コンテンツデータの再生時に映像コンテンツデータ中のどこに位置するのかを容易に認識することが可能な電子機器および画像表示制御方法を提供する。【解決手段】  映像コンテンツデータから複数の代表画像を抽出する。複数の代表画像のうちの一つがユーザによって選択されている状態で、映像コンテンツデータの再生を指示する再生要求イベントが入力された場合、選択されている代表画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始し、映像コンテンツデータを構成するフレーム群の内、選択されている代表画像が含まれるフレームを強調して再生する。【選択図】  図７
2009200827.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツデータから複数の代表画像を抽出する画像抽出手段と、
前記複数の代表画像のうちの一つがユーザによって選択されている状態で、前記映像コンテンツデータの再生を指示する再生要求イベントが入力された場合、前記映像コンテンツデータを構成するフレーム群の内、前記選択されている代表画像が含まれるフレームを強調して再生する再生手段と、
を具備することを特徴とする電子機器。
【請求項２】
前記再生手段は、前記映像コンテンツデータを構成するフレーム群の内の前記選択されている代表画像が含まれるフレームにて所定時間停止する再生手段であることを特徴とする請求項１記載の電子機器。
【請求項３】
前記映像コンテンツデータを構成するフレーム群の内、前記選択されている代表画像が含まれるフレームを加工処理する加工処理手段をさらに具備し、
前記再生手段は、前記加工処理手段によって加工処理されたフレームを再生する再生手段であることを特徴とする請求項１記載の電子機器。
【請求項４】
前記加工処理手段は、前記選択されている代表画像が含まれるフレームの色を特定の色に指定する手段であることを特徴とする請求項３記載の電子機器。
【請求項５】
前記加工処理手段は、前記選択されている代表画像が含まれるフレーム中の前記代表画像と一致する領域を強調処理する手段であることを特徴とする請求項３記載の電子機器。
【請求項６】
前記加工処理手段は、前記選択されている代表画像が含まれるフレーム中の前記代表画像と一致する領域を枠で囲う処理する手段であることを特徴とする請求項５記載の電子機器。
【請求項７】
映像コンテンツデータから複数の顔画像を抽出する画像抽出手段と、
前記画像抽出手段によって抽出された複数の顔画像の夫々が前記映像コンテンツデータの中で出現する時点を示すタイムスタンプ情報を出力するタイムスタンプ情報出力手段と、
前記複数の顔画像のうちの一つがユーザによって選択されている状態で、前記映像コンテンツデータの再生を指示する再生要求イベントが入力された場合、前記選択されている顔画像に割り当てられているタイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始し、前記映像コンテンツデータを構成するフレーム群の内、前記選択されている顔画像が含まれるフレームを強調して再生する再生手段と、
を具備することを特徴とする電子機器。
【請求項８】
前記再生手段は、前記映像コンテンツデータを構成するフレーム群の内、前記選択されている顔画像が含まれるフレームを所定時間停止して再生する再生手段であることを特徴とする請求項７記載の電子機器。
【請求項９】
前記映像コンテンツデータを構成するフレーム群の内、前記選択されている顔画像が含まれるフレームを加工処理する加工処理手段をさらに具備し、
前記再生手段は、前記加工処理手段によって加工処理されたフレームを再生する再生手段であることを特徴とする請求項７記載の電子機器。
【請求項１０】
前記加工処理手段は、前記選択されている顔画像が含まれるフレームの色を特定の色に指定する手段であることを特徴とする請求項９記載の電子機器。
【請求項１１】
前記加工処理手段は、前記選択されている顔画像が含まれるフレーム中の前記顔画像と一致する領域を強調処理する手段であることを特徴とする請求項７記載の電子機器。
【請求項１２】
前記加工処理手段は、前記選択されている顔画像が含まれるフレーム中の前記顔画像と一致する領域を枠で囲う処理する手段であることを特徴とする請求項１１記載の電子機器。
【請求項１３】
映像コンテンツデータに出現する画像の一覧を表示する画像表示方法において、
前記映像コンテンツデータから複数の代表画像を抽出し、
前記複数の代表画像のうちの一つがユーザによって選択されている状態で、前記映像コンテンツデータの再生を指示する再生要求イベントが入力された場合、前記映像コンテンツデータを構成するフレーム群の内、前記選択されている代表画像が含まれるフレームを強調して再生することを特徴とする画像表示方法。
【請求項１４】
前記映像コンテンツデータを構成するフレーム群の内、前記選択されている代表画像が含まれるフレームを所定時間停止して再生することを特徴とする請求項１３記載の画像表示方法。
【請求項１５】
前記映像コンテンツデータを構成するフレーム群の内、前記選択されている代表画像が含まれるフレームを加工処理し、
前記加工処理されたフレームを再生することを特徴とする請求項１３記載の画像表示方法。
【請求項１６】
前記選択されている代表画像が含まれるフレームの色を特定の色に指定することを特徴とする請求項１５記載の画像表示方法。
【請求項１７】
前記選択されている代表画像が含まれるフレーム中の前記代表画像と一致する領域を強調処理することを特徴とする請求項１５記載の画像表示方法。
【請求項１８】
前記選択されている代表画像が含まれるフレーム中の前記代表画像と一致する領域を枠で囲うことを特徴とする請求項１７記載の画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツデータから抽出された画像の一覧を表示する電子機器および画像表示方法に関する。
【背景技術】
【０００２】
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータを記録および再生することが可能である。
【０００３】
この場合、電子機器に格納されたコンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが各映像コンテンツデータがどのような内容であるかを把握することは困難である。映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。
【０００４】
しかしながら、総時間長の長い映像コンテンツデータの再生には、早送り機能等を用いた場合であっても、多くの時間が要される。
【０００５】
特許文献１には、録画された映像コンテンツデータの効率的な検索と鑑賞を行うために、映像コンテンツデータのフレーム画像から顔領域を部分画像として切り出し、この切り出された顔領域部分画像を一覧表示し、この一覧表示した顔領域部分画像の中から特定のアイコンを指定することで、対応する映像コンテンツデータを指定したアイコンの表示位置において再生表示する技術が公開されている。
【特許文献１】特開２００１−３０９２６９号公報（第６頁、第１図及び第１０頁、第８図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された技術を用いると、ユーザは、映像コンテンツデータに付加されたタイトル名を参照するだけでなく、映像コンテンツデータに含まれる顔領域部分画像をも参照して、その映像コンテンツデータの内容を効率的に知ることが可能となる。
【０００７】
しかしながら、映像コンテンツデータの再生時に、切り出された顔領域部分画像を含むフレームが映像コンテンツデータ中のどこに位置するのかを認識するのは難しい。
【０００８】
そこで、本発明は、ユーザによって指定された画像を含むフレームが映像コンテンツデータの再生時に映像コンテンツデータ中のどこに位置するのかを容易に認識することが可能な電子機器および画像表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に関わる電子機器は、映像コンテンツデータから複数の代表画像を抽出する画像抽出手段と、前記複数の代表画像のうちの一つがユーザによって選択されている状態で、前記映像コンテンツデータの再生を指示する再生要求イベントが入力された場合、前記映像コンテンツデータを構成するフレーム群の内、前記選択されている代表画像が含まれるフレームを強調して再生する再生手段と、を具備することを特徴とする。
【００１０】
また、請求項７に関わる電子機器は、映像コンテンツデータから複数の顔画像を抽出する画像抽出手段と、前記画像抽出手段によって抽出された複数の顔画像の夫々が前記映像コンテンツデータの中で出現する時点を示すタイムスタンプ情報を出力するタイムスタンプ情報出力手段と、前記複数の顔画像のうちの一つがユーザによって選択されている状態で、前記映像コンテンツデータの再生を指示する再生要求イベントが入力された場合、前記選択されている顔画像に割り当てられているタイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始し、前記映像コンテンツデータを構成するフレーム群の内、前記選択されている顔画像が含まれるフレームを強調して再生する再生手段と、を具備することを特徴とする。
【００１１】
また、請求項１３に関わる画像表示方法は、映像コンテンツデータに出現する画像の一覧を表示する画像表示方法において、前記映像コンテンツデータから複数の代表画像を抽出し、前記複数の代表画像のうちの一つがユーザによって選択されている状態で、前記映像コンテンツデータの再生を指示する再生要求イベントが入力された場合、前記映像コンテンツデータを構成するフレーム群の内、前記選択されている代表画像が含まれるフレームを強調して再生することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザによって指定された画像を含むフレームが映像コンテンツデータの再生時に映像コンテンツデータ中のどこに位置するのかを容易に認識することが可能な電子機器および画像表示制御方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の実施形態を説明する。
【００１４】
まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。
【００１５】
このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録および再生することができる。即ち、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン（ＴＶ）機能を有している。
【００１６】
このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
【００１７】
さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納された、ビデオデータ、放送番組データのような映像コンテンツデータ中に出現するオブジェクトの画像のような代表画像の一覧、例えば、映像コンテンツデータに出現する人物の顔画像の一覧等を表示する画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、ＴＶ機能内にその一機能として実装されている。
【００１８】
顔画像一覧表示機能は、ナビゲーション対象としてユーザによって選択された映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、ナビゲーション対象の映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータ内に含まれる所定の属性区間に着目して人物の一覧を表示することもできる。
【００１９】
図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。
【００２０】
ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。
【００２１】
入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（放送番組データ／ビデオデータの視聴、放送番組データ／ビデオデータの録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。
【００２２】
また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。
【００２３】
コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。
【００２４】
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
【００２５】
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。
【００２６】
ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびＴＶアプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。
【００２７】
ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。
【００２８】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
【００２９】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００３０】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
【００３１】
ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００３２】
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００３３】
またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。
【００３４】
ビデオプロセッサ１１３は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。
【００３５】
映像インデキシング処理においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データから複数の代表画像を抽出すると共に、抽出された各代表画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、抽出された各代表画像が映像コンテンツデータ内のどこに位置するのかを示す位置情報等を出力する。
【００３６】
代表画像としては、例えば、人物の顔画像を使用し得る。顔画像の抽出は、例えば、映像コンテンツデータに含まれる動画像データを構成する各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
【００３７】
また、代表画像として人物の顔画像を使用する場合、動画像データを構成する各フレームから検出された顔領域を切り出す処理時に、フレーム中における検出された顔領域の位置を示す顔領域位置情報を出力する。
【００３８】
メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。映像インデキシング処理といったインデキシング処理を実行するためには多くの演算量が必要とされる。
【００３９】
本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデキシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。
【００４０】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。
【００４１】
無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
【００４２】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
【００４３】
ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【００４４】
次に、図３を参照して、ＴＶアプリケーションプログラム２０２によって実行される顔画像一覧表示機能について説明する。
【００４５】
放送番組データのような映像コンテンツデータに対するインデキシング処理は、上述したように、インデキシング処理部として機能するビデオプロセッサ１１３によって実行される。
【００４６】
ビデオプロセッサ１１３は、ＴＶアプリケーションプログラム２０２の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデキシング処理を実行する。また、ビデオプロセッサ１１３は、ＴＶチューナ１１７によって受信された放送番組データをＨＤＤ１１１に格納する録画処理と並行して、当該受信された放送番組データに対するインデキシング処理を実行することもできる。
【００４７】
映像インデキシング処理（顔画像インデキシング処理とも云う）においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
【００４８】
さらに、ビデオプロセッサ１１３は、抽出された各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ａに顔画像インデキシング情報として格納される。このデータベース１１１Ａは、ＨＤＤ１１１内に用意されたインデキシングデータ記憶用の記憶領域である。
【００４９】
さらに、映像インデキシング処理においては、ビデオプロセッサ１１３は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像（縮小画像）である。すなわち、ビデオプロセッサ１１３は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像（サムネイル画像）と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報ＴＳとを出力する。ビデオプロセッサ１１３から出力されるサムネイル画像取得結果データ（サムネイル、タイムスタンプ情報ＴＳ）も、データベース１１１Ａにサムネイルインデキシング情報として格納される。
【００５０】
図３に示されているように、ＴＶアプリケーションプログラム２０２は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部３０１を含んでいる。この顔画像一覧表示処理部３０１は、例えば、インデキシングビューワプログラムとして実現されており、データベース１１１Ａに格納されたインデキシング情報（顔画像インデキシング情報、サムネイルインデキシング情報等）を用いて、映像コンテンツデータの概要を俯瞰するためのインデキシングビュー画面を表示する。
【００５１】
具体的には、顔画像一覧表示処理部３０１は、データベース１１１Ａから顔画像インデキシング情報（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）を読み出し、そしてその顔画像インデキシング情報を用いて、映像コンテンツデータに登場する人物の顔画像の一覧を、インデキシングビュー画面上の２次元の表示エリア（以下、顔サムネイル表示エリアと称する）上に表示する。この場合、顔画像一覧表示処理部３０１は、映像コンテンツデータの総時間長を、例えば等間隔で、複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部３０１は、時間帯毎に、選択した所定個の顔画像それぞれを並べて表示する。
【００５２】
すなわち、２次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を構成する複数の時間帯が割り当てられている。具体的には、例えば、複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。もちろん、各列に割り当てられる時間帯は必ずしも同一の時間長でなくてもよい。
【００５３】
顔画像一覧表示処理部３０１は、顔画像それぞれに対応するタイムスタンプ情報ＴＳに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれを、例えば、それら顔画像の出現頻度順（顔画像の検出時間長順）のような順序で並べて表示する。この場合、例えば、当該各列に割り当てられた時間帯に属する顔画像の内から、出現頻度（登場頻度）の高い順に顔画像が行数分だけ選択され、選択された顔画像が登場頻度順に上から下に向かって並んで配置される。もちろん、出現頻度順ではなく、各列に割り当てられた時間帯に出現する顔画像それぞれを、その出現順に並べて表示してもよい。
【００５４】
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図６以降で後述する。
【００５５】
また、顔画像一覧表示処理部３０１は、データベース１１１Ａからサムネイルインデキシング情報（サムネイル、タイムスタンプ情報ＴＳ）を読み出し、そしてサムネイルインデキシング情報を用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア（以下、じゃばらサムネイル表示エリアと称する）上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
【００５６】
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、インデキシングビュー画面上に顔サムネイル表示エリアのみならず、じゃばらサムネイル表示エリアも表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。
【００５７】
次に、図４を参照して、ＴＶアプリケーションプログラム２０２の機能構成を説明する。
【００５８】
ＴＶアプリケーションプログラム２０２は、上述の顔画像一覧表示処理部３０１に加え、記録処理部４０１、インデキシング制御部４０２、再生処理部４０３等を備えている。
【００５９】
記録処理部４０１は、ＴＶチューナ１１７によって受信された放送番組データ、または外部機器から入力されるビデオデータをＨＤＤ１１１に記録する記録処理を実行する。また、記録処理部４０１は、ユーザによって予め設定された録画予約情報（チャンネル番号、日時）によって指定される放送番組データをＴＶチューナ１１７を用いて受信し、その放送番組データをＨＤＤ１１１に記録する予約録画処理も実行する。
【００６０】
インデキシング制御部４０２は、ビデオプロセッサ（インデキシング処理部）１１３を制御して、インデキシング処理をビデオプロセッサ１１３に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データをＨＤＤ１１１に記録する処理と並行してインデキシング処理が自動的に開始される。また、ユーザは、既にＨＤＤ１１１に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
【００６１】
再生処理部４０３は、ＨＤＤ１１１に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部４０３は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生要求イベントが入力された時、選択されている顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。
【００６２】
ユーザは、顔画像一覧を見ながら、映像コンテンツデータの再生を開始すべき位置を決定することができる。
【００６３】
なお、インデキシング処理は、必ずしもビデオプロセッサ１１３によって実行する必要はなく、例えば、ＴＶアプリケーションプログラム２０２にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、ＴＶアプリケーションプログラム２０２の制御の下に、ＣＰＵ１０１によって実行される。
【００６４】
次に、図５および６を参照して、インデキシングビュー画面の具体的な構成について説明する。
【００６５】
図５には、顔画像一覧表示処理部３０１によってＬＣＤ１７に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある映像コンテンツデータ（例えば放送番組データ）をインデキシング処理することによって得られた画面である。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアとサムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
【００６６】
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図５においては、左端のサムネイル画像が選択されている場合を示している。
【００６７】
顔画像一覧表示処理部３０１は、ユーザ操作によって選択されたサムネイル画像を第１の横幅サイズで表示し、他の各サムネイル画像の横幅サイズを第１の横幅サイズよりも小さい横幅サイズで表示する。具体的には、選択されたサムネイル画像は第１の横幅サイズで表示され、その選択されたサムネイル画像の近傍の幾つかサムネイル画像はその横幅が縮小された状態で表示され、他の各サムネイル画像はさらに僅かな横幅で表示される。選択されているサムネイル画像には、さらに矩形の枠を付加してもよい。
【００６８】
顔サムネイル表示エリアにおいては、複数の顔画像の一覧が表示される。なお、顔画像が一定期間以上連続して検出されなかった場合には、フレーム全体のサムネイル画像を顔サムネイル表示エリアに表示しても良い。また、シーンの変わり目毎に、フレーム全体のサムネイル画像を顔サムネイル表示エリアに表示しても良い。
【００６９】
図６は、顔サムネイル表示エリアの構成例が示されている。
【００７０】
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図６においては、顔サムネイル表示エリアは６行×１６列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、９６個である。
【００７１】
列１〜列１６のそれぞれには、例えば、映像コンテンツデータの総時間長を列数（＝１６）で等間隔で分割することによって得られる、互いに同一の時間長Ｔを有する複数の時間帯がそれぞれ割り当てられる。
【００７２】
例えば、映像コンテンツデータの総時間長が２時間であるならば、その２時間が１６個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Ｔは、７．５分である。例えば、列１には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列２には、0:07:30から0:15:00までの時間帯が割り当てられ、列３には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Ｔは変化する。
【００７３】
もちろん、複数の列それぞれに割り当てられる時間帯の長さは、必ずしも同一である必要はない。
【００７４】
顔画像一覧表示処理部３０１は、ビデオプロセッサ１１３によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の６個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをたとえば上述の頻度順に並べて表示する。この場合、顔画像一覧表示処理部３０１は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分（６個）の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
【００７５】
このように、顔サムネイル表示エリアにおいては、左端位置（1,1）を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。
【００７６】
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは"大"、"中"、"小"の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。
【００７７】
（１）"大"の場合；  ３行×８列
【００７８】
（２）"中"の場合；  ６行×１６列
【００７９】
（３）"小"の場合：  １０行×２４列
【００８０】
"大"の場合においては、各顔画像は、例えば、１８０×１８０ピクセルのサイズで表示される。"中"の場合においては、各顔画像は、例えば、９０×９０ピクセルのサイズで表示される。"小"の場合においては、各顔画像は、例えば、６０×６０ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、"中"に設定されている。
【００８１】
顔サムネイル表示エリア内の各顔画像は、選択されていない"標準"状態、選択されている"フォーカス"状態の２つの状態のいずれかに設定される。"フォーカス"状態の顔画像のサイズは、"標準"状態の時のサイズ（１８０×１８０、９０×９０、または６０×６０）よりも大きく設定される。図８においては、座標(１，１２)の顔画像が"フォーカス"状態である場合を示している。
【００８２】
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って、例えば２４０枚、１４４枚、９６枚、４８枚のいずれかに設定される。デフォルトは例えば２４０枚である。
【００８３】
サムネイル画像は、選択されていない"標準"状態、選択されている"フォーカス"状態の２つの状態のいずれかに設定される。"フォーカス"状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。
【００８４】
次に、顔サムネイル表示エリア内の顔画像一覧の中の一つの顔画像を選択するユーザ操作に伴って再生要求イベントが発生した場合に開始される映像コンテンツデータの再生時に、ユーザによって選択された顔画像が含まれるフレームを強調して再生する第一の実施例について図７を用いて説明する。
【００８５】
ユーザによる顔画像選択操作に応じた再生要求イベントが発生すると、選択された顔画像に割り当てられているタイムスタンプ情報をリードする（ステップ  Ｓ１００）。
【００８６】
ステップＳ１００にてリードされたタイムスタンプ情報に基づいて、顔画像一覧表示処理部３０１はＨＤＤ１１１に対して、リードされたタイムスタンプ情報の値から所定の値だけ小さい値が割り当てられているフレームをはじめとする所定枚数のフレーム群を取得するためのフレーム取得要求を出す（ステップ  Ｓ１０１）。
【００８７】
ステップＳ１００にてリードされたタイムスタンプ情報の値から所定値だけ小さい値が割り当てられているフレームをはじめとする所定枚数のフレーム群を取得する理由は、ユーザによって選択された顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータを再生するためである。
【００８８】
ステップＳ１０１のフレーム取得要求に応じてＨＤＤ１１１から読み出された複数のフレーム群のうち、ステップＳ１００にてリードしたタイムスタンプ情報の値と同じ値を有するタイムスタンプ情報が割り当てられているフレームを特定する（ステップ  Ｓ１０２）。
【００８９】
再生処理部４０３は、ステップＳ１０１のフレーム取得要求に応じて読み出された複数のフレーム群の再生において、ステップＳ１０２で特定されたフレームの再生時に所定時間に亘って再生を停止する。すなわち、再生処理部４０３は、ステップＳ１０１のフレーム取得要求に応じて読み出された複数のフレーム群の再生において、ステップＳ１０２にて特定されたフレームを、ステップＳ１０２にて特定されたフレームとは異なるフレーム夫々の再生時間よりも長い時間に亘って再生する（ステップ  Ｓ１０３）。
【００９０】
このように、顔サムネイル表示エリア内の顔画像一覧の中からユーザによって選択された一つの顔画像が含まれるフレームの再生時に所定時間に亘って再生を停止することで、映像コンテンツデータの再生においてユーザによって選択された一つの顔画像が含まれるフレームが強調して再生され、ユーザによって選択された顔画像が含まれるフレームが映像コンテンツデータの中のどこに位置するのかをユーザは容易に認識することが可能となる。
【００９１】
次に、第二の実施例について図８を用いて説明する。上述にて説明した第一の実施例と比較して異なる処理は、ステップＳ１０３以降の処理である。
【００９２】
第二の実施例はステップＳ１０２にて特定されたフレームに対して加工処理を施す例である。すなわち、図９の（２）に示すように、ステップＳ１０２にて特定されたフレームの背景の色を特定の色に指定する（ステップ  Ｓ２０３）。
【００９３】
再生処理部４０３は、ステップＳ１０１のフレームリード要求に応じて読み出された複数のフレーム群の再生において、ステップＳ２０３にて指定された特定の色を背景色とするフレームを再生する（ステップ  Ｓ２０４）。
【００９４】
このように、顔サムネイル表示エリア内の顔画像一覧の中からユーザによって選択された一つの顔画像が含まれるフレームの背景色として特定の色を指定して再生することで、映像コンテンツの再生においてユーザによって選択された一つの顔画像が含まれるフレームが強調して再生され、ユーザによって選択された顔画像が含まれるフレームが映像コンテンツの中のどこに位置するのかをユーザは容易に認識することが可能となる。
【００９５】
次に、第三の実施例について図１０を用いて説明する。上述にて説明した第一の実施例と比較して異なる処理は、ステップＳ１０３以降の処理である。
【００９６】
第三の実施例はステップＳ１０２にて特定したフレームに対して加工処理を施す例である。すなわち、図１１の（２）に示すように、ステップＳ１０２にて特定されたフレーム中のユーザによって選択された顔画像と一致する領域を強調表示する例である。図１１に示す例では、ステップＳ１０２にて特定されたフレームに含まれる、ユーザによって選択された顔画像に一致する領域を枠で囲うように、ステップＳ１０２にて特定されたフレームに枠画像をオーバレイ処理する（ステップ  Ｓ３０３）。このステップＳ３０３の処理は、上述にて説明した、フレームから検出された顔領域を切り出す処理時に作成された顔領域位置情報を用いて行われる。
【００９７】
再生処理部４０３は、ステップＳ１０１のフレームリード要求に応じて読み出された複数のフレーム群の再生において、ステップＳ３０３にて枠画像がオーバレイ処理されたフレームを再生する（ステップ  Ｓ３０４）。
【００９８】
このように、顔サムネイル表示エリア内の顔画像一覧の中からユーザによって選択された一つの顔画像に一致する領域を枠で囲うように処理されたフレームを再生することで、映像コンテンツデータの再生においてユーザによって選択された一つの顔画像が含まれるフレームが強調して再生され、ユーザによって選択された顔画像が含まれるフレームが映像コンテンツデータの中のどこに位置するのかをユーザは容易に認識することが可能となる。
【００９９】
また、ユーザによって選択された一つの顔画像に一致する領域に対して枠付け処理したフレームを再生することで、映像コンテンツデータの再生において、ユーザによって選択された一つの顔画像がどこに現れるのかをユーザは容易に認識することが可能となる。
【０１００】
上述にて説明した第三の実施例では、特定したフレーム中のユーザによって選択された顔画像と一致する領域を強調表示する一例として、この領域を枠で囲う一例を説明したが、この構成に限ることは無く、例えば、ユーザによって選択された顔画像と一致する領域を拡大処理して、この拡大処理した顔画像をフレームに重ね合わせて表示させてもよい。
【０１０１】
また、上述にて説明した第一乃至第三の実施例では、映像インデキシング処理にて動画像データから抽出された代表画像の一例である顔画像をユーザが顔サムネイル表示エリア内の顔画像一覧から選択する構成について説明したが、この構成に限ることは無く、代表画像の一例として顔画像以外の画像であってもよい。
【０１０２】
本発明は上記実施形態をそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示されている全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０３】
【図１】本発明の一実施形態に係る電子機器の概観の例を示す斜視図。
【図２】同実施形態の電子機器のシステム構成の例を示すブロック図。
【図３】同実施形態の電子機器の顔画像一覧表示機能を説明するためのブロック図。
【図４】同実施形態の電子機器で用いられるプログラムの機能構成を示すブロック図。
【図５】同実施形態の電子機器によって表示装置に表示されるインデキシングビュー画面の例を示す図。
【図６】図５のインデキシングビュー画面内に含まれる顔サムネイル表示エリアの構成例を示す図。
【図７】顔サムネイル表示エリア内の顔画像一覧の中の一つの顔画像が選択されるユーザ操作に伴って再生要求イベントが発生した場合に開始される映像コンテンツの再生についての第一の実施例を説明する流れ図。
【図８】顔サムネイル表示エリア内の顔画像一覧の中の一つの顔画像が選択されるユーザ操作に伴って再生要求イベントが発生した場合に開始される映像コンテンツの再生についての第二の実施例を説明する流れ図。
【図９】特定したフレームに対して色をオーバレイしたフレームの一例を示す図。
【図１０】顔サムネイル表示エリア内の顔画像一覧の中の一つの顔画像が選択されるユーザ操作に伴って再生要求イベントが発生した場合に開始される映像コンテンツの再生についての第三の実施例を説明する流れ図。
【図１１】ユーザによって選択された一つの顔画像に相当する顔領域を枠で囲うように処理されたフレームの一例を示す図。
【符号の説明】
【０１０４】
１０…電子機器（コンピュータ）、１１１Ａ…データベース、
１１３…ビデオプロセッサ、１１７…ＴＶチューナ、３０１…顔画像一覧表示処理部、４０２…インデキシング制御部、４０３…再生処理部
【図１】
2009200827.tif 000003
【図２】
2009200827.tif 000004
【図３】
2009200827.tif 000005
【図４】
2009200827.tif 000006
【図５】
2009200827.tif 000007
【図６】
2009200827.tif 000008
【図７】
2009200827.tif 000009
【図８】
2009200827.tif 000010
【図９】
2009200827.tif 000011
【図１０】
2009200827.tif 000012
【図１１】
2009200827.tif 000013