(57)【要約】【課題】チャプタの内容を容易に把握できるようなサムネイル画像を提示する。【解決手段】入力映像をチャプタに分割するチャプタ分割部１０３と、チャプタの種類と当該種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積するチャプタ分類ルール蓄積部１０４と、分割されたチャプタそれぞれを分類ルールにしたがって分類するチャプタ分類部１０５と、チャプタの種類と、当該種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための候補画像それぞれの特徴情報とを対応付けた抽出ルールを蓄積するサムネイル抽出ルール蓄積部１０６と、分割されたチャプタそれぞれから上記抽出ルールにしたがって候補画像を抽出するサムネイル候補画像抽出部１０７と、抽出された候補画像をもとにサムネイル画像を生成するサムネイル画像生成部１０８と、チャプタに対応付けてサムネイル画像を出力する出力部１１１とを備える。【選択図】図１
2009212562.tif 000002
【特許請求の範囲】
【請求項１】
チャプタの種類と当該種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する第１の蓄積部と、
入力映像をチャプタに分割する分割部と、
分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する分類部と、
前記チャプタの種類と、当該種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための、前記候補画像それぞれの特徴を表す情報とを対応付けた抽出ルールを蓄積する第２の蓄積部と、
分割された前記チャプタそれぞれから前記抽出ルールにしたがって前記候補画像を抽出する抽出部と、
抽出された前記候補画像をもとにサムネイル画像を生成する生成部と、
分割された前記チャプタに対応付けて前記サムネイル画像を出力する出力部と
を具備することを特徴とする映像視聴支援装置。
【請求項２】
チャプタの階層構造と当該階層毎にチャプタの種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する第１の蓄積部と、
入力映像をチャプタに分割する分割部と、
分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する分類部と、
分類された前記チャプタを当該チャプタの種類をもとに前記分類ルールにしたがって階層化する階層化部と、
前記チャプタの階層構造と、当該階層毎にそれぞれサムネイルの候補画像を抽出するための、前記候補画像の特徴を表す情報とを対応付けた抽出ルールを蓄積する第２の蓄積部と、
前記階層それぞれに対応するチャプタから前記抽出ルールにしたがって前記候補画像を抽出する抽出部と、
抽出された前記候補画像をもとにサムネイル画像を生成する生成部と、
前記チャプタの階層構造に対応付けて前記サムネイル画像を出力する出力部と
を具備することを特徴とする映像視聴支援装置。
【請求項３】
前記生成部は、前記複数のサムネイルとして、前記チャプタの内容を代表する代表サムネイルと、前記チャプタの内容を補足する少なくとも１つの補足サムネイルとを生成することを特徴とする請求項１または請求項２に記載の映像視聴支援装置。
【請求項４】
前記分割部は、前記入力映像に含まれる文字情報および映像情報のうち少なくとも一方をもとに前記入力映像をチャプタに分割することを特徴とする請求項１または請求項２に記載の映像視聴支援装置。
【請求項５】
前記第１の蓄積部は、映像のジャンル毎に前記分類ルールを蓄積し、
前記分類部は、前記入力映像のジャンルに応じた分類ルールを用いること特徴とする請求項１または請求項２に記載の映像視聴支援装置。
【請求項６】
前記第２の蓄積部は、映像のジャンル毎に前記抽出ルールを蓄積し、
前記抽出部は、前記入力映像のジャンルに応じた抽出ルールを用いることを特徴とする請求項１または請求項２に記載の映像視聴支援装置。
【請求項７】
チャプタの種類と当該種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積するステップと、
入力映像をチャプタに分割するステップと、
分割された前記チャプタそれぞれを前記分類ルールにしたがって分類するステップと、
前記チャプタの種類と、当該種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための、前記候補画像それぞれの特徴を表す情報とを対応付けた抽出ルールを蓄積するステップと、
分割された前記チャプタそれぞれから前記抽出ルールにしたがって前記候補画像を抽出するステップと、
抽出された前記候補画像をもとにサムネイル画像を生成するステップと、
分割された前記チャプタに対応付けて前記サムネイル画像を出力するステップと
を具備することを特徴とする映像視聴支援方法。
【請求項８】
前記チャプタの階層構造と当該階層毎にチャプタの種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積するステップと、
入力映像をチャプタに分割するステップと、
分割された前記チャプタそれぞれを前記分類ルールにしたがって分類するステップと、
分類された前記チャプタを当該チャプタの種類をもとに前記分類ルールにしたがって階層化するステップと、
前記チャプタの階層構造と、当該階層毎にそれぞれサムネイルの候補画像を抽出するための、前記候補画像の特徴を表す情報とを対応付けた抽出ルールを蓄積するステップと、
前記階層それぞれに対応するチャプタから前記抽出ルールにしたがって前記候補画像を抽出するステップと、
抽出された前記候補画像をもとにサムネイル画像を生成するステップと、
前記チャプタの階層構造に対応付けて前記サムネイル画像を出力するステップと
を具備することを特徴とする映像視聴支援方法。
【請求項９】
コンピュータに、
チャプタの種類と当該種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する処理と、
入力映像をチャプタに分割する処理と、
分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する処理と、
前記チャプタの種類と、当該種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための、前記候補画像それぞれの特徴を表す情報とを対応付けた抽出ルールを蓄積する処理と、
分割された前記チャプタそれぞれから前記抽出ルールにしたがって前記候補画像を抽出する処理と、
抽出された前記候補画像をもとにサムネイル画像を生成する処理と、
分割された前記チャプタに対応付けて前記サムネイル画像を出力する処理と
を実行させることを特徴とする映像視聴支援プログラム。
【請求項１０】
コンピュータに、
前記チャプタの階層構造と当該階層毎にチャプタの種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する処理と、
入力映像をチャプタに分割する処理と、
分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する処理と、
分類された前記チャプタを当該チャプタの種類をもとに前記分類ルールにしたがって階層化する処理と、
前記チャプタの階層構造と、当該階層毎にそれぞれサムネイルの候補画像を抽出するための、前記候補画像の特徴を表す情報とを対応付けた抽出ルールを蓄積する処理と、
前記階層それぞれに対応するチャプタから前記抽出ルールにしたがって前記候補画像を抽出する処理と、
抽出された前記候補画像をもとにサムネイル画像を生成する処理と、
前記チャプタの階層構造に対応付けて前記サムネイル画像を出力する処理と
を実行させることを特徴とする映像視聴支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像を複数のチャプタに分割してユーザに提示し、選択されたチャプタの映像を視聴可能とする映像視聴支援装置とその方法およびプログラムに関する。
【背景技術】
【０００２】
録画された映像をユーザが効率的に視聴できるようにするため、チャプタ分割を自動で行い、ユーザが選択したチャプタのみを視聴することができる映像再生装置が提案されている（例えば、特許文献１を参照。）。
【０００３】
このような映像再生装置では、ユーザが番組を選択する際に内容がすぐにわかるよう、また、チャプタの選択を行いやすいように、チャプタの一覧が表示されるものが多くある。チャプタ一覧表示時には通常、それぞれのチャプタの内容を示す小さな代表画像（以下、サムネイル画像）が表示される。サムネイル画像としては、チャプタの先頭から数秒間経過した時点や、特定の映像情報が変化した時点のショットが選ばれることが多い。
【０００４】
しかし、サムネイル画像のショットを選ぶ方法が固定されていると、特定の種類のチャプタ内容を示すためのサムネイル画像としては最適であっても、他の種類のチャプタに関しては不適切なサムネイル画像が選ばれてしまう可能性がある。更に、分割されたチャプタの全体を閲覧する際に分割数が多いと、個々のチャプタのサムネイル画像の表示が小さくなってしまうため、チャプタの内容を認識しづらくなってしまう。この問題を解決するために、例えば最大分割数を固定にしてチャプタ分割を行う方法もあるが、映像が長時間になるにつれて分割が大まかになるため、チャプタ内容の詳細を把握することができない。
【特許文献１】特開２００７−１５０７２３公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、従来のチャプタ一覧では、ユーザはチャプタ内容を把握し難いため、視聴するチャプタを選択するまでに時間がかかったり、一度再生してチャプタ内容を確認しなければならない等の不便さがあった。
【０００６】
本発明は上記事情に鑑みてなされたものであって、その目的とするところは、チャプタの内容を容易に把握できるようなサムネイル画像を提示することができる映像視聴支援装置とその方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明に係る映像視聴支援装置は、チャプタの種類と当該種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する第１の蓄積部と、入力映像をチャプタに分割する分割部と、分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する分類部と、前記チャプタの種類と、当該種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための、前記候補画像それぞれの特徴を表す情報とを対応付けた抽出ルールを蓄積する第２の蓄積部と、分割された前記チャプタそれぞれから前記抽出ルールにしたがって前記候補画像を抽出する抽出部と、抽出された前記候補画像をもとにサムネイル画像を生成する生成部と、分割された前記チャプタに対応付けて前記サムネイル画像を出力する出力部とを具備する
また、この発明に係る映像視聴支援装置は、チャプタの階層構造と当該階層毎にチャプタの種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する第１の蓄積部と、入力映像をチャプタに分割する分割部と、分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する分類部と、分類された前記チャプタを当該チャプタの種類をもとに前記分類ルールにしたがって階層化する階層化部と、前記チャプタの階層構造と、当該階層毎にそれぞれサムネイルの候補画像を抽出するための、前記候補画像の特徴を表す情報とを対応付けた抽出ルールを蓄積する第２の蓄積部と、前記階層それぞれに対応するチャプタから前記抽出ルールにしたがって前記候補画像を抽出する抽出部と、抽出された前記候補画像をもとにサムネイル画像を生成する生成部と、前記チャプタの階層構造に対応付けて前記サムネイル画像を出力する出力部とを具備する。
【０００８】
この発明に係る映像視聴支援方法は、チャプタの種類と当該種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積するステップと、入力映像をチャプタに分割するステップと、分割された前記チャプタそれぞれを前記分類ルールにしたがって分類するステップと、前記チャプタの種類と、当該種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための、前記候補画像それぞれの特徴を表す情報とを対応付けた抽出ルールを蓄積するステップと、分割された前記チャプタそれぞれから前記抽出ルールにしたがって前記候補画像を抽出するステップと、抽出された前記候補画像をもとにサムネイル画像を生成するステップと、分割された前記チャプタに対応付けて前記サムネイル画像を出力するステップとを具備する。
【０００９】
また、この発明に係る映像視聴支援方法は、前記チャプタの階層構造と当該階層毎にチャプタの種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積するステップと、入力映像をチャプタに分割するステップと、分割された前記チャプタそれぞれを前記分類ルールにしたがって分類するステップと、分類された前記チャプタを当該チャプタの種類をもとに前記分類ルールにしたがって階層化するステップと、前記チャプタの階層構造と、当該階層毎にそれぞれサムネイルの候補画像を抽出するための、前記候補画像の特徴を表す情報とを対応付けた抽出ルールを蓄積するステップと、前記階層それぞれに対応するチャプタから前記抽出ルールにしたがって前記候補画像を抽出するステップと、抽出された前記候補画像をもとにサムネイル画像を生成するステップと、前記チャプタの階層構造に対応付けて前記サムネイル画像を出力するステップとを具備する。
【００１０】
この発明に係る映像視聴支援プログラムは、コンピュータに、チャプタの種類と当該種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する処理と、入力映像をチャプタに分割する処理と、分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する処理と、前記チャプタの種類と、当該種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための、前記候補画像それぞれの特徴を表す情報とを対応付けた抽出ルールを蓄積する処理と、分割された前記チャプタそれぞれから前記抽出ルールにしたがって前記候補画像を抽出する処理と、抽出された前記候補画像をもとにサムネイル画像を生成する処理と、分割された前記チャプタに対応付けて前記サムネイル画像を出力する処理とを実行させるものである。
【００１１】
また、この発明に係る映像視聴支援プログラムは、コンピュータに、前記チャプタの階層構造と当該階層毎にチャプタの種類を分類するための手がかりを表す情報とを対応付けた分類ルールを蓄積する処理と、入力映像をチャプタに分割する処理と、分割された前記チャプタそれぞれを前記分類ルールにしたがって分類する処理と、分類された前記チャプタを当該チャプタの種類をもとに前記分類ルールにしたがって階層化する処理と、前記チャプタの階層構造と、当該階層毎にそれぞれサムネイルの候補画像を抽出するための、前記候補画像の特徴を表す情報とを対応付けた抽出ルールを蓄積する処理と、前記階層それぞれに対応するチャプタから前記抽出ルールにしたがって前記候補画像を抽出する処理と、抽出された前記候補画像をもとにサムネイル画像を生成する処理と、前記チャプタの階層構造に対応付けて前記サムネイル画像を出力する処理とを実行させるものである。
【発明の効果】
【００１２】
したがってこの発明によれば、チャプタの内容を容易に把握できるようなサムネイル画像を提示することができる映像視聴支援装置とその方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。なお、後述する各実施形態においては、映像視聴支援装置を録画機器のチャプタ一覧機能に適用した例について説明する。また、映像視聴支援装置は、チャプタ一覧機能以外の様々な機能に対して適用することができる。
【００１４】
（第１の実施形態）  
第１の実施形態は、分割されたチャプタそれぞれについて、各チャプタの内容に応じて適切な代表サムネイル画像、補足サムネイル画像を生成する映像視聴支援装置について説明したものである。
【００１５】
図１は、第１の実施形態に係る映像視聴支援装置の構成を示すブロック図である。図１において、映像視聴支援装置１００は、文字情報抽出部１０１、映像情報抽出部１０２、チャプタ分割部１０３、チャプタ分類ルール蓄積部１０４、チャプタ分類部１０５、サムネイル抽出ルール蓄積部１０６、サムネイル候補画像抽出部１０７、サムネイル画像生成部１０８、サムネイルデータベース（サムネイルＤＢ）１０９、タイムライン生成部１１０、および出力部１１１を備える。
【００１６】
文字情報抽出部１０１は、番組メタデータ蓄積部２に蓄積される電子番組ガイド（ＥＰＧ：Electric Program Guide：）等の映像に付随するメタデータからキーワードなどの文字情報を抽出する。
【００１７】
映像情報抽出部１０２は、映像蓄積部１０２に蓄積される映像から顔の位置、テロップの位置、ショット間類似度などの映像情報を抽出する。
【００１８】
チャプタ分割部１０３は、上記文字情報抽出部１０１および映像情報抽出部１０２により抽出された映像情報や文字情報を利用して映像を話題ごとに複数のチャプタに分割する。
【００１９】
チャプタ分類ルール蓄積部１０４は、映像のジャンル毎に、キーワードやその出現位置の特徴、特徴が一致した場合に考えられるチャプタ内容の種類をチャプタ分類ルールとして保持する。
【００２０】
チャプタ分類部１０５は、上記チャプタ分割部１０３で分割されたチャプタを、上記チャプタ分類ルール蓄積部１０４中のルールと照らし合わせ、チャプタの種類を分類する。
【００２１】
サムネイル抽出ルール蓄積部１０６は、チャプタの種類毎にそれぞれ複数のサムネイルの候補画像を抽出するための、候補画像にそれぞれ対応するサムネイル抽出ルールを蓄積する。サムネイル抽出ルールは、候補画像の特徴を映像情報、文字情報等を条件として記述したもので、本実施形態では、チャプタの内容を代表する代表サムネイルの候補画像およびチャプタの内容を補足する補足サムネイルの候補画像にそれぞれ対応する抽出ルールを含む。
【００２２】
サムネイル候補画像抽出部１０７は、上記サムネイル抽出ルール蓄積部１０６中の該当するルールに従って、文字情報および映像情報を利用し、代表サムネイルの候補画像と補足サムネイルの候補画像を抽出する。
【００２３】
サムネイル画像生成部１０８は、上記サムネイル候補画像抽出部１０７で抽出された候補画像をもとにそれぞれ代表サムネイルと補足サムネイルを生成する。
【００２４】
サムネイルＤＢ１０９は、各チャプタに対応付けて上記作成された代表サムネイルおよび補足サムネイルを格納する。
【００２５】
タイムライン生成部１１０は、サムネイルＤＢ１０９をもとにチャプタの映像に対応する代表サムネイルおよび補足サムネイルを表示したタイムラインを生成する。
【００２６】
出力部１１１は、映像蓄積部１から再生した映像と共に、タイムライン生成部１１０で生成されるタイムラインを出力する。
【００２７】
なお、本実施形態に係る映像視聴支援装置１００は、録画したテレビ番組に対してその内容をチャプタ一覧の形で一覧する場合の例について説明する。
【００２８】
映像視聴支援装置１００は、映像視聴可能なパーソナル・コンピュータ（ＰＣ：Personal Computer）に映像の内容を参照するためのアプリケーションプログラムとして搭載することで実現できる。また、映像視聴支援装置１００に用いられるＰＣは例えばデスクトップ型、ノート型など、どのような形態でも良く、また、ＰＣ以外にも、ハードディスクレコーダー等の録画機器を用いて実現しても良い。
【００２９】
また、映像視聴支援装置１００がサムネイル生成処理を行うタイミングは、対象番組の録画が終了した時点でも良いし、ユーザが対象番組のチャプタ一覧を表示する時点、もしくは、ユーザが対象番組を視聴するのと並行して行っても良い。
【００３０】
次に、このように構成された映像視聴支援装置１００の動作について説明する。  
（文字情報抽出処理）  
文字情報抽出部１０１は、映像に付随するメタデータから文字情報を抽出する。映像にはクローズドキャプション（closed captions）と呼ばれるテキストデータが付随していることが多い。これを文字情報の抽出元メタデータとして使用することができる。もしくはクローズドキャプション以外のメタデータを使用してもよい。また、クローズドキャプションを含まない映像に対しては、映像中の音声データに対して自動音声認識技術を適用して文字情報抽出元のデータとして利用することができる。
【００３１】
文字情報として抽出されるのは、キーワードやその意味属性、キーワードの出現位置などである。キーワードを抽出する部としては、既存の形態素解析などの技術を利用して名詞句を取り出す方法が考えられる。また、キーワードの意味属性を判定する部としては、公知の固有表現抽出手法“質問応答と日本語固有表現抽出および固有表現体系の関係についての考察、市村由美，他、情報処理学会研究報告、NL-161-3, 2004”等を用いることができる。例えば、「株式会社ＡＢＣ」の意味属性は、キーワード意味属性判定の処理によって「企業名」と判定される。具体例として、図２に示す文書２１からは図２中２２のような文字情報（キーワード／意味属性／出現位置）を抽出することができる。もしくは、チャプタ分類部１０５において、チャプタ分類ルール蓄積部１０４中の条件等に現れるキーワードがテキストデータに含まれるかどうか、文字情報利用時に随時テキストデータ中から検索する方法をとっても良い。
【００３２】
（映像情報抽出部）  
映像情報抽出部１０２は、映像の画像信号、音声信号を処理し、１つ乃至複数の特徴データを映像情報として抽出する。映像情報としては、既存の映像情報の抽出技術を利用できる。例えば、映像中に出現する人間の顔を検出したり、表示されるテロップを認識したり、もっと低度な情報としては、ショット間の類似度を算出したり、画面中の色成分を抽出したりすることが考えられる。また、画像上の情報だけでなく、音声により認識された情報を利用しても良い。なお、ショットとは、映像中でカメラが切替ってから次のカメラ切替までの区間を示す。
【００３３】
（チャプタ分割部）  
チャプタ分割部１０３は、上記抽出された文字情報や映像情報を利用して、映像をシーン毎や話題毎に分割する。例えば、以下のような手法を用いることができる。
【００３４】
［映像情報を利用したチャプタ分割］  
映像のチャプタ分割には、映像情報を対象にした既存のチャプタ分割手法を適用できる。例えば、“映像対話検出によるテレビ番組コーナ構成高速会席システム、青木恒、電子情報通信学会論文誌、Vol.J880D-II No.1, pp.17-27, 2005”には、映像をショット毎に分割し、その類似度に従ってシーン毎に映像を分割する手法が開示されている。
【００３５】
［文字情報を利用したチャプタ分割］  
また、チャプタ分割には、映像上のデータではなく、テキストデータを対象とした既存のチャプタ分割手法を適用することができる。この方法では話題の内容を考慮したチャプタ分割を行うことができる。例えば、“Hearst, M. TextTiling: Segmenting Text into Multi-Paragraph Subtopic Passages, Computational Linguistics, 23（1）, pp. 33-64, March1997.”には、テキスト中に含まれる語彙を比較し、話題の切れ目を自動的に検出する手法が開示されている。
【００３６】
また、クローズドキャプション情報を含まないビデオコンテンツに対しては、“Smeaton, A., Kraaij, W. and Over, P.: The TREC Video Retrieval Evaluation （TRECVID）: A Case Study and Status Report, RIAO 2004 conference proceedings, 2004.”に開示されているように、ビデオコンテンツ中の音声データに対して自動音声認識（automatic speech recognition）技術を適用し、テキストデータを取得してトピック分割に利用してもよい。
【００３７】
（チャプタ分類ルール蓄積部）  
チャプタ分類ルール蓄積部１０４は、それぞれのジャンルの映像がどのような種類のチャプタから構成されるかを示すチャプタ分類ルールを保持している。映像のジャンル毎に別のルールを保持し、処理時にはジャンルによってルールを使い分ける。
【００３８】
図３（ａ）は、映像のジャンルが「旅番組」である場合のチャプタ分類ルールの例である。これによって各チャプタは、例えば「温泉入浴」、「宿の食事」のチャプタなどに分類される。
【００３９】
チャプタ分類ルール１０４中の「手がかり」の項は、チャプタを分類するための条件を保持する。例えば「いで湯」は、そのチャプタの文字情報中に「いで湯」というキーワードが含まれることを意味する。また、「ＣＬＡＳＳ：化学用語」は、そのチャプタの文字情報中に「ナトリウム」や「アルカリ」などの「化学用語」という意味属性を持つキーワードが含まれることを意味する。図３（ｂ）にＣＬＡＳＳの例を示す。この意味属性は、上述したキーワード意味属性判定処理によって付加される。手がかりとして、ただのキーワードと「ＣＬＡＳＳ：」を組み合わせた条件を使用可能にしても良い。例えば「（ＣＬＡＳＳ：地名）温泉」とは、「草津温泉」や「箱根温泉」のように、意味属性として地名を持つキーワードの後に「温泉」が続くようなキーワードを指す。また、手がかりとして正規表現を使用可能にしても良い。例えば「（和｜洋）室」とは、「和室」「洋室」の双方を指す。
【００４０】
チャプタ分類ルール１０４において、「チャプタ名」の項は、「手がかり」の項の条件がどの種類のチャプタに関する条件であるのかを示す。例えば、手がかり「ＣＬＡＳＳ：料理名」、チャプタ名「宿の食事」のレコードでは、当該チャプタの文字情報が「料理名」という意味属性を持つキーワードを含む場合に、当該チャプタが「宿の食事」に関するチャプタである可能性があることを示す。また、「点数」の項は、当該レコードの手がかりが、チャプタ分類に際しどの程度の重みを持つのかを示す点数である。
【００４１】
（チャプタ分類部）  
チャプタ分類部１０５は、チャプタ分割部１０３で分割されたチャプタと、文字情報抽出部１０１で抽出された文字情報とを受け取り、チャプタ分類ルール蓄積部１０４を参照して映像のジャンルに対応したルールに従い、上記チャプタがどの種類に属するかを決定する。
【００４２】
［映像のジャンル］  
映像のジャンルは、ＥＰＧなどの映像に付随するメタデータに記載されていることが多い。そのため、映像のジャンルはメタデータから容易に判定可能である。また、映像にメタデータが付随していない場合でも、上述した文字情報中に含まれるキーワードの種類などからジャンルを推定することができる。例えば、「温泉」「湯量」「宿」などのキーワードが多く含まれる場合、その映像のジャンルは「旅番組」であると推定できる。これは、各ジャンルがどのようなキーワードを含み得るかのテーブルを保持しておくことで実現可能である。
【００４３】
［分類処理］  
図４は、チャプタ分類処理のフローチャートである。以下、図４を用いて、チャプタ分類部１０５が行う処理について説明する。  
チャプタ分類部１０５は、まず処理対象のチャプタを含む映像のジャンルを特定する（ステップＳ４ａ）。ジャンルの特定方法については上述した通りである。
【００４４】
次に、チャプタ分類ルール蓄積部１０４から、特定されたジャンルに応じたルールを取得する（ステップＳ４ｂ）。そして、取得したルール中に出現するチャプタ名毎に分類点数テーブルを初期化する（ステップＳ４ｃ）。分類点数テーブルは、どのチャプタ名がどれだけ確からしいかの点数を保持するテーブルである。初期化時には全ての種類の点数を０とする。例えば図３（ａ）のチャプタ分類ルールを使用する場合には、分類点数テーブルは図５のように初期化される。
【００４５】
次に、チャプタ分類ルール中の全てのレコードについて以下の処理を繰り返す（ステップＳ４ｄ〜Ｓ４ｇ）。レコード中の手がかりの項の条件が、当該チャプタの文字情報に含まれる場合（ステップＳ４ｅ：ＹＥＳ）、分類点数テーブルの点数を、レコードのチャプタ種類、点数の項に従って更新する（ステップＳ４ｆ）。例えば、文字情報中に「硫黄泉」という言葉が出てきたら、これは図３（ａ）の「ＣＬＡＳＳ：化学用語」に合致する。そのためこのチャプタの分類点数テーブルの「温泉入浴」の点数に、「ＣＬＡＳＳ：化学用語」の点数０．７を加算する。チャプタ分類部１０５は、チャプタ分類ルール中の全てのレコードに対し以上の処理が終了したら（ステップＳ４ｇ：ＹＥＳ）、分類点数テーブル中で一番点数の高いチャプタの種類を、処理対象のチャプタの種類とする（ステップＳ４ｈ）。
【００４６】
ここで、分類点数テーブルのどの点数も０となった場合は、そのチャプタは上記処理では分類することができない。以降は、下記のようにして、そのチャプタをどれかの種類に分類するものとする。
【００４７】
分類できなかったチャプタをどれかの種類に分類するために、当該チャプタの前のチャプタもしくは後ろのチャプタのいずれかと併合する。チャプタ分割部１０３において、チャプタ分割の際に分割の確信度を算出している場合には、その確信度を前後のどちらのチャプタと併合するかの判断に利用することができる。すなわち、図６（ａ）に示すように、分類できなかったチャプタの始点での確信度が低く、終点での確信度が高い場合には、当該チャプタは前の「温泉入浴」のチャプタからの続きである可能性の方が高い。そのときは、分類できなかったチャプタは前のチャプタと併合され、２つ合わせて「温泉入浴」のチャプタとなる。逆の場合も同じように、後ろのチャプタと併合され、「宿の食事」のチャプタとなる。
【００４８】
分割の確信度が利用できない場合には、チャプタ中の語彙の類似度から前後のどちらのチャプタと併合するかを推測することができる。例えば図６（ｂ）のように後ろのチャプタから抽出される語彙との類似度が高い場合には、後ろのチャプタと併合される。チャプタからの語彙の抽出は、上述した文字情報抽出部１０１によって実現可能である。
【００４９】
なお、図３（ａ）に示すチャプタ分類ルールは一部であり、実際にはオープニング部分、エンディング部分などのルールも必要である。また、映像中に現れるコマーシャルは、上記の分類処理では誤って他のチャプタと併合されてしまう。従って、コマーシャルは分類処理を行う前に映像信号などの情報を使って省いておくなどの処理が必要となる。
【００５０】
（サムネイル抽出ルール蓄積部）  
サムネイル抽出ルール蓄積部１０６は、それぞれの種類のチャプタにおいてどのようなショットがサムネイルの候補画像として使われるのが適切かを示すサムネイル抽出ルールを保持している。映像のジャンル毎に別のルールを保持しており、処理時にはジャンルに応じてルールを使い分ける。
【００５１】
図７及び図８に、サムネイル抽出ルール蓄積部１０６に蓄積されるサムネイル抽出ルールの一例を示す。図７は、映像ジャンル「旅番組」に対応するサムネイル抽出ルールの一例であり、図８は、映像ジャンル「料理番組」に対応するサムネイル抽出ルールの一例である。
【００５２】
「チャプタ種類」の項は、上記チャプタ分類部１０５により分類されたチャプタ内容の種類を表す。チャプタ種類毎にサムネイル抽出ルール中のどのレコードを使用するかを決定する。  
「候補画像」の項は、チャプタ中でどのようなショットをサムネイルの候補画像として抽出するか、その名称を記している。「サムネイル種類」の項は、抽出された候補画像から生成されるサムネイルが代表サムネイルに対応するか、それとも補足サムネイルに対応するかを表す。例えば、図７において、「宿の食事」のチャプタでは、代表サムネイルの候補画像として料理の概要（個々の料理全てが表示され、コースとしての名称が表示されている部分）を利用し、補足サムネイルの候補画像としては個々の料理のアップ画面を利用できる。
【００５３】
「特徴情報」と「条件」の項は、候補画像となるショットを抽出するために利用する情報の種類と、その値の条件を示す。例えば、図８において、「特徴情報：顔」、「条件：検出されない」は、映像情報の１つである顔検出の結果、顔が検出されないショットがサムネイルのショットとして可能性が高いということを示している。「重み」の項は、そのレコードの条件が、サムネイルのショットの抽出にどれだけ重要かを示す数値である。また、図８のルールでは、１つのチャプタ種類に対して補足サムネイルの候補画像が複数定義されている。このように、補足サムネイルは複数種類、複数枚数抽出できるようにしても良い。
【００５４】
（サムネイル候補画像抽出部）  
サムネイル候補画像抽出部１０７は、チャプタとその種類、文字情報、映像情報を受け取り、サムネイル抽出ルール蓄積部１０６に蓄積された抽出ルールに従って、当該チャプタを代表するサムネイルショットと、それを補足するサムネイルショットを抽出する。
【００５５】
図９乃至図１１は、サムネイル候補画像の抽出処理のフローチャートである。以下、図９乃至図１１を用いて、サムネイル候補画像抽出部１０７が行う処理の説明を行う。  
サムネイル候補画像抽出部１０７は、まず処理対象のチャプタを含む映像のジャンルを特定する（ステップＳ９ａ）。次に、サムネイル抽出ルール蓄積部１０６から、映像のジャンルに応じたサムネイル抽出ルールを取り出す（ステップＳ９ｂ）。更にその中から、処理対象のチャプタの種類に応じたレコードの集合を取り出す。
【００５６】
レコード集合中の各レコードの「特徴情報」の項に記された情報を、処理対象のチャプタについて抽出する（ステップＳ９ｃ）。これは、上述した文字情報抽出部１０１及び映像情報抽出部１０２を利用する。図１０において、サムネイル候補画像抽出部１０７は、ルール群から１レコードを取り出す（ステップＳ１０ａ）。そのレコード中に記された特徴情報が既に取得された情報でない場合は（ステップＳ１０ｂ：ＮＯ）、当該チャプタに関してレコード中に記された特徴情報を抽出する（ステップＳ１０ｃ）。ルール群中の全てのレコードについて終了するまで上記処理を行う（ステップＳ１０ｄ）。
【００５７】
次に、特徴情報加算処理（ステップＳ９ｄ）に移行する。図１１において、サムネイル候補画像抽出部１０７は、処理対象のチャプタをショット毎に分割する（ステップＳ１１ａ）。そして、ショットの区間情報をショットテーブルとして保持し、各ショットの点数の項を０に初期化する。図１２にショットテーブルの例を示す。「区間」項にはショットの区間情報を保持し、「代表点数」項には当該ショットが代表サムネイル画像のショットとして抽出されるかどうかの点数、「補足点数」項には当該ショットが補足サムネイル画像のショットとして抽出されるかどうかの点数を保持する。区間情報は、図１２では“時：分：秒−時：分：秒”となっているが、例えば映像開始からの所定のフレーム数などを用いても良い。
【００５８】
チャプタ中のショット毎に、ルールレコード群中の各レコードについて以下の処理を行う（ステップＳ１１ｂ）。ショット区間中の特徴情報を抽出し（ステップＳ１１ｃ）、抽出された特徴情報が当該ショット区間中で、注目しているレコードの条件と合致した場合（ステップＳ１１ｄ：ＹＥＳ）、ショットテーブル中の当該ショット区間に対する点数に、当該レコードの重みの値を加算する（ステップＳ１１ｅ）。
【００５９】
全てのショット、全てのレコードに対して以上の処理を行ったら（ステップＳ１１ｆ：ＹＥＳ，ステップＳ１１ｇ：ＹＥＳ）、ショットテーブルの代表点数の一番高いものを代表サムネイルの候補画像とし、ショットテーブルの補足点数の高い順に所定個数を補足サムネイルの候補画像とする（ステップＳ９ｅ）。
【００６０】
図１３は、１つのチャプタ内のショットとその特徴情報の検出区間、最終的に候補画像として選ばれるショットを示した図である。なお、補足サムネイルの候補画像となるショットの個数は予め決められた数でも良いし、ユーザがチャプタ一覧を閲覧する画面の大きさによって可変にしてもよい。また、ユーザのリクエストに応じてより多くの補足サムネイルの候補画像を抽出するようにしてもよい。
【００６１】
（サムネイル画像生成部）  
サムネイル画像生成部１０８は、サムネイル候補画像抽出部１０７で抽出された各ショットの区間情報に対応する候補画像を映像蓄積部１から読み出して、最終的なサムネイル画像（代表サムネイル／補足サムネイル）を生成する。ショット中のどのフレームを最終的なサムネイルの位置とするかは種々の方法が考えられる。例えば、ショットの先頭時刻や終了時刻は前後のショットとの切替り画面を含む可能性があるため、ショットの中間時刻を用いるのが望ましい。生成された代表サムネイル及び補足サムネイルは、各チャプタに対応付けてサムネイルＤＢ１０９に格納される。
【００６２】
（タイムライン生成部）  
図１４はこの第１の実施形態におけるチャプタ一覧の表示例である。タイムライン生成部１１０は、図１４に示すようなチャプタ一覧を表したタイムラインを生成する。タイムライン部１４２はそれぞれのチャプタの長さに区切られており、これがチャプタ概要部である。タイムライン内のチャプタ概要部１４２−１〜３には、チャプタの概要としてサムネイルＤＢ１０９に格納されたサムネイル画像が表示されている。また、サムネイル抽出ルールに記載される候補画像の名称が併記されている。このほかに、タイムライン部１４２に、他システムにて生成されたチャプタの要約文やラベルを表示してもよい。出力部１１１は、映像蓄積部１の再生映像を表示した映像再生部１４１とともに、上記生成されたタイムライン部１４２をモニタ等に表示する。ユーザがタイムライン部１４２によりサムネイルを選択、再生指示をしたときには、出力部１１１は映像蓄積部１からそのチャプタの映像を再生して映像再生部１４１に表示する。
【００６３】
図１５は、チャプタ概要部の１つを拡大表示したものである。チャプタ概要部には代表サムネイル及び補足サムネイルが表示される。代表サムネイル１５１は大きく、補足サムネイル１５２−１〜４を小さく表示することで、ユーザはチャプタの概要と、その内容の詳細を知ることができる。
【００６４】
なお、補足サムネイルが多数あり当該チャプタ概要部に表示しきれない場合、補足サムネイルを一定時間ごとに順次切り替えることで表示可能な数なだけ補足サムネイルを表示してもよい。もしくは、補足サムネイル部分をスクロールさせてもよい。また、ユーザが着目しているチャプタについては補足サムネイルを併せて表示し、そうでないチャプタは代表サムネイルだけ表示することもできる。また、ユーザが着目しているチャプタの補足サムネイルのみ上述するようなアニメーション表示を行っても良い。
【００６５】
以上述べたように、上記第１の実施形態では、番組のジャンル、話題の内容毎にサムネイルの候補画像を抽出するためのサムネイル抽出ルールを保持し、チャプタ内容に応じて使用するルールを切り替えるようにしている。したがって、上記第１の実施形態によれば、ユーザが見てすぐに内容を把握できる、適切なサムネイル画像を提示することが可能となる。これにより、ユーザは視聴したい場面を含むチャプタを容易に選択できるようになる。
【００６６】
（第２の実施形態）  
第２の実施形態は、映像を階層的に構造化することにより、ユーザが自身の好きな粒度で構造化されたチャプタ一覧を閲覧することができる映像視聴支援装置について説明したものである。
【００６７】
映像は、その内容を階層的に構造化することができることが多い。例えば旅番組であれば、大きく分けていくつかの場所の紹介をし、その場所それぞれの中では名所や店を巡り、宿の紹介を行う。更に宿のチャプタの中では、部屋の紹介をし、温泉に入り、夕食を摂る、といった具合である。第２の実施形態では、この階層それぞれに対応するサムネイル画像を生成し、階層化したチャプタ一覧をユーザに提示する。
【００６８】
以下、図面を参照しながら本発明の第２の実施形態について、上記第１の実施形態との差異を中心に説明する。  
図１６は、第２の実施形態に係る映像視聴支援装置の構成を示すブロック図である。なお、図１６において、第１の実施形態の図１と同一部分については同一符号を付し、詳しい説明は省略する。
【００６９】
映像視聴支援装置１６００は、第１の実施形態の構成において、チャプタ分類部１０５の後段にチャプタ階層化部１６０２を更に備えることを特徴としている。また、チャプタ分類ルール蓄積部１６０１およびサムネイル抽出ルール蓄積部１６０３の内容と、サムネイル候補画像抽出部１６０４の動作に違いがある。
【００７０】
図１６に示した映像視聴支援装置１６００の動作について説明する。
【００７１】
（チャプタ分類ルール蓄積部）  
チャプタ分類ルール蓄積部１６０１は、それぞれのジャンルの映像がどのような階層構造をしているかを示すチャプタの階層構造と各階層のチャプタの種類と種類毎の特徴情報とを対応付けた分類ルールを蓄積する。図１７は、ジャンルが「旅番組」である映像のチャプタ分類ルールである。また、図１８は、ジャンルが「歌番組」である映像のチャプタ分類ルールである。第２の実施形態のチャプタ分類ルールは、第１の実施形態に用いたチャプタ分類ルールに加え、各チャプタが階層化されていることが特徴である。
【００７２】
最下位の階層（チャプタが詳細な側）以外の階層は、ＡＮＹ条件及びＧＲＯＵＰ条件を含み得る。ＡＮＹ条件とは子供の階層の全てにかかる条件である。例えば、図１７の「宿」チャプタには、「ＡＮＹ条件：宿｜旅館｜ホテル」がある。これは、「宿」チャプタの子供になり得るチャプタ「部屋紹介」「温泉入浴」「夕食」チャプタの条件として、宿、旅館およびホテルのいずれかが出現する必要がある、ということを示している。ＧＲＯＵＰ条件の利用方法については、後述する階層化処理のフローの中で説明する。
【００７３】
また、図１７および図１８の各チャプタ階層構造の項に「*」や「?」、「１:」や「２:」が付記されていることがある。「*」は、親の階層の中で、そのチャプタが何度も現れうることを示す。「?」は、親の階層の中で、そのチャプタが０回もしくは１回現れうることを示す。正規表現と違い、これらはその出現順までは規定しない。その代わり、図１８に示すように「１:」や「２:」は、それらのチャプタが親の階層の中でその順番に現れることを示している。
【００７４】
（チャプタ階層化部）  
チャプタ階層化部１６０２は、チャプタ分類部１０５から各チャプタの種類が分類された結果を受け、映像のジャンルに対応したチャプタ分類ルールに従い、分類されたチャプタを階層化する。
【００７５】
［分類誤りを想定しない場合］  
図１９及び図２０は、チャプタ分類の誤りを想定しない場合のチャプタ階層化処理のフローチャートである。以下、図１９及び図２０を用いてチャプタ階層化部１６０２の処理について説明する。
【００７６】
（階層化フロー）  
図１９は、階層化処理の全体フローを表す図である。また、この階層化フローによってチャプタ列がどのように階層化されていくかを図２１に示す。図２１（ａ）は旅番組の例、図２１（ｂ）は歌番組の例である。前提条件として、チャプタ分類結果は、図２１（ａ）中２１０１および図２１（ｂ）２１０６のようになったとものとする。これをチャプタ列の初期状態とする。なお、簡便のため図２１にはチャプタの種類のみ記載しているが、チャプタ列は、チャプタの種類とその始点・終点を保持するものとする。もしくはチャプタ分割を行った際の結果へのポインタを保持しても良い。これにより文字情報が必要となった際には、適宜チャプタの実体を参照し、文字情報を抽出することができる。また、事前に各チャプタの文字情報を抽出、保持しておき、必要となった際にそれを参照する方法をとっても良い。
【００７７】
図１９において、チャプタ階層化部１６０２は、現在のチャプタ列のコピーを保存する（ステップＳ１９ａ）。これは、階層化処理中にチャプタ列を順次書き換えていくため、各階層の内容が失われないようにするための処理である。
【００７８】
現在のチャプタ列の階層がチャプタ分類ルールの一番上（一番大まかな）階層でないかどうかをチェックする（ステップＳ１９ｂ）。全てが一番上位の階層になっていれば、直ちに処理を終了する（ステップＳ１９ｂ：ＮＯ）。例えば、図２１中の２１０５や２１０８では、「場所」や「歌手」よりも上位の階層は存在しないので、ここで階層化の処理は終了する。
【００７９】
現在のチャプタ列で一番深い階層の深さをｎとし、チャプタ分類ルールから深さnと（ｎ−１）に関する部分を取り出す（ステップＳ１９ｃ）。例えばチャプタ列の初期状態である図２１中の２１０１では「温泉」、「夕食」が一番深い階層であり、その深さは３である。上記図１７から深さ３と２に関する部分を取り出すと、図２２中の２２０５のようになる。
【００８０】
チャプタ列のそれぞれの種類に対し、対応する（ｎ−１）階層の種類を併せたものを新しくチャプタ列とする。この結果は、図２１中の２１０２，２１０４，２１０７に相当する（ステップＳ１９ｄ）。
【００８１】
チャプタ列の（ｎ−１）階層の種類が同じで連続するものを、グループ化候補とする（ステップＳ１９ｅ）。グループ化候補は複数ある場合もある。例えば図２２の２２０１，２１０６は、図２１の２１０２，２１０７から取り出されたグループ化候補である。未分類のチャプタ（???）は、ワイルドカードとして考える。
【００８２】
グループ化候補についてグループ化の処理を行う（ステップＳ１９ｆ）。詳細は後述するため、ここでは例を述べるに留める。例えば図２２のグループ候補２２０１は、グループ化を行うことにより２２０４となる。
【００８３】
グループ化した結果でチャプタ列を書き換える（ステップＳ１９ｇ）。これにより、図２１中の２１０２が２１０３のようにグループ化される。書き換えられたチャプタ列で再度ステップＳ１９ａに戻って上記処理を繰り返し行う。
【００８４】
（グループ化フロー）  
図２０は、上述した階層化処理における図１９のステップＳ１９ｆのグループ化処理である。図２２は、このフローによってグループ化候補がグループ化される例を示したものである。
【００８５】
チャプタ階層化部１６０２は、グループ化候補群からグループ化候補を１つ取り出す（ステップＳ２０ａ）。
【００８６】
グループ化候補の階層と種類に該当するチャプタ分類ルールを取り出す（ステップＳ２０ｂ）。例えば、図２２の２２０１のようなグループ化候補に該当するのは、図１７のチャプタ階層化ルール１６０１のうち図２２の２２０５の部分である。
【００８７】
取り出された部分ルール中の上位の階層にＧＲＯＵＰ条件があるかどうかをチェックする（ステップＳ２０ｃ）。
【００８８】
ＧＲＯＵＰ条件がある場合（ステップＳ２０ｃ：ＹＥＳ）、グループ化候補中の各チャプタに関して、ＧＲＯＵＰ条件に合致する文字情報を抽出する（ステップＳ２０ｄ）。例えば、図２２のグループ化候補２２０１に対し、部分ルール２２０５の宿の階層のＧＲＯＵＰ条件は「ＣＬＡＳＳ：宿名」なので、グループ化候補中の各チャプタの文字情報のうち、ＣＬＡＳＳ：宿名のものを抽出する。
【００８９】
それぞれのチャプタで抽出されたＧＲＯＵＰ条件が、グループ化候補全体に対して変化しているかどうかをチェックする（ステップＳ２０ｅ）。例えば、図２２の２２０１に関して、もしも１つ目のチャプタ「宿（温泉）」からは「東西旅館」、２つ目のチャプタ「???」からも「東西旅館」が抽出され、３つ目のチャプタ「宿（夕食）」からは「南北ホテル」が抽出された場合、これはグループ化候補の中でＧＲＯＵＰ条件の情報が変化していると言える。この場合３つとも宿に関するチャプタであっても、３つ目のチャプタは別の宿に関するチャプタであると考えられる。
【００９０】
ＧＲＯＵＰ条件が変化していたら（ステップＳ２０ｅ：ＹＥＳ）、それはグループ化してはいけない部分であるので、変化している点で区切る（ステップＳ２０ｆ）。区切られたそれぞれを新しいグループ化候補としてグループ化候補群に加え、ステップＳ２０ａから処理をやり直す。上述した例の場合では、１つ目、２つ目のチャプタ列が１つのグループ化候補、３つ目のチャプタは別のグループ化候補として処理をやり直すこととなる。
【００９１】
ＧＲＯＵＰ条件が変化していない場合（ステップＳ２０：ＮＯ）、部分ルールの下位階層のパターンとグループ化候補の最長一致を求める（ステップＳ２０ｇ）。例えば図２２のグループ化候補１と部分ルール２２０５では、グループ化候補１全体が最長一致の結果となる。未分類部分はワイルドカードとして扱えると共に、無いものとしても扱える。図２２のグループ化候補6と部分ルール１3では、最長一致は図２２の7のようになる。
【００９２】
最長一致した部分の中に、未分類のチャプタがある場合（ステップＳ２０ｈ：ＹＥＳ）、もし未分類のチャプタの種類が部分ルールから一意に定まるのであれば（ステップＳ２０ｉ：ＹＥＳ）、その種類に割り当てる（ステップＳ２０ｊ）。図２２中の２２０９，２２１０，２２１１の例では、部分ルール２２１３によると「歌手というグループは最初にトークのチャプタが来て、次に歌のチャプタが来る」というルールになっているが、２２１０ではトーク部分が無い。そのため、未分類部分はトークのチャプタとなり、２２１１のような結果となる。
【００９３】
一意に定まるものの、未分類チャプタ部分に複数の種類のチャプタが必要となった場合には、未分類チャプタを複数に分割する。分割には第１の実施形態で述べたような、チャプタ分割の手法を用いればよい。
【００９４】
未分類のチャプタの種類が一意に定まらない場合（ステップＳ２０ｉ：ＮＯ）、その前後のチャプタと併合する（ステップＳ２０ｋ）。併合の処理は、第１の実施形態で説明したように、図６に示したような処理を行えばよい。
【００９５】
以上のように未分類のチャプタの処理を行ったら、最長一致した部分を１つのグループとする。最長一致した部分以外は新たなグループ化候補とする（ステップＳ２０ｌ）。グループ化候補がなくなるまで、以上の処理を繰り返す（ステップＳ２０ｍ）。このようにしてグループ化処理を行った後、上記階層化処理の所定の位置に戻る。
【００９６】
［分類誤りを想定した場合］  
実際には、チャプタ分類の結果にはある程度誤りが含まれると予想される。そのため、分類結果に有る程度曖昧さを持たせたままチャプタ階層化を行う必要がある。曖昧さを持ったチャプタ列の例を、図２３に示す。曖昧性を解消するには、全ての組み合わせについて階層化処理の中でＧＲＯＵＰ条件のチェックを行い、合致しない組み合わせを捨てればよい。最後まで決定できない組み合わせについては、例えば長くグループ化されるものを優先する、最終的なチャプタの数が少なくなるものを優先するなど、優先条件を定めてそれに従って選択すればよい。
【００９７】
（サムネイル抽出ルール蓄積部）  
図２４は、サムネイル抽出ルール蓄積部１６０３に蓄積される、旅番組におけるサムネイルの候補画像を抽出するためのルールの例を示した図である。図中の１や２の行は、親の階層に対するサムネイル抽出ルールを示している。例えば、１の行は「場所」チャプタの、２の行は「宿」チャプタのためのルールである。それぞれのルールの中身については、第１の実施形態で述べたサムネイル抽出ルールと同様であるため、説明は省略する。
【００９８】
ここに挙げられているルールの他に、親の階層のサムネイルとして子供の階層のサムネイルのうちから１つ選択するというルールも考えられる。例えば図２５は歌番組のルール例であるが、１つの「トーク」チャプタと「歌」チャプタから成る「歌手」チャプタのサムネイルショットは、子供チャプタのうち「歌」チャプタで抽出されたサムネイルショットを候補画像として選択することとなる。
【００９９】
（サムネイル候補画像抽出部）  
第２の実施形態におけるサムネイル候補画像抽出部１６０４では、サムネイル抽出ルール蓄積部１６０３を参照し、階層化されたチャプタのそれぞれの階層に対応するサムネイルの候補画像を抽出する。それぞれの階層について代表サムネイルおよび補足サムネイルを抽出しても良いが、ここでは簡便のため代表サムネイルを選択する方法について述べる。
【０１００】
図２６は、候補画像の抽出処理のフローチャートである。全てのチャプタについて第１の実施形態と同様にサムネイルショットの抽出を行う。ただし、最下位の階層以外では先に述べたように「子階層からのサムネイル抽出」というルールが有り得るため、階層の低い方から順（帰りがけ順）にサムネイルショットを抽出していく必要がある。また、子階層がある場合には、ルールに「子階層からのサムネイル抽出」ルールが無いかどうかのチェックが必要となる。
【０１０１】
図２６において、サムネイル候補画像抽出部１６０４は、まず処理対象のチャプタを含む映像のジャンルを特定する（ステップＳ２６ａ）。次に、サムネイル抽出ルール蓄積部１６０１から、映像のジャンルに応じたサムネイル抽出ルールを取り出す（ステップＳ２６ｂ）。そして、取り出したルールが「子階層からのサムネイル抽出」である場合には（ステップＳ２６ｃ：ＹＥＳ）、そのルールに従って子階層からサムネイルショットを抽出する（ステップＳ２６ｄ）。一方、取り出したルールが「子階層からのサムネイル抽出」でない場合には、上記第１の実施形態ステップＳ９ｃ〜９ｅと同様にサムネイルショットの抽出処理を行う（ステップＳ２６ｅ〜Ｓ２６ｇ）。上記生成された各階層のサムネイルは、図１６に示すように、各チャプタの階層構造に対応付けてサムネイルＤＢ１６０５に格納される。
【０１０２】
（タイムライン生成部）  
図２７は、第２の実施形態において番組全体のチャプタ一覧を表示している例である。タイムライン生成部１６０６は、図２７に示すようなチャプタ一覧を表したタイムラインを生成する。タイムライン部２７２では、チャプタによっては下向きの三角が表示されている。これはこのチャプタ２７２−１，２７２−２に子供の階層が存在していることを示している。ユーザはこのチャプタを選択し、例えばリモコンの下ボタンなどを押すことで、子供の階層のチャプタ表示に切り替えることができる。
【０１０３】
図２８は、図２７中のチャプタ２７２−２を子供の階層に切り替えた後の例である。ここでは逆に上向きの三角が表示され、親の階層が存在することを示している。下向きの三角は、さらに子供の階層があることを示している。また左右の三角は、同じ階層の隣のチャプタへ移動できることを示している。
【０１０４】
また、第１の実施形態の補足サムネイル画像に相当するサムネイル画像を、第２の実施形態における子階層の代表サムネイル画像抽出によって生成し、図１４のように表示してもよい。
【０１０５】
以上述べたように、上記第２の実施形態によれば、映像中のチャプタを階層化することによって、ユーザは見たい詳細度でチャプタ概要を見ることができるため、ユーザが視聴するチャプタの決定のための判断材料を提供し、視聴するチャプタの決定を簡単に行えるようになる。
【０１０６】
なお、この発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【０１０７】
【図１】本発明に係る映像視聴支援装置の第１の実施形態を示すブロック図。
【図２】文字情報抽出部において、入力文書とそれから抽出される文字情報の一例を示す図。
【図３】チャプタ分類ルール蓄積部が保持する、「旅番組」のチャプタ分類ルールの一例を示す図。
【図４】チャプタ分類部によるチャプタ分類処理のフローチャート。
【図５】チャプタ分類処理中で使用する、分類先候補の確からしさを保持するテーブルの一例を示す図。
【図６】チャプタ分類できなかったチャプタの処理例を示す図。
【図７】第１の実施形態におけるサムネイル抽出ルール蓄積部が保持するジャンル「旅番組」のサムネイル抽出ルールの一例を示す図。
【図８】第１の実施形態におけるサムネイル抽出ルール蓄積部が保持するジャンル「料理番組」のサムネイル抽出ルールの一例を示す図。
【図９】第１の実施形態におけるサムネイル候補画像抽出部によるサムネイル候補画像の抽出処理のフローチャート。
【図１０】第１の実施形態におけるサムネイル候補画像抽出部によるサムネイル候補画像の抽出処理のフローチャート。
【図１１】第１の実施形態におけるサムネイル候補画像抽出部によるサムネイル候補画像の抽出処理のフローチャート。
【図１２】サムネイル候補画像抽出処理中において使用する、ショットが抽出されるその確からしさを保持するテーブルの一例を示す図。
【図１３】サムネイル候補画像抽出部によって抽出されたショットの一例を示す図。
【図１４】第1の実施形態における、番組全体のチャプタ一覧の表示例を示す図。
【図１５】図１４中の1つのチャプタ概要部を拡大した図。
【図１６】第２の実施形態に係る映像視聴支援装置の構成を示すブロック図。
【図１７】チャプタ分類ルール蓄積部が保持する、「旅番組」のチャプタ分類ルールの一例を示す図。
【図１８】チャプタ分類ルール蓄積部が保持する、「歌番組」のチャプタ分類ルールの一例を示す図。
【図１９】チャプタ階層化部によるチャプタ階層化処理のフローチャート。
【図２０】チャプタ階層化処理中に行われるチャプタグループ化処理のフローチャート。
【図２１】チャプタ階層化部によるチャプタ階層化処理によって、チャプタ列が階層化される様子を示す図。
【図２２】チャプタグループ化処理によって、チャプタ列がグループ化される様子を示す図。
【図２３】チャプタ分類の結果に曖昧性を持たせたまま階層化処理を行う場合のチャプタ列の一例を示す図。
【図２４】第２の実施形態におけるサムネイル抽出ルール蓄積部が保持する、ジャンル「旅番組」のサムネイル抽出ルールの一例を示す図。
【図２５】第２の実施形態におけるサムネイル抽出ルール蓄積部が保持する、ジャンル「歌番組」のサムネイル抽出ルールの一例を示す図。
【図２６】第２の実施形態におけるサムネイル候補画像抽出部によるサムネイルショット選択処理のフローチャート。
【図２７】第２の実施形態における、番組全体のチャプタ一覧の表示例を示す図。
【図２８】図２７中の1つのチャプタを選択した状態での表示例を示す図。
【符号の説明】
【０１０８】
１・・・映像蓄積部
２・・・番組メタデータ蓄積部
１００・・・第１の実施形態の映像視聴支援装置
１０１・・・文字情報抽出部
１０２・・・映像情報抽出部
１０３・・・チャプタ分割部
１０４・・・チャプタ分類ルール蓄積部
１０５・・・チャプタ分類部
１０６・・・サムネイル抽出ルール蓄積部
１０７・・・サムネイル候補画像抽出部
１０８・・・サムネイル画像生成部
１０９・・・サムネイルデータベース
１１０・・・タイムライン生成部
１１１・・・出力部
１６００・・・・第２の実施形態の映像視聴支援装置
１６０１・・・チャプタ分類ルール蓄積部
１６０２・・・チャプタ階層化部
１６０３・・・サムネイル抽出ルール蓄積部
１６０４・・・サムネイル候補画像抽出部
１６０５・・・サムネイルデータベース
１６０６・・・タイムライン生成部
【図１】
2009212562.tif 000003
【図２】
2009212562.tif 000004
【図３】
2009212562.tif 000005
【図４】
2009212562.tif 000006
【図５】
2009212562.tif 000007
【図６】
2009212562.tif 000008
【図７】
2009212562.tif 000009
【図８】
2009212562.tif 000010
【図９】
2009212562.tif 000011
【図１０】
2009212562.tif 000012
【図１１】
2009212562.tif 000013
【図１２】
2009212562.tif 000014
【図１３】
2009212562.tif 000015
【図１４】
2009212562.tif 000016
【図１５】
2009212562.tif 000017
【図１６】
2009212562.tif 000018
【図１７】
2009212562.tif 000019
【図１８】
2009212562.tif 000020
【図１９】
2009212562.tif 000021
【図２０】
2009212562.tif 000022
【図２１】
2009212562.tif 000023
【図２２】
2009212562.tif 000024
【図２３】
2009212562.tif 000025
【図２４】
2009212562.tif 000026
【図２５】
2009212562.tif 000027
【図２６】
2009212562.tif 000028
【図２７】
2009212562.tif 000029
【図２８】
2009212562.tif 000030