(57)【要約】【課題】映像コンテンツにおいて、字幕が表示されている又は字幕が音声として再生されている場面の再生速度をその場面に応じて変化させたダイジェストコンテンツを生成する。【解決手段】映像コンテンツに含まれる字幕データの文字数、字幕の表示が開始される字幕表示開始時間、字幕の表示が終了する字幕表示終了時間を検出する。また、映像コンテンツに含まれる音声データについてその種類を判定するとともにその基本周波数、音量、音声の再生が開始される音声開始時間、及び音声の再生が終了する音声終了時間を検出する。字幕文字数、字幕表示開始時間、字幕表示終了時間、基本周波数、音量、音声開始時間、及び音声終了時間から映像コンテンツの再生速度を決定する。この決定を基に、映像コンテンツのダイジェストコンテンツを生成する。【選択図】図１
2008301340.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツを要約したダイジェストコンテンツを生成するダイジェスト作成装置であって、
前記映像コンテンツで表示される字幕の文字数及び字幕表示時間を検出する字幕解析部と、
字幕の文字数、及び当該字幕表示時間から発話速度を算出し、当該発話速度を基に前記字幕表示時間での映像コンテンツの再生速度を決定するシーン抽出部と、
前記シーン抽出部により決定された再生速度に従ってダイジェストコンテンツを生成するダイジェスト生成部と、を備えるダイジェスト作成装置。
【請求項２】
前記ダイジェスト生成部は、字幕表示時間以外は一定速度で再生するダイジェストコンテンツを生成する請求項１に記載のダイジェスト作成装置。
【請求項３】
前記ダイジェスト生成部は、字幕表示時間以外は映像コンテンツ開始からの経過時間に従って速度を速めて再生するダイジェストコンテンツを生成する請求項１に記載のダイジェスト作成装置。
【請求項４】
前記ダイジェスト生成部は、前記シーン抽出部により決定された再生速度で、字幕表示時間のみを再生するダイジェストコンテンツを生成する請求項１に記載のダイジェスト作成装置。
【請求項５】
映像コンテンツを要約したダイジェストコンテンツを生成するダイジェスト作成装置であって、
前記映像コンテンツで表示される字幕の文字数及び字幕表示時間を検出する字幕解析部と、
前記字幕表示時間に再生される映像コンテンツの音声を解析し、基本周波数、音量のうちの少なくとも１つと音声再生時間とを検出する音声解析部と、
前記字幕の文字数、及び音声再生時間から発話速度を算出し、前記基本周波数、音量、の少なくとも１つ及び発話速度を基にして当該音声再生時間での映像コンテンツの再生速度を決定するシーン抽出部と、
前記シーン抽出部により決定された再生速度に従ってダイジェストコンテンツを生成するダイジェスト生成部と、を備えるダイジェスト作成装置。
【請求項６】
前記ダイジェスト生成部は、音声再生時間以外は一定速度で再生するダイジェストコンテンツを生成する請求項５に記載のダイジェスト作成装置。
【請求項７】
前記ダイジェスト生成部は、音声表示時間以外は映像コンテンツ開始からの経過時間に従って速度を速めて再生するダイジェストコンテンツを生成する請求項５に記載のダイジェスト作成装置。
【請求項８】
前記ダイジェスト生成部は、前記シーン抽出部により決定された再生速度で、音声再生時間のみを再生するダイジェストコンテンツを生成する請求項５に記載のダイジェスト作成装置。
【請求項９】
前記シーン抽出部は、前記発話速度と前記映像コンテンツのジャンルを基に前記字幕表示時間での映像コンテンツの再生速度を決定する請求項１〜４のいずれか１項に記載のダイジェスト作成装置。
【請求項１０】
前記シーン抽出部は、前記基本周波数、音量の少なくとも１つ及び前記発話速度と前記映像コンテンツのジャンルを基に前記音声再生時間での映像コンテンツの再生速度を決定する請求項５〜８のいずれか１項に記載のダイジェスト作成装置。
【請求項１１】
前記シーン抽出部は、前記基本周波数、音量の少なくとも１つ及び前記発話速度と前記音声再生時間の音声の種類を基に前記音声再生時間での映像コンテンツの再生速度を決定する請求項５〜８のいずれか１項に記載のダイジェスト作成装置。
【請求項１２】
前記字幕の文字数は、字幕の文字をすべて仮名で表記した場合の前記仮名の文字数である請求項１〜１１のいずれか１項に記載のダイジェスト作成装置。
【請求項１３】
前記映像コンテンツに含まれる映像信号に重畳された字幕から前記字幕の文字数を検出し、前記検出した字幕の文字数を前記字幕解析部に送信する入力処理部を備える請求項１〜１２のいずれか１項に記載のダイジェスト作成装置。
【請求項１４】
前記シーン抽出部は、
複数の段階に分けた発話速度を基に、各段階の発話速度に対応した再生速度を決定する請求項１に記載のダイジェスト作成装置。
【請求項１５】
前記シーン抽出部は、
複数の段階に分けた発話速度と、複数の段階に分けた基本周波数と、複数の段階に分けた音量を基に、対応する再生速度を決定する請求項５に記載のダイジェスト作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツのダイジェスト作成装置に関し、特に、テレビ番組などのコンテンツを要約し効率的に視聴するためのダイジェストコンテンツを生成するダイジェスト作成装置に関する。
【背景技術】
【０００２】
デジタル放送及びインターネット放送の一般化やＤＶＤ（Ｄｉｇｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）レコーダなどの普及によって、テレビ番組の長時間録画やいわゆるタイムシフト再生が一般的におこなわれている。しかしユーザのテレビ視聴時間は限られているため、録画した全てのテレビ番組を視聴する時間は必ずしも確保できない。録画したテレビ番組を短時間で視聴するために、テレビ番組のコンテンツをただ単に早送り再生すると、重要な場面もそうでない場面も区別なく一律に高速再生されてしまう。この方法では、ユーザがコンテンツの内容を十分に理解できないおそれがある。そこでユーザにとっては、録画したテレビ番組を視聴する際に視聴時間の短縮と番組内容の正確な把握とをいかにして両立するかが重要な問題となる。
【０００３】
このための技術として特許文献１〜４には、コンテンツに含まれる映像、音声、及び字幕などのデータを解析して重要であると判断した場面のみを抽出し、これら重要なシーンを繋いで再生するダイジェスト作成技術、またはユーザの操作で場面間の往来を簡単に可能にする技術が示されている。特許文献５には、重要だと判断した場面を通常の速度で再生し、そうでないシーンを高速再生する技術が示されている。特許文献６には、高速再生によってユーザが字幕の内容を理解し損なうことを防ぐために、字幕の文字数に応じて字幕の入った場面の再生を一時的に停止する技術が示されている。
【特許文献１】特開２０００―２３０６２号公報
【特許文献２】特開２００２―３４４８７１号公報
【特許文献３】特開２００５―１１５６０７号公報
【特許文献４】特開平１１―５５６０３号公報
【特許文献５】特開２００５―２５２３７２号公報
【特許文献６】特開平９―２００７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ドラマなどのコンテンツでは、セリフの入る場面が重要な意味を持つことが多い。このため、この種のコンテンツ全編を効率よく短時間で視聴するには、セリフの部分はできるだけ通常に近い速度で再生してセリフを聞き取りやすくし、それ以外の部分はできるだけ高速で再生することが好ましい。しかし、高速再生においてもユーザがコンテンツの内容を理解できるようにしなければならないので、再生速度には自ずと上限がある。短時間でより効率的にコンテンツを視聴するためには、セリフの入る場面はユーザがセリフの内容を聞き取れる範囲で最も高速に再生し、セリフの入らない場面は場面の展開が理解できる範囲の速度で、セリフの入る場面よりも高速で再生することが重要となる。
【０００５】
しかし、上記特許文献４が示す技術では、セリフが入っている場面の抽出を行うが、その場面をどのように再生するかはユーザの操作にゆだねられる。このため、高速再生か通常再生かスキップするかをユーザが指定しなければならず操作が煩雑になる。
【０００６】
また、上記特許文献６が示す技術では、字幕の文字数だけを基にして再生速度を制御するため、長い字幕では無条件に再生速度が低下する。この技術は、発話速度が低く再生速度を上げることができる場合でも、長い字幕があれば再生速度が低下するので、視聴時間の効率的な短縮には適さない。
【０００７】
このような問題点に鑑み本発明は、ユーザがコンテンツの内容を理解できる範囲でコンテンツの場面ごとに再生速度を変化させたダイジェストを作成し、コンテンツ全体の視聴時間の短縮と効率的なコンテンツ視聴を実現することを課題とする。
【課題を解決するための手段】
【０００８】
この課題を解決するために、本発明のダイジェスト作成装置は、映像コンテンツを要約したダイジェストコンテンツを生成するダイジェスト作成装置であって、前記映像コンテンツで表示される字幕の文字数及び字幕表示時間を検出する字幕解析部と、字幕の文字数、及び当該字幕表示時間から発話速度を算出し、当該発話速度を基に前記字幕表示時間での映像コンテンツの再生速度を決定するシーン抽出部と、前記シーン抽出部により決定された再生速度に従ってダイジェストコンテンツを生成するダイジェスト生成部と、を備えるものである。
【０００９】
ここで前記ダイジェスト生成部は、字幕表示時間以外は一定速度で再生するダイジェストコンテンツを生成するようにしてもよい。
【００１０】
ここで前記ダイジェスト生成部は、字幕表示時間以外は映像コンテンツ開始からの経過時間に従って速度を速めて再生するダイジェストコンテンツを生成するようにしてもよい。
【００１１】
ここで前記ダイジェスト生成部は、前記シーン抽出部により決定された再生速度で、字幕表示時間のみを再生するダイジェストコンテンツを生成するようにしてもよい。
【００１２】
この課題を解決するために、本発明のダイジェスト作成装置は、映像コンテンツを要約したダイジェストコンテンツを生成するダイジェスト作成装置であって、前記映像コンテンツで表示される字幕の文字数及び字幕表示時間を検出する字幕解析部と、前記字幕表示時間に再生される映像コンテンツの音声を解析し、基本周波数、音量のうちの少なくとも１つと音声再生時間とを検出する音声解析部と、前記字幕の文字数、及び音声再生時間から発話速度を算出し、前記基本周波数、音量、の少なくとも１つ及び発話速度を基にして当該音声再生時間での映像コンテンツの再生速度を決定するシーン抽出部と、前記シーン抽出部により決定された再生速度に従ってダイジェストコンテンツを生成するダイジェスト生成部と、を備えるものである。
【００１３】
ここで前記ダイジェスト生成部は、音声再生時間以外は一定速度で再生するダイジェストコンテンツを生成するようにしてもよい。
【００１４】
ここで前記ダイジェスト生成部は、音声表示時間以外は映像コンテンツ開始からの経過時間に従って速度を速めて再生するダイジェストコンテンツを生成するようにしてもよい。
【００１５】
ここで前記ダイジェスト生成部は、前記シーン抽出部により決定された再生速度で、音声再生時間のみを再生するダイジェストコンテンツを生成するようにしてもよい。
【００１６】
ここで前記シーン抽出部は、前記発話速度と前記映像コンテンツのジャンルを基に前記字幕表示時間での映像コンテンツの再生速度を決定するようにしてもよい。
【００１７】
ここで前記シーン抽出部は、前記基本周波数、音量の少なくとも１つ及び前記発話速度と前記映像コンテンツのジャンルを基に前記音声再生時間での映像コンテンツの再生速度を決定するようにしてもよい。
【００１８】
ここで前記シーン抽出部は、前記基本周波数、音量の少なくとも１つ及び前記発話速度と前記音声再生時間の音声の種類を基に前記音声再生時間での映像コンテンツの再生速度を決定するようにしてもよい。
【００１９】
ここで前記字幕の文字数は、字幕の文字をすべて仮名で表記した場合の前記仮名の文字数としてもよい。
【００２０】
ここで前記映像コンテンツに含まれる映像信号に重畳された字幕から前記字幕の文字数を検出し、前記検出した字幕の文字数を前記字幕解析部に送信する入力処理部を備えるようにしてもよい。
【００２１】
ここで前記シーン抽出部は、複数の段階に分けた発話速度を基に、各段階の発話速度に対応した再生速度を決定するようにしてもよい。
【００２２】
ここで前記シーン抽出部は、複数の段階に分けた発話速度と、複数の段階に分けた基本周波数と、複数の段階に分けた音量を基に、対応する再生速度を決定するようにしてもよい。
【発明の効果】
【００２３】
以上のような本発明によると、映像コンテンツの場面ごとに、セリフが含む感情や盛り上がりに適した再生速度を算出しダイジェストコンテンツを作成することができる。これによってユーザは、映像コンテンツを短時間で視聴できるだけでなく、盛り上がった場面の見逃しや聞き逃しを防ぐことができ、映像コンテンツの内容の正確な理解を伴った効率的な視聴ができる。
【発明を実施するための最良の形態】
【００２４】
（第１の実施の形態）
以下、本発明の第１の実施の形態について、図面を参照しながら説明する。図１は、本実施の形態に係るダイジェスト作成装置の構成を示す図である。ダイジェスト作成装置１は、蓄積部１１、入力処理部１２、字幕解析部１３、音声解析部１４、シーン抽出部１５、ダイジェスト生成部１６、制御部１７、及び出力インタフェース（Ｉ／Ｆ）１８を備えている。
【００２５】
蓄積部１１は、例えばテレビ番組や映画等の映像コンテンツデータを始め、後述する字幕テーブル、音声テーブル、再生速度テーブル、ダイジェストテーブル、及び映像コンテンツを要約したダイジェストコンテンツを格納するものである。具体的に蓄積部１１は、半導体メモリ、ハードディスクドライブ、光ディスクドライブ、またはその他の記憶装置である。
【００２６】
入力処理部１２は、放送波やインターネットに代表されるネットワークなどから有線又は無線により映像コンテンツデータを受信し、それを蓄積部１１に格納するものである。入力処理部１２は、チューナーやネットワークアダプタなどを含んで構成されている。なお、入力処理部１２において映像コンテンツデータの受信はＵＳＢやＩＥＥＥ１３９４などのバスを経由して、あるいはハードディスクやメモリカードなどのリムーバブルメディアを経由して行ってもよい。
【００２７】
字幕解析部１３は、蓄積部１１が格納する映像コンテンツデータを解析し、映像コンテンツデータに含まれる各々の字幕の表示が始まる字幕表示開始時刻、字幕の表示が終わる字幕表示開始時刻、及び字幕文字数を検出及び算出し、これら字幕表示開始時刻、字幕表示終了時刻、及び字幕文字数を後述する字幕テーブルとして蓄積部１１に格納するものである。尚、字幕表示開始時刻から字幕表示開始時刻までを字幕表示時間とよぶ。
【００２８】
音声解析部１４は、蓄積部１１に格納された字幕テーブルを参照するとともに、蓄積部１１が格納する映像コンテンツデータの音声データを解析し、後述する音声テーブルを生成するものである。音声解析部１４は、字幕テーブルに保持された字幕表示時間に再生される音声データを、いくつかの音声ジャンルに分類する。さらに音声解析部１４は、その音声や効果音が再生される音声開始時刻Ｔｓ、終了する音声終了時刻Ｔｅ、当該音声の基本周波数、及び音量を検出する。そして音声ジャンル、音声開始時刻、音声終了時刻、基本周波数、及び音量を後述する音声テーブルとして蓄積部１１に記録するものである。尚、音声開始時刻から音声終了時刻までを音声再生時間とよぶ。
【００２９】
シーン抽出部１５は、蓄積部１１に格納された音声テーブルの中から音声開始時刻Ｔｓｓ及び音声終了時刻Ｔｓｅを抽出する。さらにシーン抽出部１５は、蓄積部１１に格納された字幕テーブルから、音声再生時間で表示される字幕文字数Ｎｃを抽出する。その上で字幕文字数Ｎｃと、音声開始時刻Ｔｓｓから音声終了時刻Ｔｓｅまでの音声が再生される時間の長さとを用いて、各音声再生時間における発話速度Ｓｖを以下の式で算出する。
Ｓｖ＝（Ｔｓｅ−Ｔｓｓ）／Ｎｃ
さらにシーン抽出部１５は再生速度テーブルを用いて、この発話速度と音声テーブルに保持される基本周波数及び音量とを基に各音声再生時間での再生速度を指定し、後述するダイジェストテーブルを生成し蓄積部１１に格納するものである。
【００３０】
ダイジェスト生成部１６は、蓄積部１１が格納するダイジェストテーブルを参照して、コンテンツのダイジェストデータを生成し、当該生成したダイジェストデータを蓄積部１１に記録するものである。
【００３１】
制御部１７は、字幕解析部１３、音声解析部１４、シーン抽出部１５及びダイジェスト生成部１６の各動作を制御する。制御部１７はさらに、蓄積部１１からダイジェストデータを適宜読み出して、出力インタフェース１８を通じて当該ダイジェストを外部に出力するものである。
【００３２】
ここで本実施の形態における映像コンテンツデータの形態として、ＭＰＥＧ２トランスポートストリームを想定している。図２は、本実施の形態におけるＭＰＥＧ２トランスポートストリームのデータ構造を示す図である。映像コンテンツデータは、字幕ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）からなる字幕ストリーム、音声ＰＥＳからなる音声ストリーム、映像ＰＥＳからなる映像ストリーム、コンテンツデータに付随したデータのデータストリーム、及びＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）ストリームを含んでいる。ＰＣＲは送信機側の基準時刻であって、タイムスタンプの基準ともなる時刻情報である。映像コンテンツデータに含まれる字幕、音声、映像のそれぞれの実データを表示又は出力する時刻は、タイムスタンプとして各ＰＥＳに記載されている。本図において、字幕ＰＥＳは字幕データとタイムスタンプが記載されたもの、音声ＰＥＳは音声データとタイムスタンプが記載されたもの、映像ＰＥＳは映像データとタイムスタンプが記載されたものである。このような上記各ストリームを多重化して１つのトランスポートストリームを構成している。尚、ＭＰＥＧ２トランスポートストリーム及び各ＰＥＳの詳細はＩＳＯ／ＩＥＣ１３８１８−１  ＭＰＥＧ２ＳＹＳＴＥＭＳに規定されているものである。
【００３３】
尚、ＭＰＥＧ２トランスポートストリームから映像、音声及び字幕を再生する場合、コンテンツ再生装置は内部時計をＰＣＲで記述された時刻に設定する。そしてコンテンツ再生装置は、上記ストリームから、映像、音声、字幕の各ＰＥＳを分離し、内部時計の時刻が各ＰＥＳに記載されたタイムスタンプの時刻になった時点で当該ＰＥＳに記載されたデータをデコードして表示又は出力する。
【００３４】
次に字幕ＰＥＳについて説明する。図３は、映像コンテンツデータの字幕ストリームに含まれる字幕ＰＥＳの構成を示す図である。１つの字幕ＰＥＳはタイムスタンプ及び字幕データを含んでいる。字幕データは文字データを備える部分字幕データや、その文字データの装飾や表示を制御する制御データを備える部分字幕データを含んでいる。例えば図３の字幕ＰＥＳ２０は、タイムスタンプ２１及び字幕データ２２を含んでおり、字幕データ２２は、部分字幕データ２３〜２６を含んでいる。タイムスタンプ２１には、字幕ＰＥＳ２０に含まれる文字データの表示を開始する時刻が記載されている。部分字幕データ２３は字幕として表示する文字データとして「こんにちは」を保持している。部分字幕データ２４は、「ＴＩＭＥ」及び表示維持時間Ｔｄである「１０」を制御データとして保持している。「ＴＩＭＥ」は前の部分字幕データ２３に含まれる文字データの表示を維持することを指示するものであり、「１０」はその表示を維持する時間的な長さを示している。部分字幕データ２５は、制御データとして「ＣＳ」を保持している。「ＣＳ」は、表示されている字幕の表示を消去することを指示するものである。部分字幕データ２６は、字幕として表示する文字データとして「ありがとうございます」を保持している。字幕ＰＥＳのデータは図の左から順番に読み取られるので、タイムスタンプ２１〜部分字幕データ２６の順に読み取られ、順に実行される構成となっている。
【００３５】
字幕ＰＥＳの内容を実行する手順を以下に説明する。図３に示した字幕ＰＥＳ２０の場合、まず映像コンテンツデータにおけるＰＣＲと字幕ＰＥＳ２０中のタイムスタンプ２１を参照して、字幕データが有効になる時刻を算出する。そして、当該算出した時刻に部分字幕データ２３の文字データ「こんにちは」を表示する。次の部分字幕データ２４に制御データ“ＴＩＭＥ”“１０”とあり、さらに次の部分字幕データ２５に“ＣＳ”とあることから、最初の文字データ「こんにちは」の表示を１０秒間維持し、表示開始時刻から１０秒後に消去する。そして、文字データ“こんにちは”の表示終了時刻に、次の部分字幕データ２６の文字データ「ありがとうございます」を表示する。また、「ありがとうございます」の表示終了時刻は、次の字幕ＰＥＳ３０の部分字幕データ３３に含まれる文字データ「ごきげんよう」の表示開始時刻である。この時刻は、字幕ＰＥＳ３０のタイムスタンプ３１に記載されている。
【００３６】
次に、字幕テーブルについて説明する。図４は、本実施の形態の字幕テーブルを示す図である。字幕テーブルは、１つの部分字幕データに含まれる文字データごとに字幕表示の開始時刻、字幕表示の終了時刻、及び字幕の文字数を保持するものである。たとえば、図４のＮｏ．１では、ある文字データに対して、字幕表示開始時刻００：０１：１５、字幕表示終了時刻００：０１：２２、及び字幕文字数３が保持されている。
【００３７】
次に音声テーブルについて説明する。図５は、本実施の形態の音声テーブルを示す図である。音声テーブルは、字幕テーブルの字幕表示開始時刻から字幕表示終了時刻までの間で再生される音声データのジャンル、音声の再生開始時刻、音声の再生終了時刻、音声の基本周波数、及び音量を保持している。図４の字幕テーブルでＮｏ．１に示される字幕表示開始時刻００：０１：１５から字幕表示終了時刻００：０１：２２の間に再生される音声データには、図５で音声ジャンルが「ＳＰＣ」であるＮｏ．１のデータと、同じく音声ジャンルが「ＥＦＦ」であるＮｏ．２のデータが存在する。ここで、音声ジャンルは、応援・喝采であれば“ＡＰＰ”、効果音であれば“ＥＦＦ”、絶叫であれば“ＳＣＲ”、解説・発声であれば“ＳＰＣ”、音楽であれば“ＭＳＣ”と表記するものとする。なお、音声ジャンルの分類は必ずしもこのとおりでなくてもよく、セリフが含まれる可能性があるかどうかが明確にわかる分類であればよい。
【００３８】
尚、図４の字幕テーブルでＮｏ．２に示される字幕表示開始時刻００：０１：４８の字幕データに対応するデータが図５の音声テーブルには存在しないが、これは字幕表示に対応する音声データがないためである。
【００３９】
次に再生速度テーブルについて説明する。図６は、本実施の形態の再生速度テーブルを示す図である。本図では、音声データの基本周波数と音量との組み合わせ及び発話速度によって１つの再生速度を指定している。例えば、音声データの基本周波数が高くかつ音量が大きい場合、発話速度が高ければ聞き取りが困難になりやすいため再生速度を通常の再生速度である１．０倍速に指定し、発話速度が低ければ再生速度を高めても聞き取りやすいので再生速度を１．５倍速に指定している。このようにして再生速度テーブルは、基本周波数、音量、及び発話速度から各音声再生時間での再生速度を指定するためのものである。
【００４０】
次にダイジェストテーブルについて説明する。図７は、本実施の形態のダイジェストテーブルを示す図である。本図は、図６の再生速度テーブルを基にして特に再生速度を指定した部分をまとめたテーブルである。図７は、Ｎｏ．１〜４の４箇所を特に再生速度を指定した部分として示しており、例えばＮｏ．１の音声開始時刻００：０１：１５から再生終了時刻００：０１：１９までの部分は、２．０倍速で再生することを示している。
【００４１】
このような構成のダイジェスト作成装置１の動作について、図８に示したフローチャートを参照しながら説明する。まず、入力処理部１２は映像コンテンツデータを受信して（Ｓ１１）、蓄積部１１に記録する。次に、字幕解析部１３は映像コンテンツデータを解析して字幕テーブルを生成し（Ｓ１２）、この字幕テーブルを蓄積部１１に記録する。続いて音声解析部１４は、字幕テーブルに記載された字幕表示時間についてのみ、映像コンテンツデータ中の音声データを解析して音声テーブルを生成し（Ｓ１３）、この音声テーブルを蓄積部１１に記録する。そしてシーン抽出部１５は、音声テーブル中のデータである音声開始時刻、音声終了時刻、基本周波数および音量を抽出するとともに発話速度を算出する。さらにシーン抽出部１５は、これら音声テーブルのデータと発話速度に基づいて再生速度テーブルを参照し、当該音声再生時間での再生速度を指定する。このときの音声開始時刻、音声終了時刻、及び再生速度を保持するダイジェストテーブルを生成し（Ｓ１４）、蓄積部１１に格納する。その後ダイジェスト生成部１６は、ダイジェストテーブルを参照してダイジェストコンテンツを生成し、当該生成されたダイジェストコンテンツを蓄積部１１に格納するか、出力インタフェース１８を介して外部に出力する（Ｓ１５）。
【００４２】
以下、図８のＳ１２における字幕解析部１３の動作、Ｓ１３における音声解析部１４の動作、及びＳ１４におけるシーン抽出部１５の動作について詳細に説明する。
【００４３】
＜字幕解析部１３の動作＞
図９Ａ及び図９Ｂは、字幕解析部１３の動作を示すフローチャートである。字幕解析部１３は、まず図２に示す映像コンテンツ（映像ストリーム）のデータを解析して１番目と２番目のＰＣＲを検索し取得する。そしてこれら２つのＰＣＲの時刻の差分及びストリーム内での位置の差分、並びに１番目のＰＣＲのストリーム内での位置から、ストリームの先頭基準時刻を近似算出する（Ｓ２１）。つまり、１番目と２番目のＰＣＲの時刻をそれぞれＴｐ１及びＴｐ２、またストリーム内での位置をそれぞれＰｐ１及びＰｐ２とすると、先頭基準時刻Ｔｓは以下の式により求められる。
Ｔｓ＝（Ｔｐ１＊Ｐｐ２−Ｔｐ２＊Ｐｐ１）／（Ｐｐ２−Ｐｐ１）
【００４４】
以下の説明においては、カウント値ｎ（ｎ：整数）を用いて文字データを含む部分字幕データを区別する。すなわち、カウンタ値ｎ＝０のときは文字データがまだ検出されていないことを示しており、１番目に検出された文字データにはカウント値ｎ＝１を与える。カウント値ｎを用いて、各文字データの表示開始時刻及び表示終了時刻をそれぞれＴｓｃ（ｎ）及びＴｃｅ（ｎ）で表す。
【００４５】
先頭基準時刻Ｔｓを決定すると、字幕解析部１３は、映像コンテンツデータ中の字幕ＰＥＳをストリームの先頭から順に検索する（Ｓ２２）。続いて、字幕ＰＥＳを検出したかどうかを判断する（Ｓ２３）。ここで、図３の字幕ＰＥＳ２０を最初の字幕ＰＥＳとして検出すると、当該字幕ＰＥＳ２０中のタイムスタンプ２１に記述したタイムスタンプＴｐｔｓを抽出し、表示開始時刻及び表示終了時刻の候補となる解析中時刻Ｔｃｃの初期値を算出する（Ｓ２４）。解析中時刻Ｔｃｃの初期値は、以下の式により字幕ＰＥＳ２０のタイムスタンプＴｐｔｓと先頭基準時刻Ｔｓとの差分で求められる。
Ｔｃｃ＝Ｔｐｔｓ−Ｔｓ
【００４６】
なお、検出した字幕ＰＥＳ中にタイムスタンプＴｐｔｓが指定されていない場合には、映像コンテンツデータにおける当該字幕データのＰＣＲを基準とした位置及び先頭基準時刻Ｔｓに基づいて、最初の字幕を有効化する時刻を算出して解析中時刻Ｔｃｃとしてもよい。
【００４７】
次に、検出した字幕ＰＥＳ２０の字幕データ２２からまず部分字幕データ２３を読み出す（Ｓ２５）。そして、読み出した部分字幕データ２３を解析し、データが含まれるかどうかを判断する（Ｓ２６）。データが含まれていなかった場合、ステップＳ２２に戻って、次の字幕ＰＥＳを検索する。
【００４８】
部分字幕データ２３のデータが文字データであるかどうかを判断する（Ｓ２７）。部分字幕データ２３のデータは文字データであるので、文字データの文字数を算出し、文字数Ｎｃとして保持する（Ｓ２８）。続いて、カウンタ値ｎが０より大きく且つ表示終了時刻Ｔｃｅ（ｎ）が未決定であるかどうかを判断する（Ｓ２９）。ここでカウンタ値は初期値のｎ＝０であるので、カウンタ値をインクリメントしてｎ＝１とし、解析中時刻Ｔｃｃを表示開始時刻Ｔｃｓ（１）とする（Ｓ３１）。
【００４９】
続いて、次の部分字幕データ２４を読み出す（Ｓ２５）。部分字幕データ２４のデータが「ＴＩＭＥ」であるかどうかを判断する（Ｓ３２）。部分字幕データ２４は制御データである「ＴＩＭＥ」と表示維持時間Ｔｄである「１０」を含んでいるので、解析中時刻Ｔｃｃに表示維持時間Ｔｄの１０秒を加算して更新する（Ｓ３３）。次に部分字幕データ２５を読み出す（Ｓ２５）。部分字幕データ２５のデータが「ＣＳ」であるかどうかを判断する（Ｓ３４）。部分字幕データ２５は制御データである「ＣＳ」であるので、次のステップへ進んで、カウンタ値ｎが０より大きく且つ表示終了時刻Ｔｃｅ（ｎ）が未決定であるかどうかを判断する（Ｓ３５）。いま、カウンタ値はｎ＝１であり表示終了時刻Ｔｃｅ（１）が未決定であるので、解析中時刻Ｔｃｃを表示終了時刻Ｔｃｅ（１）とし、保持している文字数Ｎｃを文字数Ｎｃ（１）とする（Ｓ３６）。ここまでで、カウンタ値ｎ＝１に対して表示開始時刻Ｔｃｓ（１）、表示終了時刻Ｔｃｅ（１）、及び文字数Ｎｃ（１）が決定する。
【００５０】
続いて、次の部分字幕データ２６を読み出す（Ｓ２５）。部分字幕データ２６は文字データであるので、文字データの文字数を算出し、文字数Ｎｃとして保持する（Ｓ２８）。カウンタ値ｎが０より大きく且つ表示終了時刻Ｔｃｅ（ｎ）が未決定であるかどうかを判断し（Ｓ２９）、カウンタ値はｎ＝１であり、表示終了時間Ｔｃｅ（１）がすでに決定しているので、カウンタ値をインクリメントしてｎ＝２とし、解析中時刻Ｔｃｃを表示開始時刻Ｔｃｓ（２）とする（Ｓ３１）。
【００５１】
続いて、部分字幕データを読み出す（Ｓ２５）し、データがあるかどうかを判断する（Ｓ２６）。字幕データ２２には部分字幕データ２６に続く部分字幕データが存在しないので、データがないと判断してＳ２２に戻り、次の字幕ＰＥＳを検索する（Ｓ２２）。続いて、字幕ＰＥＳを検出したかどうかを判断し（Ｓ２３）、次の字幕ＰＥＳ３０を検出すると、当該字幕ＰＥＳ３０のタイムスタンプ３１に記述したタイムスタンプＴｐｔｓを抽出し、解析中時刻Ｔｃｃを算出する（Ｓ２４）。次に、検出した字幕ＰＥＳ３０の字幕データ３２から部分字幕データ３３を読み出す（Ｓ２５）。読み出した部分字幕データ３３を解析し、データが含まれるかどうかを判断し（Ｓ２６）、部分字幕データ３３のデータが文字データであるかどうかを判断する（Ｓ２７）。部分字幕データ３３には文字データが含まれているので、文字データの文字数を算出し、文字数Ｎｃとして保持する（Ｓ２８）。続いて、カウンタ値ｎが０より大きく且つ表示終了時刻Ｔｃｅ（ｎ）が未決定であるかどうかを判断する（Ｓ２９）。ここでカウンタ値はｎ＝２であり、表示終了時間Ｔｃｅ（２）が未決定であるので（Ｓ２９のＹＥＳ肢）、解析中時刻Ｔｃｃを表示終了時間Ｔｃｅ（２）とし、保持している文字数Ｎｃを文字数Ｎｃ（２）とする（Ｓ３０）。ここまでで、カウンタ値ｎ＝２に対して表示開始時刻Ｔｃｓ（２）、表示終了時刻Ｔｃｅ（２）、及び文字数Ｎｃ（２）が決定する。これに続いてカウンタ値をインクリメントしてｎ＝３とし、解析中時刻Ｔｃｃを表示開始時刻Ｔｃｓ（３）とする（Ｓ３１）。
【００５２】
続いて部分字幕データを読み出すし（Ｓ２５）、データがあるかどうかを判断する（Ｓ２６）。字幕データ３２には部分字幕データ３３に続く部分字幕データが存在しないので、データがないと判断してＳ２２に戻り、次の字幕ＰＥＳを検索する（Ｓ２２）。このような処理を繰り返して字幕ＰＥＳ４０、字幕ＰＥＳ５０、及びそれ以降の全ての字幕ＰＥＳについて同様に解析し、順次字幕テーブルの表示開始時刻、表示終了時刻、及び字幕文字数を決定する。
【００５３】
全ての字幕ＰＥＳの解析が終了し、検出すべき字幕ＰＥＳが無くなると、カウンタ値ｎが０より大きく且つ表示終了時刻Ｔｃｅ（ｎ）が未決定であるかどうかを判断する（Ｓ３７）。現在のカウンタ値ｎがｎ＞０でありかつ表示終了時刻Ｔｃｅ（ｎ）が未決定であるので、表示終了時刻Ｔｃｅ（ｎ）にストリームの終端時刻を代入し、保持している文字数Ｎｃを文字数Ｎｃ（ｎ）とする（Ｓ３８）。これで、最終の文字データについても表示開始時刻、表示終了時刻、及び字幕文字数が決定したので、字幕の表示開始時刻Ｔｃｓ（ｋ）（ｋは１からｎまでの各整数）、表示終了時刻Ｔｃｅ（ｋ）、及び字幕文字数Ｎｃ（ｋ）を蓄積部１１に記録し（Ｓ３９）、字幕テーブル生成の一連のフローを終了する。なお、Ｓ３７で現在のカウンタ値ｎがｎ＞０でありかつ表示終了時刻Ｔｃｅ（ｎ）が未決定でなければ、直ちに字幕テーブルを蓄積部１１に記録して（Ｓ３９）、字幕テーブル生成の一連のフローを終了する。
【００５４】
なお、字幕解析部１３は字幕文字数を算出する場合に、漢字の場合には読み仮名変換を行って実際の文字数を検出してもよい。例えば、文字データ“元気です”の場合４文字であるが、読み仮名変換すると“げんきです”となって５文字となるので、この場合当該文字データの字幕文字数は５とみなす。
【００５５】
＜音声解析部１４の動作＞
図１０は、音声解析部１４の動作を示すフローチャートである。まず、音声解析部１４は、先に生成された字幕テーブルから字幕の表示開始時刻Ｔｃｓ及び表示終了時刻Ｔｃｅを１つ目のデータから順に読み出す（Ｓ５１）。続いて字幕テーブルの全てのデータを読み出したかどうかを判断する（Ｓ５２）。字幕テーブルのデータから検出した表示開始時刻Ｔｃｓを解析中時刻Ｔｃｃに代入する（Ｓ５３）。そして、映像コンテンツデータ中で解析中時刻Ｔｃｃの位置に該当する音声ＰＥＳの音声データを解析し、音声の種類（音声ジャンル）、発声終了時刻、基本周波数及び音量の検出する（Ｓ５４）。
【００５６】
ここで音声解析は、音声データを各音声ジャンルの音声データサンプル（応援・喝采、効果音、絶叫、解説・発声、音楽など）の音声波形と比較し、波形が類似しているジャンルに分類するのが一般的である。
【００５７】
Ｓ５４の解析結果を音声テーブルのデータとして蓄積部１１に格納する（Ｓ５５）。Ｓ５４で得られた音声終了時刻が字幕テーブルに示された表示終了時刻Ｔｃｅを超えたかどうかを判断し（Ｓ５６）、表示終了時刻Ｔｃｅを超えていれば、Ｓ５１に戻って字幕テーブルの次のデータの表示開始時刻Ｔｃｓ及び表示終了時刻Ｔｃｅを読み出す。一方、表示終了時刻Ｔｃｅを超えていなければ、Ｓ５４で得られた音声終了時刻を解析中時刻Ｔｃｃとして（Ｓ５７）、ステップＳ５４に戻る。
【００５８】
＜シーン抽出部１０５の動作＞
図１１は、シーン抽出部１０５の動作を示すフローチャートである。まず、シーン抽出部１５は、音声テーブルから１つ目の音声ジャンル、音声開始時刻、音声終了時刻、基本周波数、及び音量を読み出す（Ｓ６１）。続いて音声テーブルの全てのデータを読み出したかどうかを判断する（Ｓ５２）。音声テーブルのデータを最後まで読み出していれば処理を終了するが、まだ１つ目のデータを読み出しただけなので、処理はＳ６３に進む。読み出した音声ジャンルが効果音“ＥＦＦ”又は音楽“ＭＳＣ”以外であるかどうかを判断し（Ｓ６３）、効果音“ＥＦＦ”又は音楽“ＭＳＣ”であればステップＳ６１に戻って次のデータを読み出す。一方、読み出した音声ジャンルが効果音“ＥＦＦ”又は音楽“ＭＳＣ”以外であれば、読み出した音声開始時刻及び音声終了時刻をダイジェストテーブルのデータとして蓄積部１１に格納する（Ｓ６４）。すなわち、音声ジャンルが効果音又は音楽のときの音声開始時刻から音声終了時刻までの期間はセリフのある期間とはみなさず、ダイジェストテーブルに記載する対象とはしない。
【００５９】
次に、Ｓ６１で読み出した音声開始時刻から音声終了時刻までの字幕文字数Ｎｃを字幕テーブルから読み出し、読み出した字幕文字数Ｎｃを該期間長で除する、または該期間長を読み出した字幕文字数Ｎｃで除することによって発話速度を算出する（Ｓ６５）。
【００６０】
さらに再生速度テーブルを参照して、算出した発話速度及びＳ６１で読み出した基本周波数並びに音量を基にして再生速度を抽出し、この再生速度をＳ６４で格納した音声開始時刻及び音声終了時刻に加えて、ダイジェストテーブルのデータとして蓄積部１１に格納する（Ｓ６６）。
【００６１】
その後処理はＳ６１に戻って、音声テーブルから次のデータを読み出し同様の処理を繰り返す。音声テーブルのデータを最後まで読み出したかどうかをＳ６２で判断し、最後まで読み出していればこの処理は終了する。このとき蓄積部１１は、図７に示すダイジェストテーブルを格納している。
【００６２】
ダイジェスト生成部１６は以上のような処理を経て生成されたダイジェストテーブルを参照して、蓄積部１１に格納する映像コンテンツデータからダイジェストコンテンツを生成し蓄積部１１に格納する。このときのダイジェストコンテンツは、ダイジェストテーブルに記載された部分は指定の再生速度で再生するものである。反対に、ダイジェストテーブルで記載されなかった部分については、全く再生しない、一定速度で再生する、当該部分の時間が長いほど高速で再生する、番組の経過とともに速度を速めて再生する等するものである。
【００６３】
なお、本実施の形態のダイジェストは、ダイジェストテーブルに記載された部分以外を一定速度で再生するものであるが、ダイジェストテーブルに記載された部分のみを抽出してダイジェストコンテンツを生成することもできる。これにより、さらに短時間のダイジェストコンテンツを生成することもできる。さらに、記載された部分の再生速度を重要度を示す指標とみなし、重要な部分として再生速度の低い部分のみを抽出してダイジェストコンテンツを生成することもできる。
【００６４】
本実施の形態のダイジェスト作成装置によると、基本周波数、音量、及び発話速度を基にして場面に適した再生速度のダイジェストコンテンツを生成することができる。このためユーザは、セリフを聞きもらさないだけでなく、出演者の感情が高揚しているような重要な場面を見逃すこともなく、短時間で効率的な視聴が可能となる。
【００６５】
なお、本実施の形態の再生速度テーブルは、基本周波数、音量、及び発話速度のパラメータをそれぞれ高低または大小の２段階に分けて組み合わせを作り、それぞれの組み合わせに応じた再生速度を指定しているが、２段階に限らずより多くの段階に分けてもよい。また、それぞれの組み合わせ方を変えた再生速度テーブルでもよいし、パラメータに優先順位を付け、優先順位の高いパラメータから順に値を判定して再生速度を指定する再生速度テーブルでもよい。
【００６６】
（第２の実施の形態）
以下、本発明の第２の実施の形態について、図面を参照しながら説明する。図１２は、本実施の形態に係るダイジェスト作成装置の構成を示す図である。ダイジェスト作成装置２は、入力処理部１２、ダイジェスト生成部１６、出力インタフェース（Ｉ／Ｆ）１８、蓄積部２１、字幕解析部２３、シーン抽出部２５、及び制御部２７を備えている。尚、入力処理部１２、ダイジェスト生成部１６、制御部１７、及び出力インタフェース（Ｉ／Ｆ）１８は第１の実施の形態の図１で示したものと同様のものである。また、以下の説明で用いる図１３に示す字幕テーブルは、第１の実施の形態の図４で示したものと同様である。
【００６７】
蓄積部２１は、例えばテレビ番組や映画等の映像コンテンツデータを始め、後述する字幕テーブル、再生速度テーブル、ダイジェストテーブル、及び映像コンテンツを要約したダイジェストコンテンツを格納するものである。具体的に蓄積部２１は、半導体メモリ、ハードディスクドライブ、光ディスクドライブ、またはその他の記憶装置である。
【００６８】
字幕解析部２３は、蓄積部２１が格納する映像コンテンツデータを解析し、映像コンテンツデータに含まれる各々の字幕の表示が始まる字幕表示開始時刻、字幕の表示が終わる字幕表示終了時刻、及び字幕文字数を検出し、これら字幕表示開始時刻、字幕表示終了時刻、字幕文字数、及び発話速度を後述する字幕テーブルとして蓄積部２１に格納するものである。尚、字幕表示開始時刻から字幕表示開始時刻までを字幕表示時間という。
【００６９】
シーン抽出部２５は、蓄積部２１に格納された字幕テーブルの中から字幕表示開始時刻Ｔｓ、字幕表示終了時刻Ｔｅ、及び字幕文字数Ｎｃを抽出する。その上で字幕文字数Ｎｃと、字幕表示開始時刻Ｔｓから字幕表示終了時刻Ｔｅまでの字幕が表示される時間の長さとを用いて発話速度Ｓｖを以下の式で算出する。
Ｓｖ＝（Ｔｅ−Ｔｓ）／Ｎｃ
さらにシーン抽出部１５は、この発話速度と再生速度テーブルとを用いて字幕表示開始時刻から字幕表示終了時刻までの間での再生速度を指定し、後述するダイジェストテーブルを生成し蓄積部２１に格納するものである。
【００７０】
制御部２７は、字幕解析部２３、シーン抽出部２５及びダイジェスト生成部１６の各動作を制御する。制御部２７はさらに、蓄積部２１からダイジェストコンテンツを適宜読み出して、出力インタフェース１８を通じて外部に出力するものである。
【００７１】
次に再生速度テーブルについて説明する。図１４は、本実施の形態の再生速度テーブルを示す図である。本図は発話速度を低、中、高の３つに分類して、それぞれの発話速度ごとに１つずつの再生速度を指定している。例えば、発話速度が高ければ聞き取りが困難になりやすいため再生速度を通常の再生速度である１．０倍速に指定し、発話速度が中程度であれば再生速度を多少高めても聞き取れるので再生速度を１．５倍速に指定している。さらに、発話速度が低くゆっくりであれば再生速度を２．０倍速に指定している。このよう再生速度テーブルは、発話速度に対して映像コンテンツの再生速度を指定するためのものである。
【００７２】
次にダイジェストテーブルについて説明する。図１５は、本実施の形態のダイジェストテーブルを示す図である。本図は、図１３の字幕テーブルにおけるＮｏ．１〜Ｎｏ．５に対して、図１４の再生速度テーブルを基に再生速度を付加してできたテーブルである。このテーブルでは例えばＮｏ．１において、字幕表示開始時刻００：０１：１５から字幕表示終了時刻００：０１：２２までは、２．０倍速で再生することを示している。
【００７３】
このような構成のダイジェスト作成装置２の動作について以下に説明する。まず、入力処理部１２は映像コンテンツデータを受信して蓄積部２１に記録する。次に、字幕解析部１３は映像コンテンツデータを解析して第１の実施の形態と同様に字幕テーブルを生成し、この字幕テーブルを蓄積部２１に記録する。続いてシーン抽出部１０５は、字幕テーブル中の情報である字幕表示開始時刻、字幕表示終了時刻、及び字幕文字数を抽出して発話速度を算出する。さらにシーン抽出部１０５は再生速度テーブルを参照して算出した発話速度に対応する再生速度を検出し、字幕表示時間における再生速度を指定する。このとき字幕表示開始時刻、字幕表示終了時刻、及び再生速度をダイジェストテーブルとして蓄積部２１に記録する。
【００７４】
その後ダイジェスト生成部１６は、ダイジェストテーブルを参照して映像コンテンツのダイジェストコンテンツを生成し、当該生成されたダイジェストを蓄積部１１に格納するか出力インタフェース１８を介して外部に出力する。以上のようにして、音声データの解析がなくても字幕表示時間と字幕文字数とによってダイジェストコンテンツを生成することができる。
【００７５】
なお、番組のジャンル別に、再生速度テーブルを用意してもよい。例えばスポーツ、ドラマ、ニュースなど、映像コンテンツのジャンル別に再生速度テーブルを用意して、映像コンテンツのジャンルに合わせて装置が再生速度テーブルを使い分けてもよい。また、例えばスポーツを野球、サッカー、相撲などに、ドラマをサスペンス、ＳＦ、アクションなどに、より細かくジャンル分けして再生速度テーブルを用意しておき、ユーザの指定によって再生速度テーブルを使いわけてもよい。この場合でも、本発明の実施の形態で説明したダイジェストテーブルを生成することができ、映像コンテンツのダイジェストを生成することができる。
【００７６】
また、表示される字幕文字数が多い場合、字幕を読むことで内容を理解しやすくなるため、所定の再生速度よりもやや再生速度を高めてもよい。また、第１の実施の形態では基本周波数、音量、及び発話速度を、また第２の実施の形態では発話速度を基にして再生速度を決定したが、番組のジャンルや各音声の種類を再生速度決定に用いてもよい。
【００７７】
なお、映像コンテンツのデータはアナログＡＶ信号などであってもよい。アナログＡＶ信号の場合や字幕が映像信号に重畳されている場合には、入力処理部１０２は、画像認識によって映像フレームから字幕データを抽出するようにしてもよい。これにより、字幕ストリームが存在しない場合であっても字幕の表示開始時刻及び表示終了時刻を算出することができる。すなわち、本発明はアナログ映像信号のコンテンツについても上記と同様の効果を奏する。
【産業上の利用可能性】
【００７８】
本発明に係るダイジェスト作成装置は、ＤＶＤ記録再生装置、デジタルテレビジョン装置、携帯電話機、ポータブルコンテンツプレーヤ、カーナビゲーション装置などに有用である。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態におけるダイジェスト作成装置の構成を示す図である。
【図２】本発明の第１の実施の形態におけるＭＰＥＧ２トランスポートストリームのデータ構造を示す図である。
【図３】本発明の第１の実施の形態における字幕ストリームのデータ構造を示す図である。
【図４】本発明の第１の実施の形態における字幕テーブルを表す図である。
【図５】本発明の第１の実施の形態における音声テーブルを表す図である。
【図６】本発明の第１の実施の形態における再生速度テーブルを表す図である。
【図７】本発明の第１の実施の形態におけるダイジェストテーブルを表す図である。
【図８】本発明の第１の実施の形態におけるダイジェスト作成装置の動作のフローチャートを示す図である。
【図９Ａ】本発明の第１の実施の形態における字幕解析部の動作のフローチャートを示す図である。
【図９Ｂ】本発明の第１の実施の形態における字幕解析部の動作のフローチャートを示す図である。
【図１０】本発明の第１の実施の形態における音声解析部の動作のフローチャートを示す図である。
【図１１】本発明の第１の実施の形態におけるシーン抽出部の動作のフローチャートを示す図である。
【図１２】本発明の第２の実施の形態におけるダイジェスト作成装置の構成を示す図である。
【図１３】本発明の第２の実施の形態における字幕テーブルを表す図である。
【図１４】本発明の第２の実施の形態における音声テーブルを表す図である。
【図１５】本発明の第２の実施の形態におけるダイジェストテーブルを表す図である。
【符号の説明】
【００８０】
１、２    ダイジェスト作成装置
１２  入力処理部
１１、２１  蓄積部
１３  字幕解析部
１４  音声解析部
１５、２５  シーン抽出部
１６  ダイジェスト生成部
１７、２７  制御部
１８  出力Ｉ／Ｆ
【図１】
2008301340.tif 000003
【図２】
2008301340.tif 000004
【図３】
2008301340.tif 000005
【図４】
2008301340.tif 000006
【図５】
2008301340.tif 000007
【図６】
2008301340.tif 000008
【図７】
2008301340.tif 000009
【図８】
2008301340.tif 000010
【図９Ａ】
2008301340.tif 000011
【図９Ｂ】
2008301340.tif 000012
【図１０】
2008301340.tif 000013
【図１１】
2008301340.tif 000014
【図１２】
2008301340.tif 000015
【図１３】
2008301340.tif 000016
【図１４】
2008301340.tif 000017
【図１５】
2008301340.tif 000018