(57)【要約】【課題】ビデオコンテンツの中から指定された登場人物に係る発話シーンをダイジェストで再生する。【解決手段】登場人物識別部（２０）は、ビデオコンテンツの映像データに基づいて登場人物を識別してビデオコンテンツの各シーンの登場人物を特定するとともに各登場人物の画像を生成する。発話者識別部（３０）は、ビデオコンテンツの字幕データに基づいて発話者を識別してビデオコンテンツの各シーンの発話者を特定する。対応関係判定部（４０）は、ビデオコンテンツの各シーンの登場人物及び発話者の特定結果に基づいて各登場人物と各発話者との対応関係を判定する。表示制御部（５０）は、各登場人物の画像の表示制御をしてユーザ所望の登場人物の選択を受け、ビデオコンテンツの各シーンのうち当該選択された登場人物に対応すると判定された発話者による発話があるシーンを再生する。【選択図】図１
2008294584.tif 000002
【特許請求の範囲】
【請求項１】
記録されたビデオコンテンツをダイジェストで再生する装置であって、
前記ビデオコンテンツの映像データに基づいて、登場人物を識別して前記ビデオコンテンツの各シーンの登場人物を特定するとともに各登場人物の画像を生成する登場人物識別部と、
前記ビデオコンテンツの字幕データに基づいて、発話者を識別して前記ビデオコンテンツの各シーンの発話者を特定する発話者識別部と、
前記登場人物識別部及び発話者識別部による前記ビデオコンテンツの各シーンの登場人物及び発話者の特定結果に基づいて、前記登場人物識別部によって識別された各登場人物と前記発話者識別部によって識別された各発話者との対応関係を判定する対応関係判定部と、
前記登場人物識別部によって生成された前記各登場人物の画像の表示制御をしてユーザ所望の登場人物の選択を受け、前記ビデオコンテンツの各シーンのうち、前記対応関係判定部によって当該選択された登場人物に対応すると判定された発話者による発話があるシーンを再生する表示制御部とを備えた
ことを特徴とするダイジェスト再生装置。
【請求項２】
請求項１に記載のダイジェスト再生装置において、
前記登場人物識別部は、前記発話者識別部によって識別される発話者の切り替わりが発生したとき、当該タイミングにおける前記映像データに含まれる静止画像から登場人物を識別する
ことを特徴とするダイジェスト生成装置。
【請求項３】
請求項１に記載のダイジェスト再生装置において、
前記登場人物識別部は、前記映像データに含まれる静止画像中の人物顔を表す画像部分に対して離散コサイン変換を行い、当該変換によって得られた符号によって登場人物を識別する
ことを特徴とするダイジェスト生成装置。
【請求項４】
請求項１に記載のダイジェスト再生装置において、
前記発話者識別部は、前記字幕データから字幕の文字色に係る情報又は字幕に付された文字情報を取得し、当該文字色に係る情報又は文字情報によって発話者を識別する
ことを特徴とするダイジェスト生成装置。
【請求項５】
請求項１に記載のダイジェスト再生装置において、
前記対応関係判定部は、前記登場人物識別部及び発話者識別部によって登場人物及び発話者がそれぞれ一人であると特定されたシーンがあったとき、当該登場人物と当該発話者とが対応すると判定する
ことを特徴とするダイジェスト再生装置。
【請求項６】
請求項５に記載のダイジェスト再生装置において、
前記対応関係判定部は、前記登場人物識別部及び発話者識別部によって登場人物及び発話者がそれぞれｎ人であると特定され、かつ、そのうちのｎ−１人の登場人物と発話者との対応関係が判定されているシーンがあったとき、残りの一人の登場人物と発話者とが対応すると判定する
ことを特徴とするダイジェスト再生装置。
【請求項７】
請求項５に記載のダイジェスト再生装置において、
前記発話者識別部は、前記ビデオコンテンツの各シーンについて、当該シーンの時間長に対する当該シーンの各発話者に係る字幕表示時間の割合を算出するものであり、
前記対応関係判定部は、前記条件に該当するシーンが複数存在するとき、これらシーンのうち、前記発話者識別部によって算出された前記割合がより大きいシーンについての前記登場人物識別部及び発話者識別部による登場人物及び発話者の特定結果に基づいて、前記登場人物識別部によって識別された各登場人物と前記発話者識別部によって識別された各発話者との対応関係を判定する
ことを特徴とするダイジェスト再生装置。
【請求項８】
請求項１に記載のダイジェスト再生装置において、
前記発話者識別部は、前記ビデオコンテンツの各シーンについて、当該シーンの時間長に対する当該シーンの各発話者に係る字幕表示時間の割合を算出するものであり、
前記表示制御部は、前記対応関係判定部によって前記選択された登場人物に対応すると判定された発話者について前記発話者識別部によって算出された前記割合がより大きいシーンを優先的に再生する
ことを特徴とするダイジェスト再生装置。
【請求項９】
請求項１に記載のダイジェスト再生装置において、
前記表示制御部は、前記ビデオコンテンツの終盤に近いシーンを優先的に再生する
ことを特徴とするダイジェスト再生装置。
【請求項１０】
請求項１に記載のダイジェスト再生装置において、
前記表示制御部は、前記ビデオコンテンツの序盤、中盤及び終盤のシーンをまんべんなく再生する
ことを特徴とするダイジェスト再生装置。
【請求項１１】
請求項１に記載のダイジェスト再生装置において、
前記登場人物識別部によって生成された前記各登場人物の画像及び前記対応関係判定部の判定結果を、前記ビデオコンテンツに係る番組シリーズと対応付けて記憶する記憶部を備え、
前記表示制御部は、シリーズもののビデオコンテンツを再生するとき、前記記憶部に記憶されている当該シリーズに係る各登場人物の画像の表示制御をしてユーザ所望の登場人物の選択を受け、当該ビデオコンテンツの各シーンのうち、前記記憶部に記憶されている当該シリーズに係る前記対応関係判定部の判定結果において当該選択された登場人物に対応するとされている発話者による発話があるシーンを再生する
ことを特徴とするダイジェスト再生装置。
【請求項１２】
記録されたビデオコンテンツをダイジェストで再生する方法であって、
前記ビデオコンテンツの映像データに基づいて、登場人物を識別して前記ビデオコンテンツの各シーンの登場人物を特定するとともに各登場人物の画像を生成する第１のステップと、
前記ビデオコンテンツの字幕データに基づいて、発話者を識別して前記ビデオコンテンツの各シーンの発話者を特定する第２のステップと、
前記第１及び第２のステップでの前記ビデオコンテンツの各シーンの登場人物及び発話者の特定結果に基づいて、前記第１のステップで識別された登場人物と前記第２のステップで識別された発話者との対応関係を判定する第３のステップと、
前記第１のステップで生成された前記各登場人物の画像を表示してユーザ所望の登場人物の選択を受け、前記ビデオコンテンツの各シーンのうち、前記第３のステップで当該選択された登場人物に対応すると判定された発話者による発話があるシーンを再生する第４のステップとを備えた
ことを特徴とするダイジェスト再生方法。
【請求項１３】
請求項１２に記載のダイジェスト再生方法において、
前記第１のステップでは、前記第２のステップで識別される発話者の切り替わりが発生したとき、当該タイミングにおける前記映像データに含まれる静止画像から登場人物が識別される
ことを特徴とするダイジェスト生成方法。
【請求項１４】
請求項１２に記載のダイジェスト再生方法において、
前記第１のステップでは、前記映像データに含まれる静止画像中の人物顔を表す画像部分に対して離散コサイン変換が行われ、当該変換によって得られた符号によって登場人物が識別される
ことを特徴とするダイジェスト生成方法。
【請求項１５】
請求項１２に記載のダイジェスト再生方法において、
前記第２のステップでは、前記字幕データから字幕の文字色に係る情報又は字幕に付された文字情報が取得され、当該文字色に係る情報又は文字情報によって発話者が識別される
ことを特徴とするダイジェスト生成方法。
【請求項１６】
請求項１２に記載のダイジェスト再生方法において、
前記第３のステップでは、前記第１及び第２のステップで登場人物及び発話者がそれぞれ一人であると特定されたシーンがあったとき、当該登場人物と当該発話者とが対応する判定される
ことを特徴とするダイジェスト再生方法。
【請求項１７】
請求項１６に記載のダイジェスト再生方法において、
前記第３のステップでは、前記第１及び第２のステップで登場人物及び発話者がそれぞれｎ人であると特定され、かつ、そのうちのｎ−１人の登場人物と発話者との対応関係が判定されているシーンがあったとき、残りの一人の登場人物と発話者とが対応すると判定される
ことを特徴とするダイジェスト再生方法。
【請求項１８】
請求項１６に記載のダイジェスト再生方法において、
前記第２のステップでは、前記ビデオコンテンツの各シーンについて、当該シーンの時間長に対する当該シーンの各発話者に係る字幕表示時間の割合が算出され、
前記第４のステップでは、前記条件に該当するシーンが複数存在するとき、これらシーンのうち、前記第２のステップで算出された前記割合がより大きいシーンについての前記第１及び第２のステップでの登場人物及び発話者の特定結果に基づいて、前記第１のステップで識別された各登場人物と前記第２のステップで識別された各発話者との対応関係が判定される
ことを特徴とするダイジェスト再生方法。
【請求項１９】
請求項１２に記載のダイジェスト再生方法において、
前記第２のステップでは、前記ビデオコンテンツの各シーンについて、当該シーンの時間長に対する当該シーンの各発話者に係る字幕表示時間の割合が算出され、
前記第４のステップでは、前記第３のステップで前記選択された登場人物に対応すると判定された発話者について前記第２のステップで算出された前記割合がより大きいシーンが優先的に再生される
ことを特徴とするダイジェスト再生方法。
【請求項２０】
請求項１２に記載のダイジェスト再生方法において、
前記第４のステップでは、前記ビデオコンテンツの終盤に近いシーンが優先的に再生される
ことを特徴とするダイジェスト再生方法。
【請求項２１】
請求項１２に記載のダイジェスト再生方法において、
前記第４のステップでは、前記ビデオコンテンツの序盤、中盤及び終盤のシーンがまんべんなく再生される
ことを特徴とするダイジェスト再生方法。
【請求項２２】
請求項１２に記載のダイジェスト再生方法において、
前記第１のステップで生成された前記各登場人物の画像及び前記第３のステップでの判定結果を、前記ビデオコンテンツに係る番組シリーズと対応付けて記録する第６のステップと、
シリーズもののビデオコンテンツを再生するとき、前記第６のステップで記録された当該シリーズに係る各登場人物の画像を表示してユーザ所望の登場人物の選択を受け、当該ビデオコンテンツの各シーンのうち、前記第６のステップで記録された当該シリーズに係る前記第３のステップでの判定結果によって当該選択された登場人物に対応すると判定されている発話者による発話があるシーンを再生する第７のステップとを備えた
ことを特徴とするダイジェスト再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコンテンツのダイジェスト再生装置及び方法に関し、特に、登場人物を中心としたダイジェスト再生技術に関する。
【背景技術】
【０００２】
近年のテレビジョン放送のデジタル化に伴い、ハードディスク、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）などの記録媒体にビデオコンテンツを記録し再生する装置が普及しつつある。さらに、デジタル化されたビデオコンテンツの特徴を活かしてハイライトシーンを抽出してビデオコンテンツをダイジェスト再生する機能を有する装置が登場している。
【０００３】
従来、ビデオコンテンツの音声レベルに基づいてハイライトシーンを抽出するものがある（例えば、特許文献１参照）。例えば、スポーツ番組では観客の歓声の上がったところが盛り上がりシーンであると考えられるため、当該技術により精度よくハイライトシーンを抽出することができる。また、ビデオコンテンツの映像データに基づいて人物顔を認識し、特定の人物画像が含まれるシーンを抽出するものがある（例えば、特許文献２参照）。
【特許文献１】特開平１０−３２７７６号公報
【特許文献２】特開２００５−３３２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記前者の技術では、トーク番組、音楽番組、ドラマなどの音声レベルと盛り上がりシーンとが必ずしも連関しないジャンルについては、そのハイライトシーンの抽出精度が極端に落ちるおそれがある。すなわち、前者の技術が対象とするジャンルはかなり限定的である。
【０００５】
一方、上記後者の技術によると、前者の技術が対象としないジャンルについてもそのハイライトシーンを抽出することができる。しかし、特定人物が登場するけれどもセリフを発しないといった比較的重要度の低いシーンがハイライトシーンとして抽出されるおそれがある。すなわち、ユーザにとって重要と考えられる会話シーンよりも特定人物が映像に現れるシーンの方が優先されてしまう。さらには、特定人物が登場しないけれどもセリフを発しているといったコンテンツの概要を把握する上で重要なシーンが抽出されないおそれがある。
【０００６】
上記問題に鑑み、本発明は、デジタル放送などで提供されるビデオコンテンツの中から指定された登場人物に係るシーン、特に当該人物の発話シーンをダイジェストで再生することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明が講じた手段は、記録されたビデオコンテンツをダイジェストで再生する装置として、ビデオコンテンツの映像データに基づいて、登場人物を識別してビデオコンテンツの各シーンの登場人物を特定するとともに各登場人物の画像を生成する登場人物識別部と、ビデオコンテンツの字幕データに基づいて、発話者を識別してビデオコンテンツの各シーンの発話者を特定する発話者識別部と、登場人物識別部及び発話者識別部によるビデオコンテンツの各シーンの登場人物及び発話者の特定結果に基づいて、登場人物識別部によって識別された各登場人物と発話者識別部によって識別された各発話者との対応関係を判定する対応関係判定部と、登場人物識別部によって生成された各登場人物の画像の表示制御をしてユーザ所望の登場人物の選択を受け、ビデオコンテンツの各シーンのうち、対応関係判定部によって当該選択された登場人物に対応すると判定された発話者による発話があるシーンを再生する表示制御部とを備えたものとする。また、記録されたビデオコンテンツをダイジェストで再生する方法として、ビデオコンテンツの映像データに基づいて、登場人物を識別して前記ビデオコンテンツの各シーンの登場人物を特定するとともに各登場人物の画像を生成する第１のステップと、ビデオコンテンツの字幕データに基づいて、発話者を識別してビデオコンテンツの各シーンの発話者を特定する第２のステップと、第１及び第２のステップでのビデオコンテンツの各シーンの登場人物及び発話者の特定結果に基づいて、第１のステップで識別された登場人物と第２のステップで識別された発話者との対応関係を判定する第３のステップと、第１のステップで生成された各登場人物の画像を表示してユーザ所望の登場人物の選択を受け、ビデオコンテンツの各シーンのうち、第３のステップで当該選択された登場人物に対応すると判定された発話者による発話があるシーンを再生する第４のステップとを備えたものとする。
【０００８】
これによると、ビデオコンテンツの映像データ及び字幕データに基づいて各シーンの登場人物及び発話者がそれぞれ特定され、識別された登場人物と発話者との対応関係が当該特定結果に基づいて判定され、ユーザ所望の登場人物に対応する発話者による発話があるシーンが再生される。したがって、ユーザ所望の登場人物の発話シーンをダイジェストで再生することができる。
【０００９】
登場人物識別部は、発話者識別部によって識別される発話者の切り替わりが発生したとき、当該タイミングにおける映像データに含まれる静止画像から登場人物を識別することが好ましい。第１のステップについてもこれと同様である。これによると、比較的処理負荷の大きな登場人物の識別処理の実行回数を低減することができる。
【００１０】
具体的には、登場人物識別部は、映像データに含まれる静止画像中の人物顔を表す画像部分に対して離散コサイン変換を行い、当該変換によって得られた符号によって登場人物を識別する。第１のステップについてもこれと同様である。
【００１１】
また、具体的には、発話者識別部は、字幕データから字幕の文字色に係る情報又は字幕に付された文字情報を取得し、当該文字色に係る情報又は文字情報によって発話者を識別する。第２のステップについてもこれと同様である。
【００１２】
また、具体的には、対応関係判定部は、登場人物識別部及び発話者識別部によって登場人物及び発話者がそれぞれ一人であると特定されたシーンがあったとき、当該登場人物と当該発話者とが対応すると判定し、さらに、登場人物識別部及び発話者識別部によって登場人物及び発話者がそれぞれｎ人であると特定され、かつ、そのうちのｎ−１人の登場人物と発話者との対応関係が判定されているシーンがあったとき、残りの一人の登場人物と発話者とが対応すると判定する。第３のステップについてもこれと同様である。
【００１３】
好ましくは、発話者識別部は、ビデオコンテンツの各シーンについて、当該シーンの時間長に対する当該シーンの各発話者に係る字幕表示時間の割合を算出するものとし、対応関係判定部は、上記条件に該当するシーンが複数存在するとき、これらシーンのうち、発話者識別部によって算出された上記割合がより大きいシーンについての登場人物識別部及び発話者識別部による登場人物及び発話者の特定結果に基づいて、登場人物識別部によって識別された各登場人物と発話者識別部によって識別された各発話者との対応関係を判定するものとする。第２及び第４のステップについてもこれと同様である。発話者の字幕表示時間の割合が大きなシーンでは登場人物と発話者とがより密接に対応し合っていると考えられるため、これにより、登場人物と発話者との対応関係をより確実に判定することができる。
【００１４】
また、好ましくは、発話者識別部は、ビデオコンテンツの各シーンについて、当該シーンの時間長に対する当該シーンの各発話者に係る字幕表示時間の割合を算出するものとし、表示制御部は、対応関係判定部によって上記選択された登場人物に対応すると判定された発話者について発話者識別部によって算出された上記割合がより大きいシーンを優先的に再生するものとする。第２及び第４のステップについてもこれと同様である。これによると、ユーザ所望の登場人物の発話が多いシーンが優先的に再生され、ストーリー把握がより容易なダイジェスト再生が可能となる。
【００１５】
具体的には、表示制御部は、ビデオコンテンツの終盤に近いシーンを優先的に再生する、あるいは、ビデオコンテンツの序盤、中盤及び終盤のシーンをまんべんなく再生する。第４のステップについてもこれと同様である。
【００１６】
好ましくは、上記コンテンツ再生装置は、登場人物識別部によって生成された各登場人物の画像及び対応関係判定部の判定結果を、ビデオコンテンツに係る番組シリーズと対応付けて記憶する記憶部を備えているものとする。そして、表示制御部は、シリーズもののビデオコンテンツを再生するとき、記憶部に記憶されている当該シリーズに係る各登場人物の画像の表示制御をしてユーザ所望の登場人物の選択を受け、当該ビデオコンテンツの各シーンのうち、記憶部に記憶されている当該シリーズに係る対応関係判定部の判定結果において当該選択された登場人物に対応するとされている発話者による発話があるシーンを再生するものとする。また、好ましくは、上記のコンテンツ再生方法は、第１のステップで生成された各登場人物の画像及び第３のステップでの判定結果を、ビデオコンテンツに係る番組シリーズと対応付けて記録する第６のステップと、シリーズもののビデオコンテンツを再生するとき、第６のステップで記録された当該シリーズに係る各登場人物の画像を表示してユーザ所望の登場人物の選択を受け、当該ビデオコンテンツの各シーンのうち、第６のステップで記録された当該シリーズに係る第３のステップでの判定結果によって当該選択された登場人物に対応すると判定されている発話者による発話があるシーンを再生する第７のステップとを備えたものとする。これによると、シリーズもののビデオコンテンツをダイジェスト再生する場合において、登場人物と発話者との対応関係を改めて判定しなくてもよくなる。
【発明の効果】
【００１７】
以上説明したように本発明によると、デジタル放送などで提供されるビデオコンテンツの中から指定された登場人物に係る発話シーンをダイジェストで再生することができる。そして、当該ダイジェストで再生されるシーンにはユーザ所望の登場人物にセリフが多く含まれているため、当該登場人物を中心としたストーリーの把握が容易になる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。図１は、本発明の一実施形態に係るダイジェスト再生装置の構成を示す。記録媒体１０には、いくつかのシーンに分割されたビデオコンテンツが格納されている。当該ビデオコンテンツはデジタル放送などで提供されるＭＰＥＧ−２準拠の動画ストリームを記録したものであり、映像データ、音声データ、字幕データ及びその他の付加情報を含んでいる。記録媒体１０は、例えば、ハードディスク、ＤＶＤ、ＢＤ、フラッシュメモリなどで構成される。
【００１９】
登場人物識別部２０は、記録媒体１０に記録されているビデオコンテンツの映像データから静止画像（例えば、ＭＰＥＧ−２におけるＩフレーム）を取り出し、その静止画像における所定のピクセルサイズの部分画像をサンプリングする。そして、当該サンプリングした画像の中から対称性のある画像を検索する。対称性のある画像が見つかると、その中心を基点として元の静止画像に対して回転、平行移動、拡大・縮小、及びトリミングを行う。その後、当該抽出した画像を、両眼の中心を基点とした顔画像であると仮定して、鼻・口・耳などを当てはめてみて実際に顔画像であるか否かを判断する。もし、顔画像でなければこれらのデータを捨てて条件を変えて新たに顔画像を検索する。一方、顔画像であると判断した場合には、当該顔画像から登場人物のサムネイルを生成するとともに当該登場人物の顔ＩＤを生成する。
【００２０】
顔ＩＤを生成するには、顔画像であると判断された抽出画像を所定のピクセル数に正規化し、これに対して２次元の離散コサイン変換（ＤＣＴ変換）を行う。ＤＣＴ変換によりＤＣＴ係数及びＤＣＴ符号が導出される。ＤＣＴ符号の配置は輪郭に大きく関係する情報であるため人物顔の特徴をよく表している。すなわち、顔画像のＤＣＴ符号は登場人物の識別をするための好適な指標となり得る。そこで、登場人物識別部２０は、顔画像のＤＣＴ符号を顔ＩＤとして用いて登場人物を識別し、記録媒体１０に記録されているビデオコンテンツの各シーンの登場人物を特定する。顔画像のＤＣＴ符号は所定の規則で間引いても上記の特徴はあまり失われないため、間引きをしたＤＣＴ符号を顔ＩＤとして用いてもよい。
【００２１】
なお、登場人物識別部２０は、各シーンの登場人物を特定するために、各シーンの映像データに含まれる全静止画像を参照する必要はなく、後述する発話者識別部３０によって識別される発話者の切り替わりが発生したときの映像データに含まれる静止画像を参照すれば十分である。これにより、各シーンの登場人物特定に要する処理負荷が小さくなり、処理速度の向上及び消費電力の低減が可能となる。
【００２２】
発話者識別部３０は、記録媒体１０に記録されているビデオコンテンツの字幕データから字幕の文字色に係る情報を取得し、当該情報によって発話者を識別する。文字色情報は、字幕データ中の文字色の変わり目部分に制御データとして埋め込まれている。例えば、文字色が赤から白に変わる場合には、字幕データにおいて、赤で表示される字幕と白で表示される字幕との間に、制御識別コード及び色番号などで構成される制御データが挿入されている。発話者識別部３０は、記録媒体１０に記録されているビデオコンテンツの各シーンについて、字幕の文字色で発話者を識別して当該シーンの発話者を特定する。
【００２３】
なお、字幕の文字色情報以外にも字幕に付された文字情報によって発話者を識別してもよい。例えば、各字幕の冒頭に括弧書きで登場人物名が表示されることがある。このような文字情報が存在するのであれば、それを用いることで文字色による場合と同様に容易に発話者を識別することができる。
【００２４】
また、発話者識別部３０は、各シーンについて、当該シーンの時間長に対する当該シーンの各発話者に係る字幕表示時間の割合を算出してもよい。当該算出した割合は、後述するように、ダイジェスト再生時間が指定されている場合においてダイジェストが当該時間内に収まるように各シーンを取捨選択する際の指標となる。
【００２５】
対応関係判定部４０は、発話者識別部３０によって識別された各発話者が登場人物識別部２０によって識別された各登場人物のいずれであるかを判定する。具体的には、１）登場人物及び発話者がそれぞれ一人であると特定されたシーンがあれば、当該登場人物と当該発話者とが対応すると判定する。２）登場人物及び発話者がそれぞれｎ人であると特定され、かつ、そのうちのｎ−１人の登場人物と発話者との対応関係がすでに判定されているシーンがあれば、残りの一人の登場人物と発話者とが対応すると判定する。
【００２６】
なお、１）及び２）において、当該条件に該当するシーンが複数存在する場合、発話者識別部３０によって発話者の字幕表示時間の割合が算出されていれば、当該割合がより大きいシーンを優先的に考慮するものとする。このようなシーンでは登場人物と発話者とがより密接に対応し合っている考えられる。したがって、このようなシーンを優先的に考慮することで、登場人物と発話者との対応関係をより確実に判定することができる。
【００２７】
表示制御部５０は、登場人物識別部２０によって生成された各登場人物のサムネイルを出力インタフェース６０を介してユーザに提示し、入力インタフェース７０を介してユーザによる登場人物の選択を受ける。そして、対応関係判定部４０によってユーザ所望の登場人物に対応すると判定された発話者による発話があるシーンを記録媒体１０から読み出して再生する。これにより、ユーザ所望の登場人物が発話するシーンがダイジェストで再生される。
【００２８】
当該ダイジェスト再生については上限時間を設定することができる。ユーザ所望のシーンの合計時間が当該上限時間を超えている場合には、表示制御部５０は、再生すべきシーンをさらに絞る。例えば、ストーリー上重要と思われる終盤のシーンを優先的に再生する。あるいは、ビデオコンテンツの全体が把握できるように、序盤、中盤及び終盤のシーンをまんべんなく再生してもよい。さらに、発話者識別部３０によってユーザ所望の登場人物に対応する発話者の字幕表示時間の割合が算出されていれば、当該割合がより大きいシーンを優先的に再生してもよい。これにより、ユーザ所望の登場人物による発話が多く含まれるシーンが再生され、ビデオコンテンツの内容把握が容易になる。
【００２９】
記憶部８０は、登場人物識別部２０によって生成された各登場人物のサムネイル及び対応関係判定部４０の判定結果を、記録媒体１０に記録されているビデオコンテンツに係る番組シリーズと対応付けて記憶する。表示制御部５０は、シリーズもののビデオコンテンツを再生する場合、記憶部８０に記憶されている当該シリーズに係る登場人物のサムネイルを出力インタフェース６０を介してユーザに提示し、入力インタフェース７０を介してユーザによる登場人物の選択を受ける。そして、記憶部８０に記憶されている当該シリーズに係る対応関係判定部４０の判定結果を参照し、ユーザ所望の登場人物に対応する発話者による発話があるシーンを記録媒体１０から読み出して再生する。このように、ドラマなどのシリーズもののビデオコンテンツについて、いずれかの回の放送データから登場人物のサムネイル及び発話者との対応関係を生成しておけば、別の回の放送データについてダイジェスト再生をする場合に、改めて登場人物のサムネイル及び発話者との対応関係を生成する必要がない。これにより、処理速度の向上及び消費電力の低減が可能となる。
【００３０】
なお、記憶部８０に記録すべき情報は記録媒体１０に記録してもよい。また、当該情報は必ずしも記録する必要はないため、記憶部８０は省略可能である。
【００３１】
次に、本実施形態に係るダイジェスト再生装置の動作について具体的に説明する。図２は、本実施形態に係るダイジェスト再生装置の動作フローを示す。図３は、ハイライトシーンが抽出される様子を模式的に表す。ここで、ダイジェスト再生の対象となるビデオコンテンツはシーン１からシーン６までの６つのシーンから構成されているものとする。シーン１からシーン６の長さは、それぞれ、１２分、１０分、１２分、８分、７分、１１分である。
【００３２】
まず、ダイジェスト再生処理が開始されると、シーン１からシーン６までの各シーンについて、登場人物及び発話者がそれぞれ識別及び特定され、また、各登場人物のサムネイルが生成される（Ｓ１）。この結果、シーン１については、登場人物はＡ及びＢであり、発話者は３名（赤、緑、青の各文字色）であると特定される。また、３名の発話者の字幕表示時間は、それぞれ、３分、１分、２分である。他のシーンについても同様に登場人物及び発話者が特定され、また、字幕表示時間が算出される。
【００３３】
次に、登場人物と発話者との対応関係が判定される（Ｓ２）。ここで、シーン２の登場人物はＣのみであり、発話者は青のみである。したがって、登場人物Ｃと青で表示される発話者とは一致する、すなわち、青で表示される字幕は登場人物Ｃに係るものであると判定される。続いて、シーン４及び６の登場人物はＢ及びＣであり、発話者は緑及び青である。登場人物Ｃについてはすでにその文字色が判明しているため、登場人物Ｂと緑で表示される発話者とは一致する、すなわち、緑で表示される字幕は登場人物Ｂに係るものであると判定される。そして、残った登場人物Ａと赤で表示される発話者とが一致することが判明する。以上の結果、登場人物Ａに係る文字色は赤、登場人物Ｂに係る文字色は緑、そして、登場人物Ｃに係る文字色は青であると判定される。
【００３４】
なお、シリーズもののビデオコンテンツの場合においてすでに登場人物と発話者との対応関係が判定され記録されているものについては、当該情報を参照することでステップＳ３を省略することができる。
【００３５】
ステップＳ１で生成された登場人物のサムネイルはユーザに提示され（Ｓ３）、ユーザによって所望の登場人物が選択される（Ｓ４）。ここで、登場人物Ａが選択されたものとする。また、ダイジェストの再生時間として２５〜３５分が設定されているものとする。ステップＳ４の後にステップＳ２を実行してもよい。
【００３６】
ユーザ所望の登場人物が選択されると、当該登場人物の発話シーンがハイライトシーンとして選択される（Ｓ５）。ここで、登場人物Ａに係る文字色である赤で字幕が表示されるシーン１，３，５がハイライトシーンとして選択される。そして、これらシーンの合計時間は３１分であり、上限時間内である（Ｓ６のＹＥＳ肢）。したがって、これらシーン１，３，５が当該ビデオコンテンツのダイジェストとして再生される。
【００３７】
選択されたハイライトシーンの合計時間が上限時間を超えていたならば（Ｓ６のＮＯ肢）、ハイライトシーンの選択条件を適宜変更して（Ｓ７）ステップＳ５に戻る。条件の変更は、例えば、コンテンツ終盤のシーンにウェイトを置く、シーンの時間長に対するユーザ所望の登場人物の字幕表示時間の割合が大きいものを優先するなどである。
【００３８】
以上、本実施形態によると、ユーザ所望の登場人物の発話があるシーンをダイジェストで再生することができる。これにより、所望の登場人物が映像には現れないがセリフを発しているシーンを漏れなく選択することができる（例えば、図３におけるシーン３）。このようにして再生されるダイジェストは言語情報を多く含んだものであるため、ストーリーを把握し易いといった利点がある。
【産業上の利用可能性】
【００３９】
本発明に係るダイジェスト再生装置は、ビデオコンテンツについてユーザ所望の登場人物の発話シーンをダイジェストで再生することができるため、デジタル放送の録画再生装置などとして有用である。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態に係るダイジェスト再生装置の構成図である。
【図２】図１のダイジェスト再生装置の動作フローチャートである。
【図３】ハイライトシーンが抽出される様子を模式的に表した図である。
【符号の説明】
【００４１】
２０  登場人物識別部
３０  発話者識別部
４０  対応関係判定部
５０  表示制御部
８０  記憶部
【図１】
2008294584.tif 000003
【図２】
2008294584.tif 000004
【図３】
2008294584.tif 000005