(57)【要約】【課題】視聴者が映像の全体の内容を短時間で視聴できる再生データ生成装置を提供する。【解決手段】キャプションデータを含む映像データを記憶し、前記映像データから再生データを生成する再生データ生成装置であって、前記再生データ生成装置は、前記映像データから複数のシーン区間を認識するシーン区間認識部と、前記認識されたシーン区間毎に、キャプション量を算出するキャプション量算出部と、前記算出されたキャプション量に基づいて、前記検出されたシーン区間が動画で再生される映像再生区間であるか、キャプションで再生されるキャプション再生区間であるかを判定する再生モード判定部と、前記キャプション再生区間であると判定されたシーン区間がキャプションで再生されるための再生データを生成するキャプション画面生成部と、を備えることを特徴とする再生データ生成装置。【選択図】図２
2008205792.tif 000002
【特許請求の範囲】
【請求項１】
キャプションデータを含む映像データを記憶し、前記映像データから再生データを生成する再生データ生成装置であって、
前記再生データ生成装置は、
前記映像データを構成する複数のシーン区間を認識するシーン区間認識部と、
前記認識されたシーン区間毎に、キャプション量を算出するキャプション量算出部と、
前記算出されたキャプション量に基づいて、前記認識されたシーン区間が動画で再生される映像再生区間であるか、キャプションで再生されるキャプション再生区間であるかを判定する再生モード判定部と、
前記キャプション再生区間であると判定されたシーン区間がキャプションで再生されるための再生データを生成するキャプション画面生成部と、を備えることを特徴とする再生データ生成装置。
【請求項２】
前記再生データ生成装置は、前記映像データ及び前記再生データを再生する再生部を備えることを特徴とする請求項１に記載の再生データ生成装置。
【請求項３】
前記再生データ生成装置は、
前記映像データ及び前記再生データを再生する再生装置と接続され、
前記映像再生区間であると判定されたシーン区間の映像データ、及び前記キャプション再生区間であると判定されたシーン区間の再生データを前記再生装置に送信するデータ送信部を備えることを特徴とする請求項１に記載の再生データ生成装置。
【請求項４】
前記再生モード判定部は、
前記認識されたシーン区間にキャプションデータが含まれない場合、前記認識されたシーン区間は前記映像再生区間であると判定し、前記認識されたシーン区間にキャプションデータが含まれる場合、前記認識されたシーン区間は前記キャプション再生区間であると判定することを特徴とする請求項１に記載の再生データ生成装置。
【請求項５】
前記再生モード判定部は、
前記認識されたシーン区間のキャプション量Ｃが当該シーン区間の映像再生時間Ｔに含まれる割合Ｃ／Ｔが、予め設定された閾値よりも大きい場合、前記認識されたシーン区間は前記キャプション再生区間であると判定し、
前記割合Ｃ／Ｔが前記閾値未満である場合、前記認識されたシーン区間は前記映像再生区間であると判定することを特徴とする請求項１に記載の再生データ生成装置。
【請求項６】
前記キャプション画面生成部は、前記キャプション再生区間と判定された前記シーン区間が再生される時間が、当該シーン区間が動画で再生される時間よりも小さくなるように、前記再生データを生成することを特徴とする請求項１に記載の再生データ生成装置。
【請求項７】
前記キャプション画面生成部は、前記キャプション再生区間と判定された前記シーン区間が再生される時間が、当該シーン区間のキャプション量に比例するように、前記再生データを生成することを特徴とする請求項１に記載の再生データ生成装置。
【請求項８】
前記キャプション画面生成部は、
前記キャプション再生区間と判定された前記シーン区間が再生される場合、当該シーン区間がキャプションで再生される時間内に当該シーン区間に対応する動画の再生が終了するよう、当該シーン区間に対応する動画の再生速度を調整し、
前記再生速度が調整された動画がキャプションとともに表示されるように、前記再生データを生成することを特徴とする請求項１に記載の再生データ生成装置。
【請求項９】
前記キャプション画面生成部は、前記キャプション再生区間と判定された前記シーン区間が再生される場合、表示される前記キャプションを構成する文に対応する画像が表示されるように、前記再生データを生成することを特徴とする請求項１に記載の再生データ生成装置。
【請求項１０】
前記再生データ生成装置は、さらに、前記シーン区間の再生を終了する指示を受け付ける終了指示受付手段を備え、
前記終了指示受付手段が前記キャプション再生区間と判定されたシーン区間の再生を終了する指示を受け付けると、前記キャプション画面生成部は、前記終了指示を受け付けた第１シーン区間が再生されてから前記終了する指示を受け付けるまでの再生時間Ｔ１、及び前記第１シーン区間のキャプション量Ｃ１から、読み取り速さＳ＝Ｃ１／Ｔ１を算出し、
前記終了指示を受け付けたシーン区間の次にキャプションモードで再生される第２シーン区間のキャプション量Ｃ２、及び前記算出された読み取り速さＳから、前記第２シーン区間が再生される時間Ｔ２を、１／Ｓを係数とし、Ｃ２をパラメータとする線形関数を用いて算出し、
前記算出された時間Ｔ２の間、前記第２シーン区間が再生されるように、前記再生データを生成することを特徴とする請求項１に記載の再生データ生成装置。
【請求項１１】
過去ｎ回のキャプションモードで再生されたシーン区間の再生時間をＴｎとし、及びキャプションデータ量をＣｎとし、前記読み取り速さＳは、Ｓ＝（ΣＣｎ／Ｔｎ）／ｎによって算出されることを特徴
とする請求項１０に記載の再生データ生成装置。
【請求項１２】
前記再生データ生成装置は、さらに、前記認識されたシーン区間を前記映像再生区間及び前記キャプション再生区間のいずれかの再生区間に設定する条件が予め指定される条件指定手段を備え、
前記再生モード判定部は、前記認識されたシーン区間が前記指定された条件に適合する場合、当該シーン区間を前記指定された条件に設定された再生区間であると判定することを特徴とする請求項１に記載の再生データ生成装置。
【請求項１３】
前記再生データ生成装置は、さらに、出演者と前記出演者を特定するための画像データを対応付ける画像テーブルを記憶し、
前記条件指定手段には、前記映像再生区間に設定する条件として出演者が指定され、
前記再生モード判定部は、
前記画像テーブルを参照し、前記指定された出演者の画像データを取得し、
取得した画像データが含まれるシーン区間は、前記映像再生区間であると判定することを特徴とする請求項１２に記載の再生データ生成装置。
【請求項１４】
前記再生モード指定受付手段には、前記映像再生区間に設定する条件としてキーワードが指定され、
前記再生モード判定部は、
前記指定されたキーワードと同じ単語をキャプションデータに含むシーン区間数を算出し、
前記シーン区間に前記指定されたキーワードと同じ単語の出現数を算出し、
前記算出されたシーン区間数と前記算出された出現数とに基づいて、前記指定されたキーワードの頻出度を算出し、
前記算出された頻出度が閾値よりも大きい場合、前記シーン区間は前記映像再生区間であると判定することを特徴とする請求項１２に記載の再生データ生成装置。
【請求項１５】
前記再生モード指定受付手段には、前記映像再生区間に設定する条件として前記シーン区間の種別が指定され、
前記再生モード判定部は、前記指定された種別に対応する表現が含まれているシーン区間を前記映像再生区間に指定することを特徴とする請求項１２に記載の再生データ生成装置。
【請求項１６】
キャプションデータを含む映像データを記憶する再生データ生成装置における再生データを生成する再生データ生成方法であって、
前記再生データ生成装置は、
前記映像データから複数のシーン区間を認識し、
前記認識されたシーン区間毎に、キャプション量を算出し、
前記算出されたキャプション量に基づいて、前記認識されたシーン区間が動画で再生される映像再生区間であるか、キャプションで再生されるキャプション再生区間であるかを判定し、
前記キャプション再生区間であると判定されたシーン区間がキャプションで再生されるための再生データを生成することを特徴とする再生データ生成方法。
【請求項１７】
前記再生データ生成装置は、
前記認識されたシーン区間にキャプションデータが含まれない場合、前記認識されたシーン区間は前記映像再生区間であると判定し、
前記認識されたシーン区間にキャプションデータが含まれる場合、前記認識されたシーン区間は前記キャプション再生区間であると判定することを特徴とする請求項１６に記載の再生データ生成方法。
【請求項１８】
前記再生データ生成装置は、
前記認識されたシーン区間のキャプション量Ｃが当該シーン区間の映像再生時間Ｔに含まれる割合Ｃ／Ｔが、予め設定された閾値よりも大きい場合、前記認識されたシーン区間は前記キャプション再生区間であると判定し、
前記割合Ｃ／Ｔが前記閾値未満である場合、前記認識されたシーン区間は前記映像再生区間であると判定することを特徴とする請求項１６に記載の再生データ生成方法。
【請求項１９】
前記再生データ生成装置は、
前記シーン区間の再生を終了する指示を受け付けると、前記終了指示を受け付けた第１シーン区間が再生されてから前記終了する指示を受け付けるまでの再生時間Ｔ１、及び前記第１シーン区間のキャプション量Ｃ１から、読み取り速さＳ＝Ｃ１／Ｔ１を算出し、
前記終了指示を受け付けたシーン区間の次にキャプションモードで再生される第２シーン区間のキャプション量Ｃ２、及び前記算出された読み取り速さＳから、前記第２シーン区間が再生される時間Ｔ２を、１／Ｓを係数とし、Ｃ２をパラメータとする線形関数を用いて算出し、
前記算出された時間Ｔ２の間、前記第２シーン区間が再生されるように、前記再生データを生成することを特徴とする請求項１６に記載の再生データ生成方法。
【請求項２０】
前記再生データ生成装置は、
前記認識されたシーン区間を前記映像再生区間及び前記キャプション再生区間のいずれかの再生区間に設定する条件が予め指定され
前記認識されたシーン区間が前記指定された条件に適合する場合、当該シーン区間を前記指定された条件に設定された再生区間であると判定することを特徴とする請求項１６に記載の再生データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生データを生成する再生データ生成装置に関し、特に、キャプションデータを含む映像データから再生データを生成する再生データ生成装置に関する。
【背景技術】
【０００２】
ハードディスクレコーダが普及したこと、及びインターネットを介した映像の配信サービスが登場したことによって、視聴者がコンテンツをリアルタイムに視聴する機会に加えて、オンデマンドでコンテンツを視聴する機会が増えている。
【０００３】
視聴者が視聴できるコンテンツの数が増加すると、視聴者が視聴したいコンテンツが増加する。しかし、視聴者が視聴できる時間は限られているので、視聴者は、通常、視聴したい全てのコンテンツを視聴できない。
【０００４】
大量のコンテンツから視聴者にコンテンツを推薦する技術が知られている。しかし、視聴者が視聴したいコンテンツが、推薦されない場合もある。よって、この技術によっても、視聴者は、視聴したいコンテンツを視聴することを諦めざるを得ない。
【０００５】
そこで、視聴者が映像の一部を視聴することによって、視聴時間を短縮する技術が知られている。具体的には、盛り上がりシーンを検出し、検出された盛り上がりシーンからダイジェスト映像が作成される（例えば、特許文献１参照）。また、視聴時間を短縮する方法として、映像を高速で再生する技術等も知られている。
【特許文献１】特開２００６−１５５４９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された技術は、盛り上がったシーンをダイジェスト映像として視聴者に視聴させるものである。したがって、視聴者にとって、コンテンツの内容を把握することが困難である。
【０００７】
また、特許文献１に記載された技術は、例えば、スポーツの得点シーンのように、注目するシーンが視聴者に依存しないコンテンツには適用できる。しかし、例えば、ニュース、情報番組、ドラマ及び映画等のように、注目するシーンが視聴者に依存するコンテンツには、特許文献１に記載された技術は適用できない。
【０００８】
一方、一般に映像の再生速度が２倍以上である場合、視聴者は、その映像及び音声を認識できない。
【０００９】
よって、本発明の目的は、視聴者が映像の全体の内容を短時間で把握できるような映像データ再生装置を提供することである。また、携帯端末装置等のリソースの性能が低い機器においても、その機器が消費する電力を抑制しつつ、コンテンツ全体の内容を視聴可能とする映像データ再生装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一形態によると、キャプションデータを含む映像データを記憶し、前記映像データから再生データを生成する再生データ生成装置であって、前記再生データ生成装置は、前記映像データを構成する複数のシーン区間を認識するシーン区間認識部と、前記認識されたシーン区間毎に、キャプション量を算出するキャプション量算出部と、前記算出されたキャプション量に基づいて、前記認識されたシーン区間が動画で再生される映像再生区間であるか、キャプションで再生されるキャプション再生区間であるかを判定する再生モード判定部と、前記キャプション再生区間であると判定されたシーン区間がキャプションで再生されるための再生データを生成するキャプション画面生成部と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によると、視聴者が映像の全体の内容を短時間で視聴できる。また、負荷の高い動画を再生する処理が減少するため、記憶容量が少なくてすみ、消費電力を削減できる。
【発明を実施するための最良の形態】
【００１２】
（第１実施形態）
本発明の第１実施形態を図面を用いて説明する。
【００１３】
図１は、本発明の第１実施形態の映像データ再生装置を説明する図である。
【００１４】
映像データ再生装置は、図示しないＣＰＵ及び記憶部を備える。映像データ再生装置は、映像表示部１１０、映像記憶部１２０及び映像解析部１３０を備える。
【００１５】
映像表示部１１０は、表示部１１１、入力部１１２及び表示制御部１１３を備える。映像記憶部１２０は、映像管理部１２１、映像選択部１２２、シーン情報管理部１２３及び記憶制御部１２４を備える。映像解析部１３０は、シーン区間検出部１３１、キャプション密度取得部１３２、再生モード判定部１３３、キャプション画面生成部１３４及び解析制御部１３５を備える。
【００１６】
映像表示部１１０について説明する。
【００１７】
表示部１１１は、映像データ、キャプションデータ及び操作指示画面等を表示する表示装置である。表示部１１１は、例えば、テレビ画面及びディスプレイ等である。
【００１８】
入力部１１２は、ユーザの操作を映像データ再生装置に入力する入力装置である。入力部１１２は、例えば、リモコン及びキーボード等である。
【００１９】
表示制御部１１３は、表示部１１１及び入力部１１２を制御するプログラムである。また、表示制御部１１３は、映像表示部１１０と映像記憶部１２０との間の入出力、及び映像表示部１１０と映像解析部１３０との間の入出力を制御するプログラムである。
【００２０】
表示制御部１１３は、図示しないＣＰＵによって実行される。なお、表示制御部１１３は、ハードウェアによって実装されてもよい。
【００２１】
映像記憶部１２０について説明する。
【００２２】
映像管理部１２１は、記憶部に記憶される映像データを読み込むプログラムである。映像データは、映像データに含まれる音声データをテキストデータに変換したキャプションデータを含む。なお、記憶部は、例えば、ハードディスクドライブ及び光ディスク等である。記憶部に記憶される映像データは、キャプションデータが含まれるものであれば、テレビ放送を録画したものであっても、ＤＶＤメディアに記憶された映像データであっても、ネットワークを経由して取得された映像データであってもよい。
【００２３】
映像管理部１２１は、図示しないＣＰＵによって実行される。なお、映像管理部１２１は、ハードウェアによって実装されてもよい。
【００２４】
映像選択部１２２は、図３に示す視聴する映像をユーザに選択させるための映像選択画面３００を表示部１１１に表示させるプログラムである。映像選択部１２２は、図示しないＣＰＵによって実行される。なお、映像選択部１２２は、ハードウェアによって実装されてもよい。
【００２５】
シーン情報管理部１２３は、図４に示すシーン情報テーブル４００を管理するプログラムである。シーン情報管理部１２３は、図示しないＣＰＵによって実行される。なお、シーン情報管理部１２３は、ハードウェアによって実装されてもよい。なお、シーン情報管理部１２３は、図４で詳細に説明する。
【００２６】
記憶制御部１２４は、映像管理部１２１、映像選択部１２２及びシーン情報管理部１２３を制御するプログラムである。また、記憶制御部１２４は、映像記憶部１２０と映像表示部１１０との間の入出力、及び映像記憶部１２０と映像解析部１３０との間の入出力を制御する。
【００２７】
記憶制御部１２４は、図示しないＣＰＵによって実行される。なお、記憶制御部１２４は、ハードウェアによって実装されてもよい。
【００２８】
映像解析部１３０について説明する。
【００２９】
シーン区間検出部１３１は、映像データからシーン区間を検出するプログラムである。なお、シーン区間は、話題単位又は場面単位等で検出される。シーン区間検出部１３１がシーン区間を検出する方法は、図２で詳細を説明する。
【００３０】
シーン区間検出部１３１は、図示しないＣＰＵによって実行される。なお、シーン区間検出部１３１は、ハードウェアによって実装されてもよい。
【００３１】
キャプション密度取得部１３２は、シーン区間検出部１３１によって検出されたシーン区間に含まれるキャプションデータの容量を示すキャプション密度を算出するプログラムである。
【００３２】
キャプション密度取得部１３２は、図示しないＣＰＵによって実行される。なお、キャプション密度取得部１３２は、ハードウェアによって実装されてもよい。
【００３３】
ここで、シーン区間検出部１３１によって検出されたシーン区間及びキャプション密度取得部１３２によって算出されたキャプション密度は、シーン情報管理部１２３によって、シーン情報テーブル４００に登録される。
【００３４】
再生モード判定部１３３は、各シーン区間のキャプション密度を用いて、各シーン区間が映像データで再生する映像再生区間であるか、又はキャプションデータで再生するキャプション再生区間であるかを判定するプログラムである。
【００３５】
再生モード判定部１３３は、図示しないＣＰＵによって実行される。なお、再生モード判定部１３３は、ハードウェアによって実装されてもよい。
【００３６】
キャプション画面生成部１３４は、再生モード判定部１３３によって、キャプション再生区間であると判定されたシーン区間を再生する場合に、表示される画面を生成するプログラムである。
【００３７】
キャプション画面生成部１３４は、図示しないＣＰＵによって実行されてもよい。なお、キャプション画面生成部１３４は、ハードウェアによって実装されてもよい。
【００３８】
解析制御部１３５は、シーン区間検出部１３１、キャプション密度取得部１３２、再生モード判定部１３３及びキャプション画面生成部１３４を制御するプログラムである。また、解析制御部１３５は、映像解析部１３０と映像表示部１１０との間の入出力、及び映像解析部１３０と映像記憶部１２０との間の入出力を制御する。
【００３９】
解析制御部１３５は、図示しないＣＰＵによって実行される。解析制御部１３５は、ハードウェアによって実装されてもよい。
【００４０】
次に、シーン情報テーブル４００を図４を用いて説明する。
【００４１】
図４は、本発明の第１実施形態のシーン情報テーブル４００を説明する図である。
【００４２】
シーン情報テーブル４００は、シーンＩＤ４００１、開始時間４００２、終了時間４００３及びキャプション密度４００４を含む。
【００４３】
シーンＩＤ４００１には、各シーン情報の一意な識別子が登録される。開始時間４００２には、各シーン区間の開始時間が登録される。終了時間４００３には、各シーン区間の終了時間が登録される。キャプション密度４００４には、キャプション密度取得部１３２によって算出されたキャプション密度が登録される。
【００４４】
次に、映像データ再生装置によって実行される再生処理について図２を用いて説明する。
【００４５】
図２は、本発明の第１実施形態の再生処理のフローチャートである。
【００４６】
まず、映像データ再生装置は、映像選択部１２２を実行し、視聴する映像をユーザに選択させるための映像選択画面３００を表示部１１１に表示する。そして、ユーザは、表示部１１１に表示された画面に基づいて、視聴する映像を、入力部１１２を介して映像再生データ装置に入力する（Ｓ２１０）。
【００４７】
映像選択画面３００について、図３を用いて説明する。
【００４８】
図３は、本発明の第１実施形態の映像選択画面３００を説明する図である。
【００４９】
映像選択画面３００は、ＩＤ表示部３００１、配信日時表示部３００２、タイトル表示部３００３及び再生ボタン３００４を含む。
【００５０】
ＩＤ表示部３００１には、映像データ再生装置に備わる記憶部に記憶されている映像データの一意な識別子が表示される。配信日時表示部３００２には、映像データが配信された年月日が表示される。タイトル表示部３００３には、映像データのタイトルが表示される。
【００５１】
なお、再生ボタン３００４がユーザによって操作されると、当該エントリの映像データが選択され、選択された映像データの再生処理が開始される。
【００５２】
次に、映像データ再生装置は、映像管理部１２１を実行し、ユーザによって選択された映像データを記憶部から読み出す。そして、映像データ再生装置は、シーン区間検出部１３１を実行し、映像管理部１２１によって読み出された映像データのシーン区間を検出する（Ｓ２１１）。
【００５３】
シーン区間の検出方法について説明する。
【００５４】
シーン区間を検出する方法には、映像（又は画像）を解析する方法、音声を解析する方法、映像データに含まれるキャプションデータ等のテキストデータを解析する方法、及び映像データに含まれない映像メタデータを解析する方法等がある。
【００５５】
映像を解析する方法としては、画像の色情報が急激に変化する位置で、シーン区間が区切られる方法がある。
【００５６】
例えば、特開２００６−１５５４９１号公報では、フレーム画像がＨＬＳ色空間（色相（Ｈｕｅ）、輝度（Ｌｉｇｈｔｎｅｓｓ）及び彩度（Ｓａｔｕｒａｔｉｏｎ）の３つの成分から構成される空間）の情報に変換される。そして、参照するフレーム画像とそのフレーム画像に連続するフレーム画像との間で、輝度信号及び色信号が比較されることによって、シーン区間を区切る位置を検出する方法が記載されている。
【００５７】
音声を解析する方法としては、予め設定された時間内に発話がない位置でシーン区間が区切られる方法がある。また、他には、音声から話者が特定され、話者が変化した位置でシーン区間が区切られる。
【００５８】
テキストデータを解析する方法としては、形態素解析を用いてテキストデータを解析する方法がある。具体的には、映像データ装置は、形態素解析を用いて、テキストデータを単語毎に分割する。なお、分割された単語は、その単語が属する品詞の情報を含む。
【００５９】
そして、映像データ再生装置は、品詞の情報が助詞である単語（「が」、「に」、「を」及び「は」）の前に存在する人物名及び対象物を示す単語の変化を参照する。映像データ装置は、予め設定された時間内で、この人物名及び対象物を示す単語が変化する場合、話題が変わったとして、その位置でシーン区間を区切る。
【００６０】
また、外部の映像メタデータを利用する方法としては、インターネット等で公開されている映像のチャプター情報及びコーナー情報を用いる方法等がある。
【００６１】
なお、映像の総時間よりも短いシーン区間が検出されれば、どんなシーン区間の検出方法を用いてもよい。
【００６２】
次に、映像データ再生装置は、キャプション密度取得部１３２を実行し、Ｓ２１１の処理で検出された各シーン区間に対してキャプション密度を取得する（Ｓ２１２）。
【００６３】
キャプション密度取得部１３２は、キャプション密度を取得するために、数１に示す式を計算する。
【００６４】
数１に示す式において、キャプション密度をＤ［文字／分］とし、シーン区間が映像で再生された場合の再生時間長をＴ［秒］とし、シーン区間に含まれるキャプションデータの文字数をＣ［文字］とする。
【００６５】
（数１）
Ｄ＝Ｃ／Ｔ＊６０［文字／分］
例えば、あるシーン区間が映像で再生された場合の再生時間長が４０秒で、そのシーン区間に含まれるキャプションデータの文字数が８０文字である場合、このシーン区間のキャプション密度は、８０／４０＊６０＝１２０［文字／分］である。
【００６６】
キャプション密度が大きいシーン区間は、キャプションデータの文字数が大きいため、視聴者は、そのシーン区間の映像を見なくとも、そのシーン区間のキャプションデータを読めば、そのシーン区間の内容を把握できる。
【００６７】
なお、取得されたシーン区間のキャプション密度は、シーン情報テーブル４００に含まれるキャプション密度４００４に登録される。
【００６８】
次に、映像データ再生装置は、再生処理（Ｓ２１４〜Ｓ２３２の処理）を開始する（Ｓ２１３）。
【００６９】
まず、映像データ再生装置は、再生モード判定部１３３を実行し、再生対象のシーン区間を、映像モードで再生するか、キャプションモードで再生するかを判定する（Ｓ２１４）。
【００７０】
具体的には、映像データ再生装置は、再生対象のシーン区間の識別子を取得する。そして、再生モード判定部１３３は、シーン情報テーブル４００を参照し、シーンＩＤ４００１に登録されたシーン区間の識別子のうち、取得したシーン区間の識別子と一致するシーン区間の識別子を含まれるエントリのキャプション密度４００４に登録されるキャプション密度を取得する。
【００７１】
そして、映像データ再生装置は、取得したキャプション密度が閾値より大きいか否かを判定する。取得したキャプション密度が閾値より大きいと判定された場合、再生モード判定部１３３は、当該シーン区間をキャプションモードで再生すると判定する。
【００７２】
一方、取得したキャプション密度が閾値以下であると判定された場合、再生モード判定部１３３は、当該シーン区間を映像モードで再生すると判定する。
【００７３】
閾値は、例えば、ゼロに設定されてもよい。この場合、キャプションデータを含むシーン区間は、キャプションモードで再生され、キャプションデータを含まないシーン区間は、映像モードで再生される。
【００７４】
Ｓ２１４の処理で、映像モードでシーン区間を再生すると判定された場合、映像データ再生装置は、Ｓ２２０の処理に進む。一方、Ｓ２１４の処理で、キャプションモードでシーン区間を再生すると判定された場合、映像データ再生装置は、Ｓ２３０の処理に進む（Ｓ２１５）。
【００７５】
Ｓ２１４の処理で、映像モードでシーン区間を再生すると判定された場合、映像データ再生装置は、シーン情報テーブル４００に含まれる開始時間４００２に登録された値を参照し、そのシーン区間の再生位置を取得する（Ｓ２２０）。
【００７６】
そして、映像データ再生装置は、取得した再生位置から再生対象のシーン区間を動画で再生する（Ｓ２２１）。映像モードでシーン区間が再生される場合に、表示部１１１に表示される映像を図５に示す。
【００７７】
なお、映像データ再生装置は、映像モードでシーン区間を再生している間、ユーザからキャプションモードでシーン区間を再生する指示があるか否かを判定する（Ｓ２２２）。
【００７８】
ユーザからキャプションモードでシーン区間を再生する指示があった場合、映像データ再生装置は、Ｓ２３０の処理に進む。一方、ユーザからキャプションモードでシーン区間を再生する指示がない場合、Ｓ２１６の処理に進む。
【００７９】
なお、ユーザは、キャプションモードでシーン区間を再生する指示を、入力部１１２を用いて、映像データ再生装置に入力する。
【００８０】
Ｓ２１４の処理で、キャプションモードでシーン区間を再生すると判定された場合、映像データ再生装置は、キャプション画面生成部１３４を実行し、再生対象のシーン区間の映像データに含まれるキャプションデータを用いて、再生対象のシーン区間のキャプション画面情報を生成する（Ｓ２３０）。
【００８１】
具体的には、映像データ再生装置は、映像管理部１２１を実行し、再生対象のシーン区間のキャプションデータに含まれるテキストデータを抽出する。そして、映像データ再生装置は、キャプション画面生成部１３４を実行し、抽出したテキストデータを表示部１１１に表示するためのキャプション画面情報を生成する。
【００８２】
そして、映像データ再生装置は、生成されたキャプション画面情報を表示部１１１に表示する（Ｓ２３１）。
【００８３】
表示部１１１に表示されるキャプション画面情報を、図６に示す。図６では、抽出したテキストデータが同一画面にまとめて表示される。
【００８４】
なお、表示部１１１に表示されるキャプション画面情報の他の例を図７に示す。映像データ再生装置は、同一画面に表示されるテキストをキャプションデータの表示時点ごとに複数に分割して表示する。そして、映像データ再生装置は、分割されたテキストに対応する画像を分割されたテキストの左側に表示する。なお、分割されたテキストに対応する画像は、分割されたテキスト付近に表示されればよい。
【００８５】
生成されたキャプション画面情報のキャプションデータに含まれる文字数が予め設定された一画面に表示できる文字数よりも大きい場合、映像データ再生装置は、一画面に表示できる文字数以下となるようにキャプションデータを分割する。そして、映像データ再生装置は、分割された第１キャプションデータの画面を表示した後に、分割された第２キャプションデータの画面を表示する。なお、一画面に表示できる文字数は、表示部１１１の大きさ等により決定される。
【００８６】
また、一画面の表示時間は、テキストを読む速さＳ［文字／秒］を用いて、一画面に表示される文字数から算出される。
【００８７】
例えば、一画面に表示される文字数が２００文字であって、テキストを読む速さが１０［文字／秒］である場合、この画面の表示時間は、２００／１０＝２０［秒］となる。なお、テキストを読む速さＳ［文字／秒］は、人の平均的な読み取り速さに設定するとよい。
【００８８】
キャプション画面情報を表示する時間がシーン区間を映像モードで再生する時間より大きくなる場合、映像データ再生装置は、一画面の表示時間を短くすることによって、キャプション画面情報を表示する時間を、シーン区間を映像モードで再生する時間未満にしてもよい。なお、映像データ再生装置は、キャプション画面情報を表示する時間がシーン区間を映像モードで再生する時間より大きくなるシーン区間を映像モードで再生してもよい。
【００８９】
また、当該シーン区間が映像モードで再生された場合よりも一画面の表示時間が長くなる場合、映像データ再生装置は、当該シーン区間を映像モードで再生してもよい。
【００９０】
次のシーン区間が再生される前に、ユーザが表示部１１１に表示されているキャプションモード画面を読み終えた場合、図８に示すリモートコントローラ８０１の「次」ボタン８０２を操作することによって、次のシーン区間を再生できる。
【００９１】
この場合、次にキャプションモードで再生されるシーン区間の表示時間Ｔ２は、ユーザの読む速さに基づいて、（数２）に示す数式を計算することによって、算出される。ユーザが「次」ボタン８０２等を操作することによって再生が進められたシーン区間のテキストをユーザが読む速さをＳ１［文字／秒］、及び次にキャプションモードで再生されるシーン区間のキャプションデータに含まれる文字数をＣ２［文字］とする。
【００９２】
（数２）
Ｔ２＝Ｃ２／Ｓ１＋Ｄ（Ｄは０秒以上の定数時間）
ここで、再生が進められたシーン区間のテキストをユーザが読む速さをＳ１［文字／秒］は、（数３）に示す数式を計算することによって算出される。再生が進められたシーン区間のキャプションデータに含まれる文字数をＣ１[文字]、及び再生が進められたシーン区間の再生時間をＴ１［秒］とする。なお、再生が進められたシーン区間の再生時間とは、再生が進められたシーン区間が再生されてから、リモートコントローラ８０１の「次」ボタン８０２が操作されるまでの時間である。
【００９３】
（数３）
Ｓ１＝Ｃ１／Ｔ１
また、ユーザがシーン区間のテキストを読む平均的な速さをＳ３とすると、Ｓ３を（数２）に示す数式のＳ１の代わりに用いると、ユーザのテキストを読む平均的な速さを用いて、キャプションモードで再生されるシーン区間の表示時間を算出できる。
【００９４】
ここで、ユーザがシーン区間のテキストを読む平均的な速さをＳ３は、（数４）に示す数式を計算することによって算出される。
【００９５】
なお、過去ｎ回目にキャプションモードで再生されたシーン区間の再生時間をＴｎ［秒］、及び当該シーン区間のキャプションデータに含まれる文字数をＣｎ[文字]とする。
【００９６】
（数４）
Ｓ３＝（ΣＣｎ／Ｔｎ）／ｎ［文字／秒］
なお、（数４）に示す数式が計算され、ユーザがシーン区間のテキストを読む速さが算出されることによって、映像データ再生装置は、ユーザの過去のシーン区間の読む速さを考慮して、キャプション画面の表示時間を求めることができる。よって、映像データ再生装置は、ユーザに適合した表示時間で画面を切り替えることができる。
【００９７】
また、表示部１１１に表示されるキャプション画面は、図９に示すように、再生対象のシーン区間のキャプションデータがスクロールするものであってもよい。
【００９８】
具体的には、図８に示すリモートコントローラ８０１の「上」ボタン８０３が操作されると、図９に示すスクロールバー９０１が上方にスクロールし、スクロールバー９０１のスクロールに同期して、対応するキャプションデータが表示部１１１に表示される。
【００９９】
また、図８に示すリモートコントローラ８０１の「下」ボタン８０４が操作されると、図９に示すスクロールバー９０１が下方にスクロールし、スクロールバー９０１のスクロールに同期して、対応するキャプションデータが表示部１１１に表示される。
【０１００】
なお、この場合も、再生対象のシーン区間のキャプションデータの表示時間が終了すると、映像データ再生装置は、次のシーン区間を再生する。
【０１０１】
また、表示部１１１に表示されるキャプション画面情報は、図１０に示すように、スクロールバー１００１の位置に対応する映像をサブ画面１００２に表示するものであってもよい。
【０１０２】
具体的には、図１０に示すキャプション画面は、図９に示すキャプション画面と同じように、スクロールバー１００１のスクロールに同期して、対応するキャプションデータが表示部１１１に表示される。そして、サブ画面１００３には、表示部１１１に表示されたキャプションデータに対応する映像が表示される。
【０１０３】
なお、サブ画面１００３には、映像が表示されるとしたが、表示部１１１に表示されたキャプションデータに対応する画像が表示されてもよい。
【０１０４】
そして、映像データ再生装置は、キャプションモードでシーン区間を再生している間、ユーザから映像モードでシーン区間を再生する指示があるか否かを判定する（Ｓ２２２）。ユーザから映像モードでシーン区間を再生する指示があった場合、映像データ再生装置は、Ｓ２２０の処理に進む。一方、ユーザから映像モードでシーン区間を再生する指示がない場合、Ｓ２１６の処理に進む。
【０１０５】
そして、映像データ再生装置は、最後のシーン区間が再生されたか否かを判定する（S２１６）。最後のシーン区間が再生された判定された場合、映像データ再生装置は、再生処理を終了する。一方、最後のシーン区間が再生されたと判定された場合、映像データ再生装置は、Ｓ２１３の処理に戻り、次のシーン区間に対して再生処理を実行する。
【０１０６】
本実施形態によると、再生対象のシーン区間のキャプション密度が閾値より大きい場合、再生対象のシーン区間はキャプションモードで再生される。これによって、キャプションデータの量が十分なシーン区間がキャプションモードで再生されるため、ユーザは、そのシーン区間のテキストを読むことによって、映像モードで視聴するよりも、時間をかけずに、シーン区間の内容を把握できる。
【０１０７】
（第２実施形態）
本発明の第２実施形態を、図１１〜図１２を用いて説明する。なお、第１実施形態と同じ構成は同じ符号を付与し、説明を省略する。
【０１０８】
本実施の形態では、サーバ装置１１０２が、シーン区間を映像モードで再生するか、キャプションモードで再生するかを判定する。そして、サーバ装置１１０２が、映像再生端末装置１１０１に備わる表示部１１１に表示されるデータを送信する。
【０１０９】
図１１は、本発明の第２実施形態のシステム構成を示す図である。
【０１１０】
本実施形態のシステムは、映像再生端末装置１１０１及びサーバ装置１１０２を含む。映像再生端末装置１１０１は、図示しないＣＰＵ及び記憶部を備える。また、サーバ装置１１０２も、図示しないＣＰＵ及び記憶部を備える。
【０１１１】
サーバ装置１１０２は、映像データを映像再生端末装置１１０１に配信する。映像再生端末装置１１０１は、サーバ装置１１０２によって配信された映像データを再生する。例えば、映像再生端末装置１１０１は、携帯電話機等である。
【０１１２】
映像再生端末装置１１０１は、映像表示部１１１０及び映像記憶部１１２０を備える。
【０１１３】
映像表示部１１１０は、表示部１１１１、入力部１１１２及び表示制御部１１１３を備える。なお、表示部１１１１は、第１実施形態の表示部１１１と同じ構成であり、入力部１１１２は、第１実施形態の入力部１１２と同じ構成であり、表示制御部１１１３は、第１実施形態の表示制御部１１３と同じ構成であるので、説明を省略する。
【０１１４】
映像記憶部１１２０は、映像管理部１１２１、映像選択部１１２２、通信部１１２３及び記憶制御部１１２４を備える。映像管理部１１２１は、第１実施形態の映像管理部１２１と同じ構成であり、映像選択部１１２２は、第１実施形態の映像選択部１２２と同じ構成であり、記憶制御部１１２４は、第１実施形態の記憶制御部１２４と同じ構成であるので、説明を省略する。
【０１１５】
なお、映像再生端末装置１１０１は、通信部１１２３を介してサーバ装置１１０２に接続される。
【０１１６】
サーバ装置１１０２は、映像解析部１１３０及び映像記憶部１１４０を備える。
【０１１７】
映像解析部１１３０は、シーン区間検出部１１３１、キャプション密度取得部１１３２、再生モード判定部１１３３、キャプション画面生成部１１３４及び解析制御部１１３５を備える。シーン区間検出部１１３１は、第１実施形態のシーン区間検出部１３１と同じ構成であり、キャプション密度取得部１１３２は、第１実施形態のキャプション密度取得部１３２と同じ構成であり、再生モード判定部１１３３は、第１実施形態の再生モード判定部１３３と同じ構成であり、キャプション画面生成部１１３４は、第１実施形態のキャプション画面生成部１３４と同じ構成であり、解析制御部１１３５は、第１実施形態の解析制御部１３５と同じ構成であるので、説明を省略する。
【０１１８】
映像記憶部１１４０は、映像管理部１１４１、映像選択部１１４２、シーン情報管理部１１４３、通信部１１４４及び記憶制御部１１４５を備える。
【０１１９】
映像管理部１１４１は、第１実施形態の映像管理部１２１と同じ構成であり、映像選択部１１４２は、第１実施形態の映像選択部１２２と同じ構成であり、記憶制御部１１４５は、第１実施形態の記憶制御部１２４と同じ構成であるので、説明を省略する。
【０１２０】
シーン情報管理部１１４３は、第１実施形態のシーン情報管理部１２３に備わる機能の他に、映像再生端末装置１１０１に送信される情報を図示しない記憶部に記憶する。
【０１２１】
なお、サーバ装置１１０２は、通信部１１４４を介して映像再生端末装置１１０１に接続される。
【０１２２】
図１２は、本発明の第２実施形態の再生処理のフローチャートである。
【０１２３】
まず、映像再生端末装置１１０１は、映像選択部１１４２を実行し、視聴する映像をユーザに選択させるための映像選択画面３００を表示部１１１に表示する（Ｓ１２１０）。そして、ユーザは、視聴する映像を選択し、入力部１１１２を介して入力する。映像再生端末装置１１０１は、選択された映像の識別子を通信部１１２３を介して送信する。
【０１２４】
サーバ装置１１０２は、通信部１１４４を介して映像の識別子を受信すると、シーン区間検出部１１３１を実行し、受信した映像の識別子によって識別される映像データからシーン区間を検出する（Ｓ１２１１）。
【０１２５】
次に、サーバ装置１１０２は、Ｓ１２１１の処理で検出された各シーン区間のキャプション密度を取得する（Ｓ１２１２）。
【０１２６】
そして、サーバ装置１１０２は、映像再生端末装置１１０１に備わる表示部１１１１に表示される画面の情報を、シーン区間ごとに生成する処理（Ｓ１２１４〜Ｓ１２３２の処理）を実行する（Ｓ１２１３）。
【０１２７】
まず、サーバ装置１１０２は、第１実施形態のＳ２１４の処理と同じく、再生モード判定部１１３３を実行し、各シーン区間を、映像モードで再生するか、キャプションモードで再生するかを判定する（Ｓ１２１４）。
【０１２８】
なお、Ｓ１２１４の処理の具体的な処理は、Ｓ２１４の処理と同じあるので、説明を省略する。
【０１２９】
Ｓ１２１４の処理で、映像モードで再生すると判定された場合、Ｓ１２２０の処理に進み、キャプションモードで再生すると判定すると判定された場合、Ｓ１２３０の処理に進む（Ｓ１２１５）。
【０１３０】
Ｓ１２１４の処理で、映像モードでシーン区間を再生すると判定された場合、サーバ装置１１０２は、第１実施形態のＳ２２０の処理と同じく、そのシーン区間の再生位置を取得する（Ｓ１２２０）。
【０１３１】
そして、サーバ装置１１０２は、シーン情報管理部１１４３を実行し、そのシーン区間の映像モードで再生される映像画面情報を図示しない記憶部に記憶させ（Ｓ１２２１）、Ｓ１２１６の処理に進む。
【０１３２】
一方、Ｓ１２１４の処理で、キャプションモードで再生すると判定された場合、サーバ装置１１０２は、第１実施形態のＳ２３１の処理と同じように、再生対象のシーン区間のキャプション画面情報を生成する（Ｓ１２３０）。
【０１３３】
そして、サーバ装置１１０２は、シーン情報管理部１１４３を実行し、生成されたキャプション画面情報を図示しない記憶部に記憶させ（Ｓ１２３１）、Ｓ１２１６の処理に進む。
【０１３４】
そして、サーバ装置１１０２は、ユーザによって選択された映像データの全てのシーン区間について、画面生成処理（Ｓ１２１４〜Ｓ１２３２の処理）が終了したか否かを判定する（Ｓ１２１６）。
【０１３５】
全てのシーン区間ついて画面生成処理が終了していないと判定された場合、サーバ装置１１０２は、Ｓ１２１３の処理に戻り、次のシーン区間について画面生成処理を実行する。
【０１３６】
一方、全てのシーン区間について画面生成処理が終了したと判定された場合、サーバ装置１１０２は、図示しない記憶部に記憶された情報（映像画面情報及びキャプション画面情報）を、映像再生端末装置１１０１に通信部１１４４を介して転送する。
【０１３７】
サーバ装置１１０２が映像再生端末装置１１０１に転送する転送データは、以下に説明する第１〜第４の転送データのいずれかであればよい。
【０１３８】
第１の転送データは、映像モードで再生されるシーン区間の映像画面情報、キャプションモードで再生されるシーン区間のキャプション画面情報、及び図１３に示すシーン区間再生モードテーブル１３００を含む。
【０１３９】
シーン区間再生モードテーブル１３００について図１３を用いて説明する。
【０１４０】
図１３は、本発明の第２実施形態のシーン区間再生モードテーブル１３００を説明する図である。
【０１４１】
シーン区間再生モードテーブル１３００は、区間ＩＤ１３００１、開始時間１３００２、終了時間１３００３、データ種別１３００４及びデータＩＤ１３００５を含む。
【０１４２】
区間ＩＤ１３００１には、各シーン区間の一意な識別子が登録される。開始時間１３００２には、各シーン区間の開始時間が登録される。終了時間１３００３には、各シーン区間の終了時間が登録される。
【０１４３】
データ種別１３００４には、各シーン区間が映像モードで再生されるか、キャプションモードで再生されるかを示す情報が登録される。データＩＤ１３００５には、各シーン区間で再生される映像画面情報又はキャプション画面情報の一意な識別子が登録される。
【０１４４】
映像再生端末装置１１０１は、サーバ装置１１０２によって送信された第１の転送データを受信すると、第１の転送データに含まれるシーン区間再生モードテーブル１３００を参照し、映像の再生時間に対応する映像画面情報又はキャプション画面情報を、表示部１１１１に表示する。
【０１４５】
具体的には、まず、映像再生端末装置１１０１は、現在の再生時間を取得する。そして、映像再生端末装置１１０１は、取得した再生時間が開始時間１３００２に登録された時間と終了時間１３００３登録された時間との範囲にあるエントリを取得する。そして、映像再生端末装置１１０１は、取得したエントリに含まれるデータＩＤ１３００５に登録された識別子によって識別される映像画面情報又はキャプション画面情報を再生する。
【０１４６】
なお、映像再生端末装置１１０１がキャプション画面情報を再生する場合、第１実施形態と同じく、図６に示すようにキャプションデータに含まれるテキストのみが表示されてもよいし、図７に示すように、テキストに対応する映像又は画像等の補助情報ともにテキストが表示してもよい。
【０１４７】
また、図９に示すように、スクロールバーの移動と同期して表示されるテキストであってもよいし、図１０に示すように、スクロールバーの移動と同期して表示されるテキストに対応する映像又は画像等が表示される補助情報として表示されてもよい。
【０１４８】
第２の転送データは、映像モードで再生されるシーン区間の映像画面情報、キャプションモードで再生されるシーン区間のキャプション画面情報、及び図１４に示すシーン区間再生モードテーブル１４０００を含む。
【０１４９】
なお、第２の転送データに含まれるキャプション画面情報は、キャプションモードで再生されるシーン区間のキャプション情報及び当該シーン区間の静止画像情報を含む。
【０１５０】
図１４に示すシーン区間再生モードテーブル１４００は、区間ＩＤ１４００１、開始時間１４００２、終了時間１４００３、データ種別１４００４及びデータＩＤ１４００５を含む。
【０１５１】
区間ＩＤ１４００１は、図１３に示す区間ＩＤ１４００１と同じであり、開始時間１４００２は、図１３に示す開始時間１３００２と同じであり、終了時間１４００３は、図１３に示す終了時間１３００３と同じであり、データＩＤ１４００５は、図１３に示すデータＩＤ１３００５と同じであるので、説明を省略する。
【０１５２】
データ種別は１４００４には、図１３に示すデータ種別１３００４と同じく、各シーン区間が映像モードで再生されるか、キャプションモードで再生されるかを示す情報が登録される。
【０１５３】
この場合、キャプションモードで再生されるシーン区間が再生されると、表示部１１１１には、そのシーン区間の静止画が表示される。よって、データ種別１４００４に登録されるキャプションモードで再生されることを示す情報は、「静止画」である。
【０１５４】
映像再生端末装置１１０１は、サーバ装置第２の転送データを受信すると、第２の転送データに含まれるシーン区間再生モードテーブル１４００を参照し、映像の再生時間に対応する映像画面情報又はキャプション画面情報を、表示部１１１１に表示する。
【０１５５】
第３の転送データは、映像モードで再生されるシーン区間の映像画面情報とキャプションモードで再生されるシーン区間のキャプション画面情報とが連結された単一のデータである。
【０１５６】
この場合、キャプションモードで再生されるシーン区間は、動画ではないので、画面に変化がないので、ＭＰＥＧ等の映像圧縮方式で効率よく圧縮できる。また、キャプションモードで再生されるシーン区間が表示部１１１１に表示される表示時間は、映像モードで再生されるシーン区間が表示部１１１１に表示される表示時間よりも、短時間である。よって、第３の転送データの容量は、映像データの容量よりも小さくできる。
【０１５７】
第４の転送データは、映像モードで再生されるシーン区間の映像画面情報とキャプションモードで再生されるシーン区間のキャプション画面情報とが連結された単一のデータ、及び図１５に示す停止情報テーブル１５００を含む。キャプション画面情報は、少数フレームのキャプションデータを含む映像データである。
【０１５８】
図１５に示す停止情報テーブル１５００は、停止ＩＤ１５００１、停止位置１５００２及び停止時間１５００３を含む。
【０１５９】
停止ＩＤ１５００１には、各停止情報の一意な識別子が登録される。停止位置１５００２には、映像再生端末装置１１０１が再生を停止する再生位置が登録される。停止時間１５００３には、映像再生端末装置１１０１が再生を停止する時間が登録される。
【０１６０】
具体的には、映像再生端末装置１１０１は、再生位置が停止位置１５００２に登録された再生位置になった場合、再生を停止する。そして、映像再生端末装置１１０１は、停止時間１５００３に登録された時間が経過した後、停止した再生位置に停止時間に登録された時間を加算した再生位置から再生する。
【０１６１】
これによって、キャプションモードで再生されるシーン区間のキャプション画面情報に含まれる映像データの容量を小さくできる。
【０１６２】
本実施形態によると、サーバ装置１１０２は、映像を再生することが不要なシーン区間のキャプション画面情報を、映像再生端末装置１１０１に転送する。よって、記憶容量が小さい映像再生端末装置１１０１（例えば、携帯電話機等の携帯端末）であっても、多くのコンテンツを記憶できる。また、キャプションモードで再生されるシーン区間では、映像が再生されないので、ＣＰＵの負荷が低減され、映像再生端末装置１１０１が消費する電力を低減できる。
【０１６３】
（第３実施形態）
本実施形態の映像データ再生装置は、キャプションモードで再生すると判定されたシーン区間であっても、そのシーン区間がユーザによって予め設定された映像再生区間条件に適合するシーン区間であれば、そのシーン区間を映像モードで再生する。
【０１６４】
具体的には、映像データ再生端末装置は、Ｓ２１４の処理で、シーン区間が映像再生区間条件に適合するか否かを判定する。そして、シーン区間が映像再生区間条件に適合すると判定された場合、映像データ再生装置は、そのシーン区間のキャプション密度が閾値よりも大きくても、そのシーン区間を映像モードで再生すると判定し、Ｓ２２０の処理に進む。一方、シーン区間が映像再生区間条件に適合しないと判定された場合、映像データ再生装置は、そのシーン区間をキャプションモードで再生すると判定し、Ｓ２３０の処理に進む。なお、他の処理は、第１実施形態と同じであるので説明を省略する。
【０１６５】
ユーザによって予め設定される映像再生区間条件は、表現種別条件、出演者条件及びキーワード条件のうち、少なくとも一つを含む。
【０１６６】
まず、表現種別条件について説明する。
【０１６７】
映像データ再生装置は、図１６に示す表現種別テーブル１６００を参照し、シーン区間に含まれるテキストから予め設定された表現を抽出する。映像データ再生装置は、抽出した表現からそのシーン区間の種別を取得する。なお、シーン区間の種別を取得する処理については、後述する。
【０１６８】
そして、映像データ再生装置は、取得したシーン区間の種別が、予め設定された種別である場合、そのシーン区間をキャプションモードで再生されると判定されても、映像モードで再生する。
【０１６９】
例えば、シーン区間の種別としては、コンテンツがニュース番組である場合、事件映像等が映っているシーン区間の種別、スタジオで出演者が話しているシーン区間の種別、出演者が事実を話しているシーン区間の種別、出演者が感想を話しているシーン区間、及び出演者が驚いているシーン区間の種別等がある。
【０１７０】
また、コンテンツが映画又はドラマ等である場合のシーン区間の種別としては、喜びのシーン区間、怒りのシーン区間及び驚きのシーン区間等がある。
【０１７１】
図１６は、本発明の第３実施形態の表現種別テーブル１６００を説明する図である。
【０１７２】
表現種別テーブル１６００は、ＩＤ１６００１、ジャンル１６００２、種別１６００３、表現１６００４及びスコア１６００５を含む。
【０１７３】
ＩＤ１６００１は、各表現の一意な識別子が登録される。ジャンル１６００２には、映像データのジャンルが登録される。種別１６００３には、シーン区間に含まれるテキストから表現を抽出するシーン区間の種別が登録される。表現１６００４には、シーン区間に含まれるテキストから抽出する表現が登録される。スコア１６００５には、シーン区間に含まれるテキストから抽出する表現に対応するスコアが登録される。
【０１７４】
表現種別テーブル１６００は、ユーザによって予め作成され、映像データ再生装置の図示しない記憶部に記憶される。なお、ユーザが表現種別テーブル１６００にエントリを新たに追加できるようしてもよいし、ユーザが表現種別テーブル１６００に含まれるエントリを修正できるようにしてもよい。また、表現種別テーブル１６００は、インターネット等を介して、周期的に更新されてもよい。
【０１７５】
次に、シーン区間の種別を取得する方法について説明する。
【０１７６】
映像データ再生装置は、再生対象のシーン区間を含む映像データのジャンルを取得する。そして、映像データ再生装置は、ジャンル１６００２に登録されたジャンルのうち、取得したジャンルと一致する全てのエントリを取得する。
【０１７７】
次に、映像データ再生装置は、再生対象のシーン区間のテキストから、取得したエントリに含まれる表現１６００４に登録された表現と一致する表現を抽出する。そして、映像データ再生装置は、抽出した表現と一致するエントリに含まれるスコア１６００５に登録されたスコアを、抽出した表現と一致するエントリに含まれる種別１６００３に登録された種別毎に加算する。そして、映像データ再生装置は、最もスコアが大きい種別を、再生対象のシーン区間の種別として取得する。
【０１７８】
例えば、再生対象のシーン区間のジャンルがニュースである場合、映像データ再生装置は、再生対象のシーン区間のテキストから、「〜ました。」、「〜です。」、「〜います。」、「〜いたします。」及び「〜でしょうか。」のいずれかと一致する表現を抽出する。
【０１７９】
「〜ました。」、「〜です。」及び「〜います。」のいずれかが抽出された場合、種別「事実」に抽出された表現に対応するスコアが加算される。一方、「〜いたします。」及び「〜でしょうか。」のいずれかが抽出された場合、種別「感想」に抽出された表現に対応するスコアが加算される。
【０１８０】
例えば、種別「事実」にスコアが加算された結果、種別「事実」の合計スコアが５０で、種別「感想」にスコアが加算された結果、種別「感想」の合計スコアが２０である場合、映像データ再生装置は、再生対象のシーン区間の種別を、「事実」として取得する。
【０１８１】
なお、シーン区間の種別の取得方法は、シーン区間の種別が取得できれば、どのような方法を用いてもよい。
【０１８２】
映像データ再生装置は、取得されたシーン区間の種別が、予めユーザによって設定された種別と一致すると、そのシーン区間を映像モードで再生する。
【０１８３】
次に、出演者条件について説明する。
【０１８４】
ユーザが出演者の名前を予め設定し、設定された出演者が、キャプションモードで再生されると判定されたシーン区間に出演している場合、そのシーン区間を映像モードで再生する。
【０１８５】
設定された出演者がシーン区間に出演しているか否かを判定する方法について、図１７を用いて説明する。
【０１８６】
図１７は、本発明の第３実施形態の顔画像テーブル１７００を説明する図である。
【０１８７】
顔画像テーブル１７００は、ＩＤ１７００１、名前１７００２及び顔画像１７００３を含む。
【０１８８】
ＩＤ１７００１には、顔画像情報の一意な識別子が登録される。名前１７００２には、出演者の名前が登録される。顔画像１７００３には、出演者の顔画像データが登録される。
【０１８９】
なお、顔画像テーブル１７００は、映像データ再生装置の図示しない記憶部に記憶される。なお、ユーザが画像データを用意できる場合、記憶媒体等に記憶された顔画像データが映像データ再生装置に取り込まれることによって、ユーザが顔画像テーブル１７００にエントリを新たに追加できるようしてもよいし、顔画像テーブル１７００に含まれるエントリを修正できるようにしてもよい。また、顔画像テーブル１７００は、インターネット等を介して、周期的に更新されてもよい。
【０１９０】
具体的には、映像データ再生装置は、出演者の名前が設定されると、顔画像テーブル１７００を参照し、名前１７００２に登録された名前のうち、設定された名前と一致するエントリに含まれる顔画像１７００３に登録された顔画像データを取得する。
【０１９１】
そして、映像データ再生装置は、シーン区間のフレーム画像から顔画像を検出する。そして、映像データ再生装置は、検出した顔画像と取得した顔画像データとを照合し、検出した顔画像と取得した顔画像データとが一致するフレーム画像が閾値より大きい場合、ユーザによって設定された出演者がそのシーン区間に出演していると判定する。
【０１９２】
なお、シーン区間のフレーム画像から顔画像を検出する方法は、例えば、オープンソースで公開されている画像処理ライブラリＯｐｅｎＣＶ（Ｉｎｔｅｌ  Ｏｐｅｎ  Ｃｏｍｐｕｔｅｒ  Ｌｉｂｒａｒｙ）を利用してもよい。
【０１９３】
また、検出した顔画像と取得した顔画像データとを照合する方法については、例えば、特開２００６−１１４０５３号公報に記載された発明を利用してもよい。具体的には、映像データ再生装置は、検出した顔画像と取得した顔画像データとの類似度が閾値より大きい場合、検出した顔画像を含むフレームが属するシーン区間が、ユーザ設定された出演者が出演しているフレーム画像であると判定される。
【０１９４】
また、検出した顔画像と取得した顔画像データとを照合する方法については、例えば、特開２００６−１７８５１６号公報に記載された顔画像を検索する方法を利用してもよい。
【０１９５】
次に、キーワード条件について説明する。
【０１９６】
ユーザは、キーワードを映像データ再生装置に予め設定する。映像データ再生装置は、設定されたキーワードが頻出するシーン区間を映像モードで再生する。
【０１９７】
具体的には、映像データ再生装置は、設定されたキーワードと同じ単語を抽出する。そして、映像データ再生装置は、抽出された単語について、（数５）に示す数式を計算し、ｉ番目のシーン区間における単語ｔについての重みＷ（ｉ，ｔ）を算出する。ここで、Ｎは、シーン区間の総数、ｄｆ（ｔ）は、単語ｔが含まれるシーン区間の数、及びｔｆ（ｉ，ｔ）は、ｉ番目のシーン区間に含まれる単語ｔの数とする。
【０１９８】
（数５）
Ｗ（ｉ，ｔ）＝ｔｆ（ｉ，ｔ）×ｌｏｇ（Ｎ／ｄｆ（ｔ））
次に、映像データ再生装置は、設定された全てのキーワードに対して、Ｗ（ｉ，ｔ）を算出する。そして、映像データ再生装置は、（数６）に示す数式を計算することによって、設定された全てのキーワードの重みを加算し、ｉ番目のシーン区間のキーワード注目レベルＷＫ（ｉ）を算出する。
【０１９９】
（数６）
ＷＫ（ｉ）＝Σ＿（ａｌｌ  ｔ）  Ｗ（ｉ，ｔ）
例えば、ユーザが、キーワードとして「カレー」及び「調味料」を映像データ再生装置に設定した場合について説明する。
【０２００】
ここで、映像データに含まれる全てのシーン区間は５０シーン区間であるとし、「カレー」は、２０シーン区間に含まれ、「調味料」は、２シーン区間に含まれる。そして、ｉ番目のシーン区間には、「カレー」は、１０回出現し、「調味料」は、５回出現する。
【０２０１】
この場合、ｉ番目のキーワード注目レベルＷＫ（ｉ）を（数７）に示す。
【０２０２】
（数７）
ＷＫ（ｉ）＝Ｗ（ｉ，カレー）＋Ｗ（ｉ，調味料）
＝１０×ｌｏｇ（５０／２０）＋５×ｌｏｇ（５０／２）＝３６．４
そして、映像データ再生装置は、算出されたキーワード注目レベルＷＫ（ｉ）が閾値より大きい場合、当該シーン区間を映像モードで再生する。
【０２０３】
なお、本実施形態では、再生対象のシーン区間が、予め設定された映像再生区間条件に適合する場合に、当該シーン区間を映像モードで再生すると判定したが、キャプションモードで再生する条件が予め設定され、再生対象シーン区間がこの条件に適合する場合に、当該シーン区間をキャプションモードで再生すると判定されるようにしてもよい。
【０２０４】
本実施形態によると、キャプション密度が大きいため、キャプションモードで再生されると判定されるシーン区間であっても、ユーザによって設定された条件に適合すると、映像モードで再生される。
【産業上の利用可能性】
【０２０５】
本発明は、テレビ及び携帯型動画再生機等、映像データ再生装置全般に適用できる。
【図面の簡単な説明】
【０２０６】
【図１】本発明の第１実施形態の映像データ再生装置を説明する図である。
【図２】本発明の第１実施形態の再生処理のフローチャートである。
【図３】本発明の第１実施形態の映像選択画面を説明する図である。
【図４】本発明の第１実施形態のシーン情報テーブルを説明する図である。
【図５】本発明の第１実施形態の映像モードでシーン区間が再生される場合に表示部に表示される画面を説明する図である。
【図６】本発明の第１実施形態の表示部に表示されるキャプション画面情報を説明する図である。
【図７】本発明の第１実施形態の表示部に表示されるキャプション画面情報の他の例を説明する図である。
【図８】本発明の第１実施形態のリモートコントローラを説明する図である。
【図９】本発明の第１実施形態の表示部に表示され、スクロール可能なキャプション画面情報を説明する図である。
【図１０】本発明の第１実施形態の表示部に表示され、サブ画面を有するキャプション画面情報を説明する図である。
【図１１】本発明の第２の実施形態である映像データ再生装置の構成図である。
【図１２】本発明の第２の実施形態における映像データを記憶する手順を示したフローチャートである。
【図１３】本発明の第２実施形態のシーン区間再生モードテーブルを説明する図である。
【図１４】本発明の第２実施形態のシーン区間再生モードテーブルを説明する図である。
【図１５】本発明の第２実施形態の停止情報テーブルを説明する図である。
【図１６】本発明の第３実施形態の表現種別テーブルを説明する図である。
【図１７】本発明の第３実施形態の顔画像テーブルを説明する図である。
【符号の説明】
【０２０７】
１１０：映像表示部
１１１：表示部
１１２：入力部
１１３：表示制御部
１２０：映像記憶部
１２１：映像管理部
１２２：映像選択部
１２３：シーン情報管理部
１２４：記憶制御部
１３０：映像解析部
１３１：シーン区間検出部
１３２：キャプション密度取得部
１３３：再生モード判定部
１３４：キャプション画面生成部
１３５：解析制御部
１１０１：映像再生端末装置
１１１０：映像表示部
１１１１：表示部
１１１２：入力部
１１１３：表示制御部
１１２０：映像記憶部
１１２１：映像管理部
１１２２：映像選択部
１１２３：通信部
１１２４：記憶制御部
１１０２：サーバ装置
１１３０：映像解析部
１１３１：シーン区間検出部
１１３２：キャプション密度取得部
１１３３：再生モード判定部
１１３４：キャプション画面生成部
１１３５：解析制御部
１１４０：映像記憶部
１１４１：映像管理部
１１４２：映像選択部
１１４３：シーン情報管理部
１１４４：通信部
１１４５：記憶制御部
【図１】
2008205792.tif 000003
【図２】
2008205792.tif 000004
【図３】
2008205792.tif 000005
【図４】
2008205792.tif 000006
【図６】
2008205792.tif 000007
【図８】
2008205792.tif 000008
【図１１】
2008205792.tif 000009
【図１２】
2008205792.tif 000010
【図１３】
2008205792.tif 000011
【図１４】
2008205792.tif 000012
【図１５】
2008205792.tif 000013
【図１６】
2008205792.tif 000014
【図５】
2008205792.tif 000015
【図７】
2008205792.tif 000016
【図９】
2008205792.tif 000017
【図１０】
2008205792.tif 000018
【図１７】
2008205792.tif 000019