(57)【要約】  本発明はマルチメディア再生方法、装置、プログラム、及び記録媒体に関する。前記方法は、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、前記マルチメディア再生を再開する指令が検出されるか、又は前記マルチメディア再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップとを含む。本発明は、一時停止後に再生を再開するとき、ユーザが完全なセンテンスを捕らえて理解することができるようにすることに適用する。【選択図】図１
2016525765.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含むことを特徴とするマルチメディア再生方法。
【請求項２】
前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
前記隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップと、
を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
【請求項３】
前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
【請求項４】
前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
【請求項５】
前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
人声の周波数に基づいて前記オーディオデータをフィルタリングして人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
前記隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップと、
を含むことを特徴とする請求項２乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項６】
前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、
前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開するステップ、
又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップ
を含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項７】
前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するステップと、
を更に含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項８】
前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップとを含み、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の前記第一所定時間長さ内における前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項９】
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するための取得モジュールと、
前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するための分析モジュールと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定されたセンテンス開始位置に基づいて前記マルチメディアの再生を再開するための再生モジュールと、
を備えることを特徴とするマルチメディア再生装置。
【請求項１０】
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するための検出ユニットと、
前記検出ユニットにより検出された前記隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための分析確定ユニットと、
を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
【請求項１１】
前記分析モジュールは、
前記取得モジュールにより取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットと、
を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
【請求項１２】
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットと、
を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
【請求項１３】
前記分析モジュールは、
人声の周波数に基づいて前記取得モジュールにより取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るためのフィルタリングユニットと、
前記フィルタリングユニットによりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するための前記検出ユニットと、
前記検出ユニットにより検出された前記隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための前記分析確定ユニットと、
を更に備えることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１４】
前記再生モジュールは、前記分析モジュールが少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（前記Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１５】
前記取得モジュールは、前記分析モジュールが前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのであり、ここで、今回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
前記分析モジュールは、前記取得モジュールが今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１６】
前記取得モジュールは、マルチメディアの一時停止位置前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、
前記分析モジュールは、前記時間位置の前の前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１７】
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを備え、
前記プロセッサは、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定し、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するように構成されることを特徴とするマルチメディア再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、出願日が２０１４年６月６日で、出願番号がＣＮ２０１４１０２５０８００．９であり、発明の名称が「マルチメディア再生方法及び装置」である中国特許出願に基づいて優先権を主張し、該中国特許出願の全ての内容を本願に援用する。
【０００２】
本発明はマルチメディア処理の技術分野に関し、特にマルチメディア再生方法及び装置に関する。
【背景技術】
【０００３】
従来技術において、ビデオを再生するとき、一時停止することがよく発生する。この一時停止には、例えばユーザの主観的な原因による自発的な一時停止や、ネットワークによる短時間の一時停止が含まれる。一時停止のタイミングは機動性が比較的に高いため、再生を再開したとき、ビデオに流れる音声は往々にして一つのセンテンスの途中から、ひいては一つの字又は単語の途中から始まり、人々はプロットを連続して理解することが難しい。
【０００４】
従来技術において、一部のマルチメディア再生ソフト又はウェブページも、再生過程においてソフト又はウェブページを閉じた後、再びソフトを開いて同一ビデオを再生し、又は再び前回閉じたビデオウェブページを開くとき、一時停止位置から一定時間だけ戻る、巻き戻し再生方法を採用する。例えば、戻る時間値を一定的に５秒間に設定すると、中断した後に再びソフト又はウェブページを開いて元のビデオの再生を再開する際、中断ポイントの前の５秒間から再生を始め、ユーザが前回観賞した記憶につながるようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような巻き戻し再生方法は、戻る時間値が予め設定された固定値であり、ユーザに一定の回想の時間を与えてはいるものの、カットインの時間ポイントが比較的に硬直的で、ヒューマニゼーションが十分でない。たとえ５秒間戻っても、一つのセンテンスの途中から再生を再開する状況が生じ、ユーザが完全なセンテンスを理解する上で役に立たないからである。
【０００６】
従来技術に存在する問題を解決するために、本発明の実施例はマルチメディア再生方法及び装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施例の第一の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含むマルチメディア再生方法を提供する。
【０００８】
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、一時停止後に再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【０００９】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【００１０】
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと
を含む。
【００１１】
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含む。
【００１２】
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することで、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開することができる。これにより、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。また、同時にオーディオデータ及び字幕データに対し分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
【００１３】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップには、
人声の周波数に基づいて前記オーディオデータをフィルタリングして、人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【００１４】
別の方案において、人声の通常の周波数に基づいてまずオーディオデータをフィルタリングし、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
【００１５】
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から、前記マルチメディアの再生を再開するステップ、
又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
【００１６】
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にそのうちの一つを、一時停止後にオーディオ／ビデオ再生を再開する起点として選択することができ、これにより、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００１７】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するするステップとを更に含む。
【００１８】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップとを含み、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さ内における前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
【００１９】
別の方案において、まず一時停止位置の前の一定時間の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにする。
【００２０】
本発明の実施例の第二の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するための取得モジュールと、
前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するための分析モジュールと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定されたセンテンス開始位置に基づいて前記マルチメディアの再生を再開するための再生モジュールとを備えるマルチメディア再生装置を提供する。
【００２１】
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための分析確定ユニットとを備える。
【００２２】
また前記分析モジュールは、
前記取得モジュールにより取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
【００２３】
更に前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
【００２４】
前記分析モジュールは、
人声の周波数に基づいて前記取得モジュールにより取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るためのフィルタリングユニットと、
前記フィルタリングユニットによりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するための前記検出ユニットと、
前記検出ユニットにより検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための前記分析確定ユニットとを更に備える。
【００２５】
前記再生モジュールは、前記分析モジュールが少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するためのものである。
【００２６】
前記取得モジュールは、前記分析モジュールが前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
前記分析モジュールは、前記取得モジュールが今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するためのものである。
【００２７】
前記取得モジュールは、マルチメディアの一時停止位置前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、
前記分析モジュールは、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するためのものである。
【００２８】
本発明の実施例の第三の態様によれば、
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを備え、
前記プロセッサは、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定し、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するように構成されるマルチメディア再生装置を提供する。
【００２９】
以上の一般的な説明及び後述の詳細な説明は、例示的なものに過ぎず、本発明を限定するものではないことを理解すべきである。
本願の図面は明細書に組み込んで明細書の一部とし、本発明に合致する実施例を示すと共に、明細書と共に本発明の原理の解釈に用いられる。
【図面の簡単な説明】
【００３０】
【図１】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図２】一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。
【図３】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図４】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図５】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図６】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図７】一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。
【図８】一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。
【図９】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図１０】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図１１】一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。
【図１２ａ】一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１２ｂ】他の一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１２ｃ】他の一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１２ｄ】他の一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１３】一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。
【発明を実施するための形態】
【００３１】
ここで、例示的実施例を詳しく説明し、その実施例は図面に示される。以下の説明は図面に係る場合、特別に示されない限り、異なる図面における同じ数字は同じ又は類似の要素を表す。本発明に合致するすべての実施の形態は、以下の例示的実施例で記述される実施の形態に限られない。逆に、以下の例示的実施例で記述される実施の形態は、特許請求の範囲に詳しく記述される、本発明のいくつかの形態に合致する装置及び方法の実例に過ぎない。
【００３２】
本発明の実施例におけるマルチメディアは、ビデオ、オーディオ等を含む。マルチメディア再生過程において一時停止が発生するが、この一時停止は、ユーザが自発的にトリガーしたものであってもよく、ネットワークによるものであってもよい。ユーザによる自発的なマルチメディア再生の一時停止は、操作指令を通じて知ることができる。ネットワークによるマルチメディア再生の一時停止は、ビデオキャッシュ領域における残りの未再生データ量を検出することで知ることができるため、続いて、再生に供するためのビデオキャッシュデータがない場合、ビデオ再生は中止する。
【００３３】
本発明の実施例において、マルチメディア再生が一時停止した後、マルチメディア再生の再開が一つの完全なセンテンスから始まることができるように、マルチメディアのオーディオデータ及び／又は字幕データにおける完全なセンテンスの開始ポイントを分析する。これにより、一定時間を戻る巻き戻し再生による、ユーザがセンテンスを理解することに影響を及ぼすという問題を解決する。
【００３４】
図１は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１に示すように、マルチメディア再生方法は端末において適用され、以下のようなステップを含む。
【００３５】
ステップＳ１１において、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得する。
ステップＳ１２において、前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
ステップＳ１３において、マルチメディアの再生を再開する指令が検出されるか、又はマルチメディアの再生を再開する条件が満たされた場合、センテンス開始位置に基づいてマルチメディアの再生を再開する。
【００３６】
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、ユーザが再生を再開したとき、完全なセンテンスを捕らえて理解でき、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００３７】
一般に、一つの完全なセンテンスは通常１６秒間を超えず、実際の応用のとき、ステップＳ１１において、第一所定時間長さを１６秒間に設定することができる。例えば、図２は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図２に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、一時停止位置の前の１６秒間、即ち３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データを取得し、これらのデータから完全なセンテンスのセンテンス開始位置を確定することができる。
【００３８】
図３は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図３に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００３９】
ステップＳ３１において、オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出する。
ステップＳ３２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接する二つのオーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
【００４０】
図４は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図４に示すように、ステップＳ１２において、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００４１】
ステップＳ４１において、字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ４２において、字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。二つのセンテンスの間には、例えば０．１秒間のような一定時間間隔があるため、オーディオ信号間の間隔時間長さに基づいて完全なセンテンスを確定することができる。同様に、ユーザが観賞する、再生中のオーディオ/ビデオファイルに字幕がある場合、隣接する字幕間の時間間隔に基づいて完全なセンテンスを確定することもできる。例えば、取得した前の一本の字幕の終了表示タイミングが３分４秒１６０ミリ秒で、後の一本の字幕の開始表示タイミングが３分４秒２９０ミリ秒である場合、二本の字幕の間の間隔が１３０ミリ秒間、即ち０．１３秒間であり、０．１秒間を超えているため、この二本の字幕の間にセンテンス開始位置が存在すると判断することができる。
【００４２】
または、一部のオーディオ／ビデオファイルにおいて、一本の字幕自体が一つの完全なセンテンスに対応している。このように、この一本の字幕の開始表示タイミング又は前の一本の字幕の終了表示タイミングに基づいて、センテンス開始位置を確定することができる。
【００４３】
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することにより、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開させることができ、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００４４】
図５は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図５に示すように、ステップＳ１２において、オーディオデータと字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００４５】
ステップＳ５１において、オーディオデータにおける各オーディオ信号の再生タイミングを検出する。
ステップＳ５２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ５３において、隣接する二つのオーディオ信号の再生タイミング、及び隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。
【００４６】
例えば、オーディオデータを分析することで、隣接する二つのオーディオ信号の再生タイミングである３分９秒と３分１２秒を取得し、この二つの隣接するオーディオ信号の時間間隔は３秒間で、予め設定された０．１秒間より大きく、この二つの隣接するオーディオ信号に対応する隣接する字幕の表示タイミングは３分８秒と３分１１秒で、時間間隔も予め設定された０．１秒間より大きい。従って、少なくとも、３分１０秒のところでオーディオ信号と字幕の空白が同時に生じることを確定することができ、３分１０秒をマルチメディアの再生を再開する起点にすることができる。
【００４７】
別の方案において、オーディオデータ及び字幕データに対して同時に分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
【００４８】
図６は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図６に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００４９】
ステップＳ６１において、人声の周波数に基づいてオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ６２において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
ステップＳ６３において、隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、隣接する二つの人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
【００５０】
別の方案において、人声以外に、オーディオデータに、バックグラウンド音（音楽、環境音など）の干渉もある場合、オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することができない。この場合、人声の通常の周波数に基づいて、まずオーディオデータをフィルタリングすることができ、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
【００５１】
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、ステップＳ１３において、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開する。
【００５２】
例えば、図２に示すように、オーディオデータを分析した後、二つのセンテンス開始位置である３分１０秒と３分１８秒、一時停止位置である３分２０秒を得る。一時停止位置に最も近い３分１８秒からビデオの再生を再開し、又は、予め設定された巻き戻すセンテンスの数が２、即ち、２つのセンテンスを巻き戻してビデオの再生を再開する場合、３分１０秒からビデオの再生を再開することができる。
【００５３】
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にこれらのうちの一つのセンテンス開始位置を、一時停止後にオーディオ／ビデオの再生を再開する起点として選択することができ、これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００５４】
また、ステップＳ１１及びステップＳ１２において、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、該方法は更に、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定することを含む。
【００５５】
例えば、図７は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図７に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、取得した一時停止位置の前の１６秒間、即ち、３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データに基づいて、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、例えば３分４秒の前に、再び１６秒間、即ち、２分４８秒から３分４秒までのオーディオデータ及び／又は字幕データを取得して、センテンス開始位置を分析する。
【００５６】
別の方案において、一時停止位置の前において、時間の順に、一定時間におけるデータを取得してセンテンス開始位置の分析を行っており、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、一つのセンテンス開始位置を一時停止後にオーディオ／ビデオの再生を再開する起点として確定できるまで、その前に、再び一定時間におけるデータを取得して分析を行う。これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００５７】
また、ステップＳ１１において更に、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得することができる。
ステップＳ１２において、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
【００５８】
例えば、図８は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図８に示すように、一時停止位置は３分２０秒のところにあり、第一所定時間長さは１６秒間で、第二所定時間長さは５秒間であり、３分１５秒の前の１６秒間、即ち、２分５９秒から３分１５秒までのオーディオデータ及び／又は字幕データを取得する。分析の後にセンテンス開始位置が３分１８秒であることを得る。
【００５９】
別の方案において、まず一時停止位置の前の一定時間、例えば５秒間の前の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにした。
【００６０】
例えば、図８に示すように、分析の後に、二つのセンテンス開始位置である３分１０秒と３分１８秒を得て、それぞれ、上述した時間位置（３分１５秒）の前、及び上述した時間位置と一時停止位置（３分２０秒）との間にあって、この二つのセンテンス開始位置を、何れも、一時停止後にオーディオ／ビデオの再生を再開するための起点として用いることができる。
【００６１】
別の方案において、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、順番に上述した時間位置３分１５秒の前の少なくとも一つの、１６秒間内のオーディオデータ及び／又は字幕データを取得し、一つの１６秒間内のオーディオデータ及び／又は字幕データを取得するたびに、取得した該１６秒間内のオーディオデータ及び／又は字幕データから、完全なセンテンスのセンテンス開始位置を確定する。
【００６２】
別の方案において、一時停止位置の前の一定時間の時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にする場合、確定されたセンテンス開始位置は該時間位置の前にあってもよく、該時間位置と一時停止位置との間にあってもよい。従って、一時停止後にオーディオ／ビデオの再生を再開する起点の選択がより柔軟になり、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００６３】
以下では、それぞれの二つの具体的な例を用いて、本発明のマルチメディア再生方法を具体的に説明する。
【００６４】
例１
図９は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図９に示すように、該方法は以下のようなステップを含む。
【００６５】
ステップＳ９１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ９２において、一時停止位置の前の１６秒間のオーディオデータ、即ち５分２０秒から５分３６秒までのオーディオデータを読み取る。
【００６６】
ステップＳ９３において、人声の周波数に基づいて読み取ったオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ９４において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
【００６７】
ステップＳ９５において、隣接する二つの人声オーディオ信号間の時間間隔が０．１秒間より大きいかどうかを判断し、そうであれば、ステップＳ９６を実行し、そうでなければ、該隣接する人声オーディオ信号の間の位置はセンテンス開始位置ではない。
ステップＳ９６において、隣接する人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定し、５分２９秒と５分３３秒の２個のセンテンス開始位置を得る。
【００６８】
ステップＳ９７において、一時停止位置に最も近い５分３３秒を選択してビデオの再生を再開する。
【００６９】
例２
図１０は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１０に示すように、該方法は以下のようなステップを含む。
【００７０】
ステップＳ１０１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ１０２において、後から前の時間の順に、順番に一時停止位置の前の５秒間、即ち５分３１秒の時間位置の前の１６秒間の字幕データを読み取る。
【００７１】
ステップＳ１０３において、毎回読み取った１６秒間の字幕データに基づいてセンテンス開始位置があるかどうかを判断し、そうであれば、ステップＳ９４を実行し、そうでなければ、ステップＳ１０２に戻って、５分１５秒の前の１６秒間の字幕データを読み取る。
ステップＳ１０４において、５分２秒、５分９秒及び５分１３秒の３個のセンテンス開始位置を得る。
ステップＳ１０５において、予め設定された巻き戻すセンテンスの数は２であれば、５分３１秒の前の２つ目のセンテンス、即ち５分９秒の位置に巻き戻してビデオの再生を再開する。
【００７２】
上述した二つの具体的な例において、オーディオデータ及び／又は字幕データを分析することにより、柔軟的に、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開することができる。これにより、ユーザが再生を再開するとき、完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００７３】
図１１は、一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。図１１に示すように、該装置は、取得モジュール１１１、分析モジュール１１２及び再生モジュール１１３を備える。
【００７４】
取得モジュール１１１は、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
分析モジュール１１２は、前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
再生モジュール１１３は、前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定された開始位置に基づいて前記マルチメディアの再生を再開するように構成される。
【００７５】
図１２ａは、一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ａに示すように、前記分析モジュール１１２は、検出ユニット１１２１と分析確定ユニット１１２２とを備える。
【００７６】
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するように構成される。
分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
【００７７】
図１２ｂは他の一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｂに示すように、分析モジュール１１２は、取得ユニット１１２３と分析確定ユニット１１２２とを備える。
【００７８】
取得ユニット１１２３は、前記取得モジュール１１１により取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
【００７９】
図１２ｃは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｃに示すように、分析モジュール１１２は、検出ユニット１１２１、取得ユニット１１２３及び分析確定ユニット１１２２を備える。
【００８０】
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するように構成される。
取得ユニット１１２３は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
【００８１】
図１２ｄは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｄに示すように、前記分析モジュール１１２は、フィルタリングユニット１１２４を更に備える。
【００８２】
フィルタリングユニット１１２４は、人声の周波数に基づいて前記取得モジュール１１１により取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るように構成される。
前記検出ユニット１１２１は、前記フィルタリングユニット１１２４によりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するように構成される。
前記分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
【００８３】
また、前記再生モジュール１１３は、前記分析モジュール１１２が少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するように構成される。
【００８４】
また、前記取得モジュール１１１は、前記分析モジュール１１２が前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように配置され、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にある。
【００８５】
前記分析モジュール１１２は、前記取得モジュール１１１が今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するように構成される。
【００８６】
また、前記取得モジュール１１１は、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
【００８７】
また、前記分析モジュール１１２は、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
【００８８】
上記実施例の端末については、各モジュールが操作を実行する具体的な方式は、該方法に関する実施例において詳しく説明したので、ここで、詳しく説明しない。
【００８９】
図１３は一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。例えば、装置１３００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信設備、ゲームコンソール、タブレット設備、医療設備、フィットネス設備、パーソナルデジタルアシスタント等であってもよい。
【００９０】
図１３に示すように、装置１３００は、プロセスアセンブリ１３０２、メモリ１３０４、電源アセンブリ１３０６、マルチメディアアセンブリ１３０８、オーディオアセンブリ１３１０、入力／出力（Ｉ／Ｏ）インタフェース１３１２、センサアセンブリ１３１４、及び通信アセンブリ１３１６のような１つ以上のアセンブリを含んでよい。
【００９１】
プロセスアセンブリ１３０２は、一般的には装置１３００全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ１３０２は、１つ以上のプロセッサ１３２０を含み、これらによって指令を実行することにより、上記方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ１３０２は、一つ以上のモジュールを含み、これらによってプロセスアセンブリ１３０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ１３０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ１３０８とプロセスアセンブリ１３０２の間のインタラクションを容易にするようにしてもよい。
【００９２】
メモリ１３０４は、各種類のデータを記憶することにより装置１３００の操作を支援するように構成される。これらのデータの例は、装置１３００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１３０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
【００９３】
電源アセンブリ１３０６は、装置１３００の多様なアセンブリに電力を供給する。電源アセンブリ１３０６は、電源管理システム、一つ以上の電源、及び装置１３００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。
【００９４】
マルチメディアアセンブリ１３０８は、前記装置１３００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンとして実現されることができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記タッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記実施例において、マルチメディアアセンブリ１３０８は、一つのフロントカメラ、及び／又はリアカメラを含む。装置１３００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
【００９５】
オーディオアセンブリ１３１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ１３１０は、一つのマイク（ＭＩＣ）を含み、装置１３００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ１３０４に記憶されたり、通信アセンブリ１３１６を介して送信されたりされる。上記実施例において、オーディオアセンブリ１３１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
【００９６】
Ｉ／Ｏインターフェイス１３１２は、プロセスアセンブリ１３０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
【００９７】
センサアセンブリ１３１４は、装置１３００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ１３１４は、装置１３００のＯＮ／ＯＦＦ状態、装置１３００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ１３１４は、装置１３００、或は装置１３００の一つのアセンブリの位置変更、ユーザと装置１３００とが接触しているか否か、装置１３００の方位、又は加速／減速、装置１３００の温度の変化を検出できる。センサアセンブリ１３１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ１３１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記実施例において、当該センサアセンブリ１３１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
【００９８】
通信アセンブリ１３１６は、装置１３００と他の機器の間に有線、又は無線形態の通信を提供する。装置１３００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信アセンブリ１３１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信アセンブリ１３１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）（登録商標）技術、他の技術に基づいて実現できる。
【００９９】
例示的な実施例において、装置１３００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
【０１００】
例示的な実施例では、さらに、指令を含むコンピュータ読み取り可能な非一時的な記憶媒体、例えば、指令を含むメモリ１３０４を提供しており、装置１３００のプロセッサ１３１８により前記指令を実行して上記方法を実現する。例えば、コンピュータ読み取り可能な非一時的な記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、および光データ記憶デバイスなどであってもよい。
【０１０１】
コンピュータ読み取り可能な非一時的な記憶媒体は、前記記憶媒体の指令がモバイル端末のプロセッサによって実行される場合、モバイル端末がマルチメディア再生方法を実行でき、前記方法は、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含む。
【０１０２】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【０１０３】
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
【０１０４】
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号の間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
【０１０５】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
人声の周波数に基づいて前記オーディオデータをフィルタリングして人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号の間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【０１０６】
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定したとき、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開するステップ、又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
【０１０７】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するステップとを更に含む。
【０１０８】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップとを含む。
【０１０９】
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さにおける前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
【０１１０】
当業者にとって、明細書を考慮してこの発明を実施した後、本発明のその他の実施の形態を容易に想到し得ることができる。本願は、本発明のいかなる変形、用途又は適応的変化をカバーすることを目的とし、これら変形、用途又は適応的変化は、本発明の一般的原理に従うとともに、本発明に開示されていない本技術分野における公知の常識又は慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の本当の範囲及び主旨は、特許請求の範囲に含まれる。
【０１１１】
本発明は、以上のように説明すると共に図面に示された正確な構造に限られず、その要旨を逸脱しない範囲内で各種の補正及び変更を行うことができると理解すべきである。本発明の範囲は、特許請求の範囲のみで限定される。
【図１】
2016525765.tif 000003
【図２】
2016525765.tif 000004
【図３】
2016525765.tif 000005
【図４】
2016525765.tif 000006
【図５】
2016525765.tif 000007
【図６】
2016525765.tif 000008
【図７】
2016525765.tif 000009
【図８】
2016525765.tif 000010
【図９】
2016525765.tif 000011
【図１０】
2016525765.tif 000012
【図１１】
2016525765.tif 000013
【図１２ａ】
2016525765.tif 000014
【図１２ｂ】
2016525765.tif 000015
【図１２ｃ】
2016525765.tif 000016
【図１２ｄ】
2016525765.tif 000017
【図１３】
2016525765.tif 000018
【手続補正書】
【提出日】平成27年1月16日(2015.1.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、出願日が２０１４年６月６日で、出願番号がＣＮ２０１４１０２５０８００．９であり、発明の名称が「マルチメディア再生方法及び装置」である中国特許出願に基づいて優先権を主張し、該中国特許出願の全ての内容を本願に援用する。
【０００２】
本発明はマルチメディア処理の技術分野に関し、特にマルチメディア再生方法、装置、プログラム、及び記録媒体に関する。
【背景技術】
【０００３】
従来技術において、ビデオを再生するとき、一時停止することがよく発生する。この一時停止には、例えばユーザの主観的な原因による自発的な一時停止や、ネットワークによる短時間の一時停止が含まれる。一時停止のタイミングは機動性が比較的に高いため、再生を再開したとき、ビデオに流れる音声は往々にして一つのセンテンスの途中から、ひいては一つの字又は単語の途中から始まり、人々はプロットを連続して理解することが難しい。
【０００４】
従来技術において、一部のマルチメディア再生ソフト又はウェブページも、再生過程においてソフト又はウェブページを閉じた後、再びソフトを開いて同一ビデオを再生し、又は再び前回閉じたビデオウェブページを開くとき、一時停止位置から一定時間だけ戻る、巻き戻し再生方法を採用する。例えば、戻る時間値を一定的に５秒間に設定すると、中断した後に再びソフト又はウェブページを開いて元のビデオの再生を再開する際、中断ポイントの前の５秒間から再生を始め、ユーザが前回観賞した記憶につながるようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような巻き戻し再生方法は、戻る時間値が予め設定された固定値であり、ユーザに一定の回想の時間を与えてはいるものの、カットインの時間ポイントが比較的に硬直的で、ヒューマニゼーションが十分でない。たとえ５秒間戻っても、一つのセンテンスの途中から再生を再開する状況が生じ、ユーザが完全なセンテンスを理解する上で役に立たないからである。
【０００６】
従来技術に存在する問題を解決するために、本発明の実施例はマルチメディア再生方法、装置、プログラム、及び記録媒体を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施例の第一の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含むマルチメディア再生方法を提供する。
【０００８】
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、一時停止後に再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【０００９】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【００１０】
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと
を含む。
【００１１】
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含む。
【００１２】
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することで、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開することができる。これにより、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。また、同時にオーディオデータ及び字幕データに対し分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
【００１３】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップには、
人声の周波数に基づいて前記オーディオデータをフィルタリングして、人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【００１４】
別の方案において、人声の通常の周波数に基づいてまずオーディオデータをフィルタリングし、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
【００１５】
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から、前記マルチメディアの再生を再開するステップ、
又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
【００１６】
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にそのうちの一つを、一時停止後にオーディオ／ビデオ再生を再開する起点として選択することができ、これにより、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００１７】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するするステップとを更に含む。
【００１８】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップとを含み、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さ内における前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
【００１９】
別の方案において、まず一時停止位置の前の一定時間の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにする。
【００２０】
本発明の実施例の第二の態様によれば、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するための取得モジュールと、
前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するための分析モジュールと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定されたセンテンス開始位置に基づいて前記マルチメディアの再生を再開するための再生モジュールとを備えるマルチメディア再生装置を提供する。
【００２１】
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための分析確定ユニットとを備える。
【００２２】
また前記分析モジュールは、
前記取得モジュールにより取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
【００２３】
更に前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットとを備える。
【００２４】
前記分析モジュールは、
人声の周波数に基づいて前記取得モジュールにより取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るためのフィルタリングユニットと、
前記フィルタリングユニットによりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するための前記検出ユニットと、
前記検出ユニットにより検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための前記分析確定ユニットとを更に備える。
【００２５】
前記再生モジュールは、前記分析モジュールが少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するためのものである。
【００２６】
前記取得モジュールは、前記分析モジュールが前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
前記分析モジュールは、前記取得モジュールが今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するためのものである。
【００２７】
前記取得モジュールは、マルチメディアの一時停止位置前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、
前記分析モジュールは、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するためのものである。
【００２８】
本発明の実施例の第三の態様によれば、
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを備え、
前記プロセッサは、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定し、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するように構成されるマルチメディア再生装置を提供する。
本発明の実施例の第四の態様によれば、プロセッサに実行されることにより、前記のマルチメディア再生方法を実現することを特徴とするプログラムを提供する。
本発明の実施例の第五の態様によれば、前記のプログラムが記録された記録媒体を提供する。
【００２９】
以上の一般的な説明及び後述の詳細な説明は、例示的なものに過ぎず、本発明を限定するものではないことを理解すべきである。
本願の図面は明細書に組み込んで明細書の一部とし、本発明に合致する実施例を示すと共に、明細書と共に本発明の原理の解釈に用いられる。
【図面の簡単な説明】
【００３０】
【図１】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図２】一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。
【図３】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図４】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図５】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図６】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図７】一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。
【図８】一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。
【図９】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図１０】一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。
【図１１】一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。
【図１２ａ】一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１２ｂ】他の一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１２ｃ】他の一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１２ｄ】他の一つの例示的な実施例にかかる分析モジュールのブロック図である。
【図１３】一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。
【発明を実施するための形態】
【００３１】
ここで、例示的実施例を詳しく説明し、その実施例は図面に示される。以下の説明は図面に係る場合、特別に示されない限り、異なる図面における同じ数字は同じ又は類似の要素を表す。本発明に合致するすべての実施の形態は、以下の例示的実施例で記述される実施の形態に限られない。逆に、以下の例示的実施例で記述される実施の形態は、特許請求の範囲に詳しく記述される、本発明のいくつかの形態に合致する装置及び方法の実例に過ぎない。
【００３２】
本発明の実施例におけるマルチメディアは、ビデオ、オーディオ等を含む。マルチメディア再生過程において一時停止が発生するが、この一時停止は、ユーザが自発的にトリガーしたものであってもよく、ネットワークによるものであってもよい。ユーザによる自発的なマルチメディア再生の一時停止は、操作指令を通じて知ることができる。ネットワークによるマルチメディア再生の一時停止は、ビデオキャッシュ領域における残りの未再生データ量を検出することで知ることができるため、続いて、再生に供するためのビデオキャッシュデータがない場合、ビデオ再生は中止する。
【００３３】
本発明の実施例において、マルチメディア再生が一時停止した後、マルチメディア再生の再開が一つの完全なセンテンスから始まることができるように、マルチメディアのオーディオデータ及び／又は字幕データにおける完全なセンテンスの開始ポイントを分析する。これにより、一定時間を戻る巻き戻し再生による、ユーザがセンテンスを理解することに影響を及ぼすという問題を解決する。
【００３４】
図１は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１に示すように、マルチメディア再生方法は端末において適用され、以下のようなステップを含む。
【００３５】
ステップＳ１１において、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得する。
ステップＳ１２において、前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
ステップＳ１３において、マルチメディアの再生を再開する指令が検出されるか、又はマルチメディアの再生を再開する条件が満たされた場合、センテンス開始位置に基づいてマルチメディアの再生を再開する。
【００３６】
本実施例において、オーディオデータ及び／又は字幕データを分析することで、一つの完全なセンテンスのセンテンス開始位置を確定し、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開した。これにより、ユーザが再生を再開したとき、完全なセンテンスを捕らえて理解でき、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００３７】
一般に、一つの完全なセンテンスは通常１６秒間を超えず、実際の応用のとき、ステップＳ１１において、第一所定時間長さを１６秒間に設定することができる。例えば、図２は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図２に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、一時停止位置の前の１６秒間、即ち３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データを取得し、これらのデータから完全なセンテンスのセンテンス開始位置を確定することができる。
【００３８】
図３は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図３に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００３９】
ステップＳ３１において、オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出する。
ステップＳ３２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接する二つのオーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
【００４０】
図４は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図４に示すように、ステップＳ１２において、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００４１】
ステップＳ４１において、字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ４２において、字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。二つのセンテンスの間には、例えば０．１秒間のような一定時間間隔があるため、オーディオ信号間の間隔時間長さに基づいて完全なセンテンスを確定することができる。同様に、ユーザが観賞する、再生中のオーディオ/ビデオファイルに字幕がある場合、隣接する字幕間の時間間隔に基づいて完全なセンテンスを確定することもできる。例えば、取得した前の一本の字幕の終了表示タイミングが３分４秒１６０ミリ秒で、後の一本の字幕の開始表示タイミングが３分４秒２９０ミリ秒である場合、二本の字幕の間の間隔が１３０ミリ秒間、即ち０．１３秒間であり、０．１秒間を超えているため、この二本の字幕の間にセンテンス開始位置が存在すると判断することができる。
【００４２】
または、一部のオーディオ／ビデオファイルにおいて、一本の字幕自体が一つの完全なセンテンスに対応している。このように、この一本の字幕の開始表示タイミング又は前の一本の字幕の終了表示タイミングに基づいて、センテンス開始位置を確定することができる。
【００４３】
別の方案において、隣接するオーディオ信号間の時間間隔、又は隣接する字幕間の時間間隔に基づいてセンテンス開始位置を確定することにより、後に、センテンス開始位置に基づいてオーディオ又はビデオの再生を再開させることができ、ユーザが再生を再開するとき、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００４４】
図５は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図５に示すように、ステップＳ１２において、オーディオデータと字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００４５】
ステップＳ５１において、オーディオデータにおける各オーディオ信号の再生タイミングを検出する。
ステップＳ５２において、隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得する。
ステップＳ５３において、隣接する二つのオーディオ信号の再生タイミング、及び隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいてセンテンス開始位置を確定する。
【００４６】
例えば、オーディオデータを分析することで、隣接する二つのオーディオ信号の再生タイミングである３分９秒と３分１２秒を取得し、この二つの隣接するオーディオ信号の時間間隔は３秒間で、予め設定された０．１秒間より大きく、この二つの隣接するオーディオ信号に対応する隣接する字幕の表示タイミングは３分８秒と３分１１秒で、時間間隔も予め設定された０．１秒間より大きい。従って、少なくとも、３分１０秒のところでオーディオ信号と字幕の空白が同時に生じることを確定することができ、３分１０秒をマルチメディアの再生を再開する起点にすることができる。
【００４７】
別の方案において、オーディオデータ及び字幕データに対して同時に分析を行い、二つの完全なセンテンスの間の間隔の位置を確定し、これにより、更に正確的に完全なセンテンスの開始ポイントを取得し、ユーザのセンテンスに対する理解に影響を及ぼさないだけでなく、ユーザが字幕を見ることにも影響を及ぼさない。
【００４８】
図６は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。また、図６に示すように、ステップＳ１２において、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定することは以下のステップを含む。
【００４９】
ステップＳ６１において、人声の周波数に基づいてオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ６２において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
ステップＳ６３において、隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、隣接する二つの人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定する。
【００５０】
別の方案において、人声以外に、オーディオデータに、バックグラウンド音（音楽、環境音など）の干渉もある場合、オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することができない。この場合、人声の通常の周波数に基づいて、まずオーディオデータをフィルタリングすることができ、これにより単純に人声オーディオ信号に対し分析を行い、人声オーディオ信号間の時間間隔に基づいてセンテンス開始位置を確定することで、センテンス開始位置をより正確的に確定することができる。
【００５１】
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、ステップＳ１３において、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開する。
【００５２】
例えば、図２に示すように、オーディオデータを分析した後、二つのセンテンス開始位置である３分１０秒と３分１８秒、一時停止位置である３分２０秒を得る。一時停止位置に最も近い３分１８秒からビデオの再生を再開し、又は、予め設定された巻き戻すセンテンスの数が２、即ち、２つのセンテンスを巻き戻してビデオの再生を再開する場合、３分１０秒からビデオの再生を再開することができる。
【００５３】
別の方案において、複数個のセンテンス開始位置を確定した場合、柔軟的にこれらのうちの一つのセンテンス開始位置を、一時停止後にオーディオ／ビデオの再生を再開する起点として選択することができ、これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００５４】
また、ステップＳ１１及びステップＳ１２において、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、該方法は更に、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定することを含む。
【００５５】
例えば、図７は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図７に示すように、ユーザがビデオを再生するとき、一時停止位置は３分２０秒のところにあり、取得した一時停止位置の前の１６秒間、即ち、３分４秒から３分２０秒までのオーディオデータ及び／又は字幕データに基づいて、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、例えば３分４秒の前に、再び１６秒間、即ち、２分４８秒から３分４秒までのオーディオデータ及び／又は字幕データを取得して、センテンス開始位置を分析する。
【００５６】
別の方案において、一時停止位置の前において、時間の順に、一定時間におけるデータを取得してセンテンス開始位置の分析を行っており、一つの完全なセンテンスのセンテンス開始位置を得ることができない場合、一つのセンテンス開始位置を一時停止後にオーディオ／ビデオの再生を再開する起点として確定できるまで、その前に、再び一定時間におけるデータを取得して分析を行う。これによりユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００５７】
また、ステップＳ１１において更に、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得することができる。
ステップＳ１２において、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定する。
【００５８】
例えば、図８は一つの例示的な実施例にかかる、一時停止位置とセンテンス開始位置の時間軸の説明図である。図８に示すように、一時停止位置は３分２０秒のところにあり、第一所定時間長さは１６秒間で、第二所定時間長さは５秒間であり、３分１５秒の前の１６秒間、即ち、２分５９秒から３分１５秒までのオーディオデータ及び／又は字幕データを取得する。分析の後にセンテンス開始位置が３分１８秒であることを得る。
【００５９】
別の方案において、まず一時停止位置の前の一定時間、例えば５秒間の前の時間位置を選択することができ、該時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にすることで、ユーザがビデオにおけるプロットを理解するための充分な時間を取得できるようにした。
【００６０】
例えば、図８に示すように、分析の後に、二つのセンテンス開始位置である３分１０秒と３分１８秒を得て、それぞれ、上述した時間位置（３分１５秒）の前、及び上述した時間位置と一時停止位置（３分２０秒）との間にあって、この二つのセンテンス開始位置を、何れも、一時停止後にオーディオ／ビデオの再生を再開するための起点として用いることができる。
【００６１】
別の方案において、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、順番に上述した時間位置３分１５秒の前の少なくとも一つの、１６秒間内のオーディオデータ及び／又は字幕データを取得し、一つの１６秒間内のオーディオデータ及び／又は字幕データを取得するたびに、取得した該１６秒間内のオーディオデータ及び／又は字幕データから、完全なセンテンスのセンテンス開始位置を確定する。
【００６２】
別の方案において、一時停止位置の前の一定時間の時間位置を、完全なセンテンスのセンテンス開始位置を折り返して探す起点にする場合、確定されたセンテンス開始位置は該時間位置の前にあってもよく、該時間位置と一時停止位置との間にあってもよい。従って、一時停止後にオーディオ／ビデオの再生を再開する起点の選択がより柔軟になり、ユーザは完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００６３】
以下では、それぞれの二つの具体的な例を用いて、本発明のマルチメディア再生方法を具体的に説明する。
【００６４】
例１
図９は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図９に示すように、該方法は以下のようなステップを含む。
【００６５】
ステップＳ９１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ９２において、一時停止位置の前の１６秒間のオーディオデータ、即ち５分２０秒から５分３６秒までのオーディオデータを読み取る。
【００６６】
ステップＳ９３において、人声の周波数に基づいて読み取ったオーディオデータをフィルタリングして人声オーディオデータを得る。
ステップＳ９４において、人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出する。
【００６７】
ステップＳ９５において、隣接する二つの人声オーディオ信号間の時間間隔が０．１秒間より大きいかどうかを判断し、そうであれば、ステップＳ９６を実行し、そうでなければ、該隣接する人声オーディオ信号の間の位置はセンテンス開始位置ではない（ステップＳ９８）。
ステップＳ９６において、隣接する人声オーディオ信号間の任意の時間位置をセンテンス開始位置として確定し、５分２９秒と５分３３秒の２個のセンテンス開始位置を得る。
【００６８】
ステップＳ９７において、一時停止位置に最も近い５分３３秒を選択してビデオの再生を再開する。
【００６９】
例２
図１０は一つの例示的な実施例にかかるマルチメディア再生方法のフローチャートである。図１０に示すように、該方法は以下のようなステップを含む。
【００７０】
ステップＳ１０１において、ビデオ再生過程において一時停止が発生し、一時停止位置は５分３６秒である。
ステップＳ１０２において、後から前の時間の順に、順番に一時停止位置の前の５秒間、即ち５分３１秒の時間位置の前の１６秒間の字幕データを読み取る。
【００７１】
ステップＳ１０３において、毎回読み取った１６秒間の字幕データに基づいてセンテンス開始位置があるかどうかを判断し、そうであれば、ステップＳ１０４を実行し、そうでなければ、ステップＳ１０２に戻って、５分１５秒の前の１６秒間の字幕データを読み取る。
ステップＳ１０４において、５分２秒、５分９秒及び５分１３秒の３個のセンテンス開始位置を得る。
ステップＳ１０５において、予め設定された巻き戻すセンテンスの数は２であれば、５分３１秒の前の２つ目のセンテンス、即ち５分９秒の位置に巻き戻してビデオの再生を再開する。
【００７２】
上述した二つの具体的な例において、オーディオデータ及び／又は字幕データを分析することにより、柔軟的に、確定されたセンテンス開始位置に基づいて、ビデオ又はオーディオの再生を再開することができる。これにより、ユーザが再生を再開するとき、完全なセンテンスを捕らえて理解することができ、ビデオ又はオーディオにおけるセリフはより自然で、プロットはより連続しており、ユーザのビデオ又はオーディオに対する体験度を高めることができる。
【００７３】
図１１は、一つの例示的な実施例にかかるマルチメディア再生装置のブロック図である。図１１に示すように、該装置は、取得モジュール１１１、分析モジュール１１２及び再生モジュール１１３を備える。
【００７４】
取得モジュール１１１は、マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
分析モジュール１１２は、前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
再生モジュール１１３は、前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定された開始位置に基づいて前記マルチメディアの再生を再開するように構成される。
【００７５】
図１２ａは、一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ａに示すように、前記分析モジュール１１２は、検出ユニット１１２１と分析確定ユニット１１２２とを備える。
【００７６】
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するように構成される。
分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
【００７７】
図１２ｂは他の一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｂに示すように、分析モジュール１１２は、取得ユニット１１２３と分析確定ユニット１１２２とを備える。
【００７８】
取得ユニット１１２３は、前記取得モジュール１１１により取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
【００７９】
図１２ｃは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｃに示すように、分析モジュール１１２は、検出ユニット１１２１、取得ユニット１１２３及び分析確定ユニット１１２２を備える。
【００８０】
検出ユニット１１２１は、前記取得モジュール１１１により取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するように構成される。
取得ユニット１１２３は、前記検出ユニット１１２１により検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するように構成される。
分析確定ユニット１１２２は、前記取得ユニット１１２３により取得された前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するように構成される。
【００８１】
図１２ｄは一つの例示的な実施例にかかる分析モジュールのブロック図である。また、図１２ｄに示すように、前記分析モジュール１１２は、フィルタリングユニット１１２４を更に備える。
【００８２】
フィルタリングユニット１１２４は、人声の周波数に基づいて前記取得モジュール１１１により取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るように構成される。
前記検出ユニット１１２１は、前記フィルタリングユニット１１２４によりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するように構成される。
前記分析確定ユニット１１２２は、前記検出ユニット１１２１により検出された隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するように構成される。
【００８３】
また、前記再生モジュール１１３は、前記分析モジュール１１２が少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するように構成される。
【００８４】
また、前記取得モジュール１１１は、前記分析モジュール１１２が前記マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように配置され、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にある。
【００８５】
前記分析モジュール１１２は、前記取得モジュール１１１が今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するように構成される。
【００８６】
また、前記取得モジュール１１１は、マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するように構成される。
【００８７】
また、前記分析モジュール１１２は、前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するように構成される。
【００８８】
上記実施例の端末については、各モジュールが操作を実行する具体的な方式は、該方法に関する実施例において詳しく説明したので、ここで、詳しく説明しない。
【００８９】
図１３は一つの例示的な実施例にかかる、マルチメディア再生に用いられる装置１３００のブロック図である。例えば、装置１３００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信設備、ゲームコンソール、タブレット設備、医療設備、フィットネス設備、パーソナルデジタルアシスタント等であってもよい。
【００９０】
図１３に示すように、装置１３００は、プロセスアセンブリ１３０２、メモリ１３０４、電源アセンブリ１３０６、マルチメディアアセンブリ１３０８、オーディオアセンブリ１３１０、入力／出力（Ｉ／Ｏ）インタフェース１３１２、センサアセンブリ１３１４、及び通信アセンブリ１３１６のような１つ以上のアセンブリを含んでよい。
【００９１】
プロセスアセンブリ１３０２は、一般的には装置１３００全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ１３０２は、１つ以上のプロセッサ１３２０を含み、これらによって指令を実行することにより、上記方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ１３０２は、一つ以上のモジュールを含み、これらによってプロセスアセンブリ１３０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ１３０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ１３０８とプロセスアセンブリ１３０２の間のインタラクションを容易にするようにしてもよい。
【００９２】
メモリ１３０４は、各種類のデータを記憶することにより装置１３００の操作を支援するように構成される。これらのデータの例は、装置１３００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１３０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
【００９３】
電源アセンブリ１３０６は、装置１３００の多様なアセンブリに電力を供給する。電源アセンブリ１３０６は、電源管理システム、一つ以上の電源、及び装置１３００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。
【００９４】
マルチメディアアセンブリ１３０８は、前記装置１３００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンとして実現されることができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記タッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記実施例において、マルチメディアアセンブリ１３０８は、一つのフロントカメラ、及び／又はリアカメラを含む。装置１３００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
【００９５】
オーディオアセンブリ１３１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ１３１０は、一つのマイク（ＭＩＣ）を含み、装置１３００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ１３０４に記憶されたり、通信アセンブリ１３１６を介して送信されたりされる。上記実施例において、オーディオアセンブリ１３１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
【００９６】
Ｉ／Ｏインターフェイス１３１２は、プロセスアセンブリ１３０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
【００９７】
センサアセンブリ１３１４は、装置１３００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ１３１４は、装置１３００のＯＮ／ＯＦＦ状態、装置１３００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ１３１４は、装置１３００、或は装置１３００の一つのアセンブリの位置変更、ユーザと装置１３００とが接触しているか否か、装置１３００の方位、又は加速／減速、装置１３００の温度の変化を検出できる。センサアセンブリ１３１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ１３１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記実施例において、当該センサアセンブリ１３１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
【００９８】
通信アセンブリ１３１６は、装置１３００と他の機器の間に有線、又は無線形態の通信を提供する。装置１３００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信アセンブリ１３１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信アセンブリ１３１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）（登録商標）技術、他の技術に基づいて実現できる。
【００９９】
例示的な実施例において、装置１３００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
【０１００】
例示的な実施例では、さらに、指令を含むコンピュータ読み取り可能な非一時的な記憶媒体、例えば、指令を含むメモリ１３０４を提供しており、装置１３００のプロセッサ１３２０により前記指令を実行して上記方法を実現する。例えば、コンピュータ読み取り可能な非一時的な記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、および光データ記憶デバイスなどであってもよい。
【０１０１】
コンピュータ読み取り可能な非一時的な記憶媒体は、前記記憶媒体の指令がモバイル端末のプロセッサによって実行される場合、モバイル端末がマルチメディア再生方法を実行でき、前記方法は、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含む。
【０１０２】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【０１０３】
また、前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
【０１０４】
また、前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号の間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップとを含む。
【０１０５】
また、前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
人声の周波数に基づいて前記オーディオデータをフィルタリングして人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
隣接する二つの人声オーディオ信号の間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップとを含む。
【０１０６】
また、前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定したとき、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開するステップ、又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップを含む。
【０１０７】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するステップとを更に含む。
【０１０８】
また、前記マルチメディアの一時停止位置の前の第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップとを含む。
【０１０９】
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の第一所定時間長さにおける前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含む。
【０１１０】
当業者にとって、明細書を考慮してこの発明を実施した後、本発明のその他の実施の形態を容易に想到し得ることができる。本願は、本発明のいかなる変形、用途又は適応的変化をカバーすることを目的とし、これら変形、用途又は適応的変化は、本発明の一般的原理に従うとともに、本発明に開示されていない本技術分野における公知の常識又は慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の本当の範囲及び主旨は、特許請求の範囲に含まれる。
【０１１１】
本発明は、以上のように説明すると共に図面に示された正確な構造に限られず、その要旨を逸脱しない範囲内で各種の補正及び変更を行うことができると理解すべきである。本発明の範囲は、特許請求の範囲のみで限定される。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するステップと、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップと、
を含むことを特徴とするマルチメディア再生方法。
【請求項２】
前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するステップと、
前記隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップと、
を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
【請求項３】
前記字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記字幕データにおける各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
【請求項４】
前記オーディオデータ及び字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するステップと、
隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するステップと、
前記隣接する二つのオーディオ信号の再生タイミング、及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するステップと、
を含むことを特徴とする請求項１に記載のマルチメディア再生方法。
【請求項５】
前記オーディオデータに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
人声の周波数に基づいて前記オーディオデータをフィルタリングして人声オーディオデータを得るステップと、
前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するステップと、
前記隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するステップと、
を含むことを特徴とする請求項２乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項６】
前記オーディオデータ及び／又は字幕データに基づいて少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、
前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するステップは、
前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開するステップ、
又は
予め設定された巻き戻すセンテンスの数がＮ（Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するステップ
を含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項７】
前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定することができない場合、前記方法は、
後から前の時間の順に、前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、ここで、今回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあるステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定するステップと、
今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するステップと、
を更に含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項８】
前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップは、
マルチメディアの一時停止位置の前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得するステップと、
前記時間位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データを取得するステップとを含み、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップは、
前記時間位置の前の前記第一所定時間長さ内における前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するステップを含むことを特徴とする請求項１乃至請求項４のいずれか一つに記載のマルチメディア再生方法。
【請求項９】
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するための取得モジュールと、
前記取得モジュールにより取得されたオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するための分析モジュールと、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記分析モジュールにより確定されたセンテンス開始位置に基づいて前記マルチメディアの再生を再開するための再生モジュールと、
を備えることを特徴とするマルチメディア再生装置。
【請求項１０】
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける隣接する二つのオーディオ信号間の時間間隔を検出するための検出ユニットと、
前記検出ユニットにより検出された前記隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接する二つのオーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための分析確定ユニットと、
を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
【請求項１１】
前記分析モジュールは、
前記取得モジュールにより取得された前記字幕データから、各字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットと、
を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
【請求項１２】
前記分析モジュールは、
前記取得モジュールにより取得された前記オーディオデータにおける各オーディオ信号の再生タイミングを検出するための検出ユニットと、
前記検出ユニットにより検出された隣接する二つのオーディオ信号間の時間間隔が、第一所定間隔時間長さより大きい場合、前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングを取得するための取得ユニットと、
前記取得ユニットにより取得された前記隣接する二つのオーディオ信号の再生タイミング及び前記隣接するオーディオ信号に対応する字幕の開始表示タイミング及び／又は終了表示タイミングに基づいて前記センテンス開始位置を確定するための分析確定ユニットと、
を備えることを特徴とする請求項９に記載のマルチメディア再生装置。
【請求項１３】
前記分析モジュールは、
人声の周波数に基づいて前記取得モジュールにより取得された前記オーディオデータをフィルタリングして人声オーディオデータを得るためのフィルタリングユニットと、
前記フィルタリングユニットによりフィルタリングされた前記人声オーディオデータにおける隣接する二つの人声オーディオ信号間の時間間隔を検出するための前記検出ユニットと、
前記検出ユニットにより検出された前記隣接する二つの人声オーディオ信号間の時間間隔が、前記第一所定間隔時間長さより大きい場合、前記隣接する二つの人声オーディオ信号間の任意の時間位置を前記センテンス開始位置として確定するための前記分析確定ユニットと、
を更に備えることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１４】
前記再生モジュールは、前記分析モジュールが少なくとも二つの完全なセンテンスのセンテンス開始位置を確定した場合、前記一時停止位置に最も近いセンテンス開始位置から前記マルチメディアの再生を再開し、又は予め設定された巻き戻すセンテンスの数がＮ（前記Ｎは２以上の整数である）である場合、前記一時停止位置の前のＮ個目のセンテンス開始位置から前記マルチメディアの再生を再開するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１５】
前記取得モジュールは、前記分析モジュールが前記マルチメディアの一時停止位置の前の前記第一所定時間長さ内におけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定できない場合、後から前の時間の順に、前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのであり、ここで、今回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングは、前回取得した前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データの再生タイミングの前にあり、
前記分析モジュールは、前記取得モジュールが今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定し、今回取得した該第一所定時間長さにおけるオーディオデータ及び／又は字幕データから完全なセンテンスのセンテンス開始位置を確定することができない場合、少なくとも一つの完全なセンテンスのセンテンス開始位置を確定できるまで、後から前の時間の順に、引き続き、前に向けて前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、完全なセンテンスのセンテンス開始位置を確定するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１６】
前記取得モジュールは、マルチメディアの一時停止位置前の、前記一時停止位置から第二所定時間長さ離れた時間位置を取得し、前記時間位置の前の前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得するためのものであり、
前記分析モジュールは、前記時間位置の前の前記第一所定時間長さにおけるオーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定するためのものであることを特徴とする請求項９乃至請求項１２のいずれか一つに記載のマルチメディア再生装置。
【請求項１７】
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを備え、
前記プロセッサは、
マルチメディアの一時停止位置の前の第一所定時間長さにおけるオーディオデータ及び／又は字幕データを取得し、
前記オーディオデータ及び／又は字幕データに基づいて完全なセンテンスのセンテンス開始位置を確定し、
前記マルチメディアの再生を再開する指令が検出されるか、又は前記マルチメディアの再生を再開する条件が満たされた場合、前記センテンス開始位置に基づいて前記マルチメディアの再生を再開するように構成されることを特徴とするマルチメディア再生装置。
【請求項１８】
プロセッサに実行されることにより、請求項１から請求項８のいずれかに記載のマルチメディア再生方法を実現することを特徴とするプログラム。
【請求項１９】
請求項１８に記載のプログラムが記録された記録媒体。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2016525765.tif 000019
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2016525765.tif 000020
【国際調査報告】
2016525765.tif 000021
2016525765.tif 000022
2016525765.tif 000023
2016525765.tif 000024