(57)【特許請求の範囲】
【請求項１】
対象オーディオ・ファイルのファイルデータを取得することと、
前記ファイルデータの構成要素の間の関連性特性データに基づいて、関連性特性シーケンスを構築することと、
所定の段落総数に従って前記関連性特性シーケンスを最適化することと、
最適化後の前記関連性特性シーケンスにおける少なくとも１つの特性要素の数値に基づいて段落変更時間を決定することと、
前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることとを含み、
前記ファイルデータは、少なくとも１つの文字フレーズで順に構成された字幕ファイルであるとき、
前記ファイルデータの構成要素の間の関連性特性データに基づいて、関連性特性シーケンスを構築することは、
前記少なくとも１つの文字フレーズの間の類似度に基づいて、少なくとも１つの文字特性要素を含む字幕特性シーケンスを構築すること、または、前記少なくとも１つの文字フレーズの間の時間間隔に基づいて、少なくとも１つの時間特性要素を含む時間特性シーケンスを構築することを含むことを特徴とするオーディオ処理の方法。
【請求項２】
前記少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築することは、
前記少なくとも１つの文字フレーズの数量に基づいて、字幕特性シーケンスを構築する文字特性要素の数量を決定することと、
前記少なくとも１つの文字フレーズにおける各文字フレーズの順序に基づいて、前記字幕特性シーケンスを構築する各文字特性要素のインデックスを決定することと、
前記字幕特性シーケンスを構築する各文字特性要素の数値をすべて初期値に設定することと、
前記少なくとも１つの文字フレーズのうちいずれか１つの対象文字フレーズに対して、前記対象文字フレーズと前記対象文字フレーズの後の文字フレーズとの間の最大類似度が所定の類似閾値より大きければ、前記対象文字フレーズに対応する文字特性要素の数値を初期値から対象値に変更することと、
前記字幕特性シーケンスを構築する文字特性要素の数量、インデックス及び数値に基づいて、前記字幕特性シーケンスを構築することとを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記所定の段落総数に従って前記関連性特性シーケンスを最適化することは、
前記字幕特性シーケンスにおける、数値が対象値である文字特性要素の数量を統計することと、
前記数量が前記所定の段落総数に対応する誤差許容範囲内にあるか否かを判断することと、
ＮＯであれば、前記所定の類似閾値の大きさを調整することにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整することとを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記ＮＯであれば、前記所定の類似閾値の大きさを調整することにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整することは、
前記数量が前記所定の段落総数に対応する誤差許容範囲内の最大誤差許容値より大きければ、所定のステップサイズに従って前記所定の類似閾値を増大させることにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整することと、
前記数量が前記所定の段落総数に対応する誤差許容範囲内の最大誤差許容値より小さければ、所定のステップサイズに従って前記所定の類似閾値を減少させることにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整することとを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記最適化後の前記関連性特性シーケンスにおける少なくとも１つの特性要素の数値に基づいて段落変更時間を決定することは、
最適化後の前記字幕特性シーケンスから、数値が対象値である文字特性要素に対応する対象インデックスを取得することと、
前記対象インデックスに基づいて、前記字幕ファイルにおいて段落が変更する文字フレーズを定位することと、
前記段落が変更する文字フレーズに基づいて、前記字幕ファイルから段落変更時間を読み取ることとを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記少なくとも１つの文字フレーズの間の時間間隔に基づいて、時間特性シーケンスを構築することは、
前記少なくとも１つの文字フレーズの数量に基づいて、時間特性シーケンスを構築する時間特性要素の数量を決定することと、
前記少なくとも１つの文字フレーズにおける各文字フレーズの順序に基づいて、前記時間特性シーケンスを構築する各時間特性要素のインデックスを決定することと、
前記少なくとも１つの文字フレーズのうちいずれか１つの対象文字フレーズに対して、前記対象文字フレーズと前記対象文字フレーズの直前の文字フレーズとの間の時間間隔を、前記対象文字フレーズに対応する時間特性要素の数値に設定することと、
前記時間特性シーケンスを構築する時間特性要素の数量、インデックス及び数値に基づいて、前記時間特性シーケンスを構築することとを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記所定の段落総数に従って前記関連性特性シーケンスを最適化することは、
前記時間特性シーケンスから、上位の所定の段落数量−１個の最大数値の時間特性要素を検出することと、
検出された時間特性要素の数値を対象値に調整し、前記時間特性シーケンスにおける、検出された時間特性要素以外のその他の時間特性要素の数値を参考値に調整することとを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記最適化後の前記関連性特性シーケンスにおける少なくとも１つの特性要素の数値に基づいて段落変更時間を決定することは、
調整後の前記時間特性シーケンスから、数値が対象値である時間特性要素に対応する対象インデックスを取得することと、
前記対象インデックスに基づいて、前記字幕ファイルにおいて段落が変更する文字フレーズを定位することと、
前記段落が変更する文字フレーズに基づいて、前記字幕ファイルから段落変更時間を読み取ることとを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記ファイルデータは、少なくとも１つのオーディオフレームを含むオーディオデータであるとき、
前記ファイルデータの構成要素の間の関連性特性データに基づいて、関連性特性シーケンスを構築することは、
前記少なくとも１つのオーディオフレームの関連性に基づいて、少なくとも１つのピーク値特性要素を含むピーク値特性シーケンスを構築することを含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記少なくとも１つのオーディオフレームの関連性に基づいてピーク値特性シーケンスを構築することは、
前記少なくとも１つのオーディオフレームにおける各オーディオフレームに対して相関計算を行って、前記少なくとも１つのオーディオフレームに対応する相関関数シーケンスを取得することと、
前記少なくとも１つのオーディオフレームに対応する相関関数シーケンスに対して最大値計算を行って、基準シーケンスを生成することと、
前記基準シーケンスに対してピーク値求め計算を行って、前記ピーク値特性シーケンスを取得することとを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記所定の段落総数に従って前記関連性特性シーケンスを最適化することは、
所定の間隔係数に対応するスキャン区間を取得することと、
前記所定の間隔係数に対応するスキャン区間を用いて、前記ピーク値特性シーケンスを規則化し、前記所定の間隔係数に対応するスキャン区間内における最大のピーク値に対応するピーク値特性要素の数値を対象値に設定し、前記所定の間隔係数に対応するスキャン区間内における、前記最大のピーク値に対応するピーク値特性要素以外のその他のピーク値特性要素の数値を初期値に設定することとを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記最適化後の前記関連性特性シーケンスにおける少なくとも１つの特性要素の数値に基づいて段落変更時間を決定することは、
規則化後の前記ピーク値特性シーケンスから、数値が対象値であるピーク値特性要素に対応する対象インデックスを取得することと、
前記対象インデックスと前記対象オーディオ・ファイルのサンプリングレートに基づいて、段落変更時間を計算することとを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記対象オーディオ・ファイルのファイルデータを取得することは、
ステレオチャンネルタイプ又はモノラルチャンネルタイプを含む前記対象オーディオ・ファイルのタイプを取得することと、
前記対象オーディオ・ファイルのタイプがモノラルチャンネルタイプであれば、前記対象オーディオ・ファイルがモノラルチャンネルから出力したコンテンツをデコードして、オーディオデータを取得することと、
前記対象オーディオ・ファイルのタイプがステレオチャンネルタイプであれば、ステレオチャンネルから１つのチャンネルを選択して、前記対象オーディオ・ファイルが選択されたチャンネルから出力したコンテンツをデコードして、オーディオデータを取得すること、又は、前記ステレオチャンネルをハイブリッドチャンネルに処理して、前記対象オーディオ・ファイルが前記ハイブリッドチャンネルから出力したコンテンツをデコードして、オーディオデータを取得することとを含むことを特徴とする請求項９に記載の方法。
【請求項１４】
前記字幕ファイルは、少なくとも１つの文字フレーズと各文字フレーズの主要な情報を含み、１つの文字フレーズの主要な情報は、識別子、開始時間及び終了時間を含むことを特徴とする請求項１〜８のいずれか一項に記載の方法。
【請求項１５】
対象オーディオ・ファイルのファイルデータを取得する取得手段と、
前記ファイルデータの構成要素の間の関連性特性データに基づいて、関連性特性シーケンスを構築する構築手段と、
所定の段落総数に従って前記関連性特性シーケンスを最適化する最適化手段と、
最適化後の前記関連性特性シーケンスにおける少なくとも１つの特性要素の数値に基づいて段落変更時間を決定する決定手段と、
前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分ける段落分け手段とを含み、
前記ファイルデータは、少なくとも１つの文字フレーズで順に構成された字幕ファイルであるとき、
前記構築手段は、
前記少なくとも１つの文字フレーズの間の類似度に基づいて、少なくとも１つの文字特性要素を含む字幕特性シーケンスを構築するように構成されている、または、前記少なくとも１つの文字フレーズの間の時間間隔に基づいて、少なくとも１つの時間特性要素を含む時間特性シーケンスを構築するように構成されていることを特徴とするオーディオ処理の装置。
【請求項１６】
前記ファイルデータは、少なくとも１つのオーディオフレームを含むオーディオデータであるとき、
前記構築手段は、前記少なくとも１つのオーディオフレームの関連性に基づいて、少なくとも１つのピーク値特性要素を含むピーク値特性シーケンスを構築するように構成されていることを特徴とする請求項１５に記載の装置。
【請求項１７】
請求項１５または１６に記載のオーディオ処理の装置を含むことを特徴とする端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１５年５月２５日に中国専利局に提出した、出願番号が２０１５１０２７０５６７．５で、発明の名称が「オーディオ処理の方法、装置及び端末」である中国特許出願の優先権を主張し、その内容のすべてが引用により本願に組み込まれる。
【０００２】
本願は、２０１５年５月２５日に中国専利局に提出した、出願番号が２０１５１０２７１７６９．１で、発明の名称が「オーディオ処理の方法、装置及び端末」である中国特許出願の優先権を主張し、その内容のすべてが引用により本願に組み込まれる。
【０００３】
本願は、２０１５年５月２５日に中国専利局に提出した、出願番号が２０１５１０２７１０１４．１で、発明の名称が「オーディオ処理の方法、装置及び端末」である中国特許出願の優先権を主張し、その内容のすべてが引用により本願に組み込まれる。
【０００４】
本発明は、インターネットの技術分野に関し、具体的には、オーディオ処理の技術分野に関し、特にオーディオ処理の方法、装置及び端末に関する。
【背景技術】
【０００５】
インターネット技術の発展に伴って、インターネット上のオーディオ・ライブラリには、例えば大量の歌、歌の断片などのオーディオ・ファイルが記録され、インターネットオーディオに関するアプリケーション、例えばカラオケシステム、歌リスニングシステムなども日増しに多くなっている。多くのオーディオ・ファイルの利用シーンでオーディオ・ファイルに対して段落分けを行う必要があり、例えば、カラオケシステムにおいて歌の段落別の合唱を実現しようとする場合、通常、歌に対して段落分けを行う必要があり、また、歌リスニングシステムにおいて歌の断片を重点的にリスニングしようとする場合、通常、歌に対して段落分けを行う必要があるなどが挙げられる。現在、通常手動でオーディオ・ファイルに対して段落分けを行い、段落分け処理の効率が低く、ユーザのオーディオ・ファイルに対する使用上の需要を満足できず、オーディオ処理のインテリジェント性が低減される。
【発明の概要】
【０００６】
オーディオ処理のインテリジェント性を向上させるために、本発明の実施例は、オーディオ処理の方法、装置及び端末を提供する。その技術的解決手段は以下のとおりである。
【０００７】
本発明の実施例は、対象オーディオ・ファイルのファイルデータを取得することと、前記ファイルデータの構成要素の間の関連性特性データに基づいて、関連性特性シーケンスを構築することと、所定の段落総数に従って前記関連性特性シーケンスを最適化することと、最適化後の前記関連性特性シーケンスにおける少なくとも１つの特性要素の数値に基づいて段落変更時間を決定することと、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることとを含むオーディオ処理方法を提供する。
【０００８】
対象オーディオ・ファイルのファイルデータにおける構成要素の間の関連性、例えば文字フレーズの間の類似度、文字フレーズの間の時間間隔又はオーディオフレームの間の関連性などに基づいて、対象オーディオ・ファイルに対する段落分けを実現でき、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０００９】
本発明の一実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【００１０】
本発明の別の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【００１１】
本発明の更なる実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいてピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【図面の簡単な説明】
【００１２】
本発明の実施例における技術的解決手段をより明らかに説明するために、以下、実施例の説明に必要な図面を簡単に説明するが、明らかに、以下の説明での図面は本発明のいくつかの実施例に過ぎず、当業者にとって、創造的労働を行わない前提で、これらの図面に基づいて他の図面を得ることもできる。
【００１３】
【図１】本発明の実施例に係るオーディオ処理方法のフローチャートである。
【図２】本発明の実施例に係る別のオーディオ処理方法のフローチャートである。
【図３】本発明の実施例に係るオーディオ処理装置の概略構成図である。
【図４】図３に示された構築手段の実施例の概略構成図である。
【図５】図３に示された最適化手段の実施例の概略構成図である。
【図６】図５に示された最適化処理手段の実施例の概略構成図である。
【図７】図３に示された決定手段の実施例の概略構成図である。
【図８】本発明の実施例に係るオーディオ処理方法のフローチャートである。
【図９】本発明の実施例に係る別のオーディオ処理方法のフローチャートである。
【図１０】本発明の実施例に係るオーディオ処理装置の概略構成図である。
【図１１】図１０に示された構築手段の実施例の概略構成図である。
【図１２】図１０に示された調整手段の実施例の概略構成図である。
【図１３】図１０に示された決定手段の実施例の概略構成図である。
【図１４】本発明の実施例に係るオーディオ処理方法のフローチャートである。
【図１５】本発明の実施例に係る別のオーディオ処理方法のフローチャートである。
【図１６】本発明の実施例に係るオーディオ処理装置の概略構成図である。
【図１７】図１６に示された取得手段の実施例の概略構成図である。
【図１８】図１６に示された構築手段の実施例の概略構成図である。
【図１９】図１６に示された規則化処理手段の実施例の概略構成図である。
【図２０】図１６に示された決定手段の実施例の概略構成図である。
【発明を実施するための形態】
【００１４】
本発明の目的、技術的解決手段及び利点をより明らかにするために、以下、図面を参照しながら本発明の実施形態をさらに詳細に説明する。
【００１５】
本発明の実施例において、オーディオファイルは、歌、歌の断片などのファイルを含むが、これらに限られない。字幕ファイルは、歌詞、歌詞の断片などのファイルを含むが、これらに限られない。１つのオーディオ・ファイルは、１つの字幕ファイルに対応してよい。１つの字幕ファイルは、少なくとも１つの文字フレーズを順に並べて構成され、歌Ａを例とすれば、歌Ａに対応する字幕ファイルは以下のように示すことができる。
［６４１，７７０］，［６４１，２０］ａ１［６６１，６０］ａ２［７２１，１７０］ａ３［８９１，２００］ａ４［１０９１，７０］ａ５［１１６１，１８０］ａ６［１３４１，２０］ａ７［１３６１，５０］ａ８
［１５４１，１８０］，［１５４１，２０］ｂ１［１５６１，５０］ｂ２［１６１１，２０］ｂ３［１６３１，３０］ｂ４［１６６１，０］ｂ５［１６６１，１０］ｂ６［１６７１，２０］ｂ７［１７０１，３０］ｂ８
［１８７１，７３０］，［１８７１，６０］ｃ１［１９３１，１００］ｃ２［２０３１，１１０］ｃ３［２１４１，２００］ｃ４［２３４１，７０］ｃ５［２４１１，６０］ｃ６［２４７１，５０］ｃ７［２４２１，８０］ｃ８
……
【００１６】
上記歌Ａに対応する字幕ファイルにおいて、「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」、「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」、及び「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」は、それぞれ１つの文字フレーズを示すことができ、各文字フレーズの前の「［］」は、対応する文字フレーズの時間属性を記述するためのものであり、その単位時間は通常ｍｓであり、例えば、上記［６４１，７７０］は文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」の時間属性を記述するためのものであり、そのうちの「６４１」は文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」の開始時間を示し、「７７０」は文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」の持続時間を示し、歌Ａが合計５分間であると仮定すれば、文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」は、６４１ｍｓ目から演唱が開始し、７７０ｍｓ継続して演唱が終わる。各文字フレーズにおいて、各文字の前の「［］」は対応する文字の時間属性を記述するためのものであり、その単位時間は通常ｍｓであり、例えば、上記［６４１，２０］は文字「ａ１」の時間属性を記述するためのものであり、そのうちの「６４１」は文字「ａ１」の開始時間を示し、「２０」は文字「ａ１」の持続時間を示す。開始時間の早い順で字幕ファイルに含まれる各文字フレーズの順序を決定することでき、例えば、上記歌Ａに対応する字幕ファイルの記述に基づいて、文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」は１番目の文字フレーズであり、文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」は２番目の文字フレーズであり、文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」は３番目の文字フレーズであり、以下同様である。文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」と文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」は、文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」の前の文字フレーズで、文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」と文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」は、文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」の後の文字フレーズであり、以下同様である。さらに、文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」は文字フレーズ“ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８”の直前の文字フレーズであり、文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」は文字フレーズ“ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８”の直後の文字フレーズであり、以下同様である。
【００１７】
１つのオーディオ・ファイルは複数のオーディオ段落に分けることができ、オーディオ段落の間は、通常、一定の重複性がある。それで、１つの字幕ファイルは複数の字幕段落に対応して分けることができ、字幕段落の間は一定の類似性があり、即ち、字幕段落の間に含まれる文字フレーズに一定の類似性が存在する。本発明の実施例は、上記字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現することができる。
【００１８】
１つのオーディオ・ファイルは複数のオーディオ段落に分けることができ、オーディオ段落の間は、通常、長い休止があり、即ち、オーディオ段落の間は、通常、長い時間間隔がある。それで、１つの字幕ファイルは複数の字幕段落に対応して分けることができ、字幕段落の間は長い時間間隔があり、即ち、字幕段落の間に含まれる文字フレーズの間に長い時間間隔が存在する。本発明の実施例は、上記字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現することができる。
【００１９】
本発明の別の実施例において、オーディオ・ファイルはオーディオデータを含み、オーディオ・ファイルをデコード（例えば、ＰＣＭデコード）すると、オーディオデータ（例えば、ＰＣＭデータ）を取得することができる。１つのオーディオ・ファイルのオーディオデータは、少なくとも１つのオーディオフレームを含むことができ、即ち、１つのオーディオ・ファイルのオーディオデータは、複数のオーディオフレームで順に構成された１つのフレームシーケンスとして示すことができる。１つのオーディオ・ファイルは複数のオーディオ段落に分けることができ、オーディオ段落の間は、通常、一定の重複性があり、即ち、オーディオ段落の間に含まれるオーディオフレームに一定の関連性が存在する。本発明の実施例は、上記オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現することができる。
【００２０】
以上の説明に基づいて、本発明の実施例は、対象オーディオ・ファイルのファイルデータを取得することと、前記ファイルデータの構成要素の間の関連性特性データに基づいて、関連性特性シーケンスを構築し、所定の段落総数に従って前記関連性特性シーケンスを最適化することと、最適化後の前記関連性特性シーケンスにおける少なくとも１つの特性要素の数値に基づいて段落変更時間を決定することと、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることとを含むオーディオ処理方法を提供する。対象オーディオ・ファイルのファイルデータにおける構成要素の間の関連性、例えば文字フレーズの間の類似度、文字フレーズの間の時間間隔又はオーディオフレームの間の関連性などに基づいて、対象オーディオ・ファイルに対する段落分けを実現でき、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【００２１】
本発明を理解しやすくするために、以下、図１〜図２を参照しながら、本発明の実施例に係るオーディオ処理方法を詳細に説明する。
【００２２】
図１は、本発明の実施例に係るオーディオ処理方法のフローチャートである。該方法は、以下のステップＳ１０１〜ステップＳ１０５を含んでよい。
【００２３】
Ｓ１０１では、対象オーディオ・ファイルに対応する、少なくとも１つの文字フレーズで順に構成された字幕ファイルを取得する。
【００２４】
１つのオーディオ・ファイルは、１つの字幕ファイルに対応する。通常、インターネットオーディオ・ライブラリには、複数のオーディオ・ファイル、各オーディオ・ファイルの属性及び各オーディオ・ファイルに対応する字幕ファイルが記憶され、オーディオ・ファイルの属性は、オーディオ・ファイルのオーディオ特性、オーディオ・ファイルの識別子などを含むが、これらに限られない。本ステップにおいて、インターネットオーディオ・ライブラリから対象オーディオ・ファイルに対応する字幕ファイルを取得することができ、具体的な取得方式は、対象オーディオ・ファイルの識別子に基づいて、インターネットオーディオ・ライブラリから該対象オーディオ・ファイルに対応する字幕ファイルを検出し、かつ検出された字幕ファイルを取得すること、又は、対象オーディオ・ファイルのオーディオ特性を抽出して、インターネットオーディオ・ライブラリにおけるオーディオ・ファイルのオーディオ特性とマッチングすることにより、インターネットオーディオ・ライブラリにおいて対象オーディオ・ファイルを定位し、かつ対応する字幕ファイルを取得することを含むが、これらに限られない。
【００２５】
本発明の実施例において、対象オーディオ・ファイルが歌Ａであると仮定すれば、歌Ａに対応する字幕ファイルの構造は本実施例に示された例を参照することができ、前記字幕ファイルがＮ（Ｎは正の整数）個の文字フレーズで順に構成され、該Ｎ個の文字フレーズをｐ（０）〜ｐ（Ｎ−１）で示されると仮定すれば、ｐ（０）は１番目の文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」を示し、ｐ（１）は２番目の文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」を示し、ｐ（２）は３番目の文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」を示すことができ、以下、同様のように、ｐ（Ｎ−１）はＮ番目の文字フレーズを示す。
【００２６】
Ｓ１０２では、前記少なくとも１つの文字フレーズの間の類似度に基づいて、少なくとも１つの文字特性要素を含む字幕特性シーケンスを構築する。
【００２７】
前記字幕特性シーケンスは、前記少なくとも１つの文字フレーズの間の類似度を反映することができる。本ステップにおいて、まず、類似度アルゴリズムで前記少なくとも１つの文字フレーズの間の類似度を計算することができ、ここで、各文字フレーズとその後の文字フレーズとの間の類似度を算出する必要があり、即ち、ｐ（０）とｐ（１）との間の類似度、ｐ（０）とｐ（２）との間の類似度……ｐ（０）とｐ（Ｎ−１）との間の類似度、ｐ（１）とｐ（２）との間の類似度、ｐ（１）とｐ（３）との間の類似度……ｐ（１）とｐ（Ｎ−１）との間の類似度を算出する必要があり、以下同様である。類似度アルゴリズムは、編集距離アルゴリズム（Ｌｅｖｅｎｓｈｔｅｉｎ  Ｄｉｓｔａｎｃｅ）、最長共通部分列アルゴリズム（Ｌｏｎｇｅｓｔ  Ｃｏｍｍｏｎ  Ｓｕｂｓｅｑｕｅｎｃｅｓ，ＬＣＳ）、Ｈｅｃｋｅｌアルゴリズム、Ｇｒｅｅｄｙ  Ｓｔｒｉｎｇ  Ｔｉｌｉｎｇ（ＧＳＴ）アルゴリズムなどを含むが、これらに限られない。次に、前記少なくとも１つの文字フレーズの数量、順序及び算出された類似度に基づいて、前記字幕特性シーケンスを構築することができる。
【００２８】
本実施例に示された例に従って、ｓ（ｎ）で前記字幕特性シーケンスを示すと仮定すれば、構築された字幕特性シーケンスｓ（ｎ）は、それぞれｓ（０）、ｓ（１）…ｓ（Ｎ−１）である合計Ｎ個の文字特性要素を含む。ｓ（０）の数値は、ｐ（０）とその後の文字フレーズとの間の類似状況を記述し、ｓ（１）の数値は、ｐ（１）とその後の文字フレーズとの間の類似状況を記述することができ、以下同様である。
【００２９】
Ｓ１０３では、所定の段落総数に従って前記字幕特性シーケンスを最適化する。
【００３０】
前記所定の段落総数は、ユーザの対象オーディオ・ファイルに対する実際の段落分けの需要に応じて設定することができる。Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、所定の段落総数Ｍに従って前記字幕特性シーケンスｓ（ｎ）を最適化することは、対象オーディオ・ファイルに対する実際の段落分けの需要を満足するように、最適化後の前記字幕特性シーケンスｓ（ｎ）をちょうどよく所定の段落総数Ｍ個の字幕段落に分けることを目的とする。
【００３１】
Ｓ１０４では、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定する。
【００３２】
最適化後の前記字幕特性シーケンスｓ（ｎ）はちょうどよく所定の段落総数Ｍ個の字幕段落に分けられるとともに、前記字幕特性シーケンスｓ（ｎ）における文字特性要素の数値は、文字フレーズの間の類似状況を記述することができるため、最適化後の前記字幕特性シーケンスｓ（ｎ）における文字特性要素の数値に基づいて、Ｍ個の字幕段落の変更点を決定し、さらに字幕ファイルからＭ個の字幕段落の開始及び終了時間を取得することができる。
【００３３】
Ｓ１０５では、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分ける。オーディオ・ファイルと字幕ファイルが互いに対応するので、取得されたＭ個の字幕段落の開始及び終了時間に従って、対応して前記対象オーディオ・ファイルに対して段落分けを行って、Ｍ個のオーディオ段落を取得することができる。
【００３４】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【００３５】
図２は、本発明の実施例に係る別のオーディオ処理方法のフローチャートである。該方法は、以下のステップＳ２０１〜ステップＳ２１３を含んでよい。
【００３６】
Ｓ２０１では、対象オーディオ・ファイルに対応する、少なくとも１つの文字フレーズで順に構成された字幕ファイルを取得する。
【００３７】
本発明の実施例において、対象オーディオ・ファイルが歌Ａであると仮定すれば、歌Ａに対応する字幕ファイルの構造は本実施例に示された例を参照することができ、前記字幕ファイルがＮ（Ｎは正の整数）個の文字フレーズで順に構成され、該Ｎ個の文字フレーズをｐ（０）〜ｐ（Ｎ−１）で示されると仮定すれば、ｐ（０）は１番目の文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」を示し、ｐ（１）は２番目の文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」を示し、ｐ（２）は３番目の文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」を示すことができ、以下、同様のように、ｐ（Ｎ−１）はＮ番目の文字フレーズを示す。
【００３８】
本実施例のステップＳ２０１は、図１に示された実施例のステップＳ１０１を参照することができ、ここで説明を省略する。
【００３９】
Ｓ２０２では、前記少なくとも１つの文字フレーズの数量に基づいて、字幕特性シーケンスを構築する文字特性要素の数量を決定する。
【００４０】
前記字幕ファイルはＮ（Ｎは正の整数）個の文字フレーズで順に構成され、即ち、前記少なくとも１つの文字フレーズの数量がＮであるため、本ステップは、前記字幕特性シーケンスの文字特性要素の数量もＮであると決定でき、即ち、前記字幕特性シーケンスの長さはＮとなる。ｓ（ｎ）で前記字幕特性シーケンスを示すと仮定すれば、構築された字幕特性シーケンスｓ（ｎ）は、それぞれｓ（０）、ｓ（１）…ｓ（Ｎ−１）である合計Ｎ個の文字特性要素を含む。
【００４１】
Ｓ２０３では、前記少なくとも１つの文字フレーズにおける各文字フレーズの順序に基づいて、前記字幕特性シーケンスを構築する各文字特性要素のインデックスを決定する。
前記字幕ファイルのＮ個の文字フレーズは、ｐ（０）、ｐ（１）…ｐ（Ｎ−１）という順序で並べ、前記字幕特性シーケンスｓ（ｎ）において、ｓ（０）はｐ（０）に対応し、ｓ（１）はｐ（１）に対応し、以下、同様のように、ｓ（Ｎ−１）はｐ（Ｎ−１）に対応すると仮定すれば、前記字幕特性シーケンスｓ（ｎ）において、ｓ（０）のインデックスは１、即ち１番目の文字特性要素であり、ｓ（１）のインデックスは２、即ち２番目の文字特性要素であり、以下、同様のように、ｓ（Ｎ−１）のインデックスはＮ、即ちＮ番目の文字特性要素である。
【００４２】
Ｓ２０４では、前記字幕特性シーケンスを構築する各文字特性要素の数値をすべて初期値に設定する。
【００４３】
前記初期値は実際の需要に応じて設定でき、本実施例において、前記初期値を０とすると、本ステップは、前記字幕特性シーケンスｓ（ｎ）における全ての文字特性要素の数値をすべて０に設定し、即ち、ｓ（０）＝０、ｓ（１）＝０…ｓ（Ｎ−１）＝０に設定することができる。
【００４４】
Ｓ２０５では、前記少なくとも１つの文字フレーズのうちいずれか１つの対象文字フレーズに対して、前記対象文字フレーズと前記対象文字フレーズの後の文字フレーズとの間の最大類似度が所定の類似閾値より大きければ、前記対象文字フレーズに対応する文字特性要素の数値を初期値から対象値に変更する。
【００４５】
本ステップＳ２０５の具体的な処理プロセスは、以下のｓ１１〜ｓ１３を含んでよい。
【００４６】
ｓ１１では、類似度アルゴリズムで前記少なくとも１つの文字フレーズの間の類似度を計算し、ここで、各文字フレーズとその後の文字フレーズとの間の類似度を算出する必要があり、即ち、ｐ（０）とｐ（１）との間の類似度、ｐ（０）とｐ（２）との間の類似度……ｐ（０）とｐ（Ｎ−１）との間の類似度、ｐ（１）とｐ（２）との間の類似度、ｐ（１）とｐ（３）との間の類似度……ｐ（１）とｐ（Ｎ−１）との間の類似度を算出する必要があり、以下同様である。類似度アルゴリズムは、編集距離アルゴリズム、最長共通部分列アルゴリズム、Ｈｅｃｋｅｌアルゴリズム、Ｇｒｅｅｄｙ  Ｓｔｒｉｎｇ  Ｔｉｌｉｎｇ（ＧＳＴ）アルゴリズムなどを含むが、これらに限られない。説明すべきことは、計算を容易にするために、算出された類似度をすべて［０，１］の区間内に正規化し、ある２つの文字フレーズの間の類似度が０に等しければ、該２つの文字フレーズが全く異なることを示し、ある２つの文字フレーズの間の類似度が１に等しければ、該２つの文字フレーズが完全に同じことを示す。
【００４７】
ｓ１２では、各文字フレーズとその後の文字フレーズとの間の最大類似度を抽出し、例えば、ｐ（０）とその後の文字フレーズｐ（１）〜ｐ（Ｎ−１）の間の類似度を計算することにより、ｐ（０）とｐ（２）間の類似度が最大でＱ０２であれば、Ｑ０２を抽出し、また、ｐ（１）とその後の文字フレーズｐ（２）〜ｐ（Ｎ−１）の間の類似度を計算することにより、ｐ（１）とｐ（５）間の類似度が最大でＱ１５であれば、Ｑ１５を抽出する。
【００４８】
ｓ１３では、抽出された最大類似度が所定の類似閾値より大きいか否かをそれぞれ判断し、判断結果に応じて、対応する文字特性要素の数値を変更して設定する。前記所定の類似閾値は実際の需要に応じて設定でき、該所定の類似閾値は、Ｔｈで示され、かつ０≦Ｔｈ≦１である。前記対象値は実際の需要に応じて設定でき、かつ前記対象値が前記初期値より大きく、本実施例では前記対象値を１に設定することができる。ステップｓ１２に示された例に従って、例えば、Ｑ０２が所定の類似閾値Ｔｈより大きいか否かを判断し、Ｑ０２＞Ｔｈであれば、ｐ（０）に対応するｓ（０）の数値を０から１に変更し、即ち、ｓ（０）＝１となり、また、Ｑ１５が所定の類似閾値Ｔｈより大きいか否かを判断し、Ｑ１５＞Ｔｈであれば、ｐ（１）に対応するｓ（１）の数値を０から１に変更し、即ち、ｓ（１）＝１となる。
【００４９】
Ｓ２０６では、前記字幕特性シーケンスを構築する文字特性要素の数量、インデックス及び数値に基づいて、前記字幕特性シーケンスを構築する。
【００５０】
構築された前記字幕特性シーケンスはｓ（ｎ）であり、ｓ（ｎ）はＮ個の文字特性要素ｓ（０）、ｓ（１）…ｓ（Ｎ−１）で順に構成され、かつ前記字幕特性シーケンスｓ（ｎ）における各文字特性要素の数値は、０と１で構成されたシーケンスを形成する。
【００５１】
本実施例のステップＳ２０２〜ステップＳ２０６は、図１に示された実施例のステップＳ１０２の具体的に詳細化したステップであってよい。
【００５２】
Ｓ２０７では、前記字幕特性シーケンスにおける、数値が対象値である文字特性要素の数量を統計する。本実施例に示された例に従って、本ステップは、前記字幕特性シーケンスｓ（ｎ）における、数値が１である文字特性要素の数量を統計する必要がある。
【００５３】
Ｓ２０８では、前記数量が前記所定の段落総数に対応する誤差許容範囲内にあるか否かを判断し、判別結果がＹＥＳであれば、ステップＳ２１０に移行し、判別結果がＮＯであれば、ステップＳ２０９に移行する。
【００５４】
Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、前記所定の段落総数Ｍに対応する誤差許容範囲は［Ｍ−ｕ，Ｍ＋ｕ］（ｕは整数）で示されてよく、ここで、ｕは整数範囲区間を示し、実際の需要に応じて設定することができる。本ステップにおいて、統計された前記字幕特性シーケンスｓ（ｎ）における、数値が１である文字特性要素の数量が［Ｍ−ｕ，Ｍ＋ｕ］の区間内にあるか否かを判断する必要があり、判断結果がＹＥＳであれば、対象オーディオ・ファイルに対する実際の段落分けの需要を満足するように、前記字幕特性シーケンスｓ（ｎ）が所定の段落総数Ｍ個の字幕段落に分けられることを示す。判断結果がＮＯであれば、前記字幕特性シーケンスｓ（ｎ）が所定の段落総数Ｍ個の字幕段落に上手く分けられず、対象オーディオ・ファイルに対する実際の段落分けの需要を満足できず、何らかの調整を行う必要があることを示す。
【００５５】
Ｓ２０９では、前記所定の類似閾値の大きさを調整することにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する。
【００５６】
本ステップの調整プロセスは、以下のステップｓ２１〜ｓ２２を含んでよい。
【００５７】
ｓ２１では、前記数量が、前記所定の段落総数に対応する誤差許容範囲内の最大誤差許容値より大きければ、所定のステップサイズに従って前記所定の類似閾値を増大させることにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する。
【００５８】
前記数量がＭ＋ｕより大きければ、所定のステップサイズに従って前記所定の類似閾値Ｔｈの値を増加させ、かつ上記ステップｓ１３を再度実行することにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する必要がある。
【００５９】
ｓ２２では、前記数量が前記所定の段落総数に対応する誤差許容範囲内の最大誤差許容値より小さければ、所定のステップサイズに従って前記所定の類似閾値を減少させることにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する。
【００６０】
前記数量がＭ＋ｕより小さければ、所定のステップサイズに従って前記所定の類似閾値Ｔｈの値を減少させ、かつ上記ステップｓ１３を再度実行することにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する必要がある。
【００６１】
ステップｓ２１〜ｓ２２において、前記所定のステップサイズは実際の需要に応じて設定でき、前記所定のステップサイズは固定したステップサイズであってよく、即ち、毎回固定したステップサイズで前記所定の類似閾値Ｔｈの値を増大又は減少させ、前記所定のステップサイズはランダムなステップサイズであってもよく、即ち、毎回異なったステップサイズで前記所定の類似閾値Ｔｈの値を増大又は減少させる。
【００６２】
本実施例のステップＳ２０７〜ステップＳ２０９は、図１に示された実施例のステップＳ１０３の具体的に詳細化したステップであってよい。
【００６３】
Ｓ２１０では、最適化後の前記字幕特性シーケンスから、数値が対象値である文字特性要素に対応する対象インデックスを取得する。最適化後の前記字幕特性シーケンスｓ（ｎ）において、ｓ（０）＝０、ｓ（１）＝０…ｓ（４）＝１…ｓ（１０）＝１…ｓ（Ｎ−１）＝０であり、ｓ（４）＝１、ｓ（１０）＝１であり、ｓ（４）に対応するインデックスが５であり、ｓ（１０）に対応するインデックスが１１であるため、本ステップで取得できる対象インデックスは５と１１となる。
【００６４】
Ｓ２１１では、前記対象インデックスに基づいて、前記字幕ファイルにおいて段落が変更する文字フレーズを定位する。
【００６５】
前記対象インデックスが５と１１であるため、前記字幕ファイルにおいて、段落が変更する文字フレーズを５番目の文字フレーズと１１番目の文字フレーズに定位でき、即ち、５番目の文字フレーズは１つの字幕段落の開始位置となり、即ち前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成し、１１番目の文字フレーズは別の字幕段落の開始位置となり、即ち前記字幕ファイルにおける５〜１０番目の文字フレーズが１つの字幕段落を構成する。
【００６６】
Ｓ２１２では、前記段落が変更する文字フレーズに基づいて、前記字幕ファイルから段落変更時間を読み取る。
【００６７】
前記字幕ファイルには、各文字フレーズの開始時間、持続時間、終了時間を含む各文字フレーズの時間属性が記録されているため、本ステップは、前記字幕ファイルから段落変更時間を読み取ることができ、本実施例に示された例に従って、前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成するので、読み取られた段落変更時間は、４番目の文字フレーズの終了時間と５番目の文字フレーズの開始時間であり、前記字幕ファイルにおける５〜１０番目の文字フレーズが１つの字幕段落を構成するので、読み取られた段落変更時間は、１０番目の文字フレーズの終了時間と１１番目の文字フレーズの開始時間である。
【００６８】
本実施例のステップＳ２１０〜ステップＳ２１２は、図１に示された実施例のステップＳ１０４の具体的に詳細化したステップであってよい。ステップＳ２１０〜ステップＳ２１２に基づいて、Ｍ個の字幕段落の開始及び終了時間を取得することができる。
【００６９】
Ｓ２１３では、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分ける。オーディオ・ファイルと字幕ファイルが互いに対応するので、取得されたＭ個の字幕段落の開始及び終了時間に従って、対応して前記対象オーディオ・ファイルに対して段落分けを行って、Ｍ個のオーディオ段落を取得することができる。
【００７０】
本実施例のステップＳ２１３は、図１に示された実施例のステップＳ１０５を参照することができ、ここで説明を省略する。
【００７１】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【００７２】
以下、図３〜図７を参照しながら、本発明の実施例に係るオーディオ処理装置の構造と機能を詳細に記述する。なお、下記図３〜図７に示された装置は、上記図１〜図２に示された方法の実行に応用するために、端末で動作することができる。
【００７３】
図３は、本発明の実施例に係るオーディオ処理装置の概略構成図である。該装置は、取得手段３０１、構築手段３０２、最適化手段３０３、決定手段３０４及び段落分け手段３０５を含んでよい。
【００７４】
取得手段３０１は、対象オーディオ・ファイルに対応する、少なくとも１つの文字フレーズで順に構成された字幕ファイルを取得する。
【００７５】
１つのオーディオ・ファイルは、１つの字幕ファイルに対応する。通常、インターネットオーディオ・ライブラリには、複数のオーディオ・ファイル、各オーディオ・ファイルの属性及び各オーディオ・ファイルに対応する字幕ファイルが記憶され、オーディオ・ファイルの属性は、オーディオ・ファイルのオーディオ特性、オーディオ・ファイルの識別子などを含むが、これらに限られない。前記取得手段３０１は、インターネットオーディオ・ライブラリから対象オーディオ・ファイルに対応する字幕ファイルを取得することができ、具体的な取得方式は、対象オーディオ・ファイルの識別子に基づいて、インターネットオーディオ・ライブラリから該対象オーディオ・ファイルに対応する字幕ファイルを検出し、かつ検出された字幕ファイルを取得すること、又は、対象オーディオ・ファイルのオーディオ特性を抽出して、インターネットオーディオ・ライブラリにおけるオーディオ・ファイルのオーディオ特性とマッチングすることにより、インターネットオーディオ・ライブラリにおいて対象オーディオ・ファイルを定位し、かつ対応する字幕ファイルを取得することを含むが、これらに限られない。
【００７６】
本発明の実施例において、対象オーディオ・ファイルが歌Ａであると仮定すれば、歌Ａに対応する字幕ファイルの構造は本実施例に示された例を参照することができ、前記字幕ファイルがＮ（Ｎは正の整数）個の文字フレーズで順に構成され、該Ｎ個の文字フレーズをｐ（０）〜ｐ（Ｎ−１）で示されると仮定すれば、ｐ（０）は１番目の文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」を示し、ｐ（１）は２番目の文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」を示し、ｐ（２）は３番目の文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」を示すことができ、以下、同様のように、ｐ（Ｎ−１）はＮ番目の文字フレーズを示す。
【００７７】
構築手段３０２は、前記少なくとも１つの文字フレーズの間の類似度に基づいて、少なくとも１つの文字特性要素を含む字幕特性シーケンスを構築する。
【００７８】
前記字幕特性シーケンスは、前記少なくとも１つの文字フレーズの間の類似度を反映することができる。まず、前記構築手段３０２は、類似度アルゴリズムで前記少なくとも１つの文字フレーズの間の類似度を計算することができ、ここで、各文字フレーズとその後の文字フレーズとの間の類似度を算出する必要があり、即ち、ｐ（０）とｐ（１）との間の類似度、ｐ（０）とｐ（２）との間の類似度……ｐ（０）とｐ（Ｎ−１）との間の類似度、ｐ（１）とｐ（２）との間の類似度、ｐ（１）とｐ（３）との間の類似度……ｐ（１）とｐ（Ｎ−１）との間の類似度を算出する必要があり、以下同様である。類似度アルゴリズムは、編集距離アルゴリズム、最長共通部分列アルゴリズム、Ｈｅｃｋｅｌアルゴリズム、Ｇｒｅｅｄｙ  Ｓｔｒｉｎｇ  Ｔｉｌｉｎｇ（ＧＳＴ）アルゴリズムなどを含むが、これらに限られない。次に、前記構築手段３０２は、前記少なくとも１つの文字フレーズの数量、順序及び算出された類似度に基づいて、前記字幕特性シーケンスを構築することができる。
【００７９】
本実施例に示された例に従って、ｓ（ｎ）で前記字幕特性シーケンスを示すと、構築された字幕特性シーケンスｓ（ｎ）は、それぞれｓ（０）、ｓ（１）…ｓ（Ｎ−１）である合計Ｎ個の文字特性要素を含む。ｓ（０）の数値は、ｐ（０）とその後の文字フレーズとの間の類似状況を記述し、ｓ（１）の数値は、ｐ（１）とその後の文字フレーズとの間の類似状況を記述することができ、以下同様である。
【００８０】
最適化手段３０３は、所定の段落総数に従って前記字幕特性シーケンスを最適化する。
【００８１】
前記所定の段落総数は、ユーザの対象オーディオ・ファイルに対する実際の段落分けの需要に応じて設定することができる。Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、前記最適化手段３０３は、所定の段落総数Ｍに従って前記字幕特性シーケンスｓ（ｎ）を最適化する目的は、最適化後の前記字幕特性シーケンスｓ（ｎ）を、対象オーディオ・ファイルに対する実際の段落分けの需要を満足するよう、ちょうどよく所定の段落総数Ｍ個の字幕段落に分けられるようにすることである。
【００８２】
決定手段３０４は、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定する。
【００８３】
ここで、最適化後の前記字幕特性シーケンスｓ（ｎ）はちょうどよく所定の段落総数Ｍ個の字幕段落に分けられるとともに、前記字幕特性シーケンスｓ（ｎ）における文字特性要素の数値は、文字フレーズの間の類似状況を記述することができ、従って、前記決定手段３０４は、最適化後の前記字幕特性シーケンスｓ（ｎ）における文字特性要素の数値に基づいて、Ｍ個の字幕段落の変更点を決定し、さらに字幕ファイルからＭ個の字幕段落の開始及び終了時間を取得することができる。
【００８４】
段落分け手段３０５は、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分ける。
【００８５】
オーディオ・ファイルと字幕ファイルが互いに対応するので、前記段落分け手段３０５は、取得されたＭ個の字幕段落の開始及び終了時間に従って、対応して前記対象オーディオ・ファイルに対して段落分けを行って、Ｍ個のオーディオ段落を取得することができる。
【００８６】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【００８７】
図４は、図３に示された構築手段の実施例の概略構成図である。該構築手段３０２は、数量決定手段４０１、インデックス決定手段４０２、数値設定手段４０３、数値変更手段４０４及びシーケンス構築手段４０５を含んでよい。
【００８８】
数量決定手段４０１は、前記少なくとも１つの文字フレーズの数量に基づいて、字幕特性シーケンスを構築する文字特性要素の数量を決定する。
【００８９】
前記字幕ファイルはＮ（Ｎは正の整数）個の文字フレーズで順に構成され、即ち、前記少なくとも１つの文字フレーズの数量がＮであり、従って、前記数量決定手段４０１は、前記字幕特性シーケンスの文字特性要素の数量をもＮと決定でき、即ち、前記字幕特性シーケンスの長さはＮとなる。ｓ（ｎ）で前記字幕特性シーケンスを示すと、構築された字幕特性シーケンスｓ（ｎ）は、それぞれｓ（０）、ｓ（１）…ｓ（Ｎ−１）である合計Ｎ個の文字特性要素を含む。
【００９０】
インデックス決定手段４０２は、前記少なくとも１つの文字フレーズにおける各文字フレーズの順序に基づいて、前記字幕特性シーケンスを構築する各文字特性要素のインデックスを決定する。
【００９１】
前記字幕ファイルのＮ個の文字フレーズは、ｐ（０）、ｐ（１）…ｐ（Ｎ−１）という順序で並べ、前記字幕特性シーケンスｓ（ｎ）において、ｓ（０）はｐ（０）に対応し、ｓ（１）はｐ（１）に対応し、以下、同様のように、ｓ（Ｎ−１）はｐ（Ｎ−１）に対応すると仮定すれば、前記字幕特性シーケンスｓ（ｎ）において、ｓ（０）のインデックスは１、即ち１番目の文字特性要素であり、ｓ（１）のインデックスは２、即ち２番目の文字特性要素であり、以下、同様のように、ｓ（Ｎ−１）のインデックスはＮ、即ちＮ番目の文字特性要素である。
【００９２】
数値設定手段４０３は、前記字幕特性シーケンスを構築する各文字特性要素の数値をすべて初期値に設定する。
【００９３】
前記初期値は実際の需要に応じて設定でき、本実施例において、前記初期値を０とすると、数値設定手段４０３は、前記字幕特性シーケンスｓ（ｎ）における全ての文字特性要素の数値をすべて０に設定し、即ち、ｓ（０）＝０、ｓ（１）＝０…ｓ（Ｎ−１）＝０に設定することができる。
【００９４】
数値変更手段４０４は、前記少なくとも１つの文字フレーズのうちいずれか１つの対象文字フレーズに対して、前記対象文字フレーズと前記対象文字フレーズの後の文字フレーズとの間の最大類似度が所定の類似閾値より大きければ、前記対象文字フレーズに対応する文字特性要素の数値を初期値から対象値に変更する。
【００９５】
前記数値変更手段４０４の具体的な処理プロセスは以下Ａ〜Ｃを含んでよい。
【００９６】
Ａ、類似度アルゴリズムで前記少なくとも１つの文字フレーズの間の類似度を計算し、ここで、各文字フレーズとその後の文字フレーズとの間の類似度を算出する必要があり、即ち、ｐ（０）とｐ（１）との間の類似度、ｐ（０）とｐ（２）との間の類似度……ｐ（０）とｐ（Ｎ−１）との間の類似度、ｐ（１）とｐ（２）との間の類似度、ｐ（１）とｐ（３）との間の類似度……ｐ（１）とｐ（Ｎ−１）との間の類似度を算出する必要があり、以下同様である。類似度アルゴリズムは、編集距離アルゴリズム、最長共通部分列アルゴリズム、Ｈｅｃｋｅｌアルゴリズム、Ｇｒｅｅｄｙ  Ｓｔｒｉｎｇ  Ｔｉｌｉｎｇ（ＧＳＴ）アルゴリズムなどを含むが、これらに限られない。計算を容易にするために、算出された類似度をすべて［０，１］の区間内に正規化し、ある２つの文字フレーズの間の類似度が０に等しければ、該２つの文字フレーズが全く異なることを示し、ある２つの文字フレーズの間の類似度が１に等しければ、該２つの文字フレーズが完全に同じことを示す。
【００９７】
Ｂ、各文字フレーズとその後の文字フレーズとの間の最大類似度を抽出し、例えば、ｐ（０）とその後の文字フレーズｐ（１）〜ｐ（Ｎ−１）の間の類似度を計算することにより、ｐ（０）とｐ（２）間の類似度が最大でＱ０２であれば、Ｑ０２を抽出し、また、ｐ（１）とその後の文字フレーズｐ（２）〜ｐ（Ｎ−１）の間の類似度を計算することにより、ｐ（１）とｐ（５）間の類似度が最大でＱ１５であれば、Ｑ１５を抽出する。
【００９８】
Ｃ、抽出された最大類似度が所定の類似閾値より大きいか否かをそれぞれ判断して、判断結果に応じて、対応する文字特性要素の数値を変更して設定する。ここで、前記所定の類似閾値は実際の需要に応じて設定でき、該所定の類似閾値は、Ｔｈで示され、かつ０≦Ｔｈ≦１である。前記対象値は、実際の需要に応じて設定でき、かつ前記初期値より大きく、本実施例では前記対象値を１に設定することができる。本実施例に示された例に従って、例えば、Ｑ０２が所定の類似閾値Ｔｈより大きいか否かを判断し、Ｑ０２＞Ｔｈであれば、ｐ（０）に対応するｓ（０）の数値を０から１に変更し、即ち、ｓ（０）＝１とし、また、Ｑ１５が所定の類似閾値Ｔｈより大きいか否かを判断し、Ｑ１５＞Ｔｈであれば、ｐ（１）に対応するｓ（１）の数値を０から１に変更し、即ち、ｓ（１）＝１とする。
【００９９】
シーケンス構築手段４０５は、前記字幕特性シーケンスを構築する文字特性要素の数量、インデックス及び数値に基づいて、前記字幕特性シーケンスを構築する。
【０１００】
構築された前記字幕特性シーケンスは、Ｎ個の文字特性要素ｓ（０）、ｓ（１）…ｓ（Ｎ−１）で順に構成されたｓ（ｎ）であり、前記字幕特性シーケンスｓ（ｎ）における各文字特性要素の数値は、０と１で構成されたシーケンスを形成する。
【０１０１】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１０２】
図５は、図３に示された最適化手段の実施例の概略構成図である。該最適化手段３０３は、数量統計手段５０１、判定手段５０２及び最適化処理手段５０３を含んでよい。
【０１０３】
数量統計手段５０１は、前記字幕特性シーケンスにおける、数値が対象値である文字特性要素の数量を統計する。図４に示された実施例の例に従って、前記数量統計手段５０１は、前記字幕特性シーケンスｓ（ｎ）における、数値が１である文字特性要素の数量を統計する必要がある。
【０１０４】
判断手段５０２は、前記数量が前記所定の段落総数に対応する誤差許容範囲内にあるか否かを判断する。
【０１０５】
Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、前記所定の段落総数Ｍに対応する誤差許容範囲は［Ｍ−ｕ，Ｍ＋ｕ］（ｕは整数）で示されてよく、ここで、ｕは整数範囲区間を示し、実際の需要に応じて設定することができる。前記判断手段５０２は、統計された前記字幕特性シーケンスｓ（ｎ）における、数値が１である文字特性要素の数量が［Ｍ−ｕ，Ｍ＋ｕ］の区間内にあるか否かを判断する必要があり、判断結果がＹＥＳであれば、対象オーディオ・ファイルに対する実際の段落分けの需要を満足するように、前記字幕特性シーケンスｓ（ｎ）が所定の段落総数Ｍ個の字幕段落に分けられることを示す。判断結果がＮＯであれば、前記字幕特性シーケンスｓ（ｎ）が所定の段落総数Ｍ個の字幕段落に上手く分けられず、対象オーディオ・ファイルに対する実際の段落分けの需要を満足できず、何らかの調整を行う必要があることを示す。
【０１０６】
最適化処理手段５０３は、判断結果がＮＯであれば、前記所定の類似閾値の大きさを調整することにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する。
【０１０７】
さらに図６は、図５に示された最適化処理手段の実施例の概略構成図である。該最適化手段５０３は、第１の調整手段６０１と第２の調整手段６０２を含む。
【０１０８】
第１の調整手段６０１は、前記数量が、前記所定の段落総数に対応する誤差許容範囲内の最大誤差許容値より大きければ、所定のステップサイズに従って前記所定の類似閾値を増大させることにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する。
【０１０９】
前記数量がＭ＋ｕより大きければ、前記第１の調整手段６０１は、所定のステップサイズに従って前記所定の類似閾値Ｔｈの値を増加させ、かつ前記字幕特性シーケンスにおける各文字特性要素の数値を再度調整する必要がある。
【０１１０】
第２の調整手段６０２は、前記数量が、前記所定の段落総数に対応する誤差許容範囲内の最大誤差許容値より小さければ、所定のステップサイズに従って前記所定の類似閾値を減少させることにより、前記字幕特性シーケンスにおける各文字特性要素の数値を調整する。
【０１１１】
前記数量がＭ−ｕより小さければ、前記第２の調整手段６０２は、所定のステップサイズに従って前記所定の類似閾値Ｔｈの値を減少させ、かつ前記字幕特性シーケンスにおける各文字特性要素の数値を再度調整する必要がある。ここで、前記所定のステップサイズは実際の需要に応じて設定でき、前記所定のステップサイズは固定したステップサイズであってよく、即ち、毎回固定したステップサイズで前記所定の類似閾値Ｔｈの値を増大又は減少させる。前記所定のステップサイズはランダムなステップサイズであってもよく、即ち、毎回異なったステップサイズで前記所定の類似閾値Ｔｈの値を増大又は減少させる。
【０１１２】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１１３】
図７は、図３に示された決定手段３０４の実施例の概略構成図である。該決定手段３０４は、対象インデックス取得手段７０１、定位手段７０２及び時間読取手段７０３を含んでよい。
【０１１４】
対象インデックス取得手段７０１は、最適化後の前記字幕特性シーケンスから、数値が対象値である文字特性要素に対応する対象インデックスを取得する。
【０１１５】
最適化後の前記字幕特性シーケンスｓ（ｎ）において、ｓ（０）＝０、ｓ（１）＝０…ｓ（４）＝１…ｓ（１０）＝１…ｓ（Ｎ−１）＝０であり、ｓ（４）＝１、ｓ（１０）＝１であり、ｓ（４）に対応するインデックスが５であり、ｓ（１０）に対応するインデックスが１１であるため、前記対象インデックス取得手段７０１が取得できる対象インデックスは５と１１となる。
【０１１６】
定位手段７０２は、前記対象インデックスに基づいて、前記字幕ファイルにおいて段落が変更する文字フレーズを定位する。
【０１１７】
前記対象インデックスが５と１１であるため、前記定位手段７０２は、前記字幕ファイルにおいて、段落が変更する文字フレーズを５番目の文字フレーズと１１番目の文字フレーズに定位でき、即ち、５番目の文字フレーズは１つの字幕段落の開始位置となり、即ち前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成し、１１番目の文字フレーズは別の字幕段落の開始位置となり、即ち前記字幕ファイルにおける５〜１０番目の文字フレーズが１つの字幕段落を構成する。
【０１１８】
時間読取手段７０３は、前記段落が変更する文字フレーズに基づいて、前記字幕ファイルから段落変更時間を読み取る。
【０１１９】
前記字幕ファイルには、各文字フレーズの開始時間、持続時間、終了時間を含む各文字フレーズの時間属性が記録されているため、前記時間読取手段７０３は、前記字幕ファイルから段落変更時間を読み取ることができ、本実施例に示された例に従って、前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成するので、読み取られた段落変更時間は、４番目の文字フレーズの終了時間と５番目の文字フレーズの開始時間であり、前記字幕ファイルにおける５〜１０番目の文字フレーズが１つの字幕段落を構成するので、読み取られた段落変更時間は、１０番目の文字フレーズの終了時間と１１番目の文字フレーズの開始時間である。
【０１２０】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１２１】
本発明の実施例はさらに端末を開示し、該端末はＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ、パソコン）、ノートパソコン、携帯電話、ＰＡＤ（タブレット型コンピュータ）、車載端末、インテリジェント着用可能設備などの設備であってよい。該端末にオーディオ処理装置を含んでよく、該装置の構造及び機能は上記図３〜図７を参照することができ、ここで説明を省略する。
【０１２２】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の類似度に基づいて字幕特性シーケンスを構築し、所定の段落総数に従って前記字幕特性シーケンスを最適化し、最適化後の前記字幕特性シーケンスにおける少なくとも１つの文字特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、オーディオ処理プロセスは、字幕段落の間の文字フレーズの類似性の特徴を利用して、字幕ファイルにおける文字フレーズの類似性に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１２３】
当業者であれば理解できるように、上記実施例の全部又は一部のステップの実現はハードウェアによって実施してもよく、プログラムによって関連するハードウェアに命令することで実施してもよく、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶することができ、上記記憶媒体はリードオンリーメモリ、磁気ディスク又は光ディスクなどであってよい。
【０１２４】
以上の記述に基づいて、以下、図８〜図９を参照しながら、本発明の実施例に係るオーディオ処理方法を詳細に記述する。
【０１２５】
図８は、本発明の実施例に係るオーディオ処理方法のフローチャートである。該方法は、以下のステップＳ８０１〜ステップＳ８０５を含んでよい。
【０１２６】
Ｓ８０１では、対象オーディオ・ファイルに対応する、少なくとも１つの文字フレーズで順に構成された字幕ファイルを取得する。
【０１２７】
１つのオーディオ・ファイルは、１つの字幕ファイルに対応する。前記字幕ファイルは、少なくとも１つの文字フレーズと各文字フレーズの主要な情報を含み、１つの文字フレーズの主要な情報は、識別子（ＩＤ）、開始時間（ｓｔａｒｔ＿ｔｉｍｅ）及び終了時間（ｅｎｄ＿ｔｉｍｅ）を含む。通常、インターネットオーディオ・ライブラリには、複数のオーディオ・ファイル、各オーディオ・ファイルの属性及び各オーディオ・ファイルに対応する字幕ファイルが記憶され、オーディオ・ファイルの属性は、オーディオ・ファイルのオーディオ特性、オーディオ・ファイルの識別子などを含むが、これらに限られない。本ステップにおいて、インターネットオーディオ・ライブラリから対象オーディオ・ファイルに対応する字幕ファイルを取得することができ、具体的な取得方式は、対象オーディオ・ファイルの識別子に基づいて、インターネットオーディオ・ライブラリから該対象オーディオ・ファイルに対応する字幕ファイルを検出し、かつ検出された字幕ファイルを取得すること、又は、対象オーディオ・ファイルのオーディオ特性を抽出して、インターネットオーディオ・ライブラリにおけるオーディオ・ファイルのオーディオ特性とマッチングすることにより、インターネットオーディオ・ライブラリにおいて対象オーディオ・ファイルを定位し、かつ対応する字幕ファイルを取得することを含むが、これらに限られない。
【０１２８】
本発明の実施例において、対象オーディオ・ファイルが歌Ａであると仮定すれば、歌Ａに対応する字幕ファイルの構造は本実施例に示された例を参照することができ、前記字幕ファイルがＮ（Ｎは正の整数）個の文字フレーズで順に構成され、該Ｎ個の文字フレーズをｐ（０）〜ｐ（Ｎ−１）で示されると仮定すれば、ｐ（０）は１番目の文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」を示し、ｐ（１）は２番目の文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」を示し、ｐ（２）は３番目の文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」を示すことができ、以下、同様のように、ｐ（Ｎ−１）はＮ番目の文字フレーズを示す。
【０１２９】
Ｓ８０２では、前記少なくとも１つの文字フレーズの間の時間間隔に基づいて、少なくとも１つの時間特性要素を含む時間特性シーケンスを構築する。
【０１３０】
前記時間特性シーケンスは、前記少なくとも１つの文字フレーズの間の時間間隔の程度を反映することができる。本ステップにおいて、まず、前記少なくとも１つの文字フレーズの間の時間間隔を計算し、ここで、ｐ（１）とｐ（０）との間の時間間隔ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅを計算し、ｐ（２）とｐ（１）との間の時間間隔ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅを計算し、以下、同様のように、ｐ（Ｎ−１）とｐ（Ｎ−２）との間の時間間隔ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅを計算する必要がある。次に、前記少なくとも１つの文字フレーズの数量、順序及び算出された時間間隔に基づいて、前記時間特性シーケンスを構築することができる。
【０１３１】
本実施例に示された例に従って、ｔ（ｎ）で前記時間特性シーケンスを示すと、構築された字幕特性シーケンスｔ（ｎ）は、それぞれｔ（０）、ｔ（１）…ｔ（Ｎ−１）である合計Ｎ個の時間特性要素を含む。ここで、ｔ（０）の数値を０に設定でき、ｔ（１）の数値はｐ（１）とｐ（０）との間の時間間隔を示し、ｔ（２）の数値はｐ（２）とｐ（１）との間の時間間隔を示し、以下、同様のように、ｔ（Ｎ−１）の数値はｐ（Ｎ−１）とｐ（Ｎ−２）との間の時間間隔を示す。
【０１３２】
Ｓ８０３では、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整する。
【０１３３】
前記所定の段落総数は、ユーザの対象オーディオ・ファイルに対する実際の段落分けの需要に応じて設定することができる。Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、所定の段落総数Ｍに従って前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値を調整する目的は、調整後の前記字幕特性シーケンスｔ（ｎ）を、対象オーディオ・ファイルに対する実際の段落分けの需要を満足するよう、ちょうどよくＭ個の字幕段落に対応する変更点を取得できるようにすることである。
【０１３４】
Ｓ８０４では、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて、段落変更時間を決定する。
【０１３５】
前記調整後の時間特性シーケンスｔ（ｎ）における各時間特性要素の数値は、Ｍ個の字幕段落に対応する変更点を反映でき、従って、本ステップは、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて、字幕ファイルからＭ個の字幕段落の開始及び終了時間を取得することができる。
【０１３６】
Ｓ８０５では、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分ける。オーディオ・ファイルと字幕ファイルが互いに対応するので、取得されたＭ個の字幕段落の開始及び終了時間に従って、対応して前記対象オーディオ・ファイルに対して段落分けを行って、Ｍ個のオーディオ段落を取得することができる。
【０１３７】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１３８】
図９は、本発明の実施例に係る別のオーディオ処理方法のフローチャートである。該方法は、以下のステップＳ９０１〜ステップＳ９０５を含んでよい。
【０１３９】
Ｓ９０１では、対象オーディオ・ファイルに対応する、少なくとも１つの文字フレーズで順に構成された字幕ファイルを取得する。
【０１４０】
本発明の実施例において、対象オーディオ・ファイルが歌Ａであると仮定すれば、歌Ａに対応する字幕ファイルの構造は本実施例に示された例を参照することができ、前記字幕ファイルがＮ（Ｎは正の整数）個の文字フレーズで順に構成され、該Ｎ個の文字フレーズをｐ（０）〜ｐ（Ｎ−１）で示されると仮定すれば、ｐ（０）は１番目の文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」を示し、ｐ（１）は２番目の文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」を示し、ｐ（２）は３番目の文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」を示すことができ、以下、同様のように、ｐ（Ｎ−１）はＮ番目の文字フレーズを示す。
【０１４１】
本実施例のステップＳ９０１は、図１に示された実施例のステップＳ８０１を参照することができ、ここで説明を省略する。
【０１４２】
Ｓ９０２では、前記少なくとも１つの文字フレーズの数量に基づいて、時間特性シーケンスを構築する時間特性要素の数量を決定する。
【０１４３】
前記字幕ファイルはＮ（Ｎは正の整数）個の文字フレーズで順に構成され、即ち、前記少なくとも１つの文字フレーズの数量がＮであり、従って、本ステップは、前記時間特性シーケンスの時間特性要素の数量もＮであると決定でき、即ち、前記時間特性シーケンスの長さはＮとなる。ｔ（ｎ）で前記時間特性シーケンスを示すと、構築された字幕特性シーケンスｔ（ｎ）は、それぞれｔ（０）、ｔ（１）…ｔ（Ｎ−１）である合計Ｎ個の時間特性要素を含む。
【０１４４】
Ｓ９０３では、前記少なくとも１つの文字フレーズにおける各文字フレーズの順序に基づいて、前記時間特性シーケンスを構築する各時間特性要素のインデックスを決定する。
【０１４５】
前記字幕ファイルのＮ個の文字フレーズは、ｐ（０）、ｐ（１）…ｐ（Ｎ−１）という順序で並べ、前記字幕特性シーケンスｔ（ｎ）において、ｔ（０）はｐ（０）に対応し、ｔ（１）はｐ（１）に対応し、以下、同様のように、ｔ（Ｎ−１）はｐ（Ｎ−１）に対応すると仮定すれば、前記時間特性シーケンスｔ（ｎ）において、ｔ（０）のインデックスは１、即ち１番目の時間特性要素であり、ｔ（１）のインデックスは２、即ち２番目の時間特性要素であり、以下、同様のように、ｔ（Ｎ−１）のインデックスはＮ、即ちＮ番目の時間特性要素である。
【０１４６】
Ｓ９０４では、前記少なくとも１つの文字フレーズのうちいずれか１つの対象文字フレーズに対して、前記対象文字フレーズと前記対象文字フレーズの直前の文字フレーズとの間の時間間隔を、前記対象文字フレーズに対応する時間特性要素の数値に設定する。
【０１４７】
本ステップＳ９０４の具体的な処理プロセスは、以下のｓ１１〜ｓ１２を含んでよい。
ｓ１１では、各文字フレーズとその直前の文字フレーズとの間の時間間隔を計算し、ここで、ｐ（１）とｐ（０）との間の時間間隔ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅを計算し、ｐ（２）とｐ（１）との間の時間間隔ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅを計算し、以下、同様のように、ｐ（Ｎ−１）とｐ（Ｎ−２）との間の時間間隔ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅを計算する必要がある。
【０１４８】
ｓ１２では、算出された時間間隔を対応する時間特性要素の数値に設定する。従って、ｔ（０）＝０、ｔ（１）＝ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅ、ｔ（２）＝ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅ、以下、同様のように、ｔ（Ｎ−１）＝ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅに設定することができる。
【０１４９】
Ｓ９０５では、前記時間特性シーケンスを構築する時間特性要素の数量、インデックス及び数値に基づいて、前記時間特性シーケンスを構築する。
【０１５０】
構築された前記時間特性シーケンスは、Ｎ個の時間特性要素ｔ（０）、ｔ（１）…ｔ（Ｎ−１）で順に構成されたｔ（ｎ）であり、前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値は、ｔ（０）＝０、ｔ（１）＝ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅ、ｔ（２）＝ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅ、以下、同様のように、ｔ（Ｎ−１）＝ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅである。
【０１５１】
本実施例のステップＳ９０２〜ステップＳ９０５は、図８に示された実施例のステップＳ８０２の具体的に詳細化したステップであってよい。
【０１５２】
Ｓ９０６では、前記時間特性シーケンスから、上位の所定の段落数量−１個の最大数値の時間特性要素を検出する。Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、本ステップは、前記時間特性シーケンスｔ（ｎ）から、上位のＭ−１個の最大数値の時間特性要素を検出する必要がある。
【０１５３】
Ｓ９０７では、検出された時間特性要素の数値を対象値に調整し、前記時間特性シーケンスにおける、検出された時間特性要素以外のその他の時間特性要素の数値を参考値に調整する。前記対象値と前記参考値は、実際の需要に応じて設定でき、本発明の実施例は前記対象値を１に、前記参考値を０に設定することができる。
【０１５４】
ステップＳ９０６〜Ｓ９０７の具体的な処理プロセスとして、まず、前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値を調査し、その中から最大数値に対応する時間特性要素を検出し、検出された時間特性要素を除外した後、前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値を再度調査し、その中から最大数値に対応する時間特性要素を検出し、上記調査プロセスを繰り返して、Ｍ−１個の最大数値が検出されると停止する。最後に、前記時間特性シーケンスｔ（ｎ）から検出されたＭ−１個の最大数値をすべて１に調整し、その他の数値を０に調整する。
【０１５５】
本実施例のステップＳ９０６〜ステップＳ９０７は、図８に示された実施例のステップＳ８０３の具体的に詳細化したステップであってよい。Ｍ個の字幕段落はちょうどよくＭ−１個の段落変更点に対応するため、ステップＳ９０６〜ステップＳ９０７に従って、調整後の前記時間特性シーケンスｔ（ｎ）は、ちょうどよくＭ個の字幕段落に対応するＭ−１段落変更点を抽出でき、それに従って、対象オーディオ・ファイルに対する実際の段落分けの需要を実現する。
【０１５６】
Ｓ９０８では、調整後の前記時間特性シーケンスから、数値が対象値である時間特性要素に対応する対象インデックスを取得する。本ステップは、数値が１である時間特性要素に対応する対象インデックスを取得する必要がり、即ち検出されたＭ−１個の時間特性要素のインデックスを取得する必要がある。
【０１５７】
Ｓ９０９では、前記対象インデックスに基づいて、前記字幕ファイルにおいて段落が変更する文字フレーズを定位する。
【０１５８】
そのうちのある対象インデックスが５とすると、前記字幕ファイルにおいて、段落が変更する文字フレーズを５番目の文字フレーズに定位でき、即ち、５番目の文字フレーズは１つの字幕段落の開始位置となり、即ち前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成する。同様の理由で、Ｍ−１個の、段落が変更する文字フレーズを定位することができる。
【０１５９】
Ｓ９１０では、前記段落が変更する文字フレーズに基づいて、前記字幕ファイルから段落変更時間を読み取る。
【０１６０】
前記字幕ファイルには、各文字フレーズの開始時間と終了時間を含む各文字フレーズの重要な情報が記録されているため、本ステップは、前記字幕ファイルから段落変更時間を読み取ることができ、本実施例に示された例に従って、前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成するので、読み取られた段落変更時間は、４番目の文字フレーズの終了時間と５番目の文字フレーズの開始時間である。
【０１６１】
本実施例のステップＳ９０８〜ステップＳ９１０は、図８に示された実施例のステップＳ８０４の具体的に詳細化したステップであってよい。ステップＳ９０８〜ステップＳ９１０に基づいて、Ｍ個の字幕段落の開始及び終了時間を取得することができる。
【０１６２】
Ｓ９１１では、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分ける。オーディオ・ファイルと字幕ファイルが互いに対応するので、取得されたＭ個の字幕段落の開始及び終了時間に従って、対応して前記対象オーディオ・ファイルに対して段落分けを行って、Ｍ個のオーディオ段落を取得することができる。
【０１６３】
本実施例のステップＳ９１１は、図８に示された実施例のステップＳ８０５を参照することができ、ここで説明を省略する。
【０１６４】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１６５】
以下、図１０〜図１３を参照しながら、本発明の実施例に係るオーディオ処理装置の構造と機能を詳細に記述する。なお、下記図１０〜図１３に示された装置は、上記図８〜図９に示された方法の実行に応用するために、端末で動作することができる。
【０１６６】
図１０は、本発明の実施例に係るオーディオ処理装置の概略構成図である。該装置は、取得手段１００１、構築手段１００２、調整手段１００３、決定手段１００４及び段落分け手段１００５を含んでよい。
【０１６７】
取得手段１００１は、対象オーディオ・ファイルに対応する、少なくとも１つの文字フレーズで順に構成された字幕ファイルを取得する。
【０１６８】
１つのオーディオ・ファイルは、１つの字幕ファイルに対応する。前記字幕ファイルは、少なくとも１つの文字フレーズと各文字フレーズの主要な情報を含み、１つの文字フレーズの主要な情報は、識別子（ＩＤ）、開始時間（ｓｔａｒｔ＿ｔｉｍｅ）及び終了時間（ｅｎｄ＿ｔｉｍｅ）を含む。通常、インターネットオーディオ・ライブラリには、複数のオーディオ・ファイル、各オーディオ・ファイルの属性及び各オーディオ・ファイルに対応する字幕ファイルが記憶され、オーディオ・ファイルの属性は、オーディオ・ファイルのオーディオ特性、オーディオ・ファイルの識別子などを含むが、これらに限られない。前記取得手段１００１は、インターネットオーディオ・ライブラリから対象オーディオ・ファイルに対応する字幕ファイルを取得することができ、具体的な取得方式は、対象オーディオ・ファイルの識別子に基づいて、インターネットオーディオ・ライブラリから該対象オーディオ・ファイルに対応する字幕ファイルを検出し、かつ検出された字幕ファイルを取得すること、又は、対象オーディオ・ファイルのオーディオ特性を抽出して、インターネットオーディオ・ライブラリにおけるオーディオ・ファイルのオーディオ特性とマッチングすることにより、インターネットオーディオ・ライブラリにおいて対象オーディオ・ファイルを定位し、かつ対応する字幕ファイルを取得することを含むが、これらに限られない。
【０１６９】
本発明の実施例において、対象オーディオ・ファイルが歌Ａであると仮定すれば、歌Ａに対応する字幕ファイルの構造は本実施例に示された例を参照することができ、前記字幕ファイルがＮ（Ｎは正の整数）個の文字フレーズで順に構成され、該Ｎ個の文字フレーズをｐ（０）〜ｐ（Ｎ−１）で示されると仮定すれば、ｐ（０）は１番目の文字フレーズ「ａ１ａ２ａ３ａ４ａ５ａ６ａ７ａ８」を示し、ｐ（１）は２番目の文字フレーズ「ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ８」を示し、ｐ（２）は３番目の文字フレーズ「ｃ１ｃ２ｃ３ｃ４ｃ５ｃ６ｃ７ｃ８」を示すことができ、以下、同様のように、ｐ（Ｎ−１）はＮ番目の文字フレーズを示す。
【０１７０】
構築手段１００２は、前記少なくとも１つの文字フレーズの間の時間間隔に基づいて、少なくとも１つの時間特性要素を含む時間特性シーケンスを構築する。
【０１７１】
前記時間特性シーケンスは、前記少なくとも１つの文字フレーズの間の時間間隔の程度を反映することができる。まず、前記構築手段１００２は、前記少なくとも１つの文字フレーズの間の時間間隔を計算し、ここで、ｐ（１）とｐ（０）との間の時間間隔ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅを計算し、ｐ（２）とｐ（１）との間の時間間隔ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅを計算し、以下、同様のように、ｐ（Ｎ−１）とｐ（Ｎ−２）との間の時間間隔ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅを計算する必要がある。次に、前記構築手段１００２は、前記少なくとも１つの文字フレーズの数量、順序及び算出された時間間隔に基づいて、前記時間特性シーケンスを構築することができる。
【０１７２】
本実施例に示された例に従って、ｔ（ｎ）で前記時間特性シーケンスを示すと、構築された字幕特性シーケンスｔ（ｎ）は、それぞれｔ（０）、ｔ（１）…ｔ（Ｎ−１）である合計Ｎ個の時間特性要素を含む。ここで、ｔ（０）の数値を０に設定でき、ｔ（１）の数値はｐ（１）とｐ（０）との間の時間間隔を示し、ｔ（２）の数値はｐ（２）とｐ（１）との間の時間間隔を示し、以下、同様のように、ｔ（Ｎ−１）の数値はｐ（Ｎ−１）とｐ（Ｎ−２）との間の時間間隔を示す。
【０１７３】
調整手段１００３は、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整する。
【０１７４】
前記所定の段落総数は、ユーザの対象オーディオ・ファイルに対する実際の段落分けの需要に応じて設定することができる。Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、前記調整手段１００３が所定の段落総数Ｍに従って前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値を調整する目的は、調整後の前記時間特性シーケンスｔ（ｎ）を、対象オーディオ・ファイルに対する実際の段落分けの需要を満足するよう、ちょうどよくＭ個の字幕段落に対応する変更点を取得できるようにすることである。
【０１７５】
決定手段１００４は、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて、段落変更時間を決定する。
【０１７６】
前記調整後の時間特性シーケンスｔ（ｎ）における各時間特性要素の数値は、Ｍ個の字幕段落に対応する変更点を反映でき、従って、前記決定手段１００４は、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて、字幕ファイルからＭ個の字幕段落の開始及び終了時間を取得することができる。
【０１７７】
段落分け手段１００５は、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分ける。
【０１７８】
オーディオ・ファイルと字幕ファイルが互いに対応するので、前記段落分け手段１００５は、取得されたＭ個の字幕段落の開始及び終了時間に従って、対応して前記対象オーディオ・ファイルに対して段落分けを行って、Ｍ個のオーディオ段落を取得することができる。
【０１７９】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１８０】
図１１は、図１０に示された構築手段の実施例の概略構成図である。該構築手段１００２は、数量決定手段１１０１、インデックス決定手段１１０２、数値設定手段１１０３及びシーケンス構築手段１１０４を含んでよい。
【０１８１】
数量決定手段１１０１、前記少なくとも１つの文字フレーズの数量に基づいて、時間特性シーケンスを構築する時間特性要素の数量を決定する。
【０１８２】
前記字幕ファイルはＮ（Ｎは正の整数）個の文字フレーズで順に構成され、即ち、前記少なくとも１つの文字フレーズの数量がＮであり、従って、前記数量決定手段１１０１は、前記時間特性シーケンスの時間特性要素の数量もＮであると決定でき、即ち、前記時間特性シーケンスの長さはＮとなる。ｔ（ｎ）で前記時間特性シーケンスを示すと、構築された時間特性シーケンスｔ（ｎ）は、それぞれｔ（０）、ｔ（１）…ｔ（Ｎ−１）である合計Ｎ個の時間特性要素を含む。
【０１８３】
インデックス決定手段１１０２は、前記少なくとも１つの文字フレーズにおける各文字フレーズの順序に基づいて、前記時間特性シーケンスを構築する各時間特性要素のインデックスを決定する。
【０１８４】
前記字幕ファイルのＮ個の文字フレーズは、ｐ（０）、ｐ（１）…ｐ（Ｎ−１）という順序で並べ、前記時間特性シーケンスｔ（ｎ）において、ｔ（０）はｐ（０）に対応し、ｔ（１）はｐ（１）に対応し、以下、同様のように、ｔ（Ｎ−１）はｐ（Ｎ−１）に対応すると仮定すれば、前記時間特性シーケンスｔ（ｎ）において、ｔ（０）のインデックスは１、即ち１番目の時間特性要素であり、ｔ（１）のインデックスは２、即ち２番目の時間特性要素であり、以下、同様のように、ｔ（Ｎ−１）のインデックスはＮ、即ちＮ番目の時間特性要素である。
【０１８５】
数値設定手段１１０３は、前記少なくとも１つの文字フレーズのうちいずれか１つの対象文字フレーズに対して、前記対象文字フレーズと前記対象文字フレーズの直前の文字フレーズとの間の時間間隔を、前記対象文字フレーズに対応する時間特性要素の数値に設定する。
【０１８６】
前記数値変更手段１１０３の具体的な処理プロセスは以下Ａ〜Ｂを含んでよい。
【０１８７】
Ａ、各文字フレーズとその直前の文字フレーズとの間の時間間隔を計算し、ここで、ｐ（１）とｐ（０）との間の時間間隔ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅを計算し、ｐ（２）とｐ（１）との間の時間間隔ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅを計算し、以下、同様のように、ｐ（Ｎ−１）とｐ（Ｎ−２）との間の時間間隔ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅを計算する必要がある。
【０１８８】
Ｂ、算出された時間間隔を対応する時間特性要素の数値に設定すると、ｔ（０）＝０、ｔ（１）＝ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅ、ｔ（２）＝ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅ、以下、同様のように、ｔ（Ｎ−１）＝ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅに設定することができる。
【０１８９】
シーケンス構築手段１１０４は、前記時間特性シーケンスを構築する時間特性要素の数量、インデックス及び数値に基づいて、前記時間特性シーケンスを構築する。
【０１９０】
構築された前記時間特性シーケンスは、Ｎ個の時間特性要素ｔ（０）、ｔ（１）…ｔ（Ｎ−１）で順に構成されたｔ（ｎ）であり、前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値は、ｔ（０）＝０、ｔ（１）＝ｐ（１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（０）．ｅｎｄ＿ｔｉｍｅ、ｔ（２）＝ｐ（２）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（１）．ｅｎｄ＿ｔｉｍｅ、以下、同様のように、ｔ（Ｎ−１）＝ｐ（Ｎ−１）．ｓｔａｒｔ＿ｔｉｍｅ−ｐ（Ｎ−２）．ｅｎｄ＿ｔｉｍｅである。
【０１９１】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１９２】
図１２は、図１０に示された調整手段の実施例の概略構成図である。該調整手段１００３は、要素検出手段１２０１と数値調整手段１２０２を含んでよい。
【０１９３】
要素検出手段１２０１は、前記時間特性シーケンスから、上位の所定の段落数量−１個の最大数値の時間特性要素を検出する。
【０１９４】
Ｍ（Ｍは正の整数かつＭ＞１）で前記所定の段落総数を示すと仮定すれば、前記要素検出手段１２０１は、前記時間特性シーケンスｔ（ｎ）から、上位のＭ−１個の最大数値の時間特性要素を検出する必要がある。
【０１９５】
数値調整手段１２０２は、検出された時間特性要素の数値を対象値に調整し、前記時間特性シーケンスにおける、検出された時間特性要素以外のその他の時間特性要素の数値を参考値に調整する。前記対象値と前記参考値は、実際の需要に応じて設定でき、本発明の実施例は前記対象値を１に、前記参考値を０に設定することができる。
【０１９６】
前記要素検出手段１２０１と前記数値調整手段１２０２の具体的な処理プロセスとして、まず、前記要素検出手段１２０１は、前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値を調査し、その中から最大数値に対応する時間特性要素を検出し、検出された時間特性要素を除外した後、前記時間特性シーケンスｔ（ｎ）における各時間特性要素の数値を再度調査し、その中から最大数値に対応する時間特性要素を検出し、上記調査プロセスを繰り返して、Ｍ−１個の最大数値が検出されると停止する。最後に、数値調整手段１２０２は、前記時間特性シーケンスｔ（ｎ）から検出されたＭ−１個の最大数値をすべて１に調整し、その他の数値を０に調整する。
【０１９７】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０１９８】
図１３は、図１０に示された決定手段の実施例の概略構成図である。該決定手段１００４は、対象インデックス取得手段１３０１、定位手段１３０２及び時間読取手段１３０３を含んでよい。
【０１９９】
対象インデックス取得手段１３０１は、調整後の前記時間特性シーケンスから、数値が対象値である時間特性要素に対応する対象インデックスを取得する。
【０２００】
図５に示された例に従って、前記対象インデックス１３０１は、数値が１である時間特性要素に対応する対象インデックスを取得する必要がり、即ち検出されたＭ−１個の時間特性要素のインデックスを取得する必要がある。
【０２０１】
定位手段１３０２は、前記対象インデックスに基づいて、前記字幕ファイルにおいて段落が変更する文字フレーズを定位する。
【０２０２】
そのうちのある対象インデックスが５とすると、前記定位手段１３０２は、前記字幕ファイルにおいて、段落が変更する文字フレーズを５番目の文字フレーズに定位でき、即ち、５番目の文字フレーズは１つの字幕段落の開始位置となり、即ち前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成する。同様の理由で、Ｍ−１個の、段落が変更する文字フレーズを定位することができる。
【０２０３】
時間読取手段１３０３は、前記段落が変更する文字フレーズに基づいて、前記字幕ファイルから段落変更時間を読み取る。
【０２０４】
前記字幕ファイルには、各文字フレーズの開始時間と終了時間を含む各文字フレーズの重要な情報が記録されているため、前記時間読取手段１３０３は、前記字幕ファイルから段落変更時間を読み取ることができ、本実施例に示された例に従って、前記字幕ファイルにおける１〜４番目の文字フレーズが１つの字幕段落を構成するので、読み取られた段落変更時間は、４番目の文字フレーズの終了時間と５番目の文字フレーズの開始時間である。
【０２０５】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２０６】
本発明の実施例はさらに端末を開示し、該端末はＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ、パソコン）、ノートパソコン、携帯電話、ＰＡＤ（タブレット型コンピュータ）、車載端末、インテリジェント着用可能設備などの設備であってよい。該端末にオーディオ処理装置を含んでよく、該装置の構造及び機能は上記図１０〜図１３を参照することができ、ここで説明を省略する。
【０２０７】
本発明の実施例において、対象オーディオ・ファイルに対応する字幕ファイルにおける少なくとも１つの文字フレーズの間の時間間隔に基づいて時間特性シーケンスを構築し、所定の段落総数に従って前記時間特性シーケンスにおける各時間特性要素の数値を調整し、調整後の前記時間特性シーケンスにおける少なくとも１つの時間特性要素の数値に基づいて段落変更時間を決定し、次に、前記段落変更時間に従って前記対象オーディオ・ファイルを前記所定の段落総数の段落に分けることができ、該オーディオ処理プロセスは、字幕段落の間の文字フレーズの時間間隔の特徴を利用して、字幕ファイルにおける文字フレーズの間の時間間隔に基づいて対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２０８】
以上の記述に基づいて、以下、図１４〜図１５を参照しながら、本発明の実施例に係るオーディオ処理方法を詳細に記述する。
【０２０９】
図１４は、本発明の実施例に係るオーディオ処理方法のフローチャートである。該方法は、以下のステップＳ１４０１〜ステップＳ１４０５を含んでよい。
【０２１０】
Ｓ１４０１では、対象オーディオ・ファイルの、少なくとも１つのオーディオフレームを含むオーディオデータを取得する。
【０２１１】
オーディオ・ファイルはオーディオデータを含み、オーディオ・ファイルをデコード（例えば、ＰＣＭデコード）すると、オーディオデータ（例えば、ＰＣＭデータ）を取得することができる。本ステップは、前記対象オーディオ・ファイルをデコードして、前記対象オーディオ・ファイルのオーディオデータを取得することができる。前記オーディオデータは少なくとも１つのオーディオフレームを含むことができ、即ち、前記オーディオデータは、前記少なくとも１つのオーディオフレームで順に構成された１つのフレームシーケンスとして示すことができる。
【０２１２】
本発明の実施例において、前記オーディオデータがＮ（Ｎは正の整数）個のオーディオフレームを含み、即ちＮは前記オーディオデータのサンプリング数であるとすると、前記オーディオデータはｘ（ｎ）（ｎは正の整数かつｎ＝０、１、２、Ｎ−１）で示すことができる。
【０２１３】
Ｓ１４０２では、前記少なくとも１つのオーディオフレームの関連性に基づいて、少なくとも１つのピーク値特性要素を含むピーク値特性シーケンスを構築する。
【０２１４】
前記ピーク値特性シーケンスは、前記少なくとも１つのオーディオフレームの類似性を反映することができる。本ステップにおいて、まず、相関計算式を用いて前記少なくとも１つのオーディオフレームの関連性を計算することができ、ここで、計算によって前記少なくとも１つのオーディオフレームの相関関数シーケンスを取得することができ、ｒ（）で相関関数を示すと、相関計算によってｒ（ｎ）、ｒ（ｎ＋１）、ｒ（ｎ＋２）…ｒ（Ｎ−２）、ｒ（Ｎ−１）を取得することができる。次に、前記少なくとも１つのオーディオフレームの相関関数シーケンスに対して、最大値、ピーク値などの分析を行うことにより、ピーク値特性シーケンスを構築する。
【０２１５】
本発明の実施例において、ｖ（ｎ）で前記ピーク値特性シーケンスを示すと、構築されたピーク値特性シーケンスｖ（ｎ）は、それぞれｖ（０）、ｖ（１）…ｖ（Ｎ−１）である合計Ｎ個のピーク値特性要素を含む。ｖ（０）の数値は、オーディオフレームｘ（０）とその後のオーディオフレームとの間の関連性を記述し、ｖ（１）の数値は、ｘ（１）とその後のオーディオフレームとの間の関連性を記述することができ、以下同様である。
【０２１６】
Ｓ１４０３では、前記ピーク値特性シーケンスを規則化処理する。
【０２１７】
本ステップにおいて、所定の間隔係数に対応するスキャン区間で、前記ピーク値特性シーケンスｖ（ｎ）を規則化処理することができる。規則化処理は、前記ピーク値特性シーケンスｖ（ｎ）を、前記所定の間隔係数に対応するスキャン区間内で最大のピーク値が１つのみ存在するようにし、後に続く段落分けの正確性を保証することを目的とする。
【０２１８】
Ｓ１４０４では、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定する。
【０２１９】
前記規則化後の前記ピーク値特性シーケンスｖ（ｎ）における各ピーク値特性要素の数値は、オーディオフレームの間の関連性を記述することができ、従って、本ステップは、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値要素の数値に基づいて、オーディオ段落に変化が発生する時間を決定することができる。
【０２２０】
Ｓ１４０５では、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行う。取得されたオーディオ・ファイルの段落変更時間に従って、前記対象オーディオ・ファイルに対して段落分けを行うことができる。
【０２２１】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２２２】
図１５は、本発明の実施例に係る別のオーディオ処理方法のフローチャートである。該方法は、以下のステップＳ１５０１〜ステップＳ１５１０を含んでよい。
【０２２３】
Ｓ１５０１では、ステレオチャンネルタイプ又はモノラルチャンネルタイプを含む前記対象オーディオ・ファイルのタイプを取得する。
【０２２４】
通常、インターネットオーディオ・ライブラリには、複数のオーディオ・ファイルと各オーディオ・ファイルの属性が記憶され、オーディオ・ファイルの属性は、オーディオ・ファイルのオーディオ特性、オーディオ・ファイルの識別子及びオーディオ・ファイルのタイプなどを含むが、これらに限られない。本ステップにおいて、インターネットオーディオ・ライブラリから対象オーディオ・ファイルのタイプを取得することができ、具体的な取得方式は、対象オーディオ・ファイルの識別子に基づいて、インターネットオーディオ・ライブラリから該対象オーディオ・ファイルのタイプを検出すること、又は、対象オーディオ・ファイルのオーディオ特性を抽出して、インターネットオーディオ・ライブラリにおけるオーディオ・ファイルのオーディオ特性とマッチングすることにより、インターネットオーディオ・ライブラリにおいて対象オーディオ・ファイルを定位して、前記対象オーディオ・ファイルのタイプを取得することを含むが、これらに限られない。
【０２２５】
Ｓ１５０２では、前記対象オーディオ・ファイルのタイプがモノラルチャンネルタイプであれば、前記対象オーディオ・ファイルが前記モノラルチャンネルから出力したコンテンツをデコードして、オーディオデータを取得し、或いは、前記対象オーディオ・ファイルのタイプがステレオチャンネルタイプであれば、前記ステレオチャンネルから１つのチャンネルを選択して、前記対象オーディオ・ファイルが選択されたチャンネルから出力したコンテンツをデコードして、オーディオデータを取得するか、又は、前記ステレオチャンネルをハイブリッドチャンネルに処理して、前記対象オーディオ・ファイルが前記ハイブリッドチャンネルから出力したコンテンツをデコードして、オーディオデータを取得する。
【０２２６】
ここで、前記対象オーディオ・ファイルのタイプがモノラルチャンネルタイプであれば、前記対象オーディオ・ファイルは、１つのチャンネルを介してオーディオコンテンツを出力し、本ステップは、該モノラルチャンネルが出力したオーディオコンテンツをデコードして、オーディオデータを取得する。前記対象オーディオ・ファイルのタイプがステレオチャンネルタイプであれば、前記対象オーディオ・ファイルは、２つのチャンネルを介してオーディオコンテンツを出力し、本ステップは、１つのチャンネルが出力したオーディオコンテンツを選択してデコードしてオーディオデータを取得することができ、また、本ステップは、まずＤｏｗｎｍｉｘなどの処理方式で２つのチャンネルをハイブリッドチャンネルに処理し、次にハイブリッドチャンネルが出力したオーディオコンテンツをデコードしてオーディオデータを取得することもできる。
【０２２７】
本発明の実施例において、前記オーディオデータがＮ（Ｎは正の整数）個のオーディオフレームを含み、即ちＮは前記オーディオデータのサンプリング数であると仮定すると、前記オーディオデータはｘ（ｎ）（ｎは正の整数かつｎ＝０、１、２、Ｎ−１）で示すことができる。
【０２２８】
本実施例のステップＳ１５０１〜ステップＳ１５０２は、図１４に示された実施例のステップＳ１４０１の具体的に詳細化したステップであってよい。
【０２２９】
Ｓ１５０３では、前記少なくとも１つのオーディオフレームにおける各オーディオフレームに対して相関計算を行って、前記少なくとも１つのオーディオフレームに対応する相関関数シーケンスを取得する。
【０２３０】
以下で示す相関計算式を用いて前記少なくとも１つのオーディオフレームの関連性を計算することができる。
【数１】
0006586514.tif 000002
【０２３１】
上記式（１）において、ｉは整数かつ０≦ｉ≦Ｎ−１であり、ｍは整数かつ０≦ｉ≦Ｌであり、Ｌは前記オーディオデータの長さであり、前記オーディオデータのサンプリング時間がＴで、サンプリングレートがｆとすると、Ｌ＝ｆ＊Ｔとなり、Ｍはサンプリング値の最大値であり、例えば、サンプリング値が１６ｂｉｔであれば、Ｍ＝３２７６７となり、サンプリング値が８ｂｉｔであれば、Ｍ＝２５５となる。
【０２３２】
上記式（１）に従って、前記少なくとも１つのオーディオフレームの相関関数シーケンスをｒ（ｎ）、ｒ（ｎ＋１）、ｒ（ｎ＋２）…ｒ（Ｎ−２）、ｒ（Ｎ−１）として計算して取得することができる。
【０２３３】
Ｓ１５０４では、前記少なくとも１つのオーディオフレームに対応する相関関数シーケンスに対して最大値計算を行って、基準シーケンスを生成する。
【０２３４】
前記基準シーケンスはＤ（ｎ）で示すことができ、本ステップは、以下で示す最大値計算式を用いて前記基準シーケンスを求めることができる。
【数２】
0006586514.tif 000003
【０２３５】
上記式（２）において、ｍａｘ（）は最大値求め関数である。
【０２３６】
上記式（２）で取得された基準シーケンスＤ（ｎ）は、それぞれｄ（０）、ｄ（１）…ｄ（Ｎ−１）である合計Ｎ個の要素を含む。
【０２３７】
Ｓ１５０５では、前記基準シーケンスに対してピーク値求め計算を行って、前記ピーク値特性シーケンスを取得する。
【０２３８】
ｖ（ｎ）で前記ピーク値特性シーケンスを示すと、構築されたピーク値特性シーケンスｖ（ｎ）は、それぞれｖ（０）、ｖ（１）…ｖ（Ｎ−１）である合計Ｎ個のピーク値特性要素を含む。ｖ（０）の数値は、オーディオフレームｘ（０）とその後のオーディオフレームとの間の関連性を記述し、ｖ（１）の数値は、ｘ（１）とその後のオーディオフレームとの間の関連性を記述することができ、以下同様である。本ステップにおいて、前記基準シーケンスＤ（ｎ）に対してピーク値求め計算を行い、計算原則として、要素ｄ（ｉ）（ここで、ｉは整数かつ０≦ｉ≦Ｎ−１）の数値がｄ（ｉ）と隣接した要素の数値以上であれば、ｖ（ｉ）＝ｄ（ｉ）とし、要素ｄ（ｉ）の数値がｄ（ｉ）と隣接した要素の数値より小さければ、ｖ（ｉ）＝０とする。このような計算原則に従って、前記ピーク値特性シーケンスｖ（ｎ）の各ピーク値特性要素の数値を取得することができる。
【０２３９】
本実施例のステップＳ１５０３〜ステップＳ１５０５は、図１４に示された実施例のステップＳ１４０２の具体的に詳細化したステップであってよい。
【０２４０】
Ｓ１５０６では、所定の間隔係数に対応するスキャン区間を取得する。
【０２４１】
前記所定の間隔係数は実際の需要に応じて設定でき、前記所定の間隔係数がＱとすると、前記所定の間隔係数に対応するスキャン区間は、［ｉ−Ｑ／２，ｉ＋Ｑ／２］（ここで、ｉは整数かつ０≦ｉ≦Ｎ−１）であってよい。
【０２４２】
Ｓ１５０７では、前記所定の間隔係数に対応するスキャン区間を用いて、前記ピーク値特性シーケンスを規則化し、前記所定の間隔係数に対応するスキャン区間内における最大のピーク値に対応するピーク値特性要素の数値を対象値に設定し、前記所定の間隔係数に対応するスキャン区間内における、前記最大のピーク値に対応するピーク値特性要素以外のその他のピーク値特性要素の数値を初期値に設定する。
【０２４３】
前記対象値と前記特性値は、実際の需要に応じて設定でき、本発明の実施例は前記対象値を１に、前記参考値を０に設定することができる。
【０２４４】
ステップＳ１５０６〜ステップＳ１５０７の前記ピーク値特性シーケンスｖ（ｎ）に対する規則化処理は、前記ピーク値特性シーケンスｖ（ｎ）を、前記所定の間隔係数に対応するスキャン区間内で最大のピーク値が１つのみ存在するようにし、後に続く段落分けの正確性を保証することを目的とする。本実施例のステップＳ１５０６〜ステップＳ１５０７は、図１４に示された実施例のステップＳ１４０３の具体的に詳細化したステップであってよい。
【０２４５】
Ｓ１５０８では、規則化後の前記ピーク値特性シーケンスから、数値が対象値であるピーク値特性要素に対応する対象インデックスを取得する。本ステップは、数値が１であるピーク値特性要素に対応する対象インデックスを取得する必要があり、例えば、ｖ（ｉ）＝１とすると、本ステップが取得できる対象インデックスはｉとなる。
【０２４６】
Ｓ１５０９では、前記対象インデックスと前記対象オーディオ・ファイルのサンプリングレートに基づいて、段落変更時間を計算する。
【０２４７】
本ステップは、前記対象インデックスを前記対象オーディオ・ファイルのサンプリングレートで除算することで段落変更時間を取得することができ、本実施例に示された例に従って、取得された対象インデックスはｉで、サンプリングレートはｆであるので、ある段落変更時間はｉ／ｆとなり、例えば、対象インデックスｉ＝４４１０００、サンプリングレートｆ＝４４１００であれば、ｉ／ｆ＝１００となり、即ち、前記対象オーディオ・ファイルにおいて、１００ｓの所でオーディオ段落の変化が発生する。
【０２４８】
Ｓ１５１０では、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行う。取得されたオーディオ・ファイルの段落変更時間に従って、前記対象オーディオ・ファイルに対して段落分けを行うことができる。
【０２４９】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２５０】
以下、図１６〜図２０を参照しながら、本発明の実施例に係るオーディオ処理装置の構造と機能を詳細に記述する。なお、下記図１６〜図２０に示された装置は、上記図１４〜図１５に示された方法の実行に応用するために、端末で動作することができる。
【０２５１】
図１６は、本発明の実施例に係るオーディオ処理装置の概略構成図である。該装置は、取得手段１６０１、構築手段１６０２、規則化処理手段１６０３、決定手段１６０４及び段落分け手段１６０５を含んでよい。
【０２５２】
取得手段１６０１は、対象オーディオ・ファイルの、少なくとも１つのオーディオフレームを含むオーディオデータを取得する。
【０２５３】
オーディオ・ファイルはオーディオデータを含み、オーディオ・ファイルをデコード（例えば、ＰＣＭデコード）すると、オーディオデータ（例えば、ＰＣＭデータ）を取得することができる。前記取得手段１６０１は、対象オーディオ・ファイルをデコードして、前記対象オーディオ・ファイルのオーディオデータ取得することができる。前記オーディオデータは少なくとも１つのオーディオフレームを含むことができ、即ち前記オーディオデータは、前記少なくとも１つのオーディオフレームで順に構成された１つのフレームシーケンスとして示すことができる。
【０２５４】
本発明の実施例において、前記オーディオデータがＮ（Ｎは正の整数）個のオーディオフレームを含み、即ちＮは前記オーディオデータのサンプリング数であるとすると、前記オーディオデータはｘ（ｎ）（ｎは正の整数かつｎ＝０、１、２、Ｎ−１）で示すことができる。
【０２５５】
構築手段１６０２は、前記少なくとも１つのオーディオフレームの関連性に基づいて、少なくとも１つのピーク値特性要素を含むピーク値特性シーケンスを構築する。
【０２５６】
前記ピーク値特性シーケンスは、前記少なくとも１つのオーディオフレームの類似性を反映することができる。まず、前記構築手段１６０２は、相関計算式を用いて前記少なくとも１つのオーディオフレームの関連性を計算することができ、ここで、計算に従って前記少なくとも１つのオーディオフレームの相関関数シーケンスを取得することができ、ｒ（）で相関関数を示すと、相関計算に従ってｒ（ｎ）、ｒ（ｎ＋１）、ｒ（ｎ＋２）…ｒ（Ｎ−２）、ｒ（Ｎ−１）を取得することができる。次に、前記構築手段１６０２は、前記少なくとも１つのオーディオフレームの相関関数シーケンスに対して、最大値、ピーク値などの分析を行うことにより、ピーク値特性シーケンスを構築することができる。
【０２５７】
本発明の実施例において、ｖ（ｎ）で前記ピーク値特性シーケンスを示すと、構築されたピーク値特性シーケンスｖ（ｎ）は、それぞれｖ（０）、ｖ（１）…ｖ（Ｎ−１）である合計Ｎ個のピーク値特性要素を含む。ｖ（０）の数値は、オーディオフレームｘ（０）とその後のオーディオフレームとの間の関連性を記述し、ｖ（１）の数値は、ｘ（１）とその後のオーディオフレームとの間の関連性を記述することができ、以下同様である。
【０２５８】
規則化処理手段１６０３は、前記ピーク値特性シーケンスを規則化処理する。
【０２５９】
前記規則化処理手段１６０３は、所定の間隔係数に対応するスキャン区間で、前記ピーク値特性シーケンスｖ（ｎ）を規則化処理することができる。規則化処理は、前記ピーク値特性シーケンスｖ（ｎ）を、前記所定の間隔係数に対応するスキャン区間内で最大のピーク値が１つのみ存在するようにし、後に続く段落分けの正確性を保証することを目的とする。
【０２６０】
決定手段１６０４は、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定する。
【０２６１】
前記規則化後の前記ピーク値特性シーケンスｖ（ｎ）における各ピーク値特性要素の数値は、オーディオフレームの間の関連性を記述することができ、従って、前記決定手段１６０４は、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値要素の数値に基づいて、オーディオ段落に変化が発生する時間を決定することができる。
【０２６２】
段落分け手段１６０５は、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行う。
【０２６３】
取得されたオーディオ・ファイルの段落変更時間に従って、前記段落分け手段１６０５は、前記対象オーディオ・ファイルに対して段落分けを行うことができる。
【０２６４】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２６５】
図１７は、図１６に示された取得手段の実施例の概略構成図である。該取得手段１６０１は、タイプ取得手段１７０１とデコード手段１７０２を含んでよい。
【０２６６】
タイプ取得手段１７０１は、ステレオチャンネルタイプ又はモノラルチャンネルタイプを含む前記対象オーディオ・ファイルのタイプを取得する。
【０２６７】
通常、インターネットオーディオ・ライブラリには、複数のオーディオ・ファイルと各オーディオ・ファイルの属性が記憶され、オーディオ・ファイルの属性は、オーディオ・ファイルのオーディオ特性、オーディオ・ファイルの識別子及びオーディオ・ファイルのタイプなどを含むが、これらに限られない。前記タイプ取得手段１７０１は、インターネットオーディオ・ライブラリから対象オーディオ・ファイルのタイプを取得することができ、具体的な取得方式は、対象オーディオ・ファイルの識別子に基づいて、インターネットオーディオ・ライブラリから該対象オーディオ・ファイルのタイプを検出すること、又は、対象オーディオ・ファイルのオーディオ特性を抽出して、インターネットオーディオ・ライブラリにおけるオーディオ・ファイルのオーディオ特性とマッチングすることにより、インターネットオーディオ・ライブラリにおいて対象オーディオ・ファイルを定位して、前記対象オーディオ・ファイルのタイプを取得することを含むが、これらに限られない。
【０２６８】
デコード手段１７０２は、前記対象オーディオ・ファイルのタイプがモノラルチャンネルタイプであれば、前記対象オーディオ・ファイルが前記モノラルチャンネルから出力したコンテンツをデコードして、オーディオデータを取得し、或いは、前記対象オーディオ・ファイルのタイプがステレオチャンネルタイプであれば、前記ステレオチャンネルから１つのチャンネルを選択して、前記対象オーディオ・ファイルが選択されたチャンネルから出力したコンテンツをデコードして、オーディオデータを取得するか、又は、前記ステレオチャンネルをハイブリッドチャンネルに処理して、前記対象オーディオ・ファイルが前記ハイブリッドチャンネルから出力したコンテンツをデコードして、オーディオデータを取得する。
【０２６９】
ここで、前記対象オーディオ・ファイルのタイプがモノラルチャンネルタイプであれば、前記対象オーディオ・ファイルは、１つのチャンネルを介してオーディオコンテンツを出力し、前記デコード手段１７０２は、該モノラルチャンネルが出力したオーディオコンテンツをデコードして、オーディオデータを取得する必要がある。前記対象オーディオ・ファイルのタイプがステレオチャンネルタイプであれば、前記対象オーディオ・ファイルは、２つのチャンネルを介してオーディオコンテンツを出力し、前記デコード手段１７０２は、１つのチャンネルが出力したオーディオコンテンツを選択してデコードしてオーディオデータを取得することができ、また、前記デコード手段１７０２は、まずＤｏｗｎｍｉｘなどの処理方式で２つのチャンネルをハイブリッドチャンネルに処理し、次にハイブリッドチャンネルが出力したオーディオコンテンツをデコードしてオーディオデータを取得することもできる。
【０２７０】
本発明の実施例において、前記オーディオデータがＮ（Ｎは正の整数）個のオーディオフレームを含み、即ちＮは前記オーディオデータのサンプリング数であるとすると、前記オーディオデータはｘ（ｎ）（ｎは正の整数かつｎ＝０、１、２、Ｎ−１）で示すことができる。
【０２７１】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２７２】
図１８は、図１６に示された構築手段の実施例の概略構成図である。該構築手段１６０２は、相関計算手段１８０１、生成手段１８０２及びシーケンス求め手段１８０３を含んでよい。
【０２７３】
相関計算手段１８０１は、前記少なくとも１つのオーディオフレームにおける各オーディオフレームに対して相関計算を行って、前記少なくとも１つのオーディオフレームに対応する相関関数シーケンスを取得する。
【０２７４】
前記相関計算手段１８０１は、図２に示された実施例における式（１）で示す相関計算式を用いて、前記少なくとも１つのオーディオフレームの関連性を計算することができる。上記式（１）に従って、前記少なくとも１つのオーディオフレームの相関関数シーケンスをｒ（ｎ）、ｒ（ｎ＋１）、ｒ（ｎ＋２）…ｒ（Ｎ−２）、ｒ（Ｎ−１）として計算して取得することができる。
【０２７５】
生成手段１８０２は、前記少なくとも１つのオーディオフレームに対応する相関関数シーケンスに対して最大値計算を行って、基準シーケンスを生成する。
【０２７６】
前記基準シーケンスはＤ（ｎ）で示すことができ、前記生成手段１８０２は、図２に示された実施例における式（２）で示す最大値計算式を用いて、前記基準シーケンスを求めることができる。上記式（２）に従って取得された基準シーケンスＤ（ｎ）は、それぞれｄ（０）、ｄ（１）…ｄ（Ｎ−１）である合計Ｎ個の要素を含む。
【０２７７】
シーケンス求め手段１８０３は、前記基準シーケンスに対してピーク値求め計算を行って、前記ピーク値特性シーケンスを取得する。
【０２７８】
ｖ（ｎ）で前記ピーク値特性シーケンスを示すと、構築されたピーク値特性シーケンスｖ（ｎ）は、それぞれｖ（０）、ｖ（１）…ｖ（Ｎ−１）である合計Ｎ個のピーク値特性要素を含む。ｖ（０）の数値は、オーディオフレームｘ（０）とその後のオーディオフレームとの間の関連性を記述し、ｖ（１）の数値は、ｘ（１）とその後のオーディオフレームとの間の関連性を記述することができ、以下同様である。前記シーケンス求め手段１８０３は、前記基準シーケンスＤ（ｎ）に対してピーク値求め計算を行い、計算原則として、要素ｄ（ｉ）（ここで、ｉは整数かつ０≦ｉ≦Ｎ−１）の数値がｄ（ｉ）と前後隣接した要素の数値以上であれば、ｖ（ｉ）＝ｄ（ｉ）とし、要素ｄ（ｉ）の数値がｄ（ｉ）と前後隣接した要素の数値より小さければ、ｖ（ｉ）＝０とする。このような計算原則に従って、前記ピーク値特性シーケンスｖ（ｎ）の各ピーク値特性要素の数値を取得することができる。
【０２７９】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２８０】
図１９は、図１６に示された規則化処理手段の実施例の概略構成図である。該規則化処理手段１６０３は、区間取得手段１９０１と規則化手段１９０２を含んでよい。
【０２８１】
区間取得手段１９０１は、所定の間隔係数に対応するスキャン区間を取得する。
【０２８２】
前記所定の間隔係数は実際の需要に応じて設定でき、前記所定の間隔係数がＱとすると、前記所定の間隔係数に対応するスキャン区間は、［ｉ−Ｑ／２，ｉ＋Ｑ／２］（ここで、ｉは整数かつ０≦ｉ≦Ｎ−１）であってよい。
【０２８３】
規則化手段１９０２は、前記所定の間隔係数に対応するスキャン区間を用いて、前記ピーク値特性シーケンスを規則化し、前記所定の間隔係数に対応するスキャン区間内における最大のピーク値に対応するピーク値特性要素の数値を対象値に設定し、前記所定の間隔係数に対応するスキャン区間内における、前記最大のピーク値に対応するピーク値特性要素以外のその他のピーク値特性要素の数値を初期値に設定する。前記対象値と前記特性値は、実際の需要に応じて設定でき、本発明の実施例は前記対象値を１に、前記参考値を０に設定することができる。
【０２８４】
前記ピーク値特性シーケンスｖ（ｎ）に対する規則化処理は、前記ピーク値特性シーケンスｖ（ｎ）を、前記所定の間隔係数に対応するスキャン区間内で最大のピーク値が１つのみ存在するようにし、後に続く段落分けの正確性を保証することを目的とする。
【０２８５】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２８６】
図２０は、図１６に示された決定手段の実施例の概略構成図である。該決定手段１６０４は、対象インデックス取得手段２００１と時間計算手段２００２を含んでよい。
【０２８７】
対象インデックス取得手段２００１は、規則化後の前記ピーク値特性シーケンスから、数値が対象値であるピーク値特性要素に対応する対象インデックスを取得する。
【０２８８】
図１９に示された例に従って、前記対象インデックス取得手段２００１は、数値が１であるピーク値特性要素に対応する対象インデックスを取得する必要があり、例えば、ｖ（ｉ）＝１とすると、前記対象インデックス取得手段２００１が取得できる対象インデックスはｉとなる。
【０２８９】
時間計算手段２００２は、前記対象インデックス及び前記対象オーディオ・ファイルのサンプリングレートに基づいて、段落変更時間を計算する。
【０２９０】
前記時間計算手段２００２は、前記対象インデックスを前記対象オーディオ・ファイルのサンプリングレートで除算することで段落変更時間を取得することができ、本実施例に示された例に従って、取得された対象インデックスはｉで、サンプリングレートはｆであるので、ある段落変更時間はｉ／ｆとなり、例えば、対象インデックスｉ＝４４１０００、サンプリングレートｆ＝４４１００であれば、ｉ／ｆ＝１００となり、即ち、前記対象オーディオ・ファイルにおいて、１００ｓの所でオーディオ段落の変化が発生する。
【０２９１】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２９２】
本発明の実施例はさらに端末を開示し、該端末はＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ、パソコン）、ノートパソコン、携帯電話、ＰＡＤ（タブレット型コンピュータ）、車載端末、インテリジェント着用可能設備などの設備であってよい。該端末にオーディオ処理装置を含んでよく、該装置の構造及び機能は上記図１６〜図２０を参照することができ、ここで説明を省略する。
【０２９３】
本発明の実施例において、対象オーディオ・ファイルのオーディオデータに含まれる少なくとも１つのオーディオフレームの関連性に基づいて、ピーク値特性シーケンスを構築し、前記ピーク値特性シーケンスに対して規則化処理を行い、規則化後の前記ピーク値特性シーケンスにおける少なくとも１つのピーク値特性要素の数値に基づいて、段落変更時間を決定し、前記段落変更時間に従って前記対象オーディオ・ファイルに対して段落分けを行うことができ、該オーディオ処理プロセスは、オーディオ段落の間のオーディオフレームの関連性の特徴を利用して、対象オーディオ・ファイルに対する段落分けを実現し、段落分け処理の効率を向上させ、オーディオ処理のインテリジェント性を向上させることができる。
【０２９４】
以上の記載は、本発明の好ましい実施例に過ぎず、本発明を限定するものではなく、本発明の構想及び原則内に行われたいずれの補正、同等置換及び改善などは、すべて本発明の保護範囲内に含まれるべきである。
【符号の説明】
【０２９５】
３０１  取得手段
３０２  構築手段
３０３  最適化手段
３０４  決定手段
３０５  段落分け手段
４０１  数量決定手段
４０２  インデックス決定手段
４０３  数値設定手段
【図１】
0006586514.tif 000004
【図２】
0006586514.tif 000005
【図３】
0006586514.tif 000006
【図４】
0006586514.tif 000007
【図５】
0006586514.tif 000008
【図６】
0006586514.tif 000009
【図７】
0006586514.tif 000010
【図８】
0006586514.tif 000011
【図９】
0006586514.tif 000012
【図１０】
0006586514.tif 000013
【図１１】
0006586514.tif 000014
【図１２】
0006586514.tif 000015
【図１３】
0006586514.tif 000016
【図１４】
0006586514.tif 000017
【図１５】
0006586514.tif 000018
【図１６】
0006586514.tif 000019
【図１７】
0006586514.tif 000020
【図１８】
0006586514.tif 000021
【図１９】
0006586514.tif 000022
【図２０】
0006586514.tif 000023