(57)【要約】ビジュアル情報をオーディオ再生と同期させる方法は、表示装置と関連したメモリに格納されたリストから望ましいオーディオファイルを選択する手順と、遠隔装置に望ましいオーディオファイルを開始させるために表示装置から遠隔装置へ信号を送信する手順と、ビジュアル情報が望ましいオーディオファイルの再生と同時に表示されるようにタイムスタンプデータに応じて望ましいオーディオファイルと関連したビジュアル情報を表示装置に表示する手順と、を含み、望ましいオーディオファイルの再生の開始と、表示する手順の開始は、表示装置からの信号に基づいて決められる。
2004521385.tif 000002
【特許請求の範囲】
【請求項１】
ビジュアル情報をオーディオ再生と同期させる方法であって、
希望のオーディオファイルのユーザ選択情報を受信する手順と、
希望のオーディオファイルの再生を開始する手順と、
ビジュアル情報が希望のオーディオファイルの再生と同期して表示されるように、タイムスタンプデータに応じて希望のオーディオファイルと関連したビジュアル情報を表示装置に表示する手順と、
を有し、
希望のオーディオファイルの再生の開始と表示する手順の開始は、表示装置からの信号に基づいて決められる、
方法。
【請求項２】
表示装置はハンドヘルド型装置を含む、請求項１記載の方法。
【請求項３】
信号は、遠隔装置が希望のオーディオファイルを再生する前に遠隔装置のオンとオフを切り替える、請求項１記載の方法。
【請求項４】
オーディオファイルを解析し、オーディオファイルと関連したビジュアル情報に対応したタイムスタンプデータを生成する手順を更に有する請求項１記載の方法。
【請求項５】
タイムスタンプデータはテキストベースの処理を利用して生成される、請求項４記載の方法。
【請求項６】
タイムスタンプデータは発音辞書処理を利用して生成される、請求項４記載の方法。
【請求項７】
タイムスタンプデータは音楽処理の音符表記を利用して生成される、請求項４記載の方法。
【請求項８】
タイムスタンプデータは音楽から抽出されたテンポ情報を利用して生成される、請求項４記載の方法。
【請求項９】
希望のオーディオファイルから抽出されたキーワードの位置を、タイムスタンプデータ内の実際のキーワードの位置と比較し、タイムスタンプデータ内のキーワードの位置と一致させるため抽出されたキーワードの位置を調整する手順を更に有する請求項４記載の方法。
【請求項１０】
遠隔装置を開始させるため表示装置から遠隔装置へ信号を送信する手順を更に有する請求項１記載の方法。
【請求項１１】
オーディオ信号源からタイムスタンプデータを生成する方法であって、
該オーディオ信号源から有声音及び無声音データを抽出する手順と、
有声音及び無声音データ内の選択された、タイムスタンプを生成するための基礎となる情報を識別するため、有声音及び無声音データを解析する手順と、
選択された各情報に関連したタイムスタンプ値を生成する手順と、
を有する方法。
【請求項１２】
オーディオ再生に関連したビジュアル情報を同期させる装置であって、
オーディオデータから音響特徴を抽出する特徴抽出器と、
オーディオデータ内のポーズを検出するポーズ検出器と、
オーディオデータの連続的なビットストリームを、各セグメントがクラスに関して同質になるように、別々の重なり合わないセグメントに解析する分類器と、
各セグメントにタイムスタンプ値を割り当てるタイムスタンプ器と、
を有する装置。
【発明の詳細な説明】
【０００１】
〔関連出願へのクロスリファレンス〕
本願は、２００１年３月２３日に出願された米国仮特許出願第６０／２７８，３１９号（ＵＳ０１０１１０）に基づく優先権主張出願であり、この米国仮特許出願の開示事項は参考のため本願明細書に組み込まれる。
【技術分野】
【０００２】
本発明は、一般的にカラオケシステム等で使用するため歌詞（歌のテキスト）を適時に提供する技術に係り、特に、テキスト及びビジュアル情報をオーディオ再生と同期させる装置並びに方法に関する。
【背景技術】
【０００３】
多数のシステムは、音楽が再生されるときに、歌詞を表示装置に提示する能力を備えている。例えば、カラオケシステムと関連した通常の表示機器は、典型的に、記録された歌詞データに従って歌の単語を提示する表示装置を提供する。歌詞データは、所定のフレーズ単位の形式で記録され、その分節位置は、歌の単語の指定されたラインを別のラインへ変更するように適合させられる。
【０００４】
カラオケシステムに伴う問題点は、割高な手入力による編集を要することである。したがって、歌が、歌の単語のテキストファイルを作成する費用を十分に保証できるほどには商業的に売れていない場合、ユーザは望ましい歌のテキストファイルを利用できない。更に、カラオケシステムは、典型的に、携帯型ではなく、大型画面が必要になる。その上、歌詞の表現は、典型的に、特定の表示装置に合わせて調整される。このため、１個のフレーズの単語は、特定の表示装置で使用するために生成された歌詞データが別の表示装置（例えば、画面が小さい別の表示装置）のために使用される場合に、１ラインに表示できないこともあり得る。
【０００５】
米国特許第６，０６２，８６７号明細書には、歌の単語を表示装置に表示する条件が音楽の楽曲の進行に伴って徐々に変更される歌詞表示機器が開示されている。歌詞の表示条件は、所定の時間間隔で所定の量の単位で歌の各単語の記憶された生成タイミングデータに基づいて変更される。
【０００６】
米国特許第６，０５３，７４０号明細書には、１ラインに示されるべき所定の単語数を規定する第１のライン変更コードと、ラインに示された単語の分節位置を規定する第２のライン変更コードと、を含む歌詞データを記憶する歌詞表示機器が示されている。
【０００７】
技術的な進展にもかかわらず、テキスト或いはその他のビジュアル情報をそれらと関連したオーディオと同期させる正確で効率的な機器及び方法が依然として望まれている。更に、ユーザが後を追えるように歌の単語を単語のオーディオバージョンと同時に提示する表示装置が望まれている。
【０００８】
〔発明の開示〕
本発明は、自動処理技術を使用して、関連したテキスト若しくはその他のビジュアル情報をオーディオ（特に、音楽）再生と同期させる。本発明は、ユーザの始動で有効な単語を取得し、単語が当てはまる場所を定めるため歌を（セグメントに）分割し、各セグメントの開始時間及び終了時間を抽出し、各セグメントにタイムスタンプ値を割り当て、ユーザが後を追えるように単語を同期させて提示することができる。
【０００９】
本発明は、特に、オーディオファイルが歌であり、ビジュアル情報が歌のテキストであるカラオケタイプのアプリケーションに適用可能である。タイムスタンプデータは、ビジュアル情報を対応した音声セグメント及び非音声セグメントと相互に関連させるために割り当てられる。表示装置は、オーディオファイルを再生する機能を備えている遠隔装置で開始シーケンスを始動し、オーディオファイルの再生と同期させてビジュアル情報を提示するように構成される。更に、ビジュアル情報をハンドヘルド型装置に出力させることにより、各人は、別個のビューを獲得し、同時に都合よく変換することができる。
【００１０】
本発明の一局面によれば、ビジュアル情報をオーディオ再生と同期させる方法は、表示装置と関連したメモリに格納されたリストから望ましいオーディオファイルを選択する手順と、遠隔装置に望ましいオーディオファイルを開始させるために表示装置から遠隔装置へ信号を送信する手順と、ビジュアル情報が望ましいオーディオファイルの再生と同時に表示されるようにタイムスタンプデータに応じて望ましいオーディオファイルと関連したビジュアル情報を表示装置に表示する手順と、を含み、望ましいオーディオファイルの再生の開始と、表示する手順の開始は、表示装置からの信号に基づいて決められる。
【００１１】
以下の典型的な実施例の説明と添付図面を参照することにより、本発明がより良く理解できるであろう。
【発明を実施するための最良の形態】
【００１２】
本発明は、自動処理技術を使用して、オーディオ再生と、関連したテキスト若しくはその他のビジュアル情報をと同期させる効率的な方法を提供する。本発明の一局面によれば、オーディオファイルは、音声セグメントと非音声セグメントに分割され、オーディオファイルと、関連したビジュアル情報の間の同期を改良する。
【００１３】
以下の説明の構成は次の通りである。最初に、オーディオ信号の分類に使用される様々な時間的ドメイン特徴及び空間的ドメイン特徴の背景を説明する。次に、図１のオーディオクラスシステム４０によって実行される様々な処理ステップをステップ毎に別々に説明する。
【００１４】
より詳細には、典型的なオーディオクラスシステム４０は、図２及び３を参照して後述される特徴抽出ステップ４２と、図４Ａ、４Ｂ及び５を参照して後述されるポーズ検出ステップ４４と、図６を参照して後述されるオーディオ分割（セグメンテーション）ステップ４６と、図６を参照して説明されるオーディオセグメント分類ステップ４８と、を含む。
【００１５】
最後に、テキスト及びビジュアル情報とオーディオ再生との同期についての説明がなされる。
【００１６】
［時間的及び空間的ドメイン特徴の用語について］
図２及び３を参照するに、短期平均エネルギーを計算するツールは、ＡｖｇＥｎｅｒｇｙのように示されている。ＡｖｇＥｎｅｒｇｙの式は、
【００１７】
【数１】
2004521385.tif 000003
のように表現され、式中、
【００１８】
【数２】
2004521385.tif 000004
である。Ｗは、処理ウィンドウのサイズを表し、ｓ（ｉ）は離散時間オーディオ音声を表す。
【００１９】
以下の幾つかのスペクトル特徴のようなスペクトル重心は、短期フーリエ変換に基づいて計算される。短期フーリエ変換は、時間軸に沿ってフレーム毎に実行される。ここで、ｉ番目のフレームの短期フーリエ変換を
【００２０】
【数３】
2004521385.tif 000005
で表現する。Ｍは最高周波数帯域のインデックスである。フレームｉのスペクトル重心は、
【００２１】
【数４】
2004521385.tif 000006
のように計算される。
【００２２】
フレームｉのＦＦＴの帯域幅は、
【００２３】
【数５】
2004521385.tif 000007
として計算される。
【００２４】
スペクトル・ロールオフ周波数（ＳＲＦ）は、通常、低エネルギーの無声音セグメントに対して非常に高く、かなりエネルギーの高い音声セグメントに対しては非常に低い。しかし、音楽と雑音は、特性が類似していないので、この特徴は、音声と、それ以外のタイプのオーディオとを区別するために役に立つ可能性が高い。ＳＲＦは、
【００２５】
【数６】
2004521385.tif 000008
のように定義され、ＴＨは、０と１の間の閾値を表す。
【００２６】
帯域エネルギー比（ＢＥＲ）は種々の方法で定義できるが、種々の定義の間の差は本質的に大きくない。ＢＥＲは、
【００２７】
【数７】
2004521385.tif 000009
のように定義され、ここで、ｈ＝Ｍ／４である。
【００２８】
デルタスペクトルの大きさ（マグニチュード）は、音声と音楽を弁別するために非常に適した特徴である。デルタスペクトルの大きさは、
【００２９】
【数８】
2004521385.tif 000010
のように与えられる。
【００３０】
零交差比（ＺＣＲ）は、スペクトル重心の相関である。零交差比は、処理ウィンドウ内の時間ドメインでの零交差の回数として定義される。
【００３１】
ピッチパターン(pitch contour)の知識は、話者同定、言語解析、及び、オーディオ情報検索などのような多数のアプリケーションで使用される。多数の利用可能なピッチ検出アルゴリズムの中で、典型的な自己相関ベースのピッチ追跡法は、そのロバストな性質のために利用される。不必要に時間を要する自己相関計算の殆どを回避し、検出精度を最適化するため、一連の修正戦略がピッチ検出法に採用される。
【００３２】
幾つかの分類戦略を使用して１３個の時間的特徴及び空間的特徴の様々な組合せが評価された。これらの評価は、２方向の音声／音楽識別に対して９０％を超える分類精度を報告しているが、音声と、音楽と、同時的な音声及び音楽と、を識別するために同じ特徴の組を使用する３方向の分類に対しては約６５％の分類精度が報告されている。音声認識の分野で広く使用されているケプストラムに基づく特徴についても調べられた。メルケプストラムの自己相関（ＡＣ−Ｍｅｌ）パラメータは、音声の強勢状況の分類に対する適切な特徴として提唱されている。１４個のメル周波数ケプストラム係数（ＭＦＣＣ）を使用して、オーディオデータは７個のカテゴリーに分類される。その７個のカテゴリーは、スタジオ音声と、屋外音声と、背景音楽のある音声と、雑音を多く含む音声と、音楽と、無音と、残りのオーディオパターンを網羅するガーベージである。
【００３３】
オーディオ分類システム４０は、オーディオ信号を様々なカテゴリーのセグメントに分割するためオーディオ信号を処理する。本発明と共に使用される連続的なＧＡＤに対する７個のオーディオカテゴリーは、無音、単一話者音声、音楽、周囲雑音、多数話者音声、同時的な音声及び音楽、並びに、音声及び雑音である。周囲雑音カテゴリーは、背景音のない雑音を表す。同時的な音声及び音楽カテゴリーは、歌唱と、背景音楽付きの音声の両方を含む。本発明によって考慮されるＧＡＤの７個のカテゴリーに対する典型的な波形は、（無音に対する波形を除いて）図２に示されている。
【００３４】
容易に再利用可能であり、かつ、拡張可能な設計の実現をたやすくし、特徴評価の作業をより簡単化するため、図３に示される聴覚ツールボックス２０が開発された。聴覚ツールボックス２０は、２ダース以上のツールを備えている。各ツールは、オーディオデータの解析中に頻繁に要求される単一の基本動作の役割を担う。ツールボックス２０を使用することにより、ストリーム形式のオーディオデータの処理に関連した厄介な作業の殆どは、例えば、バッファ管理及び最適化、異なる処理手続き間の同期、並びに、例外処理などは、ユーザから見えなくなる。現在、ツールボックス２０で実施されている演算には、周波数ドメイン演算と、時間ドメイン演算と、短期平均化、対数演算、ウィンドウ化、及び、クリッピングなどのような基本的数学演算と、が含まれる。共通の通信取り決めがすべてのツールの間で規定されているので、あるツールで得られた結果は、何ら制限されることなく、他のタイプのツールと共有され得る。かくして、ツールボックス内のツールは、種々のアプリケーション及び要求事項を受け入れるため、非常にフレキシブルな態様で組織化される。
【００３５】
［特徴抽出４２］
図３には、特徴抽出ステップ４２（図１）の間に、６組の音響特徴を抽出するため使用されるツールの典型的な配列が示されている。このツールの配列には、メル周波数ケプストラム（ＭＦＣＣ）２２と、線形予測係数（ＬＰＣ）２４と、デルタＭＦＣＣ２６と、デルタＬＰＣ２８と、自己相関ＭＦＣＣ３０と、幾つかの時間的特徴及び空間的特徴と、が含まれる。尚、後続の３ステップ４４、４６及び４８で使用される音響特徴は、入力オーディオ未加工データから、時間軸に沿ってフレーム単位で抽出される。
【００３６】
ＭＦＣＣ２２は、フィルタバンク形式高速フーリエ変換（ＦＦＴ）スペクトルの離散コサイン変換（ＤＣＴ）を使用して抽出される。この計算は、時間軸に沿って、ウィンドウ処理された入力データに対して、フレーム毎に実行される。矩形ウィンドウやハミングウェインドウのような幾つかのタイプのウィンドウが利用可能である。
【００３７】
ＬＰＣの抽出は、自己相関法を使用して実施される。各処理ステップで、１２個の係数が抽出される。
【００３８】
デルタＭＦＣＣ２６と、デルタＬＰＣ２８と、自己相関ＭＦＣＣ３０の特徴は、ＭＦＣＣ２２又はＬＰＣ２４の動きに対して量的な測定情報を与える。これらの特徴は音声ドメインの一部のアプリケーションで採用される。これらの特徴の定義は、次の通りである。
【００３９】
【数９】
2004521385.tif 000011
式中、ＭＦＣＣi（ν）及びＬＰＣi（ν）は、フレームｉのν番目のＭＦＣＣ及びＬＰＣをそれぞれ表す。Ｌは、相関ウィンドウの長さである。上付きの添え字ｌは、相関ラグの値である。上記の音響特徴に基づいて、オーディオセグメントの分類に使用される多数のその他の特徴は、隣接したフレームの音響特徴を解析することによって更に抽出され得る。
【００４０】
実験結果によると、長期間、例えば、６００ｍｓに及ぶオーディオデータの特性に対応するこれらの特徴は、オーディオセグメントの分類により好適である。オーディオセグメント分類に使用される特徴には、（ｉ）着目しているフレームに中心が置かれた一定数の連続的なフレームに関する音響特徴の平均及び分散、（ｉｉ）ポーズ率（閾値よりも低いエネルギーをもつフレームの個数と、対象としているフレームの総数の比）、（ｉｉｉ）調和（有効ピッチ値をもつフレームの個数と、対象としているフレームの総数の比）、並びに、（ｉｖ）ＭＦＣＣのエネルギーと、デルタＭＦＣＣのエネルギーと、自己相関ＭＦＣＣのエネルギーと、ＬＰＣのエネルギーと、デルタＬＰＣのエネルギーの総和、が含まれる。
【００４１】
［ポーズ検出４４］
ポーズ検出４４は、入力オーディオクリップを無声音セグメントと有声音セグメントに分割する役目を担う。ここで、ポーズとは、ストップ子音若しくは僅かな躊躇によって生じた期間ではなく、聞き手が音の存在しない期間であると判定した期間を表す。したがって、ポーズ検出器は、人の知覚と一致した結果を生じることが非常に重要である。
【００４２】
３ステップの手続きが、ＧＡＤからポーズ期間を検出するためステップ４４の間に実施される。特に、典型的なポーズ処理４４は、（ｉ）オーディオデータの各フレームを、有声音若しくはポーズとして区分し、（ｉｉ）充填処理を行い、（ｉｉｉ）使い捨て処理を行う。ステップ４２の間にツールボックスによって抽出された特徴に基づいて、入力オーディオデータは、最初に、未加工の境界を得るため、有声音フレーム若しくはポーズフレームして、フレーム単位でマークを付けられる。フレーム単位の分類は、図４Ｂに示される決定木アルゴリズムを使用して行われる。決定木は、階層的特徴空間区分法に基づいて獲得される。図４Ａ及び４Ｂには、２次元特徴空間に対する区分結果と、それに対応したポーズ検出のための決定木が示されている。第１のステップで獲得された結果は、通常、無声音と、僅かな躊躇に対する感度が高いので、充填処理及び使い捨て処理が、人のポーズの認知とのより良く合致した結果を生ずるため、後続の２ステップに適用される。
【００４３】
充填処理中に、充填閾値よりも長さが短いポーズセグメント、即ち、ポーズフレームの連続的なシーケンスは、有声音セグメントとしてラベルを付け直され、近傍の有声音セグメントと併合される。使い捨て処理中に、強度閾値よりも小さい強度値をもつ有声音ラベル付きセグメントは、無声音セグメントとしてラベルを付け直される。有声音セグメントの強度は、
【００４４】
【数１０】
2004521385.tif 000012
によって定義される。ここで、Ｌは、有声音セグメントの長さを表し、Ｔlは、図４Ａに示された最低有声音レベルに対応する。セグメントの長さをそのまま使用するのではなく、セグメント強度を定義する基本的な考え方は、一時的なサウンドバーストが使い捨て処理中に無声音としてラベルを付け直されないように、有声音エネルギーを考慮することである。
【００４５】
図５には、ポーズ検出アルゴリズムの３ステップが示されている。図５には、４本の別々のラインのグラフが示されている。グラフ６２は、信号源から受信されたときの未加工オーディオ入力信号を示している。グラフ６４には、未加工データを正規化したものが示され、強いオーディオ信号のセクションが矩形波によって表されている。グラフ６６では、矩形波は、全体として評価され、最小限の間隔しかない近接した矩形波は合成された。次に、グラフ６６からグラフ６８へ進むと、特定のオーディオ信号毎に強度が評価され、グラフ６６の中央の一つのピークは、オーディオ信号が弱いので除去された。
【００４６】
上述の通り、ポーズ検出段階４４は、有声音セグメントと無声音セグメントの２種類のセグメントを生ずる。無声音セグメントは、既に分類されているので、これ以上の処理を行う必要がない。しかし、有声音セグメントは、推移ポイント、即ち、基礎となる信号のカテゴリーが分類前に変化する場所にマークを付けるため、更なる処理を行う必要がある。
【００４７】
［セグメンテーション４６］
推移ポイントを見つけるため、セグメント方式４６は、中断（ブレーク）検出と中断併合の二つの連続的なステップの処理を使用する。中断検出ステップ中に、有声音セグメントを覆う広い検出ウィンドウは移動させられ、各移動位置におけるウィンドウの半分ずつの平均エネルギーが比較される。これにより、以下の２種類のタイプの中断（ブレーク）を検出することができる。
【００４８】
【数１１】
2004521385.tif 000013
ここで、
（外１）
2004521385.tif 000014
及び
（外２）
2004521385.tif 000015
は、それぞれ、検出ウィンドウの前半の平均エネルギー及び後半の平均エネルギーである。オンセット中断は、信号エネルギーの増加によるオーディオカテゴリーの潜在的な変化を表す。同様に、オフセット中断は、エネルギーの低下による基礎となる信号のカテゴリーの変化を意味する。中断検出ウィンドウは信号に沿ってスライドされるので、基本となる信号のオーディオカテゴリーの単一の遷移は、幾つかの連続的な中断を生じ得る。このような一連の中断の併合は、セグメンテーション処理の第２のステップの間に実現される。このステップの間に、同じタイプの隣の中断は、一つの中断に併合される。オフセット中断は、直後のオンセット中断と相互に接近している場合には、そのオンセット中断とも併合される。これは、一方の信号の終わりと他方の信号の始まりの間の小さいギャップを埋めることにより行われる。
【００４９】
図６には、信号中断の検出と併合を含むセグメンテーション処理４６の一例が示されている。分類器は、オーディオデータの連続的なビットストリームを、各セグメントがクラスに関して同質になるように、別々の重なり合わないセグメントに解析する。セグメンテーション・プーリング方式は、境界効果を低減し、人の知覚と一致した分類結果を生ずるための効果的な方法である。あるカテゴリーから別のカテゴリーへのオーディオの遷移は分類誤差を生じる可能性があるので、セグメンテーション・プーリング方式は、このような誤差を低減するための効果的な方法である。セグメンテーション・プーリング方式のセグメンテーション部は、あるオーディオのタイプから別のオーディオのタイプへの遷移が生じている有声音セグメント内で境界を見つけるために使用される。このセグメンテーション部は、入力の有声音セグメント内で境界を見つけるため、声が変化する速さを表すオンセット測定量とオフセット測定量を使用する。セグメンテーション処理４６の結果は、有声音セグメントの同質性を低下させる。セグメンテーション・プーリング方式のプーリング部は、分類４８の際に使用される。プーリング部は、分割された有声音セグメントを分類するため、フレーム毎の分類結果のプーリングを行う。
【００５０】
［オーディオセグメント分類４８］
オーディオセグメントを分類するため、最初に、セグメントの一つ一つのフレームが分類される。フレームは、図６に示されるように、信号によって作成されたエネルギー波形７２に沿って徐々に移動するスライディング（移動）ウィンドウ７０によって定められる。次に、フレーム分類結果は、セグメント全体の分類ラベルを得るため積算される。この積算は、各オーディオカテゴリーに割り当てられたフレームの個数をカウントするプーリング処理によって行われる。最も頻繁にカウントされたカテゴリーは、セグメントに対するオーディオ分類ラベルとして選ばれる。フレームを分類するため使用された特徴は、そのフレームに由来するだけではなく、上述のように他のフレームにも由来する。分類は、各カテゴリーが多次元ガウス分布に従うという仮定の下でベイズ分類器を使用して実行される。フレーム分類用の分類規則は、
【００５１】
【数１２】
2004521385.tif 000016
のように表現される。式中、Ｃは、カテゴリー候補の総数である（本例では、Ｃは６である。）。しかし、好ましい一実施例では、カテゴリー候補の総数は２である。一方は、「有声音」（言葉若しくは歌）を表す。もう一方は、「無声音」（楽器、雑音、静寂（無音）などのような声以外の任意の信号）である。Ｃ*は分類結果であり、ｘは解析中のフレームの特徴ベクトルである。ｍc、Ｓc及びｐcは、それぞれ、平均ベクトル、共分散マトリックス、及び、クラスｃの確率を表す。Ｄ2（ｘ，ｍc，Ｓc）は、ｘとｍcの間のマハラノビス距離を表す。ｍc、Ｓc及びｐcは未知であるため、これらは、最大事後確率（ＭＡＰ）推定器を使用して決定される。
【００５２】
分類アルゴリズムは、最も確からしい（最尤）分類を定義するため最小時間区切り（例えば、秒）を使用する。これは、区切りがより短くなった場合に生じる可能性のある遷移分類の個数を削減する。本質的に、分類アルゴリズムは平滑化関数である。
【００５３】
音声マッピングは、入力テキストが識別された音声セグメントにマッピングされる処理である。テキストは、理想的には、各説の終わりのような大きいポーズが発生する余分な空白ラインで利用可能である。図７に示された例では、二つの音声セグメントＳ１及びＳ２が存在する。ユーザは、各節の終わりを表す空白ライン１０２と共に、図８に示されているようなテキストを入力している。単語（言葉）は、後で詳述するように、図９Ａ若しくは図９Ｂに示されるようなタイムスタンプが付される。
【００５４】
最も簡単なケースでは、パラグラフ（段落）の個数は、図７に示されるように歌の「有音声」セクションと一致する。節内の各ラインに付けられたタイムスタンプは、線形的に与えられる。分類の変化を表すタイムスタンプは、一方のカテゴリーの終わりと別のカテゴリーの始まりを規定する。歌の終わりには、表示中の画面を消去するために、空白テキスト、若しくは、例えば、「〜終わり〜」のようなテキスト的標識を含むタイムスタンプを付けることが望ましい。テキストが空白ライン無しで入力された場合、テキストは、利用可能な音声セグメントの全体に線形的に配分される。
【００５５】
典型的なタイムスタンプファイルは、図９Ａ及び９Ｂに示されている。図９Ａ及び９Ｂのタイムスタンプ１１０（一般的に、秒単位で測定されている。）は、歌のテキスト１１２の左側に示されている。
【００５６】
図９Ａにおけるタイムスタンプ１１０は、実際の経過時間として示されている。即ち、最初のタイムスタンプ値は１５であるので、Ｍｙｓｏｎｇが始まってから１５秒後に、テキストの１ライン目が表示される。１ライン目は、５秒間、即ち、１５秒の経過時間から２０秒の経過時間までの５秒間だけ表示される。経過時間が２０秒になると、テキストの２ライン目が表示される。歌の残りのラインは、残りのタイムスタンプ値に従って順番に表示される。
【００５７】
別の実施例では、図９Ｂのタイムスタップ１１０は、遅延（ドウェル）時間として示されている。結果自体は同じであるが、この例では、空白ラインが１０秒間表示され、次に、テキストの１ライン目が５秒間表示される。「表示と、その後の遅延」のループで動作するシステムの場合、時間は、そのまま直ぐに使用できるように遅延として計算する方が好ましい。
【００５８】
テキストの表示のタイミングは、表示ユニットの能力に応じて異なる。即ち、節が非常に長い場合、或いは、画面の長さが非常に短い場合、フルスクリーン表示ができず、「累積遅延」（即ち、遅延の和）は、単語が同時にフルページで提示されるならば、次のページへ進む前に表示された時間の合計に一致する。
【００５９】
本発明に従ってタイムスタンプ情報を決定するため幾つかの技術が使用されている。図１０を参照すると、本発明によるタイムスタンプ生成処理の概要を説明するフローチャートが示されている。
【００６０】
タイムスタンプファイルを生成するには、二つの基本的な動作が関連している。第１の動作は、音楽２００を抽出し、音楽を適切なカテゴリーに分割することである。第２の動作は、音楽２００と関連したテキスト２１０を抽出し、随意的にテキストに模様を付けることである。音楽２００は、タイムスタンプファイル２３０を形成するため、タイムスタンプ生成器２２０によってテキスト２１０と照合される。タイムスタンプファイル２３０は、一旦生成されると、随意的に（例えば、インターネットを経由して）他のユーザと共有される。タイムスタンプファイル２３０は、ディスプレイを備えた装置、ここでは、表示システム２４０と呼ばれる装置に取り込まれる。
【００６１】
歌が選択されるとき、表示システム２４０は、音楽２００と同期させてテキスト２１０を表示する。表示システム２４０は、例えば、フィリップス  エレクトロニクスによって製造されたPronton（商標）ディスプレイでもよい。このディスプレイは、音楽及びテキストと共に表示シーケンスを同期的に開始させるため、赤外線（ＩＲ）コマンドを発信する。この同期式スタート能力によって、例えば、コンパクトディスク（ＣＤ）プレーヤーのような別個の既存の遠隔装置を制御し、Pronton（商標）ディスプレイに単語を表示させることが可能である。これは、新しい再生システムを購入することなく、テキストの同期式表示が達成される点で有利である。
【００６２】
音楽のテキストは、多数の手段を用いてタイムスタンプ生成処理へ与えることができる。好ましくは、単語のテキストファイルが与えられる。テキストを配信するための手段には、データを読むためのメカニズム、手入力をするためのメカニズム、ネットワーク、無線伝送、可搬型記憶装置技術、及び、当業者に知られているその他の手段を用いて転送するためのメカニズムなどの配信メカニズムが含まれる。例えば、歌詞は、ＣＤ−ＲＯＭ上のデータトラックから読み出し、記憶された歌詞であり、ＲＤＳ  ＦＭサブキャリア、ページャーによって配信されたデータであり、デジタルテレビ伝送情報に埋め込まれ、インターネットから獲得したデータであり、音楽を聴いている人が手作業で入力したデータであり、スマートメディア、コンパクトフラッシュ（登録商標）メモリカード、若しくは、メモリスティックのような可搬型媒体により転送されたデータである。
【００６３】
タイムスタンプ生成は、各単語に、文（センテンス）若しくは段落（パラグラフ）の総区間に基づく値を割り当てることと同じように簡単である。より特色のある情報が利用可能になると、この処理もより正確なタイムスタンプ情報を与えることが可能になる。
【００６４】
音楽歌詞の解析のように本発明によるタイムスタンプ処理の複雑なアプリケーションは、好ましくは、コンピュータで実行される。簡単なタイムスタンプ生成には、コンピュータが無くても構わない。結果は、インターネット・サービス・プロバイダを介して、送られ、共有される。
【００６５】
構文解析とテキストセグメンテーションは、例えば、異なるシンボル若しくは単語間のスペースのような様々な標識に応じて、歌詞を文若しくは段落に分割するために使用される二つの技術である。或いは、コンパイラ技術で使用されるような構文解析メカニズムは、段落を分類タイムスタンプへマッピングするため使用される。これにより、タイミングを更にガイドするため、句読点を使用できるようになる。
【００６６】
タイプスタンプ生成処理は、サポートするために安価な集積回路チップを用いることにより、音楽プレーヤーによって直接実行してもよい。
【００６７】
図１１には、本発明によるタイムスタンプ生成処理１５４を実行するための基本として使用される様々な方法を説明するフローチャートが示されている。
【００６８】
テキストセグメント１４６と、有声音／無声音セグメントタイミング情報とだけを使用するとき、タイムスタンプ値を決定するアルゴリズムは、
【００６９】
【数１３】
2004521385.tif 000017
のように表される。式中、Ｔiは、タイムスタンプが生成されているセグメント内の単語ｉに対するタイムスタンプであり、Ｓ及びＥは、それぞれ、音楽解析から得られたセグメントの開始時間及び終了時間であり、Ｎはセグメント内の単語の総数である。
【００７０】
発音辞書部１５０は、単語ではなく音節の個数をカウントすることにより、タイムスタンプ値をより正確に生成できるようにすることができる。その場合、Ｎは音節の総数を表し、ｉは現在の単語よりも前の音節の個数を表す。
【００７１】
音楽セグメント１４８の音符の表記を利用すると、バージョン間で著しく変化する可能性があるセグメントの始まりから通過した全音符の個数をカウントすることによって、タイムスタンプ値をより正確に生成できるようになる（全音符をカウントするだけでは、正確にはならない。なぜならば、音符は、通常、音楽セグメント、即ち、有声音を含まない音楽のセグメントの導入と遷移を表現しないからである。）。したがって、この場合、Ｎはセグメント内の全音符の個数を表し、ｉは現在の単語よりも前の全音符の個数を表す。
【００７２】
自動音声認識ソフトウェア（ＡＳＲ）の用いることにより、音楽に出現するキーワードを検出することが可能になる。
【００７３】
テンポ技術１４２及びキーワード技術１４４は、他の方法を利用して獲得された結果を検証し、修正するため使用される。例えば、テンポ方式と全音符方式は、有声音セグメントの所要時間を検出することが可能であり、残りのセグメントは無音声セグメントである、と考えられる。
【００７４】
特定の方式を使用することは、随意的であり、アプリケーション要求事項と、リソース利用可能性とに依存する。例えば、タイムスタンプ生成処理１５４を小さいチップ上で実施するとき、簡単なアルゴリズムを利用する方が望ましく、図に破線で示された方法１４２、１４４、１４８及び１５０は要求されない。しかし、リソース利用可能性が問題ではなく、目標は、（例えば、インターネット・サービス・プロバイダのため、又は、商業的なカラオケコンパクトディスクを自動的に作成するため）できる限り正確に情報を生成することであるならば、方法１４２、１４４、１４８及び１５０が要求される。
【００７５】
図１２には、歌の実際の単語と対応することを保証するため、タイムスタンプデータを精緻化する方法が示されている。同図に示されるように、図１１に示された方法１４０から抽出されたキーワード位置は、トランスクリプトの実際のキーワード位置に対応しているかどうかを判定するため検査される。タイムスタンプ内のキーワード位置がトランスクリプト内のキーワードの位置と正確には一致しない場合、タイムスタンプデータはそれに応じて移される。
【００７６】
より詳細には、図１２には、歌の音楽／有声音セグメント（ここでは、非音声／音声セグメントとも呼ばれる）を示す３本の帯が示されている。１本目の帯１６０は、単に解析中の歌の生データを表している。２本目の帯１６２は、実際のキーワード位置と、タイムスタンプ生成処理によって抽出されたキーワード位置との不一致の度合いを表している。キーワードＫ１及びＫ２の実際の位置は、それぞれ、破線の垂直線１６６及び１６８によって示されている。垂直線１７０及び１７２は、タイムスタンプデータに従うキーワードＫ１及びＫ２の位置を表す。かくして、タイムスタンプデータの精度を高めるため、キーワードＫ１及びＫ２の位置は、図１２の２本目の帯１６２に示された矢印の向きに調整しなければならない。３本目の帯１６４は、調整処理の最終結果を示している。このように、キーワードＫ１及びＫ２のタイムスタンプデータは、それぞれ、１７４及び１７６によって指定されているような実際のＫ１位置及びＫ２位置に一致する。
【００７７】
テキストの各ポイントと関連した正確なタイムスタンプが得られると、Pronto（商標）のようなハンドヘルド型表示システムは、適切な時間にテキストを表示することができる。
【００７８】
テキストは、読み易さ、美観、又は、娯楽性を高めるため、様々な形式で画面に表示される。例えば、センテンスは、表示を容易くするためワードラップされ、テキストは、新しいラインが出現するときに上書きされ、或いは、画面は、画面サイズに応じてＮライン毎に消去される。また、テキストを、画面の一番下から一番上へワードラップする方法もある。例えば、画面は、上半分と下半分の半分ずつに分割され、それらは交互にリフレッシュされる。これにより、見る人は、前の半分のページの終わりと、現在の半分のページを同時に見ることができる。テキストをスクロールさせることも可能であるが、スクローリングは、表示されているときに見ることが困難である場合が屡々ある。
【００７９】
男性と女性の両方によって歌唱される歌詞を含む歌の場合、識別は、男性によって歌唱される特定の単語と、女性によって歌唱される特定の単語との間で行うことも考えられる。この場合、歌詞の表示後、フォント変更若しくはカラー変更のような標識が、男性若しくは女性に自分の歌う順番を知らせるために表示装置上に示される（例えば、カラオケの状況）。
【００８０】
或いは、論理的なポーズ（例えば、ピリオドやカンマの後のようなポーズ）は、「改行」（若しくはキャリッジリターン）文字が自動的に付加される。ある期間に、文の終わりを示すため２個の改行が入力される。この文の終わりは、作詞作曲の場合に、屡々、一節の終わりである。構文解析技術において、このようなフォーマッティングは検出されるので、正確な挿入とフォーマッティングが容易に行えるようになる。
【００８１】
非言語項目（例えば、画像）も表示のために与えられる。非言語項目は、テキストの残りのタイミングに基づいて適切に表示される。或いは、特殊な検出法（例えば、ドラム検出法）を利用できる場合、特殊な非言語識別子（例えば、ドラムの画像若しくはアニメーション）、又は、「ドラムソロ」のような特殊化されたフレーズが表示される。
【００８２】
更に、単語には、特殊な音、画像、アニメーション、或いは、ビデオが散りばめられる。これらの特殊な「非言語」項目は、フォーマッティングの一部として生成されるので、「キーワード」が検出される毎に、特定の項目が挿入される。例えば、単語「少女」が使用されるとき、少女の画像がその単語と同時に表示される。非言語項目は、キーワードを置き換えてもよく、或いは、単語に付け加えて表示されてもよい。
【００８３】
その他の多数のプレゼンテーション方法が当業者によって想定されるであろう。
【００８４】
図１３に示されるように、フィリップスPronto（商標）ディスプレイ１８０は、６行のテキスト１８２を表示する能力を備えている。したがって、Pronto（商標）の場合、同時に一節全体が表示される。空白ラインが画面の最後を埋める。
【００８５】
Pronto（商標）ディスプレイのようなハンドヘルド型表示装置を利用することにより、二人以上がオーディオのテキストの後に続くことができるように多数の装置に同期式に歌のテキストを表示することが可能になる。本実施例では、同期させられた各装置は、サーバとして動作する装置から「先へ進め」メッセージを受信する。或いは、サーバは、テキスト及びタイミングを他のすべての同期した装置へ動的に送信するので、他の同期した装置は、テキストを記憶する必要が無く、貴重なメモリ区間が節約される。
【００８６】
次に、図１４を参照すると、本発明によってテキスト情報及び／又はビジュアル情報をオーディオ再生と同期させる方法を説明するフローチャートが示されている。ステップ１４０５において、ユーザは、ハンドヘルド型装置のメモリに保存された歌のリストから曲名を選択する。この選択は、例えば、ボタンの押下、若しくは、タッチスクリーンによって、ユーザからハンドヘルド型コンピュータへ伝えられる。或いは、ユーザは、選択肢として「ランダム」を選択し、それに基づいて、システムが予め分かっている曲の組の中から、ランダムに曲を選択する、ということも考えられる。ランダム選択は、１曲ずつ異なる局を選択するため、乱数発生器を使用する。これは、ユーザがシステムを停止若しくはリセットするまで、このステップにおけるユーザの入力を代行する。
【００８７】
ハンドヘルド型装置内のプロセッサは、ユーザからの要求を処理し、信号（例えば、赤外線信号）を遠隔装置へ送信する。信号は、遠隔装置に、ユーザによって選択された希望の曲に対応した希望のオーディオトラックに合わせるように指令する。或いは、遠隔装置が特定の希望のオーディオトラックに自動的に合わせる機能（例えば、トラック５へ進む機能）を備えていない場合、ハンドヘルド型は、遠隔装置をリセットするため遠隔装置へ信号を送信する。即ち、遠隔装置は、停止し、再開し、次に、希望のトラックまでカウントアップするように指令される。このステップは、遠隔装置がハンドヘルド型装置と同期させられることを保証する。
【００８８】
一つ以上のファイルが単一のハンドヘルド型装置へ取り込まれ、記憶される場合を考える。ハンドヘルド型装置は、名前、分類、主題、日付、若しくは、その他の規準によってファイルを仕分けする能力を備えている。ファイルをハンドヘルド型装置に取り込む（ロードする）ことは、当業者に知られているように、装置をドッキングするか、又は、有線若しくは無線技術によって通信することによって行われる。
【００８９】
遠隔装置が希望のトラックに到達すると、再生信号は、遠隔装置に選択された曲の再生を実際に開始させるため、ハンドヘルド型装置によって送信される。ステップ１４１５に示されるように、遠隔装置が選択された曲を実際に再生し始めることができるようにするための短い遅延の後、ハンドヘルド型装置は、オーディオバージョンが遠隔装置で再生されるのと同期してテキストを表示し始める。
【００９０】
ステップ１４２０は、初期ステップであり、ハンドヘルド型コンピュータは、表示するため利用可能なテキストラインが存在するかどうかを判定するため検査され、表示ラインカウンタは零にセットされ、表示ラインの数はＮにセットされる。次に、ステップ１４２５において、希望の曲のタイトルが表示される。
【００９１】
ステップ１４３０において、更なるテキストセグメントの有無の検査が行われる。表示目的のための更なるテキストセグメントが存在しない場合、この方法は、ステップ１４３５に示されるように終了する。表示すべき更なるテキストセグメントが存在する場合、この方法はステップ１４４０へ進み、テキストセグメントと関連した遅延時間（タイムスタンプ）が読み出される。ステップ１４４５及び１４５０において、遅延時間が零よりも大きい場合、この方法は、遅延時間が進んでいる間待機する。この遅延時間中に、テキストは表示装置の画面に表示される。
【００９２】
遅延時間が経過したとき、ステップ１４５５に示されるようにすべての表示ラインは画面から消去され、ステップ１４６０に示されるように表示ラインカウンタは零にリセットされる。
【００９３】
ステップ１４４５において、遅延時間が零と一致する場合、この方法は、ステップ１４６５及び１４７０へそのまま進み、ラインカウンタが表示され、インクリメントされる。
【００９４】
最後に、ステップ１４７５において、最後のテキストセグメントに達したかどうかが判定される。最後のテキストセグメントに達した場合、この方法は、ステップ１４８０へ進み、これ以上利用可能なテキストが存在しないことが示される。更なるテキストは利用できないので、ステップ１４３０における判定の結果は否定（Ｎｏ）であり、この方法はステップ１４３５で終了する。
【００９５】
最後のテキストセグメントに達していない場合、したがって、ステップ１４７５における判定の結果が否定（Ｎｏ）であるならば、この方法は、再度ステップ１４３０から始まる。
【００９６】
添付図面を参照して本発明の実施例を説明したが、本発明は、これらと完全に同じ実施例に限定されるものではなく、様々な変更並びに変形が本発明の範囲及び精神を逸脱することなく当業者によって行われることが了解されるべきである。例えば、マーカー（例えば、ゴムまり若しくは音符）のような特徴がテキスト内の現在の場所を表すためにディスプレイに追加され、或いは、テキストが多種言語で表示される。更に、タイムスタンプ付きのテキストが、例えば、インターネット上の他のユーザから利用できるようになる。このような変更及び変形はすべて、特許請求の範囲に規定された発明の範囲に包含されることが意図されている。
【図面の簡単な説明】
【００９７】
【図１】一般的なオーディオデータの分類を説明するブロック図である。
【図２】多数の様々なタイプのオーディオ信号からの波形セグメントの説明図である。
【図３】オーディオ特徴抽出用ツールの構成図である。
【図４Ａ】２次元区分空間の説明図である。
【図４Ｂ】図４Ａの２次元区分空間に対応した決定木のブロック図である。
【図５】ポーズ検出処理の様々な段階でのオーディオ信号の説明図である。
【図６】本発明によるセグメンテーション処理の説明図である。
【図７】歌の音声部分及び非音声部分のグラフィカル表現を示す図である。
【図８】簡単な歌のテキストの説明図である。
【図９Ａ】簡単な歌のテキストを対応したバージョンの関連したタイムスタンプファイルと共に示す図である。
【図９Ｂ】簡単な歌のテキストを対応したバージョンの関連したタイムスタンプファイルと共に示す図である。
【図１０】本発明によるタイムスタンプ生成処理の概略を説明するフローチャートである。
【図１１】本発明によるタイムスタンプ生成処理を実行するための基礎として使用される種々の入力要素の説明図である。
【図１２】タイムスタンプ値に対する調整を説明する図である。
【図１３】本発明と共に使用されるハンドヘルド型表示装置の説明図である。
【図１４】本発明により、テキスト及び／又はビジュアル情報をオーディオ再生と同期させる方法を説明するフローチャートである。
【図１】
2004521385.tif 000018
【図２】
2004521385.tif 000019
【図３】
2004521385.tif 000020
【図４Ａ】
2004521385.tif 000021
【図４Ｂ】
2004521385.tif 000022
【図５】
2004521385.tif 000023
【図６】
2004521385.tif 000024
【図７】
2004521385.tif 000025
【図８】
2004521385.tif 000026
【図９Ａ】
2004521385.tif 000027
【図９Ｂ】
2004521385.tif 000028
【図１０】
2004521385.tif 000029
【図１１】
2004521385.tif 000030
【図１２】
2004521385.tif 000031
【図１４】
2004521385.tif 000032
【国際公開パンフレット】
2004521385.tif 000033
2004521385.tif 000034
2004521385.tif 000035
2004521385.tif 000036
2004521385.tif 000037
2004521385.tif 000038
2004521385.tif 000039
2004521385.tif 000040
2004521385.tif 000041
2004521385.tif 000042
2004521385.tif 000043
2004521385.tif 000044
2004521385.tif 000045
2004521385.tif 000046
2004521385.tif 000047
2004521385.tif 000048
2004521385.tif 000049
2004521385.tif 000050
2004521385.tif 000051
2004521385.tif 000052
2004521385.tif 000053
2004521385.tif 000054
2004521385.tif 000055
2004521385.tif 000056
2004521385.tif 000057
2004521385.tif 000058
2004521385.tif 000059
2004521385.tif 000060
2004521385.tif 000061
2004521385.tif 000062
2004521385.tif 000063
2004521385.tif 000064
2004521385.tif 000065
2004521385.tif 000066
2004521385.tif 000067
【国際公開パンフレット（コレクトバージョン）】
2004521385.tif 000068
【国際調査報告】
2004521385.tif 000069
2004521385.tif 000070
2004521385.tif 000071
2004521385.tif 000072
2004521385.tif 000073