(57)【要約】【課題】音声波形データを視覚的に表示する際に、様々な情報を簡単な操作で対比して見ることができるようにする。【解決手段】音声波形データ表示装置は、各種の音声情報（波形３２、スペクトル３８、音声認識結果４８、発話スピード６４、ＳＮ比６２、発話区間３４、そのためのしきい値４０）、及び障害情報（ＤＣドリフト、バイアス）６６などを、リアルタイム又は蓄積後に表示する。そのためにこの装置は、音声データを分析して分析パラメータを出力する音声分析部と、これら分析パラメータを記憶するバッファと、所定の表示トリガ信号に応答して、バッファに記憶された分析パラメータに基づき表示データを生成する表示作成部とを含む。表示作成部は、各々複数種類の分析パラメータに基づき、互いに異なる複数種類の表示データを生成し、音声分析部は、予め定められたタイミングで表示トリガ信号を表示作成部に与える。【選択図】      図１
2005284191.tif 000002
【特許請求の範囲】
【請求項１】
音声波形データを視覚的に表示する音声波形データ表示装置であって、
音声波形データの入力を受け、当該音声波形データを分析して所定の複数種類の分析パラメータを出力するための音声分析手段と、
前記音声分析手段の出力する前記複数種類の分析パラメータを記憶するための記憶手段と、
所定の表示トリガ信号に応答して、前記記憶手段に記憶された前記複数種類の分析パラメータに基づいて、複数種類の音声情報表示のための表示データを生成して表示装置に与えるための表示データ生成手段とを含み、
前記表示データ生成手段は、各々前記複数種類の分析パラメータに基づき、互いに異なる複数種類の表示データを生成し、
前記音声分析手段は、予め定められた決定方式によって決定されたタイミングで前記所定の表示トリガ信号を前記表示データ生成手段に与える、音声波形データ表示装置。
【請求項２】
前記音声波形データは予め所定時間長ごとにフレーム化されており、
前記音声分析手段は、各フレームの、音声波形の振幅、音声エネルギの大きさ、及び前記音声エネルギの大きさに基づいて判定される発話の状態情報を、前記複数種類の分析パラメータとして出力し、
前記表示データ生成手段は、前記音声波形の振幅、音声エネルギの大きさ、及び発話の状態情報を、所定の時間幅にわたって表示するための表示データを生成する、請求項１に記載の音声波形データ表示装置。
【請求項３】
前記音声分析手段はさらに、前記音声波形データを分析して、音声認識のための所定の特徴パラメータを抽出し、
前記音声波形データ表示装置はさらに、前記音声分析手段により抽出された特徴パラメータに基づく音声認識結果を取得するための音声認識結果取得手段を含み、
前記表示データ生成手段は、前記音声認識結果取得手段により取得された音声認識結果を、当該音声認識結果に対応する音声波形と関連付けて表示するための表示データを作成する、請求項１又は請求項２に記載の音声波形表示装置。
【請求項４】
前記音声波形データ表示装置はさらに、前記音声認識結果取得手段により取得された音声認識結果に基づいて、発話速度を算出するための発話速度算出手段を含み、
前記表示データ生成手段は、前記発話速度算出手段により算出された発話速度を表示するための表示データを作成する、請求項３に記載の音声波形表示装置。
【請求項５】
前記表示データ分析手段から出力される分析パラメータに基づいて、所定の障害情報を検出し、前記分析パラメータに付して前記記憶手段に記憶させるための障害情報検出手段をさらに含み、
前記表示データ生成手段は、前記障害情報に関する表示データも作成する、請求項１〜請求項４のいずれかに記載の音声波形データ表示装置。
【請求項６】
コンピュータにより実行されると、請求項１〜請求項５のいずれかに記載の音声波形データ表示装置として当該コンピュータを動作させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声波形データ処理を支援する装置に関し、特に、音声波形データを視覚的に捉えるための装置に関する。
【背景技術】
【０００２】
音声波形データを分析するための装置において、音声波形を視覚的に表示可能であることは必須の要件である。そのため、従来も音声データをリアルタイムで処理しながら、又は一旦蓄積されたファイルを後にまとめて処理しながら、コンピュータ画面に音声波形を表示するツールが種々存在している。
【０００３】
一方、音声波形データ処理の主たる応用として音声認識処理がある。音声認識では、音声波形だけではなく、音声エネルギを算出したり、算出された音声エネルギを用いて発話区間を検出したりする必要がある。これらについても上記した音声波形と同様に、コンピュータ画面上に表示するためのツールが存在している。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した種々のツールを組合せて使用することで、音声認識処理の際の音声波形について、様々な情報を知ることができる。
【０００５】
しかし、従来は上記した種々のツールをコンピュータ上で実行させながら、アクティブなアプリケーション（ウィンドウ）をユーザが選択し、切替えながら画面表示を確認する必要がある。また、既に処理済みのデータに関する表示を行なう際には、同じデータの同じ位置を様々に分析し、結果を調べる必要があるが、従来はツールごとに処理対象の位置を指定する必要があり、操作が非常に煩雑であった。
【０００６】
また、例えば発話区間の検出においては、単に発話区間内か発話区間外か、という情報だけでなく、そうした判定の基礎になった情報を、音声波形と対比して視覚的に確認できれば便利である。しかし従来は、そのような装置は存在していない。
【０００７】
それゆえに本発明の目的は、音声波形データを視覚的に表示する際に、様々な情報を簡単な操作で対比して見ることが可能な音声波形データ表示装置を提供することである。
【０００８】
本発明の他の目的は、音声波形データを視覚的に表示する際に、発話区間検出のための情報とともに様々な情報を簡単な操作で対比して見ることが可能な音声波形データ表示装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の局面に係る音声波形データ表示装置は、音声波形データを視覚的に表示する装置であって、音声波形データの入力を受け、当該音声波形データを分析して所定の複数種類の分析パラメータを出力するための音声分析手段と、音声分析手段の出力する複数種類の分析パラメータを記憶するための記憶手段と、所定の表示トリガ信号に応答して、記憶手段に記憶された複数種類の分析パラメータに基づいて、複数種類の音声情報表示のための表示データを生成して表示装置に与えるための表示データ生成手段とを含む。表示データ生成手段は、各々複数種類の分析パラメータに基づき、互いに異なる複数種類の表示データを生成し、音声分析手段は、予め定められた決定方式によって決定されたタイミングで所定の表示トリガ信号を表示データ生成手段に与える。
【００１０】
好ましくは、音声波形データは予め所定時間長ごとにフレーム化されており、音声分析手段は、各フレームの、音声波形の振幅、音声エネルギの大きさ、及び音声エネルギの大きさに基づいて判定される発話の状態情報を、複数種類の分析パラメータとして出力し、表示データ生成手段は、音声波形の振幅、音声エネルギの大きさ、及び発話の状態情報を、所定の時間幅にわたって表示するための表示データを生成する。
【００１１】
音声分析手段はさらに、音声波形データを分析して、音声認識のための所定の特徴パラメータを抽出してもよい。音声波形データ表示装置はさらに、音声分析手段により抽出された特徴パラメータに基づく音声認識結果を取得するための音声認識結果取得手段を含んでもよい。表示データ生成手段は、音声認識結果取得手段により取得された音声認識結果を、当該音声認識結果に対応する音声波形と関連付けて表示するための表示データを作成する。
【００１２】
好ましくは、音声波形データ表示装置はさらに、音声認識結果取得手段により取得された音声認識結果に基づいて、発話速度を算出するための発話速度算出手段を含み、表示データ生成手段は、発話速度算出手段により算出された発話速度を表示するための表示データを作成する。
【００１３】
さらに好ましくは、音声波形データ表示装置は、表示データ分析手段から出力される分析パラメータに基づいて、所定の障害情報を検出し、分析パラメータに付して記憶手段に記憶させるための障害情報検出手段をさらに含み、表示データ生成手段は、障害情報に関する表示データも作成する。
【００１４】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、上記したいずれかの音声波形データ表示装置として当該コンピュータを動作させる。
【発明を実施するための最良の形態】
【００１５】
本発明の一実施例に係る音声波形データ表示装置の表示画面２０を図１に示す。図１を参照して、この表示画面２０は、様々な初期設定、入力の選択、表示オブジェクトの選択などの設定を行なう際に使用するメニュー３０と、波形表示部３２と、発話区間表示部３４と、音声スペクトル表示部３８と、発話終了点検出処理（ＥＰＤ）に関する情報を表示するためのＥＰＤ情報表示部４０とを含む。
【００１６】
波形表示部３２、発話区間表示部３４及びＥＰＤ情報表示部４０は、同じ時間軸を基準として、所定の時間幅の情報を表示する。後述するようにこの装置は、入力される音声に対してリアルタイムに音声波形データ処理を行なって分析結果を表示することができるが、分析の終了後にハードディスク等の不揮発性記憶装置に格納されているデータファイルを開き、任意の位置の波形情報を表示することもできる。そうした場合には、音声信号の継続時間がこれら表示部で表示可能な長さを超える場合が多いので、そうした場合にも対応できるようにスクロールバー５０が設けられる。スクロールバー５０を操作すると処理対象のサンプル位置が変わり、時間軸上で前後に移動しながら音声波形などの表示を行なうことができる。
【００１７】
波形表示部３２には、指定されたデバイスから入力された音声データの波形を表示する。波形表示部３２において、垂直方向の目盛りは、音声波形データの量子化ビット数により表される数を示す。量子化ビット数が１６ビットであれば、この上限は３２７６７、下限は−３２７６８である。水平方向の目盛りは発話開始からの時間をサンプル数で示す。
【００１８】
発話区間表示部３４には、発話区間を表す発話区間表示バー３６が所定の色、例えば赤色で表示される。
【００１９】
音声スペクトル表示部３８は、入力された音声のスペクトルを表示する。垂直方向の目盛りはサンプリング数に依存する。サンプリング数が１６ｋの場合、８ｋＨｚが上限になる。
【００２０】
ＥＰＤ情報表示部４０は、ＥＰＤ処理によって得られた音声エネルギ値４４、発話開始／終了時のしきい値、及び各フレームの状態４２を表示する。しきい値が音声の状況によって時間とともに変化することが、このＥＰＤ情報表示部４０の表示から分かる。なおフレームの状態４２については後述する。
【００２１】
表示画面２０の最下部左側には、処理対象を表示する処理対象名表示フィールド４６が配置される。この装置は、後述するように入力としてマイクロホンからのリアルタイム音声波形データ入力、ＷＡＶＥファイルからのデータ入力、及び通信装置を介したソケット通信により他の装置から送信されてくる音声波形データのいずれかを指定してリアルタイム処理することができる。また、既に処理済みでハードディスクに格納されたデータについても表示できる。この処理対象名表示フィールド４６には、入力先（例えば入力ファイル名）を表示する。
【００２２】
処理対象名表示フィールド４６の右には、音声認識結果フィールド４８が配置される。この装置には、オプションとして自動音声認識装置（ＡＳＲ）を接続することができる。ＡＳＲが接続されれば、音声処理の結果得られた音響パラメータをＡＳＲに送信すると、音声認識結果を受信することができる。音声認識結果フィールド４８にはその音声認識結果が表示される。なおＡＳＲが接続されない場合、音声認識結果フィールド４８には何も表示されない。
【００２３】
表示画面２０はさらに、画面右上に配置されたベースラインレベル表示部６０、ＳＮＲ（信号対雑音比）表示部６２、及び発話速度表示部６４を含む。発話速度表示部６４は、ＡＳＲが接続されたときのみ使用される。
【００２４】
ベースラインレベル表示部６０には、ＥＰＤ処理により得られたベースラインのレベルとシグナルレベルとがデシベル表示される。ＳＮＲ表示部６２には、この二つの信号の差（シグナル−ベースライン）が表示される。発話速度表示部６４は、（１発話中にカウントされた音節数）／発話時間（秒）で計算した音節（モーラ）数を表示する。この処理には音声認識が必要なので、ＡＳＲが接続されない場合、発話速度表示部６４は使用されない。
【００２５】
表示画面２０において、上記したベースラインレベル表示部６０等の下方には、この装置の処理状態が表示されるステータス表示領域６６が配置される。ステータス表示領域６６に表示される情報としては、クリッピング、オールゼロ、ＤＣドリフト、バイアス等の障害情報、及び拡大率、現在のサンプル数／入力されたサンプル数等がある。
【００２６】
クリッピングは、音声信号のレベルが指定の量子化ビット数の上限値又は下限値に達した場合に検出される。量子化ビット数が１６ビットであれば上限は３２７６７、下限はー３２７６８となる。オールゼロは、１０ミリ秒の間サンプリングした値が全てゼロのときに検出される。ＤＣドリフトは、１フレーム間の平均値が１０回以上連続して上昇又は下降すると、検出される。
【００２７】
バイアスは、音声データの平均値を表す。拡大率は、波形表示部３２において１ドットにより表されているサンプルの数で表す。現在のサンプル数／入力されたサンプル数は、コンピュータのマウスの指すポイント位置のサンプル数のことである。
【００２８】
本実施の形態では、クリッピング、オールゼロ、ＤＣドリフト、及びバイアス等が検出されると、例えば赤色のエラー表示が行なわれる。しかし処理は続行される。
【００２９】
表示画面２０の右下には、スタート／ストップボタン６８が配置される。入力をマイクロホンにしている場合には、スタート／ストップボタン６８によって音声データの取り込み開始及び終了がそれぞれ指示される。ボタンの表示（キャプション）もそれに伴い変化する。
【００３０】
なお、波形表示部３２、発話区間表示部３４、音声スペクトル表示部３８、ＥＰＤ情報表示部４０、ベースラインレベル表示部６０、ＳＮＲ表示部６２、及び発話速度表示部６４など、主な表示部は、予めクラスオブジェクトとしてオブジェクト化されている。表示のためのデータへのポインタをそれぞれのオブジェクトのプロパティに設定して表示のトリガを与えることにより、各オブジェクトは、予め内部に組込まれたロジックにしたがって表示を行なう。また、各オブジェクトのプロパティとして表示・非表示プロパティがあり、それらを設定することでいずれの表示部も表示／非表示を切替えることができる。その切替にはメニューを用いる。
【００３１】
図２は、図１に示す表示画面２０の表示信号を作成し表示装置８０に与えて表示させるための音声波形データ表示装置８４のブロック図である。音声波形データ表示装置８４は、表示装置８０並びにキーボード及びマウス等のポインティングデバイスからなる入力装置８２を用いたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）操作により動作する。
【００３２】
音声波形データ表示装置８４は、他の装置とネットワーク１１６を介した通信を行なうための通信部１１４と、上記したように選択された入力デバイスからの音声データ８６を受け、音声分析を行なって、各フレームの音声エネルギを含む種々の音声波形パラメータを出力するための音声分析部１００と、音声分析部１００から与えられる音声波形パラメータに基づいて、所定の障害の検出を行なうための障害検出部１０１と、音声分析部１００から与えられる音声波形データの各フレームの音声エネルギに基づいてＥＰＤを行なうためのＥＰＤ処理部１０３とを含む。音声分析部１００はまた、ＥＰＤ処理部１０３により検出された発話区間に相当する音声データから音声認識のための特徴ベクトルを抽出し、通信部１１４を介してＡＳＲに送信してその認識結果を取得し、音声波形パラメータとともに音声波形の時間と関連付けて出力する機能を持つ。
【００３３】
障害検出部１０１が検出する障害情報については前述したとおり、クリッピング、オールゼロ、ＤＣドリフト、及びバイアス等がある。ＥＰＤ処理部１０３は、音声エネルギと、発話区間検出のために所定のアルゴリズムで更新されるしきい値（発話開始しきい値及び発話終了しきい値）、及び各フレームにおける発話の状態情報を出力する。発話の状態情報については後述する。
【００３４】
音声波形データ表示装置８４はさらに、音声分析部１００が出力する音声波形パラメータ及び認識結果、障害検出部１０１が出力する障害情報、及びＥＰＤ処理部１０３が出力するＥＰＤ情報をフレームごとにまとめて一時蓄積するためのバッファ１０２と、音声分析部１００による音声分析が終了した時点等、所定のイベントが発生するとバッファ１０２に蓄積されている音声波形パラメータ及び認識結果をファイルとして保存するためのハードディスク１０４と、所定の表示トリガ信号に応答して、バッファ１０２に蓄積された音声波形パラメータに基づいて、表示装置８０に音声波形情報を表示するための表示データを作成するための表示作成部１１２とを含む。表示作成部１１２は、前述したとおり、それぞれ上記した分析パラメータに基づいて互いに異なる表示情報を作成する機能を持つ、画面２０を構成するオブジェクトにより構成される。
【００３５】
音声波形データ表示装置８４はさらに、表示装置８０及び入力装置８２に対するユーザ操作による入力を受けるための入力処理部１１０と、入力処理部１１０により入力された初期設定などの情報を保存するための設定情報記憶部１０８と、入力処理部１１０を用いたユーザ指示により、ハードディスク１０４に保存されていた音声波形パラメータの表示を行なう際に、指定された音声波形パラメータをファイルから読出し、バッファ１０２に蓄積するためのデータ抽出部１０６とを含む。
【００３６】
設定情報記憶部１０８に記憶された種々の設定情報は、表示作成部１１２による表示、音声分析部１００による音声分析、及びデータ抽出部１０６による保存データの読出時に使用される。
【００３７】
なお、リアルタイム処理時には音声分析部１００は音声分析を行ない、バッファ１０２にデータを出力すると同時に表示作成部１１２に対して表示トリガ信号を与える（表示メソッドの呼出）。一方、データ抽出部１０６は、ハードディスク１０４からデータを読出してバッファ１０２に格納させたとき、及び入力処理部１１０を介してユーザから何らかのコマンドを受取り、画面を更新する必要が生じたときに、表示作成部１１２に対して表示トリガ信号を与える。
【００３８】
図３は、ＥＰＤ検出部１０３によって検出されたＥＰＤ関連情報のうち、各フレームの状態４２の表示態様を示す。本実施の形態においては、フレームの状態を判定するために、以下のような時間を考える。
【００３９】
プリロール時間  あるフレームが発話の開始位置であると判定されたとき、そのフレームからさらにこのプリロール時間だけさかのぼった位置のフレームに、発話開始フレームとしてのマークが付される。
【００４０】
発話開始判定時間  発話が開始したと判定されるための第１の条件として、フレーム単位のエネルギ値が連続して発話開始しきい値を超えなければならない時間。
【００４１】
最短発話時間  発話開始と判定されるために、フレーム単位のエネルギ値が連続して超えなければならない最小時間。エネルギ値が発話開始しきい値を発話開始判定時間だけ連続して超え、かつさらに最短発話時間を超えた時間だけ連続して超えてはじめて発話開始と判定される。
【００４２】
最長無音時間  発話状態でフレーム単位のエネルギ値が発話終了しきい値を下回っても、発話終了と判定されない最長の時間。
【００４３】
発話終了判定時間  発話が終了したと判定されるための第１の条件として、フレーム単位のエネルギ値が連続して発話終了しきい値を下回らなければならない時間。エネルギ値が発話終了しきい値をこの時間だけ連続して下回り、かつ最長無音時間以上連続して下回った場合、発話終了と判定される。
【００４４】
アフタロール時間  あるフレームで発話終了と判定されたとき、そのフレームからさらにこのアフタロール時間だけ下った位置のフレームに、発話終了フレームとしてのマークが付される。
【００４５】
図３に示す例では、これら時間に対応してプリロール時間１２０、発話開始判定時間１２２、発話区間１２４及び１２８、発話終了判定時間１３０、並びにアフタロール時間１３２をフレームの状態４２として色を変えて表示する。また、発話の途中、無音期間１２６があった場合、これを発話終了時間（誤り）として表示する。また、無音期間の後、発話エネルギしきい値を上回ったが最短発話時間まで続かなかった期間１３４についても発話開始時間（誤り）として表示する。本実施の形態では、プリロール時間１２０、発話区間１２４及び１２８、並びにアフタロール時間１３２は赤色で、それ以外の部分は青色で、それぞれ表示する。
【００４６】
本実施の形態の装置では、リアルタイムの音声波形データの入力時と、蓄積データの表示時とを問わず、波形表示部３２、発話区間表示部３４、音声スペクトル表示部３８、及びＥＰＤ情報表示部４０に表示される内容を、一つの操作で拡大／縮小できる。具体的には、ホイール付きのマウスを使用する場合、有効エリアでマウスホイールを回転させると、各領域の表示内容を垂直方向（波形の場合の振幅軸方向）に拡大したり縮小したりできる。また、キーボードのシフトキーを押しながら操作すると、各領域の表示を横方向（時間軸方向）に拡大したり縮小したりできる。図４（Ａ）に水平方向拡大前の画面１６０を、図４（Ｂ）に水平方向拡大後の画面１６２を、それぞれ示す。
【００４７】
なお、垂直方向の拡大／縮小のための有効エリアは波形表示部３２及びＥＰＤ情報表示部４０であり、この場合、各領域の表示を別々に拡大／縮小する。水平方向の有効エリアは波形表示部３２、発話区間表示部３４、音声スペクトル表示部３８及びＥＰＤ情報表示部４０である。この場合には、これらのうちのどの領域で拡大／縮小操作をしても、他の領域についても連動して拡大／縮小表示がされる。
【００４８】
図１及び図５を参照して、リアルタイムの音声波形データの入力中には、表示は以下のように行なわれる。なおこの場合の「入力中」とは、図１に示すスタート／ストップボタン６８の表示が「ｓｔａｒｔ」であるときにこれを押したときに始まる。このときスタート／ストップボタン６８の表示は「ｓｔｏｐ」に変わる。次にこのスタート／ストップボタン６８を押して「ｓｔｏｐ」の表示が「ｓｔａｒｔ」に変わったときに、入力中の期間が終わる。
【００４９】
入力中、ＡＳＲが接続されている場合には音声認識結果フィールド４８に音声認識結果がリアルタイムで表示される。ＳＮＲ表示部６２及び発話速度表示部６４には、直前の発話区間のＳＮＲ及び発話速度の平均値及び最大値を表示する。ベースラインレベル表示部６０は、現在のフレームのベースライン及びシグナルレベルを表示する。ステータス表示領域６６には、現在音声波形が表示されている区間に対する情報を表示する。また入力中には、メニュー３０が使用不能になる。さらに、スクロールバー５０は使用不能になる。
【００５０】
図６を参照して、蓄積データの表示中には音声認識結果フィールド４８には、マウスクリック時にマウスポインタの存在していた個所２００のポイントに対する音声認識結果を表示する（ＡＳＲ接続時のみ）。ベースラインレベル表示部６０、ＳＮＲ表示部６２、及び発話速度表示部６４は、いずれもマウスクリックがあったポイントに関する情報を表示する。ステータス表示領域６６も同様である。メニューについては使用可能になる。またスクロールバー５０も使用可能になる。一度のスクロール量は、データの長さと画面に表示できる量との関係から計算により求めておく。スクロールバー５０により定められるサンプル位置に他の表示領域の表示位置を連動させておくことで、同じ位置について表示画面２０を用いて様々な情報を調べることができる。
【００５１】
図１及び図２を参照して、本実施の形態に係る音声波形データ表示装置８４は以下のように動作する。この音声波形データ表示装置８４が起動したときには、表示装置８０及び入力装置８２を用い、図１に示すメニュー３０による設定が自由に行なえる。仮にマイクロホンからの音声入力をリアルタイムで処理する場合、メニュー３０中のファイルメニューで入力先を「マイクロホン」に設定する。その他、必要なオプションパラメータを設定してもよい。設定されたオプションパラメータは設定情報記憶部１０８に記憶される。また以下の説明では、ＡＳＲがこの音声波形データ表示装置８４に接続されているものとする。
【００５２】
ユーザがスタート／ストップボタン６８を押すことにより、音声データ８６が音声分析部１００に取込まれる。音声分析部１００は音声データに対して音声分析処理を行ない、表示画面２０に表示するためのデータを作成する。このとき音声分析部１００は、設定情報記憶部１０８に記憶されている設定情報を参照し、適切な設定で処理を行なう。
【００５３】
障害検出部１０１は、音声分析部１００の出力に基づき障害情報の検出を行なう。検出された情報はバッファ１０２に与えられる。ＥＰＤ処理部１０３は、音声データに基づいてＥＰＤ処理を行なって発話区間を判定し、ＥＰＤ情報をバッファ１０２に、発話区間情報を音声分析部１００にそれぞれ与える。発話区間では音声分析部１００は、音声データから音声の特徴ベクトルを作成し、通信部１１４を介してＡＳＲに送信する。音声分析部１００は、ＡＳＲから戻ってきた認識結果を含め、分析した音声パラメータをバッファ１０２に格納し、表示作成部１１２に対して表示更新のトリガを送る。
【００５４】
表示作成部１１２はこのトリガに応答して、バッファ１０２に新たに格納されたデータを読出して、データに基づいて表示画面２０の各要素の表示を更新する処理を行ない、その結果得られた表示画面データを表示装置８０に送る。実際には表示作成部１１２の処理は、プログラム上では表示画面２０を構成する各オブジェクトによって行なわれる。表示装置８０は、表示作成部１１２から与えられた表示画面データを表示する。
【００５５】
音声分析部１００、表示作成部１１２及び図示しないＡＳＲはこの動作を繰返し、画面表示を時々刻々と変化させていく。
【００５６】
ユーザがスタート／ストップボタン６８を押すことにより、処理が終了する。音声波形データ表示装置８４のバッファ１０２はこのとき、設定情報によってファイルに分析結果を格納することが指定されている場合、バッファ１０２に蓄積されていたデータをハードディスク１０４に書出す。格納することが指定されていなければ、明示的に保存することが指定されるまで何もしない。
【００５７】
このようにしてハードディスク１０４に蓄積された分析データを後に表示する場合には、ユーザは表示装置８０及び入力装置８２を用い、画面上のメニューから蓄積データの表示を選択する。このとき、ハードディスク１０４のどのファイルを用いるかも指定する。入力処理部１１０は、これらの情報をデータ抽出部１０６に与える。
【００５８】
データ抽出部１０６は、指定されたファイルから分析データを読出し、バッファ１０２に与えるとともに、表示位置を分析データの最初に設定して表示作成部１１２に対し表示のトリガを与える。表示作成部１１２は、このトリガに応答して、バッファ１０２に格納されているデータを読み、指定された位置に対応する表示を生成して表示装置８０に与える。
【００５９】
ユーザが表示装置８０及び入力装置８２を利用して種々の操作（例えば表示サンプル位置の変更、拡大／縮小）を行なうと、その操作の指示が入力処理部１１０からデータ抽出部１０６に与えられる。データ抽出部１０６は、必要ならデータをハードディスク１０４から読出してバッファ１０２に格納し、指定された表示態様を示すパラメータを各オブジェクトに設定して表示作成部１１２にトリガを送る。
【００６０】
表示作成部１１２は、指定されたパラメータにしたがった表示態様で新たな表示画面を作成し、表示装置８０に与える。
【００６１】
この動作を繰返すことにより、ユーザはハードディスク１０４に蓄積された分析データを種々の角度から、容易な操作で分析することができる。なお、ハードディスク１０４に限らず、不揮発性の記憶媒体であればどのようなものでもよい。また、データは遠隔装置から読出すようにしてもよい。
【００６２】
なお、本実施の形態に係る音声波形データ表示装置８４は、上の説明から明らかなとおり、コンピュータ及び当該コンピュータにより実行されるコンピュータプログラムにより実現できる。音声をリアルタイム処理する場合には音声処理ボードが必要になるが、通常は既に装備されている。また、画面上に表示される種々の表示要素はそれぞれ所定の情報表示のための情報処理を実装したクラスライブラリを用いて実現できる。予め画面上にこうしたクラスに属するオブジェクトを配置しておくことで画面設計し、各オブジェクト間の通信により、上記した音声波形データ表示装置８４のためのプログラムを実現する。
【００６３】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施の形態に係る音声波形データ表示装置の表示画面の一例を示す図である。
【図２】本発明の一実施の形態に係る音声波形データ表示装置８４のブロック図である。
【図３】本発明の一実施の形態における、フレームの状態表示の態様を示す図である。
【図４】本発明の一実施の形態における、画面の拡大／縮小表示の態様を示す図である。
【図５】本発明の一実施の形態における、リアルタイム音声分析時の表示及び操作を説明するための図である。
【図６】本発明の一実施の形態における、蓄積情報分析時の表示及び操作を説明するための図である。
【符号の説明】
【００６５】
２０  表示画面、３０  メニュー、３２  波形表示部、３４  発話区間表示部、３８  音声スペクトル表示部、４０  ＥＰＤ情報表示部、４８  音声認識結果フィールド、６０  ベースラインレベル表示部、６２  ＳＮＲ表示部、６４  発話速度表示部、６６  ステータス表示領域、６８  スタート／ストップボタン、８０  表示装置、８２  入力装置、８４  音声波形データ表示装置、８６  音声データ、１００  音声分析部、１０２  バッファ、１０４  ハードディスク、１０６  データ抽出部、１１０  入力処理部、１１２  表示作成部、１１４  通信部
【図１】
2005284191.tif 000003
【図２】
2005284191.tif 000004
【図３】
2005284191.tif 000005
【図４】
2005284191.tif 000006
【図５】
2005284191.tif 000007
【図６】
2005284191.tif 000008