(57)【要約】【課題】音声データ付きの文書データを効率的に作成すること。【解決手段】音声処理装置１の音声文書対応部２２は、作成される音声フレーム列１３から文書データ２０に含まれる文書内単語ごとの尤度を計算することで、文書内単語が発言される音声フレーム列１３の第１時間帯と、文書内単語以外の内容が発言される音声フレーム列１３の第２時間帯とを検出し、第２時間帯の音声フレーム列１３をシンボルとして抽出し、抽出されるシンボルが発言される第２時間帯に対して、時間的に近い第１時間帯に発言される文書内単語の位置の近傍位置を、抽出されるシンボルの付加位置として決定する。【選択図】  図１
2010086074.tif 000002
【特許請求の範囲】
【請求項１】
サンプリングされた波形データをシンボルとして文書データに付加する音声処理装置であって、
前記音声処理装置は、音声フレーム列検出部と、音声文書対応部と、シンボル付加部と、を有し、
前記音声フレーム列検出部は、
前記波形データを記憶部から読み取り、前記波形データの音声区間を検出することで音声フレーム列を作成し、
前記音声文書対応部は、
作成される前記音声フレーム列から前記文書データに含まれる文書内単語ごとの尤度を計算することで、文書内単語が発言される前記音声フレーム列の第１時間帯と、文書内単語以外の内容が発言される前記音声フレーム列の第２時間帯とを検出し、
前記第２時間帯の前記音声フレーム列をシンボルとして抽出し、抽出されるシンボルが発言される前記第２時間帯に対して、時間的に近い前記第１時間帯に発言される文書内単語の位置の近傍位置を、抽出されるシンボルの付加位置として決定し、
前記シンボル付加部は、
記憶部から読み取った文書内単語の位置と、前記音声文書対応部が決定したシンボルの付加位置と、をもとに、前記シンボルを前記文書データに配置することで、抽出されるシンボルを前記文書データに付加することを特徴とする
音声処理装置。
【請求項２】
前記音声文書対応部は、文書内単語ごとの尤度を計算するときに、文書内単語ごとの重要度を記憶部から読み取り、尤度と重要度とに基づいて、文書内単語が発言される前記音声フレーム列の前記第１時間帯と、文書内単語以外の内容が発言される前記音声フレーム列の前記第２時間帯とを検出することを特徴とする
請求項１に記載の音声処理装置。
【請求項３】
前記音声処理装置は、さらに、シンボル再生部を有し、
前記シンボル再生部は、表示装置の画面上に表示されるシンボルが入力装置を介して選択されると、選択されるシンボルの前記音声フレーム列を、スピーカを介して再生するように制御することを特徴とする
請求項１または請求項２に記載の音声処理装置。
【請求項４】
前記音声処理装置は、さらに、シンボルテキスト作成部を有し、
前記シンボルテキスト作成部は、単語辞書の単語の音韻を示す音韻モデルを記憶部から読み取り、シンボルの前記音声フレーム列を前記音韻モデルに入力することにより、前記音声フレーム列に含まれる前記単語辞書の単語を抽出し、シンボルの発言内容をテキスト化し、そのテキストを前記文書データに付加することを特徴とする
請求項１ないし請求項３のいずれか１項に記載の音声処理装置。
【請求項５】
前記シンボル付加部は、表示装置の画面上に表示されるシンボルについて、シンボルの時間帯の時間長を反映させることを特徴とする
請求項１ないし請求項４のいずれか１項に記載の音声処理装置。
【請求項６】
前記シンボル付加部は、前記時間長を反映させる処理として、シンボルの時間帯の時間長をもとに、表示装置の画面上に表示されるシンボルの大きさを決定することを特徴とする
請求項５に記載の音声処理装置。
【請求項７】
前記シンボル付加部は、前記時間長を反映させる処理として、シンボルの時間帯の時間長をもとに、表示装置の画面上に表示されるシンボルの表示色を決定することを特徴とする
請求項５に記載の音声処理装置。
【請求項８】
前記シンボル付加部は、前記時間長を反映させる処理として、シンボルの時間帯の時間長を示す数字を、表示装置の画面上に表示することを特徴とする
請求項５に記載の音声処理装置。
【請求項９】
前記音声処理装置は、前記波形データをサンプリングするときに、前記文書データを読み上げる説明者のためのマイクと、説明者以外の発言者のためのマイクと、に音源別にサンプリングを実行し、
前記音声文書対応部は、シンボルを抽出するときに、
説明者のためのマイクを介してサンプリングされた前記音声フレーム列から文書内単語とシンボルとを抽出するとともに、
説明者以外の発言者のためのマイクを介してサンプリングされた前記音声フレーム列を、シンボルとして抽出することを特徴とする
請求項１ないし請求項８のいずれか１項に記載の音声処理装置。
【請求項１０】
前記音声処理装置は、前記波形データをサンプリングするときに、音源方向を特定するための複数のマイク素子から構成されるマイクアレイを介して、サンプリングを実行し、
前記音声文書対応部は、シンボルを抽出するときに、
前記文書データを読み上げる説明者の音源方向における前記音声フレーム列から文書内単語とシンボルとを抽出するとともに、
説明者の音源方向以外の前記音声フレーム列を、シンボルとして抽出することを特徴とする
請求項１ないし請求項８のいずれか１項に記載の音声処理装置。
【請求項１１】
前記音声処理装置は、さらに、音源同定部を有し、
前記音源同定部は、前記音声フレーム列の音源方向ごとに、前記文書データに含まれる文書内単語ごとの尤度を計算し、その尤度の最大値が最も高い音源方向を、説明者の音源方向として同定することを特徴とする
請求項１０に記載の音声処理装置。
【請求項１２】
前記音声処理装置は、シンボルの音源ごとに表示形式を変えて、シンボルを表示装置の画面上に表示することを特徴とする
請求項９ないし請求項１１のいずれか１項に記載の音声処理装置。
【請求項１３】
サンプリングされた波形データをシンボルとして文書データに付加する音声処理装置による音声処理方法であって、
前記音声処理装置は、音声フレーム列検出部と、音声文書対応部と、シンボル付加部と、を有し、
前記音声フレーム列検出部は、
前記波形データを記憶部から読み取り、前記波形データの音声区間を検出することで音声フレーム列を作成し、
前記音声文書対応部は、
作成される前記音声フレーム列から前記文書データに含まれる文書内単語ごとの尤度を計算することで、文書内単語が発言される前記音声フレーム列の第１時間帯と、文書内単語以外の内容が発言される前記音声フレーム列の第２時間帯とを検出し、
前記第２時間帯の前記音声フレーム列をシンボルとして抽出し、抽出されるシンボルが発言される前記第２時間帯に対して、時間的に近い前記第１時間帯に発言される文書内単語の位置の近傍位置を、抽出されるシンボルの付加位置として決定し、
前記シンボル付加部は、
記憶部から読み取った文書内単語の位置と、前記音声文書対応部が決定したシンボルの付加位置と、をもとに、前記シンボルを前記文書データに配置することで、抽出されるシンボルを前記文書データに付加することを特徴とする
音声処理方法。
【請求項１４】
請求項１３に記載の音声処理方法を、コンピュータである前記音声処理装置に実行させるための音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理方法、および、音声処理プログラムに関する。
【背景技術】
【０００２】
入力された音声データを文書データに添付する文書処理装置が、提案されている（特許文献１）。この文書処理装置では、ユーザが文書データ内の添付位置を指定すると、その添付位置へ音声データを添付する。なお、音声データの添付形式としては、音声が添付されたことを表すアイコンを添付する形式、および、音声データを音声認識によりテキスト化された文字列として添付する形式が、挙げられている。
【特許文献１】特開平１１−２４２６６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１などの従来の技術の文書処理装置では、音声データの添付位置をユーザにより逐一手入力する必要があるため、音声データ付きの文書データを作成するコストが、大きい。
【０００４】
さらに、音声データの録音は、会議などで長期間継続して行われることも多い。そのときには、音声データのファイルが添付位置ごとのファイルになっておらず、１つの会議全体のファイルとなる。よって、１つの会議全体のファイルから、複数の添付位置ごとのファイルを切り出す作業が必要となり、文書データを作成するコストが増える。
【０００５】
そこで、本発明は、前記した問題を解決し、音声データ付きの文書データを効率的に作成することを、主な目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明は、サンプリングされた波形データをシンボルとして文書データに付加する音声処理装置であって、
前記音声処理装置が、音声フレーム列検出部と、音声文書対応部と、シンボル付加部と、を有し、
前記音声フレーム列検出部が、
前記波形データを記憶部から読み取り、前記波形データの音量を元に音声区間を検出することで音声フレーム列を作成し、
前記音声文書対応部が、
作成される前記音声フレーム列から前記文書データに含まれる文書内単語ごとの尤度を計算することで、文書内単語が発言される前記音声フレーム列の第１時間帯と、文書内単語以外の内容が発言される前記音声フレーム列の第２時間帯とを検出し、
前記第２時間帯の前記音声フレーム列をシンボルとして抽出し、抽出されるシンボルが発言される前記第２時間帯に対して、時間的に近い前記第１時間帯に発言される文書内単語の位置の近傍位置を、抽出されるシンボルの付加位置として決定し、
前記シンボル付加部が、
記憶部から読み取った文書内単語の位置と、前記音声文書対応部が決定したシンボルの付加位置と、をもとに、前記シンボルを前記文書データに配置することで、抽出されるシンボルを前記文書データに付加することを特徴とする。
その他の手段は、後記する。
【発明の効果】
【０００７】
本発明によれば、音声データ付きの文書データを効率的に作成することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の第１，第２実施形態について、説明する。第１，第２実施形態に共通する点は、説明者が文書に沿って説明するときに、文書には記載されていない発言内容をマイクで録音し、その録音内容を補充データとして文書に付加する点である。補充データを付加することで、例えば、以下の用途に活用できる。
【０００９】
例えば、説明者は、業務において、商品の説明や契約の重要事項などを消費者へ説明する。説明者は、多くの顧客に同じ説明を繰り返すことも多いため、その説明内容を補充データとして文書に付加しておくことで、補足説明が必要な箇所を容易に把握でき、説明業務を効率化することができる。
【００１０】
また、説明者は、企業内、教育現場、サポートセンタなどで、法的同意を求める類の説明を行う。説明中に行われた会話内容や、説明した相手の同意の有無を証拠として残しておくため、音声やその他のメディア（映像、メモ書きなど）を記録しておくことが有効である。
【００１１】
以下、本発明の第１実施形態を説明する。第１実施形態では、説明者用、聴講者用のマイクがそれぞれ用意され、個々のマイクから発言者の音源を特定する。よって、第１実施形態は、例えば、コールセンタなどの電話での説明に応用可能である。
具体的には、コールセンターでエージェントが不適切な単語を発言した場合に、それをリアルタイムに検出して監督者へ通知するシステムや、リアルタイムに商品名等を検出し、その表品の関連資料を画面に表示するシステムなどに応用できる。
【００１２】
図１は、音声処理装置を示す構成図である。音声処理装置１は、ＣＰＵ（Central Processing Unit）８５、メモリ８６、および、インタフェースを有する一般的なコンピュータとして構成される。
ＣＰＵ８５は、演算処理と、音声処理装置１の各構成要素の制御処理と、を実行する。
音声処理装置１のインタフェースは、説明者用マイク８０、聴講者用マイク８１、ディスプレイ９１、マウス９２、および、スピーカ９３を、音声処理装置１と接続する。
【００１３】
なお、音声処理装置１は、一般的なコンピュータと同様、記憶装置に格納されたソフトウェアプログラムに基づき演算装置が処理をするという仕組みを想定したが、本発明はそのような構成に依存せず、たとえばソフトウェアプログラムと同等の機能をハードウェアで実現するようなアーキテクチャに対しても適用できる。
【００１４】
説明者用マイク８０は、説明者の音声を録音（サンプリング）し、その結果を波形データ１０へと出力する。
聴講者用マイク８１は、聴講者（被説明者）の音声を録音し、その結果を波形データ１０へと出力する。
ディスプレイ９１は、文書データ２０や、シンボル付文書データ４３などのユーザが閲覧するデータを表示する表示装置である。
マウス９２は、ディスプレイ９１に表示されたマウスポインタの操作を受け付ける、入力装置である。
スピーカ９３は、波形データ１０を音声信号として出力するデバイスである。
【００１５】
メモリ８６は、ＣＰＵ８５が実行することで各処理部を実現するためのプログラムと、その各処理部の処理対象となる各データと、を記憶する。
音声処理装置１は、処理部として、音声フレーム列検出部１２、音声文書対応部２２、シンボル作成部４０、シンボル付加部４２、および、シンボル再生部４４を、有する。
音声処理装置１は、データとして、波形データ１０、波形フレーム１１、音声フレーム列１３、文書データ２０、文書内単語音韻モデル２１、文書内単語尤度マップ２２ａ、音声文書対応データ２２ｂ、一般単語辞書３１、一般音韻モデル３２、シンボルデータ４１、および、シンボル付文書データ４３を、有する。
以下、音声処理装置１の各構成要素の詳細を説明する。
【００１６】
文書内単語音韻モデル２１は、文書データ２０に出現する各文書内単語について、文書内単語を構成する音素ごとに対応する一般音韻モデル３２を直列接続することで、あらかじめ作成される。
【００１７】
一般単語辞書３１は、文書データ２０の文書内単語に限定されず、発言されうる一般的な単語を収録している。
一般音韻モデル３２は、一般単語辞書３１内の各単語について、ＨＭＭ（Hidden Markov Model）で多数の波形から学習して作成されたものであり、ＨＭＭの出力確率を求めるために利用される。ＨＭＭの出力確率は、一般音韻モデル３２と、音声フレーム列１３と、のＭＦＣＣ（Mel Frequency Cepstrum Coefficient）特徴ベクトルの距離を計算することで、単語音声認識で用いられている一般的な方法として、求めることができる。
【００１８】
図２は、音響信号データを示す説明図である。音響信号データとしての、波形データ１０、波形フレーム１１、音声フレーム列１３について、説明する。図２では、時系列の波形データ１０を示すため、横軸を時刻とし、縦軸を音量とするグラフが示される。
【００１９】
波形データ１０は、音源ごとにマイク（説明者用マイク８０、聴講者用マイク８１）を介して入力される音響信号データをＡ／Ｄ変換して、デジタル信号として録音した時系列のデータである。この波形データ１０には、説明者などが発言している時間帯もあれば、沈黙などによる無発言の時間帯もある。波形データ１０のサンプリングの環境は、例えば、サンプリング周波数が１０[kHz]、量子化が８[bit]、エンコード方式がリニアＰＣＭ（pulse code modulation）である。
【００２０】
波形フレーム１１は、波形データ１０を、単位長（固定長）の時間帯で区切ったデータである。波形フレーム１１の単位長とは、音声解析で利用するのに適した任意の長さである。例えば、波形フレーム１１の単位長を５００サンプル（２０[ms]）とする。波形フレーム１１は、時間帯を区切っただけなので、波形データ１０と同様に、発言している時間帯もあれば、無発言の時間帯もある。
【００２１】
音声フレーム列１３は、１つ以上の連続する波形フレーム１１の列をまとめたデータである。音声フレーム列１３は、波形フレーム１１を信号処理した結果、発言開始時の波形フレーム１１から発言終了時の波形フレーム１１までの、連続して発言している時間帯のデータとして構成される。
波形フレーム１１への信号処理とは、例えば、波形フレーム１１ごとにその音量と閾値とを比較する処理であり、図２では、開始閾値αを上回った波形フレーム１１から、終了閾値βを下回った波形フレーム１１までを、１つの音声フレーム列１３として抽出している。このように、２つの閾値（開始閾値α、終了閾値β）を併用する方式は、ヒステリシス（histerisis）と呼ばれており、１つの閾値だけで判定する方式に比べ、抽出される音声フレーム列１３が細切れになることを防ぐという効果がある。
【００２２】
図３（ａ）は、波形データ１０の発言内容をテキスト化して示す説明図である。横方向を時間軸とし、縦方向を時刻および各音源（説明者、聴講者）とする。縦方向の３行を１セットとして、時刻「１０００[ms]」ごとに３セット分折り返して示している。テキストが記載されている時間帯が、音声フレーム列１３の時間帯である。
【００２３】
図３（ｂ）は、図３（ａ）で示した波形データ１０に対して、音声文書対応データ２２ｂ（表３、詳細は後記）が示す文書内単語の認識結果を上書きした説明図である。例えば、音声文書対応データ２２ｂを参照すると、「＃１」の文書内単語「注意事項」は、音声時間「１００〜３００」に発言されているので、説明者欄の「注意事項」に「＃１」が割り当てられる。図３（ｂ）を参照すると、文書データ２０には記載されていない補足説明（時刻＝１０００の「第一に」、など）や、聴講者による同意（時刻＝２０００の「わかりました」、など）などの文書外音声が発言されている。
【００２４】
図４（ａ）は、音声処理装置１がディスプレイ９１に出力する文書データ２０（表１、詳細は後記）の表示例を示す画面図である。
「注意事項」などの文書データ２０の文字の表示位置（レイアウト）は、文書データ２０に格納されている表示位置（左上座標から右下座標までの範囲）をもとに、決定される。なお、表示位置と記載したが、詳細には、文書データ２０内の文書内単語の位置を示すため、印刷処理においては印刷位置となり、ファイル保存処理においては格納位置となる。
【００２５】
図４（ｂ）は、図４（ａ）に対してシンボルデータ４１（表５、詳細は後記）を付加した結果である、シンボル付文書データ４３の表示例を示す画面図である。各吹き出し７１１〜７１９の表示位置は、シンボルデータ４１の「シンボルの表示位置」をもとに決定される。
灰色の吹き出し７１３，７１６は、聴講者の発言内容を示す。これらの吹き出し７１３，７１６の表示文字列（はい、わかりました）は、シンボルデータ４１の「表示文字列」である。
白色の吹き出し７１１，７１２，７１４，７１５，７１７〜７１９は、説明者の発言内容を示す。これらの吹き出しの表示文字列は、画面内の空きスペースの関係で全てを表示しきれないので、短縮形である「・・」などで示される。また、吹き出しの大きさが異なっているのは、吹き出しが示すシンボルごとの時間長を反映したものであり、発言時間が長いほど、大きな吹き出しを表示するものとする。このように、吹き出しが示すシンボルごとの時間長を、シンボルの画面表示内容に反映させることにより、ユーザは、シンボルごとの時間長を直観的に把握することができる。
なお、時間長を表示内容に反映させる処理として、前記したシンボルの吹き出しの大きさ以外にも、例えば、時間長をもとにシンボルの色を変更してもよいし、シンボルの時間長（数字表記）をシンボル表示に文字列として含めてもよい。さらに、前記した時間長を表示内容に反映させる処理は、１種類だけでもよいし、複数種類を組み合わせてもよい。
ここで、図４（ｂ）では、各吹き出しの色の違いは、音源の違いを示すものであり、シンボルデータ４１の「音源」をもとに決定されたシンボルデータ４１の「表示色」が反映される。
【００２６】
【表１】
2010086074.tif 000003
【００２７】
表１は、文書データ２０を示す。文書データ２０は、文書内単語ごとに、そのＩＤ「＃」と、その重要度と、表示位置の情報（左上座標、右下座標）と、が対応づけられている。
文書内単語とは、説明者の発言時に区切られる可能性がある場所で区切られた単位である。
重要度は、あらかじめ与えられてもよいし、重要単語辞書や品詞などから決定してもよい。
表示位置の情報は、文書データを表示する（図４参照）際のレイアウトとなる情報である。
【００２８】
【表２】
2010086074.tif 000004
【００２９】
表２は、文書内単語尤度マップ２２ａを示す説明図である。表２は、２２５０個の波形フレーム１１が入力されたときに作成される文書内単語尤度マップ２２ａのうち、文書内単語「コードを」「引っ張らない」の部分を抜粋して、示している。文書内単語尤度マップ２２ａには、波形フレーム番号と、文書内単語ごとの、その波形フレーム番号までの「スコア」（最大尤度）と、その「スコア」を出力した波形フレーム番号である「開始フレーム番号」と、が記録される。
【００３０】
波形フレーム番号「１〜１５」に対応する１５個の波形フレーム１１には、以下の２つの文書内単語の波形フレーム１１が含まれている。
・波形フレーム番号「２〜３」に対応する、文書内単語「コードを」の波形フレーム１１。文書内単語「コードを」のスコアの最高点「７」である波形フレーム番号「３」の開始フレーム番号が「２」であるため。
・波形フレーム番号「８〜１１」に対応する、文書内単語「引っ張らない」の波形フレーム１１。文書内単語「引っ張らない」のスコアの最高点「９」である波形フレーム番号「１１」の開始フレーム番号が「８」であるため。
【００３１】
一方、前記した文書内単語が発言されていない、以下の波形フレーム１１は、それぞれシンボルデータ４１となる。
・波形フレーム番号「１」の波形フレーム１１
・波形フレーム番号「４〜７」の波形フレーム１１
・波形フレーム番号「１２〜１５」の波形フレーム１１
【００３２】
【表３】
2010086074.tif 000005
【００３３】
表３は、説明者の音声文書対応データ２２ｂを示す。音声文書対応データ２２ｂは、波形データ１０と、文書データ２０とを、文書内単語の発言時間を元に対応づけたものである。音声文書対応データ２２ｂは、波形フレーム１１の列ごとに、そのＩＤ「＃」と、文書内単語のテキスト内容（文書内単語でないときには「文書外音声」）と、その発言された時間帯を示す音声時間（開始時刻〜終了時刻）と、文書内単語の画面上での表示座標と、を対応づけて構成される。
【００３４】
【表４】
2010086074.tif 000006
【００３５】
表４は、聴講者の音声文書対応データ２２ｂを示す。聴講者の発言内容は、全て文書外音声となるので、表３の「文書内単語」列は、「文書外音声」列へと置き換わる。表４のその他の列は、表３と同じ形式である。
【００３６】
【表５】
2010086074.tif 000007
【００３７】
表５は、シンボルデータ４１を示す説明図である。シンボルデータ４１は、シンボルのＩＤを示す「シンボルの符号（図４（ｂ）の吹き出しの符号）」と、シンボルの情報（音源、表示色、表示文字列）と、シンボルの表示位置と、を対応づけて構成される。
【００３８】
図５は、音声フレーム列検出部１２（図１）の動作を示すフローチャートである。図２で示したように、音声フレーム列検出部１２は、波形フレーム１１から音声フレーム列１３を抽出する。なお、音声フレーム列１３の抽出処理は、一般的に音声区間検出と呼ばれる処理である。図５で説明する方法は、その一例であり、任意の音声区間検出処理で置き換えることができる。
【００３９】
また、図５の処理は、説明者用マイク８０からの波形データ１０、聴講者用マイク８１からの波形データ１０、それぞれについて、独立に実行される。
まず、説明者用マイク８０の波形データ１０から生成される音声フレーム列１３は、文書内単語の発言内容を含んでいるため、音声文書対応部２２が文書内単語尤度マップ２２ａを作成するための入力データとなる。
一方、聴講者用マイク８１からの波形データ１０から生成される音声フレーム列１３は、文書内単語の発言内容を含んでいないため、文書内単語尤度マップ２２ａの作成には使用されない。
【００４０】
Ｓ１０１として、マイク（説明者用マイク８０、聴講者用マイク８１）からサンプリングされつづけている波形データ１０を時系列の順に単位長で区切り、波形フレーム１１として読み取る。以下、Ｓ１０１〜Ｓ１１０までのループは、読み取った波形フレーム１１を選択するループである。
【００４１】
Ｓ１０２として、Ｓ１０１で選択中の波形フレーム１１の音量を示すパワーｐを計算する。パワーｐは、波形フレーム１１内の全サンプルの振幅の２乗和平均として計算される。
Ｓ１０３として、パワーｐが開始閾値α（図２参照）より大きいなら（Ｓ１０３，Ｙｅｓ）、選択中の波形フレーム１１を音声フレーム列１３の開始フレームとするため、記録中フラグ「Ｆ」に１（記録中）を代入する（Ｓ１０４）。
Ｓ１０５として、記録中フラグ「Ｆ」が「１」であるときには（Ｓ１０５，Ｙｅｓ）、選択中の波形フレーム１１を音声バッファへ記録する（Ｓ１０６）。
【００４２】
Ｓ１０７として、パワーｐが終了閾値β（図２参照）より小さいなら（Ｓ１０７，Ｙｅｓ）、前回のＳ１０６で記録した波形フレーム１１を音声フレーム列１３の終了フレームとして、記録した音声フレーム列１３を、音声フレーム列検出部１２の出力データとして出力するとともに、次回の音声フレーム列１３を記録するため、音声バッファをクリアする（Ｓ１０８）。そして、記録中フラグ「Ｆ」に０（記録中ではない）を代入する（Ｓ１０９）。
Ｓ１１０として、ループを終了する。
【００４３】
音声文書対応部２２は、音声フレーム列検出部１２が出力した音声フレーム列１３を、文書データ２０に対応づける。音声フレーム列１３の音源が説明者であるときには、音声文書対応部２２は、図６に示す動作を行うことで、表２に示す文書内単語尤度マップ２２ａをもとに、表３に示す音声文書対応データ２２ｂを作成する。
【００４４】
図６は、音源が説明者であるときの、音声文書対応部２２の動作を示すフローチャートである。このフローチャートは、音声フレーム列検出部１２が出力した音声フレーム列１３を、音声文書対応部２２が入力するたびに、実行される。つまり、図６の処理を１回実行することで、１つの音声フレーム列１３が処理される。
【００４５】
まず、Ｓ２０１〜Ｓ２０３のループ処理は、音声文書対応部２２が、音声フレーム列１３を文書内単語音韻モデル２１へ入力したときの確率尤度として、文書内単語尤度マップ２２ａを生成する処理である。
Ｓ２０１として、文書データ２０の文書内単語を順に１つずつ選択するループを開始する。
Ｓ２０２として、Ｓ２０１で選択した文書内単語の単語尤度（スコア）を、音声フレーム列１３を構成する波形フレーム１１ごとに計算し、文書内単語尤度マップ２２ａに書き込む。
Ｓ２０３として、ループを終了する。例えば、１回のループで表２の「コードを」列が生成され、次の１回のループで表２の「引っ張らない」列が生成される。
【００４６】
次に、Ｓ２１１〜Ｓ２１３の処理は、生成された文書内単語尤度マップ２２ａを参照して、音声文書対応データ２２ｂを生成する処理である。
Ｓ２１１として、文書内単語尤度マップ２２ａの文書内単語ｗごとに、波形フレーム番号ｆの最適パスを探索する。
具体的には、波形フレーム番号ｆにおける文書内単語ｗの単語スコアをｓｃｏｒｅ（ｗ、ｆ）、開始位置をｂｅｇｉｎ（ｗ、ｆ）とすると、最適パス（｛ｗｉ、ｆｉ｝）は、以下の（式１）で求められる。
【００４７】
【数１】
2010086074.tif 000008
【００４８】
なお、表２の例では、文書内単語「コードを」列の｛ｗ１＝５、ｆ１＝３｝、および、文書内単語「引っ張らない」列の｛ｗ２＝６、ｆ２＝１１｝が最適パスとなる。
また、表２では一部の単語（ｗ１＝５、ｗ２＝６）しか示していないが、これ以外の単語の尤度スコアは波形フレームが単語音韻モデルと一致せず尤度スコアが低くなるため、最適パスに選択されない。
【００４９】
さらに、最適パスを求める式について、文書データ２０の「重要度」を考慮することとしてもよい。文書内単語ｗの「重要度」をＰ（ｗ）とすると、最適パス（｛ｗｉ、ｆｉ｝）は、以下の（式２）で求められる。
【００５０】
【数２】
2010086074.tif 000009
【００５１】
そして、１つの文書内単語ｗの最適パスが既に１回見つかったときには、その文書内単語ｗの最適パスの探索を省略することとしてもよい。この省略するケースは、プレゼンテーションなどで文書内単語が１回しか発言されないことを前提とするもので、パスの探索を省略することで、計算量を削減することができる。
一方、質疑応答などで文書内単語が複数回発言される場合には、前記した前提がなりたたないので、パスの探索を省略しないほうがよい。
【００５２】
Ｓ２１２として、Ｓ２１１で求めた最適パスに従い、波形フレーム列を文書内単語と、文書外音声と、に分割する。文書内単語は、最適パスで選択された単語ｗｉの区間（ｂｅｇｉｎ（ｗｉ、ｆｉ）、ｆｉ）である。文書外音声は、文書内単語以外の連続する波形フレーム列の区間である。
【００５３】
Ｓ２１３として、Ｓ２１２で求めた文書内単語と、文書外音声とを、音声文書対応データ２２ｂ（表３）に書き込む。
音声文書対応データ２２ｂの「文書内単語」列には、Ｓ２１２で求めた文書内単語を示すテキスト（文書データ２０から取得）、または、文書外音声を示すフラグが記述される。
音声文書対応データ２２ｂの「音声時間」列には、Ｓ２１２で求めた文書内単語および文書外音声を構成する波形フレーム１１について、最初の波形フレーム１１の開始時刻から、最後の波形フレーム１１の終了時刻までの時間帯が記述される。
音声文書対応データ２２ｂの「表示座標」列には、文書データ２０に基づき、Ｓ２１２で求めた文書外音声をディスプレイ９１に表示する位置（吹き出しアイコンにおける吹き出しの先端部分の位置）が記述される。
【００５４】
文書外音声の「表示座標」は、例えば、文書外音声と文書内単語との発言時間帯の時間的近さをもとに、以下の手法から求めることができる。
まず、文書外音声（＃１）が発言された後に、文書内単語（＃２の「注意事項」）が発言された場合、文書データ２０（表１）を参照して文書内単語（＃１の「注意事項」）の表示位置（左上座標、右下座標）を取得する。そして、文書内単語の左上座標の近傍（やや左側）の座標を、文書外音声の「表示座標」とする。
次に、文書内単語（＃２の「注意事項」）が発言された後に、文書外音声（＃３）が発言された場合、文書データ２０（表１）を参照して文書内単語（＃１の「注意事項」）の表示位置（左上座標、右下座標）を取得する。そして、文書内単語の右上座標の近傍（やや右側）の座標を、文書外音声の「表示座標」とする。
【００５５】
以上、図６を参照して、音声フレーム列１３の音源が説明者であるときの処理を説明した。一方、音声フレーム列１３の音源が聴講者であるときには、音声文書対応部２２は、表３に示す音声文書対応データ２２ｂをもとに、表４に示す音声文書対応データ２２ｂを作成する。
具体的には、音声文書対応部２２（シンボルテキスト作成部）は、各文書外音声について、一般音韻モデル３２と一般単語辞書３１を用いて単語音声認識を行う。
単語音声認識は、具体的には、一般単語辞書３１内の単語Ｗ１、Ｗ２、…、ＷＪのそれぞれのスコアＳ（１）、Ｓ（２）、…、Ｓ（Ｊ）を、一般音韻モデル３２を用いて求める。スコアの最大値ｍａｘ（Ｓ（ｊ））＞γ（γは既定の閾値）であれば、認識結果であるＷｊ | ｊ＝ａｒｇｍａｘ（Ｓ（Ｊ））を表示文字列とする。そうでなければ認識失敗を示す「？」などの記号を表示文字列とする。
【００５６】
そして、音声文書対応部２２は、説明者の音声文書対応データ２２ｂ（表３）を参照して、聴講者の音声文書対応データ２２ｂ（表４）の「表示座標」を決定する。
例えば、表４の文書外音声「はい」（音声時間＝700〜800）は、表３の文書内単語「注意事項」の音声時間「100〜300」の後に発言されている。よって、文書外音声「はい」の表示座標は、文書内単語「注意事項」の直後の、表３の文書外音声（音声時間＝300〜600）の表示位置「(140,100)」と同じ位置とする。
【００５７】
図１に戻って、シンボル作成部４０は、音声文書対応データ２２ｂ（表３，表４）からシンボルデータ４１（表５）を作成する。
【００５８】
シンボル作成部４０は、説明者の音声文書対応データ２２ｂ（表３）からは、文書内単語を除いた文書外音声をシンボルとして抽出する。例えば、シンボル作成部４０は、表３の音声時間「０〜１００[ms]」の文書外音声（＃１）を、シンボルの符号「７１１」のシンボルとし、表３の「表示座標」を表５の「シンボルの表示位置」へ代入する。
【００５９】
シンボル作成部４０は、聴講者の音声文書対応データ２２ｂ（表４）からは、全ての文書外音声をシンボルとして抽出する。例えば、シンボル作成部４０は、表４の音声時間「７００〜８００[ms]」の文書外音声（＃１、はい）を、シンボルの符号「７１３」のシンボルとし、表４の「表示座標」を表５の「シンボルの表示位置」へ代入し、表４の「文書外音声」のテキストを表５のシンボルの「表示文字列」へ代入する。
【００６０】
シンボルデータ４１の「表示文字列」について、基本的には、音声認識処理の結果であるテキスト化された音声内容をそのまま記載する。しかし、辞書外の単語を発言したときなど、音声認識の結果が得られなかったときには、文書外音声の時間長に応じて、文書外音声の長さが所定以下であれば「−（なし）」、所定以上であれば「…」という文字列を表示文字列としてもよい。
シンボルデータ４１の「表示色」について、「音源」が説明者なら「白」とし、「音源」が聴講者なら「灰」とする。
【００６１】
シンボル再生部４４は、指定されたシンボルデータ４１の音声信号をスピーカ９３から出力する。なお、シンボルデータ４１の指定方法は、例えば、利用者がマウス９２を用いて、ディスプレイ９１に表示されているシンボル付文書データ４３のシンボルデータ４１（図４（ｂ）の吹き出し７１１〜７１９）をクリックすることで、実行される。
【００６２】
そして、シンボル再生部４４は、シンボルデータ４１が指定されると、シンボルデータ４１の作成元となった音声文書対応データ２２ｂを参照し、音声文書対応データ２２ｂの「音声時間」を取得し、その「音声時間」分の波形データ１０をメモリ８６から読み取って、スピーカ９３から出力する。これにより、利用者は指定した表示文字列に相当する音声を聞くことができる。
【００６３】
以上、第１実施形態について、説明した。これにより、ユーザは、表示されたシンボル付文書データ４３に付加されたシンボルデータ４１（吹き出しアイコン）を参照することにより、説明者が説明を補足したところや、聴講者から質問や返答が得られたところ、その発言内容などが即座に理解できる。
さらに、説明者は、画面上に文書データ２０を表示して説明する代わりに、シンボル付文書データ４３を表示して説明することにより、過去の説明内容を確認しながら、説明を効率よく進めることができる。
【００６４】
本発明の第２実施形態を説明する。第２実施形態では、録音する音声の音源を特定可能なマイクアレイを介して、音声を録音する。これにより、発言者ごとにマイクを用意する必要が無くなるため、導入が容易になる。第２実施形態は、例えば、会議室などの対面する環境で実施される。
【００６５】
図７は、第２実施形態の音声処理装置を示す構成図である。図１と比較すると、図１の各マイク（説明者用マイク８０、聴講者用マイク８１）が、図７の複数のマイク素子８２ａ〜８２ｃからなるマイクアレイ８２へと、置き換わっている。
マイクアレイ８２は、説明場面の近辺に設置される。これにより、説明者ごとにヘッドセットマイクなどの近接マイクを使う必要が無くなるので、マイクの設置を意識しないことにより、円滑に説明をすることができる。音源位置は、マイクアレイ８２から見た方位角の音源方向θで表現される。
【００６６】
そして、図７の音声処理装置１には、図１の構成要素に加え、音源同定部１４が追加されている。音源同定部１４は、音源からの波形データ１０が各マイク素子８２ａ〜８２ｃに到達する時間差を調べることで、音源位置を検出する。さらに、音源同定部１４は、音源位置に対応する空間フィルタを適用し、音源位置からの音声を強調して抽出し、波形データ１０へと出力する。
【００６７】
図８は、第２実施形態の音声フレーム列検出部１２の動作を示すフローチャートである。図５のフローチャートと比較すると、以下の点が変更されている。
・音源方向θごとのループ（Ｓ１０１ａ〜Ｓ１１０ａ）が、追加されている。
・波形フレーム１１のパワーｐが、音源方向θごとのパワーｐ（θ）へと変更されている（Ｓ１０２ｂ、Ｓ１０３ｂ、Ｓ１０７ｂ）。音源方向θは、マイクアレイに対し方位角３６０度を５度間隔でとったもの（θ＝０、５、・・・、３５５）とする。ｐ（θ）は、マイク素子｛ｉ＝０、１、２、３｝への入力波形フレームのフーリエ変換ｘ＝｛ｘｉ｝の複素共役転置ベクトルｘ＊と、音源方向θに対応するステアリングベクトルａ（θ）と、から、ｐ（θ）＝ａ（θ）・ｘ＊で求められる。
・記録中フラグ「Ｆ」が、音源方向θごとの記録中フラグ「Ｆ（θ）」へと変更されている（Ｓ１０４ｂ、Ｓ１０５ｂ、Ｓ１０８ｂ）
・Ｓ１０９ｂにおいて、Ｓ１０９で出力されていた音声フレーム列１３に加え、Ｓ１０１ａで選択中の音源方向θも併せて、出力される。ここで、音源方向θを遅延和ビームフォーミングで強調したｘ（θ）＝ａ（θ）ｘを出力することで、マイクアレイ８２で録音される音源方向θ以外からの音の影響を低減できる。
【００６８】
図９は、第２実施形態の音声文書対応部２２の動作を示すフローチャートである。図６のフローチャートと比較すると、以下の点が変更されている。この変更により、マイクアレイ８２によって得られた入力音声に対しても、音源同定部１４が説明者の方向を検出し、説明内容の可視化が実現できる。
・文書内単語尤度マップ２２ａが、音源方向θごとに生成および参照される（Ｓ２０２ｂ、Ｓ２１１ｂ）。
・図６のフローチャートでは、説明者の音声フレーム列１３の入力を前提としていたが、図９のフローチャートでは、音源方向θに説明者が存在するか否かは、実行開始時には特定されない。そこで、音源同定部１４は、新たに追加された変数Ｓ（θ）の処理（Ｓ２１１ｃ、Ｓ２１１ｄ）を実行することで、音源方向θに説明者が存在するか否かを判断する。
【００６９】
説明者らしさを示す変数Ｓ（θ）は、音源方向θに説明者が存在するかどうかを、説明文が発言内容に含まれるか、あるいは過去に含んでいたかどうかで判別するために、導入される変数である。
音源同定部１４は、以下の（式３）により、最適パスの文書内音声区間におけるスコアの和ＳＰ（θ）を計算する。
【００７０】
【数３】
2010086074.tif 000010
【００７１】
このＳＰ（θ）を用いて、Ｓ（θ）←γＳ（θ）＋（１−γ）ＳＰ（θ）として更新する（Ｓ２１１ｃ）。ここで、γは忘却係数をあらわし、例えばγ＝０．９などと設定する。
音源同定部１４は、Ｓ２１１ｃで更新したＳ（θ）が、あらかじめ設定した閾値νを上回るか否かを判定する。閾値νを上回る（Ｓ２１１ｄ、Ｙｅｓ）ときには、音源方向θに説明者が存在すると判断し、Ｓ２１２を実行する。一方、閾値νを上回らない（Ｓ２１１ｄ、Ｎｏ）ときには、音源方向θに説明者が存在しないと判断する。音源方向θに説明者が存在しないときには、音声文書対応部２２は、図９の開始時に入力された音声フレーム列１３全体を、１つの文書外音声とみなし（Ｓ２１２ａ）、処理をＳ２１３へと進める。
【００７２】
なお、あらかじめ説明者の音源方向θが与えられている場合は、音源同定部１４のＳ２１１ｃの処理を省略し、Ｓ２１１ｄの判定式を、「音源方向θに説明者が存在する」と置き換えてもよい。
【００７３】
図７に戻り、シンボル作成部４０の動作は、図１の第１実施形態と同様である。ここで、表示色を音源方向θごとに変えてもよい。これにより、説明者や聴講者がそれぞれ複数の場合であっても、どの発言が同一人物によりなされたかを画面上に示すことができる。
【００７４】
以上説明した第１，第２実施形態によれば、説明者が文書に沿って説明するときに、文書には記載されていない発言内容を、補充データとして文書に付加することができる。
これにより、説明時の音声を記録し説明の証拠として残す場合、説明者は文書資料のどれを説明したか、あるいはそれに対して聴講者がどのように応答したか、という情報に説明中にアクセスすることができる。
よって、文書には記載されていない発言内容を効率よく参照することにより、説明漏れや同意の獲得漏れをなくすことができる。つまり、説明者が文書資料に基づき他の人物に説明を行うという場面において、わかりやすく、厳選された情報をシンボルとして説明者に提供することができる。
【００７５】
本発明の各実施形態は、会議等の構造化、可視化という用途において、有効である。
複数の発言者の発言内容を可視化する比較例として、発言者ごとの発言を検出し、時系列グラフとして表示するという方法が挙げられる。
文書資料を利用する比較例として、会議中に表示していたスライドを関連付けて表示するものや、音声認識で用いる言語モデルの適応に利用するものが、挙げられる。
本発明の各実施形態では、文書資料に基づき説明する場面を可視化するという用途において、前記した比較例よりも、より直観的に各発言者の発言内容を視覚的（画面上の吹き出しアイコン）、および、聴覚的（吹き出しアイコンのクリックによる音声再生）に理解しやすい利用法を提供することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１実施形態に関する音声処理装置を示す構成図である。
【図２】本発明の第１実施形態に関する音響信号データを示す説明図である。
【図３】本発明の第１実施形態に関する波形データの発言内容を示す説明図である。
【図４】本発明の第１実施形態に関するディスプレイに出力する文書データの表示例を示す画面図である。
【図５】本発明の第１実施形態に関する音声フレーム列検出部の動作を示すフローチャートである。
【図６】本発明の第１実施形態に関する音声文書対応部の動作を示すフローチャートである。
【図７】本発明の第２実施形態に関する音声処理装置を示す構成図である。
【図８】本発明の第２実施形態に関する音声フレーム列検出部の動作を示すフローチャートである。
【図９】本発明の第２実施形態に関する音声文書対応部の動作を示すフローチャートである。
【符号の説明】
【００７７】
１      音声処理装置
１０    波形データ
１１    波形フレーム
１２    音声フレーム列検出部
１３    音声フレーム列
１４    音源同定部
２０    文書データ
２１    文書内単語音韻モデル
２２    音声文書対応部
２２ａ  文書内単語尤度マップ
２２ｂ  音声文書対応データ
３１    一般単語辞書
３２    一般音韻モデル
４０    シンボル作成部
４１    シンボルデータ
４２    シンボル付加部
４３    シンボル付文書データ
４４    シンボル再生部
８０    説明者用マイク
８１    聴講者用マイク
８２    マイクアレイ
８２ａ〜８２ｃ  マイク素子
８５    ＣＰＵ
８６    メモリ
９１    ディスプレイ
９２    マウス
９３    スピーカ
【図１】
2010086074.tif 000011
【図２】
2010086074.tif 000012
【図３】
2010086074.tif 000013
【図４】
2010086074.tif 000014
【図５】
2010086074.tif 000015
【図６】
2010086074.tif 000016
【図７】
2010086074.tif 000017
【図８】
2010086074.tif 000018
【図９】
2010086074.tif 000019