(57)【要約】【課題】音声データに含まれる非音声の音喩を表すテキスト表現とそのテキスト表現の表示属性を得る。【解決手段】非音声区間検出部２４は、音声データにおける非音声区間を検出する。音響特徴量抽出部２５は、非音声区間における音声データから音響特徴量を抽出する。言語特徴量抽出部２６は、非音声区間の前後を含む言語特徴量抽出区間を特定し、特定した言語特徴量抽出区間の音声データに対応した発話内容のデータから言語特徴量を抽出する。韻律特徴量抽出部２７は、非音声区間の前後を含む韻律特徴量抽出区間を特定し、特定した韻律特徴量抽出区間の音声データから韻律特徴量を抽出する。音喩認識部２８は、統計的に学習された音喩認識モデルを用いて、抽出された音響特徴量、言語特徴量、及び韻律特徴量から非音声のテキスト表現とそのテキスト表現の表示属性からなる音喩の事後確率を計算し、事後確率に基づいて選択した音喩を出力する。【選択図】図２
2015212732.tif 000002
【特許請求の範囲】
【請求項１】
非音声区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける非音声区間を検出する非音声区間検出部と、
前記非音声区間検出部が検出した前記非音声区間における前記音声データから音響特徴量を抽出する音響特徴量抽出部と、
前記非音声区間検出部が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出部と、
前記非音声区間検出部が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の韻律特徴量抽出区間を特定し、特定した前記韻律特徴量抽出区間の前記音声データから韻律特徴量を抽出する韻律特徴量抽出部と、
音響特徴量、言語特徴量、及び韻律特徴量を入力として非音声のテキスト表現とそのテキスト表現の表示属性とからなる音喩を得るための統計的に学習された音喩認識モデルを用いて、前記音響特徴量抽出部が抽出した前記音響特徴量、前記言語特徴量抽出部が抽出した前記言語特徴量、及び前記韻律特徴量抽出部が抽出した前記韻律特徴量から音喩の事後確率を計算し、計算された前記事後確率に基づいて選択した音喩のデータを出力する音喩認識部と、
を備えることを特徴とする音喩認識装置。
【請求項２】
前記表示属性は、テキスト表現を表す文字の字体、大きさ、色、表示動作のうち１以上である、
ことを特徴とする請求項１に記載の音喩認識装置。
【請求項３】
前記音喩認識モデルは、
非音声区間の音声データを分割した時刻順のフレームそれぞれから得られた音響特徴量を入力とし、入力された前記音響特徴量を入力よりも低い次元に変換した音響特徴量を出力する第１のニューラルネットワークと、
韻律特徴量抽出区間の韻律特徴量を入力とし、入力された前記韻律特徴量を入力よりも低い次元に変換した韻律特徴量を出力する第２のニューラルネットワークと、
言語特徴量抽出区間の言語特徴量を入力とし、入力された前記言語特徴量を入力よりも低い次元に変換した言語特徴量を出力する第３のニューラルネットワークと、
前記第１のニューラルネットワークの出力である前記音響特徴量と、前記第２のニューラルネットワークの出力である前記韻律特徴量と、前記第３のニューラルネットワークの出力である前記言語特徴量とを入力として音喩のテキスト表現及び表示属性それぞれの事後確率を出力する第４のニューラルネットワークとを有し、
前記音響特徴量抽出部は、前記非音声区間検出部が検出した前記非音声区間の前記音声データを分割したフレームそれぞれから音響特徴量を抽出し、
前記音喩認識部は、時刻順の前記フレームそれぞれから前記音響特徴量抽出部が抽出した音響特徴量を前記第１のニューラルネットワークに、前記韻律特徴量抽出部が抽出した韻律特徴量を前記第２のニューラルネットワークに、前記言語特徴量抽出部が抽出した前記言語特徴量を前記第３のニューラルネットワークに入力し、第４のニューラルネットワークの出力である音喩のテキスト表現及び表示属性それぞれの事後確率を計算する、
ことを特徴とする請求項１または請求項２のいずれか１項に記載の音喩認識装置。
【請求項４】
前記音声データに対応した映像データに前記音喩認識部が選択した前記音喩を重ねて表示させる映像データを生成する結果編集部をさらに備える、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の音喩認識装置。
【請求項５】
前記結果編集部は、前記音喩認識部が選択した前記音喩に対する修正指示を受け、前記修正指示に基づいて修正した前記音喩を前記音声データに対応した映像データに重ねて表示させる映像データを生成し、
前記音喩が得られたときの前記音喩認識モデルの入力である前記音響特徴量、前記韻律特徴量、及び前記言語特徴量と、修正された前記音喩とに基づいて前記音喩認識モデルを更新する音喩認識モデル学習部をさらに備える、
ことを特徴とする請求項４に記載の音喩認識装置。
【請求項６】
音声区間検出用の統計的音響モデルと照合して前記音声データにおける音声区間を検出する音声区間検出部と、
前記音声区間検出部が検出した前記音声区間における前記音声データを音声認識し、音声認識の結果得られた発話内容のデータを出力する音声認識部とをさらに備え、
前記言語特徴量抽出部は、前記音声認識部が出力した前記発話内容のデータから、前記言語特徴量抽出区間における言語特徴量を抽出する、
ことを特徴とする請求項１から請求項５のいずれか１項に記載の音喩認識装置。
【請求項７】
コンピュータを、
非音声区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける非音声区間を検出する非音声区間検出手段と、
前記非音声区間検出手段が検出した前記非音声区間における前記音声データから音響特徴量を抽出する音響特徴量抽出手段と、
前記非音声区間検出手段が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出手段と、
前記非音声区間検出手段が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の韻律特徴量抽出区間を特定し、特定した前記韻律特徴量抽出区間の前記音声データから韻律特徴量を抽出する韻律特徴量抽出手段と、
音響特徴量、言語特徴量、及び韻律特徴量を入力として非音声のテキスト表現とそのテキスト表現の表示属性とからなる音喩を得るための統計的に学習された音喩認識モデルを用いて、前記音響特徴量抽出手段が抽出した前記音響特徴量、前記言語特徴量抽出手段が抽出した前記言語特徴量、及び前記韻律特徴量抽出手段が抽出した前記韻律特徴量から音喩の事後確率を計算し、計算された前記事後確率に基づいて選択した音喩のデータを出力する音喩認識手段と、
を具備する音喩認識装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音喩認識装置、及びプログラムに関する。
【背景技術】
【０００２】
多くの放送番組の音声は、音声言語だけから構成されている訳ではなく、番組の演出上の要請から非言語的な音声(例えば、笑い声)や、拍手、背景音楽などが付加されている。このような非音声は、場面の転換を知らせたりするなど、音声言語と同様に、情報伝達において重要な役割を担っていると考えられる。従って、非音声は、視聴者が番組を理解する際に欠かせない要素の一つといえる。
【０００３】
一方、非音声のうち、環境音を認識し、擬音語として出力する技術がある（例えば、特許文献１参照）。この技術では、環境音を単純にテキスト表現の一態様である擬音語に変換して障碍者に提示する。また、オノマトペ(擬音語・擬態語)が持つ音韻的特徴からユーザーの印象評価に近いオノマトペの仮説を自動生成する技術や（例えば、特許文献２参照）、画像に対してユーザーが選択した擬音語と、その擬音語にひもづけられた環境音を付加する技術がある（例えば、特許文献３参照）。他に、筆跡から擬音語を生成する技術や（例えば、特許文献４参照）、デジタルコミックにおける線画から音喩の動的属性を付与する技術がある（例えば、非特許文献１参照）。さらには、ユーザーが発声したオノマトペを音声認識し、音声認識結果に基づいてコンピューターグラフィックスにおける線画の属性(線の種類など)を変更したり、ゲームの操作を行ったりするためのインターフェースを実現する技術がある（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３３４１４９号公報
【特許文献２】特開２０１３−３３３５１号公報
【特許文献３】特開平１１−２６１９４７号公報
【特許文献４】特開２０１２−１８５４４号公報
【非特許文献】
【０００５】
【非特許文献１】寺島亜耶香、外２名，「効果線の描画に着目した動的音喩の付与手法」，２０１２年度人工知能学会全国大会(第２６回)論文集，２０１２年、ｌＭ２−ＯＳ−８ｂ−３，ｐ．１−４
【非特許文献２】神原啓介、他１名，「オノマトペを用いたマルチモーダルインタラクション」，２０１１年度人工知能学会全国大会(第２５回)論文集，２０１１年，ｌＣ２−ＯＳ４ｂ−１２，ｐ．１−２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
聴覚障碍者や高齢者への情報補償といった観点から音喩を考えた場合、非音声からどのようなテキスト表現を選択するか、そして、この選択したテキスト表現を、情報を十分に補償しうるグラフィックとしてどのように映像コンテンツに配置するかが大きな問題となる。一般的に、非音声を音喩として表現し、映像中に配置するという作業は、人手により行われるため、制作コストが高くつきがちである。この人手による作業を削減することにより、制作コストを大幅に下げることができる。
【０００７】
しかし、特許文献１の技術は、放送音声を対象とし、非音声のテキスト表現のみならず、そのテキスト表現をグラフィックにより表示する際の表示属性を推定するものではない。つまり、環境音を認識して得られたテキスト表現を映像中の表現として用いるといった用途は対象外である。また、特許文献２〜４や非特許文献１は、環境音からオノマトペを生成するものではない。非特許文献２は、ユーザーの発話の音声認識に基づく対話型アプリケーション例であって、実環境下にある非音声を認識するものではない。
【０００８】
本発明は、このような事情を考慮してなされたもので、音声データに含まれる非音声の音喩を表すテキスト表現とそのテキスト表現の表示属性を得ることができる音喩認識装置、及びプログラムを提供する。
【課題を解決するための手段】
【０００９】
本発明の一態様は、非音声区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける非音声区間を検出する非音声区間検出部と、前記非音声区間検出部が検出した前記非音声区間における前記音声データから音響特徴量を抽出する音響特徴量抽出部と、前記非音声区間検出部が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出部と、前記非音声区間検出部が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の韻律特徴量抽出区間を特定し、特定した前記韻律特徴量抽出区間の前記音声データから韻律特徴量を抽出する韻律特徴量抽出部と、音響特徴量、言語特徴量、及び韻律特徴量を入力として非音声のテキスト表現とそのテキスト表現の表示属性とからなる音喩を得るための統計的に学習された音喩認識モデルを用いて、前記音響特徴量抽出部が抽出した前記音響特徴量、前記言語特徴量抽出部が抽出した前記言語特徴量、及び前記韻律特徴量抽出部が抽出した前記韻律特徴量から音喩の事後確率を計算し、計算された前記事後確率に基づいて選択した音喩のデータを出力する音喩認識部と、を備えることを特徴とする音喩認識装置である。
この発明によれば、音喩認識装置は、音声データにおける非音声区間を検出し、検出した非音声区間の音声データから音響特徴量を抽出する。また、音喩認識装置は、非音声区間を含み、かつ、非音声区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した言語特徴量抽出区間の音声データに対応した発話内容から言語特徴量を抽出する。さらに、音喩認識装置は、非音声区間を含み、かつ、非音声区間よりも所定だけ長い区間の韻律特徴量抽出区間を特定し、特定した韻律特徴量抽出区間の音声データから韻律特徴量を抽出する。音喩認識装置は、統計的に学習された音喩認識モデルを用いて、抽出された音響特徴量、韻律特徴量、及び言語特徴量から非音声のテキスト表現とそのテキスト表現の表示属性とからなる音喩の事後確率を計算する。この音喩の事後確率は、特徴量が与えられたときの音喩の確からしさを表す条件付き確率である。音喩認識装置は、計算した事後確率に基づいて選択した音喩のデータを出力する。
これにより、音喩認識装置は、音声データに含まれる非音声の適切な音喩を得ることができる。
【００１０】
本発明の一態様は、上述する音喩認識装置であって、前記表示属性は、テキスト表現を表す文字の字体、大きさ、色、表示動作のうち１以上である、ことを特徴とする。
この発明によれば、音喩認識装置は、音声データに含まれる非音声のテキスト表現と、そのテキスト表現を表す文字の字体、大きさ、色、表示動作のうち１以上とからなる音喩のデータを出力する。
これにより、音喩認識装置は、豊かな表現の音喩のデータを得ることができる。
【００１１】
本発明の一態様は、上述する音喩認識装置であって、前記音喩認識モデルは、非音声区間の音声データを分割した時刻順のフレームそれぞれから得られた音響特徴量を入力とし、入力された前記音響特徴量を入力よりも低い次元に変換した音響特徴量を出力する第１のニューラルネットワークと、韻律特徴量抽出区間の韻律特徴量を入力とし、入力された前記韻律特徴量を入力よりも低い次元に変換した韻律特徴量を出力する第２のニューラルネットワークと、言語特徴量抽出区間の言語特徴量を入力とし、入力された前記言語特徴量を入力よりも低い次元に変換した言語特徴量を出力する第３のニューラルネットワークと、前記第１のニューラルネットワークの出力である前記音響特徴量と、前記第２のニューラルネットワークの出力である前記韻律特徴量と、前記第３のニューラルネットワークの出力である前記言語特徴量とを入力として音喩のテキスト表現及び表示属性それぞれの事後確率を出力する第４のニューラルネットワークとを有し、前記音響特徴量抽出部は、前記非音声区間検出部が検出した前記非音声区間の前記音声データを分割したフレームそれぞれから音響特徴量を抽出し、前記音喩認識部は、時刻順の前記フレームそれぞれから前記音響特徴量抽出部が抽出した音響特徴量を前記第１のニューラルネットワークに、前記韻律特徴量抽出部が抽出した韻律特徴量を前記第２のニューラルネットワークに、前記言語特徴量抽出部が抽出した前記言語特徴量を前記第３のニューラルネットワークに入力し、第４のニューラルネットワークの出力である音喩のテキスト表現及び表示属性それぞれの事後確率を計算する、ことを特徴とする。
この発明によれば、音喩認識装置は、非音声区間の音声データを分割した時刻順の各フレームそれぞれの音響特徴量を第１のニューラルネットワークの入力とし、低次元で表した音響特徴量を計算する。また、音喩認識装置は、韻律特徴量抽出区間の韻律特徴量を第２のニューラルネットワークの入力とし、低次元で表した韻律特徴量を計算する。さらに、音喩認識装置は、言語特徴量抽出区間の言語特徴量を第３のニューラルネットワークの入力とし、低次元で表した言語特徴量を計算する。音喩認識装置は、第１のニューラルネットワークにより計算された低次元の音響特徴量と、第２のニューラルネットワークにより計算された低次元の韻律特徴量と、第３のニューラルネットワークにより計算された低次元の言語特徴量とを第４のニューラルネットワークの入力とし、音喩のテキスト表現及び表示属性それぞれの事後確率を計算する。音喩認識装置は、計算した事後確率に基づいて選択した音喩のデータを出力する。
これにより、音喩認識装置は、非音声区間の音声データを分割した各フレームの音響特徴量と、韻律特徴量抽出区間の韻律特徴量と、言語特徴量抽出区間の言語特徴量とを用いて、精度よく音喩の事後確率を得ることができる。
【００１２】
本発明の一態様は、上述する音喩認識装置であって、前記音声データに対応した映像データに前記音喩認識部が選択した前記音喩を重ねて表示させる映像データを生成する結果編集部をさらに備える、ことを特徴とする。
この発明によれば、音喩認識装置は、音声データに含まれる非音声の音喩を、その音声データに対応した映像データに重ねて表示させる映像データを生成する。
これにより、音喩認識装置は、音喩が追加された番組映像を生成することができる。
【００１３】
本発明の一態様は、上述する音喩認識装置であって、前記結果編集部は、前記音喩認識部が選択した前記音喩に対する修正指示を受け、前記修正指示に基づいて修正した前記音喩を前記音声データに対応した映像データに重ねて表示させる映像データを生成し、前記音喩が得られたときの前記音喩認識モデルの入力である前記音響特徴量、前記韻律特徴量、及び前記言語特徴量と、修正された前記音喩とに基づいて前記音喩認識モデルを更新する音喩認識モデル学習部をさらに備える、ことを特徴とする。
この発明によれば、音喩認識装置は、認識した音喩を修正指示に従って修正し、修正後の音喩を、音声データに対応した映像データに重ねて表示させる映像データを生成するとともに、修正結果に基づいて音喩認識モデルを更新する。
これにより、音喩認識装置は、ユーザーの演出の傾向や嗜好にマッチした音喩認識モデルを学習することができる。
【００１４】
本発明の一態様は、上述する音喩認識装置であって、音声区間検出用の統計的音響モデルと照合して前記音声データにおける音声区間を検出する音声区間検出部と、前記音声区間検出部が検出した前記音声区間における前記音声データを音声認識し、音声認識の結果得られた発話内容のデータを出力する音声認識部とをさらに備え、前記言語特徴量抽出部は、前記音声認識部が出力した前記発話内容のデータから、前記言語特徴量抽出区間における言語特徴量を抽出する、ことを特徴とする。
この発明によれば、音喩認識装置は、言語特徴量抽出区間における言語特徴量を、音声データの音声認識結果から抽出する。
これにより、音喩認識装置は、音声データに発話内容のデータが付加されていない場合でも、音喩の認識に必要な言語特徴量を得ることができる。
【００１５】
本発明の一態様は、コンピュータを、非音声区間を検出するための統計的音響モデルと音声データとを照合して、前記音声データにおける非音声区間を検出する非音声区間検出手段と、前記非音声区間検出手段が検出した前記非音声区間における前記音声データから音響特徴量を抽出する音響特徴量抽出手段と、前記非音声区間検出手段が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の言語特徴量抽出区間を特定し、特定した前記言語特徴量抽出区間の前記音声データに対応した発話内容のデータから言語特徴量を抽出する言語特徴量抽出手段と、前記非音声区間検出手段が検出した前記非音声区間を含み、かつ、前記非音声区間よりも所定だけ長い区間の韻律特徴量抽出区間を特定し、特定した前記韻律特徴量抽出区間の前記音声データから韻律特徴量を抽出する韻律特徴量抽出手段と、音響特徴量、言語特徴量、及び韻律特徴量を入力として非音声のテキスト表現とそのテキスト表現の表示属性とからなる音喩を得るための統計的に学習された音喩認識モデルを用いて、前記音響特徴量抽出手段が抽出した前記音響特徴量、前記言語特徴量抽出手段が抽出した前記言語特徴量、及び前記韻律特徴量抽出手段が抽出した前記韻律特徴量から音喩の事後確率を計算し、計算された前記事後確率に基づいて選択した音喩のデータを出力する音喩認識手段と、を具備する音喩認識装置として機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、音声データに含まれる非音声の音喩を表すテキスト表現とそのテキスト表現の表示属性を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態による音喩認識装置における音喩認識処理の概要を示す図である。
【図２】同実施形態による音喩認識装置の構成を示す機能ブロック図である。
【図３】同実施形態による音喩認識処理部の音喩認識処理フローを示す図である。
【図４】同実施形態による非音声区間検出用のＨＭＭ（Hidden Markov Model、隠れマルコフモデル）を示す図である。
【図５】同実施形態による非音声区間検出部の非音声区間検出処理フローを示す図である。
【図６】同実施形態による特徴量抽出区間を示す図である。
【図７】同実施形態による音喩認識モデルを示す図である。
【図８】同実施形態による編集画面を示す図である。
【図９】同実施形態による学習データに含まれる音喩テーブルを示す図である。
【図１０】同実施形態による学習データに含まれる字幕テーブルを示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本実施形態の音喩認識装置は、音声データに含まれる非音声（話声や言語音以外の音）を認識して非音声を表すテキストとそのテキストに付随する表示属性を出力し、グラフィック表現としての音喩を生成する。
【００１９】
現在、放送番組の字幕制作に音声認識を利用する技術が実用化されている。放送番組の字幕は、主に聴覚障碍者や高齢者への情報補償を目的としているため、音声認識の対象は、放送番組を構成するテキスト化可能な音声言語のみである。しかし、多くの放送番組は、音声言語だけから構成されている訳ではない。例えば、放送番組の音声には、番組の演出上の要請から、非言語的な音（例えば、笑い声）や、拍手、背景音楽などの非音声が付加されている。このような音声言語以外の音である非音声は、場面の転換を知らせたりするなど、音声言語同様、情報伝達において重要な役割を担っていると考えられる。このことから、非音声は、視聴者が番組を理解する際に欠かせない要素の一つといえる。
放送字幕は、音声言語のテキストによる視覚表現の一手法と理解できるが、現在の放送における字幕放送では音声言語のみが字幕化の対象であり、非音声のテキスト表現はあまり行われていないのが実情である。
【００２０】
一方、漫画におけるテキストの視覚表現として音喩という手法がある。この音喩は漫画を構成する要素の一つであり、擬音語・擬態語のような語音象徴や、登場人物の心情を表現する視覚をともなう言語表現として定義される。従来の用語を用いれば、音喩は一種のタイポグラフィであり、漫画の表現において文字のフォント(手書きを含む）、配色、配置といった属性を伴っていることが特徴である。また、漫画は通常、吹き出し中に現れる登場人物のセリフによって物語が進行するが、これらの音喩もまた、読者が物語を理解したり、臨場感を感じたりするための重要な情報となっている。
【００２１】
漫画における音喩は、静止画をコマとして紙面もしくはコンピュータのディスプレイといったメディアに配置して表現する手法である。一方、放送番組においても、これらの音喩に類似した表現は、特に民間放送局のバラエテイ番組などで、演出の一手法として顕著にみることができる。しかし、放送番組の映像では、漫画における音喩の属性であるテキストの配置や配色に加え、時間変化（大きさの変化といった動作）などの属性が与えられる。そのため、放送番組における音喩は、漫画で行われる静的な音喩ではなく、動的な音喩(通常、文字アニメーションもしくはモーションタイポグラフィと呼ばれる)として定義される。漫画における音喩と同様、放送番組における音喩は、視聴者に対して強烈な印象を残す映像表現としての可能性がある。従って、音喩によって非音声を視覚的に表現することができれば、例えば、聴覚障碍者の理解を深めるような番組制作のための演出手法として、産業上の応用が大いに期待できる。
【００２２】
漫画であれ放送番組であれ、音喩は作者や演出家の意図によって静止画像ないし映像上に配置される。経験を積んだ演出家であれば、非音声から適切なテキスト表現や属性を選択した上で音喩の配置を行うことも可能だが、一般には非音声を演出意図にあった言語表現に変換することは難しいといえる。これは、非音声から想起されるイメージが個人の主観に依存しており、視聴者に的確にメッセージを伝えるための演出手段が一意に定められないことが原因である。
また、聴覚障碍者や高齢者への情報補償といった観点から音喩を考えた場合、非音声からどのようなテキスト表現を選択し、情報を十分に補償しうるグラフィックとして映像コンテンツに配置するかが大きな問題となる。
【００２３】
この問題に対して、非音声を自動的に認識し、映像コンテンツ内の音喩として文字の配色や大きさが適切に推定されるのであれば、音の視覚的な提示手法における制作コストを大幅に削減できる。従って、適切な学習データが与えられるという条件下で、非音声のテキスト表現やその属性を統計的に推定する手法を開発すればよいということになる。
このような音喩に基づくテキストアニメーション生成手法は、いわゆるパターン認識・機械学習に基づく番組制作手法の一つといえ、従来の制作手法を大幅に刷新する新たな手法となりうると考えられる。
本実施形態の音喩認識装置は、音声認識を利用して、統計的に推定した音喩認識モデルにより音声データにおける非音声の音響的な特徴と、その非音声の近傍の言語的な特徴とから非音声を認識し、テキスト表現とそのテキスト表現の画面上の表示属性とを含んだ音喩を生成する。
【００２４】
図１は、本実施形態の音喩認識装置における音喩認識処理の概要を示す図である。
本実施形態の音喩認識装置は、放送番組等の音声データ中に含まれる音声（音声言語）及び非音声（非言語音）の情報から、音喩に関する情報を推定する。本実施形態の音喩認識装置は、音声データからの音喩の推定に統計的手法を適用する。音喩は、非音声のテキストと、表示属性から構成される。ユーザーは、音喩認識装置が推定した音喩に対して、例えば映像の編集機などを用いて演出意図に従って修正を加える。これにより、本実施形態の音喩認識装置は、低コストによる音喩表現の制作を実現する。
【００２５】
本実施形態の音喩は、放送番組の表示画面上への提示を目的とする。そのため、音喩は、非音声のテキスト表現と、表示属性とから構成される。
非音声のテキスト表現は、非音声を表現するめの単語列である。非音声のテキスト表現は、例えば、「ワンワン」、「ガチャガチャ」のような擬音語や擬態語、オノマトペ、間投詞などであり、１語もしくは短いフレーズで構成される。
表示属性は、非音声のテキスト表現を画面に表示する際に、そのテキスト表現に付随する属性である。表示属性は、文字属性や表示動作などを含む。文字属性は、非音声のテキスト表現を表示する際の文字のフォント（書体、文字デザイン）、大きさ、色などである。表示動作（モーション）は、テキスト表現を表示する際の大きさの変化、動きなどである。動きには、表示位置が移動する場合のみならず、表示位置を動かさない場合も含まれる。
【００２６】
音喩の構成要素の詳細については、例えば、”水口充、外１名，「文字アニメーションの自動合成の試み」，社団法人  情報処理学会  研究報告,２００５年,２００５−ＨＩ−１１６（１５），ｐ．９７−１０４”に記載されている。
なお、上述したテキスト表現及び表示属性は一例であり、画面上に表示可能な形態であれば何であれ、音喩の構成要素となりうる。例えば、インターネット上の掲示板や電子メールで使われるアスキーアート（文字を使ったグラフィック表現の一種）や、ソーシャルネットワークサービスで使われる絵文字などが構成要素になりうる。
【００２７】
図２は、本発明の一実施形態による音喩認識装置１の構成を示すブロック図であり、本実施形態と関係する機能ブロックのみ抽出して示してある。音喩認識装置１は、コンピュータ装置により実現される。同図に示すように、音喩認識装置１は、音喩認識処理部２、表示部３、入力部４、及び音喩認識モデル学習処理部５を備えて構成される。音喩認識処理部２は、音喩認識モデルを用いて音喩認識を行う。音喩認識モデルは、音響特徴量、言語特徴量、及び韻律特徴量を入力として音喩の事後確率（特徴量が与えられたときの音喩の確からしさを表す条件付き確率）を得るための統計的モデルである。表示部３は、画像を表示するディスプレイである。なお、表示部３は、音喩認識装置１とネットワークにより接続されるコンピュータ端末のディスプレイに画像を表示させてもよい。入力部４は、キーボードやマウス、タッチパネルに配されたセンサなどであり、ユーザーによる入力操作を受ける。なお、入力部４は、音喩認識装置１とネットワークにより接続されるコンピュータ端末においてユーザーが行った入力操作の情報を受けてもよい。音喩認識モデル学習処理部５は、音喩認識処理部２が音喩認識に用いる音喩認識モデルを学習する。
【００２８】
音喩認識処理部２は、音喩認識に使用する特徴量として、入力音声データＤ１に含まれる音声区間を音声認識した結果のテキストデータから言語特徴量を得るとともに、入力音声データＤ１から音声区間の韻律特徴量を得る。そのため、音喩認識処理部２は、音喩認識とは別に、入力音声データＤ１の音声区間を音声認識する。そこで、音喩認識処理部２は、入力音声データＤ１を２つに分離し、それぞれを音声認識の入力、及び音喩認識の入力とする。
【００２９】
音喩認識処理部２は、音響モデル格納部２０、言語モデル格納部２１、音声区間検出部２２、音声認識部２３、非音声区間検出部２４、音響特徴量抽出部２５、言語特徴量抽出部２６、韻律特徴量抽出部２７、音喩認識部２８、及び結果編集部２９を備えて構成される。
【００３０】
音響モデル格納部２０は、音声区間検出用の統計的音響モデル、非音声区間検出用の統計的音響モデル、及び、音声認識用の統計的音響モデルを格納する。言語モデル格納部２１は、音声認識用の統計的言語モデルを格納する。音声区間検出部２２は、音声認識の前処理として、音響モデル格納部２０に格納されている音声区間検出用の統計的音響モデルと入力音声データＤ１とを照合して、入力音声データＤ１における音声区間を同定する。音声区間は、話声（音声言語）の区間である。音声認識部２３は、音声区間検出部２２が同定した音声区間の入力音声データＤ１を、音響モデル格納部２０に記憶されている音声認識用の統計的音響モデル及び言語モデル格納部２１に記憶されている音声認識用の統計的言語モデルを用いて音声認識する。音声認識部２３は、発話内容の音声認識結果を設定した音声認識結果データＤ２を出力する。
【００３１】
非音声区間検出部２４は、音喩認識の前処理として、音響モデル格納部２０に格納されている非音声区間検出用の統計的音響モデルと入力音声データＤ１とを照合して、入力音声データＤ１における非音声区間を同定する。音響特徴量抽出部２５は、非音声区間検出部２４が同定した非音声区間の入力音声データＤ１から音響特徴量を得る。言語特徴量抽出部２６は、音声認識結果データＤ２が示す音声認識結果のテキストデータから、言語特徴量抽出区間の言語特徴量を抽出する。言語特徴量抽出区間は、非音声区間検出部２４が検出した非音声区間を含み、かつ、非音声区間よりも所定だけ長い区間である。韻律特徴量抽出部２７は、韻律特徴量抽出区間における入力音声データＤ１から韻律特徴量を抽出する。韻律特徴量抽出区間は、非音声区間検出部２４が検出した非音声区間を含み、かつ、非音声区間よりも所定だけ長い区間である。本実施形態では、韻律特徴量抽出区間は、言語特徴量抽出区間と同じ区間とするが、言語特徴量抽出区間と異なる区間としてもよい。
【００３２】
音喩認識部２８は、音響特徴量抽出部２５が得た音響特徴量と、言語特徴量抽出部２６が抽出した言語特徴量と、韻律特徴量抽出部２７が得た韻律特徴量とを、音喩認識用の統計的モデルである音喩認識モデルの入力に用いて音喩認識を行う。音喩認識部２８は、音喩認識結果を設定した音喩データＤ３を結果編集部２９に出力する。音喩認識結果は、非音声のテキスト表現（文字列）とその表示属性とからなる音喩である。表示属性は、テキスト表現を表す文字の字体、大きさ、色、表示動作のうち１以上である。
【００３３】
結果編集部２９は、入力音声データＤ１の抽出元である入力映像データＤ４の表示画面上に、音喩データＤ３により示される音喩を重ねた画面を生成し、表示部３に表示させる。結果編集部２９は、入力部４により入力された修正指示に従って、音喩データＤ３が示す音喩のテキスト表現や表示属性を修正する。結果編集部２９は、入力映像データＤ４の表示画面上に修正後の音喩を重ねて表示させるよう映像編集を行った結果生成された完成映像データＤ５を出力する。さらに、結果編集部２９は、修正指示に従って音喩データＤ３が示す音喩を修正した結果を設定した修正済み音喩データＤ１０と、音喩データＤ３が示す音喩が得られたときの音響特徴量、韻律特徴量、及び言語特徴量を出力する。
【００３４】
音喩認識モデル学習処理部５は、音喩認識処理部２における音喩認識に先立って音喩認識モデルを学習する。音喩認識モデル学習処理部５は、音声言語資源格納部５０、学習用音響特徴量抽出部５１、学習用言語特徴量抽出部５２、学習用韻律特徴量抽出部５３、音喩認識モデル学習部５４、及び音喩認識モデル格納部５５を備えて構成される。
【００３５】
音声言語資源格納部５０は、音喩認識モデルの学習データを記憶する。学習データは、学習用音声データと、音喩と、発話内容のテキストデータとを対応付けたデータである。音喩には、学習用音声データにおける非音声の開始時刻及び終了時刻により示される非音声区間のデータが付加されている。発話内容のテキストデータには、学習用音声データにおける発話の開始時刻及び終了時刻により示される音声区間のデータが付加されている。
【００３６】
学習用音響特徴量抽出部５１は、音声言語資源格納部５０に記憶されている学習データから音喩に対応した非音声区間の学習用音声データである非音声データＤ６を取得する。学習用音響特徴量抽出部５１は、取得した非音声データＤ６から音響特徴量を抽出する。学習用言語特徴量抽出部５２は、非音声データＤ６の非音声区間に対応した言語特徴量抽出区間を特定し、特定した言語特徴量抽出区間の発話内容のテキストデータＤ７を音声言語資源格納部５０に記憶されている学習データから取得する。学習用言語特徴量抽出部５２は、取得したテキストデータＤ７から言語特徴量を抽出する。学習用韻律特徴量抽出部５３は、非音声データＤ６の非音声区間に対応した韻律特徴量抽出区間を特定し、特定した韻律特徴量抽出区間の学習用音声データである音声データＤ８を音声言語資源格納部５０に記憶されている学習データから取得する。学習用韻律特徴量抽出部５３は、取得した音声データＤ８から韻律特徴量を抽出する。
【００３７】
音喩認識モデル学習部５４は、学習用音響特徴量抽出部５１が抽出した音響特徴量と、学習用言語特徴量抽出部５２が抽出した言語特徴量と、学習用韻律特徴量抽出部５３が抽出した韻律特徴量とを受信する。音喩認識モデル学習部５４は、音声言語資源格納部５０に記憶されている学習データから非音声データＤ６の非音声区間に対応した音喩データＤ９を読み出す。音喩認識モデル学習部５４は、受信した音響特徴量、言語特徴量、及び韻律特徴量と、読み出した音喩データＤ９とを用いて、統計的手段により音喩認識モデルを学習する。音喩認識モデル学習部５４は、学習した音喩認識モデルを音喩認識モデル格納部５５に格納する。音喩認識部２８は、この音喩認識モデル格納部５５に格納された音喩認識モデルを用いて、音喩認識を行う。
【００３８】
また、音喩認識モデル学習部５４は、修正された音喩に基づいて音喩認識モデルを更新する。音声言語資源格納部５０は、結果編集部２９から出力された修正済み音喩データＤ１０と、修正前の音喩が得られたときの音響特徴量、韻律特徴量、及び言語特徴量を対応付けて記憶する。音喩認識モデル学習部５４は、これらのデータを音声言語資源格納部５０から読み出し、音喩認識モデル格納部５５に格納されている音喩認識モデルを更新する。なお、音喩認識モデル学習部５４は、カテゴリ別に音喩認識モデルを更新してもよい。この場合、結果編集部２９は、修正済み音喩データＤ１０に対応付けて、修正を行ったユーザーのユーザープロファイルデータＤ１１を出力する。音喩認識モデル学習部５４は、ユーザープロファイルデータＤ１１から得られるカテゴリ別に、修正済み音喩データＤ１０と、修正前の音喩が得られたときの音響特徴量、韻律特徴量、及び言語特徴量とを用いて音喩認識モデルを更新する。音喩認識モデル学習部５４は、更新した音声認識モデルに対応付けてカテゴリを格納する。音喩認識部２８は、入力部４により入力されたカテゴリに対応した音喩認識モデルを音喩認識モデル格納部５５から読み出して音喩認識を行う。
【００３９】
次に、音喩認識装置１の動作について説明する。
まず、音喩認識装置１における音喩認識処理について説明する。
音喩認識装置１の音喩認識処理部２は、音響特徴量、言語特徴量、及び韻律特徴量を音喩認識処理の入力とする。そのため、音喩認識処理部２は、音響特徴量抽出部２５による音響特徴量の抽出処理と、言語特徴量抽出部２６による言語特徴量抽出処理と、韻律特徴量抽出部２７による韻律特徴量抽出処理とを協調的に実行する。
【００４０】
例えば、音声区間検出部２２が総計Ｎ個の非音声区間を検出したとする。初めに、音響特徴量抽出部２５が、第ｎ番目（ｎ＝１，…，Ｎ）の非音声区間について音響特徴量を抽出する。次に、言語特徴量抽出部２６が、第ｎ番目の非音声区間の開始時刻及び終了時刻に基づいて特定される言語特徴量抽出区間から言語特徴量を抽出する。言語特徴量は、言語特徴量抽出区間における音声認識結果中の単語列の頻度に基づく。同様に、韻律特徴量抽出部２７が、第ｎ番目の非音声区間により特定される韻律特徴量抽出区間の韻律特徴量を抽出する。最後に音喩認識部２８は、第ｎ番目の非音声区間について音響特徴量抽出部２５、言語特徴量抽出部２６、及び韻律特徴量抽出部２７のそれぞれが抽出した音響特徴量、言語特徴量、及び韻律特徴量を統合して入力特徴量とする。音喩認識部２８は、Ｎ個の入力特徴量それぞれについて音喩認識を行う。
【００４１】
以下、音喩認識装置１における音喩認識処理の詳細について説明する。
図３は、音喩認識装置１の音喩認識処理フローを示す図である。
まず、音喩認識装置１は、音声区間検出用、非音声区間検出用、音声認識用それぞれの統計的音響モデルを音響モデル格納部２０に格納し、音声認識用の統計的言語モデルを言語モデル格納部２１に格納しておく。また、音喩認識モデル格納部５５には、後述する音喩認識モデル学習処理により学習された音喩認識モデルを格納しておく。
音声区間検出用の統計的音響モデルや、音声認識用の統計的音響モデル及び統計的言語モデルは、従来と同様のものを用いることができる。本実施形態では、非音声区間検出用の統計的音響モデルとして、ＨＭＭ（Hidden Markov Model、隠れマルコフモデル）及びＧＭＭ（Gaussian Mixture Model、ガウス混合分布）を用いる。この非音声区間検出用のＨＭＭ及びＧＭＭは、音声、非音声、及び無音の３つのクラスそれぞれのラベルがつけられた音声データを学習データとして用い、従来技術と同様の学習方法により学習される。例えば、非音声のＧＭＭの場合、混合されるガウス分布のそれぞれが、異なる種類の非音声の特徴を表すようにする。なお、非音声区間検出用のＨＭＭについては図４を用いて後述する。
【００４２】
音喩認識装置１の音喩認識処理部２は、入力音声データＤ１が入力される度に、図３に示す処理を行う。音喩認識処理部２は、話声と非音声の両者が混合した入力音声データＤ１から音声区間と非音声区間を切り出すため、入力音声データＤ１を２つに分岐する。音喩認識処理部２は、分岐した一方を音声区間検出部２２に入力し、もう一方を非音声区間検出部２４に入力する。
【００４３】
音声区間検出部２２は、従来技術によって、入力音声データＤ１においてテキスト化が必要となる音声区間を検出して切り出す（ステップＳ１０５）。この音声区間には、背景音などの非音声との重なりが含まれ得る。本実施形態では、特開２００７−２３３１４８号公報や、特開２００７−２３３１４９号公報に記載の技術により、音声区間を検出する。音声区間検出部２２は、検出した音声区間を入力音声データＤ１から切り出した音声区間データを音声認識部２３に出力する。
【００４４】
具体的には、音声区間検出部２２は、入力音声データＤ１が入力される度に、入力音声データＤ１が示す音声を、所定の時間間隔の１処理単位のフレームである入力フレームに分割する。音声区間検出部２２は、時刻が早い順に選択した所定数の入力フレームそれぞれの音響特徴量を計算する。音声区間検出用の状態遷移ネットワークは、発話開始から発話終了までに、非音声、音声、無音の３状態を飛越しなく遷移するｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型のＨＭＭである。なお、無音の状態に代えて、非音声の状態を用いてもよい。音声区間検出部２２は、音響モデル格納部２０から非音声、音声それぞれの音響モデルを読み出し、読み出したこれらの音響モデルを用いて各入力フレームの音響スコア（対数尤度）計算を行う。非音声の音響モデルは、無音や非音声などのＨＭＭを表す。また、音声の音響モデルは、各音素の音素ＨＭＭからなる。音声区間検出部２２は、各入力フレームの状態遷移の記録を記憶しておき、現在の状態から開始状態に向かって状態遷移の記録を遡り、状態遷移ネットワークを用いて処理開始（始端）の入力フレームからの各状態系列の累積の音響スコアを計算する。音声区間検出部２２は、各状態系列の累積の音響スコアのうち最大のものと、始端の音響スコアとの差が閾値より大きい場合、最大の累積の音響スコアが得られた系列において最後に非音声の状態であった時刻から所定時間遡った時刻を発話開始時刻とする。
音声区間検出部２２は、さらに発話開始時刻検出後の入力フレームについて、上記と同様に処理開始の入力フレームからの現在の入力フレームまでの各状態系列の累積の音響スコアを計算する。音声区間検出部２２は、各状態系列の中で最大の累積の音響スコアと、各状態系列のうち音声から無音の終端に至る状態系列の中で最大の累積の音響スコアとの差が閾値を超えたかを判断する。音声区間検出部２２は、閾値を超えた状態が所定時間経過した場合、その経過した時刻から所定時間遡った時刻を発話終了時刻とする。
音声区間検出部２２は、発話開始時刻から発話終了時刻までの区間の入力フレームをまとめた音声区間データを音声認識部２３に出力する。さらに、音声区間検出部２２は、同定した音声区間を示す情報を韻律特徴量抽出部２７に出力する。
【００４５】
音声認識部２３は、音声区間検出部２２が出力した音声区間データを、音響モデル格納部２０に格納されている音声認識用の統計的音響モデル及び言語モデル格納部２１に格納されている統計的言語モデルを用い、従来技術により音声認識する（ステップＳ１１０）。本実施形態では、音声認識部２３は、統計的音響モデルに、ＨＭＭ、及びＧＭＭを用いる。また、本実施形態では、音声認識部２３は、統計的言語モデルに単語ｎ−ｇｒａｍ言語モデルを用いたマルチパス音声認識により認識結果を得る。この認識結果は、単語を単位とした分かち書きであり、音声認識部２３は、各単語に、当該単語が発話された時刻情報を付与する。音声認識部２３は、音声認識結果を設定した音声認識結果データＤ２を出力する。
【００４６】
一方、非音声区間検出部２４は、入力音声データＤ１において背景音等を含む非音声から構成される非音声区間を検出して切り出す（ステップＳ１１５）。本実施形態では、非音声区間検出部２４は、音声認識によりテキスト化すべき部分との重複を含む非音声区間を検出する。非音声区間検出部２４は、音声区間検出部２２と同様のアルゴリズムにより、音響モデル格納部２０に記憶されている非音声区間検出用のＧＭＭとＨＭＭを用いて非音声区間の検出を行う。ただし、音声区間検出部２２が、音声区間を検出対象としているのに対し、非音声区間検出部２４は、非音声の音声区間を検出対象とする点が異なる。また、音声区間検出用の状態遷移ネットワークに代えて、非音声区間検出用のＨＭＭを用いる。
【００４７】
図４は、音響モデル格納部２０に記憶されている非音声区間検出用のＨＭＭを示す図である。本実施形態では、ＨＭＭの構成を、いわゆるエルゴディックＨＭＭとする。同図に示すように、このエルゴディックＨＭＭは、音声、非音声、無音の３クラスの遷移を表現したＨＭＭである。各遷移には、学習により得られた遷移確率が付与されている。
【００４８】
図５は、非音声区間検出部２４の非音声区間検出処理フローを示す図であり、図３のステップＳ１１５における詳細な処理を示す。まず、非音声区間検出部２４は、入力音声データＤ１が入力される度に、入力音声データＤ１を、所定の時間間隔の１処理単位のフレームである入力フレームに分割する。分割後の入力フレームは、音響特徴量の処理単位であり、通常１単位１０ミリ秒、または、１０ミリ秒に近い長さとする。
【００４９】
非音声区間検出部２４は、まだ処理対象としていない入力フレームのうち、時刻が早い順に所定数の入力フレームを取得する（ステップＳ２０５）。非音声区間検出部２４は、取得した各入力フレームの音響特徴量を計算する。非音声区間検出部２４は、音響モデル格納部２０からＨＭＭの各状態である音声、非音声、及び無音それぞれのＧＭＭを読み出す。非音声区間検出部２４は、読み出したこれらのＧＭＭと各入力フレームの音響特徴量とを照合して各入力フレームの音響スコア計算を行い、必要があればＨＭＭの状態間の遷移を行う（ステップＳ２１０）。非音声区間検出部２４は、トレースバックに必要な定められた数の入力フレームを処理していない場合（ステップＳ２１５：ＮＯ）、ステップＳ２０５に戻って新たな入力フレームを取得し、音響スコアの計算を行う。
【００５０】
非音声区間検出部２４は、トレースバックに必要な定められた数の入力フレームを処理した場合（ステップＳ２１５：ＹＥＳ）、現在の状態に至るまでの状態系列のリストをトレースバックにより求める（ステップＳ２２０）。つまり、非音声区間検出部２４は、現在の状態から開始状態に向かって状態遷移の記録を遡り、図４に示すエルゴディックＨＭＭを用いて、処理開始の入力フレームの状態（開始状態）から現在の状態までの各状態系列の累積の音響スコアを計算する。この際、非音声区間検出部２４は、累積の音響スコアが大きい順に系列をソートしておく。
【００５１】
非音声区間検出部２４は、トレースバックにより得られたＨＭＭの状態系列から、第１位の系列と第２位の系列を比較する（ステップＳ２２５）。非音声区間検出部２４は、累積の音響スコアの差が予め定めた閾値以下である場合、区間が確定しないと判断し（ステップＳ２３０：ＮＯ）、ステップＳ２０５に戻って新たな入力フレームに対して音響スコアの計算を行う。非音声区間検出部２４は、累積の音響スコアの差が予め定めた閾値を超えたと判断した場合（ステップＳ２３０：ＹＥＳ）、第１位の系列を確定区間とする。非音声区間検出部２４は、最後に非音声の確定区間のフレームを時刻順にまとめあげたフレーム列を、非音声区間フレームデータとして出力する（ステップＳ２３５）。各フレーム列には、フレームの開始時刻と終了時刻の一方または両方の情報が付与されている。
【００５２】
図３において、音喩認識処理部２は、非音声区間検出部２４が検出したＮ個の非音声区間それぞれについて、以下のステップＳ１２５からステップＳ１４０の処理を行う。音喩認識処理部２は、ｎ＝１を初期値とする（ステップＳ１２０）。
【００５３】
音響特徴量抽出部２５は、非音声区間検出部２４から出力された第ｎ番目の非音声区間フレームデータに含まれる各フレームの音響特徴量を抽出する（ステップＳ１２５）。本実施形態では、音声認識で一般に用いられている対数メルフィルタバンク出力を音響特徴量とする。ただし、音響特徴量抽出部２５は、対数メルフィルタバンク出力に、予め平均ゼロ、分散１の正規化を行っておく。音声認識では通常、音声データを離散フーリエ変換した後にメルフィルタバンクに通した上で対数変換を行い、離散コサイン変換によりメルケプストラム係数（ＭＦＣＣ）を音響特徴量として得る。しかし、音響特徴量抽出部２５は、音の周波数をダイレクトに音響特徴量とするため、離散コサイン変換は行わない。
【００５４】
言語特徴量抽出部２６は、音声認識結果データＤ２が示す音声認識結果から、音喩認識部２８において必要となる言語的な特徴量を抽出する（ステップＳ１３０）。
図６は、特徴量抽出区間を示す図である。言語特徴量抽出部２６は、非音声区間検出部２４が同定した第ｎ番目の非音声区間の始端（開始時刻）と終端（終了時刻）とに基づいて言語特徴量抽出区間の始点（開始時刻）と終点（終了時刻）を特定する。すなわち、言語特徴量抽出部２６は、非音声区間の始端からＫ時間単位（秒）だけ前にシフトした時刻を始点とし、非音声区間の終端からＫ時間単位（秒）だけ後ろにシフトした時刻を終点とする区間を言語特徴量抽出区間とする。
これは、非音声の言語表現の推定に強い影響を及ぼす言語的な文脈は、非音声区間及びその周辺に限定されると仮定したものであり、本実施形態では、この文脈が単語の頻度分布に基づいて得られるものとする。
【００５５】
言語特徴量抽出部２６は、音声認識結果データＤ２が示す音声認識結果の単語列のうち、言語特徴量抽出区間に含まれる単語列から言語特徴量を抽出する。本実施形態では、言語特徴量を相対頻度ベクトルとして定める。音声認識の語彙Ｖの大きさを｜Ｖ｜、語彙Ｖに含まれる各単語をｖ（ｖ∈Ｖ）、言語特徴量抽出区間内の総単語数をＭとすると、言語特徴量ｗは、式（１）となる。
【００５６】
言語特徴量ｗ
＝［ｃ（ｖ１）／Ｍ，ｃ（ｖ２）／Ｍ，…，ｃ（ｖ｜Ｖ｜）／Ｍ］Ｔ      …（１）
【００５７】
式（１）において、Ｔは転置を表す記号であり、ｖ１，ｖ２，…は、単語ｖである。また、ｃ（ｖ）は、言語特徴量抽出区間における単語ｖの頻度を返す関数であり、Σｖ∈Ｖｃ（ｖ）＝Ｍを満たす。
【００５８】
なお、入力音声データＤ１に対してその音声区間に対応した字幕等のテキストデータが入力され、そのテキストデータに開始時刻及び終了時刻が予め付与されている場合、そのテキストデータを言語特徴量抽出部２６に直接入力してもよい。言語特徴量抽出部２６は、音声認識結果データＤ２に代えて、入力されたテキストデータが示す言語特徴量抽出区間内の単語列から言語特徴量を抽出する。これにより、図３におけるステップＳ１０５及びステップＳ１１０の処理を省略することができる。
【００５９】
話声に含まれる感情もまた、適切な音喩を得るために必要な情報である。本実施形態では、話声の韻律に感情にかかわる情報が含まれていると仮定して、音声データから韻律を抽出し、韻律特徴量として音喩認識に用いる。韻律特徴量を抽出すべき韻律特徴量抽出区間は、図６に示すように、言語特徴量抽出区間と同じである。
【００６０】
図３において、韻律特徴量抽出部２７は、音声区間検出部２２が出力した音声区間の情報が示す始端及び終端に基づいて、韻律特徴量抽出区間の始点及び終点を特定する。韻律特徴量抽出区間が言語特徴量抽出区間と異なる場合、図６におけるＫの値を変更すればよい。韻律特徴量抽出部２７は、特定した韻律特徴量抽出区間に対応した入力音声データＤ１から話声の韻律の情報である有声音（主として母音を指す）の基本周波数（声帯の周波数のうち最も低いものを指す）およびパワーを抽出する。韻律特徴量抽出部２７は、抽出した基本周波数およびパワーをそれぞれ対数変換し、時間変化量の系列であるデルタ基本周波数特徴量ベクトル、及びデルタパワー特徴量ベクトルを求める。これらのベクトルは、有声音区間に対しては対応するデルタ基本周波数特徴量およびデルタパワー特徴量の値となり、それ以外の区間に対してはゼロとなるようにする。韻律特徴量抽出部２７は、これらのベクトルを連結して韻律特徴量とする（ステップＳ１３５）。
【００６１】
音喩認識部２８は、第ｎ番目の入力特徴量を生成する（ステップＳ１４０）。入力特徴量を構成する音響特徴量は、第ｎ番目の非音声区間について音響特徴量抽出部２５が各フレームから抽出した音響特徴量である。入力特徴量を構成する言語特徴量は、言語特徴量抽出部２６が第ｎ番目の非音声区間に対応した言語特徴量抽出区間から抽出した言語特徴量である。入力特徴量を構成する韻律特徴量は、韻律特徴量抽出部２７が第ｎ番目の非音声区間に対応した韻律特徴量抽出区間から抽出した韻律特徴量である。
【００６２】
音喩認識処理部２は、非音声区間検出部２４が検出したＮ個全ての非音声区間についてステップＳ１２５からステップＳ１４０の処理を終了していない場合、ｎに１を加算し、第ｎ番目のフレームについてステップＳ１２５からの処理を繰り返す。非音声区間検出部２４が検出したＮ個全ての非音声区間についてステップＳ１２５からステップＳ１４０の処理を終了した場合、音喩認識処理部２は、ステップＳ１５０からの処理を行う（ステップＳ１４５）。
【００６３】
音喩認識部２８は、音喩認識モデル格納部５５に記憶されている音喩認識モデルを用いて、Ｎ個の入力特徴量それぞれについて以下に示す音喩認識を行う（ステップＳ１５０）。従来の音声認識では、音声からテキストを推定するが、音喩認識では、音喩を構成する非音声のテキスト表現と表示属性の組を推定する。非音声のテキスト表現は、非音声を表現するための単語列である。表示属性は、書体や文字デザインなどのフォント（字体）、大きさ、色、表示動作などのうち１以上である。本実施形態では、音喩を構成するテキスト表現及び表示属性を認識するための統計的な音喩認識モデルとしてニューラルネットワークを利用する。
【００６４】
図７は、本実施形態に用いる音喩認識モデルを示す図である。同図に示すように、音喩認識モデルは、音響特徴量、言語特徴量、及び韻律特徴量を入力とし、音喩のテキスト表現の事後確率及び表示属性の事後確率を出力とする多層ニューラルネットワークである。便宜上、音喩認識モデルは、第１のニューラルネットワークＡ１、第２のニューラルネットワークＡ２、第３のニューラルネットワークＡ３、及び、第４のニューラルネットワークＡ４に分割できる。
【００６５】
音喩認識モデルの入力層は、第１のニューラルネットワークＡ１の入力層、第２のニューラルネットワークＡ２の入力層、第３のニューラルネットワークＡ３の入力層からなる。第１のニューラルネットワークＡ１の入力層は、可変長の音響特徴量を入力とする。第１のニューラルネットワークＡ１は、畳み込みニューラルネットワークであり、入出力の半ばにある隠れ層において固定長の特徴量に変換する。第１のニューラルネットワークＡ１の出力は、入力された音響特徴量を、入力よりも低い次元に変換した音響特徴量である。第２のニューラルネットワークＡ２の入力層は、固定長の韻律特徴量を入力とする。第２のニューラルネットワークＡ２の出力は、入力された韻律特徴量を、入力よりも低い次元に変換した韻律特徴量である。第３のニューラルネットワークＡ３の入力層は、固定長の言語特徴量を入力とする。第３のニューラルネットワークＡ３の出力は、入力された言語特徴量を、入力よりも低い次元に変換した言語特徴量である。
【００６６】
第４のニューラルネットワークＡ４は、第１のニューラルネットワークＡ１の出力と、第２のニューラルネットワークＡ２の出力と、第３のニューラルネットワークＡ３の出力とを入力とする。第４のニューラルネットワークＡ４の出力層は、音喩認識モデルの出力層であり、各音喩構成要素の事後確率を出力する。上述したように、音喩構成要素は、テキスト表現と、フォント、大きさ、色、表示動作などの各表示属性である。つまり音喩認識モデルの出力層は、音喩のテキスト表現の事後確率、及び、各表示属性の事後確率を出力する。テキスト表現と各表示属性の出力層はそれぞれ接続を持たず、下層の隠れ層とのみ接続を持つ。同図においては、出力層は、テキスト表現の事後確率を表すユニット群Ｂ１と、１つ目の表示属性（表示属性１）の事後確率を表すユニット群Ｂ２と、２つ目の表示属性（表示属性２）の事後確率を表すユニット群Ｂ３とからなる。
【００６７】
なお、音喩認識モデルを構成する多層ニューラルネットワークの層数や各層の次元数（音喩の表示属性の種類数を含む）は、認識すべき音喩のテキスト表現の数や、学習データ量に合わせて任意とすることができ、音喩認識モデルの学習時に決定される。
【００６８】
音喩認識部２８は、音喩認識モデルの第１のニューラルネットワークＡ１の入力層に入力特徴量の音響特徴量を入力する。また、音喩認識部２８は、第２のニューラルネットワークＡ２の入力層に入力特徴量の韻律特徴量を入力する。さらに、音喩認識部２８は、第３のニューラルネットワークＡ３の入力層に入力特徴量の言語特徴量を入力する。音喩認識部２８は、これら入力された音響特徴量、韻律特徴量、及び言語特徴量の入力を用いて、音喩認識モデルにより出力層の値を計算する。音喩認識部２８は、音喩認識モデルの出力として、第４のニューラルネットワークＡ４の出力層の各ユニットの値を要素とする出力ベクトルを得る。
【００６９】
音喩認識部２８は、音喩認識モデルの出力ベクトルの各要素の値が示す事後確率に基づいて、音喩構成要素別に要素を選択する。なお、音喩認識モデル格納部５５には、音喩認識モデルの出力ベクトルの各要素に対応した音喩構成要素の値が記憶されている。音喩認識部２８は、出力ベクトルの各要素の中で事後確率が最大となる要素を音喩構成要素別に選択し、選択した要素に対応した音喩構成要素の値の組を音喩とする。
【００７０】
例えば、ユニット群Ｂ１がテキスト表現に対応し、ユニット群Ｂ２がフォントに対応し、ユニット群Ｂ３が色に対応すると仮定する。この場合、音喩認識モデルの出力ベクトルは、ユニット群Ｂ１の各ユニットに対応した要素、ユニット群Ｂ２の各ユニットに対応した要素、ユニット群Ｂ３の各ユニットに対応した要素から構成される。音喩認識モデル格納部５５には、ユニット群Ｂ１の各ユニットに対応した要素それぞれに関連付けられたテキスト表現が記憶される。さらに、音喩認識モデル格納部５５には、ユニット群Ｂ２の各ユニットに対応した要素それぞれに関連付けられたフォントの種類（ゴシック体、明朝体、…）、ユニット群Ｂ３の各ユニットに対応した要素それぞれに関連付けられた色（赤、青、…）が記憶される。
【００７１】
音喩認識部２８は、ユニット群Ｂ１に対応した出力ベクトルの要素群のうち最も事後確率が高い要素を選択し、選択した要素に関連付けられたテキスト表現「ざわざわ」を音喩認識モデル格納部５５から読み出す。また、音喩認識部２８は、ユニット群Ｂ２に対応した出力ベクトルの要素群のうち最も事後確率が高い要素を選択し、選択した要素に関連付けられたフォント「ゴシック体」を音喩認識モデル格納部５５から読み出す。さらに、音喩認識部２８は、ユニット群Ｂ３に対応した出力ベクトルの要素群のうち最も事後確率が高い要素を選択し、選択した要素に関連付けられた色「赤」を音喩認識モデル格納部５５から読み出す。音喩認識部２８は、読み出したこれらの音喩構成要素の値の組であるテキスト表現「ざわざわ」、フォント「ゴシック体」、色「赤」を音喩とする。このように、音喩認識部２８は、音喩構成要素別に事後確率が最大の出力ベクトルの要素を選択し、選択した要素に関連付けられた音喩構成要素の値の組からなる音喩を設定した音喩データＤ３を出力する。各音喩には、非音声区間の開始時刻及び終了時刻が付与される。
【００７２】
なお、音喩認識部２８は、各音喩構成要素別に、事後確率が高いものから所定数の音喩構成要素の値を音喩データＤ３に設定してもよい。例えば、音喩認識部２８は、ユニット群Ｂ１に対応した出力ベクトルの要素のうち事後確率が最も高いものから所定数の要素を選択し、選択したそれぞれの要素に関連付けられたテキスト表現と、事後確率に基づくそれらテキスト表現の順位とを音喩データＤ３に設定する。同様に、音喩認識部２８は、ユニット群Ｂ２に対応した出力ベクトルの要素のうち事後確率が最も高いものから所定数の要素を選択し、選択したそれぞれの要素に関連付けられたフォント及びそれらの順位を音喩データＤ３に設定する。また、音喩認識部２８は、ユニット群Ｂ３に対応した出力ベクトルの要素のうち事後確率が最も高いものから所定数の要素を選択し、選択したそれぞれの要素に関連付けられた色及びそれらの順位を音喩データＤ３に設定する。
【００７３】
図３において、結果編集部２９は、音喩データＤ３が示す音喩構成要素をパラメータとするグラフィックオブジェクトを、入力音声データＤ１に付随する入力映像データＤ４の映像中に配置し、表示部３に表示させる（ステップＳ１５５）。このとき、結果編集部２９は、入力映像データＤ４の時刻情報に合わせて、音喩に付加されている非音声区間（開始時刻及び終了時刻）の間、その音喩のグラフィックオブジェクトを配置する。ユーザーは、表示部３に表示された映像を見て、音喩構成要素（グラフィックオブジェクト）を編集する映像編集作業を行う。
【００７４】
図８は、表示部３に表示される編集画面を示す図である。結果編集部２９は、入力映像データＤ４の映像と、その映像に配置される音喩のグラフィックオブジェクト１０２とを重ねて、同図に示す編集画面の映像表示画面１０１に表示させる。また、結果編集部２９は、映像表示画面１０１に表示している音喩データＤ３が示す音喩構成要素であるテキスト表現および各表示属性の値を、認識結果表示画面１０３に一覧表示させる。さらに、結果編集部２９は、入力映像データＤ４のタイムラインをタイムライン画面１０４に表示させる。タイムライン画面１０４上には、通常の商用の映像編集アプリケーションと同様に、映像及び音声の各トラックと、現在の再生位置が表示される。各トラックは、映像データ、音声データの存在を表す。本実施形態では、タイムライン画面１０４に追加のトラックとして、音喩データＤ３に設定されている非音声区間と、その非音声区間における音喩のテキスト表現とを新たなトラックとして追加する。
【００７５】
ユーザー（作業者）は、表示部３が表示する音喩の認識結果を見ながら、認識された音喩をその演出意図にそって画面上に配置していく。音喩のテキスト表現が演出意図に沿わない場合、ユーザーは、認識結果表示画面１０３においてテキスト表現を修正する。結果編集部２９は、現在表示されている音喩のグラフィックオブジェクト１０２のテキスト表現を、入力部４により入力された修正後のテキスト表現に置き換える。同様に、音喩の表示属性についても変更可能である。例えば、ユーザーは、認識結果表示画面１０３においてフォント、カラー、サイズ等の表示属性を修正する。結果編集部２９は、現在表示させている音喩のグラフィックオブジェクト１０２の表示属性を、入力部４により入力された修正後の表示属性に置き換える。また、結果編集部２９は、ユーザーが入力部４によりテキスト表現を空と入力した場合はグラフィックオブジェクトを画面に配置しない。
【００７６】
修正の際、ユーザーは、入力部４により任意にテキスト表現や、各表示属性の値を入力してもよく、予め結果編集部２９により用意された各表示属性の値の中から修正後の表示属性の値を選択してもよい。あるいは、音喩データＤ３にテキスト表現や各表示属性が事後確率順に複数設定されている場合、結果編集部２９は、それらを表示部３にリスト表示させ、ユーザーは、そのリストの中から修正後のテキスト表現や、各表示属性の値を入力部４により選択してもよい。
結果編集部２９は、入力映像データＤ４の表示画面上に、修正後の音喩を重ねて表示させる完成映像データＤ５を生成し、出力する。また、結果編集部２９は、修正後の音喩を示す修正済み音喩データＤ１０と、修正済み音喩データＤ１０が得られたときの音響特徴量、韻律特徴量、及び言語特徴量とを出力する。
上記の映像編集作業は、専用のコンピュータソフトウェア、もしくは、放送番組の制作に供される市販のソフトウェアに対するプラグインソフトウェアとして実現される。
【００７７】
次に、音喩認識装置１における音喩認識モデル学習処理について説明する。
音喩認識部２８が音喩認識のために用いる音喩認識モデルは、統計的手段により事前に学習しておく必要がある。そこで、音喩認識モデルの学習に用いられる学習データを音声言語資源格納部５０に格納しておく。学習データは、音声データと、その音声データに付随するテキスト（例えば、音声の書き起こしや字幕）、音喩に関する情報を含む。
【００７８】
図９は、学習データに含まれる音喩テーブルを示す図であり、図１０は、学習データに含まれるテキストテーブルを示す図である。
図９に示すように、学習データに含まれる音喩テーブルは、音声ファイルと、テキストファイルと、音喩の開始時刻及び終了時刻と、音喩のテキスト表現と、音喩の各表示属性（フォント、大きさ、色など）の値とを対応付けた情報である。音喩の開始時刻及び終了時刻は、音声ファイルの冒頭からの時刻により示される。同図では、音声ファイルの情報として、音声ファイルの実体への参照が設定され、テキストファイルの情報には、音声の書き起こしあるいは字幕のテキストファイルの実体への参照が設定される。音喩構成要素については、人手による過去の音喩の制作事例を収集してデータベース化することにより蓄積を行う。
【００７９】
また、図１０に示すように、学習データに含まれるテキストテーブルは、テキストファイルの実体の参照名と、発話の開始時刻及び終了時刻と、発話内容とを対応付けた情報である。発話の開始時刻及び終了時刻は、音声ファイルの冒頭からの時刻により示される。発話内容は、分かち書きされた単語列である。なお、音喩認識モデル学習処理部５は、韻律特徴量を、テキストテーブルに設定されている発話内容の開始時刻及び終了時刻に基づいて切り出した音声ファイルから抽出する。
【００８０】
音喩認識モデル学習処理部５は、学習データから非音声区間の音響特徴量、言語特徴量抽出区間の言語特徴量、及び韻律特徴量抽出区間の韻律特徴量を構成し、音喩認識モデルを学習する。具体的には、音喩認識モデル学習処理部５は、以下のように音喩認識モデルを学習する。
【００８１】
学習用音響特徴量抽出部５１は、音声言語資源格納部５０に記憶されている図９の音喩テーブルから開始時刻及び終了時刻を非音声区間として読み出す。さらに、学習用音響特徴量抽出部５１は、音喩テーブルを参照し、音声言語資源格納部５０から各非音声区間の音声ファイルを非音声データＤ６として読み出す。学習用音響特徴量抽出部５１は、音響特徴量抽出部２５と同様の処理により非音声データＤ６から音響特徴量を抽出する。
【００８２】
学習用言語特徴量抽出部５２は、学習用音響特徴量抽出部５１が読み出した非音声区間それぞれに対応した言語特徴量抽出区間を、言語特徴量抽出部２６と同様に特定する。学習用言語特徴量抽出部５２は、特定した言語特徴量抽出区間に対応した発話内容のテキストデータＤ７を、音声言語資源格納部５０に記憶されている図１０のテキストテーブルから読み出す。学習用言語特徴量抽出部５２は、言語特徴量抽出部２６と同様にテキストデータＤ７から相対頻度に基づく言語特徴量を抽出する。
【００８３】
学習用韻律特徴量抽出部５３は、学習用音響特徴量抽出部５１が読み出した非音声区間それぞれに対応した韻律特徴量抽出区間を、韻律特徴量抽出部２７と同様に特定する。学習用韻律特徴量抽出部５３は、特定した言語特徴量抽出区間に対応した音声データＤ８を、音声言語資源格納部５０に記憶されている音声ファイルから切り出す。学習用韻律特徴量抽出部５３は、音声データＤ８から、韻律特徴量抽出部２７と同様に韻律特徴量を抽出する。
【００８４】
音喩認識モデル学習部５４は、音喩認識モデルとなるニューラルネットワークを学習する。そこでまず、音喩認識モデル学習部５４は、学習用音響特徴量抽出部５１が抽出した非音声区間それぞれについて学習用の入力特徴量を生成する。入力特徴量を構成する音響特徴量には、学習用音響特徴量抽出部５１が抽出した非音声区間の音響特徴量が設定される。入力特徴量を構成する言語特徴量には、非音声区間に対応した言語特徴量抽出区間から学習用言語特徴量抽出部５２が抽出した言語特徴量が設定される。入力特徴量を構成する韻律特徴量には、非音声区間に対応した韻律特徴量抽出区間から学習用韻律特徴量抽出部５３が抽出した韻律特徴量が設定される。音喩認識モデル学習部５４は、学習用の入力特徴量と、その学習用の入力特徴量の非音声区間に対応して音声言語資源格納部５０に記憶されている音喩テーブルから読み出した音喩（テキスト表現及び表示属性）とに基づいてイベントモデルを学習する。つまり、音喩認識モデル学習用のデータは、同じ非音声区間に対応した音響特徴量、言語特徴量、及び韻律特徴量を１組の入力とし、その非音声区間の音喩を出力とする。この際、音喩認識モデル学習部５４は、音喩認識モデルにおける第４のニューラルネットワークＡ４の出力層から出力されるベクトル（１次元配列）の各要素と、ハッシュ関数により得られた音喩構成要素のハッシュ値とを対応付けておく。
【００８５】
Ｎ組の音喩認識モデル学習用のデータ（入力特徴量と音喩の組）が与えられたとき、音喩認識モデル学習部５４は、これらのデータを１組ずつ用いて、音喩認識モデルとなるニューラルネットワークの各層間の結合重みを誤差逆伝播法により学習する。音喩認識モデル学習部５４は、Ｎ組の音喩認識モデル学習用のデータについて繰り返し誤差逆伝播法による学習を行うが、学習用のデータとは別に用意した検証用データの識別性能が最大となった点で学習が収束したと判断する。
【００８６】
なお、音喩認識モデル学習部５４は、異なる層数や異なるユニット数のニューラルネットワークそれぞれについて同じ音喩認識モデル学習用のデータを用いて学習を行う。音喩認識モデル学習部５４は、検証用データの識別性能が最も高いニューラルネットワークを音喩認識モデルとして音喩認識モデル格納部５５に格納する。音喩認識部２８は、音喩認識モデル格納部５５に格納された音喩認識モデルを用いて音喩認識処理を行う。そして、この音喩認識モデルを用いて音喩認識を行った結果に対してユーザーが変更を行った場合、音喩認識モデルのフィードバック学習を行う。
【００８７】
結果編集部２９は、入力部４により音喩のテキスト表現や表示属性の変更を受けた場合、その変更に従って音喩データＤ３に設定されている音喩のテキスト表現や表示属性を変更する。結果編集部２９は、変更された音喩を設定した修正済み音喩データＤ１０と、音喩データＤ３が示す修正前の音喩が得られたときの音響特徴量、韻律特徴量、及び言語特徴量を音声言語資源格納部５０に格納する。音喩認識モデル学習部５４は、音声言語資源格納部５０から読み出した修正済み音喩データＤ１０、音響特徴量、韻律特徴量、及び言語特徴量を用いて、誤差逆伝播法によるニューラルネットワークの学習を行い、音喩認識モデル格納部５５に現在格納されている音喩認識モデルを更新する。
【００８８】
結果編集部２９は、修正済み音喩データＤ１０を出力する際、音喩の編集を行ったユーザーのユーザープロファイルデータＤ１１を関連付けて出力するようにしてもよい。ユーザープロファイルデータＤ１１には、例えば、ユーザーＩＤ、グループＩＤ、ユーザーが制作した音喩リストなどが含まれる。ユーザーＩＤは、制作者であるユーザーを特定するための一意の番号である。グループＩＤは、類似した放送番組を制作しているグループの番号である。グループＩＤは、例えば、番組を表すようにしてもよく、ドキュメンタリー、時代劇など、番組のジャンルを表すようにしてもよい。ユーザーが制作した音喩リストは、ユーザーが過去に行った制作履歴である。制作履歴は、音声言語資源格納部５０に蓄積された音喩データの通し番号、音喩データを制作した放送番組名を保持する。
【００８９】
音声言語資源格納部５０に修正済み音喩データＤ１０を格納する際、このデータに関連付けられたユーザープロファイルデータＤ１１も格納する。音喩認識モデル学習部５４は、ユーザープロファイルデータＤ１１から得られるカテゴリごとに修正済み音喩データＤ１０、音響特徴量、韻律特徴量、及び言語特徴量の組を選択して音喩認識モデルのフィードバック学習に用いる。カテゴリは、ユーザーＩＤ、グループＩＤ、音喩リストのいずれか１以上により示される。これにより、ユーザーの演出の傾向や嗜好（どのような音喩を好んで使ったか）、番組のジャンルなどにマッチした音喩認識モデルを学習することが可能となる。
【００９０】
上述した実施形態によれば、音喩認識装置１は、パターン認識（機械学習）技術により音喩制作を支援し、従来とは異なる新しい番組制作手法を低コストで提供することができる。また、音喩認識装置１は、音喩制作を支援することにより、聴覚障碍者や高齢者など字幕を必要とする人々へ、従来の字幕に付加価値をつけたサービスを提供できる。
【００９１】
なお、上述の音喩認識装置１は、内部にコンピュータシステムを有している。そして、音喩認識装置１の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
【００９２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【００９３】
１…音喩認識装置、２…音喩認識処理部、３…表示部、４…入力部、５…音喩認識モデル学習処理部、２０…音響モデル格納部、２１…言語モデル格納部、２２…音声区間検出部、２３…音声認識部、２４…非音声区間検出部、２５…音響特徴量抽出部、２６…言語特徴量抽出部、２７…韻律特徴量抽出部、２８…音喩認識部、２９…結果編集部、５０…音声言語資源格納部、５１…学習用音響特徴量抽出部、５２…学習用言語特徴量抽出部、５３…学習用韻律特徴量抽出部、５４…音喩認識モデル学習部、５５…音喩認識モデル格納部
【図１】
2015212732.tif 000003
【図２】
2015212732.tif 000004
【図３】
2015212732.tif 000005
【図４】
2015212732.tif 000006
【図５】
2015212732.tif 000007
【図６】
2015212732.tif 000008
【図７】
2015212732.tif 000009
【図８】
2015212732.tif 000010
【図９】
2015212732.tif 000011
【図１０】
2015212732.tif 000012