(57)【要約】【課題】メタデータを必要とせず、感情の表出に着目して要約したコンテンツを自動生成する。【解決手段】音声特徴量抽出手段１２０によりコンテンツ中の音声からフレーム毎に所定の組の音声特徴量を抽出し、符号帳の感情表出状態での各音声特徴量ベクトルの出現確率を参照して各音声小段落の感情表出尤度を感情表出尤度算出手段１３０により算出し、平静状態についての尤度である平静状態尤度を平静状態尤度算出手段１４０により算出し、これらの感情表出尤度と平静状態尤度に基いて感情表出があったか否かを感情表出判定手段１５０により判定し、要約コンテンツ生成手段１６０により感情表出があったと判定された音声部分に対応する部分をコンテンツから抽出し、連結して要約コンテンツとする。【選択図】    図１  
2005352420.tif 000002
【特許請求の範囲】
【請求項１】
音声を含むコンテンツの要約コンテンツを生成する方法であって、
(a) 基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を含む音声特徴量の組から成る音声特徴量ベクトルと感情表出状態でのその音声特徴量ベクトルの出現確率がコード毎に格納された符号帳を用い、音声の少なくとも１フレーム以上を含む区間の上記音声特徴量の組を量子化した上記符号帳中の対応する音声特徴量ベクトルの感情表出状態での出現確率を求めるステップと、
(b) 上記区間の上記音声特徴量ベクトルの感情表出状態での出現確率に基づいて感情表出状態となる尤度を算出するステップと、
(c) 上記感情表出状態となる尤度に基づいて上記区間が感情表出状態であるか否かを判定するステップと、
(d) 感情表出状態と判定された区間に対応する部分を上記コンテンツから抽出し、連結して要約コンテンツとするステップ、
とを含むことを特徴とする要約コンテンツ生成方法。
【請求項２】
請求項１記載の方法において、上記ステップ(c) は上記感情表出状態となる尤度が閾値より高いか否かを調べ、高ければ上記区間を感情表出状態と判定するステップであることを特徴とする要約コンテンツ生成方法。
【請求項３】
請求項１記載の方法において、上記符号帳には音声特徴量ベクトルと対応して平静状態での出現確率が格納されており、
上記ステップ(a) は、各フレームの上記音声特徴量の組を量子化した上記符号帳中の音声特徴量ベクトルに対応する平静状態での出現確率を求めるステップを含み、
上記ステップ(b) は、上記音声特徴量ベクトルの平静状態での出現確率に基づいて平静状態となる尤度を算出するステップを含み、
上記ステップ(c) は、上記感情表出状態となる尤度と上記平静状態となる尤度を比較して上記区間が感情表出状態であると判定するステップを含むことを特徴とする要約コンテンツ生成方法。
【請求項４】
請求項３記載の方法において、上記ステップ(c) は上記感情表出状態となる尤度が上記平静状態となる尤度より高いとき、感情表出状態と判定するステップであることを特徴とする要約コンテンツ生成方法。
【請求項５】
請求項１記載の方法において、上記符号帳には、各コードに対応して上記感情表出状態として予め決めた複数種類の感情のそれぞれの表出状態における音声特徴量ベクトルの出現確率が格納されており、上記ステップ(a) は感情の種類を指定する指定情報を含む要求情報を受信し、各フレームの音声特徴量ベクトルに対し、上記感情指定情報により指定された感情の表出での出現確率を上記符号帳から読み出す工程を含み、上記ステップ(b) は、上記複数種類の感情のうち、上記指定された感情の表出状態について上記符号帳の上記音声特徴量ベクトルの出現確率に基づいて感情表出尤度を求めるステップを含み、上記ステップ(c) は、上記感情表出尤度に基づいて上記指定された感情の表出状態であるかを判定するステップを含むことを特徴とする要約コンテンツ生成方法。
【請求項６】
請求項５記載の方法において、上記符号帳には更に平静状態における音声特徴量ベクトルの出現確率が各コードに対応して格納されており、上記ステップ(b) は、更に上記平静状態について上記符号帳の上記音声特徴量ベクトルの出現確率に基づいて平静状態尤度を求めるステップを含み、上記ステップ(c) は、上記指定された感情の表出状態の上記感情表出尤度と上記平静状態尤度に基づいて上記指定された感情の表出状態であるかを判定するステップを含むことを特徴とする要約コンテンツ生成方法。
【請求項７】
請求項３又は６記載の方法において、上記ステップ(c) は、上記指定された感情の表出尤度と上記平静状態尤度の比に基いて上記指定された感情の表出状態であるかを判定することを特徴とする要約コンテンツ生成方法。
【請求項８】
請求項６記載の方法において、上記ステップ(c) は、上記指定された感情の表出尤度を上記区間のフレーム数に依存する重みにより重み付けし、その重み付け尤度と上記平静状態尤度と比較して上記指定された感情の表出状態であるかを判定することを特徴とする要約コンテンツ生成方法。
【請求項９】
請求項６記載の方法において、上記ステップ(c) は、上記感情表出尤度と上記平静状態尤度とを上記区間のフレーム数に依存する重みにより重み付き比較して感情表出状態であるかを判定し、上記要約コンテンツの時間長又は要約率が指定された値となるように上記重みを調整することを特徴とする要約コンテンツ生成方法。
【請求項１０】
請求項５記載の方法において、上記ステップ(c) は、上記感情表出尤度を閾値と比較して判定するステップを含むことを特徴とする要約コンテンツ生成方法。
【請求項１１】
請求項２又は１０記載の方法において、上記ステップ(c) は、上記要約コンテンツの時間長又は要約率が指定された値となるように上記閾値を調整するステップを含むことを特徴とする要約コンテンツ生成方法。
【請求項１２】
コンテンツの要約を生成する装置であり、
基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を含む音声特徴量の組から成る音声特徴量ベクトルと感情表出状態でのその音声特徴量ベクトルの出現確率がコード毎に格納された符号帳と、
上記音声特徴量の組を量子化した音声特徴量ベクトルの感情表出状態での出現確率に基づいて、音声の少なくとも１つ以上のフレームを含む区間が感情表出状態となる尤度を求める感情表出尤度算出手段と、
上記求めた上記感情表出状態となる尤度に基づいて上記区間が感情表出状態か否かを判定する感情表出判定手段と、
感情表出状態と判定された区間に対応する部分を上記コンテンツから抽出し、連結して要約コンテンツとする要約コンテンツ生成手段、
とを含むことを特徴とする要約コンテンツ生成装置。
【請求項１３】
請求項１２記載の装置において、上記感情表出判定手段は、上記感情表出状態となる尤度が閾値より高いか否かを調べ、高ければ上記区間を感情表出状態と判定する手段であることを特徴とする要約コンテンツ生成装置。
【請求項１４】
請求項１２記載の装置において、上記符号帳には各コード毎に上記音声特徴量ベクトルの平静状態での出現確率が格納されており、上記要約コンテンツ生成装置は更に、各フレームの上記音声特徴量の組を量子化した上記符号帳中の音声特徴量ベクトルに対応する平静状態での出現確率に基づいて上記区間が平静状態となる尤度を求める平静状態尤度算出手段を含み、上記感情表出判定手段は、上記区間が感情表出状態となる尤度と、上記平静状態となる尤度との比較に基づいて上記区間が感情表出状態であるか否かを判定することを特徴とする要約コンテンツ生成装置。
【請求項１５】
請求項１２記載の装置において、上記符号帳には、上記感情表出状態として各コードに対応して予め決めた複数種類の感情のそれぞれの表出状態における音声特徴量ベクトルの出現確率が格納されており、上記感情表出尤度算出手段は、上記複数種類の感情のうち、外部から入力された要求情報中の感情指定情報により指定された感情の表出状態について上記符号帳の上記音声特徴量ベクトルの出現確率に基づいて感情表出尤度を求める手段を含み、上記感情表出判定手段は、上記感情表出尤度に基づいて上記指定された感情の表出状態であるかを判定する手段を含むことを特徴とする要約コンテンツ生成装置。
【請求項１６】
請求項１５記載の装置において、上記符号帳には更に平静状態における音声特徴量ベクトルの出現確率が各コードに対応して格納されており、上記要約コンテンツ生成装置は更に、上記平静状態について上記符号帳の上記音声特徴量ベクトルの出現確率に基づいて平静状態尤度を求める手段を含み、上記感情表出判定手段は、上記指定された感情の表出状態の上記感情表出尤度と上記平静状態尤度に基づいて上記指定された感情の表出状態であるかを判定する手段であることを特徴とする要約コンテンツ生成装置。
【請求項１７】
請求項１４又は１６記載の装置において、上記感情表出判定手段は上記感情表出尤度と上記平静状態尤度とを上記区間のフレーム数に依存する重みにより重み付き比較して感情表出状態を判定し、上記要約コンテンツ生成手段は上記要約コンテンツの時間長又は要約率が指定された値となるように上記重みを調整することを特徴とする要約コンテンツ生成装置。
【請求項１８】
請求項１５記載の装置において、上記感情表出判定手段は、上記感情表出尤度を閾値と比較して判定する手段であることを特徴とする要約コンテンツ生成装置。
【請求項１９】
請求項１３又は１８記載の装置において、上記要約コンテンツ生成手段は上記要約コンテンツの時間長又は要約率が指定された値となるように上記閾値を調整することを特徴とする要約コンテンツ生成装置。
【請求項２０】
請求項１５又は１６記載の装置において、上記複数種類の感情表出は笑い表出、怒り表出、悲しみ表出の少なくともいずれか２つ以上であることを特徴とする要約コンテンツ生成方法。
【請求項２１】
請求項１乃至１１のいずれか記載の要約コンテンツ生成方法をコンピュータにより実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、要約コンテンツ生成装置、生成方法及びそのプログラムに関し、特に音声に基づいて人の感情の表出を検知し、コンテンツを要約し、要約したコンテンツを配信するための要約コンテンツ生成装置、生成方法及びそのプログラムに関する。
【背景技術】
【０００２】
近年、映画やＴＶ番組等のコンテンツを一般家庭等へ配信するサービスが研究されるようになった。そして、サービスを受ける視聴者がコンテンツを見る時間を十分確保できない場合や見逃したコンテンツを手短に見たい場合等の対策が検討されるようになってきた（例えば、特許文献１、特許文献２、特許文献３を参照。）。
特許文献１に開示する技術は、音声データを解析して、スペクトル情報、急な立ち上がり、短時間持続する信号レベル等の音声特徴量を生成し、生成した音声特徴量が予め決められている条件を満たすか否かで重要部分を判定し、コンテンツの対応する部分を抽出するものである。例えば、観客の歓声があがったときの音声データの音声データの音声特徴量を予め取得しておき、この音声特徴量と入力された音声の音声特徴量とを比較し、音声特徴量が類似または近似する部分を重要部分としてそれに対応するコンテンツの部分を抽出し、抽出した重要部分をつなぎ合わせて要約を生成するものである。
【０００３】
特許文献２には、フレーム毎に入力音声の音声特徴量ベクトルを求め、符号帳を参照して強調状態での音声特徴量ベクトルの出現確率と、平静状態での音声特徴量ベクトルの出現確率から音声小段落の強調状態尤度と平静状態尤度を求め、それらの尤度に基づいて音声小段落が強調状態か平静状態かを判定し、強調状態と判定された音声小段落を含む音声段落に対応する部分を要約コンテンツとして抽出することが示されている。
【特許文献１】特開平３−８０７８２号公報
【特許文献２】特開２００３−３１６３７８号公報
【特許文献３】特開平５−２８９６９１号公報
【非特許文献１】「音響・音声工学」古井貞熙、近代科学社、１９９２
【非特許文献２】「音声符号化」守谷健弘、電子情報通信学会、１９９８
【非特許文献３】「ディジタル音声処理」古井貞熙、東海大学出版会、１９８５
【非特許文献４】「復号制限はモデルに基づく音声分析アルゴリズムに関する研究」嵯峨山茂樹、博士論文、１９９８
【非特許文献５】Y.Linde, A.Buzo and R.M.Gray, “An algorithm for vector quantizer design”, IEEE Trans. Commun., vol.Com-28, pp.84-95, 1980
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、このような従来の技術では、要約するためメタデータが必要であったり、盛り上がり等のコンテンツによって再現される状況等に着目して重要部分を抽出するため、感情面に着目した要約コンテンツを提供することができない等の問題があった。また、ユーザが指定した種類の感情に着目して要約コンテンツを生成することはできず、またそのような考えはなかった。
本発明はこのような問題を解決するためになされたもので、メタデータを必要とせず、感情面に着目して要約したコンテンツを提供することができる要約コンテンツ生成装置、生成方法及びそのプログラムを提供するものである。また、ユーザが指定した種類の感情に着目して要約コンテンツを生成可能な要約コンテンツ生成装置、生成方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
この発明によれば、音声を含むコンテンツの要約コンテンツを生成する方法は、
(a) 基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を含む音声特徴量の組から成る音声特徴量ベクトルと感情表出状態でのその音声特徴量ベクトルの出現確率がコード毎に格納された符号帳を用い、音声の少なくとも１フレーム以上を含む区間の上記音声特徴量の組を量子化した上記符号帳中の対応する音声特徴量ベクトルの感情表出状態での出現確率を求めるステップと、
(b) 上記区間の上記音声特徴量ベクトルの感情表出状態での出現確率に基づいて感情表出状態となる尤度を算出するステップと、
(c) 上記感情表出状態となる尤度に基づいて上記区間が感情表出状態であるか否かを判定するステップと、
(d) 感情表出状態と判定された区間に対応する部分を上記コンテンツから抽出し、連結して要約コンテンツとするステップ、
とを含む。（請求項１）
【０００６】
また、この発明による要約コンテンツ生成装置は、
基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を含む音声特徴量の組から成る音声特徴量ベクトルと感情表出状態でのその音声特徴量ベクトルの出現確率がコード毎に格納された符号帳と、
上記音声特徴量の組を量子化した音声特徴量ベクトルの感情表出状態での出現確率に基づいて、音声の少なくとも１つ以上のフレームを含む区間が感情表出状態となる尤度を求める感情表出尤度算出手段と、
上記求めた上記感情表出状態となる尤度に基づいて上記区間が感情表出状態か否かを判定する感情表出判定手段と、
感情表出状態と判定された区間に対応する部分を上記コンテンツから抽出し、連結して要約コンテンツとする要約コンテンツ生成手段、
とを含む。（請求項１２）
【０００７】
この方法及び装置により、入力音声の感情表出を、音声特徴量に基づいて符号帳から抽出される感情表出確率等に基づいて判定するため、メタデータを必要とせず、感情面に着目して要約した要約コンテンツを生成することができる。
また、上記方法及び装置において、上記符号帳に、上記感情表出状態として各コードに対応して予め決めた複数種類の感情のそれぞれの表出状態における音声特徴量ベクトルの出現確率を格納しておき、上記複数種類の感情のうち、外部から入力された要求情報中の感情指定情報により指定された感情の表出状態について上記符号帳の上記音声特徴量ベクトルの出現確率に基づいて感情表出尤度を求め、上記感情表出尤度に基づいて上記指定された感情の表出状態であるかを判定してもよい。（請求項５、１５）
【０００８】
これにより、指定された感情表出についての要約コンテンツを生成することができる。
更に、上記方法及び装置において、上記要約コンテンツの時間長又は要約率が指定された値となるように上記感情表出状態となる尤度の重み付け比較又は閾値との比較の重み又は閾値を調整してもよい。（請求項９、１１、１７、１９）
これにより、ユーザの指定した時間長又は要約率の要約コンテンツを生成することができる。
【発明の効果】
【０００９】
本発明は、入力音声の感情表出を、音声特徴量に基づいて符号帳から抽出される感情表出確率等に基づいて判定するため、メタデータを必要とせず、感情面に着目して要約した要約コンテンツを生成することができる。
【発明を実施するための最良の形態】
【００１０】
この発明においてコンテンツとは、音声を伴った映像で構成された、例えば映画（アニメーションも含む）や、テレビ放送プログラムや、個人が作成したビデを映像であり、従って、要約コンテンツも要約音声を伴った要約映像により構成されている。この発明においては、コンテンツに含まれる音声データから顕著な感情表出部分を部分要約区間として検出し、コンテンツから部分要約区間に対応する部分を部分要約コンテンツとして抽出し、それらを連結して要約コンテンツとする。以下、本発明の実施の形態について、図面を用いて説明する。
【００１１】
図１は、本発明の実施の形態に係る要約コンテンツ生成装置の機能構成を示すブロック図である。本発明の要約コンテンツ生成装置１００は、通信手段１７０を介してネットワーク３０上の外部のユーザ装置２０から、任意のコンテンツに関する情報である要約コンテンツの配信要求を受信し、配信要求に応じて要約コンテンツを生成し、ネットワーク３０を通してユーザ装置２０に送信する装置であって、以下の構成手段を備えるものである。
【００１２】
要約コンテンツ生成装置１００は、符号帳110CBを予め記憶する記憶手段１１０と、コンテンツ中の音声データから所定の音声特徴量の組（音声特徴量ベクトル）をフレーム毎に抽出する音声特徴量抽出手段１２０と、話者の感情表出についての尤度である感情表出尤度を算出する感情表出尤度算出手段１３０と、話者の平静状態についての尤度である平静状態尤度を算出する平静状態尤度算出手段１４０と、話者の感情表出があったか否かを判定する感情表出判定手段１５０と、感情表出があったと判定された音声部分に応じて要約コンテンツ等を生成する要約コンテンツ生成手段１６０と、通信ネットワーク３０を通してユーザ装置２０から要約コンテンツの要求情報を受信し、生成した要約コンテンツをユーザ装置２０に送信する通信手段１７０と、受信した要求情報を格納する要求情報格納手段１８０とを備えるように構成される。
【００１３】
記憶手段１１０には予め学習音声を用いて生成された符号帳110CBが格納されている。符号帳110CBには、学習音声に含まれる予め決めた音声特徴量の組から生成された量子化された音声特徴量ベクトル（代表ベクトル）と、話者の感情表出があったとき（以下、感情表出状態という）の各音声特徴量ベクトルに対応して、その音声特徴量ベクトルの出現率である感情表出確率、及び、話者の感情表出がなかったとき（以下、平静状態という）のその音声特徴量ベクトルの出現確率である平静状態確率とが対応付けて記憶されている。符号帳の詳細については、後述する。
【００１４】
音声特徴量抽出手段１２０は、要求情報中のコンテンツコードにより指定されたコンテンツの音声データから一定の区間又は音声小段落の区間（以下では判定区間と呼ぶ）毎にその区間に渡ってフレーム毎に所定の音声特徴量ベクトルを抽出する。音声特徴量の組の詳細については、後述する。
感情表出尤度算出手段１３０は、音声特徴量抽出手段１２０が判定区間に渡って入力音声から抽出した各音声特徴量ベクトルと最も近い音声特徴量ベクトルを符号帳110CBから検出し、この符号帳から検出された音声特徴量ベクトルと対応する、要求情報中の感情指定情報により指定された感情における感情表出確率に基づいて、判定区間の話者の感情表出についての尤度である感情表出尤度を算出する。
【００１５】
平静状態尤度算出手段１４０は、上記検出された音声特徴量ベクトルと対応する平静状態確率に基づいて、判定区間の話者の平静状態についての尤度である平静状態尤度を算出する。
感情表出判定手段１５０は、各判定区間について感情表出尤度算出手段１３０が算出した感情表出尤度、及び、平静状態尤度算出手段１４０が算出した平静状態尤度に基づいて、コンテンツ中のその判定区間の音声部分に、話者の感情表出があったか否かを判定する。
【００１６】
要約コンテンツ生成手段１６０は、感情表出判定手段１５０によって話者の感情表出があったと判定された音声部分を含む部分要約コンテンツを抽出し、抽出した各部分要約コンテンツを集め、要約コンテンツとして生成するようになっている。要約コンテンツの詳細については、後述する。
要求情報記憶手段１８０には例えば各ユーザのIDに対応して要求情報が格納される。各要求情報は例えば図２に示すように、ユーザID、ユーザが指定したコンテンツを表すコンテンツコード、ユーザが指定した感情の種類を表す感情指定情報、ユーザが指定したコンテンツの要約時間（又は要約率）、要約コンテンツの送信宛先であるユーザのネットワーク上のアドレス情報、などが含まれている。
【００１７】
例えば、この発明の要約コンテンツ生成装置がインターネット上のコンテンツプロバイダのサーバ装置により実現されている場合は、ユーザ装置２０によりインターネット上のコンテンツプロバイダのホームページにアクセスし、そのホームページ上に表示されたコンテンツリストから選択したコンテンツのコード、要約をどの感情に着目して行うか選択可能に表示された予め決めた感情の種類（例えば、笑い、悲しみ、怒り）、コンテンツの要約時間、ユーザID、アドレス情報などを指定された欄に書き込んで画面上の送信ボタンを押すことにより、予め決まったフォーマットで要求情報がユーザ装置２０から要約コンテンツ生成装置１００に送信されることになる。感情の指定の欄、要約時間の指定の欄は空欄でもよく、その場合は要約コンテンツ生成装置１００は上記予め決めた感情の種類を区別せずに感情表出区間を検出し、予め決めた要約時間の要約コンテンツを生成する。
【００１８】
部分要約コンテンツは、例えば、コンテンツが映画である場合、要約コンテンツに取り込むべき重要部分として個々に抽出された場面を内容とする要約コンテンツである。要約コンテンツは１以上の部分要約コンテンツを含み、要約コンテンツを再生することにより、各部分要約コンテンツが再生され、要約として抽出された映画等のコンテンツの各重要部分が再生されることになる。
図２に示した要約コンテンツの要求情報において、ユーザIDとしては、ユーザ装置２０を特定するユーザ名やこのユーザの住所、このユーザの電話番号、このユーザのメールアドレス等の、ユーザを特定する情報であればどのようなものでもよい。
【００１９】
また、ユーザ装置２０として例えば携帯電話機を使用して要求情報を送信し、要約コンテンツ生成装置から要約コンテンツを受信し、その後、選択したコンテンツをパーソナルコンピュータで受信して視聴する場合のように、ユーザアドレス情報にコンテンツを受信するもう１つのユーザ装置を指定する情報を付加してもよい。
要求情報中に指定するコンテンツの要約時間の代わり、コンテンツの圧縮率（又は要約率）ｒを指定してもよい。なお、ユーザ装置２０からネットワーク３０を介して要求情報を受信し、要約コンテンツを配信し、更にコンテンツの配信を行った場合に、コンテンツ配信に対する対価の授受は、通常のネットオークションで行われているものと同様に行うことができるが、その他の方法で行うのでもよい。
【００２０】
以下、図１に示した本発明の実施の形態に係る要約コンテンツ生成装置１００の動作について説明する。図３は、本発明の実施の形態に係る要約コンテンツ生成装置１００の動作を説明するためのフローチャートである。まず、ネットワーク３０上のユーザ装置２０から要約コンテンツの要求情報を通信手段１７０が受信する（ステップＳ１）。以下では、外部から入力された要求対象のコンテンツは、音声特徴量抽出手段１２０内のたとえば図示してないバッファ手段に取り込まれる。
次に、受信した要求情報中の感情指定情報及び要約時間に応じて、要求対象のコンテンツに対し、指定された感情表出のあった区間を抽出し、要約コンテンツを生成する（ステップＳ２）。ステップＳ２の処理は、記憶手段１１０、音声特徴量抽出手段１２０、感情表出尤度算出手段１３０、平静状態尤度算出手段１４０、感情表出判定手段１５０、及び、要約コンテンツ生成手段１６０によって実行される。要約コンテンツ情報の生成方法の詳細については、後述する。
【００２１】
ステップＳ２で生成した要約コンテンツを、通信手段１７０によりネットワーク３０上のユーザ装置２０に送信する(ステップＳ３)。但し、ユーザ装置２０のユーザが要約情報中に指定したネットワーク３０上の他の装置に送信できるようにしてもよい。
以下、ステップＳ２での処理について、図面を用いて詳細に説明する。図４は、ステップＳ２での処理を説明するためのフローチャートである。
ステップＳ２１：まず、学習音声に含まれる所定の音声特徴量の組（パラメータの組）である音声特徴量ベクトル、音声を発した話者の感情、話者の感情表出があったとき（以下、感情表出状態という）の音声特徴量ベクトルの出現確率である感情表出確率、及び、話者の感情表出がなかったときの音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する符号帳110CBが予め作成され、図１の記憶手段１１０に格納されている。この符号帳110CBは、この発明の要約コンテンツ生成装置100を構成する必要なものとして予め作成しておく。後述の符号帳作成の詳細とともに述るが、音声特徴量ベクトルは、特許文献２に開示されているような音声のフレーム毎に検出する基本周波数、平均パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はそれらのフレーム間差分の少なくともいずれか１つ以上のパラメータの組を含むベクトルである。
【００２２】
ステップＳ２２〜Ｓ２４は感情表出検出処理である。
ステップＳ２２：まず、入力音声コンテンツの全体が記憶手段１１０に取り込まれ、その取り込まれた入力音声から予め決めた複数種類の音声特徴量の組（音声特徴量ベクトル）を抽出する。
ステップＳ２３：入力音声の所定区間（判定区間）から抽出した一連の音声特徴量ベクトルにそれぞれ最も近い音声特徴量ベクトルを符号帳から検出し、この符号帳からその検出された音声特徴量ベクトルの、指定された感情の表出状態での出現確率を読み出し、この一連の出現確率に基づいて、話者の感情表出についての尤度である感情表出状態尤度を算出する。この感情表出状態尤度の計算は、入力音声の一連の音声特徴量ベクトルの判定区間ごと（例えば後述の音声小段落ごと、または一定区間長ごと）に行う。
【００２３】
同様に、入力音声から抽出した音声特徴量ベクトルの、平静状態での出現確率を符号帳から読み出し、この確率に基づいて、話者の平静状態についての尤度である平静状態尤度を上記感情表出状態尤度の算出と同じ判定区間毎に算出する。
ステップＳ２４：次に、上記算出した感情表出状態尤度、及び平静状態尤度に基づいて、ステップＳ２２で入力音声から抽出した所定の音声特徴量の組を含む入力音声の音声部分に、話者の感情表出があったか否かを判定区間毎に判定する。
ステップＳ２５：最後に、話者の感情表出があったと判定された区間に対応するコンテンツ部分を全てコンテンツから抽出し、連結して要約コンテンツとする。
【００２４】
まず、各ステップでの処理についての詳細な説明に先立ち、上記の音声特徴量の組について説明する。音声特徴量のパラメータとしては、音声スペクトル等の情報に比べて、雑音環境下でも安定して得られ、かつ感情表出状態か否かの判定が話者依存性の低いものを用いる。このような条件を満たす音声特徴量として、本発明の実施の形態では、基本周波数f0、パワーｐ、動的特徴量d(t)、無声区間TS等を抽出する。
これらの音声特徴量の抽出法は公知であり、その詳細については、例えば、非特許文献１、非特許文献２、非特許文献３、非特許文献４等を参照されたい。
【００２５】
ここで、上記の動的特徴量d(t)は、以下の式(1) によって定義され、その時間変化量は発話速度の尺度となるパラメータである。
【数１】
2005352420.tif 000003
ここで、ｔは時刻、Ck(t)は時刻ｔにおけるｋ次のＬＰＣケプストラム係数、±F0は対象とするフレーム（以下、現フレームという）の前後のフレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）をいう。なお、動的特徴量d(t)としては、特許文献３に定義されたものを用いるのでもよい。
ＬＰＣケプストラム係数の次数ｋは、１からＫまでの整数のいずれかである。動的特徴量d(t)の単位時間当たりの極大点の数、または、単位時間当たりの変化率は発話速度の尺度となる。
【００２６】
以下では、１フレームの長さ（以下、フレーム長という）を100msとし、このフレームの開始時刻から50msずらして次のフレームを形成するものとする。また、フレーム毎に、平均基本周波数f0'、平均パワーp'を算出するものとする。平均基本周波数f0'及び平均パワーp'は、基本周波数f0が信頼できるフレームについてのみ使用して算出する。例えば、基本周波数f0の抽出の際の自己相関係数を利用してもよい。さらに、現フレームの基本周波数f0'と、現フレームからｉフレーム前の基本周波数f0'及び現フレームからｉフレーム後の基本周波数f0'のそれぞれと差分Δf0'(-i)、Δf0'(i)と、をとる。平均パワーp'についても同様に、現フレームの平均パワーp'と、現フレームからｉフレーム前の平均パワーp'及び現フレームからｉフレーム後の平均パワーp'のそれぞれと差分Δp'(-i)、Δp'(i)と、をとる。
【００２７】
次に、これらフレーム毎の、基本周波数f0'、基本周波数の差分Δf0'(-i)、Δf0'(i)、平均パワーp'、平均パワーの差分Δp'(-i)、Δp'(i)を規格化する。以下では、基本周波数f0'、基本周波数の差分Δf0'(-i)、Δf0'(i)、平均パワーp'、平均パワーの差分Δp'(-i)、Δp'(i)のそれぞれを、単に、f0'、Δf0'(-i)、Δf0'(i)、p'、Δp'(-i)、Δp'(i)と表し、規格化されたものを、それぞれ、f0"、Δf0"(-i)、Δf0"(i)、p”、Δp"(-i)、Δp"(i)と表す。
この規格化は、例えば、f0'、Δf0'(-i)、Δf0'(i)のそれぞれを、例えば、処理対象の音声データ全体の平均基本周波数で割ることによって行うのでもよいし、標準化して平均０、分散１にしてもよい。また、処理対象の音声データ全体の平均基本周波数の代わりに、後述する音声小段落や音声段落毎の平均基本周波数や、数秒や数分等の時間内での平均基本周波数等を用いるのでもよい。
【００２８】
同様に、p'についても、処理対象の音声データ全体の平均パワーで割り、規格化又は標準化する。また、処理対象の音声データ全体の平均パワーの代わりに、後述する音声小段落や音声段落毎の平均パワーや、数秒や数分等の時間内での平均パワー等を用いるのでもよい。ここで、上記のｉの値を、例えば、４とする。
動的特徴量（ダイナミックメジャー）のピークの本数は、以下のように算出する。まず、現フレームの開始時刻を中心に現フレームより十分長い時間幅（2T1、ただしT1は例えばフレーム長の１０倍程度とする）の区間を設ける。次に、この区間内における動的特徴量d(t)の時間変化の極大点を算出し、極大点の個数dp（以下、単にdpという）を計数する。
【００２９】
また、ダイナミックメジャーのピーク本数の差分値も、以下に述べるようにして算出しておく。即ち、現フレームの開始時刻のT2前の時刻を中心とする幅2T1内の区間におけるdpから、現フレームのdpを差し引いた差成分Δdp(-T2)を求める。同様に、現フレームの終了時刻のT3後の時刻を中心とする幅2T1内の区間におけるdpを、現フレームのdpから差し引いた差成分Δdp(T3)を求める。
上記の、T1、T2、T3の値は、それぞれ、フレーム長より十分長いものとし、以下では、T1＝T2＝T3＝450msとする。ただし、これらの値に限られるものではない。また、フレームの前後の無声区間の長さを、それぞれ、tSR、tSFとする。ステップＳ２２では、上記のf0"、Δf0"(-i)、Δf0"(i)、p"、Δp"(-i)、Δp"(i）、dp、Δdp(-T2)、Δdp(T3)等（以下、それぞれをパラメータと呼ぶ）の値をフレーム毎に抽出する。
【００３０】
図４のステップＳ２１において、符号帳作成の際は、上記のf0"、Δf0"(-i)、Δf0"(i)、p"、Δp"(-i)、Δp"(i)、dp、Δdp(-T2)、Δdp(T3)等のパラメータの中から選択されたパラメータの組、例えば(f0",p",dp)（音声特徴量ベクトル）に対応させて、感情表出確率及び平静状態確率が算出され、選ばれたパラメータと感情表出確率及び平静状態確率とを対応させて符号帳に記録している。符号帳には上記のパラメータの組と同じ組のパラメータが音声特徴量ベクトルとして記録されている。
ステップＳ２１での符号帳の作成方法について図５を参照して説明する。まず、多数の学習用音声を被験者から採取し、感情表出があった発話と平静状態での発話とを識別できるようにラベルを付ける（Ｓ２１１）。例えば、音声が、笑っている、怒っている、悲しんでいる、とそれぞれ判断した区間にラベル付けを行う。
【００３１】
反対に平静状態と判定する理由を、上記の笑い、怒り、悲しみのいずれにも該当せず、発話が平静であると感じられることとする。
ステップＳ２１１で上記のラベル付けを行ったら、ラベル付けされた音声データから、図４のステップＳ２２での処理と同様に予め決めたパラメータの組の音声特徴量、例えば(f0",p",dp)の値を音声特徴量ベクトル値としてフレーム毎に抽出する（Ｓ２１２）。ラベル付けによって得られる感情表出状態または平静状態の情報と、感情表出状態または平静状態とされたラベル区間（ラベル付けされた音声区間）について得られる音声特徴量ベクトルとを用いて、ＬＢＧアルゴリズムに従って符号帳を作成する（Ｓ２１３）。ＬＢＧアルゴリズムは公知であり、その詳細は、例えば、非特許文献５を参照されたい。
【００３２】
符号帳に記録されるエントリの数（以下、符号長サイズという。）は、2m個（ｍは、１以上の整数）確保できると共に可変であり、エントリのインデックスとしてコードＣが用いられ、インデックスにはコードＣに対応したｍビットの量子化ベクトル（C＝00…0〜11…1）が用いられる。
符号帳には、この量子化ベクトル（コードＣ）に対応させて、フレーム長より十分長い所望の区間、例えば学習音声のラベル区間に得られる全音声特徴量ベクトルを使って上記ＬＢＧアルゴリズムにより決められた代表ベクトルを符号帳の音声特徴量代表ベクトルとして記録しておく。その際、各音声特徴量を、例えば、その平均値と標準偏差で規格化してもよい。以下の説明では、符号帳の音声特徴量代表ベクトルも単に音声特徴量ベクトルと呼ぶ。
【００３３】
入力音声データから抽出した音声特徴量のパラメータのうち、感情表出判定処理に使用するパラメータの組は、上記の符号帳作成に用いたパラメータの組と同じものである。感情表出状態または平静状態の音声小段落を特定するために、音声小段落中のコードＣ（エントリのインデックス。）に対応させて、各感情表出状態での出現確率と平静状態での出現確率をそれぞれ算出する。その際、感情を「笑い」、「怒り」、「悲しみ」などに分類しておき、それぞれの感情について上記の感情表出状態と平静状態の各出現確率を算出し、１つの符号帳に記録する。従って、符号帳には、上記のコードＣと、音声特徴量ベクトルと、感情表出状態での出現確率と平静状態での出現確率とが対応して記録されている。これらは感情の種類毎に分類して別々の符号帳に記録してもよい。
【００３４】
図６に、符号帳に記録される内容の一例を示す。以下の各符号帳の作成において、学習音声から使用する平静状態のフレーム総数と、対応する感情（例えば笑い）の表出状態のフレーム総数は等しく選ばれている。この例では学習音声中の笑いのラベル区間と平静のラベル区間を分析して作成した符号帳CB-1と、怒りのラベル区間と平静のラベル区間を分析して作成した符号帳CB-2と、悲しみのラベル区間と平静のラベル区間を分析して作成した符号帳CB-3とを示している。図６に示すように、各符号帳にはエントリを識別する各コードC1, C2, …毎に、その音声特徴量ベクトルと、その単独出現確率が、各感情表出状態及び平静状態について格納され、条件付出現確率が各感情表出状態及び平静状態についてそれぞれ組として格納されている。ここで、コードC1, C2, C3, …は、符号帳の各音声特徴量代表ベクトルに対応したコード（インデックス）を表し、それぞれｍビットの値"00…00"、"00…01"、"00…10"、…である。
【００３５】
各感情表出確率と平静状態確率は、単独出現確率と条件付確率とに分類されている。ここで、各感情表出確率の条件付確率及び平成状態確率の条件付確率とは、例えば、図６に示す符号帳CB-1中の条件付確率a12は、条件付確率の欄のコードC2（上から２段目のエントリを特定するコード）で特定される音声特徴量ベクトルの生起の後に、コードNo.の欄のコードC1で特定される音声特徴量ベクトルが生起したときの、［笑い］でのコードC1の出現確率を意味する。同様に、条件付確率a123は、まずコードC2の音声特徴量ベクトルが生起し、次にコードC3の音声特徴量ベクトルが生起した後にコードC1の音声特徴量ベクトルが生起したときの［笑い］でのC1の出現確率を意味する。即ち、あるコード（音声特徴量ベクトルに対応する）の条件付確率とは、１つ以上の任意のコードで特定される１つ以上の音声特徴量ベクトルの生起後に、そのあるコードの音声特徴量ベクトルが出現する確率を意味する。
【００３６】
図４のステップＳ２２では、入力音声を対象に、上記の音声特徴量パラメータf0"、Δf0"(-i)、Δf0"(i)、p"、Δp"(-i)、Δp"(i)、dp、Δdp(-T2)、Δdp(T3)等のパラメータのうち、符号帳に記録された音声特徴量ベクトルで使用されているパラメータ、例えば前述の(f0",p",dp)の値をフレーム毎に算出し、全音声コンテンツに渡る一連の音声特徴量ベクトルを得る。これによって、音声コンテンツの各音声特徴量ベクトルに対応する符号帳中の音声特徴量ベクトルを特定でき、感情表出確率及び平静状態確率を決定できることになる。
【００３７】
図４におけるステップＳ２３での処理の詳細を、図７を用いて説明する。ステップＳ２３の処理は、まず、ステップＳ２３１〜Ｓ２３３で、音声小段落及び音声段落を抽出し、次に、ステップＳ２３４、Ｓ２３５で、感情表出状態尤度及び平静状態尤度を算出する。この実施例では音声小段落を、感情表出状態か否かを判定する対象の単位とする。図８に音声小段落と音声段落の関係を概念的に示すように、音声段落Ｂは、例えば、400ms程度またはそれ以上の無声区間ではさまれた、少なくとも１つ以上の音声小段落を含む区間であるものとする。
【００３８】
音声段落等の抽出には、まず、音声データの無声区間と有声区間を抽出する（ステップＳ２３１）。有声区間であるか無声区間であるかの判定（以下、単に、有声／無声の判定という）は、周期性の有無の判定と等価であるとみなして、自己相関関数や変形相関関数のピーク値に基づいて行われることが多い。具体的には、入力信号の短時間スペクトルからスペクトル包絡を除去し、得られた予測残差の自己相関関数（以下、変形相関関数という）を算出し、変形相関関数のピーク値が所定の閾値より大きいか否かによって有声／無声の判定を行う。また、そのようなピークが得られる相関処理の遅延時間に基づいて、ピッチ周期1/f0の抽出を行う。
【００３９】
上記では、フレーム毎に各音声特徴量ベクトルを音声データから抽出する場合について述べたが、音声データが、例えば、ＣＥＬＰ(Code-Excited Linear Prediction)などにより、既にフレーム毎に符号化（即ち、分析）されており、この符号化で得られる係数または符号を用いて音声特徴量ベクトルを生成するのでもよい。ＣＥＬＰによって得られる符号（以下、ＣＥＬＰ符号という）には、一般に、線形予測係数、利得係数、ピッチ周期等が含まれる。そのため、ＣＥＬＰ符号を復号して上記の音声特徴量ベクトルを得ることができる。
【００４０】
具体的には、復号された利得係数の絶対値または二乗値をパワーとして用い、ピッチ成分の利得係数と非周期成分の利得係数との比に基づいて有声／無声の判定を行うことができる。また、復号されたピッチ周期の逆数をピッチ周波数、即ち基本周波数として用いることができる。また、上記の式(1) で説明した動的特徴量の計算に使用するＬＰＣケプストラム係数は、ＣＥＬＰ符号を復号して得られたものを変換して求めることができる。
また、ＣＥＬＰ符号にＬＳＰ（Line Spectrum Pair）係数が含まれていれば、ＬＳＰ係数を一旦ＬＰＣケプストラム係数に変換し、変換して得られたＬＰＣケプストラム係数から求めてもよい。このように、ＣＥＬＰ符号には本発明で使用できる音声特徴量のパラメータが含まれているので、ＣＥＬＰ符号を復号し、フレーム毎に必要な音声特徴量の組を取り出すことができる。
【００４１】
図７に戻って、有声区間の両側の無声区間の時間tSR、tSFがそれぞれ予め決めたtＳ以上になるとき、その無声区間によって囲まれた有声区間を含む信号部分を音声小段落Ｓとして抽出する（ステップＳ２３２）。以下では、この無声区間の時間tSの値を、例えば、tS＝400msとする。
次に、この音声小段落Ｓ内の、好ましくは後半部の有声区間内の平均パワーｐと、この音声小段落Ｓの平均パワー値PSの定数β倍とを比較し、ｐ＜βPSであれば、その音声小段落Ｓを末尾音声小段落と判定し、直前の末尾音声小段落後の音声小段落から現在の末尾音声小段落までを音声段落と決定して抽出する（ステップＳ２３３）。
【００４２】
音声小段落の抽出は、上記の有声区間を囲む無声区間の時間がtS以上となるという条件で行う。図８では、音声小段落としてSj-1、Sj、Sj+1を示し、以下では音声小段落Sｊを処理対象の音声小段落とする。音声小段落Sｊは、Qｊ個の有声区間から構成され、音声小段落Sｊの平均パワーをPjとする。
また、音声小段落Sｊに含まれるｑ番目の有声区間Vｑ（q＝1, 2, …, Q）の平均パワーをpｑと表す。音声小段落Sｊが音声段落Ｂの末尾の音声小段落であるか否かは、音声小段落Sｊを構成する後半部分の有声区間の平均パワーに基づいて判定する。具体的には、以下の式(2) に示す条件が満たされるか否かで判定する。
【００４３】
【数２】
2005352420.tif 000004
この条件を満たすとき、音声小段落Sjが音声段落Ｂの末尾音声小段落であると判定する。
【００４４】
ここで、αはQj/2以下の値をとる定数であり、βは例えば0.5〜1.5程度の値をとる定数である。これらの値は、音声段落の抽出を最適化するように、予め実験により決めておく。ただし、有声区間の平均パワーpqは、その有声区間内の全フレームの平均パワーである。本発明の実施の形態では、例えばα＝３、β＝0.8とする。上記のようにすることによって、隣接する末尾音声小段落間の音声小段落の集合を音声段落と判定できる。あるいは、音声小段落を固定長t(s)、シフト幅S(s)と決めてもよい。例えばt(s)=S(s)=1msecの固定長、シフト幅としてもよい。音声段落についてもΔＳの無声区間で囲まれた区間としてもよい。
【００４５】
次に、図７に戻って感情表出状態尤度を算出する処理（ステップＳ２３４、Ｓ２３５）について説明する（以下、この処理を感情表出判定処理という）。まず、図４のステップＳ２１で予め作成した符号帳に記録される音声特徴量ベクトルに合わせて、ステップＳ２２で抽出した入力音声小段落中の音声特徴量の組をベクトル量子化し、符号列C1, C2, C3, …を得る（ステップＳ２３４）。
以下に、図７のステップＳ２３５で行う話者の感情表出についての尤度である感情表出状態尤度の算出、及び平静状態についての尤度である平静状態尤度の算出方法の一例について説明する。まず、学習音声中のラベル区間に含まれるフレームの数をｎとし、それぞれのフレームについて得られる音声特徴量の組に対応するコードが時系列でC１, C２, …, Cｎとなっているものとする。
【００４６】
上記で説明したように、ラベル区間は、符号帳を作成する処理のステップＳ２１１で、ラベルが付けられた１つの音声区間である。このとき、ステップＳ２３５で算出されるラベル区間Ａの感情表出状態尤度PAemo及び平静状態尤度PAnrmは、それぞれ、以下の式(3) 及び式(4) に示すように表される。
【数３】
2005352420.tif 000005
【００４７】
ここで、Pemo(Ci｜C1…Ci-1)は、コード列C1, …, Ci-1の次にコードCiが感情表出状態となる条件付出現確率、Pnrm(Ci｜C1…Ci-1)は、同様にコード列C1, …, Ci-1の次にコードCiが平静状態となる条件付出現確率である。また、Pemo(Ci)は、符号帳を作成する処理において、音声が感情表出状態とラベル付けされた部分に存在した音声特徴量ベクトルに対応するコードCiの総個数を数え、その総個数を、感情表出状態とラベル付けされた音声データの全コード数（＝フレーム数）で割算した値である。一方、Pnrm(Ci)は、コードCiが平静状態とラベル付けされた部分に存在した個数を、平静状態とラベル付けされた音声データの全コード数で割算した値である。
【００４８】
以下では、各条件付出現確率をN-gram(N<i)モデルで近似し、感情表出状態尤度及び平静状態尤度の計算を簡単にする。N-gramモデルは、ある時点でのある事象の出現がその直前のN-1個の事象の出現に依存すると近似するモデルである。ここで、N=3のときはtrigram、N=2のときはbigram、N=1のときはunigramとよばれる。このモデルでは、例えば、ｉ番目のフレームにコードCiが出現する確率P(Ci)は、P(Ci)＝P(Ci｜Ci-N+1…Ci-1)とされる。
上記の式(3) 及び式(4) 中の各条件付出現確率Pemo(Ci｜C1…Ci-1)、Pnrm(Ci｜C1…Ci-1)にN-gramモデルを適用すると、各条件付出現確率は以下の式(5) 及び式(6) に示すように近似される。
Pemo(Ci｜C1…Ci-1)＝Pemo(Ci｜Ci-N+1…Ci-1)                  (5)
Pnrm(Ci｜C1…Ci-1)＝Pnrm(Ci｜Ci-N+1…Ci-1)                  (6)
【００４９】
上記の式(5) のPemo(Ci｜Ci-N+1…Ci-1)及び式(6) のPnrm(Ci｜Ci-N+1…Ci-1)は、通常、符号帳から全て得られるようになっているが、一部のものについては、学習音声から得られないものもある。その場合は、他の条件付出現確率や単独出現確率から補間によって求めたものでもよい。例えば、低次（即ち、コード列が短い）の条件付出現確率と単独出現確率等とから高次（即ち、コード列が長い）の条件付出現確率を補間して求めることができる。
以下に、この補間の方法について説明する。以下では、上記のtrigram (N=3)、bigram (N=2)、及び、unigram (N=1)を例にとり説明する。各出現確率は、trigram (N=3)では、Pemo(Ci｜Ci-2Ci-1）、Pnrm(Ci｜Ci-2Ci-1)、bigram (N=2)では、Pemo(Ci｜Ci-1)、Pnrm(Ci｜Ci-1)、そして、unigram (N=1)では、Pemo(Ci)、Pnrm(Ci)と表される。
【００５０】
この補間の方法では、Pemo(Ci｜Ci-2Ci-1)及びPnrm(Ci｜Ci-2Ci-1)を、上記の感情表出状態での３つの出現確率、または、平静状態での３つの出現確率を用い、以下の式(7) 及び式(8) に基づいて算出する。
【数４】
2005352420.tif 000006
【００５１】
ここで、上記のλemo1、λemo2、λemo3は、trigramの感情表出状態とラベル付けされた学習データのフレーム数をｎとし、時系列でコードC1, C2, …, Cnが得られたとき、以下のように表される。
【数５】
2005352420.tif 000007
ただし、λemo1、λemo2、λemo3を求めるときの音声データは、符号帳を作成するときの音声データ以外のものとする。符号帳を作成するときの音声データと同じ音声データを用いると、λemo1＝1、λemo2＝λemo3＝0の自明な解となってしまうからである。同様に、λnrm1、λnrm2、λnrm3も求められる。
【００５２】
次に、trigramを用い、ラベル区間Ａのフレーム数がFAであり、得られたコードがC1, C2, …, CFAのとき、このラベル区間Ａの感情表出状態尤度PAemo及び平静状態尤度PAnrmは、それぞれ、以下の式(9) 及び式(10)に示すように表される。
PAemo＝Pemo(C3｜C1C2)…Pemo(CFA｜CFA-2CFA=1)              (9)
PAnrm＝Pnrm(C3｜C1C2)…Pnrm(CFA｜CFA-2CFA-1)              (10)
本発明の実施の形態では、上記のように補間と、感情表出状態尤度PAemo及び平静状態尤度PAnrmの算出とができるように、上記の例では、trigram (N=3)、bigram (N=2)、及び、unigram (N=1)を各コードについて算出しておき、符号帳に格納しておくものとする。つまり、符号帳には、各コードに対応して、音声特徴量ベクトルと、その感情表出状態での出現確率と、平静状態での出現確率との組が格納される。
【００５３】
その感情表出状態での出現確率としては、各コードが過去のフレームで出現したコードと無関係に感情表出状態で出現する確率（単独出現確率）、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが感情表出状態で出現する条件付出現確率、またはそれら両方を使用する。同様に、平静状態での出現確率、そのコードが過去のフレームで出現したコードと無関係に平静状態で出現する単独出現確率、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが平静状態で出現する条件付出現確率、またはそれら両方を使用する。
【００５４】
符号帳におけるｈ番目のコードをChで表し、例えばC1は第１番目のコードを表すものとする。以下では、この発明に好適な音声特徴量の組の例として、パラメータf0"、p"、dpを使用し、符号帳サイズ（音声特徴量ベクトルの数）が25の場合の感情表出状態及び平静状態での、条件付出現確率をtrigramで近似した例について説明する。
図９は、音声データの処理を説明するための模式図である。時刻ｔから始まる音声小段落のうち、第１フレームから第４フレームまでを符号i〜i+3を付して示している。フレーム長及びフレームシフトを、上記のように、それぞれ、100ms、50msとした。ここでは、フレーム番号ｉ（時刻t〜t+100）のフレームについてコードC1が、フレーム番号i+1（時刻t+50〜t+150）のフレームについてコードC2が、フレーム番号i+2（時刻t+100〜t+200）のフレームについてコードC3が、そして、フレーム番号i+1（時刻t+50〜t+150）のフレームについてコードC4が得られているものとする。即ち、フレーム順にコードがC1、C2、C3、C4であるとする。
【００５５】
この場合、フレーム番号i+2以上のフレームでは、trigramが計算できる。いま、音声小段落Ｓの感情表出状態尤度をPSemo、平静状態尤度をPSnrmとすると、第４フレームまでの各尤度はそれぞれ、以下の式(11)及び式(12)によって与えられる。
PSemo＝Pemo(C3｜C1C2)Pemo(C4｜C2C3)                      (11)
PSnrm＝Pnrm(C3｜C1C2)Pnrm(C4｜C2C3)                      (12)
この例では、符号帳からコードC3、C4の感情表出状態及び平静状態の各単独出現確率を求め、コードC2の次にコードC3が感情表出状態及び平静状態で出現する条件付出現確率を求め、さらに、コードC3が連続するコードC1C2の次に感情表出状態及び平静状態で出現し、コードC4が連続するコードC2C3の次に感情表出状態及び平静状態で出現する条件付出現確率を求めると以下のようになる。
【００５６】
Pemo(C3｜C1C2)＝λemo1Pemo(C3｜C1C2)+λemo2Pemo(C3｜C2)+λemo3Pemo(C3)
(13)
Pemo(C4｜C2C3)＝λemo1Pemo(C4｜C2C3)+λemo2Pemo(C4｜C3)+λemo3Pemo(C4) 
(14)
Pnrm(C3｜C1C2)＝λnrm1Pnrm(C3｜C1C2)+λnrm2Pnrm(C3｜C2)+λrnm3Pnrm(C3)
(15)
Pnrm(C4｜C2C3)＝λnrm1Pnrm(C4｜C2C3)+λnrm2Pnrm(C4｜C3)+λnrm3Pnrm(C4) 
(16)
上記の式(13)〜(16)を用いることによって、式(11)と(12)とで示される第３フレームまでの感情表出状態尤度PSemoと平静状態尤度をPSnrmが求まる。ここで、条件付出現確率Pemo(C3｜C1C2)及びPnrm(C3｜C1C2)は、フレーム番号i+2以降で計算できる。
【００５７】
以上の説明は、第４フレームi+3までの計算についてであったが、フレーム数FSの音声小段落Ｓについても同様に適用できる。例えば、フレーム数FSの音声小段落Ｓのそれぞれのフレームから得られたコードがC1、C2、…、CFAのとき、この音声小段落Ｓが感情表出状態になる尤度PAemoと平静状態になる尤度PAnrmを以下の式(17)及び式(18)に示すように計算する。
【数６】
2005352420.tif 000008
【００５８】
上記のように算出した尤度が、PAemo＞PAnrm、であれば、その音声小段落Ｓの発話状態は、感情表出状態であると判定する（Ｓ２４）。逆に、PAemo≦PAnrmであれば、実質的に平静状態と判定されることになる。同様に、PAemo/PAnrm＞１、であることを感情表出状態と判定するための条件とするのでもよい。また、正の重み係数Ｗにたいし、
WFAPAemo＞PAnrm                                (19)
を満足することを条件とすることにより、あるいは
RE=(logPAemo-logPAnrm)/L＞W                    (20)
を満足することを条件とすることにより、小段落のフレーム数Ｌに応じて重み付けの影響を増減するようにしてもよい。Lは例えばL=FA-2としてもよい。
【００５９】
図４のステップＳ２５で作成する要約コンテンツは、感情表出状態と判定されたコンテンツ部分の前の所定の音声小段落や音声段落を含めたものを接続して作成するのでもよい。これにより、突然、感情表出状態のコンテンツが再生され、要約されたコンテンツを閲覧者が適切に理解できないことや理解が困難になることを防止できる。要約コンテンツの抽出はコンテンツ全体に対する圧縮率が予め決めた値になった時点で停止してもよいし、あるいは、上記重み係数Ｗの値を適当に調整することにより、全コンテンツに対する要約コンテンツが予め決めた圧縮率の範囲となるようにしてもよい。
【００６０】
あるいは、ステップ２４において感情表出状態出現確率Pemoの音声小段落にわたる総和ΣPemoと平静状態出現確率Pnrmの音声小段落にわたる総和ΣPnrmから感情表出状態尤度PAemoと平静状態尤度PAnrmを次式
【数７】
2005352420.tif 000009
のように求め、PAemo＞PAnrmならその音声小段落は感情表出状態であると判定し、PAemo≦PAnrmであれば平静状態と判定してもよい。あるいは、これら条件付出現確率の総積あるいは条件付出現確率の総和を重み付け比較して音声小段落の発話状態を判定してもよい。
【００６１】
「笑い」、「怒り」、「悲しみ」の各感情表出状態判定方法においても、用いる音声特徴量については前述の方法の場合と同様であり、音声特徴量の組としては例えばパラメータ基本周波数、パワー、動的特徴量の時間変化特性の少なくとも１つ以上及び／又はこれらのフレーム間差分の少なくとも１つ以上を含むことが好ましい。出現確率も単独出現確率又はこれと条件付出現確率の組合せでもよく、更にこの組合せを用いる場合は、条件付出現確率の計算に対し線形補間法を用いることが好ましい。またこの感情表出状態判定方法においても、音声小段落又はこれよりも長い適当な区間毎に、あるいは全体の音声信号の各音声特徴量の平均値で各音声特徴量を規格化し、あるいは標準化してフレーム毎の音声特徴量の組を形成し、ベクトル量子化以後の処理を行うことが好ましい。
【００６２】
感情表出状態判定方法としては、例えば、音声小段落に対する「笑い」、「怒り」、「悲しみ」についての尤度PAlau, PAang, PAsadを式(17)と同様に次式
【数８】
2005352420.tif 000010
により計算し、これにより例えば「笑い」であるか、「平静」であるかを判定する場合には、前述と同様に笑いの表出尤度PAlauと生成状態尤度PAnrmから条件
(a1) PAlau＞PAnrm
(b1) WLPAlau＞PAnrm、
(c1) RL=(logPAlau-logPAnrm)/L＞W、
のいずれか予め決めた条件を使って、その条件を満足していれば笑いの表出状態であると判定する。「怒り」であるか「平静」であるかの判定は式(24)を使って尤度PAangを計算し、
(a2) PAang＞PAnrm、
(b2) WLPAang＞PAnrm、
(c2) RA=(logPAang-logPAnrm)/L＞W、
のいずれか予め決めた条件を使って、その条件を満足していれば怒りの表出状態と判定する。同様に、「悲しみ」であるか「平静」であるかの判定は式(25)を使って尤度PAsadを計算し、
(a3) PAsad＞PAnrm、
(b3) WLPAsad＞PAnrm、
(c3) RS=(logPAsad-logPAnrm)/L＞W、
のいずれか予め決めた条件を使って、その条件を満足するか判定すればよい。判定条件はこれ以外にもいろいろなものが容易に考えられる。
【００６３】
感情表出が「笑い」であるか、「怒り」であるか、「悲しみ」であるかを判定する場合は、例えば上記条件式(c1), (c2), (c3)による笑い尤度比RL、怒り尤度比RA、悲しみ尤度比RSを計算し、これらの尤度比を比較することにより決めることができる。
以上、図4におけるステップＳ２１の符号帳の作成と、その符号帳を使ったステップＳ２２，Ｓ２３，Ｓ２４による感情表出の検出について詳細に説明した。以下には、所望の感情表出、ここでは笑い、怒り、悲しみの所望の音声区間を抽出し、それに基いて要約コンテンツを生成する実施例を示す。
【００６４】
第１実施例
この実施例は３つの感情、「笑い」、「怒り」、「悲しみ」を区別せず、何れの感情表出も「感情」として検出する場合である。
学習音声中の「笑い」の表出区間、「怒り」の表出区間、「悲しみ」の表出区間は区別せず、全て「感情」のラベリングをし、その他の区間で、平静である区間に「平静」のラベリングをして図１０に示すように１つの符号帳を作成しておく。
【００６５】
図１１は第１実施例による感情表出区間の検出処理手順を示す。
ステップＳ１：コンテンツ中の音声データから所定の判定区間Ｓを取り込む。判定区間は前述の音声小段落であってもよいし、あるいは予め決めた少なくとも１フレームを含む一定長の音声区間であってもよい。
ステップＳ２：取り込んだ判定区間を分析してフレーム毎の音声特徴量ベクトルを求め、図１０の符号帳を参照して例えば式(17), (18)又は式(21), (22)により平静状態尤度PAnrmと感情表出状態尤度PAemoを計算する。
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の音声区間について同様の処理を行う。
【００６６】
ステップＳ４：全ての判定区間について感情表出状態尤度PAemoと平静状態尤度PAnrmが例えば図１２に概念的に示すように求まると、WLPAemo>PAnrmを満たす区間S'を検出し、その各検出区間S'の位置（例えば検出区間の開始及び終了フレーム番号、又はコンテンツの最初から検出区間の開始時刻及び終了時刻）を記憶手段に記憶する。Ｗは予め決めた正の定数であり、Ｌは各区間Ｓ毎のフレーム数である。尚、図１２にはWLPAemo, PAnrmを連続曲線で示しているが、実際には判定区間Ｓ毎の不連続な曲線である。
ステップＳ５：ステップＳ４で検出した区間S'の位置に対応する区間をコンテンツから感情表出の部分要約コンテンツとして抽出し、それらを連結して要約コンテンツとする。
【００６７】
第２実施例
この実施例は、上記第１実施例において検出した感情表出区間S'を、図１１のステップＳ５において更に感情表出が「笑い」、「怒り」、「悲しみ」のどれであるかを判定する。この第２実施例は第１実施例で使用する図１０の感情表出検出用の符号帳に加えて次の符号帳を予め作成しておく。
上記「感情」のラベルがつけられた学習音声区間中の笑いの表出区間に「笑い」をラベリングし、怒りの表出区間に「怒り」をラベリングし、悲しみの表出区間に「悲しみ」をラベリングし、これら「笑い」、「怒り」、「悲しみ」がラベリングされた音声区間に基いて図１３に示す符号帳を作成する。
【００６８】
図１４は第２実施例による「笑い」、「怒り」、「悲しみ」の感情表出区間を検出する処理手順を示す。ステップＳ１〜Ｓ４は図１０の符号帳を使って図１１に示した第１実施例による感情表出区間の検出処理と同じであり、これにより「笑い」、「怒り」、「悲しみ」のいずれかを含む感情表出区間Ｓ’が検出される。以降のステップＳ５〜Ｓ８により、各感情表出区間Ｓ’が「笑い」、「怒り」、「悲しみ」のどれであるかを判別する。
ステップＳ５：ステップＳ４で検出された１つの感情表出区間Ｓ’内の一連の音声特徴量ベクトルを得る。これはステップＳ１〜Ｓ３において全音声区間についての音声特徴量ベクトルが既に求められているので、その中から区間Ｓ’に対応する一連の音声特徴量ベクトルを取り出せばよい。
【００６９】
ステップＳ６：図１３の符号帳を参照して検出感情表出区間Ｓ’の笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsadをそれぞれ計算する。
ステップＳ７：これら尤度PAlau, PAang, PAsadのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク、例えば笑いはLau、怒りはAng、悲しみはSadのマークをその検出区間Ｓ’の位置に対応して記憶する。
ステップＳ８：未処理の感情表出検出区間Ｓ’が残っているか判定し、残っていればステップＳ５に戻り、次の感情表出検出区間Ｓ’について同様の処理を実行する。
【００７０】
ステップＳ９：全ての感情表出検出区間Ｓ’について最大尤度の判定が終了していれば、全ての感情表出検出区間Ｓ’の中からマークLau, Ang, Sadのうち、例えば利用者により指定された感情のマークの検出区間と対応する区間を部分要約コンテンツとしてコンテンツから抽出し、それらを連結して要約コンテンツとする。
このように、第２実施例に拠れば、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出をコンテンツから抽出することができる。
【００７１】
第３実施例
上述の第２実施例では音声データからまず感情表出区間を検出し、次に各感情表出区間が「笑い」、「怒り」、「悲しみ」のいずれであるかを判定する場合を示したが、この第３実施例では、音声データから直接「笑い」、「怒り」、「悲しみ」の任意の感情表出を検出する。符号帳は図１３に示したものを使用する。図１５は第３実施例による感情表出区間の検出処理手順を示す。
ステップＳ１：判定区間Ｓをコンテンツの音声データから取り込む。
ステップＳ２：判定区間Ｓの一連のフレームの音声特徴量ベクトルを求め、図１３の符号帳を参照して笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsadをそれぞれ計算する。
【００７２】
ステップＳ３：これら尤度PAlau, PAang, PAsadのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク例えば笑いはLau、 怒りはAng、悲しみはSadのマークをその判定区間Ｓの位置に対応して記憶する。
ステップＳ４：未処理の判定区間Ｓが残っているが判定し、残っていればステップＳ１に戻り、次の判定区間Ｓについて同様の処理を実行する。
ステップＳ５：全ての判定区間Ｓについて最大尤度の判定が終了していれば、全ての判定区間Ｓの中からマークLau, Ang, Sadのうち例えば利用者により指定されたマークの検出区間と対応する区間をコンテンツから抽出し、連結して要約コンテンツとする。
【００７３】
このように、第３実施例によっても、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出をコンテンツから抽出することができる。この第３実施例の場合は、第１実施例における符号帳は使用しないので、平静状態尤度を使用しないことになる。即ち、この発明による感情表出の検出には、平静状態尤度の計算を必ずしも必要としない。
【００７４】
第４実施例
この実施例も、例えば「笑い」、「怒り」、「悲しみ」の３種類の感情表出の任意のもの（１つ又は複数）を抽出することを可能にするものであり、予め次の３つの符号帳を作成しておく（図６の例と同様である）。
(1) 学習音声中の全ての笑いの表出区間に「笑い」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして笑い検出用符号帳を作成する。
(2) 学習音声中の全ての怒りの表出区間に「怒り」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして怒り検出用符号帳を作成する。
(3) 学習音声中の全ての悲しみの表出区間に「悲しみ」のラベリングをし、全ての平静状態区間に「悲しみ」のラベリングをして悲しみ検出用符号帳を作成する。
【００７５】
図１６は第４実施例の処理手順を示す。この実施例においても、３種類の感情表出の任意の１つ又は複数を検出できる。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。判定区間Ｓは前述のように音声小段落でもよいし、予め決めた一定長の区間でもよい。
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、上記笑い検出用符号帳を参照して笑い表出尤度PAlauとそれに対する平静状態尤度PAnrmを求め、笑い尤度比
RL=(logPAlau-logPAnrm)/L                      (26)
を計算する。上記怒り検出用符号帳を参照して怒り表出尤度PAangとそれに対する平静状態尤度PAnrmを求め、怒り尤度比
RA=(logPAang-logPAnrm)/L                      (27)
を計算する。更に、上記悲しみ検出用符号帳を参照して悲しみ表出尤度PAsadとそれに対する平静状態尤度PAnrmを求め、悲しみ尤度比
RS=(logPAsad-logPAnrm)/L                      (28)
を計算する。計算したこれら尤度比RL, RA, RSを記憶する。
【００７６】
ステップＳ３：残りの判定区間Ｓがあるか判定し、あればステップＳ１に戻り次の判定区間Ｓについて同様の処理を実行する。音声データの全区間について終了していれば、利用者により指定された「笑い」、「怒り」、「悲しみ」の任意の１つ又は複数について次のステップＳ４，Ｓ５，Ｓ６のうち指定された感情に対応するものを実行する。
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理により例えば図１７に概念的に示すように、縦軸を尤度比Ｒとして笑い表出尤度比RL、怒り表出尤度比RA、悲しみ表出尤度比RSの曲線がそれぞれえられており、これらと予め決めた閾値Rthを比較し、Rthより大となる区間を検出し、それらの位置と感情マークLau, Ang, Sadを対応させて記憶する。
【００７７】
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者により指定されたものの検出区間をコンテンツから抽出し、連結して要約コンテンツとする。
このように、この第３実施例においても「笑い」、「怒り」、「悲しみ」の任意の感情表出を選択してコンテンツから抽出することが可能である。
【００７８】
第５実施例
この実施例は第４実施例の変形例である。第４実施例では感情表出区間を検出するために各感情表出状態尤度比を一定閾値Rthと比較したが、ここでは、各感情表出状態尤度を共通の平静状態尤度と比較して各感情表出区間を検出する。そのために、学習音声中の笑い表出区間、怒り表出区間、悲しみ表出区間にそれぞれ「笑い」、「怒り」、「悲しみ」をラベリングし、音声が平静となる区間に「平静」をそれぞれラベリングし、図１８に示す符号帳を作成しておく。図１８に示すように、符号帳には笑い、怒り、悲しみ、平静の各感情表出における符号の単独出現確率(unigram)、条件付出現確率(bigram, trigram)が学習音声から求められ、書き込まれている。
【００７９】
図１９は第５実施例の処理手順を示す。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、図１８の符号帳を参照して笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsad、平静状態尤度PAnrmを計算し、記憶する。
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を実行する。残りの判定区間がなければ、「笑い」、「怒り」、「悲しみ」のうち利用者により指定された１つ又は複数についてステップＳ４，Ｓ５，Ｓ６の対応するものを実行する。
【００８０】
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理が終了した段階で例えば図２０に概念的に示すように、笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsad、平静状態尤度PAnrmの曲線がえられている。ただし図２０ではフレーム数Ｌの区間の各感情表出尤度PAlau, PAang, PAsadに重みWLを乗算した曲線を示している。これら尤度曲線WLPAlau, WLPAang, WLPAsadと曲線PAnrmと比較し、WLPAlau>PAnrm、WLPAang>PAnrm、WLPAsad>PAnrmを満足し、かつPAlau, PAang, PAsadのうち、最大のものの区間をそれぞれ検出し、それぞれ検出区間の位置とマークを対応させて記憶する。
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者により指定された感情の検出区間に対応する区間をコンテンツから抽出し、連結して要約コンテンツとする。
【００８１】
第６実施例
この実施例では、予め学習音声中の「笑い」、「怒り」、「悲しみ」の音声区間にそれぞれ対応するラベルをつけ、「笑い」の音声区間と「怒り」の音声区間の全フレームの音声特徴量ベクトルから笑い表出についての各量子化音声特徴量ベクトルの各出現確率と、怒り表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２０に示す符号帳ＣＢ−１を作成し、同様に「怒り」の音声区間と「悲しみ」の音声区間の全フレームの音声特徴量ベクトルから怒り表出についての各量子化音声特徴量ベクトルの各出現確率と、悲しみ表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２１に示す符号帳ＣＢ−２を作成し、「悲しみ」の音声区間と「笑い」の音声区間の全フレームの音声特徴量ベクトルから悲しみ表出についての各量子化音声特徴量ベクトルの各出現確率と、笑い表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２１に示す符号帳ＣＢ−３を作成しておく。
【００８２】
図２２は第６実施例による感情表出検出処理手順を示す。
ステップＳ１〜Ｓ４は図１１の各感情を区別しない場合の処理手順と同様であり、図１０の符号帳を使って全音声区間について得た感情表出状態尤度WLPAemoと平静状態尤度PAnrmの曲線からWLPAemo＞PAnrmとなる区間を感情表出区間Ｓ’として全て検出し、一時記憶する。
ステップＳ５：感情表出区間Ｓ’を取り込む。
ステップＳ６：感情表出区間Ｓ’の一連の音声特徴量ベクトルから図２１の符号帳ＣＢ−１を参照して笑い表出尤度PAlau1と怒り表出尤度PAang2を求め、符号帳ＣＢ−２を参照して怒り表出尤度PAang1と悲しみ表出尤度PAsad2を求め、符号帳ＣＢ−３を参照して悲しみ表出尤度PAsad1と笑い表出尤度PAlau2を求める。
【００８３】
ステップＳ７：上記尤度から笑い、怒り、悲しみについてそれぞれ２つの尤度を以下のように決める。
笑い尤度：  PLAU1＝PAlau1/PAang2；  PLAU2＝PAlau2/PAsad1
怒り尤度：  PANG1＝PAang1/PAsad2；  PANG2＝PAang2/PAlau1
悲しみ尤度：PSAD1＝PAsad1/PAlau2；  PSAD2＝PAsad2/PAang1
ステップＳ８：笑い度、怒り度、悲しみ度を以下のように決める。
笑い度：  LAU＝(PLAU1+PLAU2)/2                (29)
怒り度：  ANG＝(PANG1+PANG2)/2                (30)
悲しみ度：  SAD＝(PSAD1+PSAD2)/2              (31)
【００８４】
ステップＳ９：図２３に示すように、
LAU＞ANGかつLAU＞SADの区間を検出し、Lauのマークをつける。
ANG＞SADかつANG＞LAUの区間を検出し、Angのマークをつける。
SAD＞LAUかつSAD＞ANGの区間を検出し、Sadのマークをつける。
ステップＳ１０：全ての検出区間Ｓ’について処理が終了したか判定し、終了してなければステップＳ５に戻って次の感情表出検出区間Ｓ’についてステップＳ６〜Ｓ９で同様の処理を実行する。
ステップＳ１１：全ての検出区間Ｓ’について終了していれば、利用者により指定された感情のマークの区間をコンテンツから抽出し、連結して要約コンテンツとする。あるいはユーザが希望する指定の要約時間長で視聴したい、笑っているところだけ見たい、などの要求を満足する閾値Rth以上の区間を抽出してもよい（図２３の破線参照）。
上述の第１から第６実施例における各感情表出状態尤度PAlau, PAang, PAsadはいずれも前記式(17)または(19)のいずれを使用して計算してもよい。
【００８５】
第７実施例
前述の各実施例では、検出された感情表出音声小段落を含む音声段落に対応する部分要約コンテンツをコンテンツから抽出して要約コンテンツを生成する例を説明したが、これらの実施例では生成された要約コンテンツの長さがどのようになるか不定である。そのため、所望の要約率（圧縮率＝要約長／コンテンツ長）又は所望の時間長で要約することができない不都合がある。この第２実施例では、この点を改善し、任意の要約率または時間長で要約コンテンツを自動生成することができる要約コンテンツ生成方法の実施例を示す。
【００８６】
図２４にこの実施例による要約コンテンツ生成方法の処理手順を示す。ここで、ステップＳ２５２〜Ｓ２５５は図４のステップＳ２３，Ｓ２４の処理に対応し、図1の音声特徴量抽出手段１２０と、感情表出尤度算出手段１３０と、平静状態尤度算出手段１４０と、感情表出判定手段１５０とによって実行されるものであり、これらのうち、ステップＳ２５２は図７のステップＳ２３１、Ｓ２３２，Ｓ２３３に対応し、ステップＳ２５３は図７のステップＳ２３４，Ｓ２３５に対応する。
ステップＳ２５０：ユーザ装置からの要求情報中のコンテンツを指定するコンテンツコードと要約時間又は要約率（又は圧縮率、以下の説明では要約時間の場合で説明する）、及びどの種類の感情表出（笑い、悲しみ、怒り）に基く要約を生成するかの指定（感情指定情報）が入力される。ユーザによる要約時間TSの指定及び感情指定のいずれか一方又は両方がない場合、要約コンテンツ生成装置はデフォルトの要約時間及び／又は感情指定を使用する。
【００８７】
ステップＳ２５１：コードにより指定されたコンテンツをデータベースから入力する。
ステップＳ２５２：コンテンツ中の音声データを分析し、例えば図８で説明した音声小段落Sj、音声段落Ｂを検出し、それぞれ一連の番号を付加すると共にそれらの音声小段落の位置（フレーム番号又はスタートからの時間）と長さ（フレーム数FS）を記憶する。
ステップＳ２５３：各音声小段落の指定された感情表出での感情表出尤度と平静状態尤度を計算し、記憶する。これらの尤度はステップＳ２５２で決定した音声小段落Sjの位置と長さと共に、例えば図２５に示すように音声小段落Sj毎のデータとして感情表出尤度テーブル110EMOに記録され、例えば図１の記憶手段１１０に記憶される。
ステップＳ２５４：各音声小段落が指定された感情表出状態か否か判定する。この判定は例えば感情の種類を区別しない場合は式(19)を使い、「笑い」、「悲しみ」、「怒り」のいずれか指定された場合は例えば先の条件式(b1), (b2), (b3)を使い判定する。この判定は例えば図１６のステップＳ１〜Ｓ６により行うことができる。尚、ここではフレーム数をFSで表している。この例では条件式の重み係数Ｗの初期値が予め例えば１に決められており、以降の繰り返しループの処理で、重み係数Ｗの値が更新されて判定条件が順次変更されることになる。
【００８８】
ステップＳ２５５：感情表出状態と判定された音声小段落を含む音声段落を部分要約区間と決定し、その位置と長さΔTGを記憶する。
ステップＳ２５６：全音声データに渡って部分要約区間の時間長ΔTGの総和TG=ΣΔTGを求める。
ステップＳ２５７：総和TGと指定要約時間TSの誤差の絶対値が所定値ε（0<ε<1の予め決めた値）以下か判定する。
ステップＳ２５８：誤差の絶対値が所定値ε以上の場合、部分要約区間の総和TGが長すぎるか短すぎることを意味し、TG>TSであれば長すぎるのでTGを減らすために重み係数WをW-0.001に更新し、TG<TSであれば短すぎるのでTGを増やすために重み係数WをW+0.001に更新してステップＳ２５４に戻る。
ステップＳ２５９：誤差の絶対値が所定値εより小さければ部分要約区間の総和TGがほぼ指定要約長TSと同じであり、このときの部分要約区間に対応するコンテンツの部分を部分要約コンテンツとして抽出し、連結して要約コンテンツとする。
【００８９】
ステップＳ２５８での重み係数Ｗの更新は0.001の幅で行う例を示したが、他の値でも良い。
尚、上述では要約時間TGの収束条件としてTG≒TSとしたが、厳密にTG=TSに収束させることもできる。この場合には要約条件に例えば５秒不足している場合、あと１つの音声段落を加えると１０秒超過してしまうが、音声段落から５秒のみ再生することで利用者の要約条件に一致させることができる。また、この５秒は感情表出状態と判定された音声小段落の付近の５秒でもよいし、音声段落の先頭から５秒でもよい。
【００９０】
また、ステップＳ２５４の感情表出判定に条件式(c1), (c2), (c3)を使用してもよい。更に、要約条件としてコンテンツの長さTCに対する要約率TG/TC=rただし0<r<1が指定された場合は、ステップＳ２５７で誤差｜TG-rTC｜が所定値εより小か判定し、大であれば、ステップＳ２５８でTG＞rTCであればＷをW-0.001で更新し、TG＜rTCであればＷをW+0.001で更新すればよい。
以上の各実施例で示したようにして、要約条件が満たされた部分要約区間に対応する部分がコンテンツから抽出され、連結されて要約コンテンツとしてユーザ装置に配信される。
【００９１】
この発明の原理によれば、前述のように、音声特徴量として基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を使用すればよいが、これらの音声特徴量のうち、動的特徴量の時間変化特性を含むことことが好ましい。更に、音声特徴量として少なくとも基本周波数、パワー、動的特徴量の時間変化特性又はそれらのフレーム間差分を使用することにより感情検出の精度を高めることができる。音声特徴量として少なくとも特に基本周波数、動的特徴量の時間変化特性は実用的な特徴量として好ましい。
【００９２】
コンピュータによる実施例
上述の各実施例による要約コンテンツ生成方法をコンピュータを使用した装置で実施する構成を説明する。  図２６は、図１の要約コンテンツ生成装置１００をコンピュータで構成した場合の一例を示す図である。図２６において、送受信部２４０により受信されたユーザ装置２０からの要求情報はユーザIDに対応してハードディスク２３５に格納され、CPU(Central Processing Unit)２３１は、この要求情報にあるコンテンツコードに対応するコンテンツを外部のデータベース２１４からディジタル信号として入出力部２１０を通してハードディスク２３５に取り込む。ディジタル信号として入力された音声データを含むコンテンツは、ハードディスク２３５に一時格納される。入出力部２１０には、例えば、マウス等のポインティングデバイス２１２とキーボード２１１等も接続されている。なお、コンテンツとしては、外部のデータベース２１４から入力されたコンテンツでもよいし、あるいはCD(Compact Disk)、DVD(Digital Versatile Disk)等のドライブ２１３から読み出されたものを入力してもよい。
【００９３】
表示部２２０は、例えば、液晶画面等のモニタ画面とスピーカを有し、キーボード２１１あるいはポインティングデバイス２１２の操作に応じて情報を表示することができる。表示部２２０のモニタ画面には、入力データ、処理経過のコンテンツ映像、処理結果である要約コンテンツの再生映像、その他の情報が表示される。また、スピーカには処理過程のコンテンツ映像に伴う音声、要約コンテンツの再生映像に伴う音声が再生される。
図１における音声特徴量抽出手段１２０、感情表出状態尤度算出手段１３０、平静状態尤度算出手段１４０、感情表出判定手段１５０、及び、要約コンテンツ生成手段１６０の機能は、図２６においてそれぞれの処理を記述したプログラムをＣＰＵ２３１により実行することにより実現される。それらのプログラムは例えばハードディスク２３５に格納されており、実行時には必要なプログラムがＲＡＭ(Random Access Memory)２３３に読み込まれ、ＣＰＵ２３１により実行される。ハードディスク２３５にはそのほか、後述する符号帳が格納されており、また、前述の要求情報及び音声データを含む入力コンテンツがＣＰＵ２３１の制御により格納される。
【００９４】
ＲＯＭ(Read Only Memory)にはＣＰＵ２３１を立ち上げるためのプログラム、その他のプログラム及び制御用のパラメータ等を記憶する。ＲＡＭ２３３にはＣＰＵ２３１の動作に要するプログラムやデータ等が記憶される。EEPROM(Electrically Erasable Programmable Memory)２３４はアプリケーションソフトや所定のデータを不揮発かつ書替可能に記憶する。
ＣＰＵ２３１はプログラム実行によりコンテンツの音声データを分析して感情表出区間を検出し、検出した感情表出区間に対応するコンテンツ部分を抽出して連結することにより要約コンテンツ生成し、生成した要約コンテンツを出力する機能を有する。要約コンテンツの出力形態として、要約コンテンツをドライブ２１３からＣＤやＤＶＤに記録してもよく、送受信部２４０から外部に要約コンテンツを送信してもよい。また、要約コンテンツを再生出力してもよい。
【００９５】
図１における通信手段１７０は、図２６において送信部２４０により実現されており、ネットワーク３０上のユーザ装置２０から要約コンテンツの要求情報を受信してＣＰＵ２３１の制御によりハードディスク２３５に格納し、ＣＰＵ２３１が作成した要約コンテンツをネットワーク３０上のユーザ装置２０に出力する機能を有する。
要約コンテンツ生成のためのそれらの処理手順を記述したプログラムは符号帳と共に通信回線を介してダウンロードしたり、又はCD-ROM、磁気ディスク等の記憶媒体から読み出してハードディスク２３５にインストールすることも可能である。
本発明の実施の形態に係る要約コンテンツ生成装置及び方法は、入力音声の感情表出を、音声特徴量ベクトルに基づいて符号帳から抽出される感情表出確率から音声小段落毎に計算した感情表出尤度等に基づいて判定するため、メタデータを必要とせず、感情面に着目して要約したコンテンツを提供することができる。
【００９６】
また、複数の感情の表出状態での音声特徴量ベクトルの出現確率を符号帳に格納しておくことにより、要求情報に指定された感情についての要約を生成することができる。
更に、要求情報に要約コンテンツの再生時間が指定されていれば、その時間で要約した要約コンテンツを自動生成することができる。  
さらに、話者依存性の少ない音声特徴量に基づいて要約コンテンツを作成するため、より話者依存性の少ない要約コンテンツを提供することができる。
【産業上の利用可能性】
【００９７】
本発明に係る要約コンテンツ生成装置及び要約コンテンツ生成方法は、メタデータを必要とせず、感情面に着目して要約した要約コンテンツを提供することができるので、例えばインターネット上のコンテンツ配信サービスにおいて、ユーザに対し、コンテンツのダイジェストを自動生成して配信するシステムに適用できる。
【図面の簡単な説明】
【００９８】
【図１】本発明の実施の形態に係る要約コンテンツ生成装置の機能構成を示すブロック図。
【図２】要求情報の例を示す図。
【図３】本発明の実施の形態に係る要約コンテンツ生成装置の動作を説明するためのフローチャート。
【図４】図３におけるスッテプＳ２での処理の詳細を説明するためのフローチャート。
【図５】符号帳の作成手順を説明するためのフローチャート。
【図６】符号帳の記載例を示す図。
【図７】図３におけるステップＳ２３での処理の詳細を説明するためのフローチャート。
【図８】音声小段落、音声段落等を説明するための概念図。
【図９】音声データの処理を説明するための模式図。
【図１０】要約コンテンツ生成の第１実施例で使用する符号帳の例を示す図。
【図１１】第１実施例による要約コンテンツ生成の処理手順を示すフローチャート。
【図１２】第１実施例における感情表出判定を説明するための尤度曲線を示す図。
【図１３】要約コンテンツ生成の第２実施例で使用する符号帳の例を示す図。
【図１４】第２実施例による要約コンテンツ生成処理手順を示すフローチャート。
【図１５】第３実施例による要約コンテンツ生成処理手順を示すフローチャート。
【図１６】第４実施例による要約コンテンツ生成処理手順を示すフローチャート。
【図１７】第４実施例における感情表出判定を説明するための尤度比曲線を示す図。
【図１８】第５実施例の要約コンテンツ生成に使用される符号帳の例を示す図。
【図１９】第５実施例による要約コンテンツ生成処理手順を示すフローチャート。
【図２０】第５実施例における感情表出判定を説明するための尤度曲線を示す図。
【図２１】第６実施例の要約コンテンツ生成に使用される符号帳の例を示す図。
【図２２】第６実施例による要約コンテンツ生成処理手順を示すフローチャート。
【図２３】第６実施例における感情表出判定を説明するための感情度曲線を示す図。
【図２４】第７実施例による要約コンテンツ生成処理手順を示すフローチャート。
【図２５】各音声小段落についてのデータを記録した感情表出尤度テーブルの例を示す図。
【図２６】本発明の実施の形態に係る要約コンテンツ生成装置をコンピュータで構成した例を示す図。
【図１】
2005352420.tif 000011
【図２】
2005352420.tif 000012
【図３】
2005352420.tif 000013
【図４】
2005352420.tif 000014
【図５】
2005352420.tif 000015
【図６】
2005352420.tif 000016
【図７】
2005352420.tif 000017
【図８】
2005352420.tif 000018
【図９】
2005352420.tif 000019
【図１０】
2005352420.tif 000020
【図１１】
2005352420.tif 000021
【図１２】
2005352420.tif 000022
【図１３】
2005352420.tif 000023
【図１４】
2005352420.tif 000024
【図１５】
2005352420.tif 000025
【図１６】
2005352420.tif 000026
【図１７】
2005352420.tif 000027
【図１８】
2005352420.tif 000028
【図１９】
2005352420.tif 000029
【図２０】
2005352420.tif 000030
【図２１】
2005352420.tif 000031
【図２２】
2005352420.tif 000032
【図２３】
2005352420.tif 000033
【図２４】
2005352420.tif 000034
【図２５】
2005352420.tif 000035
【図２６】
2005352420.tif 000036