(57)【要約】【課題】  コンテンツの画像の特定な画像を自動的に拡大する。【解決手段】  学習音声に含まれる音声特徴量ベクトルと強調状態確率及び平静状態確率を対応付けた符号帳１１０ＣＢを記憶する記憶手段１１０と、音声データに含まれる音声特徴量を抽出する音声特徴量抽出手段１２０と、抽出した音声特徴量に基づいて符号帳から抽出した強調状態確率を用いて強調状態尤度を算出する強調状態尤度算出手段１３０と、強調状態尤度に基づいて音声の分析区間が強調状態であったか否かを判定する発話状態判定手段１５０と、強調状態であったと判定された場合に、その判定区間のコンテンツ画像を所定倍率だけ拡大して出力する画像拡大手段１６０により構成する。【選択図】  図１
2006011159.tif 000002
【特許請求の範囲】
【請求項１】
フレームごとの音声特徴量の組に基づいて音声の予め決めた特定な発話状態を検出してコンテンツの画像を処理するコンテンツ応答処理装置であり、
基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を含む音声特徴量の組から成る音声特徴量ベクトルと特定な発話状態でのその音声特徴量ベクトルの出現確率とがそれぞれコードごとに格納された符号帳と、
入力コンテンツの音声信号に含まれる音声特徴量の組を抽出する音声特徴量抽出手段と、
上記音声特徴量抽出手段が抽出した音声特徴量の組に対応するの上記符号帳中の音声特徴量ベクトルの特定な発話状態での出現確率に基づいて少なくとも１つ以上のフレームを含む区間が特定な発話状態となる尤度を求める特定な発話状態尤度算出手段と、
上記特定な発話状態となる尤度に基づいて上記区間が特定な発話状態であるか否かを判定する発話状態判定手段と、
上記発話状態判定手段により特定な発話状態状態と判定された区間のコンテンツの画像を抽出し、予め決めた規則に基づいて所定の倍率で拡大して出力する画像拡大手段、
とを含むことを特徴とするコンテンツ応答処理装置。
【請求項２】
請求項１記載の装置において、上記画像拡大手段は上記抽出した画像の、人物像が含まれる画像領域を上記予め決めた規則に従って拡大することを特徴とするコンテンツ応答処理装置。
【請求項３】
請求項１記載の装置において、上記画像拡大手段は、上記強調画像のフレームを含む複数フレームの画像に基づいて、変化の最も激しい画像領域を検出し、検出した画像領域を予め決めた規則に従って上記画像領域を拡大することを特徴とするコンテンツ応答処理装置。
【請求項４】
請求項１記載の装置において、上記画像拡大手段は、更に、予め話者ごとに測定した音声特徴パラメータに対応して画像中のその話者の画像領域の情報を保持しており、コンテンツの音声信号を分析して音声特徴パラメータを算出し、コンテンツ画像の上記音声特徴パラメータに対応する画像領域を拡大することを特徴とするコンテンツ応答処理装置。
【請求項５】
請求項１乃至４のいずれか記載の装置において、上記特定な発話状態は、話者の強調状態であることを特徴とするコンテンツ応答処理装置。
【請求項６】
請求項１乃至４のいずれか記載の装置において、上記特定な発話状態は、話者の感情表出状態であることを特徴とするコンテンツ応答処理装置。
【請求項７】
請求項５又は６記載の装置において、上記符号帳には更に各音声特徴量ベクトルの平静状態での出現確率がそれぞれコードに対応して格納されており、上記音声特徴量抽出手段が抽出した音声特徴量の組に対応するの上記符号帳中の音声特徴量ベクトルの平静状態での出現確率に基づいて少なくとも１つ以上のフレームを含む区間が平静状態となる尤度を求める平静状態出現尤度算出手段が設けられており、上記発話状態判定手段は、上記特定な発話状態となる尤度と、上記平静状態となる尤度とに基づいて上記区間が特定な発話状態であるか否かを判定することを特徴とするコンテンツ応答処理装置。
【請求項８】
請求項６記載の装置において、上記発話状態判定手段は、上記感情表出状態となる尤度が閾値より高いか否かを調べ、高ければ上記区間を感情表出状態と判定する手段であることを特徴とするコンテンツ応答処理装置。
【請求項９】
請求項６記載の装置において、上記符号帳には、上記感情表出状態として各コードに対応して予め決めた複数種類の感情のそれぞれの表出状態における音声特徴量ベクトルの出現確率が格納されており、上記感情表出尤度算出手段は、上記複数種類の感情のうち、指定された感情の表出状態について上記符号帳の上記音声特徴量ベクトルの出現確率に基づいて感情表出尤度を求める手段を含み、上記発話状態判定手段は、上記感情表出尤度に基づいて上記指定された感情の表出状態であるかを判定する手段を含むことを特徴とするコンテンツ応答処理装置。
【請求項１０】
フレームごとの音声特徴量の組に基づいて音声の予め決めた特定な発話状態を検出してコンテンツの画像を処理するコンテンツ応答処理方法であり、
(a) 入力コンテンツの音声信号に含まれる音声特徴量の組を抽出するステップと、
(b) 基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を含む音声特徴量の組から成る音声特徴量ベクトルと特定な発話状態でのその音声特徴量ベクトルの出現確率とがそれぞれコードごとに格納された符号帳を参照し、上記抽出した音声特徴量の組に対応するの上記符号帳中の音声特徴量ベクトルの特定な発話状態での出現確率に基づいて少なくとも１つ以上のフレームを含む区間が特定な発話状態となる尤度を求めるステップと、
(c) 上記特定な発話状態となる尤度に基づいて上記区間が特定な発話状態であるか否かを判定するステップと、
(d) 上記特定な発話状態状態と判定された区間のコンテンツの画像を抽出し、予め決めた規則に基づいて所定の倍率で拡大して出力するステップ、
とを含むことを特徴とするコンテンツ応答処理方法。
【請求項１１】
請求項１記載の方法において、上記ステップ(d) は、上記抽出した画像の、人物像が含まれる画像領域を上記予め決めた規則に従って拡大することを特徴とするコンテンツ応答処理方法。
【請求項１２】
請求項１０記載の方法において、上記ステップ(d) は、上記抽出した画像のフレームを含む複数フレームの画像に基づいて、変化の最も激しい画像領域を検出し、検出した画像領域を予め決めた規則に従って上記画像領域を拡大することを特徴とするコンテンツ応答処理方法。
【請求項１３】
請求項１０記載の方法において、上記ステップ(d) は、コンテンツの音声信号を分析して音声特徴パラメータを算出し、予め話者ごとに測定した音声特徴パラメータに対応して画像中のその話者の画像領域の情報を参照し、コンテンツ画像の上記音声特徴パラメータに対応する画像領域を拡大することを特徴とするコンテンツ応答処理方法。
【請求項１４】
請求項１０乃至１３のいずれか記載の方法において、上記特定な発話状態は、話者の強調状態であることを特徴とするコンテンツ応答処理方法。
【請求項１５】
請求項１０乃至１３のいずれか記載の方法において、上記特定な発話状態は、話者の感情表出状態であることを特徴とするコンテンツ応答処理方法。
【請求項１６】
請求項１０記載の方法において、上記ステップ(c) は上記特定の発話状態となる尤度が閾値より高いか否かを調べ、高ければ上記区間を特定の発話状態と判定するステップであることを特徴とするコンテンツ応答処理方法。
【請求項１７】
請求項１０記載の方法において、上記符号帳には音声特徴量ベクトルと対応して平静状態での出現確率が格納されており、
上記ステップ(a) は、各フレームの上記音声特徴量の組を量子化した上記符号帳中の音声特徴量ベクトルに対応する平静状態での出現確率を求めるステップを含み、
上記ステップ(b) は、上記音声特徴量ベクトルの平静状態での出現確率に基づいて平静状態となる尤度を算出するステップを含み、
上記ステップ(c) は、上記特定の発話状態となる尤度と上記平静状態となる尤度を比較して上記区間が感情表出状態であると判定するステップを含むことを特徴とするコンテンツ応答処理方法。
【請求項１８】
請求項１７記載の方法において、上記ステップ(c) は上記特定の発話状態となる尤度が上記平静状態となる尤度より高いとき、特定の発話状態と判定するステップであることを特徴とするコンテンツ応答処理方法。
【請求項１９】
請求項１０記載の方法において、上記符号帳には、各コードに対応して上記特定の発話状態として予め決めた複数種類の感情のそれぞれの表出状態における音声特徴量ベクトルの出現確率が格納されており、上記ステップ(a) は感情の種類を指定する指定情報を含む要求情報を受信し、各フレームの音声特徴量ベクトルに対し、上記感情指定情報により指定された感情の表出での出現確率を上記符号帳から読み出す工程を含み、上記ステップ(b) は、上記複数種類の感情のうち、上記指定された感情の表出状態について上記符号帳の上記音声特徴量ベクトルの出現確率に基づいて感情表出尤度を求めるステップを含み、上記ステップ(c) は、上記感情表出尤度に基づいて上記指定された感情の表出状態であるかを判定するステップを含むことを特徴とするコンテンツ応答処理方法。
【請求項２０】
請求項１０乃至１９のいずれかの方法をコンピュータで実施可能に記述したプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ番組等のコンテンツに含まれる盛り上がりの場面に応答して、コンテンツに含まれる所定の画像、又は画像の所定領域を画像処理するコンテンツ応答処理装置、処理方法及びそのプログラムに関する。
【背景技術】
【０００２】
注目する対象をズームアップして映し出す技術は、テレビ番組などの作成において従来から常套手段として広く用いられている。ここで、ズームアップのタイミングは、予め用意されたシナリオに基づいて決められたり、撮影対象の状況に応じてテレビカメラなどの撮影者によって決められたりする。
例えばレギュラーのトークショーなどでは、各出演者の役割は、シナリオに基づいて予めある程度決まっており、話したり演技したりする出演者の順番などに合わせて出演者をズームアップすればよい。一方、スタジオに視聴者を集め、生放送で行われるショーの場合、視聴者の反応もショーを構成するとともに、視聴者の反応は予め予想できないことが多い。そのため、テレビカメラなどの撮影者が視聴者の反応が重要である場合など、状況に応じて出演者や視聴者をズームアップして映し出す。
【特許文献１】特開２００２−２３０５９８号公報
【特許文献２】特開平５−２８９６９１号公報
【非特許文献１】「音響・音声工学」、古井貞煕、近代科学社、１９９２
【非特許文献２】「音声符号化」、守谷健弘、電子情報通信学会、１９９８
【非特許文献３】「ディジタル音声処理」、古井貞煕、東海大学出版会、１９８５
【非特許文献４】Y.Linde, A.Buzo and R.M.Gray, "An algorithm for vector Quantizer design", IEEE Trans. Commun., vol. Com-288, pp.84-95, 1980
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、このような従来の技術では、撮影者がテレビカメラなどを操作しなければズームアップを行うことはできず、自動的にズームアップを行う技術はなかった。
本発明はこのような問題を解決するためになされたもので、コンテンツに含まれる音声データに基づき、このコンテンツ中の音声の盛り上がりを検出してその前後を含む画面で、画像内の所定の領域を拡大することが可能なコンテンツ応答処理装置を及びそのプログラムを提供することである。
【課題を解決するための手段】
【０００４】
この発明による、フレームごとの音声特徴量の組に基づいて音声の強調状態を検出して映像を拡大して表示するコンテンツ応答処理装置及び処理方法は、
基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を含む音声特徴量の組から成る音声特徴量ベクトルと特定な発話状態でのその音声特徴量ベクトルの出現確率とがそれぞれコードごとに格納された符号帳を予め用意しておき、
入力コンテンツの音声信号に含まれる音声特徴量の組を抽出し、上記抽出した音声特徴量の組に対応するの上記符号帳中の音声特徴量ベクトルの特定な発話状態での出現確率に基づいて少なくとも１つ以上のフレームを含む区間が特定な発話状態となる尤度を求め、上記特定な発話状態となる尤度に基づいて上記区間が特定な発話状態であるか否かを判定し、上記特定な発話状態状態と判定された区間のコンテンツの画像を抽出し、予め決めた規則に基づいて所定の倍率で拡大して出力する。
【０００５】
この構成により、音声特徴量に基づいて特定な発話状態を検出し、検出した発話状態に基づいて画像を抽出し、その画像の所定領域を拡大出力することで、音声のみならず、画像においても注目を引く表現が可能なコンテンツ応答処理装置及び処理方法を実現できる。
上記画像の拡大は、上記強調画像のうち、予め決めた上記規則に従って人物像が含まれる画像領域を拡大する構成としてもよい。
この構成により、強調画像内の人物が含まれる領域を拡大するため、盛り上がりの理由や状況を視聴者に理解させやすくすることが可能なコンテンツ応答処理装置及び処理方法を実現できる。
【０００６】
上記抽出した画像のフレームを含む複数フレームの画像に基づいて、変化の最も激しい画像領域を検出し、検出した画像領域を中心に予め決めた規則に従って上記画像領域を拡大する構成としてもよい。
この構成により、強調画像のフレームを含む複数フレームの画像に基づいて、変化の最も激しい画像領域を検出し、その領域を拡大するため、最も盛り上がっている画像領域を拡大することができる。
【発明の効果】
【０００７】
本発明は、音声特徴量に基づいて特定の発話状態を検出し、検出した発話状態に基づいて画像を抽出し拡大するため、被写体の人物たちの盛り上がりに注目して、盛り上がった場面又はその前後をも含む場面で、画像内の所定の領域を拡大表示することができる。
【発明を実施するための最良の形態】
【０００８】
この発明は、コンテンツ中の音声データを分析して、音声の特徴的表現から重要な映像区間を抽出し、その一連の画像を拡大して出力する。ここではコンテンツとは、音声を伴った映像で構成された、例えば映画（アニメーションも含む）や、テレビ放送プログラムや、個人が作成したビデを映像である。また、音声の特徴的表現とは、例えば話者が強調している発話状態や、笑い、悲しみ、怒りなどの感情を表出している特定な発話状態である。
以下では、特定な発話状態の１つとして、音声の強調状態の区間における映像の一連の画像を拡大して出力する場合の実施の形態について、図面を用いて説明し、その後で、特定な発話状態の他の例として感情表出を検出して対応する画像を拡大処理する場合の実施形態を説明する。
【０００９】
図１は、本発明の実施の形態に係るコンテンツ応答処理装置の機能構成を示すブロック図である。図１において、コンテンツ応答処理装置１００は、符号帳を予め記憶する記憶手段１１０と、コンテンツ中の音声から所定の音声特徴量の組を抽出する音声特徴両抽出手段１２０と、強調状態の出現についての尤度である強調状態出現尤度を算出する強調状態出現尤度算出手段１３０と、平静状態の出現についての尤度である平静状態出現尤度を算出する平静状態出現尤度算出手段１４０と、入力音声の各音声部分が強調状態にあったか否かを判定する発話状態判定手段１５０と、強調状態にあったと判定された音声部分に対応する画像である強調画像を抽出し、強調画像の所定の画像領域を拡大する画像拡大手段１６０とを有している。
【００１０】
記憶手段１１０には、学習音声を用いて予め作成された符号帳であって、学習音声の強調状態と平静状態別に、学習音声に含まれる所定の音声特徴量の組、強調状態での音声特徴量の組の出現確率である強調状態出現確率、及び平静状態出現確率を対応つけて保持する符号帳110CBを予め記憶しておく。符号帳の詳細については後述する。
音声特徴量抽出手段１２０は図示してないバッファ手段を有し、入力コンテンツを一時的に保存し、そのバッファ手段中のコンテンツから音声データを読み出して一定の区間又は音声小段落の区間（以下では判定区間と呼ぶ）毎にその区間に渡ってフレーム毎に所定の音声特徴量ベクトルを抽出する。音声特徴量の組の詳細については、後述する。
【００１１】
強調状態尤度算出手段１３０は、音声特徴量抽出手段１２０が判定区間に渡って音声データから抽出した各音声特徴量ベクトルと最も近い音声特徴量ベクトルを符号帳110CBから検出し、この符号帳から検出された音声特徴量ベクトルと対応する強調状態出現確率に基づいて、判定区間の話者の強調状態についての尤度である強調状態尤度を算出する。
平静状態出現尤度算出手段１４０は、音声特徴量抽出手段１２０が抽出した音声特徴量の組に対応する音声特徴量ベクトルを符号帳110CBから検出し、この符号帳から検出された音声特徴量ベクトルに対応する平静状態出現確率に基づいて、平静状態の出現についての尤度である平静状態出現尤度を算出する。
【００１２】
発話状態判定手段１５０は、強調状態出現尤度及び平静状態出現尤度に基づいて、音声特徴量抽出手段１２０が音声データから抽出した所定の音声特徴量の組を含む各判定区間が強調状態にあったか否かを判定する。
画像拡大手段１６０は、発話状態判定手段１５０によって強調状態にあったと判定された区間に対応する画像である強調画像を抽出し、予め決めた規則に基づいて強調画像の所定の画像領域を拡大する。強調画像の抽出は、強調状態にあったと判定された区間に対応するフレーム（通常は複数のフレームからなる）を抽出するのでもよいが、このフレームの前に、又はこのフレームの前後に平静状態に対応するフレームを所定数含んでもよい。
【００１３】
この発明のコンテンツ応答処理装置１００がコンテンツ提供側の装置に適用される場合、画像拡大手段１６０は強調状態の区間に拡大処理した画像を有するコンテンツを出力し、あるいは強調状態の区間の拡大された画像のみを出力し、図示してないユーザ装置に例えばネットワークを介して送信する。この発明のコンテンツ応答処理装置１００がユーザ装置に適用される場合は、画像拡大手段１６０の出力は図示してない表示手段に与えられ、表示される。
【００１４】
強調画像の所定の画像領域を拡大する際の規則又は基準としては、例えば以下のものがある。
(1) 拡大する画像領域が、強調画像中の人物の像が含まれている画像領域であり、この画像領域の拡大の倍率が予め記憶されている。
(2) 拡大する画像領域が、強調画像のフレームを含む複数フレームの画像に基づいて検出された、変化の最も激しい画像領域であり、この画像領域の拡大の倍率が予め記憶されている。又は、変化の大きさに応じて決まる倍率を使用する。
(3) 拡大する画像領域が、音声特徴量の時間的遷移に対応して決められる画像領域であり、この画像領域の拡大の倍率が予め決められて記憶されている。あるいは、音声特徴量の時間的遷移に応じて決まる倍率を使用する。
【００１５】
上記(1) の画像領域の検出については、例えば画像中の肌色の領域を画像データに基づいて抽出し、１つ又は隣接する複数の肌色の領域を含む領域を画像領域として検出してもよい。また、上記の予め記憶された倍率として、例えば、記憶手段１１０に２倍、３倍、・・・、１０倍などの記憶されている倍率を使用する。
具体的には、例えば図２に示すように1フレームがFH×FV画素の画面を各領域がAH×AV画素のmH×mV個の分析領域に分けて、予め決めた順に順次分析領域を走査して各分析領域内の肌色の画素数Npを計数し、係数値Npを所定値NCと比較してNp≧NCであればその領域は人物の顔の部分であると判定する。1フレームの全分析領域について判定後、Np≧NCを満足する１つ又は複数の隣接する分析領域を含む矩形領域を所定の倍率で拡大する。肌色の画素の検出は、各画素のコンポーネント信号をxR, xG, xBとすると、肌色となる範囲
rH≧xR≧rL；gH≧xG≧gL；bH≧xB≧bL                (0)
を同時に満足したときにその画素が肌色であると判定する。
【００１６】
図３Ａはこの方法を実施する画像拡大手段１６０の機能構成図を示す。フレームバッファ１６１にコンテンツの減フレームの画像が取り込まれる。制御部１６４は現フレームが発話状態判定手段１５０により強調状態でない、即ち平静状態であると判定されたものであれば、フレームバッファ１６１の画像を拡大処理部１６３で等倍して（拡大しないで）出力させる。現フレームが強調状態と判定されたフレームの場合は、領域判定部１６２は図２の各分析領域内の各画素についてそのコンポーネント信号xR, xG, xBを制御部１６４から与えられた肌色の判定基準値rL, rH, gL, gH, bL, bHと上記不等式(0)で比較して肌色であるか否かを判定し、分析領域内の肌色画素数Npを計数する。更に、その計数値Npを所定値NCと比較し、それ以上であればその分析領域を人物の顔の部分と判定する。制御部１６４の制御に従って現フレームの全分析領域についての判定が終了すると、顔の部分と判定された１つ又は複数の隣接する分析領域を含む矩形領域を拡大処理部１６３でフレームバッファ１６１から読み出し、所定の倍率で拡大して出力する。
【００１７】
領域判定部１６２における顔の部分の検出は、肌色の検出によらず、予め決めた顔の基準パターンと比較して行ってもよい。即ち、領域判定部１６２で各分析領域の画像と基準パターンの類似度を周知のマッチング手法により求め、類似度が所定値より大と判定された分析領域を拡大処理部１６３で拡大処理してもよい。
上記(2) の画像領域の検出については、公知の画像処理技術を用いて、画像中の変化が生じている領域を抽出し、その領域を含む領域を画像領域として検出してもよい。その際、変化している領域に肌色の領域が含まれることを条件に付加してもよい。また、予め記憶された倍率は、上記(1) の場合と同様とし、変化の大きさに応じて決まる倍率とは、例えば、上記画像領域中の被写体の移動量の大きさや、変化の速さに応じて対応する倍率（２倍、３倍、・・・、１０倍など）の対応表が予め記憶手段１１０に記憶され、その対応する倍率をさす。
【００１８】
図３Ｂはこの手法を実施する画像拡大手段１６０の機能構成図を示す。コンテンツの画像はフレームバッファ１６１Ａから１６１Ｂに遅延メモリ１６６を介して転送することにより、フレームバッファ１６１Ａに現フレームFjの画像、フレームバッファ１６１ＢにＬフレーム前のフレームFj-Lの画像が保持される（Ｌは例えば３以上の予め決めた整数）。制御部１６４は、フレームFj-L〜Fjの画像を含む分析区間に対する発話状態判定手段１５０の判定結果が平静状態の場合はフレームバッファ１６１Ａ内の画像拡大処理部１６３で等倍のまま出力する。判定結果が強調状態の場合は、フレームFj-LとFjの画像の対応する各分析領域についてのマッチングを例えばその分析領域内の全画素について
Ωj＝Σi(xj,i-xj-L,i)2
により計算し、Ωjを所定値ΩCと比較し、それ以上であれば大きな変化があったと判定する。全分析領域についての判定後、所定値ΩC以上でかつ最も大きな変化があったと判定された分析領域を含む矩形領域についてフレームバッファ１６１Ａから対応する画像部分を抽出し、拡大処理部１６３で拡大処理する。所定値ΩCより大きな変化の分析領域が検出されなかった場合は、フレームバッファ１６１Ａ内の画像を等倍で出力する。
【００１９】
上記(3) の画像領域の検出については、音声特徴量の時間的遷移を検出し、各時間的遷移に応じて抽出する画像領域の対応表を予め記憶手段１１０に記憶しておき、この対応表を用いて行う。また、予め記憶されている倍率は、上記(1) の場合と同様とし、時間的遷移に応じて決まる倍率とは、例えば上記音声特徴量の時間的遷移が、人物ＡからＢへ発話が推移し、推移した後に喜びを表す状態や、悲しみを表す状態などになったような場合、同様に、人物ＢからＡに発話が推移した場合等、その時間的遷移に応じて対応する倍率（２倍、３倍、・・・、１０倍など）の対応表が予め記憶手段１１０に記憶され、この対応する倍率をさす。
【００２０】
図３Ｃはこの手法を実施する画像拡大手段１６０の機能構成を示す。この手法は、例えば席が予め決められた討論会を放送する場合のように、発言者Ａ，Ｂ，Ｃ，・・・の位置が予め決められているような環境に適用される。制御部１６４には予め発言者Ａ，Ｂ，Ｃ，・・・の画像領域RA, RB, RC, ...と、それぞれの発言者の予め測定された音声特徴パラメータCA, CB, CC, ...の値が対応して記録された表１６４Ｔが設けられている。音声特徴パラメータCA, CB, CC, ...は例えば、音声スペクトルパラメータのような、個人に固有なパラメータであり、それぞれの発言者を識別するために使用される。コンテンツからの減フレームの画像がフレームバッファ１６１に保持されると共に、コンテンツの音声データが音声特徴量測定部１６６で分析され、音声特徴量が求められ、制御部１６４に与えられる。制御部１６４は与えられた音声特徴量が表１６４Ｔのどの特徴量とマッチするか判定し、マッチした特徴量に対応する画像領域を倍率とともに拡大処理部１６３に与える。拡大処理部１６３は指定された画像領域の画像部分をフレームバッファ１６１から読み出し、指定された倍率で拡大して出力する。
【００２１】
図４は、コンテンツ応答処理装置１００をコンピュータで実施する場合の構成例を示す。図４において、入力部２１０に外部からディジタル信号として入力されたコンテンツは、ＣＰＵ(Central Processing Unit)２３１の制御によりハードディスク２３５に一時格納される。入力部２１０には、例えば、マウス等のポインティングデバイス２１２とキーボード２１１等が接続されている。なお、コンテンツとしては、外部の通信ネットワークから受信されたコンテンツでもよいし、あるいはフレキシブルディスクドライブやＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)等のドライブから読み出されたものを入力してもよい。
【００２２】
表示部２２０は、例えば、液晶画面等のモニタ画面を有し、キーボード２１１あるいはポインティングデバイス２１２の操作に応じてＣＰＵ２３１から出力する情報を表示することができる。表示部２２０のモニタ画面には、入力データ、処理経過、処理結果、その他の情報が表示される。
図１における音声特徴量抽出手段１２０、強調状態尤度算出手段１３０、平静状態尤度算出手段１４０、強調状態判定手段１５０、および、画像拡大手段１６０の機能は、図４においてそれぞれの処理を記述したプログラムをＣＰＵ２３１により実行することにより実現される。それらのプログラムは例えばハードディスク２３５に格納されており、実行時には必要なプログラムがＲＡＭ(Random Access Mempry)２３３に読み込まれ、ＣＰＵ２３１により実行される。ハードディスク２３５にはそのほか、後述する符号帳が格納されており、また、前述の音声を含む映像コンテンツが格納される。
【００２３】
ＲＯＭ(Read Only Mempry)にはＣＰＵ２３１を立ち上げるためのプログラム、その他のプログラムおよび制御用のパラメータ等を記憶する。ＲＡＭ２３３にはＣＰＵ２３１動作中にＣＰＵ２３１の動作に要するプログラムやデータ等が記憶される。EEPROM(Electrically Erasable Programmable Mempry)２３４はプリケーションソフトや所定のデータを不揮発かつ書替可能に記憶する。
出力部２４０は、付加的機能としてＣＰＵ２３１がプログラム実行により入力コンテンツ中の音声強調部分を抽出し、強調部分に対応する画像を拡大処理した拡大画像を出力する機能を有し、フレキシブルディスクドライブやＤＶＤ等への記録機能をさらに含んでもよく、通信機能を有し、外部にデータを送信できるようにしてもよい。
【００２４】
以下、本発明の実施の形態に係るコンテンツ応答処理装置１００の動作について説明する。図５は、本発明の実施の形態に係るコンテンツ応答処理装置１００の動作を説明するためのフローチャートである。
まず、学習音声を用いて生成された符号帳であって、学習音声に含まれる所定の音声特徴量の組（パラメータの組）である音声特徴量ベクトル、音声を発した話者の強調があったとき（以下、強調状態という）の音声特徴量ベクトルの出現確率である強調出現確率、および、話者の強調がなかったときの音声特徴量ベクトルの出現確率である平静状態出現確率を対応付けて保持する符号帳が予め作成され、図１の記憶手段１１０に格納されている（Ｓ３１０）。この処理は、任意の入力音声データについてこの発明に従ってコンテンツの応答処理を開始する前に行っておく。符号帳作成の詳細とともに後述するが、音声特徴量ベクトルは、特許文献１に開示されているような音声のフレームごとに検出する基本周波数、平均パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はそれらのフレーム間差分の少なくともいずれか１つ以上のパラメータの組を含むベクトルである。
【００２５】
ステップＳ３２０〜Ｓ３４０は強調状態検出処理である。まず、入力コンテンツの全体が記憶手段１１０に取り込まれ、その取り込まれたコンテンツの音声から予め決めた複数種類の音声特徴量の組（音声特徴量ベクトル）を抽出する（Ｓ３２０）。
Ｓ３２０で入力音声の所定区間（判定区間）から抽出した一連の音声特徴量ベクトルにそれぞれ最も近い音声特徴量ベクトルを符号帳から検出し、この符号帳からその検出された音声特徴量ベクトルの、強調状態での出現確率を読み出し、この一連の出現確率に基づいて、話者の強調状態についての尤度である強調状態尤度を算出する。この強調状態尤度の計算は、入力音声の一連の音声特徴量ベクトルの判定区間ごと（例えば後述の音声小段落ごと、または一定区間長ごと）に行う。
【００２６】
同様に、入力音声から抽出した音声特徴量ベクトルの、平静状態での出現確率を符号帳から読み出し、この確率に基づいて、話者の平静状態についての尤度である平静状態尤度を上記協調状態尤度の算出と同じ判定区間ごとに算出する（Ｓ３３０）。
次に、ステップＳ３３０で算出した強調状態尤度、および平静状態尤度に基づいて、ステップＳ３２０で入力音声から抽出した所定の音声特徴量の組を含む入力音声の音声部分が強調状態にあったか否かを判定区間ごとに判定する（Ｓ３４０）。
最後に、ステップＳ３４０で話者の強調があったと判定された区間に対応するコンテンツ部分の画像を抽出し、予め決めた規則に従って強調画像の所定の画像領域を拡大処理し、出力する（Ｓ３５０）。
【００２７】
以下に、上記の各ステップでの処理について詳細に説明する。まず、各ステップでの処理についての詳細な説明に先立ち、上記の音声特徴量の組について説明する。音声特徴量としては、音声スペクトル等の情報に比べて、雑音環境下でも安定して得られ、かつ強調状態か否かの判定が話者依存性の低いものを用いる。このような条件を満たす音声特徴量として、本発明の実施の形態では、基本周波数f0、パワーｐ、動的特徴量d(t)、無声区間TS等を抽出する。
これらの音声特徴量の抽出法は公知であり、その詳細については、例えば、非特許文献１、非特許文献２、非特許文献３等を参照されたい。
【００２８】
ここで、上記の動的特徴量d(t)は、以下の式(1) によって定義され、その時間変化量は発話速度の尺度となるパラメータである。
【数１】
2006011159.tif 000003
ここで、ｔは時刻、Ck(t)は時刻ｔにおけるｋ次のＬＰＣケプストラム係数、±F0は対象とするフレーム（以下、現フレームという）の前後のフレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）をいう。なお、動的特徴量d(t)としては、特許文献２に定義されたものを用いるのでもよい。
ＬＰＣケプストラム係数の次数ｋは、１からＫまでの整数のいずれかである。動的特徴量d(t)の単位時間当たりの極大点の数、または、単位時間当たりの変化率は発話速度の尺度となる。
【００２９】
以下では、１フレームの長さ（以下、フレーム長という）を100msとし、このフレームの開始時刻から50msずらして次のフレームを形成するものとする。また、フレーム毎に、平均基本周波数f0'、平均パワーp'を算出するものとする。平均基本周波数f0'及び平均パワーp'は、基本周波数f0が信頼できるフレームについてのみ使用して算出する。例えば、基本周波数f0の抽出の際の自己相関係数を利用してもよい。さらに、現フレームの基本周波数f0'と、現フレームからｉフレーム前の基本周波数f0'および現フレームからｉフレーム後の基本周波数f0'のそれぞれと差分Δf0'(-i)、Δf0'(i)と、をとる。平均パワーp'についても同様に、現フレームの平均パワーp'と、現フレームからｉフレーム前の平均パワーp'および現フレームからｉフレーム後の平均パワーp'のそれぞれと差分Δp'(-i)、Δp'(i)と、をとる。
【００３０】
次に、これらフレーム毎の、基本周波数f0'、基本周波数の差分Δf0'(-i)、Δf0'(i)、平均パワーp'、平均パワーの差分Δp'(-i)、Δp'(i)を規格化する。以下では、基本周波数f0'、基本周波数の差分Δf0'(-i)、Δf0'(i)、平均パワーp'、平均パワーの差分Δp'(-i)、Δp'(i)のそれぞれを、単に、f0'、Δf0'(-i)、Δf0'(i)、p'、Δp'(-i)、Δp'(i)と表し、規格化されたものを、それぞれ、f0"、Δf0"(-i)、Δf0"(i)、p”、Δp"(-i)、Δp"(i)と表す。
この規格化は、例えば、f0'、Δf0'(-i)、Δf0'(i)のそれぞれを、例えば、処理対象の音声データ全体の平均基本周波数で割ることによって行うのでもよいし、標準化して平均０、分散１にしてもよい。また、処理対象の音声データ全体の平均基本周波数の代わりに、後述する音声小段落や音声段落毎の平均基本周波数や、数秒や数分等の時間内での平均基本周波数等を用いるのでもよい。
【００３１】
同様に、p'についても、処理対象の音声データ全体の平均パワーで割り、規格化又は標準化する。また、処理対象の音声データ全体の平均パワーの代わりに、後述する音声小段落や音声段落毎の平均パワーや、数秒や数分等の時間内での平均パワー等を用いるのでもよい。ここで、上記のｉの値を、例えば、４とする。
動的特徴量（ダイナミックメジャー）のピークの本数は、以下のように算出する。まず、現フレームの開始時刻を中心に現フレームより十分長い時間幅（2T1、ただしT1は例えばフレーム長の１０倍程度とする）の区間を設ける。次に、この区間内における動的特徴量d(t)の時間変化の極大点を算出し、極大点の個数dp（以下、単にdpという）を計数する。
【００３２】
また、ダイナミックメジャーのピーク本数の差分値も、以下に述べるようにして算出しておく。すなわち、現フレームの開始時刻のT2前の時刻を中心とする幅2T1内の区間におけるdpから、現フレームのdpを差し引いた差成分Δdp(-T2)を求める。同様に、現フレームの終了時刻のT3後の時刻を中心とする幅2T1内の区間におけるdpを、現フレームのdpから差し引いた差成分Δdp(T3)を求める。
上記の、T1、T2、T3の値は、それぞれ、フレーム長より十分長いものとし、以下では、T1＝T2＝T3＝450msとする。ただし、これらの値に限られるものではない。また、フレームの前後の無声区間の長さを、それぞれ、tSR、tSFとする。ステップＳ３２０では、上記のf0"、Δf0"(-i)、Δf0"(i)、p”、Δp"(-i)、Δp"(i）、dp、Δdp(-T2)、Δdp(T3)等（以下、それぞれをパラメータと呼ぶ）の値をフレーム毎に抽出する。
【００３３】
次に符号帳について説明する。図６は符号帳に記録する内容の一例を概念的に示している。図６に示す符号帳には、エントリを識別するコードＣ、上記のパラメータのうち、所定の組を表す音声特徴量ベクトル、音声特徴量ベクトルに対応する強調状態確率及び平静状態確率が記録されている。
強調状態確率と平静状態確率は、単独出現確率と条件付確率とに分類されている。ここで、強調状態確率の条件付確率及び平静状態確率の条件付確率とは、例えば、図６に示すコードC1（最上段のエントリを特定するコード）で特定される音声特徴量ベクトルの生起の後に、コードC2（上から２段目のエントリを特定するコード）で特定される音声特徴量ベクトルが生起したときの、それぞれ強調状態確率又は平静状態確率をいう。
その他にも、コードC1で特定される音声特徴量ベクトルの生起後に、コードC2で特定される音声特徴量ベクトルが生起し、その後に、コードC3で特定される音声特徴量ベクトルが生起したときの、強調状態確率又は平静状態確率も含まれる。即ち、条件付確率、複数のコードで特定される音声特徴量ベクトルの生起後の確率を言う。
【００３４】
次に、図７を参照して符号帳の作成方法について説明する。まず、多数の学習用音声を被験者から採取し、強調状態での発話と平静状態での発話とを識別できるようラベルをつける（Ｓ３１１）。例えば、強調状態での発話と判定する理由として、
(a) 声が大きく、名詞や接続詞を伸ばすように発話している場合、
(b) 話し始めを伸ばして話題変更を主張、意見を要約するように声を大きくしている場合、
(c) 声を大きく高くして重要な名詞などを強調している場合、
(d) 高音であるが声はそれほど大きくない場合、
(e) 苦笑いしながら、焦りから本音をごまかすようにしている場合、
(f) 周囲に同意を求める、あるいは問いかけるように、語尾が高音になっている場合、
(g) ゆっくりと力強く、念を押すように、語尾の声が大きくなっている場合、
(h) 声が大きく高く、割り込んで発話する、相手より大きな声で主張している場合、
(i) 大きな声で憚れるような本音や秘密をひそひそ発言している場合、あるいは普段、声の大きい人が重要なことを小さくぼそぼそ発言している場合、
などを根拠とし、学習用音声にラベルを付けるのでもよい。一方、平静状態と判定する理由を、上記(a)〜(i)のいずれにも該当せず、発話が平静であると感じられることを根拠としてもよい。
【００３５】
ステップＳ３１１で上記ラベル付けを行ったら、ラベル付けされた音声について、上記の音声特徴量を抽出する（Ｓ３１２）。次に、ラベル付けされた音声から抽出された音声特徴量の組である上記音声特徴量ベクトルを決定し、ラベル付けによって得られる強調状態又は平静状態の情報と、強調状態又は平静状態とされたラベル区間（ラベル付けされた音声区間）について得られる音声特徴量ベクトルとを用いて、ＬＢＧアルゴリズムに従って符号帳を作成する（Ｓ３１３）。
ＬＢＧアルゴリズムは、例えば非特許文献４に示されているものを使用することができる。
【００３６】
符号帳に記録されるエントリの数（以下、符号帳サイズと呼ぶ）は、2m個（ｍは１以上の整数）確保できると共に可変であり、エントリのインデックスとしてコードＣが用いられ、インデックスにはコードＣに対応したｍビットの量子化ベクトル（C="00...0"〜"11...1"）が用いられる。
符号帳には、この量子化ベクトル（コードＣ）に対応させて、後述する音声小段落毎の音声特徴量の組の音声特徴量ベクトルを記録しておく。この他にも、音声小段落より長い適当な区間毎の全音声特徴量や、学習音声全体の音声特徴量などを組み合わせたものを用いてもよい。その際、各音声特徴量を、例えば、その平均値と標準偏差で規格化しておくのでもよい。
【００３７】
入力コンテンツに含まれる音声から抽出した音声特徴量のパラメータのうち、強調状態判定処理に使用するパラメータの組は、上記の符号帳作成に用いたパラメータの組と同じものである。強調状態又は平静状態の音声小段落を特定するために、音声小段落中のコードＣ（エントリのインデックス）に対応させて、強調状態または平静状態の出現確率を算出する。従って、符号帳には、上記のコードＣと、音声特徴量ベクトルと、強調状態及び平静状態の出現確率とが対応して記録されている。
図５に戻って、ステップ３２０では、入力音声を対象に、上記のf0"、Δf0"(-i)、Δf0"(i)、p"、Δp"(-i)、Δp"(i)、dp、Δdp(-T2)、Δdp(T3)等のパラメータのうち、符号帳に記録された音声特徴量ベクトルで使用されているパラメータ、例えば(f0",p",dp)の値をフレームごとに算出する。
【００３８】
ステップＳ３３０での処理の詳細を、図８を用いて説明する。ステップＳ３３０では、まず、ステップＳ３３１〜Ｓ３３３で、音声小段落および音声段落を抽出する。次に、ステップＳ３３４、Ｓ３３５で、強調状態尤度及び平静状態尤度を算出する。この実施例では音声小段落を、強調状態か否かを判定する対象の単位とし、音声段落は、例えば、400ms程度またはそれ以上の無声区間ではさまれた、少なくとも１つ以上の音声小段落を含む区間であるものとする。図９に音声小段落と音声段落の関係を概念的に示す。
音声段落等の抽出には、まず、入力音声データの無声区間と有声区間を抽出する（Ｓ３３１）。有声区間であるか無声区間であるかの判定（以下、単に、有声／無声の判定という）は、周期性の有無の判定と等価であるとみなして、自己相関関数や変形相関関数のピーク値に基づいて行われることが多い。
【００３９】
具体的には、入力信号の短時間スペクトルからスペクトル包絡を除去し、得られた予測残差の自己相関関数（以下、変形相関関数という）を算出し、変形相関関数のピーク値が所定の閾値より大きいか否かによって有声／無声の判定を行う。また、そのようなピークが得られる相関処理の遅延時間に基づいて、ピッチ周期1/f0の抽出を行う。
上記では、フレーム毎に各音声特徴量を音声データから抽出する場合について述べたが、音声データが、例えば、ＣＥＬＰ(Code-Excited Linear Prediction)などにより、既にフレーム毎に符号化（すなわち、分析）されており、この符号化で得られる係数または符号を用いて音声特徴量を生成するのでもよい。ＣＥＬＰによって得られる符号（以下、ＣＥＬＰ符号という）には、一般に、線形予測係数、利得係数、ピッチ周期等が含まれる。そのため、ＣＥＬＰ符号を復号して上記の音声特徴量を得ることができる。
【００４０】
具体的には、復号された利得係数の絶対値または二乗値をパワーとして用い、ピッチ成分の利得係数と非周期成分の利得係数との比に基づいて有声／無声の判定を行うことができる。また、復号されたピッチ周期の逆数をピッチ周波数、すなわち基本周波数として用いることができる。また、上記の式(1) で説明した動的特徴量の計算に使用するＬＰＣケプストラム係数は、ＣＥＬＰ符号を復号して得られたものを変換して求めることができる。
また、ＣＥＬＰ符号にＬＳＰ（Line Spectrum Pair）係数が含まれていれば、ＬＳＰ係数を一旦ＬＰＣケプストラム係数に変換し、変換して得られたＬＰＣケプストラム係数から求めてもよい。このように、ＣＥＬＰ符号には本発明で使用できる音声特徴量が含まれているので、ＣＥＬＰ符号を復号し、フレーム毎に必要な音声特徴量の組を取り出すことができる。
【００４１】
図８に戻って、有声区間の両側の無声区間の時間tSR、tSFがそれぞれ予め決めたtＳ以上になるとき、その無声区間によって囲まれた有声区間を含む信号部分を音声小段落Ｓとして抽出する（Ｓ３３２）。以下では、この無声区間の時間tSの値を、例えば、tS＝400msとする。
次に、この音声小段落Ｓ内の、好ましくは後半部の有声区間内の平均パワーｐと、この音声小段落Ｓの平均パワー値PSの定数β倍とを比較し、ｐ＜βPSであれば、その音声小段落Ｓを末尾音声小段落とし、直前の末尾音声小段落後の音声小段落から現在の末尾音声小段落までを音声段落と決定して抽出する（Ｓ３３３）。
【００４２】
音声小段落の抽出は、上記の有声区間を囲む無声区間の時間がtS以上となるという条件で行う。図９に、音声小段落としてSj-1、Sj、Sj+1を示し、以下では音声小段落Sｊを処理対象の音声小段落とする。音声小段落Sｊは、Qｊ個の有声区間から構成され、音声小段落Sｊの平均パワーをPjとする。
また、音声小段落Sｊに含まれるｑ番目の有声区間Vｑ（q＝1, 2, …, Q）の平均パワーをpｑと表す。音声小段落Sｊが音声段落Ｂの末尾の音声小段落であるか否かは、音声小段落Sｊを構成する後半部分の有声区間の平均パワーに基づいて判定する。具体的には、以下の式(2) に示す条件が満たされるか否かで判定する。
【数２】
2006011159.tif 000004
この条件を満たすとき、音声小段落Sjが音声段落Ｂの末尾音声小段落であると判定する。
ここで、αはQj/2以下の値をとる定数であり、βは例えば0.5〜1.5程度の値をとる定数である。これらの値は、音声段落の抽出を最適化するように、予め実験により決めておく。ただし、有声区間の平均パワーpqは、その有声区間内の全フレームの平均パワーである。本発明の実施の形態では、例えばα＝３、β＝0.8とする。上記のようにすることによって、隣接する末尾音声小段落間の音声小段落の集合を音声段落と判定できる。あるいは、音声小段落を固定長t(s)、シフト幅S(s)と決めてもよい。例えばt(s)=S(s)=1msecの固定長、シフト幅としてもよい。音声段落についてもΔＳの無声区間で囲まれた区間としてもよい。
【００４３】
次に、図８に戻って強調状態尤度を算出する処理（Ｓ３３４、Ｓ３３５）について説明する（以下、この処理を強調状態判定処理という）。まず、図５のステップＳ３１０で予め作成した符号帳に記録される音声特徴量ベクトルに合わせて、ステップＳ３２０で抽出した入力音声小段落中の音声特徴量の組をベクトル量子化し、符号列C1, C2, C3, …を得る（Ｓ３３４）。
次に、ステップＳ３３５で行う音声小段落の強調状態尤度及び平静状態尤度の算出方法の一例について説明する。まず、学習音声中のラベル区間に含まれるフレームの数をｎとし、それぞれのフレームについて得られる音声特徴量の組に対応するコードが時系列でC１, C２, …, Cｎとなっているものとする。
【００４４】
上記で説明したように、ラベル区間は、符号帳を作成する処理のステップＳ３１１で、ラベルが付けられた１つの音声区間である。このとき、ステップＳ３３５で算出される、ラベル区間Ａの強調状態尤度PAempおよび平静状態尤度PAnrmは、それぞれ、以下の式(3) および式(4) に示すように表される。
【数３】
2006011159.tif 000005
ここで、Pemp(Ci｜C1…Ci-1)は、コード列C1, …, Ci-1の次にコードCiが強調状態となる条件付出現確率、Pnrm(Ci｜C1…Ci-1)は、同様にコード列C1, …, Ci-1の次にコードCiが平静状態となる条件付出現確率である。また、Pemp(Ci)は、符号帳を作成する処理において、音声が強調状態とラベル付けされた部分に存在した音声特徴量ベクトルに対応するコードCiの総個数を数え、その総個数を、強調状態とラベル付けされた音声データの全コード数（＝フレーム数）で割算した値である。一方、Pnrm(Ci)は、コードCiが平静状態とラベル付けされた部分に存在した個数を、平静状態とラベル付けされた音声データの全コード数で割算した値である。
【００４５】
以下では、各条件付出現確率をN-gram(N<i)モデルで近似し、強調状態尤度および平静状態尤度の計算を簡単にする。N-gramモデルは、ある時点でのある事象の出現がその直前のN-1個の事象の出現に依存すると近似するモデルである。ここで、N=3のときはtrigram、N=2のときはbigram、N=1のときはunigramとよばれる。このモデルでは、例えば、ｉ番目のフレームにコードCiが出現する確率P(Ci)は、P(Ci)＝P(Ci｜Ci-N+1…Ci-1)とされる。
上記の式(3) および式(4) 中の各条件付出現確率Pemp(Ci｜C1…Ci-1)、Pnrm(Ci｜C1…Ci-1)にN-gramモデルを適用すると、各条件付出現確率は以下の式(5) および式(6) に示すように近似される。
Pemp(Ci｜C1…Ci-1)＝Pemp(Ci｜Ci-N+1…Ci-1)                  (5)
Pnrm(Ci｜C1…Ci-1)＝Pnrm(Ci｜Ci-N+1…Ci-1)                  (6)
上記の式(5) のPemp(Ci｜Ci-N+1…Ci-1)および式(6) のPnrm(Ci｜Ci-N+1…Ci-1)は、通常、符号帳から全て得られるようになっているが、一部のものについては、学習音声から得られないものもある。その場合は、他の条件付出現確率や単独出現確率から補間によって求めたものでもよい。例えば、低次（すなわち、コード列が短い）の条件付出現確率と単独出現確率等とから高次（すなわち、コード列が長い）の条件付出現確率を補間して求めることができる。
【００４６】
以下に、この補間の方法について説明する。以下では、上記のtrigram (N=3)、bigram (N=2)、および、unigram (N=1)を例にとり説明する。各出現確率は、trigram (N=3)では、Pemp(Ci｜Ci-2Ci-1）、Pnrm(Ci｜Ci-2Ci-1)、bigram (N=2)では、Pemp(Ci｜Ci-1)、Pnrm(Ci｜Ci-1)、そして、unigram (N=1)では、Pemp(Ci)、Pnrm(Ci)と表される。
この補間の方法では、Pemp(Ci｜Ci-2Ci-1)およびPnrm(Ci｜Ci-2Ci-1)を、上記の強調状態での３つの出現確率、または、平静状態での３つの出現確率を用い、以下の式(7) および式(8) に基づいて算出する。
【数４】
2006011159.tif 000006
【００４７】
ここで、上記のλemp1、λemp2、λemp3は、trigramの強調状態とラベル付けされた学習データのフレーム数をｎとし、時系列でコードC1, C2, …, Cnが得られたとき、以下のように表される。
【数５】
2006011159.tif 000007
ただし、λemp1、λemp2、λemp3を求めるときの音声データは、符号帳を作成するときの音声データ以外のものとする。符号帳を作成するときの音声データと同じ音声データを用いると、λemp1＝1、λemp2＝λemp3＝0の自明な解となってしまうからである。同様に、λnrm1、λnrm2、λnrm3も求められる。
【００４８】
次に、trigramを用い、ラベル区間Ａのフレーム数がFAであり、得られたコードがC1, C2, …, CFAのとき、このラベル区間Ａの強調状態尤度PAempおよび平静状態尤度PAnrmは、それぞれ、以下の式(9) および式(10)に示すように表される。
PAemp＝Pemp(C3｜C1C2)…Pemp(CFA｜CFA-2CFA=1)              (9)
PAnrm＝Pnrm(C3｜C1C2)…Pnrm(CFA｜CFA-2CFA-1)              (10)
本発明の実施の形態では、上記のように補間と、強調状態尤度PAempおよび平静状態尤度PAnrmの算出とができるように、上記の例では、trigram (N=3)、bigram (N=2)、および、unigram (N=1)を各コードについて算出しておき、符号帳に格納しておくものとする。つまり、符号帳には、各コードに対応して、音声特徴量ベクトルと、その強調状態での出現確率と、平静状態での出現確率との組が格納される。
【００４９】
その強調状態での出現確率としては、各コードが過去のフレームで出現したコードと無関係に強調状態で出現する確率（単独出現確率）、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが強調状態で出現する条件付出現確率、またはそれら両方を使用する。同様に、平静状態での出現確率、そのコードが過去のフレームで出現したコードと無関係に平静状態で出現する単独出現確率、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが平静状態で出現する条件付出現確率、またはそれら両方を使用する。
【００５０】
図１０は、音声データの処理を説明するための模式図である。時刻ｔから始まる音声小段落のうち、第１フレームから第４フレームまでを符号i〜i+3を付して示している。フレーム長およびフレームシフトを、上記のように、それぞれ、100ms、50msとした。ここでは、フレーム番号ｉ（時刻t〜t+100）のフレームについてコードC1が、フレーム番号i+1（時刻t+50〜t+150）のフレームについてコードC2が、フレーム番号i+2（時刻t+100〜t+200）のフレームについてコードC3が、そして、フレーム番号i+1（時刻t+50〜t+150）のフレームについてコードC4が得られているものとする。すなわち、フレーム順にコードがC1、C2、C3、C4であるとする。
【００５１】
この場合、フレーム番号i+2以上のフレームでは、trigramが計算できる。いま、音声小段落Ｓの強調状態尤度をPSemp、平静状態尤度をPSnrmとすると、第４フレームまでの各尤度はそれぞれ、以下の式(11)および式(12)によって与えられる。
PSemp＝Pemp(C3｜C1C2)Pemp(C4｜C2C3)                      (11)
PSnrm＝Pnrm(C3｜C1C2)Pnrm(C4｜C2C3)                      (12)
この例では、符号帳からコードC3、C4の強調状態および平静状態の各単独出現確率を求め、コードC2の次にコードC3が強調状態および平静状態で出現する条件付出現確率を求め、さらに、コードC3が連続するコードC1C2の次に強調状態および平静状態で出現し、コードC4が連続するコードC2C3の次に強調状態および平静状態で出現する条件付出現確率を求めると以下のようになる。
【００５２】
Pemp(C3｜C1C2)＝λemp1Pemp(C3｜C1C2)+λemp2Pemp(C3｜C2)+λemp3Pemp(C3)  (13)
Pemp(C4｜C2C3)＝λemp1Pemp(C4｜C2C3)+λemp2Pemp(C4｜C3)+λemp3Pemp(C4)  (14)
Pnrm(C3｜C1C2)＝λnrm1Pnrm(C3｜C1C2)+λnrm2Pnrm(C3｜C2)+λrnm3Pnrm(C3)  (15)
Pnrm(C4｜C2C3)＝λnrm1Pnrm(C4｜C2C3)+λnrm2Pnrm(C4｜C3)+λnrm3Pnrm(C4)  (16)
上記の式(13)〜(16)を用いることによって、式(11)と(12)とで示される第３フレームまでの強調状態尤度PSempと平静状態尤度をPSnrmが求まる。ここで、条件付出現確率Pemp(C3｜C1C2)およびPnrm(C3｜C1C2)は、フレーム番号i+2以降で計算できる。
【００５３】
以上の説明は、第４フレームi+3までの計算についてであったが、フレーム数FSの音声小段落Ｓについても同様に適用できる。例えば、フレーム数FSの音声小段落Ｓのそれぞれのフレームから得られたコードがC1、C2、…、CFAのとき、この音声小段落Ｓが強調状態になる尤度PAempと平静状態になる尤度PAnrmを以下の式(17)および式(18)に示すように計算する。
【数６】
2006011159.tif 000008
上記のように算出した尤度が、PAemp＞PAnrm、であれば、その音声小段落Ｓの発話状態は、強調状態であると判定する（図５のステップＳ３４０）。逆に、PAemp≦PAnrmであれば、実質的に平静状態と判定されることになる。同様に、PAemp/PAnrm＞１、であることを強調状態と判定するための条件とするのでもよい。また、正の重み係数Ｗに対しWLPAemp＞PAnrm、を満足することを条件とすることにより、あるいは
RE=(logPAemp-logPAnrm)/L＞W                    (19)
を満足することを条件とすることにより、小段落のフレーム数Ｌに応じて重み付けの影響を増減するようにしてもよい。
【００５４】
図５のステップＳ３５０で拡大処理するコンテンツ画像は、強調状態と判定されたコンテンツ部分の前の所定の音声小段落や音声段落を含めたものを接続して作成するのでもよい。これにより、突然、強調状態のコンテンツが再生され、見づらくなることを避けることができる。上記重み係数Ｗの値を適当に調整することにより、全コンテンツに対する強調状態の抽出区間の合計が予め決めた率の範囲となるようにしてもよい。
あるいは、強調状態出現確率Pempの音声小段落にわたる総和ΣPempと平静状態出現確率Pnrmの音声小段落にわたる総和ΣPnrmから強調状態尤度PAempと平静状態尤度PAnrmを次式
【数７】
2006011159.tif 000009
のように求め、PAemp＞PAnrmならその音声小段落は強調状態であると判定し、PAemp≦PAnrmであれば平静状態と判定してもよい。あるいは、これら条件付出現確率の総積あるいは条件付出現確率の総和を重み付け比較して音声小段落の発話状態を判定してもよい。
上述の説明では、発話状態として音声の強調状態を判定して、その区間のコンテンツ映像を拡大処理する場合について説明したが、例えば「笑い」、「怒り」、「悲しみ」の１つ又は複数の感情表出状態をコンテンツの音声データから検出して対応するコンテンツ映像を拡大処理してもよい。その場合、符号帳110CBとしては、図７で説明したと同様にして予め学習音声中の「笑い」、「怒り」、「悲しみ」の区間にラベリングし、それぞれのラベリング区間における各音声特徴量ベクトルの出現確率を求めて例えば図１１に示すような符号帳CB-1, CB-2, CB-3を作成しておく。
【００５５】
各感情表出状態判定方法としては、例えば、音声小段落に対する「笑い」、「怒り」、「悲しみ」についての尤度PAlau, PAang, PAsadを式(17)と同様に次式
【数８】
2006011159.tif 000010
により計算し、これにより例えば「笑い」であるか、「平静」であるかを判定する場合には、前述と同様に笑いの表出尤度PAlauと生成状態尤度PAnrmから条件
(a1) PAlau＞PAnrm
(b1) WLPAlau＞PAnrm、
(c1) RL=(logPAlau-logPAnrm)/L＞W、
のいずれか予め決めた条件を使って、その条件を満足していれば笑いの表出状態であると判定する。「怒り」であるか「平静」であるかの判定は式(23)を使って尤度PAangを計算し、
(a2) PAang＞PAnrm、
(b2) WLPAang＞PAnrm、
(c2) RA=(logPAang-logPAnrm)/L＞W、
のいずれか予め決めた条件を使って、その条件を満足していれば怒りの表出状態と判定する。同様に、「悲しみ」であるか「平静」であるかの判定は式(24)を使って尤度PAsadを計算し、
(a3) PAsad＞PAnrm、
(b3) WLPAsad＞PAnrm、
(c3) RS=(logPAsad-logPAnrm)/L＞W、
のいずれか予め決めた条件を使って、その条件を満足するか判定すればよい。判定条件はこれ以外にもいろいろなものが容易に考えられる。
【００５６】
感情表出が「笑い」であるか、「怒り」であるか、「悲しみ」であるかを判定する場合は、例えば上記条件式(c1), (c2), (c3)による笑い尤度比RL、怒り尤度比RA、悲しみ尤度比RSを計算し、これらの尤度比を比較することにより決めることができる。
以上、この発明により拡大処理すべき特定な発話状態のコンテンツ映像検出について詳細に説明した。以下には、この発明を使って所望の発話状態、ここでは強調、笑い、怒り、悲しみの音声区間を抽出し、拡大処理する実施形態を示す。
【００５７】
第１実施形態
この実施形態は「笑い」、「怒り」、「悲しみ」の感情表出を区別せず、いずれかがコンテンツの音声データから検出された場合に、その判定区間に対応するコンテンツの映像を拡大処理する場合である。
学習音声中の「笑い」の表出区間、「怒り」の表出区間、「悲しみ」の表出区間は区別せず、全て「感情」のラベリングをし、その他の区間で、平静である区間に「平静」のラベリングをして各音声特徴量ベクトルについての感情表出の出現確率Pemoを求め、図１２に示すように１つの符号帳を作成しておく。また、感情表出尤度PAemoとして式(21), (22), (23)の代わりに例えば次式、
【数９】
2006011159.tif 000011
を使用する。
【００５８】
図１３は第１実施形態による感情表出区間の検出処理手順を示す。
ステップＳ１：コンテンツの音声データから所定の判定区間Ｓを取り込む。判定区間は前述の音声小段落であってもよいし、あるいは予め決めた少なくとも１フレームを含む一定長の音声区間であってもよい。
ステップＳ２：取り込んだ判定区間を分析してフレーム毎の音声特徴量ベクトルを求め、図１２の符号帳を参照して例えば式(17)及び(25)により平静状態尤度PAnrmと感情表出状態尤度PAemoを計算する。
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を行う。
ステップＳ４：全ての判定区間について感情表出状態尤度PAemoと平静状態尤度PAnrmが例えば図１４に概念的に示すように求まると、WLPAemo>PAnrmを満たす区間S'を検出し、その各検出区間S'の位置（例えば検出区間の開始及び終了フレーム番号、又はコンテンツの最初から検出区間の開始時刻及び終了時刻）を記憶手段に記憶する。Ｗは予め決めた正の定数であり、Ｌは各区間Ｓ毎のフレーム数である。尚、図１４にはWLPAemo, PAnrmを連続曲線で示しているが、実際には判定区間Ｓごとの不連続な曲線である。
ステップＳ５：ステップＳ４で検出した区間S'の位置の判定区間に対応する区間のコンテンツ部分の一連の画像を拡大処理して出力する。
【００５９】
図１３の方法では、コンテンツの音声データを分析して音声段落及び音声小段落に区切ってから感情表出の検出を行うため、コンテンツ全体を予めバッファに格納しておく必要がある。従って、生放送されるテレビ番組（コンテンツ）の生放送によるコンテンツの番組において適用することはできず、コンテンツ提供側装置に図１３の処理を適用する場合は、コンテンツを一端バッファ手段に格納してから図１３の処理を行い、ユーザに提供する。ユーザ側装置に図１３の処理を適用する場合は、コンテンツをハードディスク等に録画してから、図１３の処理を行う。
【００６０】
変形例
生放送されるテレビ番組（コンテンツ）などのように、ほぼ実時間で提供されるコンテンツに対し自動ズームアップを可能にするようこの発明を適用するには、コンテンツをバッファする時間を例えば遅延許容できる例えば５秒程度以内にし、それより十分短い予め決めた長さの判定区間Ｓ毎に図１４の処理に従って、判定区間Ｓを取り出し（ステップＳ１）、判定区間の感情表出尤度PAemoと平静状態尤度PAnrmを計算し（ステップＳ２）、その判定区間でWLPAemo＞PAnrmであるか判定し（ステップＳ３）、WLPAemo＞PAnrmであればその区間に対応するコンテンツの画像を拡大処理し（ステップＳ４）、ステップＳ１に戻り、次の判定区間の処理Ｓ１，Ｓ２，Ｓ３を行う。ステップＳ３でWLPAemo＞PAnrmでないならばステップＳ１に戻って次の判定区間の処理Ｓ１，Ｓ２，Ｓ３を実行する。以下同様に順次判定区間を処理すればよい。
【００６１】
第２実施形態
この実施形態は、例えばユーザあるいはコンテンツ提供者が指定した特定の感情表出について拡大処理を可能にするものであり、上記第１実施形態において検出した感情表出区間S'を、図１３のステップＳ５において更に感情表出が「笑い」、「怒り」、「悲しみ」のどれであるかを判定する。この第２実施形態は第１実施形態で使用する図１１の感情表出検出用の符号帳に加えて次の符号帳を予め作成しておく。
上記「感情」のラベルがつけられた学習音声区間中の笑いの表出区間に「笑い」をラベリングし、怒りの表出区間に「怒り」をラベリングし、悲しみの表出区間に「悲しみ」をラベリングし、これら「笑い」、「怒り」、「悲しみ」がラベリングされた音声区間に基いて図１６に示す符号帳を作成する。
【００６２】
図１７は第２実施形態による「笑い」、「怒り」、「悲しみ」の感情表出区間を検出する処理手順を示す。ステップＳ１〜Ｓ４は図１１の符号帳を使って図１２に示した第１実施形態による感情表出区間の検出処理と同じであり、これにより「笑い」、「怒り」、「悲しみ」のいずれかを含む感情表出区間Ｓ’が検出される。以降のステップＳ５〜Ｓ８により、各感情表出区間Ｓ’が「笑い」、「怒り」、「悲しみ」のどれであるかを判別する。
ステップＳ５：ステップＳ４で検出された１つの感情表出区間Ｓ’内の一連の音声特徴量ベクトルを得る。これはステップＳ１〜Ｓ３において全音声区間についての音声特徴量ベクトルが既に求められているので、その中から区間Ｓ’に対応する一連の音声特徴量ベクトルを取り出せばよい。
ステップＳ６：図１６の符号帳を参照して検出感情表出区間Ｓ’の笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsadをそれぞれ計算する。
ステップＳ７：これら尤度PAlau, PAang, PAsadのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク、例えば笑いはLau、怒りはAng、悲しみはSadのマークをその検出区間Ｓ’の位置に対応して記憶する。
ステップＳ８：未処理の感情表出検出区間Ｓ’が残っているか判定し、残っていればステップＳ５に戻り、次の感情表出検出区間Ｓ’について同様の処理を実行する。
ステップＳ９：全ての感情表出検出区間Ｓ’について最大尤度の判定が終了していれば、全ての感情表出検出区間Ｓ’の中からマークLau, Ang, Sadのうち、例えば利用者により指定された感情のマークの検出区間と対応する区間のコンテンツ画像を拡大処理する。
このように、第２実施形態に拠れば、１種類又は複数種類の感情表出を指定すれば、その指定された感情表出をコンテンツから抽出し、拡大処理することができる。
【００６３】
第３実施形態
上述の第２実施形態ではコンテンツの音声データからまず感情表出区間を検出し、次に各感情表出区間が「笑い」、「怒り」、「悲しみ」のいずれであるかを判定する場合を示したが、この第３実施形態では、コンテンツの音声データから直接「笑い」、「怒り」、「悲しみ」の任意の感情表出を検出する。符号帳は図１６に示したものを使用する。図１８は第３実施形態による感情表出区間の検出処理手順を示す。
ステップＳ１：判定区間Ｓをコンテンツの音声データから取り込む。
ステップＳ２：判定区間Ｓの一連のフレームの音声特徴量ベクトルを求め、図１６の符号帳を参照して笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsadをそれぞれ計算する。
ステップＳ３：これら尤度PAlau, PAang, PAsadのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク例えば笑いはLau、 怒りはAng、悲しみはSadのマークをその判定区間Ｓの位置に対応して記憶する。
ステップＳ４：未処理の判定区間Ｓが残っているが判定し、残っていればステップＳ１に戻り、次の判定区間Ｓについて同様の処理を実行する。
ステップＳ５：全ての判定区間Ｓについて最大尤度の判定が終了していれば、全ての判定区間Ｓの中からマークLau, Ang, Sadのうち例えば利用者により指定されたマークの検出区間と対応するコンテンツの区間の画像を拡大処理する。
【００６４】
このように、第３実施形態によっても、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出の区間のコンテンツ画像を拡大処理することができる。この第３実施形態の場合は、第１実施形態における符号帳は使用しないので、平静状態尤度を使用しないことになる。即ち、感情表出の検出には、平静状態尤度の計算を必ずしも必要としない。
【００６５】
第４実施形態
この実施形態も、例えば「笑い」、「怒り」、「悲しみ」の３種類の感情表出の任意のもの（１つ又は複数）を抽出することを可能にするものであり、予め次の３つの符号帳を作成しておく（図１１の例と同様である）。
(1) 学習音声中の全ての笑いの表出区間に「笑い」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして笑い検出用符号帳を作成する。
(2) 学習音声中の全ての怒りの表出区間に「怒り」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして怒り検出用符号帳を作成する。
(3) 学習音声中の全ての悲しみの表出区間に「悲しみ」のラベリングをし、全ての平静状態区間に「悲しみ」のラベリングをして悲しみ検出用符号帳を作成する。
【００６６】
図１９は第４実施形態の処理手順を示す。この実施形態においても、３種類の感情表出の任意の１つ又は複数を検出できる。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。判定区間Ｓは前述のように音声小段落でもよいし、予め決めた一定長の区間でもよい。
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、上記笑い検出用符号帳を参照して笑い表出尤度PAlauとそれに対する平静状態尤度PAnrmを求め、笑い尤度比
RL=(logPAlau-logPAnrm)/L
を計算する。上記怒り検出用符号帳を参照して怒り表出尤度PAangとそれに対する平静状態尤度PAnrmを求め、怒り尤度比
RA=(logPAang-logPAnrm)/L
を計算する。更に、上記悲しみ検出用符号帳を参照して悲しみ表出尤度PAsadとそれに対する平静状態尤度PAnrmを求め、悲しみ尤度比
RS=(logPAsad-logPAnrm)/L
を計算する。計算したこれら尤度比RL, RA, RSを記憶する。
【００６７】
ステップＳ３：残りの判定区間Ｓがあるか判定し、あればステップＳ１に戻り次の判定区間Ｓについて同様の処理を実行する。コンテンツの全音声区間について終了していれば、指定された「笑い」、「怒り」、「悲しみ」の任意の１つ又は複数について次のステップＳ４，Ｓ５，Ｓ６のうち指定された感情に対応するものを実行する。
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理により例えば図２０に概念的に示すように、縦軸を尤度比Ｒとして笑い表出尤度比RL、怒り表出尤度比RA、悲しみ表出尤度比RSの曲線がそれぞれえられており、これらと予め決めた閾値Rthを比較し、Rthより大となる区間を検出し、それらの位置と感情マークLau, Ang, Sadを対応させて記憶する。
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者により指定されたものの検出区間に対応するコンテンツの画像を拡大処理する。
このように、この第３実施形態においても「笑い」、「怒り」、「悲しみ」の任意の感情表出を選択してコンテンツから抽出して拡大処理することが可能である。
【００６８】
第５実施形態
この実施形態は第４実施形態の変形例である。第４実施形態では感情表出区間を検出するために各強調状態尤度比を一定閾値Rthと比較したが、ここでは、各強調状態尤度を共通の平静状態尤度と比較して各感情表出区間を検出する。そのために、学習音声中の笑い表出区間、怒り表出区間、悲しみ表出区間にそれぞれ「笑い」、「怒り」、「悲しみ」をラベリングし、音声が平静となる区間に「平静」をそれぞれラベリングし、図２１に示す符号帳を作成しておく。図２１に示すように、符号帳には笑い、怒り、悲しみ、平静の各感情表出における符号の単独出現確率(unigram)、条件付出現確率(bigram, trigram)が学習音声から求められ、書き込まれている。
【００６９】
図２２は第５実施形態の処理手順を示す。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、図２１の符号帳を参照して笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsad、平静状態尤度PAnrmを計算し、記憶する。
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を実行する。残りの判定区間がなければ、「笑い」、「怒り」、「悲しみ」のうち利用者により指定された１つ又は複数についてステップＳ４，Ｓ５，Ｓ６の対応するものを実行する。
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理が終了した段階で例えば図２３に概念的に示すように、笑い表出尤度PAlau、怒り表出尤度PAang、悲しみ表出尤度PAsad、平静状態尤度PAnrmの曲線がえられている。ただし図２３ではフレーム数Ｌの区間の各感情表出尤度PAlau, PAang, PAsadに重みWLを乗算した曲線を示している。これら尤度曲線WLPAlau, WLPAang, WLPAsadと曲線PAnrmを比較し、WLPAlau>PAnrm、WLPAang>PAnrm、WLPAsad>PAnrmを満足し、かつPAlau, PAang, PAsadのうち最大のものの区間をそれぞれ検出し、それぞれ検出区間の位置とマークを対応させて記憶する。
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者により指定された感情の検出区間に対応する判定区間に対応するコンテンツの画像を拡大処理する。
【００７０】
第６実施形態
この実施形態では、予め学習音声中の「笑い」、「怒り」、「悲しみ」の音声区間にそれぞれ対応するラベルをつけ、「笑い」の音声区間と「怒り」の音声区間の全フレームの音声特徴量ベクトルから笑い表出についての各量子化音声特徴量ベクトルの各出現確率と、怒り表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２４に示す符号帳ＣＢ−１を作成し、同様に「怒り」の音声区間と「悲しみ」の音声区間の全フレームの音声特徴量ベクトルから怒り表出についての各量子化音声特徴量ベクトルの各出現確率と、悲しみ表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２４に示す符号帳ＣＢ−２を作成し、「悲しみ」の音声区間と「笑い」の音声区間の全フレームの音声特徴量ベクトルから悲しみ表出についての各量子化音声特徴量ベクトルの各出現確率と、笑い表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２４に示す符号帳ＣＢ−３を作成しておく。
【００７１】
図２５は第６実施形態による感情表出検出処理手順を示す。
ステップＳ１〜Ｓ４は図１３の各感情を区別しない場合の処理手順と同様であり、図１１の符号帳を使って全音声区間について得た強調状態尤度WLPAempと平静状態尤度PAnrmの曲線からWLPAemp＞PAnrmとなる区間を感情表出区間Ｓ’として全て検出し、一時記憶する。
ステップＳ５：感情表出区間Ｓ’を取り込む。
ステップＳ６：感情表出区間Ｓ’の一連の音声特徴量ベクトルから図２２の符号帳ＣＢ−１を参照して笑い表出尤度PAlau1と怒り表出尤度PAang2を求め、符号帳ＣＢ−２を参照して怒り表出尤度PAang1と悲しみ表出尤度PAsad2を求め、符号帳ＣＢ−３を参照して悲しみ表出尤度PAsad1と笑い表出尤度PAlau2を求める。
ステップＳ７：上記尤度から笑い、怒り、悲しみについてそれぞれ２つの尤度を以下のように決める。
【００７２】
笑い尤度：  PLAU1＝PAlau1/PAang2；  PLAU2＝PAlau2/PAsad1
怒り尤度：  PANG1＝PAang1/PAsad2；  PANG2＝PAang2/PAlau1
悲しみ尤度：PSAD1＝PAsad1/PAlau2；  PSAD2＝PAsad2/PAang1
ステップＳ８：笑い度、怒り度、悲しみ度を以下のように決める。
笑い度：  LAU＝(PLAU1+PLAU2)/2
怒り度：  ANG＝(PANG1+PANG2)/2
悲しみ度：  SAD＝(PSAD1+PSAD2)/2
ステップＳ９：図２４に示すように、
LAU＞ANGかつLAU＞SADの区間を検出し、Lauのマークをつける。
ANG＞SADかつANG＞LAUの区間を検出し、Angのマークをつける。
SAD＞LAUかつSAD＞ANGの区間を検出し、Sadのマークをつける。
ステップＳ１０：全ての検出区間Ｓ’について処理が終了したか判定し、終了してなければステップＳ５に戻って次の感情表出検出区間Ｓ’についてステップＳ６〜Ｓ９で同様の処理を実行する。
ステップＳ１１：全ての検出区間Ｓ’について終了していれば、指定された感情のマークの区間のコンテンツの画像を拡大処理する。
【００７３】
上述の第１から第６実施形態における各強調状態尤度PAlau, PAang, PAsadはいずれも前記式(17)または(19)のいずれを使用して計算してもよい。
以上説明したように、本発明の実施の形態に係る音声処理装置は、学習音声から感情表出があった部分の音声特徴量を抽出し、その音声特徴量に基づいて入力音声の感情表出を判定するため、コンテンツに含まれる音声データに基づき、このコンテンツの特定の発話状態に着目してコンテンツの対応する画像を拡大処理することができる。
また、本発明の実施の形態では、図５におけるステップＳ３２０〜Ｓ３５０の各ステップでの処理を行う音声処理動作について説明したが、これらのステップＳ３２０〜Ｓ３５０を含む音声処理動作を実行させるための音声処理プログラムがインストールされた所定のコンピュータを用いて実施することも可能である。
【産業上の利用可能性】
【００７４】
本発明に係る音声処理装置および音声処理プログラムは、コンテンツに含まれる音声データに基づき特定の発話状態を検出して対応するコンテンツの画像を拡大処理でき、従ってコンテンツ再生時の特定な発話状態の強調表示や、生放送ＴＶ番組における自動ズームアップに利用できる。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態に係るコンテンツ応答処理装置の機能構成を示すブロック図。
【図２】フレームの画像を説明するための図。
【図３】Ａは画像拡大手段１６０の第１の実施例を示す図、Ｂは画像拡大手段の第２の実施例を示す図、Ｃは画像拡大手段の第３の実施例を示す図。
【図４】本発明の実施の形態に係るコンテンツ応答処理装置の具体的構成の一例を示す図。
【図５】本発明の実施の形態に係るコンテンツ応答処理装置の動作を説明するためのフローチャート。
【図６】記憶手段に格納される符号帳の例を示す図。
【図７】符号帳作成の手順を示すフローチャート。
【図８】図５のステップＳ３３０での処理の詳細を説明するためのフローチャート。
【図９】音声小段落、音声段落等を説明するための概念図。
【図１０】音声データの処理を説明するための模式図。
【図１１】第１実施形態に使用する符号帳の例を示す図。
【図１２】感情表出状態を検出するための符号帳の例を示す図。
【図１３】第１実施形態の処理手順を示すフローチャート。
【図１４】尤度の比較による感情表出区間の検出を説明するための概念図。
【図１５】第１実施形態の変形例を示すフローチャート。
【図１６】第２実施形態で使用される符号帳の例を示す図。
【図１７】第２実施形態の処理手順を示すフローチャート。
【図１８】第３実施形態の処理手順を示すフローチャート。
【図１９】第４実施形態の処理手順を示すフローチャート。
【図２０】尤度比に基づく感情表出区間の検出を説明するための概念図。
【図２１】第４実施形態で使用される符号帳の例を示す図。
【図２２】第５実施形態の処理手順を示すフローチャート。
【図２３】尤度比較に基づく感情表出区間の検出を説明するための概念図。
【図２４】第６実施形態で使用する符号帳の例を示す図。
【図２５】第６実施形態の処理手順を示すフローチャート。
【図２６】笑い度、怒り度、悲しみ度の比較による感情表出を説明するための概念図。
【符号の説明】
【００７６】
１００  コンテンツ応答処理装置
１１０  記憶手段
１１０ＣＢ  符号帳
１２０  音声特徴量抽出手段
１３０  強調状態尤度算出手段
１４０  平静状態尤度算出手段
１５０  発話状態判定手段
１６０  画像拡大手段
２１０  入力部
２２０  表示部
２３１  ＣＰＵ
２３２  ＲＯＭ
２３３  ＲＡＭ
２３４  ＥＥＰＲＯＭ
２３５  ハードディスク
２４０  出力部
【図１】
2006011159.tif 000012
【図２】
2006011159.tif 000013
【図３】
2006011159.tif 000014
【図４】
2006011159.tif 000015
【図５】
2006011159.tif 000016
【図６】
2006011159.tif 000017
【図７】
2006011159.tif 000018
【図８】
2006011159.tif 000019
【図９】
2006011159.tif 000020
【図１０】
2006011159.tif 000021
【図１１】
2006011159.tif 000022
【図１２】
2006011159.tif 000023
【図１３】
2006011159.tif 000024
【図１４】
2006011159.tif 000025
【図１５】
2006011159.tif 000026
【図１６】
2006011159.tif 000027
【図１７】
2006011159.tif 000028
【図１８】
2006011159.tif 000029
【図１９】
2006011159.tif 000030
【図２０】
2006011159.tif 000031
【図２１】
2006011159.tif 000032
【図２２】
2006011159.tif 000033
【図２３】
2006011159.tif 000034
【図２４】
2006011159.tif 000035
【図２５】
2006011159.tif 000036
【図２６】
2006011159.tif 000037