(57)【要約】【課題】信頼性が高く、タイムリーなユーザ同士の関連付けを実現することができるユーザ支援装置を提供する。【解決手段】コンテンツの音声情報、映像情報のうち何れか１つ以上を用いて、前記コンテンツの属性及び／又は属性の値を抽出する感情推定部Ｆ１００と、前記コンテンツの識別情報と、該コンテンツについて推定された前記属性、属性情報を対応づけて記憶しておくデータベース４００と、ユーザ毎に、該ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツのうち少なくとも１つについて、該コンテンツを識別する情報を該ユーザのユーザ嗜好情報として記憶しておくユーザ情報記憶部Ｆ２００と、前記ユーザ嗜好情報に基づいて、関連付けの対象となる第１のユーザに対して、関連付けの対象となる該ユーザ以外の１人以上のユーザを関連付けるユーザ関連付け部Ｆ３００とを備える。【選択図】図２
2008269065.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザを関連付けるユーザ支援方法であって、
推定手段が、コンテンツの音声情報、映像情報のうち何れか１つ以上を用いて、前記コンテンツの属性及び／又は属性の値を抽出する推定ステップと、
コンテンツ属性記憶手段が、前記コンテンツの識別情報と、該コンテンツについて推定された前記属性、属性情報を対応づけて記憶しておくコンテンツ属性記憶ステップと、
ユーザ情報記憶手段が、ユーザ毎に、該ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツのうち少なくとも１つについて、該コンテンツを識別する情報を該ユーザのユーザ嗜好情報として記憶しておくユーザ情報記憶ステップと、
ユーザ関連付け手段が、前記ユーザ嗜好情報に基づいて、関連付けの対象となる第１のユーザに対して、関連付けの対象となる該ユーザ以外の１人以上のユーザを関連付ける関連付けステップと、
を備えることを特徴とするユーザ支援方法。
【請求項２】
請求項１に記載の方法において、前記ユーザ情報記憶ステップは、
ユーザ毎に、該ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツのうち少なくとも１つについて、該コンテンツを識別する情報、及び、該ユーザがコンテンツを視聴している又は視聴した際の該ユーザの活動情報を取得し、これを該ユーザのユーザ嗜好情報として記憶しておくことを特徴とするユーザ支援方法。
【請求項３】
請求項１又は２の何れかに記載の方法において、前記ユーザ情報記憶ステップは更に、前記ユーザ嗜好情報の時間変化を記憶しておくことを特徴とするユーザ支援方法。
【請求項４】
複数のユーザを関連付けるユーザ支援装置であって、
コンテンツの音声情報、映像情報のうち何れか１つ以上を用いて、前記コンテンツの属性及び／又は属性の値を抽出する推定手段と、
前記コンテンツの識別情報と、該コンテンツについて推定された前記属性、属性情報を対応づけて記憶しておくコンテンツ属性記憶手段と、
ユーザ毎に、該ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツのうち少なくとも１つについて、該コンテンツを識別する情報を該ユーザのユーザ嗜好情報として記憶しておくユーザ情報記憶手段と、
前記ユーザ嗜好情報に基づいて、関連付けの対象となる第１のユーザに対して、関連付けの対象となる該ユーザ以外の１人以上のユーザを関連付けるユーザ関連付け手段と、
を備えることを特徴とするユーザ支援装置。
【請求項５】
請求項４に記載の装置において、前記ユーザ情報記憶手段は、
ユーザ毎に、該ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツのうち少なくとも１つについて、該コンテンツを識別する情報、及び、該ユーザがコンテンツを視聴している又は視聴した際の該ユーザの活動情報を取得し、これを該ユーザのユーザ嗜好情報として記憶しておくことを特徴とするユーザ支援装置。
【請求項６】
請求項４又は５の何れかに記載の装置において、前記ユーザ情報記憶手段は更に、前記ユーザ嗜好情報の時間変化を記憶しておくことを特徴とするユーザ支援装置。
【請求項７】
コンピュータに、請求項１乃至３の何れかに記載の各ステップを実行させるためのプログラムとしたことを特徴とするユーザ支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザを関連付けるユーザ支援方法、ユーザ支援装置およびユーザ支援プログラムに関する。
【背景技術】
【０００２】
現在、放送に限らず、Ｗｅｂサイトや個人ＰＣにおいても、コンテンツを視聴することが増えてきており、コンテンツの種類も、例えば、映画やドラマ、ホームビデオ、ニュース、ドキュメンタリ、音楽等、非常に多様化している。通信と放送の連携に伴い、今後更に、コンテンツ視聴を楽しむユーザが増加することは容易に予想される。
【０００３】
最近では、コンテンツをＷｅｂ上で共有し、ユーザ同士でコミュニケーションを取ることができる、コンテンツ共有サイトの利用が一般的となりつつある。
【０００４】
コンテンツ共有サイトでは、各ユーザが、視聴してもらいたいコンテンツをサーバにアップロードすることによりコンテンツが蓄積される。蓄積されたコンテンツは原則として公開されるため、各ユーザは視聴したいコンテンツを選択及び受信し、自由に視聴することができる。
【０００５】
また、各ユーザは、視聴したコンテンツについて、感想や意見等のコメントを書き込むことができる。これらのコメントも原則として公開されるため、コンテンツを公開したユーザや、同じコンテンツを視聴した他のユーザとのコミュニケーション、及び、同じようなコンテンツを好むユーザ同士でのコミュニティ形成、といったことを楽しむことができるようになっている。
【０００６】
特に、最近主流となっているコミュニティ形成型、いわゆるＳＮＳ（ソーシャル・ネットワーキング・サービス）型のコンテンツ共有サイトでは、コンテンツを介して、ユーザ同士がコミュニケーションを取る、またはユーザ同士でコミュニティを形成することが最も大きな目的となっている。
【０００７】
活発で有意義なコミュニケーションを取るためには、ユーザ同士の感性が類似していることや、話したい話題が共通していること等が重要な要因となってくる。コンテンツ共有サイトにおけるコミュニケーションのケースでは、感性の類似として、コンテンツに対する嗜好が類似していること、コンテンツを視聴した際の感想、感情が類似しているといったこと、また、話題の共通性については、あるコンテンツを公開しているユーザと、そのコンテンツを視聴したユーザの関係であることや、同じ、もしくは、類似性のあるコンテンツを公開、又は視聴していること、などといった条件がこの要因に当たる。
【０００８】
こういった着眼点に基づけば、同じような嗜好や感情を持つユーザ同士を仲介し、コミュニケーションのきっかけを与えるユーザ支援技術を実現することは、ユーザにとって、より便利な利用と、新たな価値の創造、といった点で大きな利益をもたらす。
【０００９】
コミュニケーションを支援するユーザ支援技術として、従来、ユーザが付与したコメントの類似性によってユーザ同士の仲介をする技術が発明されてきている。このような技術の１つとして、特許文献１に開示されている技術がある。
【００１０】
特許文献１に開示の技術では、ユーザがコメントを付与した箇所はそのユーザが興味を持っている箇所であるという知見から導出される、コメントを付与した箇所が類似しているユーザ同士は感性が似ているという仮説に基づいて、各コンテンツについて、ユーザからシーン単位でコメントを付与する機能を提供し、さらにこのコメントを付与したシーンが類似している複数のユーザを互いに仲介する方法、装置について開示されている。
【００１１】
尚本発明の関連技術として、音声特徴量出現確率を計算するための確率モデルのパラメータ推定方法（例えば非特許文献１，２参照）、基本周波数及びパワーの抽出法（例えば、非特許文献３参照）、発話速度の時間変動特性の抽出方法（例えば、非特許文献４、特許文献２参照）、一般化状態空間モデルを求める方法（例えば、非特許文献５参照）、感情、感情度を抽出する方法（例えば特許文献３，４，５，６参照）、映像情報のうち色情報、編集情報を抽出する方法（例えば非特許文献６参照）、動きベクトル情報を抽出する方法（例えば非特許文献７参照）、映像モデルのパラメータ推定方法（例えば非特許文献８，９、特許文献７参照）、顔の表情情報を抽出する方法（例えば特許文献８，９参照）が知られている。
【特許文献１】特許第３６２２７１１号公報
【特許文献２】特開２００５−３４５４９６号公報（段落［００１１］〜［００１４］等）。
【特許文献３】特開２００５−２７５３４８号公報
【特許文献４】特許第３３７２５３２号公報
【特許文献５】特開２００６−１１３９１７号公報
【特許文献６】特開平５−７３３１７号公報
【特許文献７】特開２００５−０７８５５５号公報
【特許文献８】特開２００５−１５７９１１号公報
【特許文献９】特許第３０９８２７６号公報
【非特許文献１】石井健一郎、上田修功、前田栄作、村瀬洋、「わかりやすいパターン認識」、オーム社、第１版、１９９８年８月、ｐｐ．５２−５４。
【非特許文献２】汪金芳、手塚集、上田修功、田栗正章、「計算統計Ｉ  確率計算の新しい手法  統計科学のフロンティア１１  第ＩＩＩ章  ３ＥＭ法  ４変分ベイズ法」、岩波書店、２００３年６月、ｐｐ．１５７−１８６。
【非特許文献３】古井貞熙、「ディジタル音声処理  第４章  ４．９ピッチ抽出」、東海大学出版会、１９８５年９月、ｐｐ．５７−５９。
【非特許文献４】嵯峨山茂樹、板倉  文忠、「音声の動的尺度に含まれる個人性情報」、日本音響学会昭和５４年度春季研究発表会講演論文集、３−２−７、１９７９年、ｐｐ．５８９−５９０。
【非特許文献５】Ｋｉｔａｇａｗａ，Ｇ．、「Ｎｏｎ−Ｇａｕｓｓｉａｎ  ｓｔａｔｅ−ｓｐａｃｅ  ｍｏｄｅｌｉｎｇ  ｏｆ  ｎｏｎｓｔａｔｉｏｎａｒｙ  ｔｉｍｅ  ｓｅｒｉｅｓ」、Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｍｅｒｉｃａｎ  Ｓｔａｔｉｓｔｉｃａｌ  Ａｓｓｏｃｉａｔｉｏｎ、１９８７年１２月、ｐｐ．１０３２−１０６３。
【非特許文献６】「映像特徴インデクシングに基づく構造化映像ハンドリング機構と映像利用インタフェースに関する研究  第３章  画像処理に基づく映像インデクシング」、外村佳伸、京都大学博士論文、ｐｐ．１５−２３、２００６
【非特許文献７】「コンピュータ画像処理」、田村秀行  編著、オーム社、ｐｐ．２４２−２４７、２００２年１２月
【非特許文献８】「計算統計Ｉ  第ＩＩＩ章  ３ＥＭ法  ４変分ベイズ法」、上田修功、岩波書店、ｐｐ．１５７−１８６、２００３年６月
【非特許文献９】「日本語語彙大系」、ＮＴＴコミュニケーション科学研究所  監修、池原  悟、宮崎  正弘、白井  諭、横尾  昭男、中岩  浩巳  、小倉  健太郎、大山  芳史、林  良彦  編集、岩波書店、１９９７年
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、このような従来のユーザ支援方法、装置では、原理的に、２人以上のユーザが実際にコンテンツを視聴し、コメントを書き込む、という過程を経なければ、ユーザ同士を仲介する手段は無かった。
【００１３】
従って、一度もコメントを書き込んだことのないユーザや、他のユーザが一度も視聴したことのないコンテンツを視聴したユーザにとっては、どのユーザが自分と同じ嗜好、感情を持っているか、という情報を得ることは出来ないという問題があった。
【００１４】
また一方で、ユーザの嗜好や感情は、時々刻々と変化するものである。このため、コミュニケーションを取る時点での嗜好や感情を、タイムリーに反映したユーザ支援を行うことが必要となる。
【００１５】
これに対し、従来のユーザ支援方法、装置は、コメントに基づいた嗜好、感情の共有を行うものであった。コメントは、チャット等と異なり、コミュニケーション手段としては実時間性が低く、例えば、あるユーザが過去にコメントを付与した時点での嗜好や感情と、該ユーザが他のユーザとコミュニケーションを取る時点での嗜好や感情は異なっている、ということが起こりやすい。このため、タイムリーに嗜好、感情を反映したユーザ支援を実施することは難しいという問題があった。
【００１６】
本発明は上記課題を解決するものでありその目的は、信頼性が高く、タイムリーなユーザ同士の関連付けを実現することができるユーザ支援方法、ユーザ支援装置およびユーザ支援プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明は、ユーザの嗜好を反映するコンテンツの属性と、属性の値をコンテンツに含まれる情報に基づいて分析し、分析された属性、属性の値を基準として類似したコンテンツを公開、視聴したユーザ同士を、嗜好等の感性が類似していると判断し、関連付けを実施するユーザ支援方法、装置、プログラムである。
【００１８】
より具体的には、各ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツなどの音声情報、映像情報のうちの少なくとも１つを用いて、コンテンツに含まれる属性、属性の値を表す感情度を抽出する。また更に、必要であれば、コンテンツ視聴時のユーザの活動情報を取得する。これらの情報をユーザの嗜好や感情を反映した指標とし、この指標に基づき、２人以上のユーザ間を関連付ける。
【００１９】
この方法により、コメントの書き込みなど、ユーザに対して、コメントの付与などの特別な動作を要求することなく、公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツに基づいてコミュニケーションのきっかけを与えることを可能とすると共に、コミュニケーション、コミュニティ形成において重要となる嗜好や感情の簡単かつタイムリーな反映によるユーザ支援を可能とする。
【００２０】
尚、本発明において、嗜好とは、興味、関心等も含むものとし、感情とは、情動、雰囲気、印象等も含むものとする。また、コンテンツとは、映像・音声コンテンツを指すものとし、更に、音声とは、人間による発話音声のみではなく、歌唱音声、音楽、環境音等も含むものとする。
【００２１】
第１の発明による方法（請求項１）、装置（請求項４）では、複数のユーザを関連付けるユーザ支援方法、装置であって、コンテンツの音声情報、映像情報のうち何れか１つ以上を用いて、前記コンテンツの属性及び／又は属性の値を抽出する推定ステップ／手段と、前記コンテンツの識別情報と、該コンテンツについて推定された前記属性、属性情報を対応づけて記憶しておくコンテンツ属性記憶ステップ／手段と、ユーザ毎に、該ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツのうち少なくとも１つについて、該コンテンツを識別する情報を該ユーザのユーザ嗜好情報として記憶しておくユーザ情報記憶ステップ／手段と、前記ユーザ嗜好情報に基づいて、関連付けの対象となる第１のユーザに対して、関連付けの対象となる該ユーザ以外の１人以上のユーザを関連付けるユーザ関連付けステップ／手段と、を備えることを特徴とする。
【００２２】
第２の発明による方法（請求項２）、装置（請求項５）では、第１の発明に記載の方法、装置において、前記ユーザ情報記憶ステップ／手段が、ユーザ毎に、該ユーザが公開しているコンテンツ、視聴しているコンテンツ、視聴したコンテンツのうち少なくとも１つについて、該コンテンツを識別する情報、及び、該ユーザがコンテンツを視聴している又は視聴した際の該ユーザの活動情報を取得し、これを該ユーザのユーザ嗜好情報として記憶しておくことを特徴とする。
【００２３】
第３の発明による方法（請求項３）、装置（請求項６）では、第１又は第２の発明による方法、装置において、前記ユーザ情報記憶ステップ／手段は更に、前記ユーザ嗜好情報の時間変化を記憶しておくことを特徴とする。
【００２４】
第４の発明によるプログラム（請求項７）では、請求項１乃至３の何れかに記載の各ステップを実行させるためのプログラムとしたことを特徴とする。
【発明の効果】
【００２５】
（１）請求項１〜７に記載の発明によれば、コンテンツに含まれる情報に基づいて、ユーザの嗜好を反映したコンテンツの属性、属性の値を推定することができる。また、この属性、属性の値に基づいて、ユーザが公開・視聴している、もしくは、視聴したコンテンツから即座にユーザの嗜好を分析し、これに基づいた関連付けを実施することができる。
【００２６】
この発明によれば、単純に同じコンテンツを視聴したユーザ同士、もしくはコメントを付与したユーザ同士などを関連付けるのではなく、ユーザの嗜好を反映したコンテンツの属性、属性の値での関連付けを行うことで、信頼性の高い、タイムリーな関連付けを実現することができる。また、この発明によれば、関連付けを実施するために、ユーザがコメントを付与するなどの行動を取る必要がなく、ユーザにとって利用障壁が低いという利点を持つ。
（２）また請求項２，５に記載の発明によれば、ユーザの嗜好情報と、更に、コンテンツ視聴時のユーザの活動情報とによってユーザの嗜好、感情を分析することができる。この発明によれば、更に正確なユーザ同士の関連付けを実現することができる。
（３）また請求項３，６に記載の発明によれば、ユーザ嗜好情報の時間変化を記憶しておくことで、各ユーザの嗜好や感情の動的な変化に対する指標を得ることができる。この発明によれば、ユーザの嗜好や感情の変化を含めて関連付けを実施することにより、更にユーザ同士の関連付けの適時性と精度を高めることができる。
（４）また請求項７に記載の発明によれば、上記発明を全て計算機上で実行することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。ユーザの嗜好、感情を反映するコンテンツの属性としては、例えば、コンテンツのジャンルや、被写体、撮影場所、撮影時刻、時間、コンテンツの作成者など、様々なものがあるが、好ましくは、ユーザがコンテンツを視聴した際にユーザの受ける印象を反映する属性を選択する。
【００２８】
このような属性の１例として、本発明の実施形態では、コンテンツに含まれる感情を想定し、属性の値として感情度を推定することとし、感情、感情度に基づいてユーザ同士の関連付けを行う場合の例について説明する。以降、本発明の実施形態の例３つについて図１〜図１９を用いて説明する。
[実施形態の第１例]
本発明の実施形態の第１例は、ユーザ支援を実行する際、コンテンツの音声情報から感情、感情度を抽出し、この情報に基づいて、ユーザ嗜好情報を求め、ユーザ同士の関連付けを実行する場合についてである。
【００２９】
本発明の実施形態の第１例に係るユーザ支援方法、ユーザ支援装置について説明する。図１は、本発明の実施形態に係るユーザ支援方法を説明する処理を示すフロー図、図２は、本発明の実施形態に関わるユーザ支援装置１００を説明するブロック図である。
【００３０】
この実施形態の第１例におけるユーザ支援装置１００は、少なくともユーザ端末２００ａ、２００ｂ、・・・、情報制御部３００、データベース４００（本発明のコンテンツ属性記憶手段）で構成される。これらは、同一端末内で接続されてもよく、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）及び／又はインターネットなどの広域通信網などの、相互に通信可能な所定の通信手段を介して接続されてもよい。
【００３１】
情報制御部３００とデータベース４００は、例えば、データベース４００が情報制御部３００内に含まれているなどによって、同一装置内に格納されていてもよい。
【００３２】
各ユーザ端末２００ａ、２００ｂ、・・・の構成を説明するブロック図を図３に示す。ユーザ端末２００ａ、２００ｂ、・・・は、例えば、キーボード２１１、マウス等に代表されるポインティングデバイス２１２と、コンテンツの音声情報（音声信号データ）、映像情報（映像信号データ）が入力されるデータ入力手段（図示省略）を備えた入力部２１０、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２３から構成される制御部２２０、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）２３１から構成される記憶部２３０、液晶画面等のモニタ画面２４１を有し、入力部２１０の操作に応じて制御部２２０から出力する情報を表示する表示部２４０を備えたものとする。
【００３３】
情報制御部３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４等が相互接続され構成される。本発明における各種の処理は、全てこの情報制御部３００によって行われるものであり、各種処理を実現するプログラム及びデータは、全てＲＯＭ３０２やＨＤＤ３０４等のメモリ装置に記憶され、適宜ＲＡＭ３０３に読み出され、ＣＰＵ３０１において処理が実行される。
【００３４】
情報制御部３００は機能部毎に、感情推定部Ｆ１００（本発明の推定手段）、ユーザ情報記憶部Ｆ２００（本発明のユーザ情報記憶手段）、ユーザ関連付け部Ｆ３００、更に、必要であれば、通知部Ｆ４００を備えているものとする。
【００３５】
ステップＳ１００として、この実施形態におけるユーザ支援装置１００では、ユーザ端末２００ａ、２００ｂ、・・・からコンテンツ公開要請を受け、コンテンツをデータベース４００に格納する際、図４に示すように、ＩＤ等の各コンテンツ、及びコンテンツを所定の部分区間に分割した部分コンテンツ固有の識別情報と、感情推定部Ｆ１００により推定されたコンテンツの感情、感情度とを対応付けた状態で保存する。更に、コンテンツを公開したユーザ端末のユーザ嗜好情報として、コンテンツを公開したユーザ端末の識別情報、公開されたコンテンツの識別情報、コンテンツの公開日時等をユーザ嗜好情報として、ユーザ情報記憶部Ｆ２００に記憶する。
【００３６】
ステップＳ２００では、ユーザ端末２００ａ、２００ｂ、・・・からのコンテンツ公開、又はコンテンツ配信要求に応じてコンテンツの公開又は配信を実行し、同時に、各ユーザ端末の識別情報とコンテンツの識別情報、公開／配信日時等を対応付けたユーザ嗜好情報をユーザ情報記憶部Ｆ２００に保存する。
【００３７】
次にステップＳ３００では、ユーザ関連付け部Ｆ３００が、記憶されたユーザ嗜好情報に基づいて、各ユーザ端末間の関連付けを行う。
【００３８】
最後に、ステップＳ４００では、通知部Ｆ４００が、関連付けの結果に関する情報を各ユーザ端末２００ａ、２００ｂ、・・・に送信する。
【００３９】
以下、本発明の実施形態の１例における処理の流れについて、図１を用いて、詳細に説明する。
【００４０】
まず、コンテンツ公開要請を受けた時点で、予め、感情推定部Ｆ１００が、該コンテンツに含まれる音声情報を基に、コンテンツの感情、感情度を抽出しておく。
【００４１】
感情推定部Ｆ１００は、コンテンツに含まれる音声情報のうち、韻律情報、音声認識した結果得られるテキスト情報のうち何れか１つ以上に基づいて、コンテンツの感情、感情度を計算する。感情推定部Ｆ１００によって、コンテンツの感情、感情度を計算する為の処理は、本発明によって実際にユーザ支援を実行する前に、行っておく事前処理である。
【００４２】
音声に含まれる韻律情報から、感情、感情度を推定する方法の１例について説明する。
【００４３】
図５は、本実施形態における感情検出方法を説明するフローチャートである。
【００４４】
なお、本実施形態の説明におけるデータは、汎用的な記憶部（例えば、メモリやハードディスク装置）あるいは記憶手段に記憶され、アクセスされるものとする。
【００４５】
まず、ステップＳ１１０（統計モデル構築処理ステップ）は、本実施形態に係る感情検出方法によって、実際に感情的状態の判定を行う前に、予め行っておくステップであり、感情的状態確率を計算するために用いる統計モデルを構築するステップである。なお、前記統計モデルの実体とは、その統計を計算する関数、及び、統計量などのパラメータをプログラムとして記載したものである。なお、前記統計モデルのパラメータ及び関数型を表す符号は記憶部に格納されることになるが、それらのための記憶容量が比較的小さい。
【００４６】
次に、ステップＳ１２０（音声特徴量抽出処理ステップ）では、取り込まれたコンテンツの音声信号データから、所望の音声特徴量をベクトルとして分析フレーム（以下、単にフレームと呼ぶ）毎に計算し、抽出する。なお、この音声特徴量ベクトルは、基本周波数，基本周波数の時間変動特性の系列，パワー，パワーの時間変動特性の系列，発話速度の時間変動特性のうち１つ以上の要素で構成されるベクトルである。また、音声信号データは、音声信号データ入力手段（例えば、図３の入力部２１０）によって、入力されるものとする。抽出された音声特徴量は、記憶部に記憶される。ステップＳ１２０〜Ｓ１５０は感情的状態確率を計算する処理である。
【００４７】
次に、ステップＳ１３０（音声特徴量出現確率計算処理ステップ）では、ステップＳ１２０において計算され記憶部に記憶された音声特徴量ベクトルに基づき、フレーム毎に、感情的状態に対応する音声特徴量ベクトルが出現する確率を、ステップＳ１１０において予め構成された統計モデルによって算出し、その算出結果を音声特徴量出現確率と見做す。
【００４８】
次に、ステップＳ１４０（感情的状態遷移確率計算処理ステップ）では、フレーム毎に、ステップＳ１１０において予め構成された統計モデルを用いて、感情的状態に対応する１つ以上の状態変数の時間方向への遷移確率を算出し、その算出結果を感情的状態遷移確率と見做す。
【００４９】
次に、ステップＳ１５０（感情的状態確率計算処理ステップ）では、フレーム毎に、ステップＳ１３０で計算した音声特徴量出現確率及びＳ１４０で計算した感情的状態遷移確率に基づいて、感情的状態確率を計算する。
【００５０】
そして、ステップＳ１６０（感情的状態判定処理ステップ）では、フレーム毎に、ステップＳ１５０で計算した感情的状態確率に基づいて、該フレームの感情的状態を判定し、出力する。
【００５１】
ステップＳ１７０（感情、感情度推定処理ステップ）において、ステップＳ１５０において計算された感情的状態確率，判定された感情的状態，連続発話及び非発話時間，連続発話，連続非発話時間のうち１つ以上に基づいて、１つ以上のフレームで構成される区間を構成し、この区間を単位として感情、感情度を推定する。
【００５２】
以下に、感情検出方法の各ステップを詳細に説明する。
【００５３】
まず、統計モデルを構成するステップＳ１１０の処理詳細を図６に基づいて説明する。なお、統計モデルは、学習用音声信号データから学習を行うことによって獲得するものとする。
【００５４】
まず、ステップＳ１１１において、学習用音声信号データを入力する。なお、学習用音声信号データは、音声信号データ入力手段から入力されても良いし、学習用音声信号データ専用の入力手段（学習用音声信号データ入力手段）から入力されても良い。
【００５５】
次に、ステップＳ１１２において、この学習用音声信号データに対して、学習用音声信号データ全てに渡って、フレーム毎に、人間が実際に視聴して判断したそのフレームにおける感情的状態ｅを与える。ここで、この感情的状態ｅは、人間によって判定されたものをラベルと呼ぶこととし、判定行為をラベル付けと呼ぶこととする。
【００５６】
また、厳密にはフレーム毎に感情的状態ｅのラベルが与えられていない場合であっても、フレーム単位にラベル付けされるように変換できるものであれば、これに変換することで利用してもよい。ラベル付けの例としては、ある区間において感情的状態ｅのラベルが付与されている場合もある。この場合には、その区間に含まれるフレームに対して、区間に付与されたラベルと同じラベルを付与することによって、フレーム毎にラベル付けできる。より具体的には、音声のある時刻ｔ１〜ｔ２が感情的状態ｅとラベル付けされている場合は、該区間の全フレームはｅと与えられているものとして構成する。
【００５７】
次に、ステップＳ１１３において、フレーム毎に、前記ステップＳ１２０と同様に、音声特徴量ベクトルｘを抽出する。以下では、フレーム番号ｔのフレームＦtにおける音声特徴量ベクトルｘt、感情的状態ｅtと表す。
【００５８】
次に、ステップＳ１１４において、音声特徴量出現確率を計算するための統計モデルと、感情的状態遷移確率を計算するための統計モデルをそれぞれ学習によって構成する。
【００５９】
まず、音声特徴量出現確率を計算するための統計モデルの学習方法の一例を説明する。
【００６０】
音声特徴量出現確率を計算するための統計モデルは、フレーム毎に与えられる音声特徴量ベクトルｘ空間上の確率分布であって、例えば、フレームＦtにおいては、それ以前のある（ｎ−１）フレーム区間における感情的状態ｅt＝{ｅt，ｅt-1，・・・，ｅt-n+1}に依存してｘtが出現する確率を表す、条件付き確率分布ｐA（ｘt｜ｅt）として作成する。ｎは、例えば、２〜３程度とするものでよい。
【００６１】
この条件付き確率分布ｐA（ｘt｜ｅt）は、例えば、ｅtの取りうる値毎に、正規分布、混合正規分布などといった、確率モデルを用いて構成してもよい。また、更に音声特徴量の種類別に、正規分布、混合正規分布、多項分布などといった、確率モデルを用いて構成するのでもよい。これら確率モデルのパラメータを学習用音声信号データに基づいて推定することになる。
【００６２】
なお、前記パラメータの推定方法は、例えば、最尤推定法や、ＥＭアルゴリズム、変分Ｂａｙｅｓ法などが公知のもの（例えば、非特許文献１、非特許文献２などを参照）を用いることができる。
【００６３】
次に、感情的状態遷移確率を計算するための統計モデルを説明する。
【００６４】
感情的状態遷移確率を計算するための統計モデルは、音声特徴量出現確率を計算するための統計モデル同様、学習用音声信号データから、学習を行うことによって獲得する。
【００６５】
前記ステップＳ１１１〜Ｓ１１３において、前記学習用音声信号データは、学習用音声信号データ全てに渡って、フレーム毎に、抽出された音声特徴量ベクトルｘと、人間が実際に視聴して判断したそのフレームにおける感情的状態ｅと、が与えられているという前提で、以下に、ステップＳ１１４の学習を行うステップの一例について説明する。なお、フレーム番号ｔにおける感情的状態をｅtと表す。
【００６６】
感情的状態遷移確率計算のための統計モデルは、ｔ番目のフレームＦtにおける感情的状態の系列ｅt空間上の確率分布であって、Ｆt以前の（ｎ−１）フレームにおける感情的状態系列ｅt-1＝{ｅt-1，ｅt-2，・・・，ｅt-n}に依存して、ｅtが出現する確率を表す条件付き確率分布ｐB（ｅt｜ｅt-1）として作成する。
【００６７】
なお、ｅtは、例えば、喜び、怒り、哀しみ、などの感情的状態を表す変数であり、離散変数であるから、前記条件付き確率分布ｐB（ｅt｜ｅt-1）は、例えば、ｂｉ−ｇｒａｍ型のヒストグラムを作成することで構成することが考えられる。この場合は、学習用音声信号データに基づき、ｅt-1が与えられている時に、各感情的状態の系列ｅtが何度出現するのかを計数することによってこれを構成することができる。
【００６８】
以上がステップＳ１１０の詳細処理である。
【００６９】
次に、ステップＳ１２０では、取り込まれたコンテンツの音声信号データから、所望の音声特徴量ベクトルをフレーム毎に抽出する。なお、本発明における音声とは、人間による会話音声のみではなく、歌唱音声、または音楽なども含むものとする。
【００７０】
以下に、音声特徴量ベクトル抽出方法の一例を説明する。
【００７１】
まず、音声特徴量について説明する。本実施形態における音声特徴量としては、音声スペクトルやケプストラム等と比較して、雑音環境下でも安定して得られ、かつ感情的状態を判定するにあたり、話者のプロフィールに依存しにくいものが好ましい。
【００７２】
上述のような条件を満たす音声特徴量として、基本周波数ｆ０，基本周波数の時間変動特性の系列{ｒｆ０i}，パワーｐ，パワーの時間変動特性の系列{ｒｐi}，発話速度の時間変動特性等を抽出する。なお、ｉは時間変動特性のインデクスである。
【００７３】
また、本実施形態においては、系列とは１つ以上の要素を持つ集合であると定義する。時間変動特性の例としては、例えば、回帰係数、分析フレーム内変化量の平均値，最大値，最小値や、分析フレーム内変化量の絶対値の累積和、レンジなどが考えられ、必要に応じて選択すれば良い。特に、回帰係数の場合には、インデクスは次数に対応づけることができる。回帰係数は、何次までを用いてもよいが、例えば、１〜３次程度としてもよい。以下の例では、時間変動特性として回帰係数のみを採用した場合について説明する。パワーｐは、音声信号波形の振幅値を用いるものでもよいし、絶対値や平滑値、ｒｍｓ値を用いるのでもよい。また、ある周波数帯域、例えば、人間の聞き取り易い５００Ｈｚ（ヘルツ）〜３ＫＨｚ（キロヘルツ）などの領域におけるパワーの平均値などを用いるのでも良い。
【００７４】
前記抽出すべき基本周波数ｆ０及びパワーｐの抽出法は様々である。それらの抽出方法は公知であり、その詳細については、例えば、非特許文献３に記載の方法等を参照されたい。
【００７５】
前記抽出すべき発話速度の時間変動特性は、既知の方法（例えば、非特許文献４、特許文献２参照）によって、動的尺度ｍの時間変動特性ｒｍとして抽出する。
【００７６】
例えば、動的尺度のピークを検出し、その数をカウントすることで発話速度を検出する方法をとってもよく、また、発話リズムに相当するピーク間隔の平均値、分散値を計算して発話速度の時間変動特性を検出する方法をとるのでもよい。
【００７７】
以下の説明では、動的尺度のピーク間隔平均値を用いた、動的尺度の時間変動特性ｒｍについて説明することとする。
【００７８】
前記抽出すべき基本周波数の時間変動特性の系列{ｒｆ０i}、及びパワーの時間変動特性の系列{ｒｐi}として、回帰係数を抽出する方法の一例について説明する。
【００７９】
分析する時刻をｔとしたとき、時刻ｔにおいて抽出された基本周波数ｆ０t（例えば、図７中の符号δのグラフ）又はｐtと、{ｒｆ０it}又は{ｒｐit}との関係は、次の近似式によって表される。
【００８０】
【数１】
2008269065.tif 000003
【００８１】
ただし、Ｉは回帰関数の最大次数を表す。ｔの近傍でこの近似誤差が小さくなるように{ｒｆ０it}及び{ｒｐit}を決定すればよく、これを実現する方法として、例えば、最小自乗法を用いることが考えられる。
【００８２】
Ｉは任意の値でよいが、ここでは、例として、Ｉ＝１であるときのｒｆ０1tを求める場合について説明する。ｒｐ1jについても同様に計算できる。分析する時刻をｔとすると、ｔにおける基本周波数の時間変動特性ｒｆ０1tは、
【００８３】
【数２】
2008269065.tif 000004
【００８４】
と求めることができる。ここで、ｄは時刻ｔ前後の計算に用いるサンプリング点の数で、ｔの近傍に対応する。例えば、ｄ＝２とする。
【００８５】
以下では、例えば、Ｉ＝１の場合に求めたｒｆ０1t、ｒｐ1jのみをそれぞれ基本周波数の時間変動特性ｒｆ０、パワーの時間変動特性ｒｐとして扱う場合について説明する。
【００８６】
フレーム毎に音声特徴量を計算する方法の一例を説明する。１フレームの長さ（以下、フレーム長とよぶ）を１００ｍｓ（ミリセコンド）とし、次のフレームは現フレームに対して５０ｍｓの時間シフトによって形成されるものとする。
【００８７】
これらのフレーム毎に、各フレーム内での各音声特徴量の平均値、つまり、平均基本周波数ｆ０’、基本周波数の平均時間変動特性ｒｆ０’、平均パワーｐ’、パワーの平均時間変動特性ｒｐ’、動的尺度の平均ピーク間隔平均値ｒｍ’を計算するものとする。あるいは、これらの平均値のみではなく、フレーム内での各音声特徴量の最大値、最小値、または変動幅などを計算して用いてもよい。以下では、平均値のみを用いた場合について説明する。
【００８８】
各音声特徴量は予め規格化しておくことが好ましい。規格化は、例えばｆ０’について、例えば、処理対象となる音声信号データ全体に渡る平均基本周波数を差し引く、もしくは、平均基本周波数で割ることによって行うのでもよいし、標準正規化して平均０分散１にするのでもよい。その他の音声特徴量についても、同様に行うことが考えられる。
【００８９】
感情的状態の判定においては、音声特徴量の時間的な挙動を捉えることが必要である。本実施形態では、フレーム毎に計算した音声特徴量から、１つ以上のフレームの音声特徴量を用いて音声特徴量ベクトルを計算して、音声特徴量の時間的な挙動の捕捉を実現する。なお、この音声特徴量ベクトルを抽出する区間を、音声特徴量ベクトル抽出区間（例えば、図８中の符号Ｗで示される区間）と呼ぶこととする。
【００９０】
以下、その音声特徴量の時間的な挙動の捕捉方法の一例を図８に基づいて説明する。
【００９１】
現フレームＦについて、そのフレーム番号をｊとおき、Ｆjと表す。Ｆjに含まれるフレーム毎の音声特徴量をそれぞれ、基本周波数ｆ０’j、基本周波数の時間変動特性ｒｆ０’j、パワーｐ’j、パワーの時間変動特性ｒｐ’j、動的尺度のピーク間隔平均値ｒｍ’jと表すものとする。
【００９２】
以上で求めた音声特徴量に基づいた音声特徴量ベクトルの構成方法は、例えば、音声特徴量毎に遅延座標空間に埋め込むことで構成する方法が考えられる。すなわち、現フレームからＳフレーム分過去のフレームまでに含まれる音声特徴量をベクトル表記することで構成するものとする。
【００９３】
例えば、基本周波数の場合、現フレーム番号をｔとおけば、ｆ０＝{ｆ０’t，ｆ０’t-1，・・・，ｆ０’t-S}Tのように基本周波数の音声特徴量ベクトルｆ０を求める物とする。図８中のフレームは、符号ｗ１で示すフレームＦt-S，符号ｗ２で示すフレームＦt-1，符号ｗ３で示すフレームＦtである。
【００９４】
あるいは、音声特徴量毎に現フレームからＳフレーム分過去のフレームまでのフレーム間差分量を計算し、これをベクトル表記することで構成する方法も考えられる。
【００９５】
ここで、上記Ｓの値は、例えば、Ｓ＝５とする。同様に、基本周波数の時間変動特性ｒｆ０、パワーｐ、パワーの時間変動特性ｒｐ、動的尺度の時間変動特性ｒｍを計算する。
【００９６】
予め、感情的状態を判定するために使用すると決定した全音声特徴量ベクトルを並べたものをｘと表記するものとする。例えば、抽出した音声特徴量全てを使用する場合は、ｘ＝{ｆ０T，ｒｆ０T，ｐT，ｒｐT，ｒｍT}Tとなる。そして、基本周波数の時間変動特性ｒｆ０、パワーの時間変動特性ｒｐ、動的尺度のピーク間隔平均値ｒｍを使用する場合にはｘ＝{ｒｆ０T，ｒｐT，ｒｍT}Tとなる。
【００９７】
本実施形態においては、前記音声特徴量のうち１つ以上を使用すれば、感情的状態を判定することが可能である。ただし、感情的状態において特徴的に現れる発話においては、基本周波数ｆ０そのものの抽出が困難な場合が多く、しばしば欠損することがある。このため、そのような欠損を補完する効果を容易に得ることのできる、基本周波数の時間変動特性ｒｆ０は含むことが好ましい。更には、話者依存性を低く抑えたまま、判定精度を高めるため、パワーの時間変動特性ｒｐを更に含むことが好ましい。
【００９８】
以上のように、フレーム毎に行った音声特徴量、音声特徴量ベクトルの計算処理を、コンテンツ全てに渡るフレームに対して行うことで、全てのフレームにおいて音声特徴量ベクトルを得ることが可能である。
【００９９】
以上がステップＳ１２０の詳細処理である。
【０１００】
次に、ステップＳ１３０は、ステップＳ１２０において抽出された各フレームの音声特徴量ベクトルと、ステップＳ１１０において予め構成しておいた統計モデルとを用いて各感情的状態における音声特徴量ベクトルの出現確率（音声特徴量出現確率）を計算する。
【０１０１】
以下に、ステップＳ１３０で実行する処理の一例を説明する。
【０１０２】
ステップＳ１１０で作成した統計モデルに基づき、音声特徴量ベクトルの出現確率を計算する方法の一例を説明する。
【０１０３】
統計モデルは、フレーム毎に与えられる音声特徴量ベクトルｘt空間上の条件付き確率分布ｐA（ｘt｜ｅt）であるため、入力された音声特徴量ベクトルｘtを、ステップＳ１１０によって予め作成した統計モデルｐA（ｘt｜ｅt）に基づいて尤度計算する。この計算した尤度を、各感情的状態においてｘtが出現する音声特徴量出現確率と見做す。
【０１０４】
以上の処理を、全てのフレームに渡って行うことで、全てのフレームに対して音声特徴量出現確率を計算することができる。
【０１０５】
以上がステップＳ１３０の詳細処理である。
【０１０６】
次に、ステップＳ１４０では、統計モデルを用いて、感情的状態を判定するフレーム（現フレーム）直前の１つ以上遡ったフレームの感情的状態に依存して、現フレームで各感情的状態に遷移する遷移確率（即ち、感情的状態遷移確率）が計算される。
【０１０７】
以下に、ステップＳ１４０を実行するため処理の一例を説明する。
【０１０８】
まず、ステップＳ１１０で作成した統計モデルに基づき、感情的状態遷移確率を計算する方法の一例を説明する。
【０１０９】
統計モデルは、感情的状態の系列ｅt空間上の条件付き確率分布ｐB（ｅt｜ｅt-1）である。そのため、ステップＳ１４０では、ｅt-1が既に判定され、決定されていれば、ステップＳ１１０における方法などによって予め作成した統計モデルｐB（ｅt｜ｅt-1）に基づいて各感情的状態の系列ｅtの起こりうる確率を計算する。その前記計算した確率を、感情的状態遷移確率と見做す。
【０１１０】
なお、感情的状態の判定は、音声信号データの時間進行方向に沿って逐次的に行っていくため、フレーム番号ｔがこの時間軸に対して単調増大とすることで、ｅtを判定する段階でｅt-1が既に判定されている状態を構成できる。
【０１１１】
以上の処理を、全てのフレームに渡って行うことで、全てのフレームに対して感情的状態遷移確率を計算することができる。
【０１１２】
以上がステップＳ１４０の詳細処理である。
【０１１３】
次に、ステップＳ１５０では、ステップＳ１３０及びステップＳ１４０において計算された音声特徴量出現確率及び感情的状態遷移確率に基づいて、感情的状態確率が計算される。
【０１１４】
以下に、ステップＳ１５０で行う感情的状態確率を計算する処理の一例について説明する。
【０１１５】
前記統計モデルｐA（ｘt｜ｅt）と、ｐB（ｅt｜ｅt-1）の組は、合わせて一般化状態空間モデルと呼ばれる構造を有しており、音声認識などによく用いられるＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ）などと同様の因果構造（例えば、図９中の符号Ｓt1で示される感情状態ｅt-1，ｅtと、符号Ｓt2で示される音声特徴量ｘt-1，ｘtである）を有する。
【０１１６】
一般化状態空間モデルは、時刻ｔまでの観測系列{ｘt}を得た場合に、時刻ｔでの内部状態ｅtの確率分布ｐ（ｅt｜{ｘt}）は、ｐA（ｘt｜ｅt）とｐB（ｅt｜ｅt-1）に基づき、以下の式を再帰的に計算することで求めることができる（例えば、非特許文献５参照）。
【０１１７】
【数３】
2008269065.tif 000005
【０１１８】
ただし、Ｅは、ｅtが取りうる全ての値の集合である。
【０１１９】
一般に、一般化状態空間モデルにおいては、Ｅの値が非常に大きな値となるため、前記式を直接計算してｐ（ｅt｜{ｘt}）の値を求めることは困難である。
【０１２０】
本実施形態では、ｅtが取りうる全ての値は、取り扱う感情的状態、つまり、喜び、怒り、哀しみ、恐怖、驚き、焦り等であるため、この数を｜ｅ｜とすると、ｅt＝{ｅt，ｅt-1，・・・，ｅt-n+1}におけるありうる全ての組み合わせを考えたとき、Ｅのサイズは｜ｅ｜nである。
【０１２１】
例えば、本実施形態においては、想定する取り扱う感情的状態の数｜ｅ｜は、例えば、喜び、怒り、哀しみ、恐怖、驚き、焦り、平静、などが想定され、およそ１０程度である。このとき、例えば、ｎ＝３とすれば、Ｅのサイズオーダにして１０3程度であり、現在普及している汎用的なコンピュータであっても、前記表式を十分に直接計算可能な規模である。
【０１２２】
従って、本実施形態では、この表式の確率分布ｐ（ｅt｜{ｘt}）の値を直接計算することが可能であるので、直接計算することで感情的状態確率を計算するものとする。
【０１２３】
更に、ｅtの要素からｅtを除外したものをｅ’t＝{ｅt-1，・・・，ｅt-n+1}とし、かつｅ’tが取りうる全ての値の集合Ｅ’と表すとすると、フレーム毎の感情的状態ｅtの感情的状態確率は、
【０１２４】
【数４】
2008269065.tif 000006
【０１２５】
を計算することで求めることが可能である。図１０に、喜び、哀しみ、平静の感情的状態を扱った場合の感情的状態確率の例を示す。即ち、図１０中の符号Ｌ１で示す曲線が喜びの感情的状態確率、符号Ｌ２で示す曲線が平静の感情的状態確率、符号Ｌ３で示す曲線が哀しみの感情的状態確率である。
【０１２６】
以上の処理を全てのフレームに渡って行うことによって、全てのフレームに対して感情的状態確率を計算することが可能である。
【０１２７】
以上がステップＳ１５０の詳細処理である。
【０１２８】
ステップＳ１６０において、ステップＳ１５０において計算された感情的状態確率が感情判定手段に取り込まれ、感情的状態確率に基づいて感情的状態が判定される。
【０１２９】
以下、感情的状態を判定するステップＳ１６０の処理の一例を説明する。なお、以下の説明では、取り扱う感情的状態のカテゴリを順にｅ1、ｅ2、・・・、ｅ|e|とインデクス付けする。例えば、喜び、怒り、哀しみ、恐怖、驚き、焦り、平静の感情的状態を取り扱う場合には、ｅ1：喜び、ｅ2：怒り、ｅ3：哀しみ、ｅ4：恐怖、ｅ5：驚き、ｅ6：焦り、ｅ7：平静等とすればよく、この場合は、｜ｅ｜＝７である。
【０１３０】
ステップＳ１５０で、フレーム番号ｔのフレームＦtにおける感情的状態がｅkである感情的状態確率ｐkt＝ｐ（ｅt＝ｅk｜{ｘt}）を計算しているため、最も単純には、この確率ｐktが最も高いｅkに対応する感情的状態を、Ｆtにおける感情的状態と判定することができる。あるいは、ｐktが高い値をとるｅkを、降順に１つ以上選出し、これら複数の感情的状態を持って判定結果としてもよい。
【０１３１】
または、感情的状態によっては、同時刻に相互想起しやすいものと、しにくいものとがある。例えば、喜びと哀しみは同時に想起しにくいことは容易に想像できる。このような現象を考慮して、ある感情的状態ｅkに対応する感情的状態確率ｐktから、その他の感情的状態{ｅ1，ｅ2，・・・，ｅk-1，ｅk+1，・・・，ｅ|e|}に対応する感情的状態確率{ｐ1t，ｐ2t，・・・，ｐk-1t，ｐk+1t，・・・，ｐ|e|t}の凸結合である、
【０１３２】
【数５】
2008269065.tif 000007
【０１３３】
を減算し、規格化したものを新たなｐktとして、これを比較してもよい。
【０１３４】
または、簡単に、予めある閾値を定め、これよりも値の大きなｐktに対応する感情的状態ｅkを、感情的状態と判定してもよい。
【０１３５】
以上の処理を全てのフレームに渡って行うことによって、フレーム毎に感情的状態を判定することが可能である。
【０１３６】
以上がステップＳ１６０の詳細処理である。
【０１３７】
以上のステップＳ１１０〜Ｓ１６０によって、任意の音声信号データを含むコンテンツに対して、フレーム毎に感情的状態を判定することが可能となる。
【０１３８】
そして、ステップＳ１７０では、ステップＳ１５０において計算された感情的状態確率，ステップＳ１６０で判定した感情的状態に基づいて感情、感情度を推定し出力する。
【０１３９】
以下、感情、感情度を推定する処理の一例について説明する。本実施形態においては、連続する発話であると考えられる発話区間の集合は１つの区間としてまとめる処理を行っておく。以下、この連続する発話で構成される発話区間集合のことを音声小段落と呼ぶ。
【０１４０】
ここで、音声小段落を生成する方法の一例を説明する。
【０１４１】
まず、発話区間であると考えられる区間を抽出する。このような区間を抽出する方法の一例としては、音声波形における発話区間の周期性を利用して、自己相関関数の高い区間を発話区間であると見做して、該当区間を抽出する方法がある。
【０１４２】
実際には、ある閾値よりも高い自己相関関数値を示す区間を、発話区間であると見做す。この閾値の与え方は、予め定数として与えてもよいし、コンテンツ全体の自己相関関数値を計算した後、一般の場合の発話時間（または、有声時間）と非発話時間（または、無声時間）の割合を基準として、この基準に近い発話時間割合になるように閾値を決定してもよい。
【０１４３】
本実施形態においては、発話区間を構成する単位はフレーム単位である。即ち、音声特徴量ベクトルに基本周波数が含まれていれば、これがある閾値よりも高い区間を発話区間（即ち、発話フレーム）と見做してもよい。
【０１４４】
以上の処理によって、コンテンツ中からフレーム単位で発話フレームと非発話フレームを分離することが可能である。
【０１４５】
次に、抽出された発話フレームのうち、連続する発話であると考えられる発話フレーム集合を１つの区間としてまとめていくことで、音声小段落を生成する。
【０１４６】
このような音声小段落を生成する方法の一例について説明する。
【０１４７】
コンテンツ中の発話フレームＦ’の集合を時刻の早いものから順に{Ｆ’1，Ｆ’2，・・・， Ｆ'N}とする。ここで、Ｎは発話フレームの総数である。
【０１４８】
次に、時間軸上隣り合う発話フレームＦ’i、Ｆ’i+1の時間間隔、すなわち、Ｆ’iの終了時刻Ｆ’iendと、次のフレームであるＦ’i+1の開始時刻Ｆ’i+1startについて、その時刻の差Ｆi+1start−Ｆiendを計算する。
【０１４９】
次に、その計算結果を予め決定したある閾値と比較して小さければ、ＦiとＦi+1は連続する発話フレームであると考え、１つの音声小段落を構成する。
【０１５０】
そして、これを全てのフレームに渡り繰り返すことで、連続発話と考えられるフレームは音声小段落にまとめることができる。
【０１５１】
また、音声小段落を生成する方法の他例としては、次のようなものが考えられる。
【０１５２】
まず、コンテンツ全体に渡り発話フレーム毎に開始時刻、終了時刻を求め、これらを纏めて２次元のベクトルと見做す。
【０１５３】
そして、このベクトルについて、コンテンツ全体の発話時間と非発話時間の比が、一般の場合の発話時間と非発話時間の割合と同じ程度になるようにボトムアップクラスタリング法を適用し、音声小段落を生成する。但し、対象となるコンテンツのジャンル等が、コンテンツの属性情報等から予め既知である場合には、これに応じて目標とする割合を変えても良い。  
【０１５４】
上述の他例においては、予め閾値を決定しておく方法とは異なり、コンテンツ間の発話速度の差を吸収し、適応的に音声小段落を構成できる。
【０１５５】
以上の処理により、各音声小段落は、１つ又は連続するフレームの集合を必ず含むこととなり、コンテンツ中に含まれる発話フレーム全体を、いくつかの音声小段落にまとめることが可能である。
【０１５６】
次に、構成した音声小段落単位での感情的状態である感情度を計算する。以下、この感情度を計算する方法の一例を図１１に基づいて説明する。
【０１５７】
コンテンツ中の音声小段落Ｓ’の集合を時刻の早いものから順に{Ｓ1，Ｓ2，・・・，ＳNS}とする。例えば、図１１中では、符号ｖ１で示される音声小段落Ｓi-1，符号ｖ２で示される音声小段落Ｓi，符号ｖ３で示される音声小段落Ｓi+1である。
【０１５８】
ここで、ＮＳは音声小段落の総数である。また、ある音声小段落Ｓiに含まれる発話フレームを{ｆ1，ｆ2，・・・，ｆNFi}と置く。ＮＦｉは音声小段落Ｓiに含まれる発話フレーム数である。
【０１５９】
各発話フレームｆtは、感情的状態確率計算手段によって、感情的状態確率ｐ（ｅt｜{ｘt}）が与えられている。音声小段落Ｓiの感情的状態ｅが、ｅkである感情度ｐSi（ｅ＝ｅk）は、例えば、平均値を表す次式によって計算することが考えられる。
【０１６０】
【数６】
2008269065.tif 000008
【０１６１】
また、例えば、最大値を表す次式によって計算することも考えられる。
【０１６２】
【数７】
2008269065.tif 000009
【０１６３】
これら以外にも、例えば、音声小段落内で窓掛けを行ってから感情度を計算するなど、方法はさまざま考えられるが、音声小段落間で感情度を比較する場合があるため、感情度はある一定の値の範囲内、例えば０〜１の間に収まるようにすることが好ましい。
【０１６４】
なお、図１１における感情度は、符号Ｈ１〜Ｈ３で示されている感情度である。
【０１６５】
以上のような計算を、全ての音声小段落に渡って行い、全ての音声小段落に対して全ての感情的状態の感情度を与えることが可能である。
【０１６６】
また、音声認識した結果得られるテキスト情報から、感情、感情度を抽出する方法としては、例えば、まず、例えば、特許文献３の技術などを用いて音声情報から音声認識を行ってテキスト情報を得、次に、この得られたテキスト情報から、例えば、特許文献４の技術などを用いて感情表現に対応する単語等を抽出すればよい。
【０１６７】
感情度については、例えば、「単語：“笑える”、感情：“楽しい”、感情度：０．８」や、「単語：“むかつく”→感情：“怒り”、感情度：０．７」等、感情表現に対応する単語と、感情、感情度を対応付けした辞書を保持し、これを参照することで抽出可能である。辞書に未登録の単語の感情、感情度については、例えば、特許文献５に記載の方法などにより、辞書に登録済みの単語と未登録の単語との類似度を計算し、類似度の高い、１つ以上の登録済みの単語の感情度の平均値を該未登録の単語の感情度とすればよい。
【０１６８】
また、例えば、１つの感情カテゴリに帰属させることが難しい単語、例えば、“異様な”などの表現については、「単語：“異様な”→感情：怖い、感情度：０．３  ＡＮＤ  感情：不思議、感情度：０．３」などと複数の感情と感情度に帰属させて処理を実行するとしてもよい。
【０１６９】
また、“とても”などの相対的表現に関しては、特許文献６の技術などを用いることによって数値化ができるため、これに基づいて適宜感情度を調整してもよい。感情度は、数値として計算することとし、好ましくは、ある上限と下限、例えば、１と０など、ある一定の範囲に収める。
【０１７０】
この単語毎に得られた感情度に対して、コンテンツの全体、又は部分に渡り、総和、平均値、最大値等を計算することで、コンテンツの全体、又は部分の感情度を定義してもよい。
【０１７１】
ここで用いる辞書は、設計者が予め設計しておくのでもよいし、ユーザの実際の主観的感覚を考慮するために学習を用いて構築してもよい。
【０１７２】
音声情報を用いて抽出される感情のカテゴリについては、例えば、“楽しい”、“哀しい”、“怖い”、“激しい”、“かっこいい”、“かわいい”、“エキサイティング”、“情熱的”、“ロマンチック”、“暴力的”、“穏やか”、“癒される”、“暖かい”、“冷たい”、“不気味”などをインデクス集合とすればよい。
【０１７３】
また、感情、感情度を抽出する範囲は、コンテンツ全体であっても、コンテンツを所定の区間毎に分割した部分コンテンツ単位であってもよい。
【０１７４】
１つの感情に対して、感情度が複数抽出される場合があるが、この場合は、感情毎に、感情度の総和、平均値、最大値などを計算することによって、該感情の感情度とすればよい。
【０１７５】
このように推定されたコンテンツの感情、感情度を、コンテンツの識別情報と対応付けて、データベース４００に記憶しておく。このデータベース４００は、所定の記憶装置と、コンテンツ、及び感情、感情度を含めたコンテンツの情報によって構成する。この所定の記憶装置は、例えば、個人、家庭内等の比較的小規模な利用範囲の場合は、ユーザ端末内ＨＤＤ、ＨＤＤレコーダ内のＨＤＤ、又はＬＡＮ等によってユーザ端末と接続された所定のサーバ装置内のＨＤＤ、もしくは、ＤＶＤ等持ち出し可能な外部記憶装置によって構成するのでもよいが、本発明の実施形態の例においては、インターネット等の広域通信網等によって接続された複数のユーザ端末間での感情の共有を行う、利用範囲が比較的大規模であるものを取り扱う。この場合には、例えば、広域通信網等によって接続されたサーバ装置を伴う記憶装置としてもよい。
【０１７６】
公開されたコンテンツの感情、感情度の推定と同時に、情報制御部３００が、コンテンツを公開したユーザ端末のユーザ嗜好情報として、コンテンツを公開したユーザ端末の識別情報、公開されたコンテンツの識別情報、コンテンツの公開日時等をユーザ嗜好情報として、図１２に示すように、ユーザ情報記憶部Ｆ２００に記憶する。
【０１７７】
ユーザ端末の識別情報については、例えば、コンテンツ共有サイトなどにおいて、ユーザが利用の際に予めユーザ登録などを行う場合には、ユーザ毎に識別情報を割り当てることができるため、これをユーザ端末の識別情報としてもよい。
【０１７８】
また、ユーザ登録などを行わない場合でも、インターネットなどの通信を介した利用の場合は、通信のために端末毎に割り当てられる識別情報、例えばＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレス等を可能な限り取得すればよい。
【０１７９】
以下では、特に言及しない場合にはこれらは区別せず、ユーザ端末の識別情報と呼ぶ。
【０１８０】
次に、ステップＳ２００において、ユーザ端末からコンテンツ配信要求を受けた時点で、各ユーザ端末の識別情報と、コンテンツの識別情報、コンテンツの配信日時等を対応付け、これをユーザ嗜好情報としてユーザ情報記憶部Ｆ２００に記憶する。
【０１８１】
ユーザ端末２００ａ、２００ｂ、・・・からそれぞれ入力されたコンテンツ配信要求が、所定の通信手段によって情報制御部３００に送信される。この際、各ユーザ端末２００ａ、２００ｂ、・・・は、情報制御部３００によって、ＩＤ等の識別情報に対応付けられ、それぞれ異なるものとして識別される。
【０１８２】
コンテンツ配信要求を受けた場合、情報制御部３００は、要求に対応したコンテンツを、データベース４００に蓄積されたコンテンツの中から検索し、各ユーザ端末２００ａ、２００ｂ、・・・に配信する。この際、図１２に示すように、コンテンツの配信先であるユーザ端末の識別情報、配信されたコンテンツの識別情報、コンテンツ配信日時等をユーザ嗜好情報として、ユーザ情報記憶部Ｆ２００に記憶する。
【０１８３】
この時、コンテンツの配信日時だけでなく、例えば、視聴開始時刻及び視聴終了時刻といった様々な時刻情報と、前記嗜好情報及び／又は動作情報の時間的な変化を前記時刻情報と対応づけて記憶しておくことにより、後述するユーザ端末間の関連付けの際、ユーザの感情の動的な変化を考慮することができる。
【０１８４】
次に、ユーザ関連付け部Ｆ３００が、記憶されたユーザ嗜好情報に基づいて、各ユーザ端末間の関連付けを行う。本発明の実施形態の第１例においては、この関連付けは、ユーザ嗜好情報に含まれるコンテンツの感情、感情度の類似度合いを類似度として計算し、この類似度に基づいて関連付けを行う。
【０１８５】
関連付けを行うタイミングとしては、例えば、コンテンツ共有サイトなどの場合は、当該サイトにアクセスしているユーザ端末の内、所定の割合以上のユーザ端末が、少なくとも一度コンテンツ配信を受けている状態で、かつ、前回の関連付けの処理から所定の時間経過している場合に計算するなどとすればよい。また、ユーザ端末から関連付けの実行を要求された時点で実施するなどとしてもよい。
【０１８６】
以下、説明する関連付けは、少なくとも一度コンテンツの公開をしている、もしくは、配信を受けているユーザ端末のみを対象とすることを想定している。即ち、ユーザ端末の識別情報と、コンテンツの公開／配信日時と、コンテンツの識別情報によって構成されるユーザ嗜好情報が、１つ以上記憶されているユーザ端末のみを対象とする。
【０１８７】
ユーザ関連付け部Ｆ３００が実行する、ユーザ関連付け処理を行うステップＳ３００の処理の流れの１例を示すフロー図を図１３に従って説明する。
【０１８８】
まず、ステップＳ３１０では、ユーザ端末毎に、ユーザ嗜好情報の基準値としての嗜好値を計算する。
【０１８９】
以下、嗜好値を計算する方法の１例を説明する。例えば、ユーザ端末２００ａについて、ｉ番目に視聴したコンテンツの、ｋ番目のカテゴリｅkの感情度をｒｉ（ｅk）と表し、視聴したコンテンツの数をＮと表す。各ｒｉ（ｅk）は、０〜１の間の数値などに規格化されていることが好ましい。このとき、例えば、ユーザ端末２００ａのｋ番目の感情のカテゴリｅkの嗜好値Ｒａ（ｅk）は、
【０１９０】
【数８】
2008269065.tif 000010
【０１９１】
によって計算することが考えられる。
【０１９２】
ここで、ｗｉは重みであり、例えば、コンテンツ視聴時の時刻が最近であるものほど、大きな値とすることが考えられる。また、エビングハウスの忘却曲線など、心理学の知見を取り入れた忘却モデルを導入し、これを過去のコンテンツの視聴時刻と対応付けて重みを決定してもよい。
【０１９３】
このような重み付け処理によって、ユーザの嗜好の変化を考慮に入れた嗜好値を計算できる。例えば、ユーザ端末２００ａが、以前は“楽しい”印象のコンテンツを好んでいたが、最近は“泣ける”印象のコンテンツを好んでいるため、似たような傾向を持つユーザ端末と関連付けをする、など、より適時性と精度の高い関連付けを実行できる。
【０１９４】
同様に、ユーザ端末２００ｂ、２００ｃ、・・・についてもそれぞれ、感情カテゴリｅk毎の嗜好値Ｒｂ（ｅk）、Ｒｃ（ｅk）、・・・として計算する。
【０１９５】
次に、ステップＳ３２０で、各ユーザ端末２００ａ、２００ｂ、・・・の嗜好値に基づいて、ユーザ端末間の類似度を計算する。類似度は、例えば、ユーザ端末２００ａの嗜好値に対して、その他のユーザ端末２００ｂ、２００ｃ、・・・の嗜好値がどれだけ類似しているかを表す。以下、ユーザ端末２００ａとユーザ端末２００ｂの類似度を計算する方法の１例について説明する。
【０１９６】
例えば、ユーザ端末２００ａとユーザ端末２００ｂの類似度ｆｓ（ａ、ｂ）は、感情カテゴリのインデクス集合をＫ、その数を＃（Ｋ）とすれば、
【０１９７】
【数９】
2008269065.tif 000011
【０１９８】
によって計算することができる。類似度の計算式は上記式９に限らず、例えば、分母は対象となるユーザ間の嗜好値のｐ次平均ノルム等によって代替してもよい。
【０１９９】
更には、過去の嗜好値を記憶しておき、この値による修正を加えて嗜好値を計算してもよい。過去の嗜好値を考慮することで、ユーザの嗜好の不変性や大きな変化を捉えることができる。
【０２００】
同様に、ユーザ端末２００ａについて、ユーザ端末２００ｃ、２００ｄ・・・との類似度についてもそれぞれ、ｆｓ（ａ、ｃ）、ｆｓ（ａ、ｄ）・・・として計算し、ユーザ端末２００ｂ、２００ｃ・・・についても、その他の端末との類似度ｆｓ（ｂ、ｃ）、ｆｓ（ｂ、ｄ）、・・・を計算していく。このような処理によって、対象となる全ての２ユーザ端末間の類似度を計算することができる。
【０２０１】
以上の嗜好値の計算、及び類似度の計算は、必ずしもユーザ嗜好情報の全ての情報を用いる必要はない。例えば、ユーザの公開したコンテンツのみに対して嗜好値を計算することや、ユーザの視聴したコンテンツのみに対して嗜好値を計算してもよい。
【０２０２】
例えば、ユーザ端末２００ａの視聴したコンテンツのみの情報を用いて嗜好値を計算した場合、この嗜好値はユーザ端末２００ａの視聴についての嗜好の指標（視聴嗜好値）となり、又、ユーザ端末２００ｂの公開したコンテンツのみの情報を用いて嗜好値を計算した場合、この嗜好値はユーザ端末２００ｂの公開したコンテンツの嗜好の傾向の指標（公開嗜好値）となる。
【０２０３】
これらの値を用いて、例えば、ユーザ端末２００ａの視聴嗜好値とユーザ端末２００ｂの公開嗜好値の類似度が高い場合等には、後に説明する通知のプロセスにおいて、ユーザ端末２００ａに、嗜好に合うコンテンツを公開しているユーザとしてユーザ端末２００ｂの情報を通知すること等もできる。
【０２０４】
またこの他、例えば、あるユーザと、その他の１人以上のユーザとの類似度の総和等を計算したとき、この値はどれだけ多くのユーザとどれだけ強く類似しているかを表す指標（総合類似度）．となる。
【０２０５】
例えば、ユーザ端末２００ａについて、その公開嗜好値と、他のユーザ端末２００ｂ、２００ｃ、・・・の視聴嗜好値との総合類似度が、他のユーザ端末で同様に計算した総合類似度よりも高いとする。これに基づき、ユーザ端末２００ａは多くのユーザに強く嗜好されるコンテンツを公開しているとして、他のユーザに情報を通知すること等もできる。
【０２０６】
最後に、通知部Ｆ４００が、類似度に基づいた結果を各ユーザ端末２００ａ、２００ｂ、・・・に送信する。
【０２０７】
通知部Ｆ４００は、ユーザ関連付け部Ｆ３００によって計算された類似度に基づいた結果を各ユーザ端末に通知する。以下、この処理を実行するステップＳ４００について説明する。通知の方法としては、あるユーザ端末に対して、類似度の高いユーザ端末に関する情報を通知すればよい。通知する結果としては、例えば、コンテンツ共有サイトなどにおいて、各ユーザが事前にユーザ登録を行って利用するような場合には、その登録時に各ユーザが入力したプロフィール情報のうち、公開を許可されているプロフィール情報や、そのユーザ端末の嗜好値などのユーザ情報などがある。
【０２０８】
この他の通知する情報としては、類似度の高いユーザ（類似ユーザ）端末に配信されたコンテンツの属性情報、コンテンツの感情と感情度、サムネイル、要約などのコンテンツに関する情報などが考えられる。
【０２０９】
通知するコンテンツの数としては、類似ユーザ端末毎に、例えば、最近配信されたものから順に１つ、２つなど、予め定数として定めておいてもよいし、類似度のランキングに応じて数を変えてもよい。
【０２１０】
コンテンツの属性情報としては、コンテンツのタイトル、製作者、キーワード、概要、作成日時、フォーマット、関連するコンテンツの属性情報等が考えられ、これらは、例えば、ＭＰＥＧ７等、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）による記述形式に則っている場合等には簡単に付与することが可能である。
【０２１１】
以下では、要約コンテンツを作成する方法の１例を説明する。
【０２１２】
要約コンテンツは、音声小段落を単位として構成される、音声段落を生成し、これを単位として作成する。音声段落は、例えば、５ｓ（セコンド）、１０ｓなどの音声段落の目標時間を設定として、これに近づくように音声小段落をまとめていくものが考えられる。
【０２１３】
あるいは、音声小段落間の無声区間が、ある一定の閾値以下である場合にはこれをまとめることで音声段落を構成することが考えられる。
【０２１４】
感情度は、音声小段落単位で与えられているため、各音声段落は、１つ以上の感情度を含むことになる。例えば、図１４中の音声段落ＶＣ１は音声小段落ｖ１１，ｖ１２，ｖ１３を含み、さらに、音声小段落ｖ１１は、感情度Ｈ１１〜Ｈ１３を含む。
【０２１５】
実際には、これらの感情度に基づいて、音声段落の累積感情度を計算する。この計算方法としては、例えば、音声小段落の感情度の平均、重み付け平均を取るものや、最大値を取るものが考えられる。
【０２１６】
要約コンテンツは、累積感情度の大きい音声段落から降順にランキングし、全コンテンツとの比である圧縮率をある一定の目標値に近づくように上位から順番に音声段落を抽出することで作成してもよい。
【０２１７】
なお、この目標値は視聴者が希望のものを入力してもよい。更には、視聴者が累積感情度に対応する基準の値を入力し、その基準に整合する音声段落部分を優先的に抽出して要約を作成してもよい。
【０２１８】
要約コンテンツは、例えば、要約が提示されているモニタ２４１上の領域を、ユーザがポインティングデバイス２１２等を用いてポイントする等の操作によって再生可能なものとする。
【０２１９】
サムネイルについては、前述の要約のうち所定の時間箇所、例えば、要約コンテンツの先頭の画像、中央の画像等を静止画として抽出し、提示する、といった方法がある。また、当該コンテンツ中、最も優勢に表れたと判定される感情において、感情的状態確率の最も高いフレームの画像をサムネイルとしてもよい。
【０２２０】
このような類似度に基づいた結果の通知によって、各ユーザは自分の嗜好、感情と類似している可能性の高いユーザとのコミュニケーションの機会や、自分の嗜好、感情に合うと判断されたコンテンツの情報を得ることができる。
【０２２１】
更に、この結果の通知によって、ユーザが起こした行動の履歴を記憶しておくことで、類似度のみに依存しない二次的なユーザ支援を実行することもできる。
【０２２２】
例えば、前回の類似度計算の結果、ユーザ端末２００ａに対してユーザ端末２００ｂが、ユーザ端末２００ｂに対してユーザ端末２００ｃが類似度の高いユーザ端末であるとして紹介されていたとする。この時、ユーザ端末２００ａとユーザ端末２００ｂがある一定回数よりも多くのコミュニケーションを取ったことを記憶していた場合、ユーザ端末２００ａとユーザ端末２００ｂの嗜好、感情はより類似性が高いと判断し、ユーザ端末２００ａに対してユーザ端末２００ｃを新たに紹介する、などが挙げられる。
[実施形態の第２例]
本発明の実施形態の第２例は、ユーザ支援を実行する際、コンテンツの音声情報と映像情報から感情、感情度を抽出し、この情報に基づいて、ユーザ嗜好情報を求め、ユーザ同士の関連付けを実行する場合についてである。
【０２２３】
本発明の実施形態の第２例に係る処理の流れ、装置の具体的構成の１例は、それぞれ図１のフロー図、図２のブロック図の範囲に示されている限り、本発明の実施形態の第１例の場合と同じとしてよい。
【０２２４】
実施形態の第１例との違いは、感情推定部Ｆ１００において、音声情報のみではなく、映像情報も用いて、ユーザ嗜好情報を求める点である。以下、感情推定部Ｆ１００によって実行される、ステップＳ１００の感情、感情度の推定方法の１例について説明する。その他の処理の流れ、及び装置の具体的構成は、全て実施形態の第１例と同じとしてよい。
【０２２５】
感情推定部Ｆ１００は、コンテンツに含まれる音声情報のうち、韻律情報、音声認識した結果得られるテキスト情報のうち何れか１つ以上の情報、及び、映像情報のうち、色情報、編集情報、動きベクトル情報のうち何れか１つ以上の情報に基づいて、コンテンツの感情、感情度を計算する。音声情報に関しては、本発明の実施形態の第１例に説明したものと全く同じものとすればよい。
【０２２６】
映像情報のうち色情報に含まれるものとしては、例えば、単一画素及び／又は１つ以上の画素によって構成される領域毎に計算された色相値及びこの時間変動特性、単一画素及び／又は１つ以上の画素によって構成される領域毎に計算された輝度値及びこの時間変動特性、色相ヒストグラム、色相ヒストグラムの時間変動特性、輝度ヒストグラム、輝度ヒストグラムの時間変動特性等がある。これらの情報の抽出方法としては、例えば、非特許文献６などに示されている方法を用いることができる。
【０２２７】
編集情報としては、例えば、カット点頻度、ショット長、ワイプやディゾルブ等のショット間のつなぎ効果情報がある。これらの情報の抽出方法としては、例えば、非特許文献６、などに示されている方法を用いることができる。
【０２２８】
動きベクトル情報としては、カメラワーク情報、撮像対象の動作情報等がある。これらは画像全体及び／又は特定の領域において、例えば、非特許文献７に記載の方法などを用いて、動きベクトル情報を抽出すればよい。
【０２２９】
これらの情報から感情、感情度を抽出する方法の一例としては、学習によって構成した統計モデルによって行うことができる。この際の、学習用映像情報は、抽出した映像情報と、人手によって、感情のカテゴリに対応したラベルが付与されているものとする。
【０２３０】
感情と、統計モデルを対応付けることで、感情毎に確率を計算するための統計モデルを獲得する。統計モデルとしては、例えば、正規分布、混合正規分布、隠れマルコフモデル、一般化状態空間モデルなどを用いるのでもよい。好ましくは、感情の時間遷移をモデル化できる、隠れマルコフモデル、一般化状態空間モデルなどの時系列モデルを採用する。
【０２３１】
これらの映像モデルのパラメータの推定方法は、例えば、最尤推定法や、ＥＭアルゴリズム、変分ベイズ法などが公知のものとして知られており、これらを用いることができる。詳しくは非特許文献８、非特許文献９などを参照されたい。感情度は、例えば、計算された各感情の確率、又は所定の区間に含まれる確率の平均値や最大値などを感情度と見做せばよい。
【０２３２】
また、これ以外にも、例えば、特許文献７の技術を用いて撮像対象を認識した結果の情報等を考慮してもよい。特に、撮像対象が人物等である場合、顔の表情情報等も加えて考慮してもよい。
【０２３３】
この場合の感情、感情度は、例えば、撮像対象のカテゴリに応じて、「撮像対象：“ぬいぐるみ”→感情：“かわいい”、感情度：０．６」、「撮像対象：“花”感情：“綺麗”、感情度：０．４」等、感情と対応付けることのできる撮像対象と、感情、感情度を対応付けた辞書を保持し、これを参照することで抽出可能である。この辞書は、ユーザの実際の主観的感覚を考慮するために学習を用いて構築してもよい。
【０２３４】
顔の表情情報は、例えば、特許文献８に開示されている方法などによって、映像中の顔と判断される領域を検出し、更に、特許文献９に開示されている方法などによって、顔の表情情報を抽出できる。
【０２３５】
感情度については、例えば、顔の表情を認識した結果が、“楽しい”と判定された場合には、“楽しい”感情についての感情度を所定値増加させるなど、認識結果の感情と対応する感情の感情度を所定値増加させる、及び／又は、それ以外の感情と対応する感情の感情度を所定値減少させる等の方法を取ることができる。
【０２３６】
映像情報を用いて抽出される感情のカテゴリについては、音声情報を用いて抽出されるカテゴリと同一としてよい。また、感情、感情度を抽出する範囲は、コンテンツ全体であっても、コンテンツを所定の区間毎に分割した部分コンテンツ単位であってもよい。
【０２３７】
感情度については、１つの感情に対して、感情度が複数抽出される場合があるが、この場合は、感情毎に、感情度の平均値、最大値などを計算することによって、該感情の感情度とすればよい。
【０２３８】
このように推定されたコンテンツの感情、感情度を、コンテンツの識別情報と対応付けて、データベース４００に記憶しておく。
【０２３９】
以降、ステップＳ２００以降の処理の流れは、本発明の実施形態の第１例と同様に実行すればよい。
[実施形態の第３例]
本発明の実施形態の第３例は、実施形態の第１例、第２例において求め、記憶したユーザ嗜好情報に、更に、コンテンツ視聴時のユーザの活動情報をセンシングすることで取得し、記憶しておく場合である。
【０２４０】
本発明の実施形態の第３例に係る処理の流れを図１５のフロー図、装置の具体的構成を図１６のブロック図に示す。
【０２４１】
この実施形態の第３例におけるユーザ支援装置１００は、少なくともユーザ端末２００ａ、２００ｂ、・・・、情報制御部３００、データベース４００が相互に通信可能な所定の通信手段を介して接続されることで構成される。
【０２４２】
各ユーザ端末２００ａ、２００ｂ、・・・の構成を説明するブロック図を図１７に示す。ユーザ端末２００ａ、２００ｂ、・・・は、実施形態の第１例、及び第２例の構成に加え、更に、ユーザの動作情報を取得する手段として、身体センサ２５０を備えたものとする。この身体センサとしては、撮像装置、収音装置、圧力センサ、加速度センサ、温度センサ、脈拍センサ、筋電センサ、発汗センサ、脳波センサ等がある。
【０２４３】
また、情報制御部３００は機能毎に、感情推定部Ｆ１００、ユーザ情報記憶部Ｆ２００、ユーザ関連付け部Ｆ３００、通知部Ｆ４００、活動情報認識部Ｆ５００を備えているものとする。
【０２４４】
感情推定部Ｆ１００が、コンテンツについての感情、感情度を抽出しておき、コンテンツをユーザ端末に配信する際、各ユーザ端末の識別情報とコンテンツの識別情報を対応付け、これをユーザ嗜好情報としてユーザ情報記憶部Ｆ２００に記憶する処理は、全て実施形態の第１例、又は第２例における処理と全く同様としてよい。
【０２４５】
本実施形態では更に、活動情報認識部Ｆ５００が、ユーザ端末にコンテンツを配信した後、コンテンツ視聴時のユーザの活動情報を認識する。この結果得られた活動情報を、コンテンツを分析することによって取得したユーザ嗜好情報に加えて、ユーザ情報記憶部Ｆ２００に記憶する。
【０２４６】
以下、本発明の実施形態の第３例の処理の流れの１例について、図１５のフロー図を用いて詳細に説明する。
【０２４７】
ステップＳ１００Ｂ、及びステップＳ２００Ｂでは、実施形態の第１例、又は第２例のステップＳ１００、ステップＳ２００と全く同様の処理を行うものとしてよい。
【０２４８】
ステップＳ３００Ｂでは、活動情報認識部Ｆ５００において、各ユーザ端末にコンテンツを配信後、ユーザ端末２００内の身体センサ２５０によってコンテンツ視聴時の活動情報が取得される。この活動情報は、例えば、動作情報、音声情報、生体情報のうち少なくとも１つによって構成することができる。
【０２４９】
動作情報としては、例えば、顔の表情情報、姿勢情報、キーボード２１１、ポインティングデバイス２１２等の操作頻度情報、操作量情報等がある。
【０２５０】
このうち、顔の表情情報は、例えば、撮像装置によって取得された画像情報から、特許文献６に開示されている方法などによって、映像中の顔と判断される領域を検出し、更に、特許文献７に開示されている方法を用いること等によって、顔の表情を特徴づける特徴ベクトルとして数値によって抽出することができる。
【０２５１】
また、姿勢情報としては、例えば、撮像装置、加速度センサ、筋電センサ等によって取得することができる。
【０２５２】
撮像装置によって取得する場合には、例えば、映像中の人物の領域を検出し、その垂直方向軸からの傾きや、人物領域の大きさ等によって数値として抽出することができる。
【０２５３】
またその他、手の動きなどを計測することが考えられ、例えば、ユーザが手首に加速度センサを装着している場合には、積分演算によって単位時間あたりの移動量を計算できるので、これを速度ベクトル、及び、速さであるノルムとして数値によって抽出することができる。
【０２５４】
操作頻度、操作量情報は、それぞれ、単位時間あたりのキーボード２１１のキーの押下げ、押上げの回数や、ポインティングデバイス２１２によるポインタの移動量、クリック数等として、数値として得ることができる。
【０２５５】
音声情報としては、ユーザの発話音声の韻律情報や、発話を音声認識した結果得られるテキスト情報等があり、これらは、本発明の実施形態の第１例の、ステップＳ１００でコンテンツの感情推定部Ｆ１００が実行した方法と同じ方法で、各感情の感情度として数値化することができる。
【０２５６】
生体情報としては、例えば、体温情報、脈拍情報、発汗情報、脳波情報等がある。
【０２５７】
これらは、温度センサ、脈拍センサ、筋電センサ、発汗センサ、脳波センサ等、種々の生体センサを用いて数値として取得することができる。
【０２５８】
こられの活動情報を抽出するタイミングとしては、例えば、コンテンツがユーザ端末に配信されてから、ユーザ端末内でコンテンツの再生が終了するまで、一定の間隔で抽出するのでもよい。
【０２５９】
また、配信したコンテンツの再生箇所（時刻）の情報と、ステップＳ１００Ｂで推定されている感情度の情報に基づいて、感情度が相対的に高い箇所を再生しているタイミングで抽出を行ってもよい。
【０２６０】
以上のようにして得られた各活動情報を、図１８に示すようにユーザ嗜好情報に追加する形式で、ユーザ情報記憶部Ｆ２００に記憶する。
【０２６１】
次に、ユーザ関連付け部Ｆ３００が、記憶されたユーザ嗜好情報に基づいて、各ユーザ端末間の関連付けを行う。本発明の実施形態の第３例においては、この関連付けは、ユーザ嗜好情報の類似度合いを類似度として計算し、この類似度に基づいて関連付けを行う。
【０２６２】
関連付けを行うタイミングとしては、例えば、コンテンツ共有サイトなどの場合は、当該サイトにアクセスしているユーザ端末の内、所定の割合以上のユーザ端末が、少なくとも一度コンテンツ配信を受けている状態で、かつ、前回の関連付けの処理から所定の時間経過している場合に計算するなどとすればよい。また、ユーザ端末から関連付けの実行を要求された時点で実施するなどとしてもよい。
【０２６３】
以下、説明する関連付けは、少なくとも一度コンテンツ配信を受ける、即ち、ユーザ端末の識別情報と、コンテンツの配信日時と、コンテンツの識別情報によって構成される配信記録が、１つ以上記憶されているユーザ端末のみを対象とする。
【０２６４】
ユーザ関連付け部Ｆ３００が実行する、ユーザ関連付け処理を行うステップＳ４００Ｂの処理の流れの１例を示すフロー図である図１９に従って説明する。
【０２６５】
まず、ステップＳ４１０Ｂでは、実施形態の第１例、第２例同様、ユーザ端末毎に、コンテンツを分析することで推定された感情、感情度に基づいた嗜好値を計算する。以下、これに該当する嗜好値を、コンテンツ嗜好値と呼ぶ。コンテンツ嗜好値の計算については、本発明の実施形態の第１例のステップＳ３１０で説明したものと全く同様としてよい。
【０２６６】
次に、ステップＳ４２０Ｂで、ユーザ端末毎に、活動情報によって得られたユーザ嗜好情報に基づいた嗜好ちを計算する。以下、これに該当する嗜好値を、活動嗜好値と呼ぶ。
【０２６７】
以下、活動嗜好値を計算する方法の１例を説明する。例えば、ユーザ端末２００ａについて、ｉ番目に視聴したコンテンツ視聴時の、ｋ番目の活動情報ｍkの計算値をｑｉ（ｍk）と表し、視聴したコンテンツの数をＮと表す。各ｑｉ（ｍk）は、例えば、０〜１の間などの数値に規格化されていることが好ましい。このとき、例えば、ユーザ端末２００ａのｋ番目の活動情報ｍkに対する活動嗜好値Ｑａ（ｍk）は、重み付け平均値を表す。
【０２６８】
【数１０】
2008269065.tif 000012
【０２６９】
によって計算することが考えられる。ここで、ｖｉは重みであり、例えば、コンテンツ視聴時の時刻が最近であるものほど、大きな値とすることが考えられる。また、エビングハウスの忘却曲線など、心理学の知見を取り入れた忘却モデルを導入し、これを過去のコンテンツの視聴時間と対応付けて重みを決定してもよい。
【０２７０】
このような重み付け処理によって、ユーザの嗜好の変化を考慮に入れた嗜好値を計算でき、より適時性の高い関連付けを実行できる。
【０２７１】
同様に、ユーザ端末２００ｂ、２００ｃ、・・・についてもそれぞれ、各活動情報ｍkに対する活動嗜好値Ｑｂ（ｍk）、Ｑｃ（ｍk）、・・・として計算する。
【０２７２】
以上の計算によって得られたコンテンツ嗜好値、活動嗜好値を合わせて嗜好値とし、これに基づいてステップＳ４３０Ｂでは、各ユーザ端末２００ａ、２００ｂ、・・・のユーザ端末間の類似度を計算する。類似度は、例えば、ユーザ端末２００ａの嗜好値に対して、その他のユーザ端末２００ｂ、２００ｃ、・・・の嗜好値がどれだけ類似しているかを表す。以下、ユーザ端末２００ａとユーザ端末２００ｂの類似度を計算する方法の１例について説明する。
【０２７３】
例えば、ユーザ端末２００ａとユーザ端末２００ｂの類似度ｆｓ（ａ、ｂ）は、感情カテゴリのインデクス集合をＫ、その数を＃（Ｋ）、また、活動情報のインデクス集合をＬ、その数を＃（Ｌ）とすれば、
【０２７４】
【数１１】
2008269065.tif 000013
【０２７５】
によって計算することができる。
【０２７６】
類似度の計算式は上記式１１に限らず、例えば、分母は対象となるユーザ間のコンテンツ嗜好値及び活動嗜好値それぞれのｐ次平均ノルムの和等によって代替してもよい。
【０２７７】
更には、過去の嗜好値を記憶しておき、この値による修正を加えて嗜好値を計算してもよい。過去の嗜好値を考慮することで、ユーザの嗜好の不変性や大きな変化を捉えることができる。この類似度を計算する際、例えば、それぞれの嗜好値の信頼性等の基準に基づいて、数値に重み付けを行ってもよい。これにより、例えば、活動嗜好値に強く反映されるユーザの嗜好や感情がある場合には、活動嗜好値に対する重みを増加させる、等の処理によって、より精度の高い類似度の計算が実行できる。
【０２７８】
同様に、ユーザ端末２００ａについて、ユーザ端末２００ｃ、２００ｄ・・・との類似度についてもそれぞれ、ｆｓ（ａ、ｃ）、ｆｓ（ａ、ｄ）・・・として計算し、ユーザ２００ｂ、２００ｃ・・・についても、その他の端末との類似度ｆｓ（ｂ、ｃ）、ｆｓ（ｂ、ｄ）、・・・を計算していく。このような処理によって、対象となる全ての２ユーザ端末間の類似度を計算することができる。
【０２７９】
以下、本発明の実施形態の第３例におけるステップＳ５００Ｂは、本発明の実施形態の第１例、又は第２例におけるステップＳ４００と全く同じとしてよい。
【０２８０】
以上、この発明によるユーザ支援方法の、実施形態における方法の１例について詳細に説明した。その他、本発明の実施形態として示した１例以外のものであっても、本発明の原理に基づいて取りうる実施形態の範囲においては、適宜その実施形態に変化しうるものである。
【０２８１】
以下では、この発明によってユーザ支援を行う実施例を示す。以下で説明する実施例では、インターネット通信によって、情報制御部３００と、コンテンツを蓄積したデータベース４００を含むサーバ装置５００と接続された各ユーザ端末２００ａ、２００ｂ、・・・間の類似度を計算し、これによって感情の共有によるユーザ支援を行う場合である。
【０２８２】
事前処理として、感情抽出部Ｆ１００内に、感情確率を計算する統計モデルとして、少なくとも音声情報に基づいて感情確率を計算する音声モデルが格納されているものとする。
【０２８３】
各ユーザは、情報制御部Ｆ３００を備えたサーバ装置５００によって供給される所定のコンテンツ共有サイトへアクセスを行い、このサイトにログインすることで各々固有の識別情報（ユーザＩＤ）を付与されているものとする。
［第１実施例］
本実施例は、感情推定部Ｆ１００が、コンテンツ中の音声情報からコンテンツの感情、感情度を抽出し、これに基づいてユーザ嗜好情報を求め、関連付けを行う場合である。第１実施例の具体的装置の構成を図２０に示す。実施手順は以下の通りである。
[手順１]サーバ装置５００が各ユーザ端末２００ａ、２００ｂ、・・・からのコンテンツの公開要請を受けた時点で、固有の識別情報としてＩＤ番号を付与する。感情推定部Ｆ１００が、該コンテンツ中の音声情報から、コンテンツの感情、感情度を推定し、この感情と感情度の情報を、コンテンツの識別情報と共に情報制御部３００内のＨＤＤ３０４に記憶する。さらに、コンテンツを公開したユーザに対して、そのユーザＩＤ毎に、公開したコンテンツの識別情報、公開日時をユーザ嗜好情報記録部Ｆ２００に記憶する。
[手順２]各ユーザが視聴を希望するコンテンツに対しての配信要求を、各ユーザ端末を通してサーバ装置５００に送信し、サーバ装置５００は、対応する各ユーザ端末２００ａ、２００ｂ、・・・にコンテンツを配信する。この際、サーバ装置５００は、ユーザＩＤ毎に、配信日時と、配信したコンテンツの識別情報をユーザ嗜好情報として、ユーザ嗜好情報記録部Ｆ２００に記憶する。
[手順３]全ユーザ端末の内７５％が、少なくとも一度コンテンツを公開した、もしくは視聴をしており、かつ、直前の類似度計算から１５分以上を経過している状態である場合、ユーザ関連付け部Ｆ３００が、少なくとも一度コンテンツの配信を受けているユーザ（ユーザＩＤ）を対象として、関連付けを実行する。
[手順４]類似度計算の結果、各ユーザ（ユーザＩＤ）に対して、類似度の高かったユーザ（ユーザＩＤ）の上位３名ずつについて、ユーザ名等のユーザ情報と、各類似ユーザが直前に視聴したコンテンツ２つのコンテンツ情報、通知部Ｆ４００が配信、通知する。
［第２実施例］
本実施例は、感情推定部Ｆ１００が、コンテンツ中の音声情報及び映像情報からコンテンツの感情、感情度を抽出し、これに基づいてユーザ嗜好情報を求め、関連付けを行う場合である。第２実施例の具体的装置の構成を図２０に示す。実施手順は以下の通りである。
[手順１]サーバ装置５００が各ユーザ端末２００ａ、２００ｂ、・・・からのコンテンツの公開要請を受けた時点で、固有の識別情報としてＩＤ番号を付与する。さらに、感情推定部Ｆ１００が、コンテンツ中の音声情報及び映像情報から、コンテンツの感情、感情度を推定し、この感情と感情度の情報を、コンテンツの識別情報と共に情報制御部３００内のＨＤＤ３０４に記憶する。さらに、コンテンツを公開したユーザに対して、そのユーザＩＤ毎に、公開したコンテンツの識別情報、感情と感情度の情報、公開日時をユーザ嗜好情報記録部Ｆ２００に記憶する。
【０２８４】
以降の[手順２]〜[手順４]は、第１実施例と全く同様である。
［第３実施例］
本実施例は、感情推定部Ｆ１００が、コンテンツ中の音声情報及び映像情報からコンテンツの感情、感情度を抽出し、更に、活動情報認識部Ｆ５００が、ユーザの活動情報を抽出することでユーザ嗜好情報を求め、これに基づいて関連付けを行う場合である。第２実施例の具体的装置の構成を図２１に示す。実施手順は以下の通りである。
[手順１]〜[手順２]は、第２実施例と全く同様である。
[手順４]各ユーザ端末に対して、コンテンツ配信直後、サーバ装置５００は、それぞれのユーザ端末に対して、動作情報取得要求を送信する。これを受けた各ユーザ端末は、身体センサ２５０によって、ユーザの活動情報を取得し、これをサーバ装置５００、活動情報認識部Ｆ５００に送信する。活動情報認識部Ｆ５００は、このユーザの活動情報を、[手順３]で記憶した情報と共に、ユーザＩＤ毎のコンテンツ識別情報に対応付けて記憶しておく。
[手順５]全ユーザ端末の内７５％が、少なくとも一度コンテンツを視聴しており、かつ、直前の類似度計算から１５分以上を経過している状態である場合、ユーザ関連付け部Ｆ３００が、少なくとも一度コンテンツの配信を受けているユーザ（ユーザＩＤ）を対象として、関連付けを実行する。
[手順６]類似度計算の結果、各ユーザ（ユーザＩＤ）に対して、類似度の高かったユーザ（ユーザＩＤ）の上位３名ずつについて、ユーザ名等のユーザ情報と、各類似ユーザが直前に視聴したコンテンツ２つのコンテンツ情報、通知部Ｆ４００が配信、通知する。
【０２８５】
また、本実施形態のユーザ支援装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態のユーザ支援装置における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，、ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０２８６】
【図１】本発明の実施形態の第１例及び第２例における方法の処理の流れを説明するフローチャート。
【図２】本発明の実施形態の第１例及び第２例における装置の構成を説明するブロック図。
【図３】本発明の実施形態の第１例及び第２例におけるユーザ端末の装置の構成を説明するブロック図。
【図４】本発明の実施形態におけるコンテンツの識別情報と感情、感情度を対応付けた情報を説明する図。
【図５】本発明の実施形態における感情検出方法を説明するフローチャート。
【図６】本発明の実施形態における統計モデルを構成するステップの処理詳細を示すフローチャート。
【図７】基本周波数の時間変動特性を求める方法の概念図。
【図８】音声特徴量の時間的な挙動を示す概念図。
【図９】一般化状態空間モデルの概念図。
【図１０】喜び、哀しみ、平静の感情的状態を扱った場合の感情的状態確率の一例を示す図。
【図１１】音声小段落と感情度の関係を示す概念図。
【図１２】本発明の実施形態におけるユーザ嗜好情報を説明する図。
【図１３】本発明の実施形態におけるステップＳ３００を説明するフローチャート。
【図１４】音声段落と感情度の関係を示す概念図。
【図１５】本発明の実施形態の第３例における方法の処理の流れを説明するフローチャート。
【図１６】本発明の実施形態の第３例における装置の構成を説明するブロック図。
【図１７】本発明の実施形態の第３例におけるユーザ端末の装置の構成を説明するブロック図。
【図１８】本発明の実施形態における活動情報を含めたユーザ嗜好情報を説明する図。
【図１９】本発明の実施形態におけるステップＳ４００Ｂを説明するフローチャート。
【図２０】本発明の第１及び第２実施例におけるユーザ支援装置１００の具体的構成を示すブロック図。
【図２１】本発明の第３実施例におけるユーザ支援装置１００の具体的構成を示すブロック図。
【符号の説明】
【０２８７】
１００…ユーザ支援装置
２００，２００ａ，２００ｂ…ユーザ端末
２１０…入力部
２２０…制御部
２３０…記憶部
２４０…表示部
３００…情報制御部
４００…データベース
５００…サーバ装置
Ｆ１００…感情推定部
Ｆ２００…ユーザ情報記憶部
Ｆ３００…ユーザ関連付け部
Ｆ４００…通知部
Ｆ５００…活動情報認識部
【図１】
2008269065.tif 000014
【図２】
2008269065.tif 000015
【図３】
2008269065.tif 000016
【図４】
2008269065.tif 000017
【図５】
2008269065.tif 000018
【図６】
2008269065.tif 000019
【図７】
2008269065.tif 000020
【図８】
2008269065.tif 000021
【図９】
2008269065.tif 000022
【図１０】
2008269065.tif 000023
【図１１】
2008269065.tif 000024
【図１２】
2008269065.tif 000025
【図１３】
2008269065.tif 000026
【図１４】
2008269065.tif 000027
【図１５】
2008269065.tif 000028
【図１６】
2008269065.tif 000029
【図１７】
2008269065.tif 000030
【図１８】
2008269065.tif 000031
【図１９】
2008269065.tif 000032
【図２０】
2008269065.tif 000033
【図２１】
2008269065.tif 000034