(57)【要約】  【課題】発話者が発言するときの感情を反映した感情表現文書を容易に生成する感情表現文書情報生成システムの提供  【解決手段】文脈・感情情報取得装置２３は、カメラ２５及びマイクロフォン２７から映像情報、音声情報を取得すると、文脈情報「今日は良い天気だね」、感情ベクトル（笑い、怒り、悲しみ）を取得する。メディア表現文書情報生成装置２１は、文脈情報から主単語を「天気」に決定する。また、感情ベクトルから感情方向ベクトル（θ、φ）、感情の強さを取得する。さらに、対応する感情反映パラメータ及び感情反映ロジックを取得する。さらに、取得したメディア表現に対して、感情方向ベクトル（θ、φ）、感情の強さ、及び設定パラメータＩＤを用いて、感情反映ロジックに対するメディア表現情報の調整を行う。そして、調整したメディア表現、文脈情報「今日は良い天気だね」、及び主単語情報「天気」に基づいてメディア表現文書を生成する。  【選択図】    図３５
2007299255.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を取得し、取得した画像情報に基づいて当該画像情報に映し出されている者の感情を表す感情情報を取得する感情情報取得装置、
音声情報を取得し、取得した音声情報に対する音声認識処理を実行し、当該音声情報に対応する文脈情報を取得する文脈情報取得装置、
前記感情情報及び前記文脈情報に基づいて、感情表現文書情報を生成する感情表現文書情報生成装置、
を有する感情表現文書情報生成システムであって、
前記感情表現文書情報生成装置は、
前記感情情報、ある単語を表す単語情報、及び、当該感情情報における感情及び当該単語情報における単語を表現する感情表現情報が、関連付けて登録されている感情表現情報データベースを記憶する感情表現情報データベース記憶手段、
取得した文脈情報から、当該文脈情報における文脈の内容を代表する単語を主単語情報として決定する主単語決定手段、
取得した感情情報及び決定した主単語情報に基づいて、前記感情表現情報データベースから対応する感情表現情報を取得する感情表現情報取得手段、
取得した文脈情報及び取得した感情表現情報に基づいて、感情表現文書情報を生成する感情表現文書情報生成手段、
を有すること、
を特徴とする感情表現文書情報生成システム。
【請求項２】
取得した文脈情報から、当該文脈情報における文脈の内容を代表する単語を主単語情報として決定する主単語決定手段、
取得した感情情報及び決定した主単語情報に基づいて、感情を表す感情情報、ある単語を表す単語情報、及び、少なくとも感情情報における感情を表現する感情表現情報が関連付けて登録されている感情表現情報データベースから対応する感情表現情報を取得する感情表現情報取得手段、
取得した文脈情報及び取得した感情表現情報に基づいて、感情表現文書情報を生成する感情表現文書情報生成手段、
を有する感情表現文書情報生成装置。
【請求項３】
前記感情情報及び前記文脈情報に基づいて、感情表現文書情報を生成する感情表現文書文書情報生成プログラムであって、
前記感情表現文書情報生成プログラムは、
コンピュータを、
取得した文脈情報から、当該文脈情報における文脈の内容を代表する単語を主単語情報として決定する主単語決定手段、
取得した感情情報及び決定した主単語情報に基づいて、感情を表す感情情報、ある単語を表す単語情報、及び、少なくとも感情情報における感情を表現する感情表現情報が関連付けて登録されている感情表現情報データベースから対応する感情表現情報を取得する感情表現情報取得手段、
取得した文脈情報及び取得した感情表現情報に基づいて、感情表現文書情報を生成する感情表現文書情報生成手段、
として機能させること、
を特徴とする感情表現文書情報生成プログラム。
【請求項４】
請求項１に係る感情表現文書情報生成システム、請求項２に係る感情表現文書情報性装置、又は請求項３に係る感情表現文書情報生成プログラムのいずれかにおいて、
前記感情表現情報取得手段は、
前記感情情報及び前記主単語情報に対応する前記感情表現情報が存在する場合には、当該感情表現情報を前記感情表現情報データベースから取得し、対応する感情表現情報が存在しない場合には、当該感情情報及び当該主単語情報に最も近い感情表現情報を前記感情表現情報データベースから取得すること、
を特徴とするもの。
【請求項５】
請求項４に係る感情表現文書情報生成システム、感情表現文書情報生成装置、又は感情表現文書情報生成プログラムのいずれかにおいて、
前記感情表現文書情報生成装置は、さらに、
対応する感情表現情報が存在しない場合に取得した前記感情表現情報を、取得した感情情報及び取得した主単語情報に対応するものとして、互いに関連付けて前記感情表現情報データベースに登録する感情表現情報データベース更新手段、
を有するもの。
【請求項６】
請求項４に係る感情表現文書情報生成システム、感情表現文書情報生成装置、又は感情表現文書情報生成プログラムのいずれかにおいて、
前記感情表現文書情報生成装置は、さらに、
前記感情表現文書を生成するに際して用いた主単語情報を別の主単語情報に変更する旨の主単語変更情報を取得する主単語変更情報取得手段、
を有し、
前記感情表現情報取得手段は、
前記感情情報及び変更後の主単語情報に基づいて、前記感情表現情報データベースから対応する感情表現情報を取得し、
前記感情表現情報データベース更新手段は、
主単語情報を変更する前に前記感情表現情報データベースに登録した、主単語情報を変更する前の主単語情報に関する感情表現情報を削除し、新たに、当該感情表現情報を、前記感情情報及び変更された主単語情報に対応するものとして、互いに関連付けて前記感情表現情報データベースに登録すること、
を特徴とするもの。
【請求項７】
請求項１〜請求項６に係る感情表現文書情報生成システム、感情表現文書情報生成装置、又は感情表現文書情報生成プログラムのいずれかにおいて、
前記主単語決定手段は、さらに、
前記主単語情報として決定するにあたって、前記単語毎に設定される、いずれの単語が優先的に主単語として選択されるのかを示す優先情報を用いること、
を特徴とするもの。
【請求項８】
請求項７に係る感情表現文書情報生成システム、感情表現文書情報生成装置、又は感情表現文書情報生成プログラムのいずれかにおいて、さらに、
前記感情表現文書を生成するに際して用いた主単語情報を別の主単語情報に変更する旨の主単語変更情報を取得すると、前記優先情報と対応する単語とが関連付けられて記憶されている主単語データベースにおいて、変更前の主単語情報に対応する単語の優先情報の値を下げ、変更後の主単語情報に対応する単語の優先情報の値を上げる主単語データベース変更手段、
を有すること、
を特徴とするもの。
【請求項９】
請求項１〜請求項８に係る感情表現文書情報生成システム、感情表現文書情報生成装置、又は感情表現文書情報生成プログラムのいずれかにおいて、
前記感情表現情報は、怒り、悲しみ、及び笑いに関する情報であること、
を特徴とするもの。
【請求項１０】
請求項１〜請求項９に係る感情表現文書情報生成システム、感情表現文書情報生成装置、又は感情表現文書情報生成プログラムのいずれかにおいて、
前記感情表現情報は、極座標を用いて表現された情報であること、
を特徴とするもの。
【請求項１１】
取得した文脈情報から、当該文脈情報における文脈の内容を代表する単語を主単語情報として決定し、
取得した感情情報及び決定した主単語情報に基づいて、感情を表す感情情報、ある単語を表す単語情報、及び、少なくとも感情情報における感情を表現する感情表現情報が関連付けて登録されている感情表現情報データベースから対応する感情表現情報を取得し、
取得した文脈情報及び取得した感情表現情報に基づいて、感情表現文書情報を生成する感情表現文書情報生成方法。
【請求項１２】
第１の情報と第２の情報とが関連付けられて登録されているデータベースにおいて、前記第１の情報に対する検索を行うための検索情報を取得し、
前記データベースに前記検索情報に対応する前記第１の情報が存在する場合には、当該第１の情報に関連付けられている前記第２の情報を前記データベースから取得し、
前記データベースに前記検索情報に対応する前記第１の情報が存在しない場合には、当該検索情報に最も近い第１の情報に関連付けられている前記第２の情報を前記データベースから取得し、
前記データベースに前記検索情報に対応する前記第１の情報が存在しない場合に取得した前記第２の情報を、取得した検索情報に対応するものとして、互いに関連付けて前記データベースに登録するデータベース更新方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話者の感情を反映した感情表現文書を生成する感情表現文書情報生成システムであって、特に、発話者が発言するときの感情を反映するものに関する。
【背景技術】
【０００２】
従来、人の感情をコンピュータ上で表現する方法としては次のようなものがあった。例えば、電子メールを生成する際に、電子メールの送信者が相手に伝えたい文章と共に、当該送信者の感情を表現するために、静止画像、動画像、アスキーアート、音声といった補助的な情報（以下、メディア表現情報とする。）を補足的に付け加えて文章を補足し、意思の明確な伝達を促進することがある。メディア表現情報としては、顔文字（(^_^)、m(_ _)m等）、アスキーアート(キタ━━━━━━━(゜∀゜)━━━━━━━!!等)のアスキーアートがある。
【０００３】
また、音声認識技術の分野においては、音声情報から感情を認識し、感情に対応した情報を出力する発明が存在する。例えば、特開２００５−３５２８９２「情報処理装置および情報処理プログラム」では、入力音声から発話者の感情を推測し、出力する顔画像を変化させることによって、発話者の感情を表現している。
【０００４】
【特許文献１】特開２００５−３５２８９２
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述のメディア表現情報を有する文章作成方法には、次のような問題点がある。電子メール等の文章を作成しようとする者は、その都度、自らの感情を表現するアスキーアート等のメディア表現情報を生成する手間がかかる、という問題点がある。
【０００６】
また、前述の特開２００５−３５２８９２では、出力する顔画像が発話者が発言する文脈と関連付けられない。よって、発話者が発言する文脈を補足し、意志の明確な伝達を促進することができない、という問題点がある。
【０００７】
本発明は、発話者が発言するときの感情を反映した感情表現文書を容易に生成する感情表現文書情報生成システムの提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明に関する課題を解決するための手段および発明の効果を以下に示す。
【０００９】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、感情表現文書情報生成プログラム、及び感情表現文書情報生成方法では、取得した文脈情報から、当該文脈情報における文脈の内容を代表する単語を主単語情報として決定し、取得した感情情報及び決定した主単語情報に基づいて、感情を表す感情情報、ある単語を表す単語情報、及び、少なくとも感情情報における感情を表現する感情表現情報が関連付けて登録されている感情表現情報データベースから対応する感情表現情報を取得し、取得した文脈情報及び取得した感情表現情報に基づいて、感情表現文書情報を生成する。
【００１０】
これにより、感情を表現した感情表現文書を容易に生成することができる。
【００１１】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、及び感情表現文書情報生成プログラムでは、前記感情情報及び前記主単語情報に対応する前記感情表現情報が存在する場合には、当該感情表現情報を前記感情表現情報データベースから取得し、対応する感情表現情報が存在しない場合には、当該感情情報及び当該主単語情報に最も近い感情表現情報を前記感情表現情報データベースから取得する。
【００１２】
これにより、感情表現情報が存在しない場合でも、感情表現文書情報を生成することができる。
【００１３】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、及び感情表現文書情報生成プログラムでは、対応する感情表現情報が存在しない場合に取得した前記感情表現情報を、取得した感情情報及び取得した主単語情報に対応するものとして、互いに関連付けて前記感情表現情報データベースに登録する。
【００１４】
これにより、新たな感情表現情報を自動的に登録することができる。感情表現情報データベースの登録数を自動的に増加することができるので、ユーザが使用する毎にユーザが望む感情表現文書情報を生成することができるようにすることができる。
【００１５】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、及び感情表現文書情報生成プログラムでは、前記感情表現文書を生成するに際して用いた主単語情報を別の主単語情報に変更する旨の主単語変更情報を取得し、前記感情情報及び変更後の主単語情報に基づいて、前記感情表現情報データベースから対応する感情表現情報を取得し、主単語情報を変更する前に前記感情表現情報データベースに登録した、主単語情報を変更する前の主単語情報に関する感情表現情報を削除し、新たに、当該感情表現情報を、前記感情情報及び変更された主単語情報に対応するものとして、互いに関連付けて前記感情表現情報データベースに登録する。
【００１６】
これにより、ユーザが望む感情表現情報のみを感情表現情報データベースに登録することができる。
【００１７】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、及び感情表現文書情報生成プログラムでは、前記主単語情報として決定するにあたって、前記単語毎に設定される、いずれの単語が優先的に主単語として選択されるのかを示す優先情報を用いる。
【００１８】
これにより、容易に主単語を決定することができる。
【００１９】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、及び感情表現文書情報生成プログラムでは、前記感情表現文書を生成するに際して用いた主単語情報を別の主単語情報に変更する旨の主単語変更情報を取得すると、前記優先情報と対応する単語とが関連付けられて記憶されている主単語データベースにおいて、変更前の主単語情報に対応する単語の優先情報の値を下げ、変更後の主単語情報に対応する単語の優先情報の値を上げる。
【００２０】
これにより、ユーザが使用する毎に、主単語を決定する際の精度を上げていくことができる。
【００２１】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、及び感情表現文書情報生成プログラムでは、前記感情表現情報は、怒り、悲しみ、及び笑いに関する情報である。
【００２２】
これにより、感情表現情報を容易に表現することができる。
【００２３】
本発明に係る感情表現文書情報生成システム、感情表現文書情報生成装置、及び感情表現文書情報生成プログラムでは、前記感情表現情報は、極座標を用いて表現された情報である。
【００２４】
これにより、感情表現情報を容易に表現することができる。
【００２５】
本発明に係るデータベース更新方法では、第１の情報と第２の情報とが関連付けられて登録されているデータベースにおいて、前記第１の情報に対する検索を行うための検索情報を取得し、前記データベースに前記検索情報に対応する前記第１の情報が存在する場合には、当該第１の情報に関連付けられている前記第２の情報を前記データベースから取得し、前記データベースに前記検索情報に対応する前記第１の情報が存在しない場合には、当該検索情報に最も近い第１の情報に関連付けられている前記第２の情報を前記データベースから取得し、前記データベースに前記検索情報に対応する前記第１の情報が存在しない場合に取得した前記第２の情報を、取得した検索情報に対応するものとして、互いに関連付けて前記データベースに登録する。
【００２６】
これにより、検索情報を与える毎にデータベースの登録数を自動的に増加することができるので、今後の検索において、精度の高い検索を行うことが可能となるデータベースを容易に構築することができる。
【００２７】
ここで、請求項に記載されている要素と実施例における要素との対応関係を示す。感情表現情報生成システムはメディア表現文書情報生成システム１に、感情表現情報生成装置はメディア表現文書情報生成装置２１に、音声認識装置は文脈・感情情報取得装置２３に、感情認識装置は文脈・感情情報取得装置２３に、それぞれ対応する。
【００２８】
感情表現情報データベース及び主単語データベースはハードディスク２１３に、主単語決定手段はＣＰＵ２１１及びメモリ２１２に、感情表現情報取得手段はＣＰＵ２１１及びメモリ２１２に、感情表現文書情報生成手段はＣＰＵ２１１及びメモリ２１２に、感情表現情報データベース更新手段はＣＰＵ２１１及びメモリ２１２に、主単語変更情報取得手段はＣＰＵ２１１及びメモリ２１２に、主単語データベース更新手段はＣＰＵ２１１及びメモリ２１２に、それぞれ該当する。
【００２９】
感情表現情報データベースは単語メディア表現関連データベース及びメディア表現マスタデータベースに、主単語データベースは単語マスタデータベースに、画像情報は映像情報に、感情情報は映像情報に映し出されている者に関する感情情報に、音声情報は映像情報に対応する音声情報に、文脈情報は音声情報に対して音声認識処理を実行したことによって得られる文脈情報に、感情表現文書情報はメディア表現文書情報に、単語情報は単語マスタデータベースに登録されている単語に、感情表現情報はメディア表現情報に、主単語情報は単語化処理によって取得した全ての単語のうち単語マスタデータベース（図５参照）の［単語優先度］列Ｃ５０５の値が最も大きいものに、主単語変更情報は主単語変更ボタンＢ３（図１９参照）が選択されたことを示す情報に、優先情報は単語マスタデータベースの［単語優先度］列Ｃ５０５の値に、それぞれ対応する。
【００３０】
また、第１の情報は単語メディア表現関連データベースのθ及びφの値に、第２の情報は単語メディア表現関連データベースのメディア表現ＩＤに、検索情報は感情方向ベクトルに、それぞれ対応する。
【発明を実施するための最良の形態】
【００３１】
本発明における携帯端末の実施例を以下において説明する。
【実施例１】
【００３２】
1.  概要
本発明に係る感情表現情報生成システムの実施例１に係る機能ブロック図を図１に示す。感情表現情報生成システムＭ１は、感情表現文書情報生成装置Ｍ１１、文脈情報取得装置Ｍ１３、感情情報取得装置Ｍ１５、感情表現情報データベースＭ１７、及び主単語データベースＭ１９を有している。
【００３３】
文脈情報取得装置Ｍ１３は、音声情報を取得し、取得した音声情報に対する音声認識処理を実行し、当該音声情報に対応する文脈情報を取得する。感情情報取得装置Ｍ１５は、画像情報を取得し、取得した画像情報に基づいて当該画像情報に映し出されている者の感情を表す感情情報を取得する。
【００３４】
感情表現情報データベースＭ１７は、感情情報、ある単語を表す単語情報、及び、当該感情情報における感情及び当該単語情報における単語を表現する感情表現情報が、関連付けて登録されている感情表現情報データベースを記憶する。主単語データベースＭ１９は、前記優先情報と対応する単語とが関連付けられて記憶されている。
【００３５】
感情表現文書情報生成装置Ｍ１１は、主単語決定手段Ｍ１０１、感情表現情報取得手段Ｍ１０５、感情表現文書情報生成手段Ｍ１０７、感情表現情報データベース更新手段Ｍ１１１、主単語変更情報取得手段Ｍ１１３、及び主単語データベース更新手段Ｍ１１５を有している。
【００３６】
主単語決定手段Ｍ１０１は、取得した文脈情報から、当該文脈情報における文脈の内容を代表する単語を主単語情報として決定する。また、主単語決定手段Ｍ１０１は、主単語情報を決定するにあたって、単語毎に設定される、いずれの単語が優先的に主単語として選択されるのかを示す優先情報を用いる。
【００３７】
感情表現情報取得手段Ｍ１０５は、取得した感情情報及び決定した主単語情報に基づいて、感情表現情報データベースＭ１７から対応する感情表現情報を取得する。また、感情表現情報取得手段Ｍ１０５は、感情情報及び主単語情報に対応する感情表現情報が存在する場合には、当該感情表現情報を感情表現情報データベースＭ１７から取得し、対応する感情表現情報が存在しない場合には、当該感情情報及び当該主単語情報に最も近い感情表現情報を感情表現情報データベースＭ１７から取得する。さらに、感情表現情報取得手段Ｍ１０５は、感情情報及び変更後の主単語情報に基づいて、前記感情表現情報データベースＭ１７から対応する感情表現情報を取得する。
【００３８】
感情表現文書情報生成手段Ｍ１０７は、取得した文脈情報及び取得した感情表現情報に基づいて、感情表現文書情報を生成する。
【００３９】
感情表現情報データベース更新手段Ｍ１１１は、対応する感情表現情報が存在しない場合に取得した感情表現情報を、取得した感情情報及び取得した主単語情報に対応するものとして、互いに関連付けて感情表現情報データベースＭ１７に登録する。また、感情表現情報データベース更新手段Ｍ１１１は、主単語情報を変更する前に感情表現情報データベースＭ１７に登録した、主単語情報を変更する前の主単語情報に関する感情表現情報を削除し、新たに、当該感情表現情報を、感情情報及び変更された主単語情報に対応するものとして、互いに関連付けて感情表現情報データベースＭ１７に登録する。
【００４０】
主単語変更情報取得手段Ｍ１１３は、感情表現文書を生成するに際して用いた主単語情報を別の主単語情報に変更する旨の主単語変更情報を取得する。
【００４１】
主単語データベース更新手段Ｍ１１５は、感情表現文書を生成するに際して用いた主単語情報を別の主単語情報に変更する旨の主単語変更情報を取得すると、優先情報と対応する単語とが関連付けられて記憶されている主単語データベースＭ１９において、変更前の主単語情報に対応する単語の優先情報の値を下げ、変更後の主単語情報に対応する単語の優先情報の値を上げる。
【００４２】
感情表現情報は、怒り、悲しみ、及び笑いに関する情報である。また、感情表現情報は、極座標を用いて表現された情報である。
【００４３】
2.  ハードウェア構成
2.1.  メディア表現文書情報生成システム１
メディア表現文書情報生成システム１のハードウェア構成を図２を用いて説明する。メディア表現文書情報生成システム１は、メディア表現文書情報生成装置２１、文脈・感情情報取得装置２３、カメラ２５及びマイクロフォン２７を有している。
【００４４】
文脈・感情情報取得装置２３は、カメラ２５から映像情報を、マイクロフォン２７から映像情報に対応する音声情報を、それぞれ取得する。文脈・感情情報取得装置２３は、取得した映像情報及び音声情報に基づいて、映像情報に映し出されている者に関する感情情報を取得する。また、文脈・感情情報取得装置２３は、取得した音声情報に対する音声認識処理を実行し、当該音声情報に対応する文脈情報を取得する。
【００４５】
感情表現文書情報生成装置２１は、文脈・感情情報取得装置２３から感情情報及び文脈情報を取得し、感情情報及び文脈情報に基づいて、メディア表現文書情報を生成する。
【００４６】
2.2.  感情表現文書情報生成装置２１
感情表現文書情報生成装置２１のハードウェア構成を図３に基づいて説明する。感情表現文書情報生成装置２１は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、および通信回路２１８を備えている。また、感情表現文書情報生成装置２１には、キーボード２１４、マウス２１５、ディスプレイ２１６、およびＣＤ−ＲＯＭドライブ２１７が接続されている。
【００４７】
ＣＰＵ２１１は、ハードディスク２１３に記録されているオペレーティング・システム（ＯＳ）、感情表現文書情報生成プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２１２は、ＣＰＵ２１１に対して作業領域を提供する。ハードディスク２１３は、オペレーティング・システム（ＯＳ）、感情表現文書情報生成プログラム等その他のアプリケーションを記録保持する。なお、ハードディスク２１３に記録される単語マスタデータベース（以下、単語マスタＤＢとする）、単語メディア表現関連データベース（以下、単語メディア表現関連ＤＢとする）、メディア表現マスタデータベース（以下、メディア表現マスタＤＢとする）、感情反映パラメータデータベース（以下、感情反映パラメータＤＢとする）、及びメディア表現種別マスタデータベース（以下、メディア表現種別マスタＤＢとする）については後述する。
【００４８】
ＣＤ−ＲＯＭドライブ２１７は、感情表現文書情報生成プログラムが記録されているＣＤ−ＲＯＭ２１０から感情表現文書情報生成プログラムを、また、他のＣＤ−ＲＯＭからその他のアプリケーションのプログラムを読み取る等、ＣＤ−ＲＯＭからのデータの読み取りを行う。
【００４９】
キーボード２１４、マウス２１５は、外部からの命令を受け付ける。ディスプレイ２１６は、生成された感情表現文書やその他のユーザインターフェイス等を表示する。
【００５０】
2.3.  文脈・感情情報取得装置２３
文脈・感情情報取得装置２３のハードウェア構成を図４に基づいて説明する。文脈・感情情報取得装置２３は、ＣＰＵ２３１、メモリ２３２、ハードディスク２３３、通信回路２３８−１、カメラ用インターフェイス回路２３８−２、及びマイクロフォン用インターフェイス回路２３８−３を備えている。また、文脈・感情情報取得装置２３には、キーボード２３４、マウス２３５、ディスプレイ２３６、およびＣＤ−ＲＯＭドライブ２３７が接続されている。
【００５１】
ＣＰＵ２３１は、ハードディスク２３３に記録されているオペレーティング・システム（ＯＳ）、文脈・感情情報取得プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２３２は、ＣＰＵ２３１に対して作業領域を提供する。ハードディスク２３３は、オペレーティング・システム（ＯＳ）、文脈・感情情報取得プログラム等その他のアプリケーション、及び必要な各種データを記録保持する。通信回路２３８−１は、他のコンピュータとデータのやり取りを行う。カメラ用インターフェイス回路２３８−２は、カメラ２５からデータを獲得する。マイクロフォン用インターフェイス回路２３８−３は、マイクロフォン２７からデータを獲得する。
【００５２】
ＣＤ−ＲＯＭドライブ２３７は、文脈・感情情報取得プログラムが記録されているＣＤ−ＲＯＭ２３０から文脈・感情情報取得プログラムを、また、他のＣＤ−ＲＯＭからその他のアプリケーションのプログラムを読み取る等、ＣＤ−ＲＯＭからのデータの読み取りを行う。
【００５３】
キーボード２３４、マウス２３５は、外部からの命令を受け付ける。ディスプレイ２３６は、ユーザーインターフェイス等の画像を表示する。
【００５４】
3.  データ
感情表現文書情報生成装置２１のハードディスク２１３に記録されている各データベースについて説明する。
【００５５】
3.1.  単語マスタＤＢ
単語マスタＤＢとは、ある単語が、ある文脈において、どれだけその文脈を代表することができるものとなり得るのかを、各単語毎に示したデータベースである。
【００５６】
単語マスタＤＢについて、図５を用いて説明する。単語マスタＤＢは、［単語ＩＤ］列Ｃ５０１、［単語名］列Ｃ５０３及び［単語優先度］列Ｃ５０５を有している。［単語ＩＤ］列Ｃ５０１には、各単語を一意に識別するための識別番号が記述される。
【００５７】
［単語名］列Ｃ５０３には、具体的な単語名が記述される。なお、単語としては、名詞、動詞、形容詞、副詞等、品詞を問うものではない。格変化をともなう品詞に関する単語については、基本形態が記述される。
【００５８】
［単語優先度］列Ｃ５０５には、［単語名］列Ｃ５０３に記述された単語が、ある文脈において、どれだけその文脈を代表することができるものとなるのかを示した値が優先度として記述される。なお、優先度については、各単語を単語マスタＤＢに最初に登録する際に、所定の優先度を与えておく。また、優先度は、後述する単語マスタＤＢ更新処理（図１８：ステップＳ１８１５）によって更新することが可能である。このように、優先度を更新することによって、ある文脈を代表する単語の選択精度を向上させていくことが可能となる。
【００５９】
図５に示す単語マスタＤＢを例にすると、単語「天気」は、単語ＩＤ「Ｔ０００１」を有し、その優先度が「３０」であるとすると、［単語ＩＤ］列Ｃ５０１には「Ｔ０００１」が、対応する［単語名］列Ｃ５０３には単語名「天気」が、［単語優先度］列Ｃ５０５には優先度「３０」が、それぞれ記述される。
【００６０】
なお、文脈情報に含まれる単語について、いずれの単語も単語マスタＤＢに登録されていないという場合が想定されるので、そのような場合のために、予めデフォルトの情報を単語マスタＤＢに登録しておく。
【００６１】
3.2.  単語メディア表現関連ＤＢ
単語メディア表現関連ＤＢとは、ある感情においてある単語が使用されている場合、当該単語、その感情、及び、その単語を使用した文書中にその感情を表現するために使用されるメディア表現、を互いに関連付けて登録したデータベースである。
【００６２】
単語メディア表現関連ＤＢのデータ構造を図６に示す。単語メディア表現関連ＤＢは、［単語ＩＤ］列Ｃ６０１、［θ］列Ｃ６０３、［φ］列Ｃ６０５、［メディア表現ＩＤ］列Ｃ６０７、及び［最終使用日時］列Ｃ６０９を有している。［単語ＩＤ］列Ｃ６０１には、各単語を一意に識別するための識別番号が記述される。［θ］列Ｃ６０３及び［φ］列Ｃ６０５には、感情を一意に特定する値「θ」及び「φ」が、それぞれ記述される。「θ」及び「φ」については後述する。［メディア表現ＩＤ］列Ｃ６０７には、メディア表現文書に配置されるメディア表現情報を一意に特定するメディア表現ＩＤが記述される。ここで、メディア表現情報とは、ある単語が使用されている文脈において、当該文脈に関連する静止画像、動画像、アスキーアート、音声等の情報をいう。［最終使用日時］列Ｃ６０９には、当該ＤＢの各レコードが使用された最終日時が記述される。
【００６３】
図６の単語メディア表現関連ＤＢを例にすると、単語ＩＤ「Ｔ０００１」の単語が「θ＝８０、φ＝１４０」で表される感情で使用された文脈を、メディア表現ＩＤ「ＭＥＤ０００２」のメディア表現情報を用いて「２００６年３月１１日、９時２０分００秒」にメディア表現文書を生成した場合、［単語ＩＤ］列Ｃ６０１には「Ｔ０００１」が、［θ］列Ｃ６０３には「８０」が、［φ］列Ｃ６０５には「１４０」が、［メディア表現ＩＤ］列Ｃ６０７には「ＭＥＤ０００２」が、及び［最終使用日時］列Ｃ６０９には「２００６−０３−１１  ０９：２０：００」が、それぞれ記述される。
【００６４】
なお、文脈情報に含まれる単語について、いずれの単語も単語メディア表現関連ＤＢに登録されていないという場合が想定されるので、そのような場合のために、予めデフォルトの情報を単語メディア表現関連ＤＢに登録しておく。
【００６５】
3.3.  メディア表現マスタＤＢ
メディア表現マスタＤＢとは、メディア表現情報として使用されるメディア表現を具体的に記述したデータベースである。
【００６６】
メディア表現マスタＤＢのデータ構造を図７に示す。メディア表現マスタＤＢは、［メディア表現ＩＤ］列Ｃ７０１、［メディア表現名］列Ｃ７０３、［メディア表現種別ＩＤ］列Ｃ７０５、及び［メディア表現］列Ｃ７０７を有している。
【００６７】
［メディア表現ＩＤ］列Ｃ７０１には、使用するメディア表現を一意に特定する識別番号が記述される。［メディア表現名］列Ｃ７０３には、使用するメディア表現の名称が記述される。［メディア表現種別ＩＤ］列Ｃ７０５には、使用するメディア表現が属する種別が記述される。［メディア表現］列Ｃ７０７には、メディア表現の内容が具体的に記述される。
【００６８】
3.4.  感情反映パラメータＤＢ
感情反映パラメータＤＢとは、あるメディア表現をメディア表現文書に使用する際に、当該メディア表現文書における感情をそのメディア表現にどのように反映させるかを記述したデータベースである。
【００６９】
感情反映パラメータＤＢのデータ構造を図８に示す。感情反映パラメータＤＢは、［メディア表現ＩＤ］列Ｃ８０１、［設定パラメータＩＤ］列Ｃ８０３、及び［設定値］列Ｃ８０５を有している。［メディア表現ＩＤ］列Ｃ８０１には、メディア表現を一意に特定する識別番号が記述される。［設定パラメータＩＤ］列Ｃ８０３には、メディア表現に感情を反映させる際に設定されるパラメータを一意に特定する識別表示が記述される。［設定値］列Ｃ８０５には、メディア表現に感情を反映させる際に設定されたパラメータの具体的な値が記述される。なお、本実施形態においては、設定値は、感情の強さ（後述）に対する比例値としている。
【００７０】
図８における感情反映パラメータＤＢを例にすると、メディア表現ＩＤ「ＭＥＤ０００２」であるメディア表現について、「画像の高さ」、「画像の幅」、「ＧＢＲの各値」を設定しようとする場合、［メディア表現ＩＤ］列Ｃ８０１には「ＭＥＤ０００２」が、［設定パラメータＩＤ］列Ｃ８０３には「ＷｉｄｔｈＰｅｒＲ」、「ＨｅｉｇｈｔＰｅｒＲ」、「ＣｏｌｏｒＲｅｄＰｅｒＲ」、「ＣｏｌｏｒＧｒｅｅｎＰｅｒＲ」、及び「ＣｏｌｏｒＢｌｕｅＰｅｒＲ」が、［設定パラメータＩＤ］列Ｃ８０３に対応する［設定値］列Ｃ８０５の各値に対して「０．１」、「０．１」、「０．３」、「０．３」、及び「０．３」が、それぞれ記述される。
【００７１】
3.5.  メディア表現種別マスタＤＢ
メディア表現種別マスタＤＢとは、メディア表現情報のデータ型とロジックとを関連付けて登録したデータベースである。ロジックとは、メディア表現情報をディスプレイ２１６に表示する際に、どのようにメディア表現情報を表示するのかを示した表示方法（ロジック）が記述されている。
【００７２】
メディア表現種別マスタＤＢのデータ構造を図９に示す。メディア表現種別マスタＤＢは、［メディア表現種別ＩＤ］列Ｃ９０１、［メディア表現種別名］列Ｃ９０３、及び［感情反映ロジック］列Ｃ９０５を有している。［メディア表現種別ＩＤ］列Ｃ９０１には、メディア表現情報のデータ型が記述される。例えば、アスキーアートであれば「ＡＡ」と、ＪＰＥＧ画像であれば「ＪＰＥＧ」と、記述される。［メディア表現種別名］列Ｃ９０３には、メディア表現情報のデータ型の一般的な名称が記述される。なお、［メディア表現種別名］列Ｃ９０３の値については、［メディア表現種別ＩＤ］列Ｃ９０１に連動して自動的に入力される。［感情反映ロジック］列Ｃ９０５には、メディア表現情報毎に適用するロジックを特定するためのロジック番号が記述される。なお、ロジックには、感情の強さ「ｒ」及び感情表現パラメータをどのように用いるのかが記述されている。例えば、感情の強さ「ｒ」、感情表現パラメータを用いた計算式、当該計算式に使用する固定パラメータ等が記述されている
図９におけるメディア表現種別マスタＤＢを例にすると、データ型が「アスキーアート」であるメディア表現情報に対して、ロジック番号「ＬＯＧ００１」のロジックを適用する場合、［メディア表現種別ＩＤ］列Ｃ９０１には「ＡＡ」が、［メディア表現種別名］列Ｃ９０３には「アスキーアート」が、［感情反映ロジック］列Ｃ９０５には「ＬＯＧ００１」が、それぞれ記述される。
【００７３】
なお、このように感情の強さや感情表現パラメータのような変動パラメータと、当該変動パラメータの適用方法であるロジックとを分けて規定することによって、変動パラメータの適用方法を機動的に変更することが可能となる。例えば、ユーザがメディア表現文書におけるメディア表現情報の表示の仕方を変更したいと思った場合でも、ロジックのみを変更すればよいので、簡単にユーザが望むようにメディア表現文書を変更することができるという利点がある。
【００７４】
なお、登録されていないデータ型を有するメディア表現情報を新たに登録する場合が想定されるので、そのような場合のために、予めデフォルトの情報をメディア表現種別マスタＤＢに登録しておく。
【００７５】
4.  メディア表現文書情報生成システム１の動作
メディア表現文書情報生成システム１における動作の概略を図１０に示す。カメラ２５は、映像情報を取得し（Ｓ１）、取得した映像情報を文脈・感情情報取得装置２３へ送信する（Ｓ３）。マイクロフォン２７は、音声情報を取得し（Ｓ５）、取得した音声情報を文脈・感情情報取得装置２３へ送信する（Ｓ７）。
【００７６】
文脈・感情情報取得装置２３は、映像情報及び音声情報を取得し、取得した映像情報及び音声情報に基づいて当該映像情報に映し出されている者の感情を表す感情情報を取得する感情情報取得処理を実行する（Ｓ１１）。また、文脈・感情情報取得装置２３は、音声情報を取得し、取得した音声情報に対する音声認識処理を実行し、当該音声情報に対応する文脈情報を取得する文脈情報取得処理を実行する（Ｓ１３）。
【００７７】
メディア表現文書情報生成装置２１は、取得した感情情報及び文脈情報に基づいて、主単語決定処理（Ｓ２１）、感情情報分析処理（Ｓ２３）、メディア表現情報取得処理（Ｓ２５）、メディア表現文書情報生成処理（Ｓ２７）、及びメディア表現編集処理（Ｓ２９）を実行する。
【００７８】
以下において、感情情報取得処理（Ｓ１１）、文脈情報取得処理（Ｓ１３）主単語決定処理（Ｓ２１）、感情情報分析処理（Ｓ２３）、メディア表現情報取得処理（Ｓ２５）、メディア表現文書情報生成処理（Ｓ２７）、及びメディア表現編集処理（Ｓ２９）を説明する。
【００７９】
4.1.  文脈・感情情報取得装置２３の動作
文脈・感情情報取得装置２３が行う感情情報取得処理（Ｓ１１：図１０参照）及び文脈情報取得処理（Ｓ１３：図１０参照）について、以下において説明する。
【００８０】
4.1.1  感情情報取得処理
文脈・感情情報取得装置２３のＣＰＵ２３１が行う感情情報取得処理を図１１に示すフローチャートを用いて説明する。ＣＰＵ２３１は、マイクロフォン２７から音声情報を獲得し（Ｓ１１０１）、カメラ２５から映像情報を獲得すると（Ｓ１１０３）、感情分析処理を行う（Ｓ１１０５）。
【００８１】
感情分析処理については、例えば、特開平１０−２２８２９５に開示された技術を用いる。当該技術を用いることによって、映像情報に映し出された者の感情を、笑い、悲しみ、怒りの値として表すことができる。特開平１０−２２８２９５における「幸福」を本実施形態では「笑い」としている。また、特開平１０−２２８２９５では、怒り、幸福（笑い）、悲しみ、驚き、嫌悪、恐怖の６要素を用いて感情を表現しているが、本実施形態においては、そのうちの怒り、幸福（笑い）、悲しみの３要素のみを用いて感情を表現するようにしている。
【００８２】
なお、映像情報に基づき感情を分析するにあたっては、映像情報のある一フレームを抽出し、そのフレームにおける画像から映像情報に映し出された者の感情を判断してもよい。また、映像情報の全てのフレームに関する感情を用いて判断してもよい。例えば、各フレームにおける感情の値を感情毎に算出し、合計したものを感情の値としてもよい。また、算出した合計について、平均処理や加重平均処理等を加えた値を、感情の値とするようにしてもよい。
【００８３】
ＣＰＵ２３１は、感情分析処理によって得られた笑い、悲しみ、怒りの値を感情情報（笑い、悲しみ、怒り）として出力する（Ｓ１１０７）。
【００８４】
4.1.2  文脈情報取得処理
文脈・感情情報取得装置２３のＣＰＵ２３１が行う文脈情報取得処理を図１１に示すフローチャートを用いて説明する。ＣＰＵ２３１は、マイクロフォン２７から音声情報を受信すると（Ｓ１１０１）、音声情報に係る文脈を文字化する文脈分析処理を行う（Ｓ１１１１）。なお、文脈分析処理については、一般的な音声入力に基づく仮名漢字変換処理技術を用いる。ＣＰＵ２３１は、文脈分析処理によって得られた文字化された文脈情報を出力する（Ｓ１１１３）。
【００８５】
4.2.  メディア表現文書情報生成装置２１の動作
メディア表現文書情報生成装置２１が行う主単語決定処理（Ｓ２１：図１０参照）、感情情報分析処理（Ｓ２３：図１０参照）、メディア表現情報取得処理（Ｓ２５：図１０参照）、メディア表現文書情報生成処理（Ｓ２７：図１０参照）及びメディア表現編集処理（Ｓ２９：図１０参照）について、以下において説明する。
【００８６】
4.2.1  主単語決定処理
メディア表現文書情報生成装置２１のＣＰＵ２１１が行う主単語決定処理を図１２に示すフローチャートを用いて説明する。
【００８７】
ＣＰＵ２１１は、文脈情報を取得したと判断すると（Ｓ１２０１）、文脈情報が表す文脈を単語に区切る単語化処理を実行する（Ｓ１２０３）。なお、この単語化処理については、例えば、特開２００２−１１７０２５に記載された技術を用いる。
【００８８】
ＣＰＵ２１１は、単語化処理によって取得した全ての単語について、単語マスタＤＢ（図５参照）から対応する［単語優先度］列Ｃ５０５の値を取得する（Ｓ１２０５）。ＣＰＵ２１１は、取得した［単語優先度］列Ｃ５０５の値の中で、最も値が大きいものを選び、選んだ［単語優先度］列Ｃ５０５の値に対応する［単語名］列Ｃ５０３の単語を主単語と決定する（Ｓ１２０７）。
【００８９】
4.2.2  感情情報分析処理
メディア表現文書情報生成装置２１のＣＰＵ２１１が行う感情情報分析処理を図１３に示すフローチャートを用いて説明する。
【００９０】
ＣＰＵ２１１は、感情情報である感情ベクトル（笑い、悲しみ、怒り）を取得したと判断すると（Ｓ１３０１）、取得した感情ベクトルに基づいて、感情の強さ「ｒ」を算出する（Ｓ１３０３）。なお、算出した感情の強さ「ｒ」は、メモリ２１２へ一時的に記憶しておく。
【００９１】
感情の強さ「ｒ」は、以下の式（１）を用いて算出する。
【００９２】
【数１】
2007299255.tif 000003
【００９３】
また、ＣＰＵ２１１は、取得した感情ベクトルに基づいて、感情方向ベクトルを算出する（Ｓ１３０５）。
【００９４】
ここで、感情方向ベクトルについて、図１４を用いて説明する。感情方向ベクトルとは、感情情報を球座標系へ投影した際の当該感情ベクトルの方向を特定するベクトルである。図１４は感情ベクトルを投影する球座標系を、「笑い」、「怒り」、「悲しみ」の３軸にて表現する場合を示している。球座標系を用いることによって、前述の「感情の強さ」を原点Ｏからの距離「ｒ」を用いて定義することができる。また、感情方向ベクトルは、笑い軸から悲しみ軸へ向かう方向の角度「θ」、及び、怒り軸から笑い軸へ向かう方向の角度「φ」を用いて定義することができる。角度「θ」及び角度「φ」を用いて、感情方向ベクトル(θ、φ)を定義する。なお、感情ベクトルを構成する変数が増減する場合であっても、同様の手法にて、感情の強さ及び感情方向ベクトルを定義することができる。
【００９５】
なお、感情方向ベクトル(θ、φ)の値は、以下の式（２）を用いて算出する。
【００９６】
【数２】
2007299255.tif 000004
【００９７】
4.2.3  メディア表現情報取得処理
メディア表現文書情報生成装置２１のＣＰＵ２１１が行うメディア表現情報取得処理を図１５、図１５ａに示すフローチャートを用いて説明する。図１５に示すように、ＣＰＵ２１１は、主単語決定処理にて決定した主単語情報、及び、感情情報分析処理にて算出した感情方向ベクトル（θ、φ）を用いて、単語メディア表現関連ＤＢ（図６参照）から、最適なメディア表現情報を取得する。
【００９８】
ＣＰＵ２１１は、主単語決定処理において決定した主単語情報に対応する単語ＩＤを単語マスタＤＢから取得する（Ｓ１５０１）。ＣＰＵ２１１は、取得した主単語情報の単語ＩＤの値が単語メディア表現関連ＤＢの［単語ＩＤ］列Ｃ６０１に登録されているか否かを判断する（Ｓ１５０３）。
【００９９】
ＣＰＵ２１１は、主単語情報の単語ＩＤの値が［単語ＩＤ］列Ｃ６０１に登録されていると判断すると、［単語ＩＤ］列Ｃ６０１の値が取得した単語ＩＤの値と等しいレコードを抽出する（Ｓ１５０５）。ＣＰＵ２１１は、抽出したレコードの中に、当該レコードの［θ］列Ｃ６０３及び［φ］列Ｃ６０５の値を対象として、感情方向ベクトル（θ、φ）の値のそれぞれと一致するものが存在するか否かを判断する（Ｓ１５０７）。
【０１００】
ＣＰＵ２１１は、抽出したレコードの［θ］列Ｃ６０３及び［φ］列Ｃ６０５の値が感情方向ベクトルの値（θ、φ）のそれぞれと一致するものが存在すると判断すると、対応するレコードを取得する（Ｓ１５１１）。
【０１０１】
図１５ａに移って、ＣＰＵ２１１は、取得したレコードの［最終使用日時］列Ｃ６０９の値を現在の時間に更新し（Ｓ１５１３）、更新したレコードを元のレコードに上書きするかたちでメディア表現関連ＤＢに登録する（Ｓ１５１５）。なお、ＣＰＵ２１１は、更新したレコードを上書き登録する際に、元のレコードを上書きしたことを示すレコード上書きフラグをセットする。また、ＣＰＵ２１１は、上書き登録する前に、事前に、元のレコードの［最終使用日時］列Ｃ６０９の値を更新前最終使用日時情報としてメモリ２１２へ一時記憶しておく。さらに、ＣＰＵ２１１は、登録後のレコードを特定するための更新レコード特定情報をメモリ２１２へ一時記憶する。更新レコード特定情報としては、各レコードを一意に特定するために与えられるレコードＩＤ等を用いる。
【０１０２】
例えば、感情方向ベクトル（θ、φ）＝（０、４０）であった場合には、ＣＰＵ２１１は、図６に示す単語メディア表現関連ＤＢのレコードＲ６０１を取得する。そして、ＣＰＵ２１１は、レコードＲ６０１の［最終使用日時］列Ｃ６０９の値「２００６−０３−１１  ０９：１０：００」を現在の時間、例えば「２００６−０３−１１  １０：００：００」に更新し、更新したレコードを元のレコードに上書きするかたちでメディア表現関連ＤＢに登録する。レコードＲ６０１を元のレコードに上書きするかたちで更新したメディア表現関連ＤＢの例を図２１Ａに示す。
【０１０３】
図１５のステップＳ１５０７に戻って、ＣＰＵ２１１は、抽出したレコードの［θ］列Ｃ６０３及び［φ］列Ｃ６０５の値が感情方向ベクトル（θ、φ）の値のそれぞれと一致するものが存在しないと判断すると、感情方向ベクトルに最も近い「θ」、「φ」を有するレコードを取得する（Ｓ１５２１）。なお、感情方向ベクトルに近いものを算出するにあたっては、単位長さを有する感情方向ベクトル（単位感情方向ベクトル）間の距離によって判断する。また、単位感情方向ベクトル間の値が等しいものが複数存在する場合には、「θ」の値が最も近いレコードを取得する。なお、「θ」の値ではなく、「φ」の値によって判断するようにしてもよい。また、他の要素によって判断するようにしてもよい。例えば、「θ」と「φ」を用いて、他の指標を生成してもよい。
【０１０４】
図１５ａに移って、ＣＰＵ２１１は、抽出したレコードの［θ］列Ｃ６０３及び［φ］列Ｃ６０５の値を、感情方向ベクトル（θ、φ）のそれぞれの値に更新する（Ｓ１５２３）。さらに、ＣＰＵ２１１は、取得したレコードの［最終使用日時］列Ｃ６０９の値を現在の時間に更新し（Ｓ１５２５）、更新したレコードを新たなレコードとしてメディア表現関連ＤＢに登録する（Ｓ１５１５）。なお、ＣＰＵ２１１は、新たなレコードを登録する際に、新たなレコードを生成したことを示すレコード生成フラグをセットする。また、ＣＰＵ２１１は、更新レコード特定情報をメモリ２１２へ一時記憶する。
【０１０５】
例えば、感情方向ベクトル（θ、φ）＝（０、６０）であった場合には、ＣＰＵ２１１は、図６に示す単語メディア表現関連ＤＢのレコードＲ６０１を取得する。そして、ＣＰＵ２１１は、レコードＲ６０１のコードの［θ］列Ｃ６０３の値「０」及び［φ］列Ｃ６０５の値「４０」を感情方向ベクトルの値（θ、φ）＝（０、６０）に更新する。また、ＣＰＵ２１１は、［最終使用日時］列Ｃ６０９の値「２００６−０３−１１  ０９：１０：００」を現在の時間、例えば「２００６−０３−１１  １０：００：００」に更新し、更新したレコードを新たなレコードＲ６０３としてメディア表現関連ＤＢに登録する。新たなレコードＲ６０３を登録したメディア表現関連ＤＢの例を図２２Ａに示す。
【０１０６】
図１５のステップＳ１５０３に戻って、ＣＰＵ２１１は、主単語情報の単語ＩＤの値が［単語ＩＤ］列Ｃ６０１に登録されていないと判断すると、［単語ＩＤ］列のＣ６０１の値が「ＤＥＦＡＵＬＴ」のレコード（図６参照）を取得する（Ｓ１５３１）。
【０１０７】
図１５ａに移って、ＣＰＵ２１１は、抽出した「ＤＥＦＡＵＬＴ」のレコードの［θ］列Ｃ６０３及び［φ］列Ｃ６０５の値を感情方向ベクトル（θ、φ）の値に更新する（Ｓ１５３３）。さらに、ＣＰＵ２１１は、取得した「ＤＥＦＡＵＬＴ」のレコードの［最終使用日時］列Ｃ６０９の値を現在の時間に更新する（Ｓ１５３５）。さらに、ＣＰＵ２１１は、取得した「ＤＥＦＡＵＬＴ」のレコードの［単語ＩＤ］列Ｃ６０１の値を主単語情報に対応する単語ＩＤに更新する（Ｓ１５３７）。そして、ＣＰＵ２１１は、更新した「ＤＥＦＡＵＬＴ」のレコードを新たなレコードとしてメディア表現関連ＤＢに登録する（Ｓ１５１５）。なお、ＣＰＵ２１１は、新たなレコードを登録する際に、新たなレコードを生成したことを示すレコード生成フラグをセットする。また、ＣＰＵ２１１は、更新レコード特定情報をメモリ２１２へ一時記憶する。
【０１０８】
図１５ａに移って、ＣＰＵ２１１は、登録したレコードの［メディア表現ＩＤ］列Ｃ６０７の値を取得する（Ｓ１５１７）。ＣＰＵ２１１は、ステップＳ１５１７において取得したメディア表現ＩＤの値に基づいて、メディア表現マスタＤＢ（図７参照）から、当該メディア表現ＩＤを［メディア表現ＩＤ］列Ｃ７０１に有するレコードの［メディア表現］列Ｃ７０７の値を取得する（Ｓ１５１９）。これにより、感情の方向を反映したメディア表現情報を取得することができる。
【０１０９】
4.2.4  メディア表現文書情報生成処理
メディア表現文書情報生成装置２１のＣＰＵ２１１が行うメディア表現文書情報生成処理を図１６に示すフローチャートを用いて説明する。ＣＰＵ２１１は、ステップＳ１５１７（図１５ａ参照）において取得したメディア表現ＩＤに基づいて、感情表現パラメータＤＢ（図８参照）から、当該ＤＢの［メディア表現ＩＤ］列Ｃ８０１の値が取得したメディア表現ＩＤと一致するレコードの［設定パラメータＩＤ］列Ｃ８０３の値及び［設定値］列Ｃ８０５の値を取得する（Ｓ１６０１）。
【０１１０】
ＣＰＵ２１１は、ステップＳ１５１７（図１５ａ参照）において取得したメディア表現ＩＤの値に基づいて、メディア表現マスタＤＢ（図７参照）から、当該メディア表現ＩＤを［メディア表現ＩＤ］列Ｃ７０１に有するレコードの［メディア表現種別ＩＤ］列Ｃ７０５の値を取得する（Ｓ１６０５）。そして、ＣＰＵ２１１は、メディア表現種別マスタＤＢ（図９参照）から、取得した［メディア表現種別ＩＤ］列Ｃ７０５の値に対応する［感情ロジック］列Ｃ９０５に記述されたロジックを取得する（Ｓ１６０７）。ロジックとは、メディア表現情報をディスプレイ２１６に表示する際に、どのように感情の強さ「ｒ」及び感情表現パラメータを用いてメディア表現情報を表示するのかを示した表示方法が記述されている。例えば、本実施形態においては、アスキーアートに対して適用するロジック番号「ＬＯＧ００１」には、感情の強さ「ｒ」の値と感情表現パラメータの値とを乗算した値を拡大縮小の比例値とすることが記述されている。これにより、感情の強さを反映したメディア表現情報を生成することができる。
【０１１１】
ＣＰＵ２１１は、ステップＳ１３０３（図１３参照）で算出した感情の強さ「ｒ」の値をメモリ２１２から取得する（Ｓ１６０９）。ＣＰＵ２１１は、ステップＳ１５１９（図１５ａ参照）で取得したメディア表現情報に対して、ステップＳ１６０１で取得した［設定値］列Ｃ８０５の値及びステップＳ１６０９で取得した感情の強さ「ｒ」の値を用いて、ステップＳ１６０７で取得したロジックに基づくメディア表現情報調整処理を実行する（Ｓ１６１１）。
【０１１２】
ＣＰＵ２１１は、ステップＳ１２０１（図１２参照）で取得した文脈情報及びステップＳ１６１１でメディア表現情報調整処理を施したメディア表現情報に基づいて、メディア表現文書情報を生成する（Ｓ１６１３）。ＣＰＵ２１１が生成したメディア表現文書情報の表示画面例を図１７示す。表示されたメディア表現文書情報においては、主単語情報に係る単語がハイライト表示される。また、表示画面には、メディア表現文書情報を編集する場合に選択する編集ボタンＢ１が配置されている。なお、メディア表現文書情報生成装置２１のユーザは、マウス２１５等によって編集ボタンＢ１を選択する。
【０１１３】
4.2.5  メディア表現編集処理
メディア表現文書情報生成装置２１のＣＰＵ２１１が行うメディア表現編集処理を図１８に示すフローチャートを用いて説明する。ＣＰＵ２１１は、生成したメディア表現文書情報を編集をするための編集ボタンＢ１（図１９参照）が選択されたと判断すると（Ｓ１８０１）、編集モードに切り替える（Ｓ１８０３）。
【０１１４】
ここで、編集モードにおける編集画面例を図１９に示す。編集画面には、主単語変更ボタンＢ３、メディア表現変更ボタンＢ５、感情反映変更ボタンＢ７、及び表示画面に戻るボタンＢ９が配置されている。メディア表現文書情報生成装置２１のユーザは、マウス２１５等によって各ボタンＢ３〜Ｂ９を選択する。
【０１１５】
図１８に戻って、ＣＰＵ２１１は、主単語変更ボタンＢ３（図１９参照）が選択されたと判断すると（Ｓ１８０５）、ディスプレイに表示されているメディア表現文書情報の文脈から、変更される単語が選択されたか否かを判断する（Ｓ１８１１）。ＣＰＵ２１１は、単語が選択されたと判断すると、当該単語をハイライト表示する（Ｓ１８１３）。
【０１１６】
ＣＰＵ２１１は、単語マスタＤＢにおいて、主単語変更後の単語に対応する［優先度］列Ｃ５０５の値を所定量増加し、変更前の単語に対応する［優先度］列Ｃ５０５の値を所定量減少する単語マスタＤＢ更新処理を実行する（Ｓ１８１５）。
【０１１７】
図２０に、［優先度］列の値を変更した単語マスタＤＢの一例を示す。図２０には、図１９に示したメディア表現文書情報の主単語を「天気」から「良い」に変更した場合の単語マスタＤＢを示している。この場合、単語「天気」に対応するレコードＲ５０１の［単語優先度］列Ｃ５０５の値を「３０」から「２０」とし、単語「良い」に対応するレコードＲ５０３の［単語優先度］列Ｃ５０５の値を「２０」から「３０」としている。
【０１１８】
図１８に戻って、ＣＰＵ２１１は、主単語の変更にともないメディア表現関連ＤＢ（図６参照）を更新するメディア表現関連ＤＢ更新処理（１）を実行する（Ｓ１８１７）。
【０１１９】
メディア表現関連ＤＢ更新処理（１）について、図２３に示すフローチャートを用いて説明する。ＣＰＵ２１１は、レコード上書きフラグがセットされているか否かを判断する（Ｓ２３０１）。ＣＰＵ２１１は、レコード上書きフラグがセットされていると判断すると、更新レコード特定情報に対応するレコードの［最終使用日時］列Ｃ６０９の値を、変更前使用日時情報に基づいて、変更前の値に戻す（Ｓ２３０３）。
【０１２０】
一方、ＣＰＵ２１１は、ステップＳ２１０１において、レコード上書きフラグがセットされていないと判断すると、レコード生成フラグがセットされているか否かを判断する（Ｓ２３０５）。ＣＰＵ２１１は、レコード生成フラグがセットされていると判断すると、更新レコード特定情報に対応するレコードをメディア表現関連ＤＢから削除する（Ｓ２３０７）。ＣＰＵ２１１は、ステップＳ２１０５において、レコード上書きフラグがセットされていないと判断すると、エラー処理を実行する（Ｓ２３０９）。
【０１２１】
図１８に戻って、メディア表現関連ＤＢ更新処理（１）（Ｓ１８１７）が終了すると、ＣＰＵ２１１は、選択された単語を主単語情報として、再度、メディア表現情報取得処理（Ｓ２５：図１０参照））、メディア表現文書情報生成処理（Ｓ２７：図１０参照））、必要であればメディア表現編集処理（Ｓ２９：図１０参照））を実行する。
【０１２２】
図２１Ｂ及び図２２Ｂに、メディア表現関連ＤＢ更新処理（１）によって更新された単語メディア表現関連ＤＢの一例を示す。図２１Ｂは取得した感情方向ベクトルの値（θ、φ）のそれぞれと一致するレコードが単語メディア表現関連ＤＢに存在していた場合を示し、図２２Ｂは取得した感情方向ベクトルの値（θ、φ）のそれぞれと一致するレコードが単語メディア表現関連ＤＢに存在しなかった場合を示す。
【０１２３】
図２１Ｂでは、感情方向ベクトル（θ、φ）＝（０、４０）に基づいてレコードＲ６０１が上書き登録された状態（図２１Ａ参照）から、主単語が単語ＩＤ「Ｔ０００１」の単語から単語ＩＤ「Ｔ０００２」の単語に変更された場合を示している。図２１Ａの状態から、主単語が単語ＩＤ「Ｔ０００１」の単語から単語ＩＤ「Ｔ０００２」の単語に変更されると、ＣＰＵ２１１は、レコードＲ６０１の［最終使用日時］列Ｃ６０９の値「２００６−０３−１１  １０：００：００」を元の値「２００６−０３−１１  ０９：１０：００」（図６参照）に戻す。そして、ＣＰＵ２１１は単語ＩＤ「Ｔ０００２」の単語を主単語として、感情方向ベクトル（θ、φ）＝（０、４０）にもっとも近いレコードＲ６０５を取得する。ＣＰＵ２１１は、取得したレコードＲ６０５の［θ］列Ｃ６０３及び［φ］列Ｃ６０５の値を感情方向ベクトル（θ、φ）＝（０、４０）の値とし、さらに、［最終使用日時］列Ｃ６０９の値を現在の値「２００６−０３−１１  １０：１０：００」としたレコードＲ６０７を新たに生成する。ＣＰＵ２１１は、新たに生成したレコードＲ６０７を、図２１Ｂに示すように単語メディア表現関連ＤＢへ登録する。
【０１２４】
図２２Ｂでは、感情方向ベクトル（θ、φ）＝（０、６０）に基づいてレコードＲ６０３が新たなレコードとして登録された状態（図２２Ａ参照）から、主単語が単語ＩＤ「Ｔ０００１」の単語から単語ＩＤ「Ｔ０００２」の単語に変更された場合を示している。図２２Ａの状態から、主単語が単語ＩＤ「Ｔ０００１」の単語から単語ＩＤ「Ｔ０００２」の単語に変更されると、ＣＰＵ２１１は、レコードＲ６０３を単語メディア表現関連ＤＢから削除する。そして、ＣＰＵ２１１は単語ＩＤ「Ｔ０００２」の単語を主単語として、感情方向ベクトル（θ、φ）＝（０、６０）にもっとも近いレコードＲ６０５を取得する。ＣＰＵ２１１は、取得したレコードＲ６０５の［θ］列Ｃ６０３及び［φ］列Ｃ６０５の値を感情方向ベクトル（θ、φ）＝（０、６０）の値とし、さらに、［最終使用日時］列Ｃ６０９の値を現在の値「２００６−０３−１１  １０：１０：００」としたレコードＲ６０９を新たに生成する。ＣＰＵ２１１は、新たに生成したレコードＲ６０９を、図２２Ｂに示すように単語メディア表現関連ＤＢへ登録する。
【０１２５】
図１８のステップＳ１８０５においてメディア表現変更ボタンＢ５（図１９参照）が選択されたと判断すると、ＣＰＵ２１１は、メディア表現情報を新たに指定するためのダイアログを表示する（Ｓ１８２１）。ＣＰＵ２１１は、ダイアログにおいて、新たにメディア表現情報となる画像等が選択されたと判断すると（Ｓ１８２３）、ＣＰＵ２１１は、メディア表現マスタＤＢ更新処理を実行する（Ｓ１８２５）。
【０１２６】
メディア表現マスタＤＢ更新処理について、図２４に示すフローチャートを用いて説明する。ＣＰＵ２１１は、指定されたメディア表現情報が既にメディア表現マスタＤＢに登録されているか否かを判断する（Ｓ２４０１）。ＣＰＵ２１１は、指定されたメディア表現情報が既にメディア表現マスタＤＢに登録されていると判断すると、メディア表現マスタＤＢ（図７参照）から対応するメディア表現情報の［メディア表現ＩＤ］列７０１の値を取得する（Ｓ２４０３）。
【０１２７】
一方、ＣＰＵ２１１は、ステップＳ２４０１において、指定されたメディア表現情報がまだメディア表現マスタＤＢに登録されていないと判断すると、新たにメディア表現ＩＤを付与する（Ｓ２４１１）。また、ＣＰＵ２１１は、メディア表現情報のデータ形式に基づいたＤＥＦＡＵＬＴの値を［種別］列Ｃ７０５の値として設定する（Ｓ２４１３）。例えば、メディア表現情報がアスキーアートであれば［種別］列Ｃ７０５の値として「ＡＡ」を、ＪＰＥＧ画像であれば［種別］列Ｃ７０５の値として「ＪＰＥＧ」を設定する。ＣＰＵ２１１は、付与した「メディア表現ＩＤ」及び「種別」に基づいて新たに生成したレコードをメディア表現マスタＤＢへ登録する（Ｓ２４１５）。なお、［メディア表現名］列Ｃ７０３の値については、この段階でユーザから取得するようにしてもよいし、後に取得するようにしてもよい。
【０１２８】
図１８に戻って、次に、ＣＰＵ２１１は、メディア表現情報の変更にともないメディア表現関連ＤＢ（図６参照）を更新するメディア表現関連ＤＢ更新処理（２）を実行する（Ｓ１８２７）。
【０１２９】
メディア表現関連ＤＢ更新処理（２）について、図２５に示すフローチャートを用いて説明する。ＣＰＵ２１１は、メディア表現関連ＤＢ（図６参照）において、対応するレコードの［メディア表現ＩＤ］列Ｃ７０１の値をステップＳ２４０３で取得したメディア表現ＩＤの値若しくはステップＳ２４１１で付与したメディア表現ＩＤの値に上書きする（Ｓ２５０１）。また、ＣＰＵ２１１は、対応するレコードの［最終使用日時］列Ｃ６０９の値を、現在の日時に更新する（Ｓ２５０３）。
【０１３０】
メディア表現関連ＤＢ更新処理が終了すると、ＣＰＵ２１１は、変更しメディア表現情報に基づいて、再度、メディア表現ＩＤ取得処理（Ｓ１５１７：図１５ａ参照）、メディア表現文書情報生成処理（Ｓ２７：図１０参照）、必要であればメディア表現編集処理（Ｓ２９：図１０参照）を実行する。
【０１３１】
図２１Ｃ及び図２２Ｃに、メディア表現関連ＤＢ更新処理（２）によって更新された単語メディア表現関連ＤＢの一例を示す。図２１Ｃは取得した感情方向ベクトルの値（θ、φ）のそれぞれと一致するレコードが単語メディア表現関連ＤＢに存在していた場合を示し、図２２Ｃは取得した感情方向ベクトルの値（θ、φ）のそれぞれと一致するレコードが単語メディア表現関連ＤＢに存在しなかった場合を示す。
【０１３２】
図２１Ｃでは、感情方向ベクトル（θ、φ）＝（０、４０）に基づいてレコードＲ６０１が上書き登録された状態（図２１Ａ参照）から、メディア表現情報がメディア表現ＩＤ「ＭＥＤ００１」のメディア表現からメディア表現ＩＤ「ＭＥＤ００２」のメディア表現に変更された場合を示している。図２１Ａの状態から、メディア表現情報がメディア表現ＩＤ「ＭＥＤ００１」のメディア表現からメディア表現ＩＤ「ＭＥＤ００２」のメディア表現に変更されると、ＣＰＵ２１１は、レコードＲ６０１の［メディア表現ＩＤ］列Ｃ６０７の値「ＭＥＤ００１」を「ＭＥＤ００２」とし、さらに、［最終使用日時］列Ｃ６０９の値「２００６−０３−１１  １０：００：００」を現在の値「２００６−０３−１１  １０：１０：００」とする。ＣＰＵ２１１は、変更したレコードＲ６０１を、図２１Ｃに示すように単語メディア表現関連ＤＢへ上書き登録する。
【０１３３】
図２２Ｃでは、感情方向ベクトル（θ、φ）＝（０、６０）に基づいてレコードＲ６０３が新たなレコードとして登録された状態（図２２Ａ参照）から、メディア表現情報がメディア表現ＩＤ「ＭＥＤ００１」のメディア表現からメディア表現ＩＤ「ＭＥＤ００２」のメディア表現に変更された場合を示している。図２２Ａの状態から、メディア表現情報がメディア表現ＩＤ「ＭＥＤ００１」のメディア表現からメディア表現ＩＤ「ＭＥＤ００２」のメディア表現に変更されると、ＣＰＵ２１１は、レコードＲ６０３の［メディア表現ＩＤ］列Ｃ６０７の値「ＭＥＤ００１」を「ＭＥＤ００２」とし、さらに、［最終使用日時］列Ｃ６０９の値「２００６−０３−１１  １０：００：００」を現在の値「２００６−０３−１１  １０：１０：００」とする。ＣＰＵ２１１は、変更したレコードＲ６０３を、図２２Ｃに示すように単語メディア表現関連ＤＢへ上書き登録する。
【０１３４】
図１８のステップＳ１８０５において感情反映変更ボタンＢ７（図１９参照）が選択されたと判断すると、ＣＰＵ２１１は、感情を反映させるための設定値を新たに指定するためのダイアログを表示する（Ｓ１８３１）。設定値の種類については、各メディア表現情報に設定されている感情表現パラメータにより決定する。例えば、フォントのサイズや画面の表示色について感情表現パラメータが設定されていれば、当該感情表現パラメータを変更することができるダイアログを表示する。
【０１３５】
ＣＰＵ２１１は、ダイアログにおいて、新たに感情表現パラメータが設定されたと判断すると（Ｓ１８３３）、当該感情表現パラメータに基づいて、対応するメディア表現情報の感情表現パラメータを新たに設定して、感情表現パラメータＤＢを更新する（Ｓ１８３５）。
【０１３６】
図２６に、感情表現パラメータが変更された後の感情表現パラメータＤＢの一例を示す。図２６では、メディア表現ＩＤ「ＭＥＤ００１」のメディア表現情報に含まれるフォントのサイズを拡大した場合を示している。この場合、ユーザが望む拡大率をメディア表現文書情報生成装置２１に与えると、ＣＰＵ２１１は、自動的にシステムに合致する拡大率を計算し、［設定値］列Ｃ８０５へ登録する。図２６では、図８のレコードＲ８０１の［設置値］列Ｃ８０５の値「０．８」を「１．２」としている。
【０１３７】
図１８に戻って、感情表現パラメータＤＢ更新処理（Ｓ１８３５）が終了すると、ＣＰＵ２１１は、設定された感情表現パラメータに基づいて、再度、メディア表現文書情報生成処理（Ｓ２７：図１０参照）、必要であればメディア表現編集処理（Ｓ２９：図１０参照）を実行する。
【０１３８】
図１８のステップＳ１８０５において戻るボタンＢ９（図１９参照）が選択されたと判断すると、ＣＰＵ２１１は、編集モードを抜けて、感情表現文書情報の表示画面へ戻る（Ｓ１８４１）。
【０１３９】
4.3.  具体例
図２７〜図３５を用いて、具体的なメディア表現文書情報生成システム１の動作を説明する。以下では、ある人物が「今日はよい天気だね」と発言した時の感情に基づいてメディア表現文書情報を生成する場合を考える。
【０１４０】
カメラ２５及びマイクロフォン２７によって、ある人物が発言している状態を写した映像情報及びある人物の発言を録音した音声情報を取得する。文脈・感情情報取得装置２３は、カメラ２５及びマイクロフォン２７から映像情報及び音声情報を取得すると、文脈分析処理（図１１：Ｓ１１１１参照）を実行し、文脈情報「今日は良い天気だね」を取得する。また、感情分析処理（図１１：Ｓ１１０５参照）を実行し、感情ベクトル（笑い、怒り、悲しみ）＝（１０√３、１０、０）を取得する。
【０１４１】
図２８に移って、メディア表現文書情報生成装置２１のＣＰＵ２１１は、文脈情報「今日は良い天気だね」を取得すると、取得した文脈情報から主単語を決定する主単語決定処理を実行する。図２８に示す単語マスタＤＢに基づいて主単語決定処理（図１２参照）を実行した場合、ＣＰＵ２１１は、取得した文脈情報に含まれる単語のうち、優先度が最も高い単語「天気（単語ＩＤ：Ｔ００１）」を主単語と決定する。
【０１４２】
図２９に移って、ＣＰＵ２１１は、感情ベクトル（笑い、怒り、悲しみ）＝（１０√３、１０、０）を取得すると、取得した感情ベクトルから感情方向ベクトルを取得する感情情報分析処理（図１３参照）を実行する。感情情報分析処理において感情ベクトルを極座標変換し、ＣＰＵ２１１は、例えば、感情方向ベクトル（θ、φ）＝（０、６０）、感情の強さ「ｒ」＝２０を取得する。
【０１４３】
図３０に移って、ＣＰＵ２１１は、主単語情報「天気（単語ＩＤ：Ｔ００１）」及び感情方向ベクトル（θ、φ）＝（０、６０）に基づいてメディア表現情報取得処理（図１５：Ｓ１５２１参照）を実行し、図３０に示す単語メディア表現関連ＤＢから、「単語ＩＤ：Ｔ００１」に関して感情方向ベクトル（θ、φ）＝（０、６０）に最も近い（θ、φ）＝（０、４０）の値を有するレコードを取得する。
【０１４４】
図３１に移って、ＣＰＵ２１１は、取得したレコードからメディア表現ＩＤ「ＭＥＤ０００１」を取得する。そして、ＣＰＵ２１１は、メディア表現情報取得処理（図１５ａ：Ｓ１５１９参照）を実行し、図３１に示すメディア表現マスタＤＢから対応するメディア表現及びメディア表現種別ＩＤ「ＡＡ」を取得する。
【０１４５】
図３２に移って、さらに、ＣＰＵ２１１は、取得したメディア表現ＩＤ「ＭＥＤ０００１」に基づいて、メディア表現文書情報生成処理（図１６：Ｓ１６０１参照）を実行する。ＣＰＵ２１１は、図３２に示す感情反映パラメータＤＢから、メディア表現ＩＤ「ＭＥＤ０００１」に対応する設定パラメータＩＤ及びその値を取得する。
【０１４６】
図３３に移って、ＣＰＵ２１１は、取得したメディア表現種別ＩＤ「ＡＡ」に基づいて、メディア表現文書情報生成処理（図１６：Ｓ１６０７参照）を実行する。ＣＰＵ２１１は、図３３に示すメディア表現種別ＤＢから、メディア表現種別ＩＤ「ＡＡ」に対応する感情反映ロジック「ＬＯＧ０００１」を取得する。
【０１４７】
図３４に移って、ＣＰＵ２１１は、取得したメディア表現に対して、感情方向ベクトル（θ、φ）＝（０、６０）、感情の強さ「ｒ」、及び設定パラメータＩＤ及びその値に対して、感情反映ロジック「ＬＯＧ０００１」を用いて、メディア表現情報調整処理（図１６：Ｓ１６１１参照）を実行する。
【０１４８】
図３５に移って、ＣＰＵ２１１は、メディア表現情報調整処理を実行したメディア表現、文脈情報「今日は良い天気だね」、及び主単語情報「天気（単語ＩＤ：Ｔ００１）」に基づいて、図３５に示すメディア表現文書を生成する。
【０１４９】
［その他の実施形態］
（１）感情情報の構成要素
前述の実施例１においては、感情情報を構成する感情として笑い、悲しみ、怒りを例示したが、感情情報の構成要素としては例示のものに限定されない。例えば、驚き、嫌悪、恐怖等その他の感情を構成要素として、数値化するようにしてもよい。
【０１５０】
また、感情情報の値を算出する方法は、例示の特開平１０−２２８２９５に限定されない。感情を一又は複数の要素について数値化できる方法であればよい。
【０１５１】
（２）感情情報・文脈情報の取得
前述の実施例１においては、音声情報及び映像情報によって、感情情報を取得するものとしたが、映像情報のみから取得するようにしてもよい。また、前述の実施例１においては、文脈情報を音声情報により取得するとしたが、映像情報及び音声情報から取得するようにしてもよい。
【０１５２】
（３）極座標
前述の実施例１においては、感情ベクトルを極座標変換し、感情方向ベクトル及び感情の強さを取得したが、感情情報を処理することができるものでれば例示のものに限定されない。例えば、感情ベクトルをそのまま用いて、感情方向ベクトル、感情の強さを算出するようにしてもよい。
【０１５３】
（４）映像情報・音声情報取得
前述の実施例１においては、映像情報及び音声情報をそれぞれカメラ２５及びマイクロフォン２７から取得したが、映像情報・音声情報取得を取得できる方法であれば例示のものに限定されない。例えば、既にデータベース等に保存された映像情報・音声情報から取得するようにしてもよい。
【０１５４】
（５）感情方向ベクトルの取得
前述の実施例１では、単語メディア関連ＤＢ（図６参照）から感情方向ベクトル（θ、φ）に最も近い「θ」、「φ」を有するレコードを取得する際に、「感情方向ベクトル（θ、φ）に最も近い「θ」、「φ」を有するレコード」を「単位感情方向ベクトル間の距離がもっとも近いレコード」と規定したが、例示の規定に限定されない。
【０１５５】
（６）単語マスタＤＢの更新
前述の実施例１においては、単語マスタＤＢを更新する際に、更新前の単語についての優先度を下げ、更新後の単語についての優先度を上げた。しかし、更新後の単語についての優先度のみを上げるようにしてもよい。また、更新前の単語についての優先度のみを下げるようにしてもよい。
【０１５６】
また、変更後の単語について優先度を上げる幅及び変更前の単語について優先度を下げる幅は同じ値でなくともよい。さらに、ある単語について変更される回数に応じて、優先度を上げる幅、下げる幅を変えるようにしてもよい。
【０１５７】
（７）フローチャートにおける処理の順番
前述の実施例１においては、図に示した各フローチャートに基づいて、各処理を実現するようにした。しかし、各処理を実現できるものであれば、各フローチャート内における処理の順番は例示のものに限定されない。
【０１５８】
（８）処理の順番
前述の実施例１においては、図に示した各フローチャートによってメディア表現文書情報生成システム１の動作を実現した。しかし、実施例１の機能ブロック図（図１参照）における機能を実現できるものであれば、例示のフローチャートによる処理に限定されない。特に、処理の順番等については限定されない。
【０１５９】
（９）機能の選択
前述の実施例１においては、図１に示す機能ブロック図を実現するメディア表現文書情報生成システム１を示した。しかし、メディア表現文書情報生成システムの機能としては、例示のものに限定されない。例えば、いくつかの機能については選択的に有さないようにしてもよい。
【図面の簡単な説明】
【０１６０】
【図１】本発明における感情表現情報生成システムの実施例１における機能ブロック図を示した図である。
【図２】メディア表現文書情報生成システム１のハードウェア構成を示した図である。
【図３】感情表現文書情報生成装置２１のハードウェア構成を示した図である。
【図４】文脈・感情情報取得装置２３のハードウェア構成を示した図である。
【図５】単語マスタＤＢのデータ構造を示した図である。
【図６】単語メディア表現関連ＤＢのデータ構造を示した図である。
【図７】メディア表現マスタＤＢのデータ構造を示した図である。
【図８】感情反映パラメータＤＢのデータ構造を示した図である。
【図９】メディア表現種別マスタＤＢのデータ構造を示した図である。
【図１０】メディア表現文書情報生成システム１における動作の概略を示したフローチャートである。
【図１１】感情情報取得処理及び文脈情報取得処理を示したフローチャートである。
【図１２】主単語決定処理を示したフローチャートである。
【図１３】感情情報分析処理を示したフローチャートである。
【図１４】感情方向ベクトルと球座標との関係を説明するための図である。
【図１５】メディア表現情報取得処理を示したフローチャートである。
【図１５ａ】メディア表現情報取得処理を示したフローチャートである。
【図１６】メディア表現文書情報生成処理を示したフローチャートである。
【図１７】メディア表現文書情報の表示画面例を示した図である。
【図１８】メディア表現編集処理を示したフローチャートである。
【図１９】編集モードにおける編集画面例を示した図である。
【図２０】［優先度］列の値を変更した単語マスタＤＢの一例を示した図である。
【図２１】更新された単語メディア表現関連ＤＢの一例を示した図である。
【図２２】更新された単語メディア表現関連ＤＢの一例を示した図である。
【図２３】メディア表現関連ＤＢ更新処理（１）を示したフローチャートである。
【図２４】メディア表現マスタＤＢ更新処理を示したフローチャートである。
【図２５】メディア表現関連ＤＢ更新処理（２）を示したフローチャートである。
【図２６】感情表現パラメータが変更された後の感情表現パラメータＤＢの一例を示した図である。
【図２７】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図２８】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図２９】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図３０】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図３１】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図３２】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図３３】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図３４】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【図３５】具体的なメディア表現文書情報生成システム１の動作の説明するための図である。
【符号の説明】
【０１６１】
Ｍ１・・・・・感情表現情報生成システム
Ｍ１１・・・・・感情表現文書情報生成装置
Ｍ１３・・・・・文脈情報取得装置
Ｍ１５・・・・・感情情報取得装置
M１７・・・・・感情表現情報データベース
Ｍ１９・・・・・主単語データベース
Ｍ１０１・・・・・主単語決定手段
Ｍ１０５・・・・・感情表現情報取得手段
Ｍ１０７・・・・・感情表現文書情報生成手段
Ｍ１１１・・・・・感情表現情報データベース更新手段
Ｍ１１３・・・・・主単語変更情報取得手段
Ｍ１１５・・・・・主単語データベース更新手段
１・・・・・メディア表現文書情報生成システム
２１・・・・・メディア表現文書情報生成装置
２３・・・・・文脈・感情情報取得装置
２５・・・・・カメラ
２７・・・・・マイクロフォン
【図１】
2007299255.tif 000005
【図２】
2007299255.tif 000006
【図３】
2007299255.tif 000007
【図４】
2007299255.tif 000008
【図５】
2007299255.tif 000009
【図６】
2007299255.tif 000010
【図７】
2007299255.tif 000011
【図８】
2007299255.tif 000012
【図９】
2007299255.tif 000013
【図１０】
2007299255.tif 000014
【図１１】
2007299255.tif 000015
【図１２】
2007299255.tif 000016
【図１３】
2007299255.tif 000017
【図１４】
2007299255.tif 000018
【図１５】
2007299255.tif 000019
【図１５ａ】
2007299255.tif 000020
【図１６】
2007299255.tif 000021
【図１７】
2007299255.tif 000022
【図１８】
2007299255.tif 000023
【図１９】
2007299255.tif 000024
【図２０】
2007299255.tif 000025
【図２１】
2007299255.tif 000026
【図２２】
2007299255.tif 000027
【図２３】
2007299255.tif 000028
【図２４】
2007299255.tif 000029
【図２５】
2007299255.tif 000030
【図２６】
2007299255.tif 000031
【図２７】
2007299255.tif 000032
【図２８】
2007299255.tif 000033
【図２９】
2007299255.tif 000034
【図３０】
2007299255.tif 000035
【図３１】
2007299255.tif 000036
【図３２】
2007299255.tif 000037
【図３３】
2007299255.tif 000038
【図３４】
2007299255.tif 000039
【図３５】
2007299255.tif 000040