(57)【要約】【課題】アニメーション等のコンテンツデータの再生に合わせて感情の変化を表現することを図る。【解決手段】コンテンツデータ１００から感情の変化を表す感情変化情報１０１を取得する感情変化情報取得部１１と、感情変化情報で示される感情の変化に対応する感情変化表現データ１０２を生成する感情変化表現データ生成部１３と、コンテンツデータ１００の再生時に、感情変化情報１０１で示される感情の変化のタイミングに基づいて、感情変化表現データ１０２に基づく出力動作を制御する出力制御部１４と、出力制御部１４の制御に従い、感情変化表現データ１０２に基づく出力動作を行う出力部１５と、を備える。【選択図】図１
2015125636.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツデータから、感情の変化を表す感情変化情報を取得する感情変化情報取得部と、
前記感情変化情報で示される感情の変化に対応する感情変化表現データを生成する感情変化表現データ生成部と、
前記コンテンツデータの再生時に、前記感情変化情報で示される感情の変化のタイミングに基づいて、前記感情変化表現データに基づく出力動作を制御する出力制御部と、
前記出力制御部の制御に従い、前記感情変化表現データに基づく出力動作を行う出力部と、
を備えたことを特徴とする感情表現装置。
【請求項２】
人の感情の変化に対して人の共感を呼ぶ感情変化表現を示す感情変化表現基本情報を記憶する感情変化表現基本情報記憶部を備え、
前記感情変化表現データ生成部は、前記感情変化表現基本情報に基づいて、前記感情変化表現データを生成する、
ことを特徴とする請求項１に記載の感情表現装置。
【請求項３】
前記出力制御部は、前記出力動作の開始期間または終了期間に対し、前記感情変化情報で示される感情の変化に応じて、前記出力動作の強度を制御することを特徴とする請求項１又は２のいずれか１項に記載の感情表現装置。
【請求項４】
前記出力制御部は、前記感情変化情報で示される感情の変化が快感情から不快感情である場合に、前記出力動作の終了期間での強さを前記出力動作の開始期間よりも弱くすることを特徴とする請求項３に記載の感情表現装置。
【請求項５】
前記出力制御部は、前記感情変化情報で示される感情の変化が不快感情から快感情である場合に、前記出力動作の開始期間および終了期間での強さを、該開始期間と該終了期間の間の期間よりも弱くすることを特徴とする請求項３に記載の感情表現装置。
【請求項６】
前記出力制御部は、前記出力動作の開始期間または終了期間において、前記出力動作の強さを変化させることを特徴とする請求項３から５のいずれか１項に記載の感情表現装置。
【請求項７】
前記出力制御部は、前記感情変化情報で示される感情の変化の度合いに応じて前記出力動作の強度を制御することを特徴とする請求項１から６のいずれか１項に記載の感情表現装置。
【請求項８】
感情表現装置の感情表現方法であり、
前記感情表現装置が、コンテンツデータから、感情の変化を表す感情変化情報を取得する感情変化情報取得ステップと、
前記感情表現装置が、前記感情変化情報で示される感情の変化に対応する感情変化表現データを生成する感情変化表現データ生成ステップと、
前記感情表現装置が、前記コンテンツデータの再生時に、前記感情変化情報で示される感情の変化のタイミングに基づいて、前記感情変化表現データに基づく出力動作を制御する出力制御ステップと、
前記感情表現装置が、前記出力制御ステップの制御に従い、前記感情変化表現データに基づく出力動作を行う出力ステップと、
を含むことを特徴とする感情表現方法。
【請求項９】
コンピュータに、
コンテンツデータから、感情の変化を表す感情変化情報を取得する感情変化情報取得ステップと、
前記感情変化情報で示される感情の変化に対応する感情変化表現データを生成する感情変化表現データ生成ステップと、
前記コンテンツデータの再生時に、前記感情変化情報で示される感情の変化のタイミングに基づいて、前記感情変化表現データに基づく出力動作を制御する出力制御ステップと、
前記出力制御ステップの制御に従い、前記感情変化表現データに基づく出力動作を行う出力ステップと、
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情表現装置、感情表現方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット型のコンピュータ等の携帯端末の性能が向上し、従来は携帯端末での視聴が難しかったアニメーション等の動画コンテンツを携帯端末で視聴することが一般的になってきている。また、学校の授業やチュートリアル、ニュース、オンラインチャットなどにおいて、アニメーションキャラクタが説明者として登場する動画コンテンツが、携帯端末向けに配信されるようになり、携帯端末で視聴されている。
【０００３】
従来、アニメーションキャラクタの音声や表情、仕草などによってアニメーションキャラクタの感情表現をリッチなものにすることにより、アニメーションキャラクタによる情報伝達の能力を向上させることが検討されている。しかし、携帯端末では、一般にパーソナルコンピュータやテレビジョン受像機に比較して表示画面サイズが小さいために、表示画面上のアニメーションキャラクタの表情や仕草が分かりにくいという問題がある。このため、表示画面上のアニメーションキャラクタの感情表現を分かりやすくするための従来技術が知られている。
【０００４】
非特許文献１に記載の従来技術では、アニメーションキャラクタの元の仕草を変更して、ため、加速、減速などの誇張効果を生成することにより、より分かりやすいアニメーションを生成する。非特許文献２に記載の従来技術では、携帯端末に搭載されるバイブレータ（振動発生装置）で発生された振動が感情と繋がっていることが示されている。特に、振動の周期や強弱によって喚起された感情が異なることが示される。特許文献１に記載の従来技術では、音声と同時に振動から感情を伝えるようにしている。特許文献２に記載の従来技術では、子どもの快、不快、要注意の感情を、母親が働いている職場の情報提示通信装置に伝達し、情報提示通信装置が子どもの感情状態を音、光もしくは振動の機械的な方法により周知する。特許文献３に記載の従来技術では、触覚刺激情報によって複数のアクチュエーターを時間的且つ空間的に制御し、触覚刺激情報をメディアクリップと同期させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０４７６４０号公報
【特許文献２】特開２００６−０５１３１７号公報
【特許文献３】特表２０１１−５２３３６４号公報
【非特許文献】
【０００６】
【非特許文献１】桑原明栄子、牧野光則、“CGアニメーション用誇張表現作成補助システムの提案”、芸術科学会論文誌  Vol. 2 No. 1 pp.21-30、2003年
【非特許文献２】Katri Salminen, Veikko Surakka, Jani Lylykangas, Jukka Raisamo, Rami Saarinen, Roope Raisamo, Jussi Rantala, and Grigori Evreinov, “Emotional and behavioral responses to haptic stimulation. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '08)”, ACM, New York, NY, USA, 1555-1562, 2008年
【非特許文献３】J.A. Russell, “A Circumplex Model of Affect”, Journal of Personality and Social Psychology, 39 (6), 1161-1178, 1980年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上述した従来技術では、以下に示す課題がある。
非特許文献１に記載の従来技術では、動きデータを修正しているので、精度面の問題からアニメーションキャラクタの動きが不自然になる可能性がある。また、計算量が多いため、計算能力が低く且つ電池の消費量が懸念される携帯端末には適用が困難である。非特許文献２に記載の従来技術では、振動の周期や強弱と喚起される感情との関係を、アニメーションキャラクタの感情の変化に対してどのように適用するのかが課題である。
【０００８】
特許文献１、２に記載の従来技術では、アニメーションと連動しないので、アニメーションキャラクタの感情の変化に対して、どのようにして振動の制御を行うのかが課題である。特許文献３に記載の従来技術では、複数のアクチュエーターによって人体の複数の部位を刺激することを前提にしているので、単一の携帯端末で人体に刺激を与える場合には適用が困難である。さらに、感情の変化を考慮していないので、アニメーションキャラクタの感情表現を豊かにできないという課題がある。
【０００９】
本発明は、このような事情を考慮してなされたもので、アニメーション等のコンテンツデータの再生に合わせて感情の変化を表現できる感情表現装置、感情表現方法およびコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
（１）本発明に係る感情表現装置は、コンテンツデータから、感情の変化を表す感情変化情報を取得する感情変化情報取得部と、前記感情変化情報で示される感情の変化に対応する感情変化表現データを生成する感情変化表現データ生成部と、前記コンテンツデータの再生時に、前記感情変化情報で示される感情の変化のタイミングに基づいて、前記感情変化表現データに基づく出力動作を制御する出力制御部と、前記出力制御部の制御に従い、前記感情変化表現データに基づく出力動作を行う出力部と、を備えたことを特徴とする。
【００１１】
（２）本発明に係る感情表現装置は、上記（１）の感情表現装置において、人の感情の変化に対して人の共感を呼ぶ感情変化表現を示す感情変化表現基本情報を記憶する感情変化表現基本情報記憶部を備え、前記感情変化表現データ生成部は、前記感情変化表現基本情報に基づいて、前記感情変化表現データを生成する、ことを特徴とする。
【００１２】
（３）本発明に係る感情表現装置は、上記（１）又は（２）のいずれかの感情表現装置において、前記出力制御部は、前記出力動作の開始期間または終了期間に対し、前記感情変化情報で示される感情の変化に応じて、前記出力動作の強度を制御することを特徴とする。
【００１３】
（４）本発明に係る感情表現装置は、上記（３）の感情表現装置において、前記出力制御部は、前記感情変化情報で示される感情の変化が快感情から不快感情である場合に、前記出力動作の終了期間での強さを前記出力動作の開始期間よりも弱くすることを特徴とする。
【００１４】
（５）本発明に係る感情表現装置は、上記（３）の感情表現装置において、前記出力制御部は、前記感情変化情報で示される感情の変化が不快感情から快感情である場合に、前記出力動作の開始期間および終了期間での強さを、該開始期間と該終了期間の間の期間よりも弱くすることを特徴とする。
【００１５】
（６）本発明に係る感情表現装置は、上記（３）から（５）のいずれかの感情表現装置において、前記出力制御部は、前記出力動作の開始期間または終了期間において、前記出力動作の強さを変化させることを特徴とする。
【００１６】
（７）本発明に係る感情表現装置は、上記（１）から（６）のいずれかの感情表現装置において、前記出力制御部は、前記感情変化情報で示される感情の変化の度合いに応じて前記出力動作の強度を制御することを特徴とする。
【００１７】
（８）本発明に係る感情表現方法は、感情表現装置の感情表現方法であり、前記感情表現装置が、コンテンツデータから、感情の変化を表す感情変化情報を取得する感情変化情報取得ステップと、前記感情表現装置が、前記感情変化情報で示される感情の変化に対応する感情変化表現データを生成する感情変化表現データ生成ステップと、前記感情表現装置が、前記コンテンツデータの再生時に、前記感情変化情報で示される感情の変化のタイミングに基づいて、前記感情変化表現データに基づく出力動作を制御する出力制御ステップと、前記感情表現装置が、前記出力制御ステップの制御に従い、前記感情変化表現データに基づく出力動作を行う出力ステップと、を含むことを特徴とする。
【００１８】
（９）本発明に係るコンピュータプログラムは、コンピュータに、コンテンツデータから、感情の変化を表す感情変化情報を取得する感情変化情報取得ステップと、前記感情変化情報で示される感情の変化に対応する感情変化表現データを生成する感情変化表現データ生成ステップと、前記コンテンツデータの再生時に、前記感情変化情報で示される感情の変化のタイミングに基づいて、前記感情変化表現データに基づく出力動作を制御する出力制御ステップと、前記出力制御ステップの制御に従い、前記感情変化表現データに基づく出力動作を行う出力ステップと、を実行させるためのコンピュータプログラムであることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、アニメーション等のコンテンツデータの再生に合わせて感情の変化を表現することができる。これにより、コンテンツデータの視聴者は、コンテンツデータに含まれる感情の変化をより印象深く認識できるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る感情表現装置１の構成を示すブロック図である。
【図２】本発明の一実施形態に係る感情表現方法の手順を示すフローチャートである。
【図３】本発明の一実施形態に係る感情モデルの例を示すグラフ図である。
【図４】本発明の一実施形態に係る感情変化表現基本情報１０５の例を示す波形図である。
【図５】本発明の一実施形態に係る出力制御部１４による出力制御動作の例を説明する図である。
【図６】本発明の一実施形態に係る出力制御部１４による出力制御動作の例を説明する図である。
【図７】本発明の一実施形態に係る視覚効果画像の画像パターンの例を説明する図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る感情表現装置１の構成を示すブロック図である。図１において、感情表現装置１は、感情変化情報取得部１１と感情変化表現基本情報記憶部１２と感情変化表現データ生成部１３と出力制御部１４と出力部１５を備える。感情表現装置１にはコンテンツデータ１００が入力される。該コンテンツデータ１００は、コンテンツ再生装置２に入力されて再生される。
【００２２】
コンテンツデータ１００としては、感情の変化の情報を有するものであって、例えば、動画コンテンツ、テキストコンテンツ、音声コンテンツなどのデータが挙げられる。動画コンテンツとして、例えば、コンピュータグラフィックス等によるアニメーション、実写による動画像などが挙げられる。テキストコンテンツとして、例えば、小説、雑誌等の書籍、ブログなどが挙げられる。音声コンテンツとして、例えば、楽曲、小説等の朗読などが挙げられる。動画コンテンツおよびテキストコンテンツは、コンテンツ再生装置２の表示画面上で表示再生される。音声コンテンツは、コンテンツ再生装置２により音声再生される。
【００２３】
感情表現装置１において、感情変化情報取得部１１は、コンテンツデータ１００から、感情の変化を表す感情変化情報１０１を取得する。感情変化表現基本情報記憶部１２は、人の感情の変化に対して人の共感を呼ぶ感情変化表現を示す感情変化表現基本情報１０５を記憶する。感情変化表現データ生成部１３は、感情変化情報１０１で示される感情の変化に対応する感情変化表現データ１０２を生成する。感情変化表現基本情報１０５は、感情変化表現データ生成部１３によって感情変化表現データ１０２の生成の際に使用される。出力制御部１４は、コンテンツデータ１００の再生時に、感情変化情報１０１で示される感情の変化のタイミングに基づいて、感情変化表現データ１０２に基づく出力動作を制御する。
【００２４】
出力部１５は、出力制御部１４からの制御信号１０３に従い、感情変化表現データ１０２に基づく出力動作を行う。出力部１５として、例えば、感情変化表現データ１０２に基づく振動を発生する振動発生装置、感情変化表現データ１０２に基づく音声を発生する音声発生装置、感情変化表現データ１０２に基づく画像を発生する画像発生装置などが挙げられる。出力部１５によって発生された振動、音声、画像は、コンテンツ再生装置２によって再生されるコンテンツデータ１００を視聴する利用者に対して、提供される。
【００２５】
また、出力制御部１４は、コンテンツ再生装置２に対して、コンテンツデータ１００の再生制御信号１０４を出力する。このコンテンツデータ１００の再生制御信号１０４は、出力部１５による感情変化表現データ１０２に基づく出力動作とコンテンツ再生装置２によるコンテンツデータ１００の再生動作とのタイミングを合わせるためのものである。
【００２６】
次に、図２を参照して、本実施形態に係る感情表現装置１の動作を説明する。図２は、本実施形態に係る感情表現方法の手順を示すフローチャートである。以下の説明では、コンテンツデータ１００として、アニメーション（以下、アニメーション１００と記す）を例に挙げて説明する。
【００２７】
［ステップＳ１：感情変化情報取得ステップ］
感情変化情報取得部１１は、感情表現装置１に入力されたアニメーション１００から感情変化情報１０１を取得する。感情変化情報１０１は、感情の変化のタイミング（感情変化タイミング）と、変化前と変化後の各感情などを示す。
【００２８】
アニメーション１００は、アニメーションキャラクタ（以下、単にキャラクタと称する）が時間の経過に伴って音声や表情、仕草などを変化させることにより、キャラクタの感情を表現する。感情変化情報取得部１１は、アニメーション１００から、そのキャラクタの感情の変化を表す感情変化情報１０１を取得する。この感情変化情報取得方法として、２つの例Ａ−１、Ａ−２を以下に説明する。これら例Ａ−１、Ａ−２では、説明の便宜上、２種類の感情として「快感情」と「不快感情」を使用する。このため、感情の変化として、快感情から不快感情への変化と、不快感情から快感情への変化との２種類が存在する。
【００２９】
（例Ａ−１）  例Ａ−１では、アニメーション１００は、３次元のコンピュータグラフィックスにより、キャラクタの顔の各表情に対応するポリゴンやテキスチャーを使用してキャラクタの顔の表情が作成されている。アニメーション１００には、基本表情集合「Ｆ＝｛Ｆ０，Ｆ１，・・・，ＦＮ｝」が定義される。Ｆｎは基本表情を示す。「ｎ＝０，１，・・・，Ｎ」であり、Ｎは正の整数である。そして、アニメーション１００は、メタデータとして、フレーム毎に基本表情集合Ｆの時間変化情報を有する。基本表情集合Ｆの時間変化情報によって、アニメーション１００の各フレームにおける、キャラクタの表情が示される。
【００３０】
感情変化情報取得部１１は、アニメーション１００のキャラクタの表情を、図３に示される感情モデルにマッピングする。感情変化情報取得部１１は、表情と感情モデル座標との対応関係を示す表情変換座標情報を予め保持する。感情変化情報取得部１１は、表情変換座標情報に基づいて、アニメーション１００のフレーム毎に、基本表情集合Ｆの時間変化情報で示されるキャラクタの表情から、感情モデル座標を取得する。
【００３１】
図３は、本実施形態に係る感情モデルの例を示すグラフ図である。図３において、ｘ軸は快感情と不快感情の度合いを示し、ｙ軸は感情の活性の度合いを示す。図３に示される例では、あるフレームで表情が座標２０１であったものが、以降の各フレームで表情が座標２０２から座標２０６へと変化している。そして、図３の例では、座標２０３のフレームから座標２０４のフレームで、キャラクタの感情が不快から快へ変化していることが分かる。
【００３２】
感情変化情報取得部１１は、アニメーション１００の各フレームにおけるキャラクタの表情を感情モデルへマッピングした結果から、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報「Ｅ（ｔ）＝｛ｘ（ｔ），ｙ（ｔ）｝を取得する。ｔはアニメーション１００のフレーム時刻である。図３の例では、感情変化タイミングは、座標２０３のフレームと座標２０４のフレームの間であり、変化前は不快感情であり、変化後は快感情である。
【００３３】
なお、アニメーション１００が複数の表情を有する場合、フレーム毎に基本表情集合Ｆの時間変化情報が複数あり、アニメーション１００の各フレームにおけるキャラクタの表情が複数存在する。この場合、感情変化情報取得部１１は、基本表情集合Ｆの時間変化情報ごとに、それぞれキャラクタの表情を感情モデルへマッピングする。これにより、基本表情集合Ｆの時間変化情報ごとに、感情モデル上に、表情変化ベクトル（図３中の矢印破線に相当）が生成される。感情変化情報取得部１１は、それらの表情変化ベクトルの平均を求める。そして、感情変化情報取得部１１は、その平均ベクトルから、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報Ｅ（ｔ）を取得する。
【００３４】
（例Ａ−２）  例Ａ−２では、アニメーション１００は、３次元のコンピュータグラフィックスにより、キャラクタの顔の各パーツの組み合わせを使用してキャラクタの顔の表情が作成されている。感情変化情報取得部１１は、アニメーション１００から各パーツの時刻（フレーム）情報を取得し、該各パーツの時刻情報に基づいてキャラクタの表情を判定する。ここで、単一の感情の場合には、ＦＡＣＳ（Facial Action Coding System：顔面表情記号化システム）を利用して、各パーツと表情の明確な対応関係によって、その表情を推定する。一方、複数の感情が存在する場合には、各パーツの組み合わせが示す複数の表情から一つに絞り切れないときがある。この場合、グリーディ法（Greedy algorithm）を利用して、複数の表情から一つを選択する。
【００３５】
感情変化情報取得部１１は、例Ａ−１と同様に、アニメーション１００の各フレームにおけるキャラクタの表情を感情モデルへマッピングした結果から、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報Ｅ（ｔ）を取得する。
【００３６】
以上が感情変化情報１０１の取得の方法の例の説明である。感情変化情報取得部１１は、感情変化情報１０１を、感情変化表現データ生成部１３と出力制御部１４へ出力する。感情変化情報１０１は、感情変化タイミングを示す情報と、変化前と変化後の各感情を示す情報と、感情モデル座標情報Ｅ（ｔ）を有する。
【００３７】
なお、アニメーション１００がメタデータとして、感情変化タイミングを示す情報、変化前と変化後の各感情を示す情報、感情モデル座標情報Ｅ（ｔ）を有する場合には、該情報を取得して感情変化情報１０１に使用する。
【００３８】
［ステップＳ２：感情変化表現データ生成ステップ］
感情変化表現データ生成部１３は、感情変化情報１０１で示される感情の変化に対応する感情変化表現データ１０２を生成する。感情変化表現基本情報１０５は、感情変化表現データ生成部１３によって感情変化表現データ１０２の生成の際に使用される。
【００３９】
図４は、本実施形態に係る感情変化表現基本情報１０５の例を示す波形図である。図４には、出力部１５として振動発生装置を備えた場合の感情変化表現基本情報１０５の例を示している。図４（１）の波形は、快感情から不快感情へ変化する場合の振動パターン３０１である。この振動パターン３０１は、振動強度が比較的大きく振動周期が比較的短い、断続的な振動パターンである。この振動パターン３０１により、快感情から不快感情への変化に対する人の共感を呼ぶことができる。
【００４０】
図４（２）の波形は、不快感情から快感情へ変化する場合の振動パターン３０２である。この振動パターン３０２は、振動強度が比較的小さく振動周期が比較的長い、継続的な振動パターンである。この振動パターン３０２により、不快感情から快感情への変化に対する人の共感を呼ぶことができる。
【００４１】
感情変化表現データ生成部１３は、感情変化情報１０１で示される変化前と変化後の各感情に基づいて、感情の変化に対応する感情変化表現基本情報１０５を選択する。例えば、快感情から不快感情へ変化する場合には振動パターン３０１を選択する。一方、不快感情から快感情へ変化する場合には振動パターン３０２を選択する。
【００４２】
次いで、感情変化表現データ生成部１３は、該選択した感情変化表現基本情報１０５に対して、感情変化情報１０１で示される感情変化タイミングを関連付けた、感情変化表現データ１０２を生成する。この感情変化表現データ１０２は、感情変化表現基本情報１０５と、感情変化情報１０１で示される感情変化タイミングの情報と、感情モデル座標情報Ｅ（ｔ）を有する。感情変化表現データ生成部１３は、感情変化表現データ１０２を、出力制御部１４と出力部１５へ出力する。
【００４３】
［ステップＳ３：出力制御ステップ］
出力制御部１４は、アニメーション１００の再生時に、感情変化情報１０１で示される感情変化タイミングに基づいて、感情変化表現データ１０２に基づく出力動作を制御する。出力制御部１４は、出力部１５に対して、該制御を伝える制御信号１０３を出力する。感情変化情報１０１で示される感情変化タイミングは、感情変化表現データ１０２から取得される。
【００４４】
以下に、具体例を挙げて出力制御ステップを説明する。ここでは、出力部１５として振動発生装置を備え、図４の振動パターン３０１、３０２を使用することとする。
【００４５】
出力制御部１４は、感情変化表現データ１０２で示される振動パターンに対し、感情の変化に応じて、振動開始期間または振動終了期間における振動強度を制御する。図５および図６は、本実施形態に係る出力制御部１４による出力制御動作の例を説明する図である。
【００４６】
図５は快感情から不快感情へ変化する場合である。図５において、出力制御部１４は、振動パターン３０１の開始タイミングを、感情変化タイミングｔ０の直前（例えば、０．５秒前）に設定する。また、出力制御部１４は、振動パターン３０１の継続期間を、一定時間（例えば、５秒間）と、次の感情変化タイミングまでの時間とのうち、短い方に設定する。
【００４７】
振動強度の制御については、以下に示す２段階で行う。
【００４８】
（振動強度の制御の第１段階）  出力制御部１４は、感情モデル座標情報Ｅ（ｔ）に基づいて、適応的に、振動強度を制御する。具体的には、出力制御部１４は、［数１］により、振動強度の制御重みｗ（ｔ）を算出する。出力制御部１４は、制御重みｗ（ｔ）によって、振動パターン３０１に対し、継続期間における強度の重み付けを行う。
【００４９】
【数１】
2015125636.tif 000003
【００５０】
但し、Ｅｍａｘは振動パターン３０１の継続期間で最も大きなＥ（ｔ）である。
【００５１】
感情モデル座標情報Ｅ（ｔ）に基づいた振動強度の制御によって、感情の変化の度合いに応じた振動強度を実現できる。例えば、長く溜めて怒るときには、ゆっくりと振動強度を高めていって、感情の最大と振動強度の最大とを同期させることができる。
【００５２】
（振動強度の制御の第２段階）  出力制御部１４は、所定の窓関数４０１を使用して振動強度を制御する。快感情から不快感情へ変化する場合の窓関数４０１では、図５に例示されるように、振動開始期間における振動強度を調整なしとし、振動終了期間における振動強度をフェードアウトさせる。したがって、振動終了期間での強さは振動開始期間よりも弱くなる。
【００５３】
図６は不快感情から快感情へ変化する場合である。図６において、振動パターン３０２の開始タイミングおよび継続期間の設定方法は、上記図５の振動パターン３０１の場合と同様である。また、振動強度の制御については、上記図５の振動パターン３０１の場合と同様に、２段階で行う。振動強度の制御の第１段階については、上記図５の振動パターン３０１の場合と同様である。
【００５４】
振動強度の制御の第２段階において、出力制御部１４は、所定の窓関数４０２を使用して振動強度を制御する。不快感情から快感情へ変化する場合の窓関数４０２では、図６に例示されるように、振動開始期間における振動強度をフェードインさせて、振動終了期間における振動強度をフェードアウトさせる。したがって、振動開始期間および振動終了期間での強さは、該振動開始期間と該振動終了期間の間の期間よりも弱くなる。
【００５５】
なお、感情表現装置１として携帯端末を利用している場合など、電池の消費量が懸念されるときには、電池残量に応じて、振動の頻度、継続時間、強度を一定の割合で少なくするようにしてもよい。例えば、電池残量が２割以下まで低下した場合には、振動の頻度を５割まで減少させたり、継続時間を７割に短縮させたり、強度を８割に低下させたりすることが挙げられる。
【００５６】
［ステップＳ４：出力ステップ］
出力部１５は、出力制御部１４からの制御信号１０３に従い、感情変化表現データ１０２に基づく出力動作を行う。例えば、出力部１５として振動発生装置を備えた場合に、振動発生装置は、図５または図６で示される振動制御に従って振動を発生する。この発生された振動は、アニメーション１００の視聴者に対して提供される。このとき、出力制御部１４は、コンテンツ再生装置２に対して、アニメーション１００の再生制御信号１０４を出力する。このアニメーション１００の再生制御信号１０４は、出力部１５の振動発生装置による振動発生と、コンテンツ再生装置２によるアニメーション１００の再生動作とのタイミングを合わせるためのものである。これにより、アニメーション１００の再生時において、キャラクタの感情の変化のタイミングで、該感情の変化に対して人の共感を呼ぶ振動がアニメーション１００の視聴者に提供される。該視聴者は、該振動によってキャラクタの感情の変化をより印象深く認識できることになる。
【００５７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００５８】
例えば、出力部１５として、音声発生装置、画像発生装置などを備えてもよい。出力部１５として音声発生装置を備えた場合、感情の変化にそれぞれ対応する効果音の音声パターンを用意する。例えば、快感情から不快感情への変化に対して、暗いラッパ音の音声パターンを用意する。一方、不快感情から快感情への変化に対して、音の出だしが強めの明るい電子音の音声パターンを用意する。なお、出力制御部１４による音声強度の制御方法は、上述した振動強度の制御方法と同様である。但し、効果音の最大音量は、アニメーション１００の音量の半分程度とする。
【００５９】
また、出力部１５として画像発生装置を備えた場合、感情の変化にそれぞれ対応する視覚効果画像の画像パターンを用意する。例えば、快感情から不快感情への変化に対して、図７（１）に例示されるブロークンハート（色は青）５０１が一定の時間間隔で点滅する画像パターンを用意する。一方、不快感情から快感情への変化に対して、図７（２）に例示されるハート（色はピンク）５０２が一定の時間間隔で点滅する画像パターンを用意する。なお、出力制御部１４による画像強度の制御方法は、上述した振動強度の制御方法と同様である。但し、画像強度として画像の大きさ又は明るさを制御する。
【００６０】
なお、図１に示される感情表現装置１とコンテンツ再生装置２は、それぞれ独立の装置であってもよく、又は、一つの装置として構成されてもよい。例えば、一携帯端末で、感情表現装置１とコンテンツ再生装置２を実現してもよい。
【００６１】
また、上述した感情表現装置１を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【００６２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６４】
また、上述した感情表現装置１を実現するためのコンピュータプログラムとして、例えば、ライブラリ、ＡＰＩ（Application Programming Interface）、専用アプリケーション、Ｗｅｂアプリケーションなどのプログラム形態が挙げられる。例えば、ＨＴＭＬ（HyperText Markup Language）５には、バイブレータを制御するＡＰＩとキャラクタ表示用ＷｅｂＧＬなどが揃っており、利用可能である。
【符号の説明】
【００６５】
１…感情表現装置、２…コンテンツ再生装置、１１…感情変化情報取得部、１２…感情変化表現基本情報記憶部、１３…感情変化表現データ生成部、１４…出力制御部、１５…出力部
【図１】
2015125636.tif 000004
【図２】
2015125636.tif 000005
【図３】
2015125636.tif 000006
【図４】
2015125636.tif 000007
【図５】
2015125636.tif 000008
【図６】
2015125636.tif 000009
【図７】
2015125636.tif 000010