(57)【要約】【課題】  文章入力者の感情に最適な特殊文字を容易に検索することができるメッセージ作成支援装置を提供する。【解決手段】  メッセージ作成支援装置１は、特殊文字とその特殊文字に対応する感情情報とを記憶する特殊文字データ記憶部２１０と、入力された画像データに基づいて抽出された感情情報により、特殊文字データ記憶部２１０に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する特殊文字データ更新部１５０とを備える。【選択図】      図１
2011043938.tif 000002
【特許請求の範囲】
【請求項１】
特殊文字と該特殊文字に対応する感情情報とを記憶する特殊文字記憶手段と、
入力された画像データに基づいて抽出された感情情報により、前記特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する感情情報更新手段と
を備えたメッセージ作成支援装置。
【請求項２】
前記抽出された感情情報と、入力された文章に含まれる所定のキーワードに対応する文章感情情報とを統合した統合感情情報を生成する感情情報統合手段をさらに備え、
前記感情情報更新手段は、前記統合感情情報により、前記特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新することを特徴とする請求項１記載のメッセージ作成支援装置。
【請求項３】
前記特殊文字記憶手段から、前記抽出された感情情報と所定の関係にある感情情報に対応する特殊文字を読み出す特殊文字検索手段を更に備えたことを特徴とする請求項１記載のメッセージ作成支援装置。
【請求項４】
前記特殊文字記憶手段から、前記統合感情情報と所定の関係にある感情情報に対応する特殊文字を読み出す特殊文字検索手段を更に備えたことを特徴とする請求項２記載のメッセージ作成支援装置。
【請求項５】
前記特殊文字検索手段は、前記特殊文字記憶手段から、前記抽出された感情情報に最も近い感情情報に対応する特殊文字を読み出すことを特徴とする請求項３記載のメッセージ作成支援装置。
【請求項６】
前記特殊文字検索手段は、前記特殊文字記憶手段から、前記各統合感情情報に最も近い感情情報に対応する特殊文字を読み出すことを特徴とする請求項４記載のメッセージ作成支援装置。
【請求項７】
前記特殊文字検索手段は、前記特殊文字記憶手段から、前記抽出された感情情報に最も近いものから所定数の感情情報に対応する特殊文字を読み出すことを特徴とする請求項３または５記載のメッセージ作成支援装置。
【請求項８】
前記特殊文字検索手段は、前記特殊文字記憶手段から、前記各統合感情情報に最も近いものから所定数の感情情報に対応する特殊文字を読み出すことを特徴とする請求項４または６記載のメッセージ作成支援装置。
【請求項９】
前記感情情報更新手段は、前記特殊文字検索手段により読み出された特殊文字のうち、使用者が選択した特殊文字に対応する、前記特殊文字記憶手段に記憶される感情情報を、前記抽出された感情情報によって更新することを特徴とする請求項１，３，５，７のいずれか1項記載のメッセージ作成支援装置。
【請求項１０】
前記感情情報更新手段は、前記特殊文字検索手段により読み出された特殊文字のうち、使用者が選択した特殊文字に対応する、前記特殊文字記憶手段に記憶される感情情報を、前記統合感情情報によって更新することを特徴とする請求項２，４，６，８のいずれか1項記載のメッセージ作成支援装置。
【請求項１１】
前記感情情報統合手段は、前記感情情報と、前記文章感情情報のすべてを統合感情情報として生成することを特徴とする請求項２，４，６，８，１０のいずれか１項記載のメッセージ作成支援装置。
【請求項１２】
前記感情情報統合手段は、複数の前記文章感情情報の平均を求め、それを統合感情情報として生成することを特徴とする請求項２，４，６，８，１０のいずれか１項記載のメッセージ作成支援装置。
【請求項１３】
前記感情情報は、感情の種類を含むことを特徴とする請求項１ないし１２のいずれか１項記載のメッセージ作成支援装置。
【請求項１４】
前記感情情報は、感情の種類と該種類ごとの度合いを含むことを特徴とする請求項１ないし１２のいずれか１項記載のメッセージ作成支援装置。
【請求項１５】
特殊文字と該特殊文字に対応する感情情報とを記憶する特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を、入力された画像データに基づいて抽出された感情情報により、更新することを備えたメッセージ作成支援方法。
【請求項１６】
前記抽出された感情情報と、入力された文章に含まれる所定のキーワードに対応する文章感情情報とを統合した統合感情情報を生成することをさらに備え、
前記統合感情情報により、前記特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新することを特徴とする請求項１５記載のメッセージ作成支援方法。
【請求項１７】
前記特殊文字記憶手段から、前記抽出された感情情報と所定の関係にある感情情報に対応する特殊文字を読み出すことを更に備えたことを特徴とする請求項１５記載のメッセージ作成支援方法。
【請求項１８】
前記特殊文字記憶手段から、前記統合感情情報と所定の関係にある感情情報に対応する特殊文字を読み出すことを更に備えたことを特徴とする請求項１６記載のメッセージ作成支援方法。
【請求項１９】
前記特殊文字記憶手段から、前記抽出された感情情報に最も近い感情情報に対応する特殊文字を読み出すことを特徴とする請求項１７記載のメッセージ作成支援方法。
【請求項２０】
前記特殊文字記憶手段から、前記各統合感情情報に最も近い感情情報に対応する特殊文字を読み出すことを特徴とする請求項１８記載のメッセージ作成支援方法。
【請求項２１】
前記特殊文字記憶手段から、前記抽出された感情情報に最も近いものから所定数の感情情報に対応する特殊文字を読み出すことを特徴とする請求項１７または１９記載のメッセージ作成支援方法。
【請求項２２】
前記特殊文字記憶手段から、前記各統合感情情報に最も近いものから所定数の感情情報に対応する特殊文字を読み出すことを特徴とする請求項１８または２０記載のメッセージ作成支援方法。
【請求項２３】
前記読み出された特殊文字のうち、使用者が選択した特殊文字に対応する、前記特殊文字記憶手段に記憶される感情情報を、前記抽出された感情情報によって更新することを特徴とする請求項１５，１７，１９，２１のいずれか１項記載のメッセージ作成支援方法。
【請求項２４】
前記読み出された特殊文字のうち、使用者が選択した特殊文字に対応する、前記特殊文字記憶手段に記憶される感情情報を、前記統合感情情報によって更新することを特徴とする請求項１６，１８，２０，２２のいずれか1項記載のメッセージ作成支援方法。
【請求項２５】
前記感情情報と、前記文章感情情報のすべてを統合感情情報として生成することを特徴とする請求項１６，１８，２０，２２，２４のいずれか１項記載のメッセージ作成支援方法。
【請求項２６】
複数の前記文章感情情報の平均を求め、それを統合感情情報として生成することを特徴とする請求項１６，１８，２０，２２，２４のいずれか１項記載のメッセージ作成支援方法。
【請求項２７】
サーバ装置と、該サーバ装置とネットワークを介して接続されるクライアント装置とを備え、
前記サーバ装置は、特殊文字と該特殊文字に対応する感情情報とを記憶し、
前記サーバ装置および前記クライアント装置のいずれか一方が、入力された画像データに基づいて抽出された感情情報により、前記特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する感情情報更新手段を備えた
メッセージ作成支援システム。
【請求項２８】
前記サーバ装置および前記クライアント装置のいずれか一方は、
前記特殊文字記憶手段から、前記抽出された感情情報と所定の関係にある感情情報に対応する特殊文字を読み出す特殊文字検索手段を更に備えたことを特徴とする請求項２７記載のメッセージ作成支援システム。
【請求項２９】
前記特殊文字検索手段は、
前記特殊文字記憶手段から、前記抽出された感情情報に最も近い感情情報に対応する特殊文字を読み出すことを特徴とする請求項２８記載のメッセージ作成支援システム。
【請求項３０】
前記特殊文字検索手段は、
前記特殊文字記憶手段から、前記抽出された感情情報に最も近いものから所定数の感情情報に対応する特殊文字を読み出すことを特徴とする請求項２８または２９記載のメッセージ作成支援システム。
【請求項３１】
前記感情情報更新手段は、
前記特殊文字検索手段により読み出された特殊文字のうち、使用者が選択した特殊文字に対応する、前記特殊文字記憶手段に記憶される感情情報を、前記抽出された感情情報によって更新することを特徴とする請求項２８ないし３０のいずれか１項記載のメッセージ作成支援システム。
【請求項３２】
前記感情情報は、感情の種類を含むことを特徴とする請求項２５ないし２９のいずれか１項記載のメッセージ作成支援システム。
【請求項３３】
前記感情情報は、感情の種類と該種類ごとの度合いを含むことを特徴とする請求項２７ないし３１のいずれか１項記載のメッセージ作成支援システム。
【請求項３４】
特殊文字と該特殊文字に対応する感情情報とを特殊文字記憶手段に記憶する処理と、
入力された画像データに基づいて抽出された感情情報により、前記特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する処理と
をメッセージ作成支援装置に実行させるメッセージ作成支援プログラム。
【請求項３５】
前記抽出された感情情報と、入力された文章に含まれる所定のキーワードに対応する文章感情情報とを統合した統合感情情報を生成する処理をさらに備え、
前記統合感情情報により、前記特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する処理を含むことを特徴とする請求項３４記載のメッセージ作成支援プログラム。
【請求項３６】
前記特殊文字記憶手段から、前記抽出された感情情報と所定の関係にある感情情報に対応する特殊文字を読み出す処理を更に含むことを特徴とする請求項３４記載のメッセージ作成支援プログラム。
【請求項３７】
前記特殊文字記憶手段から、前記統合感情情報と所定の関係にある感情情報に対応する特殊文字を読み出す処理を更に含むことを特徴とする請求項３５記載のメッセージ作成支援プログラム。
【請求項３８】
前記特殊文字記憶手段から、前記抽出された感情情報に最も近い感情情報に対応する特殊文字を読み出す処理を含むことを特徴とする請求項３６記載のメッセージ作成支援プログラム。
【請求項３９】
前記特殊文字記憶手段から、前記各統合感情情報に最も近い感情情報に対応する特殊文字を読み出す処理を含むことを特徴とする請求項３７記載のメッセージ作成支援プログラム。
【請求項４０】
前記特殊文字記憶手段から、前記抽出された感情情報に最も近いものから所定数の感情情報に対応する特殊文字を読み出す処理を含むことを特徴とする請求項３６または３８記載のメッセージ作成支援プログラム。
【請求項４１】
前記特殊文字記憶手段から、前記各統合感情情報に最も近いものから所定数の感情情報に対応する特殊文字を読み出す処理を含むことを特徴とする請求項３７または３９記載のメッセージ作成支援プログラム。
【請求項４２】
前記読み出された特殊文字のうち、使用者が選択した特殊文字に対応する、前記特殊文字記憶手段に記憶される感情情報を、前記抽出された感情情報によって更新する処理を含むことを特徴とする請求項３４，３６，３８，４０のいずれか1項記載のメッセージ作成支援プログラム。
【請求項４３】
前記読み出された特殊文字のうち、使用者が選択した特殊文字に対応する、前記特殊文字記憶手段に記憶される感情情報を、前記統合感情情報によって更新する処理を含むことを特徴とする請求項３５，３７，３９，４１のいずれか1項記載のメッセージ作成支援プログラム。
【請求項４４】
前記感情情報と、前記文章感情情報のすべてを統合感情情報として生成する処理を含むことを特徴とする請求項３５，３７，３９，４１，４３のいずれか１項記載のメッセージ作成支援プログラム。
【請求項４５】
複数の前記文章感情情報の平均を求め、それを統合感情情報として生成する処理を含むことを特徴とする請求項３５，３７，３９，４１，４３のいずれか１項記載のメッセージ作成支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文章入力者の感情に対応した絵文字又は顔文字を含む特殊文字を検索するメッセージ作成支援装置、メッセージ作成支援方法、メッセージ作成支援システムおよびメッセージ作成支援プログラムに関する。
【背景技術】
【０００２】
電子メール等の文章データを利用したコミュニケーションにおいて、文章作成者の感情を文章に付与し、表現豊かな文章を作成することを目的として、文字や記号の組み合わせにより人間の顔を表現した顔文字が使われる。また、例えば携帯電話における電子メールでは、人間の顔、動物、物などを仮名１文字程度の大きさの絵で表現した絵文字が、表現豊かな電子メールの作成を目的として、顔文字と併せて使われている。
【０００３】
顔文字は、文字や記号の組み合わせにより生成されるため、無数のパターンが存在する。このような顔文字を集めた顔文字辞書がインターネット上に公開されている。また、絵文字は、携帯電話サービスを提供する通信キャリアが用意したもの以外に、様々な画像が絵文字として作成されインターネット上に公開されている。そのため、ユーザが使用できる絵文字又は顔文字は非常に多くの種類が存在し、その中から所望の絵文字又は顔文字を探し出すことはユーザにとって負担が大きい。
【０００４】
絵文字又は顔文字を含む特殊文字を入力するには、パーソナルコンピュータもしくは携帯電話に登録されている特殊文字の一覧から選ぶ方法がある。しかし、前述のように、登録されている特殊文字が多くなるにつれて、所望の特殊文字を探し出すことは多くの労力を要するようになる。
【０００５】
そこで、絵文字又は顔文字をパーソナルコンピュータ、携帯電話等が検索する方法もある。この方法では、ユーザが絵文字又は顔文字にそれらに対応する「読み」をパーソナルコンピュータ、携帯電話等に登録する。ユーザが日本語の漢字変換機能と同様の動作により、その読みを入力すると、対応する絵文字又は顔文字をパーソナルコンピュータ、携帯電話等が検索する。
【０００６】
また、特許文献１には、絵文字の入力を支援する手法として、入力された文章の内容を補足的に表現する絵文字を検索する手法が記載されている。この手法は、入力された文字列の入力位置を示すカーソル位置より前の文字列、またはその文字列を単語単位に分割した結果を絵文字検索用の検索キーとして使用し、絵文字データベースから絵文字を検索するものである。
【０００７】
また、特許文献２には、絵文字や顔文字の入力を支援する手法として、ユーザが発した音声から感情を読み取り、読み取った感情を対応する感情キーワードに変換し、この感情キーワードを記号、顔文字、又は絵文字に変換する手法が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２２５６０２公報
【特許文献２】特開２００６−２７７５６７公報
【特許文献３】特開２００８−１２３３９９公報
【特許文献４】特開２００８−１４６３１８公報
【非特許文献】
【０００９】
【非特許文献１】ベルナール・イー・ボザール（Bernhard E. Boser）、イザベル・エム・ギヨン（Isabelle M. Guyon）、ウラジミール・エヌ・バプニック（Vladimir N. Vapnik）著、「トレーニングアルゴリズムフォーオプティカルマージンクラシファイヤーズ（A Training Algorithm for Optimal Margin Classifiers）」第５ＣＯＬＴ、pp.144-152、1992年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に開示された絵文字検索装置では、ユーザは特殊文字を入力するためにその特殊文字に対応する検索キーを予め覚えておき、その検索キーとなる文字列や単語を文章中に含めて入力しなければならない。したがって、ユーザにとって負担が大きく、文書作成時の感情に対応した特殊文字を容易に検索することが出来ないという課題がある。
【００１１】
また、特許文献２に開示されたメール作成機能付携帯端末では、文章入力者の音声を入力しその音声から感情を推定し感情に対応する特殊文字を入力することは出来るものの、文章入力者の感情と特殊文字の対応関係を更新する機能がない。そのため、文章入力者の感情に最適な特殊文字を検索することができないという課題がある。
【００１２】
本発明の目的は、文章入力者の感情に最適な特殊文字を容易に検索することができるメッセージ作成支援装置、メッセージ作成支援方法、メッセージ作成支援システムおよびメッセージ作成支援プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明に係る第１のメッセージ作成支援装置は、特殊文字と該特殊文字に対応する感情情報とを記憶する特殊文字記憶手段と、入力された画像データに基づいて抽出された感情情報により、特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する感情情報更新手段とを備える。
【００１４】
本発明に係る第１のメッセージ作成支援方法は、特殊文字と該特殊文字に対応する感情情報とを記憶する特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を、入力された画像データに基づいて抽出された感情情報により、更新することを備える。
【００１５】
本発明に係る第１のメッセージ作成支援システムは、特殊文字と該特殊文字に対応する感情情報とを記憶する特殊文字記憶手段を備えたサーバ装置と、サーバ装置とネットワークを介して接続され、入力された画像データに基づいて抽出された感情情報により、特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する感情情報更新手段を備えたクライアント装置とを備える。
【００１６】
本発明に係る第１のメッセージ作成支援プログラムは、特殊文字と該特殊文字に対応する感情情報とを特殊文字記憶手段に記憶する処理と、入力された画像データに基づいて抽出された感情情報により、特殊文字記憶手段に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する処理とをメッセージ作成支援装置に実行させる。
【発明の効果】
【００１７】
本発明によれば、文章入力者が文章入力時の感情に最適な特殊文字を容易に検索できるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係るメッセージ作成支援装置の構成を示すブロック図である。
【図２】同特殊文字データ記憶部に記憶される特殊文字とそれに対応する感情情報の一例を示す図である。
【図３】同特殊文字表示制御部が特殊文字の候補を表示した例を示す図である。
【図４】同メッセージ作成支援装置の動作を示すフローチャートである。
【図５】本発明の第２実施形態に係るメッセージ作成支援装置の構成を示すブロック図である。
【図６】同キーワードデータ記憶部に記憶されるキーワードとそれに対応する感情情報を示す図である。
【図７】同メッセージ作成支援装置の動作を示すフローチャートである。
【図８】本発明の第３の実施形態に係るメッセージ作成支援システムの構成図である。
【図９】同クライアントの構成を示すブロック図である。
【図１０】同特殊文字データ記憶サーバのブロック図である。
【図１１】本発明の第４の実施形態に係るメッセージ作成支援システムの構成図である。
【図１２】同クライアントの構成を示すブロック図である。
【図１３】同特殊文字検索サーバのブロック図である。
【図１４】同メッセージ作成支援システムの動作を示すフローチャートである。
【図１５】本発明の第５の実施形態に係るメッセージ作成支援装置のブロック図である。
【発明を実施するための形態】
【００１９】
第１実施形態
次に、本発明の実施形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の第１実施形態に係るメッセージ作成支援装置１の構成を示すブロック図である。図１に示すように、メッセージ作成支援装置１は、データ処理装置１００と記憶装置２００を備える。データ処理装置１００は、画像入力部１１０と、感情情報抽出部１２０と、特殊文字検索部１３０と、特殊文字表示制御部１４０と、特殊文字データ更新部１５０とを有する。記憶装置２００は、特殊文字データ記憶部２１０を有する。特殊文字データ記憶部２１０は特殊文字記憶手段、特殊文字データ更新部１５０は感情情報更新手段、特殊文字検索部１３０は特殊文字検索手段とそれぞれと呼ばれることもある。
【００２１】
データ処理装置１００は、ＣＰＵ（Central Processing Unit）、記憶装置２００は半導体メモリもしくはハードディスクドライブにより実現される。画像入力部１１０は、例えばデジタルカメラであってよい。感情情報抽出部１２０、特殊文字検索部１３０、特殊文字表示制御部１４０、特殊文字データ更新部１５０は、ＣＰＵ上で動作するプログラムにより実現できる。特殊文字データ記憶部２１０は、半導体メモリ若しくはハードディスクドライブ上の記憶領域により実現できる。
【００２２】
上記各構成要素はそれぞれ概略次のように動作する。
【００２３】
画像入力部１１０は、文章入力者の画像データ、例えば顔画像データを取得する。感情情報抽出部１２０は、取得された画像データに基づいて文章入力者の感情情報を抽出する。特殊文字検索部１３０は、抽出された感情情報に基づいて特殊文字データ記憶部２１０に記憶されている特殊文字を検索し、それを出力する。ここで、特殊文字は、例えば絵文字または顔文字などの通常の入力文字以外の文字を含む。特殊文字データ記憶部２１０は、特殊文字とそれに対応する感情情報を記憶する。特殊文字検索部１３０は、特殊文字データ記憶部２１０に記憶されている特殊文字のうち、感情情報抽出部１２０により抽出された感情情報に近い感情情報に対応する特殊文字を検索し、検索結果を出力する。
【００２４】
特殊文字表示制御部１４０は、特殊文字検索部１３０により出力された特殊文字の候補を表示する。特殊文字データ更新部１５０は、特殊文字表示制御部１４０が表示した特殊文字の候補の中から、文章入力者が選択した特殊文字と、感情情報抽出部１２０が抽出した感情情報に基づいて、特殊文字データ記憶部２１０に記憶されている感情情報を更新する。
【００２５】
図２は、特殊文字データ記憶部２１０に記憶される特殊文字とそれに対応する感情情報の一例を示す図である。感情情報は、感情の種類とその度合いを含む。ここでは、例えば感情の種類として「笑顔」および「怒り」を含み、それらの度合いとして、例えば笑顔度＝０．９０、怒り度＝０．０５を含む。感情情報は、笑顔、怒り以外にも、悲しみ、落ち込み等の感情の種類と各種類に対応する度合いを含んでもよい。
【００２６】
図３は、特殊文字表示制御部１４０が特殊文字の候補をディスプレイ等に表示した例を示す図である。図３に示すように、特殊文字表示制御部１４０は、特殊文字の候補を、通常の文字候補を表示する領域に表示してもよいし、通常の文字候補を表示する領域とは異なる特殊文字の候補を表示する領域に表示してもよい。
【００２７】
図４は、メッセージ作成支援装置１の動作を示すフローチャートである。この図を参照して、メッセージ作成支援装置の動作について具体的に説明する。
【００２８】
まず、文章入力者が、電子メール等の文章入力アプリケーションを起動する。このとき、画像入力部１１０が起動し、文章入力者の画像データを取得する（ステップＳ１１１）。例えば、画像入力部１１０はデジタルカメラであって、文章入力者を撮像し、画像データを生成してもよい。画像入力部１１０は、アプリケーションの起動中は常時文章入力者を撮像して画像データを生成してもよいし、一定間隔、例えば１秒間隔で撮像して画像データを生成してもよい。また、画像入力部１１０は、文章入力者の顔が撮影範囲内にあるかを否かを検出し、ある場合のみ撮像してもよい。画像入力部１１０が撮像する対象は文章入力者の顔に限定されず、文章入力者の感情の表れる部位、上半身、身体全体等を撮像してもよい。あるいは、画像入力部１１０は、外部の画像取得手段から文章入力者の画像データを取得してもよい。
【００２９】
感情情報抽出部１２０は、画像入力部１１０により取得された画像データに基づいて、感情情報を抽出する（ステップＳ１１２）。例えば、特許文献３および特許文献４には、画像データに基づいて感情の種類を判定または推定することが記載される。また、２クラス識別器、例えばＳＶＭ（Support Vector Machine）を用いることにより感情の種類と度合いを抽出してもよい。例えば、非特許文献１に２クラス識別器についての開示がある。
【００３０】
ここで、ＳＶＭについて簡単に説明する。ＳＶＭでは、２クラス識別を以下の数式（１）により行う。
【００３１】
ｙ＝ｓｉｇｎ（ｗ’＊ｘ−ｈ）              （１）
ｘは入力画像のパターンベクトル、ｙは出力結果、ｗ’はＳＶＭの学習によって求められるベクトルｗの転置ベクトル、ｈはＳＶＭの学習によって求められる値である。ＳＶＭの学習には、例えば笑顔画像と非笑顔画像を用いる。ｓｉｇｎ関数は引数の値が０未満の場合に−１、０以上の場合に＋１を出力するので、この出力結果により２クラス識別ができる。
【００３２】
数式（１）においてｓｉｇｎ関数を取り除いた数式（２）
ｙ＝ｗ’＊ｘ−ｈ                            （２）
は、連続値を出力する。この出力が「度合い」を表す。したがって、ＳＶＭの学習に笑顔画像と非笑顔画像を用いることにより、数式（１）からｙは笑顔であるか非笑顔であるかが識別できると共に、その度合いも抽出できる。
【００３３】
画像入力部１１０が、文章入力者の顔画像以外、例えば上半身の画像データを取得した場合も、笑顔状態の上半身画像と非笑顔状態の上半身画像をＳＶＭの学習画像として用いることにより、笑顔であるか非笑顔であるかを識別できると共に、その度合いを抽出することができる。
【００３４】
上記動作により、感情情報抽出部１２０は感情情報を抽出する。続いて、特殊文字検索部１３０は、ステップＳ１１２において抽出された感情情報に近い特殊文字を、特殊文字データ記憶部２１０に記憶されている感情情報の中から検索し、その結果を出力する（ステップＳ１１３）。具体的には、特殊文字検索部１３０は次のように特殊文字を検索する。
【００３５】
例えば、感情情報が、笑顔と怒りの２つの種類と、それぞれの度合いを含むとする。感情情報抽出部１２０により抽出された感情情報が｛笑顔度＝０．２５、怒り度＝０．２０｝であり、特殊文字データ記憶部２１０に記憶されている特殊文字が図２に示すＰ１からＰ５までの５個であるとする。
【００３６】
このとき、特殊文字検索部１３０は、感情情報を２次元のベクトルとして扱い、文章入力者の感情情報｛笑顔度＝０．２５、怒り度＝０．２０｝と、特殊文字データ記憶部２１０に記憶されている各特殊文字に対応する感情情報との、各ユークリッド距離を算出する。そして、文章入力者の感情情報とのユークリッド距離が最も小さい感情情報に対応する特殊文字を、文章入力者の感情情報に最も近い特殊文字として抽出する。ここでは、特殊文字データ記憶部２１０に記憶される感情情報のうち、上記抽出された感情情報｛笑顔度＝０．２５、怒り度＝０．２０｝とユークリッド距離が最も小さい感情情報は、｛笑顔度＝０．２０、怒り度＝０．１０｝である。よって、特殊文字検索部１３０は、この感情情報に対応する特殊文字Ｐ２「(-.-)」を、文章入力者の感情情報に最も近い特殊文字として抽出する。このとき、特殊文字検索部１３０は、文章入力者の感情情報とのユークリッド距離が最も小さいものから上位N個の感情情報に対応する特殊文字を抽出してもよい。
【００３７】
続いて、特殊文字表示制御部１４０は、特殊文字検索部１３０が抽出した特殊文字を、図示しないディスプレイ等に表示する（ステップＳ１１４）。特殊文字検索部１３０がN個の特殊文字の候補を抽出した場合、特殊文字表示制御部１４０は、それらの全てを表示してもよいし、表示する数を制限してもよい。
【００３８】
また、特殊文字表示制御部１４０は、特殊文字検索部１３０により特殊文字の候補が検索されるごとに、それらをディスプレイ等に表示してもよいし、所定の時間間隔で表示してもよい。さらに、特殊文字表示制御部１４０は、文章入力者が一文字入力した以降ディスプレイ等に表示してもよいし、文字を入力する前に表示してもよい。あるいは、文章入力者が文章入力後に「変換ボタン」を押下したときに表示してもよい。
【００３９】
文章入力者は、表示された特殊文字の中から所望のものを選択する。特殊文字表示制御部１４０は、文章入力者により選択された特殊文字を取得し、特殊文字データ更新部１５０に通知する（ステップＳ１１５：Ｙｅｓ）。特殊文字表示制御部１４０は、文章入力者が特殊文字の候補の中に所望の特殊文字がないと判断した場合には特殊文字の入力をキャンセルできるようにしてもよい（ステップＳ１１５：Ｎｏ）。
【００４０】
特殊文字データ更新部１５０は、特殊文字表示制御部１４０から通知された、文章入力者が選択した特殊文字と、感情情報抽出部１２０により抽出された感情情報とを対応させて保存しておく。そして、特殊文字データ更新部１５０は、特殊文字データ記憶部２１０に記憶されている感情情報を、以下のように更新する（ステップＳ１１６）。すなわち、特殊文字データ更新部１５０は、過去に該特殊文字を選択したときの感情情報と、今回感情情報抽出部１２０により抽出された感情情報との平均値を、該特殊文字に対応する感情情報として特殊文字データ記憶部２１０を更新する。
【００４１】
ここで、特殊文字データ更新部１５０が、今回初めて該特殊文字が選択された場合は、今回抽出された感情情報によって特殊文字データ記憶部２１０に記憶される感情情報を更新してもよい。あるいは、特殊文字データ更新部１５０は、該特殊文字を選択したときの感情情報が所定数以上保存されて以降、それらと今回抽出された感情情報との平均値によって特殊文字データ記憶部２１０の感情情報を更新してもよい。
【００４２】
例えば、次の場合について説明する。感情情報が、笑顔と怒りの２つの種類とそれらの度合いを含み、感情情報抽出部１２０により抽出された今回の感情情報が｛笑顔度＝０．２５、怒り度＝０．２０｝であるとする。また、特殊文字表示制御部１４０により表示された特殊文字の候補が、図３のＰ１、Ｐ２、Ｐ３、Ｐ５であるとする。また、文章入力者は、特殊文字表示制御部１４０が表示した特殊文字のうち、今回は特殊文字Ｐ１を選択したとする。ここで、特殊文字データ更新部１５０は過去に文章入力者が特殊文字Ｐ１を選択した際の感情情報を３回分記憶している。それぞれ、｛笑顔度＝０．３５、怒り度＝０．２５｝、｛笑顔度＝０．４０、怒り度＝０．２０｝、｛笑顔度＝０．３０、怒り度＝０．１０｝とする。
【００４３】
このとき、特殊文字データ更新部１５０は、今回の感情情報と、過去に特殊文字Ｐ１を選択した際の３回分の感情情報の平均値を算出する。平均値は｛笑顔度＝０．３２５、怒り度＝０．１８７５｝となる。よって、特殊文字データ更新部１５０は、平均値｛笑顔度＝０．３２５、怒り度＝０．１８７５｝により、特殊文字データ記憶部２１０に記憶される特殊文字Ｐ１に対応する感情情報を更新する。以上の動作により、特殊文字データ更新部１５０は特殊文字データ記憶部２１０を更新する。
【００４４】
以上のように、第１の実施形態によれば、画像入力部１１０が文章入力者の撮像データを取得し、感情情報抽出部１２０が撮像データから感情情報を抽出する。そして、抽出された感情情報に近い感情情報に対応する特殊文字を、特殊文字検索部１３０が特殊文字データ記憶部２１０から読み出し、特殊文字表示制御部１４０がそれをディスプレイに表示する。表示された特殊文字のいずれかをユーザが選択した場合、特殊文字データ更新部１５０がその特殊文字に対応する、特殊文字データ記憶部２１０に記憶される感情情報を、感情情報抽出部１２０が抽出した感情情報によって更新する。この構成により、特殊文字データ記憶部２１０が記憶する特殊文字に対応する感情情報を、文章入力者の感情に最も近い感情情報により更新することができるので、文章入力者は自分の感情に最も近い特殊文字を容易に検索し、表示させることができるという効果が得られる。
【００４５】
なお、上記実施形態では、感情情報が感情の種類と度合いの２種類を含むことを説明したが、感情の種類のみでも上記と同様の動作を実現できる。例えば、笑顔状態の感情情報を｛笑顔度＝１．０、怒り度＝０．０｝、怒り状態の感情情報を｛笑顔度＝０．０、怒り度＝１．０｝とすることにより、感情の種類のみでも上記と同様の動作を実現できる。
【００４６】
第２実施形態
図５は、本発明の第２実施形態に係るメッセージ作成支援装置２の構成を示すブロック図である。図５に示すように、メッセージ作成支援装置２は、第１実施形態で説明したメッセージ作成支援装置１と同様に、データ処理装置１００と、記憶装置２００を備える。データ処理装置１００は、メッセージ作成支援装置１の構成要素に加えて、文字列入力部１６０、キーワード抽出部１７０、文章感情情報抽出部１８０および感情情報キーワード統合部１９０を有する。記憶装置２００は、メッセージ作成支援装置１の構成要素に加えて、キーワードデータ記憶部２２０を有する。図１と同一の構成要素には同一符号を付し、その説明を省略する。感情情報キーワード統合部１９０は、感情情報統合手段と呼ばれることもある。
【００４７】
第１実施形態と同様に、データ処理装置１００はＣＰＵ、記憶装置２００は半導体メモリもしくはハードディスクドライブ、画像入力部１１０はデジタルカメラであってよい。文字列入力部１６０は、キーボードであってよい。感情情報抽出部１２０、特殊文字検索部１３０、特殊文字表示制御部１４０、特殊文字データ更新部１５０、キーワード抽出部１７０、文章感情情報抽出部１８０、感情情報キーワード統合部１９０は、ＣＰＵ上で動作するプログラムにより実現できる。特殊文字データ記憶部２１０とキーワードデータ記憶部２２０は半導体メモリもしくはハードディスクドライブ上の記憶領域により実現できる。
【００４８】
第１実施形態に追加された本実施形態の上記各構成要素はそれぞれ概略次のように動作する。
【００４９】
文字列入力部１６０は、文章入力者による文章の入力を受け付け、それを取得する。キーワード抽出部１７０は、入力された文章中の文字列から、感情情報を抽出するためのキーワードを抽出する。
【００５０】
キーワードデータ記憶部２２０は、キーワードとそれに対応する感情情報を記憶する。図６は、キーワードデータ記憶部２２０に記憶されるキーワードとそれに対応する感情情報を示す図である。図６に示すように、例えば、「嬉しい」というキーワードには、｛笑顔度＝０．９０、怒り度＝０．０５｝という感情情報が対応づけられている。
【００５１】
文章感情情報抽出部１８０は、キーワード抽出部１７０により抽出されたキーワードに対応する感情情報をキーワードデータ記憶部２２０から抽出し、その結果を文章感情情報として出力する。感情情報キーワード統合部１９０は、感情情報抽出部１２０により抽出された感情情報と、文章感情情報抽出部１８０により抽出された文章感情情報とを統合し、統合感情情報を生成する。特殊文字検索部１３０は、統合感情情報に基づいて、特殊文字データ記憶部２１０に記憶される特殊文字を検索し、その結果を出力する。
【００５２】
図７は、メッセージ作成支援装置２の動作を示すフローチャートである。この図を参照して、メッセージ作成支援装置２の動作について具体的に説明する。
【００５３】
画像入力部１１０は、第１の実施形態と同様に、文章入力者の画像データを取得する（Ｓ１２１）。感情情報抽出部１２０は、第１の実施形態と同様に、画像入力部１１０により取得された文章入力者の画像データに基づいて、感情情報を抽出する（Ｓ１２２）。感情情報抽出部１２０は、抽出した感情情報を、感情情報キーワード統合部１９０に通知する。
【００５４】
一方、文字列入力部１６０は、文章入力者から入力された文章を取得し、キーワード抽出部１７０に通知する（Ｓ１２３）。キーワード抽出部１７０は、文字列入力部１６０から取得した文章からキーワードを抽出する（Ｓ１２４）。例えば、以下のようにキーワードを抽出してもよい。すなわち、キーワード抽出部１７０は、取得した文章に含まれる文字列に、キーワードデータ記憶部２２０に記憶されているキーワードが含まれるか否かを検索し、含まれている場合はそれを全てキーワードとして抽出してもよい。あるいは、キーワード抽出部１７０は、取得した文字列を形態素解析し、形態素解析された単語のうち特定の品詞（例えば、形容詞、形容動詞、名詞、動詞）をキーワードとして抽出してもよい。なお、キーワード抽出部１７０は、キーワードを複数個抽出してもよい。また、類義語辞書などを用いて抽出したキーワードの類義語を検索し、検索された類義語もキーワードとして併せて抽出してもよい。
【００５５】
キーワード抽出部１７０は、抽出したキーワードを文章感情情報抽出部１８０に通知する。文章感情情報抽出部１８０は、取得したキーワードを検索キーとしてキーワードデータ記憶部２２０を検索し、そのキーワードに対応する感情情報を抽出し、それを文章感情情報として感情情報キーワード統合部１９０に通知する（Ｓ１２５）。
【００５６】
具体的には、文章感情情報抽出部１８０は、以下のように動作する。例えば、キーワード抽出部１７０が、文字列「嬉しい」をキーワードとして抽出したとする。また、キーワードデータ記憶部２２０に記憶されるキーワードは図６に示す５個であり、感情情報が笑顔と怒りの２つの種類とそれぞれの度合いを含むとする。文章感情情報抽出部１８０は、文字列「嬉しい」がキーワードデータ記憶部２２０にキーワードとして記憶されているか検索を行う。図６に示すように、「嬉しい」はキーワードとしてキーワードデータ記憶部２２０に記憶されており、また「嬉しい」に対応する感情情報は｛嬉しい：笑顔度＝０．９０、怒り度＝０．０５｝である。よって、文章感情情報抽出部１８０は、｛嬉しい：笑顔度＝０．９０、怒り度＝０．０５｝を文章感情情報として出力する。
【００５７】
キーワード抽出部１７０が複数のキーワードを抽出した場合、文章感情情報抽出部１８０は、抽出されたそれぞれのキーワードに対して文章感情情報を抽出し、複数の文章感情情報を出力してもよい。
【００５８】
続いて、感情情報キーワード統合部１９０は、Ｓ１２２において抽出された感情情報とＳ１２５において抽出された文章感情情報とを統合し、統合感情情報を生成する（Ｓ１２６）。
【００５９】
感情情報キーワード統合部１９０は、例えば以下のように動作する。例えば、感情情報抽出部１２０から取得した感情情報をｘ、文章感情情報抽出部１８０から取得した文章感情情報をｙとする。このとき、感情情報キーワード統合部１９０は、ｘとｙの２つの感情情報をそのまま統合感情情報として、特殊文字検索部１３０に通知してもよい。
【００６０】
また、文章感情情報抽出部１８０から取得した文章感情情報が複数個の場合、抽出された文章感情情報をｙ１，ｙ２，・・・，ｙＮとすると、ｘ，ｙ１，ｙ２，・・・，ｙＮのＮ＋１個の感情情報をそのまま統合感情情報として、特殊文字検索部１３０に通知してもよい。また、感情情報抽出部１２０から取得した感情情報ｘと、文章感情情報抽出部１８０から取得した抽出したＮ個の文章感情情報ｙ１，ｙ２，・・・，ｙＮとの平均値ｍを計算し、平均値ｍを統合感情情報の一つとしてもよい。
【００６１】
平均値ｍの計算には、例えば、ｘ，ｙ１，ｙ２，・・・，ｙＮの全ての感情情報の平均値を数式（３）により算出してもよいし、ｘを除く文章感情情報のｙ１，ｙ２，・・・，ｙＮの感情情報の平均値を、数式（４）により算出してもよい。
【００６２】
ｍ＝（ｘ＋ｙ１＋ｙ２＋・・・＋ｙＮ）／（Ｎ＋１）                  （３）
ｍ＝（ｙ１＋ｙ２＋・・・＋ｙＮ）／Ｎ                          （４）
さらに、感情情報抽出部１２０から取得した感情情報ｘと、文章感情情報抽出部１８０から取得した文章感情情報ｙを用いて、数式（５）に基づいて新たな感情情報ｚを生成してもよい。そして、ｚを統合感情情報に追加してもよいし、ｚのみを統合感情情報としてもよい。
【００６３】
ｚ＝αｘ＋（１−α）ｙ                                        （５）
ここで、αは０から１までの値の係数である。αは、予め決められた値を用いてもよいし、文章入力者が調整してもよい。また、感情情報キーワード統合部１９０が生成した統合感情情報と、文章入力者が特殊文字表示制御部１４０において選択した特殊文字とに基づいて、感情情報キーワード統合部１９０がαを調整するようにしてもよい。
【００６４】
感情情報キーワード統合部１９０がαを調整することは、例えば次のように行われる。すなわち、感情情報キーワード統合部１９０は、文章入力者が選択した特殊文字に対応する感情情報を特殊文字データ記憶部２１０から検索し、これをｗとおく。感情情報キーワード統合部１９０は、各感情情報ｘ、ｙ、ｗを二次元ベクトルとして扱い、ｗとｘ、ｗとｙの各ユークリッド距離を算出する。ｗとｘのユークリッド距離をｄ１、ｗとｙのユークリッド距離をｄ２とする。ｄ１＜ｄ２の場合、文章入力者は感情情報ｘ、つまり画像データに基づいて抽出された感情情報に近い特殊文字を選んだことになる。よって、感情情報キーワード統合部１９０は、文章入力者は感情情報ｘに近い特殊文字を選ぶ傾向にあると判断し、予め決められているαの値を所定値だけ大きくする。一方、ｄ１＞ｄ２の場合は、文章入力者は文章に基づいて抽出された文章感情情報ｙに近い特殊文字を選んだことになる。よって、感情情報キーワード統合部１９０は、文章入力者は文章感情情報ｙに近い特殊文字を選ぶ傾向にあると判断し、予め決められているαの値を所定値だけ小さくする。感情情報キーワード統合部１９０は、次回文章入力者が特殊文字を選択したときに、このように調整されたαを用いて数式（５）を使用してもよい。
【００６５】
なお、文章感情情報抽出部１８０から取得した文章感情情報がＮ個の場合、Ｎ個の文章感情情報ｙ１，ｙ２，・・・，ｙＮの平均値ｍを数式（４）に基づいて算出し、このｍを数式（５）のｙの代わりに用いてもよい。
【００６６】
上記の説明から、感情情報キーワード統合部１９０が生成する統合感情情報のパターンは、以下のものが考えられる。感情情報がｘ、文章感情情報がｙのとき、生成されうる統合感情情報のパターンは、
・ｘ、ｙの２個
・ｘ、ｙ、ｚの３個
・ｚの１個
である。
【００６７】
感情情報がｘ、文章感情情報がｙ１、ｙ２、・・・ｙＮのとき、生成されうる統合感情情報のパターンは、
・ｘ、ｙ１、ｙ２、・・・、ｙＮのＮ＋１個
・ｘ、（ｙ１、ｙ２、・・・ｙＮ）の平均値の２個
・（ｘ、ｙ１、ｙ２、・・・ｙＮ）の平均値の１個
・ｘ、（ｙ１、ｙ２、・・・ｙＮ）の平均値、ｚの３個
・ｚの１個
・ｘ、ｙ１、ｙ２、・・・ｙＮ、ｚのＮ＋２個
・（ｘ、ｙ１、ｙ２、・・・ｙＮ）の平均値、ｚの２個
である。感情情報キーワード統合部１９０は、上記のうちいずれを生成してもよい。
【００６８】
続いて、特殊文字検索部１３０が、特殊文字データ記憶部２１０に記憶される感情情報の中から、感情情報キーワード統合部１９０により生成された統合感情情報に近い特殊文字を検索する（Ｓ１２７）。ここで、感情情報キーワード統合部１９０により生成された統合感情情報が１個の場合、特殊文字の検索は、第１の実施形態で説明した動作と同様の動作により実現できる。一方、感情情報キーワード統合部１９０により生成された統合感情情報が複数個の場合、特殊文字検索部１３０は、特殊文字の検索を、例えば次のように行う。
【００６９】
例えば、感情情報抽出部１２０が画像データに基づいて感情情報｛笑顔度＝０.９２、怒り度＝０．０１｝を抽出したとする。また、現在入力中の文章が、図３に示した「今日も寒いけど頑張ろう！」であり、キーワード抽出部１７０が「寒い」と「頑張ろう」をキーワードとして抽出したとする。また、文章感情情報抽出部１８０が、「寒い」、「頑張ろう」の２つのキーワードに対応する文章感情情報｛寒い：笑顔度＝０．２０、怒り度＝０．１０｝、｛頑張ろう：笑顔度＝０．８０、怒り度＝０．００｝を抽出したとする。このとき、感情情報キーワード統合部１９０が、画像データに基づく感情情報と、「寒い」、「頑張ろう」のキーワードにそれぞれ対応する文章感情情報の、３つの統合感情情報を生成したとする。さらに、感情情報キーワード統合部１９０は次の統合感情情報を生成したとする。すなわち、数式（２）により、「寒い」、「頑張ろう」のキーワードにそれぞれ対応する２つの文章感情情報の平均値を計算し、平均値｛笑顔度＝０．５０、怒り度＝０．０５｝を統合感情情報の１つとして生成したとする。このように、感情情報キーワード統合部１９０は、合計４つの統合感情情報を生成したとする。
【００７０】
特殊文字検索部１３０は、感情情報キーワード統合部１９０により生成された４つの統合感情情報それぞれと、特殊文字データ記憶部２１０に記憶される各特殊文字に対応する感情情報とのユークリッド距離を算出する。そして、各統合感情情報とのユークリッド距離が最も小さい感情情報に対応する特殊文字を検索する。
【００７１】
４つの感情情報は、上述したようにそれぞれ｛笑顔度＝０．９２、怒り度＝０．０１｝、｛寒い：笑顔度＝０．２０、怒り度＝０．１０｝、｛頑張ろう：笑顔度＝０．８０、怒り度＝０．００｝、｛笑顔度＝０．５０、怒り度＝０．０５｝である。特殊文字検索部１３０は、これら各感情情報とユークリッド距離の最も小さい感情情報に対応する特殊文字を検索する。ここでは、図２に示すＰ１、Ｐ２、Ｐ４、Ｐ５が、文章入力者の感情情報に近い特殊文字として検索される。
【００７２】
特殊文字検索部１３０は、検索した特殊文字を特殊文字表示制御部１４０に通知する。特殊文字表示制御部１４０は、取得した特殊文字を、ディスプレイ等に表示する。図３は、特殊文字表示制御部１４０が取得した特殊文字Ｐ１、Ｐ２、Ｐ４、Ｐ５を表示する例を示す。
【００７３】
次に、表示画面に表示された特殊文字の中から所望のものを文章入力者が選択する（Ｓ１２９０）。特殊文字表示制御部１４０は、文章入力者から特殊文字が選択されなかった場合は処理を終了する。一方、文章入力者がいずれかの特殊文字を選択した場合、特殊文字データ更新部１５０は、その特殊文字に対応する、特殊文字データ記憶部２１０に記憶されている感情情報を、該特殊文字に対応する統合感情情報によって更新する（Ｓ１２９１）。特殊文字データ更新部１５０による更新動作の詳細は、第１実施形態と同様である。
【００７４】
以上のように、第２の実施形態によれば、キーワード抽出部１７０が入力された文章からキーワードを抽出し、文章感情情報抽出部１８０がキーワードに対応する文章感情情報を抽出し、感情情報キーワード統合部１９０が感情情報と文章感情情報とを統合した統合感情情報を生成する。そして、特殊文字検索部１３０が統合感情情報に基づいて特殊文字データ記憶部２１０から特殊文字を検索し、それを特殊文字表示制御部１４０がディスプレイに表示する。表示された特殊文字のうち文章入力者により選択された特殊文字に対応する、特殊文字データ記憶部２１０内の感情情報を、該特殊文字に対応する統合感情情報によって更新する。この構成により、文章入力者は、顔の表情には表れないような微細な感情についても入力した文章により特殊文字の候補を表示させることができるので、画像データから抽出される感情情報を補完することができ、より最適な特殊文字を選択することができるという効果が得られる。
【００７５】
第３の実施形態
図８は、本発明の第３の実施形態に係るメッセージ作成支援システム３の構成図である。図８に示すように、メッセージ作成支援システム３は、クライアント１０と特殊文字データ記憶サーバ２０とを含む。クライアント１０と特殊文字データ記憶サーバ２０とは、互いにネットワークを介して接続される。
【００７６】
図９は、クライアント１０の構成を示すブロック図である。図９に示すように、クライアント１０は、画像入力部１１０、感情情報抽出部１２０、特殊文字検索部１３０、特殊文字表示制御部１４０および特殊文字データ更新部１５０を有する。また、図１０は特殊文字データ記憶サーバ２０のブロック図である。図１０に示すように、特殊文字データ記憶サーバ２０は、特殊文字データ記憶部２１０を有する。各図において、図１と同一要素には同一符号を付し、その具体的な動作の説明は省略する。
【００７７】
クライアント１０は、例えば半導体集積回路によって実現されるＣＰＵ、メモリ、ネットワークインターフェースおよびデジタルカメラを備えるパーソナルコンピュータ、携帯電話であってよい。パーソナルコンピュータ、携帯電話内のＣＰＵは、メモリ上に展開されたプログラムを解釈実行することにより、図９に示すような感情情報抽出部１２０、特殊文字検索部１３０、特殊文字表示制御部１４０および特殊文字データ更新部１５０として機能する。また、パーソナルコンピュータもしくは携帯電話内のデジタルカメラは、画像入力部１１０として機能する。
【００７８】
特殊文字データ記憶サーバ２０は、具体的にはいわゆるサーバ装置であり、例えば半導体集積回路によって実現されるＣＰＵ、メモリおよびネットワークインターフェースを備える。また、特殊文字データ記憶サーバ２０は磁気記憶装置を備えてもよい。サーバ装置は、ネットワークインターフェースから受信したプログラムコードをメモリ上に展開し、あるいは磁気記憶装置等に記憶されたプログラムコードを読みだしてメモリ上に展開し、展開されたプログラムコードをＣＰＵが解釈実行することにより各種機能を実現するコンピュータとして動作する。特殊文字データ記憶サーバ２０は、図１０に示すような、特殊文字とそれに対応する感情情報を記憶する特殊文字データ記憶部２１０として機能する磁気記憶装置を備える。
【００７９】
図９、図１０に示すように、この実施形態に係るメッセージ作成支援システム３は、第１の実施形態の図１で説明したデータ処理装置１００をクライアント１０上に備え、記憶装置２００を特殊文字データ記憶サーバ２０上に備えたものである。
【００８０】
上記各構成要素はそれぞれ概略次のように動作する。
【００８１】
クライアント１０の画像入力部１１０は、文章入力者の画像データを取得する。感情情報抽出部１２０は、入力された画像データに基づいて文章入力者の感情情報を抽出する。特殊文字検索部１３０は、抽出された感情情報に基づいて、ネットワークを介して特殊文字データ記憶サーバ２０の特殊文字データ記憶部２１０に記憶されている特殊文字を検索し、それを出力する。特殊文字データ記憶部２１０は、特殊文字とそれに対応する感情情報を記憶する。特殊文字検索部１３０は、特殊文字データ記憶部２１０に記憶されている感情情報の中から、感情情報抽出部１２０により抽出された感情情報に近い特殊文字を検索し、検索結果を出力する。
【００８２】
特殊文字表示制御部１４０は、特殊文字検索部１３０により出力された特殊文字の候補を表示する。特殊文字データ更新部１５０は、表示された特殊文字の候補の中から、文章入力者が選択した特殊文字と感情情報抽出部１２０が抽出した感情情報とに基づいて、ネットワークを介して特殊文字データ記憶サーバ２０の特殊文字データ記憶部２１０を更新する。
【００８３】
特殊文字データ記憶部２１０が特殊文字データ記憶サーバ２０上に設けられ、特殊文字検索部１３０および特殊文字データ更新部１５０が、ネットワークを介して特殊文字データ記憶部２１０に接続すること以外は、第１の実施形態で説明した動作と同様である。
【００８４】
以上のように、第３実施形態によれば、メッセージ作成支援システム３は特殊文字データ記憶部２１０を特殊文字データ記憶サーバ２０上に備えるようにしたので、クライアント１０のメモリ使用量を削減することができるという効果が得られる。
第４の実施形態
図１１は、本発明の第４の実施形態に係るメッセージ作成支援システム４の構成図である。図１１に示すように、メッセージ作成支援システム４は、クライアント１１と特殊文字検索サーバ２１とを含む。クライアント１１と特殊文字検索サーバ２１とは、互いにネットワークを介して接続される。
【００８５】
図１２は、クライアント１１の構成を示すブロック図である。クライアント１１は、画像入力部１１０、画像送信部３１０、検索結果受信部３２０、特殊文字表示制御部１４０、選択特殊文字送信部３３０を備える。図１３は、特殊文字検索サーバ２１のブロック図である。特殊文字検索サーバ２１は、感情情報抽出部１２０、特殊文字検索部１３０、特殊文字データ更新部１５０および特殊文字データ記憶部２１０を備える。各図において、図１と同一要素には同一符号を付し、その具体的な動作の説明は省略する。
【００８６】
クライアント１１は、例えば半導体集積回路によって実現されるＣＰＵ、メモリ、ネットワークインターフェースおよびデジタルカメラを備えるパーソナルコンピュータ、携帯電話等である。パーソナルコンピュータ、携帯電話内のＣＰＵは、メモリ上に展開されたプログラムを解釈実行することにより、図１２に示すような、画像送信部３１０、検索結果受信部３２０、特殊文字表示制御部１４０および選択特殊文字送信部３３０として機能する。また、パーソナルコンピュータ、携帯電話等内のデジタルカメラは、画像入力部１１０として機能する。
【００８７】
特殊文字検索サーバ２１は、具体的にはいわゆるサーバ装置であり、例えば半導体集積回路によって実現されるＣＰＵ、メモリおよびネットワークインターフェースを備える。また、特殊文字検索サーバ２１は磁気記憶装置を備えてもよい。サーバ装置は、ネットワークインターフェースから受信したプログラムコードをメモリ上に展開し、または磁気記憶装置等に記憶されたプログラムコードを読みだしてメモリ上に展開し、展開されたプログラムコードをＣＰＵが解釈実行することで各種機能を実現するコンピュータとして動作する。特殊文字検索サーバ２１は、図１３に示すような、特殊文字とそれに対応する感情情報を記憶する特殊文字データ記憶部２１０として機能する磁気記憶装置を備える。特殊文字検索サーバ２１上のＣＰＵは、展開したプログラムを解釈実行することにより感情情報抽出部１２０、特殊文字検索部１３０および特殊文字データ更新部１５０として機能する。
【００８８】
画像送信部３１０は、文章入力者の画像データをネットワークを介して特殊文字検索サーバ２１に送信する。検索結果受信部３２０は、特殊文字の検索結果を特殊文字検索サーバ２１から受信する。選択特殊文字送信部３３０は、文章入力者により選択された特殊文字を特殊文字検索サーバ２１に送信する。本実施形態の各構成要素の動作において、画像送信部３１０、検索結果受信部３２０、選択特殊文字送信部３３０の動作以外は、第１の実施形態で説明した動作と同様である。
【００８９】
図１４は、メッセージ作成支援システム４の動作を示すフローチャートである。図１４を参照して、メッセージ作成支援システム４の動作について説明する。
【００９０】
クライアント１１の画像入力部１１０は、文章入力者の画像データを取得する（Ｓ１４１）。画像送信部３１０は、画像入力部１１０が取得した画像データを、ネットワークを介して特殊文字検索サーバ２１に送信する（Ｓ１４２）。特殊文字検索サーバ２１の感情情報抽出部１２０は、クライアント１１から受信した画像データに基づいて、感情情報を抽出する（Ｓ１４３）。特殊文字検索部１３０は、感情情報抽出部１２０により抽出された感情情報に基づいて、特殊文字データ記憶部２１０に記憶されている特殊文字を検索し、検索結果をクライアント１１に送信する（Ｓ１４４）。特殊文字データ記憶部２１０には、特殊文字とその感情情報が記憶されており、特殊文字検索部１３０は、特殊文字データ記憶部２１０に記憶されている感情情報の中から、感情情報抽出部１２０により抽出された感情情報に近い感情情報に対応する特殊文字を検索し、検索結果をクライアント１１に送信する。
【００９１】
クライアント１１の検索結果受信部３２０は、特殊文字検索サーバ２１から送信された特殊文字の検索結果を受信する（Ｓ１４５）。特殊文字表示制御部１４０は、検索結果受信部３２０が受信した特殊文字の候補を表示する（Ｓ１４６）。特殊文字表示制御部１４０は、表示した特殊文字の候補の中から文章入力者がいずれかを選択したか判定し（Ｓ１４７）、選択されなかった場合は（Ｓ１４７のＮＯ）、処理を終了する。
【００９２】
一方、文章入力者がいずれかを選択した場合（Ｓ１４７のＹＥＳ）、選択特殊文字送信部３３０は、文章入力者が選択した特殊文字を特殊文字検索サーバ２１に送信する（Ｓ１４８）。特殊文字検索サーバ２１の特殊文字データ更新部１５０は、クライアント１１から送信された特殊文字と感情情報抽出部１２０が抽出した感情情報とに基づいて、特殊文字データ記憶部２１０に記憶されている感情情報を更新する（Ｓ１４９）。
【００９３】
以上のように、第４実施形態によれば、メッセージ作成支援システム４は、感情情報抽出部１２０、特殊文字検索部１３０、特殊文字データ記憶部２１０および特殊文字データ更新部１５０を特殊文字データ記憶サーバ２０上に備えるようにしたので、クライアント１０の処理量を削減することができるという効果が得られる。
第５の実施形態
図１５は、本発明の第５の実施形態に係るメッセージ作成支援装置４００のブロック図である。図１５に示すように、メッセージ作成支援装置４００は、特殊文字記憶手段４０１と感情情報更新手段４０２とを含む。特殊文字記憶手段４０１は、特殊文字と該特殊文字に対応する感情情報とを記憶する。感情情報更新手段４０２は、入力された画像データに基づいて抽出された感情情報により、特殊文字記憶手段４０１に記憶される、使用者が選択した特殊文字に対応する感情情報を更新する。
【００９４】
上記構成により、第５の実施形態によれば、使用者の入力時の感情に最適な特殊文字を容易に検索できるという効果が得られる。
【産業上の利用可能性】
【００９５】
本発明によれば、携帯電話やコンピュータにおいて電子メール等の文章を作成する際に絵文字又は顔文字を含む特殊文字の入力を支援する用途に適用できる。
【符号の説明】
【００９６】
１０  クライアント
２０  特殊文字データ記憶サーバ
１００  データ処理装置
１１０  画像入力部
１２０  感情情報抽出部
１３０  特殊文字検索部
１４０  特殊文字表示制御部
１５０  特殊文字データ更新部
１６０  文字列入力部
１７０  キーワード抽出部
１８０  文章感情情報抽出部
１９０  感情情報キーワード統合部
２００  記憶装置
２１０  特殊文字データ記憶部
３１０  画像送信部
３２０  検索結果受信部
３３０  選択特殊文字送信部
４００  メッセージ作成支援装置
４０１  特殊文字記憶手段
４０２  感情情報更新手段
【図１】
2011043938.tif 000003
【図２】
2011043938.tif 000004
【図３】
2011043938.tif 000005
【図４】
2011043938.tif 000006
【図５】
2011043938.tif 000007
【図６】
2011043938.tif 000008
【図７】
2011043938.tif 000009
【図８】
2011043938.tif 000010
【図９】
2011043938.tif 000011
【図１０】
2011043938.tif 000012
【図１１】
2011043938.tif 000013
【図１２】
2011043938.tif 000014
【図１３】
2011043938.tif 000015
【図１４】
2011043938.tif 000016
【図１５】
2011043938.tif 000017