(57)【特許請求の範囲】
【請求項１】
ユーザーの顔を撮像する撮像手段と、
前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、
前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、
を備えたことを特徴とする、文字及び顔文字から成る文章を入力する装置。
【請求項２】
ユーザーの顔を撮像する撮像手段と、
前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、
前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、
を備えており、
前記顔文字選択等手段は、（ａ）「複数の顔文字を、『複数の互いに異なる表情を有する顔画像又は前記各顔画像の特徴を示すデータ』と互いに関連付けて記録している顔文字データベース」から、前記撮像手段により取得されたユーザーの顔画像又はこのユーザーの顔画像の特徴を示すデータに基づいて前記顔文字を抽出もしくは選択する、又は、（ｂ）前記撮像手段により取得されたユーザーの顔画像に基づいて前記顔文字を生成する、ものである、
ことを特徴とする、文字及び顔文字から成る文章を入力する装置。
【請求項３】
ユーザーの顔を撮像する撮像手段と、
前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、
前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、
を備えたことを特徴とする、文字及び顔文字から成る文章を入力する装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、パソコン、携帯電話、携帯情報端末などを使用しての電子メール、チャット、インスタントメッセージなどにおける文章の入力時に使用される、文章を入力する装置に関する。
【０００２】
【従来の技術】
従来より、パソコン、携帯電話、携帯情報端末などによる電子メール、チャット、インスタントメッセージなどにおいては、「顔文字」がしばしば利用されている。「顔文字」は、複数の記号（テキストデータとしての記号）を組み合わせて作成される簡単な図形やイラストである。この顔文字は、例えば、「にこっ」などの顔の表情を表すためのもので、文の中又は前後に挿入されるものである。このような顔文字は、電子メールなどの文章の中で、文章では汲み取り難い「行間に隠された心情や気持ち」を表すことができるので、文章の表現力アップを図り「遊び心」を満たすものとして、利用されている。また、従来の顔文字は、テキストデータとしての記号の組み合わせなので、狭帯域の回線でも使用できるように送信データ量を抑えることができるというメリットもある。
【０００３】
図３（ａ）は、特開平１１−３０５９８７号公報の図１７を引用したものである。この公報は、その００９５の中で、顔文字について次のように述べている。「絵文字（顔文字）とは、人間の顔や動物などを文字のグリフの連なりで表現したものである。例えば、”：−）”、”（＾．＾）”、”（＾＾）”、などはいずれも人間の顔を表現しており、多くの場合、”（笑い）”とか”（冗談）”と記した場合と同様の意味を持つ。絵文字は、顔文字、スマイリー（ｓｍｉｌｙ）、アスキーアートなどと呼ばれることもある。」図３（ａ）では、文の末尾に挿入された”（＾＾）”のマークは、”（笑い）”の意味を、また、文の末尾に挿入された”（−０−）”のマークは、”（すみません）”の意味を有している。また、この公報では、その０１１２の中で、「入力されたテキストから、絵文字（顔文字）を抽出する絵文字抽出装置」のアイデアをも開示している。
【０００４】
また、図３（ｂ）は、特開２０００−２７０１１５公報の図４を引用したものである。この公報では、携帯電話による顔文字の入力作業を効率化するために、図３（ｂ）に示すように、顔文字を複数のグループに分類して、各グループをテンキーの一つに対応させてＲＡＭに記録するようにしている。そして、この公報では、希望する顔文字を画面に読み出す場合は、まずテンキーでグループを指定し、指定したグループ内の顔文字を同一数字キーの押し下げ回数により選択するようにしている。
【０００５】
【発明が解決しようとする課題】
従来の顔文字の入力は、ユーザーがいちいちキーボードで記号を入力していく方法、前記特開平１１−３０５９８７号公報のようにユーザーがテキストデータを入力してそれに対応する顔文字を抽出する方法、前記特開２０００−２７０１１５公報のようにテンキー操作を繰り返すことにより呼び出す方法などが開発されている。しかしながら、これらの方法は、いずれも、十分に効率的な方法とは言い難い。特に、キーの数が少ない携帯電話などでは、ユーザーは顔文字を選択するためにキーを何回も押し下げる必要があり、大変不便であった。
本発明はこのような従来技術の問題点に着目したものであって、ユーザーが文章を入力しているとき、所定の顔文字をその文章の中へ入力することを、極めて容易に且つ効率的に行うことができる、文字及び顔文字から成る文章を入力する装置、を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
（用語説明）  本明細書において、「顔文字」とは、「従来において代表的な、テキストデータとしての記号を複数個組み合わせ作成するもの（テキストデータ）」だけでなく、「ユーザーの顔画像データに基づいて生成する画像データ（ユーザーの顔の画像データを加工して得られる、線図データ又はドットデータ（点データ）から成る画像データなど）、例えば、ユーザーの顔画像データを加工して生成する線図データのみから成る顔文字、ユーザーの顔画像データを加工して生成するドットデータ（点データ）のみから成る顔文字、などをも含むものである。
すなわち、本願明細書における「ユーザーが入力している文章を構成する、文字とほぼ同じ大きさの顔文字」は、「ユーザーの顔画像データを加工して得られる線図データやドットデータなどから成るもの」であってもよい。
【０００７】
（本発明の内容）
第１  本願の特許請求の範囲に記載された発明は次のとおりである。
１  ユーザーの顔を撮像する撮像手段と、前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、を備えたことを特徴とする、文字及び顔文字から成る文章を入力する装置。
２  ユーザーの顔を撮像する撮像手段と、前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、を備えており、前記顔文字選択等手段は、（ａ）「複数の顔文字を、『複数の互いに異なる表情を有する顔画像又は前記各顔画像の特徴を示すデータ』と互いに関連付けて記録している顔文字データベース」から、前記撮像手段により取得されたユーザーの顔画像又はこのユーザーの顔画像の特徴を示すデータに基づいて、前記顔文字を抽出もしくは選択する、又は、（ｂ）前記撮像手段により取得されたユーザーの顔画像に基づいて、前記顔文字を生成する、ものである、ことを特徴とする、文字及び顔文字から成る文章を入力する装置。

第２  「本願の特許請求の範囲に記載された発明」そのものではないが、本明細書においては次のような発明も開示・提案している。
１  予め複数種類の顔文字を、「複数の互いに異なる表情を有する顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）」とそれぞれ関連付けて記録しておくための顔文字データベースと、ユーザーの顔を撮像するための映像取得手段と、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を前記映像取得手段により撮像するための撮像制御手段と、ユーザーが顔文字の入力を指示したとき、前記映像取得手段からのユーザーの顔画像又はこれに関するデータ（例えば、そのユーザーの顔画像の特徴を示すデータ）に基づいて、前記顔文字データベースから、前記映像取得手段からのユーザーの顔画像データに対応する顔文字を選択するための顔文字選択手段と、前記顔文字選択手段により選択された顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するための顔文字入力手段と、を備えたことを特徴とする顔文字入力システム。
２  ユーザーの顔を撮像するための映像取得手段と、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を前記映像取得手段により撮像するための撮像制御手段と、ユーザーが顔文字の入力を指示したとき、前記映像取得手段からのユーザーの顔画像データに基づいて、「ユーザーが入力している文を構成する文字とほぼ同じ大きさの顔文字」を生成するための顔文字生成手段と、前記顔文字生成手段により生成された顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するための顔文字入力手段と、を備えたことを特徴とする顔文字入力システム。
３  予め複数種類の顔文字を、「複数の互いに異なる表情を有する顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）」とそれぞれ関連付けて記録しておくための顔文字データベースを備えておき、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像するステップと、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像又はこれに関するデータ（例えば、そのユーザーの顔画像の特徴を示すデータ）に基づいて、前記顔文字データベースから、前記の撮像したユーザーの顔画像データに対応する顔文字を選択するステップと、前記の選択した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するステップと、を備えたことを特徴とする顔文字入力方法。
４  ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像するステップと、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像データに基づいて、「ユーザーが入力している文を構成する文字とほぼ同じ大きさの顔文字」を生成するステップと、前記の生成した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するステップと、を備えたことを特徴とする顔文字入力方法。
５  予め複数種類の顔文字を、「複数の互いに異なる表情を有する顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）」とそれぞれ関連付けて記録しておくための顔文字データベースを備えたシステムで使用されるコンピュータプログラムであって、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像する機能と、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像又はこれに関するデータ（例えば、そのユーザーの顔画像の特徴を示すデータ）に基づいて、前記顔文字データベースから、前記の撮像したユーザーの顔画像データに対応する顔文字を選択する機能と、前記の選択した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力する機能と、を実現するための顔文字入力用コンピュータプログラム。
６  ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像する機能と、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像データに基づいて、「ユーザーが入力している文を構成する文字とほぼ同じ大きさの顔文字」を生成する機能と、前記の生成した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力する機能と、を実現するための顔文字入力用コンピュータプログラム。
なお、以上の本発明においては、本明細書の特許請求の範囲の中に記載されているシステム（装置）のアイデアは、全て、「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）のアイデア」としても捉えることができる。すなわち、本発明においては、本明細書の特許請求の範囲の中において「システム（装置）」の形で記載された発明の内容は、全て、「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）」の形でも記載することができ、「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）」の形でも実現することができる。すなわち、本発明においては、本明細書の特許請求の範囲の中において、末尾に「システム（装置）」という文字が記載された発明は、その全てが、末尾に「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）」という文字で把握・記載される発明とすることができる。すなわち、本明細書の特許請求の範囲の内容は、その全てが「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）の発明」としても構成することができ、そのように「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）の発明」として構成される発明も、本発明の範囲内である。
なお、本発明によるプログラムは、例えば、コンピュータのハードディスクなどの記録媒体に記録されてＣＰＵにより実行されるものであり、また、ＡＳＰ（アプリケーションサービスプロバイダ）によりインターネットなどのネットワーク経由でユーザー側の情報端末に送信（譲渡・貸与）されるものである。
【０００８】
【発明の実施の形態】
実施形態１．
図１は本発明の実施形態１を示すブロック図である。図１において、１は複数の顔文字と、各顔文字毎の識別データ（ＩＤ）と、実際の人（この「人」は、情報機器を保有しているユーザーが望ましいが、ユーザー以外でもよい）の顔の画像であって、前記各顔文字と対応する複数の表情を有している顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）と、を互いに関連付けて記録しておくための顔文字データベースである。また、図１において、２はユーザーの顔を撮像するためのカメラ（パソコンや携帯電話に備えられているものが望ましい）である。また、３は情報処理部（ＣＰＵなどで構成される）であって、前記カメラ２などを含む情報機器全体の動作を制御するためのものである。
【０００９】
また、４は文字入力用キーボードであって、ユーザーが希望する文字のデータ（漢字などを示すデータ）を前記情報処理部３に入力するためのものである。また、５は日本語辞書データベースであって、前記キーボード４から入力されたデータに基づいて、対応する日本語の熟語や漢字を表示してユーザーに選択を促して、日本語を入力させるためのものである。６は入力位置指示部で、ユーザーが文字又は顔文字を入力すべき位置（ユーザーが入力している文の中間又は前後の位置）を指定するためのもので、例えば、マウスやカーソル・キーなどにより構成されている。例えば、ユーザーが前記キーボード４を使用して「とうきょうと」と入力すると、情報処理部３は、この入力内容から前記日本語辞書データベース５を検索して「東京都」という漢字を選択し、それをユーザー側に画面で提示して、ユーザーが「これでよい」という意味の選択キーを押すと、この「東京都」という漢字を、前記入力位置指示部６によりユーザーが指示した入力位置に入力（挿入・追加）する。
【００１０】
また、図１において、７はユーザーが顔文字を入力することを前記情報処理部３に指示するための顔文字入力指示部で、例えば、通常の文字ではない顔文字を入力することを指示するための特別のキー（例えば、携帯電話なら、”＃”キーや”＊”キーなど）で構成される。また、８は、前記カメラ２からのユーザーの顔の撮像データ（顔画像データ）と前記顔文字データベース１からの顔画像（予め複数の顔文字とそれぞれ対応付けて記録されている複数の顔画像）とを比較・照合することにより（例えば、前記顔文字データベース１に記録された複数の顔画像の中から、前記カメラ２からのユーザーの顔画像と最も類似した顔画像を抽出することにより）、前記カメラ２からのユーザーの顔画像（ユーザーが、入力を希望する顔文字の種類に対応する表情を持つように自分の顔を変形させたときの、ユーザーの顔画像）又はこれから得られたデータ（例えば、各顔画像の特徴を示すデータ）に対応する顔文字を選択するための顔文字選択部である（なお、この顔文字選択部８は、実際には、前記情報処理部３を構成するＣＰＵにより構成されていてもよい）。また、図１において、９は前記情報処理部３からのデータを画面に表示するためのディスプレイ、１０は前記情報処理部８からのデータを紙に出力するためのプリンタである。
【００１１】
次に、本実施形態１の動作を説明する。本実施形態１では、ユーザーが、前記顔文字入力指示部７から、顔文字を入力するための指示データを前記情報処理部３に入力する（例えば、所定のボタン又はキーを押したり、所定のアイコンをマウスでクリックする）と、情報処理部３は、カメラ２を制御して、そのときにおけるユーザーの顔（ユーザーが、入力を希望する顔文字の種類に相当する表情を自分の顔が持つように、自分の顔を変形させたときのユーザーの顔）を撮像させる。そして、前記情報処理部３は、カメラ２を制御して、前記の撮像したユーザーの顔画像データを、前記顔文字選択部８に向けて送信させる。すなわち、本実施形態１では、前記のカメラ２によりユーザーの顔を撮像するとき、ユーザーは、自分が入力したい顔文字の種類（例えば、「笑っている顔文字」）に対応する表情（例えば、「笑っている表情」）に、自分の顔の表情を変えて、その表情を持つ自分の顔を前記カメラ２に撮像してもらうようにする。
【００１２】
顔文字選択部８は、前記カメラ２からのユーザーの顔画像データ（ユーザーが顔文字の入力を指示したときの、ユーザーの顔の表情が示された画像データ）又はこれに関するデータ（例えば、ユーザーの前記顔画像の特徴を示すデータ）と、前記顔文字データベース１に記録されている複数の顔画像（前記の複数の各顔文字とそれぞれ対応している顔画像）又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）とを比較照合し、前記ユーザーの顔画像の表情（例えば、「笑っている表情」）と最も類似した表情を持つ前記顔文字データベース１中の顔画像（例えば、「笑っている顔の画像」）又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）を、特定する。そして、前記顔文字選択部８は、この特定した顔画像データに対応する顔文字（例えば、「笑っている顔文字」）を、前記顔文字データベース１から抽出・選択し、この選択した顔文字のデータを情報処理部３に送る。情報処理部３は、この顔文字選択部８からの顔文字データを、前記入力位置指示部６により指示された位置（ユーザーが入力中の文の冒頭、末尾、又は中間の位置）に入力（挿入・追加）する。
【００１３】
以上のように、本実施形態１によれば、ユーザーは、顔文字の入力を情報処理部３に指示すると共に、入力したい顔文字に相当する表情をする（ユーザーが自分の顔をそのような表情に変形させる）だけで、それ以外はユーザーが特別な操作をすることなく、カメラ２と顔文字選択部８と情報処理部３とにより、自動的に、ユーザーが希望する顔文字が選択されて、それが文中の所定の入力位置に入力されるので、顔文字の入力が大変に効率化されるようになる。
【００１４】
実施形態２．
次に、本発明の実施形態２を図２に基づいて説明する。図２において、図１と共通する部分には、同一の符号を付して説明を省略する。図２のシステムにおいては、図１のような顔文字データベースは備えていない。その代わり、この図２のシステムでは、前記カメラ２からのユーザーの顔画像データ（ユーザーが、入力を希望する顔文字の種類に対応する表情となるように自分の顔の表情を変えたときの、ユーザーの顔の撮像データ）に基づいて、所定の顔文字を生成するための顔文字生成（加工）部１１を備えている。前記顔文字生成部１１は、例えば、前記カメラ２からの顔画像データを加工して、「線図データのみから成るユーザーの顔のイラスト図形により構成される顔文字」を生成するものである。あるいは、前記顔文字生成部１１は、例えば、前記カメラ２からの顔画像データを加工して、「前記顔画像データよりもドット数が大幅に間引きされた（減少された）ドットデータから成るユーザーの顔画像データにより構成される顔文字」を生成するものである。このように、本実施形態２では、実施形態１のような顔文字データベース１は備えていないが、前記顔文字生成部１１によりユーザーの顔画像から顔文字を自動的に生成するようにしている。
【００１５】
したがって、本実施形態２によれば、実施形態１と同様に、ユーザーは、顔文字の入力を情報処理部３に指示すると共に、入力したい顔文字に相当する表情をする（ユーザーが自分の顔をそのような表情に変形させる）だけで、それ以外はユーザーが特別な操作をすることなく、カメラ２と顔文字生成部１１と情報処理部３とにより、自動的に、自分の顔画像から顔文字が加工・生成されて、文中の所定の入力位置に入力されるので、顔文字の入力が大変に効率化されるようになる。
【００１６】
【発明の効果】
以上のように、本発明によれば、ユーザーは、文章を入力しているとき、自分の顔の表情を撮像させることにより（例えば自分の顔の表情を自分が希望する顔文字に対応させることにより）、所定の顔文字（例えばそのときの自分の顔の表情に適合した顔文字）を、自分が入力している文章の中に「その文章の一部」（その文章の構成要素）として入力することが可能になるので、所定の顔文字をその文章の中へ入力することが、極めて容易に且つ効率的に行えるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態１を示すブロック図。
【図２】本発明の実施形態２を示すブロック図。
【図３】顔文字を説明するための図。
【図１】
0004643054.tif 000002
【図２】
0004643054.tif 000003
【図３】
0004643054.tif 000004