(57)【要約】【課題】新たに取得した画像データの識別登録処理の効率化を図るとともに、取得した画像の中から利用可能性の高い画像を抽出して特定する。【解決手段】画像データ（３）を取得する画像データ取得部（４）と、画像データを記憶する記憶部（６）と、比較部（８）と、登録部（１０）を備える。比較部は、取得した画像データと、記憶部に予め記憶された画像データとを比較する。登録部は、比較部の比較により類似すると判定された場合、取得した画像データを記憶部に記憶されている画像データに関連付けて記憶部に登録する。【選択図】図１
2012242885.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する画像データ取得部と、
画像データを記憶する記憶部と、
取得した前記画像データと、前記記憶部に予め記憶された前記画像データとを比較する比較部と、
前記比較部の比較により類似すると判定された場合、取得した前記画像データを前記記憶部に記憶されている前記画像データに関連付けて前記記憶部に登録する登録部と、
を備えることを特徴とする電子機器。
【請求項２】
前記記憶部は、
特定の画像データを記憶した選択データ記憶部を備え、
前記登録部は、取得した前記画像データが、前記選択データ記憶部に記憶された画像データと類似する場合、取得した前記画像データを前記選択データ記憶部に登録することを特徴とする、請求項１に記載の電子機器。
【請求項３】
前記比較部は、前記画像データの画像類似度、又は前記画像データに含まれるタグ情報の一致度又は前記画像データの配色類似度の少なくとも１つを用いて比較することを特徴とする、請求項１又は２に記載の電子機器。
【請求項４】
操作入力部と、
前記操作入力部により入力された、前記記憶部に予め記憶された前記画像データの入力回数を計数する計数手段と、
前記計数手段の計数結果に応じて、入力回数の多い画像データを前記選択データ記憶部に登録することを特徴とする、請求項２に記載の電子機器。
【請求項５】
表示部と、
前記記憶部に記憶された前記画像データが選択入力され、又は前記画像データを示す情報が入力された場合、選択された前記画像データと、該画像データに関連付けて登録された画像データとを前記表示部に表示させる表示制御部と、
を備えることを特徴とする、請求項１ないし４に記載の電子機器。
【請求項６】
コンピュータに実行させる画像データの登録プログラムであって、
画像データを取得し、
取得した前記画像データと、記憶部に予め記憶された画像データとを比較し、
前記比較により類似すると判定された場合、取得した前記画像データを前記記憶部に記憶されている前記画像データに関連付けて登録することを前記コンピュータに実行させることを特徴とする画像データの登録プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、新たに取得した画像データを分類して登録する登録技術に関する。
【背景技術】
【０００２】
携帯電話機等を利用した文書の作成において、利用者は、文字情報又は写真画像とともに、又はこれらに代えて絵文字を利用することがある。絵文字は、表示される画像が特定の意味を示しており、メール作成時の入力操作の負担軽減や、文字では伝えきれない感情表現等のために利用されている。このような絵文字データは、予め携帯電話機等に記憶されているものに加え、例えば、外部の装置からダウンロードして新たに取得することも可能である。また、文書に画像を貼付、または添付したりすることがある。このような画像についても、やはり携帯電話機等に記憶されているものに加え、例えば外部の装置からダウンロードして新たに取得することが可能である。
【０００３】
このように新たに取得した絵文字や画像等の画像データは、例えば、名前情報、画像が示す意味情報、分野情報等、この画像を特定するための情報が登録されておらず、多数の画像データを取込んだ場合には識別が困難であった。
【０００４】
そこで、画像を含むデータの識別方法として、例えば、名前付きエンティティを識別し、この名前付きエンティティに関連付けられた画像を読み出し、顔検出アルゴリズムにより読み出された画像から顔を検出する。そして、読み出された画像から少なくとも１つの代表的な顔画像が識別され、かつ、この顔画像を使用して少なくとも１つの名前付きエンティティを表す１又は複数の画像を識別するものがある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１０−５１１９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、新たに取得した画像データの識別化には、例えば利用者がその画像データに１つずつ名前を入力設定し、特定の保存先フォルダに移動させる等の設定作業が必要である。また、絵文字として利用する画像データは、文字入力の辞書変換機能による検索対象とするために各画像データに対して読み仮名等の設定登録も必要であり、この設定作業の効率の向上が課題となっている。さらに、画像データのダウンロードサイトでは、画像を１つずつ指定させるのではなく、複数の画像データをまとめて配信するものもあり、利用者が全ての画像データに対してこの識別化処理を行うのは、多大な労力を要するという課題もある。
【０００７】
斯かる要求や課題について、特許文献１にはその開示や示唆はなく、それを解決する構成等についての開示や示唆もない。
【０００８】
そこで、本開示の電子機器、及び画像データの登録プログラムの目的は、新たに取得した画像データの識別化処理の効率化を図ることにある。
【０００９】
また、本開示の電子機器、及び画像データの登録プログラムの他の目的は、取得した画像の中から利用可能性の高い画像を抽出し、特定化を図ることにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本開示の一側面では、画像データを取得する画像データ取得部と、画像データを記憶する記憶部と、比較部と、登録部を備える。比較部は、取得した画像データと、記憶部に予め記憶された画像データとを比較する。登録部は、比較部の比較により類似すると判定された場合、取得した画像データを記憶部に記憶されている画像データに関連付けて記憶部に登録する。
【発明の効果】
【００１１】
本開示の電子機器又は画像データの登録プログラムによれば、絵文字データの取得操作性を向上できる。
【００１２】
そして、本発明の他の目的、特徴及び利点は、添付図面及び各実施の形態を参照することにより、一層明確になるであろう。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る電子機器の機能構成例を示す図である。
【図２】画像データの登録処理の一例を示すフローチャートである。
【図３】第２の実施の形態に係る携帯電話機の機能構成例を示す図である。
【図４】携帯電話機のハードウェア構成例を示す図である。
【図５】携帯電話機の外観構成例を示す図である。
【図６】絵文字データを外部サーバからダウンロードする状態例を示す図である。
【図７】絵文字データをダウンロードする前の絵文字コレクションフォルダの表示例を示す図である。
【図８】絵文字データをダウンロードした後の絵文字コレクションフォルダ及びダウンロードフォルダの表示例を示す図である。
【図９】絵文字コレクション表示テーブルの一例を示す図である。
【図１０】同一の絵文字を異なる絵文字コレクションフォルダに登録した状態の一例を示す図である。
【図１１】絵文字の一括ダウンロード処理の一例を示すフローチャートである。
【図１２】画像タグを利用した絵文字コレクションフォルダへの登録処理の一例を示すフローチャートである。
【図１３】絵文字コレクションフォルダの「ハート」と比較処理を行った場合の状態例を示す図である。
【図１４】絵文字コレクションフォルダの「星」と比較処理を行った場合の状態例を示す図である。
【図１５】画像ファイルの一例を示す図である。
【図１６】絵文字の画像データの構成例を示す図である。
【図１７】画像の類似度を利用した絵文字コレクションフォルダへの登録処理の一例を示すフローチャートである。
【図１８】絵文字コレクションフォルダに登録された絵文字の画像情報抽出処理の一例を示すフローチャートである。
【図１９】絵文字の画像類似度比較による登録処理の構成例を示す図である。
【図２０】絵文字の画像類似度による比較処理の一例を示すフローチャートである。
【図２１】画像の特徴情報の対比例を示す図である。
【図２２】第３の実施の形態に係る携帯電話機の機能構成例を示す図である。
【図２３】絵文字コレクションフォルダの自動作成の構成例を示す図である。
【図２４】絵文字入力監視処理の一例を示すフローチャートである。
【図２５】絵文字コレクションフォルダの自動生成処理の一例を示すフローチャートである。
【図２６】絵文字コレクションの登録機能を辞書変換機能に連動させた場合の表示画面の一例を示す図である。
【図２７】第４の実施の形態に係る携帯電話機の機能構成例を示す図である。
【図２８】絵文字データを取得する前の絵文字コレクションフォルダの表示例を示す図である。
【図２９】絵文字データを取得した後の絵文字コレクションフォルダの表示例を示す図である。
【図３０】絵文字コレクションフォルダの登録処理の一例を示すフローチャートである。
【図３１】配色情報算出処理の一例を示すフローチャートである。
【図３２】ＲＧＢ強度記録処理の一例を示すフローチャートである。
【図３３】ＲＧＢ強度の抽出範囲の設定処理の一例を示す図である。
【図３４】配色情報の抽出処理の一例を示す図である。
【図３５】背景フィルタ処理の一例を示すフローチャートである。
【図３６】Ｒ強度の加算処理の一例を示す図である。
【図３７】ＲＧＢ強度加算処理の一例を示すフローチャートである。
【図３８】他の実施の形態に係るＰＣの構成例を示す図である。
【発明を実施するための形態】
【００１４】
〔第１の実施の形態〕
【００１５】
第１の実施の形態について、図１を参照する。図１は第１の実施の形態に係る電子機器の機能構成例を示す図である。図１に示す構成は一例であって、本発明は、これに限定されない。なお、第２の実施の形態以降の実施の形態を含め、以下で説明する各実施の形態においては、画像データの一例として絵文字を扱う場合の形態を説明する。
【００１６】
この電子機器２は、本開示の電子機器の一例であって、例えば、電子メール等の文書作成機能を備えた携帯電話機等である。電子機器２の文書作成機能では、例えば、漢字、平仮名、片仮名等の一般文字やアルファベット、数字、その他の記号等とともに、絵文字等の画像データを利用することができる。絵文字は、１文字分の大きさの画像を表示可能にした特殊文字の一例であって、例えば、表示された画像が示す意味を利用して感情表現をしたり、表示する文字数を減らす等に利用できる。また、この画像データには、例えば、撮影による写真画像や、ビットマップ形式やＪＰＧ形式等でフォーマットされたコンピュータにより処理が可能な絵等が含まる。そして、この画像データは、作成した文書に対して貼付けたり、文書データに添付したりすることができる。この画像データは、例えば、電子機器２に予め記憶されているほか、新たに外部機器や外部の記憶媒体等から取得して増やすことができる。
【００１７】
新たに取得した絵文字を含む画像データには、例えば、表示画面に表示される画像の他、電子メール等の文書作成画面において使用可能にする属性情報は設定されているが、例えば、電子機器２が絵文字を特定するための名称情報や読み仮名情報等は設定されていない。従って画像データを取得した状態のままでは電子機器２は、新たに取得した画像データを文書作成機能に対して連動させて利用することができない。この画像データに設定された属性情報は、電子機器２が取得した画像データを特定するための識別情報の一例であって、例えば、特殊文字である絵文字の場合、画像タグ、画像情報、フォーマット情報等のいずれか１又は複数を含んでいる。そこで、この電子機器２では、この属性情報を利用して、取得した画像データ３を既に登録されている画像データに関連付けて登録する。これにより、例えば、利用者が取得した各画像データ３に読み仮名等の付加情報を設定入力したり保存場所の設定等をすることなく、電子機器２に画像データを特定させることができる。この電子機器２には、新たに取得した画像データ３を特定して登録する手段として、例えば、画像データ取得部４、記憶部６、比較部８、登録部１０等を備えている。
【００１８】
画像データ取得部４は、電子機器２の外部にある画像データ３を取得する手段の一例である。この画像データ取得部４は、例えば、無線又は有線による通信接続手段であって、接続した外部機器やサーバ装置とのデータ通信、又はインターネット等のネットワーク上にあるＷｅｂサイトからダウンロードしてもよい。また、この画像データ取得部４は、例えば、外部記憶装置や記録媒体等から画像データ３を取り込んでもよい。
【００１９】
記憶部６は、画像データを記憶する手段の一例であって、例えば、電子機器２の初期設定又は過去に取得して予め登録された画像データや画像データ取得部４で新たに取り込んだ絵画像データ３を記憶する。この記憶部６には、例えば、予め記憶していた画像データと新たに取得した画像データ３を区別して記憶させてもよく、例えば、フォルダを設定して画像データを格納してもよい。
【００２０】
記憶部６に記憶されている絵文字等の既存の画像データには、例えば、それぞれ付加情報が登録されている。この付加情報は、画像データを電子機器２で区別して利用するためのカテゴリ情報の一例であって、例えば、電子機器２の辞書変換機能により検索可能に設定した読み仮名情報等が含まれている。上記のように、新たに取得した画像データ３には、このような辞書変換機能等で絵文字を特定するための名称情報や読み仮名情報等は設定されていない。
【００２１】
比較部８は、取得した画像データと、記憶部６に予め記憶された画像データとを比較する手段の一例である。この画像データの比較では、例えば、取得した画像データ３に含まれる属性情報と、記憶部６に記憶された１又は複数の特定の画像データに含まれる属性情報とを比較する。そして、取得した絵文字データ３が記憶部６に記憶されている絵文字データに類似するか否かを判断する。この属性情報を利用した比較処理では、例えば、比較する画像データに設定された画像タグが一致するか、又は画像同士を比較して類似するか否かで判断を行う。比較対象となる特定の画像データは、例えば、記憶部６内に記憶された画像データから選択されており、ぞれぞれ別の選択データ記憶部に登録されている。例えば、絵文字データの場合、比較対象となる絵文字データは、電子機器２に記憶されている絵文字データのうち、例えば、利用者が自身の好みに応じて選択したものや、使用頻度等の条件に基づいて電子機器２が自動選択したものが含まれる。この選択された絵文字は、例えば、絵文字コレクションとして、記憶部６に設定された異なるフォルダに登録されている。また、電子機器２に予め記憶された全ての絵文字を比較対象としてもよい。この比較対象となる絵文字の選択処理は、例えば、電子機器２の利用者が何時行ってもよく、例えば、新たに絵文字データを取得する時に実行してもよい。
【００２２】
登録部１０は、取得した画像データを記憶部６に登録されている画像データに関連付けて登録する手段の一例である。例えば、上記の比較処理において取得した画像データ３が記憶部６に記憶されている画像データに類似すると判断された場合、新たに取得した画像データ３は、比較対象の画像データに関連付けて記憶部６に登録される。この関連付けを含む登録処理は、例えば、予め記憶された画像データに対して類似すると判断された画像データ３を、記憶部６にある当該予め記憶された画像データと同一のフォルダに登録する。
【００２３】
また、登録部１０は、例えば、類似すると判断された画像データ３に対して、類似する画像データが登録されているフォルダの情報や比較した画像データの付加情報等を登録してもよい。そして、このフォルダに登録された類似する複数の画像データは、例えば、文書作成機能において、変換候補として当該予め記憶された画像データと同時に電子機器２に表示させる。
【００２４】
次に、画像データの登録処理について図２を参照する。図２は、画像データの登録処理の一例を示すフローチャートである。図２に示す処理内容、処理手順等は一例であって、本発明は、これに限定されない。
【００２５】
この画像データの登録処理は、本開示の画像データの登録プログラムの一例であって、画像データ取得部４により、画像データ３を取得し（ステップＳ１）、この画像データ３を記憶部６に記憶させる（ステップＳ２）。新たに取得した画像データ３は、例えば、記憶部６に設定されたダウンロードフォルダ等に記憶させればよい。
【００２６】
そこで、新たに取得した画像データ３と、比較対象として例えば利用者の選択処理により選択された画像データとの比較処理を行う（ステップＳ３）。
【００２７】
比較処理は、電子機器２の比較部８において行われ、画像データ３に含まれる属性情報と、フォルダに登録された画像データの属性情報とを比較する。画像タグを利用した比較処理を行う場合、比較部８は、例えば、取得した画像データ３に設定されている画像タグの抽出を行う。また、比較部８は、上記のように、利用者の操作等により選択された特定の画像データに設定された画像タグを抽出する。そして、これらの抽出された画像タグ同士を比較して一致する画像タグがある場合には、画像データ同士が類似すると判断する。
【００２８】
また、属性情報として、画像情報を比較する場合、例えば、比較部８が新たに取得した画像データ３の画像情報と、登録された画像データの画像情報の輪郭情報や色情報等を抽出する。そして、比較部８は、例えば、抽出した輪郭情報や色情報について、所定の閾値以上の類似性があるかを比較して、類否を判断する。
【００２９】
そして、この比較の結果、画像データ３が比較対象の画像データとが一致し、又は類似する場合には、比較対象である画像データに関連付けして登録する（ステップＳ４）。例えば、絵文字について比較処理を行う場合、比較部８は、例えば、取得した絵文字データについて、各絵文字コレクションに対する比較結果とともに、その絵文字コレクションのフォルダ情報を記憶している。登録部１０は、比較部８から比較結果及び各絵文字コレクションのフォルダ情報を取得している。そして、上記の比較処理の結果、画像タグが一致して類似すると判断された場合、新たに取得した絵文字データに対して、画像タグが一致する絵文字コレクションが登録されたフォルダ情報を登録する。これにより、登録部１０は、新たに取得した絵文字データについて、類似すると判断された絵文字コレクションと同一のフォルダに記憶させて関連付けすることができる。
【００３０】
また、画像情報による比較処理の場合も同様に、例えば、登録部１０は、比較部８から絵文字コレクションのフォルダ情報を取得し、絵文字画像が類似すると判断された場合には、絵文字データには、類似する絵文字コレクションのフォルダ情報を登録する。
【００３１】
なお、例えば、１の画像データ３について、複数の画像データと類似する場合には、全ての画像データのフォルダ情報を画像データ３に登録してもよく、又は最も類似するフォルダ情報のみを登録してもよい。
【００３２】
その他、画像データ３と特定の画像データとの関連付けとして、画像データ３を読み出し可能な表示テーブルを作成してもよい。この場合、登録部１０は、例えば、登録された画像情報やフォルダ情報を取得するとともに、比較部８から画像データ３と特定の画像データとの比較結果を取得する。そして、このテーブルでは、例えば、予め登録された画像データと、この画像データに類似すると判断された画像データ３とを同一の欄に登録させることで関連付けている。そして、例えば、電子機器２の文書作成機能において、辞書機能等により選択された画像データを表示画面に表示する場合には、この表示テーブルが参照される。そして、表示画面には、登録された画像データとともに、この画像データに類似すると判断された画像データ３も同時に表示させてもよい。
【００３３】
また、同一のフォルダに記憶した類似する画像データについて、例えば、新たに取得した画像データ３に対し、特定のフォルダに登録した画像データに含まれる属性情報等を付加したり、又は同一又は類似する読み仮名情報を付加してもよい。このような情報の付加処理として、登録部１０は、例えば、類似する画像データからタグ情報や画像情報、読み仮名情報等を抽出する。そして、これらの情報を登録部１０は、類似すると判断された画像データ３に対して書込み処理を行ってもよい。これにより、例えば、辞書機能により読み仮名変換を行った場合、電子機器２に予め記憶されていた画像データとともに、新たに取得した画像データ３を表示画面に変換候補として表示させてもよい。
【００３４】
斯かる構成によれば、新たに取得した画像データについて、予め識別された画像データに類似する場合には、その画像データに関連付けて登録することで  個別に識別情報の入力操作や分類操作等を省略でき、画像データ取得処理の操作性を向上できる。選択した画像データに対して属性情報を利用した類否判定の結果により、自動的に分類処理して登録するので、取得した画像データの識別性の向上を図ることができる。
【００３５】
〔第２の実施の形態〕
【００３６】
次に、第２の実施の形態について、図３を参照する。図３は、第２の実施の形態に係る携帯電話機の機能構成例を示す図である。図３に示す構成は一例であって、本発明は、これに限定されない。
【００３７】
この携帯電話機２０は、本開示の電子機器の一例であって、メール等の文書作成機能を備えており、この文書作成において絵文字の入力表示を行うことができる。また、この携帯電話機２０は、例えば外部のサーバ等にネットワークを介して接続して、絵文字データを追加することができる。この携帯電話機２０は、例えば、コンテンツダウンロード部２２でダウンロードされた絵文字データを絵文字管理部２４で管理している。また、携帯電話機２０に記憶されている絵文字のうち、例えば、利用者が選択し、又は使用頻度等の条件により自動で選択された絵文字のデータ又はその絵文字データの記憶情報等が絵文字コレクション部２６に登録されている。
【００３８】
そして、この携帯電話機２０では、新たに取得した絵文字が絵文字コレクション部２６に登録されている絵文字に対して類似するか否かを判断して、絵文字コレクション部２６に登録するか否かを決める。この類否判断は、例えば、類似画像比較部２８によって行われる。そして、類似すると判断された絵文字は、類否判断の対象となった絵文字コレクション部２６の絵文字に対する関連付けとして、例えば、類似する絵文字と同一のフォルダに登録する。そして、このように同一のフォルダに登録された絵文字は、例えば、入力制御部３０の管理制御により、例えば、メール作成による文字入力操作において、このフォルダ毎に絵文字が読み出され、表示制御部３２により表示画面に表示させる。
【００３９】
図３に示すコンテンツダウンロード部２２は、画像データである絵文字データの取得手段の一例であって、例えばネットワーク上のサーバ装置等にアクセスして新たに絵文字データを取得する。このコンテンツダウンロード部２２は、例えば、呼制御部３４を介して無線制御部３６に接続しており、携帯電話機２０の通信機能を利用してデータ通信を行う。
【００４０】
呼制御部３４は、携帯電話機２０の通信機能部の一例であって、例えば、無線制御部３６を介して、携帯電話機２０と通信基地局等との間で通話又はデータ通信接続を確立させる。また、無線制御部３６は、携帯電話機２０の通信機能部の一例であって、データ通信信号の送受制御を行う。
【００４１】
絵文字管理部２４は、携帯電話機２０に記憶されている絵文字の管理機能の一例であって、例えば、携帯電話機２０の記憶部に記憶された絵文字データを把握する。この絵文字管理部２４は、例えば、ダウンロードして新たに取得した絵文字を区別して管理するため、ダウンロードフォルダ４０を備えている。そして、携帯電話機２０のメール作成画面に入力された言葉に対し、この絵文字管理部２４は、記憶部に記憶された言葉や絵文字を読み出す辞書変換機能として機能させてもよい。
【００４２】
絵文字コレクション部２６は、例えば、記憶部等の記憶された絵文字のうち、利用者が選択し、又は所定の条件によって自動で選択された絵文字を登録し、記憶する手段の一例であって、例えば、選択された絵文字毎に絵文字コレクションフォルダ４２を設定する。この絵文字コレクションフォルダ４２は、例えば、予め記憶部内に記憶されている絵文字について、選択操作等によって特定された１又は複数の絵文字を記憶する選択データ記憶部を構成する。また、この絵文字コレクション部２６は、ダウンロード等によって新たに取得した絵文字データについて、絵文字コレクションフォルダ４２に登録した絵文字に類似する絵文字を特定し、同一のフォルダに登録して関連付ける手段の一例である。絵文字データの関連付けは、例えば、既述のように、文書作成機能等による文字変換機能等において、関連付けられた絵文字を同時に表示させる。この絵文字コレクションフォルダ４２には、例えば、絵文字データをダウンロードフォルダ４０から移動させて格納してもよいし、この絵文字データの記憶場所等の情報をショートカット登録してもよい。
【００４３】
類似画像比較部２８は、絵文字コレクションフォルダ４２に登録した絵文字と、ダウンロードした絵文字データとを比較する比較部の一例であって、例えば、属性情報として、絵文字の画像情報を利用して比較処理を行う。この画像情報は、絵文字の属性情報の一例であって、例えば、表示部に表示する絵文字の輪郭情報、使用される色情報や、絵文字データに設定された画像タグ等の属性情報等を含む。そして、比較処理では、例えば、対比する絵文字の輪郭の一致や設定された色の一致、色の配置状態等を対比するほか、対比する絵文字に設定された属性情報について一致するものがあるか否かを対比する。
【００４４】
入力制御部３０は、携帯電話機２０に対するキー入力操作等を制御する手段の一例であって、例えば、携帯電話機２０のキー操作に基づいて表示画面に表示された絵文字の選択操作等を実行する。
【００４５】
表示制御部３２は、表示部に対して文字、画像等を表示させる制御手段の一例である。そして、この表示制御部３２は、例えば、絵文字データの属性情報に含まれる表示データに基づいて絵文字を表示させる。
【００４６】
このような構成において、携帯電話機２０は、新たに取得した絵文字について、例えば、記憶部等に記憶された絵文字から選択された絵文字と、新たに取得した絵文字とを対比する。そして、例えば、属性情報が一致し、又は類似する絵文字について、同一のコレクションフォルダ４２に登録することで、同時に絵文字を表示させる等の関連付けることができる。
【００４７】
次に、携帯電話機のハードウェア構成について、 図４、図５を参照する。図４は、携帯電話機のハードウェア構成例を示す図、図５は、携帯電話機の外観構成例を示す図である。図４、図５に示す構成は一例であって、本発明は、これに限定されない。
【００４８】
この携帯電話機２０は、本開示の電子機器の一例である。そして、図４に示す携帯電話機２０は、例えば、プロセッサ５０、記憶部５２、無線部５４、操作部５６、Ｉ／Ｏ（Input/Output）５８、表示部６０を備えている。
【００４９】
プロセッサ５０は、記憶部５２に記憶されている制御プログラムを演算実行して、携帯電話機２０の動作制御や絵文字のダウンロード制御、絵文字の表示制御、絵文字の比較処理や登録処理等を演算実行する手段である。このプロセッサ５０は、例えば、ＣＰＵ（Central Processing Unit ）等である。
【００５０】
記憶部５２は、記憶手段の一例であって、ＲＯＭ（Read Only Memory）６４やＲＡＭ（Random Access Memory）６６を含む。
【００５１】
記憶部５２は、携帯電話機２０の動作制御を実行するプログラム等を記憶する手段であって、例えば、ＯＳ（Operating System）や、絵文字の類似比較処理や絵文字の登録処理、表示処理等を実行させるための制御プログラムを記憶している。また、記憶部５２は、更に絵文字データ等を記憶しており、例えば、既述のダウンロードフォルダ４０、絵文字コレクションフォルダ４２等が設定されている。
【００５２】
なお、この記憶部５２は、例えば、電気的に内容を書き換えることができるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等であってもよい。
【００５３】
また、上記の絵文字表示制御プログラム、絵文字類似比較処理プログラム、登録プログラム等は、記憶部５２に記憶されたものに限られない。例えば、磁気ディスク、フレキシブルディスク、光ディスク光磁気ディスク等のコンピュータで読出し可能な記録媒体に記憶されているものを利用してもよい。さらに、ネットワーク上にあるサーバやデータベース等からプログラム等を読み込んで利用してもよい。
【００５４】
ＲＡＭ６６は、プロセッサ５０が制御プログラムを実行するためのワークエリアでもある。また、ＲＡＭ６６は、プロセッサ５０が記憶部５２の各種プログラムを実行することで、例えば、絵文字管理部２４、絵文字コレクション部２６、類似画像比較部２８、入力制御部３０、表示制御部３２等の制御機能部として機能する。
【００５５】
無線部５４は、携帯電話機２０の通信機能部の一例であって、例えば、アンテナ６８を備え、外部のネットワーク環境として、例えば、インターネットやＬＡＮ（Local Area Network）に対して接続し、絵文字データの取得を行うことができる。その他、例えば、絵文字データの提供を行う機器との間で近距離無線通信である赤外線通信やブルートゥース（登録商標）等を利用してもよい。なお、この携帯電話機２０の通信機能は、無線通信に限られず、例えば、有線接続を利用してもよい。
【００５６】
操作部５６は、携帯電話機２０に対する入力操作を行う手段であって、例えば、キーボードやカーソルキー、決定キー等が含まれる。
【００５７】
Ｉ／Ｏ５８は、携帯電話機２０に対して接続する外部機器等のインターフェース（Inter Face）である。このＩ／Ｏ５８は、例えば、外部記憶装置等を接続するための手段として、ＵＳＢ（ Universal Serial Bus ）等のコネクタを備えてもよい。また、この携帯電話機２０は、外部記憶装置として例えばフラッシュメモリ等から絵文字データを取得してもよい。
【００５８】
表示部６０は、メール作成画面等を表示させる表示手段の一例であって、例えば、液晶表示装置（Liquid Crystal Display）で構成されている。また、この表示部６０は、例えば、操作部５６と一体に構成したタッチパネルであってもよい。
【００５９】
図５に示す携帯電話機２０は、例えば、第１の筐体部７０と第２の筐体部７２とをヒンジ部７４で開閉可能に連結している。第１の筐体部７０には、例えば、表示部６０を構成する液晶表示パネル７６を備えている。この表示パネル７６は、例えば、メール作成画面等を表示する。また第２の筐体部７２は、例えば、操作部５６を構成するキーボード７８やカーソルキー８０や決定キー８２等を備えている。
【００６０】
次に、絵文字の取得処理、及び絵文字の登録処理について図６、図７、図８、図９及び図１０を参照する。図６は、絵文字データを外部サーバからダウンロードする状態例を示す図、図７は、絵文字データをダウンロードする前の絵文字コレクションフォルダの表示例を示す図である。また、図８は、絵文字データをダウンロードした後の絵文字コレクションフォルダ及びダウンロードフォルダの表示例を示す図、図９は、絵文字コレクション表示テーブルの一例を示す図である。図１０は、同一の絵文字を異なる絵文字コレクションフォルダに登録した状態の一例を示す図である。図６〜図１０に示す構成は一例であって、これに限定されない。
【００６１】
（１）絵文字取得処理
【００６２】
図６に示す携帯電話機２０は、例えば、ネットワーク８６上のサーバ装置８８から絵文字データを取得することができる。このサーバ装置８８は、例えばネットワーク８６を介して絵文字を提供する絵文字コンテンツのダウンロードサーバである。サーバ装置８８からの絵文字の取得では、例えば、利用者がサーバ装置８８に記憶されている絵文字データを１つずつ選択して取得するのではなく、複数の絵文字がまとめられた絵文字データ９０を一括して取得する。即ち、ダウンロードする絵文字データ９０は、携帯電話機２０の利用者が把握していない絵文字が含まれている。
【００６３】
また、この絵文字の取得において、図７に示すように携帯電話機２０は、例えば、携帯電話機２０に記憶されている絵文字について利用者の選択操作、又は自動選択により、選択された絵文字毎に１又は複数の絵文字コレクションフォルダ４２を設定している。図７Ａに示すように、携帯電話機２０の表示部６０には、絵文字コレクションフォルダ４２を複数含む表示画面９２が表示される。この絵文字コレクションフォルダ４２には、例えば、記憶部５２に記憶された絵文字から利用者の選択操作等によって選択された「ハート」フォルダ９４、「赤」フォルダ９６、「ビックリ」フォルダ９８、「星」フォルダ１００等が含まれている。これらの絵文字コレクションフォルダ４２は、例えば、登録された絵文字データの付加情報に含まれている名称が設定されればよく、又は利用者による入力操作によって設定してもよい。これにより、例えば、利用者による利用頻度が高い絵文字や、気に入っている絵文字等について、他の絵文字と区別している。
【００６４】
図７Ｂに示す表示画面１０２には、例えば、絵文字コレクションの「ハート」フォルダ９４に登録された、「ハート」を示す絵文字１０４を表示している。
【００６５】
そして、このような絵文字コレクションフォルダ４２が設定された携帯電話機２０は、図６に示すように、サーバ装置８８から複数の絵文字データ９０を含む絵文字コレクションの一括ダウンロード処理を行う。このダウンロードした絵文字データ９０は、記憶部５２に記憶される。コンテンツダウンロード部２２は、例えば、取得した絵文字データ９０をダウンロードフォルダ４０（図３）に格納する。そして、表示部６０には、例えば、図８Ａに示すように、ダウンロードフォルダ４０の表示画面１０６が表示される。この表示画面１０６には、例えば、絵文字コレクションフォルダ４２とダウンロードフォルダ４０が同時に表示されているが、例えば、ダウンロードフォルダ４０のみを表示してもよい。
【００６６】
ダウンロードフォルダ４０は、例えば、図８Ｂに示すように、ダウンロードを実行した年月日毎に区分したフォルダ１０８が設定されている。ダウンロードフォルダ４０の区分は、年月日毎に限られず、例えば、時間情報やダウンロードを行ったサーバ装置名等毎に基づいて行ってもよい。
【００６７】
（２）絵文字登録処理
【００６８】
携帯電話機２０は、絵文字データ９０を取得すると、ダウンロードフォルダ４０に記憶された絵文字と絵文字コレクションフォルダ４２に登録された絵文字との比較処理を行い、類似すると判断した絵文字について、絵文字コレクションフォルダ４２に登録する。この比較処理では、例えば類似画像比較部２８において、属性情報である画像タグや画像情報等が一致するか否かの判断を行う。
【００６９】
この比較処理の結果により類似すると判断された絵文字の登録処理では、属性情報が一致し、又は類似する絵文字が登録された各絵文字コレクションフォルダ４２に登録する。この登録処理により、例えば、図８Ｃに示す「ハート」フォルダ９４の表示画面１０２には、絵文字コレクションとして利用者の選択操作等により選択された「ハート」を示す絵文字１０４とともに、この絵文字１０４に類似すると判断された絵文字１１０が登録される。そして、携帯電話機２０は、新たに登録した絵文字１１０と予め登録している絵文字１０４とを同一のフォルダに登録させることで関連付けている。この関連付けにより、携帯電話機２０は、例えば、新たに取得した絵文字１１０について、付加情報を個別に設定せずに、「ハート」を示す絵文字であると識別する。
【００７０】
なお、この登録処理は、登録する絵文字について、ダウンロードフォルダ４０から絵文字コレクションフォルダ４２に絵文字データを移動し、又は複写する。その他、携帯電話機２０は、例えば、ダウンロードフォルダ４０に記憶した絵文字データ９０のうち、絵文字コレクションフォルダ４２に登録する絵文字にリンクさせたショートカットデータのみを絵文字コレクションフォルダ４２に登録させてもよい。また、このような絵文字データのショーカット機能を実現するために、例えば図９に示す絵文字コレクション表示テーブル１２０を作成してもよい。
【００７１】
この絵文字コレクション表示テーブル１２０は、例えば、絵文字コレクションフォルダ４２に登録された絵文字データについて、関連付けを示した一覧表示例であって、例えば、絵文字コレクション部２６が作成すればよい。この絵文字コレクション表示テーブル１２０は、例えば、フォルダ番号１２２、フォルダ名１２４、カテゴリ名１２６や画像ファイル名１２８等が記録されている。カテゴリ名１２６は、例えば、比較処理を行う属性情報の一例を示している。また、画像ファイル名１２８は、各絵文字コレクションフォルダに登録されている絵文字の名称の一覧を表示している。この画像ファイル名１２８には、例えば、この絵文字を記憶している記憶先のアドレス情報等を記憶させてもよい。
【００７２】
絵文字コレクション表示テーブル１２０は、例えば、絵文字コレクション部２６（図３）が利用者の選択処理又は絵文字の使用頻度等の条件によって選択された絵文字コレクションフォルダに対し、そのフォルダ名や設定されている属性情報を抽出して作成する。絵文字コレクション表示テーブル１２０は、抽出した絵文字コレクションフォルダの各情報を一覧表示している。そして、新たに絵文字データを取得した場合、例えば、類似画像比較部２８から絵文字の比較結果とともに、絵文字コレクションフォルダ４２に登録された絵文字の属性情報、名称情報等を取得する。これにより、取得した絵文字の属性情報について、類似する絵文字コレクションフォルダ名の欄１２４に対応した画像ファイル名１２８に登録することで、絵文字コレクション表示テーブル１２０を作成すればよい。
【００７３】
この絵文字コレクション表示テーブル１２０を利用することで、例えば、携帯電話機２０は、絵文字コレクションに関連付けて登録された絵文字データを把握でき、例えば、類似すると判断された絵文字を同時に表示させることができる。また、各絵文字コレクションフォルダ４２にそれぞれ絵文字データを記憶させないので、例えば、１つの絵文字データについて、複数の絵文字コレクションフォルダに登録される場合でも記憶するデータの容量を減らすことができる。
【００７４】
また、この携帯電話機２０は、１つの絵文字について、複数の絵文字コレクションフォルダに登録することができる。図１０Ａに示すように、絵文字コレクションフォルダ４２には、例えば、「ハート」フォルダ９４、「赤」フォルダ９６・・・等、異なる属性情報毎に複数のフォルダが設定されている。例えば、特定の絵文字１０４に属性情報として「ハート」を示す画像タグと「赤」を示す画像タグが設定されている場合、この絵文字１０４は、図１０Ｂに示す絵文字コレクションフォルダ９４と、図１０Ｃに示す絵文字コレクションフォルダ９６に登録される。即ち、１つの絵文字に対して複数の識別情報や名称等が設定されている場合には、複数の絵文字コレクションフォルダに登録させて区分する。このように１つの絵文字について複数の観点から識別され、比較対象とすることで、一括ダウンロードした多数の絵文字データ９０について、絵文字コレクションに類似する絵文字を特定し易く、利便性を高められる。
【００７５】
次に、絵文字データの取得処理、この取得した絵文字データと絵文字コレクションとを属性情報により比較する処理、比較結果に基づいて取得した絵文字データを絵文字コレクションフォルダに登録する処理の具体的な手順について、以下に示す。
【００７６】
そこで、絵文字の取得について図１１を参照する。図１１は、絵文字の一括ダウンロード処理の一例を示すフローチャートである。図１１に示す処理内容、処理手順等は一例であって、本発明の処理は、これに限定されない。
【００７７】
この絵文字一括ダウンロード処理は、本開示の画像データの登録プログラムの一例であって、外部サーバ装置から絵文字を取得し、絵文字コレクションフォルダに登録する処理である。
【００７８】
携帯電話機２０は、例えば利用者の操作により絵文字のダウンロードの指定が有るか否かを判断する（ステップＳ１１）。このダウンロードの指定は、例えば、携帯電話機２０の利用者が、所定のＷｅｂサイト等において、絵文字データのダウンロード開始指示の操作を行ったことを示している。ダウンロードの指定があると（ステップＳ１１のＹＥＳ）、例えば、ネットワーク上にあるコンテンツサーバのアドレス入力や検索処理により、コンテンツサーバに対する接続を開始する（ステップＳ１２）。コンテンツサーバに接続すると、携帯電話機２０の表示部６０には、例えば、このサーバが提供するＷｅｂサイトにある絵文字ダウンロードページが表示される（ステップＳ１３）。
【００７９】
絵文字ダウンロードページにおいて、例えば、利用者の選択操作により絵文字一括ダウンロードの指示が行われると（ステップＳ１４のＹＥＳ）、携帯電話機２０は、コンテンツサーバに対して一括ダウンロード依頼を送信する（ステップＳ１５）。絵文字一括ダウンロードの指示がされない場合（ステップＳ１４のＮＯ）、絵文字の一括ダウンロード処理を終了する。
【００８０】
携帯電話機２０は、ダウンロードによりデータの受信が完了するまで待機し（ステップＳ１６のＮＯ）、絵文字データのダウンロード受信が完了した場合（ステップＳ１６のＹＥＳ）、例えば記憶部５２にダウンロードフォルダ４０を作成して（ステップＳ１７）、この絵文字を記憶させる（ステップＳ１８）。
【００８１】
ダウンロードフォルダ４０に記憶した絵文字について、絵文字コレクションフォルダ４２への登録処理を行う（ステップＳ１９）。この登録処理では、ダウンロードした絵文字と絵文字コレクションフォルダ４２に登録された絵文字との比較処理を行う。この比較では、絵文字の属性情報を比較する。この属性情報の比較は、例えば絵文字の画像類似度、又は絵文字データに含まれる画像タグの一致を判断する。そして、絵文字の画像タグが一致し、又は画像が類似する絵文字は、絵文字コレクションフォルダ４２に登録される。
【００８２】
絵文字コレクションフォルダ４２への登録を行うと、携帯電話機２０は、表示部６０に絵文字コレクションフォルダ４２の表示を行う（ステップＳ２０）。
【００８３】
（３−１）画像タグを利用した絵文字コレクションフォルダへの登録
【００８４】
次に、絵文字コレクションフォルダへの登録処理について図１２、図１３、図１４、図１５及び図１６を参照する。図１２は、画像タグを利用した絵文字コレクションフォルダへの登録処理の一例を示すフローチャート、図１３は、絵文字コレクションフォルダの「ハート」と比較処理を行った場合の状態例を示す図である。また、図１４は、絵文字コレクションフォルダの「星」と比較処理を行った場合の状態例を示す図、図１５は、画像ファイルの一例を示す図、図１６は、絵文字画像データの構成例を示す図である。図１２〜図１６に示す構成、処理内容、処理手順等は一例であって、本発明は、これに限定されない。
【００８５】
図１２に示す絵文字コレクションフォルダへの登録処理では、絵文字データに含まれる画像タグと絵文字コレクションフォルダに登録されている絵文字の画像タグとを比較し、一致する画像タグがある絵文字について絵文字コレクションフォルダに登録する。
【００８６】
まず、絵文字コレクションフォルダに登録されている絵文字の画像タグを抽出する（ステップＳ３１）。絵文字コレクションフォルダに登録された「ハート」を示す絵文字１０４には、例えば図１３に示すように、画像タグ１４０が設定されている。この画像タグ１４０は、属性情報の一例であって、この絵文字１０４を識別する情報が含まれており、例えば、「赤」、「ハート」、「愛」、「ラブ」等が設定されている。
【００８７】
絵文字の比較として、ダウンロードフォルダ４０に記憶された絵文字の画像タグを抽出した後、絵文字コレクションフォルダ４２に登録された絵文字に対し、ダウンロードフォルダ４０の絵文字の画像タグと同一の画像タグを含む絵文字を検索する（ステップＳ３２）。絵文字を示す画像ファイルは、例えば、図１５に示すように、付加情報である画像タグ１３２、画像データ１５４で構成されている。この画像データ１５４は、図１６Ａに示すように、所定の文字列で構成されている。そして、絵文字の属性情報は、例えば、「ＥＸＩＦヘッダ」１５６、「識別タグ」１５８、「入力フォーマット」１６０、「ｕｎｉｃｏｄｅ」１６２等で構成されており、この文字列を解析することで、図１６Ｂの画像タグ１３２の抽出が行える。
【００８８】
絵文字の比較処理では、図１３に示すように、ダウンロードによって取得した絵文字１３０の画像タグ１３２と、絵文字コレクションフォルダ４２に登録された絵文字１０４の画像タグ１４０とを比較し、同一画像タグがあるか否かを判断する（ステップＳ３３）。そして、同一の画像タグがある場合（ステップＳ３３のＹＥＳ）、絵文字１３０は、比較対象であった絵文字１０４が登録されている絵文字コレクションフォルダに登録する（ステップＳ３４）。即ち、この絵文字１３０には、画像タグ１３２に「ハート」１３４が登録されている。また、絵文字コレクションの絵文字１０４の画像タグ１４０にも「ハート」１４２が登録されている。従って、同一の画像タグを含むことから、例えば、携帯電話機２０の絵文字コレクション部２６は、絵文字１３０と絵文字１０４とは類似すると判断して、登録する。
【００８９】
また、「星」を示す絵文字１５０と比較すると、絵文字１５０の画像タグ１５２には、絵文字１３０の画像タグ１３２と一致する情報が含まれておらず、例えば、絵文字コレクション部２６は、同一タグはないと判断し（ステップＳ３３のＮＯ）、登録を行わない。
【００９０】
一括ダウンロードにより取得した全ての絵文字画像について比較処理を行えば（ステップＳ３５のＹＥＳ）、画像タグを利用した絵文字コレクションフォルダへの登録処理を終了する。
【００９１】
（３−２）画像の類似度を利用した絵文字コレクションフォルダへの登録
【００９２】
次に、絵文字コレクションフォルダへの登録処理について、図１７、図１８、図１９、図２０及び図２１を参照する。図１７は、画像の類似度を利用した絵文字コレクションフォルダへの登録処理の一例を示すフローチャート、図１８は、絵文字コレクションフォルダに登録された絵文字の画像情報抽出処理の一例を示すフローチャートである。また、図１９は、絵文字の画像類似度比較による登録処理の構成例を示す図、図２０は、絵文字の画像類似度による比較処理の一例を示すフローチャート、図２１は、画像の特徴情報の対比例を示す図である。
【００９３】
この登録処理では、絵文字コレクションフォルダに登録した絵文字と、取得した絵文字との画像比較を行い、この比較により判断した類似度に基づいて、絵文字コレクションフォルダへの登録を判断する。
【００９４】
そこで、選択した絵文字コレクションの画像情報を抽出する（ステップＳ４１）。携帯電話機２０の類似画像比較部２８は、絵文字を画像として識別するために画像情報を抽出する。
【００９５】
選択した絵文字画像とダウンロードした絵文字画像の類似度を判断する（ステップＳ４２）。この類似度判断では、例えば、類似画像比較部２８は、ダウンロードした絵文字についても画像情報の抽出処理を行えばよい。そして、抽出された絵文字の画像情報を比較し、類似すると判断されると（ステップＳ４３のＹＥＳ）、絵文字コレクション部２６は、ダウンロードした絵文字を絵文字コレクションフォルダに登録する（ステップＳ４４）。また、比較した結果、類似しないと判断された場合（ステップＳ４３のＮＯ）、絵文字コレクションフォルダへの登録はしない。そして、この比較処理は、一括ダウンロードした全ての絵文字の画像に対して繰り返し行う（ステップＳ４５）。
【００９６】
絵文字コレクションフォルダに登録されている絵文字の画像情報抽出では、図１８に示すように、例えば、絵文字の輪郭情報を抽出する（ステップＳ５１）とともに、色情報を抽出する（ステップＳ５２）。色情報の抽出では、例えば、画像全体で使用されている色を示すＲＧＢ情報（Red 、Green 、Blue）について使用率を解析し、最も使用率の高い上位５種類の色を抽出する。その他、例えば、配色パターン情報等を利用してもよい。
【００９７】
なお、ステップＳ５１、Ｓ５２の抽出処理は、この手順に限られない。また、この色情報の抽出は、例えば、携帯電話機２０に記憶されている絵文字について、絵文字コレクションフォルダを作成する時や、新たに絵文字の取得を行うときに実行すればよい。抽出された色情報は、例えば、その使用率の順位に応じたテーブルを作成し、記憶部５２に記憶すればよい。
【００９８】
次に、絵文字の画像類似度の判定処理（ステップＳ４２）は、例えば、図１９に示す類似画像比較エンジン１８０で行う。この類似画像比較エンジン１８０は、例えば、コンピュータによる画像比較プログラムにより実現された類似画像比較部２８で構成される。そして、類似画像比較エンジン１８０は、例えば、絵文字コレクションフォルダの比較元となる絵文字１０４と比較対象である取得した絵文字１３０について、輪郭情報や色情報の一方又は両方を対比する。そして、この対比により、画像類似度が所定値として、例えば８０％以上である場合には、比較対象の絵文字１３０を絵文字１０４の絵文字コレクションフォルダ４２に登録する。また、所定値未満の場合には、絵文字コレクションフォルダには登録しない。
【００９９】
この類似画像比較エンジン１８０の画像比較処理は、例えば、図２０に示すように、比較対象であるダウンロードした絵文字画像の輪郭情報を抽出し（ステップＳ６１）、輪郭情報の比較を行う（ステップＳ６２）。輪郭情報の比較処理では、例えば、図２１に示すように、比較元の絵文字１０４の輪郭画像１８２と比較対象の絵文字１３０の輪郭画像１８４を作成する。この輪郭画像１８２、１８４は、例えば、所定の間隔で区分しておき、これらの区分毎に、輪郭線の長さ、線の向き、又は絵文字画像の占める面積等を解析して画像比較を行ってもよい。そして、輪郭情報が所定値として、例えば８０％以上一致している場合（ステップＳ６２のＹＥＳ）、色情報の比較に移行する。
【０１００】
ダウンロードした絵文字画像の色情報を抽出し（ステップＳ６３）、例えば、色の使用量の多い順に上位５種類の色使用率の傾向を比較する（ステップＳ６４）。この比較判定では、例えば、最も使用されている色の傾向が一致しているか、また、使用されている色の使用頻度や使用傾向等がどうかについて、それぞれの判断に重み付けして設定すればよい。そして、比較により色の使用率の傾向が所定値として、例えば８０％以上一致している場合（ステップＳ６４のＹＥＳ）、ダウンロードした絵文字は、絵文字コレクションフォルダに登録されている絵文字と類似していると判定される（ステップＳ６５）。
【０１０１】
輪郭情報の比較において、所定値以上一致していない場合（ステップＳ６２のＮＯ）は、色情報の比較に移行せず、ダウンロードした絵文字は、絵文字コレクションフォルダに登録されている絵文字に非類似であると判定される（ステップＳ６６）。また、色情報が所定値以上一致していない場合（ステップＳ６４のＮＯ）も、非類似であると判定される（ステップＳ６６）。
【０１０２】
なお、この画像比較処理では、輪郭情報を比較した後に色情報を比較しているが、これに限られず、先に色情報を比較してもよい。また、輪郭情報の比較結果に応じて色情報の比較を行うか否かを決定しているが、例えば、輪郭情報と色情報とを独立して判断し、その判断結果を併せて絵文字画像が類似しているか否かを判断してもよい。
【０１０３】
図１１に示す絵文字コレクションフォルダへの登録処理（ステップＳ１９）は、例えば、少なくとも画像タグの一致比較処理（図１２）又は画像類似度の比較処理（図１７）のいずれか、又は両方を実行すればよい。画像タグの一致比較処理と画像類似度の比較処理は、それぞれ独立して実行すればよく、実行する順序は限定されない。
【０１０４】
また、絵文字の比較処理において、新たに取得した絵文字に対する比較対象が１つの場合の例を示したが、これに限られない。例えば、記憶部に記憶されている複数の絵文字について、１つの絵文字コレクションフォルダに登録されている場合、取得した絵文字は、登録されている複数の絵文字と比較してもよい。
【０１０５】
斯かる構成によれば、新たに取得した絵文字について、予め識別された絵文字に類似する場合には、その絵文字に関連付けて登録することで、個別に識別情報の入力や分類操作等を省略でき、絵文字データの取得操作性を向上できる。属性情報を利用した類否判定の結果により、自動的に分類処理して登録するので、取得した絵文字データの識別性の向上を図れる。また、画像タグの比較処理と画像類似度の比較処理とを行えば、絵文字コレクションフォルダに登録された絵文字の画像タグが一致しなくても、画像類似度が高ければ絵文字が登録でき、特定可能な絵文字を増やせ、利便性を高められる。
【０１０６】
〔第１及び第２の実施の形態の利点〕
【０１０７】
(1) この携帯電話機は、例えば、「絵文字コレクション一括ダウンロード」機能を備えており、インターネットから携帯電話機に絵文字をダウンロードする前に、予め記憶されている絵文字を選択し、コレクションフォルダに登録する。そして、ダウンロードされた絵文字とコレクションフォルダに登録されている絵文字との属性情報（画像タグ、画像類似度）を判定し、類似する絵文字だけをコレクションフォルダに記録する。これによりダウンロードした大量の絵文字を識別することが可能となる。
【０１０８】
(2) 絵文字ダウンロードページから絵文字を取得してメールに利用することが一般的に行われているが、絵文字のダウンロードは、一つ一つの絵文字を指定するものに限られず、複数の絵文字をセットで一括ダウンロードするものがある。ダウンロードした絵文字には、識別するための名前情報等が付けられていないことが多く、利用者が１つ１つの設定を行う必要があり、設定操作に過大な負荷となっていたが、本発明によれば、ダウンロードした絵文字の識別処理が容易に行うことができる。
【０１０９】
(3) 絵文字コレクションフォルダには、例えば、利用者が好んで使っている絵文字が登録されている。そして、ダウンロードサーバから絵文字を一括ダウンロードした場合、ダウンロードした絵文字のうち、類似度の高い（たとえば、８０％以上）絵文字を絵文字コレクションフォルダに登録する。
【０１１０】
(4) 絵文字コレクションフォルダに登録されている絵文字の特徴点と、新たに取得した絵文字の比較を行い、類似する絵文字を絵文字コレクションに記録することで、利用者の嗜好に合わせた絵文字コレクションを実現することが可能となる。
【０１１１】
(5) 絵文字の比較手法として、絵文字画像の属性情報（たとえばＥＸＩＦ）に記録されている画像タグを画像から抽出する。そして、絵文字コレクションに記録されている絵文字の画像タグと同一の画像タグが付加されている絵文字を抽出して登録する。
【０１１２】
(6) 絵文字の他の比較手法として、絵文字画像の画像認識エンジンを使用し、絵文字コレクションに登録されている絵文字の画像と類似度が所定以上（たとえば、８０％以上）の絵文字を抽出して登録する。
【０１１３】
(7)   同一画像を複数の「絵文字コレクション」で表示させて利用する場合、絵文字コレクションフォルダ４２には、例えば、この絵文字を読み出すことができるファイル情報等を登録してもよい。そして、絵文字データが記憶されている格納メモリへのリンクをとるようにしてもよい。
【０１１４】
(8) 取得した絵文字とコレクションフォルダに登録された絵文字から選択された絵文字とを属性比較し、一致又は類似する場合には、コレクションフォルダに登録する。これにより取得した絵文字を選択された絵文字に関連付けて登録することができる。
【０１１５】
〔第３の実施の形態〕
【０１１６】
次に、第３の実施の形態について、図２２、図２３を参照する。図２２は、第３の実施の形態に係る携帯電話機の機能構成例を示す図、図２３は、絵文字コレクションフォルダの自動作成の構成例を示す図である。図２２、図２３に示す構成は一例であって、本発明は、これに限定されない。
【０１１７】
この携帯電話機２００は、本開示の電子機器の一例であって、予め記憶されている絵文字から絵文字コレクションフォルダに登録する絵文字の選択処理を自動化した構成である。この絵文字コレクションに選択された絵文字は、既述のように、ダウンロード等によって新たに取得した絵文字を絵文字コレクションフォルダに登録するか否かを決める比較対象となるものであり、新たに取得した絵文字の特定に大きな影響を与える。
【０１１８】
そこで、この携帯電話機２００では、利用者による絵文字の使用頻度を基準に絵文字コレクションフォルダ２１６に登録する絵文字を抽出しており、例えば、絵文字入力回数データベース２０２を備えている。
【０１１９】
絵文字入力回数データベース２０２は、絵文字の入力回数を計数する計数手段であるとともに、絵文字の入力回数に応じて、絵文字の抽出を行う抽出手段の一例である。この絵文字入力回数データベース２０２は、入力制御部３０に接続され、例えば、メール作成等において使用された絵文字を認識し、その使用回数等の情報を記憶する。そして、例えば、使用回数が所定値以上になった絵文字について、絵文字入力回数データベース２０２が抽出し、絵文字コレクション部２６に送る。絵文字コレクション部２６は、抽出された絵文字について絵文字コレクションフォルダ２１６を作成し、登録する。
【０１２０】
図２３に示す携帯電話機２００では、例えば、メール作成画面２０４に対して文字や記号、数字等とともに絵文字２０６、２０８が入力される。入力された文字が絵文字か否かは、例えば、携帯電話機２００の操作入力を監視し制御する入力制御部３０（図２２）が判断する。この入力制御部３０は、例えば、メール作成画面２０４の表示制御を行う表示制御部３２や、その他、例えば図示しない辞書変換機能等と制御情報の送受信を行っており、これにより絵文字２０６、２０８の入力を把握する。
【０１２１】
入力制御部３０は、絵文字２０６、２０８が入力された場合、例えば、その識別情報等を絵文字入力回数データベース２０２に通知する。絵文字入力回数データベース２０２は、例えば、絵文字入力履歴テーブル２１０を備えており、通知された絵文字について入力回数をカウントしている。この絵文字入力履歴テーブルは、例えば、図２３に示すように、絵文字欄２１２と入力回数欄２１４が設定されており、使用された絵文字２０６、２０８について、その入力回数をカウントアップしていく。この絵文字入力履歴テーブル２１０に設定される絵文字は、例えば、記憶部に記憶され、絵文字管理部２４で管理されている絵文字データの全てを一覧で管理している。そして、新たに絵文字がダウンロードされた場合には、例えば、新たに絵文字欄２１２に絵文字を追加すればよい。
【０１２２】
そして、絵文字入力回数データベース２０２は、絵文字入力履歴テーブル２１０を参照し、例えば、使用回数の多い１又は複数の絵文字を抽出し、絵文字コレクション部２６に通知する。絵文字コレクション部２６では、抽出された絵文字２０６、２０８、２０９について、絵文字コレクションフォルダ２１６に登録する。
【０１２３】
次に、絵文字の使用回数に基づく絵文字の抽出について、図２４、図２５を参照する。図２４は、絵文字入力監視処理の一例を示すフローチャート、図２５は、絵文字コレクションフォルダの自動生成処理の一例を示すフローチャートである。図２４、図２５に示す処理内容、処理手順等は一例であって、本発明は、これに限定されない。
【０１２４】
この絵文字の抽出処理は、本開示の画像データの登録プログラムの一例であって、絵文字入力監視処理及び絵文字コレクションフォルダの自動生成処理を含む。
【０１２５】
図２４に示す絵文字入力監視では、携帯電話機２００に対して入力された文字が絵文字か否かを判断する（ステップＳ７１）。この絵文字か否かの判断は、例えば、辞書変換機能等を利用して判断すればよい。そして、入力された文字が絵文字である場合（ステップＳ７１のＹＥＳ）、文字入力回数をカウントアップする（ステップＳ７２）。
【０１２６】
そして、図２５に示す絵文字コレクションフォルダの自動生成では、カウントした絵文字の回数情報を取得する（ステップＳ８１）。そして、例えば、入力回数が多い順に上位のｎ個の絵文字を抽出する（ステップＳ８２）。
【０１２７】
抽出した絵文字について、対応する絵文字、及び例えば画像タグ等の絵文字情報を抽出し（ステップＳ８３）、絵文字コレクションフォルダを生成する（ステップＳ８４）。このとき、例えば、絵文字コレクションフォルダについて、日付や番号を追加し、絵文字コレクションの比較対象にしてもよい。
【０１２８】
そして、ステップＳ８３で抽出した絵文字及び絵文字情報を生成した絵文字コレクションフォルダに登録する（ステップＳ８５）。
【０１２９】
斯かる構成によれば、例えば、携帯電話機の利用者の使用傾向に応じて絵文字コレクションの設定が行うことができる。そして、この絵文字コレクションに基づいて新たに取得した絵文字が識別され、絵文字コレクションフォルダに登録されるので、使用頻度の高い絵文字の特定が容易となる。そして、新たに取得した絵文字のうち、よく使用される絵文字に関連付けられた絵文字は、例えば文字変換機能等において表示される可能性が高くなるので、絵文字の利用性が向上する。
【０１３０】
〔第４の実施の形態〕
【０１３１】
次に、第４の実施の形態について、図２７を参照する。図２７は、第４の実施の形態に係る携帯電話機の機能構成例を示す図である。図２７に示す構成は一例であって、これに限定されない。図２７において、図３と同一構成には、同一符号を付してあり、その説明を省略する。
【０１３２】
携帯電話機３００は、本発明の電子機器の一例であって、絵文字の画像に設定されている配色情報を属性情報として利用し、この配色類似度に基づいて、絵文字コレクションフォルダへの登録を行っている。この携帯電話機３００には、例えば、絵文字色分別部３０２を備えており、コンテンツダウンロード部２２で取得した絵文字データを配色情報に基づいて類似画像比較部２８で比較処理を行う。そして、登録されている絵文字と同系色の絵文字を抽出して絵文字コレクションフォルダ４２に登録する。
【０１３３】
絵文字色分別部３０２は、絵文字データに設定された色を分別する手段の一例であって、分別した配色情報として、例えば絵文字の画像に含まれるＲＧＢ（Red Green Blue）度数の算出を行う。このＲＧＢ度数は、絵文字データに設定された配色情報であって、絵文字の画像全体に付けられた色について、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）の３原色の割合を示す値である。このＲＧＢ度数を分別することにより、絵文字に設定されている色の属性や系統を判別することができる。配色の分別は、例えば、新たに取得した絵文字データや絵文字コレクションとして設定された絵文字データについて実行すればよい。
【０１３４】
なお、絵文字コレクションに設定された絵文字について予め配色情報が設定されている場合には、その設定情報を利用してもよく、又は絵文字コレクションの登録処理を行うときに新たに配色の分別を行ってもよい。
【０１３５】
類似画像比較部２８では、絵文字色分別部３０２で分別した絵文字データの配色情報を利用して、新たに取得した絵文字データと、登録された絵文字データとの属性情報の比較処理を行う。そして、新たに取得した絵文字データの配色情報が、登録された絵文字データの配色情報に一致し、又は類似した場合には、絵文字コレクションフォルダ４２に登録する。これにより、絵文字コレクションフォルダ４２には、同系色の絵文字を抽出して登録することができる。
【０１３６】
次に、絵文字の取得処理及び登録処理について、図２８及び図２９を参照する。図２８は、絵文字データを取得する前の絵文字コレクションフォルダの表示例を示す図、図２９は、絵文字データを取得した後の絵文字コレクションフォルダの表示例を示す図である。図２８、図２９に示す構成は一例であって、本発明は、これに限定されない。
【０１３７】
携帯電話機３００には、例えば、記憶部等に記憶されている絵文字データに対して、利用者の選択操作や既述のような使用頻度等に基づき、絵文字コレクションとして予め１又は複数の絵文字が選択されている。図２８Ａに示す表示画面３０４には、絵文字コレクションフォルダ４２内に色分別フォルダが設定されており、選択された絵文字データが登録されている。この色分別フォルダは、例えば、絵文字の画像の配色情報に基づいて設定されており、例えば、色分別フォルダ（オレンジ）３０６、色分別フォルダ（ブルー）３０８、色分別フォルダ（レッド）３１０等が設定されている。
【０１３８】
各フォルダ３０６、３０８、３１０は、例えば、選択された絵文字データに予め設定された配色情報を利用して分別してもよく、又は選択された絵文字データについて、絵文字色分別部３０２において配色情報を分別してもよい。図２８Ｂに示す表示画面３１２は、例えば色分別フォルダ（オレンジ）３０６を表示している。このフォルダには、例えば、オレンジの配色情報を持った絵文字３１４を登録する。
【０１３９】
絵文字データを取得すると、図２９Ａに示す表示画面３１６には、ダウンロードフォルダ４０が生成される。このダウンロードフォルダ４０には、例えば、ダウンロードを実行した日付等毎に分けられたダウンロードデータ３１８が設定されている。図２９Ｂに示すダウンロードデータ３１８には、１又は複数の絵文字データが登録されており、これらの絵文字データのうち、例えばオレンジ色を多く含む絵文字データ３２０が登録されている。
【０１４０】
そして、図２９Ｃに示す色分別フォルダ（オレンジ）３０６の表示画面３２４には、選択登録した絵文字データ３１４とともに、ダウンロードした絵文字データ３２０から抽出された絵文字データ３２２が表示される。この絵文字データ３２２は、既述のように、配色情報に基づいた比較処理により一致又は類似していると判断され、絵文字データ３１４と同一フォルダに登録させて関連付けしている。このように色分別フォルダ（オレンジ）３０６に登録する絵文字は、絵文字データ３１４と絵文字データ３２２とが配色情報に関して類似するものであって、例えば、形状や文字構成等は比較対象となっていない。
【０１４１】
（３−３）配色情報を利用した絵文字コレクションフォルダへの登録
【０１４２】
次に、絵文字登録処理について、図３０を参照する。図３０は、絵文字コレクションフォルダへの登録処理の一例を示すフローチャートである。図３０に示す処理手順、処理内容は一例であって、これに限定されない。
【０１４３】
この絵文字コレクションフォルダへの登録処理は、本開示の画像データの登録プログラムの一例であって、絵文字データから配色情報を抽出し、この配色情報が一致し、 又は類似する絵文字を絵文字コレクションフォルダに登録する。この登録処理は、例えば、コンピュータを利用して行う処理であり、記憶部５２（図４）には、絵文字登録処理プログラムや、後述する配色情報としてＲＧＢ度数の算出処理プログラム、ＲＧＢ度数の判定処理プログラム等が記憶されている。
【０１４４】
携帯電話機３００に対する絵文字データの取得処理は、例えば、図１１に示す絵文字一括ダウンロード処理を行えばよい。このとき、携帯電話機３００は、ダウンロードフォルダ４０を生成すればよい。
【０１４５】
そこで、利用者の選択操作や絵文字の利用頻度等に基づく自動選択処理により、電子機器に登録されている絵文字データを選択して絵文字コレクションを設定する。この絵文字コレクションに設定された絵文字データから画像情報を抽出する（ステップＳ９１）。この携帯電話機３００の類似画像比較部２８は、絵文字を画像として識別するために画像情報を抽出する。
【０１４６】
抽出した絵文字の画像情報について、配色情報であるＲＧＢ度数の算出処理を行う（ステップＳ９２）。このとき絵文字色分別部３０２は、選択された絵文字コレクション画像のＲＧＢ率を分析して算出し、このＲＧＢ率の値を判定基準値として設定する。また、絵文字色分別部３０２は、新たに取得した絵文字データについても画像のＲＧＢ度数を算出する。
【０１４７】
そして、類似画像比較部２８は、選択された絵文字コレクションの判定基準値に対して、例えば、一定のＲＧＢ度数の範囲を加えたＲＧＢ判定閾値を設定し、ダウンロードした絵文字画像のＲＧＢ度数を判定する（ステップＳ９３）。この判定処理では、例えば、算出したＲＧＢ度数がＲＧＢ判定閾値内にあるか否かで判断する。
【０１４８】
判定によりダウンロードした絵文字画像のＲＧＢ度数がＲＧＢ判定閾値内にある場合（ステップＳ９４のＹＥＳ）、この絵文字データを絵文字コレクションフォルダに登録する（ステップＳ９５）。このとき、１つの絵文字データについて、複数の絵文字のＲＧＢ判定閾値に含まれる場合には、例えば、閾値内に含まれる全ての絵文字コレクションフォルダ４２に登録してもよい。または、ＲＧＢ度数とＲＧＢ判定基準値とが最も近い絵文字コレクションフォルダ４２に登録してもよい。
【０１４９】
これにより、取得した絵文字データに対し、利用者が好む配色の絵文字を分別することができ、例えば、多数の絵文字データを取得した場合に、絵文字毎に識別情報等を設定する必要がなく、絵文字の選択性を上げることができる。
【０１５０】
また、絵文字データのＲＧＢ度数が閾値内にない場合には（ステップＳ９４のＮＯ）、次の絵文字データの判定処理に移行する。そして、全ての絵文字画像について判定処理が終了すると（ステップＳ９６のＹＥＳ）、登録処理を終了する。
【０１５１】
次に、配色情報算出処理について図３１、図３２、図３３、図３４、図３５、図３６及び図３７を参照する。図３１は、配色情報算出処理の一例を示すフローチャート、図３２は、ＲＧＢ強度記録処理の一例を示す図、図３３は、ＲＧＢ強度の抽出範囲の設定処理の一例を示すフローチャート、図３４は、配色情報の抽出処理の一例を示す図である。また、図３５は、背景フィルタ処理の一例を示すフローチャート、図３６は、Ｒ強度の加算処理の一例を示す図、図３７は、ＲＧＢ強度加算処理の一例を示すフローチャートである。図３１〜図３７に示す構成、処理内容や処理手順等は一例であって、本発明は、これに限定されない。
【０１５２】
ＲＧＢ度数の算出処理は、図３１に示すように、例えば、ＲＧＢ度数の算出処理の準備処理として、絵文字データの画像サイズの取得（ステップＳ１０１）やＲＧＢ強度記録バッファを確保する（ステップＳ１０２）。このＲＧＢ強度は、絵文字画像の単位面積に含まれる３原色の強さの割合を示す値であって、例えば、０〜２５５の値で評価する。
【０１５３】
そして、例えば、絵文字画像を所定の単位面積毎に解析し、ＲＧＢ強度を記録し（ステップＳ１０３）、絵文字画像について背景フィルタ処理（ステップＳ１０４）を施して絵文字データにおいて、画像部分のみのＲＧＢ強度を抽出する。算出した各ＲＧＢ強度を加算してＲＧＢ度数を算出する（ステップＳ１０５）。これらの配色情報の抽出処理は、絵文字色分別部３０２が実行する。
【０１５４】
絵文字画像のＲＧＢ強度記録処理では、図３２に示すように、例えば、絵文字画像を所定の単位面積毎に区分けしたサンプリングエリアを設定し、各サンプリングエリアについて色の強度を解析する。絵文字の配色情報の抽出では、例えば、図３３Ａに示す絵文字画像３３０について、横方向にサンプリングエリアｆ1 〜ｆn を設定する。ここで、ｎは、サンプリングエリアを示す変数であって、例えば、自然数である。また、サンプリングエリアｆi は、サンプリングエリアｆ1 〜ｆn の内の所定の１つを選択したものである。
【０１５５】
ＲＧＢ強度記録では、各サンプリングエリアｆ1 〜ｆn 毎に、Ｒ強度、Ｇ強度、Ｂ強度を各バッファに記録する（ステップＳ１１１〜ステップＳ１１３）。そして、全てのエリアについて強度を記録するまで繰り返し行う（ステップＳ１１４）。
【０１５６】
なお、ステップＳ１１１〜ステップＳ１１３に示す処理は、この手順に限られない。また、携帯電話機３００に記憶されている判定基準となる絵文字データのＲＧＢ強度記録処理は、例えば、絵文字コレクレションフォルダ４２に登録する際に実行してもよい。
【０１５７】
絵文字画像の背景フィルタ処理（ステップＳ１０４）は、例えば、図３３に示すように、絵文字画像３３０から絵文字部分３３２を抽出する処理であって、ＲＧＢ強度の抽出範囲を設定する。ここでは、絵文字画像３３０として、例えば、背景が白色、絵文字部分３３２が赤色の「ハート」の絵文字データを示している。絵文字コレクションの比較処理では、既述のように、絵文字の配色情報を属性情報として利用しており、画像が文字情報として意味を表す絵文字部分３３２に付された配色情報のみを抽出する。図３３では、例えば、サンプリングエリアｆi についてＲＧＢ強度の抽出範囲を設定する場合を示している。
【０１５８】
図３３に示すサンプリングエリアのＲＧＢ強度は、例えば、絵文字画像３３０の大きさに合わせて横方向にｘ軸を設定している。また、縦方向には、色強度を示すｙ軸が設定されており、既述のように各色強度について、例えば、０〜２５５の範囲で示している。このサンプルエリアｆi では、例えば、Ｒ強度が全ての範囲で２５５となり、Ｇ強度及びＢ強度がｘ軸方向にＸ1 〜Ｘ2 の間で０であり、その他の範囲は２５５となっている。即ち、サンプリングエリアｆi において、絵文字部分３３２の範囲がＸ1 〜Ｘ2 であることから、この範囲内では、Ｇ強度及びＢ強度が０の値となっている。また、その他の範囲では、絵文字画像の白色の背景部分であり、３原色が全て２５５の値となっている。
【０１５９】
背景フィルタ処理では、このＲ強度、Ｇ強度、Ｂ強度の値について論理積をとり、例えば、各強度が２５５となる範囲を抽出する。これにより、図３３Ｂに示すサンプリングエリアｆi における白色部分となる範囲を抽出することができ、この抽出した範囲を反転することで、絵文字部分３３２の色抽出範囲３３４を設定できる。
【０１６０】
なお、上記の背景フィルタ処理では、白色の背景部分を抽出するために、閾値として、各色強度の値が２５５の部分について論理積をとっているが、これに限られない、例えば、白色以外の色を背景として抽出するために、閾値とする色強度の値を変更してもよい。
【０１６１】
そして、記録した各色強度に対して、設定した色抽出範囲３３４に基づいて配色情報の抽出処理を行う。図３４に示す配色情報の抽出では、例えば、色抽出範囲３３４で示された座標として、ｘ軸方向にＸ1 〜Ｘ2 の間であって、ｙ軸方向に２５５が設定されている。図３４Ａに示す記録した各色強度の値に対し、図３４Ｂの色抽出範囲３０４の座標情報と一致する部分を抽出すると、図３４Ｃに示す配色情報を抽出することができる。
【０１６２】
この背景フィルタ処理では、図３５に示すように、ＲＧＢ強度を２値化し（ステップＳ１２１）、Ｒ強度、Ｇ強度、Ｂ強度の値について論理計算する（ステップＳ１２２）。ＲＧＢ強度の２値化処理では、抽出したい背景色に基づいて閾値を設定し、記録したＲ、Ｇ、Ｂの強度値の各値について閾値以上の部分を、例えば「１」とし、閾値以下の部分を「０」とする。そして、２値化した各強度について、「１」となる部分の論理積をとればよい。
【０１６３】
論理積の計算結果について反転処理を行って色抽出範囲３３４を決定する（ステップＳ１２３）。そして、この色抽出範囲３３４を利用してフィルタリングすることで、記録した各強度値から絵文字部分３３２の部分を抽出する（ステップＳ１２４）。
【０１６４】
このＲＧＢ強度のフィルタリング処理を絵文字画像３３０のサンプリングエリアｆ1 〜ｆn についてそれぞれ実行し、この抽出結果を例えば、ＲＧＢ強度記録バッファに記録する。
【０１６５】
各サンプリングエリアから抽出した絵文字部分３３２のＲＧＢ強度値に基づいて、ＲＧＢ度数を算出する。この図３６Ａに示すＲ度数の算出では、記録した各サンプリングエリアのＲ強度値について、例えば、ｘ軸に示す絵文字部分３３２の範囲Ｘ1 とＸ2 、Ｘ3 とＸ4 、Ｘ5 とＸ6 、・・・の値を横の長さとし、ｙ軸に示す強度値を縦の長さとしてそれぞれ面積を算出する。そして、図３６Ｂに示すように、各サンプリングエリアｆi 、ｆp 、ｆq ・・・の面積の加算値をＲ度数とする。同様に、記録したＧ強度及びＢ強度についても加算処理を行いＧ度数、Ｂ度数を求めて記録する。なお、図３６Ｂに示すｆp 、ｆq は、サンプリングエリアｆ1 〜ｆn の内の所定の１つを選択したものである。
【０１６６】
このＲＧＢ強度加算処理（ステップＳ１０５）では、図３７に示すように、Ｒ強度の値を全て加算する（ステップＳ１３１）。同様に、Ｇ強度及びＢ強度の値を全て加算する（ステップＳ１３２、ステップＳ１３３）。
【０１６７】
なお、図３３に示す絵文字画像３３０では、赤色と白色の場合であり、絵文字部分３３２のＸ1 〜Ｘ2 の範囲でＲＧＢ強度値が２５５の一定値となるが、例えば、背景フィルタ処理を行うように設定した背景の色に応じて、算出されるＲＧＢ強度値（ｙ軸）の値は異なる。また、上記の例では、サンプリングエリア内における絵文字の色が一定であったが、同じサンプリングエリア内において絵文字の色が異なる場合には、抽出される強度値のグラフの高さ（ｙ軸の値）が一定にならない。また、例えば、サンプリングエリア毎に絵文字の色が変化した場合、図３６に示す各サンプリングエリアｆi 、ｆp 、ｆq ・・・において、それぞれＲ強度の値が異なり、算出されるＲ度数のグラフの高さ（ｙ軸の値）が一定とならない。
【０１６８】
また、上記の例では、サンプリングエリアｆ1 〜ｆn を横方向に一列に設定したがこれに限られず、例えば、縦方向及び横方向で区切った座標を設定して、ＲＧＢ強度値、ＲＧＢ度数値の算出を行い、絵文字の類否判断を行ってもよい。これにより、絵文字画像に設定された配色情報について細かく分別することで、より絵文字の識別精度を向上させることができる。
【０１６９】
そして、絵文字コレクションの類否判断では、各色分別フォルダに登録された絵文字データのＲＧＢ度数と、新たに取得した絵文字データのＲＧＢ度数を比較し、新たに取得した絵文字データのＲＧＢ度数が閾値内にあるか否かを判定する。
【０１７０】
斯かる構成によれば、多数の絵文字データを取得した場合に、属性情報として、配色情報を基準にして同系色の絵文字データを分別し、各絵文字データの識別を容易化できる。また、配色情報として、利用者の色の好みに合わせた絵文字の分別が可能となり、絵文字データを利用可能な電子機器の利便性が高められる。
【０１７１】
〔第４の実施の形態の利点〕
【０１７２】
(1) この携帯電話機には、ダウンロードされた絵文字とコレクションフォルダに登録されている絵文字との属性（配色情報を示すＲＧＢ度数）を判定し、同系色の絵文字だけをコレクションフォルダに記録する。これによりダウンロードした大量の絵文字を識別することが可能となる。
【０１７３】
(2) ダウンロードした絵文字には、識別するための色属性等が付けられていないことが多く、利用者が１つ１つの設定を行う必要があり、設定操作に過大な負荷となっていたが、本発明によれば、ダウンロードした絵文字の識別処理を容易に行うことができる。
【０１７４】
(3) この携帯電話機は、「絵文字色分別機能」を備えており、色分別フォルダに、例えば利用者が好んで使う絵文字を登録することで、新たに取得した絵文字について、登録されている絵文字と同系色の絵文字データだけを色分別フォルダに登録させることができる。
【０１７５】
〔他の実施の形態〕
【０１７６】
(1) 上記実施の形態において、絵文字コレクションフォルダに登録された絵文字について、例えば、辞書変換機能で利用可能に設定してもよい。例えば、携帯電話機２０、２００、３００に予め登録され、絵文字コレクションに選択された絵文字が辞書変換機能により読み出された場合、その絵文字に関連付けて登録された絵文字も同時に変換候補として読み出すようにしてもよい。図２６Ａに示すメール作成画面２２０は、絵文字コレクションの設定がされていない場合の辞書変換候補を表示している。メール作成画面２２０には、入力画面２２２に例えば、「はーと」の文字が入力されると、この言葉に関連した変換候補が候補一覧画面２２４に表示される。このとき、変換候補には、「はーと」の言葉に対して、例えば、よみがな等のキーワードが一致する絵文字１０４が表示されている。
【０１７７】
これに対し、この絵文字１０４が絵文字クレクションフォルダに登録された場合、図２６Ｂに示すように、変換の候補一覧画面２２４には、例えば、絵文字１０４に関連付けられて登録した絵文字１３０、２２６が表示される。この絵文字コレクションフォルダに登録された絵文字１０４、１３０、２２６と辞書変換機能との連動処理は、例えば、携帯電話機２０、２００、３００の表示制御部３２で行えばよい。
【０１７８】
携帯電話機に予め登録されている絵文字１０４は、例えば、設定されているカテゴリ情報等に基づいて、辞書変換機能により変換候補として検索されることができる。しかし、新たに取得した絵文字は、このようなカテゴリ情報等は設定されておらず、辞書変換機能に連動させるには、例えば、絵文字毎に「よみがな」等を登録する必要があった。
【０１７９】
斯かる構成によれば、絵文字コレクションフォルダに登録されることで、予め登録されている絵文字に関連付けられた絵文字と同時に辞書変換候補として読み出すことができる。そして、多数の絵文字を取得した場合でも、個別に設定登録せずに辞書変換機能に連動させることができ、利便性の向上が図れる。また、利用者の選択や使用頻度などによって設定した絵文字に対し、新たに取得した絵文字文字についても自動的に辞書変換候補に挙げることができるので、例えば、利用者の嗜好に則した絵文字の利用可能性を広げることができる。
【０１８０】
(2) 上記実施の形態において、絵文字コレクションフォルダに登録された絵文字に対し、例えば、新たな名称情報等を自動で設定してもよい。新たに取得した絵文字データには、携帯電話機が識別する識別情報のほか、例えば、取得した日付情報等が名称として設定されたり、又は名称が設定されない場合がある。そこで、絵文字コレクションフォルダに登録された絵文字に対し、予め設定された基準に従って名称を設定すればよい。これにより、取得した絵文字について、利用者が個別に名称を設定する必要がなく利便性が高められるとともに、各絵文字に対する識別性が高められる。
【０１８１】
(3) 上記実施の形態では、取得した絵文字と予め登録されている絵文字との比較処理にについて、例えば、画像タグの一致及び画像比較について、それぞれ独立した処理として行っているが、これに限られない。例えば、取得した絵文字データに対して、画像タグの一致又は画像比較のいずれかを先に行い、その後に他の比較処理を行ってもよい。また、この比較処理において、先行で行った比較処理において絵文字コレクションフォルダへの登録基準に達している絵文字データについては、次の比較処理を行わないようにしてもよい。これにより、比較処理の負荷軽減を図ることができる。
【０１８２】
(4) 上記実施の形態では、絵文字コレクションフォルダに登録する絵文字の抽出処理を自動で行う場合について、絵文字を抽出するための判断基準として、利用者による使用回数を利用することを示したが、これに限られない。この電子機器は、例えば、利用者の使用頻度が高い絵文字の色情報や、その他の分類情報等を基準として設定し、検出した色情報や分類情報を判断して絵文字を抽出してもよい。
【０１８３】
(5) 上記実施の形態では、配色情報に基づく類否判断において、絵文字画像のＲＧＢ強度値を加算したＲＧＢ度数を利用して絵文字の類否判断を行う場合を示したが、これに限られない。例えば、絵文字画像について所定のサンプリングエリア毎に抽出したＲＧＢ強度値を利用して絵文字の判別処理を行ってもよい。この場合、基準となる絵文字データと新たに取得した絵文字データとの対比において、例えば、対応するサンプリングエリア毎にＲＧＢ強度値が閾値内にあるか否かを判断して、閾値内にあるサンプリングエリアの数の多少により類否判断を行ってもよい。
【０１８４】
(6) また、配色情報に基づく類否判断において、ＲＧＢ強度値を加算した値をＲＧＢ度数としたがこれに限られず、例えば、絵文字データの全体の色系統を対比するため、加算した強度値について、サンプリングしたエリアの数の平均値を用いてもよい。
【０１８５】
(7) 上記実施の形態では、電子機器の一例として携帯電話機を示したがこれに限られず、絵文字が利用可能な電子機器であればどのような構成であってもよく、例えば、図３８に示すように、ＰＣ（Personal Computer ）４００を利用してもよい。このＰＣ４００は、例えば、第１の筐体部４０２、第２の筐体部４０４がヒンジ部４０６で開閉可能に連結されており、第１の筐体部４０２には、絵文字を利用した文書を表示可能な表示部４０８を備える。また、第２の筐体部４０４には、入力操作を行うキーボードやマウス機能等を含む操作部４１０を備える。その他、例えば、通信可能なゲーム機や携帯情報端末機（ＰＤＡ：Personal Digital Assistant）等を利用してもよい。
【０１８６】
なお、上記の各実施の形態においては、画像データの一例として絵文字を扱う場合の実施の形態を説明したが、本発明で扱う画像データはこれに限られない。外部の装置から取得して再利用するようなものであれば、ビットマップデータや写真データ等、どのような画像データであっても構わない。
【０１８７】
以上説明したように、電子機器、及び画像データの登録プログラムの好ましい実施の形態等について説明したが、本発明は、上記記載に限定されるものではなく、特許請求の範囲に記載され、又は発明を実施するための形態に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
【符号の説明】
【０１８８】
２  電子機器
３  画像データ
４  画像データ取得部
６  記憶部
８  比較部
１０  登録部
２０、２００、３００  携帯電話機
２２  コンテンツダウンロード部
２４  絵文字管理部
２６  絵文字コレクション部
２８  類似画像比較部
３０  入力制御部
３２  表示制御部
３４  呼制御部
３６  無線制御部
４０  ダウンロードフォルダ
４２、２１６  絵文字コレクションフォルダ
５０  プロセッサ
５２  記憶部
５４  無線部
５６  操作部
６０  表示部
６６  ＲＡＭ
７６  表示パネル
８６  ネットワーク
８８  サーバ装置
９０、３２０、３２２  絵文字データ
９２、１０２、１０６、３０４、３１２、３１６、３２４  表示画面
１０４、１１０、１３０、２０６、２０８、２０９、２２６、３１４  絵文字
１０８  フォルダ
１２０  絵文字コレクション表示テーブル
１２８  画像ファイル名
１３２、１４０、１５２  画像タグ
１５４  画像データ
１５６  「ＥＸＩＦヘッダ」
１５８  「識別タグ」
１８０  類似画像比較エンジン
１８２、１８４  輪郭画像
２０２  絵文字入力回数データベース
２０４  メール作成画面
２１０  絵文字入力履歴テーブル
２２４  候補一覧画面
３０２  絵文字色分別部
３０６、３０８、３１０  色分別フォルダ
３１８  ダウンロードデータ
３３０  絵文字画象
３３２  絵文字部分
３３４  色抽出範囲
４００  ＰＣ
【図１】
2012242885.tif 000003
【図２】
2012242885.tif 000004
【図３】
2012242885.tif 000005
【図４】
2012242885.tif 000006
【図５】
2012242885.tif 000007
【図６】
2012242885.tif 000008
【図７】
2012242885.tif 000009
【図８】
2012242885.tif 000010
【図９】
2012242885.tif 000011
【図１０】
2012242885.tif 000012
【図１１】
2012242885.tif 000013
【図１２】
2012242885.tif 000014
【図１３】
2012242885.tif 000015
【図１４】
2012242885.tif 000016
【図１５】
2012242885.tif 000017
【図１６】
2012242885.tif 000018
【図１７】
2012242885.tif 000019
【図１８】
2012242885.tif 000020
【図１９】
2012242885.tif 000021
【図２０】
2012242885.tif 000022
【図２１】
2012242885.tif 000023
【図２２】
2012242885.tif 000024
【図２３】
2012242885.tif 000025
【図２４】
2012242885.tif 000026
【図２５】
2012242885.tif 000027
【図２６】
2012242885.tif 000028
【図２７】
2012242885.tif 000029
【図２８】
2012242885.tif 000030
【図２９】
2012242885.tif 000031
【図３０】
2012242885.tif 000032
【図３１】
2012242885.tif 000033
【図３２】
2012242885.tif 000034
【図３３】
2012242885.tif 000035
【図３４】
2012242885.tif 000036
【図３５】
2012242885.tif 000037
【図３６】
2012242885.tif 000038
【図３７】
2012242885.tif 000039
【図３８】
2012242885.tif 000040