(57)【要約】【課題】手書き文字などの画像データを容易に宛先に送信する。【解決手段】画像データを取得する画像データ取得部と、特徴画像と送信先アドレスとを関連付けて格納するデータベースを参照し、前記画像データ取得部により取得された画像データに、前記特徴画像と対応する画像が含まれるか否かを判定する登録判定部と、前記登録判定部により、前記画像データ内に前記特徴画像に対応する画像が含まれていると判定された場合に、前記特徴画像と対応する送信先アドレスを前記画像データの送信先として決定する送信先決定処理部と、前記送信先決定処理部で決定された前記送信先アドレスを送信先として前記画像データを送信する送信処理部と、を備える端末装置。【選択図】図３Ａ
2015053556.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する画像データ取得部と、
特徴画像と送信先アドレスとを関連付けて格納するデータベースを参照し、前記画像データ取得部により取得された画像データに前記特徴画像と対応する画像が含まれるか否かを判定する登録判定部と、
前記登録判定部により、前記画像データ内に、前記特徴画像に対応する画像が含まれていると判定された場合に、前記特徴画像と対応する送信先アドレスを前記画像データの送信先として決定する送信先決定処理部と、
前記送信先決定処理部で決定された前記送信先アドレスを送信先として前記画像データを送信する送信処理部と、
を備える端末装置。
【請求項２】
前記送信先決定処理部により決定された前記送信先アドレスを表示部に表示させる表示制御を行う表示制御部を有することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記送信先アドレスの候補が複数ある場合に、
複数ある前記送信先アドレスの候補を前記表示部に表示し、いずれかを送信先として選択可能なインターフェイス表示を行うことを特徴とする請求項２に記載の端末装置。
【請求項４】
前記登録判定部により、前記画像データ内に、前記特徴画像と対応する画像が含まれていないと判定された場合に、前記表示部に送信先入力画面を表示することを特徴とする請求項２又は３に記載の端末装置。
【請求項５】
前記特徴画像として、レターの装飾を用いることを特徴とする請求項１から４までのいずれか１項に記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に関し、より詳細には、電子メール等の送受信機能を備えた端末装置に関する。
【背景技術】
【０００２】
スマートフォンなどの携帯端末装置は、電子メール等の情報の送受信機能を備えている。近年、携帯端末装置が普及し、高齢者や幼児等を含む幅広い年齢層にまで利用されるようになってきた。
下記特許文献１は、手書き入力に対応することで、高齢者や操作に不慣れな利用者であっても手書き文字等の画像データを容易に宛先に送信可能である機器が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、電子メールを送信するためには、データを送信するアドレス先をユーザがキー入力などにより指定する操作が必要である。
そのため、高齢者や操作の不慣れな利用者が手書き文字などの画像データを送信先に送信可能とするためには、メールアドレスを入力したり、住所録を表示させて選択したりするなど、これらの利用者にとっては煩わしい操作が必要であるという問題がある。
本発明は、携帯端末装置などの端末装置において、より簡単な操作により送信先を決定することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一観点によれば、画像データを取得する画像データ取得部と、特徴画像と送信先アドレスとを関連付けて格納するデータベースを参照し、前記画像データ取得部により取得された画像データに前記特徴画像と対応する画像が含まれるか否かを判定する登録判定部と、前記登録判定部により、前記画像データ内に、前記特徴画像に対応する画像が含まれていると判定された場合に、前記特徴画像と対応する送信先アドレスを前記画像データの送信先として決定する送信先決定処理部と、前記送信先決定処理部で決定された前記送信先アドレスを送信先として前記画像データを送信する送信処理部と、を備える端末装置が提供される。
これにより、高齢者や操作の不慣れな利用者が手書き文字などの画像データを容易に宛先に送信可能することができる。したがって、従来よりも利便性を向上させることができる。
【発明の効果】
【０００６】
利用者が手書き文字などの画像データを宛先に送信可能とする操作が容易になる。したがって、従来よりも利便性を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による端末装置の一構成例を示す機能ブロック図である。
【図２】データベース内のアドレス帳の登録データの一構成例を示す図である。
【図３Ａ】図３Ａ（ａ）は、本実施の形態による端末装置の処理の流れを示すフローチャート図である。図３Ａ（ｂ）は、端末装置の表示の遷移例を示す図である。
【図３Ｂ】送信先決定処理の詳細を示すフローチャート図である。
【図４Ａ】送信先に依存するレター用紙の例を説明する図であり、（ａ）は用紙にメッセージ等を記載した図の例であり、（ｂ）はメッセージ等を記載する前の用紙の例であり、（ｃ）は（ａ）を撮影した端末装置の表示例を示す図である。
【図４Ｂ】画像識別処理の詳細を示すフローチャート図である。
【図４Ｃ】画像識別部の一構成例を示す図である。
【図５】図５（ａ）は、本実施の形態による処理の流れを示すフローチャート図であり、図５（ｂ）は、アドレス帳の登録例を、図５（ｃ）は、端末装置における表示例を示す図である。
【図６】文字認識における認識精度を向上させる技術を示す図である。
【図７】本発明の第４の実施の形態による誤認識防止技術であって、アドレス帳に複数の候補がある場合の例を示す図である。
【図８】本発明の第５の実施の形態による送信先登録処理に関する図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態による端末装置について、図面を参照しながら詳細に説明を行う。
【０００９】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本発明の実施の形態による端末装置の一構成例を示す機能ブロック図である。
【００１０】
図１に示すように、本実施の形態による端末装置１は、例えばスマートフォンであり、タッチパネル方式の表示部などを含む入出力部１１と、表示の制御を行う表示制御部１１ａと、カメラなどの画像データを取得する撮像部１３と、画像識別部１５と、アドレス帳などのデータベース（記憶部）１７と、電子メールの送信先を決定する送信先決定処理部２１と、電子メールを送信する送信処理部２３と、を有している。その他、各種処理や画像データなどを格納する記憶部を別途有していても良いし、データベース１７内に格納しても良い。このような登録データが、多数登録されてアドレス帳として機能する。撮像部１３は、カメラなどの他、データベースなどから画像データを取得するような画像データ取得部で良い。以下では、撮像部（カメラ）を例にして説明する。データベース（記憶部）１７は内蔵でなく、通信により参照可能な構成でも良い。また、紙に書いたものなどを、カメラで撮影して取得した画像データを用いる以外に、例えば、タッチパネル等に直接書いた情報等を、画像データの代わりに利用しても良い。
【００１１】
図２は、データベース１７内のアドレス帳の登録データの一構成例を示す図である。アドレス帳は、これらの登録データを多数有している。図２に示すように、本実施の形態によるアドレス帳の登録データは、例えば、送信先の名称（読み）１７−１、例えば「きみ」と、送信先の名称１７−２、例えば、氏名「○×君代」などの送信者属性情報と、メールアドレス１７−３、例えば、kimiyo@aaa.bbb.co.jpと、画像データ１７−４、例えば、送信者の顔の画像等と、送信者の特徴となる特徴画像のパターン１）１７−５、例えば「きみちゃん」の手書き画像と、送信者の特徴となる特徴画像のパターン２）１７−６、例えば「○×君代」宛ての固有の手紙等の装飾用マークの画像等と、ＳＮＳアカウント１）１７−７と、ＳＮＳアカウント２）１７−８と、を有している。これらのうち、全てのデータを有していなくても良いが、少なくとも、送信先のメールアドレス１７−３と、送信先の特徴画像のパターン１７−５，１７−６のいずれかを有する必要がある。アカウントは、ＳＮＳアカウントに限定されるものではない。
【００１２】
図３Ａ（ａ）は、本実施の形態による端末装置１の処理の流れを示すフローチャート図である。図３Ａ（ｂ）は、端末装置１の表示の遷移例を示す図である。まず、ステップＳ１において処理が開始され、ステップＳ２において、撮像部（カメラ）１３を起動させるユーザ操作を検出し（図３Ａ（ｂ）において、スマートフォンのメニュー表示やアイコンの選択によりカメラを起動させる）、被写体（例えばメモ書きやレターなど）が表示部に表示される（ステップＳ３）。ユーザは、この表示部への表示により、識別すべき画像（被写体）に位置合わせをすることができる。ここでは、以下のように表示される。
【００１３】
（表示１）
きみちゃん
今日の夕食は
唐揚げよ
このようなメモ書き等を撮像部（カメラ）１３により撮像して表示部１１にプレビュー表示させており、表示画面内で位置合わせすることができる。
【００１４】
ステップＳ４で、位置合わせした表示画像又はその一部について画像識別処理を行う。次いで、ステップＳ５で、表示部１１にメモ書き等に加えて「もどる」／「〜送信」ボタンを表示させる。ステップＳ６でユーザ操作を検出すると、ユーザ操作が「〜送信」ボタン（メール送信ボタン等）の押下であれば、ステップＳ７に進んで送信先決定処理を行い、ステップＳ８でその送信先への電子メール等の送信処理を行い、処理を終了する（ステップＳ９）。ステップＳ６で、「もどる」ボタンが押されたのを検出すると、ステップＳ９に進み、処理を終了する。
【００１５】
このように、ユーザの操作は、ステップＳ２のカメラの起動操作と、ステップＳ６のメール送信ボタン等の操作と、の２つの操作のみで所望の送信先にメール等を送信することができ、送信先のユーザの入力操作等が不要となる。
【００１６】
図３Ｂは、ステップＳ７の送信先決定処理の詳細を示すフローチャート図である。ステップＳ７の送信先決定処理は、メール送信ボタン等の操作に応じて、ステップＳ７−１のようにカメラ撮影により、上記（表示１）の画像を撮影し、ステップＳ７−２で、電子メールにデータを添付して以下のようなメール形式とし、処理を終了する（Ｅｎｄ：ステップＳ７−３）。
【００１７】
メール形式とは、例えば、以下のような、送信先、送信元のアドレス、添付ファイル、添付メッセージ等を含む形式である。
【００１８】
To:kimiyo@aaa.bbb.co.jp（送信先メールアドレス）
From:●●@vvvv.xxxx.co.jp（送信元メールアドレス）
Subject: ●●からのメッセージ（送信元からのメッセージ）
添付:DCM0001.jpg（画像形式の添付ファイル）
本文  添付データにメッセージがあります（メッセージ）
【００１９】
ここで、ステップＳ７−１に示すような画像撮影における画像撮影のデータにおいて、一行目に宛名が書かれている例を示しているが、一般的な手紙などでも、一番先頭の行に宛名を書く場合が多いため、一般的なルールに沿った例示をした。但し、送信先は、後述する特徴画像に基づく画像認識処理やＯＣＲなどによる文字認識処理などにより確認することができるため、宛名が先頭に記載されていない場合でも特に問題はない。すなわち、１行目に宛先が無い場合でも、例えば１行目に無い場合には次の行について認識処理を行うようにすれば良い。ここで、送信先メールアドレスを決める方法の例について説明する。
【００２０】
以下に、メールアドレスを画像識別処理により検索する例について説明する。ここでは、画像識別による検索処理として、送信先に依存した固有の模様を持つレター用紙を用いて識別する例について説明する。図４Ｂは、画像識別処理Ｓ４の詳細を示す図である。図４Ｃ（ａ）は、画像識別部１５の一構成例を示す図である。画像識別部１５は、書画判定部１５−１と、登録判定部１５−２とを有する。
【００２１】
画像識別部１５により画像識別処理が開始されると、まず、ステップＳ４−１において、書画判定部１５−１により、書画判定、すなわち、表示画像が一般的な被写体である（書でない）か、紙等に記載された書であるかを判定する。書でないと判定された場合には、ステップＳ４−４でカメラ撮影モードに遷移し、カメラ撮影を行うことが出来る。一方、ステップＳ４−１で「書である」と判定された場合には、ステップＳ４−２に進み、登録判定部１５−２が、アドレス帳に登録されている図２のような特徴画像のパターン１）、２）と対応する画像が画像データ内に含まれているか否かを判定し、特徴画像のパターン１）、２）と対応する画像が存在すれば（識別可）、画像識別処理を終え（ステップＳ４−３）、ステップＳ５−Ｓ７に進み、登録されたメールアドレスを送信先に設定できる。特徴画像のパターン１）、２）と対応する画像が画像データ内に含まれていなければ（識別不可）、Ｓ４−５で一般的なユーザ操作によるアドレスの入力処理フローに進む。
【００２２】
ここで、図４Ａ（ａ）は、送信先に依存するレター用紙の模様を認識する例を示し、レター用紙Ｓに縁取り模様が付されている例を示す図である。このレター用紙の縁取り模様には、特徴的な図形３１が描かれており、そのレターに、上記（表示１）のようなメッセージ３３が記載されている。これを画像データとすると、図２に示すように、アドレス帳の登録データ内の特徴画像例である、例えば、手書きの「きみちゃん」の特徴画像１）、レターの縁取りの特徴画像２）のいずれか又は両方が画像データに含まれていれば、メッセージ３３等とを含む画像データとアドレス帳の送信先との関連付けが可能となる。
【００２３】
上記において、画像データ内に、アドレス帳データに登録されている特徴画像パターンに対応するデータがあるかどうかは、以下のようにして判定することができる。
１）メッセージなどを記載する際に、図４Ａ（ｂ）に示すように、人により異なる模様（ここでは縁取りの模様３１）を持つ用紙を用いてメッセージを書くようにする。左のレター用紙（電子メール等でも良い）用の縁取り３１に含まれる模様３１ａは、「きみちゃん」宛ての用紙に特有のものであり、右のレター用紙の縁取り模様３５は、縁取りの模様３１とは異なり、別人物、例えば、「春ちゃん」宛のレター用紙であると決めておく。そして、メッセージ等は決められた用紙に記載する。
【００２４】
そこで、このレター用紙３１を端末装置１の撮像部１３により撮影すると、特徴的な模様３１ａなどを基に、アドレス帳データを検索して、特徴的な模様３１ａと対応する特徴画像パターン２）が存在すると、この特徴画像パターン２）と関連付けされたメールアドレスに送信先が決められる（特徴パターン２）の場合）。ここで、模様の小さいパターンによる識別処理を行うようにしても良く、全体の模様により識別処理を行うようにしても良い。或いは、両方により識別しても良い。画像データから、形状、模様又は色彩のうち少なくとも１つを識別するようにすれば良く、いずれかに限定されるものではない。
【００２５】
また、個人が書く特徴的な文字列画像を利用して送信先を決定するようにしても良い。例えば、図４Ａ（ｃ）に示すように、プレビュー画面に図４Ａ（ａ）のようなメッセージ等の記載済み用紙を表示させている状態で、「きみちゃん」という手書き文字による文字列画像を文字認識するのではなく画像識別し、これより同様の文字列画像を持つアドレス帳登録の特徴画像パターン１）の「きみちゃん」をもとに送信先メールアドレスを特定することもできる。すなわち、図４Ａ（ｃ）における「きみちゃん」の表示４１ａを文字認識するのではなく、「きみちゃん」の表示４１ａを撮影した画像と、アドレス帳の特徴画像との類似判定を行う画像識別処理により、送信先メールアドレスを特定する。表示４１ａは、図２の特徴画像パターン１）に登録され、後述するように、図８（ｄ）の宛先表示５１ａ、図８（ｃ）のアドレス帳登録内容表示例の宛先表示に利用することができる。
【００２６】
この「きみちゃん」などの手書き文字は、画像データから、人名、ニックネーム、ペンネーム、雅号、芸名、又は源氏名を識別することで送信先情報を特定することできるようにしたものであり、いずれかに限定されるものではない。送信先を識別できるものであればどのような画像データでも良く、例えば電話番号、住所、等でも良い。また、送信処理確定用ボタン４５は、送信先決定処理部２１により決定されアドレス帳に登録させていた送信先アドレスに関連する送信先の特徴画像又は名前などの送信先属性情報を表示すると、送信先の再確認ができて好適である。
【００２７】
いずれの方法による画像認識であっても、送信先のメールアドレスを特定し、画像データの表示中にそれを押す（タッチ等する）と特定された送信先に送信することができるボタン４５を合わせて表示すると良い。
【００２８】
尚、ステップＳ４−２で、アドレス帳に登録されている特徴画像と対応する画像が存在しない場合には（識別不可）、ステップＳ４−５でユーザによる送信先アドレスの入力処理に移行し、送信先の入力を行いやすいようにする。この際、タッチパネル付き表示部にソフトキーボードなどを表示するようにしても良い。
【００２９】
以上のように、本実施の形態によれば、レター等の模様や記載した手書き文字などの画像データを、宛先を特定して簡単に送信することが可能であるという利点がある。
【００３０】
尚、上記の例では、撮像部が取得した画像データから人名を識別する例について説明したが、人名の他に、ニックネーム、ペンネーム、雅号、芸名、又は源氏名を識別するようにしても良い。また、人を識別できるものなら良いため、電話番号、住所、メールアドレス等でも適用可能である。
【００３１】
また、特徴画像は、画像データから、形状、模様又は色彩のうち少なくとも１つを識別すれば良く、また、これらの組み合わせでも良い。
【００３２】
撮像部で取得される被写体の画像は、撮影画像確認のためのプレビュー画像であっても良い。プレビュー画像を表示部に表示させながら、アドレス帳の検索や登録処理を行っても良い。
【００３３】
ここで、表示制御部は、撮影画像確認のためのプレビュー画像を表示する表示部に、送信先情報又は前記送信先アドレスのうち少なくとも１つを表示する制御を行うようにしても良い（図３Ａ（ｂ）等参照）。このようにすれば、アドレス帳への登録や検索の結果を画像とともに見ることができ、誤送信等を防止しやすい。この送信先の表示を送信ボタン（ＧＵＩ）とすれば、電子メール等を簡単に送信することも可能である。
【００３４】
尚、上記の例では、画像データ内に、アドレス帳に登録されている特徴パターンと対応する画像が含まれているかの判定により識別を行う例について説明したが、特徴パターンに対応する画像が、例えば、複数の画像データのいずれに含まれているかを識別するような処理を行うこともできる。
【００３５】
（第２の実施形態）
次に、本発明の第２の実施の形態について説明を行う。第１の実施の形態では、位置合わせした表示画像中に特徴画像と対応する画像があるかどうかの識別を行った。本実施の形態では、画像同士の比較（識別）に代えて、画像データの文字認識処理を行い、その結果に基づく比較を行うものである。文字認識処理としては、一般的なＯＣＲ技術を利用することができる。
【００３６】
以上のように、第１の実施の形態では、画像識別を利用したが、本実施の形態では、識別処理として文字認識により得られた認識結果に基づいて送信先を求めるものである。
【００３７】
図４Ｃ（ｂ）は、本実施の形態による画像識別部１５の一構成例を示す機能ブロック図である。本実施形態による画像識別部１５は、書画判定部１５−１と、文字認識部１５−３と、登録判定部１５−４と、を有する。書画判定は、文字認識の可否（後述する図６の矩形で囲めるか否かを判断規準とする）によって行っても良い。
【００３８】
図５（ａ）は、本実施の形態による処理の流れを示すフローチャート図であり、図５（ｂ）は、アドレス帳の登録例を、図５（ｃ）は、端末装置１における表示例を示す図である。第１の実施の形態のステップＳ４における画像識別処理の他の例として、画像識別部１５は、ステップＳ４’において、まず、書画判定部１５−１が、ステップＳ４’−１で書画判定を行い、書でない場合には、ステップＳ４’−６においてカメラ撮影モードに入る。一方、ステップＳ４’−１で書であると判定されると、ステップＳ４’−２において、文字認識部１５−３が、第一行目の文字列の文字認識を行う。ここで、文字認識は一般的なＯＣＲ処理を用いることができる。
【００３９】
ここで、文字認識ができない場合には、ステップＳ４’−７に進み、アドレス帳のユーザ操作による入力処理に進む。第１の実施の形態のステップＳ４−２に進んでも良い。文字認識ができた場合には、ステップＳ４’−３に進み、認識した文字の中から、登録判定部１５−４により検索キーワードを抽出する。ここでは、図５（ｃ）に示す表示１の文字を認識することで、検索キーワードとして「きみ」を抽出する。ここで、「Ｔｏ、Ｄｅａｒ、様、ちゃん等」は、宛名に付けられている定型文字と考えて削除して抽出すると、「きみ」が抽出される。すると、第１の実施の形態と同様のアドレス帳（図５（ｂ））を利用して、抽出された文字列データ「きみ」と、送信先の属性データである例えば送信先の名称等「○×君代」とが一致する送信先のメールアドレス等が検索され（ステップＳ４’−４）、ステップＳ４’−５において処理が終了し、そのメールアドレスを図５（ｃ）に示す画像のメール送信先アドレスに設定され、それに応じて表示された送信ボタン４５を押すと、検索された送信先に表示１に示すような画像４１（図５（ｃ））が送信される。
【００４０】
以上のように、本実施の形態によれば、送信する意図で記述された文字列等を文字認識処理により認識し、認識された文字列と対応する文字列がアドレス帳に登録されていれば、その送信用メールアドレスに画像データを送信する。これにより、送信する画像の送信先アドレスに、簡単な操作で画像を送信することができる。
尚、「ちゃん」等を削除する処理は、必須ではなく、「ちゃん」等が付いたままでも認識は行える。
【００４１】
（第３の実施形態）
次に、本発明の第３の実施の形態による端末装置について説明する。本実施の形態による端末装置では、文字認識処理について、例を挙げて説明する。図６は、文字認識における認識精度を向上させる技術を示す図である。図６（ａ）に示す縦書きの図では、書画判定における処理例を示す図であり、例えば、通常のＯＣＲ認識の前処理として、文字毎に矩形が描画出来るかどうかで判別することができる。そして、矩形が出来ないものは、文字列ではないと判別する。
【００４２】
また、図６（ｂ）に示すように、プレビュー画面に表示中の図形パターンの羅列から、認識前の矩形の並びが、おおよそ直線に並んでいる方向と判定するようにする。直線的であるとの意味は、角が無いことを意味し、角の有無を検出しても良い。実際の検出は、１から２行程度で可能である。これにより、正しい文字の認識方向を特定することができる。
【００４３】
図６（ｃ）に示すように、書の向き判定した後、一行目の文字列を認識するようにしても良い。一般的な手紙でも、最初の行に、宛名を書くのが普通であり、一般的なルールでもある。このように、１行目に宛名を書くというルールを適用することで認識処理の負担を減らすことができる。
【００４４】
尚、前述のように、送信先の検索ワードの抽出においては、宛名に付ける文字列の削除するのが一般的である。例えば、「TO、Dear、様、ちゃん」等、宛名に付加する文字列等があるか否かを確認し、その付加する文字列を除いて残った文字列を宛先として抽出すると良い。例えば、以下の通りである。
【００４５】
「きみちゃん」における「ちゃん」を削除し、抽出した文字は、「きみ」であり、これが送信先となる。
或いは、アドレス帳検索として、抽出文字である「きみ」を、アドレス帳で検索し、該当する登録データがあれば、メールを送信する(相手へのメッセージ送信)と判定し、発見されないと、ユーザ操作を行う処理に移行する。
【００４６】
以上のように、本実施の形態では、送信先を決定するための文字認識処理を行う前に、送信先の認識処理には不要な部分を予め削除しておくため、認識処理の負担が軽減され、認識精度も向上するという利点がある。
【００４７】
（第４の実施形態）
次に、本発明の第４の実施の形態による端末装置について説明する。本実施の形態による端末装置では、画像データ又は文字認識を行って抽出した文字列（検索ワード）について、対応する送信先候補がアドレス帳内に複数存在する場合に、誤識別を防止することを目的とする。図７は、本実施の形態による誤識別防止技術であって、アドレス帳に複数の送信先候補がある場合の例を示す図である。図７（ａ）は、アドレス帳の登録例であって、類似した登録がある場合の例を示す図である。上図は、図２と同様の例であり、下図は、それと類似の名前等を持つ登録例を示す図である。このような場合には、図７（ｂ）、図７（ｃ）に示すように、複数の送信先候補の例えば顔などを表示部１１に並べて表示（表示６１）すると良い。ここで、複数の候補表示６１のうちいずれかを送信先として選択し、メール送信ボタン４５を表示させ、これを押すことで選択された方の送信先に対してメールの送信を行うことができる。
【００４８】
図７（ｂ）に示すように。メール送信以外にも複数のＳＮＳアカウントがある場合には、これらのＳＮＳアカウント候補表示４５ａ〜４５ｃまでうちのいずれかを選択して送信操作を行う。尚、図７（ｃ）に示すように、送信先候補の表示は、「きみちゃん」、「きよちゃん」などの特徴画像パターン１）のような筆記パターンなどでも良い。
【００４９】
画像識別処理の結果として得られた送信先候補が複数存在する場合には、送信履歴における送信回数などに基づく送信履歴情報順に表示しても良い。
【００５０】
また、識別出来なかった特徴画像や筆記パターンを記憶しておき、次回の識別処理を行う際に役立てるようにしてもよい。また、識別出来なかった特徴画像や筆記パターンを記憶し、次回の識別に役立てるようにしてもよい。すなわち、個人の筆跡には特徴があるため、その個人の筆跡を、アドレス帳に紐付けする処理（図５のステップＳ４’−７）を繰り返すことにより、文字としての認識は出来なくとも、誰宛てであるのか判別が出来るようになる。例えば図８（ｄ）の５１ａの宛て先名、図８（ｃ）のアドレスに対応する名称などを手書きにすることができる。
【００５１】
複数人に送付する場合、TO、Dear、様、ちゃん等宛名に付ける言葉の繰り返しの有無を判別し、複数人宛てであることを理解するようにしても良い。
【００５２】
以上のように、本実施の形態では、送信先候補が複数抽出された場合に、例えば、送信履歴情報順に表示し、いずれかを送信先として選択可能とするようにしても良い。また、文字認識が出来なかった手書き特徴パターンを記憶し、すなわち、文字認識できなかった特徴パターンは、特徴画像として記憶しておき、次回は画像として識別するようにして、無駄な文字認識処理を繰り返さないようにして、次回の認識処理に役立てるようにしてもよい。
【００５３】
（第５の実施形態）
次に、本発明の第５の実施の形態による端末装置について説明する。本実施の形態による端末装置は、メール返信処理における自動的なアドレス帳への登録処理を行うものである。
【００５４】
図８は、本実施の形態による送信先登録処理に関する図である。図８（ａ）に示すステップＳ１１におけるメールの返信処理に付随してアドレス帳への送信先の登録処理において、ステップＳ１２に示すように、メールの返信操作（返信ボタン等を押すなど）を行うと、ステップＳ１３において、画像データに関するアドレス帳検索を行い、送信先アドレスの有無を確認する。アドレス帳に返信先アドレスの登録がない場合には（ステップＳ１３で「ない」）、ステップＳ１７でその返信先アドレスをアドレス帳に登録する。ステップＳ１３で送信アドレスが有る場合には、ステップＳ１４に進み、検索されたアドレス帳内のデータ（送信先の名前「きみちゃん」など）を表示部１１に表示させる。例えば、「きみちゃん」、「メール送信」などの表示５１ａを有するボタン５１を表示する。ボタン５１が押されると、ステップＳ１５において送信先決定処理を行い、処理を終了する（ステップＳ１６）。尚、ステップＳ１３は、読みの文字認識の可否を判定しても良い。例えば、手書きの文字をＯＣＲで認識できない場合には画像をそのまま表記として使うボタンを生成するように以下のように表示してもよい。図８（ｄ）に示す「きみちゃん」５１ａは画像データを用い、その下の「メール送信」はテキストを用いてボタン５１を生成するなどの方法がある。
【００５５】
図８（ｂ）は、図８（ａ）のステップＳ１７のアドレス帳登録処理の流れを示す図である。ステップＳ１７でアドレス帳登録処理を行うと、ステップＳ２２において、第一行目の文字列を文字認識し、ステップＳ２２において認識可であった場合には、その認識結果をアドレス帳に登録して処理を終了する（Ｅｎｄ）。
【００５６】
ステップＳ２２で文字認識不可の場合には、ステップＳ２５に進み、アドレス帳名称の確認表示を行い、背景画などを特徴画像として登録し、ステップＳ２６に示すようにアドレス帳に認識不可であることを明記して返信先を登録する。
【００５７】
図８（ｃ）は、アドレス帳における登録内容の例であり、図のように手書きの文字５１ａをそのまま登録項目として利用しても良い。手書きの文字をＯＣＲで認識できない場合には画像をそのまま表記として利用することができる。尚、アドレス帳の表示順は、登録順でも良く、その他、種々の順番のいずれかを選択できる。
【００５８】
図８（ｄ）は、上記の例で受信した電子メール等の「きみちゃん」へのメール送信（返信）時の表示部における表示例を示す図であり、返信先の表示５１を確認しながらこの、手書きのメール宛先を表示したメール送信先表示ボタンを押すことでメッセージ１１を付して電子メールの返信を行うことができる。
【００５９】
図８（ｃ）の最上部の「きみちゃん」手書き表示、図８（ｄ）の手書き表示５１ａを表示することで、文字認識ができなかった場合でも、宛先を文字等で確認ができるようにすることができる。
【００６０】
尚、認識不可である旨の情報を、次回認識リトライ時に利用しても良いし、キー操作などの別の方法で入力しても良い。
【００６１】
このように、電子メールを受け取った場合に、その電子メールの返信操作において、アドレス帳への登録の有無を確認し、アドレス帳に登録されていない場合には、メールの返信処理を確定する操作を行う前にアドレス帳への登録を自動的に行わせるとともに、アドレス帳に登録済みの又は今回登録された返信先への送信ボタン等を表示させて返信を確定することで、アドレス帳への送信先の登録を、メールの返信処理と並行して行うことができるため、操作が簡略化できるという利点がある。また、返信処理時におけるアドレス帳への登録処理を、ユーザが意識しない間に積み重ねていくことができるため、アドレス帳の充実を図ることができる。
【００６２】
処理および制御は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）によるハードウェア処理によって実現することができる。
【００６３】
また、端末装置という用語は、電子メールの送受信機能を備えていれば、装置の形態等により限定的に解釈されるべきではない。
【００６４】
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００６５】
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
【００６６】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００６８】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。
【００６９】
（付記）
本発明は、以下の開示を含む。
（１）
画像データを取得する画像データ取得部と、
特徴画像と送信先アドレスとを関連付けて格納するデータベースを参照し、前記画像データ取得部により取得された画像データに前記特徴画像と対応する画像が含まれるか否かを判定する登録判定部と、
前記登録判定部により、前記画像データ内に前記特徴画像に対応する画像が含まれていると判定された場合に、前記特徴画像と対応する送信先アドレスを前記画像データの送信先として決定する送信先決定処理部と、
前記送信先決定処理部で決定された前記送信先アドレスを送信先として前記画像データを送信する送信処理部と、
を備える端末装置。
これにより、高齢者や操作の不慣れな利用者が手書き文字などの画像データを容易に宛先に送信可能することができる。したがって、従来よりも利便性を向上させることができる。
（２）
前記送信先決定処理部により決定された前記送信先アドレスを表示部に表示させる表示制御を行う表示制御部を有することを特徴とする（１）に記載の端末装置。
送信先アドレスを確認して送信を行うことができる。
（３）
前記送信先アドレスの候補が複数ある場合に、
複数ある前記送信先アドレスの候補を前記表示部に表示し、いずれかを送信先として選択可能なインターフェイス表示を行うことを特徴とする（２）に記載の端末装置。
複数候補から簡単に選択できる。
（４）
前記登録判定部により、前記画像データ内に、前記特徴画像と対応する画像が含まれていないと判定された場合に、前記表示部に送信先入力画面を表示することを特徴とする（２）又は（３）に記載の端末装置。
最終的には、送信先を入力することができる。
（５）
前記特徴画像として、レターの装飾を用いることを特徴とする（１）から（４）までのいずれか１に記載の端末装置。
一般的なレターを用いて送信先を簡単に決めることができる。
（６）
識別できなかった特徴画像を、新規に前記データベースに記憶することを特徴とする（１）から（５）までのいずれか１に記載の端末装置。
識別出来なかった特徴画像や筆記パターンを記憶しておき、次回の識別処理を行う際に役立てるようにしてもよい。また、識別出来なかった特徴画像や筆記パターンを記憶し、次回の識別に役立てるようにしてもよい。すなわち、 個人の筆跡には特徴があるため、その個人の筆跡を、アドレス帳に紐付けする処理を繰り返すことにより、文字としての認識は出来なくとも、誰宛てであるのか判別が出来るようになる。
（７）
前記画像識別部は、前記画像データから、人名、ニックネーム、ペンネーム、雅号、芸名、又は源氏名を識別することで送信先情報を特定することを特徴とする（１）に記載の端末装置。
人を識別できるものなら何の画像データでも良く、例えば、電話番号、住所、等でも良い。
（８）
前記画像識別部は、前記画像データから、形状、模様又は色彩のうち少なくとも１つを識別することで送信先情報を特定することを特徴とする（１）に記載の端末装置。
（９）
前記送信先決定処理部は、
決定された送信先アドレスに関連する特徴画像又は送信先の属性情報を送信確定用インターフェイスとして表示することを特徴とする（１）に記載の端末装置。
（１０）
電子メールを受け取った場合に、その電子メールの返信操作において、アドレス帳への登録の有無を確認し、アドレス帳に登録されていない場合には、メールの返信処理を確定する前にアドレス帳への登録を行うとともに、返信先の表示ボタンを表示させて返信を確定することを特徴とする（１）に記載の端末装置。
これにより、アドレス帳への送信先の登録と返信処理とを並行して行うことができるため、操作が簡略化できるという利点がある。
（１１）
画像データを取得する画像データ取得部と、
前記画像データ取得部により取得された画像データに含まれる文字認識を行う文字認識部と、送信先の属性情報と送信先アドレスとを関連付けて格納するデータベースを参照し、文字認識部により認識された文字列と対応する前記送信先の属性情報の有無を判定する登録判定部と、
前記登録判定部により、前記文字列と対応する前記送信先の属性情報が登録されていると判定された場合に、前記送信先の属性情報と対応する送信先アドレスを前記画像データの送信先として決定する送信先決定処理部と、
前記送信先決定処理部で決定された前記送信先アドレスを送信先として前記画像データを送信する送信処理部と、
を備える端末装置。
文字認識により、例えば特徴画像等がデータベース内に登録されていない場合でも送信先を識別できる。
（１２）
画像データを取得する画像データ取得ステップと、
特徴画像と送信先アドレスとを関連付けて格納するデータベースを参照し、前記画像データ取得ステップにより取得された画像データに前記特徴画像と対応する画像が含まれるか否かを判定する登録判定ステップと、
前記登録判定ステップにより、前記画像データ内に前記特徴画像に対応する画像が含まれていると判定された場合に、前記特徴画像と対応する送信先アドレスを前記画像データの送信先として決定する送信先決定処理ステップと、
前記送信先決定処理ステップで決定された前記送信先アドレスを送信先として前記画像データを送信する送信処理ステップと、
を有する端末装置における処理方法。
【産業上の利用可能性】
【００７０】
本発明は、端末装置に利用可能である。
【符号の説明】
【００７１】
１…端末装置、１１…入出力部（表示部、タッチパネル）、１１ａ…表示制御部、１３…撮像部（カメラ）、１５…画像識別部、１５−１…書画判定部、１５−２…登録判定部、１５−３…文字認識部、１５−４…登録判定部、１７…データベース（記憶部）、２１…送信先決定処理部、２３…送信処理部。
【図１】
2015053556.tif 000003
【図２】
2015053556.tif 000004
【図３Ａ】
2015053556.tif 000005
【図３Ｂ】
2015053556.tif 000006
【図４Ａ】
2015053556.tif 000007
【図４Ｂ】
2015053556.tif 000008
【図４Ｃ】
2015053556.tif 000009
【図５】
2015053556.tif 000010
【図６】
2015053556.tif 000011
【図７】
2015053556.tif 000012
【図８】
2015053556.tif 000013