(57)【要約】【課題】画像認識結果に応じた変換入力候補を、ユーザに選択させる。【解決手段】本発明に係る携帯装置は、撮像手段によって取得した画像、および記憶手段にある画像を表示する画像表示手段（表示制御部６２）と、前記画像を認識する画像認識手段（画像認識部６４）と、前記画像の認識結果に応じた変換入力候補を取得する変換入力候補取得手段（変換入力候補制御部６６）と、前記認識画像と前記変換入力候補を同時表示する表示制御手段（表示制御部６２）と、前記変換入力候補から選択入力できる変換入力選択手段（変換入力候補制御部６６）とを備えている。【選択図】図１
2010170501.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって取得した画像、および記憶手段にある画像を表示する画像表示手段と、
前記画像を認識する画像認識手段と、
前記画像の認識結果に応じた変換入力候補を取得する変換入力候補取得手段と、
前記画像と前記変換入力候補を同時表示する表示制御手段と、
前記変換入力候補から選択入力できる変換入力選択手段とを備えていることを特徴とする携帯装置。
【請求項２】
入力操作部にある文字選択ボタンが押下された場合に、前記変換入力候補の入力方式を、文字選択ボタンの押下に基づく入力方式に切り換えできる表示制御手段をさらに備えていることを特徴とする請求項１に記載の携帯装置。
【請求項３】
前記画像の認識結果に応じた前記変換入力候補を、前記表示制御手段による切り換え処理の後、前記文字選択ボタンの押下に基づく文字入力時の変換入力候補と共に表示する表示制御手段を使い、変換入力候補から選択入力できる変換入力選択手段を備えていることを特徴とする請求項２に記載の携帯装置。
【請求項４】
前記画像と、前記画像の認識結果に応じた前記変換入力候補と、文字選択ボタンの押下に基づく入力方式時の変換入力候補とを同時に表示できる表示制御手段を用い、変換入力候補から選択入力できる変換入力選択手段を備えていることを特徴とする請求項１に記載の携帯装置。
【請求項５】
前記画像の認識結果に応じた前記変換入力候補と、前記文字選択ボタンの押下に基づく文字入力時の変換入力候補とを、互いに表示形態を異ならせて表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることを特徴とする請求項３または４に記載の携帯装置。
【請求項６】
現在の時刻を取得する時刻取得手段をさらに備え、
前記画像の認識結果および前記取得された現在の時刻に応じた前記変換入力候補を表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることを特徴とする請求項１〜５のいずれか１項に記載の携帯装置。
【請求項７】
携帯装置における所定の処理の履歴があるか否かを判定する履歴判定手段をさらに備え、
、前記画像の認識結果および前記履歴の有無に応じた前記変換入力候補を取得する変換入力候補取得手段と、前記変換入力候補を表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることを特徴とする請求項１〜６のいずれか１項に記載の携帯装置。
【請求項８】
前記履歴は、現在作成中の電子メールの送信相手に対する過去の特定の時間帯における他の電子メールの送信履歴であることを特徴とする請求項７に記載の携帯装置。
【請求項９】
周囲の明るさを測定する明るさ測定手段をさらに備え、
前記変換入力候補取得手段、および前記表示制御手段は、前記画像の認識結果および前記測定された明るさに応じた前記変換入力候補を取得、および表示し、
取得、および表示された前記変換入力候補から選択入力できる変換入力選択手段をさらに備えていることを特徴とする請求項１〜８のいずれか１項に記載の携帯装置。
【請求項１０】
前記撮像された画像と、前記取得された前記変換入力候補とを互いに関連付けて記憶する記憶手段を備えていることを特徴とする請求項１〜９のいずれか１項に記載の携帯装置。
【請求項１１】
前記変換入力候補取得手段は、前記撮像された画像に含まれている画像情報を、当該画像に応じた変換入力候補として取得することを特徴とする請求項１〜１０のいずれか１項に記載の携帯装置。
【請求項１２】
携帯装置が所定の基準時間静止した場合に、前記画像の撮像と、当該画像の認識とを開始することを特徴とする請求項１〜１１のいずれか１項に記載の携帯装置。
【請求項１３】
携帯装置の撮像ボタンがユーザによって押下された場合に、前記画像の撮像と、当該画像の認識とを開始することを特徴とする請求項１〜１１のいずれか１項に記載の携帯装置。
【請求項１４】
前記画像の撮像を持続的に行いつつ、当該画像の認識を一定時間ごとに行うことを特徴とする請求項１〜１１のいずれか１項に記載の携帯装置。
【請求項１５】
前記画像の撮像を終了した場合、前記変換入力候補の表示を終了することを特徴とする請求項１〜１４のいずれか１項に記載の携帯装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識結果に応じた変換入力候補から選択入力できる携帯装置に関する。
【背景技術】
【０００２】
従来の携帯端末装置は、文字選択ボタンの数が限られているため、一つの文字選択ボタンに多数の文字が割り当てられており、文字選択ボタンの押下数に応じて異なる文字を入力できるようになっている。そのため、所望のテキストを入力する場合、各文字選択ボタンを何度も押下する必要があり、非常に面倒である。
【０００３】
そこで、文字選択ボタンを頻繁に押下しなくても、文字、文字列、単語、語句、絵文字、キャラクター、および縮小画像などを含む各種テキスト（以降：テキストと表現）の入力を行えるようにする技術が幾つか開発されている。そのうちの一つに、画像認識に基づくテキスト入力技術がある。この技術では、所定の画像を認識し、認識した結果に応じたテキストをメモリから取得して、入力する。このため、テキストを入力する際の手間を大きく削減することができる。
【０００４】
特許文献１には、複数種類のメッセージを、所定のポーズまたはジェスチャの画像に対応付けて記憶部に記憶し、着信時に、カメラ部によって撮像された画像からポーズまたはジェスチャを認識し、認識したポーズまたはジェスチャに対応するメッセージを記憶部から選択し、選択したメッセージを発信元の端末に送信する技術が開示されている。この技術によれば、通話機能を備えた携帯端末装置のユーザが着信に応答できない状況において、簡便に、応答できない状況を発呼者に伝えることができるようにする。
【０００５】
特許文献２の技術では、携帯電話のカメラを風景に向けて撮像が行われると、撮像画像を基に画像解析処理が行われて、平均明度及びＲＧＢ平均値が算出される。次いで、基地局から送信されている周辺情報を受信する。画像解析結果及び周辺情報を満たす画像解析結果判定条件及び周辺情報判定条件に対応するメッセージを出力メッセージ判定テーブルから読み出す。そして、読み出したメッセージ「今日はいい天気ですね」に従った音声をスピーカから出力させ、さらにメッセージを表示部に表示させる。これにより、撮像画像や撮像場所を基にした、種々の趣向を凝らした演出をする撮像画像処理装置等を実現する。
【０００６】
特許文献３には、運用者が管理する運用サーバ及び解析サーバと、多数のユーザの通信端末とによって構成される画像解析システムが開示されている。運用サーバは、インターネット上にＷｅｂページを公開し、登録会員ごとのメッセージ付き写真画像を閲覧に供す。運用サーバはこのサイトに送られた画像付き電子メールをメールの文書データと画像データとに関連づけて画像データベースに格納する。解析サーバは画像データベースの画像データをビットごとにＲＧＢ値及びＣＭＹＫ値を解析し、画像データ全体の平均値を夫々算出して平均的特徴色を算出すると共に、文書データから形容詞を抽出して、夫々を関連付けした色彩データベースに夫々格納する。平均的特徴色と形容詞は、一方をもとに他方を機械的に抽出できる。これにより、画像や色彩と言葉を相互に客観的に関連付けして分類したデータベースを構築し、画像や色彩、言葉を機械的に抽出する。
【０００７】
特許文献４の技術では、文章作成モード下において顔文字入力の開始が選択されると、文章データを記憶させたまま、撮像モードを作動させる。撮像モードにおいて人の顔などの被写体が内蔵デジタルカメラによって撮像されると、画像データから顔画像データを抽出する処理を行い、撮像モードを終了させる。抽出した顔画像データに対応する顔文字を、記憶されている顔画像顔文字対応表を用いて検索し、該当した顔文字がある場合、該顔文字を構成する文字列データを作成中の文章データに付加する。これにより、画像データから抽出した顔画像データに対応する顔文字を入力できるようにして、顔文字の入力を簡易にした顔文字入力装置を提供する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５-３０３８３２号公報（公開日：２００５年１０月２７日）
【特許文献２】特開２００５-１０９９９５号公報（公開日：２００５年４月２１日）
【特許文献３】特開２００５-１８２７０３号公報（公開日：２００５年５月５日）
【特許文献４】特開２００７-１９９９０８号公報（公開日：２００７年８月９日）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、従来の技術では、表示されたテキストをユーザが見るとき、認識対象の画像はすでに画面から消えている。そのため、画像認識結果に応じて選択されたテキストが、確かに画像の内容に合致しているか否か、ユーザが容易に判断できない問題が生ずる。
【００１０】
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、画像認識結果に応じた変換入力候補を、ユーザに選択させることができる変換入力方法を備えた携帯装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明に係る携帯装置は、前記の課題を解決するために、
撮像手段によって取得した画像、および記憶手段にある画像を表示する画像表示手段と、
前記画像を認識する画像認識手段と、
前記画像の認識結果に応じた変換入力候補を取得する変換入力候補取得手段と、
前記画像と前記変換入力候補を同時表示する表示制御手段と、
前記変換入力候補から選択入力できる変換入力選択手段とを備えていることを特徴としている。
【００１２】
前記の構成によれば、携帯装置の表示部には、認識対象の画像と共に、当該画像の認識結果に応じた変換入力候補が表示される。したがってユーザは、認識画像および対応する変換入力候補を同時に確認することができる。これによりユーザは、表示された変換入力候補が認識画像の内容に合致した適切なものかどうかを、容易に判断することができる。
【００１３】
また、本発明に係る携帯装置では、さらに、
所定のキーが押下された場合に、前記変換入力候補の入力方式を、文字選択ボタンの押下に基づく入力方式に切り換えできる表示制御手段をさらに備えていることが好ましい。
【００１４】
これによりユーザは、状況に応じて、画像認識結果に応じた変換入力候補から選択入力する方式ではなく、文字選択ボタンの押下により直接文字を入力する方式によって、文字、文字列、単語、語句、絵文字、キャラクター、および縮小画像などを含む各種テキスト（以降：テキストと表現）を入力できる。したがって、前記テキスト入力の柔軟性をより高めることができる。
【００１５】
また、本発明に係る携帯装置では、さらに、
前記画像の認識結果に応じた前記変換入力候補を、前記表示制御手段による切り換え処理の後、前記文字選択ボタンの押下に基づく文字入力時の入力候補と共に表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
【００１６】
前記の構成によれば、ユーザが選択できる変換入力候補がより多くなるので、テキスト入力時の多様性を高めることができる。
【００１７】
また、本発明に係る携帯装置では、さらに、
前記画像と、前記画像の認識結果に応じた前記変換入力候補と、文字選択ボタンの押下に基づく入力方式時の変換入力候補とを同時に表示できる表示制御手段を用い、変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
【００１８】
前記の構成によれば、ユーザが選択できる変換入力候補がより多くなるので、テキスト入力時の多様性を高めることができる。
【００１９】
また、本発明に係る携帯装置では、さらに、
前記画像の認識結果に応じた前記変換入力候補と、前記文字選択ボタンの押下に基づく文字入力時の前記変換入力候補とを、互いに表示形態を異ならせて表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
【００２０】
前記の構成によれば、ユーザは、画像認識結果に応じた変換入力候補と、その他の変換入力候補とを、容易に区別することができる。
【００２１】
また、本発明に係る携帯装置では、さらに、
現在の時刻を取得する時刻取得手段をさらに備え、
前記画像の認識結果および前記取得された現在の時刻に応じた前記変換入力候補を表示する表示制御手段を使い、前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
【００２２】
前記の構成によれば、携帯装置は、たとえば朝の時間帯に応じた朝の挨拶文を変換入力候補として表示、および入力できる。したがって、ユーザは、現在の時刻に応じた適切なテキスト入力を入力できる。
【００２３】
また、本発明に係る携帯装置は、さらに、
携帯装置における所定の処理の履歴があるか否かを判定する履歴判定手段をさらに備え、
前記変換入力候補取得手段、および前記表示制御手段は、前記画像の認識結果および前記履歴の有無に応じた前記変換入力候補を取得、および表示することが好ましい。
さらに、取得、および表示された前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
【００２４】
前記の構成によれば、携帯装置における所定の処理（たとえば電子メールの送信処理）の履歴の有無に応じた変換入力候補を取得、および表示する。たとえば、携帯装置において現在作成中の電子メールの送信相手に対する過去の特定の時間帯における他の電子メールの送信履歴がなければ、当該特定の時間（たとえば朝）に相手に送信したメールが無いので、朝に初めて送るメールに入力することを考慮した変換入力候補（たとえば朝の挨拶文）を取得、および表示する。一方、当該履歴があれば、朝の時間帯にすでに相手にメールを送信済みであるため、朝の挨拶文の入力は不要と判定し、挨拶文以外の変換入力候補を取得、および表示され、変換入力候補から選択入力できる。以上の結果、ユーザは、取得、および表示された変換入力候補から、現在の状況にふさわしいテキストを簡単な操作で入力できる。
【００２５】
また、本発明に係る携帯装置では、さらに、
周囲の明るさを測定する明るさ測定手段をさらに備え、前記変換入力候補取得手段、および前記表示制御手段は、前記画像の認識結果および前記測定された明るさに応じた前記変換入力候補を取得、および表示することが好ましい。さらに、取得、および表示された前記変換入力候補から選択入力できる変換入力選択手段を備えていることが好ましい。
【００２６】
前記の構成によれば、携帯装置は、画像の認識結果および測定された明るさの両方に応じた変換入力候補を取得、および表示され、変換入力候補から選択入力できる。たとえば、画像が基準の明るさを下回る場合に、これらの認識結果および測定結果に対応する変換入力候補を取得、および表示され、変換入力候補から選択入力できる。したがって、画像の認識結果にのみ基づき変換入力候補を取得、および表示、入力する場合に比べて、変換入力候補の適切さをより向上できる。
【００２７】
また、本発明に係る携帯装置では、さらに、前記撮像された画像と、前記取得された前記変換入力候補とを互いに関連付けて記憶する記憶手段を備えていることが好ましい。
【００２８】
また、本発明に係る携帯装置では、さらに、前記変換入力候補取得手段は、前記撮像された画像に含まれている画像情報を、当該画像に応じた変換入力候補として取得することが好ましい。
【００２９】
前記の構成によれば、取得、および表示される変換入力候補の種類をより増やすことができる。
【００３０】
また、本発明に係る携帯装置では、さらに、携帯装置が所定の基準時間静止した場合に、前記画像の撮像と、当該画像の認識とを開始することが好ましい。または、携帯装置の撮像ボタンがユーザによって押下された場合に、前記画像の撮像と、当該画像の認識とを開始することが好ましい。または、前記画像の撮像を持続的に行いつつ、当該画像の認識を一定時間ごとに行うことが好ましい。
【００３１】
また、本発明に係る携帯装置では、さらに、前記画像の撮像を終了した場合、前記変換入力候補の表示を終了することが好ましい。
【発明の効果】
【００３２】
以上のように、本発明に係る携帯装置は、画像認識結果に応じた変換入力候補をユーザに選択させることができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係る携帯電話機の要部構成を示すブロック図である。
【図２】携帯電話機の概観を示す図である。
【図３】メール作成時に主表示部に表示される各画面を表す図である。
【図４】メール作成時に主表示部に表示される各画面を表す図である。
【図５】携帯電話機において、画像の認識結果および現在時刻に応じたテキストを入力する際の処理の流れを示すフローチャートである。
【図６】携帯電話機において、同じ画像から別の変換入力候補を取得し、ユーザに提示する際の処理の流れを示すフローチャートである。
【図７】携帯電話機がテキスト入力方式を切り換える際の処理の流れを示すフローチャートである。
【図８】携帯電話機が、設定された優先モードに基づき画像を認識して当該認識結果に応じた変換入力候補を入力する際の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００３４】
本発明に係る一実施形態について、図１〜図８を参照して以下に説明する。
【００３５】
図１は、本発明の一実施形態に係る携帯電話機１の要部構成を示すブロック図である。この図に示すように、携帯電話機１は、無線アンテナ２、無線部４、通信制御部６、制御部８、Ｉｒ送信部１０、Ｉｒ受信部１２、インジケータ１４、メモリ１６、大容量メモリ１８、テレビアンテナ２０、テレビチューナ２２、電源制御部２４、電池２５、プログラムメモリ２６、入力操作部２８、主カメラ３０、副カメラ３２、主表示部３４、副表示部３６、状態検出部３８、振動センサ４０、ＧＰＳアンテナ４２、ＧＰＳ部４４、マイク４６、スピーカ４８、音声処理部５０、ＲＦＩＤアンテナ５２、ＲＦＩＤリーダ５４、照度センサ５６、および距離センサ５８を備えている。
【００３６】
無線部４は無線アンテナ２を通じて無線通信を行う。通信制御部６は、無線部４による無線通信を制御する。
【００３７】
制御部８は携帯電話機１に備えられる各部材を統括制御する。制御部８は、メール処理部６０、表示制御部６２、画像認識部６４、および変換入力候補制御部６６を備えている。これらの部材の役割および機能については後述する。
【００３８】
Ｉｒ送信部１０は赤外線を送信する。Ｉｒ受信部１２は赤外線を受信する。
【００３９】
インジケータ１４は携帯電話機１の状態を点灯によって示す。
【００４０】
メモリ１６は各種のデータおよび情報を保存する。本実施形態では、番号プリセット、電話帳、プリセットメッセージ、住所データ、壁紙データ、メール履歴、電話履歴、位置情報、および行動履歴を保存している。これらのデータまたは情報は公知のものであるため、これ以上の詳細な説明を省略する。
【００４１】
大容量メモリ１８は、メモリ１６には保存しきれない、サイズの大きなデータおよび情報を保存する。本実施形態では、地図情報、画像情報、および文字候補情報を保存している。
【００４２】
テレビチューナ２２は、テレビアンテナ２０を通じてテレビ放送を受信する。
【００４３】
電源制御部２４は、電池２５から供給される電力に基づき携帯電話機１における電源を制御する。
【００４４】
プログラムメモリ２６は携帯電話機１において実行される各種のプログラム（ソフトウェア）を保存している。
【００４５】
入力操作部２８はユーザによる携帯電話機１に対する入力操作を受け付ける。
【００４６】
主カメラ３０は、光学系３０ａ、撮像部３０ｂ、および映像信号処理部３０ｃを備えている。この構成により、携帯電話機１の外部にある撮像対象を撮像する。副カメラ３２は、光学系３２ａ、撮像部３２ｂ、および映像信号処理部３２ｃを備えている。この構成により、携帯電話機１の外部にある撮像対象を撮像する。
【００４７】
主表示部３４および副表示部３６は、いずれも、各種のテキストおよび画像などの情報を表示する、いわゆるディスプレイである。たとえば液晶ディスプレイまたはプラズマディスプレイとして実装される。
【００４８】
状態検出部３８は、携帯電話機１における筐体の状態を検出する。ここでいう「筐体の状態」とは、たとえば折り畳み状態、回転状態、サイクロイド状態、またはスライド状態などのことである。
【００４９】
振動センサ４０は、携帯電話機１における振動状態を検出し、振動の度合いに応じた信号を出力する。
【００５０】
ＧＰＳ部４４は、ＧＰＳアンテナ４２を通じて携帯電話機１の現在位置を示す情報を受信する。これにより携帯電話機１は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）機能を実現する。
【００５１】
マイク４６は携帯電話機１の外部の音声を電気信号に変換する。スピーカ４８は音声を出力する。音声処理部５０はマイク４６による音声録音およびスピーカ４８による音声出力を制御する。
【００５２】
ＲＦＩＤリーダ５４は、ＲＦＩＤアンテナ５２を通じて無線タグから情報を読み出す。
【００５３】
照度センサ５６は携帯電話機１の周囲の照度を検出し、検出した照度に応じた電気信号を出力する。
【００５４】
距離センサ５８は、測定対象物と携帯電話機１と間の距離を測定し、測定した距離に応じた電気信号を出力する。
【００５５】
（携帯電話機１の概観）
図２は、携帯電話機１の概観を示す図である。図２（ａ）に示すように、携帯電話機１は折り畳み可能な構造を有しており、２つの筐体を有している。一方の筐体には主表示部３４が備えられ、もう一方の筐体には、入力操作部２８が備えられている。入力操作部２８は、決定キー７０、マルチガイドキー７２、左ソフトキー７４、右ソフトキー７６、および文字選択ボタン７８から構成される。また、図２（ｂ）に示すように、携帯電話機１が折り畳まれた状態において、主カメラ３０が携帯電話機１の外部を向いた状態で備えられている。
【００５６】
ユーザは、携帯電話機１を使い、メールを作成したり、ブログに記事をアップしたりすることができる。その際、メール本文または記事本文を執筆する。この執筆のために文字、文字列、単語、語句、絵文字、キャラクター、および縮小画像などを含む各種のテキスト（以降：テキストと表現）を入力する。携帯電話機１は、これらの入力を容易にするための機能を有している。以下に、当該機能について図３〜図８を参照して説明する。
【００５７】
（メール本文の作成画面）
図３および図４は、メール作成時に主表示部３４に表示される各画面を表す図である。
図５は、携帯電話機１において、画像の認識結果および現在時刻に応じたテキストを入力する際の処理の流れを示すフローチャートである。
【００５８】
図５に示すように、メール処理部６０が、メール作成機能を起動する（ステップＳ１）。これにより表示制御部６２が、メール作成画面を主表示部３４に表示する（図３（ａ））。この画面には、テキスト表示領域８０およびメニュー表示領域８２が設定されている。テキスト表示領域８０には、ユーザが入力したテキストが表示される。メニュー表示領域８２には、ユーザが選択可能なコマンドが複数、横並びになって表示される。本実施形態では３つのコマンドが表示される。図３（ａ）では「メニュー」、「完了」、および「キャンセル」がユーザから見た左側から順に並んでいる。
【００５９】
図３（ａ）の状態において、ユーザが左ソフトキー７４を押下すると、メニュー表示領域８２に表示されている「メニュー」が選択される。このメニューを階層的に展開していくと「画像引用」という項目があり、ユーザはこれを選択する。すると、制御部８は画像引用機能を起動する（ステップＳ２）。
【００６０】
画像引用機能を起動すると、携帯電話機１は、まず主カメラ３０を動作させ、携帯電話機１の周囲を撮像する。次に、画像引用によるテキスト入力のための画面を主表示部３４に表示する。（ステップＳ３、図３（ｂ））。
【００６１】
この画面には、上述したテキスト表示領域８０に加え、画像表示領域８４および変換入力候補表示領域８６が含まれている。表示制御部６２は、主カメラ３０によって撮像された画像を、画像表示領域８４に表示する（ステップＳ４）。図３（ｂ）の例では、カーテン越しに青空を撮像した画像を表示している。また、メニュー表示領域８２にはユーザから見て左から順に「認識切換」、「決定」、および「画像切換」のコマンドを表示している。
【００６２】
画像の表示後、画像認識部６４が、当該画像を認識する（ステップＳ５）。図３（ｂ）の画面を表示しているとき、携帯電話機１は明るさ／色調を優先させて画像を認識するモードで動作している。そのため、画像を認識する際、画像に含まれる明るさおよび色調の情報を優先的に取り出す。なお、現在設定されているモードを表すアイコンを、画面のどこかに表示してもよい。
【００６３】
画像の認識後、制御部８が現在の時刻を検出する（ステップＳ６）。この時刻はたとえば携帯電話機１内のローカルクロックから取得する。次に制御部８は、現在の時刻が朝か否かを判定する（ステップＳ７）。携帯電話機１では、所定の時間帯（たとえば７時〜９時）の時刻が朝であることが予め定められている。そこで制御部８は、検出した現在の時刻が、朝であると定められた所定の時間帯内の時刻であるか否かを判定する。
【００６４】
ステップＳ７における判定の結果が「偽」であるとき（ＮＯ）、携帯電話機１は、図５に示す処理を終了する。なお、処理を終了する代わりに、朝以外の時間帯に応じた処理を実行してもよい。たとえば、昼または夜の時間帯のメール送信履歴を確認し、履歴の有無に応じた処理を実行する、といったものである。具体的には、現在の時間が昼の時間帯（たとえば午後１２時〜午後１４時）であるか否かを判定し、昼の時間帯であった場合には、さらに、昼の時間帯に送信したメールの履歴があるか否かを判定する。もし昼の時間帯に送信したメールが無ければ、昼の時間帯に初めて送るメールであるから、メール本文に入力すべき昼の挨拶文として「こんにちは」などのテキストを変換入力候補として取得し、変換入力候補表示領域８６に表示する。結果、ユーザは、昼の挨拶文を簡単な操作でメール本文に入力できる。
【００６５】
一方、ステップＳ７における判定の結果が「真」であるとき（ＹＥＳ）、メール処理部６０が、メール送信相手に関する今朝のメール送信履歴をメモリ１６内から検索する（ステップＳ８）。そして、当該履歴があるか否かを判定する（ステップＳ９）。ここでいう今朝とは携帯電話機１が動作している日の朝のことであり、また「朝」とは前述した所定の時間帯（たとえば７時〜９時）内の時刻であると、携帯電話機１において事前に定められている。
【００６６】
ステップＳ９における判定の結果が「真」であるとき（ＹＥＳ）、携帯電話機１は、図５に示す処理を終了する。すなわち、朝のメール送信履歴がすでにある（つまり朝の時間帯に相手にメールをすでに送っている）ので、このような送信済みのメールに朝の挨拶文を入力済みであるとみなす。その結果、現在作成中のメール文面には朝の挨拶文を再度入力する必要は無いと判定する。この判定に従い、朝の挨拶文の変換入力候補を取得しない。
【００６７】
一方、ステップＳ９における判定の結果が「偽」であるとき（ＮＯ）、変換入力候補制御部６６が、複数の朝の挨拶文を複数の変換入力候補として大容量メモリ１８から取得する（ステップＳ１０）。ここで、携帯電話機１の大容量メモリ１８には、朝の挨拶文が、図３（ｂ）に示す画像の認識結果（明るさ／色調を優先した場合）、および朝の時間帯（７時〜９時）を示す情報にそれぞれ関連付けられて、予め複数保存されている。
【００６８】
表示制御部６２は、変換入力候補制御部６６によって取得された複数の変換入力候補を変換入力候補表示領域８６に表示する（ステップＳ１１、図３（ｃ））。図３（ｂ）の例では、「おはよう」および「おはよー」など合計４つの挨拶文が、変換入力候補として表示されている。ここで、図３（ｂ）に示す画像を認識した結果、画像が基準に明るさを上回る判定された場合には、これらの朝の挨拶文に末尾に、晴れであることを示す絵文字（太陽の絵）を付与して、変換入力候補として取得、および表示してもよい。この表示の例を図３（ｄ）に示す。図３（ｄ）では、図３（ｃ）と異なり、各挨拶文の末尾に一律に太陽の絵文字が付加されている。
【００６９】
なお、図３（ｂ）に示す画像を認識した結果、画像が基準の明るさを下回る判定された場合には、これらの朝の挨拶文に末尾に、曇りであることを示す絵文字（雲の絵）を付与して、変換入力候補として取得、および表示してもよい。
【００７０】
さらに、携帯電話機１は、このような明るさの判定を、照度センサ５６からの出力に基づいて行っても良い。また、画像認識による明るさの判定と、照度センサ５６の出力に基づく明るさの判定とを組み合わせて、判定精度をより高めてもよい。
【００７１】
ユーザは、変換入力候補表示領域８６に表示された複数の変換入力候補のうち、入力したいものを１つ選択する（ステップＳ１２）。具体的には、マルチガイドキー７２を押下してカーソルを上下させ、選択した変換入力候補の位置にもって行き、そこで決定キー７０を押下する。これにより表示制御部６２が、ユーザによって選択された変換入力候補をテキスト表示領域８０に表示する（図３（ｅ））。図３（ｅ）の例では「おはよー」というテキストが選択され、表示されている。これによりユーザは、朝の時間帯に相手に初めて送るメールの文中に、簡単な操作によって朝の挨拶文を入力できる。
【００７２】
（認識対象画像の取得先切換）
携帯電話機１は、認識対象の画像を、主カメラ３０によって撮像したものから、副カメラ３２によって撮像したもの、または、大容量メモリ１８に保存されているものに随時変更できる。図３（ｃ）の画面に示すように、メニュー表示領域８２に、ユーザが選択可能なコマンドとして、「認識切換」、「決定」、および「画像切換」がユーザから見た左側から順に並んでいる。
【００７３】
図３（ｃ）の状態において、ユーザが左ソフトキー７４を押下すると、メニュー表示領域８２に表示されている「認識切換」が選択される。するとこのメニューが展開され、「明るさ」、「形状」、および「位置」というサブ項目が表示される。現在選択されているサブ項目にはチェックマークが付されていてもよい。ここでユーザが「明るさ」を選択すると、携帯電話機１は明るさ／色調優先モードで動作する。一方、ユーザが「形状」を選択すると、携帯電話機１は形状／輪郭優先モードで動作する。また、ユーザが「位置」を選択すると、携帯電話機１は位置優先モードで動作する。このとき携帯電話機１は、現在位置を示す情報をＧＰＳ部４４を用いてＧＰＳ衛星から取得できる。
【００７４】
図３（ｃ）の状態において、ユーザが右ソフトキー７６を押下すると、メニュー表示領域８２に表示されている「画像切換」が選択される。するとこのメニューが展開され、「メインカメラ」、「サブカメラ」、および「内蔵画像」というサブ項目が表示される。携帯電話機１は、ユーザによって選択した項目に応じた画像を、認識対象とする。具体的には、ユーザが「メインカメラ」を選択すると、携帯電話機１は、認識対象の画像を主カメラ３０の画像に切り換える。一方、ユーザが「サブカメラ」を選択すると、認識対象の画像を副カメラ３２の画像に切り換える。また、ユーザが「内蔵画像」を選択すると、認識対象の画像を大容量メモリ１８内に保存されている画像に切り換える。
【００７５】
さらに携帯電話機１は、主カメラ３０によって撮像した画像の認識結果に応じた変換入力候補を表示している状態において、認識対象の画像を副カメラ３２によって撮像したものに切り換えた場合、主カメラ３０の画像の認識結果に応じた変換入力候補と、副カメラ３２の画像の認識結果に応じた変換入力候補とを、変換入力候補表示領域８６に同時に表示してもよい。切り換えた画像が大容量メモリ１８内の画像であっても、同様にする。これにより、変換入力候補の数がより増えるので、ユーザは、より多様な選択肢の中から実際に入力したいテキストを選択できる。
【００７６】
（作用・効果）
以上のように、携帯電話機１のユーザは、画像を撮像（認識）するだけで、入力したいテキストを手間無く簡単に入力できる。この変換入力候補は、画像の認識結果、および携帯電話機１の現在の状況を表す情報の両方に関連しているため、ユーザは、現在の状況に応じたテキストを素早くかつリアルタイムに入力することができる。
【００７７】
また、変換入力候補はいずれも、引用元の画像（認識対象の画像）と共に主表示部３４に表示されるので、ユーザは、提示された変換入力候補が画像の内容に合致する適切なものか否かを、素早く判断することができる。したがって、携帯電話機１は、画像認識結果に基づくテキスト入力をより確実することができる。
【００７８】
変換入力候補表示領域８６に表示される変換入力候補は少なくとも１つあればよく、必ずしも複数である必要は無い。ただし、複数にすることが望ましい。複数の変換入力候補を取得、および変換入力候補表示領域８６に表示される場合、ユーザは、多種多様なテキストを入力できるので、テキスト入力の幅を広げることができる。
【００７９】
また、ユーザは画像を撮像（認識）さえすれば画像認識結果に応じたテキストを入力できるので、テキスト入力のために文字キーを押下する必要が無い。これにより、テキスト入力時のキー押下回数を低減できる。
【００８０】
また、携帯電話機１における所定の処理（たとえば電子メールの送信）の履歴の有無に応じた変換入力候補を取得、および表示される。本実施形態では当該所定の処理は電子メールの送信であるが、これに限らず、他の処理であってもよい。また、当該履歴は現在作成中の電子メールの送信相手に対する過去の特定の時間帯における他の電子メールの送信履歴であるが、これに限らず、他の履歴（たとえば受信履歴）であってもよい。いずれにしても、履歴の有無に応じた変換入力候補を取得、および表示されるので、ユーザは、現在の状況にふさわしいテキストを簡単な操作で入力できる。
【００８１】
また、メール送信相手に関する今朝のメール送信履歴がある場合は、朝の挨拶文をメール本文に入力しない。履歴がすでにある場合は先のメールに挨拶文を含めて送った可能性が高いため、繰り返しを避けるための措置である。このような工夫により、メールの文面をより自然な形にすることができる。
【００８２】
また携帯電話機１は、撮像画像の認識結果に加え、現在の時刻も考慮した上で、変換入力候補を検出し、ユーザに提示する。これにより、朝の挨拶文を変換入力候補として朝の時間帯にユーザに提示する処理を、より確実に行うことができる。
【００８３】
（続けて他の変換入力候補を表示）
携帯電話機１は、図５に示す処理を完了したあと、続けて、図６に示す処理を実行する。図６の処理では、同じ撮像画像から異なる優先モードで認識処理を実行し、新たな認識結果に応じた異なる複数の変換入力候補をユーザに提示する。図６は、携帯電話機１において、同じ画像から別の変換入力候補を取得し、ユーザに提示する際の処理の流れを示すフローチャートである。
【００８４】
まず、表示制御部６２は、図３（ｅ）に示す画像の表示を継続する（ステップＳ２１）。こうすることによって、ユーザに対して、どのような画像の認識結果に基づき変換入力候補を表示したのかを把握させるようにする。次に、画像の認識結果を基に画像が明るいか否か、すなわち基準の明るさを上回るか否かを判定する（ステップＳ２２）。ステップＳ２２における判定の結果が「偽」であるとき（ＮＯ）、変換入力候補制御部６６は、変換入力候補として、曇りや雨などの天気を現す変換入力候補を大容量メモリ１８から取得する（ステップＳ２４）。このような変換入力候補は、画像が基準の明るさを下回る場合の認識結果に関連付けられて、大容量メモリ１８に予め保存されている。
【００８５】
一方、ステップＳ２２における判定の結果が「真」であるとき（ＹＥＳ）、画像認識部６４は、画像の認識結果に基づき、画像が青色か否かを判定する（ステップＳ２３）。ここで、ステップＳ２３における判定の結果が「偽」であるとき（ＮＯ）、変換入力候補制御部６６は、ステップＳ２４の処理を実行する。なお、大容量メモリ１８には、画像が青色以外である場合の認識結果に関連付けられて、曇りや雨関連の天気を表す変換入力候補が大容量メモリ１８に予め保存されている。
【００８６】
一方、ステップＳ２４における判定の結果が「真」であるとき（ＹＥＳ）、変換入力候補制御部６６は、変換入力候補として、晴れ関連の天気を表す変換入力候補を大容量メモリ１８から取得する（ステップＳ２５）。このような変換入力候補は、画像が基準の明るさを上回りかつ青色である場合の認識結果に関連付けられて、大容量メモリ１８に予め保存されている。
【００８７】
表示制御部６２は、変換入力候補制御部６６によって取得された変換入力候補を、変換入力候補表示領域８６に表示する（ステップＳ２６、図３（ｅ））。図３（ｅ）の例では、晴れ関連の天気を表す変換入力候補として「イイ天気だね」および「天気良いみたいだね」などの文章が表示されている。このとき、図示しない３軸センサによって携帯電話機１の向きを読み取り、空方向を撮像したか否かを判定することによって、判定制度をより高めてもよい。
【００８８】
ユーザは、マルチガイドキー７２および決定キー７０を操作して、変換入力候補の１つを選択する（ステップＳ２７）。ここでは「天気良いね」を選択している。表示制御部６２は、ユーザによって選択された変換入力候補をテキスト表示領域８０に表示する（ステップＳ２８、図３（ｆ））。
【００８９】
次に携帯電話機１は、変換入力候補引用元の画像を切り換える。具体的には、ユーザが携帯電話機１を操作し、主カメラ３０によってコーヒーカップを撮像する。これにより表示制御部６２は、コーヒーカップの画像を次の画像として画像表示領域８４に表示する（ステップＳ２８、図３（ｆ））。ここでユーザが左ソフトキー７４を押下することによって、メニュー表示領域８２に表示されている「認識切換」が選択される。するとこのメニューが展開され、「明るさ」、「形状」、および「位置」というサブ項目が表示される。ここではユーザは「形状」を選択する。この選択により、携帯電話機１は、形状／輪郭優先モードで動作する。これにより、画像認識部６４は、画像を認識する際、形状または輪郭の検出に基づく認識処理を優先的に実行する。
【００９０】
画像認識部６４は、次に表示された画像を認識する（ステップＳ２９）。図３（ｆ）の例では、コーヒーカップの形状を認識する。これにより、変換入力候補制御部６６が、当該認識結果に応じた変換入力候補を大容量メモリ１８から取得する。結果、表示制御部６２は、認識結果に応じた変換入力候補を変換入力候補表示領域８６に表示する（図３（ｇ））。図３（ｇ）の例では、「今から朝ごはん」および「朝食、食べています」などの文章を変換入力候補として表示する。なお、これらの変換入力候補は、コーヒーカップの形状を表す認識結果に関連付けられて、予め、大容量メモリ１８に保存されている。
【００９１】
以上のように、携帯電話機１は、同じ認識画像から異なる優先モードに応じた認識処理によって、異なる状況に応じた異なる変換入力候補を表示し、ユーザに選択させる。したがって、ユーザは多種多様なテキストを入力できる。
【００９２】
（テキスト入力方式の切り換え）
携帯電話機１は、上述した画像引用型のテキスト入力方式と、キー押下型のテキスト入力方式とを、随時、切り換えることができる。この場合の処理の流れについて、図７を参照して以下に説明する。図７は、携帯電話機１がテキスト入力方式を切り換える際の処理の流れを示すフローチャートである。
【００９３】
この図に示すように、まず携帯電話機１は、画像引用方式により変換入力候補を取得し表示する。この処理はステップＳ３１〜Ｓ３６に示す通りであり、ここの処理の詳細はすでに説明済みであるためここでは省略する。ステップＳ３６の処理が終了した時点で、図３（ｂ）の画面が主表示部３４に表示されているものとする。
【００９４】
変換入力候補の表示後、制御部８は、ユーザによって文字選択ボタン７８が押下されたか否かを判定する（ステップＳ３７）。ステップＳ３７における判定の結果が「偽」であるとき（ＮＯ）、携帯電話機１は、変換入力候補を選択する（ステップＳ３８）。具体的には、ユーザがマルチガイドキー７２を操作して複数の変換入力候補の一つを選択し、携帯電話機１はその選択処理を受け付ける。制御部８は選択された変換入力候補をテキスト表示領域８０に表示する。次に、制御部８は、テキスト入力を終了するか否かを判定する（ステップＳ３９）。たとえばユーザが「終了」メニューを選択した場合、テキスト入力を終了する。ここで、ステップＳ３９における判定の結果が「偽」であるとき（ＮＯ）、図７の処理はステップＳ３３に戻る。すなわち携帯電話機１は、画像引用方式によるテキスト入力処理を繰り返す。一方、ステップＳ３９における判定の結果が「真」であるとき（ＹＥＳ）、携帯電話機１は、図７に示す処理を終了する。
【００９５】
ここで、ステップＳ３７における判定の結果が「真」であるとき（ＹＥＳ）、携帯電話機１は、テキスト入力方式を、現在の画像引用方式から、通常の文字テキスト入力方式に切り換える。ここでいう通常の方式とは、文字選択ボタン７８のキー押下による文字入力に基づくテキスト入力方式のことである。この方式では、ユーザが押下したキーに割り当てられている文字が直接入力される。この切り換え処理により、表示制御部６２は、主表示部３４に、通常のテキスト入力画面を表示する（ステップＳ４０）。ここで、本実施形態において、携帯電話機１が画像引用方式のテキスト入力処理の実行中に、表示制御部６２が図４（ａ）の画面を主表示部３４に表示しているとする。この場合、表示制御部６２は、ステップＳ４０において、図４（ａ）の画面に代えて図４（ｂ）の画面を表示する。図４（ｂ）の画面には、テキスト表示領域８０、メニュー表示領域８２、および変換入力候補表示領域８６が設定されている。
【００９６】
ユーザは、文字選択ボタン７８のキーを押下することによって、「さ」および「ん」の二文字を入力しており、これらの文字が仮の入力テキストとしてテキスト表示領域８０に表示されている。ここで、表示制御部６２は、これら入力された文字に対応する変換入力候補として、複数のテキストを変換入力候補表示領域８６に表示する（ステップＳ４１）。図４（ｂ）の変換入力候補表示領域８６は図４（ａ）のそれよりも広くなっているので、より多くの変換入力候補が同時に表示される。
【００９７】
また表示制御部６２は、キー押下により入力された文字に応じた変換入力候補に加え、直前の画像認証結果に応じて取得された変換入力候補も、同時に変換入力候補表示領域８６に表示してもよい（図４（ｃ））。たとえば図４（ｃ）では「三」および「参考」に加えて「イイ天気だね」および「天気良いね」などを表示する。これにより、変換入力候補の幅が広がるので、入力の効率性を高めることができる。なお、これら画像認識結果に応じた変換入力候補は、キー押下に基づく変換入力候補と異なる形態として表示することが望ましい。たとえばフォントまたは色調を互いに異ならせる。これにより、ユーザが両者を容易に区別することが出来る。
【００９８】
図４（ｂ）の画面には、画像表示領域８４は設定されていない。したがって表示制御部６２は、図４（ｂ）の画面を表示する際、図４（ａ）では表示していた画像（つまり認識対象の画像）を表示しない。その代わりに、所定の画像引用アイコン８８を変換入力候補表示領域８６に表示する。すなわち画像引用アイコン８８は複数の変換入力候補と並んで表示されている。
【００９９】
ユーザは、図４（ｂ）の画面が表示されている状態において、マルチガイドキー７２を操作して、変換入力候補を一つ選択する（ステップＳ４２）。これにより表示制御部６２は、選択された変換入力候補をテキスト表示領域８０に表示する。ここではユーザは「さん」を選択しているので、表示制御部６２は、テキスト表示領域８０において、「おはよー」の次に「さん」を表示する（図４（ｄ））。なお、図４（ｄ）の例では、表示制御部６２は、「さん」の入力後に入力される可能性が高いテキストを予測し、新たな変換入力候補としてテキスト表示領域８０に表示する。
【０１００】
ステップＳ４２の処理の終了後、制御部８は、ユーザによって画像引用アイコン８８が選択されたか否かを判定する（ステップＳ４３）。ここで、ステップＳ４３における判定の結果が「真」であるとき（ＹＥＳ）、図７の処理はステップＳ３１に戻る。これにより、携帯電話機１におけるテキスト入力方式は、画像引用型のテキスト入力方式に復帰する。したがって携帯電話機１は、キー押下型のテキスト入力方式と、画像引用型のテキスト入力方式とを、随時、切り換えることができる。結果、ユーザは状況に応じていずれかの入力方式を選択できるので、テキスト入力時の利便性をより高めることができる。
【０１０１】
一方、ステップＳ４３における判定の結果が「偽」であるとき（ＮＯ）、制御部８は、テキスト入力を終了するか否かを判定する（ステップＳ４４）。ここで、制御部８は、ユーザが決定キー７０を押下した場合（すなわちメニュー表示領域８２内の「完了」ボタンを押下した場合）、テキスト入力を終了すると判定する。したがって図７に示す処理は終了する。
【０１０２】
一方、ユーザが右ソフトキー７６を押下した場合（すなわちメニュー表示領域８２内の「キャンセル」ボタンを押下した場合）、制御部８は、本当にテキスト入力を終了しても良いか否かを確認するためのメッセージを、主表示部３４に表示する。たとえば「テキスト入力を終了しますか？（はい・いいえ）」という表示を行う。ユーザが「はい」を選択した場合、制御部８はテキスト入力を終了すると判定するので、図７に示す処理は終了する。一方、ユーザが「いいえ」を選択した場合、図７に示す処理はステップＳ４１に戻る。
【０１０３】
（認識対象画像および変換入力候補の同時表示）
なお、表示制御部６２は、認識対象の画像と、当該画像の認識結果に応じた変換入力候補（候補Ａ）と、文字選択ボタン７８の押下に基づく入力方式時の変換入力候補（候補Ｂ）とを、同時に主表示部３４に表示することもできる。たとえば、画像表示領域８４に画像を表示すると共に、変換入力候補表示領域８６に候補Ａおよび候補Ｂを表示する。これによりユーザは、表示された変換入力候補から選択入力する。この結果、ユーザが選択できる変換入力候補がより多くなるので、テキスト入力時の多様性を高めることができる。
【０１０４】
（画像認識時の優先モード）
携帯電話機１は、画像を認識する際、何を優先して認識するのかを事前に設定できる。本実施形態では、明るさ／色調、形状／輪郭、または位置のいずれかを優先して認識することを設定する。
【０１０５】
図８は、携帯電話機１が、設定された優先モードに基づき画像を認識して当該認識結果に応じた変換入力候補を取得、および表示する際の処理の流れを示すフローチャートである。
【０１０６】
図８に示すステップＳ５１〜Ｓ５３は、すでに説明済みであるため、ここでは説明を省略する。認識対象の画像の表示後に、ユーザが、画像認識の際の優先モードを入力する（ステップＳ５４）。ここでユーザは左ソフトキー７４を押下する。これによりメニュー表示領域８２に表示されている「認識切換」が選択される。するとこのメニューが展開され、「明るさ」、「形状」、および「位置」というサブ項目が表示される。ユーザは所望のサブ項目を選択し、これにより携帯電話機１が画像を認識する際の優先モードが入力される。
【０１０７】
画像認識部６４は、入力されたモードが明るさ／色調優先モードか否かを判定する（ステップＳ５５）。ステップＳ５５における判定の結果が「真」であるとき（ＹＥＳ）、画像認識部６４は、モードを明るさ／色調優先モードに設定する（ステップＳ５６）。
【０１０８】
一方、ステップＳ５５における判定の結果が「偽」であるとき（ＮＯ）、画像認識部６４は、入力されたモードが形状／輪郭優先モードか否かを判定する（ステップＳ５７）。ステップＳ５７における判定の結果が「真」であるとき（ＹＥＳ）、画像認識部６４は、モードを形状／輪郭優先モードに設定する（ステップＳ５８）。一方、ステップＳにおける判定の結果が「偽」であるとき（ＮＯ）、画像認識部６４は、モードを位置優先モードに設定する（ステップＳ５９）。
【０１０９】
画像認識部６４は、設定された優先モードに応じて画像を認識する（ステップＳ６０）。たとえば、前述したように図３（ｂ）の例（カーテン越しに青空を撮像した画像を認識）では優先モードが明るさ／色調優先モードに設定されているので、画像の明るさ／色調を最優先に認識する。その結果、画像が明るいか否か、および画像が青色か否かを認識する。一方、図３（ｆ）の例（コーヒーカップの画像を認識）では優先モードが形状／輪郭優先モードに設定されているので、画像内の形状および輪郭を最優先に認識する。その結果、画像内のコーヒーカップの形状を認識する。
【０１１０】
ステップＳ６１〜Ｓ６３までの処理はすでに説明済みであるため詳細を省略する。ステップＳ６３の次に、携帯電話機１は、テキスト入力を終了するか否かを判定する（ステップＳ６４）。ステップＳ６４における判定の結果が「偽」であるとき（ＮＯ）、図８の処理はステップＳ５４に戻る。これによりユーザは画像認識の際の優先モードを次々と切り換えて、多種多様な認識を行わせ、各認識結果に応じた多様な変換入力候補を表示させることができる。なお、ステップＳ６４における判定の結果が「真」であるとき（ＹＥＳ）、図８に示す処理は終了する。
【０１１１】
なお、本発明は上述した各実施形態に限定されるものではない。当業者は、請求項に示した範囲内において、本発明をいろいろと変更できる。すなわち、請求項に示した範囲内において、適宜変更された技術的手段を組み合わせれば、新たな実施形態が得られる。
【０１１２】
（適用範囲）
本発明は、テキスト入力可能な装置全般に適用できる。したがって、上述したメール作成時のテキスト入力に限らず、たとえばブログの記事作成時およびメモ作成時など各種のテキスト入力処理に適用できる。
【０１１３】
（画像撮像および認識のタイミング）
携帯電話機１は、主カメラ３０の撮像により画像を取得し当該画像を認識する場合（１）携帯電話機１が所定の基準時間（たとえば約１〜２秒程度の極短い時間）静止した場合に自動的に撮像および画像認識を開始するか、（２）ユーザによって撮像ボタンが押下された場合に撮像および画像認識を開始するか、（３）撮像を持続的に行って画像を随時取得しつつ（動画撮像と同じ）、一定時間ごとに画像認識を行うようにしてもよい。いずれにせよ、携帯電話機１は、画像の認識後、認識結果に応じた変換入力候補を大容量メモリ１８内に保持するので、必要に応じて参照し画面表示できる。
【０１１４】
（朝食に関する変換入力候補の表示）
携帯電話機１は、朝食に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像から牛乳、パン、またはみそ汁などのパッケージの表面にあるテキスト（文字、単語等）を認識する。変換入力候補制御部６６が、この認識結果に基づき、朝食に関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「今から朝食だぁ」および「今日の朝食はパンだよ」などがある。表示制御部６２は、取得された朝食に関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、朝食に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１１５】
（仕事に関する変換入力候補の表示）
携帯電話機１は、仕事に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像から一定数以上の文章を認識する。制御部８が、現在時刻をローカルクロック等から取得し、その時刻が仕事中を表す時刻（たとえば９時〜１８時のいずれか）だとする。変換入力候補制御部６６が、これらの認識結果および時刻に基づき、仕事に関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「仕事頑張ってます」および「忙しくて手が離せない」などがある。表示制御部６２は、取得された仕事に関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、仕事に関連する変換入力候補が、当該認識結果と当該仕事中の時刻とに関連付けられて事前に保存されている。
【０１１６】
（マルチ機能）
画像引用機能の起動中に、ユーザが所定のマルチ機能を選択すると、携帯電話機１は、当該機能に対応する画面を主表示部３４に全画面表示する。たとえば、ユーザが「トップメニュー」内の「設定」項目を選択し、さらにこの設定項目のサブ項目である「外部接続」項目を選択したとする。この「外部接続」はマルチ機能の一例である。主表示部３４は、「外部接続」を設定するための画面を表示する。このとき画像認識部６４は、表示された画面に含まれるテキストを認識し、当該認識したテキストを変換入力候補として取得し、変換入力候補表示領域８６に表示する。たとえば、当該画面に含まれる「Ｂｌｕｅｔｏｏｔｈ（登録商標）」、「赤外線通信」、および「ＵＳＢ接続コード」などのテキストを認識する。
【０１１７】
（車両に関する変換入力候補の表示）
携帯電話機１は、画像から物体を認識し、この認識結果に応じたテキストを変換入力候補として取得、および表示してもよい。たとえば、画像からたとえば車両（自動車または電車など）を認識したとする。この場合、変換入力候補制御部６６は、車両に関連する変換入力候補を取得する。たとえば、「今からドライブに行く」および「今から電車に乗ります」などのテキストを大容量メモリ１８から取得する。表示制御部６２は、取得された車両に関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、車両に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１１８】
（時間に関する変換入力候補の表示）
携帯電話機１は、時間に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像から時計の配列（数字の１〜１２が時計周りの配列）認識する。変換入力候補制御部６６が、この認識結果およびに基づき、時間に関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「もうすぐ仕事終わる」および「ちょっと遅れる」などがある。表示制御部６２は、取得された仕事に関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、時間に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１１９】
（電話に関する変換入力候補の表示）
携帯電話機１は、電話に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像から電話機を認識する。たとえば、数字および＊＃を含む配列を検出した場合、電話機を認識したと判定する。変換入力候補制御部６６が、この認識結果およびに基づき、電話に関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「電話欲しい」および「電話しても良い？」などがある。表示制御部６２は、取得された電話に関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、電話に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１２０】
（テレビに関する変換入力候補の表示）
携帯電話機１は、テレビに関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像から「長方形の矩形内に多数の色調がある状態」を認識する。変換入力候補制御部６６が、この認識結果およびに基づき、テレビに関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「テレビ見てるよ」および「のんびりしてるよ」などがある。表示制御部６２は、取得されたテレビに関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、テレビに関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１２１】
（就寝に関する変換入力候補の表示）
携帯電話機１は、就寝に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像から枕または布団を認識する。たとえば、枕または布団の形状を表す所定の輪郭を検出した場合に、枕または布団を認識したと判定する。変換入力候補制御部６６が、この認識結果およびに基づき、就寝に関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「今から寝ます」および「おやすみー」などがある。表示制御部６２は、取得された就寝に関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、就寝に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１２２】
また、枕または布団の認識結果に加え、携帯電話機１の周囲の明るさの測定結果を加味した上で、変換入力候補を取得してもよい。具体的には、照度センサ５６が、携帯電話機１の周囲の明るさを測定する。測定された明るさが基準の値を下回る場合、すなわち携帯電話機１の周囲が暗闇の場合に、変換入力候補制御部６６は、当該認識結果および測定結果に対応する変換入力候補を大容量メモリ１８から取得する。この結果、認識対象の画像に対して選択される変換入力候補の適切さを、より一層高めることができる。
【０１２３】
（人込みに関する変換入力候補の表示）
携帯電話機１は、人込みに関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像から大勢の人を認識する。たとえば、人間の形状を表す所定の輪郭を所定の数だけ上回って検出した場合に、大勢の人を認識したと判定する。この認識結果に基づき、変換入力候補制御部６６が、就寝に関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「大混雑してる．．．」および「すごい人波だよ」などがある。表示制御部６２は、取得された人込みに関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、人込みに関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１２４】
（仕事に関する変換入力候補の表示）
携帯電話機１は、仕事に関する変換入力候補を取得、および表示することもできる。この表示を実現する処理の流れは次の通りである。画像認識部６４が、認識対象の画像からパソコンを認識する。たとえば、ＱＷＥＲＴＹキーボードを検出した場合に、パソコンを認識したと判定する。この認識結果に基づき、変換入力候補制御部６６が、仕事に関連する変換入力候補を大容量メモリ１８から少なくとも一つ取得する。この場合の変換入力候補として「まだ仕事中・・・」および「忙しい・・・」などがある。表示制御部６２は、取得された仕事に関連する変換入力候補を変換入力候補表示領域８６に表示する。なお大容量メモリ１８には、仕事に関連する変換入力候補が、当該認識結果に関連付けられて事前に保存されている。
【０１２５】
（場所に関する変換入力候補の表示）
携帯電話機１は、場所に関する変換入力候補を取得、および表示することもできる。具体的には、ＧＰＳ部４４または距離センサ５８によって、現在の場所（位置）に関する情報を取得し、取得した情報と画像認識結果に応じた変換入力候補を変換入力候補表示領域８６に表示する。これにより、たとえば「○○○に来てるよ」などのテキストを変換入力候補として表示できる。
【０１２６】
（ジェスチャに対応する変換入力候補の表示）
携帯電話機１は、認識対象の画像に含まれる「人間のジェスチャ」に対応する変換入力候補を取得し、変換入力候補表示領域８６に表示してもよい。たとえば携帯電話機１は、認識対象の画像から「顔に手をあてた状態」を認識したとき、「まだ眠い．．．」および「やっと起きたぁ」などのテキストを変換入力候補として取得し、変換入力候補表示領域８６に表示する。一方、認識対象の画像から「歯」を認識したときは「元気だよ」、「嬉しい」、および「楽しい」などのテキストを変換入力候補として取得し、変換入力候補表示領域８６に表示する。また、認識対象の画像から「目の近くに人差し指がある状態」を認識したときは「悲しい」、「寂しい」、および「辛い」などのテキストを変換入力候補として取得し、変換入力候補表示領域８６に表示する。また、認識対象の画像から「広げた手のひら」を認識したときは「ちょっと待って」および「ではでは」などのテキストを変換入力候補として取得し、変換入力候補表示領域８６に表示する。
【０１２７】
なお大容量メモリ１８には、各ジェスチャに関する変換入力候補が各ジェスチャの認識結果に関連付けて事前に保存されている。
【０１２８】
（その他のセンサ）
携帯電話機１は、画像認識結果に加え、温度センサまたは湿度センサ等の各種のセンサからの出力に応じた変換入力候補を取得し、変換入力候補表示領域８６に表示してもよい。この場合、センサの測定対象（温度、湿度等）に応じたテキストをユーザは選択できるようになる。
【０１２９】
（認識画像の保存）
携帯電話機１は、主カメラ３０によって撮像した画像を認識し、当該認識の結果に応じた変換入力候補を取得し、変換入力候補表示領域８６に表示した場合、認識した画像を、入力候補取得用の専用画像として、大容量メモリ１８内の専用フォルダに保存してもよい。このとき、画像認識結果に応じた変換入力候補を、当該画像に関連付けて保存する。これによりユーザは、当該専用フォルダに保存された画像に関連付けられた変換入力候補を、適宜編集（変更、追加、または削除）できる。さらにユーザは、独自の変換入力候補を、保存された画像に新たに関連付けて登録することもできる。
【０１３０】
（画像情報の利用）
携帯電話機１は、認識対象の画像に含まれる画像情報（撮像日時、位置、データ種類、データ容量、ファイル名、撮像機器、などのＥｘｉｆ情報）を、テキストの変換入力候補として取得し、変換入力候補表示領域８６に表示することもできる。
【０１３１】
（プログラムおよび記録媒体）
最後に、携帯電話機１に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。
【０１３２】
すなわち携帯電話機１は、各機能を実現するプログラムの命令を実行するＣＰＵ、このプログラムを格納したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、前記プログラムを実行可能な形式に展開するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、および、前記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。この構成により、本発明の目的は、所定の記録媒体によっても、達成できる。
【０１３３】
この記録媒体は、上述した機能を実現するソフトウェアである携帯電話機１のプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。携帯電話機１に、この記録媒体を供給する。これにより、コンピュータとしての携帯電話機１（またはＣＰＵやＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
【０１３４】
プログラムコードを携帯電話機１に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
【０１３５】
また、携帯電話機１を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、前記のプログラムコードを、通信ネットワークを介して携帯電話機１に供給する。この通信ネットワークは携帯電話機１にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。
【０１３６】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１３７】
本発明は、テキストを入力できる各種の携帯装置（たとえば携帯端末装置および携帯電話機など）として、幅広く利用できる。
【符号の説明】
【０１３８】
１  携帯電話機（携帯装置）
８  制御部（時刻検出手段、履歴検索手段）
１８  大容量メモリ（記憶手段）
３０  主カメラ（カメラ）
３４  主表示部（ディスプレイ）
３８  状態検出部
４４  ＧＰＳ部（位置情報取得手段）
４６  ＧＰＳアンテナ（位置情報取得手段）
５６  照度センサ（明るさ測定手段）
５８  距離センサ（位置情報取得手段）
６２  表示制御部（画像表示手段、表示制御手段）
６４  画像認識部（画像認識手段）
６６  変換入力候補制御部（変換入力候補取得手段、変換入力選択手段）
【図１】
2010170501.tif 000003
【図２】
2010170501.tif 000004
【図３】
2010170501.tif 000005
【図４】
2010170501.tif 000006
【図５】
2010170501.tif 000007
【図６】
2010170501.tif 000008
【図７】
2010170501.tif 000009
【図８】
2010170501.tif 000010