(57)【要約】【課題】文字認識の失敗に左右されることなく効率的に文字入力を行うことができる文字入力装置、文字入力システム及び文字入力方法を提供すること。【解決手段】文字入力装置１は、画像を取得する取得部１０３と、取得部１０３により取得された画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理部１０７と、文字認識処理部１０７により抽出された文字候補群に基づいて、単語候補群を抽出する言語処理部１０９と、文字認識処理部１０７により抽出された文字候補群、又は言語処理部１０９により抽出された単語候補群を、文字入力時の入力候補群として表示する候補群表示部１１２と、を備える。【選択図】図１
2013077243.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理手段と、
前記文字候補群に基づいて、単語候補群を抽出する言語処理手段と、
前記文字候補群又は前記単語候補群を、文字入力時の入力候補群として表示する候補群表示手段と、
を備えることを特徴とする文字入力装置。
【請求項２】
前記取得手段により取得された前記画像に紐付く文字情報又は単語情報に基づいて、文字候補群又は単語候補群を抽出する候補群抽出手段を更に備え、
前記候補群表示手段は、前記候補群抽出手段により抽出された該文字候補群又は該単語候補群を更に表示する、
ことを特徴とする請求項１に記載の文字入力装置。
【請求項３】
撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された画像を取得する、
ことを特徴とする請求項１又は２に記載の文字入力装置。
【請求項４】
画像を格納する画像格納手段を更に備え、
前記取得手段は、前記画像格納手段により格納された該画像を取得する、
ことを特徴とする請求項１又は２に記載の文字入力装置。
【請求項５】
タッチパネルと、
前記取得手段により取得された前記画像を前記タッチパネルに表示する画像表示手段と、
前記タッチパネル上のタッチ操作に基づいて、前記画像表示手段により表示された前記画像の一部領域を示す領域情報を抽出する領域抽出手段と、
を更に備え、
前記領域抽出手段は、抽出した前記領域情報により特定される前記一部領域に相当する画像を、前記文字認識処理手段に出力する、
ことを特徴とする請求項１〜４の何れか一項に記載の文字入力装置。
【請求項６】
前記領域抽出手段は、前記一部領域を抽出するための枠を固定した上で、前記タッチパネル上のシングルタッチ操作に基づいて前記画像を移動し、且つ前記タッチパネル上のマルチタッチ操作に基づいて前記画像を拡大又は縮小する、
ことを特徴とする請求項５に記載の文字入力装置。
【請求項７】
前記領域抽出手段は、前記画像を固定した上で、前記タッチパネル上のシングルタッチ操作に基づいて前記一部領域を抽出するための枠を移動し、且つ前記タッチパネル上のマルチタッチ操作に基づいて前記枠を拡大又は縮小する、
ことを特徴とする請求項５に記載の文字入力装置。
【請求項８】
ネットワークを介して互いに通信可能な文字入力装置とサーバとを含む文字入力システムであって、
前記文字入力装置は、
画像を取得する取得手段と、
前記画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理手段と、
前記文字候補群を前記サーバに送信するクライアント送信手段と、
前記サーバから単語候補群を受信するクライアント受信手段と、
前記文字候補群又は前記単語候補群を、文字入力時の入力候補群として表示する候補群表示手段と、
を備え、
前記サーバは、
前記文字入力装置から前記文字候補群を受信するサーバ受信手段と、
前記サーバ受信手段により受信された前記文字候補群に基づいて、前記単語候補群を抽出する言語処理手段と、
前記言語処理手段により抽出された前記単語候補群を前記文字入力装置に送信するサーバ送信手段と、
を備えることを特徴とする文字入力システム。
【請求項９】
ネットワークを介して互いに通信可能な文字入力装置とサーバとを含む文字入力システムであって、
前記文字入力装置は、
画像を取得する取得手段と、
前記画像を前記サーバに送信するクライアント送信手段と、
前記サーバから文字候補群又は単語候補群を受信するクライアント受信手段と、
前記文字候補群又は前記単語候補群を、文字入力時の入力候補群として表示する候補群表示手段と、
を備え、
前記サーバは、
前記文字入力装置から前記画像を受信するサーバ受信手段と、
前記サーバ受信手段により受信された前記画像に対する文字認識処理に基づいて、前記文字候補群を抽出する文字認識処理手段と、
前記文字認識処理手段により抽出された前記文字候補群に基づいて、前記単語候補群を抽出する言語処理手段と、
前記文字認識処理手段により抽出された前記文字候補群又は前記言語処理手段により抽出された前記単語候補群を、前記文字入力装置に送信するサーバ送信手段と、
を備えることを特徴とする文字入力システム。
【請求項１０】
文字入力装置における文字入力方法であって、
取得手段が、画像を取得する取得ステップと、
文字認識処理手段が、前記画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理ステップと、
言語処理手段が、前記文字候補群に基づいて、単語候補群を抽出する言語処理ステップと、
候補群表示手段が、前記文字候補群又は前記単語候補群を、文字入力時の入力候補群として表示する候補群表示ステップと、
を備えることを特徴とする文字入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字入力機能を備える文字入力装置、当該文字入力装置を含む文字入力システム、及び当該文字入力装置における文字入力方法に関するものである。
【背景技術】
【０００２】
従来、文字入力を行うためのソフトウェアとしてＩＭＥ（Input  Method  Editor）が知られている。一般的なＩＭＥを利用して日本語における仮名漢字変換を行う場合、ユーザは、入力したい漢字の読み方や対応する文字コードを予め知っておく必要があり、または、大量の漢字リストの中から入力したい漢字を探し、選択する必要がある。他の言語、例えば中国語等においても、同様である。
【０００３】
また、従来、ユーザが手書きで文字を入力する際の書き順から入力文字を推定するオンライン文字認識技術を用いたＩＭＥが知られている。ただし、オンライン文字認識では、文字の書き順が異なると誤認識が発生する等、文字の見た目の形状だけでは文字入力を行えない場合がある。また、オンライン文字認識では、手書き同様の入力となるため、複雑な漢字等では文字入力の手間が大きい。
【０００４】
一方、特許文献１では、画像に含まれる文字について文字認識を行い、確定した文字認識結果を用いて仮名漢字変換を行う装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９１９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、文字認識において、文字認識の失敗が発生する、すなわち、誤認識が発生する可能性がある。特許文献１の装置において、文字認識の失敗が発生した場合、確定された誤認識結果が仮名漢字変換に用いられるため、文字入力を効率良く行うことができないという問題が生じる。
【０００７】
そこで、本発明は上記に鑑みてなされたもので、文字認識の失敗に左右されることなく効率的に文字入力を行うことができる文字入力装置、文字入力システム及び文字入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の文字入力装置は、画像を取得する取得手段と、画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理手段と、文字候補群に基づいて、単語候補群を抽出する言語処理手段と、文字候補群又は単語候補群を、文字入力時の入力候補群として表示する候補群表示手段と、を備えることを特徴とする。
【０００９】
また、本発明の文字入力方法は、文字入力装置における文字入力方法であって、取得手段が、画像を取得する取得ステップと、文字認識処理手段が、画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理ステップと、言語処理手段が、文字候補群に基づいて、単語候補群を抽出する言語処理ステップと、候補群表示手段が、文字候補群又は単語候補群を、文字入力時の入力候補群として表示する候補群表示ステップと、を備えることを特徴とする。
【００１０】
このような本発明の文字入力装置及び文字入力方法によれば、取得手段は、画像を取得し、文字認識処理手段は、取得した画像に対する文字認識処理に基づいて、文字候補群を抽出し、言語処理手段は、抽出した文字候補群に基づいて、単語候補群を抽出する。そして、候補群表示手段は、抽出した文字候補群又は単語候補群を、文字入力時の入力候補群として表示する。このように、本発明においては、文字入力時の入力候補群として、取得した画像に対する文字認識処理に基づいた文字候補群又は単語候補群が表示される。例えば、文字候補群には、文字認識処理結果の複数の文字候補が含まれ、単語候補群には当該複数の文字候補の組み合わせから成る複数の単語候補が含まれるため、ユーザが入力したい文字を文字候補群又は単語候補群から選ぶことにより、文字認識の失敗に左右されることなく効率的に文字入力を行うことができる。
【００１１】
また、本発明においては、取得手段により取得された画像に紐付く文字情報又は単語情報に基づいて、文字候補群又は単語候補群を抽出する候補群抽出手段を更に備え、候補群表示手段は、候補群抽出手段により抽出された文字候補群又は単語候補群を更に表示してもよい。
【００１２】
この発明によれば、候補群抽出手段は、画像に紐付く文字情報又は単語情報に基づいて、文字候補群又は単語候補群を抽出し、候補群表示手段は、抽出された文字候補群又は単語候補群を更に表示する。このように、画像に紐付く文字情報又は単語情報に基づいた文字候補群又は単語候補群が、文字入力時の入力候補群として更に表示されるため、効率的に文字入力を行うことができる。
【００１３】
また、本発明においては、撮像手段を更に備え、取得手段は、撮像手段により撮像された画像を取得してもよい。
【００１４】
この発明によれば、撮像手段により撮像された画像を文字認識処理の対象とすることができる。例えば、ユーザは、文字又は単語を含む撮像可能なものが身近にあれば、撮像し、当該文字又は単語を含む画像として取得することで、当該文字又は単語を文字入力時の入力候補群として利用することができるため、効率的に文字入力を行うことができる。
【００１５】
また、本発明においては、画像を格納する画像格納手段を更に備え、取得手段は、画像格納手段により格納された画像を取得してもよい。
【００１６】
この発明によれば、画像格納手段により格納された画像を文字認識処理の対象とすることができるため、例えば、ユーザは、文字又は単語を含む画像を画像格納手段により格納していれば、当該文字又は単語を文字入力時の入力候補群として利用することができるため、効率的に文字入力を行うことができる。
【００１７】
また、本発明においては、タッチパネルと、取得手段により取得された画像をタッチパネルに表示する画像表示手段と、タッチパネル上のタッチ操作に基づいて、画像表示手段により表示された画像の一部領域を示す領域情報を抽出する領域抽出手段と、を更に備え、領域抽出手段は、抽出した領域情報により特定される一部領域に相当する画像を、文字認識処理手段に出力してもよい。
【００１８】
この発明によれば、画像表示手段は、画像をタッチパネルに表示する。そして、領域抽出手段は、タッチパネル上のタッチ操作に基づいて、画像の一部領域を示す領域情報を抽出し、抽出した領域情報により特定される一部領域に相当する画像を、文字認識処理手段に出力する。これにより、例えば、ユーザは、タッチパネルに表示された画像を見ながら、タッチ操作により必要な文字を含む一部領域を選択し、選択した一部領域に相当する画像を文字認識処理の対象とすることができるため、効率的に文字入力を行うことができる。
【００１９】
また、本発明においては、領域抽出手段は、一部領域を抽出するための枠を固定した上で、タッチパネル上のシングルタッチ操作に基づいて画像を移動し、且つタッチパネル上のマルチタッチ操作に基づいて画像を拡大又は縮小してもよい。なお、シングルタッチ操作とは、ユーザが１本の指をタッチパネルに接触したままタッチパネル上で移動させる操作を指す。また、マルチタッチ操作とは、ユーザが２本以上の指をタッチパネルに接触したままそれぞれの指をタッチパネル上で移動させる操作を指す。
【００２０】
この発明によれば、ユーザは簡単な操作で効率的に画像中の一部領域を選択することができる。
【００２１】
また、本発明においては、領域抽出手段は、画像を固定した上で、タッチパネル上のシングルタッチ操作に基づいて一部領域を抽出するための枠を移動し、且つタッチパネル上のマルチタッチ操作に基づいて枠を拡大又は縮小してもよい。
【００２２】
この発明によれば、ユーザは簡単な操作で効率的に画像中の一部領域を選択することができる。
【００２３】
また、本発明の文字入力システムは、ネットワークを介して互いに通信可能な文字入力装置とサーバとを含む文字入力システムであって、文字入力装置は、画像を取得する取得手段と、画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理手段と、文字候補群をサーバに送信するクライアント送信手段と、サーバから単語候補群を受信するクライアント受信手段と、文字候補群又は単語候補群を、文字入力時の入力候補群として表示する候補群表示手段と、を備え、サーバは、文字入力装置から文字候補群を受信するサーバ受信手段と、サーバ受信手段により受信された文字候補群に基づいて、単語候補群を抽出する言語処理手段と、言語処理手段により抽出された単語候補群を文字入力装置に送信するサーバ送信手段と、を備えることを特徴とする。
【００２４】
このような本発明の文字入力システムによれば、文字入力装置にて、画像に対する文字認識処理に基づいて文字候補群を抽出し、サーバにて、当該文字候補群に基づいて単語候補群を抽出する。このように、単語候補群の抽出がサーバ側で行われるため、文字入力装置における処理の負荷を低減することができる。
【００２５】
また、本発明の文字入力システムは、ネットワークを介して互いに通信可能な文字入力装置とサーバとを含む文字入力システムであって、文字入力装置は、画像を取得する取得手段と、画像をサーバに送信するクライアント送信手段と、サーバから文字候補群又は単語候補群を受信するクライアント受信手段と、文字候補群又は単語候補群を、文字入力時の入力候補群として表示する候補群表示手段と、を備え、サーバは、文字入力装置から画像を受信するサーバ受信手段と、サーバ受信手段により受信された画像に対する文字認識処理に基づいて、文字候補群を抽出する文字認識処理手段と、文字認識処理手段により抽出された文字候補群に基づいて、単語候補群を抽出する言語処理手段と、文字認識処理手段により抽出された文字候補群又は言語処理手段により抽出された単語候補群を、文字入力装置に送信するサーバ送信手段と、を備えることを特徴とする。
【００２６】
このような本発明の文字入力システムによれば、サーバにて、画像に対する文字認識処理に基づいて文字候補群を抽出し、当該文字候補群に基づいて単語候補群を抽出する。このように、文字候補群及び単語候補群の抽出がサーバ側で行われるため、文字入力装置における処理の負荷を低減することができる。
【発明の効果】
【００２７】
本発明によれば、文字認識の失敗に左右されることなく効率的に文字入力を行うことができる文字入力装置、文字入力システム及び文字入力方法を提供できる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１実施形態に係る文字入力装置１の構成概要図である。
【図２】文字入力装置１及びサーバ２のハードウェア構成図である。
【図３】本発明の第１実施形態に係る文字入力装置１の動作を示すフローチャートである。
【図４】本発明の第１実施形態に係る文字入力装置１の実施例を示す図（その１）である。
【図５】本発明の第１実施形態に係る文字入力装置１の実施例を示す図（その２）である。
【図６】本発明の第２実施形態に係る文字入力システム３Ａの構成概要図である。
【図７】本発明の第３実施形態に係る文字入力システム３Ｂの構成概要図である。
【発明を実施するための形態】
【００２９】
以下、添付図面を参照して本発明にかかる文字入力装置、文字入力システム及び文字入力方法の好適な実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００３０】
（第１実施形態に係る文字入力装置１の構成）
まず、本発明の第１実施形態に係る文字入力装置１の構成について、図１を参照しながら説明する。第１実施形態として、文字入力装置１は、他の装置と通信等を行わず、自装置内で文字認識処理及び言語処理を完結するスタンドアローンの構成をとる。図１は、文字入力装置１の構成概要図である。文字入力装置１は、後述の撮像部１０１やタッチパネル１０４を備える携帯電話端末である。なお、文字入力装置１は、ノートＰＣ（Personal  Computer）やＰＣ等であってもよい。
【００３１】
図２は文字入力装置１のハードウェア構成図である。図２に示すように、文字入力装置１は、物理的には、ＣＰＵ２０１、ＲＯＭ２０２及びＲＡＭ２０３等の主記憶装置、外部の他の装置との間でデータの送受信を行うための通信モジュール２０４、後述の撮像部１０１やタッチパネル１０４等の入出力デバイス２０５、補助記憶装置２０６等を含む通常の携帯電話端末として構成される。後述する文字入力装置１の各機能は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２０１の制御の元で通信モジュール２０４、入出力デバイス２０５を動作させると共に、ＲＯＭ２０２、ＲＡＭ２０３や補助記憶装置２０６におけるデータの読み出しおよび書き込みを行うことで実現される。
【００３２】
図１に戻り、文字入力装置１は、機能的には、撮像部１０１（特許請求の範囲における「撮像手段」に相当）、画像格納部１０２（特許請求の範囲における「画像格納手段」に相当）、取得部１０３（特許請求の範囲における「取得手段」に相当）、タッチパネル１０４（特許請求の範囲における「タッチパネル」に相当）、画像表示部１０５（特許請求の範囲における「画像表示手段」に相当）、領域抽出部１０６（特許請求の範囲における「領域抽出手段」に相当）、文字認識処理部１０７（特許請求の範囲における「文字認識処理手段」に相当）、文字認識用辞書１０８、言語処理部１０９（特許請求の範囲における「言語処理手段」に相当）、語彙辞書１１０、候補群抽出部１１１（特許請求の範囲における「候補群抽出手段」に相当）及び候補群表示部１１２（特許請求の範囲における「候補群表示手段」に相当）を備えて構成される。以下、文字入力装置１の各構成要素について詳細に説明する。
【００３３】
撮像部１０１は、具体的にはカメラであり、静止画や動画を撮像する。以後、静止画や動画をまとめて画像と呼ぶ。
【００３４】
画像格納部１０２は、一つ以上の画像を格納する。具体的には、画像格納部１０２は、撮像部１０１により撮像された画像や、通信モジュール２０４を介して外部の装置から受信した画像等を格納する。画像格納部１０２は、予め画像を格納していてもよい。
【００３５】
取得部１０３は、画像を取得する。具体的には、取得部１０３は、撮像部１０１により撮像された画像を取得したり、画像格納部１０２により格納された画像を取得したり、通信モジュール２０４を介して外部の装置から画像を取得したりする。
【００３６】
タッチパネル１０４は、画像等をタッチパネル上に表示する出力デバイスの機能と、タッチパネル上のタッチ操作を受け付ける入力デバイスの機能を兼ね備えた装置である。なお、タッチ操作とは、タッチパネル上におけるユーザの指等による接触操作である。また、タッチ操作にはシングルタッチ操作とマルチタッチ操作とが含まれる。シングルタッチ操作とは、ユーザが１本の指をタッチパネルに接触したままタッチパネル上で移動させる操作を指す。また、マルチタッチ操作とは、ユーザが２本以上の指をタッチパネルに接触したままそれぞれの指をタッチパネル上で移動させる操作を指す。
【００３７】
画像表示部１０５は、取得部１０３により取得された画像をタッチパネル１０４に表示する。
【００３８】
領域抽出部１０６は、タッチパネル１０４上のタッチ操作に基づいて、画像表示部１０５により表示された画像の一部領域を示す領域情報を抽出し、抽出した領域情報により特定される一部領域に相当する画像を、後述の文字認識処理部１０７に出力する。ここで、領域情報とは、例えば、画像の一部領域を示すピクセル上のＸＹ座標値の集合である。なお、領域抽出部１０６は、一部領域を抽出するための枠を固定した上で、タッチパネル１０４上のシングルタッチ操作に基づいて画像を移動し、且つタッチパネル１０４上のマルチタッチ操作に基づいて画像を拡大又は縮小してもよい。また、領域抽出部１０６は、画像を固定した上で、タッチパネル１０４上のシングルタッチ操作に基づいて一部領域を抽出するための枠を移動し、且つタッチパネル１０４上のマルチタッチ操作に基づいて枠を拡大又は縮小してもよい。領域抽出部１０６の動作の詳細については、後述の「第１実施形態に係る文字入力装置１の実施例」にて説明する。
【００３９】
文字認識処理部１０７は、画像に対する文字認識処理に基づいて、文字候補群を抽出する。具体的には、文字認識処理部１０７は、まず、取得部１０３により取得された画像や、領域抽出部１０６により出力された画像を入力する。次に、文字認識処理部１０７は、画像における、文字が存在する領域である文字領域を検出する。次に、文字認識処理部１０７は、検出した文字領域内の文字を一文字単位で分割し、分割した分割領域に存在する文字に対して、一文字ごとに文字認識処理を実行する。なお、文字認識処理部１０７が実行する文字認識処理としては、既存の文字認識処理技術を適用する。文字認識処理部１０７は、文字認識処理を実行する際に、文字認識用辞書１０８を補助的に用いてもよい。文字認識処理部１０７は、文字認識処理の実行の結果、一文字につき一つ以上の文字認識処理結果の文字候補を出力し、一つ以上の文字候補を含む文字候補群を抽出する。
【００４０】
言語処理部１０９は、文字認識処理部１０７により抽出された文字候補群に基づいて、単語候補群を抽出する。例えば、言語処理部１０９は、記号列変換と重みの集合を状態遷移として表現した重み付き有限状態トランスデューサ（Weighted  Finite  State  Transducer）を利用して単語候補群を抽出してもよい。具体的には、言語処理部１０９は、文字認識処理部１０７により抽出された文字候補群を入力し、文字候補への遷移に対する重み値を計算し、文字候補及び重み値の組に基づく文字列遷移データを作成する。次に、言語処理部１０９は、文字列遷移データに基づき状態遷移を順次行い、各状態遷移における重み値を累積して状態遷移ごとの累積重み値を算出し、一つ以上の状態遷移の結果を累積重み値に基づいて出力する。そして、言語処理部１０９は、累積重み値に基づいて一つ以上の単語候補を含む単語候補群を抽出する。言語処理部１０９は、単語候補群を抽出する際に、語彙辞書１１０を補助的に用いてもよい。なお、言語処理部１０９は、外部の装置から文字候補群を更に受信し、受信した文字候補群に基づいて、単語候補群を抽出してもよい。
【００４１】
候補群抽出部１１１は、取得部１０３により取得された画像に紐付く文字情報又は単語情報に基づいて、文字候補群又は単語候補群を抽出する。例えば、取得部１０３により取得された画像には、予め文字又は単語が紐付いて登録されている場合がある。画像に紐付いて登録されている文字や単語は、ユーザが自由に追加や削除等の編集操作を行うことができる。取得部１０３は、画像に紐付いて登録されている文字又は単語を取得し、取得した文字又は単語、及びそれらの組み合わせを文字候補群又は単語候補群として抽出する。
【００４２】
候補群表示部１１２は、文字認識処理部１０７により抽出された文字候補群、又は言語処理部１０９により抽出された単語候補群を、文字入力時の入力候補群として表示する。また、候補群表示部１１２は、候補群抽出部１１１により抽出された文字候補群又は単語候補群を、文字認識処理部１０７により抽出された文字候補群又は言語処理部１０９により抽出された単語候補群に加えて、文字入力時の入力候補群として更に表示してもよい。ここで、文字入力時の入力候補群とは、例えば、ＩＭＥを用いて仮名漢字変換を行う際に、複数の変換候補が表示され、ユーザがそのうちの一つの変換候補を選択することで変換が確定されるが、その表示される複数の変換候補のことを指す。
【００４３】
（第１実施形態に係る文字入力装置１の動作）
続いて、第１実施形態に係る文字入力装置１により行われる動作である文字入力方法について、図３を参照しながら説明する。図３は、文字入力装置１における文字入力方法を示すフローチャートである。
【００４４】
最初に、取得部１０３が、画像を取得する（ステップＳ０１、取得ステップ）。次に、文字認識処理部１０７が、ステップＳ０１において取得した画像に対する文字認識処理に基づいて、文字候補群を抽出する（ステップＳ０２、文字認識処理ステップ）。次に、言語処理部１０９が、ステップＳ０２において抽出した文字候補群に基づいて、単語候補群を抽出する（ステップＳ０３、言語処理ステップ）。次に、候補群表示部１１２が、ステップＳ０２において抽出した文字候補群、又はステップＳ０３において抽出した単語候補群を、文字入力時の入力候補群として表示する（ステップＳ０４、候補群表示ステップ）。
【００４５】
（第１実施形態に係る文字入力装置１の実施例）
続いて、第１実施形態に係る文字入力装置１の実施例について、図４及び図５を参照しながら説明する。図４及び図５は、文字入力装置１を用いて、検索サイトを表示し、検索用の入力文字を入力するまでの実施例を示した図である。ここで、検索用の入力文字を入力する際に、画像に含まれる文字から文字候補群及び単語候補群を抽出して入力候補群として表示し、ユーザが入力候補群から選択した単語を検索用の入力文字として入力している。
【００４６】
図４（ａ）は、文字入力装置１のタッチパネル１０４に検索サイトを表示している状態を示す図である。検索用テキストボックス内に、文字挿入位置を示すキャレットＣが表示されている。図４（ａ）に示す状態において、ユーザがＩＭＥの切替えを文字入力装置１に命令した際、例えばＩＭＥの切替え操作に対応付いたボタンをユーザが押した際に、図４（ａ）に示す状態から、図４（ｂ）に示す状態に遷移する。
【００４７】
図４（ｂ）は、タッチパネル１０４の画面下部に文字認識処理の対象となる画像の取得方法を選択できるメニューＭ１が表示されている状態を示す図である。図４（ｂ）に示す状態において、ユーザがメニューＭ１から「カメラ」あるいは「ギャラリー」の何れかを選択すると、図４（ｂ）に示す状態から、図４（ｃ）に示す状態に遷移する。図４（ｂ）に示す状態において、ユーザがメニューＭ１から「カメラ」を選択した場合、撮像部１０１が起動し、撮像部１０１により撮像された画像が、画像表示部１０５により、図４（ｃ）の画像表示欄Ｐに表示される。一方、図４（ｂ）に示す状態において、ユーザがメニューＭ１から「ギャラリー」を選択した場合、画像格納部１０２により格納されている画像から特定の画像の選択を促す画面が表示される（不図示）。そこで、ユーザが特定の画像を選択すると、選択された画像が、画像表示部１０５により、図４（ｃ）の画像表示欄Ｐに表示される。
【００４８】
図４（ｃ）に示す状態では、画像表示欄Ｐに画像が表示されると共に、画像上に、画像の一部領域を抽出するための枠Ｆが表示され、また、画像表示欄Ｐの下には、画像の一部領域を選択する際のモードを選択できるメニューＭ２が表示される。本実施例では、枠Ｆは長方形であるが、これに限るものではない。例えば、枠Ｆは円形や多角形であってもよい。
【００４９】
図４（ｃ）に示す状態で、ユーザが、メニューＭ２から「枠固定」を選択した場合について説明する。この場合、枠Ｆは画像表示欄Ｐ上で固定される。そして、タッチパネル１０４上でユーザがシングルタッチ操作を行う、例えば画像上で右方向に移動するシングルタッチ操作を行うと、その移動量に応じて画像が右方向に移動する。なお、枠Ｆの位置は固定されたままであり、すなわち、枠Ｆのタッチパネル１０４上における絶対位置は、シングルタッチ操作の前後で変化しない。また、タッチパネル１０４上でユーザがマルチタッチ操作を行う、例えば画像上で２本の指が互いに離れるようなマルチタッチ操作を行うと、その移動量に応じて画像が拡大する。逆に、例えば画像上で２本の指が互いに近づくようなマルチタッチ操作を行うと、その移動量に応じて画像が縮小する。なお、画像が拡大及び縮小する際も、枠Ｆの位置や大きさは固定されたままである。
【００５０】
次に、図４（ｃ）に示す状態で、ユーザが、メニューＭ２から「画像固定」を選択した場合について説明する。この場合、画像は画像表示欄Ｐ上で固定される。そして、タッチパネル１０４上でユーザがシングルタッチ操作を行う、例えば枠Ｆ上で右方向に移動するシングルタッチ操作を行うと、その移動量に応じて枠Ｆが右方向に移動する。なお、画像の位置は固定されたままであり、すなわち、画像のタッチパネル１０４上における絶対位置は、シングルタッチ操作の前後で変化しない。また、タッチパネル１０４上でユーザがマルチタッチ操作を行う、例えば枠Ｆ上で２本の指が互いに離れるようなマルチタッチ操作を行うと、その移動量に応じて枠Ｆが拡大する。逆に、例えば枠Ｆ上で２本の指が互いに近づくようなマルチタッチ操作を行うと、その移動量に応じて枠Ｆが縮小する。なお、枠Ｆが拡大及び縮小する際も、画像の位置や大きさは固定されたままである。
【００５１】
図４（ｃ）に示す状態において、ユーザがメニューＭ２から「枠固定」あるいは「画像固定」の何れかを選択し、タッチ操作を終えると、図４（ｃ）に示す状態から、図５（ａ）に示す状態に遷移する。図５（ａ）は、枠Ｆに相当する画像が文字認識処理部１０７及び文字認識用辞書１０８により処理され、抽出された文字候補群及び単語候補群が、候補群表示部１１２により、文字入力の入力候補群として入力候補リストＬに表示されている状態を示す図である。図５（ａ）に示す通り、画像中の「煮込み」に枠Ｆが位置し、「煮込み」、「見込み」、「煮込」及び「煮」という文字候補群及び単語候補群が入力候補リストＬに表示されている。
【００５２】
図５（ａ）に示す状態において、ユーザが入力候補リストＬに表示された入力候補を一つ選択すると、図５（ｂ）に示す状態に遷移する。図５（ｂ）に示すように、ユーザが入力候補リストＬから「煮込」を選択すると、選択された「煮込」という単語が、検索用テキストボックス内のキャレットＣの位置に挿入される。この際、文字入力装置１は、ユーザによって選択された単語を、取得部１０３により取得された画像に紐付けて登録してもよい。これにより、次回、当該画像を取得部１０３が取得した際には、候補群抽出部１１１により当該画像に紐付けて登録された文字候補群又は単語候補群が抽出され、抽出された文字候補群又は単語候補群が候補群表示部１１２により表示される。そのため、ユーザは、予め画像に紐付けて登録された文字候補群又は単語候補群を選択することができ、ユーザの操作を簡便化することができる。
【００５３】
（第１実施形態に係る文字入力装置１の作用及び効果）
続いて、第１実施形態に係る文字入力装置１の作用及び効果について説明する。
【００５４】
文字入力装置１によれば、取得部１０３は、画像を取得し、文字認識処理部１０７は、取得した画像に対する文字認識処理に基づいて、文字候補群を抽出し、言語処理部１０９は、抽出した文字候補群に基づいて、単語候補群を抽出する。そして、候補群表示部１１２は、抽出した文字候補群又は単語候補群を、文字入力時の入力候補群として表示する。このように、文字入力装置１においては、文字入力時の入力候補群として、取得した画像に対する文字認識処理に基づいた文字候補群又は単語候補群が表示される。例えば、文字候補群には、文字認識処理結果の複数の文字候補が含まれ、単語候補群には当該複数の文字候補の組み合わせから成る複数の単語候補が含まれるため、ユーザが入力したい文字を文字候補群又は単語候補群から選ぶことにより、文字認識の失敗に左右されることなく効率的に文字入力を行うことができる。
【００５５】
また、文字入力の際に、書き順に従った筆記入力や、仮名入力及びローマ字入力結果を再変換しての利用等の複雑な入力操作を必要としないことから、特定用途における文字入力の効率化を図ることができる。例えば、多言語認識の環境を用意することで、他国の言語のような一目見ただけでは意味がわからないだけでなく、入力すること自体が困難な状況でも、一般的な文字入力の要領で候補群から選択するだけで文字入力を行うことができる。つまり、文字入力装置１によれば、文字の見た目の形状からの推定のみでユーザが事前知識のない文字の入力が可能となる。
【００５６】
また、文字入力装置１によれば、候補群抽出部１１１は、画像に紐付く文字情報又は単語情報に基づいて、文字候補群又は単語候補群を抽出し、候補群表示部１１２は、抽出された文字候補群又は単語候補群を更に表示する。このように、画像に紐付く文字情報又は単語情報に基づいた文字候補群又は単語候補群が、文字入力時の入力候補群として更に表示されるため、効率的に文字入力を行うことができる。
【００５７】
また、文字入力装置１によれば、撮像部１０１により撮像された画像を文字認識処理の対象とすることができる。例えば、ユーザは、文字又は単語を含む撮像可能なものが身近にあれば、撮像し、当該文字又は単語を含む画像として取得することで、当該文字又は単語を文字入力時の入力候補群として利用することができるため、効率的に文字入力を行うことができる。
【００５８】
また、文字入力装置１によれば、画像格納部１０２により格納された画像を文字認識処理の対象とすることができるため、例えば、ユーザは、文字又は単語を含む画像を画像格納部１０２により格納していれば、当該文字又は単語を文字入力時の入力候補群として利用することができるため、効率的に文字入力を行うことができる。
【００５９】
また、文字入力装置１によれば、画像表示部１０５は、画像をタッチパネル１０４に表示する。そして、領域抽出部１０６は、タッチパネル１０４上のタッチ操作に基づいて、画像の一部領域を示す領域情報を抽出し、抽出した領域情報により特定される一部領域に相当する画像を、文字認識処理部１０７に出力する。これにより、例えば、ユーザは、タッチパネル１０４に表示された画像を見ながら、タッチ操作により必要な文字を含む一部領域を選択し、選択した一部領域に相当する画像を文字認識処理の対象とすることができるため、効率的に文字入力を行うことができる。
【００６０】
また、文字入力装置１によれば、領域抽出部１０６は、一部領域を抽出するための枠を固定した上で、タッチパネル１０４上のシングルタッチ操作に基づいて画像を移動し、且つタッチパネル１０４上のマルチタッチ操作に基づいて画像を拡大又は縮小するため、ユーザは簡単な操作で効率的に画像中の一部領域を選択することができる。
【００６１】
また、文字入力装置１によれば、領域抽出部１０６は、画像を固定した上で、タッチパネル１０４上のシングルタッチ操作に基づいて一部領域を抽出するための枠を移動し、且つタッチパネル１０４上のマルチタッチ操作に基づいて枠を拡大又は縮小するため、ユーザは簡単な操作で効率的に画像中の一部領域を選択することができる。
【００６２】
また、文字入力装置１によれば、画像を解析し、解析結果に基づき文字と文字候補および単語と単語候補を生成し複数の文字入力候補として利用者に選択・利用させることで、書き順に従った筆記入力や、かな入力・ローマ字入力結果を再変換しての利用などの複雑な入力操作を必要としないことから、特定用途における文字入力効率化、利用者が理解しない海外の言語の入力手段として用いることができる。つまり、本実施形態によれば、文字入力システムから文字の見た目の形状からの推定のみで利用者が事前知識のない文字の入力が可能となる。
【００６３】
（第２実施形態に係る文字入力システム３Ａの構成）
続いて、本発明の第２実施形態に係る、文字入力装置１Ａとサーバ２Ａとを含む文字入力システム３Ａの構成について、図６を参照しながら説明する。第２実施形態として、文字入力装置１Ａは、ネットワークを介してサーバ２Ａと通信を行い、文字入力システム３Ａにおいて文字入力に関する処理を行う構成をとる。図６は、文字入力装置１Ａ及びサーバ２Ａの構成概要図である。なお、図６に示す文字入力装置１Ａ、取得部１０３Ａ、文字認識処理部１０７Ａ、文字認識用辞書１０８Ａ、言語処理部１０９Ａ、語彙辞書１１０Ａ、及び候補群表示部１１２Ａは、それぞれ、第１実施形態における符号Ａがない構成要素と同様の構成または機能を有している。よって、本第２実施形態では、それらの構成要素については、機能的な差分についてのみ説明する。
【００６４】
図６において、文字入力装置１Ａとサーバ２Ａとは、インターネット等のネットワークを介して互いに通信可能な状態である。また、サーバ２Ａは、ＰＣ等のサーバ装置である。サーバ２Ａは、第１実施形態における文字入力装置１と同様に、図２に示すハードウェア構成を持ち、サーバ２Ａの各機能はＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２０１の制御の元で通信モジュール２０４、入出力デバイス２０５を動作させると共に、ＲＯＭ２０２、ＲＡＭ２０３や補助記憶装置２０６におけるデータの読み出しおよび書き込みを行うことで実現される。
【００６５】
文字入力装置１Ａは、機能的には、取得部１０３Ａ、文字認識処理部１０７Ａ、文字認識用辞書１０８Ａ、候補群表示部１１２Ａ、クライアント送信部１２０Ａ（特許請求の範囲における「クライアント送信手段」に相当）、及びクライアント受信部１２１Ａ（特許請求の範囲における「クライアント受信手段」に相当）を備えて構成される。
【００６６】
取得部１０３Ａは、画像を取得する。文字認識処理部１０７Ａは、取得部１０３Ａにより取得された画像に対する文字認識処理に基づいて、文字認識用辞書１０８Ａを適宜利用し、文字候補群を抽出する。クライアント送信部１２０Ａは、文字認識処理部１０７Ａにより抽出された文字候補群をサーバ２Ａに送信する。クライアント受信部１２１Ａは、サーバ２Ａから単語候補群を受信する。候補群表示部１１２Ａは、文字認識処理部１０７Ａにより抽出された文字候補群、又はクライアント受信部１２１Ａにより受信された単語候補群を、文字入力時の入力候補群として表示する。
【００６７】
なお、文字入力装置１Ａは、第１実施形態に係る文字入力装置１の撮像部１０１、画像格納部１０２、タッチパネル１０４、画像表示部１０５、及び領域抽出部１０６を備えていてもよい。
【００６８】
続いて、サーバ２Ａは、機能的には、言語処理部１０９Ａ、語彙辞書１１０Ａ、サーバ受信部１２２Ａ（特許請求の範囲における「サーバ受信手段」に相当）、及びサーバ送信部１２３Ａ（特許請求の範囲における「サーバ送信手段」に相当）を備えて構成される。
【００６９】
サーバ受信部１２２Ａは、文字入力装置１Ａから文字候補群を受信する。言語処理部１０９Ａは、サーバ受信部１２２Ａにより受信された文字候補群に基づいて、語彙辞書１１０Ａを適宜利用し、単語候補群を抽出する。サーバ送信部１２３Ａは、言語処理部１０９Ａにより抽出された単語候補群を文字入力装置１Ａに送信する。なお、サーバ受信部１２２Ａは、文字入力装置１Ａ以外の外部の装置から文字候補群を更に受信してもよい。
【００７０】
（第２実施形態に係る文字入力システム３Ａの作用及び効果）
続いて、第２実施形態に係る文字入力システム３Ａの作用及び効果について説明する。
【００７１】
第１実施形態に係る文字入力装置１では、文字入力装置１内にて、言語処理部１０９による単語候補群の抽出が実行されている。一方、本第２実施形態に係る文字入力システム３Ａでは、サーバ２Ａ内にて、言語処理部１０９Ａによる単語候補群の抽出が実行されている。これにより、文字入力装置１Ａ内で単語候補群の抽出を実行する必要がなくなり、文字入力装置１Ａの処理負荷が低減する。
【００７２】
また、第１実施形態に係る文字入力装置１では、文字入力装置１内にて、語彙辞書１１０が保持されている。一方、本第２実施形態に係る文字入力システム３Ａでは、サーバ２Ａ内にて、語彙辞書１１０Ａが保持されている。これにより、文字入力装置１Ａ内で語彙辞書を保持する必要がなくなり、文字入力装置１Ａに必要なメモリ容量が低減する。また、文字入力装置１Ａにおいて、語彙辞書の読み込みが不要となり、処理速度が向上する。
【００７３】
（第３実施形態に係る文字入力システム３Ｂの構成）
続いて、本発明の第３実施形態に係る、文字入力装置１Ｂとサーバ２Ｂとを含む文字入力システム３Ｂの構成について、図７を参照しながら説明する。第３実施形態として、文字入力装置１Ｂは、ネットワークを介してサーバ２Ｂと通信を行い、文字入力システム３Ｂにおいて文字入力に関する処理を行う構成をとる。図７は、文字入力装置１Ｂ及びサーバ２Ｂの構成概要図である。なお、図７に示す文字入力装置１Ｂ、サーバ２Ｂ、取得部１０３Ｂ、文字認識処理部１０７Ｂ、文字認識用辞書１０８Ｂ、言語処理部１０９Ｂ、語彙辞書１１０Ｂ、候補群表示部１１２Ｂ、クライアント送信部１２０Ｂ、クライアント受信部１２１Ｂ、サーバ受信部１２２Ｂ、及びサーバ送信部１２３Ｂは、それぞれ、第２実施形態における同参照番号の符号Ａの構成要素と同様の構成または機能を有している。よって、本第３実施形態では、それらの構成要素については、機能的な差分についてのみ説明する。
【００７４】
文字入力装置１Ｂは、機能的には、取得部１０３Ｂ、候補群表示部１１２Ｂ、クライアント送信部１２０Ｂ、及びクライアント受信部１２１Ｂを備えて構成される。
【００７５】
取得部１０３Ｂは、画像を取得する。クライアント送信部１２０Ｂは、取得部１０３Ｂにより取得された画像をサーバ２Ｂに送信する。クライアント受信部１２１Ｂは、サーバ２Ｂから文字候補群又は単語候補群を受信する。候補群表示部１１２Ｂは、クライアント受信部１２１Ｂにより受信された文字候補群又は単語候補群を、文字入力時の入力候補群として表示する。
【００７６】
なお、文字入力装置１Ｂは、第１実施形態に係る文字入力装置１の撮像部１０１、画像格納部１０２、タッチパネル１０４、画像表示部１０５、及び領域抽出部１０６を備えていてもよい。
【００７７】
続いて、サーバ２Ｂは、機能的には、文字認識処理部１０７Ｂ、文字認識用辞書１０８Ｂ、言語処理部１０９Ｂ、語彙辞書１１０Ｂ、サーバ受信部１２２Ｂ、及びサーバ送信部１２３Ｂを備えて構成される。
【００７８】
サーバ受信部１２２Ｂは、文字入力装置１Ｂから画像を受信する。文字認識処理部１０７Ｂは、サーバ受信部１２２Ｂにより受信された画像に対する文字認識処理に基づいて、文字認識用辞書１０８Ｂを適宜利用し、文字候補群を抽出する。言語処理部１０９Ｂは、文字認識処理部１０７Ｂにより抽出された文字候補群に基づいて、語彙辞書１１０Ｂを適宜利用し、単語候補群を抽出する。サーバ送信部１２３Ｂは、文字認識処理部１０７Ｂにより抽出された文字候補群、又は言語処理部１０９Ｂにより抽出された単語候補群を、文字入力装置１Ｂに送信する。なお、サーバ受信部１２２Ｂは、文字入力装置１Ｂ以外の外部の装置から文字認識用の画像を更に受信してもよい。また、サーバ受信部１２２Ｂは、文字入力装置１Ｂ以外の外部の装置から文字候補群を更に受信し、言語処理部１０９Ｂは、サーバ受信部１２２Ｂにより受信された文字候補群に基づいて、語彙辞書１１０Ｂを適宜利用し、更に単語候補群を抽出してもよい。
【００７９】
（第３実施形態に係る文字入力システム３Ｂの作用及び効果）
続いて、第３実施形態に係る文字入力システム３Ｂの作用及び効果について説明する。
【００８０】
第１実施形態に係る文字入力装置１では、文字入力装置１内にて、文字認識処理部１０７による文字候補群の抽出が実行され、言語処理部１０９による単語候補群の抽出が実行されている。一方、本第３実施形態に係る文字入力システム３Ｂでは、サーバ２Ｂ内にて、文字認識処理部１０７Ｂによる文字候補群の抽出が実行され、言語処理部１０９Ｂによる単語候補群の抽出が実行されている。これにより、文字入力装置１Ｂ内で文字候補群及び単語候補群の抽出を実行する必要がなくなり、文字入力装置１Ａの処理負荷が低減する。
【００８１】
また、第１実施形態に係る文字入力装置１では、文字入力装置１内にて、文字認識用辞書１０８及び語彙辞書１１０が保持されている。一方、本第３実施形態に係る文字入力システム３Ｂでは、サーバ２Ｂ内にて、文字認識用辞書１０８Ｂ及び語彙辞書１１０Ｂが保持されている。これにより、文字入力装置１Ｂ内で文字認識用辞書及び語彙辞書を保持する必要がなくなり、文字入力装置１Ｂに必要なメモリ容量が低減する。また、文字入力装置１Ｂにおいて、文字認識用辞書及び語彙辞書の読み込みが不要となり、処理速度が向上する。
【符号の説明】
【００８２】
１、１Ａ、１Ｂ…文字入力装置、２、２Ａ、２Ｂ…サーバ、３、３Ａ、３Ｂ…文字入力システム、１０１…撮像部、１０２…画像格納部、１０３、１０３Ａ、１０３Ｂ…取得部、１０４…タッチパネル、１０５…画像表示部、１０６…領域抽出部、１０７、１０７Ａ、１０７Ｂ…文字認識処理部、１０８、１０８Ａ、１０８Ｂ…文字認識用辞書、１０９、１０９Ａ、１０９Ｂ…言語処理部、１１０、１１０Ａ、１１０Ｂ…語彙辞書、１１１…候補群抽出部、１１２、１１２Ａ、１１２Ｂ…候補群表示部、１２０、１２０Ａ、１２０Ｂ…クライアント送信部、１２１、１２１Ａ、１２１Ｂ…クライアント受信部、１２２、１２２Ａ、１２２Ｂ…サーバ受信部、１２３、１２３Ａ、１２３Ｂ…サーバ送信部。
【図１】
2013077243.tif 000003
【図２】
2013077243.tif 000004
【図３】
2013077243.tif 000005
【図４】
2013077243.tif 000006
【図５】
2013077243.tif 000007
【図６】
2013077243.tif 000008
【図７】
2013077243.tif 000009