(57)【要約】【課題】  容易かつ柔軟な情報の入力を可能とする。【解決手段】  端末１０は、画像を入力する撮像部１１と、入力された画像に対して文字認識を行う文字認識部１２と、文字認識された認識文字列と、予め記憶した比較用文字列である質問文とを比較する質問一致度計算部１５と、認識文字列と特定の位置関係を有するチェックボックスを検出する選択肢判定部１６と、文字列の比較の結果、及びチェックボックスの検出の結果に応じて、質問文に対応する設定情報を入力する機器設定部１７とを備える。【選択図】  図１
2017091252.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像に対して文字認識を行う文字認識手段と、
前記文字認識手段によって文字認識された認識文字列と、予め記憶した比較用文字列とを比較する比較手段と、
前記画像入力手段によって入力された画像から、前記認識文字列と特定の位置関係を有すると共にチェックしたことを示す記載を入れるためのチェック枠を検出するチェック枠検出手段と、
前記比較手段による比較の結果、及び前記チェック枠検出手段による検出の結果に応じて、前記比較用文字列に対応する情報を入力する情報入力手段と、
を備える情報入力装置。
【請求項２】
前記チェック枠検出手段は、前記画像入力手段によって入力された画像から、前記認識文字列と特定の位置関係を有する複数の前記チェック枠を検出し、
前記情報入力手段は、前記チェック枠検出手段による検出の結果にも対応する情報を入力する、請求項１に記載の情報入力装置。
【請求項３】
前記比較手段は、前記文字認識手段によって文字認識された認識文字列のうち、前記複数の前記チェック枠毎に当該チェック枠と特定の位置関係を有する前記認識文字列と、予め当該チェック枠毎に予め記憶した第２の比較用文字列とを比較する請求項２に記載の情報入力装置。
【請求項４】
前記比較手段は、前記比較用文字列の文字数に対する、前記認識文字列と前記比較用文字列とが一致した文字数の割合を算出する請求項１〜３の何れか一項に記載の情報入力装置。
【請求項５】
コンピュータを、
画像を入力する画像入力手段と、
前記画像入力手段によって入力された画像に対して文字認識を行う文字認識手段と、
前記文字認識手段によって文字認識された認識文字列と、予め記憶した比較用文字列とを比較する比較手段と、
前記画像入力手段によって入力された画像から、前記認識文字列と特定の位置関係を有すると共にチェックしたことを示す記載を入れるためのチェック枠を検出するチェック枠検出手段と、
前記比較手段による比較の結果、及び前記チェック枠検出手段による検出の結果に応じて、前記比較用文字列に対応する情報を入力する情報入力手段と、
として機能させる情報入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を入力する情報入力装置及び情報入力プログラムに関する。
【背景技術】
【０００２】
スマートフォン等の端末の機能等の設定を行う際には、通常、端末の画面に表示される設定用の情報が用いられる。ユーザの端末に対する操作により、設定項目が表示され、表示された設定項目に対して情報が入力されることで設定が行われる。例えば、設定項目に対応して表示されるチェックボックスにチェックを入れる操作がユーザによって行われることで設定が行われる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような設定用の情報を画面に表示させて設定を行う操作は、初心者、特にシニア層のユーザにとっては難しかった。そこで、そのようなユーザでも、設定に関する情報等の入力を容易に行うことが求められていた。
【０００５】
本発明は、上記に鑑みてなされたものであり、容易かつ柔軟な情報の入力を可能とする情報入力装置及び情報入力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る情報入力装置は、画像を入力する画像入力手段と、画像入力手段によって入力された画像に対して文字認識を行う文字認識手段と、文字認識手段によって文字認識された認識文字列と、予め記憶した比較用文字列とを比較する比較手段と、画像入力手段によって入力された画像から、認識文字列と特定の位置関係を有すると共にチェックしたことを示す記載を入れるためのチェック枠を検出するチェック枠検出手段と、比較手段による比較の結果、及びチェック枠検出手段による検出の結果に応じて、比較用文字列に対応する情報を入力する情報入力手段と、を備える。
【０００７】
本発明に係る情報入力装置では、入力した画像から情報が入力される。より具体的には、チェック枠と入力される情報に対応した文字列とが写った画像から情報が入力される。従って、例えば、設定項目に関する記載とチェック枠とが記載され、かつ入力したい情報に応じてチェック枠にチェックがなされた用紙の撮像を行うことで情報の入力が可能となる。即ち、本発明に係る情報入力装置によれば、容易かつ柔軟な情報の入力が可能となる。
【０００８】
チェック枠検出手段は、画像入力手段によって入力された画像から、認識文字列と特定の位置関係を有する複数のチェック枠を検出し、情報入力手段は、チェック枠検出手段による検出の結果にも対応する情報を入力する、こととしてもよい。この構成によれば、機能の設定のように複数の項目から選択して入力を行うような場合、適切に情報の入力を行うことができる。
【０００９】
比較手段は、文字認識手段によって文字認識された認識文字列のうち、複数のチェック枠毎に当該チェック枠と特定の位置関係を有する認識文字列と、予め当該チェック枠毎に予め記憶した第２の比較用文字列とを比較することとしてもよい。この構成によれば、機能の設定のように複数の項目から選択して入力を行うような場合、更に適切に情報の入力を行うことができる。
【００１０】
比較手段は、比較用文字列の文字数に対する、認識文字列と比較用文字列とが一致した文字数の割合を算出することとしてもよい。この構成によれば、文字認識の精度が必ずしも高くない場合であっても、適切に情報の入力を行うことができる。
【００１１】
ところで、本発明は、上記のように情報入力装置の発明として記述できる他に、以下のように情報入力プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１２】
即ち、本発明に係る情報入力プログラムは、コンピュータを、画像を入力する画像入力手段と、画像入力手段によって入力された画像に対して文字認識を行う文字認識手段と、文字認識手段によって文字認識された認識文字列と、予め記憶した比較用文字列とを比較する比較手段と、画像入力手段によって入力された画像から、認識文字列と特定の位置関係を有すると共にチェックしたことを示す記載を入れるためのチェック枠を検出するチェック枠検出手段と、比較手段による比較の結果、及びチェック枠検出手段による検出の結果に応じて、比較用文字列に対応する情報を入力する情報入力手段と、として機能させる。
【発明の効果】
【００１３】
本発明では、入力した画像から情報が入力される。より具体的には、チェック枠と入力される情報に対応した文字列とが写った画像から情報が入力される。従って、例えば、設定項目に関する記載とチェック枠とが記載され、かつ入力したい情報に応じてチェック枠にチェックがなされた用紙の撮像を行うことで情報の入力が可能となる。即ち、本発明によれば、容易かつ柔軟な情報の入力が可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る情報入力装置である端末の構成を示す図である。
【図２】撮像された質問用紙の画像の例を示す図である。
【図３】画像に対する文字認識結果を示すテーブルである。
【図４】設定項目データベースのテーブルである。
【図５】ＬＣＳを算出する例を示す図である。
【図６】質問一致度計算部による処理結果を示すテーブルである。
【図７】選択肢判定部による処理結果を示すテーブルである。
【図８】本発明の実施形態に係る情報入力装置である端末のハードウェア構成を示す図である。
【図９】本発明の実施形態に係る情報入力装置である端末で実行される処理を示すフローチャートである。
【図１０】質問文の判定についての処理示すフローチャートである。
【図１１】選択肢の判定についての処理示すフローチャートである。
【図１２】本発明の実施形態に係る情報入力プログラムの構成を記録媒体と共に示す図である。
【発明を実施するための形態】
【００１５】
以下、図面と共に本発明に係る情報入力装置及び情報入力プログラムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１６】
図１に本実施形態に係る情報入力装置である端末１０を示す。端末１０は、情報処理装置であり、ユーザに用いられる機器である。端末１０は、具体的には、携帯電話機やスマートフォン等の携帯端末に相当する。端末１０は、従来の携帯端末が通常有している機能を有している。また、端末１０は、それに加えて、本発明に係る機能として情報を入力する機能を有している。本実施形態では、本発明に係る機能により入力される情報は、端末１０の設定に係る情報である。当該設定は、端末１０が有する従来の携帯端末と同様の機能についての設定である。例えば、画面の明るさ、文字サイズ、バイブレーション等の設定である。なお、本発明に係る情報入力装置は、上記の装置に限られず、情報が入力される任意の装置であってもよい。
【００１７】
端末１０での本発明に係る情報の入力は、以下のように行われる。まず、端末１０とは別に、予め情報を入力するための質問用紙を用意しておく。質問用紙は、例えば、端末１０に対して移動体通信機能を提供している通信事業者や端末１０のメーカによって提供される。図２に、質問用紙の例（撮像された質問用紙）を示す。質問用紙には、設定項目が横書きで記載されている。設定項目は、質問文Ｔ１と選択肢Ｔ２とを含んで構成されている。質問文Ｔ１は、どのような機能について設定を行うかを記載したものである。図２の例では、「１．文字の大きさ」、「画面に表示する文字の大きさを設定します」といった記載が質問文Ｔ１に相当する。選択肢Ｔ２は、ユーザが選択する設定内容の候補を記載したものである。図２の例では、「小さめにする」、「標準どおり（初期設定）」、「おおきめにする」との記載が選択肢Ｔ２に相当する。また、各選択肢Ｔ２の左側には、当該設定内容をチェックしたことを示す記載を入れるためのチェック枠であるチェックボックスＣが記載されている。
【００１８】
端末１０の設定を行う際には、ユーザは、設定したい設定内容を示す選択肢のチェックボックスＣにペンでチェックを入れる。チェックは、例えば、図２の例に示されるようにＶ字の形のマークである。なお、チェックは、Ｖ字でなくてもよく、塗りつぶしや斜線であってもよい。続いて、ユーザは、チェック済みの質問用紙を端末１０のカメラで撮影する。当該撮像がなされると、ユーザのチェックに応じた設定内容を示す情報が端末１０に入力されて、当該情報に基づく端末１０の設定が行われる。なお、撮像により端末１０の設定が行われる際には、例えば、ユーザの端末１０に対する操作等により端末１０を予め当該設定のモードにしておくこととしてもよい。
【００１９】
このような端末１０の設定では、ユーザ（特にシニア層）の慣れ親しんでいる紙媒体が用いられているので、当該ユーザにとって容易に端末１０の設定を行うことができる。また、どんな設定をしたのか紙面に記録が残るため、当該ユーザにとって後で設定内容を確認するのも容易である。
【００２０】
引き続いて、本実施形態に係る端末１０の機能を説明する。図１に示すように端末１０は、撮像部１１と、文字認識部１２と、認識結果記憶部１３と、設定項目データベース１４と、質問一致度計算部１５と、選択肢判定部１６と、機器設定部１７とを備えて構成される。また、上述したように端末１０は、従来の携帯端末が通常有している機能を有している。
【００２１】
撮像部１１は、画像を入力する画像入力手段である。例えば、撮像部１１は、端末１０が備えるカメラを含んで構成されている。撮像部１１は、撮像を行うことで（撮像された）画像を入力する。撮像部１１は、例えば、ユーザの端末１０の操作によって質問用紙を撮像して質問用紙の画像を入力する。撮像された画像の例を図２に示す。撮像部１１は、撮像して入力した画像を文字認識部１２に出力する。
【００２２】
文字認識部１２は、撮像部１１から入力された画像に対して文字認識を行う文字認識手段である。文字認識部１２は、例えば、既存の文字認識用のソフトウェア（文字認識エンジン）を用いて文字認識を行う。文字認識部１２は、例えば、質問用紙の記載方向（横書き）に合わせて行単位で文字認識を行う。この場合、文字認識部１２による文字認識結果は、図３に示すように行毎の文字列として得られる。文字認識部１２による文字認識結果は、後述するようにチェックボックスの検出にも用いられる。従って、文字認識部１２は、チェックボックスを検出するチェック枠検出手段の一部でもある。文字認識部１２は、文字認識の結果、例えば、図３に示す行毎の文字列を認識結果記憶部１３に格納する。当該格納とあわせて文字認識部１２は、質問一致度計算部１５に文字認識が終了した旨を通知する。
【００２３】
認識結果記憶部１３は、文字認識部１２から入力された文字認識結果を記憶する手段である。また、後述するように認識結果記憶部１３は、質問一致度計算部１５及び選択肢判定部１６による処理の結果を記憶する。
【００２４】
設定項目データベース１４は、本発明に係る機能による情報入力、即ち、設定に係る情報の入力に用いられる情報を記憶したデータベースである。この情報は、詳細には後述するように質問用紙の記載内容に対応したものであり、文字列毎の情報である。
【００２５】
具体的には、設定項目データベース１４は、図４に示すテーブルに情報を格納して記憶する。図２に示すように設定項目データベース１４は、設問ＩＤ、項目、識別子、文字列が対応付けられた情報を記憶する。設問ＩＤは、個々の設定項目を識別するためのＩＤ（識別子）である。項目は、文字列が質問文であるか、選択肢であるかを示す情報である。識別子は、文字列を識別するためのＩＤ（識別子）である。質問文についての識別子はＱ（ｉ，ｊ）とし、選択肢についての識別子はＡ（ｉ，ｊ）とする。ここで、ｉは設問ＩＤを示すインデックスであり、ｊは同一の設問ＩＤの文字列を識別するためのインデックスである。選択肢についてのｊは選択肢番号である。文字列は、質問用紙に記載された行毎の文字列である。後述するようにこの文字列は、画像に対する文字認識によって得られた文字列との比較に用いられる。
【００２６】
設定項目データベース１４に記憶される情報は、本発明の機能の提供者（例えば、端末１０が通信を行う移動体通信網の事業者）等によって予め端末１０に入力されている。なお、本実施形態では、質問用紙の内容と設定項目データベース１４に記憶されている情報とが個数及び順番の点で一致しているが、必ずしもそれらの一致は必要ない。質問用紙が全ての設定を行うものでなければ、設定項目データベース１４に記憶されている情報の方が多い。
【００２７】
質問一致度計算部１５は、文字認識部１２によって認識された認識文字列と質問用紙に記載された質問文との一致度を算出する手段である。質問一致度計算部１５は、認識文字列と、設定項目データベース１４に記憶された質問文の文字列とを比較して当該算出を行う。即ち、質問一致度計算部１５は、文字認識部１２によって文字認識された認識文字列と、予め記憶した比較用文字列である質問文の文字列とを比較する比較手段の一部である。質問一致度計算部１５は、比較用文字列の文字数に対する、認識文字列と比較用文字列とが一致した文字数の割合を算出する。具体的には、質問一致度計算部１５は、以下のような処理を行う。
【００２８】
質問一致度計算部１５は、文字認識部１２から文字認識が終了した旨の通知を受けると処理を開始する。まず、質問一致度計算部１５は、質問一致度計算部１５は、設定項目データベース１４から質問文Ｑ（ｉ，ｊ）を取り出す。また、質問一致度計算部１５は、認識結果記憶部１３に記憶されている各行の文字認識結果Ｒ（ｋ）を取り出す。ここで、ｋは行の行番号を示している。質問一致度計算部１５は、質問文Ｑ（ｉ，ｊ）と、各行の文字認識結果Ｒ（ｋ）とを比較して、それらの一致度ｍを算出する。一致度は、以下のように求める。
【００２９】
まず、図５に示すように、質問一致度計算部１５は、質問文Ｑ（ｉ，ｊ）と、文字認識結果Ｒ（ｋ）とのＬＣＳ（最長共通部分列：Longest Common Sequence）を求める。ＬＣＳの算出は、従来の技術により行われる。なお、ＬＣＳについては、L. Bergroth and H. Hakonen and T. Raita (2000). "A Survey ofLongest Common Subsequence Algorithms".SPIRE (IEEE Computer Society)00:39−48にも記載されている。質問一致度計算部１５は、求めたＬＣＳの長さ（文字数）を質問文Ｑ（ｉ，ｊ）の長さ（文字数）で割ることで一致度ｍを算出する。図５に示す例では、ＬＣＳの長さ（文字数）は５であり、Ｑ（ｉ，ｊ）の長さ（文字数）は６であるので、一致度ｍ＝５÷６＝０．８３３３となる。
【００３０】
質問一致度計算部１５は、全ての質問文Ｑ（ｉ，ｊ）と文字認識結果Ｒ（ｋ）との組み合わせについて一致度ｍを算出する。質問一致度計算部１５は、文字認識結果の行それぞれについて、一致度ｍのうち、最大の値となる最大一致度Ｍ（ｋ）を特定する。質問一致度計算部１５は、最大一致度Ｍ（ｋ）と予め設定された閾値Ｔｈとを比較する。質問一致度計算部１５は、最大一致度Ｍ（ｋ）が閾値を超えていたと判断した場合、最大一致度Ｍ（ｋ）を取った時の質問文Ｑ（ｉ，ｊ）のｉの値（設問ＩＤの値）を一致設問ＩＤ  Ｉ（ｋ）とする。一致設問ＩＤ  Ｉ（ｋ）の値は、文字認識結果Ｒ（ｋ）の文字列が質問文となっている設問ＩＤを示している（設問ＩＤが一致設問ＩＤ  Ｉ（ｋ）の値の設定項目について、文字認識結果Ｒ（ｋ）の文字列が質問文である）。
【００３１】
質問一致度計算部１５は、最大一致度Ｍ（ｋ）が閾値を超えていないと判断した場合、その行については、一致設問ＩＤ  Ｉ（ｋ）を設定しない。なお、質問一致度計算部１５による処理手順については、後述するフローチャートを用いた説明でより詳細に述べる。質問一致度計算部１５は、各行について一致設問ＩＤ  Ｉ（ｋ）及び最大一致度Ｍ（ｋ）（一致設問ＩＤ  Ｉ（ｋ）が設定された場合のみ）を図６に示すように認識結果記憶部１３に格納する。当該格納とあわせて質問一致度計算部１５は、処理が終了した旨を選択肢判定部１６に通知する。
【００３２】
選択肢判定部１６は、ユーザによって選択された選択肢を判定する手段である。具体的には、選択肢判定部１６は、撮像部１１によって撮像された質問用紙のチェックボックスを検出して、当該判定を行うチェック枠検出手段である。
【００３３】
チェックボックスは、上記の認識文字列と互いに異なる位置にあり、かつ特定の位置関係を有する。図２の質問用紙の画像に示すように、チェックボックスＣは、認識文字列となり得る質問文Ｔ１と特定の位置関係を有している。具体的には、チェックボックスＣは、質問文Ｔ１のうちの最も下の行の次の行以降に設けられている。チェックボックスＣは、入力される情報１つに相当する１つの設定項目に対して複数設けられている。即ち、複数のチェックボックスＣそれぞれが、１つの設定項目の質問文Ｔ１と特定の位置関係を有している。具体的には、選択肢判定部１６は、以下のような処理を行う。
【００３４】
選択肢判定部１６は、質問一致度計算部１５から処理が終了した旨の通知を受けると処理を開始する。選択肢判定部１６は、認識結果記憶部１３に記憶されている各行の文字認識結果Ｒ（ｋ）及び質問一致度計算部１５によって算出された値を取り出す。選択肢判定部１６は、取り出した情報を参照して、一致設問ＩＤ  Ｉ（ｋ）が空欄ではなく、Ｉ（ｋ＋１）が空欄である、行番号がｋ，ｋ＋１である行があるか否かを判定する。選択肢判定部１６は、そのような行があると判定した場合、行番号がｋ＋１である行から、上の行から順番に１から順に選択肢番号ａを振る。選択肢判定部１６は、次にＩ（ｋ）が空欄でなくなる行の１つ前の行まで、あるいは、選択肢番号が選択肢の数となるまでの行までを１つの質問文に対する選択肢に相当する行であると判断する。ここで、選択肢の数は、設定項目データベース１４に記憶されている一致設問ＩＤ  Ｉ（ｋ）に対応する選択肢の数である。このときの選択肢は、設問ＩＤが、Ｉ（ｋ）が空欄ではなく、Ｉ（ｋ＋１）が空欄であると判断した際の一致設問ＩＤ  Ｉ（ｋ）に対応する選択肢である。
【００３５】
図６に示す例では、行番号７〜９の行が、設問ＩＤが２である質問文に対する選択肢に相当する行であると判断する。このように選択肢の一つ前の行の質問文が選択肢の開始の判断基準となるため、当該質問文が質問文として検出されることが重要となる。本実施形態の例では、図４の識別子がＱ（１，２）、Ｑ（２，２）、Ｑ（３，２）、Ｑ（４，２）、Ｑ（５，２）の質問文（質問文の２行目）が質問文として検出されることが重要となる。
【００３６】
選択肢判定部１６は、選択肢に相当すると判断した行の文字認識結果Ｒ（ｋ）を参照して、当該文字認識結果Ｒ（ｋ）から未チェックのチェックボックスを検出する。未チェックのチェックボックスは、通常、□（矩形の記号）として文字認識される。そこで、選択肢判定部１６は、当該文字認識結果Ｒ（ｋ）の文字列の先頭の文字（記号）が、チェックボックスに相当する□（矩形の記号）であるか否かを判断する。選択肢判定部１６は、先頭の文字（記号）が、□（矩形の記号）であると判断したら、当該文字認識結果Ｒ（ｋ）から未チェックのチェックボックスを検出したとする。この場合、選択肢判定部１６は、当該行にユーザがチェックを入れていないものとして、当該行についてチェックフラグをＦａｌｓｅとする。
【００３７】
選択肢判定部１６は、先頭の文字（記号）が、□（矩形の記号）ではないと判断したら、当該文字認識結果Ｒ（ｋ）から未チェックのチェックボックスを検出できなかったとする。ユーザがチェックボックスにチェックを入れると、チェックボックスは、□（矩形の記号）として文字認識されない（誤認識が生じる）。この場合、選択肢判定部１６は、当該行にユーザがチェックを入れたもの（チェックがある）として、当該行についてチェックフラグをＴｒｕｅとする。
【００３８】
チェックボックスの認識には誤認識が生じることがあるので、□（矩形の記号）の他に口（「くち」という漢字）、匚、並びに、匚I、匚J及び匚]（複数の文字からなるパターン）といったチェックボックスの形状に類似するパターンの文字又は文字の組み合わせが存在する場合にも、未チェックのチェックボックスが検出されたとしてもよい。また、文字列の先頭の文字だけでなく、文字列の先頭の文字から予め設定した数文字まで先頭部に、上記のパターンが存在する場合にも、未チェックのチェックボックスが検出されたとしてもよい。
【００３９】
なお、チェックボックスの誤認識が、それに続く選択肢の文字列の認識に悪影響を与えないよう、質問用紙の記載においてチェックボックスと選択肢との間に空白を設けておくのがよい。
【００４０】
また、選択肢判定部１６は、文字認識部１２によって認識された認識文字列と質問用紙に記載された選択肢との一致度を算出してもよい。選択肢判定部１６は、選択肢に相当すると判断した行の文字認識結果Ｒ（ｋ）と、設定項目データベース１４に記憶された選択肢の文字列とを比較して当該算出を行う。上述したように選択肢の文字列は、個々のチェックボックス毎に記載されている。また、個々のチェックボックスは、対応する選択肢の文字列と互いに異なる位置にあり、かつ特定の位置関係を有する。図２の質問用紙の画像に示すように、各チェックボックスＣは、各認識文字列となり得る選択肢Ｔ２と特定の位置関係を有している。具体的には、各チェックボックスＣは、各選択肢Ｔ２と同じ行の各選択肢Ｔ２の左側に設けられている。
【００４１】
即ち、選択肢判定部１６は、文字認識部１２によって文字認識された認識文字列である文字認識結果Ｒ（ｋ）のうち、複数のチェックボックスＣ毎に、当該チェックボックスと特定の位置関係を有する認識文字列である選択肢に相当すると判断した行の文字認識結果Ｒ（ｋ）と、予め当該チェック枠毎に予め記憶した第２の比較用文字列である選択肢の文字列とを比較する比較手段の一部でもある。具体的には、選択肢判定部１６は、以下のような処理を行う。
【００４２】
選択肢判定部１６は、上述した処理により選択肢に相当すると判断した行の文字認識結果Ｒ（ｋ＋ａ）に対応する一致設問ＩＤ  Ｉ（ｋ）及び選択肢番号に基づき、設定項目データベース１４から選択肢Ａ（Ｉ（ｋ），ａ）の文字列を取り出す。選択肢判定部１６は、選択肢Ａ（Ｉ（ｋ），ａ）の文字列と、選択肢に相当すると判断した行の文字認識結果Ｒ（ｋ＋ａ）とを比較して、それらの一致度である選択肢一致度Ｏ（ｋ＋ａ）を算出する。選択肢一致度Ｏ（ｋ＋ａ）の算出方法は、質問一致度計算部１５による一致度ｍの算出方法と同様である。なお、上述した選択肢判定部１６による処理手順については、後述するフローチャートを用いた説明でより詳細に述べる。
【００４３】
選択肢判定部１６は、選択肢に相当すると判断した行についてチェックフラグ及び選択肢一致度Ｏ（ｋ＋ａ）を図７に示すように認識結果記憶部１３に格納する。当該格納とあわせて選択肢判定部１６は、処理が終了した旨を機器設定部１７に通知する。
【００４４】
機器設定部１７は、質問一致度計算部１５及び選択肢判定部１６による文字列の比較の結果、及びチェックボックスの検出の結果に応じて、情報を入力する情報入力手段である。機器設定部１７によって入力される情報は、上述した設定に係る設定情報である。また、入力される情報は、比較用文字列である設定項目データベース１４に記憶される質問文に対応する情報である。また、入力される情報は、チェックボックスの検出の結果にも対応するものである。機器設定部１７は、入力した情報に基づき端末１０の設定を行う。具体的には、機器設定部１７は、以下のような処理を行う。
【００４５】
機器設定部１７は、選択肢判定部１６から処理が終了した旨の通知を受けると処理を開始する。機器設定部１７は、認識結果記憶部１３に記憶されている、図７に示すような文字認識部１２、質問一致度計算部１５及び選択肢判定部１６による処理の結果を示す情報を取り出す。機器設定部１７は、設問ＩＤ及び選択肢番号毎に、予め入力候補となる設定情報を記憶している。機器設定部１７は、チェックフラグＦ（ｋ）がＴｒｕｅとなっている行に対応する情報を入力する。具体的には、機器設定部１７は、チェックフラグＦ（ｋ）がＴｒｕｅとなっている行から遡って最も早く一致設問ＩＤ  Ｉ（ｋ）が空欄になっていない行のＩ（ｋ）を入力する情報の設問ＩＤとする。また、機器設定部１７は、チェックフラグＦ（ｋ）がＴｒｕｅとなっている行の選択肢番号ａを入力する情報の選択肢番号とする。機器設定部１７は、記憶している入力候補となる設定情報から、当該設問ＩＤ及び選択肢番号に対応付けられた設定情報取り出し入力する。機器設定部１７は、入力した設定情報を用いて設定を行う。設定自体は、従来の端末と同様に行われる。その際、表示等によって入力した設定情報をユーザに示して、ユーザがチェックした情報と入力した設定情報とが一致しているかをユーザが把握できるようにしてもよい。
【００４６】
なお、本実施形態では、１つの設問ＩＤに対応する１つの設定項目について、入力される情報の数は、０〜選択肢数の何れかである。択一的に選択される設定項目（例えば、図４の設問ＩＤが１，２，３，５の設定項目）については、入力される情報の数は、１つのみである。即ち、１つの設定項目に対して、チェックが入れられるチェックは１つである。この場合、機器設定部１７は、一つの一致設問ＩＤ  Ｉ（ｋ）に対して、チェックフラグＦ（ｋ）がＴｒｕｅとなっている数をカウントする。機器設定部１７は、カウントした数が予め設定した数（例えば、１）であった場合のみに情報を入力することとしてもよい。機器設定部１７は、その数が１以外であった場合には、設定情報を入力せず、エラーである旨を出力してもよい。これにより、複数の選択肢から択一的に選択を行う場合に判定精度を向上させることができる。
【００４７】
また、機器設定部１７は、選択肢一致度Ｏ（ｋ）に応じて、設定情報を入力してもよい。例えば、機器設定部１７は、一つの一致設問ＩＤ  Ｉ（ｋ）に対して、選択肢に相当する全ての行、あるいはチェックフラグＦ（ｋ）がＴｒｕｅの行の選択肢一致度Ｏ（ｋ）が予め設定した閾値以上である場合のみ、設定情報を入力し、それ以外の場合には、設定情報を入力せず、エラーである旨を出力してもよい。
【００４８】
また、機器設定部１７は、予め設定されている全ての設問ＩＤについて、設定情報を入力できなかった場合は、その旨の情報を出力し、設定が完全に行われていない旨をユーザに通知することとしてもよい。その場合、ユーザは、再度、質問用紙の撮像を行う等の対応をとることができる。以上が、本実施形態に係る端末１０の機能である。
【００４９】
図８に本実施形態に係る端末１０のハードウェア構成を示す。図８に示すように、端末１０は、ＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（RandomAccess Memory）１０２及びＲＯＭ１０３（Read Only Memory)、操作モジュール１０４、無線通信モジュール１０５、アンテナ１０６、ディスプレイ１０７、カメラ１０８等のハードウェアにより構成されている。これらの構成要素がプログラム等により動作することにより、上述した端末１０の各機能が発揮される。
【００５０】
引き続いて、図９のフローチャートを用いて、本実施形態に係る端末１０で実行される処理を説明する。まず、予め設定したい内容に対応するチェックボックスにチェックが入れられた質問用紙がユーザによって用意される。本処理では、ユーザの端末１０に対する操作等によって、撮像部１１によって質問用紙が撮像されて、撮像された画像が入力される（Ｓ０１）。入力された画像は、撮像部１１から文字認識部１２に出力される。続いて、文字認識部１２によって、画像に対して文字認識が行われる（Ｓ０２）。文字認識の結果は、認識結果記憶部１３に格納される。
【００５１】
続いて、質問一致度計算部１５によって、文字認識の結果に対して質問文の判定が行われる（Ｓ０３）。質問文の判定についての処理を図１０のフローチャートを用いて詳細に説明する。
【００５２】
本処理では、設定項目データベース１４から１つの質問文Ｑ（ｉ，ｊ）が取り出される（Ｓ３０１）。後述するように質問文Ｑ（ｉ，ｊ）は順番に取り出されるが、例えば、ｉ及びｊが小さい順番に取り出される。続いて、行番号ｋが１とされ、Ｎが文字認識結果Ｒ（ｋ）の行数とされる（Ｓ３０２）。続いて、質問文Ｑ（ｉ，ｊ）と、文字認識結果Ｒ（ｋ）との一致度ｍが算出される（Ｓ３０３）。続いて、ｍ＞閾値Ｔｈ、かつ最大一致度Ｍ（ｋ）＜ｍであるかが判断される（Ｓ３０４）。なお、最大一致度Ｍ（ｋ）は、質問文の判定の処理の前の時点で、例えば、閾値Ｔｈの値に初期化されている。
【００５３】
ｍ＞閾値Ｔｈ、かつ最大一致度Ｍ（ｋ）＜ｍであると判断された場合（Ｓ３０４のＹＥＳ）、Ｍ（ｋ）がｍとされ、設問ＩＤ  Ｉ（ｋ）がｉとされる（Ｓ３０５）。ｍ＞閾値Ｔｈでない、又は最大一致度Ｍ（ｋ）＜ｍでないと判断された場合（Ｓ３０４のＮＯ）、Ｓ３０５の処理は行われない。
【００５４】
続いて、ｋ≧Ｎであるかが判断される（Ｓ３０６）。ｋ＞Ｎでないと判断された場合（Ｓ３０６のＮＯ）、ｋがｋ＋１とされ（Ｓ３０７）、Ｓ３０３以降の処理が繰り返される。ｋ≧Ｎであると判断された場合（Ｓ３０６のＹＥＳ）、続いて、全てのＱ（ｉ，ｊ）について上記の判定が行われたかが判断される（Ｓ３０８）。全てのＱ（ｉ，ｊ）について上記の判定が行われていないと判断された場合（Ｓ３０８のＮＯ）、上記の判定が行われていない質問文Ｑ（ｉ，ｊ）が取り出されて（Ｓ３０１）、取り出された質問文Ｑ（ｉ，ｊ）についてＳ３０２以降の処理が行われる。全てのＱ（ｉ，ｊ）について上記の判定が行われたと判断された場合（Ｓ３０８のＹＥＳ）、質問文の判定についての処理が終了する。質問一致度計算部１５による処理の結果である各行についての一致設問ＩＤ  Ｉ（ｋ）及び最大一致度Ｍ（ｋ）は、認識結果記憶部１３に格納される。
【００５５】
図９に戻り、続いて、選択肢判定部１６によって、選択肢の判定が行われる（Ｓ０４）。選択肢の判定についての処理を図１１のフローチャートを用いて詳細に説明する。
【００５６】
本処理では、行番号ｋが１とされ、Ｎが文字認識結果Ｒ（ｋ）の行数とされる（Ｓ４０１）。続いて、一致設問ＩＤ  Ｉ（ｋ）が空欄でなく、かつＩ（ｋ＋１）が空欄であるかが判断される（Ｓ４０２）。一致設問ＩＤ  Ｉ（ｋ）が空欄でなく、かつＩ（ｋ＋１）が空欄であると判断された場合（Ｓ４０２のＹＥＳ）、選択肢番号ａが１とされる（Ｓ４０３）。
【００５７】
続いて、文字認識結果Ｒ（ｋ＋ａ）の先頭がチェックボックスの記号であるかが判断される（Ｓ４０４）。文字認識結果Ｒ（ｋ＋ａ）の先頭がチェックボックスの記号であると判断された場合（Ｓ４０４のＹＥＳ）、チェックフラグＦ（ｋ＋ａ）がＦａｌｓｅとされる（Ｓ４０５）。文字認識結果Ｒ（ｋ＋ａ）の先頭がチェックボックスの記号でないと判断された場合（Ｓ４０４のＮＯ）、チェックフラグＦ（ｋ＋ａ）がＴｒｕｅとされる（Ｓ４０６）。Ｓ４０５又はＳ４０６に続いて、選択項目Ｉ（ｋ）（一致設問ＩＤ  Ｉ（ｋ））の選択肢Ａ（Ｉ（ｋ），ａ）と、Ｒ（ｋ＋ａ）との選択肢一致度Ｏ（ｋ＋ａ）が算出される（Ｓ４０７）。続いて、ａがａ＋１とされる（Ｓ４０８）。
【００５８】
続いて、ａ＞選択項目Ｉ（ｋ）（一致設問ＩＤ  Ｉ（ｋ））の選択肢の数、又はＩ（ｋ＋ａ）が空欄でないかが判断される（Ｓ４０９）。ａ＞選択肢の数、及びＩ（ｋ＋ａ）が空欄でないの何れでもないと判断された場合（Ｓ４０９のＮＯ）、Ｓ４０４以降の処理が繰り返される。Ｓ４０９において、ａ＞選択肢の数、又はＩ（ｋ＋ａ）が空欄でないと判断された場合（Ｓ４０９のＹＥＳ）、若しくはＳ４０２において、一致設問ＩＤ  Ｉ（ｋ）が空欄である、又はＩ（ｋ＋１）が空欄でないと判断された場合（Ｓ４０２のＮＯ）、続いて、ｋ≧Ｎであるかが判断される（Ｓ３０６）。ｋ＞Ｎでないと判断された場合（Ｓ４１０のＮＯ）、ｋがｋ＋１とされ（Ｓ４１１）、Ｓ４０２以降の処理が繰り返される。
【００５９】
ｋ≧Ｎであると判断された場合（Ｓ４１０のＹＥＳ）、選択肢の判定についての処理が終了する。選択肢判定部１６による処理の結果である各行についての選択肢番号ａ、チェックフラグＦ（ｋ＋ａ）及び選択肢一致度Ｏ（ｋ＋ａ）は、認識結果記憶部１３に格納される。
【００６０】
図９に戻り、続いて、機器設定部１７によって、質問一致度計算部１５及び選択肢判定部１６による文字列の比較の結果、及びチェックボックスの検出の結果に応じて設定情報が入力される（Ｓ０５）。設定情報が入力されると、続いて、当該設定情報が用いられて設定が行われる。以上が、本実施形態に係る端末１０で実行される処理である。
【００６１】
上述したように本実施形態では、質問用紙を撮像した画像から設定情報が入力される。より具体的には、チェックボックスと入力される情報に対応した文字列である質問文及び選択肢とが写った画像から情報が入力される。これにより、設定項目に関する記載とチェックボックスとが記載され、かつ入力したい情報に応じてチェックボックスにチェックがなされた用紙の撮像を行うことで情報の入力が可能となる。また、本実施形態によれば、未チェックのチェックボックスを認識するので、多様なチェックのされかた（Ｖ字、塗りつぶし、斜線）を認識せずに情報の入力を行うことができる。即ち、本実施形態によれば、容易かつ柔軟な情報の入力が可能となる。
【００６２】
なお、従来の用紙による情報の入力としては、マークシートによる情報の入力がある。しかしながら、マークシートは、フォーマットが固定されており、デザイン性の制約を受ける。一方、本実施形態では、チェックボックスと入力される情報に対応する文字列とが、予め特定の位置関係で配置されていれば情報の入力を行うことができる。そのため、本実施形態ではレイアウトが変わっても対応できるため、質問用紙のデザインが比較的自由である。また、設定項目の文言が多少変わっても、設定項目データベースの情報の変更で対応できるため、質問用紙の改変に対してソフトウェアを変更する必要がない。
【００６３】
また、本実施形態のように、１つの質問文と特定の位置関係を有する複数のチェックボックスを検出して、情報を入力することとしてもよい。この構成によれば、本実施形態のような機能の設定のように複数の項目から選択して入力を行うような場合、適切に情報の入力を行うことができる。
【００６４】
また、本実施形態のように、質問文の検出に加えて、個々の選択肢と特定の位置関係を有するそれぞれチェックボックスを検出して、情報を入力することとしてもよい。この構成によれば、機能の設定のように複数の項目から選択して入力を行うような場合、更に適切に情報の入力を行うことができる。
【００６５】
また、本実施形態のように文字列の一致度を算出して情報を入力することとしてもよい。この構成によれば、比較する文字列同士が必ずしも一致していなくても、情報の入力を行うことができる。そのため、文字認識の精度が必ずしも高くない場合、例えば、撮像された画像の明確さが十分でない場合や、文字認識のソフトウェアが本発明に特化されていない通常のものを用いた場合等であっても、適切に情報の入力を行うことができる。一方で低い文字認識結果による誤判定を防ぐことができる。
【００６６】
なお、本実施形態では、本発明に係る機能によって入力される情報は、端末１０の設定に係る情報であった。しかしながら、本発明に係る機能によって入力される情報は、端末１０の設定に係る情報に限られず、任意の情報としてもよい。
【００６７】
また、本実施形態の画像の入力は、撮像部１１による撮像によって行われているが、それ以外の方法で行われてもよい。例えば、他の装置から端末１０に対して送信された画像を入力することとしてもよい。
【００６８】
また、本実施形態では、チェック枠は、図２に示すような矩形のチェックボックスＣとしたが、必ずしも矩形のチェックボックスＣである必要はない。チェック枠は、チェック枠として認識できる形状であり、かつユーザがチェックを入れることが可能な形状であればどのようなものであってもよい。例えば、チェック枠は、円形であってもよい。なお、本実施形態のようにチェック枠の形状が、文字認識で認識できる形状であれば、既存の文字認識用のソフトウェアをチェック判定に用いることができ、コストを低減することができる。
【００６９】
また、本実施形態では、チェックが入れられたチェック枠を検出することとしていないが、チェックが入れられたチェック枠を検出して、情報の入力に用いてもよい。例えば、チェックが入れられたチェック枠が検出された行についてのチェックフラグＦ（ｋ）をＴｒｕｅとすることとしてもよい。チェックが入れられたチェック枠の検出は、例えば、チェック枠の形状に応じて、塗りつぶされた矩形や円形の記号の検出により行われてもよい。上述した実施形態では、誤認識とチェック有りとを区別できず、過剰にチェック有りと判定する危険があるが、この構成によれば、誤認識とチェック有りとを区別して判定することができる。
【００７０】
また、機械学習等により様々なチェックのされ方を学習しておき、学習結果に基づいて、チェックの検出を行ってもよい。この構成によれば、上述したようなチェックボックスやチェックのされ方以外の様々な態様に対応することができる。
【００７１】
引き続いて、上述した一連の端末１０による処理をコンピュータに実行させるための情報入力プログラムを説明する。図１２に示すように、情報入力プログラム３０は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体２０に形成されたプログラム格納領域２１内に格納される。
【００７２】
情報入力プログラム３０は、撮像モジュール３１と、文字認識モジュール３２と、認識結果記憶モジュール３３と、設定項目データベースモジュール３４と、質問一致度計算モジュール３５と、選択肢判定モジュール３６と、機器設定モジュール３７とを備えて構成される。撮像モジュール３１と、文字認識モジュール３２と、認識結果記憶モジュール３３と、設定項目データベースモジュール３４と、質問一致度計算モジュール３５と、選択肢判定モジュール３６と、機器設定モジュール３７とを実行させることにより実現される機能は、上述した端末１０の撮像部１１と、文字認識部１２と、認識結果記憶部１３と、設定項目データベース１４と、質問一致度計算部１５と、選択肢判定部１６と、機器設定部１７との各機能とそれぞれ同様である。
【００７３】
なお、情報入力プログラム３０は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、情報入力プログラム３０の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の情報入力プログラム３０の処理が行われる。
【符号の説明】
【００７４】
１０…端末、１１…撮像部、１２…文字認識部、１３…認識結果記憶部、１４…設定項目データベース、１５…質問一致度計算部、１６…選択肢判定部、１７…機器設定部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…操作モジュール、１０５…無線通信モジュール、１０６…アンテナ、１０７…ディスプレイ、１０８…カメラ、２０…記録媒体、２１…プログラム格納領域、３０…情報入力プログラム、３１…撮像モジュール、３２…文字認識モジュール、３３…認識結果記憶モジュール、３４…設定項目データベースモジュール、３５…質問一致度計算モジュール、３６…選択肢判定モジュール、３７…機器設定モジュール。
【図１】
2017091252.tif 000003
【図２】
2017091252.tif 000004
【図３】
2017091252.tif 000005
【図４】
2017091252.tif 000006
【図５】
2017091252.tif 000007
【図６】
2017091252.tif 000008
【図７】
2017091252.tif 000009
【図８】
2017091252.tif 000010
【図９】
2017091252.tif 000011
【図１０】
2017091252.tif 000012
【図１１】
2017091252.tif 000013
【図１２】
2017091252.tif 000014