(57)【要約】【課題】定型書式を印刷物として準備することなくユーザが従来の筆記具を用いて定型書式に手書き入力することを可能にすると共に、手書き入力された情報を当該書式の各入力項目に関連付けて入力情報としてデータベースに格納するための技術を提供することである。【解決手段】本発明の一態様は、フォームオーバレイをユーザに可視的に形成するフォームオーバレイ形成部と、前記形成されたフォームオーバレイに関連して描画された描画情報を撮像する撮像部と、前記撮像された描画情報から前記フォームオーバレイの各入力項目に対応する入力情報を取得する画像処理部と、対応する入力項目に関連付けて前記入力情報を記憶する入力情報記憶部とを有する情報入力システムに関する。【選択図】図２
2015210781.tif 000002
【特許請求の範囲】
【請求項１】
フォームオーバレイをユーザに可視的に形成するフォームオーバレイ形成部と、
前記形成されたフォームオーバレイに関連して描画された描画情報を撮像する撮像部と、
前記撮像された描画情報から前記フォームオーバレイの各入力項目に対応する入力情報を取得する画像処理部と、
対応する入力項目に関連付けて前記入力情報を記憶する入力情報記憶部と、
を有する情報入力システム。
【請求項２】
前記フォームオーバレイ形成部は、光を照射することによって描画面上に前記フォームオーバレイを投射する、請求項１記載の情報入力システム。
【請求項３】
前記フォームオーバレイ形成部と前記撮像部とは、頭部装着型装置に備えられる、請求項１又は２記載の情報入力システム。
【請求項４】
前記頭部装着型装置は表示手段を有し、
前記フォームオーバレイ形成部は、前記フォームオーバレイを前記表示手段に表示する、請求項３記載の情報入力システム。
【請求項５】
前記画像処理部は、前記撮像された描画情報から前記フォームオーバレイの各入力項目に描画された描画情報を抽出し、該入力項目の情報種別に応じた画像認識を実行することによって前記入力情報を取得する、請求項１乃至４何れか一項記載の情報入力システム。
【請求項６】
前記入力情報は、文字情報、数字情報及び画像情報の情報種別の１つ以上の情報を含む、請求項５記載の情報入力システム。
【請求項７】
前記画像情報は印影又は署名である、請求項６記載の情報入力システム。
【請求項８】
形成対象となる複数種類のフォームオーバレイを記憶するフォームオーバレイ記憶部を更に有し、
前記フォームオーバレイ形成部は、前記ユーザによって選択された取引種類に対応するフォームオーバレイを前記フォームオーバレイ記憶部から抽出し、前記抽出したフォームオーバレイを可視的に形成する、請求項１乃至７何れか一項記載の情報入力システム。
【請求項９】
情報入力システムにより実行される情報入力方法であって、
フォームオーバレイをユーザに可視的に形成するステップと、
前記形成されたフォームオーバレイに関連して描画された描画情報を撮像するステップと、
前記撮像された描画情報から前記フォームオーバレイの各入力項目に対応する入力情報を取得するステップと、
前記入力情報を記憶するステップと、
を有する情報入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、定型書式に入力された情報を取得するための情報入力システム及び方法に関し、より詳細には、ユーザに仮想的に表示された定型書式に手書き入力された情報を定型書式の各入力項目に関連付けて取得するための情報入力システム及び方法に関する。
【背景技術】
【０００２】
近年、従来のパーソナルコンピュータとは異なるユーザインタフェースを備えたスマートフォン、タブレット、ウェアラブル端末などの各種携帯情報端末が開発されてきている。これらの携帯情報端末は一般に携帯性及び携行性に優れており、これに適した様々な用途が想定される。
【０００３】
これらの携帯情報端末を利用した入力処理では、従来のキーボード及びマウスを利用した入力操作に代わって、自らの指やタッチペンを利用したタッチ画面上の操作が一般的である。例えば、英数字情報の入力は、タッチ画面上に表示されたキーボードを指によってタッチすることにより行われる一方、英数字以外の情報入力や署名などの入力は、タッチペンを利用してタッチ画面上に手書きすることによって行われるケースが多い。
【０００４】
このような携帯情報端末を利用した手書き情報を読み取る情報入力技術として、例えば、特許文献１には、ペン型入力装置と、画像処理を行う身体装着型コンピュータと、画像処理により生成された手書き情報を表示するヘッド・マウンテッド・ディスプレイで構成される技術が記載されている。また、特許文献２には、操作対象物と被接触対象とが接触状態にあると判定された場合には、被接触物に対する操作対象物の相対的な位置を検出することにより、操作対象物の情報を入力情報として受け付ける情報入力システムが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６７２５７号公報
【特許文献２】特開２００４−９４６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
現在、ユーザが文字や数字などの情報を手書きする機会は、例えば、申込書や申請書などの定型書式に記入するケースが多いと考えられる。例えば、金融機関などの店頭では取引の種類に応じて各種定型用紙が準備され、ユーザは、当該用紙の所定の箇所に氏名や住所などを記入すると共に、登録されている印鑑の押印を求められることが多い。また、役所などの受付では申請内容に応じて各種定型書類が準備され、ユーザは、当該書類の所定の箇所に氏名や住所などを記入すると共に、認印の押印を求められることが多い。
【０００７】
このような定型書式への入力を携帯情報端末を用いて処理する場合、携帯情報端末のディスプレイ上に表示された定型書式、すなわち、フォームオーバレイにタッチペンなどを用いてユーザが手書き入力し、入力された文字や数字などを画像処理し、画像認識された文字情報又は数字情報をデータベースに記録するという手法が考えられる。
【０００８】
上記手法によると、定型書式を印刷物として準備することが不用になると共に、定型書式の変更に安価に対処することが可能になると考えられる。しかしながら、このような定型書式の各入力項目に手書きされた情報を画像認識等により文字又は数字情報に変換し、更に各入力項目に関連付けてデータベースに取り込むための技術は、従来検討されてこなかった。
【０００９】
また、タッチペンを利用してタッチ画面上に文字を書くことについて、ユーザはその感触に違和感を感じることが多く、従来の筆記具を用いて用紙に文字を書く場合と比較して上手く書けないと感じ、異なる筆跡となってしまう可能性が考えられる。さらに、定型書式に押印が必要な場合、タッチ画面に押印を求めることは非現実的であると考えられる。
【００１０】
上述した問題点を鑑み、本発明の１つの課題は、定型書式を印刷物として準備することなくユーザが従来の筆記具を用いて定型書式に手書き入力することを可能にすると共に、手書き入力された情報を当該書式の各入力項目に関連付けて入力情報としてデータベースに格納するための技術を提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の一態様は、フォームオーバレイをユーザに可視的に形成するフォームオーバレイ形成部と、前記形成されたフォームオーバレイに関連して描画された描画情報を撮像する撮像部と、前記撮像された描画情報から前記フォームオーバレイの各入力項目に対応する入力情報を取得する画像処理部と、対応する入力項目に関連付けて前記入力情報を記憶する入力情報記憶部とを有する情報入力システムに関する。
【００１２】
本発明の他の態様は、情報入力システムにより実行される情報入力方法であって、フォームオーバレイをユーザに可視的に形成するステップと、前記形成されたフォームオーバレイに関連して描画された描画情報を撮像するステップと、前記撮像された描画情報から前記フォームオーバレイの各入力項目に対応する入力情報を取得するステップと、前記入力情報を記憶するステップとを有する情報入力方法に関する。
【発明の効果】
【００１３】
本発明によると、定型書式を印刷物として準備することなくユーザが従来の筆記具を用いて定型書式に手書き入力することを可能にすると共に、手書き入力された情報を当該書式の各入力項目に関連付けて入力情報としてデータベースに格納することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施例による情報入力処理の概略を示す図である。
【図２】図２は、本発明の一実施例による情報入力システムの構成を示すブロック図である。
【図３】図３は、本発明の一実施例による情報入力処理を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１６】
以下の実施例では、ユーザに可視的に定型書式を白紙に重畳し、仮想的に表示された定型書式に筆記具を用いて手書き入力された描画情報を文字情報や数字情報として認識し、認識された入力情報を定型書式の各入力項目に関連付けて取得する情報入力システムが開示される。
【００１７】
一実施例では、図１に示されるように、ユーザが頭部装着型ウェアラブル端末を装着して取引種別を選択すると、当該ウェアラブル端末は、搭載された投影手段によって、対応する定型書式を記入台に置かれた白紙に投射する。次に、ユーザは、定型書式が投射された白紙にボールペンなどの従来の筆記具を用いて、定型書式の各入力項目を手書きにより記入する。ウェアラブル端末は、搭載された撮像手段によって、ユーザにより記入された描画情報を撮像し、撮像した描画情報を外部のサーバなどに送信する。サーバは、受信した描画情報に対して画像認識などの画像処理を実行し、描画情報に対応する画像認識された文字情報や数字情報などの入力情報を対応する入力項目に関連付けてデータベースに格納する。
【００１８】
他の実施例では、白紙に定型書式を投射する代わりに、頭部装着型ウェアラブル端末が、ディスプレイなどの表示手段を備え、当該表示手段に定型書式を表示してもよい。この場合、ユーザは、表示手段を介し仮想的に定型書式がオーバレイされた白紙に筆記具を用いて、定型書式の各入力項目を手書きにより記入する。ウェアラブル端末は、搭載された撮像手段にとって、ユーザにより記入された描画情報を撮像し、撮像した描画情報を仮想的に定型書式にオーバレイすることによって、ユーザに記入中の定型書式を表示すると共に、撮像した描画情報を外部のサーバなどに送信する。サーバは、受信した描画情報に対して画像認識などの画像処理を実行し、描画情報に対応する画像認識された文字情報や数字情報などの入力情報を対応する入力項目に関連付けてデータベースに格納する。
【００１９】
さらなる他の実施例では、記入台に設置されたプロジェクタなどの投影手段が、定型書式を記入台に置かれた白紙に投射してもよい。この場合、ユーザは、定型書式が投射された白紙に筆記具を用いて、定型書式の各入力項目を手書きにより記入する。ユーザにより装着されたウェアラブル端末の撮像手段又は記入台に設置された撮像手段は、ユーザにより記入された描画情報を撮像し、撮像した描画情報を外部のサーバなどに送信する。サーバは、受信した描画情報に対して画像認識などの画像処理を実行し、描画情報に対応する画像認識された文字情報や数字情報などの入力情報を対応する入力項目に関連付けてデータベースに格納する。
【００２０】
次に、図２を参照して、本発明の一実施例による情報入力システムを説明する。図２は、本発明の一実施例による情報入力システムの構成を示すブロック図である。
【００２１】
図２に示されるように、情報入力システム１００は、フォームオーバレイ記憶部１１０、フォームオーバレイ形成部１２０、撮像部１３０、画像処理部１４０及び入力情報記憶部１５０を有する。図１に示される実施例では、フォームオーバレイ形成部１２０及び撮像部１３０はウェアラブル端末に備えられ、画像処理部１４０はウェアラブル端末に通信接続されるサーバに備えられ、フォームオーバレイ記憶部１１０及び入力情報記憶部１４０はサーバに通信接続されるデータベースに備えられる。しかしながら、本発明による情報入力システム１００は、このようなハードウェア構成に限定されるものでなく、何れか適切なハードウェア構成を有してもよい。例えば、定型書式が記入台に設置されたプロジェクタなどの投影手段により白紙に投影される実施例では、フォームオーバレイ形成部１２０は当該投影手段により実現されてもよい。更に、撮像部１３０もまたウェアラブル端末に備えられる必要はなく、例えば、ユーザが記入する記入台に固定的に設置された撮像手段により実現されてもよい。
【００２２】
フォームオーバレイ記憶部１１０は、１以上の定型書式又はフォームオーバレイを格納する。各フォームオーバレイは、例えば、入力すべき内容とこれを記入するための空欄などにより構成された複数の入力項目を含む。一実施例では、フォームオーバレイ記憶部１１０は、取引種別、申請内容などに応じて複数種類のフォームオーバレイを格納する。
【００２３】
フォームオーバレイ形成部１２０は、フォームオーバレイ記憶部１１０に記憶されたフォームオーバレイをユーザに可視的に形成する。一実施例では、フォームオーバレイ形成部１２０は、投影手段を利用して、描画面上にレーザ光などの光を照射することによって、描画面上の白紙にフォームオーバレイを投射してもよい。具体的には、フォームオーバレイ形成部１２０は、ユーザによって記入台に置かれた白紙に当該フォームオーバレイを重畳し、ユーザに仮想的な定型書式を提供する。
【００２４】
例えば、図１に示されるように、フォームオーバレイ形成部１２０は、ユーザに装着された頭部装着型ウェアラブル端末に備えられ、ウェアラブル端末の投影手段が描画面上の白紙にフォームオーバレイを照射することによって実現されてもよい。この場合、ユーザの揺動などのため一般に照射エリアを固定できないウェアラブル端末の特性に鑑み、フォームオーバレイ形成部１２０は、何れか周知の位置合わせ機能又はトラッキング機構を利用して、記入台に置かれた白紙と投射されるフォームオーバレイとがずれることを防ぐようにしてもよい。例えば、記入台と白紙との区別ができるように記入台が色付けされ、位置合わせ機能又はトラッキング機構が、白紙を識別して位置合わせ又はトラッキングできるようにしてもよい。あるいは、フォームオーバレイ形成部１２０は、適切な照射エリアに光が照射されるように、ユーザを誘導してもよい。例えば、記入台に何らかの目印が付され、当該目印にユーザが対向すると適切な照射エリアに光が照射されるように、ユーザを誘導してもよい。
【００２５】
他の実施例では、頭部装着型ウェアラブル端末は透過型ディスプレイ又は非透過型ディスプレイなどの表示手段を有し、フォームオーバレイ形成部１２０は、フォームオーバレイを当該表示手段に表示してもよい。具体的には、頭部装着型ウェアラブル端末は、表示手段を備えた眼鏡型ウェアラブル端末又はスマートグラスであり、ユーザは、当該表示手段に画像形成されたフォームオーバレイを見ながら、記入台に置かれた白紙に記入してもよい。ユーザにより記入された白紙は撮像部１３０により撮像され、記入中に撮像された描画情報が表示手段上のフォームオーバレイに重畳される。
【００２６】
更なる他の実施例では、フォームオーバレイ形成部１２０は、記入台に固定されたプロジェクタなどの投影手段に備えられ、固定された投影手段が記入台に置かれた白紙にフォームオーバレイを照射することによって実現されてもよい。具体的には、ユーザは、記入台の所定の位置に白紙を置き、投影手段により白紙上に投射されたフォームオーバレイの各入力項目をボールペンなどの筆記具により記入するようにしてもよい。この場合、投影手段がウェアラブル端末に備えられる場合と比較して、投影手段と白紙の位置合わせが容易であるため、ユーザの動きに関係なく描画情報を適切に取得することが可能である。
【００２７】
また、フォームオーバレイ形成部１２０は、ユーザにこれから記入すべき入力項目をハイライト表示などにより通知し、ハイライト後のタイミングで記入された描画情報を当該入力項目と関連付けてもよい。これにより、定型書式における入力項目の位置だけでなく、記入タイミングも利用することによって、より高い精度で描画情報と対応する入力項目とを関連付けることが可能になる。
【００２８】
撮像部１３０は、形成されたフォームオーバレイに関連して描画された描画情報を撮像し、撮像された描画情報を画像処理部１４０に提供する。ここで、画像処理部１４０がウェアラブル端末に通信接続されたサーバに備えられる場合、撮像部１３０は、典型的には、無線通信により撮像した描画情報をサーバに送信する。
【００２９】
一実施例では、撮像部１３０は、頭部装着型ウェアラブル端末に備えられ、当該ウェアラブル端末に備えられたカメラなどの撮像手段により実現されてもよい。具体的には、撮像部１３０は、記入台に置かれた白紙に投射された各入力項目について、ユーザによってボールペンなどの筆記具により記入された描画情報及び／又は印鑑などが押印された描画情報を撮像し、撮像した描画情報を画像処理部１４０に送信する。また、フォームオーバレイ形成部１２０が眼鏡型ウェアラブル端末に搭載されたディスプレイにフォームオーバレイを表示する場合、撮像部１３０は、記入台に置かれた白紙にユーザによって記入された描画情報又は押印された描画情報を撮像し、撮像した描画情報をディスプレイに表示されているフォームオーバレイと重畳してユーザに表示してもよい。
【００３０】
画像処理部１４０は、撮像された描画情報からフォームオーバレイの各入力項目に対応する入力情報を取得し、取得した入力情報を対応する入力項目に関連付けて入力情報記憶部１５０に提供する。
【００３１】
一実施例では、画像処理部１４０は、撮像された描画情報からフォームオーバレイの各入力項目に描画された描画情報を抽出し、該入力項目の情報種別に応じた画像認識を実行することによって入力情報を取得してもよい。ここで、入力情報は、文字情報、数字情報及び画像情報の情報種別の１つ以上の情報を含むものであってもよく、各入力項目に情報種別が対応付けされる。画像認識されることなく画像情報として取得される描画情報の典型例は、印影やサインなどがあげられる。
【００３２】
例えば、入力項目が「氏名」である場合、入力情報の情報種別は「文字情報」であると想定することができ、画像処理部１４０は、入力項目「氏名」に関連する空欄に描画された描画情報を抽出し、「文字情報」に応じた画像認識を実行することによって、文字情報として入力情報を取得する。あるいは、入力項目が「電話番号」である場合、入力情報の情報種別は「数字情報」であると想定することができ、画像処理部１４０は、入力項目「電話番号」に関連する空欄に描画された描画情報を抽出し、「数字情報」に応じた画像認識を実行することによって、数字情報として入力情報を取得する。あるいは、入力項目が「印鑑」である場合、入力情報の情報種別は「画像情報」であると想定することができ、画像処理部１４０は、入力項目「印鑑」に関連する空欄に描画された描画情報を抽出し、当該印影を画像認識することなく画像情報として認識し、入力情報を取得する。このように、入力項目の情報種別に応じた画像処理を実行することによって、画像認識の精度を向上させることが可能である。
【００３３】
ここで、ユーザの記入ミスや判読困難な記入などのために画像認識に失敗した場合、画像処理部１４０は、該当する入力項目に対する画像認識に失敗したことをフォームオーバレイ形成部１２０に通知してもよい。当該通知を受信すると、フォームオーバレイ形成部１２０は、ユーザに当該入力項目を再記入するよう要求してもよい。あるいは、所定のパーセンテージ以上の入力項目に対する画像認識に失敗した場合、画像処理部１４０は、当該ユーザが担当者などによるサポートが必要なユーザであると判断し、担当者にその旨を通知してもよい。
【００３４】
画像処理部１４０は、典型的には、ウェアラブル端末に通信接続されたサーバに備えられるが、本発明はこれに限定することなく、ウェアラブル端末内に実装されてもよい。
【００３５】
入力情報記憶部１５０は、対応する入力項目に関連付けて画像処理部１４０から提供された入力情報を記憶する。典型的には、入力情報記憶部１５０は、ユーザにより記入された定型書式を受け付ける企業や機関に設けられたデータベースにより実現される。更に、ユーザの筆跡を保持した定型書式を保存する必要がある場合、入力情報記憶部１５０は、フォームオーバレイが重畳された描画情報を画像情報として格納してもよい。
【００３６】
次に、図３を参照して、本発明の一実施例による情報入力システムにおける処理を説明する。図３は、本発明の一実施例による情報入力処理を示すフロー図である。
【００３７】
図３に示されるように、当該情報入力処理は、例えば、ウェアラブル端末を装着したユーザが所望する取引又は申請を選択したことに応答して開始される。
【００３８】
ステップＳ１０１において、フォームオーバレイ形成部１２０は、ユーザにより選択された取引又は申請に対応したフォームオーバレイをフォームオーバレイ記憶部１１０から抽出し、抽出したフォームオーバレイをユーザに可視的に形成する。
【００３９】
一実施例では、フォームオーバレイ形成部１２０は、ユーザが装着したウェアラブル端末の投影手段を利用して、記入台に置かれた白紙に抽出したフォームオーバレイを投射することによって、定型書式を仮想的にユーザに表示してもよい。ユーザは、重畳されたフォームオーバレイの各入力項目をボールペンなどの筆記具により記入したり、又は印鑑を押印する。
【００４０】
他の実施例では、フォームオーバレイ形成部１２０は、ユーザが装着したウェアラブル端末の表示手段を利用して、撮像した白紙に定型書式を重畳した合成画像を表示手段に表示し、定型書式を仮想的にユーザに表示してもよい。ユーザは、表示手段を見ながら、重畳されたフォームオーバレイの各入力項目を記入台に置かれた白紙にボールペンなどの筆記具により記入したり、又は印鑑を押印する。
【００４１】
更なる他の実施例では、フォームオーバレイ形成部１２０は、記入台に固定的に設置されたプロジェクタなどの投影手段によってフォームオーバレイの各入力項目が投射された白紙にボールペンなどの筆記具により記入したり、又は印鑑を押印する。
【００４２】
ステップＳ１０２において、撮像部１３０は、形成されたフォームオーバレイに関連して描画された描画情報を撮像する。典型的には、撮像部１３０は、フォームオーバレイの形成後、ユーザによる記入中に白紙に描画された描画情報を撮像し続けてもよい。ユーザが全ての入力項目の記入を完了したと判断すると、撮像部１３０は、撮像した描画情報を含むフォームオーバレイの画像情報を取得し、画像処理部１４０に送信する。あるいは、各入力項目の記入が完了する毎に、撮像部１３０は、撮像した描画情報を含む当該入力項目の画像情報を取得し、画像処理部１４０に送信してもよい。
【００４３】
ステップＳ１０３において、画像処理部１４０は、撮像された描画情報からフォームオーバレイの各入力項目に対応する入力情報を取得する。具体的には、画像処理部１４０は、各入力項目に描画された描画情報を画像認識し、文字情報又は数字情報として入力情報を認識する。
【００４４】
一実施例では、画像処理部１４０は、撮像された描画情報からフォームオーバレイの各入力項目に描画された描画情報を抽出し、該入力項目の情報種別に応じた画像認識を実行することによって入力情報を取得してもよい。例えば、印影や署名など文字情報や数字情報に変換することなく撮像した描画情報を画像情報として認識する必要がある場合、入力項目の情報種別が画像情報に設定される。これにより、画像処理部１４０は、情報種別が画像情報である入力項目に対して不要な画像認識を実行せずに済む。
【００４５】
また、一実施例では、画像処理部１４０は、画像認識に失敗した場合、フォームオーバレイ形成部１２０に画像認識に失敗したことを通知するようにしてもよい。当該画像認識の失敗の通知を受信すると、フォームオーバレイ形成部１２０は、ユーザに再記入を要求してもよい。
【００４６】
ステップＳ１０４において、画像処理部１４０は、認識された入力情報を対応する入力項目に関連付けて入力情報記憶部１５０に格納する。また、ユーザの筆跡を保持した定型書式を保存する必要がある場合、画像処理部１４０は、フォームオーバレイが重畳された描画情報を画像情報のまま入力情報記憶部１５０に格納してもよい。
【００４７】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００４８】
１００  情報入力システム
１１０  フォームオーバレイ記憶部
１２０  フォームオーバレイ形成部
１３０  撮像部
１４０  画像処理部
１５０  入力情報記憶部
【図１】
2015210781.tif 000003
【図２】
2015210781.tif 000004
【図３】
2015210781.tif 000005