(57)【特許請求の範囲】
【請求項１】
捕捉対象からデータ情報を抽出するように設置されるデータ捕捉モジュールと、
ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するように設置される迅速入力モジュールと、を備え、
前記入力方式は、入力されたアプリケーションプログラム及び入力されたフォーマットを含み、
前記迅速入力モジュールは、前記データ捕捉モジュールが抽出したデータ情報に対して処理を行い、バッファ領域にキャッシュするように設置されるメモリ共有バッファ制御モジュールと、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得し、対象領域に入力するように設置される自動入力モジュールとを備え、
抽出された前記データ情報が文字列であり、且つ複数の文字列を含む場合、前記メモリ共有バッファ制御モジュールは、前記データ情報に含まれている複数の文字列を前記バッファ領域にキャッシュする時、各文字列を分割するように各文字列の後ろに特殊な文字を加入し、
前記自動入力モジュールは、
前記バッファ領域から前記データ情報を取得し、且つ前記操作ジェスチャーに対応する入力方式によって、前記データ情報を一次元データまたは二次元データに処理するように設置されるデータ処理モジュールと、
仮想キーボードモジュールに制御命令を送信し、前記仮想キーボードモジュールを制御してマウスのフォーカスを前記対象領域に移動させるための操作命令を送信するように設置される自動入力スクリプト制御モジュールと、を備え、
前記仮想キーボードモジュールは、前記操作命令を送信し、且つ貼付命令を送信し、前記データ処理モジュールの処理を経た後のデータを前記対象領域に貼り付けるように設置される
端末。
【請求項２】
前記データ捕捉モジュールは、
端末画面に表示されるピクチャに対する領域選択操作を検出し、前記捕捉対象を取得するように設置されるインタラクションモジュールと、
前記捕捉対象に対して画像処理を行って有効なピクチャ領域を取得するように設置される画像処理モジュールと、
前記有効なピクチャ領域に対して認識を行って前記データ情報を抽出するように設置される第１の認識モジュールと、を備える
請求項１に記載の端末。
【請求項３】
前記領域選択操作の選択モードを提供するように設置される選択モード提供モジュールをさらに備え、
前記選択モードは、単行または単列選択モード、多行または多列選択モード、及び不規則な閉曲線選択モードの内少なくとも１つを含む
請求項２に記載の端末。
【請求項４】
撮影または追跡により前記捕捉対象を取得し、且つ取得された捕捉対象を画像形式で端末画面に表示するように設置される撮影モジュールを、さらに備える
請求項１に記載の端末。
【請求項５】
前記迅速入力モジュールは、
操作ジェスチャーと入力方式との対応関係を予め設定するように設置されるプリセットモジュールと、
ユーザが入力した操作ジェスチャーを認識し、前記操作ジェスチャーに対応する入力方式を確定するように設置される第２の認識モジュールと、
を備える請求項１に記載の端末。
【請求項６】
前記自動入力スクリプト制御モジュールは、
前記データ処理モジュールが前記データ情報を二次元データに処理し、且つ前記仮想キーボードモジュールが前記二次元データにおける１つの要素を入力する毎に、前記二次元データにおける全ての要素が入力されるまで、前記仮想キーボードモジュールに前記制御命令を送信し、前記仮想キーボードモジュールが前記マウスのフォーカスを次の対象領域に移動させるように指示するように設置される
請求項１に記載の端末。
【請求項７】
前記捕捉対象及び対象領域は、前記端末の表示画面に同一画面で表示される
請求項１乃至６のいずれか１項に記載の端末。
【請求項８】
指定された捕捉対象からデータ情報を抽出するステップと、
ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するステップと、を含み、
前記入力方式は、入力されたアプリケーションプログラム及び入力されたフォーマットを含み、
ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するステップは、
認識された前記データ情報に対して処理を行い、バッファ領域にキャッシュするステップと、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得し、対象領域に入力するステップと、を含み、
抽出された前記データ情報が文字列であり、且つ複数の文字列を含む場合、メモリ共有バッファ制御モジュールは、前記データ情報に含まれている複数の文字列を前記バッファ領域にキャッシュする時、各文字列を分割するように各文字列の後ろに特殊な文字を加入し、
前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得し、対象領域に入力するステップは、
前記バッファ領域から前記データ情報を取得し、且つ前記操作ジェスチャーに対応する入力方式によって、前記データ情報を一次元データまたは二次元データに処理するステップ１と、
仮想キーボードが、マウスのフォーカスを前記対象領域に移動させるための操作命令を送信するステップ２と、
仮想キーボードが貼付命令を送信し、処理後のデータを前記対象領域に貼り付けるステップ３と、
を含む
データ入力方法。
【請求項９】
指定された捕捉対象からデータ情報を抽出するステップは、
端末画面に表示されるピクチャに対する領域選択操作を検出し、選択された前記捕捉対象を取得するステップと、
選択された前記捕捉対象に対して画像処理を行って有効なピクチャ領域を取得するステップと、
前記有効なピクチャ領域に対して認識を行って前記データ情報を抽出するステップと、
を含む
請求項８に記載のデータ入力方法。
【請求項１０】
指定された捕捉対象からデータ情報を抽出する前に、撮影または追跡により前記捕捉対象を取得し、且つ取得された捕捉対象を画像形式で端末画面に表示するステップ、をさらに含む
請求項８に記載のデータ入力方法。
【請求項１１】
ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するステップは、
ユーザが入力した操作ジェスチャーを認識し、予め設定された操作ジェスチャーと入力方式との対応関係によって、前記操作ジェスチャーに対応する入力方式を確定するステップ
を含む
請求項８に記載のデータ入力方法。
【請求項１２】
前記データ情報を二次元データに処理する場合に、前記二次元データにおける１つの要素を入力する毎に、ステップ２に戻り、前記二次元データにおける全ての要素が入力されるまで、前記マウスのフォーカスを次の対象領域に移動させる
請求項８に記載のデータ入力方法。
【請求項１３】
前記捕捉対象及び対象領域は、端末の表示画面に同一画面で表示される
請求項８乃至１２の何れか１項に記載のデータ入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信分野に関し、具体的に、データ入力方法及び端末に関する。
【背景技術】
【０００２】
現在、スマートフォンやタブレット・コンピュータ（ＰＡＤ）等の携帯ユーザ端末の画面の表示面積は大きくなっており、より多くの情報を表示することができる。また、これらのユーザ端末は、大容量記憶空間及び強力な処理能力を有しているため、ユーザ端末がマイクロコンピュータのように、ますます多くの機能を実現することができ、且つ、ユーザの携帯端末への期待も高くなっている。例えば、過去にキーボードで入力する必要のあった情報は、ユーザ端末の周辺機器の上で一定のデータ処理により実現されることが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
現在、ユーザは、外部における非コンピュータの認識可能な情報（例えば、店舗における看板に記録される情報、或いは、他のユーザが画像でユーザに送信する情報等）を、コンピュータの認識可能な情報に変換する必要がある場合に、これらの情報を手動でユーザ端末のキーボードによって携帯端末に１つずつ入力しなければならず、手間がかかり、特に入力しようとする情報が大量である場合に、ユーザの大量の時間がかかり、且つ手動入力によるミスが発生しやすい。
【０００４】
ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ、光学文字認識）により、コンピュータの認識可能な情報を迅速に取得することができるが、情報を認識した後、ユーザは手動で認識された情報を他のアプリケーションプログラムに貼り付ける必要もあり、自動的に入力することができず、ユーザの作業性が劣る。
【０００５】
現在、従来技術において外部の非コンピュータの認識可能な情報の手動入力に存在する上述の問題に対して、有効な解決手段が提案されていない。
本発明は、従来技術において外部の非コンピュータの認識可能な情報の手動入力に存在する手間がかかるとともに正解率が低い問題に対して、少なくとも上述の問題を解決するデータ入力方法及び端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の１つの態様によれば、端末が提供され、前記端末は、捕捉対象からデータ情報を抽出するように設置されるデータ捕捉モジュールと、ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するように設置される迅速入力モジュールと、を備え、前記入力方式は、入力されたアプリケーションプログラム及び入力されたフォーマットを含む。
【０００７】
選択的には、前記データ捕捉モジュールは、端末画面に表示されるピクチャ（動的なものと静的なものを含むか否か？ＹＥＳ）に対する領域選択操作を検出し、前記捕捉対象を取得するように設置されるインタラクションモジュールと、前記捕捉対象に対して画像処理を行って有効なピクチャ領域を取得するように設置される画像処理モジュールと、前記有効なピクチャ領域に対して認識を行って前記データ情報を抽出するように設置される第１の認識モジュールと、を備える。
【０００８】
選択的には、前記端末は、前記領域選択操作の選択モードを提供するように設置される選択モード提供モジュールをさらに備え、前記選択モードは、単行または単列選択モード、多行または多列選択モード、及び不規則な閉曲線選択モードの内少なくとも１つを含んでいる。
【０００９】
選択的には、前記端末は、撮影または追跡により前記捕捉対象を取得し、且つ取得された捕捉対象を画像形式で端末画面に表示するように設置される撮影モジュールを、さらに備える。
【００１０】
選択的には、前記迅速入力モジュールは、操作ジェスチャーと入力方式との対応関係を予め設定するように設置されるプリセットモジュールと、ユーザが入力した操作ジェスチャーを認識し、前記操作ジェスチャーに対応する入力方式を確定するように設置される第２の認識モジュールと、前記データ捕捉モジュールが抽出したデータ情報に対して処理を行い、バッファ領域にキャッシュするように設置されるメモリ共有バッファ制御モジュールと、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得し、対象領域に入力するように設置される自動入力モジュールと、を備える。
【００１１】
選択的には、前記自動入力モジュールは、前記バッファ領域から前記データ情報を取得し、且つ前記操作ジェスチャーに対応する入力方式によって、前記データ情報を一次元データまたは二次元データに処理するように設置されるデータ処理モジュールと、仮想キーボードモジュールに制御命令を送信し、前記仮想キーボードモジュールを制御してマウスのフォーカスを前記対象領域に移動させるための操作命令を送信するように設置される自動入力スクリプト制御モジュールと、を備え、前記仮想キーボードモジュールは、前記操作命令を送信し、且つ貼付命令を送信し、前記データ処理モジュールの処理を経た後のデータを前記対象領域に貼り付けるように設置される。
【００１２】
選択的には、前記自動入力スクリプト制御モジュールは、前記データ処理モジュールが前記データ情報を二次元データに処理し、且つ前記仮想キーボードモジュールが前記二次元データにおける１つの要素を入力する毎に、前記二次元データにおける全ての要素が入力されるまで、前記仮想キーボードモジュールに前記制御命令を送信し、前記仮想キーボードモジュールが前記マウスのフォーカスを次の対象領域に移動させるように指示するように設置される。
【００１３】
選択的には、前記捕捉対象及び対象領域は、前記端末の表示画面に同一画面で表示される。
【００１４】
本発明の他の１つの態様によれば、データ入力方法が提供され、前記データ入力方法は、指定された捕捉対象からデータ情報を抽出するステップと、ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するステップと、を含み、前記入力方式は、入力されたアプリケーションプログラム及び入力されたフォーマットを含む。
【００１５】
選択的には、指定された捕捉対象からデータ情報を抽出するステップは、端末画面に表示されるピクチャに対する領域選択操作を検出し、選択された前記捕捉対象を取得するステップと、選択された前記捕捉対象に対して画像処理を行って有効なピクチャ領域を取得するステップと、前記有効なピクチャ領域に対して認識を行って前記データ情報を抽出するステップと、を含む。
【００１６】
選択的には、前記データ入力方法は、指定された捕捉対象からデータ情報を抽出する前に、撮影または追跡により前記捕捉対象を取得し、且つ取得された捕捉対象を画像形式で端末画面に表示するステップ、をさらに含む。
【００１７】
選択的には、ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するステップは、ユーザが入力した操作ジェスチャーを認識し、予め設定された操作ジェスチャーと入力方式との対応関係によって、前記操作ジェスチャーに対応する入力方式を確定するステップと、認識された前記データ情報に対して処理を行い、バッファ領域にキャッシュするステップと、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得し、対象領域に入力するステップと、を含む。
【００１８】
選択的には、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得し、対象領域に入力するステップは、前記バッファ領域から前記データ情報を取得し、且つ前記操作ジェスチャーに対応する入力方式によって、前記データ情報を一次元データまたは二次元データに処理するステップ１と、仮想キーボードが、マウスのフォーカスを前記対象領域に移動させるための操作命令を送信するステップ２と、仮想キーボードが貼付命令を送信し、処理後のデータを前記対象領域に貼り付けるステップ３と、を含む。
【００１９】
選択的には、前記データ情報を二次元データに処理する場合に、前記二次元データにおける１つの要素を入力する毎に、ステップ２に戻り、前記二次元データにおける全ての要素が入力されるまで、前記マウスのフォーカスを次の対象領域に移動させる。
【００２０】
選択的には、前記捕捉対象及び対象領域は、前記端末の表示画面に同一画面で表示される。
【発明の効果】
【００２１】
本発明によると、捕捉対象からデータ情報を抽出し、その後、ユーザの操作ジェスチャーに対応する入力方式によって、抽出されたデータ情報を対象領域に自動的に入力することで、相関技術において外部の非コンピュータの認識可能な情報の手動入力に存在する手間がかかるとともに正解率が低い問題を解決し、迅速、且つ正確に情報を入力することができ、ユーザの作業性を向上させる。
【図面の簡単な説明】
【００２２】
ここで説明する図面は、本発明に対する更なる理解を呈するものであり、本明細書の一部分を構成し、本発明の実施形態及びその説明は、本発明を解釈することに用いられ、本発明を不当に限定するものではない。
【００２３】
【図１】本発明の実施例に係る端末の構造模式図である。
【図２】本発明の実施例におけるデータ捕捉モジュール１０の選択可能な実施形態の構造模式図である。
【図３】本発明の選択可能な実施例における迅速入力モジュール２０の選択可能な実施形態の構造模式図である。
【図４】本発明の実施例における捕捉対象選択の模式図である。
【図５】本発明の実施例におけるデータ情報入力操作の例の図である。
【図６】本発明の実施例におけるデータ情報入力操作の他の１つの例の図である。
【図７】本発明の実施例に係るデータ入力方法のフローチャートである。
【図８】本発明の実施例１における文字列データ入力のフローチャートである。
【図９】本発明の実施例２における入力テーブルの模式図である。
【図１０】本発明の実施例２に係るテーブル入力のフローチャートである。
【図１１】本発明の実施例３に係る電話番号入力のフローチャートである。
【図１２】本発明の実施例４に係る成績自動入力のフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参考して実施例を組み合わせて、本発明を詳しく説明する。なお、矛盾しない場合に、本発明における実施例及び実施例の特徴は、相互に組み合わせることもできる。
【００２５】
図１は、本発明の実施例に係る端末の構造模式図であり、図１に示すように、当該端末は、データ捕捉モジュール１０及び迅速入力モジュール２０を主に備える。データ捕捉モジュール１０は、捕捉対象からデータ情報を抽出するように設置され、迅速入力モジュール２０は、ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力するように設置される。前記入力方式は、入力されたアプリケーションプログラム及び入力されたフォーマットを含む。
【００２６】
本発明に提供される上述の端末は、データ捕捉モジュール１０により捕捉対象からデータ情報を抽出し、その後、迅速入力モジュール２０によりデータ情報を対象領域に自動的に入力することにより、手動入力による不便を回避することができ、ユーザの作業性を向上させる。
【００２７】
本発明の実施例の選択可能な１つの実施形態において、図２に示すように、データ捕捉モジュール１０は、端末画面に表示されるピクチャに対する領域選択操作を検出して、前記捕捉対象を取得するように設置されているインタラクションモジュール１０２と、前記捕捉対象に対して画像処理を行って有効なピクチャ領域を取得するように設置されるデータ処理モジュール１０４と、前記有効なピクチャ領域に対して認識を行って前記データ情報を抽出するように設置される第１の認識モジュール１０６と、を備えてもよい。
【００２８】
本発明の実施例の選択可能な１つの実施形態において、第１の認識モジュール１０６は、光学文字認識（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ）モジュールであってもよい。ＯＣＲモジュールにより捕捉対象に対してＯＣＲ認識を行うことで、認識可能な文字列データを取得することができる。
【００２９】
本発明の実施例の選択可能な実施形態において、捕捉対象は、ピクチャ、カメラの撮影した写真、またはカメラが撮影せずにフォーカスフレームから認識される有効な情報等であってもよいので、端末画面に表示される画像は、静的なものであってもよく、動的なものであってもよい。当該選択可能な実施形態において、前記端末は、撮影または追跡により捕捉対象を取得し、且つ取得された捕捉対象を画像形式で端末画面に表示するための撮影モジュールを、更に備えてもよい。即ち、ユーザは、ユーザ端末の周辺機器（例えば、内蔵カメラ）によって外部の物を撮影する時、入力する必要のあるピクチャ領域を選択してもよい。または、写真を撮影した（またはネットワークまたは他のルートでピクチャを取得した）後に、当該ピクチャを閲覧し、その後、入力する必要のあるピクチャ領域を選択してもよい。
【００３０】
選択可能な１つの実施形態において、データ捕捉モジュール１０は、撮影モジュールと集積して設置してもよい。即ち、撮影モジュールは、同時にデータ捕捉機能（例えば、ＯＣＲ機能）及び撮影機能（例えば、ＯＣＲ機能を有するカメラ）を有してもよい。または、データ捕捉モジュール１０は、ピクチャ閲覧機能を有してもよい。即ち、ピクチャ閲覧を提供するとともに、データ抽出を行ってもよい。例えば、ＯＣＲ機能を有するピクチャ閲覧モジュールであってもよいが、本発明の実施例は具体的に限定されない。
【００３１】
本発明の実施例に係る上述の選択可能な実施形態は、インタラクションモジュール１０２でユーザに選択されたピクチャ領域を取得し、ユーザに選択されたピクチャ領域におけるデータ情報を抽出する。これにより、便利、且つ迅速にユーザに選択されたピクチャ領域を端末に入力することができ、ユーザの作業性を向上させる。
【００３２】
本発明の実施例の選択可能な実施形態において、ユーザが選択しやすくさせるために、端末は選択モード提供モジュールを更に提供してもよい。選択モード提供モジュールは領域選択操作を提供するための選択モジュールであり、前記選択モードは、単行または単列選択モード、多行または多列選択モード、及び不規則な閉曲線選択モードの内少なくとも１つを含む。
【００３３】
例えば、単行または単列モードは、ある１本の直線のピクチャ情報に対して選択を行う。ユーザが単行または単列モードを選択すると、ユーザが領域選択操作を実行する時、認識する必要のある領域にタッチ選択操作を行う。タッチの開始を始点として、タッチを終了するまで任意の方向に沿って直線タッチ操作を行い、選択領域の範囲を徐々に拡大する。ユーザが選択すると同時に、ユーザ端末は、１つの対応するブロックで前記範囲を表示する。タッチが終了された後、選択範囲内のピクチャがカットされ、バックグラウンドの画像処理モジュールに任せる。
【００３４】
多行または多列モードは、ある１つの矩形のブロックにおけるピクチャ情報に対して選択を行う。ユーザが多行／多列モードを選択すると、ユーザが領域選択操作を実行する時、タッチ選択過程は２本の直線であり、この２本の直線の痕跡は連続しており、１本目の直線を矩形の１本の対角線とし、２本目の直線を矩形のある１辺とする。このようにすれば、１つの矩形を確定することができる。同時に、１つの矩形の表示枠を表示して選択領域を表し、カットされたピクチャをバックグラウンドの画像処理モジュールに任せる。
【００３５】
本発明の実施例は、矩形でピクチャの光学データを説明できない場合に対して、閉曲線を描くことで対応するピクチャデータを抽出する形態を更に提供する。閉曲線モードを用いて、光学文字列のエッジのいずれか１つの箇所でタッチ抽出を開始し、その後、エッジに沿ってずっと描き、始点に戻って１つの閉曲線を構成する。その後、閉曲線領域内のピクチャを抽出し、バックグラウンドの画像処理モジュールに処理を任せる。
【００３６】
当該選択可能な実施形態によると、ユーザにピクチャ領域の複数の選択方式を提供することができ、これにより、ユーザの選択が便利になる。
【００３７】
本発明の実施例の選択可能な実施形態において、図３に示すように、迅速入力モジュール２０は、操作ジェスチャーと入力方式との対応関係を予め設定するように設置されるプリセットモジュール２０２と、ユーザが入力した操作ジェスチャーを認識し、前記操作ジェスチャーに対応する入力方式を確定するように設置される第２の認識モジュール２０４と、前記データ捕捉モジュール１０が抽出したデータ情報を処理してバッファ領域にキャッシュするように設置されるメモリ共有バッファ制御モジュール２０６と、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得して対象領域に入力するように設置される自動入力モジュール２０８と、を備えてもよい。当該選択可能な実施形態において、データ捕捉モジュール１０が抽出したデータ情報をバッファ領域にキャッシュすることで、収集された前記データ情報をプロセス間にコピーすることができる。
【００３８】
他の１つの選択可能な実施形態において、抽出されたデータ情報が文字列であり、且つ複数の文字列を含むと、メモリ共有バッファ制御モジュール２０６は、文字列を前記メモリ共有バッファ領域にキャッシュする時、各文字列を分割するように各文字列の後ろに特殊な文字を加入する。当該選択可能な実施形態によると、認識された複数の文字列を分割することができ、これにより、その中の１つの文字列のみを選択して入力することができ、または、その中の各文字列を異なるテキスト領域に入力することができる。
【００３９】
他の１つの選択可能な実施形態において、自動入力モジュール２０８は、バッファ領域から前記データ情報を取得し、且つ前記操作ジェスチャーに対応する入力方式によって、前記データ情報を一次元データまたは二次元データに処理するように設置されるデータ処理モジュールと、仮想キーボードモジュールに制御命令を送信し、仮想キーボードモジュールを制御してマウスのフォーカスを前記対象領域に移動させるための操作命令を送信するように設置される自動入力スクリプト制御モジュールと、を備えてもよい。前記仮想キーボードモジュールは、前記操作命令を送信し、且つ貼付命令を送信し、前記データ処理モジュールの処理を経た後のデータを前記対象領域に貼り付けるように設置される。
【００４０】
本発明の実施例の他の１つの選択可能な実施形態において、二次元データに対して、前記自動入力スクリプト制御モジュールは、仮想キーボードモジュールが二次元データにおける１つの要素を入力する毎に、前記二次元データにおける全ての要素が入力されるまで、前記制御命令を仮想キーボードモジュールに送信し、仮想キーボードモジュールが前記マウスのフォーカスを次の対象領域に移動させるように指示する。当該実施形態により、認識された複数の文字列をそれぞれ異なるテキスト領域に入力することで、テーブルの入力、即ち、異なる文字列を異なるテーブルに入力することを実現することができる。
【００４１】
本発明の実施例において、操作ジェスチャーは、クリックまたはドラッグを含んでもよい。例えば、図４に示す名刺のピクチャに対して、ユーザがその中の氏名及び電話番号である情報を入力する必要のある場合に、ユーザはピクチャの中で氏名及び電話番号を含むピクチャ（図４のブロックに示すように）を選択し、その後、ユーザは選択されたピクチャ領域をクリックまたはドラッグする。即ち、端末は予め設定された操作ジェスチャーと入力方式との対応関係によって、入力する必要のある連絡先情報を確定する。図５に示すように、その中の氏名及び電話番号を抽出し、且つ新しい連絡先としてコンタクトリストに貼り付ける。
【００４２】
本発明の実施例の１つの選択可能な実施形態において、上述の捕捉対象及び対象領域は、端末の表示画面に同一画面で表示される。ユーザは、選択されたピクチャ領域を同一画面で表示される他の１つのアプリケーションプログラムウィンドウ（表示画面に２つまたは２つより多いプログラムウィンドウが表示可能）にドラッグする操作を入力し、端末は、ユーザによる当該操作に応答し、データ捕捉モジュール１０は、捕捉対象（即ち、選択されたピクチャ領域）のデータ情報（即ち、氏名及び電話番号の情報）を抽出し、迅速入力モジュール２０は、抽出されたデータ情報を他の１つのアプリケーションプログラムに入力する。例えば、図６において、ユーザは、ピクチャの中で氏名及び電話番号を含むピクチャ（図６のブロックに示すように）を選択し、その後、ユーザは、選択されたピクチャ領域をコンタクトリストにおける新規連絡先ウィンドウにドラッグし、ユーザの当該操作に応答して、データ捕捉モジュール１０は、捕捉対象（即ち、選択されたピクチャ領域）のデータ情報（即ち、氏名及び電話番号の情報）を抽出し、迅速入力モジュール２０は、抽出されたデータ情報（即ち、氏名及び電話番号の情報）を新規連絡先に対応するテキストボックスに入力する。
【００４３】
本発明の実施例によれば、上述のユーザ端末により実現することができるデータ入力方法が更に提供される。
【００４４】
図７は、本発明の実施例に係るデータ入力方法のフローチャートであり、図７に示すように、主に以下のステップ（ステップＳ７０２〜ステップＳ７０４）を含む。
ステップＳ７０２において、指定された捕捉対象からデータ情報を抽出する。
【００４５】
選択的に、捕捉対象は、ピクチャ、カメラの撮影した写真、またはカメラが撮影せずにフォーカスフレームから認識される有効な情報等であってもよいので、端末画面に表示される画像は、静的なものであってもよく、動的なものであってもよい。当該選択可能な実施形態において、前記方法は、撮影または追跡によって捕捉対象を取得し、且つ取得された捕捉対象を画像形式で端末画面に表示するステップ、を更に含んでもよい。即ち、ユーザは、ユーザ端末の周辺機器（例えば、内蔵カメラ）によって外部の物を撮影する時、入力する必要のあるピクチャ領域を選択してもよい。または、写真（またはネットワークまたは他のルートで取得したピクチャ）を撮影した後に、当該ピクチャを閲覧し、その後、入力する必要のあるピクチャ領域を選択してもよい。
【００４６】
本発明の実施例の１つの選択可能な実施形態において、ステップＳ７０２は、端末画面に表示されたピクチャに対する領域選択操作を検出し、前記捕捉対象を取得するステップと、前記捕捉対象に対して画像処理を行って有効なピクチャ領域を取得するステップと、有効な前記ピクチャ領域に対して認識を行って前記データ情報を抽出し、例えば、ＯＣＲ技術を用いてピクチャ領域に対して認識を行い、ピクチャ領域の文字列データを取得するステップと、を含んでもよい。
【００４７】
本発明の実施例の選択可能な実施形態において、ユーザが便利に選択するために、領域選択操作を実行する時、端末が担う選択モードによって選択してもよい。ここで、前記選択モードは、単行または単列選択モード、多行または多列選択モード、及び不規則な閉曲線選択モードの内少なくとも１つを含む。
【００４８】
例えば、単行または単列モードは、ある１本の直線のピクチャ情報に対して選択を行う。ユーザが単行または単列モードを選択すると、ユーザが領域選択操作を実行する時、認識する必要のある領域にタッチ選択操作を行う。タッチの開始を始点として、タッチを終了するまで任意の方向に沿って直線タッチ操作を行い、選択領域の範囲を徐々に拡大する。ユーザが選択すると同時に、ユーザ端末は、１つの対応するブロックで前記範囲を表示する。タッチが終了された後、選択範囲内のピクチャがカットされ、バックグラウンドの画像処理モジュールに任せる。
【００４９】
多行または多列モードは、ある１つの矩形のブロックにおけるピクチャ情報に対して選択を行う。ユーザが多行／多列モードを選択すると、ユーザが領域選択操作を実行する時、タッチ選択過程は２本の直線であり、この２本の直線の痕跡は連続しており、１本目の直線を矩形の１本の対角線とし、２本目の直線を矩形のある１辺とする。このようにすれば、１つの矩形を確定することができる。同時に、１つの矩形の表示枠を表示して選択領域を表し、カットされたピクチャをバックグラウンドの画像処理モジュールに任せる。
【００５０】
本発明の実施例は、矩形でピクチャの光学データを説明できない場合に対して、閉曲線を描くことで対応するピクチャデータを抽出する形態を更に提供する。閉曲線モードを用いて、光学文字列のエッジのいずれか１つの箇所でタッチ抽出を開始し、その後、エッジに沿ってずっと描き、始点に戻って１つの閉曲線を構成する。その後、閉曲線領域内のピクチャを抽出し、バックグラウンドの画像処理モジュールに処理を任せる。
【００５１】
当該選択可能な実施形態によると、ユーザにピクチャ領域の複数の選択方式を提供することができ、これにより、ユーザの選択が便利になる。
【００５２】
ステップＳ７０４において、ユーザの操作ジェスチャーを認識し、認識された前記操作ジェスチャーに対応する入力方式によって、抽出された前記データ情報を対象領域に入力する。ここで、前記入力方式は、入力されたアプリケーションプログラム及び入力されたフォーマットを含む。
【００５３】
選択的に、ステップＳ７０４は、ユーザが入力した操作ジェスチャーを認識し、予め設定された操作ジェスチャーと入力方式との対応関係によって、前記操作ジェスチャーに対応する入力方式を確定するステップと、認識された前記データ情報に対して処理を行い、バッファ領域にキャッシュするステップと、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得して対象領域に入力するステップと、を含んでもよい。当該選択可能な実施形態において、データ捕捉モジュール１０が抽出したデータ情報をバッファ領域にキャッシュすることにより、収集された前記データ情報をプロセス間にコピーすることができる。
【００５４】
他の１つの選択可能な実施形態において、抽出されたデータ情報が文字列であり、且つ複数の文字列を含むと、文字列を前記メモリ共有バッファ領域にキャッシュする時、各文字列を分割するように各文字列の後ろに特殊な文字を加入する。当該選択可能な実施形態によると、認識された複数の文字列を分割することができ、これにより、その中の１つの文字列のみを選択して入力することができ、または、その中の各文字列を異なるテキスト領域に入力することができる。
【００５５】
他の１つの選択可能な実施形態において、前記操作ジェスチャーに対応する入力方式によって、前記バッファ領域から前記データ情報を取得し、対象領域に入力するステップは、前記バッファ領域から前記データ情報を取得し、且つ前記操作ジェスチャーに対応する入力方式によって、前記データ情報を一次元データまたは二次元データに処理するステップ１と、仮想キーボードは、マウスのフォーカスを前記対象領域に移動させるための操作命令を送信するステップ２と、仮想キーボードは貼付命令を送信し、処理後のデータを前記対象領域に貼り付けるステップ３と、を含んでもよい。当該選択可能な実施形態において、仮想キーボードが前記操作命令を送信する時、端末の仮想キーボードモジュールに制御命令を送信することによって、仮想キーボードモジュールが前記操作命令を送信するように指示することができ、ステップ３においては、仮想キーボードモジュールによりコントローラに貼付命令を送信することで、データの貼付操作を実現することができる。
【００５６】
本発明の実施例の１つの選択可能な実施形態において、二次元データに対して、前記二次元データにおける１つの要素を入力する毎に、ステップ２に戻り、前記二次元データにおける全ての要素が入力されるまで、前記マウスのフォーカスを次の対象領域に移動させる。
【００５７】
本発明の実施例の１つの選択可能な実施形態において、上述の捕捉対象及び対象領域は、端末の表示画面に同一画面で表示される。ユーザは、選択されたピクチャ領域を同一画面で表示される他の１つのアプリケーションプログラムウィンドウ（表示画面に２つまたは２つより多いプログラムウィンドウが表示可能）にドラッグする操作を入力し、端末は、ユーザによる当該操作に応答し、捕捉対象（即ち、選択されたピクチャ領域）のデータ情報（即ち、氏名及び電話番号の情報）を抽出し、抽出されたデータ情報を他の１つのアプリケーションプログラムに入力する。例えば、図６において、ユーザは、ピクチャの中で氏名及び電話番号を含むピクチャ（図６のブロックに示すように）を選択し、その後、ユーザは、選択されたピクチャ領域をコンタクトリストにおける新規連絡先ウィンドウにドラッグし、ユーザの当該操作に応答して、捕捉対象（即ち、選択されたピクチャ領域）のデータ情報（即ち、氏名及び電話番号の情報）を抽出し、抽出されたデータ情報（即ち、氏名及び電話番号の情報）を新規連絡先に対応するテキストボックスに入力する。
【００５８】
本発明の実施例に提供される上述の方法によれば、捕捉対象からデータ情報を抽出し、その後、データ情報を対象領域に自動的に入力することにより、手動入力による不便を回避することができ、ユーザの作業性を向上させる。
【００５９】
以下、具体的な実施例により本発明の実施例に提供される技術的案を説明する。
【００６０】
実施例１
本発明の実施例において、ユーザ端末は、２分割画面の技術によって左右のウィンドウを全画面に表示することで、２つのアプリケーションプログラムを同時にユーザ端末画面に表示し、その中の１つの分割画面から非コンピュータの認識可能なピクチャデータを抽出し、ＯＣＲ技術によりコンピュータの認識可能な文字列データに変換し、且つタッチドラッグで他の１つの分割画面にデータを入力し、データが同一のアプリケーションプログラムにおいてコピー貼付することに類似する効果を実現する。
【００６１】
本実施例において、大きなスマートフォンまたはＰＡＤ等のユーザ端末により提供される画面分割技術を利用して、ユーザ端末にマルチウインドウ表示機能を提供し、端末のタッチ操作を利用して光学データ領域の複数方式選択を実現し、画像の前処理を行った後、ＯＣＲ認識を行い、光学データをコンピュータの認識可能な文字列データに変換し、且つ他の１つのウィンドウにおける編集可能な入力枠にドラッグし、クリップボード及び仮想キーボード技術を介してデータを入力枠に表示させることで、データの画面分割入力を実現する。
【００６２】
本実施例において、画面分割とは２分割画面を指し、ユーザ端末画面を２つの領域に分け、各領域は、それぞれ１つのアプリケーションプログラムを表示することができ、且つ分割画面スペースの全体を占有し、その効果はＷＩＮ７における左右の分割画面が全画面に表示することに類似する。
【００６３】
本実施例において、その中の１つの分割画面にカメラまたはピクチャ閲覧モジュールを起動し、画面にピクチャを表示し、タッチ操作によって１つのピクチャ領域を選択するとともに抽出し、画像の前処理を行い、ＯＣＲ技術により当該領域のデータを判読して文字列とし、これを他の１つの分割画面におけるアプリケーションプログラムの編集可能な枠にドラッグする。ここで、領域選択は、矩形の単行／単列選択及び多行／多列選択であってもよく、非矩形の多角形選択であってもよい。
【００６４】
図８は、本実施例において、１つの分割画面に表示されるピクチャから文字列を認識した後、他の１つの分割画面に表示されるアプリケーションプログラムにコピーする文字列入力のフローチャートであり、図８に示すように、本実施例において、文字列入力は、主に以下のステップＳ８０１〜ステップＳ８０６を含む。
【００６５】
ステップＳ８０１において、判読する必要のある光学領域に行われるタッチ選択を検出する。実施例において、矩形の単行／単列選択及び多行／多列選択を行ってもよく、非矩形の多角形選択を行ってもよい。その目的は、当該領域内の光学文字を一つの文字列として認識するためである。ユーザが領域選択を実行した後、選択領域の境界線が現れ、選択された領域を提示する。
ステップＳ８０２において、選択領域に対してピクチャのカットを行い、バックグラウンドは、まず画像の前処理を行い、その後、ＯＣＲ判読エンジンを呼び出して光学判読を行う。
ステップＳ８０３において、バックグラウンドがＯＣＲ判読を行う過程において、ユーザは、画面を同時に押しながら、認識の結果を待つ。一旦、結果が認識されると、バブリングという提示が現れ、提示枠に認識の結果を示す。バックグラウンドは、認識の結果をクリップボードに保存し、プロセス間通信の共有エリアとする。
ステップＳ８０４において、認識の結果を保存しているバブリング提示枠は指のタッチドラッグにつれて移動する。
ステップＳ８０５において、入力する必要のある編集可能な枠の上方にドラッグしタッチの解除を行い、且つデータが当該領域に表示されるようにフォーカスを当該テキスト編集領域に設置する。
ステップＳ８０６において、共有バッファ領域のクリップボードからデータを取出し、仮想キーボードを介してデータをフォーカス領域を有するテキスト編集枠にコピーする。
【００６６】
実施例２
本実施例において、同様に２分割画面の表示を例とし、１つの分割画面に表示されるピクチャ情報を他の１つの分割画面におけるテーブルに入力することを例として説明する。
本実施例において、テーブルは、線で区分される実際のテーブルであってもよく、規則のない多行の文字列の配列であって、間が線で分けられておらず、ある種類のコントローラの一列のデータである可能性があり、分割認識した後に文字列の配列を取得することができる 。
【００６７】
本実施例において、図９に示すように、１つの分割画面のピクチャの中から１つの文字列の配列を抽出する。他の１つのアプリケーションプログラムに、一番目に入力する必要のあるテキスト編集枠を設定し、認識されたデータを順番に入力し始める。
一組の同じタイプの編集可能なコントローラ系であるため、各コントローラは、列／行に沿って配列することができ、且つあるキーボード操作によりテキスト編集フォーカスの変更を実現することができる。例えば、ある列のコントローラは、フォーカスが編集可能な枠Ａにあるが、キーボードにより「ＥＮＴＥＲ」を入力した後、フォーカスが直接に編集可能な枠Ｂに移行する。
【００６８】
図１０は、本実施例におけるテーブル入力のフローチャートであり、図１０に示すように、主に以下のステップＳ１００１〜ステップＳ１００７を含む。
【００６９】
ステップＳ１００１において、テーブル処理モードを選択し、スクリプトプロファイルを修正し、編集可能な枠を変更し、フォーカスの制御キーを変換する。
ステップＳ１００２において、ピクチャにおいて全列／行の選択、または一部列／行の選択を行い、且つラインフレームで選択結果を提示し、且つ文字間の空白または線により、行と列との自動的な分割を実現する。
ステップＳ１００３において、選択領域における各光学文字列領域のそれぞれに対して画像の前処理を実施し、ＯＣＲ認識を行い、且つその近傍に認識の結果を表示する。
ステップＳ１００４において、全ての認識の結果を取得する。本実施例において、全ての文字列を選択してドラッグしてもよく、個別の認識文字列に対してドラッグを行ってもよい。
ステップＳ１００５において、ドラッグ操作を行う。
ステップＳ１００６において、ドラッグの解除に対応する一番目のテキスト編集枠にフォーカスを設置し、一番目の入力データ領域とする。
ステップＳ１００７において、データの入力が終了されるまで、スクリプトを呼び出し、文字列の配列の一番目のデータをフォーカスを有する編集可能なテキストボックスにコピーし、続いて仮想キーボードによってテキスト編集枠のフォーカスを変更し、続いて二番目の同様な操作を行う。
【００７０】
上述の実施例から分かるように、本実施例は、スマートフォンの２分割画面によって２つのアプリケーションプログラムを表示し、その中の１つは、ＯＣＲ判読を有する周辺機器のカメラまたはピクチャ処理アプリケーションを利用し、タッチパネルのインタラクション操作を利用して一つの概略の有効なモード認識領域を取得し、続いて画像処理技術により一つの有効なモード認識領域を取得し、その後、ＯＣＲ技術により有効な領域における非コンピュータ情報をコンピュータ情報データに変換し、且つタッチドラッグによりその情報を他の１つのアプリケーションプログラムにドラッグし、クリップボードや仮想キーボード技術等の技術を介してデータのスマート入力を実現する。当該入力システムは実用性を組み合わせ、ユーザに簡単で便利な情報取得方法を与え、広い応用展開を有する。
【００７１】
実施例３
本発明の実施例に提供される技術的案において、画面を分割する時にデータを他の分割画面のテキスト編集枠にドラッグしてもよく、画面を分割しない時にジェスチャー操作によってデータを他の必要な領域に入力し、且つ相応するアプリケーションプログラムを自動的に呼び出してもよい 。
【００７２】
本実施例において、ＯＣＲ認識を有するカメラを使用する過程において、例えば、選択されたピクチャ領域内は１つの電話番号とし、ＯＣＲ認識により表示された後、ある１つのジェスチャーによって新規連絡先入力画面を呼び出し、且つ認識された電話番号を相応する編集枠に自動的に入力することで、迅速に入力する目的を達成する。
【００７３】
図１１は、本実施例に係る電話番号の自動入力のフローチャートであり、図１１に示すように、主に以下のステップＳ１１０１〜ステップＳ１１０５を含む。
【００７４】
ステップＳ１１０１において、ＯＣＲ機能を有するカメラを起動する。
ステップＳ１１０２において、ユーザが入力したピクチャにおける電話番号を選択する操作を検出し、ピクチャにおける電話番号を抽出する。
ステップＳ１１０３において、認識の結果をドラッグするタッチジェスチャーを検出する。
ステップＳ１１０４において、新規連絡先アプリケーションを呼び出す。
ステップＳ１１０５において、新規連絡先の画面に入り、提出された電話番号を自動的に入力する。
【００７５】
実施例４
ユーザにとって、１ロットのピクチャに対する自動化の処理を必要する場合がある。例えば、試験の成績を自動的に入力することである。数多くの試験答案の写真がある場合に、自動的な入力を実現する必要がある。総得点は、試験答案の固定位置にあり、且つ赤色フォントであるため、顕著な特徴を有する。この場合に、領域選択操作を低減することができ、直接、且つ迅速に赤色フォントのピクチャ領域を取得することができ、且つＯＣＲ認識技術により成績を取得し、そして過程の全体をバックグラウンドで実行することができる。従って、直接に成績入力システムにおいて、本発明の実施例に提供される技術的案を利用して、ＯＣＲピクチャ認識機能を呼び出して成績をロットに取得し、仮想キーボードモジュールを呼び出して成績の自動入力を実現する。
【００７６】
図１２は、本実施例における成績入力を行うフローチャートであり、図１２に示すように、主に以下のステップＳ１２０１〜ステップＳ１２０４を含む。
【００７７】
ステップＳ１２０１において、ユーザ端末のロット認識モードを起動する。
ステップＳ１２０２において、ピクチャの由来を配置する。
ステップＳ１２０３において、仮想キーボードのスクリプトを配置する。
ステップＳ１２０４において、各ピクチャに記録された成績情報を自動的に認識し、自動入力スクリプト制御モジュールにより、成績をロットに入力する。
【００７８】
上述の説明から分かるように、本発明の実施例において、捕捉対象からデータ情報を抽出した後、ユーザの操作ジェスチャーに対応する入力方式によって、抽出されたデータ情報を対象領域に自動的に入力することで、相関技術において外部の非コンピュータの認識可能な情報の手動入力に存在する手間がかかるとともに正解率が低い問題を解決し、迅速、且つ正確に情報を入力することができ、ユーザの作業性を向上させる。
【００７９】
明らかに、上述した本発明に係る各モジュールまたは各ステップは、汎用の計算手段により実現することができ、これらは１つの計算手段に集められてもよく、または複数の計算手段からなるネットワークに分布されてもよい。選択的に、これらは計算手段の実行可能なプログラムコードにより実現してもよい。よって、これらを記憶手段に記憶させ計算手段により実行し、且つある場合に、示されたまたは説明されたステップを上記とは異なる順番で実行し、またはこれらのそれぞれを各集積回路モジュールとして作製し、またはこれらにおける複数のモジュールまたはステップを単一の集積回路モジュールを作製することにより実現してもよいことは、当業者にとって自明であろう。このようにすれば、本発明は、いかなる特定のハードウェアとソフトウェアとの組み合わせに限定されるものではない。
【００８０】
上述したのは、単に本発明の好適な実施例に過ぎず、本発明を限定するためのものではなく、当業者にとって、本発明に対してさまざまな変換や変更を施すことができる。本発明は、その趣旨を逸脱しない補正、変更、改良等は、本発明の範囲内に含まれるものであることは言うまでもない。
【産業上の利用可能性】
【００８１】
本発明の実施例において、捕捉対象からデータ情報を抽出した後、ユーザの操作ジェスチャーに対応する入力方式によって、抽出されたデータ情報を対象領域に自動的に入力することで、相関技術において外部の非コンピュータの認識可能な情報の手動入力に存在する手間がかかるとともに正解率が低い問題を解決し、迅速、且つ正確に情報を入力することができ、ユーザの作業性を向上させる。したがって、産業上の利用可能性を有する。
【図１】
0006412958.tif 000002
【図２】
0006412958.tif 000003
【図３】
0006412958.tif 000004
【図４】
0006412958.tif 000005
【図５】
0006412958.tif 000006
【図６】
0006412958.tif 000007
【図７】
0006412958.tif 000008
【図８】
0006412958.tif 000009
【図９】
0006412958.tif 000010
【図１０】
0006412958.tif 000011
【図１１】
0006412958.tif 000012
【図１２】
0006412958.tif 000013