(57)【要約】  モバイルデバイスの光センサを用いてテキスト情報をスマートかつ自動的にキャプチャするためのシステム、方法およびコンピュータプログラムプロダクトが開示される。テキスト情報は、コピー／ペースト動作などのユーザ介入を必要とすることなく、ユーザが手動でデータを入力するかまたは転送する必要なしに、モバイルアプリケーションまたはワークフローに提供される。キャプチャおよび提供は、コンテキスト認識型であり、ワークフローまたはモバイルアプリケーションにおけるエントリよりも前に、キャプチャされたテキスト情報を正規化するかまたは確認することができる。ワークフローによって必要であり、モバイルデバイス光センサにとって利用可能である他の情報も、単独の自動プロセスにおいてキャプチャおよび提供され得る。結果として、モバイルデバイスを用いて光入力から情報をキャプチャする全体的なプロセスが、データ転送／入力の精度、ワークフローの速度および効率ならびにユーザ経験の点から、著しく単純化されて、向上させられる。
2017514225.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
モバイルデバイス上にユーザ入力インターフェイスを呼出すステップと、
前記ユーザ入力インターフェイスの光入力拡張部を呼出すステップと、
前記モバイルデバイスの１つ以上の光センサを介して光入力をキャプチャするステップと、
前記キャプチャされた光入力からテキスト情報を決定するステップと、
前記決定されたテキスト情報を前記ユーザ入力インターフェイスに提供するステップとを含む、方法。
【請求項２】
前記ユーザ入力インターフェイスは、テキスト情報を受信するように構成されたユーザインターフェイス要素とのユーザ対話を検出することに応じて呼出される、請求項１に記載の方法。
【請求項３】
前記テキスト情報を決定するように前記光入力を分析するステップをさらに含み、前記分析するステップは、
光学文字認識（ＯＣＲ）を実行するステップと、
前記ＯＣＲに基づいて、前記決定されたテキスト情報間で所望のテキスト情報を識別するステップと、
前記ユーザ入力インターフェイスに前記所望のテキスト情報を選択的に提供するステップとを含む、請求項２に記載の方法。
【請求項４】
前記所望のテキスト情報は複数の識別子を含み、各々の識別子は、テキスト情報を受信するように構成された複数のユーザインターフェイス要素のうちの１つに対応し、
前記提供するステップは、対応する前記ユーザインターフェイス要素に前記複数の識別子の各々を選択的に提供するステップをさらに含む、請求項３に記載の方法。
【請求項５】
前記所望のテキスト情報の予想されるフォーマットと、前記所望のテキスト情報についての値の予想される範囲とのうち１つ以上に一致させるように、前記識別子の少なくとも１つを確認するステップおよび正規化するステップのうち１つ以上をさらに含む、請求項４に記載の方法。
【請求項６】
前記識別子のうち少なくとも１つに適用可能なビジネスルールおよび補足的文書からの参照コンテンツのうち１つ以上を決定するステップをさらに含み、
前記決定するステップは、前記識別子に対応する前記要素に基づいており、
前記確認するステップおよび前記正規化するステップは、前記参照コンテンツおよび前記ビジネスルールのうち１つ以上に基づいている、請求項５に記載の方法。
【請求項７】
前記所望のテキスト情報の予想されるフォーマットと、前記所望のテキスト情報についての値の予想される範囲とのうち１つ以上に一致させるように、前記所望のテキスト情報を確認するステップおよび正規化するステップのうち１つ以上をさらに含む、請求項３に記載の方法。
【請求項８】
前記確認するステップおよび前記正規化するステップは、ビジネスルールおよび補足的文書からの参照コンテンツのうちの１つ以上に基づいている、請求項７に記載の方法。
【請求項９】
前記ユーザが対話した前記要素に基づいて前記補足的文書および前記ビジネスルールのうち１つ以上を決定するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記光入力拡張部は、前記呼出されたユーザ入力インターフェイスを提供するのと同時に提供される、請求項１に記載の方法。
【請求項１１】
前記ユーザ入力インターフェイスは、前記モバイルデバイス上に表示されたバーチャルキーボードを含み、
前記光入力拡張部は、前記バーチャルキーボード上に表示されたカメラボタンを含む、請求項１に記載の方法。
【請求項１２】
前記光入力拡張部の呼出しを検出したことに応じて、光入力キャプチャインターフェイスを自動的に呼出すステップをさらに含む、請求項１に記載の方法。
【請求項１３】
前記光入力をキャプチャする前に前記光入力を予め分析するステップをさらに含み、前記予め分析するステップは、
前記光入力において示されるオブジェクトを検出するステップと、
前記光入力において示される前記オブジェクトの１つ以上の特徴を決定するステップと、
前記決定された特徴に少なくとも部分的に基づいて１つ以上の分析パラメータを決定するステップとを含む、請求項１に記載の方法。
【請求項１４】
前記１つ以上の分析パラメータはＯＣＲパラメータを含む、請求項１３に記載の方法。
【請求項１５】
方法であって、
モバイルデバイスの１つ以上の光センサを介して光入力を受信するステップと、
前記光入力のコンテキストを決定するために前記モバイルデバイスのプロセッサを用いて前記光入力を分析するステップと、
前記光入力の前記コンテキストに基づいてコンテキスト的に適切なワークフローを自動的に呼出すステップとを含む、方法。
【請求項１６】
前記コンテキストは、
前記光入力において表わされる文書のタイプと、
前記光入力において表わされる前記文書のコンテンツと、のうち１つ以上を含む、請求項１５に記載の方法。
【請求項１７】
前記文書のタイプは、契約書、扱いに注意を要する文書、身元確認書類、保険文書、権利証、見積もり、および車両登録からなる群から選択される、請求項１６に記載の方法。
【請求項１８】
前記コンテンツは、電話番号、社会保障番号、署名、インボイスの勘定科目、部分的または完全な住所、ユニバーサル・リソース・ロケータ、保険グループ番号、クレジットカード番号、問合せ番号、写真、および文書上に示されたフィールドの分布から選択される、請求項１６に記載の方法。
【請求項１９】
前記ワークフローは、保険額の見積り、健康管理許可プロセス、署名の儀式、および預託のうちの１つ以上を含む、請求項１５に記載の方法。
【請求項２０】
コンピュータプログラムプロダクトであって、プログラムコードが組込まれたコンピュータ読取可能記憶媒体を含み、前記プログラムコードは、プロセッサが、
モバイルデバイス上にユーザ入力インターフェイスを呼出し、
前記ユーザ入力インターフェイスの光入力拡張部を呼出し、
前記モバイルデバイスの１つ以上の光センサを介して光入力をキャプチャし、
前記キャプチャされた光入力からテキスト情報を決定し、
前記決定されたテキスト情報を前記ユーザ入力インターフェイスに提供することによって、読取り可能／実行可能である、コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本願は、２０１４年４月１５日に提出された米国仮特許出願第６１／９７９，９４９号の利点を主張する、２０１５年４月１４日に提出された米国出願第１４／６８６，６４４号の利点を主張するものであって、その全体が引用によりここに援用されている。
【０００２】
発明の分野
本発明の開示は、モバイルデバイスの光学部品を用いた入出力（input/output：Ｉ／Ｏ）に関する。より具体的には、本概念は、モバイルデバイスの光入力機能をモバイルデバイスの出力機能に統合することに関し、さらにより具体的には、モバイルデバイスのカメラからの光入力の、モバイルのワークフローまたはアプリケーション用のテキスト出力へのコンテキスト依存型統合を実行することに関する。
【背景技術】
【０００３】
背景
モバイルデバイスは、発展し続ける市場においてますます顕著になる隙間市場を占めており、表面的には無数のアクティビティを実施するさまざまな段階におけるアクセスポイントとして機能している。このトレンドが継続するにつれて、モバイルデバイスと、これらによって提供されるモバイルネットワーク能力とは、ますます多くの広範なシナリオにおいて活用されている。近年の例として、小切手預託、為替手形支払い、アカウント管理などの多数の金融サービスを提供するためのモバイル技術の拡張が含まれる。加えて、モバイルデバイスによって集められた所在地データは、たとえば、対象とされた広告宣伝、状況認識などを提供するためにますます多くのアプリケーションにおいて利用されている。
【０００４】
モバイルの開発コミュニティがデバイスのための新しい有用性を発見すると、モバイルデバイスが実行のために利用されている基礎的プロセスによって必要とされるか、または当該基礎的プロセスにとって有利になる入力を与えるために、より多くの複雑で特定的な機会がユーザに与えられる。加えて、ユーザがプロセスと対話するかまたはプロセスに入力を与える可能性のある状況のコンテキストは多様化し続けている。
【０００５】
この多様化は、本来、実現された技術が、ユーザの観点からは必ずしも最適ではあり得ないかまたは許容可能なアプローチであり得ない隙間市場への拡大を含んでいる。所定の難問に対する解決策が許容可能であるかまたは許容可能でないかの違いを瞬時のうちに判断する文化においては、開発者が、優れた技術を達成するためにあらゆる実現可能な性能利点を追求している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
たとえば、モバイルデバイスを介して受信されるユーザ入力について、いくつかの非能率性が周知である。第１の非能率性として、モバイルデバイス、特に携帯電話、に特有の小型のスクリーンサイズが挙げられる。従来の「スマートフォン」が物理的なキーボードおよびポインタデバイスを排除して、代わりに、タッチスクリーン技術に依拠しているので、モバイルデバイスのスクリーン上に表示された仮想の「キーボード」上の所与のキーに割り当てられた物理的空間の量は、人の指で正確かつ確実に起動させることができる範囲よりもはるかに少ない。結果として、モバイルデバイスを介して受信されたテキスト形式のユーザ入力を鑑みると、誤字が頻繁に発生している。
【０００７】
このような制限をなくすために、典型的なモバイルデバイスは、所与のユーザの入力動作を「学習する」ために有力な予測的解析および辞書を採用している。ユーザの実際の入力が規定されたノルマ、パターンなどに適合していないテキストに対応している場合、モバイルデバイスは、開発された予測モデルに基づいて、ユーザの意図した入力テキストを予測することができる。このような予測的分析および辞書を利用する最も顕著な例が、最も典型的なモバイルデバイスで利用可能な従来の「オートコレクト」機能で具体化される。
【０００８】
しかしながら、これらの「オートコレクト」アプローチは、不正確な（または不適切な）予測を生成するので、モバイルコミュニティにおいては評判が悪い。コンテキストによっては、これらの不正確性はユーモラスになるが、誤った予測が広まると、結果として、伝達不良およびエラーを発生させてしまい、基礎をなすプロセスやユーザにフラストレーションを起こし、最終的には、大きな恩恵を得るためにモバイルデバイスが活用され得る多種多様なコンテキストにおいてモバイルデバイスが採用できなくなり、その有用性が無効になってしまう。
【０００９】
結果として、開発者の中には、代替の入力源や、モバイルデバイスを介して入力を集約するための技術に頼るものもでてきた。たとえば、大抵の解決策は、テキスト入力（すなわち、モバイルデバイスのディスプレイに示されたバーチャルキーボードによって受信される触覚入力）の代替案または補足案として音声入力を活用することに焦点を合わせてきた。実際には、この技術は、従来から、モバイルデバイスの音声認識機能を統合したものとして（たとえば、ＡＰＰＬＥモバイルデバイス（ｉＯＳ  ５．０以上）に搭載された「Ｓｉｒｉ」などの「バーチャル・アシスタント」によって付与されているように）具体化されてきた。
【００１０】
モバイルキーボードに付加されているこの音声入力拡張部の具体的な実施形態を添付の図において示している。この図は、ＡＰＰＬＥのｉＯＳモバイルのオペレーティングシステムを用いて生成されるインターフェイスを表示しているが、同様の機能は、ＡＮＤＲＯＩＤ（登録商標）、ＭＩＣＲＯＳＯＦＴ  ＳＵＲＦＡＣＥ  ＲＴなどの他のプラットフォーム上にも同様に見出される可能性がある。
【００１１】
音声入力は、モバイルのバーチャルキーボードに拡張部を統合することによって受信され得るものであって、モバイルデバイスのディスプレイを介して受信される典型的な触覚入力以外の入力をユーザが容易に行なえるようにする。１つのアプローチにおいては、音声拡張部は、（左側にある）スペースバーのすぐ隣りにあるマイクロホンのアイコンまたは記号を示すボタンとして表示されている。ユーザは、テキスト入力（たとえばオンライン形式でのフィールド、ＰＤＦなど）を受付けるように構成されたフィールドと対話してもよい。モバイルデバイスは、フィールドとのユーザの対話を検出したことに応じて、モバイルのバーチャルキーボードのユーザインターフェイスを呼出すためにオペレーティングシステムを活用している。さらに、ユーザは、任意には、所望のテキストを入力するために触覚入力を行なうか、または、音声入力インターフェイスを呼出すために音声拡張部と対話する。当該技術分野においては、この技術は、音声入力を受付けて、受信された音声入力をテキスト情報に変換する、「スピーチ・トゥ・テキスト（speech-to-text）」機能として一般に公知である。
【００１２】
音声入力インターフェイスが呼出されると、任意には、モバイルデバイスのディスプレイを介してユーザからの追加入力が受信される（たとえば、音声入力の開始を示すために音声拡張部を２回タップする）ことに応じて、ユーザは音声入力を行ない、これが、モバイルデバイス音声認識コンポーネントによって分析され、テキストに変換されて、フィールドに入力されて、ユーザがこれと対話することによって、モバイルのバーチャルキーボードを呼出す。
【００１３】
モバイルデバイスのテキスト入出力能力に音声入力を統合することによって、ユーザは、ハンズフリーのアプローチでテキスト情報を入力することが可能となり、これにより、デバイスの利用可能な有用性を、他の場合には実現不可能なコンテキストのホスト全体にまで拡大する。たとえば、ユーザは、これらのアプローチに従って、音声入力だけを用いてテキストメッセージを生成してもよい。しかしながら、これらのアプローチでも、同様にフラストレーションを引起こして性能を低下させる不正確性および不整合性によって悩まされているが、これらのことは既存の音声認識技術では周知である。結果として、テキスト入力を補足するかまたはテキスト入力に置き換えるという現在の音声認識のアプローチでは不十分である。
【００１４】
現在利用可能な音声認識では、障害が生じることは公知であり、しばしば、音声認識ソフトウェアは、特定の個々人によって発揮される固有の発声を単に認識することができない場合がある。同様に、音声認識では、「オーディオグラフィカル（audiographical）」なエラー（すなわち、発声された単語を誤って「認識する」などの、音声入力についての「誤記」エラーと類似したエラー）が生じやすくなる。
【００１５】
さらに、音声認識は、本質的に、予め定められた一連のルール（たとえば、話されている言語に基づいて規定され得る一組の仮定または条件）が存在することで制限されてしまう。さらに、同じ言語であっても使用法が口語形式と書面の文語形式とで著しく異なっていることが多いので、テキスト入力の補足案または代替案として音声入力を利用することも不可能であるかもしれない。たとえば、音声入力は、（音声認識が依拠している「ルール」をしばしば規定している）予想される表現および／または使用のフォームが言語の書き言葉の形式に対応している環境においては、触覚入力の実施不可能な代替案であることが多い。
【００１６】
音声認識はまた、言葉で表現することが一般的ではないかまたは言葉で表現することができない情報に対応しているユーザ入力を取得するかまたは確認するために利用するべき下位のツールである。これらの制限事項の基本的な例は、単位をラベル表示するのにしばしば利用されるような記号を含むユーザ入力の観点から実証可能である。これらの単位が一般に容認されている発音である（たとえば、「米ドル」として知られている通過単位が記号「＄」に対応している）場合であっても、これらの発音は必ずしも対応する用語の固有の用法であるとは限らない（たとえば、「ポンド」は、文脈に応じて、重量測定単位、すなわち「ｌｂｓ．」または通貨単位、たとえば「£」のどちらかに対応し得る）。
【００１７】
音声認識はまた、文法上の記号（たとえば、カンマ「，」セミコロン「；」、ピリオド「．」などの）文法情報を伝えるために用いられる１つ以上の「記号」）を含むテキスト入力；または、対応する物理的表現を表現された言語で必ずしも有する必要のない（たとえば、キャリッジリターン、タブ、スペース、特定の文字列合せなどの）記号を含むフォーマット入力；を受付けて処理することには適していない。
【００１８】
他の既存のアプローチは、テキスト入力の補足として光入力の使用を含むが、これらの技術は、単に、画像またはビデオクリップとテキスト入力を組合わせる能力を提供するだけに過ぎず、ユーザの好ましい通信形式（すなわち、ＳＭＳテキストメッセージ、電子メール、ビデオチャットなど）によってこの組合わされた入力を分散させてしまう。これらの従来のアプローチは、典型的には、組合わされた入力インターフェイスを含んでおり、これは、モバイルデバイスのバーチャルキーボードを介する触覚入力と、入力インターフェイス上に配置された別個のボタンを介する光入力との受信を容易にする（が、上述の音声入力機能の場合と同様に必ずしもバーチャルキーボードに含まれている必要はない）。
【００１９】
ユーザがこの別個のボタンと対話すると、デバイスは、予めキャプチャされた光入力を含めることが容易になるか、または、代替的には、新しい光入力をキャプチャするためにキャプチャインターフェイスを呼出すことが容易になり、ユーザがモバイルのバーチャルキーボードに触覚入力を与えることによってテキスト情報入力に加えて、予めキャプチャされたかまたは新しくキャプチャされた光入力を含むことが容易になる。
【００２０】
上述の結果、モバイルデバイスを介して既存の光入力と音声入力とを統合することは、モバイルデバイスを介してユーザ入力を受信して処理するというに補足的アプローチまたは代替的アプローチとして厳密に制限されてしまう。既存の戦略では、音声認識のための音声の入力が煩雑になるか、または、テキスト入力を補うための画像の入力が煩雑になる可能性がある。しかしながら、これらの技術では、モバイルデバイスによるテキスト入力に対してインテリジェントな代替および／または補足をもたらすコンテキスト依存の態様では、これらのさまざまな入力能力を統合することができない。
【００２１】
追加入力能力の確保は、デバイスの性能を低下させるのではなく支援する生産的な態様で実施され、かつ、デバイスとのユーザの対話は複雑なタスクとなる。このため、光入力が有用となるであろうさまざまなコンテキストを注意深く検討することが必要になり、さらに、光入力をキャプチャおよび／または分析するための適切な条件が必要となり、これにより、ユーザからテキスト情報を受信するための入力のソースとしてモバイルデバイスのカメラをインテリジェントに統合することによって提供されるコンテキスト依存による利点が実現され得る。
【００２２】
したがって、ユーザ入力を受信して、出力（特に、受信された入力と、入力が受信された状況または入力が提供される目的についてのコンテキストとに全体的または部分的に基づいて決定される出力）を生成するために、メカニズムとして触覚入力および聴覚入力を補足および／または置換するように構成された新しい方法、システムおよび／またはコンピュータプログラムプロダクトの技術を提供することは非常に有用となるだろう。
【図面の簡単な説明】
【００２３】
【図１Ａ】一実施形態に従った、ユーザ入力を受信するように構成されたモバイルデバイス・ユーザインターフェイスを示す図である。
【図１Ｂ】一実施形態に従った、ユーザ入力を受信するように構成されたモバイルデバイス・ユーザインターフェイスを示す図である。
【図２】一実施形態に従った方法のフローチャートである。
【図３】一実施形態に従った方法のフローチャートである。
【発明を実施するための形態】
【００２４】
発明の概要
一実施形態においては、方法は、モバイルデバイス上にユーザ入力インターフェイスを呼出すステップと、ユーザ入力インターフェイスの光入力拡張部を呼出すステップと、モバイルデバイスの１つ以上の光センサを介して光入力をキャプチャするステップと、キャプチャされた光入力からテキスト情報を決定するステップと、決定されたテキスト情報をユーザ入力インターフェイスに提供するステップとを含む。
【００２５】
別の実施形態においては、方法は、モバイルデバイスの１つ以上の光センサを介して光入力を受信するステップと、光入力のコンテキストを決定するためにモバイルデバイスのプロセッサを用いて光入力を分析するステップと、光入力のコンテキストに基づいてコンテキスト的に適切なワークフローを自動的に呼出すステップとを含む。
【００２６】
さらに別の実施形態においては、コンピュータプログラムプロダクトは、プログラムコードが組込まれたコンピュータ読取可能記憶媒体を含む。プログラムコードは、プロセッサが、モバイルデバイス上にユーザ入力インターフェイスを呼出し、ユーザ入力インターフェイスの光入力拡張部を呼出し、モバイルデバイスの１つ以上の光センサを介して光入力をキャプチャし、キャプチャされた光入力からテキスト情報を決定し、決定されたテキスト情報をユーザ入力インターフェイスに提供することによって、読取り可能／実行可能である。
【００２７】
本発明の他の局面および実施形態は、添付の図面に関連付けて読まれると、本発明の原理を例として説明している以下の詳細な説明から明らかになるだろう。
【００２８】
詳細な説明
以下の記載は、本発明の一般原則を例示する目的でなされるものであり、この明細書中において主張される発明の概念を限定するよう意図されたものではない。さらに、この明細書中に記載された特定の特徴は、さまざまな実現可能な組合せおよび代替例の各々において記載された他の特徴と組合わせて用いることができる。
【００２９】
この明細書中に特に規定されない限り、すべての用語は、明細書から暗示される意味、ならびに当業者によって理解される、および／または辞書、全書等に定義される意味を含む、可能な限り広範な解釈を与えられるものとする。
【００３０】
また、明細書および添付の特許請求の範囲において使用されるように、単数形の「ａ」、「ａｎ」および「ｔｈｅ」は特に定めのない限り複数の指示対象を含むことに留意しなければならない。
【００３１】
本願は、カメラ、特にモバイル機器のカメラによってキャプチャされた画像（たとえば写真、図面、グラフ図、映画、ビデオ、フィルム、クリップの単一フレーム等）の画像処理について述べる。ここに理解されるように、モバイルデバイスとは、物理的接続（たとえばワイヤ、コード、ケーブル等）を介して電力を供給されずにデータを受信可能であり、かつ物理的なデータ接続（たとえばワイヤ、コード、ケーブル等）なしでデータを受信可能な任意のデバイスである。本開示の範囲内のモバイル機器は、携帯電話、スマートフォン、タブレット、携帯情報端末、ｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）、ＢＬＡＣＫＢＥＲＲＹ（登録商標）デバイス等の例示的な機器を含む。
【００３２】
当然、ここに記述されるさまざまな実施形態は、ハードウェア、ソフトウェア、またはそれらの任意の所望の組合せを利用して実現され得る。そのことについて、ここに記述されるさまざまな機能を実現可能な任意の種類のロジックが利用され得る。
【００３３】
モバイル機器を用いる１つの利点は、データプランを用いて、キャプチャ画像に基づく画像処理および情報処理が、スキャナの存在に依拠する以前の方法よりもはるかに便利で能率化および統合された方法で行うことができることである。しかし、文書キャプチャおよび／または処理装置としてのモバイル機器の使用は、さまざまな理由によりこれまで不可能であると考えられてきた。
【００３４】
１つのアプローチでは、画像はモバイル機器のカメラによってキャプチャされ得る。「カメラ」という語は、紙などの機器外部の物理的対象の画像をキャプチャ可能な任意の種類の機器を含むと広範に解釈すべきである。「カメラ」という語は、周辺スキャナまたは多機能装置を含まない。任意の種類のカメラが使用され得る。好ましい実施形態では、たとえば８ＭＰ以上、理想的には１２ＭＰ以上のより高い解像度を有するカメラが使用され得る。画像はカラーで、グレースケールで、モノクロで、または任意の他の公知の光学効果を有してキャプチャされ得る。ここで言及される「画像」という語は、生データ、処理データ等を含む、カメラの出力に対応する任意の種類のデータを含むことが意図される。
【００３５】
この明細書中において記載される場合、「音声認識」という語は、いくつかのモバイルデバイスに設けられたいわゆる「スピーチ・トゥ・テキスト」機能（たとえば、「Ｓｉｒｉ」）と同等であるかまたはこれを包含するものと考えられるべきであり、この機能により、音声入力をテキスト出力に変換することが可能となる。対照的に、この明細書中に記載される発明の技術は、「イメージ・トゥ・テキスト（image-to-text）」機能または「ビデオ・トゥ・テキスト（video-to-text）」機能と称されてもよい。
【００３６】
当業者によって認識されるように、本発明の局面は、システム、方法またはコンピュータプログラムプロダクトとして具体化されてもよい。したがって、本発明の局面は、全体的にハードウェアの実施形態の形を取るか、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）全体的にソフトウェアの実施形態の形を取るか、または、ソフトウェア局面とハードウェア局面とを組合わせた実施形態の形を取り得る。これらはすべて、この明細書中においては概して、「論理」、「回路」、「モジュール」または「システム」と称され得る。さらに、本発明の局面は、コンピュータ読取り可能なプログラムコードが組込まれた１つ以上のコンピュータ読取可能媒体において具体化されたコンピュータプログラムプロダクトの形態を取り得る。
【００３７】
１つ以上のコンピュータ読取可能な媒体を組み合わせたものを使用してもよい。コンピュータ読取可能な媒体は、コンピュータ読取可能な信号媒体であってもコンピュータ読取可能な記憶媒体であってもよい。コンピュータ読取可能な記憶媒体は、たとえば、電子、磁気、光、電磁、赤外線、または半導体システム、装置、またはデバイスであってもよく、これらを適切に組み合わせたものであってもよいが、これらに限定される訳ではない。コンピュータ読取可能な記憶媒体のより具体的な例（非網羅的なリスト）は以下のものを含むであろう。ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory：ＲＡＭ）、読取専用メモリ（read-only memory：ＲＯＭ）、消去可能プログラマブル読取専用メモリ（erasable programmable read-only memory：ＥＰＲＯＭまたはフラッシュメモリ）、ポータブルコンパクトディスク読取専用メモリ（compact disc read-only memory：ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらを適切に組み合わせたものである。この文書の文脈において、コンピュータ読取可能な記憶媒体は、命令実行システム、装置、プロセッサ、またはデバイスによって、またはこれとの関連で使用するためのプログラムを含むかまたは格納することが可能な有形媒体であってもよい。
【００３８】
コンピュータ読取可能な信号媒体は、たとえばベースバンドにおける、搬送波の一部として、コンピュータ読取可能なプログラムコードが組込まれた伝搬データ信号を含み得るものであり、一本以上のワイヤを有する電気的接続、光ファイバ等である。このような伝搬信号は、電磁、光、またはこれを適切に組み合わせたものを含むがこれらに限定されないさまざまな形態のうちのいずれかを取り得る。コンピュータ読取可能な信号媒体は、コンピュータ読取可能な記憶媒体ではなくかつ命令実行システム、装置、またはデバイスによってまたはこれとの関連で使用するためのプログラムを伝達、伝搬、または搬送することが可能なコンピュータ読取可能な媒体であればよい。
【００３９】
コンピュータ読取可能な媒体上で実現されるプログラムコードは、無線、ワイヤライン、光ファイバケーブル、ＲＦ等またはこれらを適切に組み合わせたものを含むがこれらに限定されない適切な媒体を用いて送信し得る。
【００４０】
本発明の局面の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋等のオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語等の従来の手続き型プログラミング言語、または同様のプログラミング言語を含む、１つ以上のプログラミング言語を組み合わせたもので記述されてもよい。プログラムコードは、全体がユーザのコンピュータ上で実行されてもよく、一部がユーザのコンピュータ上で実行されてもよく、スタンドアロンのソフトウェアパッケージとして、一部がユーザのコンピュータ上で一部が遠隔コンピュータ上で実行されてもよく、または全体が遠隔コンピュータもしくはサーバ上で実行されてもよい。後者のシナリオの場合、遠隔コンピュータは、ユーザのコンピュータに、ローカルエリアネットワーク（local area network：ＬＡＮ）もしくはワイドエリアネットワーク（wide area network：ＷＡＮ）を含む何らかの種類のネットワークを通して接続されてもよく、または、この接続が外部コンピュータに対して（たとえばインターネットサーバプロバイダを用いてインターネットを通して）なされてもよい。
【００４１】
以下、本発明の局面を、本発明の実施形態に従う方法、装置（システム）およびコンピュータプログラムプロダクトのフローチャートの図および／またはブロック図を参照しながら説明する。フローチャートの図および／またはブロック図の各ブロック、および、フローチャートの図および／またはブロック図のブロックを組み合わせたものは、コンピュータプログラム命令によって実現可能であることが理解されるであろう。これらコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または、他のプログラム可能なデータ処理装置のプロセッサに与えられてマシンを構成し、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作を実現するための手段を作成してもよい。
【００４２】
これらコンピュータプログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置に特定のやり方で機能するよう指示することが可能な、コンピュータ読取可能な媒体に格納されたものであってもよく、それにより、コンピュータ読取可能な媒体に格納された命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作を実現する命令を含む製品を構成するようにしてもよい。
【００４３】
コンピュータプログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードされて、一連の動作ステップをこのコンピュータ、他のプログラム可能な装置、または他の装置上で実行させることにより、コンピュータによって実現されるプロセスを生成してもよく、それにより、コンピュータまたは他のプログラム可能な装置上で実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作を実現するためのプロセスを提供するようにしてもよい。
【００４４】
図面におけるフローチャートおよびブロック図は、本発明のさまざまな実施形態に従うシステム、方法、およびコンピュータプログラムプロダクトの可能な実装例のアーキテクチャ、機能、および動作を示す。この点に関し、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実現するための１つ以上の実行可能命令を含むモジュール、セグメント、またはコードの一部を表わし得る。なお、いくつかの代替実装例においては、ブロックに示される機能が、図面に示される順序と異なる順序で発生してもよい。たとえば、関係する機能に応じて、連続して示されている２つのブロックが実際はほぼ同時に実行されてもよく、または、これらのブロックが逆の順序で実行されることがあってもよい。また、ブロック図および／またはフローチャートの図の各ブロック、および、ブロック図および／またはフローチャートの図におけるブロックを組み合わせたものは、指定された機能もしくは動作、または、専用ハードウェアおよびコンピュータ命令を組み合わせたものを実行する専用ハードウェアに基づいたシステムによって実現することができる。
【００４５】
アプリケーションがモバイル装置にインストールされてもよく、たとえば、装置の不揮発性メモリに格納されてもよい。あるアプローチにおいて、アプリケーションは、モバイル装置上で画像処理を実行させる命令を含む。別のアプローチにおいて、アプリケーションは、ネットワークサーバ等の遠隔サーバへ画像を送信させる命令を含む。さらに他のアプローチにおいて、アプリケーションは、モバイル装置上で処理のうちの一部またはすべてを実行するのか、および／または画像を遠隔サイトに送信するのかを決定させる命令を含み得る。
【００４６】
概略的な一実施形態においては、方法は、モバイルデバイス上にユーザ入力インターフェイスを呼出すステップと、ユーザ入力インターフェイスの光入力拡張部を呼出すステップと、モバイルデバイスの１つ以上の光センサを介して光入力をキャプチャするステップと、キャプチャされた光入力からテキスト情報を決定するステップと、決定されたテキスト情報をユーザ入力インターフェイスに提供するステップとを含む。
【００４７】
別の概略的な実施形態においては、方法は、モバイルデバイスの１つ以上の光センサを介して光入力を受信するステップと、光入力のコンテキストを決定するためにモバイルデバイスのプロセッサを用いて光入力を分析するステップと、光入力のコンテキストに基づいてコンテキスト的に適切なワークフローを自動的に呼出すステップとを含む。
【００４８】
さらに別の概略的な実施形態においては、コンピュータプログラムプロダクトは、プログラムコードが組込まれたコンピュータ読取可能記憶媒体を含む。プログラムコードは、プロセッサが、モバイルデバイス上にユーザ入力インターフェイスを呼出し、ユーザ入力インターフェイスの光入力拡張部を呼出し、モバイルデバイスの１つ以上の光センサを介して光入力をキャプチャし、キャプチャされた光入力からテキスト情報を決定し、決定されたテキスト情報をユーザ入力インターフェイスに提供することによって、読取り可能／実行可能である。
【００４９】
さまざまな実施形態においては、ここに開示されている方法、システムおよび／またはコンピュータプログラムプロダクトは、任意には、２０１３年１月１１日に提出された関連する米国特許第８，８５５，３７５号；２０１３年７月２２日に提出された米国特許第１３／９４８，０４６号；２０１３年３月１３日に提出された米国特許公報第２０１４／０２７０３４９号；２０１４年３月１３日に提出された米国特許公報第２０１４／０２７０５３６号；２０１４年５月２日に提出された米国特許第８，８８５，２２９号；および／または、２０１４年３月１９日に提出された米国特許出願第１４／２２０，０２９号に開示された機能のうちいずれかを利用し得るおよび／または含み得る。上述の特許出願の各々は、引用によってこの明細書中に援用されている。たとえば、いくつかの具体的な実施形態においては、テキスト情報を取得すべき文書を分類し、文書に対してデータ抽出を実行し、文書または文書から抽出された情報を確認し、キャプチャ動作前、動作中または動作後に（たとえば、画質を向上させるために）、画像データに付加的処理を施すことが有利になり得る。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【００５０】
ここに開示されているアルゴリズムに従った処理に適したデジタル画像には、ページ検出、矩形化、不均一な照明の検出、照明の正規化、解像度の推定、不鮮明検出、分類、データ抽出、文書確認等の上述の特許出願において開示された如何なる画像処理動作が施されてもよい。
【００５１】
さらなるアプローチにおいては、ここに開示されている方法、システムおよび／またはコンピュータプログラムプロダクトは、複数の実施形態において、画像処理モバイルアプリケーション、ケースマネジメントアプリケーション、分類アプリケーションおよび／または、データ抽出アプリケーションなどの、この明細書中に、および／またはこの上述の関連特許出願に開示されている如何なる機能をも実行することを容易にするように構成された１つ以上のユーザインターフェイスとともに利用されてもよく、当該１つ以上のユーザインターフェイスにおいて実現されてもよく、および／または、当該１つ以上のユーザインターフェイスを含んでもよい。
【００５２】
さらに他のアプローチにおいては、ここに開示されているシステム、方法および／またはコンピュータプログラムプロダクトは、上述の関連特許出願において開示されており、特にこれらの記載を読むことによって当業者によって認識され得るであろう方法論および／またはシナリオのうち１つ以上に有利に適用されてもよい。
【００５３】
この明細書中に提示されている実施形態が、オンデマンドでサービスを提供するために、顧客のために展開されるサービスの形態で提供され得ることがさらに認識されるであろう。
【００５４】
ここに開示されている発明の概念は、テキスト情報の正確かつ容易な入力を容易にするインテリジェントな態様で光入力をモバイルデバイスのＩ／Ｏ能力に統合することに関する。これらの概念が最も適用可能となる例示的なシナリオは、この明細書を読むことによって当業者によって理解され得るように、文書、フォーム、ウェブページなどにテキスト情報を入力することを含む。有利には、ここに開示されている技術は、音声入力を利用することによる固有の不利点（たとえば、精度の低い音声認識）または、バーチャルモバイルキーボードを介する触覚入力（たとえば、小型「キー」サイズによる不正確な入力、予測的な辞書または「オートコレクト」機能を用いた不適当な「補正」など）を被ることなく、テキスト情報の入力を実現する。
【００５５】
特に、この技術はユーザに優れた性能および利便性を提供する。優れた性能は、モバイルデバイスを介してテキスト入力を提供する際の（特に、光入力が複数のコンテキストまたはフィールドで使用されるのに適した情報を示している場合）精度の向上および入力時間の短縮などの特徴を含む。部分的には、性能の利点は、この明細書中に開示されている発明のアプローチが、ユーザからの触覚フィードバックに依拠することなく、光入力からのテキスト情報をキャプチャし、分析し、かつ提供するように構成されていることによるものである。結果として、これらの技術には、上述のとおり小型化したバーチャルキーボードを利用する入力インターフェイスに共通する不利点がない。
【００５６】
同時に、この技術は、テキスト入力と組合わせて使用されるべき光入力の既存の統合よりも優れた性能を提供する。たとえば、テキスト入力および光入力の両方を含むメッセージの構成および発信を必要とする上述の従来のシナリオを参照すると、この技術は、有利には、モバイルデバイスの光入力能力をテキスト形式のＩ／Ｏと統合するものであるので、ユーザがテキスト情報を伝えるために触覚入力を行なう必要がなくなる。
【００５７】
さらに、光入力は、コンテキスト依存の態様で、キャプチャされ、分析されて、テキスト情報に変換され得る。光入力についてのコンテキスト依存型の呼出し、キャプチャおよび分析を以下においてさらに詳細に説明する。
【００５８】
モバイルバーチャルキーボードユーザインターフェイス（User Interface：ＵＩ）のための光入力拡張部
ここに開示されている光入力機能は、当該機能が含まれている特定のモバイルオペレーティングシステムに従って光入力および触覚入力をキャプチャするために、固有のツール、手順、コール、コンポーネント、ライブラリなどを活用することによって提供される。この態様では、本技術は、典型的には触覚入力または音声入力を介してテキスト情報をキャプチャすることに限定された、コンテキストへの光入力のシームレスな統合を表わしている。
【００５９】
このシームレスな統合は、モバイルオペレーティングシステムに固有の既存の光入力および触覚入力のキャプチャ能力に勝る利点を与える。なぜなら、これらの既存の能力は、テキスト情報をキャプチャして提供する目的で、触覚入力の代替または補足として光入力を使用することを意図していないからである。
【００６０】
最も顕著には、たとえ、従来のモバイルオペレーティングシステムが独立した光入力キャプチャ能力および触覚入力キャプチャ能力を提供する可能性があったとしても、モバイルデバイスを介してテキスト情報を受信、決定および／または利用するための補足的技術および／または代替的技術として光入力を統合するための現在公知の技術は存在しない。
【００６１】
まれではあるが、いくつかのモバイルオペレーティングシステムは、さらに、（たとえば、光学文字認識（optical character recognition：ＯＣＲ）によって、または、当業者によって認識され得るような他の同様の機能によって）キャプチャされた画像データを分析し、そこに示されるテキスト情報を識別し、位置特定し、および／または翻訳する能力を提供してもよい。しかしながら、これらのまれな実施形態は、光入力をキャプチャすることによってテキスト情報の入力を有効に達成するために、ユーザが光入力のキャプチャと分析との複合能力を活用することを可能にする、固有のＯＳ能力の如何なる統合をも提供しない。
【００６２】
たとえば、現在公知の技術では、所望のテキスト情報を含むか、または、所望のテキスト情報を決定するかまたは取得するために利用され得る他の情報を含む識別子を示す光入力をキャプチャすることによって直接、ユーザが、テキスト情報をたとえばフォームのフィールドに入力することを可能にすることができない。「他の」情報は、当業者が本明細書を読むことによって、所望のテキスト情報を取得するかまたは決定するのに好適であるかまたは有用であるものとして、理解され得るであろう如何なるタイプの情報をも含み得る。
【００６３】
概して、この光入力拡張部およびコンテキスト依存型呼出しアプリケーションのコンテキストにおける抽出に適した識別子は、保険金請求または申請などのビジネスワークフロー；インボイス作成送付などの支払勘定プロセス；ナビゲーションプロセス、通信プロセス、トラッキングプロセス、納税申告または計算書調査などの金融取引またはワークフロー；ブラウジングプロセス；入場または顧客搭乗プロセス、などを実行するプロセスにおいて有用であり得る如何なるタイプの識別情報（好ましくはテキスト情報）をも含み得る。このことは、当業者がこの記載を読むことによって理解され得るであろう。好適な識別子が上述の例示的な実施形態などのプロセスに適した如何なるタイプの識別情報をも含み得る一方で、いくつかのタイプの情報が選択アプリケーション（たとえば、特定のリソースにアクセスするかまたは特定のワークフローを完了するのに必要となり得る一意識別子）に特に有用であることが理解されるはずである。
【００６４】
このように、さまざまな実施形態においては、抽出された識別子は、好ましくは、電話番号、完全なアドレスもしくは部分的なアドレス、ユニバーサル・リソース・ロケータ（universal resource locator：ＵＲＬ）、問合せ番号；車両識別番号（vehicle identification number：ＶＩＮ）、車両型式／モデルおよび／もしくは年、社会保障番号（social security number：ＳＳＮ）、（統一商品コード（universal product code：ＵＰＣ）もしくは在庫商品識別番号（stock keeping unit：ＳＫＵ）などの）製品名もしくはコードまたは、典型的にはインボイス上に記載された他の同様のテキスト情報；保険グループ番号、および／または、ポリシー番号、保険プロバイダ名、個人名、日付（たとえば、生年月日または満期日）、（好ましくは、手書きの）署名、などのうちいずれか１つ以上を含む。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【００６５】
同様に、「他の情報」は、照合動作、逆の照合、認証などの公知の技術を含む如何なる好適な技術を用いても取得または決定され得る。このことは、当業者が本明細書を読むことによって理解され得るであろう。
【００６６】
むしろ、現在利用可能な技術を用いてこの結果を達成するために、ユーザは、（たとえば、現在の技術を用いることを必要とする１２ステップの従来の手順に関して以下に述べられるように）固有のＯＳの別個の機能を手動で呼出すことによって一連の別個のステップを実行する必要があるだろう。
【００６７】
「拡張部」によって、この開示は、モバイルデバイスの他の点では既存である特徴に含まれている機能を参照する。さらに、触覚入力と共にまたは触覚入力の代わりに音声入力を受信する例示的なシナリオを参照すると、上述の図に示されるマイクロホン「ボタン」は、モバイルのバーチャルキーボードユーザインターフェイスの音声拡張部と見なされてもよい。対照的に、ユーザによる独立した呼出しを必要とするスタンドアロンのアプリケーション、機能または特徴（たとえば、モバイルオペレーティングシステムを備えた標準的なユーザインターフェイスのうちの１つと対話することなくアプリケーション、機能または特徴を呼出す）は、既存の能力の「拡張部」と見なされるべきではない。
【００６８】
好ましい実施形態においては、光入力拡張部は、光入力をキャプチャする途中に（たとえば、ウェブページ、アプリケーション、フォーム、フィールドなどの）ユーザインターフェイスを介して提示される複数のフィールド全体にわたってユーザがシームレスにナビゲートすることを容易にするように構成される。いくつかのアプローチにおいては、この機能は、光入力キャプチャインターフェイスに含まれる「次の（next）」または「終了（finished）」ボタン、ジェスチャ、記号、オプション、などとして具体化されてもよい。
【００６９】
実際には、１つ例示的なシナリオに従うと、ユーザは、フォーム、ウェブページなどの複数のさまざまなフィールドに入力されるように意図されたテキスト情報に対応するデータをキャプチャすることを所望する場合もある。たとえば、データエントリフィールドと対話するためにクリックしたり、タップしたり、ホバリングしたり、選択したり、タブ付けしたりすることによって示されるように、ユーザの「焦点」が（ユーザインターフェイス上に存在する複数のこのようなデータエントリフィールドのうち第１のデータエントリフィールドであり得る）データエントリフィールド上にあることが検出されると、光入力拡張部を含む固有のユーザ入力／バーチャルキーボードインターフェイスが呼出される。
【００７０】
ユーザは、たとえば、バーチャルキーボード上に表示された「カメラ」ボタンをタップすることによって、第１のデータエントリフィールドと対話して、光入力拡張部を呼出してもよい。光入力拡張部を呼出したことに応じて、ユーザには、キャプチャされている光入力の「プレビュー」を含むキャプチャインターフェイスが提示され得る（たとえば、実質的にはカメラまたは他の光入力デバイス上に「ビューファインダ」を表示する）。好ましくは、光入力拡張部の「プレビュー」およびキャプチャ能力は、ユーザが対話しているデータエントリフィールドが表示されているブラウザ、アプリケーションなどからモバイルデバイスの焦点を切換えることなく利用されてもよい。
【００７１】
言い換えれば、この明細書中に記載されるバーチャルキーボードインターフェイスの光入力拡張部は、好ましくは機能をシームレスに統合したものであって、これにより、ユーザが、データエントリフィールドの位置を特定し、光入力拡張部を呼出し、光入力拡張部を介して光入力をキャプチャし、キャプチャされた光入力から決定されたテキスト情報をデータエントリフィールドにポピュレートすることが可能となる。好ましくは、上述のプロセス全体は「シームレス」である。というもの、ユーザは、たとえば、モバイルデバイスのマルチタスク能力があることにより、または、モバイルデバイスなどの上で実行可能な独立したアプリケーション間でデータを「コピー・アンド・ペースト」するように構成されたクリップボードを用いるので、利用する必要のないすべての構成機能を終了させ得るからである。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【００７２】
ユーザが対話しているブラウザページ、アプリケーションなどか複数のデータエントリフィールドを含んでいるシナリオにおいては、ユーザは、好ましくは、光入力拡張部によって提供される付加的な機能を利用して、複数のデータエントリフィールド間を移動してもよい。この態様では、ユーザは、光入力拡張部を選択的に利用して、提示されるデータフィールド総数の所望のサブセットのための光入力をキャプチャすることによって、テキスト情報を入力してもよい。同様に、ユーザは光入力拡張部を利用して、複数のデータエントリフィールドのうちいくつかに、順次、テキスト情報を入力してもよい。
【００７３】
好ましくは、複数のデータエントリフィールド間におけるユーザの移動は、光入力インターフェイスが構成されているボタンまたはジェスチャによって達成される。例示的な実施形態は、たとえば、「次の（next）」および／もしくは「前の（previous）」ボタンを採用してもよく、または、１つ以上のスワイプまたはマルチタッチ・ジェスチャを翻訳して複数のデータエントリフィールド間を移動するように構成されてもよい。さらにより好ましくは、光入力インターフェイスはまた、ユーザが光入力キャプチャプロセスを終了させ得るかまたはその完了を示し得るための機能を含む。たとえば、いくつかの実施形態においては、光入力インターフェイスは「最後（last）」ボタン、「終了（finished）」または「遂行（done）」ボタンなどを含んでもよく、これにより、ユーザが、光入力キャプチャプロセスを終了させることを可能にし、好ましくは、ブラウザページ、アプリケーションインタフェースなどとの対話を再開することを可能にし得る。
【００７４】
したがって、少なくともいくつかの実施形態においては、現在開示されている発明の概念の重要な機能は、光入力能力がモバイルオペレーティングシステムを備えた既存のインターフェイスに直接一体化されている点である。光入力能力は、具体的には、そのバーチャルキーボードユーザインターフェイスの拡張部としてモバイルオペレーティングシステムを備えた固有のバーチャルキーボードユーザインターフェイスに統合される。
【００７５】
したがって、この技術は、別個の（すなわち、統合されていない）モバイルデバイスのカメラおよびバーチャルキーボードユーザインターフェイスのコンポーネントによって担持されるような既存の能力とともに非効率的に「スティッチ（stitch）」することを必要とする可能性のあるアプローチとは区別されるはずである。たとえば、全体的に別個のインターフェイス、機能、アプリケーションなどを介して受信されるような触覚入力と光入力との組合せを単に活用する技術では、入力の容易さおよび正確性が促進されずに、むしろ複雑になってしまう。
【００７６】
たとえば、テキスト情報の存在を決定（し、任意には、示されたテキストを決定および／または出力する）ために光入力をキャプチャして分析するように構成されたスタンドアロンのアプリケーションまたは機能は、コンテキスト依存の態様では光入力のこのようなキャプチャおよび／または分析を実行することができない。たとえば、スタンドアロンのアプリケーション、機能、特徴などは、たとえば当該スタンドアロンのアプリケーション、機能、特徴などが第１段階として設定されるように構成されていないウェブサイト上に表示された特定のフィールドまたはフォームのコンテキストにおいて所望のテキスト情報をもたらすようには構成されていない。
【００７７】
結果として、ユーザは、いくつかの独立した処理を呼出して、各々が必要とする処理の実施にフルコースで関与しなければならなくなるだろう。たとえば、ここで開示されている光入力と触覚入力との統合がなされていなければ、従来技術を用いて同様のプロセスを試みるユーザは、ユーザによって個々にインストールされ、構成され、呼出され、操作された複数の独立した処理を用いて実行される別個の動作を含む、過度に煩雑で著しく劣ったプロセスに関与しなければならなくなるだろう。
【００７８】
例示的な従来のプロセスは、実質的に以下のとおり上述の手順を参照している：
（１）モバイルのウェブブラウザアプリケーション（たとえば、ｉＯＳのためのサファリ）を呼出す；
（２）モバイルデバイスウェブブラウザを用いて、テキスト情報を必要とするウェブページにナビゲートする；
（３）モバイルブラウザアプリケーションを閉じるかまたは一時停止させる；
（４）別個の光入力機能（たとえば、「カメラ」アプリケーション）を呼出す；
（５）別個の光入力アプリケーションによって所望のテキスト情報を含む光入力をキャプチャする；
（６）光入力アプリケーションを閉じるかまたは一時停止させる；
（７）別個の光学分析アプリケーション（たとえば、ＯＣＲアプリケーション）を呼出す；
（８）キャプチャされた光入力を分析して、そこに示されたテキスト情報を、別個の光学分析アプリケーションを用いて決定する；
（７）決定されたテキスト情報の中から所望のテキスト情報の位置を特定する；
（８）決定されたテキスト情報の中から所望のテキスト情報を選択する（かまたは、同様に、不所望なテキスト情報を選択解除するか、削除するかもしくは廃棄する）；
（９）所望のテキスト情報を（たとえば、モバイルデバイスの「クリップボード」に、または同様に、単に所望のテキスト情報を記憶するユーザを介して）コピーする；
（１０）光学分析アプリケーションを閉じるかまたは一時停止させる；
（１１）閉じられた／一時停止されたウェブブラウザアプリケーションを呼出すかまたは再開させる（ウェブブラウザが一時停止されたのではなく閉じられた場合、上述のステップ（２）のようにウェブページへのナビゲートも繰返されなければならない）；ならびに、
（１２）所望のテキスト情報を上述のステップ（２）からウェブページの適切なフィールドにペーストする（かまたは、再生する）。
【００７９】
たとえば、特定のモバイルデバイスが必要なマルチタスク能力をサポートしない場合、または、所望の結果を達成するのに必要な独立したアプリケーション同士を有効に「切換える」ためのシステムリソースが不十分である場合、複数の独立したプロセスの使用を含む上述のシナリオは、実現可能ではないかもしれない。
【００８０】
比較のために、バーチャルキーボードユーザインターフェイスに対する光入力拡張部によって、統合された光入力および触覚入力の機能を利用している例示的なプロセスは、図２の方法２００における一実施形態に従って例示されるように、（システムリソースの消費に関して、さらには、ユーザの利便性および時間の観点から）実質的により効率的になるだろう。
【００８１】
方法２００は、図１Ａおよび図１Ｂに示されたものを含む如何なる好適な環境においても、さらには、本記載を読む当業者によって認識され得る他の如何なる好適な環境においても、実行され得る。
【００８２】
動作２０２において、ユーザ入力ユーザインターフェイス（ＵＩ）がモバイルデバイス上に呼出される。
【００８３】
動作２０４において、ユーザ入力ＵＩの光入力拡張部が呼出される。
動作２０６において、光入力がモバイルデバイスの１つ以上の光センサによってキャプチャされる。
【００８４】
動作２０８において、キャプチャされた光入力からテキスト情報が決定される。
動作２１０において、決定されたテキスト情報がユーザ入力ＵＩに提供される。
【００８５】
方法２００は、この明細書中に開示されたいずれか１つ以上の付加的または代替的な特徴をも含み得る。さまざまなアプローチにおいては、方法２００は、付加的および／または代替的には、選択的な識別、正規化、確認、および光入力からユーザ入力ＵＩへのテキスト情報の提供などの機能を含み得る。
【００８６】
ユーザ入力インターフェイスは、好ましくは、テキスト情報を受信するように構成されたユーザインターフェイス要素とのユーザの対話が検出されたことに応じて、呼出される。このようなアプローチでは、当該方法は、有利には、テキスト情報を決定するために光入力を分析するステップを含み得る。したがって、分析するステップは、光学文字認識（ＯＣＲ）を実行するステップ；ＯＣＲに基づいて、決定されたテキスト情報の中から所望のテキスト情報を識別するステップ；および、所望のテキスト情報をユーザ入力インターフェイスに選択的に提供するステップのうち１つ以上のステップを含み得る。
【００８７】
好ましくは、所望のテキスト情報は複数の識別子を含み、各々の識別子は、テキスト情報を受信するように構成された複数のユーザインターフェイス要素のうちの１つに対応する。いくつかの実施形態においては、識別子のうちのいくつかまたはすべては、ユーザインターフェイス要素のうちの１つによって必要とされるテキスト情報を含む。このため、どの識別子がこのような所要のテキスト情報を含むかを判断し、好ましくは適切なフォーマットで適切なユーザインターフェイス要素に各々の対応する識別子を選択的に提供することが有利である。
【００８８】
ユーザ経験全体にとって、自動的にＯＣＲエラーを補正するための機能を提供すること、たとえば、キャプチャされたコンテンツの正確な再生を確実にし、ワークフローによって予想される態様での情報の適切なフォーマット化を確実にすることは、非常に有益である。したがって、いくつかのアプローチにおいては、当該方法が、所望のテキスト情報の予想されるフォーマットと、所望のテキスト情報についての予想される値の範囲とのうち１つ以上に一致させるために、識別子のうち少なくとも１つを確認するステップおよび正規化するステップのうち１つ以上を含むことは有利である。
【００８９】
さまざまなアプローチにおいては、確認するステップは、識別子のうち少なくとも１つに適用可能なビジネスルールおよび補足的文書からの参照コンテンツのうち１つ以上を決定するステップを含み得る。この決定するステップは、好ましくは、識別子に対応する要素に基づいており、確認するステップは、参照コンテンツおよびビジネスルールのうち１つ以上に基づいている。同様に、正規化するステップは、補足的文書、ビジネスルールおよび／またはユーザによって呼出される要素からのフォーマット化を決定するステップを含み得る。
【００９０】
さらなる実施形態においては、当該方法はまた、所望のテキスト情報の予想されるフォーマットと、所望のテキスト情報についての値の予想される範囲とのいずれかまたは両方に一致させるために、所望のテキスト情報を確認（すなわち、コンテンツおよび／またはフォーマットの精度をたとえば参照コンテンツと照らし合わせてチェック）し、正規化する（すなわち、予想されるフォーマットまたは他のビジネスルールなどと合致させるようにフォーマットまたは表示を変更する）ステップのうち１つ以上を含んでもよい。これにより、ワークフローによって予想される態様で、キャプチャされたコンテンツの正確な再生と情報の適切なフォーマット化とを確実に行えるようにするために、ＯＣＲエラーを補正することが容易になる。いくつかの実施形態においては、確認するステップおよび正規化するステップは、ビジネスルールおよび補足的文書からの参照コンテンツのうち１つ以上に基づいている。このため、当該方法はまた、ユーザが対話した要素に基づいて、補足的文書およびビジネスルールのうち１つ以上を決定するステップを含んでもよい。
【００９１】
いくつかのアプローチにおいては、呼出されたユーザ入力インターフェイスが提示されるのと同時に、光入力拡張部が提示される。好ましくは、ユーザ入力インターフェイスは、モバイルデバイス上に表示されたバーチャルキーボードを含み、これは、バーチャルキーボード上に表示されたカメラボタンを含む。
【００９２】
当該方法は、付加的および／または代替的には、光入力拡張部の呼出しが検出されるのに応じて、自動的に光入力キャプチャインターフェイスを呼出すステップを含む。
【００９３】
さまざまな実施形態においては、当該方法は、付加的および／または代替的には、光入力をキャプチャする前に光入力を予め分析するステップを含み得る。予め分析するステップは、光入力において示されたオブジェクトを検出するステップ；光入力において示されたオブジェクトの１つ以上の特徴を決定するステップ；および、決定された特徴に少なくとも部分的に基づいて１つ以上の分析パラメータを決定するステップ；などの動作を含む。１つ以上の分析パラメータは、好ましくは、ＯＣＲパラメータを含む。
【００９４】
上述の例がモバイルブラウザと対話するユーザに関連付けて説明されているが、当業者であれば、原則として、ここに開示された発明の概念が、さまざまな実施形態において、モバイルブラウザ、モバイルデバイスオペレーティングシステム機能、サードパーティアプリケーション、固有のＯＳアプリケーションなどを介して提示されようとも、如何なるデータエントリフィールドとの如何なるユーザ対話にも適用可能であることを認識するだろう。
【００９５】
上述の例示的なシナリオに従って実証されるように、ここに開示された技術は、優れた結果を達成するのに必要な個々の動作の数を少なくとも２分の１だけ減らすことができる。光入力のコンテキスト依存型の呼出し、キャプチャおよび分析に関して以下に説明される付加的な利点を考慮すると、当業者であれば、一方でこの開示において記載される１つ以上の構成動作を達成し得るが、他方で優れた能力および性能特徴を備えた一体化された手順にこれらの機能を統合することによって達成される性能利点を担持することが全く不可能である従来の技術を利用する場合とは対照的に、この明細書中に記載される発明の技術によって与えられる重要な利益を認識するだろう。
【００９６】
光入力のコンテキスト依存型の呼出し、キャプチャおよび分析
好ましいアプローチにおいては、ここに開示された発明の光入力技術は、光学的情報もしくはテキスト情報、データ入力動作、データが入力されるべきフォーム、フィールドなどに関するコンテキスト情報を活用してもよい。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【００９７】
テキスト入力とは逆に光入力を用いて、或るタイプのテキスト情報をキャプチャすることが特に有利であるかもしれない。入力データの好ましいフォームとして光入力をコンテキスト的に有利に選択する場合、従来の触覚入力または音声入力が問題となるような場合には必ず、光入力を優先的にキャプチャするステップを含み得る。
【００９８】
たとえば、テキスト情報は、確立されている（たとえば、典型的には予測的な辞書によって利用されるような）如何なる規約またはルールセットに従っていない場合、触覚入力または音声入力（たとえば、モバイルデバイスのバーチャルキーボードインターフェイス上で「タイプする」、テキスト情報を読上げるかまたは列挙することなど）によってテキスト情報を入力しようと試みると、エラーが起こりやすくなる。予測的な辞書または音声の認識機能は、不適当な規約またはルールのうち１つ以上を実施しようとするユーザによって提供される入力を不適切に「訂正する」かまたは翻訳してしまう可能性がある。
【００９９】
さらなる実施形態においては、大量のテキスト情報および／またはテキスト情報の複雑な集合が必要な場合には、光入力が好ましいかもしれない。たとえば、それらのモバイルデバイスを介する作業に関与しているユーザが、さまざまなタイプのテキスト情報を要求するいくつかのフィールドを有するフォームを完成させることを所望し、テキスト情報のうちのいくらかまたはすべてが１つ以上の文書上に示されている場合、所望のテキスト情報の各々を手動で入力することをユーザに要求するのではなく、そのテキスト情報を示す文書の画像を含む光入力をキャプチャすることによってテキスト情報を決定するかまたは取得することが有利であり得る。
【０１００】
同様に、光入力をそのコンテキストに従って分析することが有利であるかもしれない。たとえば、１つのアプローチにおいては、ユーザは、テキスト情報のソースとして文書を利用して、光入力を介して提供されるようにしてもよい。文書は、如何なるフォームを取っていてもよく、予め定められたクラスの文書（たとえば、クレジットカード、信用報告書、運転免許証、財務諸表、納税申告用紙など）に属する文書を示す固有の特徴を呈していてもよい。このことは、当業者がこの記載を読むことによって理解され得るであろう。さらに、これらの固有の特徴に全体的または部分的に起因して、文書のそのクラスについての理想的な分析結果をもたらすことが分かっている予め定められた分析パラメータ、設定、技術、仮定などを用いて、予め定められたクラスに属する文書を示す光入力を分析することが有利であるかもしれない。
【０１０１】
たとえば、特定のカラープロファイルを有するテキスト情報、特にこのようなカラープロファイルが非標準的な（たとえば、白黒ではない）カラープロファイルである場合には特定のカラープロファイルを有する背景、を示す文書について、特に好ましい結果をもたらすことが分かっている予め定められた設定を用いて、光入力を分析することが有利であるかもしれない。
【０１０２】
同様に、文書クラスがテキスト情報についての既知の寸法、既知の配向、既知のレイアウトまたは編成などによって特徴付けられている場合、そのレイアウト、編成、配向などについての優れた分析結果を生成するように構成された分析パラメータ、設定などを利用することが有利であり得る。
【０１０３】
加えて、特定のフォントまたはスタイルで表わされたテキスト情報を分析するように構成された固有の分析パラメータを利用することは、たとえば、実現可能な各々の文字についての平均的な文字幅、高さ、予想される大きさなどのそのフォントの公知の特徴を利用すると、有利になるかもしれない。これは、当業者がこの開示を読むことによって理解され得るであろう。
【０１０４】
さまざまな実施形態においては、採用されている予め定められた分析パラメータ、設定、技術などは、好ましくは、１つ以上のＯＣＲパラメータ、設定、技術などを含む。
【０１０５】
したがって、いくつかのシナリオにおいては、光入力をキャプチャする前にモバイルデバイス光センサに提示された光入力を予め分析するように構成された機能を含むことがさらに好ましいかもしれない。たとえば、好ましい実施形態においては、キャプチャインターフェイスが呼出されると、（キャプチャインターフェイスの呼出しを命じるユーザ入力に応じて、自動的であろうとなかろうと）モバイルデバイスは、光入力が識別可能なオブジェクトを含むかどうか、さらに理想的には、このような検出された如何なるオブジェクトのアイデンティティまたは分類をも含むかどうかを含めて、但しこれには限定されずに、光入力の特徴を決定してもよい。
【０１０６】
さらなるアプローチにおいては、光入力は、ユーザ入力インターフェイス（たとえば、さまざまな実施形態においては、バーチャルキーボードおよび／またはその光入力拡張部）を呼出すために、ユーザが対話するウェブページ、アプリケーション、フォーム、フィールドなどから決定されるかまたはこれらに基づいて決定されるコンテキスト情報に基づいて分析されてもよい。たとえば、当業者によって認識され得るように、既存の技術では、たとえば、制限された入力インターフェイス（たとえば、生年月日または社会保障番号を入力するための、数字で構成されるインターフェイス；「名前」などを入力するための、アルファベット文字で構成されるインターフェイス）を選択的に呼出すことによって、ユーザがユーザインターフェイスに与え得る入力がユーザインターフェイスによって制限されてしまう。
【０１０７】
同様に、ここに記載される光入力拡張部は、拡張部を用いてキャプチャされた光入力を分析するために用いられる分析パラメータに影響を及ぼすか、当該分析パラメータを決定するか、または、当該分析パラメータを制限する可能性がある。分析が光学文字認識を含んでいる例示的なシナリオにおいては、たとえば、数字だけを受付けるフィールドのために用いられる分析パラメータは、数字に限定されたＯＣＲアルファベット、または逆に、アルファベット文字だけを受付けるフィールドのために文字に限定されたＯＣＲアルファベットを含み得る。好ましいアプローチにおいては、光入力拡張部は、所与のデータエントリフィールドについての許容可能な入力のタイプ、フォーマットなどに基づいて、自動的かつトランスペアレントに、分析パラメータを規定してもよく、規定するステップは、ユーザがデータエントリフィールドと対話している特定フィールドのための許容可能なタイプの入力を識別する命令を受信したことに応じて、直接実行されてもよい。たとえば、ユーザが、電話番号を入力として予想する記入可能なデータエントリフィールドと対話するシナリオの場合を例示する。従来の例に従うと、このデータエントリフィールドと対話するユーザには数字０〜９で構成されるキーボードが提示される一方で、ここに開示された発明の概念に従うと、この明細書中に記載されるのと同じデータエントリフィールドと対話して光入力拡張部を利用するユーザは、数字０〜９に限定されておりＯＣＲアルファベットを含む分析パラメータを採用してもよい。
【０１０８】
上述の実施形態に従った例示的なシナリオにおいては、ユーザは、モバイルデバイスを用いて、ウェブページ、フォーム、モバイルアプリケーションなどに移動し得る。ユーザが対話し得る１つ以上の記入可能なフィールドは、ウェブページ上、ウェブブラウザのナビゲーションバー上、または、ユーザが対話中でありテキスト情報を好適な入力として受付ける媒体の他の如何なる要素上にも提示され得る。この対話が検出されたことに応じて、および／または、ユーザからの入力に応じて、モバイルデバイスは、たとえば、典型的には従来のモバイルデバイスに設けられた固有のＯＳ機能に含まれているような、「カメラ」アプリケーションを実質的に表わす光キャプチャインターフェイスを呼出してもよい。
【０１０９】
光キャプチャインターフェイスが呼出されると、モバイルデバイスのディスプレイは、好ましくはリアルタイムで、またはほぼリアルタイムで、モバイルデバイス光センサの視界を示す「ビューファインダ」を表示する。モバイルデバイスは、ユーザ入力に応じて、または（好ましくは）ユーザにトランスペアレントな自動的な態様で、モバイルデバイス光センサによって受信される光入力（たとえば、ビューファインダディスプレイを生成するために利用される光入力）を利用して、上述のとおり事前の分析を実行してもよい。
【０１１０】
特に好ましいアプローチにおいては、事前の分析は、光センサの視界（たとえば、バウンディングボックス）の一部に示された如何なるテキスト情報をも識別するステップと、識別された如何なるテキスト情報のプレビューをも表示するステップとを含み得る。さらにより好ましくは、識別されたテキストは、ユーザ入力インターフェイスおよび／またはその光入力拡張部を呼出すために、ユーザが対話したデータエントリフィールドに表示されてもよい。
【０１１１】
さらなるアプローチにおいては、ここに開示された方法、システム、および／またはコンピュータプログラムプロダクトは、ユーザ入力の受信と対応する出力の生成とを容易にするように構成された１つ以上のユーザインターフェイス（ＵＩ）とともに利用されてもよく、当該１つ以上のユーザインターフェイス（ＵＩ）において実現されてもよく、および／または、当該１つ以上のユーザインターフェイス（ＵＩ）を含んでもよい。ユーザ入力ＵＩは、モバイルデバイス・オペレーティングシステムとともに含まれる標準ＵＩの形式であってもよく、たとえば、標準的なＳＭＳメッセージ通信機能およびアプリケーション、ブラウザアプリケーションなどとともに用いられるようなキーボードインターフェイス；標準的な電話機能およびアプリケーションとともに用いられるようなテンキーインターフェイス；または、ユーザ入力、特にテキスト情報を含むかまたはテキスト情報に対応する入力を受信するように構成された他の標準的なオペレーティングシステムＵＩ（すなわち、スクリーンのさまざまな位置上でのタップ、またはテキスト情報に変換されるであろうまたはスピーチ、を含むユーザ入力）を含み得る。
【０１１２】
たとえば、図１Ａに示されるように、ユーザ入力ＵＩ１００は、ナビゲーションＵＩ１１０、フォームまたはページ１２０、およびキーボードＵＩ１３０を含む。各々のＵＩ１１０、ＵＩ１２０、ＵＩ１３０は、モバイルデバイスオペレーティングシステムとともに含まれるモバイルデバイスオペレーティングシステム、標準的なブラウザもしくはモバイルアプリケーションによって提供される標準的なＵＩであり得るか、または、別々にインストールされたスタンドアロンのアプリケーションによって提供され得る。スタンドアロンのアプリケーションの実施形態は、シームレスなワークフローおよびユーザ経験においてコンテキスト依存型の機能およびキャプチャ／抽出機能を効率的に統合する能力があるために、好ましい。
【０１１３】
図１Ａを続けて参照すると、ワークフローがユーザ入力ＵＩ１００によって促進されている本願の文脈においては、ナビゲーションＵＩ１１０は、ワークフローなどのさまざまな段階を通じてナビゲートを支援するためのモバイルブラウザのアドレスバー、前送りボタンおよび／または後送りボタン（図示せず）などのナビゲーションコンポーネント１１２を含む。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【０１１４】
ワークフローのフォーム／ページ１２０は、好ましくは、ワークフローのキャプチャおよび抽出動作から出力される（任意には、この明細書中に記載されるように正規化および／または確認される）複数の識別子を入力として受信するように構成された複数のフィールド１２２〜１２８を含む。図１Ａに示されるように、フィールドは、都市フィールド１２２、郵便番号フィールド１２４、電話番号フィールド１２６、および州フィールド１２８を含む。当然、追加のフィールドがフォーム／ページ１２０に含まれてもよく、ユーザは、当業者がこの記載を読むことによって認識され得るであろう好適な任意の技術を用いて、そのさまざまなフィールドを選択的に表示するためにフォーム／ページ１２０内を移動してもよい。
【０１１５】
さらに、各々のフィールドは、そこへの入力として受信されるテキスト情報についての予想されるフォーマットおよび／または値もしくは値の範囲に関連付けられてもよい。たとえば、都市フィールド１２２には、大文字で始まり、その後に複数の小文字が続き、任意には、１つ以上のスペースまたはハイフン文字を含むが、数字および他の特殊文字を除く一連のアルファベット文字が予想され得る。逆に、郵便番号フィールド１２４には、数字および任意のハイフンまたはスペースを含む一連の５つの数字または１０個の文字が予想され得る。郵便番号フィールド１２４にはさらに、「＃＃＃＃＃−＃＃＃＃」などの特定のフォーマットに従った１０の文字列が予想され得る。同様に、電話番号フィールド１２６には、７つの数字、ならびに任意には１つ以上のスペース、括弧、ピリオド、カンマおよび／またはハイフンが予想され得る。電話番号フィールド１２６にはまた、米国における「（ＸＸＸ）＃＃＃−＃＃＃＃」などのいくつかの標準的な電話番号フォーマットのうちの１つに対応するマスクに従って、または、デバイスが用いられている地域に応じて他の対応する公知の規約に従って、そこに入力されるテキスト情報が予想され得る。州フィールド１２８には、大文字の２つの文字列が予想され得る。当然、他のフィールドは、同様に、そこに入力として受信されるように意図された情報に関連付けられた公知の規約、基準などに従って予想されるフォーマットおよび／または値もしくは値の範囲に関連付けられてもよい。
【０１１６】
ユーザは、いずれかの好適な手段を用いて、たとえば、フィールドに対応するモバイルデバイスのディスプレイの領域上でタップすることによって、フィールド１２２〜１２８のうちの１つと対話してもよく、これに応じて、キーボードインターフェイス１３０が呼出されてもよい。代替的には、たとえば州フィールド１２８などのドロップダウンメニューフィールドの場合には、フィールドがユーザ定義のテキスト情報を受付けない場合、キーボードインターフェイスが呼出されないかもしれない。ユーザ定義のテキスト情報を受付けるフィールドの場合、フィールドとのユーザの対話がカーソル１２１の存在によって示されてもよい。特定のフィールドとのユーザの対話により、この明細書中にさらに詳細に記載されるように、ワークフローのコンテキスト依存型コンポーネント（たとえば、特定のビジネスルールを適用し、確認を実行し、文書分類を行うように構成されたコンポーネント）が呼出されるかまたはスケジューリングされる可能性もある。
【０１１７】
キーボードインターフェイス１３０は、ユーザが対話していたフィールドのコンテキスト（たとえば、フィールドに入力されるテキスト情報についての予想される値または値の範囲）に基づいて、（たとえば、図１Ａに示されるように、都市フィールド１２２とのユーザの対話に応答する）アルファベット文字セット、または（たとえば、図１Ｂに示されるように、郵便番号フィールド１２４とのユーザの対話に応答する）数／記号の文字セットを選択的に含んでもよい。好ましくは、キーボードインターフェイス１３０は、ユーザがフィールドにテキスト情報を「タイプする」のを容易にするように構成された複数のキー１３２や、さらには、モバイルデバイスのマイクロホンおよび／またはカメラなどのモバイルデバイスのＩ／Ｏコンポーネントを用いて、１つ以上の動作を実行するように構成された機能ボタン１３４を含む。
【０１１８】
キーボードインターフェイス１３０が呼出されると、図１Ａに表わされるように、キーボードインターフェイス１３０の機能ボタン１３４（たとえば、図１Ｂに示されるように、音声キャプチャまたはスピーチ・トゥ・テキスト機能に一般に関連付けられているボタン）は、モバイルのアプリケーションまたはワークフローの光入力拡張部を呼出すために、ユーザと対話させてもよい。実際には、光入力拡張部は、以下にさらに詳細に記載されるように、キャプチャインターフェイスを呼出し、（任意には、確認、分類などを含む）キャプチャおよび抽出の動作を開始する。
【０１１９】
付加的および／または代替的には、光入力拡張部は、たとえば、図１Ｂにおいて概略的に示されるように、フォーム／ページ１２０内において別個のボタン１３６として、キーボードインターフェイス１３０とは別個に表示されてもよい。
【０１２０】
１つのアプローチにおいては、文書の画像は、モバイルデバイスによってキャプチャまたは受信されてもよく、光学文字認識（ＯＣＲ）などの画像処理動作は画像上で実行されてもよい。さらなるアプローチにおいては、ユーザは、文書上でモバイルデバイスを移動させることで、キャプチャ動作を別個に呼出す必要なしに、供給映像から直接、ＯＣＲを介して識別子が抽出される。ＯＣＲ結果に全体的または部分的に基づいて、識別子、好ましくは一意識別子が画像から抽出され得る。
【０１２１】
正規化、確認
抽出された識別子は、参照コンテンツと比較されてもよく、または、１つ以上のビジネスルールを考慮して分析されてもよい。参照コンテンツおよび／またはビジネスルールは、好ましくは、効率的な比較および／または分析を容易にするためにモバイルデバイス上に局所的に記憶され、如何なる好適なフォームで提供されてもよい。
【０１２２】
無数のアプローチにおいては、参照コンテンツは、識別子が抽出されるべき文書に対して、補足的文書のフォームを取り入れてもよい。補足的文書は、抽出された識別子の単純な比較が実行され得る場合に照合されるテキスト情報の文書、ファイルまたは他の如何なる好適なソースをも含み得る。たとえば、好ましいアプローチにおいては、モバイルアプリケーションは、１つ以上の補足的文書が記憶されたデータを含み、各々の補足的文書は、少なくとも１つの識別子に対応しているか、または、モバイルアプリケーションの１つ以上のワークフローにおいて利用されるタイプの識別子に対応している。
【０１２３】
補足的文書は、たとえば、モバイルアプリケーションを用いて、事前のキャプチャおよび抽出動作に基づいて取得されてデータストアに記憶され得るような識別子を含んでもよい。有利には、補足的文書は、識別子を示す文書についての処理済み画像を含んでもよく、上記処理は、（たとえば、カラープロファイル、射影効果の補正、配向補正などに基づいて、特化された二値化によって）データ抽出の目的で画像の質を向上させるように構成されていてもよい。文書画像は、モバイルアプリケーションまたはその特定のワークフローのその後の呼出しの際に画像化された文書から抽出される識別子の精度を確実にするために確認ツールとしての役割を果たしてもよい。当然、補足的文書が、確認された識別子（たとえば、正確であることが分かっている識別子についての一連の文字、記号）を単に含んでいる場合に、同様の機能が達成されてもよい。
【０１２４】
付加的および／または代替的な実施形態においては、ビジネスルールは、抽出された識別子の予想されるフォーマットを示してもよく、さらに（たとえば、文書の特定のカラープロファイルに基づいたＯＣＲパラメータを用いて；識別子が探索されている文書内の位置を制限するＯＣＲパラメータを用いて）識別子を如何に選択的に抽出するかについてのルールを含んでもよく、および／または、たとえば、マスクや正規表現を用いて、予想されるフォーマットに適合するように、抽出された識別子を変更して、いくつかの記号または文字セットを除外するためにＯＣＲアルファベットを変更することなどによってＯＣＲパラメータを変更してもよい。このことは、当業者が本明細書を読むことによって理解され得るであろう。
【０１２５】
１つのアプローチにおいては、ビジネスルールは、情報のうち、適切にこの開示の範囲内の識別子であるとみなされる部分だけが特定のワークフローのコンテキストにおいて必要であるかまたは所望されていることを示す可能性もある。たとえば、ワークフローは、アドレスの郵便番号だけ、社会保障番号またはクレジットカード番号の最後の４つの数字だけ、日付の月および年だけ、インボイス上の勘定科目の部分だけ、たとえば価格または製品コードのどちらか一方だけ、などを必要とする可能性がある。このことは、当業者が本明細書を読むことによって理解され得るであろう。
【０１２６】
ここに開示された発明の概念を含むビジネスルールを利用することの特定的な利点は、特定の抽出動作に適用される特定のビジネスルールが、機密のコンテキストであり、このため、抽出の試みに適用されるべき適切なビジネスルールを自動的に決定し得る点である。
【０１２７】
ＯＣＲエラーの原因を明らかにして自動的に補正するために、いくつかのアプローチにおいては、抽出された識別子が補正されてもよい。たとえば、好ましくは、抽出された識別子は、補足的文書および／または定義済みのビジネスルールからテキスト情報を用いて補正される。
【０１２８】
定義済みのビジネスルールは、このコンテキストにおいては、好ましくは、補正が適用され得る許容可能なだけの不整合についてのしきい値を設定する等の、データを処理するためのビジネス指向の基準／条件を含んでもよい。（たとえば、補正は、文字の最大しきい値数、文字の最大百分率などよりも小さい不整合に適用されてもよく、補正は、定義済みの１セットの「許容可能な」エラーの範囲内に適合する不整合に適用されるだけであってもよく、たとえば、文字「ｌ」の代わりに数字「１」であったり、この逆の場合であったり、さらに、ハイフン「−」の代わりにダッシュ「―」であってもよく、他の同様のビジネス指向の基準／条件に適用されるだけであってもよい。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【０１２９】
付加的および／または代替的には、抽出された識別子が変更されてもよい。たとえば、ＯＣＲエラーから生じる不一致はこの技術を用いて自動的に処理されてもよい。一実施形態においては、ビジネスルールに従うと、識別子は、予め定められたフォーマットであると予想される。たとえば、クレジットカードなどの扱いに注意を要する文書のコンテキストにおいては、識別子は、典型的には従来のクレジットカード／デビットカード上に見られるような「＃＃＃＃−＃＃＃＃−＃＃＃＃−＃＃＃＃」に実質的に適合する１６桁の数値フォーマットで予想されるアカウント番号であってもよく、または、「ＭＭ／ＹＹ」フォーマットの満了日付などであってもよい。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【０１３０】
さらなる実施形態においては、抽出された識別子は。正確に抽出されるかもしれないが、それでも、期待されたのとは異なるフォーマットで提示される可能性もある（たとえば、識別子は、スペース、ダッシュまたは許容不可能な文字などの予測される記号またはフォーマット化を含み得るかまたは除外する可能性もある）（たとえば、予想されるフォーマットが厳密に「０１」などの数である場合にはアルファベット文字を含む「Ｊａｎ」および「Ｊａｎｕａｒｙ」などのように年月日に関して月の指定がなされる）。
【０１３１】
この性質の不一致は、データ正規化機能を活用することによって自動的に解決されるかもしれない。たとえば、抽出された識別子が日付を含んでいるいくつかのアプローチにおいては、２００１年１月１日（01 January, 2001; January 01, 2001）、０１／０１／０１、０１年１月１日（Jan. 1, 01,）などの日付データが表わされ得る好適なフォーマットの有限集合がある。このことは、当業者がこの記載を読むことによって理解され得るであろう。他のタイプの識別子データは、アカウント番号（たとえば、フォーマット＃＃＃＃−＃＃＃＃−＃＃＃＃−＃＃＃＃、＃＃＃＃  ＃＃＃＃  ＃＃＃＃  ＃＃＃＃、＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃などの従来の１６桁のアカウント番号）、カード所有者名前、（たとえば、ラストネーム、ファーストネーム；ラストネーム、ファーストネーム、ミドルネームのイニシャル（Middle Initial：ＭＩ）；ファーストネーム、ラストネーム；ファーストネーム、ＭＩ、ラストネーム；など）、暗証番号（たとえば、３桁または４桁の数、文字および数の両方を含む英数字の列など）を含む有限数のフォーマットで同様に表現されてもよい。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【０１３２】
識別子データについての予想されるフォーマットまたは実現可能なフォーマットの有限集合を規定するビジネスルールに基づいて、ここに開示された技術は、財務書類から得られたデータが、たとえば、補足的文書のテキスト情報に含まれる／示される対応するデータの予想されるフォーマットと合致するような態様で、画像化された財務書類から（たとえば、抽出によって）得られたデータを自動的に正規化するように構成されてもよい。たとえば、日付などの抽出されたデータが、予想されるフォーマット（たとえば、ＭＭ／ＹＹ）以外の特定のフォーマット（たとえば、Jan. 01, 2001）であると判断されると、抽出されたデータを特定のフォーマットから予想されるフォーマットに変換して、画像から導き出された識別子データと補足的文書からの対応するテキスト情報とを容易かつ正確に合致させることを可能にすることが有利である。
【０１３３】
他の場合には、データ正規化を達成するために反復的な繰返しのアプローチを利用することが有利であるかもしれない。たとえば、一実施形態においては、最初の繰返しは実質的に上述のとおりに行われる。すなわち、文書の画像から識別子を抽出し、抽出された識別子を１つ以上のデータソースからの対応するデータ（たとえば、補足的文書、データベース記録、定義済みのビジネスルールなどからのテキスト情報）と比較する。しかしながら、最初の繰返しにおける比較は、抽出された識別子とデータソースからの対応するデータとの間に如何なる整合性ももたらさない。いくつかのアプローチにおいては、この不整合は、画像化された文書上の識別子と１つ以上のデータソースからの対応するデータとの間の真の不整合ではなくＯＣＲエラーの結果、もたらされるものである可能性がある。
【０１３４】
この性質のＯＣＲエラーは、いくつかのアプローチにおいては、識別子に対応するデータの１つ以上の特徴を決定することによって補正され得る。一実施形態においては、最初のＯＣＲの繰返しは、許容不可能なフォーマット（たとえば、データが適切に正規化されない）で識別子を抽出してもよく、および／または、抽出された識別子が１つ以上のＯＣＲエラーを含むような態様でＯＣＲを実行してもよい。結果として、抽出された識別子は、文書上に示されているような「真の」識別子が対応するデータのうちの少なくともいくらかと実際に合致しているという事実にもかかわらず、１つ以上のデータソースにおけるいずれの対応するデータとも合致しない。この多様性についての誤った否定的な結果は、識別子特徴に基づいて、ＯＣＲ動作の基礎となるパラメータ、ルールおよび／または仮定を変更することによって軽減または回避され得る。
【０１３５】
たとえば、一実施形態においては、識別子が抽出され、１つ以上のデータソースからの対応するデータと比較される。抽出された識別子を含む文字列は、対応するデータにおける如何なるアカウント番号とも合致しない。データソースにおける対応するいずれのデータも識別されなかったことに応じて、抽出された識別子がさらに分析されてその特徴が決定される。
【０１３６】
１つのアプローチにおいては、抽出された識別子は、複数の定義済みの識別子タイプ（たとえば、「ファーストネーム」、「ラストネーム」、「アカウント番号」、「満了日付」、「ＰＩＮ」など）と比較されて、抽出された識別子が定義済みの識別子タイプのうちの１つに対応するいずれかの特徴を示すかどうかが判断されてもよい。たとえば、抽出された識別子と定義済みの識別子タイプとを比較して、データフォーマット化および／またはデータ値に関して類似度が存在するかどうかが判断されてもよい。
【０１３７】
このような比較にとって好適な例示的な識別子特徴は、いくつかのアプローチにおいては、文字列長、アルファベット列（すなわち、「アルファベット」、「数字」、「英数字」などの識別子が形成され得る文字セット）、特定のタイプの識別子に共通する１つ以上の認識可能なパターンの存在、または、これらの説明を読んだ当業者によって認識され得るような他の特徴をも含む。好ましいアプローチにおいては、識別子特徴は、公知のパターン合致ツール（たとえば、正規表現）を用いて認識可能な如何なるパターンをも含み得る。
【０１３８】
付加的および／または代替的には、識別子タイプは、１つ以上の文書特徴など、たとえば、識別子が抽出される文書における位置；（２０１４年９月１８日に米国特許公報２０１４／０２７０３４９として公開され、引用によりこの明細書中に援用されている、２０１３年３月１３日に提出された関連する米国特許出願第１３／８０２，２２６号に開示されているような）識別子が抽出される文書の分類、および／または、文書上の識別子の隣りに、上方に、下方に、または、空間的に近接して位置するデータの特徴など、に全体的または部分的に基づいて判断されてもよい。これは、当該記載を読んだ当業者によって理解され得るとおりである。たとえば、好ましい実施形態においては、識別子特徴は、関連情報を示すデータの下方に位置する識別子が抽出される位置、たとえば、典型的には、特に郵便宛先を記載している文書における都市、州および／または郵便番号に対応する所在地住所のラインの下に位置する識別子などが抽出される位置、に基づいて決定されてもよい。別の好ましい実施形態においては、識別子特徴は、たとえば、満了日付またはアカウント番号がそれぞれ、典型的なクレジットカードおよびデビットカードの文書上に記載されているのと同様に、関連するデータに水平に隣接する位置から抽出された識別子に基づいて決定されてもよい。
【０１３９】
【数１】
2017514225.tif 000003
【０１４０】
識別子特徴が決定されると、抽出された識別子は、識別子特徴を記述するいずれかの規約またはルールが違反されているかどうか（これは、さまざまなアプローチにおいて、ＯＣＲエラー、不適当なデータ正規化またはこれらをともに含む、抽出された識別子を示す可能性がある）を判断するために分析されてもよい。一例においては、抽出された識別子は、最初の比較に基づいて１つ以上のデータソースにおける対応するデータのうちのいずれとも合致しない。合致しなかったことに応じて、抽出された識別子が分析され、そして、抽出されたストリングの長さが１６文字であることに少なくとも部分的に基づいて、識別子タイプ「アカウント番号」であると判断される。抽出された識別子はさらに分析され、「アカウント番号」特徴に違反していると判断される。この分析により明らかになるように、アカウント番号ストリングは数値文字から構成されており、抽出された識別子は非数値文字を含んでいる。なぜなら、たとえば、抽出された識別子ストリングにおける１文字は、数字「８」でななく文字「Ｂ」であり、数字「１」ではなく文字「ｌ」であり、数字「０」ではなく文字「Ｏ」である等と、不適切に判断されたからである。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【０１４１】
ＯＣＲエラーは、識別子特徴の確立に少なくとも部分的に基づいて第２のＯＣＲの繰返しを用いて補正されてもよい。数値ではなくアルファベット文字を誤って含んでいるアカウント番号の上述の例においては、ＯＣＲエンジンは、番号数字全体から構成されるアルファベットの候補文字に制限される可能性がある。ＯＣＲアルファベットを制限するという決定は、アカウント番号のフォーマットに適用される定義済みのビジネスルール（すなわち、アカウント番号が番号数字から構成されている）に基づいている。したがって、第２の繰返しは、第１の繰返しから誤って決定された「Ｂ」という文字ではなく、識別子における「８」という数字を適切に認識する。好ましくは、識別子は、上述のような少なくとも１つのビジネスルールに準拠している。より好ましくは、ビジネスルールは、少なくとも１つの論理式（たとえば、ルール、公式、パターン、規約、構造、組織など、または任意の数もしくはそれらの組合せ）として表現されてもよい。
【０１４２】
当業者であれば、同様のビジネスルールが、上に例示された数字／文字の区別とは異なるさまざまな状況において抽出された識別子ストリングを如何に規定するかに関して、ＯＣＲプロセスに通知し得ることを認識するだろう。
【０１４３】
たとえば、一実施形態においては、ビジネスルールは、たとえば、より包括的またはさまざまなアルファベット記号とは対照的に、特定のアルファベット記号が用いられるべきであることを示してもよい。ビジネスルールは、アカウント番号がハイフン記号文字（すなわち「−」）を含むがダッシュ記号文字（すなわち「―」）、下線記号文字（すなわち「＿」）および間隔文字（すなわち「  」）を除外している規約に従うことを示している。したがって、第１の繰返しが、たとえば補足的文書中の対応するデータと合致する識別子をうまく抽出できない場合、第２の繰返しは、ビジネスルールに反映されていた予測に従って抽出結果を正規化するように、より制限されたアルファベットを用いて実行される可能性がある。
【０１４４】
例示的なコンテキスト依存型ワークフロー使用事例
たとえば、モバイルのアプリケーションまたはワークフロー内で作業するユーザは、アプリケーション、ウェブページなどのフィールドと対話してもよく、さらに、特定のフィールドに基づいて、固有のビジネスルールが後続のキャプチャおよび抽出タスクに適用されてもよい。たとえば、郵便番号（たとえば、図１Ａのフィールド１２４）を要求するフィールドは、抽出された識別子が５（または９）桁のフォーマットを有するべきというビジネスルールを示すかまたは呼出してもよく、すべての文字は数値である（またはハイフンを含む）べきであり、５（または９）の数ストリングに隣接するアルファベット文字は抽出された識別子に含まれているべきではない。こうして、特定のフィールドとのユーザの対話は、その後、文書から識別子をキャプチャおよび抽出する際に適用される適切なビジネスルールのコンテキスト依存型の決定を行うことができる。
【０１４５】
この態様では、ユーザは、街路住所すべてを示す文書から郵便番号だけを選択的にキャプチャし、対応するモバイルのアプリケーションまたはワークフローの郵便番号フィールドをポピュレートし得るが、モバイルのアプリケーションまたはワークフローに如何なる命令も与えることはなく、如何なるテキスト情報もフィールドに入力する必要がない。
【０１４６】
同様に、ビジネスルールは、モバイルのアプリケーションまたはワークフローを考慮して文書のコンテキストに部分的にまたは全体的に基づいていてもよい。たとえば、上述と同様の状況においては、ユーザは、郵便番号を予想するフォームまたはウェブページのフィールドと対話してもよい。しかしながら、フォームまたはページはまた、電話番号、住所の都市および州、名前、社会保障番号、満了日付、クレジットカード番号などのさまざまな情報を要求する他のフィールドを含む。ユーザが対話したフィールドが単一の文書（たとえば、運転免許証、公共料金請求書、クレジットカードなど）上に記載されている可能性の高い他の情報を要求するフォーム／ページの一部であるため、ビジネスルールが呼出されてもよく、これにより、後続のキャプチャおよび抽出の動作は、たとえ、ユーザが他のフィールドと対話していなかった可能性があったとしても、複数の識別子を抽出して、フォーム中の複数のフィールドを単一のプロセスでポピュレートしようと試みる。より明確には、これは、文書のコンテキストではなく上述の例におけるようなワークフローのコンテキストを構成している。
【０１４７】
文書コンテキストを決定するために、キャプチャインターフェイスが呼出されると、ビューファインダ内の文書が分析されて、１回のアプローチで文書のタイプが決定され得る。この決定に基づいて、複数の識別子抽出およびフィールドポピュレーションのプロセスが、（たとえば、文書タイプが、複数のフィールドに対応する複数の識別子を含む可能性の高いタイプの文書である場合には）実行されてもよく、または、（たとえば、文書タイプが典型的にはフォーム／ページ上の他のフィールドに対応する情報を示していないので、文書が複数回の抽出を試みるのに適切なタイプの文書でない場合には）回避されてもよい。
【０１４８】
この態様では、たとえば、識別子が抽出されている文書のコンテキストと同様にフィールドとのユーザの対話によっても示されるように、モバイルのアプリケーション／ワークフローのコンテキストを活用することができる。有利には、このデュアルコンテキスト型のアプローチにより、事前の如何なるデータ入力にも依存することなく、光入力ベースのオートフィル機能が可能になる。オートフィルは、ほぼリアルタイムで第１回目のキャプチャ時に実行することができる。
【０１４９】
好ましいアプローチにおいては、ユーザは、１つ以上の文書の画像をキャプチャしてもよい。画像は、好ましくは、光Ｉ／Ｏ拡張部（たとえば、図１Ａおよび図１Ｂのそれぞれの拡張部１３４または１３６）によってキャプチャインターフェイスを呼出すことによって、モバイルデバイスのキャプチャコンポーネント（たとえば、上述されるような「カメラ」）を用いてキャプチャされる。キャプチャされた画像は、任意には、この明細書中に記載されるように、将来の使用および／または再使用を可能にするために、メモリ、たとえばモバイルデバイスのメモリに記憶されてもよい。特に、この開示の他の実施形態はまた、文書画像がキャプチャされていないシナリオを包含しているが、他の場合には、文書上に示されているかまたは文書に関連付けられている情報（たとえば、さまざまな文書上に示されている対応する識別子）を抽出および／または確認する際に、後に使用するために、デバイス（好ましくはモバイルデバイスなどのプロセッサを有するデバイス）において受信される。
【０１５０】
文書の画像は、それに対してＯＣＲを実行することによって分析される。ＯＣＲは、画像から文字、特にテキスト文字を識別および／または抽出するために、実質的に上述したように利用されてもよい。さらにより好ましくは、抽出された文字は、文書を固有に識別する識別子を含む。識別子は、当該技術において公知の如何なる好適なフォームを採用してもよく、いくつかのアプローチにおいては、文字の英数字ストリング（たとえば扱いに注意を要する文書のアカウント番号）；（典型的にはクレジットカード／デビットカードのアカウントに関連付けられる１６桁のアカウント番号など）、暗証番号（デビットカード／クレジットカード上のＣＣＶコード、スクラッチカード確認コード、個人識別番号（personal identification number：ＰＩＮ）など）、満了日付（たとえば、フォーマット「ＭＭ／ＹＹ」）、などとして具体化されてもよい。このことは、当業者がこの記載を読むことによって理解され得るであろう。
【０１５１】
ここに開示された技術は、いくつかの有利な特徴を利用することによって、文書所有者にそれらの文書に関する有益な情報および／またはサービスを与え得る。たとえば、任意には、モバイルデバイス上で実行されるモバイルアプリケーションなどのコンテキスト情報を考慮すると、データは、如何なるテキスト情報もユーザが入力する必要なしに、モバイルアプリケーションに自動的に提供され得るので、時間のかかるプロセス、ユーザエラー、予測による辞書の先入観、およびモバイルデバイスに関する従来のユーザベースのテキスト入力に共通する他の問題が回避され得る。
【０１５２】
たとえば、一実施形態においては、特定のウェブページ、スタンドアロンのアプリケーションなどを表示する標準的なブラウザであり得るモバイルアプリケーションは、ユーザが自動車保険を申請し易くなるように構成されたワークフローを含む。ワークフローは、申請者の名前、運転免許番号、車両型式、モデル、および／または年、居住州などの情報を要求するフィールドを含み得る。
【０１５３】
ユーザがモバイルアプリケーションのフィールドのうちの１つを呼出したことに基づいて、および／または、モバイルデバイスを介して表示されたキーボードまたは他のユーザ入力インターフェイス（たとえば、図１Ａに示されるようなＵＩ１１０、ＵＩ１２０、ＵＩ１３０）の光入力拡張部（たとえば、図１Ａに示されるような拡張部１３４または図１Ｂに示されるような拡張部１３６）をユーザが呼出したことに基づいて、ビューファインダなどのキャプチャインターフェイスがモバイルデバイス上に呼出される。
【０１５４】
キャプチャインターフェイスは、ワークフローのフィールドについて要求される情報のうちいくつかまたはすべてを示す１つ以上の文書のキャプチャ画像、たとえば運転免許証および車両登録、をキャプチャするようにユーザを直ちに誘導し得る。好ましくは、キャプチャインターフェイスは、最適なキャプチャ条件（たとえば、照明、視野およびズーム／解像度）が達成された場合に、ビューファインダに示された文書を自動的に検出してその画像をキャプチャするように構成される。ビューファインダは、文書など上に示されたテキスト情報のライン、フィールドなどをキャプチャし易くするために、文書全体、すなわち長方形の箱型、の画像をキャプチャし易くするように長方形に配置された４つの角部などのレチクルを含み得る。このことは、当業者がこの記載を読むことによって理解され得るであろう。レチクルは、好ましくは、ユーザが、最適なキャプチャ条件を達成するためにデバイスおよび／または文書を方向付けるのを支援するように構成される。
【０１５５】
より好ましくは、キャプチャ動作は、識別子を文書から正確かつ綿密に抽出することを容易にし、かつ、ワークフローのフィールドにおける対応するテキスト情報を正確かつ綿密に出力することを容易にするためにコンテキストにより認識されている、対応するテキスト情報は、さまざまなアプローチにおいては、抽出された識別子と同じであってもよく、または、予想されるフォーマットおよび／もしくは正確なＯＣＲエラーに従って正規化されてもよい。さらなるアプローチにおいては、識別子は、綿密かつ正確な抽出および出力を容易にするために、この明細書中により詳細に記載される参照コンテンツまたはビジネスルールと照らし合わせて確認されてもよい。
【０１５６】
いくつかのアプローチにおいては、文書は、この明細書中にさらに記載されるように、文書のコンテキストを決定するために、および／または、マルチフィールド抽出動作を試みるべきかどうかを決定するために、分析および分類されてもよい。
【０１５７】
コンテキスト依存型のプロセス呼出し
さらなる実施形態においては、モバイルデバイス光センサを介して受信された光入力に基づいて１つ以上のコンテキスト的に適切なプロセスを自動的に呼出すことが有利となり得る。
【０１５８】
概して、このようなプロセスは、複数の実施形態に従って図３の方法３００に示されるように、グラフで表わされてもよい。方法３００は、図１Ａおよび図１Ｂにおいて示されるものを含む如何なる好適な環境においても、かつ、この記載を読んだ当業者によって認識され得る他の如何なる好適な環境においても、実行され得る。
【０１５９】
図３に示されるように、方法３００は動作３０２〜３０６を含む。動作３０２において、ビューファインダインターフェイスが呼出され、モバイルデバイス光センサの視界を示すビデオフィードが表示されたときに起こるように、モバイルデバイスの１つ以上の光センサを介して光入力が受信される。
【０１６０】
動作３０４において、光入力が、光入力のコンテキストを決定するためにモバイルデバイスのプロセッサを用いて分析される。
【０１６１】
動作３０６において、コンテキスト的に適切なワークフローが光入力のコンテキストに基づいて呼出される。
【０１６２】
コンテキストは、対応するワークフロー内の動作を実行することに関連する如何なる好適な情報をも含み得るものであって、好ましくは、光入力において表わされるタイプの文書；および、光入力において表わされる文書のコンテンツのうち１つ以上を含む。
【０１６３】
コンテキストが文書タイプを含んでいる場合、好ましくは、文書のタイプは、契約書、扱いに注意を要する文書、身元確認書類、保険文書、権利証、見積もり、および車両登録からなる群から選択される。コンテキストが文書コンテンツを含む場合、好ましくは、コンテンツは、電話番号、社会保障番号、署名、インボイスの勘定科目、部分的または完全な住所、ユニバーサル・リソース・ロケータ、保険グループ番号、クレジットカード番号、問合せ番号、写真、および文書上に示されたフィールドの分布から選択される。
【０１６４】
１つのアプローチにおいては、ユーザは、モバイルデバイスの光センサの範囲内において、運転免許証、個人用小切手、ビジネス用小切手、契約書などの、署名を示す文書の位置を特定し得る。モバイルデバイスは、好ましくは文書の１つ以上の他の識別特徴（たとえば、運転免許証上の写真、小切手上の磁気インキ文字認識フォントなどの特定のフォント、フォーム上のフィールドの分布など）と組合わされた署名の存在を検出してもよく、さらに、モバイルデバイス上の適切なモバイルアプリケーションを自動的または半自動的に呼出してもよい。付加的および／または代替的には、特定のモバイルアプリケーション内において、コンテキスト依存型のビジネスプロセスまたはワークフローが同様に呼出されてもよい。
【０１６５】
呼出すべき適切なワークフローを示し得るさまざまな情報は、保険額の見積り、健康管理許可プロセス、署名の儀式、預託、またはそれらのいずれかの組合せである。運転免許番号および車両識別番号は、自動車保険見積もりの妥当性を示す場合もある。健康保険プロバイダ名、保険契約者（患者の名前）および／またはグループ番号は、代替的には、健康管理許可ワークフローまたは健康保険見積もりワークフローの妥当性を示す場合もある。署名または署名欄と共に抵当証書または融資申請書などの融資契約書に共通するテキスト情報を含む文書は、署名儀式ワークフローの妥当性を示し得る。署名およびアカウント番号または預託額を含む文書は、預託ワークフローの妥当性を示し得る。当然、ここに開示された発明の概念は、当該記載の範囲から逸脱することなく、本開示を読んだ当業者によって理解され得るように、他のワークフローにも適用され得る。
【０１６６】
たとえば、署名および写真が検出されたことに応じて、モバイルアプリケーションは、ユーザが自動車保険を取得し易くするために保険額見積りワークフローを呼出してもよい。署名および特定のフォントが検出されたことに応じて、モバイルの小切手預託ワークフローが呼出されてもよい。署名およびフィールドの分布が検出されたことに応じて、抵当申請プロセスまたは文書署名儀式プロセスが呼出されてもよい。同様に、モバイルアプリケーション内から動作がまだ行われていない場合、モバイルデバイスは、さまざまな実施形態において、上述のようなコンテキスト的に適切な動作を容易にするように構成されたアプリケーションを呼出してもよい。
【０１６７】
コンテキスト依存型のプロセス呼出しの他の例は、以下のうちいずれか１つ以上を含み得る。モバイルデバイスの光センサを考慮して示される文書がインボイスであることが検出されたことに応じて、（たとえば、用語「インボイス」、インボイス番号、公知のサービスプロバイダエンティティ名、住所などの存在を検出することによって）システム、アプリケーション、プロダクト（systems, applications, products：ＳＡＰ）または他の同様のエンタープライズアプリケーションを呼出して、インボイスの状態を自動的に表示する。
【０１６８】
モバイルデバイスの光センサを考慮して示されるテキスト情報が電話番号であることを検出したことに応じて、モバイルデバイスオペレーティングシステムの電話アプリケーションが呼出されてもよく、番号が自動的に入力および／またはダイアルされてもよい。
【０１６９】
モバイルデバイスの光センサを考慮して示されるテキスト情報がユニバーサル・リソース・ロケータであることを検出したことに応じて、モバイルデバイスのウェブブラウザアプリケーションが呼出されてもよく、ＵＲＬがナビゲーションもしくはアドレスバーに入力されてもよく、および／またはブラウザが、ＵＲＬによって示されるリソースに自動的に向けられてもよい。
【０１７０】
モバイルデバイスの光センサを考慮して示されるテキスト情報がクレジットカード番号であることを検出したことに応じて、金融サービスアプリケーションまたはクレジットカード会社ウェブサイトが（ウェブサイトが呼出される場合にはブラウザを介して）呼出されてもよく、売掛勘定明細表、収支、満期日などがユーザに表示されてもよい。
【０１７１】
モバイルデバイスの光センサを考慮して示されるテキスト情報が社会保障番号であることが検出されたことに応じて、税金の確定申告書類作成アプリケーションまたはウェブサイトが呼出されてもよい。
【０１７２】
当然、当業者が本明細書を読むことによって理解され得るように、この明細書中に開示された発明の概念は、テキスト情報のソースとして光入力の使用を必要とする如何なる好適なシナリオ、実現例、アプリケーションなどに用いられてもよい。特に好ましいアプローチにおいては、ワークフローのユーザ入力ＵＩは、モバイルデバイスの視界における光入力に基づいて、コンテキストによって呼出されてもよく、モバイルデバイス視界内の適切な情報がいずれも自動的にキャプチャされ、呼出されたＵＩの適切なフィールドに出力されると、適切にフォーマット化されて、如何なるＯＣＲエラーも既に修正された状態となる。
【０１７３】
この明細書中に開示された発明の主題の概念および特徴を例示するために、いくつかの例示的なシナリオを上述してきたが、当業者であれば、これらの概念が同様のいくつものシナリオ、実現例、実用化などに均しく適用可能であることを認識するだろう。たとえば、この明細書中に記載されるいくつかの例は、ウェブページと対話してそのウェブページの記入可能なフィールドに文書上に示されたテキスト情報を入力することを要望するユーザの観点から提示されてきたが、上述の発明の主題は、これらの開示を読む当業者によって認識され得る如何なる同様または同等のシナリオにも均しく適用可能である。たとえば、この主題は、バーチャルキーボードユーザインターフェイスを介してユーザがテキスト情報を入力すること、たとえば、ユーザが電子メールを作成すること、ユーザがアプリケーションと対話することなど、を必要とする如何なる状況にも同様に適用され得る。
【０１７４】
この記載は主に方法に関連付けてなされてきたが、当業者であれば、この明細書中に記載される発明の概念がシステムおよび／もしくはコンピュータプログラムプロダクトにおいて、またはシステムおよび／またはコンピュータプログラムプロダクトとして、等しく実現され得ることを認識するだろう。
【０１７５】
たとえば、この記載の範囲内にあるシステムは、プロセッサを含み得るものであって、この明細書中に記載される方法のステップをプロセッサに実行させることによって、当該プロセッサにおいてロジックインされてもよく、および／または当該プロセッサによって実行されてもよい。
【０１７６】
同様に、この記載の範囲内のコンピュータプログラムプロダクトは、プログラムコードが組込まれたコンピュータ読取可能記憶媒体であってもよく、プログラムコードは、この明細書中に記載される方法のステップをプロセッサに実行させるように、プロセッサによって読取り可能／実行可能である。
【０１７７】
さまざまな実施形態を上述してきたが、これらが単に例示のためにのみ提示されたものであって限定を意図したものではないことが理解されるはずである。たとえば、本開示を読んだ当業者によって認識され得るこの明細書中に開示された実施形態の如何なる同等例も、この明細書中に記載される発明の概念の範囲内に含まれるものとして理解されるはずである。同様に、これらの発明の開示は好適な如何なる態様で組合わせられてもよく、その置換例、合成例、変更例が、これらの記載を読んだ当業者によって認識され得るだろう。
【０１７８】
このように、本発明の実施形態の広さおよび範囲は、上述の具体的な実施形態のいずれによっても限定されるべきではなく、添付の特許請求の範囲およびそれらの均等物に従ってのみ規定されるべきである。
【図１Ａ】
2017514225.tif 000004
【図１Ｂ】
2017514225.tif 000005
【図２】
2017514225.tif 000006
【図３】
2017514225.tif 000007
【国際調査報告】
2017514225.tif 000008