(57)【要約】  方法は、モバイル装置を介して画像取込みインターフェイスを呼出すステップと、取込みインターフェイスを介して取込まれたビデオデータを解析するステップとを含む。この解析は、１つ以上の規定特徴を示すオブジェクトがビューファインダの中に示されているか否か判断するステップと、示されていれば、このオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断するステップとを含む。方法はさらに、モバイル装置のディスプレイに、予め定められた品質管理基準を満たす、または満たさないという表示を示すステップを含む。ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たす場合、この方法はまた、ビューファインダの中に示されているオブジェクトが１つ以上の規定特徴を示すという表示を示すこと、オブジェクトの画像を自動的に取込むこと、および、オブジェクトがビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納することのうちの１つ以上を実行するステップとを含む。システムおよびコンピュータプログラムプロダクトも開示される。
2016518790.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
モバイル装置を介して画像取込みインターフェイスを呼出すステップを含み、前記取込みインターフェイスは、前記モバイル装置のディスプレイ上に示されるビューファインダを含み、
前記取込みインターフェイスを介して取込まれたビデオデータの複数のフレームを解析するステップを含み、前記解析するステップは、
１つ以上の規定特徴を示すオブジェクトが前記ビューファインダの中に示されているか否か判断するステップと、
前記ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断するステップとを含み、
前記予め定められた品質管理基準のうちの１つ以上をフレームが満たさないと判断すると、それに応じて、前記モバイル装置のディスプレイに、前記予め定められた品質管理基準のうちの１つ以上をフレームが満たさないという表示を示すステップと、
前記ビューファインダの中に示されているオブジェクトが前記１つ以上の予め定められた品質管理基準を満たすと判断すると、それに応じて、
前記ビューファインダの中に示されているオブジェクトが前記１つ以上の規定特徴を示すという表示を示すこと、
前記ビデオデータの解像度よりも高い解像度によって特徴付けられる、前記オブジェクトの画像を自動的に取込むこと、および、
前記予め定められた品質管理基準を満たすオブジェクトが前記ビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納すること、のうちの１つ以上を実行するステップとを含む、方法。
【請求項２】
前記オブジェクトは文書を含む、請求項１に記載の方法。
【請求項３】
前記自動的に取込まれた画像と、前記自動的に格納されたフレームとのうちの少なくとも一方を、少なくとも一部、前記モバイル装置のプロセッサを用いて処理するステップをさらに含み、前記処理するステップは、
前記ビューファインダの中に示されているオブジェクトをリアルタイムでトラッキングするステップ、
前記ビューファインダの中に示されているオブジェクトを分類するステップ、および
前記ビューファインダの中に示されているオブジェクトからデータを抽出するステップのうちの１つ以上を含む、請求項１に記載の方法。
【請求項４】
前記オブジェクトは、複数の文書、または、１つの文書の複数のページを含む、請求項３に記載の方法。
【請求項５】
前記処理するステップは、前記複数の文書または前記複数のページのうちの少なくとも２つに対して実行される、請求項４に記載の方法。
【請求項６】
前記処理するステップは、複数のフレームにわたり、前記複数の文書のうちの複数の文書または前記複数のページのうちの複数のページを同時にトラッキングするステップを含む、請求項４に記載の方法。
【請求項７】
前記処理するステップは、前記複数の文書のうちの複数の文書または前記複数のページのうちの複数のページを同時に分類するステップを含む、請求項４に記載の方法。
【請求項８】
前記処理するステップは、前記複数の文書のうちの複数の文書または前記複数のページのうちの複数のページから少なくともいくつかのデータを同時に抽出するステップを含む、請求項４に記載の方法。
【請求項９】
前記分類するステップは、
前記ビューファインダの中に示されているオブジェクトの１つ以上の規定特徴を判別するステップと、
前記判別した１つ以上の規定特徴を、複数のオブジェクト部類各々の規定特徴と比較するステップとを含む、請求項３に記載の方法。
【請求項１０】
前記比較に少なくとも一部基づいてオブジェクト部類を判別するステップ、または、
前記比較に少なくとも一部基づいて、前記オブジェクトが前記複数のオブジェクト部類のいずれにも対応しないと判断するステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記オブジェクトが前記複数のオブジェクト部類のいずれにも対応しないと判断すると、それに応じて、
前記オブジェクトに関連するユーザ入力を要求するステップと、
前記ユーザ入力を受けるステップと、
前記ユーザ入力に少なくとも一部基づいて、新たなオブジェクト部類を規定するステップと、
前記オブジェクトを前記新たなオブジェクト部類に割当てるステップとをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記表示は、前記ビューファインダの中に示されているオブジェクトの周囲を取り囲むバウンディングボーダーを含み、
前記方法は、前記バウンディングボーダーを前記オブジェクトの周囲の周りに表示するステップをさらに含む、請求項１に記載の方法。
【請求項１３】
前記トラッキングするステップは、
前記オブジェクトがビューファインダの中に示されているフレーム各々において、前記オブジェクトの周囲を囲むように、前記バウンディングボーダーの位置を動かすまたは前記バウンディングボーダーを画定し直すステップ、および
前記ビューファインダの中に示されているオブジェクトが前記１つ以上の規定特徴を示すという表示の位置を動かすステップまたはこの表示を再度示すステップのうちの１つ以上を含む、請求項１２に記載の方法。
【請求項１４】
前記トラッキングするステップは、前記モバイル装置からリアルタイムのフィードバックを受けるステップをさらに含み、前記リアルタイムのフィードバックは、カメラ、加速度計、ジャイロスコープ、および時計から選択された１つ以上のモバイル装置部品を用いて実行された１つ以上の測定に少なくとも一部基づく、請求項３に記載の方法。
【請求項１５】
前記リアルタイムのフィードバックは、前記モバイル装置の向きの角度が予め定められた向きの範囲に含まれていること、および、前記モバイル装置の動きベクトルの大きさが予め定められたしきい値よりも小さいことを含む、安定性のフィードバックを含む、請求項１４に記載の方法。
【請求項１６】
前記モバイル装置の動きベクトルは、前記カメラから受けたリアルタイムのフィードバックに基づいて判別され、前記モバイル装置の動きベクトルは、前記加速度計からのフィードバックに基づいて判別されるのではない、請求項１５に記載の方法。
【請求項１７】
前記ビデオデータの２つ以上のフレームの少なくとも一部分を合成するステップと、
前記合成に基づいて複合画像を生成するステップとをさらに含む、請求項１に記載の方法。
【請求項１８】
前記複合画像は高さと幅によって特徴付けられ、
前記複合画像の高さは、前記ビデオデータのいずれか１つのフレームの高さよりも大きいかまたはそれに等しく、
前記複合画像の幅は、前記ビデオデータのいずれか１つのフレームの幅よりも大きいかまたはそれに等しい、請求項１７に記載の方法。
【請求項１９】
前記ビデオデータの合成されたフレーム各々は前記オブジェクトの一部分を示し、前記複合画像は前記オブジェクトの全体を示す、請求項１７に記載の方法。
【請求項２０】
前記合成するステップは、
前記ビューファインダの中に示されているオブジェクトの第１の特徴を検出するステップと、
前記オブジェクトの第１の縁を検出するとそれに応じて取込み動作を自動的に開始するステップと、
前記自動的に開始した取込み動作によって高解像度画像データおよび低解像度ビデオデータのうちの１つ以上を取込むステップと、
前記ビューファインダの中に示されているオブジェクトの第２の特徴を検出するステップと、
前記自動的に開始した取込み動作によって高解像度画像データおよび低解像度ビデオデータのうちの１つ以上を取込むステップと、
前記オブジェクトの第２の特徴を検出するとそれに応じて前記取込み動作を自動的に終了するステップとを含む、請求項１７に記載の方法。
【請求項２１】
前記合成するステップは、
前記ビデオデータのフレームのうちの２つ以上のフレームに対して少なくとも１つのホモグラフィ変換を実行するステップと、
前記ホモグラフィ変換に少なくとも一部基づいて、前記ビデオデータの２つ以上のフレームのうちの少なくとも一部分を整列させるステップとを含む、請求項１７に記載の方法。
【請求項２２】
前記オブジェクトは、少なくとも１つの寸法が大きすぎて全体が前記ビューファインダによって取り囲まれないことを特徴とする文書である、請求項２１に記載の方法。
【請求項２３】
前記複合画像の少なくとも一部分は、前記デジタルビデオデータの２つ以上のフレームのうちのいずれかの解像度よりも高い解像度によって特徴付けられる、請求項１９に記載の方法。
【請求項２４】
前記高い解像度によって特徴付けられる前記複合画像の一部分に少なくとも一部基づいて前記複合画像内のオブジェクトを検出するステップをさらに含む、請求項２３に記載の方法。
【請求項２５】
前記１つ以上のフレームが、前記モバイル装置に格納されている高解像度画像に対応する前記１つ以上の予め定められた管理基準を満たすか否か判断するステップと、
前記格納されている高解像度画像を処理するステップとをさらに含む、請求項１に記載の方法。
【請求項２６】
メタデータを格納されたデータに関連付けるステップをさらに含む、請求項１に記載の方法。
【請求項２７】
前記モバイル装置に示される前記予め定められた品質管理基準のうちの１つ以上をフレームが満たさないという表示を示すステップは、前記フレームが満たさない前記１つ以上の品質管理基準を具体的に特定する、請求項１に記載の方法。
【請求項２８】
前記予め定められた品質管理基準は、
最小照度レベル、
最大照度レベル、
最小照度ムラ、
最小解像度、
最小鮮鋭度、
最小射影角度、
最大射影角度、
しきい値視認度基準、
グレアの存在、および
オブジェクト部類
のうちの１つ以上を含む、請求項１に記載の方法。
【請求項２９】
システムであって、
プロセッサと、
前記プロセッサの中のおよび／または前記プロセッサによって実行可能なロジックとを含み、前記ロジックにより、前記プロセッサは、
モバイル装置を介して画像取込みインターフェイスを呼出し、前記取込みインターフェイスは、前記モバイル装置のディスプレイ上に示されるビューファインダを含み、
前記取込みインターフェイスを介して取込まれたビデオデータの複数のフレームを解析し、前記解析は、
１つ以上の規定特徴を示すオブジェクトが前記ビューファインダの中に示されているか否か判断することと、
前記ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断することとを含み、
前記予め定められた品質管理基準のうちの１つ以上をフレームが満たさないと判断すると、それに応じて、前記モバイル装置のディスプレイに、前記予め定められた品質管理基準のうちの１つ以上をフレームが満たさないという表示を示し、
前記ビューファインダの中に示されているオブジェクトが前記１つ以上の予め定められた品質管理基準を満たすと判断すると、それに応じて、
前記ビューファインダの中に示されているオブジェクトが前記１つ以上の規定特徴を示すという表示を示すこと、
前記ビデオデータの解像度よりも高い解像度によって特徴付けられる、前記オブジェクトの画像を自動的に取込むこと、および、
前記予め定められた品質管理基準を満たすオブジェクトが前記ビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納することのうちの１つ以上を実行する、システム。
【請求項３０】
コンピュータプログラムプロダクトであって、プロセッサによる読取が可能／実行が可能なプログラムコードが組込まれたコンピュータ読取可能な記録媒体を含み、前記プログラムコードにより、前記プロセッサは、
モバイル装置を介して画像取込みインターフェイスを呼出し、前記取込みインターフェイスは、前記モバイル装置のディスプレイ上に示されるビューファインダを含み、
前記取込みインターフェイスを介して取込まれたビデオデータの複数のフレームを解析し、前記解析は、
１つ以上の規定特徴を示すオブジェクトが前記ビューファインダの中に示されているか否か判断することと、
前記ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断することとを含み、
前記予め定められた品質管理基準のうちの１つ以上をフレームが満たさないと判断すると、それに応じて、前記モバイル装置のディスプレイに、前記予め定められた品質管理基準のうちの１つ以上をフレームが満たさないという表示を示し、
前記ビューファインダの中に示されているオブジェクトが前記１つ以上の予め定められた品質管理基準を満たすと判断すると、それに応じて、
前記ビューファインダの中に示されているオブジェクトが前記１つ以上の規定特徴を示すという表示を示すこと、
前記ビデオデータの解像度よりも高い解像度によって特徴付けられる、前記オブジェクトの画像を自動的に取込むこと、および、
前記予め定められた品質管理基準を満たすオブジェクトが前記ビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納することのうちの１つ以上を実行する、コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、デジタルビデオの取込みおよびデジタルビデオデータの処理に関し、より具体的にはモバイル装置を用いたデジタルビデオデータの取込みおよび処理に関する。
【背景技術】
【０００２】
発明の背景
現代のモバイル装置は、文書、人物、自動車等を含む多様なオブジェクトの画像の取込みに良く適応している。モバイル装置のカメラ機能および／または処理能力の改善により、モバイル装置を用いてデジタル画像データの取込みおよび／または処理を行なうためのアプリケーションは、モバイル装置によってますます推進されている経済において、魅力が増している。
【０００３】
しかしながら、モバイル装置のハードウェアの制約およびモバイル装置を用いた画像の取込みにおける実質的な制約が、効率的かつ効果的なデジタル画像処理に対して重要な課題を与える。たとえば、モバイル装置を用いて取込まれたデジタル画像は、不鮮明さ（blur）、照度ムラ、照度不足、過飽和照度、解像度不足、射影効果等の、１つ以上のアーティファクトが原因で、その後の処理では品質が不十分であることが多い。このようなアーティファクトを含むデジタル画像を処理しようとすると、完全な失敗に終わるか、または、所望のアプリケーションにとって品質が不十分である結果が生まれることがある。ユーザに要求されるのはせいぜい取込み作業を繰返して画像の品質を改善しようとすることであろうが、場合によっては、画像を再度取込むことが不可能なことがあり、その結果、自動車事故の前、その間、および／またはその後の人物または車両の位置または状態等の重要であるが一時的な状況の画像を取得する機会が失われてしまう。
【０００４】
したがって、上記課題を克服し、特にモバイル装置を用いてデータを取込んで処理するユーザの能力を高めるように、デジタル静止画像以外のデータを取込みおよび／または処理することができるシステム、方法、および／またはコンピュータプログラムプロダクトを提供することが有益であろう。
【発明の概要】
【課題を解決するための手段】
【０００５】
発明の概要
ある実施形態において、方法は、モバイル装置を介して画像取込みインターフェイスを呼出すステップを含み、取込みインターフェイスは、モバイル装置のディスプレイ上に示されるビューファインダを含み、取込みインターフェイスを介して取込まれたビデオデータの複数のフレームを解析するステップを含み、解析するステップは、１つ以上の規定特徴を示すオブジェクトがビューファインダの中に示されているか否か判断するステップと、ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断するステップとを含み、方法はさらに、予め定められた品質管理基準のうちの１つ以上をフレームが満たさないと判断すると、それに応じて、モバイル装置のディスプレイに、予め定められた品質管理基準のうちの１つ以上をフレームが満たさないという表示を示すステップと、ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすと判断すると、それに応じて、ビューファインダの中に示されているオブジェクトが１つ以上の規定特徴を示すという表示を示すこと、ビデオデータの解像度よりも高い解像度によって特徴付けられる、オブジェクトの画像を自動的に取込むこと、および、予め定められた品質管理基準を満たすオブジェクトがビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納することのうちの１つ以上を実行するステップとを含む。
【０００６】
別の実施形態において、システムは、プロセッサと、プロセッサの中のおよび／またはプロセッサによって実行可能なロジックとを含み、ロジックにより、プロセッサは、モバイル装置を介して画像取込みインターフェイスを呼出し、取込みインターフェイスは、モバイル装置のディスプレイ上に示されるビューファインダを含み、取込みインターフェイスを介して取込まれたビデオデータの複数のフレームを解析し、解析は、１つ以上の規定特徴を示すオブジェクトがビューファインダの中に示されているか否か判断するステップと、ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断するステップとを含み、予め定められた品質管理基準のうちの１つ以上をフレームが満たさないと判断すると、それに応じて、モバイル装置のディスプレイに、予め定められた品質管理基準のうちの１つ以上をフレームが満たさないという表示を示し、ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすと判断すると、それに応じて、ビューファインダの中に示されているオブジェクトが１つ以上の規定特徴を示すという表示を示すこと、ビデオデータの解像度よりも高い解像度によって特徴付けられる、オブジェクトの画像を自動的に取込むこと、および、予め定められた品質管理基準を満たすオブジェクトがビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納することのうちの１つ以上を実行する。
【０００７】
さらに他の実施形態において、コンピュータプログラムプロダクトは、プロセッサによる読取が可能／実行が可能なプログラムコードが組込まれたコンピュータ読取可能な記録媒体を含み、プログラムコードにより、プロセッサは、モバイル装置を介して画像取込みインターフェイスを呼出し、取込みインターフェイスは、モバイル装置のディスプレイ上に示されるビューファインダを含み、取込みインターフェイスを介して取込まれたビデオデータの複数のフレームを解析し、解析は、１つ以上の規定特徴を示すオブジェクトがビューファインダの中に示されているか否か判断するステップと、ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断するステップとを含み、予め定められた品質管理基準のうちの１つ以上をフレームが満たさないと判断すると、それに応じて、モバイル装置のディスプレイに、予め定められた品質管理基準のうちの１つ以上をフレームが満たさないという表示を示し、ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすと判断すると、それに応じて、ビューファインダの中に示されているオブジェクトが１つ以上の規定特徴を示すという表示を示すこと、ビデオデータの解像度よりも高い解像度によって特徴付けられる、オブジェクトの画像を自動的に取込むこと、および、予め定められた品質管理基準を満たすオブジェクトがビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納することのうちの１つ以上を実行する。
【図面の簡単な説明】
【０００８】
【図１】ある実施形態に従うネットワークアーキテクチャを示す。
【図２】ある実施形態に従う、図１のサーバおよび／またはクライアントに関連付けることができる代表的なハードウェア環境を示す。
【図３】ある実施形態に従う方法のフローチャートを示す。
【図４】ある実施形態に従う方法のフローチャートを示す。
【図５】ある実施形態に従う方法のフローチャートを示す。
【発明を実施するための形態】
【０００９】
詳細な説明
以下の説明は、本発明の一般的な原理を例示することを目的としてなされ、本明細書においてクレームされる発明の概念を限定することを意図しているのではない。さらに、本明細書に記載の特定の特徴は、可能なさまざまな組合せおよび置換え各々において、記載されている他の特徴と組み合わせて使用することができる。
【００１０】
本明細書において特に指定しない限り、すべての用語は、明細書において示される意味および当業者によって理解されるおよび／または辞書、論文等において定義される意味を含む、可能な最も広い解釈が与えられるべきものである。
【００１１】
また、本明細書およびそれに続く請求項において使用される単数形「ａ」、「ａｎ」および「ｔｈｅ」は、特に指定しない限り複数のものを含むことに注意しなければならない。
【００１２】
本願は画像処理に関する。特に、本願は、デジタル画像を取込むための、静止写真に基づく現在の方法およびシステムを補強し、ビデオデータのストリーミングを強化することにより、さまざまな種類の情報を取込んで処理するように設計された、システム、方法、およびコンピュータプログラムプロダクトを開示する。デジタル撮像技術は向上し続けているが、それに伴い、ビデオストリーム解像度は通常、利用できる写真解像度に遅れをとっている。このため、以前は、文書を取込むためのビデオストリーミングの強化は小型のオブジェクトに限られていた。なぜなら、利用できる解像度は、大型のオブジェクトに関して、このようなオブジェクトを示すデジタル画像を効果的に処理するのに十分な細部を常に提供するとは限らなかったからである。ビデオストリーム解像度の向上に伴い、この制約が処理の能力および適正に与える影響は一層小さくなり、その結果、ビデオストリームからのデータの処理は、さまざまなアプリケーションおよび／または実装例において、静止写真の取込みに代えて有効に使用される、または置換えて好ましく使用されるものでさえある。
【００１３】
高いレベルでの、ビデオストリームの取込みについて典型的なユーザの経験は、以下のシナリオに概ね基づいているであろう。
【００１４】
ユーザは、組込まれているモバイルオペレーティングシステム（ＯＳ）機能等を介して、新たなまたは既存のモバイルアプリケーションを開発または修正するために使用されるソフトウェア開発キット（ＳＤＫ）を介し、元のモバイルアプリケーションからビデオストリーム取込みインターフェイスを呼出す。呼出されると、ユーザには、ビデオベースの取込みを選択してビデオベースの取込み作業を実行するという選択肢が与えられる。取込みアプリケーションは、モバイル取込みユーザインターフェイスに重ね合されたバウンディングボックスの境界の中に物理的なオブジェクトが確実に入るようユーザを導くビデオ取込みインターフェイスを公開する。このバウンディングボックスの中に入ると、ユーザは「取込み」ボタンをクリックして取込みプロセスを開始する。開始されると、モバイルインターフェイスは、加速度計、ジャイロスコープ等のモバイル装置の１つ以上のハードウェア部品を用いてモバイル装置の安定性の検査を開始する。安定性が得られると、オートフォーカス動作が強制されてもよく、ビデオストリームの（ｎ個の）フレーム各々を解析するプロセスが始まる。
【００１５】
フレーム解析の目的は、ビデオストリームによって与えられる観測点（vantage point）の中で対象物であるオブジェクトの存在を検出することである。構成要素は、ページ、バーコード、建築物、自動車両、船、人物等を含むが、これらに限定される訳ではない。ビデオフレームの中の対象物である構成要素の存在を検出するのに使用されるリアルタイムの技法およびアルゴリズムの実際の実装例については本明細書の別の場所で説明する。
【００１６】
ストリームの１つ以上のフレームの中で目的のオブジェクトの存在が検出されると、電子仮想再スキャン（ＥＶＲＳ）を介してある典型的なシナリオにおいて実施されるような画像完成技術によってフレームが識別されて処理されるか、または、必要な機能をサポートする装置の場合は目的のビデオフレームに対応するフル解像度（写真）がＥＶＲＳによって識別されて処理される。これに代えて、解像度が低い複数のビデオフレームを組合わせて、解像度がより高い１つの画像にすることができる。
【００１７】
これにより、モバイルアプリケーションは、生じ得るレイテンシは最小にして、構成要素に関連するできる限り多くのメタデータを与え易くすることができる。関連するメタデータは、オブジェクトの種類、オブジェクトの特徴、フィールドメタデータ、ＧＰＳ情報、ページサイズ、バーコードの値、車種、人物の身長、船の長さ等を含み得るが、これらに限定される訳ではない。
【００１８】
この機能によって、ユーザは、複数のオブジェクトとオブジェクトの種類とを同時に取込むことができるであろう。加えて、単純なクリック、指示、および取込み機能以外のユーザ入力は最小にして、特定の下流プロセス（たとえば融資の申込み、保険の支払い請求、金融取引等のビジネスプロセス）にオブジェクトを関連付けてもよい。
【００１９】
ある観点からすると、全体的な取込みおよび処理は、以下に示すフロー図と同様の論理的順序に概ね従っていればよい。
【００２０】
本明細書を読めばわかるように、以下に示す全体的なフロー図は、決して限定的なものとみなされるべきでない、大まかな概念の一例である。ここで説明する取込みおよび処理は、さまざまな実施形態において、任意の数のその他のおよび／または異なる動作を含んでいてもよく、このような動作を異なる順序で実行してもよく、および／またはフロー図に示されるいくつかの動作を省略してもよい。
【００２１】
画像（たとえば絵、数字、略図、映画、ビデオ、フィルム、クリップの１コマ等）は、好ましくはカメラ、特にモバイル装置のカメラによって取込まれたデジタル画像である。本明細書では、モバイル装置が、物理的な接続（たとえばワイヤ、コード、ケーブル等）を介した電力供給なしでデータを受信することが可能で、かつ、物理的なデータ接続（たとえばワイヤ、コード、ケーブル等）なしでデータを受信することが可能な任意の装置であることが理解される。本開示の範囲に含まれるモバイル装置は、携帯電話、スマートフォン、タブレット、携帯情報端末、ｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）、ＢＬＡＣＫＢＥＲＲＹ（登録商標）装置等の代表的な装置を含む。
【００２２】
しかしながら、さまざまな機能の説明から明らかになるように、ここで開示されているモバイル画像処理アルゴリズムは、時には何らかの修正が施されて、スキャナおよび多機能周辺装置（ＭＦＰ）からの画像に適用することができる。同様に、いくつかのアプローチでは、ここで開示されている処理アルゴリズムを用いて処理された画像を、従来のスキャナ処理アルゴリズムを用いてさらに処理してもよい。
【００２３】
当然、本明細書に記載のさまざまな実施形態は、ハードウェア、ソフトウェア、またはその所望の組合せを用いて実現し得る。そのために、本明細書に記載のさまざまな機能を実現することが可能な何らかの種類のロジックを使用してもよい。
【００２４】
モバイル装置の使用における１つの利点は、データプランを用いて、取込まれた画像に基づく画像処理および情報処理を、スキャナの存在に頼る以前の方法よりも、一層便利で能率的で統合されたやり方で、行なうことができる点である。しかしながら、モバイル装置を文書取込みおよび／または処理装置として使用することは、さまざまな理由から今までは不可能であると考えられてきた。
【００２５】
あるアプローチでは、画像をモバイル装置のカメラによって取込んでもよい。「カメラ」という用語は、一枚の紙等の装置の外部にある物理的なオブジェクトの画像を取込むことができるいずれの種類の装置も含むものとして広く解釈されねばならない。「カメラ」という用語は、周辺装置としてのスキャナまたは多機能装置は包含しない。どのような種類のカメラを使用してもよい。好ましい実施形態は、解像度が高い、たとえば８ＭＰ以上、理想的には１２ＭＰ以上のカメラを使用することがある。画像の取込みは、カラーで、無彩色で、白黒で、またはそれ以外の光学効果を利用して行なってもよい。本明細書に記載の「画像」という用語は、生のデータ、処理済みのデータ等を含む、カメラの出力に相当するどの種類のデータも包含することを意図している。
【００２６】
本明細書の記載は、当業者が本発明を実施し使用することを可能にするために示され、本発明の特定の用途およびその必要条件という文脈においてなされる。開示されている実施形態のさまざまな変形は、当業者には直ちに明らかになるであろう。また、本明細書において定義される一般的な原理は、本発明の精神および範囲から外れることなく他の実施形態および用途に応用し得る。このように、本発明は、示されている実施形態に限定されることを意図しているのではなく、本明細書に開示される原理および特徴に従う最も広い範囲に一致するものである。
【００２７】
特に、本明細書に記載の発明のさまざまな実施形態は、複数のコンピュータシステム間の通信手段としてインターネットを用いて実現される。本発明が通信媒体としてのインターネットの使用に限定されないこと、および、本発明の代替方法が、私用イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはそれ以外の通信手段の使用に適応し得ることを、当業者は理解するであろう。加えて、有線、無線（たとえば無線周波数）および光通信リンクをさまざまに組合わせたものを利用してもよい。
【００２８】
本発明のある実施形態を実行し得るプログラム環境は、例示として、汎用コンピュータ、またはハンドヘルドコンピュータ等の専用機器を、１つ以上含む。このような機器（たとえばプロセッサ、メモリ、データ記憶装置、入力および出力装置）の詳細は、周知であり、わかりやすくするために、ここでは示さない。
【００２９】
本発明の技術がさまざまな科学技術を用いて実現し得ることも理解されるはずである。たとえば、本明細書に記載の方法は、コンピュータシステムで実行されるソフトウェアにおいて実現してもよく、または、方法の動作を実行するための１つ以上のプロセッサおよびロジック（ハードウェアおよび／またはソフトウェア）、特定用途向け集積回路、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／またはこれらをさまざまに組合わせたものを利用するハードウェアにおいて実現してもよい。例示としてのあるアプローチにおいて、本明細書に記載の方法は、物理的な（たとえば一時的でない）コンピュータ読取可能な媒体等の記録媒体にある、コンピュータによる実行が可能な一連の命令によって、実現してもよい。加えて、本発明の特定の実施形態は、オブジェクト指向ソフトウェアプログラミングコンセプトを採用し得るが、本発明はそのように限定される訳ではなく、コンピュータの動作の他の指示形態の採用に容易に適応する。
【００３０】
本発明は、計算装置（たとえばプロセッサ）および／またはシステムによって実行し得るコンピュータコードを有するコンピュータ読取可能な記録または信号媒体を含むコンピュータプログラムプロダクトの形態で提供することもできる。コンピュータ読取可能な記録媒体は、読取専用のおよび書込可能なＣＤおよびＤＶＤ等の光媒体、磁気メモリまたは媒体（たとえばハードディスクドライブ、テープ）、半導体メモリ（たとえばフラッシュメモリおよびその他のポータブルメモリカード等）、チップにおいて符号化されたファームウェア等を含む、計算装置またはシステムが使用する、コンピュータ符号を格納することが可能な任意の媒体を含み得る。
【００３１】
コンピュータ読取可能な信号媒体は、上記記録媒体の部類には入らないものである。たとえば、例示としてのコンピュータ読取可能な信号媒体は、システム内で、システム間で、たとえば物理または仮想ネットワーク等を介して一時的な信号を伝達するかそうでなければ転送する。
【００３２】
図１は、ある実施形態に従うアーキテクチャ１００を示す。図１に示されるように、第１の遠隔ネットワーク１０４および第２の遠隔ネットワーク１０６を含む複数の遠隔ネットワーク１０２が与えられている。ゲートウェイ１０１は、遠隔ネットワーク１０２と近接ネットワーク１０８との間に接続されていてもよい。このネットワークアーキテクチャ１００の文脈において、ネットワーク１０４、１０６は各々、インターネット、公衆電話交換網（ＰＳＴＮ）、内部電話網等のＬＡＮ、ＷＡＮを含むがこれに限定されない形態を取り得る。
【００３３】
使用時、ゲートウェイ１０１は、遠隔ネットワーク１０２から近接ネットワーク１０８への入口のポイントとして機能する。このため、ゲートウェイ１０１は、ゲートウェイ１０１に到達した所与のデータパケットを導くことができるルータとして、および、所与のパケットに対してゲートウェイ１０１に出入りする実際の経路を与えるスイッチとして機能し得る。
【００３４】
ゲートウェイ１０１を介して遠隔ネットワーク１０２からアクセスすることが可能な、近接ネットワーク１０８に接続された少なくとも１つのデータサーバ１１４がさらに含まれる。なお、データサーバ１１４は、いずれかの種類の計算装置／グループウェアを含み得る。各データサーバ１１４に接続されているのは複数のユーザ装置１１６である。このようなユーザ装置１１６は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、プリンタ、またはその他の種類のロジックを含み得る。なお、ある実施形態において、ユーザ装置１１１もネットワークのいずれかに直接接続されていてもよい。
【００３５】
１つの周辺装置１２０または一連の周辺装置１２０、たとえば、ファクシミリ機、プリンタ、ネットワークされた記憶ユニット等が、ネットワーク１０４、１０６、１０８のうちの１つ以上に接続されてもよい。なお、データベース、サーバ、および／またはその他構成要素が、ネットワーク１０４、１０６、１０８に接続された何らかの種類のネットワーク要素とともに使用されてもよく、またはこれに組込まれてもよい。本明細書の文脈において、ネットワーク要素は、ネットワークのいずれかの構成要素を意味し得る。
【００３６】
いくつかのアプローチに従うと、本明細書に記載の方法およびシステムは、仮想システム、および／または１つ以上の他のシステムをエミュレートするシステム、たとえばＭＡＣ  ＯＳ環境をエミュレートするＵＮＩＸ（登録商標）システム、ＭＩＣＲＯＳＯＦＴ  ＷＩＮＤＯＷＳ（登録商標）環境を事実上ホストするＵＮＩＸシステム、ＭＡＣ  ＯＳ環境をエミュレートするＭＩＣＲＯＳＯＦＴ  ＷＩＮＤＯＷＳシステム等とともに実現されてもよく、および／またはそのシステム上で実現されてもよい。この仮想化および／またはエミュレートは、いくつかの実施形態ではＶＭＷＡＲＥのソフトウェアの使用を通して向上させてもよい。
【００３７】
さらに多くのアプローチにおいて、１つ以上のネットワーク１０４、１０６、１０８は、一般的に「クラウド」と呼ばれているシステムのクラスタを表わしていてもよい。クラウドコンピューティングでは、処理能力、周辺機器、ソフトウェア、データ処理および／または記憶、サーバ等の共有リソースが、クラウド内のシステムに、好ましくはオンデマンドの関係で与えられることにより、多数の計算システム全体におけるアクセスおよびサービスの分配が行なえるようにしている。クラウドコンピューティングは、典型的にはクラウド内で動作するシステム間のインターネットまたはその他高速接続（たとえば４Ｇ  ＬＴＥ、光ファイバー等）を必要とするが、システムの他の接続技術を使用してもよい。
【００３８】
図１は、ある実施形態に従うアーキテクチャ１００を示す。図１に示されるように、第１の遠隔ネットワーク１０４および第２の遠隔ネットワーク１０６を含む複数の遠隔ネットワーク１０２が与えられている。ゲートウェイ１０１は、遠隔ネットワーク１０２と近接ネットワーク１０８との間に接続されていてもよい。このネットワークアーキテクチャ１００の文脈において、ネットワーク１０４、１０６は各々、インターネット、公衆電話交換網（ＰＳＴＮ）、内部電話網等のＬＡＮ、ＷＡＮを含むがこれに限定されない形態を取り得る。
【００３９】
使用時、ゲートウェイ１０１は、遠隔ネットワーク１０２から近接ネットワーク１０８への入口のポイントとして機能する。このため、ゲートウェイ１０１は、ゲートウェイ１０１に到達した所与のデータパケットを導くことができるルータとして、および、所与のパケットに対してゲートウェイ１０１に出入りする実際の経路を与えるスイッチとして機能し得る。
【００４０】
ゲートウェイ１０１を介して遠隔ネットワーク１０２からアクセスすることが可能な、近接ネットワーク１０８に接続された少なくとも１つのデータサーバ１１４がさらに含まれる。なお、データサーバ１１４は、いずれかの種類の計算装置／グループウェアを含み得る。各データサーバ１１４に接続されているのは複数のユーザ装置１１６である。このようなユーザ装置１１６は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、プリンタ、またはその他の種類のロジックを含み得る。なお、ある実施形態において、ユーザ装置１１１もネットワークのいずれかに直接接続されていてもよい。
【００４１】
１つの周辺装置１２０または一連の周辺装置１２０、たとえば、ファクシミリ機、プリンタ、ネットワークされたおよび／またはローカル記憶ユニットまたはシステム等が、ネットワーク１０４、１０６、１０８のうちの１つ以上に接続されてもよい。なお、データベースおよび／またはその他構成要素が、ネットワーク１０４、１０６、１０８に接続された何らかの種類のネットワーク要素とともに使用されてもよく、またはこれに組込まれてもよい。本明細書の文脈において、ネットワーク要素は、ネットワークのいずれかの構成要素を意味し得る。
【００４２】
いくつかのアプローチに従うと、本明細書に記載の方法およびシステムは、仮想システム、および／または１つ以上の他のシステムをエミュレートするシステム、たとえばＭＡＣ  ＯＳ環境をエミュレートするＵＮＩＸ（登録商標）システム、ＭＩＣＲＯＳＯＦＴ  ＷＩＮＤＯＷＳ（登録商標）環境を事実上ホストするＵＮＩＸシステム、ＭＡＣ  ＯＳ環境をエミュレートするＭＩＣＲＯＳＯＦＴ WINDOWSシステム等とともに実現されてもよく、および／またはそのシステム上で実現されてもよい。この仮想化および／またはエミュレートは、いくつかの実施形態ではＶＭＷＡＲＥのソフトウェアの使用を通して向上させてもよい。
【００４３】
さらに多くのアプローチにおいて、１つ以上のネットワーク１０４、１０６、１０８は、一般的に「クラウド」と呼ばれているシステムのクラスタを表わしていてもよい。クラウドコンピューティングでは、処理能力、周辺機器、ソフトウェア、データ処理および／または記憶、サーバ等の共有リソースが、クラウド内のシステムに、好ましくはオンデマンドの関係で与えられることにより、多数の計算システム全体におけるアクセスおよびサービスの分配が行なえるようにしている。クラウドコンピューティングは、典型的にはクラウド内で動作するシステム間のインターネットまたはその他高速接続（たとえば４Ｇ  ＬＴＥ、光ファイバー等）を必要とするが、システムの他の接続技術を使用してもよい。
【００４４】
図２は、ある実施形態に従う、図１のユーザ装置１１６および／またはサーバ１１４に関連する代表的なハードウェア環境を示す。この図は、システムバス２１２を介して相互に接続されたマイクロプロセッサ等の中央処理装置２１０およびそれ以外の多数の装置を有するワークステーションの典型的なハードウェア構成を示す。
【００４５】
図２に示されるワークステーションは、ランダムアクセスメモリ（ＲＡＭ）２１４と、読取専用メモリ（ＲＯＭ）２１６と、ディスク記憶ユニット２２０等の周辺装置をバス２１２に接続するためのＩ／Ｏアダプタ２１８と、キーボード２２４、マウス２２６、スピーカ２２８、マイク２３２、および／またはタッチスクリーンおよびデジタルカメラ（図示せず）等の他のユーザインターフェイス装置をバス２１２に接続するためのユーザインターフェイスアダプタ２２２と、ワークステーションを通信ネットワーク２３５（たとえばデータ処理ネットワーク）に接続するための通信アダプタ２３４と、バス２１２をディスプレイ装置２３８に接続するためのディスプレイアダプタ２３６とを含む。
【００４６】
ワークステーションには、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）のオペレーティングシステム（ＯＳ）、ＭＡＣ  ＯＳ、ＵＮＩＸ  ＯＳ等のオペレーティングシステムが常駐していてもよい。好ましい実施形態は、上記のもの以外プラットフォームおよびオペレーティングシステム上でも実現し得ることが理解されるであろう。好ましい実施形態は、オブジェクト指向プログラミング技法とともに、ＪＡＶＡ（登録商標）、ＸＭＬ、Ｃ、および／またはＣ＋＋言語、またはその他のプログラム言語を用いて記述されてもよい。複雑なアプリケーションの開発のために使用されることが増えているオブジェクト指向プログラミング（ＯＯＰ）を用いてもよい。
【００４７】
アプリケーションがモバイル装置にインストールされてもよい、たとえば、装置の不揮発性メモリに格納されてもよい。あるアプローチにおいて、アプリケーションは、モバイル装置上で画像処理を実行させる命令を含む。別のアプローチにおいて、アプリケーションは、ネットワークサーバ等の遠隔サーバへ画像を送信させる命令を含む。さらに他のアプローチにおいて、アプリケーションは、モバイル装置上で処理のうちの一部またはすべてを実行するのか、および／または画像を遠隔サイトに送信するのかを決定させる命令を含み得る。
【００４８】
さまざまな実施形態において、ここに開示されている方法、システムおよび／またはコンピュータプログラムプロダクトは、関連する、２０１３年１月１１日に出願された米国特許出願第１３／７４０，１２３号に開示されている機能のうちのいずれかを利用し得るおよび／または含み得る。たとえば、ここに開示されている技法、システム等の全体または一部を用いて処理するのに適したデジタル画像に対し、ページ検出、矩形化、照度ムラの検出、照度の標準化、解像度の推定、不鮮明さの検出等の、上記特許出願に開示されているいずれかの画像処理動作を行なってもよい。
【００４９】
さまざまな実施形態において、ここに開示されている方法、システム、および／またはコンピュータプログラムプロダクトは、関連する、２０１３年３月１３日に出願された米国特許出願第１３／８０２，２２６号および２０１３年３月１３日に出願された米国仮特許出願第６１／７８０，７４７号に開示されている機能のうちのいずれかを利用し得るおよび／または含み得る。たとえば、ここに開示されている技法、システム等の全体または一部を用いて処理するのに適したデジタル画像に対し、上記特許出願に開示されているいずれかの分類および／またはデータ抽出動作を行なってもよい。これは、たとえば、デジタル画像内に示されているオブジェクトを、このオブジェクトの特徴に少なくとも一部に基づき、種類別に分類すること、オブジェクトの特徴および／またはオブジェクトクラスに関する情報を用いて特注の画像処理を実行すること、特徴量ベクトルを作成および／または使用して分類を実行すること、特徴量ベクトルを作成および／または使用してオブジェクトおよび／またはオブジェクトクラスに対しデータ抽出モデルを構築すること、データ抽出モデルを用いてデジタル画像からデータを抽出すること等を含む。
【００５０】
いくつかの実施形態では、本明細書に開示されている「抽出」動作および技術とは全く別に、記載されている画像の取込み、解析、および処理を実行し、その後、得られた画像を、目的の光学式文字認識（ＯＣＲ）動作により解析することが、有用であろう。たとえば、ユーザは、ＯＣＲを実行する対象である処理済みの画像の一部分を画定してもよく、この処理済みの画像の一部分の上にウィンドウを置いてもよい。次に、ユーザは、ＯＣＲの結果を、ユーザが行なった要求（たとえばウィンドウが置かれた画像領域のＯＣＲの要求）に従って受けてもよく、または、ウィンドウの位置に応じてほぼリアルタイムまたはリアルタイムで自動的に受けてもよく（たとえば常にアクティブなＯＣＲプロセスがＯＣＲウィンドウの中にある画像部分に対して実行される）、認識された文字はモバイル装置にリアルタイムで表示されてもよい。
【００５１】
好ましくは、ウィンドウ付きＯＣＲ手法を利用して、示されているオブジェクトの中に示されているテキスト文字を、（たとえば、上記のように、および、関連する、米国特許第８，３４５，９８１号および／または米国特許出願第１４／１７５，９９９号（２０１４年２月７日出願）、米国特許出願第１４／１７６，６０６号（２０１４年２月７日出願）および／または米国特許出願第１４／０７８，４０２号（２０１３年１１月１２日出願）に記載されているように）判断、検査（たとえば基準値との比較によりＯＣＲを介して得られた観察値を確認）、および／または検証してもよい。より一層好ましくは、ウィンドウ付きＯＣＲという手法を利用して、たとえば関連する米国特許出願第１４／２２０，０１６号（２０１４年３月１９日出願）において定義され説明されている「識別情報」を具体的に判別してもよい。
【００５２】
たとえば、あるアプローチにおける分類は、示されているオブジェクトが１つ以上の予め定められたクラスに属するか否か判断し、そうでなければ新たなクラスを定義するユーザ入力を要求することを含み得る。いくつかの実施形態では、このアプローチを、ユーザ入力、画像に示されているオブジェクト、その組合わせ、および／または当業者が認識しているであろうその他の関連する記述情報に基づいて、新たなクラスに関する規定特徴を自動的に判別することにより、補強してもよい。このようにして、本システムを、ユーザからの最小限の入力と、ユーザ入力、画像データ、および／またはその組合わせに基づいて判別される規定特徴とに基づいて、未知のオブジェクトタイプに拡張することが可能である。
【００５３】
より多くのアプローチにおいて、ここで開示されている方法、システム、および／またはコンピュータプログラムプロダクトは、複数の実施形態において、画像処理モバイルアプリケーション、ケース管理アプリケーション、および／または分類アプリケーション等の、本明細書におよび／または上記関連特許出願に開示されているいずれかの機能の実行を容易にするように構成された１つ以上のユーザインターフェイスとともに利用し得る、この１つ以上のユーザインターフェイスにおいて実現し得る、および／またはこの１つ以上のユーザインターフェイスを含み得る。
【００５４】
さらに多くのアプローチにおいて、ここに開示されているシステム、方法、および／またはコンピュータプログラムプロダクトは、特に、上記関連特許出願に開示されている使用の技法および／またはシナリオのうちの１つ以上に有利に適用し得る。これは、当業者が上記出願の説明を読んで容易に理解するであろう。
【００５５】
本明細書に示す実施形態は、顧客に代わり導入されたサービスの形態でサービスをオンデマンドで提供し得ることがさらに理解されるであろう。
【００５６】
ビデオの取込みおよび発見
いくつかの実施形態において、モバイルアプリケーションを介し、ユーザは、ビデオを取込み、ビデオを解析した後に、１つまたは複数のフル静止写真解像度フレームを格納してもよい。計算効率を高めるためには、フル静止写真解像度フレームよりも解像度が低いビデオデータを使用して、フレーム内に示されているオブジェクトを発見することが可能である。さまざまな実施形態は、目的のオブジェクトを発見すると、その先の処理のために、１つ以上の高解像度写真フレームを使用してもよい。
【００５７】
たとえば、運転免許証または名刺または小切手のような小さな文書の、低解像度ビデオの取込みおよび処理が可能である。その理由の少なくとも一部は、取込みのいくつかの実施形態が、近くまでズームインすることにより、低解像度のビデオが供給されてもオブジェクト内の小さな文書を発見するのに十分な解像度を生出すことにある。
【００５８】
あるアプローチにおいて、本開示の範囲に含まれるモバイルアプリケーションの取込み要素は、ビデオ取込みモードのモバイル装置カメラをユーザが呼出し易くすることができる。ユーザは、ビデオデータの取込みを開始するよう取込み要素に指示する入力を与えればよい。このアプリケーションは、「取込み開始」命令を受けたこと、データ取込みの準備をするようユーザに指示する指示メッセージをユーザに対して表示したこと等に応じて、安定性に関する情報を求めて加速度計および／またはジャイロスコープ等の装置上のハードウェアにクエリしてもよい。装置上のハードウェアから、安定状態に対応する状態を検出すると、アプリケーションは、オートフォーカス、フレーム取込みを強制してもよく、その後、バックグラウンドプロセスを実施させて画像処理を呼出すおよび／または実行する。
【００５９】
加えて、安定性についての判断、フォーカス、オブジェクト発見等を実行する一方で、ユーザに対して表示されたビデオストリーム（および対応するデータ）の解像度よりも高い解像度により、取込んだフレームを特徴付けてもよい。いくつかの実施形態において、ビデオストリームを見直しているユーザに対し、同時に、見直すためおよび／またはフィードバックを与えるための、対応する高解像度の画像フレーム、ならびにモバイル装置／アプリケーションを用いた取込みおよび／または処理に関するユーザ入力を示してもよい。
【００６０】
より多くの実施形態において、取込み要素を、オブジェクトを種類別に分類し取込み動作を選択的に呼出すようにさらに改善してもよい。たとえば、文書、動物、乗物、人物、特定種類の文書、動物、乗物等の対象オブジェクトを取込みフィールドが包囲していると判断したときに限り、取込みを呼出してもよい。
【００６１】
さらに多くの実施形態において、オブジェクトの部類を判別しおよび／またはオブジェクトの特徴を検出し、オブジェクト内の予測された種類の特徴の検出に応じて取込み動作を選択的に呼出すように、取込み要素をさらに改善してもよい。たとえば、文書を包囲する取込みフィールドのビデオストリームを利用して、文書の種類を分類し、文書の部類に基づいて、ビデオストリームを利用することにより、この文書が、特定の内容（たとえば、当業者が本明細書を読めばわかるであろう、名前、住所、口座番号等の特定のテキスト、バーコード、ロゴ、写真等の特定の記号）等の特定の特徴を含むか否か判断してもよい。
【００６２】
このようにして追加の分類機能を与えることにより、モバイルアプリケーションは、安定状態を示す情報を受けたものの、取込まれたフィールドが、次の処理の対象でないオブジェクトに焦点を合わせている場合に、ビデオデータの望ましくない取込みを行なうことを回避できる（たとえば、モバイルアプリケーションは、全体的な文書処理ワークフローの一部として犬のビデオを取込むことを選択的に回避することができるであろう）。好ましくは、分類動作は、ビデオフレームにおいて対象であるオブジェクトの存在を検出するための高速初期解析を含む。しかしながら、分類は、関連する米国特許出願第１３／８０２，２２６号に記載のいずれかの機能を含み得る。
【００６３】
さまざまなアプローチにおいて、モバイルアプリケーションは、安定性があると判断し、焦点を合わせ、取込みフィールドが所望の取込み対象を包含していると判断すると、１つ以上の処理動作を呼出してもよい。モバイルアプリケーションは、処理動作に対する入力として、ビデオストリーム、ビデオストリームからのフレーム、および／または高解像度のこれらビデオストリームおよびフレームのうちのいずれかを与えてもよい。
【００６４】
その他の実施形態は、可能な最も計算効率が高いやり方でその後の処理をするのに必須のデータのユーザによる取込みをモバイルアプリケーションが容易にできるよう、オブジェクトの発見、画像処理、またはさまざまな下流の処理動作のうちのいずれかを実行するのに必要な最小解像度を決定する機能を提供することを含み得る。たとえば、ユーザは、モバイルアプリケーションの訓練要素を呼出し、特定のオブジェクトまたはオブジェクトタイプに対応するビデオデータを取込むよう指示されてもよく、ユーザは、取込み動作を複数回繰返すよう指示されてもよく、ユーザの知識を用いてまたは用いずに、繰返しごとに異なる解像度のビデオデータを取込むことにより、ある範囲の解像度でオブジェクトを表現するビデオデータの多様な配列を提供してもよい。
【００６５】
モバイルアプリケーションは、解像度が異なる複数のビデオデータサンプルのうちの１つ以上を用いて、オブジェクトの発見、画像処理等をトランスペアレントに実行してもよい。これらサンプルのうち、許容できる結果をもたらすものがあり、そうでないものもあるであろう。このアプリケーションは、入力されたさまざまなサンプルを用いて得られた結果に関する情報を利用して、訓練を実行した特定のオブジェクトまたはオブジェクトタイプに対応するオブジェクトに対して取込みを行なうおよび／またはさまざまな処理動作を実行するときの、後で使用するための解像度を決定してもよい。
【００６６】
あるアプローチにおいて、オブジェクトを発見するのに十分な解像度は、画像の前景、たとえばオブジェクトに対応する画像の領域と、画像の背景、たとえばオブジェクトに対応しない画像の領域との間のコントラストを検出できるようにする、何らかの解像度である。コントラストの検出は、潜在的なまたは「候補」としてのオブジェクト境界を含む画像のサブ領域の存在を検出することを含む。特定のオブジェクトについて、解像度の範囲として１インチ当たりのドット数が約２５ドット（ＤＰＩ）から約５０ＤＰＩが、コントラストの検出に、したがってオブジェクトの境界にとって十分であろう。オブジェクトの発見といった初期の処理は、これらの比較的解像度が低い画像を用いて実行し、効率が高いやり方でデータを処理すればよい。プロセスの要件および／または所望の結果に応じて、その他の処理を、低解像度の画像、または対応する高解像度の画像を用いて実行してもよい。
【００６７】
いくつかのアプローチでは、ビデオストリームデータからオブジェクトを検出すると、対応する高解像度の画像が取込まれ画像から背景の一部またはすべてを取除くためにクロップされてもよい。
【００６８】
さらに他の実施形態では、本明細書に記載のように、ユーザフィードバックを要求、取得、および／または使用して、ビデオデータの取込みおよび／または処理を容易にしてもよい。たとえば、ビデオデータ上でオブジェクト発見を実行したときに、オブジェクトが発見されたと伝えられているビデオデータのさまざまなフレームをユーザに示してもよい。ユーザは、発見の結果の判断を、確認、修正、または否定することがある。ユーザ入力に基づいて、発見アルゴリズムを修正してもよい。別の例では、ユーザ入力に基づいて、最小取込み解像度を決定してもよく、この場合、取込み要素の訓練に関して先に述べたように、さまざまなフレームは異なる取込み解像度に対応する。
【００６９】
超解像度
さらに他のアプローチでは、画像および／またはビデオデータの複数のフレームからのデータを利用して、処理のために１つの優れた複合画像を生成することが有利であろう。たとえば、解像度がより高い画像を、ビデオデータの比較的低解像度の複数のフレームから構成してもよい。これに代えて、高解像度の複数の画像を合成して解像度がより高い画像にしてもよい。またさらに、そうでなければ高解像度の画像の比較的低解像度の領域、または、そうでなければ明瞭な画像の不鮮明な領域（たとえば不安定な取込み条件によって生じ得る）を、複数の画像および／またはビデオフレームからのデータを合成することによって改善して、低解像度のまたは不鮮明な領域を再度サンプリングし、高品質（すなわち解像度／明瞭性が高い）複合画像を生成してもよい。いくつかの実施形態において、フレームは、文書のテキスト文字等のデータを画像から抽出するために比較、マージ、および／または使用し得る２値画像データ（すなわち色調が２つのまたは「複調」画像に対応する）を表わし得る。
【００７０】
メタデータ
メタデータの抽出、受信、提供、ならびにメタデータをデジタル画像データに関連付けることは、ここで記載されているモバイルアプリケーションの範囲に含まれる、もう１つの有利な機能である。好ましくは、モバイルアプリケーションは、利用できるすべてのメタデータを取得し対応する画像データに関連付けることを容易にする。たとえば、あるシナリオにおいて、ユーザは、ある文書に対応するビデオストリームおよび／または画像データを取込む。この文書は、画像データの中で検出されて特定の文書タイプに分類されてもよい。この分類に基づいて、メタデータを、複数の文書クラスおよび関連するメタデータを含む知識ベースから抽出してもよい。次に、抽出されたメタデータを、任意の適切なやり方で文書画像データおよび／またはビデオデータに関連付けてもよい。
【００７１】
メタデータは、オブジェクト、オブジェクトの画像等に関連がある何らかの情報を含み得る。文書をオブジェクトとして含む代表的なシナリオを引続き参照すると、例示としてメタデータは、文書の種類、文書内のテキストの内容、テキストのコンテキスト（たとえば、位置的なロケーション、フォントの種類、色、サイズ等）、ページサイズ、ページ解像度、カラービット深さ等を含み得る。他の実施形態において、メタデータは、当業者が本明細書を読めばわかるように、画像サイズ、カラープロファイル等を操作するための特定のパラメータ、画像からデータを抽出するための特定のパラメータ等、その後のデータ処理のための命令に相当し得る。
【００７２】
画像認証
いくつかの実施形態において、当業者が本明細書を読めばわかるように、生のおよび／または処理済みの画像データ、画像データに関連付けられたメタデータ等を含む、さまざまな種類のデータは、認証データを含み得るおよび／または認証データに関連付けることができる。認証データを利用して、（たとえば、メタデータを画像ファイルに追加するまたはメタデータを画像ファイルから除去すること、画像ファイルに関連付けられたメタデータを編集すること、異なるパラメータで画像を処理または再処理すること等によって）特定のファイルが前の状態から変更されているか否かといった、データの状態の判別を、非常に素早くかつ効率的に行なってもよい。
【００７３】
ある実施形態において、画像認証は、メモリ内のバッファから１つ以上の認証ストリングを作成することを含み得る。ストリングはどのような長さであってもよいが、少なくともいくつかのアプローチでは１２７ビットのストリングであることが好ましい。より具体的には、認証は、（画像データおよび／または関連付けられたメタデータを含み得る）画像をメモリバッファに圧縮し、このバッファの１つ以上の部分に対し／部分から１つまたは複数の認証ストリングを作成することを含み得る。ある実施形態において、認証ストリングの作成は、バッファの上記部分にあるデータを符号化して認証ストリングにすることを含み得る。どのような形態の符号化を採用してもよい。
【００７４】
たとえば、認証により、画像のみ、メタデータのみ、画像とそれに関連付けられたメタデータ等に対して、認証ストリングを生成してもよい。さまざまなアプローチにおいて、認証ストリングは、バッファに挿入されてもよく、加えられてもよく、または関連付けられてもよく、好ましくは１つ以上のタグとしてバッファに追加され、この時点でバッファは物理メモリに（たとえばディスクに）ファイルとしてダンプされる。特に、これら認証アプローチは、ＪＰＥＧまたはＴＩＦＦフォーマット等の、メタデータのタグが可能な何らかの圧縮フォーマットを含む、どのようなフォーマットの画像および／またはメタデータにも、等しく適用し得る。
【００７５】
それに加えておよび／または代えて、認証ストリングを、たとえばステガノグラフィーという手法を用いて画像自体に埋込んでもよい。
【００７６】
上記のような認証ストリングを有するデータを、その後認証することにより、認証ストリングの作成後にデータが変更されたか否か判断してもよい。具体的には、認証タグを有するファイルを、物理メモリからメモリバッファに読出し、符号化された認証ストリングを対応するタグから抽出してもよい。これらストリングを、復号化し、符号化された認証ストリングの生成元であるバッファの対応する部分と比較してもよい。復号化された認証ストリングと、認証ストリングを生成するのに使用されたバッファの上記部分とが一致していれば、この認証ストリングを生成するのに使用されたバッファの部分は変更されておらず、このことは、ファイル全体も変更されていない可能性が高いことを示す。複数の認証ストリング（バッファの複数の部分）を利用して、ファイルが変更されたか否かの判断を、たとえ計算効率を犠牲にしても、より高い信頼度で実行することができる。
【００７７】
ある代表的なアプローチにおいて、ビデオの取込みおよび処理を、以下に示すフロー図と実質的に同様のやり方で実行してもよい。他のフロー図に関して述べたように、この例示のための例は、決して限定的ではなく、むしろ、本明細書に示す発明の概念がよりわかり易くなるように設けられている。
【００７８】
ビデオ取込みユーザインターフェイス
さらに多くの実施形態において、ここに記載されているシステム、方法、およびコンピュータプログラムプロダクトを、ビデオデータを用いた情報の取込みおよび処理を容易にするように構成された１つ以上のユーザインターフェイスを介して実現してもよい。
【００７９】
ユーザインターフェイスによって、さらに、ユーザがビデオデータを用いた取込みおよび処理動作を容易に実行できるようにし、かつ、このような取込みおよび／または処理動作の結果をリアルタイムでまたはほぼリアルタイムで容易に見直すことができるようにしてもよい。たとえば、画像および／またはビデオデータが取込まれおよび／または処理される度に、この画像および／またはビデオデータに対応するサムネイルを生成してユーザに示してもよい。サムネイルの生成は、いくつかのアプローチにおいて、バックグラウンドで非同期で実行されるプロセスであってもよい。サムネイルを介して、ユーザは、取込まれおよび／または処理されたものの結果を見直してもよい。ユーザがこの結果に満足していない場合、または、たとえば予め規定された１つ以上の品質保証メトリクスに従いこの結果が許容できないと判断された場合に、ユーザインターフェイスは、再取込みおよび／または最初に取込まれたデータの補強を行ない易くしてもよい。
【００８０】
加えて、ユーザインターフェイスを与えて、たとえば取込み−処理セッションの最後に、取込みおよび／または処理結果のユーザによる見直しを可能におよび／または容易にしてもよい。たとえば、あるアプローチにおいて、ユーザは、取込みおよび／または処理ワークフローが終了すると（たとえばビデオおよび／または画像データが取込まれており少なくとも１つの処理動作がこのデータに対して行なわれる）、このワークフローの結果を見直す機会をユーザに与えてもよい。
【００８１】
別のアプローチでは、ビデオ取込み動作中にユーザによる見直しができるようにしてもよい。たとえば、ユーザは、モバイルアプリケーションのビデオ取込み機能を開始し、ビデオデータの取込みを開始する。上記のように、取込み動作は、安定性についての判断および／またはオブジェクトの発見といった前処理を含む。ビデオデータを取込む過程で、取込みフィールド内のオブジェクトが検出され、この発見の表示がユーザに対して示される（たとえば取込みフィールド内のバウンディングボックスの外観の色が赤から緑に変化）。オブジェクトが発見され安定状態が存在すると判断されると、任意で、高解像度の画像、サムネイル等が取込まれ、画像は、ビデオ取込みユーザインターフェイス内で直ちに直すためにユーザに与えられてもよい。ユーザは、画像、サムネイル等を見直して、取込まれた画像、生成されたサムネイル等の許容性を示してもよい。画像、サムネイル等が許容できるものであることをユーザが示す場合は、ビデオ取込みユーザインターフェイスが取込み動作を自動的に終了するか、または任意で、取込み動作を終了するようユーザに指示してもよい。このようにして、ユーザによる見直しを利用して、画像品質、画像フォーマット等の下流処理の要件を満たすように適切な高解像度の画像が取込まれおよび／または処理された後にも、ユーザが取込み動作を続けることによって生じ得るような、不必要な取込みおよび／または処理動作の発生を最小にしてもよい。
【００８２】
トラッキング
さまざまなアプローチにおいて、ここで開示されている技術は、リアルタイム（またはほぼリアルタイム）レイテンシという長所から利益を得ている。言い換えると、モバイル装置と対話しているユーザが、本明細書に開示されている取込み動作、解析等を行なうとき、各動作の遂行のために行なわれる基礎的なプロセスが、並列に、すなわち複数のオブジェクトに対して同時にかつほぼリアルタイムで実行される。計算コストは、モバイル装置のビューファインダの中に示されているオブジェクトに関するリアルタイム情報を提供するのに必要な程度まで減じられており、離散的な取込み、解析、および送信技術を必要とする既存の技術と比較した場合、ユーザにとって重要な利点を示す。
【００８３】
結果として、リアルタイムの取込み、処理、解析等の好都合な実施形態のうちの１つは、ここに開示されている技術を実施する過程全体を通してオブジェクトを「トラッキング」する能力である。「トラッキング」により、モバイル装置の視野の中にあるオブジェクトを識別および／または解析し得ることが理解されるはずである。画像および／またはビデオデータの一連の離散フレームにおいて、識別／解析は常に有効におよび／または実行されるようにすることができる。なぜなら、この技法は、オブジェクトを検出するとこのオブジェクトの位置をモニタリングし、検出されたオブジェクトを継続的に解析することによって有用な情報を与えることができるからである。
【００８４】
ユーザの視点からすると、取込み動作中にモバイル装置が三次元空間で移動するときでも（その結果、検出されたオブジェクトは明らかにモバイル装置の基準点の視点から移動する）、および／または視野の中に複数のオブジェクトが存在しているときでも、トラッキングは典型的に、検出されたオブジェクトに対してバウンディングボーダー（たとえば本明細書に記載のボックス）が維持される形態で実施される。
【００８５】
当業者が本開示を読めばわかるように、画像データ、ビデオデータ等の生のおよび／または処理済みのデータのうちのいずれかを、さまざまなメタデータに関連付けてもよく、その他の生のまたは処理済みのデータ等と関連付けてもよい。加えて、ここに開示されている機能のうちのいずれかを、画像の取込みおよび処理、ビデオの取込みおよび処理等に適用してもよい。
【００８６】
好ましいアプローチにおいて、たとえば、トラッキングは、トラッキングされたオブジェクトがビューファインダの中に示されているフレーム各々において、オブジェクトの周囲を囲むように、バウンディングボーダーの位置を動かすまたはこれを画定し直すこと、および、ビューファインダの中に示されているオブジェクトが１つ以上の規定特徴を示すという表示の位置を動かすまたはこれを再度示すことのうちの、１つ以上を含む。
【００８７】
任意で、トラッキングはさらに、モバイル装置からリアルタイムのフィードバックを受けることを含む。このリアルタイムのフィードバックは、少なくとも一部、理想的には全体が、たとえばカメラ、加速度計、ジャイロスコープ、および時計のうちの１つ以上であるモバイル装置のハードウェア要素を用いて実行される１つ以上の測定に基づく。
【００８８】
いくつかの技術に従うと、リアルタイムのフィードバックは、モバイル装置の向きの角度が予め定められた向きの範囲に含まれていること、および、モバイル装置の動きベクトルの大きさが予め定められたしきい値未満であることを含む、安定性のフィードバックを含み得る。
【００８９】
別のアプローチにおいて、モバイル装置の動きベクトルは、カメラから受けたリアルタイムのフィードバックに基づいて決定されるのであって、モバイル装置の加速度計からのフィードバックに基づいて決定されるのではない。すなわち、トラッキング技術は、加速度の変化とは無関係に、三次元空間の中をカメラが移動する速度の大きさと方向を計算することができる。結果として、この装置は、動きベクトルの決定について加速度計に対する依存から解放される（一定速度の場合と同様である）。
【００９０】
本発明の技術に従うビデオデータの使用から得られるさらにもう１つの利点は、複数のフレームから複合画像を生成する能力である。ある状況において、この利点は、たとえば、そうでなければ高品質の画像の不鮮明なまたは粒子が粗い領域を明確にするために使用し得る超解像度に関して以下で説明するように、強化される。
【００９１】
このさらに好都合な技術において、複合画像の合成を強化することにより、画像データのみを用いる所望のアプリケーションでは大きすぎて細部を十分に取込むことができないオブジェクトを、効果的に撮像してもよい。たとえば、領収書または法律文書の書式等の長い文書の場合を考える。この文書は、サイズが比較的小さいにもかかわらず、過度の情報を与えるテキストを示している。文書全体を１つの画像に取込むには、ユーザは文書をカメラから相当遠ざけなければならず、そうすると、この情報が多いテキストの品質が低下し、その後の情報の抽出および使用が非現実的または不可能になる。
【００９２】
したがって、ここに開示されている発明の技術のもう１つの局面は、長い文書をビデオデータを用いて取込むことができ、ビデオデータのさまざまなフレームを「縫い合わせる」ことにより、大きすぎて一回のショットでは十分明確に入らないオブジェクトの全体を示す複合画像を形成し得ることである。特に好ましい実施形態では、複合画像が高レベルの具体性および細部を維持している。この高レベルの具体性および細部はオブジェクトをクローズアップしなければ得られないが、そこまでクローズアップすると、オブジェクト全体を１つの画像に取込むことは不可能である。
【００９３】
言い換えると、あるアプローチにおいて、複合画像は高さと幅によって特徴付けられる。複合画像の高さは、ビデオデータのいずれか１つのフレームの高さよりも大きいかまたはそれに等しく、複合画像の幅は、ビデオデータのいずれか１つのフレームの幅よりも大きいかまたはそれに等しい。合成されたビデオデータの各フレームはオブジェクトの一部を示し、複合画像はオブジェクト全体を示す。
【００９４】
またさらに、複合画像を合成することは、ビューファインダの中に示されているオブジェクトの第１の特徴（たとえばページの上側の縁）を検出することと、オブジェクトの第１の縁を検出するとそれに応じて取込み動作を自動的に開始することと、自動的に開始した取込み動作によって高解像度画像データおよび低解像度ビデオデータのうちの１つ以上を取込むことと、ビューファインダの中に示されているオブジェクトの第２の特徴（たとえばページの下側の縁）を検出することと、自動的に開始した取込み動作によって高解像度画像データおよび低解像度ビデオデータのうちの１つ以上を取込むことと、オブジェクトの第２の特徴を検出するとそれに応じて取込み動作を自動的に終了することとを含む。
【００９５】
上記アプローチに従うと、ユーザは、長い文書を上端から下端までゆっくりとパンして取込むことで、縫い合わせ動作を開始してもよい。先により詳しく説明した、ウィンドウ付きＯＣＲを、縫い合わせに基づくアプローチと組合わせて使用することにより、長い文書に示されている、または、１つの画像もしくはビデオフレームに所望のレベルの細部または解像度を伴って取込むことができないその他の大きなオブジェクトに示されているテキスト情報の取込み、判断、解析等を行なうのが、特に好都合であろう。
【００９６】
たとえば、いくつかのアプローチでは、ユーザがさまざまな部分画像を取込んでこれらの画像から複合画像を形成しようとしこの取込みプロセスは一般的に（必須ではないが）撮像対象のオブジェクトに対してモバイル装置のカメラを比較的スムーズにゆっくりとパンすることを含むので、ユーザは、大きなオブジェクトの取込みと、何らかのリアルタイム（またはほぼリアルタイム）のウィンドウ付きＯＣＲの実行とを同時に行なうことが可能であろう。ウィンドウ付きＯＣＲの結果を、オブジェクトの他の規定特徴と関係なくまたはオブジェクトの他の規定特徴とともに使用することにより、オブジェクトの特性を判断してもよい。
【００９７】
たとえば、ある実施形態において、オブジェクトの部類またはオブジェクトからの関連情報を、後に複合画像の生成において使用するために、ビデオおよび／または画像データの取込みと同時に判別してもよい。
【００９８】
さまざまなアプローチにおいて、推測されたオブジェクトの部類を、オブジェクトの規定特徴に基づいて判別し、ウィンドウ付きＯＣＲの結果、たとえば、特定の部類に属するオブジェクトに存在することがわかっている特徴、値、またはストリングの存在を用いて、確認してもよい。同様に、オブジェクトの部類を、上記のようにオブジェクトからの規定特徴を用いるのではなく、ウィンドウ付きＯＣＲの結果のみに基づいて判別してもよい。またさらに、いくつかの実施形態において、オブジェクトの分類を判別するときに、オブジェクトの規定特徴とウィンドウ付きＯＣＲの結果とをともに考慮してもよい。
【００９９】
たとえば、あるアプローチにおいて、オブジェクトの部類を、（１）ウィンドウ付きＯＣＲの結果および（２）オブジェクトの規定特徴に基づいて、独立して判別してもよい。オブジェクトの部類に関して総合的な判別を行なうために、独立して判別した結果に相対的な重み、信頼値等を割当て、この結果をさらに解析してもよい。
【０１００】
たとえば、オブジェクト上に示されているテキスト情報に従って、または、オブジェクトそのものの規定特徴から、さまざまなオブジェクトの種類を、より簡単に分類することができる。当業者が本明細書を読めばわかるように、たとえば、文書は、ウィンドウ付きＯＣＲの手法を用いて判別し得るテキスト情報に基づいてより簡単にまたは正確に分類してもよく、一方、ロゴ、紋章、バーコード、印章等の識別マークを示すオブジェクトは、オブジェクトの形状、輪郭、寸法、カラープロファイル等の規定特徴に基づいてより簡単にまたは正確に分類してもよい。
【０１０１】
それでもやはり、オブジェクトは１つの特定の種類の情報に基づくとより簡単にまたは正確に分類されることは先験的にわかっているとしても、特定のオブジェクトの部類の判別において複数種類の情報を利用することが有用であろう。このような場合、特定のオブジェクトの確かで正確で信頼性が高い部類を与えることがわかっている、１つまたは複数の形態の情報を利用して、オブジェクトの部類を予測してもよく、相対的な重みを割当ててもよい（たとえば本明細書で規定される規定特徴を使用し、０から１のスケールにおける重み０．７５を割当ててもよい）。
【０１０２】
同様に、オブジェクトの部類を判別するのに役立つがおそらくは好ましい種類の情報よりも役立つ度合いが低い、その他の形態の情報を用いて、オブジェクトの部類を予測し、好ましい情報の種類の場合と比較して低い重みを割当ててもよい（たとえば、ウィンドウ付きＯＣＲによって判別したテキスト情報を用いてオブジェクトの部類を予測してもよいが、この予測に与えられる重みは０から１のスケールにおける０．２５である）。
【０１０３】
次に、複合画像の合成という概念に関して、２つの画像を縫い合わせて複合画像を形成すべきか否か、正確には如何にして２つの画像を縫い合わせて複合画像を形成すべきか判断するために、あるアプローチにおいて、合成することは、ビデオデータのフレームのうちの２つ以上のフレームに対して少なくとも１つのホモグラフィ変換を実行することと、ビデオデータのこれら２つ以上のフレームのうちの少なくとも一部分を、ホモグラフィ変換に少なくとも一部基づいて整列させることとを含む。
【０１０４】
以下、本開示の範囲に見合ったいくつかの代表的な方法について、特に図３および図４を参照しながら説明する。以下で示す代表的な実施形態は、本開示の範囲を限定するとみなされるものではなく、むしろ、本明細書に記載の主題の可能な実装例を説明するために設けられる。
【０１０５】
次に図３を参照して、ある実施形態に従う方法３００のフローチャートが示される。方法３００は、特に、図１〜図２について先に述べたような何らかの適切な環境において実行し得る。加えて、方法３００は、いくつかのアプローチでは、図３に具体的に示したもの以外の、追加のおよび／または代替のいくつかの動作を含み得る。方法３００の動作は、当業者が本開示を読めばわかる、任意の適切な順序で実行すればよい。
【０１０６】
動作３０２において、モバイル装置によって取込まれたデジタルビデオデータを受ける。
【０１０７】
動作３０４〜３０８はプロセッサを用いて実行すればよく、このプロセッサは、さまざまな実施形態において、モバイル装置のプロセッサ、サーバもしくは別のモバイル装置等の遠隔装置のプロセッサ、クラウドコンピューティング環境の１つ以上のリソースのプロセッサ等であってもよい。動作３０４〜３０８は、さまざまな実施形態において、このような装置および／またはそのプロセッサの任意で組合わせたものを用いて実行してもよい。
【０１０８】
動作３０４において、デジタルビデオデータの複数のフレームを解析する。
動作３０６において、この解析に基づいて１つ以上のフレームを識別する。識別したフレームは予め規定された１つ以上の品質管理基準を満たす。
【０１０９】
動作３０８において、予め規定された品質管理基準のうちの１つ以上を満たす少なくとも１つのフレームを処理する。
【０１１０】
いくつかのアプローチにおいて、予め規定された品質管理基準は、最小照度レベル、たとえばあるしきい値よりも高い平均照度、最大照度レベル、たとえばあるしきい値よりも低い平均照度、最小照度ムラ、たとえばあるしきい値よりも低い、何らかの予め規定された値から、平均照度から等の照度偏差、最小解像度、最小鮮鋭度、たとえばあるしきい値よりも低い不鮮明さの量、および、最小射影、すなわちカメラの向きの角度、フィッシュボーリング（fish-bowling）等の射影効果の影響があるしきい値よりも低いことを、含み得る。これは、取込み動作中に収集したメタデータまたは画像の特徴に基づいて判断し得る。
【０１１１】
品質管理基準はさらに、たとえば、しきい値視認度基準、または、文書が全体的または部分的に視認できるか否かについての他の適切な表示を含み得る。これは、ビューファインダ領域の中で見分けることができるおよび／または完全にビューファインダ領域の中にある、予想される縁（ふち）、角（かど）、またはそれ以外の規定特徴のしきい値数で実現してもよい（たとえば第１の実施形態では２値でイエス／ノー、第２の実施形態ではオブジェクトの各縁の周りに十分な空間があるか否か確認するためのさらなるテスト等）。さらに、さまざまなアプローチにおいて、品質管理基準は、グレア（glare）の存在およびオブジェクトの部類を含み得る。
【０１１２】
たとえば、正確な矩形の文書の表現を解析することにより、欠陥のある取込み角度が原因で台形に見えるかもしれない、示されている文書の矩形「文字」を判別してもよい。見た目が「矩形」からかけ離れている文書を示す画像は無視してもよい。辺が文書の縁に対応する形状のような形状が、実質的に矩形か否か判断することは、当該技術で周知の何らかの手段を用いて行なえばよく、ある実施形態では、１つ以上の変換を実行することを含み得る。
【０１１３】
さらに多くのアプローチにおいて、この方法は、追加としておよび／または代替的に、モバイル装置に格納されている高解像度画像に対応する１つ以上の予め規定された管理基準を１つ以上のフレームが満たすか否か判断することと、１つ以上のフレームが、高解像度画像に対応する１つ以上の予め規定された管理基準を満たすと判断すると、高解像度画像を処理することとを含み得る。言い換えると、モバイル装置がメモリに格納された文書の高解像度画像を有しており、かつ、ビデオストリームが、比較的低解像度であるがそれ以外では許容可能な文書の１つまたは複数のフレームを取込んでいる場合、その後の処理では高解像度画像を使用することが好ましいが、高解像度画像に対応する比較的低解像度のフレームを取込み、解析し、および／または前処理することの方が計算効率が高いであろう。
【０１１４】
特に文書の処理に関連するさまざまな実施形態において、デジタルビデオデータは、文書のデジタル表現を含む。このシナリオにおいて、上記方法はまた、モバイル装置のカメラを用いてデジタルビデオデータを取込むことと、文書のデジタル表現を検出することとを含み得る。
【０１１５】
本明細書に記載の超解像度能力を含むいくつかのアプローチは、デジタルビデオデータの２つ以上のフレームの少なくとも一部分を合成すること、および、この合成に基づいて複合画像を生成することを、含み得る。複合画像の少なくとも一部分は、好ましくは、この合成された複合画像を構成するデジタルビデオデータの２つ以上のフレームのうちのいずれかの解像度よりも相対的に高い解像度によって特徴付けられる。複合画像を用いて文書の検出（または文書以外のオブジェクトの場合オブジェクトの発見）を実行してもよい。
【０１１６】
選択的自動取込み
本開示の範囲には、選択的自動取込み機能も含まれる。これは、ある実施形態において、全体的にまたは部分的に、図４に示される方法４００等の方法として実現し得る。方法４００は、特に図１〜図２について先に述べたような何らかの適切な環境において実行し得る。加えて、方法４００は、いくつかのアプローチでは、図４に具体的に示したもの以外の、追加のおよび／または代替のいくつかの動作を含み得る。方法４００の動作は、当業者が本開示を読めばわかる、任意の適切な順序で実行すればよい。
【０１１７】
動作４０２において、モバイル装置のプロセッサを用いてモバイルアプリケーションを呼出す。モバイルアプリケーションは、モバイル装置のユーザインターフェイスと対話する、音声で命令する、ボタンを押す等、何らかの適切なやり方で呼出せばよい。
【０１１８】
動作４０４において、モバイルアプリケーションのビデオ取込みインターフェイスを呼出す。ビデオ取込みインターフェイスは、たとえばユーザがモバイル装置の画面に表示されたボタンまたはユーザインターフェイスを操作することによって明確に呼出してもよい。これに代えて、ビデオ取込みインターフェイスは、さまざまなアプローチにおいて、前提条件が満たされたこと（前のプロセスの実行の完了等）に応じて、自動的に、予め定められたルーチンの一部として、呼出してもよい。
【０１１９】
動作４０６において、ユーザ入力を取込みインターフェイスを介して受ける。ユーザ入力は、好ましくは、たとえばモバイル装置の取込み要素を用いて取込み動作を呼出すようモバイルアプリケーションに指示してもよい。
【０１２０】
動作４０８において、モバイル装置を介してリアルタイムのフィードバックを要求する。リアルタイムのフィードバックは、ビデオの取込みおよび／または処理の関連する一部分に関係していてもよく、ある好ましい実施形態において、リアルタイムのフィードバックは、取込み動作の呼出しに関連し、たとえば、取込み動作を介して取込まれたデータの１つ以上の特徴、取込み動作を実行するためのパラメータ、取込み動作の実行において使用される取込み要素の特徴たとえば（ジャイロスコープ、加速度計等の組込まれたハードウェア部品を用いて判断し得る）モバイル装置の向きおよび／または加速度、取込み動作の結果に関する情報、取込まれたデータの、その後の処理に対する適正等に、関連する。
【０１２１】
ある特定の実施形態において、動作４０８は、モバイル装置に組込まれた１つ以上のハードウェア部品からの安定性情報を要求することを含む。取込みインターフェイスは、取込み動作を呼出すよう取込みインターフェイスに指示するユーザ入力を受けたことに応じて、組込まれている加速度計からのモバイル装置の加速度データをトランスペアレントに要求してもよい。また、取込みインターフェイスは、取込み動作を呼出すよう取込みインターフェイスに指示するユーザ入力を受けたことに応じて、組込まれているジャイロスコープからのモバイル装置の向きのデータをトランスペアレントに要求してもよい。要求した加速度のデータおよび向きのデータを受けると、このデータを、安定状態に対応すると前もって判断されている予め規定された安定性しきい値基準と比較する。この安定状態とは、典型的には下流の処理にとって十分な品質の画像および／またはビデオデータの取込みをもたらす条件である。この比較結果を用いて、安定状態が存在するか否か判断してもよく、データを、安定状態であると判断したときにのみ取込んで、取込みインターフェイスを介して取込んだ画像が所望の下流処理に適したものになる確率を最大にしてもよい。
【０１２２】
動作４１０において、リアルタイムのフィードバックを受ける。以下でより詳しく説明するように、リアルタイムのフィードバックを用いて、下流の処理に十分な品質のビデオおよび／または画像データが得られる可能性が高い条件でビデオおよび／または画像データを取込み易くしてもよい。たとえば、リアルタイムのフィードバックを用いて、取込み中の十分な照度を保証し、不鮮明さ、グレア、ストリーキング等を最小にし、ビデオおよび／または画像データが適切なオブジェクトまたはオブジェクトの種類等を取込んでいることを保証してもよい。
【０１２３】
動作４１２において、リアルタイムのフィードバックが予め定められた１つ以上の基準を満たしていると判断すると、取込みインターフェイスを介して取込み動作を呼出す。
【０１２４】
リアルタイムのフィードバックは、好ましくは、モバイル装置に組込まれた１つ以上のハードウェア部品を用いて実行された１つ以上の測定に少なくとも一部基づく。組込まれたハードウェア部品として代表的なものは、カメラ、加速度計、ジャイロスコープ、および時計のうちの１つ以上を含むが、モバイル装置に組込まれたどのハードウェア部品も含み得る。加えて、リアルタイムのフィードバックは、全体的にまたは部分的に、モバイル装置に組込まれたカメラの視野の中に文書が含まれているという表示であってもよい。
【０１２５】
特に好ましいアプローチにおいて、リアルタイムのフィードバックは、当業者が本明細書を読めばわかるように、モバイル装置の向きの角度、モバイル装置の加速度ベクトル（たとえばモバイル装置の単位時間当たりの加速度の大きさと方向）、カメラの視野の照度、カメラの視野の中にある目的のオブジェクトの照度、カメラの視野内のグレアの存在等の、安定性のフィードバックを含む。ある実施形態において、照度は、さまざまなアプローチにおいて、ビデオストリームの取込み中にカメラから直接および／または最小の前処理で得ることができる、ビデオストリームおよび／または画像の強度、輝度等に関する最小値、最大値、平均値、またはそれ以外の統計情報によって示されてもよく、および／またはそれから導出されるものであってもよい。同様に、グレアは、視野の１つ以上の領域が過飽和していることによって示されてもよい。過飽和は、実質的に関連する米国特許出願第１３／７４０，１２３号に開示されているようにして判断してもよい。
【０１２６】
さまざまな実装例は、モバイル装置の向きの角度が予め定められた向きの範囲に含まれていること、および、モバイル装置の加速度ベクトルの大きさが予め定められたしきい値未満であること等の、予め定められた基準を使用し得る。
【０１２７】
あるアプローチにおいて、取込み動作を呼出すことは、モバイル装置のカメラを用いるオートフォーカス動作を呼出すこと、カメラを用いるオートフラッシュ動作を呼出すこと、および、カメラを用いるデータ取得動作を呼出すことを含む。
【０１２８】
他のアプローチにおいて、データの取得は、静止画像およびデジタルビデオのうちの１つ以上を含むデータを取込むことを含み得る。このデータは、１つの文書のデジタル表現または複数の文書のデジタル表現であってもよく、またはこれを含んでいてもよい。
【０１２９】
この開示の範囲に含まれるさらに多くの実施形態は、追加としておよび／または代替的に、上記１つ以上の予め規定された基準が満たされているか否か判断すること、および、上記１つ以上の予め規定された基準が満たされていると判断したことに応じて、取込み動作が、満たされている１つ以上の予め規定された基準に対応するデータを取込んだか否か判断することを含み得る。たとえば、ある実施形態は、当業者が本明細書を読めばわかるように、最小の安定性、適切な向きの角度、特定の方向における最小の移動等の予め規定された基準が満たされている条件下で、モバイル装置がデータを取込んだと判断することを含み得る。
【０１３０】
本明細書の範囲に含まれる代表的な方法はさらに、満たされている１つ以上の予め規定された基準に対応するデータを取込み動作が取込んだと判断したことに応じて、モバイル装置のディスプレイを介し、表示をユーザに対して出力することを含み得る。この表示は、好ましくは、満たされている１つ以上の予め規定された基準に対応するデータを取込み動作が取込んだことを示す。ある実施形態において、モバイル装置は、モバイル装置のカメラの視野の中に示されているオブジェクトの周りに、バウンディングボーダー、ボックス、またはそれ以外の重なり合う形状を表示してもよい。
【０１３１】
バウンディングボックスは、予め規定された基準が満たされている条件下で取込み動作が完了しデータを取込んだと判断されると、色を変えてもよい。あるアプローチにおいて、モバイル装置は、カメラの視野内のオブジェクトを検出する前は白いバウンディングボックスを表示し、オブジェクトを検出したが所望の条件での取込み動作を完了する前は黄色いバウンディングボックスを表示し、所望の条件で取込み動作を完了すると緑のバウンディングボックスを表示し、または、所望の条件で取込み動作を完了しなかったときは赤いバウンディングボックスを表示する。
【０１３２】
このようにして、モバイルアプリケーションの取込みインターフェイスを介してデータを取込む試みをいつ止めるのか、および／またはカメラの視野内のオブジェクトに対する取込み動作を繰返すことが必要か否かを、好都合にユーザに知らせることができる。当然ながら、複数の文書がカメラの視野内にある他の実施形態では、ディスプレイが数個のバウンディングボックスを表示することがある。
【０１３３】
別の実施形態において、上記１つ以上のバウンディングボックスは、カメラの視野内の複数の文書のうちの１つ以上が最近取込まれおよび／または処理されたか否か判断したことに応じて、色を変えてもよい。たとえば、カメラの視野が文書等のオブジェクトを数個含んでいるあるアプローチにおいて、各オブジェクトの所望の取込み条件は、ある異なる時点で、または、いくつかの異なる時点で得られてもよい。したがって、視野内のあるオブジェクトが所望の取込み条件に従っていつ取込まれたか判断し、このオブジェクトを取込む試みを止める一方で、所望の取込み条件でまだ取込まれていない他のオブジェクトを取込む試みを続けることが、好都合であろう。同様に、所望の取込み条件ですべてのオブジェクトが取込まれると、所望の取込み条件に従って視野内に示されているすべてのオブジェクトが取込まれ取込み動作を停止してもよいことを示すフィードバックを与えることが有用であろう。
【０１３４】
さらに他の実施形態において、カメラの視野が文書等のオブジェクトを数個含んでいる場合、たとえば、オブジェクトが適切な条件で以前に取込まれていれば、または、現在取込まれているデータを用いて実行することが意図されている処理によっておよび／またはこの処理に従ってオブジェクトが以前に処理されていれば、取込み動作の過程でオブジェクトを除外または無視することが好都合であろう。
【０１３５】
次に、いくつかの実施形態に従う、ある代表的なユースケースのシナリオについて説明する。当業者は、本明細書の記載を読めば、この代表的なユースケースは例示を目的として提供するものであり決して限定を意図したものではないことを、理解するであろう。その他のユースケースは、完全に本明細書の範囲に含まれ、何らかのやり方で本明細書に開示される特徴を組合わせたものを使用することを含み得る。
【０１３６】
この代表的なユースケースのシナリオに従うと、ここに開示されている発明の概念は、図５に示される方法５００によって実質的に表わされる技法で実施される。方法５００は、本明細書に開示されている、または当業者が本明細書を読んで理解するであろう適切な環境において実行し得る。
【０１３７】
図５に示されるように、方法５００は、モバイル装置を介して取込みインターフェイスを呼出す動作５０２を含む。取込みインターフェイスは、ビューファインダ、好ましくはモバイル装置を介して表示される、目標となるレチクルによって画定される矩形のビューファインダを含む。
【０１３８】
方法５００はまた動作５０４を含み、この動作では、取込まれた複数のビデオデータフレームを解析して、（１）予め定められた規定特徴を示すオブジェクトが全体的にまたは部分的にビューファインダ領域の中に示されているか否か、および（２）このオブジェクトが品質管理基準を満たしているか否か、判断する。規定特徴および品質管理基準は、本明細書に記載のいずれかの特徴、好ましくは、画像またはオブジェクトの分類に関して先に述べ、本明細書に引用により援用した関連出願に記載されている特徴を含み得る。特徴量ベクトルは、「規定特徴」として使用するのに特に適したデータを表わす。
【０１３９】
方法５００に従うと、オブジェクトが規定特徴を示し品質管理基準を示すか否かに応じて、１つ以上の応答アクションが動作５０６で行なわれる。
【０１４０】
上記基準が満たされている場合（オブジェクトが検出され、許容される品質である）、この検出および／または品質状態の表示が、たとえば装置のディスプレイを介してユーザに示されてもよい。好ましくは、これらの表示は、画像の解析および／または処理が実行されているときにリアルタイムでまたはほぼリアルタイムで示される。
【０１４１】
一方、オブジェクトが検出されない場合または品質管理基準を満たさない場合、同様にその事実の表示をモバイル装置を介して示してもよい。
【０１４２】
またさらに、１つ以上の画像を、（より多くのおよび／またはより良い生データを与えるために）ビデオデータフレームの解像度よりも高い解像度で取込んでもよい。同様に、オブジェクトがビューファインダ内に示され品質管理基準を満たしているビデオのフレームを、当業者が本明細書を読めばわかるように、アーカイブに入れ、フラグを立て、メモリに保管する等してもよい。
【０１４３】
方法５００はまた、いくつかのアプローチにおいて、追加のおよび／または代替の１つ以上の動作を特徴とし得る。たとえば、あるアプローチにおいて、取込まれた画像および／またはビデオフレームをさらに処理してもよい。たとえば、処理は、画像および／またはフレームの中に示されているオブジェクトを分類すること、これらオブジェクトからデータを抽出すること、ビデオストリームに示されているオブジェクトをリアルタイムでトラッキングすること、関連情報をユーザに表示すること等を含み得る。
【０１４４】
加えて、特に好ましい実施形態において、ここに開示されている技術は、ビデオストリームが取込まれているときに、開示されている処理動作のうちのいずれかをほぼリアルタイムで同時に完全に実行することができ、さらに、１つのビデオストリーム（または画像）の中に示されている複数のオブジェクトに対してリアルタイムでまたはほぼリアルタイムで、本明細書に開示されている取込み、解析、および／または処理技術を同時に実行することができる。さまざまなアプローチにおいて、この並列でリアルタイムの機能は、図５を参照して先に述べた動作に等しく当てはまることが理解されるはずである。
【０１４５】
別のユースケースを例示すると、ユーザはユーザのモバイル装置上でモバイルアプリケーションを開始する。後の処理で高品質の画像データを取込む際にユーザを支援する「自動支援」モジュールまたは「モバイル取込みウィザード」等の任意のモジュールを呼出すという選択肢が、ユーザに示される。たとえば、ユーザはモバイル装置のディスプレイに表示されたボタンを操作して任意の「自動支援」モジュールまたは「モバイル取込みウィザード」を呼出してもよい。これに代えて、このモジュールは、たとえばモバイル取込みアプリケーションの「設定」インターフェイスでユーザによってプログラム的に呼出されるかまたは予め設定されてもよい。このユースケースでは、ユーザがモバイル取込みウィザードを呼出す。
【０１４６】
ユーザがモバイル取込みウィザードを呼出すと、モバイル装置のディスプレイを介してインターフェイスがユーザに示される。このインターフェイスは、「写真」モードまたは「ビデオ」モードいずれかでユーザが選択的に取込みを行なうことができるようにするいくつかのボタンを含む。ユーザは、「ビデオ」ボタンを操作してこのユーザがビデオストリームの取込みを希望していることをモバイルアプリケーションに対して示す。これに代えて、取込みモードは、たとえばモバイル取込みアプリケーションの「設定」インターフェイスでユーザによってプログラム的に呼出されるかまたは予め設定されてもよい。
【０１４７】
ビデオストリームを取込むという希望を示した後、ユーザはカメラボタンを操作してもよい。それに応じて、モバイル取込みウィザードは、装置の加速度計および／またはジャイロスコープに対してクエリして装置の向きを判別し、装置が実質的に所望される向き（たとえば文書の場合は机、地面等の平坦な水平面に対して平行、または、ポスター、車両の識別番号等を示す自動車の面等の垂直面に対して平行）でなければ、たとえば透明な画面の形態のモバイル装置のディスプレイを介し、装置の向きが不適切であることを示すユーザフィードバックをユーザに対して示してもよい。ユーザフィードバックは、装置の向きが適切な向きになるまでユーザが画像を取込めないよう、取込みインターフェイスの表示域に重なっていてもよい。装置の適切な向きは、プログラムで決められていてもよくおよび／または設定インターフェイスにおいて何らかの装置の向きを（たとえば角度として）含むようユーザによって予め設定されていてもよい。
【０１４８】
ユーザが装置の向きを「所望の向き」まで動かすと、モバイルアプリケーションは、装置の加速度計および／またはジャイロスコープに定期的にクエリして、装置の実際の向きを判別する。この動作中、最適な取込みの向きにするには装置の向きをどのように調整すべきかをユーザに示す、ユーザフィードバックが画面上に表示される。
【０１４９】
向きが、アスペクト比の補正および正規化の、予め定められた許容範囲に入ると、重ねられた透明な画面は消え、モバイルアプリケーションは、ページの境界を検出するために、モバイル装置のカメラから集められたビデオデータの解析をリアルタイムで開始する。
【０１５０】
ページの境界を検出すると、モバイル装置は、任意で再び定期的に装置の安定性を検査し、予め定められた許容しきい値に従って装置が十分に安定していると判断すると、検出されたページを取込むのに適切な条件であることを示す、追加のユーザフィードバックが与えられる。たとえば、ユーザフィードバックは、検出されたページの境界の周囲に表示される黄色のバウンディングボックスの形態で与えられてもよい。
【０１５１】
任意の第２の向きおよび／または安定性検出動作が実行されてもされなくても、装置が安定しており適切な向きであると判断され、ページが検出されると、高品質の画像データを取込むのに適した条件であることを示すためのユーザフィードバックが、モバイル装置のディスプレイを介して示される。そうすると、モバイルアプリケーションは、取込みインターフェイスの表示域の中に示されている文書の画像を自動的に取込む。
【０１５２】
次に、モバイルアプリケーションによる取込みは、装置のカメラを用いるオートフォーカス動作を強制し、検出されたページを含むビデオフレームを取込む。このフレームは、利用できるのであれば、検出されたページを含む元のビデオフレームの高解像度版であってもよい。これに代えて、ページが検出された比較的低解像度の元のビデオフレームを含む、１つ以上のビデオフレームを取込んでもよい。モバイルアプリケーションは、リアルタイムで、取込まれた画像を、直接取込みインターフェイスで、または、高解像度取込み動作完了後にモバイル装置のディスプレイに表示される別のインターフェイスで、表示する。
【０１５３】
（先に引用した関連する米国特許出願に開示されている画像処理動作のうちのいずれかまたはすべてを含み得る）全画像処理が、モバイルアプリケーションによって、バックグラウンドの非同期スレッドとして開始される。加えて、品質管理プロセスモジュールが同時に開始され、文書の照度および／または不鮮明さに関するフィードバックとしての表示が画面上に示される。非同期のバックグラウンド処理が完了すると、表示された画像は、処理済みの画像でリフレッシュされる（たとえばモバイル装置のディスプレイの上から下まで）。特に、画像処理は、モバイル装置のプロセッサ、サーバ等の遠隔装置のプロセッサ、またはこれらを組合わせたものを用いて実行すればよい。
【０１５４】
モバイルアプリケーションは、元の、処理済みの画像を、自動的に保存してもよく、または、元のおよび／または処理済みの画像を保存するか否かに関する命令をユーザに促してもよく、それに応じてユーザが示す画像を保存してもよい。データは、保存、他の処理、および／またはその後の再使用のために、ホストクラウドまたは構内システムと同期させてもよい。
【０１５５】
さまざまな実施形態において、元の画像であれ、処理済みの画像であれ、その変形物であれ、画像を保存することは、すべて１つのファイル（たとえば印刷可能文書フォーマット（ＰＤＦ）電子形態（e-form））に含まれる、分類結果、抽出結果等の画像に関連するメタデータ、または、ジオポジション（geo-position）のタグ付、日付／時間のスタンプ等の環境メタデータと組合わされたファイルを保存することを含み得る。この種の保存動作は、任意でユーザによってリアルタイムでまたは設定インターフェイスで呼出されてもよい。これに代えて、画像データをメタデータと関連付けることなくそのまま保存してもよい。
【０１５６】
さまざまな実施形態は、追加でおよび／または代替として、モバイル装置のディスプレイを介して取込み結果のプレビューを表示することと、取込みのプレビューに応じたユーザ入力を受けることとを含み得る。加えて、少なくとも１つの実施形態において、プレビューは、取込み動作によって取込まれた少なくとも１つのオブジェクトを示す。
【０１５７】
本明細書に開示される発明の概念を、複数の、説明のためのシナリオ、実施形態、および／または実装例における無数の特徴を説明するために、例示を目的として示してきた。概要が開示されているこれら概念は、モジュール方式とみなされるべきものであり、何らかの組合せ、入替え、または合成の形態で実現し得ることが理解されるはずである。加えて、当業者が本明細書を読めば理解するであろう、ここで開示されている特徴、機能、および概念の修正、改変、または均等物も、この開示の範囲に含まれるとみなさるべきものである。
【０１５８】
たとえば、例示としての無数のアプローチにおいて、方法、ロジックを実行し方法を実施するように構成されたシステム、および／またはプロセッサに方法を実行させるように構成されたコンピュータ読取可能な命令を含むコンピュータプログラムプロダクトは、以下の特徴のうちのいずれか１つ以上を含み得る。同様に、さまざまな実施形態は、以下で述べる特徴のうちのいくつかまたはすべてを除外する場合もある。一般的に、以下の特徴は、当業者が本明細書を読めば理解するであろう何らかの適切なやり方で組合わせてもよい。
【０１５９】
また、方法、システム、および／またはコンピュータプログラムプロダクトは、以下のうちの任意の組合せを含み得る。モバイル装置を介して画像取込みインターフェイスを呼出し、取込みインターフェイスはモバイル装置のディスプレイ上に示されるビューファインダを含み、取込みインターフェイスを介して取込まれたビデオデータの複数のフレームを解析する。この解析は、１つ以上の規定特徴を示すオブジェクトがビューファインダの中に示されているか否か判断することと、示されていれば、ビューファインダの中に示されているこのオブジェクトが１つ以上の予め定められた品質管理基準を満たすか否か判断することとを含み得る。予め定められた品質管理基準のうちの１つ以上をフレームが満たさないと判断すると、それに応じて、上記方法／システム／コンピュータプログラムは、モバイル装置のディスプレイに、管理基準のうちの１つ以上をフレームが満たさないという表示を示すことを含み得る。この満たさないという表示は、好ましくは、フレームが満たさない１つ以上の品質管理基準を具体的に特定し、任意で、ビューファインダの中に示されているオブジェクトの周囲を実質的に取り囲むバウンディングボーダーを含む。ビューファインダの中に示されているオブジェクトが１つ以上の予め定められた品質管理基準を満たすと判断すると、それに応じて、上記方法／システム／コンピュータプログラムは、ビューファインダの中に示されているオブジェクトが１つ以上の規定特徴を示すという表示を示すこと、ビデオデータの解像度よりも高い解像度によって特徴付けられる、オブジェクトの画像を自動的に取込むこと、および、予め定められた品質管理基準を満たすオブジェクトがビューファインダの中に示されているフレームのうちの１つ以上をメモリに自動的に格納することのうちの１つ以上を含み得る。好ましくは、オブジェクトが規定特徴を示すという表示は、オブジェクト部類を具体的に特定し、任意で、ビューファインダ内のオブジェクトの周囲を実質的に取り囲むバウンディングボーダーを含む。いくつかのアプローチにおいて、オブジェクトは、１つ以上のページを有する１つの文書、または、各々が１つ以上のページを有する複数の文書を含む。上記方法／システム／コンピュータプログラムは、自動的に取込まれた画像と、自動的に格納されたフレームとのうちの少なくとも一方を、少なくとも一部、モバイル装置のプロセッサを用いて処理することを含み得る。この処理は、ビューファインダの中に示されているオブジェクトをリアルタイムまたはほぼリアルタイムでトラッキングすること、ビューファインダの中に示されているオブジェクトを分類すること、および／またはビューファインダの中に示されているオブジェクトからデータを抽出することを含む。任意で、処理は、存在するのであれば複数の文書または複数のページのうちの少なくとも２つに対して実行され、たとえば、トラッキング、分類、および／または抽出は、互いに同時に実行されてもよく、および／または複数の文書に対してまたは１つの文書の複数のページに対して同時に実行されてもよい。この同時の処理は、好ましくはビデオデータの複数のフレームにわたって行なわれてもよい。分類は、より具体的には、ビューファインダの中に示されているオブジェクトの１つ以上の規定特徴を判別することと、判別した１つ以上の規定特徴を、複数のオブジェクト部類各々の規定特徴と比較することとを含み得る。いくつかの状況において、上記方法／システム／コンピュータプログラムは、比較に少なくとも一部基づいてオブジェクト部類を判別すること、または、比較に少なくとも一部基づいて、オブジェクトが複数のオブジェクト部類のいずれにも対応しないと判断することを含む。オブジェクトが複数のオブジェクト部類のいずれにも対応しないと判断すると、それに応じて、上記方法／システム／コンピュータプログラムは、オブジェクトに関連するユーザ入力を要求することと、ユーザ入力を受けることと、ユーザ入力に少なくとも一部基づいて新たなオブジェクト部類を規定することと、オブジェクトを新たなオブジェクト部類に割当てることとを含む。同様に、トラッキングは、オブジェクトがビューファインダの中に示されているフレーム各々において、オブジェクトの周囲を囲むように、バウンディングボーダーの位置を動かすまたはバウンディングボーダーを画定し直すこと、ビューファインダの中に示されているオブジェクトが１つ以上の規定特徴を示すという表示の位置を動かすまたはこの表示を再度示すこと、および、モバイル装置からリアルタイムのフィードバックを受けることのうちの１つ以上を含み得る。このリアルタイムのフィードバックは、カメラ、加速度計、ジャイロスコープ、および時計から選択された１つ以上のモバイル装置部品を用いて実行された１つ以上の測定に少なくとも一部基づく。好ましくは、リアルタイムのフィードバックは、モバイル装置の向きの角度が予め定められた向きの範囲に含まれていること、および、モバイル装置の動きベクトルの大きさが予め定められたしきい値よりも小さいことを含む、安定性のフィードバックを含む。いくつかのアプローチにおいて、動きベクトルは、カメラから受けたリアルタイムのフィードバックに基づいて判別され、加速度計からのフィードバックに基づいて判別されるのではない。特に長い／大きなオブジェクトのトラッキングまたは処理を含むいくつかのアプローチにおいて、上記方法／システム／コンピュータプログラムはまた、ビデオデータの２つ以上のフレームの少なくとも一部分を合成することと、合成に基づいて複合画像を生成することとを含む。任意で、この複合画像は高さと幅によって特徴付けられ、複合画像の高さは、ビデオデータのいずれか１つのフレームの高さよりも大きいかまたはそれに等しく、および／または複合画像の幅は、前記ビデオデータのいずれか１つのフレームの幅よりも大きいかまたはそれに等しい。ビデオデータの合成されたフレーム各々はオブジェクトの一部分を示し、複合画像は前記オブジェクトの全体を示す。好ましくは、さまざまなビデオデータフレームから複合画像を合成することは、ビューファインダの中に示されているオブジェクトの第１の特徴を検出することと、オブジェクトの第１の縁を検出するとそれに応じて取込み動作を自動的に開始することと、自動的に開始した取込み動作によって高解像度画像データおよび低解像度ビデオデータのうちの１つ以上を取込むことと、ビューファインダの中に示されているオブジェクトの第２の特徴を検出することと、自動的に開始した取込み動作によって高解像度画像データおよび低解像度ビデオデータのうちの１つ以上を取込むことと、オブジェクトの第２の特徴を検出するとそれに応じて取込み動作を自動的に終了することとを含む。合成することは、ビデオデータのフレームのうちの２つ以上のフレームに対して少なくとも１つのホモグラフィ変換を実行することと、ホモグラフィ変換に少なくとも一部基づいて、ビデオデータの２つ以上のフレームのうちの少なくとも一部分を整列させることとを、さらにまたは代わりに含み得る。上記合成技術を用いて撮像されて複合物を形成するオブジェクトは、好ましくは、少なくとも１つの寸法が大きすぎて全体がビューファインダによって取り囲まれないことを特徴とする文書であり、同時に、文書の所望の最小解像度、たとえば文書に示されるテキスト情報を解像するのに十分な解像度を保持する。加えて、複合画像の少なくとも一部分は、デジタルビデオデータの２つ以上のフレームのうちのいずれかの解像度よりも高い解像度によって特徴付けられてもよい。いくつかの実施形態において、この結果は、本明細書に記載の「超解像度」技術を用いて得られてもよく、より高い解像度によって特徴付けられる複合画像の一部分に少なくとも一部基づいて複合画像内のオブジェクトを検出することをさらに含み得る。１つ以上のフレームが、モバイル装置に格納されている高解像度画像に対応する１つ以上の予め定められた管理基準を満たすか否か判断することは、別の有用な特徴であり、これを用いて、以前に取込まれ格納された高解像度画像を取出し、格納された高解像度画像を処理してもよい。いくつかのシナリオでは、メタデータを格納された画像および／またはビデオデータに関連付けることが有用であろう。好ましいアプローチにおいて、予め定められた品質管理基準は、最小照度レベル、最大照度レベル、最小照度ムラ、最小解像度、最小鮮鋭度、最小射影角度、最大射影角度、しきい値視認度基準、グレアの存在、およびオブジェクト部類のうちの１つ以上を含み得る。
【０１６０】
以上さまざまな実施形態が説明されているが、これら実施形態は限定ではなく専ら例示のために示されていることが理解されるはずである。よって、本発明の実施形態の広さおよび範囲は、上記代表的な実施形態のいずれによっても限定されてはならず、以下の請求項およびこれらの均等物に従ってのみ定義されるべきものである。
【図１】
2016518790.tif 000003
【図２】
2016518790.tif 000004
【図３】
2016518790.tif 000005
【図４】
2016518790.tif 000006
【図５】
2016518790.tif 000007
【国際調査報告】
2016518790.tif 000008