(57)【要約】【解決手段】書類の画質を評価するためにコンピュータ記憶媒体にコード化したコンピュータプログラムを含む方法、システムおよび装置を開示する。１つの態様では、方法は、書類の１つ以上の画像を受信する動作を含む。この動作はさらに、書類の推定形状と同様の形状を有する対象物を検知することを含む。この動作はさらに、第１の画像の鮮鋭さを反映する合焦スコアを決定することを含む。この動作はさらに、対象物が書類に一致する確率を反映する境界適合スコアを決定する。この動作はさらに、対象物の形状と書類の推定形状との相関関係を反映する推定形状スコアを決定することを含む。この動作はさらに、第１の画像の質を反映する質スコアを決定することを含む。この動作はさらに、第１の画像に対して書類認証を実施するかどうかを決定することを含む。【選択図】図１
2019519844.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより実施される方法であって、
書類の１つ以上の画像を受信すること、
前記１つ以上の画像のうちの第１の画像内で、前記書類の推定形状と同様の形状を有する対象物を検知すること、
前記第１の画像の鮮鋭さを反映する合焦スコアを決定すること、
前記対象物が前記書類と一致する確率を反映する境界適合スコアを決定すること、
前記対象物の形状と前記書類の推定形状との相関関係を反映する推定形状スコアを決定すること、
前記合焦スコア、前記境界適合スコア、および前記推定形状スコアに基づいて、前記第１の画像の質を反映する質スコアを決定すること、
前記質スコアが質スコア閾値を満たしているかどうかを判断すること、および、
前記質スコアが前記質スコア閾値を満たしているかどうかの判断に基づいて、前記第１の画像に対して書類認証を実行するかどうかを決定すること、
を含む、方法。
【請求項２】
請求項１に記載の方法であって、
前記質スコアが質スコア閾値を満たしているかどうかを判断することは、前記質スコアが前記質スコア閾値を満たしていると判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することは、前記質スコアが前記質スコア閾値を満たしているという判断に基づいて、前記第１の画像に対して書類認証を実行すると決定することを含む、方法。
【請求項３】
請求項１に記載の方法であって、
前記質スコアが質スコア閾値を満たしているかどうかを判断することは、前記質スコアが前記質スコア閾値を満たしていないと判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することは、前記質スコアが前記質スコア閾値を満たしていないという判断に基づいて、前記第１の画像に対して書類認証を実行しないと決定することを含む、方法。
【請求項４】
請求項３に記載の方法であって、
前記第１の画像に対して書類認証を実行しないという決定に応答して、前記１つ以上の画像のうちの第２の画像に対して質スコアを決定することを含む方法。
【請求項５】
請求項１に記載の方法であって、
前記合焦スコアが合焦スコア閾値を満たしているかどうかを判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することはさらに、前記合焦スコアが前記合焦スコア閾値を満たしているかの判断に基づく、方法。
【請求項６】
請求項１に記載の方法であって、
前記境界適合スコアが境界適合スコア閾値を満たしているかどうかを判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することはさらに、前記境界適合スコアが前記境界適合スコア閾値を満たしているかどうかの判断に基づく、方法。
【請求項７】
請求項１に記載の方法であって、
前記推定形状スコアが推定形状スコア閾値を満たしているかどうかを判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することはさらに、前記推定形状スコアが前記推定形状スコア閾値を満たしているかどうかの判断に基づく、方法。
【請求項８】
請求項１に記載の方法であって、
前記合焦スコアは、前記対象物のみの鮮鋭さを反映する、方法。
【請求項９】
請求項１に記載の方法であって、
前記書類は身分証明書類である、方法。
【請求項１０】
請求項１に記載の方法であって、
前記書類の前記１つ以上の画像は映像のフレームである、方法。
【請求項１１】
請求項１に記載の方法であって、
前記書類の前記１つ以上の画像の各々に対して質スコアを決定すること、および
前記第１の画像の前記質スコアが前記第１の画像以外の前記１つ以上の画像の各々の前記質スコアよりも大きいと判断すること、
を含み、
前記第１の画像の前記質スコアが前記質スコア閾値を満たしているかどうかを判断することは、前記第１の画像の前記質スコアが前記質スコア閾値を満たしていると判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することは、前記第１の画像の前記質スコアが前記質スコア閾値を満たしているという判断に基づいて、かつ前記第１の画像の前記質スコアが前記第１の画像以外の前記１つ以上の画像の各々の前記質スコアよりも大きいという判断に基づいて、前記第１の画像に対して書類認証を実行すると決定することを含む、方法。
【請求項１２】
請求項１に記載の方法であって、
前記質スコアが質スコア閾値を満たしているかどうかを判断することは、前記質スコアが前記質スコア閾値を満たしていないと判断することを含み、
前記質スコアが前記質スコア閾値を満たしていないという判断に基づいて、前記方法はさらに、前記書類の画像の質を改善するためのフィードバックをユーザに提供することを含む、方法。
【請求項１３】
１つ以上のコンピュータ、および
前記１つ以上のコンピュータによって実行されたときに、前記１つ以上のコンピュータに動作を実施させるように操作可能な命令を保存している、１つ以上の記憶装置、
を備えるシステムであって、
前記動作は、
書類の１つ以上の画像を受信すること、
前記１つ以上の画像のうちの第１の画像内で、前記書類の推定形状と同様の形状を有する対象物を検知すること、
前記第１の画像の鮮鋭さを反映する合焦スコアを決定すること、
前記対象物が前記書類と一致する確率を反映する境界適合スコアを決定すること、
前記対象物の形状と前記書類の推定形状との相関関係を反映する推定形状スコアを決定すること、
前記合焦スコア、前記境界適合スコア、および前記推定形状スコアに基づいて、前記第１の画像の質を反映する質スコアを決定すること、
前記質スコアが質スコア閾値を満たしているかどうかを判断すること、および、
前記質スコアが前記質スコア閾値を満たしているかどうかの判断に基づいて、前記第１の画像に対して書類認証を実行するかどうかを決定すること、
を含む、システム。
【請求項１４】
請求項１３に記載のシステムであって、
前記質スコアが質スコア閾値を満たしているかどうかを判断することは、前記質スコアが前記質スコア閾値を満たしていると判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することは、前記質スコアが前記質スコア閾値を満たしているという判断に基づいて、前記第１の画像に対して書類認証を実行すると決定することを含む、システム。
【請求項１５】
請求項１３に記載のシステムであって、
前記質スコアが質スコア閾値を満たしているかどうかを判断することは、前記質スコアが前記質スコア閾値を満たしていないと判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することは、前記質スコアが前記質スコア閾値を満たしていないという判断に基づいて、前記第１の画像に対して書類認証を実行しないと決定することを含む、システム。
【請求項１６】
請求項１３に記載のシステムであって、
前記動作はさらに、
前記合焦スコアが合焦スコア閾値を満たしているかどうかを判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することはさらに、前記合焦スコアが前記合焦スコア閾値を満たしているかの判断に基づく、システム。
【請求項１７】
請求項１３に記載のシステムであって、
前記動作はさらに、
前記境界適合スコアが境界適合スコア閾値を満たしているかどうかを判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することはさらに、前記境界適合スコアが前記境界適合スコア閾値を満たしているかどうかの判断に基づく、システム。
【請求項１８】
請求項１３に記載のシステムであって、
前記動作はさらに、
前記推定形状スコアが推定形状スコア閾値を満たしているかどうかを判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することはさらに、前記推定形状スコアが前記推定形状スコア閾値を満たしているかどうかの判断に基づく、システム。
【請求項１９】
請求項１３に記載のシステムであって、
前記動作はさらに、
前記書類の前記１つ以上の画像の各々に対して質スコアを決定すること、および、
前記第１の画像の前記質スコアが前記第１の画像以外の前記１つ以上の画像の各々の前記質スコアよりも大きいと判断すること、
を含み、
前記第１の画像の前記質スコアが前記質スコア閾値を満たしているかどうかを判断することは、前記第１の画像の前記質スコアが前記質スコア閾値を満たしていると判断することを含み、
前記第１の画像に対して書類認証を実行するかどうかを決定することは、前記第１の画像の前記質スコアが前記質スコア閾値を満たしているという判断に基づいて、かつ第前記１の画像の前記質スコアが前記第１の画像以外の前記１つ以上の画像の各々の前記質スコアよりも大きいという判断に基づいて、前記第１の画像に対して書類認証を実行すると決定することを含む、システム。
【請求項２０】
１つ以上のコンピュータによって実行可能な命令を含むソフトウェアを格納している非一時的なコンピュータ可読媒体であって、前記命令は、実行時に前記１つ以上のコンピュータに動作を実施させる、非一時的なコンピュータ可読媒体において、
前記動作は、
書類の１つ以上の画像を受信すること、
前記１つ以上の画像のうちの第１の画像内で、前記書類の推定形状と同様の形状を有する対象物を検知すること、
前記第１の画像の鮮鋭さを反映する合焦スコアを決定すること、
前記対象物が前記書類と一致する確率を反映する境界適合スコアを決定すること、
前記対象物の形状と前記書類の推定形状との相関関係を反映する推定形状スコアを決定すること、
前記合焦スコア、前記境界適合スコア、および前記推定形状スコアに基づいて、前記第１の画像の質を反映する質スコアを決定すること、
前記質スコアが質スコア閾値を満たしているかどうかを判断すること、および、
前記質スコアが前記質スコア閾値を満たしているかどうかの判断に基づいて、前記第１の画像に対して書類認証を実行するかどうかを決定すること、
を含む、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本明細書は、２０１６年５月２４日に出願された米国特許明細書第６２／３４０，８９４号の優先権を主張し、本文献を参照して本願に援用する。
【０００２】
本明細書は、書類認証に関する。
【背景技術】
【０００３】
身分証明（「ＩＤ」）書類は、今日の社会で重要な役割を果たしている。ＩＤ書類の１つの例がＩＤカードである。ＩＤ書類は、身分を証明する、年齢を確認する、セキュリティ領域にアクセスする、運転権を証明する、小切手を現金化するなどのために日常的に使用されている。航空機の乗客は、チェックイン、セキュリティチェックの過程および機内に搭乗する前に、ＩＤ書類を見せることを求められる。また、我々はかつてないほど進化したキャッシュレス社会で暮らしているため、ＩＤ書類は、支払い、現金自動預払機（ＡＴＭ：ａｕｔｏｍａｔｅｄ  ｔｅｌｌｅｒ  ｍａｃｈｉｎｅ）へのアクセス、口座引き落とし、支払いなどに使用されている。
【発明の概要】
【０００４】
本明細書の主題は、自動の書類認証（例えば書類の視覚的特徴の審査で書類が本物であることを確認する）に関する。いくつかの実施形態では、書類の認証は、正確には適正に取り込んだデジタル画像があるかどうかに左右される。これらの画像は、フラットベッドスキャナと同様の平坦なガラスの撮像平面上でスキャンされてよい。こうすることで、合焦、照明、スケールが正確な書類の画像を実現する。
【０００５】
以下に記載するシステムは、書類認証能力を非制御の取り込み（例えば較正していない配置構成から画像を取得する）にまで拡大することが可能である。例を挙げると、運転免許証の画像を携帯電話で撮り、その画像を使用して運転免許証を認証することである。
【０００６】
本システムは、画像を自動で補正し、かつ書類を認証するという両方の目的で、書類のデジタル画像の「良さ」を量子化することが可能である。これによって携帯電話を使用して書類の画像を取り込むことが可能になり、そのような画像を利用する可能性を電話機で評価して、取り込み過程でフィードバックを提供するか、単純にその画像を認可または拒否することが可能になる。
【０００７】
書類認証を実行する前に取り込んだ書類の質を評価する方法には、以下の動作が含まれる。書類から１つ以上のデジタル画像を取得する。長方形の書類を、書類の境界が第１の画像として画成された状態で検知する。第１の画像の質を、（ｉ）書類の情報の合焦の鮮鋭さ、（ｉｉ）書類の境界の適合の信頼性、および（ｉｉｉ）書類の推定形状からの書類形状のずれ、を利用して量子化する。第１の画像の質を量子化した動作で何らかのメトリックまたはメトリックの組み合わせの質が閾値を下回っていれば、画像は拒否され、他の画像が検討される。各々の追加画像に対して、上記の３つの特徴（例えば（ｉ）書類の情報の合焦の鮮鋭さ、（ｉｉ）書類の境界の適合の信頼性、および（ｉｉｉ）書類の推定形状からの書類形状のずれ）を利用し、かつ第１の画像の質の以前の量子化から得た値または値の何らかの組み合わせを利用する質、画像が十分な質であれば、その画像は書類認証の候補として保留される。画像は、書類認証システムに送信される。最低閾値を上回る画像がなかった場合、取り込みプロセスは失敗である。いくつかの実施形態では、書類認証の候補として保留される画像は、質スコアが最も高い画像である。
【０００８】
いくつかの実施形態では、失敗に関するユーザフィードバックを提供できる（例えば合焦の測定外）。取り込みデバイスへのフィードバックを提供できる（例えばカメラの合焦）。品質メトリックの結果を使用して、単一の画像内の複数の形状候補から候補画像を選択できる。得られた画像は、書類認証の前に予備処理工程に進んでカメラの遠近歪みを補正できる。
【０００９】
本明細書に記載した主題の革新的な態様によれば、書類の画質を評価する方法は、書類の１つ以上の画像を受信する動作；１つ以上の画像のうちの第１の画像内で、書類の推定形状と同様の形状を有する対象物を検知する動作；第１の画像の鮮鋭さを反映する合焦スコアを決定する動作；対象物が書類と一致する確率を反映する境界適合スコアを決定する動作；対象物の形状と書類の推定形状との相関関係を反映する推定形状スコアを決定する動作；合焦スコア、境界適合スコア、および推定形状スコアに基づいて、第１の画像の質を反映する質スコアを決定する動作；質スコアが質スコア閾値を満たしているかどうかを判断する動作；質スコアが質スコア閾値を満たしているかどうかの判断に基づいて、第１の画像に対して書類認証を実行するかどうかを決定する動作を含む。
【００１０】
これらの実施形態およびその他の実施形態はそれぞれ、任意選択で以下の特徴の１つ以上を含むことができる。質スコアが質スコア閾値を満たしているかどうかを判断する動作は、質スコアが質スコア閾値を満たしていると判断することを含む。第１の画像に対して書類認証を実行するかどうかを決定する動作は、質スコアが質スコア閾値を満たしているという判断に基づいて、第１の画像に対して書類認証を実行すると決定することを含む。質スコアが質スコア閾値を満たしているかどうかを判断する動作は、質スコアが質スコア閾値を満たしていないと判断することを含む。第１の画像に対して書類認証を実行するかどうかを決定する動作は、質スコアが質スコア閾値を満たしていないという判断に基づいて、第１の画像に対して書類認証を実行しないと決定することを含む。この動作はさらに、第１の画像に対して書類認証を実行しないという決定に応答して、１つ以上の画像のうちの第２の画像に対して質スコアを決定することを含む。
【００１１】
この動作はさらに、合焦スコアが合焦スコア閾値を満たしているかどうかを判断することを含む。第１の画像に対して書類認証を実行するかどうかを決定する動作はさらに、合焦スコアが合焦スコア閾値を満たしているかどうかの判断に基づく。この動作はさらに、境界適合スコアが境界適合スコア閾値を満たしているかどうかを判断することを含む。第１の画像に対して書類認証を実行するかどうかを決定する動作はさらに、境界適合スコアが境界適合スコア閾値を満たしているかどうかの判断に基づく。この動作はさらに、推定形状スコアが推定形状スコア閾値を満たしているかどうかを判断することを含む。第１の画像に対して書類認証を実行するかどうかを決定する動作はさらに、推定形状スコアが推定形状スコア閾値を満たしているかどうかの判断に基づく。合焦スコアは、対象物のみの鮮鋭さを反映する。
【００１２】
書類は、身分証明書類である。書類の１つ以上の画像は、映像のフレームである。この動作はさらに、書類の１つ以上の画像の各々に対して質スコアを決定すること；および第１の画像の質スコアが第１の画像以外の１つ以上の画像の各々の質スコアよりも大きいと判断することを含む。第１の画像の質スコアが質スコア閾値を満たしているかどうかを判断する動作は、第１の画像の質スコアが質スコア閾値を満たしていると判断することを含む。第１の画像に対して書類認証を実行するかどうかを決定する動作は、第１の画像の質スコアが質スコア閾値を満たしているという判断に基づいて、かつ第１の画像の質スコアが第１の画像以外の１つ以上の画像の各々の質スコアよりも大きいという判断に基づいて、第１の画像に対して書類認証を実行すると決定することを含む。質スコアが質スコア閾値を満たしているかどうかを判断する動作は、質スコアが質スコア閾値を満たしていないと判断することを含む。質スコアが質スコア閾値を満たしていないという判断に基づいて、この動作はさらに、書類の画像の質を改善するためのフィードバックをユーザに提供することを含む。
【００１３】
本態様の他の実施形態は、対応するシステム、装置、およびコンピュータ記憶装置に記録されたコンピュータプログラムを含み、この各々が本方法の動作を実行するように構成される。
【００１４】
本明細書に記載の主題は、以下の利点の１つ以上を有していてよい。システムは、十分な質である書類の画像のみに対して書類認証を実行してよい。書類認証を特定の画像のみに限定することで、処理力およびバッテリ電力など、書類認証に必要なコンピューティング資源を少なくしてよい。
【００１５】
本明細書に記載の主題の１つ以上の実施形態の詳細は、添付の図面および以下の説明に記載されている。本主題のその他の特徴、態様、および利点は、説明、図面および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１６】
【図１】ユーザがモバイルデバイスを用いて身分証明カードの画像を取り込んでいる一例を示す図である。
【００１７】
【図２】書類の画像の質を評価する一例のシステムを示す図である。
【００１８】
【図３】書類の画像の質を評価する一例のプロセスを示す図である。
【００１９】
【図４】ラップトップコンピュータから名刺を映像で取り込む一例の図であり、推奨される取り込み領域を示す細線と、検知された名刺をハイライトする太線とを含んでいる図である。
【００２０】
【図５】上の画像は、名刺を映像で取り込む一例で、細線である例としての線候補を含んでいる図であり、下の画像は、名刺の位置を特定するために検知され使用されるエッジの例としての診断出力である。
【００２１】
【図６】一例として出力された長方形で、線形歪み補正を適用して標準形状の名刺（または運転免許証）にしている図である。
【００２２】
【図７】コンピューティングデバイスおよびモバイルコンピューティングデバイスの一例を示す図である。
【発明を実施するための形態】
【００２３】
図１は、ユーザ１０５がモバイルデバイス１２０を用いて身分証明カード１１５の画像１１０を取り込んでいる一例を示している。簡潔に言えば、以下にさらに詳細に説明したように、ユーザ１２０は、アプリケーションまたはエンティティが身分証明カード１１５を認証できるように十分な質の画像を取り込もうと試みている。身分証明カード１１５を認証するためには、画像１１０は、焦点が合っていなければならず、身分証明カード１１５の推定形状にほぼ適合している形状で、境界が十分に鮮鋭でなければならない。
【００２４】
図１の例のシステム１００では、ユーザ１０５は、アプリケーションを実行するため、またはユーザの身分証明カード１１５の画像を要求するウェブサイトを訪問するために、モバイルデバイス１２０を使用してよい。ユーザ１０５は、モバイルデバイス１２０を十分な時間にわたって身分証明カード１１５と完全に平行に保持することができないことがある。したがって、取り込んだ画像１１０は、やや傾いていることがある。
【００２５】
アプリケーションまたはウェブサイトは、モバイルデバイス１２０を身分証明カード１１５の上で平行かつ安定して保持するために指示１２５を提示することがある。ユーザ１０５がモバイルデバイス１２０を身分証明カードの上で保持している間に、カメラ１３０が映像を取り込んでよい。モバイルデバイス１２０は、映像をサーバに提供してよい。サーバは、映像フレームをフレームごとに分析してよい。サーバは、認証のために十分な質である身分証明カードの画像を含んでいる特定のフレームを識別してよい。サーバは、身分証明カード１１５の画像を識別するプロセスを実行する。これについては図２および図３に関して以下にさらに詳細に説明する。
【００２６】
サーバは、映像の特定のフレームを識別し、サーバが十分な質の身分証明カード１１５の画像を取り込んだというデータをモバイルデバイス１２０に提供する。モバイルデバイス１２０は、ディスプレイ１３０を通してユーザ１０５にフィードバックを提供してよい。例えば、モバイルデバイス１２０は、サーバが十分な質の身分証明カード１１５の画像を識別したことを示す文章をディスプレイ１３０上に提供してよい。別の例として、モバイルデバイス１２０は、サーバが十分な質の身分証明カード１１５の画像を識別したことを示すグラフィック表示を表示してよい。グラフィック項目は、身分証明カード１１５の画像を囲む緑の境界であってよい。十分な質の身分証明カード１１５の画像であれば、サーバは、画像上で書類認証を実施する、または書類認証のために画像を別のサーバに提供してよい。
【００２７】
図２は、書類の画像の質を評価する一例のシステム２００を示している。簡潔に言えば、以下にさらに詳細に説明するように、システム２００は、書類２０５の画像を処理する。書類２０５の画像を処理するとき、システム２００は、書類２０５上で書類認証を実施するのに十分な質である画像を識別する。システム２００は、１つ以上のコンピューティングデバイスに実装されてよい。例えば、システム２００は、携帯電話に実装されてよい。別の例として、映像取り込み機２１０などのシステム２００の一部は携帯電話に実装され、他の部分はサーバに実装されてもよい。
【００２８】
さらに詳細には、図２に示したように、映像取り込み機２１０が書類２０５の映像を取り込む。書類２０５は、どのような種類の書類でもよい。例えば、書類２０５は、身分証明書類（例えば運転免許証）、パスポート、契約書、または認証を必要とすることがあるその他の任意の類似種類の書類であってよい。映像取り込み機２１０は、システム２００がユーザから入力を受信したとき、またはシステム２００が映像の取り込みを開始する命令を実行したときに、映像の取り込みを開始してよい。
【００２９】
映像取り込み機２１０は、取り込んだ映像をフレーム選別機２１５に提供してよい。フレーム選別機２１５は、取り込んだ映像を個々のフレームに分割するように構成されてよい。フレーム選別機２１５は、フレーム選別機２１５が映像を受信したときに取り込んだ映像を連続して分割してよい。いくつかの実施形態では、フレーム選別機２１５は、映像クリップを個々のフレームに分割してよい。
【００３０】
フレーム選別機２１５は、映像フレームを形状検知機２２０に提供する。形状検知機２２０は、各々の映像フレーム内の長方形様の形状の境界を検知するように構成される。いくつかの実施形態では、形状検知機は、書類２０５の推定形状に応じて、様々な形状の境界を検知するように構成される。例えば、推定形状は、クレジットカードまたは運転免許証と同様の比率の四辺がある形状であってよい。推定形状は、パスポートと同様の比率の四辺がある形状であってもよい。推定形状は、円形であってもよい。形状検知機２２０は、画素どうしのコントラストの差を検知して書類２０５の境界と思われるものを識別してよい。
【００３１】
形状検知機２２０は、書類２０５の境界と思われるもの、およびそれに対応する画像を識別するデータを、合焦スコア機２２５、推定形状スコア機２３０、および境界適合スコア機２３５に提供する。合焦スコア機２２５は、画像の合焦度を反映する合焦スコアを計算するように構成される。いくつかの実施形態では、合焦スコア機は、書類２０５の境界と思われるものの内部にある画像の一部に対して合焦スコアを計算する。例えば、合焦スコアは、鮮鋭な書類２０５の画像に対しては０．９であってよい。合焦スコアは、それほど鮮鋭でない書類２０５の画像に対しては０．５であってよい。
【００３２】
推定形状スコア機２３０は、書類２０５の推定形状と比較して書類２０５の境界と思われるものの推定形状スコアを計算するように構成されてよい。例えば、境界と思われるものが９０度のうちの２度以内の所に角を有し、長辺と短辺との比率が推定比率の５パーセント以内であれば、推定形状スコアは０．９であってよい。境界と思われるものが９０度のうちの１０〜１５度の所に角を有し、長辺と短辺との比率が推定比率の１５〜２０パーセントであれば、推定形状スコアは０．５であってよい。いくつかの実施形態では、システム２００は、ユーザまたは別のコンピューティングデバイスから推定書類を示す入力を受信してよい。システム２００は、その場合、書類の推定形状を再現してよい。例えば、システム２００は、推定書類が運転免許証であることを示す入力を受信してよい。システムは、その場合、運転免許証の推定形状および比率を再現してよい。
【００３３】
境界適合スコア機２３５は、識別した境界が書類２０５の実際の境界である確率を反映する境界適合スコアを計算するように構成されてよい。境界適合スコアは、識別した境界に沿って位置する画素どうしのコントラストに基づいていてよい。識別した境界に沿ってコントラストの強い画素が多いほど、識別した境界が書類の実際の境界である信頼性が高いことを示していてよい。例えば、識別した境界が書類２０５の実際の境界であると思われると境界適合スコア機２３５が判断した場合、境界適合スコアは０．８８であってよい。識別した境界が書類２０５の実際の境界であるとはあまり思われないと境界適合スコア機２３５が判断した場合、境界適合スコアは０．４であってよい。
【００３４】
合焦スコア機２２５、推定形状スコア機２３０、および境界適合スコア機２３５は、そのそれぞれのスコアを画質スコア機２４０に提供してよい。画質スコア機２４０は、それが書類２０５の画像の質に関するとき、合焦スコアと推定形状スコアと境界適合スコアとを合わせて映像フレームの全体の質を反映する質スコアを計算してよい。いくつかの実施形態では、画質スコア機２４０は、合焦スコアと推定形状スコアと境界適合スコアとの合計または平均を算出してよい。いくつかの実施形態では、画質スコア機２４０は、合焦スコア、推定形状スコア、および境界適合スコアを別々に重み付けすることで質スコアを算出してよい。例えば、画質スコア機２４０は、推定形状スコアを境界適合スコアおよび合焦スコアの２倍に重み付けしてよい。画質スコア機２４０は、推定書類に応じて各スコアを別々に重み付けしてよい。例えば、契約書に対しては合焦がより重要であってよく、運転免許証に対しては推定形状がより重要であってよい。
【００３５】
画質スコア機２４０は、質スコア、合焦スコア、推定形状スコア、および境界適合スコアを質スコア比較機２４５に提供する。いくつかの実施形態では、質スコア比較機２４５は、質スコアを閾値保存部２５０からの質スコア閾値と比較する。質スコアが質スコア閾値を満たしている場合、質スコア比較機２４５は、書類２０５の該当する画像を認証モジュールに提供する。例えば、質スコアが０．８５で、質スコア閾値が０．８０である場合、質スコア比較機２４５は、該当する画像を認証モジュールに提供してよい。質スコアが質スコア閾値を満たしていない場合、質スコア比較機２４５は、画質スコア機２４０から受信した追加の質スコアを比較し続ける。質スコア比較機２４５が書類の画像を認証モジュールに提供する場合、質スコア比較機２４５は、映像取り込み機２１０に映像の取り込みを停止する信号を提供してよい。
【００３６】
いくつかの実施形態では、質スコア比較機２４５は、質スコア、合焦スコア、推定形状スコア、および境界適合スコアのそれぞれをそれに対応する閾値と比較してよい。各スコアがその対応する閾値を満たしている場合、質スコア比較機２４５は、書類２０５の画像を認証モジュールに提供する。スコアのうちの１つがそれに対応する閾値を満たしていない場合、質スコア比較機２４５は、画質スコア機２４０からの追加の画像のスコアを比較し続けてよい。
【００３７】
いくつかの実施形態では、映像取り込み機２１０は、書類２０５の画像フレームを一定数取り込んでよい。この場合、システム２００は全フレームを処理してよい。質スコア比較機２４５は、質スコアが最も高い画像を認証モジュールに提供してよい。質スコアならびに、必要であれば、合焦スコア、推定形状スコア、および境界適合スコアが閾値保存部２５０にある閾値を満たしていれば、質スコア比較機２４５は、質スコアの最も高い画像のみを認証モジュールに提供してよい。どの画像も十分な質スコアを有していない場合、質スコア比較機２４５は、ユーザがよりよい書類２０５の画像の取り込みを試みる必要があることを示すデータを提供してよい。
【００３８】
いくつかの実施形態では、質スコア比較機２４５は、対応する閾値を満たしていなかったスコアに特有のフィードバックをユーザに提供してよい。例えば、合焦スコアが合焦スコア閾値を満たしていない場合、質スコア比較機２４５は、合焦の改善を試みるためにユーザにフィードバックを提供してよい。推定形状スコアと境界適合スコアの両方がそれに対応する閾値を満たしていない場合、質スコア比較機２４は、モバイルデバイスを書類に平行に保持して背景が対照的な面の上に書類２０５を置くようユーザにフィードバックを提供してよい。
【００３９】
図３は、書類の画像の質を評価する一例のプロセス３００を示している。全体的に、プロセス３００は、画像内に捉えられた書類の質を反映する質スコアを決定する。質スコアは、書類の合焦、プロセスが書類の境界を識別した信頼性、および書類の推定形状に対する識別後の書類の形状のずれに基づいている。プロセス３００は、１つ以上のコンピュータを含むコンピュータシステム、例えば、図１に示したようなシステム１００または図２に示したようなシステム２００によって実施されているものとして記載される。
【００４０】
システムは、書類の１つ以上の画像を受信した（３１０）。いくつかの実施形態では、書類は、身分証明書（例えば運転免許証、パスポートなど）である。いくつかの実施形態では、書類は、契約書またはその他の法的書類である。いくつかの実施形態では、書類の画像は、映像のフレームである。
【００４１】
システムは、１つ以上の画像のうちの第１の画像内で、書類の推定形状と同様の形状を有する対象物を検知する（３２０）。いくつかの実施形態では、システムは、画像内の画素どうしのコントラストを検知する。隣接する画素のコントラストがより大きい領域は、書類のエッジに該当する可能性が高い領域であることがある。
【００４２】
システムは、第１の画像の鮮鋭さを反映する合焦スコアを決定する（３３０）。いくつかの実施形態では、合焦スコアは、対象物として識別した画像の一部の鮮鋭さのみを反映する。
【００４３】
システムは、対象物が書類と一致している確率を反映する境界適合スコアを決定する（３４０）。境界適合スコアは、識別した対象物の境界が書類の境界である確率を反映してよい。いくつかの実施形態では、境界に沿った画素どうしのコントラストが画像の他の領域よりも強い場合、境界適合スコアは、識別した対象物の境界が書類の境界である確率がより高いことを示していてよい。
【００４４】
システムは、対象物の形状と書類の推定形状との相関関係を反映する推定形状スコアを決定する（３５０）。いくつかの実施形態では、書類の推定形状が直角の角を有し、対象物の形状がほぼ直角の角を有している場合、相関関係スコアはより大きくてよい。いくつかの実施形態では、書類の推定形状が長辺と短辺との比率を有し、対象物のその同じ比率がほぼ同じ値である場合、相関関係スコアはより大きくてよい。
【００４５】
システムは、合焦スコア、境界適合スコア、および推定形状スコアに基づいて、第１の画像の質を反映する質スコアを決定する（３６０）。いくつかの実施形態では、システムは、合焦スコアと境界適合スコアと推定形状スコアとの合計または平均を算出する。いくつかの実施形態では、合焦スコア、境界適合スコア、および推定形状スコアの各々を重み付けすることによって質スコアを決定する。システムは、書類の種類もしくはデバイスの種類、またはこの両方に従って各スコアを別々に重み付けしてよい。デバイスの種類は、システムがスコアを別々に重み付けする原因となることもある。例えば、システムは、画像を携帯電話のカメラまたはウェブカメラで取り込むシステムに従って境界適合スコアを別々に重み付けしてよい。
【００４６】
システムは、質スコアが質スコア閾値を満たしているかどうかを判断する（３７０）。いくつかの実施形態では、システムは、合焦スコアが合焦スコア閾値を満たしているかどうかを判断する。いくつかの実施形態では、システムは、境界適合スコアが境界適合合焦スコアを満たしているかどうかを判断する。いくつかの実施形態では、システムは、推定形状スコアが推定形状スコア閾値を満たしているかどうかを判断する。
【００４７】
システムは、質スコアが質スコア閾値を満たしているかどうかの判断に基づいて、第１の画像に対して書類認証を実行するかどうかを決定する（３８０）。いくつかの実施形態では、システムは、質スコアが質スコア閾値を満たしていれば、画像に対して書類認証を実行する。いくつかの実施形態では、システムは、質スコア、境界適合スコア、推定形状スコア、および合焦スコアのそれぞれがそれに対応する閾値を満たしていれば、画像に対して書類認証を実行する。いくつかの実施形態では、システムは、質スコア、境界適合スコア、推定形状スコア、および合焦スコアの任意の組み合わせのそれぞれがそれに対応する閾値を満たしていれば、画像に対して書類認証を実行する。
【００４８】
いくつかの実施形態では、システムは、書類の１つ以上の画像の各々に対して段階３１０〜３８０を実行する。この場合、システムは、書類認証のために質スコアが最も高い画像を選択する。システムは、質スコアおよびその他のいずれかのスコアがそれに対応する閾値を満たしていれば、質スコアが最も高い画像のみを選択してよい。いくつかの実施形態では、どの画像も十分な質ではないことがある。その場合、システムは、どの画像に対しても書類認証を実行しなくてよい。いくつかの実施形態では、システムは、システムが特定の継続時間を超えて画像を処理している場合、どの画像に対しても書類認証を実行しなくてよい。例えば、システムが１分間にわたって画像を処理している場合、システムは、どの画像に対しても書類認証を実行しなくてよい。この場合、システムは、書類の画像を取り込む別の配置構成を試みるようユーザにフィードバックを提供してよい。
【００４９】
いくつかの実施形態では、閾値は、デバイスによって異なっていてよい。例えば、システムがカメラ付き携帯電話で画像を取り込む場合、閾値は、システムがウェブカメラで画像を取り込む場合とは異なっていてよい。
【００５０】
さらに詳細には、この明細書に記載したプロセスは、実時間の映像入力を取得して視野内で運転免許証のカードを検知するように設計されている。検知された免許証は、その画像から分割され、品質メトリックに沿って必要な解像度で標準の長方形形式で返されて、さらに処理を進める適性を判断する。
【００５１】
本方法は、高さが３００画素のグレースケールで横置きのフレームバッファにカスタマイズされてよい。その他のどのようなフォーマットの画像も、３００画素である画像寸法を最小にするためにグレースケールに変換され、サンプリングしなおされる。どのようなサイズで入力された映像フレームでも使用できるが、所望の出力解像度に耐え得るものでなければならない。所望の出力解像度を満たすことができなければ、その出力はアップサンプリングされ、解像度の品質メトリックは低スコアを示す。
【００５２】
本方法は、カードが映像画像の中央に提示されることを推定してよく、面積のおよそ６分の１が背景との境界である。これは図４に見ることができ、この図は、サンプル映像を（例えばラップトップコンピュータから名刺を）取り込む様子を示している。図のエッジに垂直な線は、６分の１を境界とする推奨取り込み領域を示し、太い境界線（例えば限界品質）は検知したカードをハイライトしている。
【００５３】
取り込まれた各映像フレームは、ダウンサンプリングされ、グレースケールに変換され、図５に示したように、線の候補を見つけるために６分の１の境界付近にあるエッジが検知される。４つの境界それぞれに対し、正確なエッジに最も適合していると思われる２つのエッジ候補を使用して長方形の候補を作成する。この長方形の候補は、その形状に関してスコア化され、もっともらしいカードの候補（例えばアスペクト比が３．３７０対２．１２５の大きなカード）を切り抜く。
【００５４】
いくつかの実施形態では、本方法はエッジに基づくものであるため、カードがその写真内にコントラストの強い他のエッジを含んでいる場合、またはカードが背景と似たような色である場合、長方形を作成するために正しい線の候補を見つける追加処理を実行してよい。正確な一連の線または正確な長方形を検知できない場合、取り込みプロセスは次の映像フレームに進む。
【００５５】
もっともらしい長方形の候補（例えばその時点では凸状の四辺形）が選ばれ、その後、長方形（例えば３．３７０ｘ２．１２５）にマッピングされ、要求された解像度でその形状にレンダリングしなおされる。長方形との適合は、図６に示したように大ざっぱにカードに合わせるだけでよい。いくつかの実施形態では、この動作は、長方形の位置調整をより高い解像度で微調整することを含む。
【００５６】
この動作は、長方形のサンプルを質に対して分析することを含む。計算されるメトリックには、合焦、露出、彩度および解像度がある。いくつかの実施形態では、これらは０〜１００の度数（例えば１００は最高スコアを示す）で返される。長方形の信頼性スコアに沿ったこれらの質スコアは、総合的な取り込みスコアとして使用される。
【００５７】
一回の取り込みが完了したあと、ソフトウェアは、映像フィード上で検知した長方形を表示し、その長方形をカラーコード化して取り込みスコアを反映できる（例えば赤＝不可（ｐｏｏｒ）、黄＝限界（ｍａｒｇｉｎａｌ）、緑＝良（ｇｏｏｄ））。
【００５８】
取り込み方法は継続し、別のフレームを取り込み、長方形を検知し、結果をスコア化する。新たな取り込みが古い取り込みよりも良好であると思われる場合、新たな結果が保持される。悪くなったと思われる場合、本方法は取り込みを続行する。特定の時間量（例えば３秒）のあとに良好と思われる取り込みが検知された場合、その取り込みは完了する。特定の時間量（例えば３秒）のあとに良好と思われる取り込みが検知されない場合、前回の最良と思われた結果は消去され、別の取り込みの試行が開始される。指定した回数の取り込みが試行されたあと（例えば９秒に値する）、本方法は、取り込みがうまく完了しなかったと判断する。
【００５９】
いくつかの実施形態では、良好と思われる取り込みが最初の特定の時間量（例えば３秒）で検知された場合、その結果を保存することが有益なことがあるが、もう一回試行して（例えば３秒の試行）その結果の方が良好かどうかを判断してもよい。良好と思われる質の画像を取得したあと、長方形の出力は、位置調整の微調整、光学文字認識、運転免許証の状態検知、色（ホワイトバランス）補正、照明補正などのさらに他の処理のために使用され得る。いくつかの実施形態では、ラップトップコンピュータなどのデバイスが１フレームあたり１０ミリ秒の割合で本方法を実行し、モバイルデバイス上でほぼ実時間で実行してよい。
【００６０】
図７は、本明細書に記載した技術を実施するのに使用できるコンピューティングデバイス７００およびモバイルコンピューティングデバイス７５０の一例を示している。コンピューティングデバイス７００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレームなどの様々な形態のデジタルコンピュータ、およびその他の適切なコンピュータを表すことを意図している。モバイルコンピューティングデバイス７５０は、携帯情報端末、携帯電話、スマートフォンなどの様々な形態のモバイルデバイス、およびその他の類似のコンピューティングデバイスを表すことを意図している。ここに示した構成要素、その接続および関係、ならびにその機能は、例にすぎないことを意味しており、限定的なものであることを意味しているのではない。
【００６１】
コンピューティングデバイス７００は、プロセッサ７０２、メモリ７０４、記憶装置７０６、メモリ７０４と複数の高速拡張ポート７１０とに接続している高速インターフェース７０８、および低速拡張ポート７１４と記憶装置７０６とに接続している低速インターフェース７１２を備えている。プロセッサ７０２、メモリ７０４、記憶装置７０６、高速インターフェース７０８、高速拡張ポート７１０、および低速インターフェース７１２はそれぞれ、様々なバスを用いて相互接続され、共通のマザーボード上に、または必要に応じてその他の方法で取り付けられてよい。プロセッサ７０２は、高速インターフェース７０８に接続しているディスプレイ７１６などの外部入力／出力デバイスにＧＵＩ用のグラフィック情報を表示するために、メモリ７０４または記憶装置７０６に保存されている命令など、コンピューティングデバイス７００の内部で実行する命令を処理できる。他の実施形態では、必要に応じて複数のメモリとともに、かつメモリの種類に応じて、複数のプロセッサおよび／または複数のバスを使用してよい。また、複数のコンピューティングデバイスが接続されて、各デバイスが必要な動作の部分（例えばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムなど）を提供してよい。
【００６２】
メモリ７０４は、コンピューティングデバイス７００の内部に情報を保存する。いくつかの実施形態では、メモリ７０４は、１つまたは複数の揮発性メモリユニットである。いくつかの実施形態では、メモリ７０４は、１つまたは複数の不揮発性メモリユニットである。メモリ７０４は、磁気ディスクまたは光学ディスクなど、別の形態のコンピュータ可読媒体であってもよい。
【００６３】
記憶装置７０６は、コンピューティングデバイス７００に対して大量の保存を実現することが可能である。いくつかの実施形態では、記憶装置７０６は、コンピュータ可読媒体、例えばフロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、もしくはテープデバイス、フラッシュメモリまたはその他の類似のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくはその他の構成内のデバイスを含むデバイスのアレイなどであってもよいし、それを含むものであってもよい。命令は、情報のキャリアに保存できる。命令は、１つ以上の処理デバイス（例えば、プロセッサ７０２）によって実行されたとき、前述した方法のような１つ以上の方法を実施する。命令は、コンピュータ可読媒体または機械可読媒体などの１つ以上の記憶装置（例えば、メモリ７０４、記憶装置７０６、またはプロセッサ７０２のメモリ）に保存することもできる。
【００６４】
高速インターフェース７０８は、コンピューティングデバイス７００に対して帯域幅を多く要する動作を管理し、低速インターフェース７１２は、それよりも少ない帯域幅を要する動作を管理する。そのような機能の割り当ては、一例にすぎない。いくつかの実施形態では、高速インターフェース７０８は、メモリ７０４、ディスプレイ７１６（例えばグラフィックスプロセッサまたはアクセラレーターを介して）、および高速拡張ポート７１０に接続され、高速拡張ポートは、様々な拡張カードを受け入れてよい。この実施形態では、低速インターフェース７１２は、記憶装置７０６および低速拡張ポート７１４に接続される。低速拡張ポート７１４は、様々な通信ポート（例えばＵＳＢ、ブルートゥース（登録商標、以下同じ）、イーサネット（登録商標、以下同じ）、無線イーサネット）を含んでいてよく、キーボード、ポインティングデバイス、スキャナ、またはスイッチやルータなどのネットワーキングデバイスなどの１つ以上の入力／出力デバイスに、例えばネットワークアダプタを介して接続されてよい。
【００６５】
コンピューティングデバイス７００は、図示したように、いくつかの異なる形態で実装されてよい。例えば、標準のサーバ７２０として実装されてもよいし、またはそのようなサーバのグループ内で複数回実装されてもよい。さらに、ラップトップコンピュータ７２２などのパーソナルコンピュータに実装されてよい。ラックサーバシステム７２４の一部として実装されてもよい。その代わりに、コンピューティングデバイス７００の構成要素は、モバイルコンピューティングデバイス７５０などのモバイルデバイス内の他の構成要素と組み合わされてよい。そのようなデバイスの各々は、コンピューティングデバイス７００およびモバイルコンピューティングデバイス７５０のうちの１つ以上を含んでいてよく、システム全体が互いに通信する複数のコンピューティングデバイスで作製されてよい。
【００６６】
モバイルコンピューティングデバイス７５０は、構成要素のうちとりわけ、プロセッサ７５２、メモリ７６４、ディスプレイ７５４などの入力／出力デバイス、通信インターフェース７６６、およびトランシーバ７６８を備えている。モバイルコンピューティングデバイス７５０には、追加の保存部を提供するためにマイクロドライブまたはその他のデバイスなどの記憶装置が備わっていてもよい。プロセッサ７５２、メモリ７６４、ディスプレイ７５４、通信インターフェース７６６、およびトランシーバ７６８の各々は、様々なバスを用いて相互接続され、構成要素のいくつかは、共通のマザーボード上に、または必要に応じてその他の方法で取り付けられてよい。
【００６７】
プロセッサ７５２は、メモリ７６４に保存されている命令など、モバイルコンピューティングデバイス７５０内の命令を実行できる。プロセッサ７５２は、別々の複数のアナログプロセッサおよびデジタルプロセッサを含むチップのチップセットとして実装されてよい。プロセッサ７５２は、例えばモバイルコンピューティングデバイス７５０の他の構成要素の調整、例えばユーザインターフェースの制御、モバイルコンピューティングデバイス７５０によって実行されるアプリケーション、およびモバイルコンピューティングデバイス７５０による無線通信などを提供してよい。
【００６８】
プロセッサ７５２は、ディスプレイ７５４に接続している制御インターフェース７５８および表示インターフェース７５６を通してユーザと通信してよい。ディスプレイ７５４は、例えば、ＴＦＴ（Ｔｈｉｎ−Ｆｉｌｍ−Ｔｒａｎｓｉｓｔｏｒ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：薄膜トランジスタ液晶ディスプレイ）ディスプレイまたはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ：有機発光ダイオード）ディスプレイ、またはその他の適切なディスプレイ技術であってよい。表示インターフェース７５６は、グラフィック情報およびその他の情報をユーザに提示するためのディスプレイ７５４を駆動させる適切な回路を備えていてよい。制御インターフェース７５８は、ユーザからコマンドを受信し、それをプロセッサ７５２への送信用に変換してよい。また、外部インターフェース７６２は、プロセッサ７５２との通信を提供してよく、それによってモバイルコンピューティングデバイス７５０と他のデバイスとの近距離通信が可能になる。外部インターフェース７６２は、例えば、いくつかの実施形態では有線通信を提供してよく、または他の実施形態では無線通信を提供してよく、複数のインターフェースを使用してもよい。
【００６９】
メモリ７６４は、モバイルコンピューティングデバイス７５０内に情報を保存する。メモリ７６４は、１つ以上のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、または１つまたは複数の不揮発性メモリユニットとして実装され得る。拡張メモリ７７４が設けられてもよく、かつ拡張インターフェース７７２を通してモバイルコンピューティングデバイス７５０に接続されてもよく、拡張インターフェースには、例えば、ＳＩＭＭ（Ｓｉｎｇｌｅ  Ｉｎ  Ｌｉｎｅ  Ｍｅｍｏｒｙ  Ｍｏｄｕｌｅ）カードインターフェースなどがあってよい。拡張メモリ７７４は、モバイルコンピューティングデバイス７５０に対して余分の保存スペースを提供してもよいし、あるいはモバイルコンピューティングデバイス７５０に対してアプリケーションまたはその他の情報も保存してよい。具体的には、拡張メモリ７７４は、前述したプロセスを実行または追加する命令を含んでいてよく、かつセキュリティ情報も含んでいてよい。そのため、例えば、拡張メモリ７７４は、モバイルコンピューティングデバイス７５０に対するセキュリティモジュールとして設けられてよく、かつモバイルコンピューティングデバイス７５０の安全な使用を可能にする命令を用いてプログラムされてよい。また、セキュリティアプリケーションは、ハッキング不可能な方法でＳＩＭＭカードに識別情報を配置するなどの追加情報と共に、ＳＩＭＭカードを介して提供されてよい。
【００７０】
メモリには、以下で考察するように、例えばフラッシュメモリおよび／またはＮＶＲＡＭメモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ：不揮発性ランダムアクセスメモリ）などがあってよい。いくつかの実施形態では、命令は情報キャリアに保存される。命令は、１つ以上の処理デバイス（例えばプロセッサ７５２）によって実行されるとき、前述したような１つ以上の方法を実施する。命令は、１つ以上のコンピュータ可読媒体または機械可読媒体（例えば、メモリ７６４、拡張メモリ７７４、またはプロセッサ７５２のメモリ）などの１つ以上の記憶装置に保存されることもできる。いくつかの実施形態では、命令は、例えばトランシーバ７６８または外部インターフェース７６２を通して伝播信号で受信され得る。
【００７１】
モバイルコンピューティングデバイス７５０は、通信インターフェース７６６を通して無線で通信してよく、通信インターフェースは必要に応じてデジタル信号処理回路を含んでいてよい。通信インターフェース７６６は、様々な方式またはプロトコルで通信を提供してよく、とりわけＧＳＭ（登録商標）音声通話（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ：移動通信用グローバルシステム）、ＳＭＳ（Ｓｈｏｒｔ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ：ショートメッセージサービス）、ＥＭＳ（Ｅｎｈａｎｃｅｄ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ：拡張メッセージサービス）、またはＭＭＳメッセージ（Ｍｕｌｔｉｍｅｄｉａ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ：マルチメディアメッセージサービス）、ＣＤＭＡ（ｃｏｄｅ  ｄｉｖｉｓｉｏｎ  ｍｕｌｔｉｐｌｅ  ａｃｃｅｓｓ：符号分割多元接続）、ＴＤＭＡ（ｔｉｍｅ  ｄｉｖｉｓｉｏｎ  ｍｕｌｔｉｐｌｅ  ａｃｃｅｓｓ：時分割多元接続）、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｅｌｌｕｌａｒ：デジタル携帯電話）、ＷＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ：広帯域符号分割多元接続）、ＣＤＭＡ２０００、またはＧＰＲＳ（Ｇｅｎｅｒａｌ  Ｐａｃｋｅｔ  Ｒａｄｉｏ  Ｓｅｒｖｉｃｅ：汎用パケット無線システム）などがある。このような通信は、例えば、無線周波数を使用するトランシーバ７６８を介して行われてよい。また、ブルートゥース、ＷｉＦｉなどを使用して、またはその他のトランシーバなどを使用して短距離通信を行ってもよい。また、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信モジュール７７０が、追加でナビゲーションおよび位置に関する無線データをモバイルコンピューティングデバイス７５０に提供してもよく、これは、モバイルコンピューティングデバイス７５０上でアプリケーションを動作させることによって必要に応じて使用されてよい。
【００７２】
モバイルコンピューティングデバイス７５０は、音声コーデック７６０を使用して音声で通信してもよく、音声コーデックは、ユーザから発声された情報を受信し、それを使用可能なデジタル情報に変換してよい。音声コーデック７６０は、その上、例えばモバイルコンピューティングデバイス７５０の端末機にあるスピーカなどを介して、ユーザに聞こえる音を発生させてよい。このような音は、音声電話の呼出からの音を含んでいてよく、録音された音（例えばボイスメッセージ、音楽ファイルなど）を含んでいてよく、また、モバイルコンピューティングデバイス７５０上で動作するアプリケーションによって発生する音を含んでいてもよい。
【００７３】
モバイルコンピューティングデバイス７５０は、図に示したように、多数の異なる形態で実装されてよい。例えば、携帯電話７８０として実装されてよい。スマートフォン５８２、携帯情報端末、またはその他の類似のモバイルデバイスの一部として実装されてもよい。
【００７４】
本明細書に記載したシステムおよび技術の様々な実施形態は、デジタル電子回路、集積回路、特別設計されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ：特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこの組み合わせで実現され得る。これらの様々な実施形態は、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能かつ／または解釈可能な１つ以上のコンピュータプログラムへの実施形態を含むことができ、プロセッサは、特定用途のものでも汎用のものでもよく、データおよび命令を受信し、かつデータおよび命令を伝送するために、保存システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスに接続される。
【００７５】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラム可能なプロセッサ用の機械命令を含み、高度な手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ言語／機械語で実装され得る。本明細書で使用しているように、機械可読媒体およびコンピュータ可読媒体という用語は、機械命令を機械可読信号として受信する機械可読媒体を含んでいるプログラム可能なプロセッサに機械命令および／またはデータを提供するために使用される、あらゆるコンピュータプログラム製品、装置および／またはデバイス（例えば磁気ディスク、光学ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ））を指す。機械可読信号という用語は、機械命令および／またはデータをプログラム可能なプロセッサに提供するために使用されるあらゆる信号を指す。
【００７６】
ユーザとの相互作用を実現するために、本明細書に記載したシステムおよび技術は、ユーザに情報を表示するためのディスプレイデバイス（例えばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）、ならびにユーザがコンピュータに入力できる手段であるキーボードおよびポインティングデバイス（例えばマウスまたはトラックボール）を有するコンピュータに実装できるものである。その他の種類のデバイスを使用してユーザとの相互作用を実現することも可能である。例えば、ユーザに提供されるフィードバックは、どのような形態の感覚フィードバック（例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、音声、発話または接触による入力など、どのような形態でも受信され得る。
【００７７】
本明細書に記載したシステムおよび技術は、バックエンドの構成要素（例えばデータサーバとして）を含む、またはミドルウェアの構成要素（例えばアプリケーションサーバ）を含む、またはフロントエンドの構成要素（例えば、本明細書に記載したシステムおよび技術の実施形態とユーザが相互作用できるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントのコンピュータ）を含む、またはこのようなバックエンド、ミドルウェア、またはフロントエンドの構成要素の任意の組み合わせを含むコンピューティングシステムに実装できるものである。システムの構成要素は、デジタルデータ通信の任意の形態または媒体（例えば通信ネットワーク）によって相互接続され得る。通信ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、およびインターネットなどがある。
【００７８】
コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、一般に互いに離れており、典型的には通信ネットワークを通して相互作用する。クライアントとサーバとの関係は、コンピュータプログラムがそれぞれのコンピュータで実行され、コンピュータプログラムがクライアントとサーバとの関係を互いに有していることによって成り立つ。
【００７９】
上記にはいくつかの実施形態を詳細に説明したが、その他の修正案も可能である。例えば、クライアントのアプリケーションがデリゲートにアクセスするものとして記載されているが、他の実施形態では、デリゲートは、１つ以上のサーバで実行するアプリケーションなど、１つ以上のプロセッサによって実施される他のアプリケーションで用いられてもよい。また、図に描かれている論理の流れ図は、所望の結果を達成するために図示した特定の順序または連続した順序を要求するものではない。また、他の動作を提供してもよく、あるいは記載した流れ図から動作を削除してもよく、かつ、記載したシステムに他の構成要素を追加したりそこから取り除いたりしてもよい。したがって、その他の実施形態は以下の特許請求の範囲内である。
【図１】
2019519844.tif 000003
【図２】
2019519844.tif 000004
【図３】
2019519844.tif 000005
【図４】
2019519844.tif 000006
【図５】
2019519844.tif 000007
【図６】
2019519844.tif 000008
【図７】
2019519844.tif 000009
【国際調査報告】
2019519844.tif 000010