(57)【要約】カメラが移動する搬送装置の上に搭載され、多平面較正標的の画像を捕捉する、カメラ較正を実施するために、改良された方法、システム、および装置が、提供される。較正プロセスは、捕捉される画像数を低減させながら、同時に全体の情報密度を維持することによって最適化される。１つの実施形態では、カメラ較正を実施するための方法は、複数のカメラを可動プラットフォームの上に装填するステップを含む。複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する。本方法はまた、可動プラットフォームを動作させ、複数のカメラを標的に対して指定された位置に偏移させるステップを含む。
2019530261.tif 000002
【特許請求の範囲】
【請求項１】
カメラ較正を実施するための方法であって、
複数のカメラを可動プラットフォームの上に搭載することであって、前記複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する、ことと、
前記可動プラットフォームを動作させ、前記複数のカメラを前記標的に対して指定された位置に偏移させることと、
前記複数のカメラが、前記標的に対して前記指定された位置に位置するとき、前記可動プラットフォームの移動を一時停止させ、前記複数のカメラの各々から画像を捕捉することと、
前記指定された位置の各々において各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、前記複数のカメラを較正することと
を含む、方法。
【請求項２】
前記平面状の標的領域のいくつかまたは全ては、複数の個別マーカを備え、前記視覚的パターンは、前記個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含む、請求項１に記載の方法。
【請求項３】
前記画像は、フィルタリングされる、請求項１または２のいずれか一方に記載の方法。
【請求項４】
前記複数のカメラを較正することは、前記画像からの個別マーカを識別することを含み、前記個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応する、請求項１−３に記載の方法。
【請求項５】
前記複数のカメラを較正することは、前記複数のカメラのための内的パラメータおよび外的パラメータを導出することを含む、請求項１−４に記載の方法。
【請求項６】
前記モザイク式の凹面形標的は、前記複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含む、請求項１−５に記載の方法。
【請求項７】
前記モザイク式の凹面形標的は、前記モザイク式の凹面形標的へのバックライトを備える、請求項１−６のいずれかに記載の方法。
【請求項８】
前記複数の平面状の標的領域の各々は、六角形形状を含む、請求項１−７に記載の方法。
【請求項９】
前記モザイク式の凹面形標的は、前記モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットをさらに備える、請求項１−８に記載の方法。
【請求項１０】
前記可動プラットフォームは、コンベヤベルトである、請求項１−９に記載の方法。
【請求項１１】
可動プラットフォームは、前記複数のカメラの焦点距離に対応する距離を隔てて前記モザイク式の凹面形標的から離間される、請求項１−１０に記載の方法。
【請求項１２】
入力スタック機構は、カメラを前記可動プラットフォームの上に装填し、出力スタック機構は、前記カメラを前記可動プラットフォームから装填解除する、請求項１−１１に記載の方法。
【請求項１３】
コンピュータ可読媒体であって、前記コンピュータ可読媒体は、その上に、一連の命令を記憶しており、前記命令は、プロセッサによって実行されると、プロセッサに請求項１−１２に記載の方法のうちの任意のものを実行させる、コンピュータ可読媒体。
【請求項１４】
請求項１−１２に記載の方法のうちの任意のものを実装するための手段を備える、カメラ較正を実施するためのシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、概して、１人以上のユーザのための双方向の仮想現実および拡張現実を促進するための、カメラ較正のためのシステムおよび方法に関する。
【背景技術】
【０００２】
カメラは、多くの場合、画像またはビデオを捕捉するために採用される。カメラによって捕捉されたデータは、種々の異なる目的および状況において使用される。例えば、ウェアラブルデバイスは、１つ以上のオンボードカメラを含み、そのウェアラブルデバイスのユーザの周囲の囲繞環境に関する画像データを提供してもよい。１つの実施例は、ユーザへの立体的なディスプレイを通した拡張現実の提示のための画像を捕捉するように構成される、２つの前方向きに配向されたカメラを特徴とする、立体視的なウェアラブルグラスである。ウェアラブルグラスはまた、ユーザの目線の画像を捕捉するために後方向きに配向されたカメラを含んでもよい。
【０００３】
カメラ較正は、多くの場合、カメラおよびカメラによって捕捉された画像データから抽出される情報の精度および正確度を確実にするために実施される。カメラ較正プロセスは、内的パラメータおよび外的パラメータ等のカメラの較正データの判定を可能にする、画像を産出するカメラデバイスの真のパラメータを判定する。内的パラメータは、限定ではないが、焦点、焦点距離、主点、および変形係数を含む。外的パラメータは、限定ではないが、複数のカメラ間の位置関係、およびセンサ間の並進オフセットおよび回転オフセットを含む。
【０００４】
従来、カメラ較正プロセスは、手動で、単一のチェッカーボード標的を移動して、一連の多数の異なるポーズを通して実施される。各ポーズにおいて、チェッカーボード標的は、完全に静止した状態に保持される一方で、カメラは、チェッカーボードの全体がカメラの視野内に維持されることを確実にしながら、標的の画像を捕捉する。このサイクルは、全てのポーズが処理されるまで継続する。
【０００５】
このアプローチは、きわめて労力を要しかつ時間がかかるため、このタイプの較正プロセスには、多くの欠点が、存在する。そのうえ、多数のポーズを通して標的を移動させるための要件は、較正プロセスのさらにより高い費用および複雑性を作成する高額かつ複雑な標的移動デバイスが導入されない限り、較正プロセス内に変動性の著しい可能性をもたらし、かつ反復可能な結果を得ることがさらにできなくなる状況をもたらす。これらの問題は、従来のカメラ較正プロセスが、多数のカメラが時間効率的かつ反復可能な様式で較正される必要がある大量生産において使用不可能であることを意味する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、カメラ較正を実装するための改良されたアプローチの必要性が、存在する。
【課題を解決するための手段】
【０００７】
本開示の実施形態は、カメラが移動する搬送装置の上に搭載され、多平面較正標的の画像を捕捉する、カメラ較正を実施するために、改良された方法、システム、および装置を提供する。多平面較正標的は、いくつかの実施形態では、バックライトで照らされた標的である。較正プロセスは、捕捉される画像数を低減させながら、同時に全体の情報密度を維持することによって最適化される。
【０００８】
１つの実施形態では、カメラ較正を実施するための方法は、複数のカメラを可動プラットフォームの上に装填するステップを含む。複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する。本方法はまた、可動プラットフォームを動作させ、複数のカメラを標的に対して指定された位置に偏移させるステップを含む。本方法は、複数のカメラが、標的に対して指定された位置に位置するとき、可動プラットフォームの移動を一時停止させ、複数のカメラのそれぞれから画像を捕捉するステップをさらに含む。そのうえ、本方法は、指定された位置のそれぞれにおいて各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、複数のカメラを較正するステップを含む。
【０００９】
１つ以上の実施形態では、いくつかまたは全ての平面状の標的領域は、複数の個別マーカを含んでもよく、視覚的パターンは、個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含んでもよい。画像は、フィルタリングされてもよい。複数のカメラを較正するステップは、画像からの個別マーカを識別するステップを含んでもよい。個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応してもよい。
【００１０】
１つ以上の実施形態では、複数のカメラを較正するステップは、複数のカメラのための内的パラメータおよび外的パラメータを導出するステップを含んでもよい。モザイク式の凹面形標的は、複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含んでもよい。モザイク式の凹面形標的は、モザイク式の凹面形標的へのバックライトを含んでもよい。複数の平面状の標的領域はそれぞれ、六角形形状を含んでもよい。
【００１１】
１つ以上の実施形態では、モザイク式の凹面形標的はまた、モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。可動プラットフォームは、コンベヤベルトであってもよい。可動プラットフォームは、複数のカメラの焦点距離に対応する距離を隔ててモザイク式の凹面形標的から離間されてもよい。入力スタック機構は、カメラを可動プラットフォームの上に装填してもよく、出力スタック機構は、カメラを可動プラットフォームから装填解除してもよい。
【００１２】
別の実施形態では、コンピュータ可読媒体は、その上に、プロセッサによって実行されると、プロセッサにカメラ較正を実施するための方法を実行させる一連の命令を記憶し、本方法は、複数のカメラを可動プラットフォームの上に装填するステップを含む。複数のカメラは、複数の平面状の標的領域を有するモザイク式の凹面形標的に向かって配向される、カメラ画像捕捉方向を有する。本方法はまた、可動プラットフォームを動作させ、複数のカメラを標的に対して指定された位置に偏移させるステップを含む。本方法は、複数のカメラが、標的に対して指定された位置に位置するとき、可動プラットフォームの移動を一時停止させ、複数のカメラのそれぞれから画像を捕捉するステップをさらに含む。そのうえ、本方法は、指定された位置のそれぞれにおいて各カメラによって捕捉された画像の集合から観察される視覚的パターンを使用して、複数のカメラを較正するステップを含む。
【００１３】
１つ以上の実施形態では、いくつかまたは全ての平面状の標的領域は、複数の個別マーカを含んでもよく、視覚的パターンは、個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含んでもよい。画像は、フィルタリングされてもよい。複数のカメラを較正するステップは、画像からの個別マーカを識別するステップを含んでもよい。個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応してもよい。
【００１４】
１つ以上の実施形態では、複数のカメラを較正するステップは、複数のカメラのための内的パラメータおよび外的パラメータを導出するステップを含んでもよい。モザイク式の凹面形標的は、複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含んでもよい。モザイク式の凹面形標的は、モザイク式の凹面形標的へのバックライトを含んでもよい。複数の平面状の標的領域はそれぞれ、六角形形状を含んでもよい。
【００１５】
１つ以上の実施形態では、モザイク式の凹面形標的はまた、モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。可動プラットフォームは、コンベヤベルトであってもよい。可動プラットフォームは、複数のカメラの焦点距離に対応する距離を隔ててモザイク式の凹面形標的から離間されてもよい。入力スタック機構は、カメラを可動プラットフォームの上に装填してもよく、出力スタック機構は、カメラを可動プラットフォームから装填解除してもよい。
【００１６】
別の実施形態では、カメラ較正を実施するためのシステムは、モザイク式の凹面形標的の主軸が、可動プラットフォームに向かって配向されるように、複数のカメラおよび複数の平面状の標的領域を有するモザイク式の凹面形標的を保持するための搭載表面を有する、可動プラットフォームを含む。可動プラットフォームは、モザイク式の凹面形標的から離間されてもよい。
【００１７】
１つ以上の実施形態では、可動プラットフォームは、コンベヤベルトであってもよい。可動プラットフォームは、複数のカメラの焦点距離に対応する距離を隔ててモザイク式の凹面形標的から離間されてもよい。システムはまた、カメラを可動プラットフォームの上に装填するための入力スタック機構と、カメラを可動プラットフォームから装填解除するための出力スタック機構とを含んでもよい。
【００１８】
１つ以上の実施形態では、いくつかまたは全ての平面状の標的領域は、複数の個別マーカを含んでもよく、視覚的パターンは、個別マーカの画像と、チェッカーボードパターンのコーナーポイントとを含んでもよい。画像は、フィルタリングされてもよい。複数のカメラを較正するステップは、画像からの個別マーカを識別するステップを含んでもよい。個別マーカは、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応してもよい。
【００１９】
１つ以上の実施形態では、複数のカメラを較正するステップは、複数のカメラのための内的パラメータおよび外的パラメータを導出するステップを含んでもよい。モザイク式の凹面形標的は、複数の平面状の標的領域からの角度付けられた継目によって形成される湾曲の半径を含んでもよい。モザイク式の凹面形標的は、モザイク式の凹面形標的へのバックライトを含んでもよい。複数の平面状の標的領域はそれぞれ、六角形形状を含んでもよい。モザイク式の凹面形標的はまた、モザイク式の凹面形標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。
【００２０】
別の実施形態では、カメラ較正の標的は、複数の平面状の領域を有するモザイク式の凹面形構造を含む。加えて、いくつかまたは全ての平面状の領域は、複数の個別マーカをその上に有する。さらに、モザイク式の凹面形構造は、複数の平面状の領域からの角度付けられた継目によって形成される湾曲の半径を有する。
【００２１】
１つ以上の実施形態では、標的の湾曲の半径は、ＡｒｕｃｏまたはＣｈａｒｕｃｏ標的に対応する。標的はまた、バックライトを含んでもよい。複数の平面状の領域はそれぞれ、六角形形状を含んでもよい。標的はまた、標的を固定された配向に搭載するための搭載ブラケットを含んでもよい。
【００２２】
本明細書に説明かつ図示される個々の実施形態はそれぞれ、他のいくつかの実施形態の任意のものの構成要素および特徴から容易に分離される、またはそれらと容易に組み合わされ得る、個別の構成要素および特徴を有する。
【００２３】
本開示の目的および利点のさらなる詳細が、以下に、詳述される説明、図面、および請求項の中で説明される。前述の一般的な説明および以下の詳述される説明は両方とも、例示的かつ説明的であり、本開示の範囲に関して限定することは意図されない。
【図面の簡単な説明】
【００２４】
本開示がより深く理解されるように、本開示のいくつかの実施形態が、ここで、添付図面を参照して、実施例としてのみ説明されるであろう。
【００２５】
【図１Ａ】図１Ａおよび１Ｂは、本開示のいくつかの実施形態による、カメラ較正を実施するための例示的システムを図示する。
【図１Ｂ】図１Ａおよび１Ｂは、本開示のいくつかの実施形態による、カメラ較正を実施するための例示的システムを図示する。
【図２】図２は、本開示のいくつかの実施形態による、多平面標的の内部の図を提供する。
【図３Ａ】図３Ａは、例示的なＡｒｕｃｏマーカを示し、図３Ｂは、例示的なＣｈａｒｕｃｏ標的を示す。
【図４Ａ】図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的のためのフレームワークを図示する。
【図４Ｂ】図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的のためのフレームワークを図示する。
【図４Ｃ】図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的のためのフレームワークを図示する。
【図５】図５は、バックライトで照らされた標的を有する較正システムの実施形態を図示する。
【図６】図６は、複数の列のカメラのアレイが、１つ以上のコンベヤベルトの上に設置され、標的の画像を捕捉する、例示的アプローチを図示する。
【図７】図７は、カメラ較正を実施するためのアプローチのフローチャートを示す。
【図８Ａ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｂ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｃ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｄ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｅ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｆ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｇ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｈ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｉ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｊ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｋ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｌ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｍ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｎ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｏ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｐ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｑ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｒ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図８Ｓ】図８Ａ−８Ｓは、本開示のいくつかの実施形態による、較正プロセスのための例示的実施例を提供する。
【図９】図９は、較正を実施するためにカメラによって捕捉された画像データを処理するためのアプローチのフローチャートを示す。
【図１０】図１０は、本開示のいくつかの実施形態が実装され得るコンピュータシステムを描写する。
【発明を実施するための形態】
【００２６】
ここに、種々の実施形態が、当業者が本開示を実践することを可能にするように本開示の例証的実施例として提供される図面を参照して、詳細に説明されるであろう。とりわけ、下記の図面および実施例は、本開示の範囲を限定する意図はない。本開示のある要素が、既知の構成要素（または方法またはプロセス）を使用して部分的または完全に実装され得るが、本開示の理解のために必要であるそのような既知の構成要素（または方法またはプロセス）の部分のみが説明され、そのような既知の構成要素（または方法またはプロセス）の他の部分の詳細説明は、本開示を不明瞭にしないように省略されるであろう。さらに、種々の実施形態は、例証として本明細書に言及される構成要素の現在と将来の既知の均等物をも包含する。
【００２７】
図１Ａおよび１Ｂは、本開示のいくつかの実施形態による、カメラ較正を実施するための例示的システム１００を図示する。システム１００は、可動プラットフォームデバイス（例えば、コンベヤベルト１０４）が複数のカメラのための複数の設置位置を含む較正を実施するための複数カメラ接近部を提供する。図１Ａおよび１Ｂに図示されるシステム１００では、コンベヤベルト１０４は、４台のカメラ１１０ａ−ｄのための４つの位置（位置１、２、３、および４）を含み、任意の所与の時間に同時較正を受ける。しかしながら、本開示の代替実施形態は、同時に較正を受ける任意の数のカメラを保持することができる複数カメラ較正プラットフォームを含み得、したがって、本開示は、具体的にそのように請求されない限り、同時較正に対するカメラのいかなる特定の数にも限定されないことに留意されたい。
【００２８】
標的１０２は、その上に位置する複数の平面状の標的部分を有する略部分的に球形な形状を含む。完全ＦＯＶ（視野）標的は、撮像機の全ての区分が、検出可能な点によって被覆されることを確実にし、該撮像機は、入射光をデジタル出力信号に変換するカメラの内側のセンサ（例えば、ＣＭＯＳまたはＣＣＤセンサ）に対応する。いくつかの実施形態では、標的１０２は、カメラ１１０ａ−ｄの焦点距離に設定される球の半径を有するモザイク式の球形標的を備える。
【００２９】
動作時、較正されるべきカメラは、入力スタック１１２からコンベヤベルト１０４上に装填される。所与の時間において、複数のカメラが、コンベヤベルト１０４上に位置付けられる。カメラはそれぞれ、それらの画像捕捉方向を標的１０２に向けて、設定距離を隔てて相互から離間された指定された位置に位置する。
【００３０】
コンベヤベルト１０４は、カメラの場所を入力スタック１１２の方向から出力スタック１１４の方向に偏移させるように動作する。コンベヤベルト１０４の移動は、カメラが較正のための設定位置に到達すると、一時停止される。この図に示されるように、コンベヤベルト１０４は、カメラ１１０ｄが位置１に位置し、カメラ１１０ｃが位置２に位置し、カメラ１１０ｂが位置３に位置し、かつカメラ１１０ａが位置４に位置すると、一時停止される。
【００３１】
コンベヤが一時停止されると、個別の位置における各カメラは、標的１０２の画像を捕捉する。各カメラによって画像が捕捉された後、コンベヤは、カメラが次の後続位置に偏移し、標的１０２の別の画像を捕捉するように再度移動する。この様式で、各カメラは、位置１、２、３、４のそれぞれから、標的１０２の画像を連続的に捕捉するであろう。いったんカメラが各位置１−４から画像を撮影し終えると、その位置の次の偏移は、そのカメラを出力スタック１１４の中に設置させるであろう。
【００３２】
カメラによって捕捉された画像は、標的１０２内のいくつかまたは全てのマーカ平面を含む。以下により詳細に議論されるように、例えば、カメラのための内的パラメータおよび外的パラメータを判定することによってカメラを較正するために、捕捉された画像の内容から、計算が、実施される。
【００３３】
このアプローチは、多種多様の角度付けられた平面が各ショットの中で検出可能であり、ロバストな較正結果のために価値を有するものであることを確実にする。それはまた、頭部搭載追跡システム等の空間的制約のある用途の上に存在するもの等の広角レンズに対し、ショット毎に最大数の標的表面に合焦することを確実にする。Ａｑｕｉｆｉ単一画像較正装具等の多平面捕捉を実施する代替的な試みは、実質的により大きな占有面積を要求するが、試験下のカメラのＦＯＶを完全には網羅しない。
【００３４】
図２は、本開示のいくつかの実施形態による、標的１０２の内部の図を提供する。いくつかの実施形態では、標的１０２は、各小面／平面領域２０２が個別の平面状の標的を含む、複数の平面状の領域から成る多面構造である。いくつかの実施形態では、平面状の標的は、ＣｈａｒｕｃｏまたはＡｒｕｃｏ標的として実装される。例示的なＡｒｕｃｏマーカが、図３Ａに図示される。Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的と典型的なチェッカーボード標的との間の主要な差異は、Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的が、相互に明白に異なる個々のマーカを含むことである。
【００３５】
Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的はそれぞれ、所与のマーカおよびその空間内位置を一意に識別するパターン／マーカを含む。Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的は個々のマーカから構成されるため、これは、カメラが較正点を得るためにその完成形態の標的の全体を見る必要がないことを意味する。代わりに、カメラは、標的の画像を部分的にのみ捕捉することができ、依然として、その標的から較正を実施することが可能である。
【００３６】
Ａｒｕｃｏ標的とは異なり、Ｃｈａｒｕｃｏ標的は、チェッカーボードの使用を伴い、Ａｒｕｃｏ標的の個々のマーカ特徴を組み合わせる。このアプローチは、あるタイプの計算のための限局化の判定を改良する役割を果たす。図３Ｂは、例示的なＣｈａｒｕｃｏ標的３１６を図示する。
【００３７】
ＣｈａｒｕｃｏまたはＡｒｕｃｏ標的の使用は、たとえ標的全体がフレーム内に存在しない場合であっても、画像捕捉が有効な状態であることを確実にする。これは、例えば、一連のカメラが連続的に図１Ａ−Ｂに図示されるような定常状態の標的を通過するように移動されている場合に生じ得る。したがって、本開示のいくつかの実施形態のこの特徴は、全ての標的および部分要素を各ショット内に明確に視認可能であるようにする必要性に起因する、カメラの精密な位置合わせおよび緊密に制御された光を要求する標準的なチェッカーボード標的を使用する代替アプローチに対して、明白に異なる利点を提供する。
【００３８】
図４Ａ−Ｃは、本開示のいくつかの実施形態による、標的１０２のためのフレームワークを図示する。図４Ａは、標的１０２の凹面形／球形の内部の中が見える、標的１０２の正面図である。
【００３９】
複数の切子形／モザイク式の平面状部分４０４が、一定角度の遷移で縁間を接触させて積み重ねられ、標的１０２を形成する。切子形の平面状部分４０４はそれぞれ、六角形の構造として形成されてもよいが、他の多角形形状もまた、本開示の範囲内である。切子形の平面状部分４０４のそれぞれの間の継部の角度は、標的１０２の全体的な部分的球形形状の所望される半径によって判定される。前述のように、１つの実施形態では、半径は、概して、較正されているカメラの焦点距離に整合するように構成される。
【００４０】
切子形の平面状部分４０４のサイズは、各小面の上に設置されるべきＣｈａｒｕｃｏまたはＡｒｕｃｏ標的の所望される全体的なサイズ、および／または各小面の上に設置されるべき個々のマーカの数によって判定される。
【００４１】
図４Ｂおよび４Ｃは、コンベヤベルトに対して所与の位置および配向に標的１０２を搭載するために標的１０２の背面に取り付けられた、搭載ブラケット４０２を示す。コンベヤベルト上のカメラは、標的１０２に対して移動することが可能であるため、これは、標的が、カメラが複数のポーズから標的の画像を捕捉することを可能にする較正プロセスの間に位置的に調節される必要がないことを意味することに留意されたい。したがって、搭載ブラケット４０２は、構造的に強くかつ効率的に製造可能であることの両方である係止位置ブラケットとして構成されることができる。
【００４２】
各平面状部分を隣接する平面状部分に取り付けるために、ブラケット４０６が、採用される。これらのブラケット４０６は、１つの平面状部分を、その隣接した平面状部分に対して固定された位置に確実に保持する役割を果たすことができる、任意の好適な構成を含む。いくつかの実施形態では、ブラケット４０６は、平面状部分４０４をその隣接した平面状部分に対して適切な継合角度で搭載するために、角度付けられた湾入形状を含む。
【００４３】
図５は、１つ以上の光源５０２が標的１０２のバックライトとして提供される、バックライトで照らされた標的１０２を有する較正システム５００の実施形態を図示する。その上に黒色のチェッカーボード／Ａｒｕｃｏ／Ｃｈａｒｕｃｏマーカを有する白色標的の背後で強いバックライトを使用することによって、ゲインおよび露出設定は、試験下のカメラ上でそれらの最小の設定値に低減され、較正に対して低雑音、運動安定性の画像をもたらすことができる。十分な強度を伴い、これはまた、マーカ検出のロバスト性を増加させ、および／またはモーションブラーを低減させる、画像からの非照明要素をマスキングする役割を果たす。いくつかの実施形態では、標的は、不透明であるが、他の実施形態は、異なる透明性レベルの範囲を有する標的を採用してもよい。
【００４４】
このように、鏡面性は、著しく低減および／または完全に排除される。これは、概して、標的の画像の認識を除去し、例えば、画像を横断した白色の「しみ」が較正プロセスの間に生じ得る、鏡面性が、外側の反射から生じるためである。バックライトで照らされた標的は、比較的に明るいため、これは、カメラ露光が、唯一の検出可能な照明が標的からのものであり、いかなる鏡面性をも著しく最小限にさせるように十分に低いレベルであることを可能にする。加えて、全体的な構成プロセスは、較正システム全体の処理能力を増加させる役割を果たす、より急速な露光設定からの増加された検出速度に起因して、より急速に実施されることができる。
【００４５】
構成システムの処理能力要件に応じて、複数の列のカメラが、本開示のいくつかの実施形態内の較正を受けることができる。図６は、複数の列のカメラのアレイ６０２が、１つ以上のコンベヤベルトの上に設置され、標的１０２の画像を捕捉する、例示的アプローチを図示する。標的１０２は、アレイ６０２内のカメラの焦点が、標的６０２に適切に配向されることを確実にするように位置付けられる、および／または構成される。各カメラは、既知の場所に存在し、かつ標的１０２の各平面状の標的表面からオフセットされているため、これは、本明細書に説明される技術が、本実施形態内の較正を実施するために完全に使用可能であることを意味する。
【００４６】
図７は、上記に説明された装置およびシステムを使用してカメラ較正を実施するためのアプローチのフローチャートを示す。７０２において、カメラは、コンベヤ装置上の指定された位置におけるコンベヤ装置の上に装填される。前述のように、較正されるべきカメラは、所与の時間に、複数のカメラが潜在的にコンベヤ装置上に位置付けられる、入力スタックからコンベヤベルトの上に装填されてもよい。カメラはそれぞれ、それらの画像捕捉方向を標的に向けて、規定距離を隔てて相互から離間された指定された位置に位置する。
【００４７】
７０４において、画像は、コンベヤ装置上のカメラのそれぞれからの標的の捕捉物である。コンベヤ装置は、カメラの場所を画像捕捉位置のそれぞれに順に移動させるために使用される。したがって、移動／一時停止／画像捕捉／再度移動のサイクルは、各カメラが各指定された位置から画像を撮影するまで反復される。
【００４８】
７０６において、捕捉された画像が、コンピュータ可読媒体内に記憶される。較正分析が、次いで、画像データに関して実施され、カメラデバイスのための較正パラメータを生成することができる。その後、７１０において、較正されたカメラが、コンベヤ装置から出力スタックの上に装填解除されることができる。
【００４９】
図８Ａから８Ｓは、本開示のいくつかの実施形態による、本較正プロセスのための例示的実施例を提供する。図８Ａは、複数のカメラのための複数の設置位置を有するコンベヤベルト１０４を含む、カメラ較正を実施するための例示的システムを示す。ここで、コンベヤベルト１０４は、較正のために４つのカメラを同時に支持するための４つの位置１、２、３、および４を有するように構成される。前述のように、標的１０２は、いくつかまたは全ての平面状の標的部分がＡｒｕｃｏおよび／またはＣｈａｒｕｃｏ標的を含む、複数の平面状の標的部分を有する略部分的に球形の形状を含む。
【００５０】
データベース６２２は、較正システム内で較正を受けるカメラによって捕捉されるべき画像データを保持するように較正される。データベース６２２は、コンベヤベルト１０４上の各適切な位置において捕捉されるべき画像のための、画像データ内容を個別に記憶するためのデータ部分を含む、データ構造を備える。ここで、データベース６２２は、位置１のための画像データを保持するための、部分６２４−１と、位置２のための画像データを保持するための、部分６２４−２と、位置３のため画像データを保持するための、部分６２４−３と、位置４のための画像データを保持するための、部分６２４−４とを含む。
【００５１】
図８Ｂに示されるように、較正されるべきカメラ６１０ａが、（例えば、入力スタックから）コンベヤベルト１０４の上に装填される。例証のために、この時点において、コンベヤベルト１０４の上に以前に装填された他のカメラは、存在しないと仮定される。しかしながら、他のカメラのための較正がすでに進行中である場合、図８Ｂに示される時間枠において、他のカメラもまた、コンベヤベルト１０４上に示されるであろう。
【００５２】
図８Ｃは、カメラ６１０ａを位置１の中に偏移させるコンベヤベルト１０４の移動を図示する。この時点において、図８Ｄに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａが標的１０２の画像を捕捉することを可能にする。カメラ６１０ａによって捕捉された画像は、標的１０２内のＡｒｕｃｏ／Ｃｈａｒｕｃｏ標的内のいくつかまたは全てのマーカを含む。
【００５３】
図８Ｅに示されるように、捕捉された画像は、データベース６２２内に記憶される。特に、カメラ６１０ａに対して、データベース６２２内にエントリが、作成され、カメラ６１０ａに対するそのエントリ内の場所６２４−１が、位置１に対して捕捉された画像データを記憶するために採用される。
【００５４】
この時点において、図８Ｆに示されるように、コンベヤベルト１０４は、再度移動し始め、カメラ６１０ａを新たな位置に偏移させる。較正されるべき次のカメラ６１０ｂもまた、コンベヤベルト１０４の上に装填される。コンベヤベルトの上に同時に設置されるカメラ６１０ａおよび６１０ｂはそれぞれ、所定の距離を隔てて相互から離間される指定された位置に位置する。
【００５５】
図８Ｇは、カメラ６１０ａおよび６１０ｂを、それぞれ、位置１および２に偏移させるためのコンベヤベルト１０４の移動を図示する。この時点において、図８Ｈに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａおよび６１０ｂがそれらの個別の位置から標的１０２の画像を捕捉することを可能にする。
【００５６】
図８Ｉに示されるように、捕捉された画像は、次いで、データベース６２２の中に記憶される。６１０ａによって捕捉された画像に対して、新たな画像が、データベース６２２内の、このカメラに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置２に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−２の中に設置される。カメラ６１０ｂに関して、このカメラに対してデータベース６２２内に新たなエントリが、作成され、捕捉された画像は、その新たなエントリに対する場所６２４−１内に記憶される。
【００５７】
図８Ｊに示されるように、コンベヤベルト１０４は、再度移動し始め、カメラ６１０ａおよび６１０ｂを新たな位置に偏移させる。この時点において、較正されるべき次のカメラ６１０ｃが、コンベヤベルト１０４の上に装填される。前述のように、コンベヤベルトの上に同時に設置されるカメラ６１０ａ、６１０ｂ、および６１０ｃはそれぞれ、所定の距離を隔てて相互から離間される指定された位置に位置する。
【００５８】
図８Ｋは、カメラ６１０ａ、６１０ｂ、および６１０ｃを、それぞれ、位置１、２、および３に相応して移動させるためのコンベヤベルト１０４の移動を示す。この時点において、図８Ｌに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａ、６１０ｂ、および６１０ｃがそれらの個別の位置から標的１０２の画像を捕捉することを可能にする。
【００５９】
図８Ｍに図示されるように、カメラ６１０ａ、６１０ｂ、および６１０ｃに対して捕捉された画像は、次いで、データベース６２２の中に記憶される。カメラ６１０ａによって捕捉された画像に対して、新たな画像が、データベース６２２内の、このカメラに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置３に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−３の中に設置される。同様に、カメラ６１０ｂによって捕捉された新たな画像に関して、画像データは、データベース６２２内の、このカメラ６１０ｂに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置２に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−２の中に設置される。カメラ６１０ｃに関して、このカメラに対するデータベース６２２内に新たなエントリが、作成され、捕捉された画像は、カメラ６１０ｃに対するその新たなエントリに対する場所６２４−１内に記憶される。
【００６０】
図８Ｎは、カメラ６１０ａ、６１０ｂ、および６１０ｃをそれらの新たな位置に偏移させるためのコンベヤベルト１０４の移動を示す。較正されるべき次のカメラ６１０ｄもまた、コンベヤベルト１０４の上に装填される。前述のように、コンベヤベルトの上に同時に設置されるカメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄはそれぞれ、所定の距離を隔てて相互から離間される指定された位置に位置する。
【００６１】
図８Ｏは、カメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄを、それぞれ、位置１、２、３、および４に移動させるためのコンベヤベルト１０４の移動を示す。この時点において、図８Ｐに示されるように、コンベヤベルト１０４は、一時停止し、カメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄがそれらの個別の位置から標的１０２の画像を捕捉することを可能にする。
【００６２】
図８Ｑに図示されるように、カメラ６１０ａ、６１０ｂ、６１０ｃ、および６１０ｄに対して捕捉された画像は、次いで、データベース６２２の中に記憶される。カメラ６１０ａによって捕捉された画像に対して、新たな画像が、このカメラに対して前述のような同一のエントリの中に記憶されるが、新たな画像は、位置４に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−４の中に設置される。カメラ６１０ｂによって捕捉された新たな画像に関して、画像データは、データベース６２２内の、このカメラ６１０ｂに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置３に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−３の中に設置される。カメラ６１０ａによって捕捉された画像に対して、画像が、データベース６２２内の、このカメラ６１０ｃに対してすでに作成された同一のエントリの中に記憶されるが、新たな画像は、位置２に対して捕捉された画像データを記憶するための、そのエントリ内の場所６２４−２の中に設置される。カメラ６１０ｄに関して、データベース６２２内に新たなエントリが、作成され、捕捉された画像は、カメラ６１０ｄに対するその新たなエントリに対する場所６２４−１内に記憶される。
【００６３】
コンベヤベルトは、ここで、再度移動し始め、較正を受けているカメラの位置を偏移させる。この時点において、カメラ６１０ａは、位置１−４のそれぞれから画像を捕捉した。したがって、図８Ｒに示されるように、カメラ６１０ａは、ここで、コンベヤベルト１０４から装填解除されることができる。
【００６４】
したがって、本アプローチは、各カメラを、標的１０２の画像を捕捉するために、その連続的に要求される位置に自動的に移動させるように動作した。画像が各カメラによって捕捉された後、コンベヤは、カメラが標的１０２の別の画像を捕捉するために次の後続の位置に偏移するように再度移動する。この様式で、各カメラは、位置１、２、３、および４のそれぞれから標的１０２の画像を連続的に捕捉するであろう。いったんカメラが各位置１−４から画像を撮影し終えると、その位置の次の偏移は、そのカメラを出力スタック１１４の中に設置させるであろう。
【００６５】
図８Ｓに示されるように、カメラ６１０ａに対する画像データは、較正モジュール８０２によって処理され、画像データを処理することができる。種々の角度付けられた平面から捕捉された異なる視覚的パターン（例えば、チェッカーボードおよびマーカ画像のコーナーポイントを含む）は、捕捉された画像から識別可能であり、内的パラメータおよび外的パラメータ等の較正結果を生成するために使用される。
【００６６】
１つ以上のユーザは、制御システム８０４を使用して、較正システムおよび／または較正モジュール８０２とインターフェースをとる、およびそれを動作させてもよい。制御システム８０４および較正モジュール８０２は、１つ以上のハードウェアシステム、ソフトウェアアプリケーション、またはハードウェアおよびソフトウェアの組み合わせを動作させる、それとインターフェースをとる、またはそれを実装するために使用され得る、任意のタイプのコンピュータステーションを備える。そのようなコンピュータシステムの実施例は、例えば、ネットワーク化された、またはクラウド系のコンピュータプラットフォームに接続された、サーバ、ワークステーション、パーソナルコンピュータ、または遠隔コンピュータ端末を含む。コンピュータシステムは、ポインティングオブジェクトを操作するためのマウスまたはキーボード等の、システムのアクティビティに対する動作制御を提供するために、ユーザのための１つ以上の入力デバイスを備える。コンピュータシステムはまた、分析結果または制御インターフェースを表示するためのディスプレイモニタ等の表示デバイスと関連付けられてもよい。
【００６７】
画像データおよび／または分析結果は、コンピュータ可読記憶媒体６２０内に記憶されてもよい。コンピュータ可読記憶媒体６２０は、コンピュータ可読記憶媒体６２０に位置するデータへの即座のアクセスを可能にするハードウェアおよび／またはソフトウェアの任意の組み合わせを含む。例えば、コンピュータ可読記憶媒体６２０は、オペレーティングシステムによって動作可能に管理されるコンピュータメモリおよび／またはハードドライブ記憶装置、および／またはネットワークアタッチトストレージ（ＮＡＳ）、ストレージエリアネットワーク（ＳＡＮ）、またはクラウドストレージ等のネットワーク化された記憶デバイス内の遠隔記憶装置として実装され得る。コンピュータ可読記憶媒体６２０はまた、永続記憶装置および／または非永続記憶装置上に記憶装置を有する電子データベースシステムとして実装され得る。
【００６８】
図９は、カメラによって、そのカメラのための較正を実施するために捕捉された画像データを処理するためのアプローチのフローチャートを示す。根本的には、ピンホールカメラは、典型的なカメラを較正するために使用されることができ、較正プロセスの目的は、そのカメラと関連付けられる基礎パラメータを識別することである。特に、本開示におけるカメラ較正プロセスは、３次元空間／座標とカメラによって異なる位置において捕捉される種々の２次元画像との間の変換のパラメータを判定する。
【００６９】
したがって、９０２において、画像データが、カメラによってコンベヤベルト上の異なる位置において捕捉された画像から収集される。前述のように、これらの画像は、標的１０２から既知の距離およびオフセットを隔ててコンベヤベルト上の既知の所定の場所で捕捉された。例証的なシステムは、４つの位置から捕捉された画像を示すが、較正システムおよびその構成要素の具体的な構成に応じて、任意の数の画像が、カメラによって好適に捕捉され、較正のために使用されてもよい。
【００７０】
この時点において、画像データのフィルタリングおよび／または処理が生じてもよい。例えば、Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的内の個々のマーカの周囲からの不要なコンテンツ（例えば、輪郭線コンテンツ）が、カメラによって捕捉され得る。そのようなコンテンツは、較正目的に対して不要であり、したがって、データセットから破棄／フィルタリングされてもよい。加えて、任意の原形を損なった／誤りのあるコンテンツもまた、このステージにおいてフィルタリングされてもよい。
【００７１】
９０４において、マーカが、画像データから識別される。Ａｒｕｃｏ／Ｃｈａｒｕｃｏ標的内の各マーカは、それ自体の個々のコードを有する個々のマーカである。例えば、ハミングコードは、標的内のマーカ毎に一意の署名を生成するために使用されることができる。所与のマーカ内の具体的なパターンが、分析され、マーカ内の各要素の厳密な位置を確認し、パターンが、「デコード」され、半球形の標的１０２の具体的な平面状の標的表面上の具体的な場所において具体的なマーカを識別する。
【００７２】
９０６において、カメラのための内的パラメータおよび外的パラメータが、処理されたマーカデータから導出される。これは、標的の場所の所定の知識が、システムが３次元空間内で識別されたマーカ点の対応付けを確立することができることを意味するため、遂行される。本開示では、複数の標的平面が存在し、これらの平面の全ての場所が、相互に関連して把握されているという事実が、座標空間内に多数の付加的な較正点を提供する。したがって、これは、カメラパラメータの精密かつ正確な推定を大いに促進する。例えば、カメラの射影行列を推定するとき、２次元／３次元の対応付けのそれぞれに対して線形推定を実施することによって、線形解が、取得されることができる。線形推定の代わりに、またはそれに追加して、非線形計算が使用されてもよいことに留意されたい。例えば、非線形技術は、線形解を最適化するために採用されてもよい。
【００７３】
いったんカメラ射影行列が把握されると、例えば、（ａ）ＸおよびＹ軸両方におけるカメラの焦点距離、（ｂ）カメラ（またはカメラセンサ）の光心、および／または（ｃ）変形係数等の内的パラメータが、導出されることができる。
【００７４】
外的パラメータもまた、カメラから導出されてもよい。カメラの外部にある基準データは、外的パラメータを判定するために得られかつ使用されるであろう。外的パラメータは、カメラ基準システムを、例えば、２台のカメラを伴う立体視的システム内の別のカメラに対して等、別の基準システムに平行移動させるために３次元の回転または３次元の平行移動として得られることができる。
【００７５】
９０８において、較正は、コンピュータ可読媒体上の適切な記憶装置の場所内に較正パラメータを記憶することによって終了される。
【００７６】
したがって、説明されたものは、カメラが移動する搬送装置の上に搭載され、多平面較正標的の画像を捕捉する、カメラ較正を実施するために、改良された方法、システム、および装置である。多平面較正標的は、いくつかの実施形態では、バックライトで照らされた標的である。較正プロセスは、捕捉される画像数を低減させながら、同時に全体の情報密度を維持することによって最適化される。したがって、本開示の実施形態は、時間がかかり過ぎ、計算上高価であり、かつ大量生産にはまさに明白に不向きである従来のアプローチの問題を解決する。
システムアーキテクチャ概要
【００７７】
図１０は、本開示の実施形態の実装に好適である例証的なコンピュータシステム１４００のブロック図である。コンピュータシステム１４００は、バス１４０６、またはプロセッサ１４０７、システムメモリ１４０８（例えば、ＲＡＭ）、静的記憶デバイス１４０９（例えば、ＲＯＭ）、ディスクドライブ１４１０（例えば、磁気または光学）、通信インターフェース１４１４（例えば、モデムまたはイーサネット（登録商標）カード）、ディスプレイ１４１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１４１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、通信情報に関する他の通信機構を含む。
【００７８】
本開示の１つの実施形態に従って、コンピュータシステム１４００は、プロセッサ１４０７によって、システムメモリ１４０８内に含有される１つ以上の命令の１つ以上のシーケンスを実行する具体的な動作を実施する。そのような命令は、静的記憶デバイス１４０９またはディスクドライブ１４１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ１４０８の中に読み取られてもよい。代替実施形態では、有線回路は、本開示を実装するためにソフトウェア命令の代わりに、またはそれと組み合わせて使用されてもよい。したがって、本開示の実施形態は、ハードウェア回路および／またはソフトウェアのいかなる具体的な組み合わせにも限定されない。１つの実施形態では、用語「論理」は、本開示の全てまたは部分を実装するために使用されるソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。
【００７９】
本明細書に使用されるような用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、実行のためにプロセッサ１４０７への命令の提供に関与する任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１４１０等の光または磁気ディスクを含む。揮発性媒体は、システムメモリ１４０８等の動的メモリを含む。
【００８０】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータ可読の任意の他の媒体を含む。
【００８１】
本開示の実施形態では、本開示を実践するための命令のシーケンスの実行が、単一のコンピュータシステム１４００によって実施される。本開示の他の実施形態に従って、通信リンク１４１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される２つ以上のコンピュータシステム１４００が、相互に協調して本開示を実践するために、要求される一続きの命令を実施してもよい。
【００８２】
コンピュータシステム１４００は、例えば、アプリケーションコード等のプログラムを含むメッセージ、データ、および命令を、通信リンク１４１５および通信インターフェース１４１４を通して伝送かつ受信してもよい。受信されたプログラムコードは、それが受信されるにつれてプロセッサ１４０７によって実行される、および／または後の実行のためにディスクドライブ１４１０または他の不揮発性記憶装置内に記憶されてもよい。コンピュータシステム１４００は、データインターフェース１４３３を通して外部記憶デバイス１４３１上のデータベース１４３２に通信してもよい。
【００８３】
前述の明細書では、本開示は、その具体的な実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広い精神および範囲から逸脱することなくそこに成され得ることが明白となるであろう。例えば、上記に説明されたプロセスフローは、プロセス動作の特定の順序を参照して説明された。しかしながら、説明されたプロセス動作の多くのものの順序は、本開示の範囲または動作に影響を及ぼすことなく変更されてもよい。故に、本明細書および図面は、制限的な意味ではなく例証的な意味に見なされるべきである。
【図１Ａ】
2019530261.tif 000003
【図１Ｂ】
2019530261.tif 000004
【図２】
2019530261.tif 000005
【図３Ａ】
2019530261.tif 000006
【図３Ｂ】
2019530261.tif 000007
【図４Ａ】
2019530261.tif 000008
【図４Ｂ】
2019530261.tif 000009
【図４Ｃ】
2019530261.tif 000010
【図５】
2019530261.tif 000011
【図６】
2019530261.tif 000012
【図７】
2019530261.tif 000013
【図８Ａ】
2019530261.tif 000014
【図８Ｂ】
2019530261.tif 000015
【図８Ｃ】
2019530261.tif 000016
【図８Ｄ】
2019530261.tif 000017
【図８Ｅ】
2019530261.tif 000018
【図８Ｆ】
2019530261.tif 000019
【図８Ｇ】
2019530261.tif 000020
【図８Ｈ】
2019530261.tif 000021
【図８Ｉ】
2019530261.tif 000022
【図８Ｊ】
2019530261.tif 000023
【図８Ｋ】
2019530261.tif 000024
【図８Ｌ】
2019530261.tif 000025
【図８Ｍ】
2019530261.tif 000026
【図８Ｎ】
2019530261.tif 000027
【図８Ｏ】
2019530261.tif 000028
【図８Ｐ】
2019530261.tif 000029
【図８Ｑ】
2019530261.tif 000030
【図８Ｒ】
2019530261.tif 000031
【図８Ｓ】
2019530261.tif 000032
【図９】
2019530261.tif 000033
【図１０】
2019530261.tif 000034
【国際調査報告】
2019530261.tif 000035
2019530261.tif 000036