(57)【要約】  画像取り込みデバイスを較正するための技法が本明細書で説明される。本技法は、第１のターゲットにおいて１つ以上の画像を取り込むことと、第２のターゲットにおいて１つ以上の画像を取り込むことと、第３のターゲットにおいて１つ以上の画像を取り込むことと、第４のターゲットにおいて１つ以上の画像を取り込むことと、取り込まれた画像に基づいてマルチカメラシステムを較正することとを含む。
2017536711.tif 000002
【特許請求の範囲】
【請求項１】
マルチカメラシステムを較正するためのシステムであって、
処理デバイスと、
前記処理デバイスによって実装される複数のモジュールと
を備え、
前記複数のモジュールは、
第１のターゲットにおいて１又は複数の画像を取り込み、
第２のターゲットにおいて１又は複数の画像を取り込み、
第３のターゲットにおいて１又は複数の画像を取り込み、
第４のターゲットにおいて１又は複数の画像を取り込む画像取り込みモジュールと、
前記取り込まれた複数の画像に基づいてマルチカメラシステムを較正する較正モジュールとを含む、システム。
【請求項２】
記憶デバイスを更に備え、前記較正モジュールが、前記較正と関連付けられる較正データを記憶するためのものである、請求項１に記載のシステム。
【請求項３】
１つの画像が、前記第１のターゲットにおいて取り込まれ、
２つの画像が、前記第２のターゲットにおいて取り込まれ、
１つの画像が、前記第３のターゲットにおいて取り込まれ、
２つの画像が、前記第４のターゲットにおいて取り込まれる、請求項１〜２のいずれかの組み合わせに記載のシステム。
【請求項４】
前記第１のターゲットと関連付けられる第１の位置において前記マルチカメラシステムを収容するデバイスを受容するための電動プラットフォームと、
回転モジュールと
を更に備え、
前記回転モジュールは、
前記デバイスを、前記第２のターゲットと関連付けられる第２の位置まで約４５度回転させ、
前記デバイスを、前記第２のターゲットと関連付けられる第３の位置まで約１０度回転させ、
前記デバイスを、前記第３のターゲットと関連付けられる第４の位置まで約１３５度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第５の位置まで約１８０度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第６の位置まで約１０度回転させる、請求項１〜２のいずれかの組み合わせに記載のシステム。
【請求項５】
前記複数のモジュールは、デバッギングモジュールを更に含み、
前記デバッギングモジュールは、
較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
画像取り込みが行われる前に、前記第１のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
全てのターゲットが、前記マルチカメラシステムからの所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
これらの任意の組み合わせを行う、請求項１〜２のいずれかの組み合わせに記載のシステム。
【請求項６】
前記第１のターゲットは、高さ約４１０ミリメートル（ｍｍ）及び幅約６２０ｍｍのチェッカーボードパターンの長方形であり、
前記第２のターゲットは、高さ約６２０ｍｍ及び幅約９００ｍｍのチェッカーボードパターンの長方形であり、
前記第３のターゲットは、
高さ約６０ｍｍ及び幅６０ｍｍである第１のチェッカーボードパターンの長方形と、
４つのチェッカーボードパターンの長方形であって、各々、前記第１のチェッカーボードパターンの長方形の縁部に取り付けられ、互いから約４０度の角度で配置される、４つのチェッカーボードパターンの長方形と
を含む５つのチェッカーボードパターンの長方形を有し、
前記第４のターゲットは、前記第３のターゲットが配置される距離よりも遠い前記マルチカメラシステムからの距離に前記第４のターゲットが配置されることを除いて、前記第３のターゲットに類似する、請求項１〜２のいずれかの組み合わせに記載のシステム。
【請求項７】
前記第３のターゲット、前記第４のターゲット、又はこれらの任意の組み合わせの各チェッカーボードパターンの画像を取り込むための位置決定モジュールを更に備える、請求項６に記載のシステム。
【請求項８】
前記位置決定モジュールが、ターゲットにおける他のチェッカーボードパターンに対する各チェッカーボードパターンの位置に基づいて、各チェッカーボードパターンから取り込まれた個々の画像を共に継ぎ合わせるためのものである、請求項７に記載のシステム。
【請求項９】
複数のターゲット及び前記マルチカメラシステムの各々の中心が、地上約９０センチメートル（ｃｍ）に配置される、請求項１〜２のいずれかの組み合わせに記載のシステム。
【請求項１０】
前記マルチカメラシステムと前記第１のターゲットとの間の距離が、約８００ｍｍであり、
前記マルチカメラシステムと前記第２のターゲットとの間の距離が、約１２００ｍｍであり、
前記マルチカメラシステムと前記第３のターゲットの間の距離が、約２２３０ｍｍであり、
前記第４のターゲット上の前記マルチカメラシステムの間の距離が、約３０５０ｍｍである、請求項１〜２のいずれかの組み合わせに記載のシステム。
【請求項１１】
マルチカメラシステムを較正するための方法であって、
第１のターゲットにおいて１又は複数の画像を取り込むことと、
第２のターゲットにおいて１又は複数の画像を取り込むことと、
第３のターゲットにおいて１又は複数の画像を取り込むことと、
第４のターゲットにおいて１又は複数の画像を取り込むことと、
前記取り込まれた複数の画像に基づいてマルチカメラシステムを較正することと
を含む方法。
【請求項１２】
記憶デバイスを更に備え、前記較正モジュールが、前記較正と関連付けられる較正データを記憶するためのものである、請求項１１に記載の方法。
【請求項１３】
１つの画像が、前記第１のターゲットにおいて取り込まれ、
２つの画像が、前記第２のターゲットにおいて取り込まれ、
１つの画像が、前記第３のターゲットにおいて取り込まれ、
２つの画像が、前記第４のターゲットにおいて取り込まれる、請求項１１〜１２のいずれかの組み合わせに記載の方法。
【請求項１４】
前記第１のターゲットと関連付けられる第１の位置において前記マルチカメラシステムを収容するデバイスを受容するための電動プラットフォームと、
回転モジュールと
を更に備え、
前記回転モジュールは、
前記デバイスを、前記第２のターゲットと関連付けられる第２の位置まで約４５度回転させ、
前記デバイスを、前記第２のターゲットと関連付けられる第３の位置まで約１０度回転させ、
前記デバイスを、前記第３のターゲットと関連付けられる第４の位置まで約１３５度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第５の位置まで約１８０度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第６の位置まで約１０度回転させる、請求項１１から１２のいずれかの組み合わせに記載の方法。
【請求項１５】
前記複数のモジュールは、デバッギングモジュールを更に含み、
前記デバッギングモジュールは、
較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
画像取り込みが行われる前に、前記第１のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
全てのターゲットが、前記マルチカメラシステムから所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
これらの任意の組み合わせを行う、請求項１１〜１２のいずれかの組み合わせに記載の方法。
【請求項１６】
前記第１のターゲットは、高さ約４１０ミリメートル（ｍｍ）及び幅約６２０ｍｍのチェッカーボードパターンの長方形であり、
前記第２のターゲットは、高さ約６２０ｍｍ及び幅約９００ｍｍのチェッカーボードパターンの長方形であり、
前記第３のターゲットは、
高さ約６０ｍｍ及び幅６０ｍｍである第１のチェッカーボードパターンの長方形と、
４つのチェッカーボードパターンの長方形であって、各々、前記第１のチェッカーボードパターンの長方形の縁部に取り付けられ、互いから約４０度の角度で配置される、４つのチェッカーボードパターンの長方形とを含む、５つのチェッカーボードパターンの長方形を有し、
前記第４のターゲットは、前記第３のターゲットが配置される距離よりも遠い、前記マルチカメラシステムからの距離に前記第４のターゲットが配置されることを除いて、前記第３のターゲットに類似する、請求項１１〜１２のいずれかの組み合わせに記載の方法。
【請求項１７】
前記第３のターゲット、前記第４のターゲット、又はこれらの任意の組み合わせの各チェッカーボードパターンの画像を取り込むための位置決定モジュールを更に備える、請求項１６に記載の方法。
【請求項１８】
前記位置決定モジュールが、ターゲットにおける他のチェッカーボードパターンに対する各チェッカーボードパターンの位置に基づいて、各チェッカーボードパターンから取り込まれた個々の画像を共に継ぎ合わせるためのものである、請求項１７に記載の方法。
【請求項１９】
複数のターゲット及び前記マルチカメラシステムの各々の中心が、地上約９０センチメートル（ｃｍ）に配置される、請求項１１〜１２のいずれかの組み合わせに記載の方法。
【請求項２０】
前記マルチカメラシステムと前記第１のターゲットとの間の距離が、約８００ｍｍであり、
前記マルチカメラシステムと前記第２のターゲットとの間の距離が、約１２００ｍｍであり、
前記マルチカメラシステムと前記第３のターゲットの間の距離が、約２２３０ｍｍであり、
前記第４のターゲット上の前記マルチカメラシステムの間の距離が、約３０５０ｍｍである、請求項１１〜１２のいずれかの組み合わせに記載の方法。
【請求項２１】
コードを含むコンピュータ可読媒体であって、該コードが実行されたときに、処理デバイスに、
第１のターゲットにおいて１又は複数の画像を取り込ませ、
第２のターゲットにおいて１又は複数の画像を取り込ませ、
第３のターゲットにおいて１又は複数の画像を取り込ませ、
第４のターゲットにおいて１又は複数の画像を取り込ませ、
前記取り込まれた画像に基づいてマルチカメラシステムを較正させる、コンピュータ可読媒体。
【請求項２２】
前記較正と関連付けられる較正データを記憶するためのコードを更に備える、請求項２１に記載のコンピュータ可読媒体。
【請求項２３】
１つの画像が、前記第１のターゲットにおいて取り込まれ、
２つの画像が、前記第２のターゲットにおいて取り込まれ、
１つの画像が、前記第３のターゲットにおいて取り込まれ、
２つの画像が、前記第４のターゲットにおいて取り込まれる、請求項２１〜２２のいずれかの組み合わせに記載のコンピュータ可読媒体。
【請求項２４】
前記デバイスを、前記第１のターゲットと関連付けられる第１の位置から、前記第２のターゲットと関連付けられる第２の位置まで約４５度を回転させ、
前記デバイスを、前記第２のターゲットと関連付けられる第３の位置まで約１０度回転させ、
前記デバイスを、前記第３のターゲットと関連付けられる第４の位置まで約１３５度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第５の位置まで約１８０度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第６の位置まで約１０度回転させるためのコードを更に備える、請求項２１〜２２のいずれかの組み合わせに記載のコンピュータ可読媒体。
【請求項２５】
較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
画像取り込みが行われる前に、前記第１のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
全てのターゲットが、前記マルチカメラシステムから所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
これらの任意の組み合わせを行う、コードを更に備える、請求項２１〜２２のいずれかの組み合わせに記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、参照により本明細書に組み込まれる、２０１４年９月２６日に出願された米国特許出願第１４／４９８，７９３号の出願日の利益を主張するものであり、該出願は、参照により本明細書に組み込まれる、２０１４年９月５日に出願された米国仮特許出願第６２／０４６，７８７号の出願日の利益を主張するものである。
【０００２】
本開示は、全般的に、カメラ較正に関する。より具体的には、本開示は、マルチターゲット較正プロセスを説明する。
【背景技術】
【０００３】
タブレット、スマートフォン、及び同類のものなどのモバイルデバイスは、画像を取り込むためのカメラなどの、非常に多くのデバイスを含む場合がある。数多くの事例において、タブレットは、移動、ノイズ、及び他の画像品質因子などの、カメラシステム許容度の較正を必要とする。いくつかの事例において、モバイルデバイスは、個々に、又は協調して機能するように構成される複数のカメラを含むことができる。マルチカメラシステムを有するモバイルデバイスは、較正中に問題を呈する場合がある。
【０００４】
マルチカメラ較正技法は、所与のマルチカメラシステムのカメラからの異なる角度及び距離で、多数の較正ターゲットの画像を取り込むことを必要とする。しかしながら、大量生産中に較正するために必要とされる物理的空間及び時間は、生産コストを増加させる。
【図面の簡単な説明】
【０００５】
【図１】較正されるマルチカメラシステムを有するコンピューティングデバイスのブロック図である。
【０００６】
【図２】較正において使用される第１のターゲットを例示する図である。
【０００７】
【図３】較正において使用される第２のターゲットを例示する図である。
【０００８】
【図４】スタンドによって保持されたターゲットを例示する図である。
【０００９】
【図５】較正において使用されるマルチボードターゲットを例示する図である。
【００１０】
【図６Ａ】マルチボードターゲットの異なるビューを例示する図である。
【００１１】
【図６Ｂ】マルチボードターゲットの追加的なビューを例示する図である。
【００１２】
【図７Ａ】較正において使用される４つの異なるターゲットを含む環境を例示する図である。
【００１３】
【図７Ｂ】第１のターゲットと関連付けられる第１の位置を含む環境を例示する図である。
【００１４】
【図７Ｃ】第２のターゲットと関連付けられる第２の位置を含む環境を例示する図である。
【００１５】
【図７Ｄ】第２のターゲットと関連付けられる第３の位置を含む環境を例示する図である。
【００１６】
【図７Ｅ】第３のターゲットと関連付けられる第４の位置を含む環境を例示する図である。
【００１７】
【図７Ｆ】第４のターゲットと関連付けられる第５の位置を含む環境を例示する図である。
【００１８】
【図７Ｇ】第４のターゲットと関連付けられる第６の位置を含む環境を例示する図である。
【００１９】
【図８】ターゲットに対して異なる位置で取り込まれた６つの画像を例示する図である。
【００２０】
【図９】ターゲットに関連する、マルチカメラシステムを有するコンピューティングデバイスの方向を例示する図である。
【００２１】
【図１０】較正における照明の悪影響を例示する図である。
【００２２】
【図１１】コンピューティングデバイスのディスプレイにおいてレンダリングされるグラフィカルユーザインターフェースを例示する図である。
【００２３】
【図１２】較正の成功時に有効画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。
【００２４】
【図１３】較正の失敗時に失敗画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。
【００２５】
【図１４】較正を失敗させた因子の一例を例示するグラフィカルユーザインターフェースの図である。
【００２６】
【図１５】較正を失敗させた別の因子の一例を例示するグラフィカルユーザインターフェースの図である。
【００２７】
【図１６】マルチカメラシステムを較正するように構成されたコンピュータ可読媒体の一例を示すブロック図である。
【発明を実施するための形態】
【００２８】
本明細書で開示される主題は、マルチカメラシステムを較正するための技法に関する。上で論じたように、較正は、カメラ及び他の画像取り込みデバイスの正しい機能のために重要である。しかしながら、多くの技法は、完了までに長い期間を必要とし、その期間中には、同じターゲットの複数の画像が取り込まれる。本明細書で説明される技法は、複数のターゲットを使用したマルチカメラシステムの較正を含み、カメラシステムを構成するために必要とされる画像の数を低減させることができ、それによって、較正に必要とされる時間を低減させる。
【００２９】
いくつかの事例において、本明細書で説明される技法は、処理デバイスによって実行可能であるコンピュータ可読コードとして実装することができる。本明細書で説明される技法は、工場の組み立て設備に統合することができる。実施形態において、本明細書で説明される技法は、マルチカメラシステムの較正に対する画像の必要数を低減させることができる。較正に必要とされる画像の数の減少は、大量生産環境における本明細書で説明される較正技法の実装を可能にすることができる。
【００３０】
図１は、較正されるマルチカメラシステムを有するコンピューティングデバイスのブロック図である。コンピューティングデバイス１００は、プロセッサ１０２と、非一時的コンピュータ可読媒体を含む記憶デバイス１０４と、メモリデバイス１０６とを含むことができる。コンピューティングデバイス１００は、ディスプレイデバイス１１０を動作させてグラフィカルユーザインターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）において画像をレンダリングするように構成されるディスプレイドライバ１０８と、１又は複数のカメラデバイス１１４を含むマルチカメラシステム１１３を動作させるように構成されるカメラドライバ１１２とを含むことができる。
【００３１】
コンピューティングデバイス１００は、較正アプリケーション１１６を含む。較正アプリケーション１１６は、マルチカメラシステム１１３を較正するように構成することができる。例において、較正アプリケーション１１６は、マルチカメラシステム１１３を較正するために使用される。較正アプリケーション１１６は、プロセッサ１０２などの処理デバイスによって実行されるように構成される、記憶媒体に記憶される命令とすることができる。更に他の例において、較正アプリケーション１１６は、ドライバ１２２を介して回転プラットフォーム１２０の回転モジュール１１８と連動して動作するように構成することができる。下でより詳細に説明されるように、回転プラットフォーム１２０は、複数のターゲットと関連付けられる異なる位置で画像を取り込むために回転させることができる。いくつかの事例において、較正アプリケーション１１６及び回転モジュール１１８は、コンピューティングデバイス１００又は回転プラットフォーム１２０のいずれかで動作する同一のプログラムとして構成することができる。後者の場合、回転プラットフォーム１２０は、コンピューティングデバイス１００を回転させること、及びマルチカメラシステム１１３と連動して画像を取り込むことを含む命令を実行するための論理又はソフトウェア命令及び処理デバイス、並びに、構成アプリケーション１１６の動作を実行するように構成される論理及び／又はソフトウェアを含むことができる。
【００３２】
回転モジュール１１８及び較正アプリケーション１１６は、親モジュールの別個のモジュール若しくはサブモジュール、又は個々のアプリケーションとみなすことができる。また、追加的なモジュール及び／又はアプリケーションを含むこともできる。いくつかのシナリオにおいて、コンピューティングデバイス１００は、１又は複数のセンサ１２４を含むことができる。これらのシナリオでは、１又は複数のセンサ１２４を、較正中の画像取り込みにおいてエラーを引き起こす潜在的条件を検出するために使用することができる。例えば、センサ１２４は、コンピューティングデバイスが水平でなくなり、それによって、下で更に詳細に説明される較正プロセス中に画像を取り込む際に潜在的エラーを作り出すときを決定するように構成される、ジャイロメーターを含むことができる。別の例として、異物が所与のカメラと所与のターゲットとの間の視界を遮っているかどうかを判定するために、周辺光センサを使用することができる。
【００３３】
下で更に詳細に論じられるように、カメラデバイス１１４の較正は、２つ以上のターゲットにおいて画像を取り込むことによって提供される。回転プラットフォーム１２０は、複数のターゲットと関連付けられる異なる位置まで回転させるように構成することができる。回転は、自動とすることができ、又はいくつかのレベルの人間の入力を伴うことができる。例えば、オペレータは、較正プロセスを開始し、各画像が取り込まれた後に回転プラットフォーム１２０上のボタンを押し続けるように要求され得る。更に、画像取り込みは、自動化することもできるが、オペレータは、所与の位置において、及び所与のターゲットについて所与の画像を取り込むために、カメラデバイス１１４と関連付けられるシャッターボタンを押すことが有用である場合がある。
【００３４】
コンピューティングデバイス１００は、本明細書で参照されるときには、モバイルコンピューティングデバイスとすることができ、処理デバイス、記憶デバイス、ディスプレイデバイスなどの構成要素が単一の筐体内に配置される。例えば、コンピューティングデバイス１００は、タブレットコンピュータ、スマートフォン、ハンドヘルドビデオゲームシステム、携帯電話、オールインワンスレートコンピューティングデバイス、又はオールインワン機能性を有する任意のコンピューティングデバイスとすることができ、コンピューティングデバイスの筐体は、ディスプレイ、並びに記憶構成要素及び処理構成要素などの構成要素を収容する。
【００３５】
プロセッサ１０２は、記憶された命令を実行するように適合されるメインプロセッサとすることができる。プロセッサ１０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は任意の数の他の構成とすることができる。プロセッサ１０２は、複合命令セットコンピュータ（ＣＩＳＣ：Ｃｏｍｐｌｅｘ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）若しくは縮小命令セットコンピュータ（ＲＩＳＣ：Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ若しくは中央演算処理装置（ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）として実現することができる。
【００３６】
メモリデバイス１０６としては、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：ｓｔａｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ゼロキャパシタＲＡＭ、シリコン−酸化物−窒化物−酸化物−シリコンＳＯＮＯＳ、組み込み型ＤＲＡＭ、拡張データ出力ＲＡＭ、ダブルデータレート（ＤＤＲ：ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ）ＲＡＭ、抵抗性ランダムアクセスメモリ（ＲＲＡＭ（登録商標）：ｒｅｓｉｓｔｉｖｅ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、パラメータランダムアクセスメモリ（ＰＲＡＭ：ｐａｒａｍｅｔｅｒ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、その他）、リードオンリーメモリ（ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）（例えば、マスクＲＯＭ、プログラマブルリードオンリーメモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒy）、その他）、フラッシュメモリ、又は任意の他の適切なメモリシステムを挙げることができる。メインプロセッサ１０２は、システムバス１３４（例えば、周辺構成要素相互接続（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）、業界標準アーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＰＣＩ−Ｅｘｐｒｅｓｓ、ＨｙｐｅｒＴｒａｎｓｐｏｒｔ（登録商標）、ＮｕＢｕｓ、その他）を通して、メモリ１０６及び記憶デバイス１０４を含む構成要素に接続することができる。
【００３７】
ディスプレイドライバ１０８は、コンピューティングデバイス１００及びディスプレイデバイス１１０のソフトウェア又はハードウェアとの相互作用点とすることができる。例えば、ディスプレイドライバ１０８は、デジタルビデオインターフェース（ＤＶＩ：ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｉｎｔｅｒｆａｃｅ）、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標）：ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  ｍｕｌｔｉｍｅｄｉａ  ｉｎｔｅｒｆａｃｅ）、及び同類のものなどのインターフェースを含むことができる。ディスプレイデバイス１１０は、ビルトインディスプレイ又はコンピューティングデバイス１００の周辺ディスプレイとすることができる。実施形態において、ディスプレイデバイス１１０は、タッチ画面機能を含む。
【００３８】
カメラドライバ１１２は、１又は複数のカメラデバイス１１４に、視覚情報を、又は換言すれば、マルチカメラシステム１１３を構成するために使用される画像セットの画像を取り込むように指示するように構成される。カメラデバイス１１４は、リアルタイムビデオを取り込むように構成されるビデオカメラ、深度カメラ、赤外線カメラ、及び同類のものとすることができる。
【００３９】
図１のブロック図は、コンピューティングデバイス１００が図１に示される構成要素の全てを含むことを示すことを意図しない。更に、コンピューティングデバイス１００は、具体的な実現形態の詳細に応じて、図１に示されない任意の数の追加的な構成要素を含むことができる。
【００４０】
図２は、較正において使用される第１のターゲットを例示する図である。第１のターゲット２００は、約４１０ミリメートル（ｍｍ）×約６２０ｍｍの寸法を有することができる。図２に例示されるように、第１のターゲット２００は、複数の白黒の正方形を含むチェッカーボードパターンを有することができる。第１のターゲットの正方形サイズは、約３０ｍｍ×約３０ｍｍとすることができる。合計で、第１のターゲット２００は、２０個の正方形×１３個の正方形を含むことができる。約１０ｍｍの縁が第１のターゲット２００のチェッカーボードを取り囲むことができる。いくつかのシナリオにおいて、第１のターゲット２００は、地上約８８９ｍｍに配置されるように構成することができる。
【００４１】
図３は、較正において使用される第２のターゲットを例示する図である。第２のターゲット３００は、約４０ｍｍ×４０ｍｍの正方形サイズを含み、２２個の正方形×１５個の正方形を有し、第２のターゲット３００の寸法は、約６２０ｍｍ×９００ｍｍである。第１のターゲット２００と同様に、第２のターゲット３００は、約１０ｍｍの縁を含む。
【００４２】
図４は、スタンドによって保持されたターゲットを例示する図である。上で論じたように、第１のターゲットは、地上約８８９ｍｍに配置することができる。この高さは、一例として与えられる。しかしながら、第１のターゲット２００は、更には第２のターゲット３００も、マルチカメラシステム１１３と同じ高さに配置されることが重要である。
【００４３】
実施形態において、本明細書で説明されるターゲットは、ターゲットが歪まない、又は曲がらないことを確実にする硬い材料で作製することができる。換言すれば、本明細書で説明されるターゲットは、平坦である。
【００４４】
図５は、較正において使用されるマルチボードターゲットを例示する図である。図５に例示されるように、マルチボードターゲット５００は、互いから約４０度の角度で配置される５つの別個のチェッカーボードを含む。５つの別個のチェッカーボードの各々は、約６２０ｍｍ×５４５ｍｍの寸法、又は７個の正方形×８個の正方形を有することができ、各正方形は、約６０ｍｍ×６０ｍｍである。マルチボードターゲット５００の設計は、第３のターゲット及び第４のターゲットの各々に使用することができる。図５では全てのチェッカーボードに例示されていないが、マルチボードターゲット５００は、各個々のボードの外周の周囲に赤色の縁５０２及び白色の縁５０４を含むことができる。第１のターゲット２００及び第２のターゲット３００と同様に、マルチボードターゲット５００の中心５０６は、マルチカメラシステムと同じである高さに配置することができる。
【００４５】
図６Ａは、マルチボードターゲットの異なるビューを例示する図である。６０２には、マルチボードターゲット５００の正面図が例示される。マルチボードターゲット５００の表側の各々が、図５に図示されるチェッカーボード設計などの、チェッカーボード設計を有することに留意されたい。ビュー６０４及び６０６の各々は、図５のマルチボードターゲット５００の側面図を例示する。
【００４６】
図６Ｂは、マルチボードターゲットの追加的なビューを例示する図である。６０８及び６１０に例示されるように、個々のボードの各々の間の角度６１２は、同じとすることができる。１つの例において、角度６１２は、約４０度である。いくつかのシナリオにおいて、マルチボードターゲットの高さは、６１０に例示されるように、マルチボードターゲットの中心に対して９０センチメートル（ｃｍ）とすることができる。６１４に示されるように、図１のマルチカメラシステム１１３などのマルチカメラシステムは、下で更に詳細に論じられるように、第３のターゲット及び第４のターゲットが使用されるシナリオの各々において、マルチボードターゲットの前方に配置することができる。
【００４７】
図７Ａは、較正において使用される４つの異なるターゲットを含む環境を例示する図である。環境７００は、第１のターゲット２００と、第２のターゲット３００と、第３のターゲット７０２及び第４のターゲット７０４の各々のためのマルチボードターゲットとを含む。議論を簡単にするために、ターゲットの各々に割り当てられる数字は、以下に沿ったものとすることができる。図１に関して上記のマルチカメラシステム１１３を有するコンピューティングデバイス１００などのコンピューティングデバイスは、コンピューティングデバイス１００を少なくとも部分的に取り囲むターゲットとともに位置付けることができる。図７Ａには例示されていないが、コンピューティングデバイス１００は、図１に関して上で説明した、回転プラットフォーム１２０などの回転プラットフォーム上に配置することができる。下でより詳細に説明されるように、コンピューティングデバイス１００は、各ターゲットの画像を取り込むために、回転プラットフォームによって回転させることができる。
【００４８】
図７Ａに例示されるように、ターゲット２００及びターゲット３００の最初の配置は、７０６で示される中心線から４５度とすることができる。実施形態において、コンピューティングデバイス１００からターゲット２００までの距離は、約８００ｍｍであり、コンピューティングデバイス１００からターゲット３００までの距離は、約１２００ｍｍである。ターゲット７０２は、コンピューティングデバイス１００から２２３０ｍｍの距離に配置することができ、一方で、ターゲット７０４は、コンピューティングデバイス１００から３０５０ｍｍの位置に配置される。
【００４９】
図７Ｂは、第１のターゲットと関連付けられる第１の位置を含む環境を例示する図である。図７Ｂに例示される第１の位置７１０において、マルチカメラシステム１１４は、第１のターゲット２００において第１の画像を取り込む。ターゲット２００は、７０８で示されるように、マルチカメラシステム１１４の視界を中心とする。ターゲット２００全体を視界７０８の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界７０８に表すことができる。
【００５０】
図７Ｃは、第２のターゲットと関連付けられる第２の位置を含む環境を例示する図である。図７Ｃに例示される第２の位置７１２において、タブレットのマルチカメラシステム１１３は、第２のターゲット３００において第２の画像を取り込む。実施形態において、コンピューティングデバイス１００は、第１の位置７１０から第２の位置７１２まで約９０度回転する。ターゲット３００全体を視界７０８の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界７０８に表すことができる。
【００５１】
図７Ｄは、第２のターゲットと関連付けられる第３の位置を含む環境を例示する図である。図７Ｄに例示される第３の位置７１４において、マルチカメラシステム１１３は、第２のターゲット３００において第３の画像を取り込む。このシナリオでは、第２のターゲット３００から取り込まれる２つの画像があり、１つは、図７Ｃの第２の位置７１２であり、１つは、図７Ｄの第３の位置７１４である。第２の位置７１２と第３の位置７１４との間の差は、コンピューティングデバイス１００の約１０度の回転とすることができる。ターゲット３００全体を視界７０８の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界７０８に表すことができる。
【００５２】
図７Ｅは、第３のターゲットと関連付けられる第４の位置を含む環境を例示する図である。図７Ｅに例示される第４の位置７１６において、マルチカメラシステム１１３は、第３のターゲット７０２において第４の画像を取り込む。第３の位置７１４と第４の位置７１６との間の差は、コンピューティングデバイス１００の約１３５度の回転とすることができる。ターゲット７０２全体を視界７０８の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界７０８に表すことができる。
【００５３】
図７Ｆは、第４のターゲットと関連付けられる第５の位置を含む環境を例示する図である。図７Ｆに例示される第５の位置７１８において、マルチカメラシステム１１３は、第４のターゲット７０４において第５の画像を取り込む。第４の位置７１６と第５の位置７１８との間の差は、コンピューティングデバイス１００の約１８０度の回転とすることができる。ターゲット７０４全体を視界７０８の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界７０８に表すことができる。
【００５４】
図７Ｇは、第４のターゲットと関連付けられる第６の位置を含む環境を例示する図である。図７Ｆに例示される第６の位置７２０において、マルチカメラシステム１１３は、第４のターゲット７０４において第６の画像を取り込む。第５の位置７１８と第６の位置７２０との間の差は、コンピューティングデバイス１００の約１０度の回転とすることができる。ターゲット７０４全体を視界７０８の範囲内とすることができ、ターゲットの上側及び下側の等しい空間を視界７０８に表すことができる。このシナリオでは、第４のターゲット７０４から取り込まれる２つの画像があり、１つは、図７Ｆの第５の位置７１８であり、１つは、図７Ｇの第６の位置７２０である。第５の位置と第６の位置との間の差は、約１０度の回転とすることができる。
【００５５】
図８は、ターゲットに対して異なる位置で取り込まれた６つの画像を例示する図である。図８に例示されるように、第１のターゲット２００の１つの画像８０２、第２のターゲット３００の２つの画像８０４、８０６、第３のターゲット７０２の１つの画像８０８、及び第４のターゲット７０４の２つの画像８１０、８１２がある。更に、図８に例示されるように、第３のターゲット７０２及び第４のターゲット７０４は、白色の縁及び赤色の縁によって構成されるマルチボードターゲットである。第３のターゲット又は第４のターゲットの画像を取り込むときには、一度に１つのチェッカーボードを取り込むことができる。したがって、本明細書で説明される技法は、他のボードに対するボードの場所によって個々のボードをともに識別することによって、マルチボードターゲットの各チェッカーボードをともに継ぎ合わせることを含む。換言すれば、マルチボードターゲットの各チェッカーボードは、個々に取り込むことができ、その後に、他のチェッカーボードが取り込まれる間は隠すことができる。次いで、チェッカーボード画像は、それらの相対的位置に基づいて、較正のためにともに継ぎ合わせることができる。
【００５６】
図９は、ターゲットに関連する、マルチカメラシステムを有するコンピューティングデバイスの方向を例示する図である。いくつかのシナリオにおいて、マルチカメラシステム１１３を有するコンピューティングデバイス１００などのコンピューティングデバイスは、短軸９０２及び長軸９０４を有することができる。このシナリオにおいて、コンピューティングデバイス１００の長軸９０４は、図９に例示されるように、ターゲットの長軸９０６と同じ方向に配置される。同様に、コンピューティングデバイス１００の短軸９０２は、ターゲットの短軸９０８と同じ方向に配置される。
【００５７】
図１０は、較正における照明の悪影響を例示する図である。いくつかのシナリオにおいて、過剰な照明又は不十分な照明は、較正の成功又は失敗に影響を及ぼし得る。図１０に示されるように、１００２における照明は、較正プロセスに悪影響を及ぼし得る。いくつかの実施形態において、照明は、約８００ルクスの光強度制限によってターゲットを照明する。更に、光の過飽和を低減させるために、カメラに面するターゲットの背後に位置付けられる明るい光を除去することができる。
【００５８】
図１１は、コンピューティングデバイスのディスプレイにおいてレンダリングされるグラフィカルユーザインターフェースを例示する図である。画像が取り込まれた後に、コンピューティングデバイス１００は、較正の処理を始めることができる。これは、グラフィカルユーザインターフェース１１００を介してオペレータにレンダリングすることができる。
【００５９】
図１２は、較正の成功時に有効画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。較正に成功した場合は、グラフィカルユーザインターフェース１２００をレンダリングすることができる。
【００６０】
図１３は、較正の失敗時に失敗画面をレンダリングするためのグラフィカルユーザインターフェースを例示する図である。較正に失敗した場合は、グラフィカルユーザインターフェース１３００をレンダリングすることができ、円形の矢印を押すことで、プロセスを再開することができる。
【００６１】
図１４は、較正を失敗させた因子の一例を例示するグラフィカルユーザインターフェースである。いくつかのシナリオにおいて、較正は、既知のエラーのため失敗する場合がある。較正アプリケーション１１６などのアプリケーションは、失敗した画像をグラフィカルユーザインターフェースにレンダリングすることができる。上で論じたように、図１のセンサ１２４などのセンサは、デバイスが水平でなかったときに画像が取り込まれたことを示すために、ジャイロメーターを含むことができる。この事例において、較正アプリケーション１１６は、プロセスを停止し、１４００において示されるように、所与の画像が使用不可能である旨のメッセージをオペレータにレンダリングすることができる。
【００６２】
図１５は、較正を失敗させた別の因子の一例を例示するグラフィカルユーザインターフェースである。失敗を引き起こす別の因子としては、カメラデバイス１１４のうちの１つなどのカメラデバイスが遮られたことが挙げられる。このシナリオにおいて、較正アプリケーション１１６は、図１５に例示されるように、オペレータに使用不可能な画像を通知することができる。遮られた画像の検出は、いくつかのシナリオにおいて、図１に関して上で論じたように、周辺光センサを含むセンサ１２４を介して行うことができる。このシナリオにおいて、較正アプリケーション１１６は、プロセスを停止し、１５００において示されるように、所与の画像が使用不可能である旨のメッセージをオペレータにレンダリングすることができる。
【００６３】
図１６は、マルチカメラシステムを較正するように構成されたコンピュータ可読媒体の一例を示すブロック図である。コンピュータ可読媒体１６００は、コンピュータバス１６０４を通じて、プロセッサ１６００によってアクセスすることができる。いくつかの例において、コンピュータ可読媒体１６００は、非一時的コンピュータ可読媒体とすることができる。いくつかの例において、コンピュータ可読媒体は、記憶媒体とすることができるが、搬送波、信号、及び同類のものを含まない。更にまた、コンピュータ可読媒体１６００は、プロセッサ１６０２に本方法の工程を行うように指示するためのコンピュータ実行可能命令を含むことができる。
【００６４】
本明細書で論じられる様々なソフトウェア構成要素は、図１１に示されるように、有形の非一時的なコンピュータ可読媒体１６００に記憶することができる。例えば、較正アプリケーション１６０６は、第１のターゲットにおいて１又は複数の画像を取り込み、第２のターゲットにおいて１又は複数の画像を取り込み、第３のターゲットにおいて１又は複数の画像を取り込み、第４のターゲットにおいて１又は複数の画像を取り込み、そして、取り込まれた画像に基づいてマルチカメラシステムを較正するように構成することができる。
【００６５】
本明細書で説明される技法は、これらのターゲットの画像を自動的に取り込み、該画像を較正する、工場カメラ較正及びアプリケーションを含む。較正データは、試験されているデバイス上のｆａｃｔｏｒｙパーティションに保存することができる。カメラは、ターゲットの方向を指し示す別個の取り付け具（モーター付リグプラットフォーム）の中に存在することになる。カメラの高さは、カメラアレイの中心が各ターゲットの中心と整列するような高さである。
【００６６】
較正方法工程は、第１のターゲットと整列させた取り付け具にタブレットを配置することを含むことができる。カメラアレイは、タブレットの裏にある。タッチ画面は、正面カメラを有するオペレータの右下に面している。タブレットは、取り付け具の中へ完全に挿入し、角度を持たせてはならない。タブレットの表面は、ターゲットの表面と平行でなければならない。取り付け具は、ユーザがタブレットの調整を必要としないように設定する。回転リグが始動すると、次いで、カメラシステムを、タブレットのディスプレイ上のシャッターボタンを押すことによって画像を取り込むために使用しなければならない。これらのアクションは、回転とカメラとの間のタイミングが同期するように間断なく起こらなければならない。ターゲット１において取り込まれた画像、ジグが４５度回転すること、及び第２のターゲットにおいて第１の画像を取り込むことを含む、次の工程は、自動的に起こらなければならない。ジグが約１０度回転し、第２のターゲットにおいて第２の画像が取り込まれる。ジグが第３のターゲットまで約１３５度回転し、第３のターゲットにおいて画像が取り込まれる。ジグが約１８０度回転し、第４のターゲットから第１の画像が取り込まれる。ジグが約１０度回転し、第４のターゲットから第２の画像が取り込まれる。第４のターゲットから第２の画像が取り込まれた後に、較正を開始する。
【００６７】
デバイスは、較正プロセッシングが完了するのを待つ間、回転リグから取り外すことができる。較正に成功した場合は、バックアップのために、ｆａｃｔｏｒｙパーティションから「．ｙｍｌ」ファイルをプルする。較正に失敗した場合は、較正プロセスを再度動作させる。
【００６８】
較正に成功すると、デバイス上のｒｏｏｔ／ｆａｃｔｏｒｙにおいて、「ｆａｃｔｏｒｙｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ．ｙｍｌ」と称される較正ファイルを作成する。各デバイスは、一意のファイルを生成することができる。較正に失敗した場合は、いかなるファイルも作成されない。製造業者は、デバイスから較正ファイルをコピーし、それをバックアップサーバに記憶しなければならない。保管した較正は、較正プロセスを更に改善するために使用することができる。デバッギングは、アプリケーションを開始したときにマルチカメラシステムの全てのカメラがプレビューを示していることを確認することと、アプリケーションが動作しているときに第１のターゲットがプレビューウィンドウの中に正しく位置付けられていることを確認することと、ターゲットが正しい位置にあることを確認することとを含むことができる。ターゲットは、タブレットホルダーを、及びタブレットホルダーから正しい距離を直接指し示していなければならない。
【００６９】
全ての画像が正しく取り込まれているかどうかを確かめるために、取り込まれた画像を見るために掲示することができる。較正デバッグアプリケーションを開くことで、オペレータが、第１の較正が行われたかどうかを調べることを可能にすることができる。較正デバッグアプリケーションでは、オペレータが各ターゲットと関連付けられる画像を開くことを可能にするテキストをレンダリングすることができる。いくつかのシナリオにおいて、画像が正しく見えているが、それでも較正が失敗している場合は、更なるレビューのために、画像を分析チームに送信することができる。画像は、ｆａｃｔｏｒｙパーティションの単一のｔａｒファイルに記憶することができる。
【００７０】
カメラ較正は、複数の理由で失敗する可能性がある。いくつかの一般的な理由としては、コーナー検出の失敗、較正数値最適化が収束していないこと、正面のチェッカーボードがカメラに近過ぎる場合が挙げられる。較正の失敗が通知された場合は、較正デバッグアプリケーションをデバイスに含むことができ、また、較正プロセスをデバッグするために使用することができる。較正デバッグアプリケーションは、オペレータが、取り込まれた最後の画像セットに対する較正を再び行うことを可能にすることができ、また、重要なデバッグ情報を保存することができる。この情報は、タブレットを別のコンピューティングデバイスに接続し、コマンドラインから「ａｄｂ  ｐｕｌｌ」を行うことによって確認することができる。較正に失敗した理由は、タブレットのディレクトリのファイルを調べることによってデバッグすることができる。このファイルには、全ての警告テキストが書かれている。較正に失敗した場合は、「エラー」という行を視認することができ、その後にエラーメッセージが続く。
【００７１】
較正アプリケーションは、カメラの視界が遮られている場合、チェッカーボードに対する光の量が４５度を超えて斜めになっている場合、及び／又は画像の中にぼやけがある場合に、チェッカーボードパターンの検出に失敗する。コーナー検出に成功した場合、全ての画像のコーナー上に青色の線をレンダリングすることができ、これは、デバッグフラグがアプリケーションにおいて真に設定されている場合にだけ真とすることができる。
【００７２】
コーナー検出に失敗した場合は、デバッグモードで較正を再度動作させた後に、結果ディレクトリの中に画像があるはずである。この画像を調べることで、アプリケーションがどのチェッカーボードの検出に失敗したのかが分かる。このファイル名の番号は、取り込み数に基づいて、０、１、又は３とすることができる。正しく検出されたボードには、青色の線がボードの内側コーナーに描かれるが、失敗したものには描かれない。また、ＦａｃｔｏｒｙＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ．ｌｏｇファイルを調べることもできる。「警告｜パターンの検出に失敗しました」というタイトルを有する警告があるはずである。
【００７３】
正しくコーナーを検出した画像が少な過ぎる場合は、「エラー｜ＢＡ中のアクティブな画像が少な過ぎます」などのメッセージを発生させることができる。正しくコーナーを検出した画像が少な過ぎることを示す別のメッセージとしては、「エラー｜使用できる画像がありません」を挙げることができる。
【００７４】
失敗した場合に、オペレータは、チェッカーボードへの光が多過ぎる、又は少な過ぎることを確認することができ、そして、照明を調整することができる。マルチボードターゲットの底部ボードが反射している光が多過ぎる、又はチェッカーボードの頂部の光が少な過ぎる可能性がある。任意のチェッカーボードが斜めになり過ぎている場合は、角度が正しい値に設定されることを確認する。いくつかの事例において、これは、ヒンジが緩い場合に頂部／底部チェッカーボードによって起こり得る。
【００７５】
画像のいずれかにぼやけがある、取り込み中にジグが静止していなかった、照明の問題のためコーナーが正確に検出されなかった場合には、較正最適化が収束しない。失敗した場合に、オペレータは、ログファイルにおいて、ファイルの最後にある、「エラー｜バンドル調整が設定に基づいて収束しませんでした」又は「エラー｜ＢＡ中のアクティブな画像が少な過ぎます」といったメッセージを見出すことができる。オペレータはまた、ファイルの最後にある、「警告｜ビューＸが無効です。エラー閾値を超えています」又は「警告｜ビュー番号Ｘがバンドル調整中に使用されていません」といった警告を視認することもできる。オペレータが、３回を超えてこれらの警告を視認した場合に、それがエラーとなる。失敗した場合には、現在の取り込みにおいて、どの画像にも誤った照明又はぼやけがなかったことを確認し、画像を再度取り込み、進行する。
【００７６】
正面チェッカーボードがカメラに近過ぎる場合、オペレータは、「調整シフトに提供されたアルバム上のコーナーに失敗しました（カメラＸ）」といった警告を視認することができる。オペレータはまた、デバッグモードにおいて再度較正を動作させた後に、結果ディレクトリの中にＲｅｃｔｉｆｉｃａｔｉｏｎＦａｉｌｕｒｅ．ｐｎｇという名前の画像も視認する。この事例では、第１のチェッカーボードがカメラに近過ぎる可能性がある。チェッカーボードが頂部、右側、底部、及び左側からの画像の中央にあることを確実にする。チェッカーボードが既に中央にある場合は、チェッカーボードを約２インチ後方に移動させる。
【００７７】
例１は、マルチカメラシステムを較正するためのシステムを含む。本システムは、処理デバイス、及び処理デバイスによって実装されるモジュールを含む。本モジュールは、画像取り込みモジュール及び較正モジュールを含む。画像取り込みモジュールは、第１のターゲットにおいて１又は複数の画像を取り込み、第２のターゲットにおいて１又は複数の画像を取り込み、第４のターゲットにおいて１又は複数の画像を取り込むように構成される。較正モジュールは、取り込まれた画像に基づいてマルチカメラシステムを較正するためのものである。
【００７８】
画像取り込みモジュールは、第１のターゲットにおいて１つの画像を取り込み、第２のターゲットにおいて２つの画像を取り込むことができる。画像取り込みモジュールは、第３のターゲットにおいて１つの画像を取り込むが、第２のターゲットにおいて２つの画像を取り込むことができる。
【００７９】
例２は、マルチカメラシステムを較正するための方法を含む。本方法は、第１のターゲットにおいて１又は複数の画像を取り込むことと、第２のターゲットにおいて１又は複数の画像を取り込むことと、第３のターゲットにおいて１又は複数の画像を取り込むことと、第４のターゲットにおいて１又は複数の画像を取り込むこととを含む。本方法はまた、取り込まれた画像に基づいてマルチカメラシステムを較正することを含むこともできる。
【００８０】
いくつかの事例では、例２の方法を実行する手段を備える装置。更に、いくつかの事例では、実行可能コードを有するコンピュータ可読媒体をプロセッサによって実行することができ、また、プロセッサに例２の方法を実行させることができる。
【００８１】
例３は、コードを含むコンピュータ可読媒体を含み、該コードは、実行されたときに、処理デバイスに、第１のターゲットにおいて１又は複数の画像を取り込ませ、第２のターゲットにおいて１又は複数の画像を取り込ませ、第４のターゲットにおいて１又は複数の画像を取り込ませる。更に、このコードは、処理デバイスに、取り込まれた画像に基づいてマルチカメラシステムを較正させるように構成することができる。
【００８２】
例４は、マルチカメラシステムを較正するための装置を含む。本装置は、第１のターゲットにおいて１又は複数の画像を取り込み、第２のターゲットにおいて１又は複数の画像を取り込み、第３のターゲットにおいて１又は複数の画像を取り込み、また、第４のターゲットにおいて１又は複数の画像を取り込むための手段を含むことができる。本手段はまた、取り込まれた画像に基づいてマルチカメラシステムを較正するように構成することができる。
【００８３】
例５は、マルチカメラシステムを較正するための装置を含む。本装置は、ハードウェア論理を少なくとも部分的に備える論理を含む。本論理は、第１のターゲットにおいて１又は複数の画像を取り込み、第２のターゲットにおいて１又は複数の画像を取り込み、第３のターゲットにおいて１又は複数の画像を取り込み、また、第４のターゲットにおいて１又は複数の画像を取り込むように構成される。本論理はまた、取り込まれた画像に基づいてマルチカメラシステムを較正するように構成することができる。
【００８４】
一実施形態は、一実現形態又は一例である。明細書における「一実施形態」、「１つの実施形態」、「いくつかの実施形態」、「様々な実施形態」、又は「他の実施形態」に対する参照は、実施形態と関連して説明される特定の特徴、構造、又は特性が、本技法の、必ずしも全ての実施形態ではないが、少なくともいくつかの実施形態に含まれることを意味する。「一実施形態」、「１つの実施形態」、又は「いくつかの実施形態」の様々な出現は、必ずしも全てが同じ実施形態を指しているわけではない。
【００８５】
本明細書で説明され、例示される全ての構成要素、特徴、構造、特性、その他は、特定の一実施形態又は複数の実施形態に含まれる必要があるとは限らない。本明細書が、構成要素、特徴、構造、又は特性が、含まれ「得る」（ｍａｙ）、含まれる「場合がある」（ｍｉｇｈｔ）、含む「ことができる」（「ｃａｎ」）、又は含まれる「可能性がある」（「ｃｏｕｌｄ」）と述べている場合は、例えば、その特定の構成要素、特徴、構造、又は特性が含まれる必要はない。本明細書又は請求項が、「１つの」（「ａ」又は「ａｎ」）要素を参照している場合は、要素が１つだけ存在することを意味しない。本明細書又は請求項が、「１つの追加的な」要素を参照している場合は、追加的な要素が２つ以上存在する場合を排除しない。
【００８６】
いくつかの実施形態は、特定の実現形態を参照して説明されているが、いくつかの実施形態に従って他の実現形態が可能であることに留意されたい。加えて、図面に例示される、及び／又は本明細書で説明される回路要素又は他の特徴の配設及び／又は順序は、例示及び説明される特定の方法で配設する必要はない。いくつかの実施形態に従って数多くの他の配設が可能である。
【００８７】
図面に示される各システムにおいて、いくつかの事例における要素は、表される要素が異なる及び／又は類似し得ることを示唆するために、各々、同じ参照番号又は異なる参照番号を有する。しかしながら、要素は、異なる実現形態を有するように、また、本明細書で示される、又は説明されるシステムの一部又は全部とともに機能するように十分な柔軟性を有することができる。図面に示される様々な要素は、同じであっても、又は異なっていてもよい。どの要素が第１の要素として参照されるか、及びどの要素が第２の要素と称されるかは、任意である。
【００８８】
上述した例の詳細は、１又は複数の実施形態のどこででも使用することができることを理解されたい。例えば、上で説明したコンピューティングデバイスの全ての随意の特徴はまた、本明細書で説明される方法又はコンピュータ可読媒体のいずれかに関して実装することもできる。更に、フロー図及び／又は状態図が、実施形態を説明するために本明細書で使用されている場合があるが、本技術は、そのような図面に、又は本明細書の対応する説明に限定されない。例えば、フローは、各例示されるボックス又は状態を通して進める必要はなく、又は、本明細書で例示され、説明される順序と全く同じ順序で進める必要はない。
【００８９】
本技法は、本明細書に列記される特定の詳細に限定されない。実際に、本開示の利益を有する当業者は、前述の説明及び図面からの多くの他の変形を本技法の範囲内で行うことができることを認識するであろう。故に、本技法に対する任意の補正を含む以下の特許請求の範囲は、本技法の範囲を定義する。
【図１】
2017536711.tif 000003
【図２】
2017536711.tif 000004
【図３】
2017536711.tif 000005
【図４】
2017536711.tif 000006
【図５】
2017536711.tif 000007
【図６Ａ】
2017536711.tif 000008
【図６Ｂ】
2017536711.tif 000009
【図７Ａ】
2017536711.tif 000010
【図７Ｂ】
2017536711.tif 000011
【図７Ｃ】
2017536711.tif 000012
【図７Ｄ】
2017536711.tif 000013
【図７Ｅ】
2017536711.tif 000014
【図７Ｆ】
2017536711.tif 000015
【図７Ｇ】
2017536711.tif 000016
【図８】
2017536711.tif 000017
【図９】
2017536711.tif 000018
【図１０】
2017536711.tif 000019
【図１１】
2017536711.tif 000020
【図１２】
2017536711.tif 000021
【図１３】
2017536711.tif 000022
【図１４】
2017536711.tif 000023
【図１５】
2017536711.tif 000024
【図１６】
2017536711.tif 000025
【手続補正書】
【提出日】平成29年3月23日(2017.3.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチカメラシステムを較正するためのシステムであって、
処理デバイスと、
前記処理デバイスによって実装される複数のモジュールと
を備え、
前記複数のモジュールは、
第１のターゲットにおいて１又は複数の画像を取り込み、
第２のターゲットにおいて１又は複数の画像を取り込み、
第３のターゲットにおいて１又は複数の画像を取り込み、
第４のターゲットにおいて１又は複数の画像を取り込む画像取り込みモジュールと、
前記取り込まれた複数の画像に基づいてマルチカメラシステムを較正するための較正モジュールとを含む、システム。
【請求項２】
記憶デバイスを更に備え、前記較正モジュールが、前記較正と関連付けられる較正データを記憶するためのものである、請求項１に記載のシステム。
【請求項３】
１つの画像が、前記第１のターゲットにおいて取り込まれ、
２つの画像が、前記第２のターゲットにおいて取り込まれ、
１つの画像が、前記第３のターゲットにおいて取り込まれ、
２つの画像が、前記第４のターゲットにおいて取り込まれる、請求項１又は２に記載のシステム。
【請求項４】
前記第１のターゲットと関連付けられる第１の位置において前記マルチカメラシステムを収容するデバイスを受容するための電動プラットフォームと、
回転モジュールと
を更に備え、
前記回転モジュールは、
前記デバイスを、前記第２のターゲットと関連付けられる第２の位置まで約４５度回転させ、
前記デバイスを、前記第２のターゲットと関連付けられる第３の位置まで約１０度回転させ、
前記デバイスを、前記第３のターゲットと関連付けられる第４の位置まで約１３５度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第５の位置まで約１８０度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第６の位置まで約１０度回転させる、請求項１又は２に記載のシステム。
【請求項５】
前記複数のモジュールは、デバッギングモジュールを更に含み、
前記デバッギングモジュールは、
較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
画像取り込みが行われる前に、前記第１のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
全てのターゲットが、前記マルチカメラシステムからの所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
これらの任意の組み合わせを行う、請求項１又は２に記載のシステム。
【請求項６】
前記第１のターゲットは、高さ約４１０ミリメートル（ｍｍ）及び幅約６２０ｍｍのチェッカーボードパターンの長方形であり、
前記第２のターゲットは、高さ約６２０ｍｍ及び幅約９００ｍｍのチェッカーボードパターンの長方形であり、
前記第３のターゲットは、
高さ約６０ｍｍ及び幅６０ｍｍである第１のチェッカーボードパターンの長方形と、
４つのチェッカーボードパターンの長方形であって、各々、前記第１のチェッカーボードパターンの長方形の縁部に取り付けられ、互いから約４０度の角度で配置される、４つのチェッカーボードパターンの長方形とを含む、５つのチェッカーボードパターンの長方形を有し、
前記第４のターゲットは、前記第３のターゲットが配置される距離よりも遠い前記マルチカメラシステムからの距離に前記第４のターゲットが配置されることを除いて、前記第３のターゲットに類似する、請求項１又は２に記載のシステム。
【請求項７】
前記第３のターゲット、前記第４のターゲット、又はこれらの任意の組み合わせの各チェッカーボードパターンの画像を取り込むための位置決定モジュールを更に備える、請求項６に記載のシステム。
【請求項８】
前記位置決定モジュールが、ターゲットにおける他のチェッカーボードパターンに対する各チェッカーボードパターンの位置に基づいて、各チェッカーボードパターンから取り込まれた個々の画像を共に継ぎ合わせるためのものである、請求項７に記載のシステム。
【請求項９】
複数のターゲット及び前記マルチカメラシステムの各々の中心が、地上約９０センチメートル（ｃｍ）に配置される、請求項１又は２に記載のシステム。
【請求項１０】
前記マルチカメラシステムと前記第１のターゲットとの間の距離が、約８００ｍｍであり、
前記マルチカメラシステムと前記第２のターゲットとの間の距離が、約１２００ｍｍであり、
前記マルチカメラシステムと前記第３のターゲットの間の距離が、約２２３０ｍｍであり、
前記マルチカメラシステムと前記第４のターゲットとの間の距離が、約３０５０ｍｍである、請求項１又は２に記載のシステム。
【請求項１１】
マルチカメラシステムを較正するための方法であって、
第１のターゲットにおいて１又は複数の画像を取り込むことと、
第２のターゲットにおいて１又は複数の画像を取り込むことと、
第３のターゲットにおいて１又は複数の画像を取り込むことと、
第４のターゲットにおいて１又は複数の画像を取り込むことと、
前記取り込まれた複数の画像に基づいてマルチカメラシステムを較正することと
を含む、方法。
【請求項１２】
記憶デバイスを更に備え、較正モジュールが、前記較正と関連付けられる較正データを記憶するためのものである、請求項１１に記載の方法。
【請求項１３】
１つの画像が、前記第１のターゲットにおいて取り込まれ、
２つの画像が、前記第２のターゲットにおいて取り込まれ、
１つの画像が、前記第３のターゲットにおいて取り込まれ、
２つの画像が、前記第４のターゲットにおいて取り込まれる、請求項１１又は１２に記載の方法。
【請求項１４】
前記第１のターゲットと関連付けられる第１の位置において前記マルチカメラシステムを収容するデバイスを受容するための電動プラットフォームと、
回転モジュールと
を更に備え、
前記回転モジュールは、
前記デバイスを、前記第２のターゲットと関連付けられる第２の位置まで約４５度回転させ、
前記デバイスを、前記第２のターゲットと関連付けられる第３の位置まで約１０度回転させ、
前記デバイスを、前記第３のターゲットと関連付けられる第４の位置まで約１３５度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第５の位置まで約１８０度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第６の位置まで約１０度回転させる、請求項１１又は１２に記載の方法。
【請求項１５】
複数のモジュールは、デバッギングモジュールを更に含み、
前記デバッギングモジュールは、
較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認し、
画像取り込みが行われる前に、前記第１のターゲットがプレビューウィンドウ内に位置付けられていることを確認し、
全てのターゲットが、前記マルチカメラシステムから所定の距離において、前記マルチカメラシステムを直接指し示していることを確認し、又は、
これらの任意の組み合わせを行う、請求項１１又は１２に記載の方法。
【請求項１６】
前記第１のターゲットは、高さ約４１０ミリメートル（ｍｍ）及び幅約６２０ｍｍのチェッカーボードパターンの長方形であり、
前記第２のターゲットは、高さ約６２０ｍｍ及び幅約９００ｍｍのチェッカーボードパターンの長方形であり、
前記第３のターゲットは、
高さ約６０ｍｍ及び幅６０ｍｍである第１のチェッカーボードパターンの長方形と、
４つのチェッカーボードパターンの長方形であって、各々、前記第１のチェッカーボードパターンの長方形の縁部に取り付けられ、互いから約４０度の角度で配置される、４つのチェッカーボードパターンの長方形と
を含む５つのチェッカーボードパターンの長方形を有し、
前記第４のターゲットは、前記第３のターゲットが配置される距離よりも遠い、前記マルチカメラシステムからの距離に前記第４のターゲットが配置されることを除いて、前記第３のターゲットに類似する、請求項１１又は１２に記載の方法。
【請求項１７】
前記第３のターゲット、前記第４のターゲット、又はこれらの任意の組み合わせの各チェッカーボードパターンの画像を取り込むための位置決定モジュールを更に備える、請求項１６に記載の方法。
【請求項１８】
前記位置決定モジュールが、ターゲットにおける他のチェッカーボードパターンに対する各チェッカーボードパターンの位置に基づいて、各チェッカーボードパターンから取り込まれた個々の画像を共に継ぎ合わせるためのものである、請求項１７に記載の方法。
【請求項１９】
複数のターゲット及び前記マルチカメラシステムの各々の中心が、地上約９０センチメートル（ｃｍ）に配置される、請求項１１又は１２に記載の方法。
【請求項２０】
前記マルチカメラシステムと前記第１のターゲットとの間の距離が、約８００ｍｍであり、
前記マルチカメラシステムと前記第２のターゲットとの間の距離が、約１２００ｍｍであり、
前記マルチカメラシステムと前記第３のターゲットの間の距離が、約２２３０ｍｍであり、
前記マルチカメラシステムと前記第４のターゲットとの間の距離が、約３０５０ｍｍである、請求項１１又は１２に記載の方法。
【請求項２１】
実行されたときに、処理デバイスに、
第１のターゲットにおいて１又は複数の画像を取り込ませ、
第２のターゲットにおいて１又は複数の画像を取り込ませ、
第３のターゲットにおいて１又は複数の画像を取り込ませ、
第４のターゲットにおいて１又は複数の画像を取り込ませ、
前記取り込まれた画像に基づいてマルチカメラシステムを較正させる、コンピュータプログラム。
【請求項２２】
前記処理デバイスに更に、
前記較正と関連付けられる較正データを記憶させる、請求項２１に記載のコンピュータプログラム。
【請求項２３】
１つの画像が、前記第１のターゲットにおいて取り込まれ、
２つの画像が、前記第２のターゲットにおいて取り込まれ、
１つの画像が、前記第３のターゲットにおいて取り込まれ、
２つの画像が、前記第４のターゲットにおいて取り込まれる、請求項２１又は２２に記載のコンピュータプログラム。
【請求項２４】
前記処理デバイスに更に、
デバイスを、前記第１のターゲットと関連付けられる第１の位置から、前記第２のターゲットと関連付けられる第２の位置まで約４５度を回転させ、
前記デバイスを、前記第２のターゲットと関連付けられる第３の位置まで約１０度回転させ、
前記デバイスを、前記第３のターゲットと関連付けられる第４の位置まで約１３５度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第５の位置まで約１８０度回転させ、
前記デバイスを、前記第４のターゲットと関連付けられる第６の位置まで約１０度回転させる、請求項２１又は２２に記載のコンピュータプログラム。
【請求項２５】
前記処理デバイスに更に、
較正前に、前記マルチカメラシステムの全てのカメラがプレビューを示していることを確認させ、
画像取り込みが行われる前に、前記第１のターゲットがプレビューウィンドウ内に位置付けられていることを確認させ、
全てのターゲットが、前記マルチカメラシステムから所定の距離において、前記マルチカメラシステムを直接指し示していることを確認させ、又は、
これらの任意の組み合わせを行わせる、請求項２１又は２２に記載のコンピュータプログラム。
【請求項２６】
請求項２１から２５のいずれか一項に記載のコンピュータプログラムを格納する、コンピュータ可読記憶媒体。
【国際調査報告】
2017536711.tif 000026
2017536711.tif 000027