(57)【要約】立体画像化のための画像化システムの基準線を自動的に調整するためのシステム、システムを作成する方法、システムを使用する方法を提供する。画像化システムは、基準線調整機構を介して協調する複数の画像化装置を含む。画像化装置は注目物体の画像を取得し、三角測量を使用し、立体視画像化システムと注目物体の間の物体距離を確かめることができる。物体距離に基づいて、基準線調整機構は、画像化装置の任意の組間の基準線を自動的に調整する。基準線は、注目物体が画像化システムに近接しているときに削減でき、注目物体が遠いときには増加できる。基準線が調整されると、画像化装置の１つ以上の外因性パラメータがツーステップ最適化方法を使用し、較正される。画像化システムは、無人航空機等の可動プラットフォームに搭載して使用するのに適する。
2017505903.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１の画像化装置及び第２の画像化装置を含む複数の画像化装置を有する画像化システムの基準線を自動調整する方法において、
前記画像化システムと注目物体の間の物体距離を取得するステップと、
前記物体距離に従って前記基準線を自動的に調整するステップと、
を含む方法。
【請求項２】
前記物体距離を取得するステップが、
前記第１の画像化装置を使用し、前記注目物体の第１の画像を取得するステップと、
前記第２の画像化装置を使用し、前記注目物体の第２の画像を取得するステップと、
前記第１の画像と前記第２の画像の間の両眼視差を決定するステップと、
前記両眼視差を使用し、前記物体距離を決定するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記物体距離を取得するステップが、
前記両眼視差を決定する前に前記第１の画像と前記第２の画像を修正するステップをさらに含む、請求項２に記載の方法。
【請求項４】
前記物体距離を取得するステップが、
前記注目物体上の複数の特徴点を取得するステップと、
前記画像化システムと前記特徴点のそれぞれの間のそれぞれの特徴距離を決定するステップと、
前記特徴距離を使用し、前記物体距離を決定するステップと、
を含む、請求項１から請求項３のいずれか１つに記載の方法。
【請求項５】
前記物体距離を決定するステップが、
前記特徴距離の平均に基づいて前記物体距離を決定するステップを含む、請求項４に記載の方法。
【請求項６】
前記物体距離を決定するステップが、
前記特徴点の内の１つ以上を選択するステップと、
前記選択された特徴点の前記特徴距離に基づいて前記物体距離を取得するステップと、
を含む、請求項４または請求項５に記載の方法。
【請求項７】
前記特徴点を選択するステップは、
前記画像化システムに最も近い特徴点の所定のパーセンテージを選択するステップと、
前記画像化システムから最も遠い前記選択された特徴点の前記特徴距離として前記物体距離を取得するステップと、
を含む、請求項６に記載の方法。
【請求項８】
前記選択された特徴点の前記所定のパーセンテージが８０パーセントである、請求項７に記載の方法。
【請求項９】
前記画像化システムと前記特徴点のそれぞれとの間の前記特徴距離を決定するステップが、
前記第１の画像化装置または前記第２の画像化装置によって取得された画像上の前記特徴点に対応するピクセルに基づいて前記特徴距離を決定するステップを含む、請求項４から請求項８のいずれか１つに記載の方法。
【請求項１０】
前記物体距離を取得するステップが、
レーザーを使用し、前記物体距離を取得するステップを含む、請求項１から請求項９のいずれか１つに記載の方法。
【請求項１１】
前記物体距離を取得するステップが、
超音波システムを使用し、前記物体距離を取得するステップを含む、請求項１から請求項１０のいずれか１つに記載の方法。
【請求項１２】
前記自動的に調整するステップが、
前記基準線が最小基準線以下である場合に、前記基準線を増加させるステップを含む、請求項１から請求項１１のいずれか１つに記載の方法。
【請求項１３】
前記最小基準線が４×Ｚ×Ｌ／ｆであり、Ｚが前記物体距離であり、Ｌが前記画像化装置の内の少なくとも１台のピクセル幅であり、ｆが前記画像化装置の内の少なくとも１台の焦点距離である、請求項１２に記載の方法。
【請求項１４】
前記自動的に調整するステップが、
前記基準線が最大基準線を超える場合に、前記基準線を減少させるステップを含む、請求項１から請求項１３のいずれか１つに記載の方法。
【請求項１５】
前記自動的に調整するステップが、
前記基準線が最大基準線以下の場合に、前記基準線を増加させるステップを含む、請求項１から請求項１４のいずれか１つに記載の方法。
【請求項１６】
前記最大基準線がＺ×ｔａｎ（θ／２）であり、Ｚが前記物体距離であり、θが前記画像化装置の内の少なくとも１台の視角である、請求項１４または請求項１５に記載の方法。
【請求項１７】
前記自動的に調整するステップが、
前記第１の画像化装置の視野が少なくとも閾値分前記第２の画像化装置の視野と重複するまで前記基準線を増加させるステップを含む、請求項１から請求項１６のいずれか１つに記載の方法。
【請求項１８】
前記基準線の前記自動調整後に前記画像化システムの外因性のパラメータを較正するステップをさらに含む、請求項１から請求項１７のいずれか１つに記載の方法。
【請求項１９】
前記較正するステップが、
前記画像化システムの並進外因性パラメータまたは回転外因性パラメータの少なくとも一方を較正するステップを含む、請求項１８に記載の方法。
【請求項２０】
前記較正するステップが、
前記基準線を自動的に調整するステップに従って前記並進外因性パラメータを初期較正するステップを含む、請求項１９に記載の方法。
【請求項２１】
前記較正するステップが、
前記初期較正するステップの後に前記外因性パラメータを追加較正して前記外因性パラメータを最適化するステップを含む、請求項２０に記載の方法。
【請求項２２】
前記追加較正が、
バンドル調整を備える、請求項２１に記載の方法。
【請求項２３】
前記画像化システムが、
可動プラットフォームである、請求項１から請求項２２のいずれか１つに記載の方法。
【請求項２４】
前記画像化システムが無人航空機（ＵＡＶ）であり、
前記自動的に調整するステップが前記ＵＡＶの飛行モードに依存している、請求項２３に記載の方法。
【請求項２５】
前記自動的に調整するステップが、
前記飛行モードが着陸モードであるときに前記基準線を減少させるステップを含む、請求項２４に記載の方法。
【請求項２６】
前記自動的に調整するステップが、
前記飛行モードが離陸モードであるときに前記基準線を増加させるステップを含む、請求項２４または請求項２５に記載の方法。
【請求項２７】
前記自動的に調整するステップが、
前記飛行モードが空中画像取得モードであるときに前記基準線を増加させるステップを含む、請求項２４から請求項２６のいずれか１つに記載の方法。
【請求項２８】
請求項１から請求項２７のいずれか１つに記載の方法に従って、基準線を自動的に調整する、
ことを特徴とする、画像化システム。
【請求項２９】
請求項１から請求項２７のいずれか１つに記載の方法に従って、第１の画像化装置と第２の画像化装置を有する画像化システムの基準線を自動的に調整するための命令を備える、
ことを特徴とする、コンピュータプログラム製品。
【請求項３０】
複数の画像化装置を有する画像化システムの第１の画像化装置と第２の画像化装置の間の基準線を自動的に調整する装置において、
前記第１の画像化装置と前記第２の画像化装置と接続されている基準線調整機構と、
前記画像化システムと注目物体の間の物体距離に従って前記基準線を自動的に調整する前記基準線調整機構に制御信号を提供するコントローラと、
を備える、
ことを特徴とする、装置。
【請求項３１】
前記コントローラが、
前記第１の画像化装置を使用し、前記注目物体の第１の画像を取得することと、
前記第２の画像化装置を使用し、前記注目物体の第２の画像を取得することと、
前記第１の画像と前記第２の画像の間の両眼視差を決定することと、
前記両眼視差を使用し、前記物体距離を決定すること、によって前記物体距離を取得する、
ことを特徴とする、請求項３０に記載の装置。
【請求項３２】
前記コントローラが、
前記両眼視差を決定する前に前記第１の画像と前記第２の画像を修正する、
ことを特徴とする、請求項３１に記載の装置。
【請求項３３】
前記コントローラが、
前記注目物体上の複数の特徴点を取得することと、
前記画像化システムと前記特徴点のそれぞれの間の特徴距離を決定することと、
前記特徴距離を使用し、前記物体距離を決定すること
によって前記物体距離を取得する、
ことを特徴とする請求項３０から請求項３２のいずれか１つに記載の装置。
【請求項３４】
前記コントローラが、
前記特徴距離の平均に基づいて前記物体距離を取得する、
ことを特徴とする、請求項３３に記載の装置。
【請求項３５】
前記コントローラが、
前記特徴点の内の１つ以上を選択し、前記選択された特徴点の前記特徴距離に基づいて前記物体距離を取得する、
ことを特徴とする、請求項３３または請求項３４に記載の装置。
【請求項３６】
前記コントローラが、
前記画像化システムに最も近い特徴点の所定のパーセンテージを選択することによって前記特徴点を選択し、前記画像化システムから最も遠い選択された特徴点の前記特徴距離として前記物体距離を取得する、
ことを特徴とする、請求項３５に記載の装置。
【請求項３７】
選択された特徴点の前記所定のパーセンテージが所与の割合である、
ことを特徴とする、請求項３６に記載の装置。
【請求項３８】
前記画像化システムと前記特徴点のそれぞれの間の前記それぞれの特徴距離を決定することが、前記第１の画像化装置または前記第２の画像化装置によって取得された画像上の前記特徴点に対応するピクセルに基づいて特徴距離を決定することを含む、
ことを特徴とする、請求項３３から請求項３７のいずれか１つに記載の装置。
【請求項３９】
前記物体距離を取得するレーザーをさらに備える、
ことを特徴とする、請求項３０から請求項３８のいずれか１つに記載の装置。
【請求項４０】
前記物体距離を取得する超音波システムをさらに備える、
ことを特徴とする、請求項３０から請求項３９のいずれか１つに記載の装置。
【請求項４１】
前記基準線調整機構が、スクリュー軸機構を備える、
ことを特徴とする、請求項３０から請求項４０のいずれか１つに記載の装置。
【請求項４２】
前記基準線調整機構が、ラックアンドピニオン機構を備える、
ことを特徴とする、請求項３０から請求項４１のいずれか１つに記載の装置。
【請求項４３】
前記基準線調整機構が、スライダクランク機構を備える、
ことを特徴とする、請求項３０から請求項４２のいずれか１つに記載の装置。
【請求項４４】
前記基準線調整機構が、リニアモータを備える、
ことを特徴とする、請求項３０から請求項４３のいずれか１つに記載の装置。
【請求項４５】
前記基準線調整機構が、調整可能なフレームを備える、
ことを特徴とする、請求項３０から請求項４４のいずれか１つに記載の装置。
【請求項４６】
前記制御信号が、前記基準線が最小基準線以下である場合に、前記基準線を自動的に増加させる信号である、
ことを特徴とする、請求項３０から請求項４５のいずれか１つに記載の装置。
【請求項４７】
前記最小基準線が４×Ｚ×Ｌ／ｆであり、Ｚが前記物体距離であり、Ｌが前記画像化装置の内の少なくとも１台のピクセル幅であり、ｆが前記画像化装置の内の少なくとも１台の焦点距離である、
ことを特徴とする、請求項４６に記載の装置。
【請求項４８】
前記制御信号が、前記基準線が最大基準線を超える場合に、前記基準線を自動的に減少させる信号である、
ことを特徴とする、請求項３０から請求項４７のいずれか１つに記載の装置。
【請求項４９】
前記制御信号は、前記基準線が最大基準線以下である場合に、前記基準線を自動的に増加させる信号である、
ことを特徴とする、請求項３０から請求項４８のいずれか１つに記載の装置。
【請求項５０】
前記最大基準線がＺ×ｔａｎ（θ／２）であり、Ｚが前記物体距離であり、θが前記画像化装置の内の少なくとも１台の視角である、
ことを特徴とする、請求項４８または請求項４９に記載の装置。
【請求項５１】
前記コントローラが、前記第１の画像化装置の視野が少なくとも閾値分、前記第２の画像化装置の視野と重複するまで、前記基準線を自動的に増加させる、
ことを特徴とする、請求項３０から請求項５０のいずれか１つに記載の装置。
【請求項５２】
前記コントローラが、前記基準線の前記自動調整後に前記画像化システムの外因性パラメータを較正する、
ことを特徴とする、請求項３０から請求項５１のいずれか１つに記載の装置。
【請求項５３】
前記コントローラが、並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正する、
ことを特徴とする、請求項５２に記載の装置。
【請求項５４】
前記コントローラが、前記基準調整機構の線形変位に従って前記並進外因性パラメータを初期較正する、
ことを特徴とする、請求項５３に記載の装置。
【請求項５５】
前記基準線調整機構が、スクリュー軸機構を備え、
前記コントローラが、前記スクリュー軸機構の回転の前記程度に従って前記並進外因性パラメータを初期較正する、
ことを特徴とする、請求項５４に記載の装置。
【請求項５６】
前記コントローラが、前記初期較正の後に前記外因性パラメータをさらに較正し、前記外因性パラメータを最適化する、
ことを特徴とする、請求項５４または請求項５５に記載の装置。
【請求項５７】
前記コントローラが、バンドル調整を使用し、前記外因性パラメータをさらに較正する、
ことを特徴とする、請求項５６に記載の装置。
【請求項５８】
前記画像化システムが、可動プラットフォームである、
ことを特徴とする、請求項３０から請求項５７のいずれか１つに記載の装置。
【請求項５９】
前記画像化システムが、無人航空機（ＵＡＶ）である、
ことを特徴とする、請求項５８に記載の装置。
【請求項６０】
前記コントローラが、前記ＵＡＶの飛行モードに応じて前記基準線を自動的に調整する、
ことを特徴とする、請求項５９に記載の装置。
【請求項６１】
前記コントローラが、前記飛行モードが着陸モードであるときに前記基準線を減少させる、
ことを特徴とする、請求項６０に記載の装置。
【請求項６２】
前記コントローラが、前記飛行モードが離陸モードであるときに前記基準線を増加させる、
ことを特徴とする、請求項６０または請求項６１に記載の装置。
【請求項６３】
前記コントローラが、前記飛行モードが空中画像取得モードであるときに前記基準線を増加させる、
ことを特徴とする、請求項６０から６２のいずれか１つに記載の装置。
【請求項６４】
画像化システムにおいて、
関心のある物体を画像化する少なくとも１台の第１の画像化装置、及び前記関心のある物体を画像化する第２の画像化装置を含む複数の画像化装置と、
前記第１の画像化装置と前記第２の画像化装置の間の基準線を調整する基準線調整機構と、
前記画像化システムと前記関心のある物体の間の物体距離に従って前記基準線調整機構を使用し、前記基準線を自動的に調整するコントローラと、
を備える、
ことを特徴とする、画像化システム。
【請求項６５】
前記コントローラが、
前記第１の画像化装置を使用し、前記関心のある物体の第１の画像を取得すること、
前記第２の画像化装置を使用し、前記関心のある物体の第２の画像を取得すること、
前記第１の画像と前記第２の画像の間の両眼視差を決定すること、及び
前記両眼視差を使用し、前記物体距離を決定すること
によって物体を取得する、
ことを特徴とする、請求項６４に記載の画像化システム。
【請求項６６】
前記コントローラが、前記両眼視差を決定する前に前記第１の画像と前記第２の画像を修正する、
ことを特徴とする、請求項６５に記載の画像化システム。
【請求項６７】
前記コントローラが、
前記関心のある物体上の複数の特徴点を取得すること、
前記画像化システムと前記特徴点のそれぞれの間のそれぞれの特徴距離を決定すること、及び
前記特徴距離を使用し、前記物体距離を決定すること
によって前記物体距離を取得する、
ことを特徴とする、請求項６４から請求項６６のいずれか１つに記載の画像化システム。
【請求項６８】
前記コントローラが、前記特徴距離の平均に基づいて前記物体距離を取得する、
ことを特徴とする、請求項６７に記載の画像化システム。
【請求項６９】
前記コントローラが、前記特徴点の内の１つ以上を選択し、前記選択された特徴点の前記特徴距離に基づいて前記物体距離を取得する、
ことを特徴とする、請求項６７または請求項６８に記載の画像化システム。
【請求項７０】
前記コントローラが、前記画像化システムに最も近い特徴点の所定のパーセンテージを選択することによって前記特徴点を選択し、前記画像化システムから最も遠い選択された特徴点の前記特徴距離として前記物体距離を取得する、
ことを特徴とする、請求項６９に記載の画像化システム。
【請求項７１】
選択された特徴点の前記所定のパーセンテージが８０パーセントである、
ことを特徴とする、請求項７０に記載の画像化システム。
【請求項７２】
前記画像化システムと前記特徴点のそれぞれの間の前記それぞれの特徴距離を決定することが、前記第１の画像化装置または前記第２の画像化装置によって取得された画像上の前記特徴点に対応するピクセルに基づいて前記特徴距離を決定することを含む、
ことを特徴とする、請求項６７から請求項７１のいずれか１つに記載の画像化システム。
【請求項７３】
前記物体距離を取得するためのレーザーをさらに備える、
ことを特徴とする、請求項６４から請求項７２のいずれか１つに記載の画像化システム。
【請求項７４】
前記物体距離を取得するための超音波システムをさらに備える、
ことを特徴とする、請求項６４から請求項７３のいずれか１つに記載の画像化システム。
【請求項７５】
前記基準線調整機構が、スクリュー軸機構を備える、
ことを特徴とする、請求項６４から請求項７４のいずれか１つに記載の画像化システム。
【請求項７６】
前記基準線調整機構が、ラックアンドピニオン機構を備える、
ことを特徴とする、請求項６４から請求項７５のいずれか１つに記載の画像化システム。
【請求項７７】
前記基準線調整機構が、スライダクランク機構を備える、
ことを特徴とする、請求項６４から請求項７６のいずれか１つに記載の画像化システム。
【請求項７８】
前記基準線調整機構が、リニアモータを備える、
ことを特徴とする、請求項６４から請求項７７のいずれか１つに記載の画像化システム。
【請求項７９】
前記基準線調整機構が、調整可能なフレームを備える、
ことを特徴とする、請求項６４から請求項７８のいずれか１つに記載の画像化システム。
【請求項８０】
前記コントローラが、前記基準線が最小基準線以下である場合に、前記基準線を自動的に増加させる、
ことを特徴とする、請求項６４から請求項７９のいずれか１つに記載の画像化システム。
【請求項８１】
前記最小基準線が４×Ｚ×Ｌ／ｆであり、Ｚが前記物体距離であり、Ｌが前記画像化装置の内の少なくとも１台のピクセル幅であり、ｆが前記画像化装置の内の少なくとも１台の焦点距離である、
ことを特徴とする、請求項８０に記載の画像化システム。
【請求項８２】
前記コントローラが、前記基準線が最大基準線を超える場合に、前記基準線を自動的に減少させる、
ことを特徴とする、請求項６４から請求項８１のいずれか１つに記載の画像化システム。
【請求項８３】
前記コントローラが、前記基準線が最大基準線以下である場合に、前記基準線を自動的に増加させる、
ことを特徴とする、請求項６４から請求項８２のいずれか１つに記載の画像化システム。
【請求項８４】
前記最大基準線がＺ×ｔａｎ（θ／２）であり、Ｚが前記物体距離であり、θが前記画像化装置の内の少なくとも１台の視角である、
ことを特徴とする、請求項８２または請求項８３に記載の画像化システム。
【請求項８５】
前記コントローラが、前記第１の画像化装置の視野が少なくとも閾値分、前記第２の画像化装置の視野と重複するまで、前記基準線を自動的に増加させる、
ことを特徴とする、請求項６４から請求項８４のいずれか１つに記載の画像化システム。
【請求項８６】
前記コントローラが、前記基準線の前記自動調整後に前記画像化システムの外因性パラメータを較正する、
ことを特徴とする、請求項６４から請求項８５のいずれか１つに記載の画像化システム。
【請求項８７】
前記コントローラが、並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正する、
ことを特徴とする、請求項請求項８６に記載の画像化システム。
【請求項８８】
前記コントローラが、前記基準調整機構の線形変位に従って前記並進外因性パラメータを初期較正する、
ことを特徴とする、請求項８７に記載の画像化システム。
【請求項８９】
前記基準線調整機構がスクリュー軸機構を備え、コントローラが前記スクリュー軸機構の回転の前記程度に従って前記並進外因性パラメータを初期較正する、
ことを特徴とする、請求項８８に記載の画像化システム。
【請求項９０】
前記コントローラが、前記初期較正した後に前記外因性パラメータをさらに較正し、前記外因性パラメータを最適化する、
ことを特徴とする、請求項８８または請求項８９に記載の画像化システム。
【請求項９１】
前記コントローラが、バンドル調整を使用し、前記外因性パラメータをさらに較正する、
ことを特徴とする、請求項９０に記載の画像化システム。
【請求項９２】
前記画像化システムが、可動プラットフォームである、
ことを特徴とする、請求項６４から請求項９１のいずれか１つ記載の画像化システム。
【請求項９３】
前記可動プラットフォームが、無人航空機（ＵＡＶ）である、
ことを特徴とする、請求項９２に記載の画像化システム。
【請求項９４】
前記コントローラが、前記ＵＡＶの飛行モードに応じて前記基準線を自動的に調整する、
ことを特徴とする、請求項９３に記載の画像化システム。
【請求項９５】
前記コントローラが、前記飛行モードが着陸モードであるときに前記基準線を減少させる、
ことを特徴とする、請求項９４に記載の画像化システム。
【請求項９６】
前記コントローラが、前記飛行モードが離陸モードであるときに前記基準線を増加させる、
ことを特徴とする、請求項９４または請求項９５に記載の画像化システム。
【請求項９７】
前記コントローラが、前記飛行モードが空中画像取得モードであるときに、前記基準線を増加させる、
ことを特徴とする、請求項９４から請求項９６のいずれか１つに記載の画像化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像化に関し、より詳細には基準線を調整するための画像化システム及び方法に関するが、これに限定されない。
【背景技術】
【０００２】
複数の画像化装置を使用して、立体視により３次元画像を形成する立体画像化技術は、多くの分野でますます一般的になってきている。立体画像化は、特に、機械の環境における３次元情報を収集することが望まれるロボット工学で役立つ場合が多い。立体画像化は、人間の目の両眼視を刺激し、立体視の原理を用いて奥行きを認知できるようにする。この技法によれば、複数の画像化装置を使用して所与の注目物体をわずかに異なる視点から観察し、人工画像化装置を使用することにより物体を再現できる。注目物体の画像は変化して複数の画像間に差異が生じる。この差異は、物体の位置に関する奥行き情報を伝達し、それによって物体の３次元画像化を可能にする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
立体を画像化する画像化システムの奥行きを解像する能力は、基準線、つまり２台の画像化装置間の距離の関数である。基準線は、立体画像化のためのシステムの有効視野を制限するが、次ぎに説明するように異なる方法が用いられる。例えば、基準線が小さすぎると、画像化システムは遠い物体を解像できない。基準線が大きすぎると、画像化システムは近傍の物体を見ることができない（結果的に、近傍物体の盲点が生じる）。さらに、基準線が大きすぎると、２台の画像化装置の視野の重複が少なくなり、奥行きを認知できる物体の数が制限される。さらに、基準線が大きく固定された場合、立体画像化システムが大きな空間を占め、扱いにくくなり得る。したがって、現在の多くの立体画像化システムにおいて、基準線は、画像化が望まれている物体が、近傍にあるか、あるいは遠くに離れているか、に応じて固定される。
【０００４】
上記の状態に対応するために、立体画像化のための基準線を自動的に調整することを支援する画像化システム及び方法が必要とされている。
【課題を解決するための手段】
【０００５】
本発明の第１の実施形態に従って、
画像化システムと注目物体の間の物体距離を取得するステップと、物体距離に従って基準線を自動的に調整するステップと、を含み、
少なくとも第１の画像化装置及び第２の画像化装置を含む複数の画像化装置を有する画像化システムの基準線を自動的に調整する方法、について説明する。
【０００６】
本発明に関わる方法において、物体距離を取得するステップは、第１の画像化装置を使用し、注目物体の第１の画像を取得するステップと、第２の画像化装置を使用し、注目物体の第２の画像を取得するステップと、第１の画像と第２の画像の間の両眼視差を決定するステップと、両眼視差を使用し、物体距離を決定するステップと、を含む。
【０００７】
本発明に関わる方法において、物体距離を取得するステップは、両眼視差を決定する前に第１の画像と第２の画像を修正するステップをさらに含む。
【０００８】
本発明に関わる方法において、物体距離を取得するステップは、注目物体上の複数の特徴点を取得するステップと、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定するステップと、特徴距離を使用し、物体距離を決定するステップと、を含む。
【０００９】
本発明に関わる方法において、物体距離を決定するステップは、特徴距離の平均に基づいて物体距離を決定するステップを含む。
【００１０】
本発明に関わる方法において、物体距離を決定するステップは、特徴点の内の１つ以上を選択するステップと、選択された特徴点の特徴距離に基づいて物体距離を取得するステップと、を含む。
【００１１】
本発明に関わる方法において、特徴点を選択するステップは、画像化システムに最も近い特徴点の所定のパーセンテージを選択するステップと、画像化システムから最も遠い選択された特徴点の特徴距離として物体距離を取得するステップと、を含む。
【００１２】
本発明に関わる方法において、選択された特徴点の所定のパーセンテージは８０パーセントである。
【００１３】
本発明に関わる方法において、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定するステップは、第１の画像化装置または第２の画像化装置によって取得された画像上の特徴点に対応するピクセルに基づいて特徴距離を決定するステップを含む。
【００１４】
本発明に関わる方法において、物体距離を取得するステップは、レーザーを使用し、物体距離を取得するステップを含む。
【００１５】
本発明に関わる方法において、物体距離を取得するステップは、超音波システムを使用し、物体距離を取得するステップを含む。
【００１６】
本発明に関わる方法において、自動的に調整するステップは、基準線が最小基準線以下である場合に、基準線を増加させるステップを含む。
【００１７】
本発明に関わる方法において、最小基準線は４×Ｚ×Ｌ／ｆであり、Ｚは物体距離であり、Ｌは画像化装置の内の少なくとも１台のピクセル幅であり、ｆは画像化装置の内の少なくとも１台の焦点距離である。
【００１８】
本発明に関わる方法において、自動的に調整するステップは、基準線が最大基準線を超える場合に、基準線を減少させるステップを含む。
【００１９】
本発明に関わる方法において、自動的に調整するステップは、基準線が最大基準線以下の場合に、基準線を増加させるステップを含む。
【００２０】
本発明に関わる方法において、最大基準線はＺ×ｔａｎ（θ／２）であり、Ｚは物体距離であり、θは画像化装置の内の少なくとも１台の視角である。
【００２１】
本発明に関わる方法において、自動的に調整するステップは、第１の画像化装置の視野が、少なくとも閾値分、第２の画像化装置の視野と重複するまで基準線を増加させるステップを含む。
【００２２】
本発明に関わる方法は、基準線の自動調整後に画像化システムの外因性のパラメータを較正するステップをさらに含む。
【００２３】
本発明に関わる方法において、較正するステップは、画像化システムの並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正するステップを含む。
【００２４】
本発明に関わる方法において、較正するステップは、基準線を自動的に調整するステップに従って並進外因性パラメータを初期較正するステップを含む。
【００２５】
本発明に関わる方法において、較正するステップは、初期較正するステップの後に外因性パラメータをさらに較正し、外因性パラメータを最適化するステップを含む。
【００２６】
本発明に関わる方法において、追加の較正はバンドル調整を含む。
【００２７】
本発明に関わる方法において、画像化システムは、可動プラットフォームである。
【００２８】
本発明に関わる方法において、画像化システムは、無人航空機（ＵＡＶ）であり、自動的に調整するステップは、ＵＡＶの飛行モードに依存している。
【００２９】
本発明に関わる方法において、自動的に調整するステップは、飛行モードが着陸モードであるときに基準線を減少させるステップを含む。
【００３０】
本発明に関わる方法において、自動的に調整するステップは、飛行モードが離陸モードであるときに基準線を増加させるステップを含む。
【００３１】
本発明に関わる方法において、自動的に調整するステップは、飛行モードが空中画像取得モードであるときに基準線を増加させるステップを含む。
【００３２】
本発明の他の実施形態に従って、上記方法の内のいずれか１つに従って自動基準線調整を実行する画像化システム、について説明する。
【００３３】
本発明の他の実施形態に従って、上記方法の内のいずれか１つに従って第１の画像化装置と第２の画像化装置を有する画像化システムの基準線を自動的に調整する命令を含むコンピュータプログラム製品、について説明する。
【００３４】
本発明の他の実施形態に従って、第１の画像化装置及び第２の画像化装置に接続される基準線調整機構と、画像化システムと注目物体の間の物体距離に従って基準線を自動的に調整するための基準線調整機構に制御信号を提供するコントローラと、を含み、複数の画像化装置を有する画像化システムの第１の画像化装置と第２の画像化装置の間の基準線を自動的に調整する装置、について説明する。
【００３５】
本発明に関わる装置において、コントローラは、第１の画像化装置を使用して注目物体の第１の画像を取得し、第２の画像化装置を使用して注目物体の第２の画像を取得するし、第１の画像と第２の画像の間の両眼視差を決定し、両眼視差を使用して物体距離を決定すること、によって物体距離を取得する。
【００３６】
本発明に関わる装置において、コントローラは、両眼視差を決定する前に第１の画像と第２の画像を修正する。
【００３７】
本発明に関わる装置において、コントローラは、
注目物体上の複数の特徴点を取得し、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定し、特徴距離を使用して物体距離を決定すること、によって物体距離を取得する。
【００３８】
本発明に関わる装置において、コントローラは、特徴距離の平均に基づいて物体距離を取得する。
【００３９】
本発明に関わる装置において、コントローラは、特徴点の内の１つ以上を選択し、選択された特徴点の特徴距離に基づいて物体距離を取得する。
【００４０】
本発明に関わる装置において、コントローラは、画像化システムに最も近い特徴点の所定のパーセンテージを選択することによって特徴点を選択し、画像化システムから最も遠い選択された特徴点の特徴距離として物体距離を取得する。
【００４１】
本発明に関わる装置において、選択された特徴点の所定のパーセンテージは８０パーセントである。
【００４２】
本発明に関わる装置において、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定することは、第１の画像化装置または第２の画像化装置によって取得された画像上の特徴点に対応するピクセルに基づいて特徴距離を決定することを含む。
【００４３】
本発明に関わる装置は、物体距離を取得するためのレーザーをさらに含む。
【００４４】
本発明に関わる装置は、物体距離を取得するための超音波システムをさらに含む。
【００４５】
本発明に関わる装置において、基準線調整機構は、スクリュー軸機構を含む。
【００４６】
本発明に関わる装置において、基準線調整機構は、ラックアンドピニオン機構を含む。
【００４７】
本発明に関わる装置において、基準線調整機構は、スライダクランク機構を含む。
【００４８】
本発明に関わる装置において、基準線調整機構は、リニアモータを含む。
【００４９】
本発明に関わる装置において、基準線調整機構は、調整可能なフレームを含む。
【００５０】
本発明に関わる装置において、制御信号は、基準線が最小基準線以下である場合に、基準線を自動的に増加させるための信号である。
【００５１】
本発明に関わる装置において、最小基準線は４×Ｚ×Ｌ／ｆであり、Ｚは物体距離であり、Ｌは画像化装置の内の少なくとも１台のピクセル幅であり、ｆは画像化装置の内の少なくとも１台の焦点距離である。
【００５２】
本発明に関わる装置において、制御信号は、基準線が最大基準線を超える場合に、基準線を自動的に減少させるための信号である。
【００５３】
本発明に関わる装置において、制御信号は、基準線が最大基準線以下である場合に、基準線を自動的に増加させるための信号である。
【００５４】
本発明に関わる装置において、最大基準線はＺ×ｔａｎ（θ／２）であり、Ｚは物体距離であり、θは画像化装置の内の少なくとも１台の視角である。
【００５５】
本発明に関わる装置において、コントローラは、第１の画像化装置の視野が少なくとも閾値分、第２の画像化装置の視野と重複するまで、基準線を自動的に増加させる。
【００５６】
本発明に関わる装置において、コントローラは、基準線の自動調整後に画像化システムの外因性パラメータを較正する。
【００５７】
本発明に関わる装置において、コントローラは、並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正する。
【００５８】
本発明に関わる装置において、コントローラは、基準調整機構の線形変位に従って並進外因性パラメータを初期較正する。
【００５９】
本発明に関わる装置において、基準線調整機構はスクリュー軸機構を備え、コントローラはスクリュー軸機構の回転の程度に従って並進外因性パラメータを初期較正する。
【００６０】
本発明に関わる装置において、コントローラは、初期較正した後に外因性パラメータをさらに較正し、外因性パラメータを最適化する。
【００６１】
本発明に関わる装置において、コントローラは、バンドル調整を使用し、外因性パラメータをさらに較正する。
【００６２】
本発明に関わる装置において、画像化システムは、可動プラットフォームである。
【００６３】
本発明に関わる装置において、画像化システムは、無人航空機（ＵＡＶ）である。
【００６４】
本発明に関わる装置において、コントローラは、ＵＡＶの飛行モードに応じて基準線を自動的に調整する。
【００６５】
本発明に関わる装置において、コントローラは、飛行モードが着陸モードであるときに基準線を減少させる。
【００６６】
本発明に関わる装置において、コントローラは、飛行モードが離陸モードであるときに基準線を増加させる。
【００６７】
本発明に関わる装置において、コントローラは、飛行モードが空中画像取得モードであるときに基準線を増加させる。
【００６８】
本発明の他の実施形態に従って、注目物体を画像化するための少なくとも１台の第１の画像化装置及び注目物体を画像化するための第２の画像化装置を含む複数の画像化装置と、第１の画像化装置と第２の画像化装置の間の基準線を調整するための基準線調整機構と、画像化システムと注目物体の間の物体距離に従って基準線調整機構を使用して基準線を自動的に調整するコントローラと、を含む、画像化システムについて説明する。
【００６９】
本発明に関わる画像化システムにおいて、コントローラは、第１の画像化装置を使用して注目物体の第１の画像を取得することと、第２の画像化装置を使用して注目物体の第２の画像を取得することと、第１の画像と第２の画像の間の両眼視差を決定することと、両眼視差を使用して物体距離を決定すること、によって物体距離を取得する。
【００７０】
本発明に関わる画像化システムにおいて、コントローラは、両眼視差を決定する前に第１の画像と第２の画像を修正する。
【００７１】
本発明に関わる画像化システムにおいて、コントローラは、注目物体上の複数の特徴点を取得することと、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定することと、特徴距離を使用して物体距離を決定すること、によって物体距離を取得する。
【００７２】
本発明に関わる画像化システムにおいて、コントローラは、特徴距離の平均に基づいて物体距離を取得する。
【００７３】
本発明に関わる画像化システムにおいて、コントローラは、特徴点の内の１つ以上を選択し、選択された特徴点の特徴距離に基づいて物体距離を取得する。
【００７４】
本発明に関わる画像化システムにおいて、コントローラは、画像化システムに最も近い特徴点の所定のパーセンテージを選択することによって特徴点を選択し、画像化システムから最も遠い選択された特徴点の特徴距離として物体距離を取得する。
【００７５】
本発明に関わる画像化システムにおいて、選択された特徴点の所定のパーセンテージは８０パーセントである。
【００７６】
本発明に関わるシステムにおいて、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定することは、第１の画像化装置または第２の画像化装置によって取得された画像上の特徴点に対応するピクセルに基づいて特徴距離を決定することを含む。
【００７７】
本発明に関わる画像化システムは、物体距離を取得するためのレーザーをさらに含む。
【００７８】
本発明に関わる画像化システムは、物体距離を取得するための超音波システムをさらに含む。
【００７９】
本発明に関わる画像化システムにおいて、基準線調整機構は、スクリュー軸機構を含む。
【００８０】
本発明に関わる画像化システムにおいて、基準線調整機構は、ラックアンドピニオン機構を含む。
【００８１】
本発明に関わる画像化システムにおいて、基準線調整機構は、スライダクランク機構を含む。
【００８２】
本発明に関わる画像化システムにおいて、基準線調整機構は、リニアモータを含む。
【００８３】
本発明に関わる画像化システムにおいて、基準線調整機構は、調整可能なフレームを含む。
【００８４】
本発明に関わる画像化システムにおいて、コントローラは、基準線が最小基準線以下である場合に基準線を自動的に増加させる。
【００８５】
本発明に関わる画像化システムにおいて、最小基準線は４×Ｚ×Ｌ／ｆであり、Ｚは物体距離であり、Ｌは画像化装置の内の少なくとも１台のピクセル幅であり、ｆは画像化装置の内の少なくとも１台の焦点距離である。
【００８６】
本発明に関わる画像化システムにおいて、コントローラは、基準線が最大基準線を超える場合に基準線を自動的に減少させる。
【００８７】
本発明に関わる画像化システムにおいて、コントローラは、基準線が最大基準線以下である場合に基準線を自動的に増加させる。
【００８８】
本発明に関わる画像化システムにおいて、最大基準線はＺ×ｔａｎ（θ／２）であり、Ｚは物体距離であり、θは画像化装置の内の少なくとも１台の視角である。
【００８９】
本発明に関わる画像化システムにおいて、コントローラは、第１の画像化装置の視野が少なくとも閾値分、第２の画像化装置の視野と重複するまで、基準線を自動的に増加させる。
【００９０】
本発明に関わる画像化システムにおいて、コントローラは、基準線の自動調整後に画像化システムの外因性パラメータを較正する。
【００９１】
本発明に関わる画像化システムにおいて、コントローラは、並進外因性パラメータまた回転外因性パラメータの内の少なくとも１つを較正する。
【００９２】
本発明に関わる画像化システムにおいて、コントローラは、基準調整機構の直線状変位に従って並進外因性パラメータを初期較正する。
【００９３】
本発明に関わる画像化システムにおいて、基準線調整機構は、スクリュー軸機構を備え、コントローラはスクリュー軸機構の回転の程度に従って並進外因性パラメータを初期較正する。
【００９４】
本発明に関わる画像化システムにおいて、コントローラは、初期較正した後に因性パラメータをさらに較正し、外因性パラメータを最適化する。
【００９５】
本発明に関わる画像化システムにおいて、コントローラは、バンドル調整を使用し、外因性パラメータをさらに較正する。
【００９６】
本発明に関わる画像化システムにおいて、画像化システムは、可動プラットフォームである。
【００９７】
本発明に関わる画像化システムにおいて、可動プラットフォームは、無人航空機（ＵＡＶ）である。
【００９８】
本発明に関わる画像化システムにおいて、コントローラは、ＵＡＶの飛行モードに応じて基準線を自動的に調整する。
【００９９】
本発明に関わる画像化システムにおいて、コントローラは、飛行モードが着陸モードであるときに基準線を減少させる。
【０１００】
本発明に関わる画像化システムにおいて、コントローラは、飛行モードが離陸モードであるときに基準線を増加させる。
【０１０１】
本発明に関わる画像化システムにおいて、コントローラは、飛行モードが空中画像取得モードであるときに基準線を増加させる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施形態に関わる、複数の画像化装置を含んだ画像化システムのブロック図である。
【図２】画像化システムが基準線を調整する基準線調整機構を含む、図１に示した画像化システムのブロック図である。
【図３】図１に示した画像化システムの基準線調整を自動的に調整する方法のステップを示すフローチャートである。
【図４】物体距離を、複数の画像化装置を使用して決定する、図３に示した方法の代替実施形態を示す図である。
【図５】物体距離を、三角測量を使用して決定する、図４に示した方法の代替実施形態を示す図である。
【図６】物体距離を、両眼視差を使用して決定する、図３に示した方法のステップを示すフローチャートである。
【図７】物体距離を、複数の特徴点を使用して決定する、図３に示した方法のステップを示すフローチャートである。
【図８】基準線を物体距離に基づいて調整する、図３に示した方法のステップを示すフローチャートである。
【図９】外因性パラメータを基準線の調整後に較正する、図３に示した方法のステップを示すフローチャートである。
【図１０】基準線調整機構がスクリュー軸機構を含む、図２に示した画像化システムの基準線調整機構の実施形態を示す詳細図である。
【図１１】画像化システムが無人航空機（ＵＡＶ）内に取り付けられる、図１に示した画像化システムの実施形態を示す図である。
【図１２】画像化システムの基準線が調整された、図１１に示した画像化システムの実施形態を示す図である。
【図１３】画像化システムがＵＡＶの機体に取り付けられる、図１１に示した画像化システムの代替実施形態を示す図である。
【図１４】画像化装置が調整可能なフレームに取り付けられる、図１１に示した画像化システムの実施形態を示す図である。
【図１５】画像化システムの基準線が調整された、図１４に示した画像化システムの代替実施形態を示す図である。
【図１６】注目物体に向けられた図１に示した画像化システムの実施形態を示す図である。
【図１７】図１に示した画像化システムの基準線を調整する装置の実施形態を示す図である。
【０１０３】
図が縮尺通りに描画されていないこと、及び類似する構造または機能の要素が図を通じて例示的な目的で類似した参照番号により表されることに留意する必要がある。図が好ましい実施形態の説明を容易にすることだけを目的としていることにも留意する必要がある。図は、すべての実施形態を説明するわけではなく、本発明の範囲を制限しない。
【発明を実施するための形態】
【０１０４】
以下に、本発明に関わる、立体を画像化するための画像化システムの基準線を自動的に調整するシステム及び方法を説明する。本発明によるシステム及び方法は、従来の固定基準線画像化システムの限界を克服する。また、画像化システムにおける画像化装置は、外因性パラメータのセットによって細かく較正される。これらの外因性パラメータは、画像化装置の相対的な位置を画定し、異なる視点から撮影された異なる２次元画像に基づいて単一の３次元物体を再構築できる。基準線調整後、さらに画像化を実行する前に、対応する外因性パラメータを調整することも望ましい。したがって、以下に、基準線調整後に外因性パラメータを自動的に較正するシステム及び方法も説明する。
【０１０５】
図１において、画像化システム１００は、複数の画像化装置１１０とコントローラ１９０を備えている。画像化システム１００は、場合により、任意の所定数の画像化装置１１０を含み得る。例えば、画像化システム１００は、２台、３台、４台、５台、６台、またはより大きな数の画像化装置１１０を有し得る。図１には、４台の画像化装置１１０を含む画像化システム１００が示されている。しかし、本発明はこの例に限定されない。画像化システム１００の多様な追加の実施形態の例として、２台の画像化装置１１０を有するものを図示し、説明する。しかし、画像化システム１００は、画像化装置１１０を２台だけ有することに制限されない。２台以上の画像化装置１１０を有する画像化システム１００の場合、本明細書に示される自動基準線調整とパラメータ較正は、任意の組の画像化装置１１０として実施可能である。
【０１０６】
画像化システム１００において、画像化装置１１０を、希望する位置に任意に配置できる。画像化装置１１０の配置は、画像化の用途に依存し得る。例えば、ある実施形態において、画像化装置１１０は、（図５に示される）平行する光軸１３０を有するように並んで位置決めできる。他の実施形態では、画像化装置１１０は、画像化装置１１０の内の少なくとも２台の光軸１３０が平行にならないように位置決めできる。任意の２台の画像化装置１１０の（本明細書では原点とも称する）中心間の直線距離は、これらの画像化装置１１０間の（図２に示される）基準線ｂである。より詳細には、基準線ｂは、第１の画像化装置１１０のレンズ１０５の中心と第２の画像化装置１１０のレンズ１０５の中心との間の距離を指し得る。
【０１０７】
画像化装置１１０のそれぞれは、光を検知し、検知した光を、画像として最終的にレンダリングできる電子信号に変換できる。本発明に関わるシステム及び方法において、使用するのに適する画像化装置１１０は、例えば、市販のカメラ及びカムコーダを含むが、これらに限定されない。適切な画像化装置１１０は、アナログ画像化装置（例えば、ビデオ撮像管）またはデジタル画像化装置（例えば、電荷接続素子（ＣＣＤ）、相補型金属酸化物半導体素子（ＣＭＯＳ）、Ｎ型金属酸化物半導体素子(ＮＭＯＳ)画像化装置、及びそのハイブリッドまたは変形）の少なくとも一方を含み得る。デジタル画像化装置は、例えば、それぞれ１ピクセルの画像情報を取り込むことができる光検出器要素（図示しない）の２次元アレイを含み得る。画像化装置１１０は、少なくとも０．１メガピクセル、０．５メガピクセル、１メガピクセル、２メガピクセル、５メガピクセル、１０メガピクセル、２０メガピクセル、５０メガピクセル、１００メガピクセル、またはさらに大きな数のピクセルの解像度を有することが好ましい。また、画像化装置１１０は、デジタル一眼レフ（ＤＳＬＲ）レンズ、ピンホールレンズ、生物学レンズ、単凸ガラスレンズ、マクロレンズ、ズームレンズ、望遠レンズ、魚眼レンズ、広角レンズ等の光検出器要素の上に光の焦点を合わせるためのレンズ１０５も含み得る。画像化装置１１０は、色に基づいて検知された光を分離すること、またはフィルターにかけることの少なくとも一方を実行し、適切な光検出器要素の上に光を向ける装置（図示しない）を含むこともある。例えば、画像化装置１１０は、赤の光、緑の光、または青の光を選択されたピクセルセンサに通し、ベイヤパターンでインタレース方式のカラーモザイクグリッドを形成するカラーフィルタアレイを含み得る。また、例えば、画像化装置１１０は、光検出器要素の特性に基づいて異なる波長の光を分離する層状ピクセル光検出器要素のアレイを含んでも良い。画像化装置１１０は、サーモグラフィ、多重スペクトル画像の作成、赤外線検出、ガンマ検出、Ｘ線検出等の多様な用途での使用のための特異性機能を有し得る。画像化装置１１０は、例えば電気光学センサ、熱センサまたは赤外線センサ、カラーセンサまたは白黒センサ、多重スペクトル画像化センサ、分光光度計、分光計、温度計、または照度計の少なくとも１つを含み得る。
【０１０８】
図１において、画像化装置１１０は、１台以上のコントローラ１９０と接続できる。例えば、画像化装置１１０は、それぞれ（図４から図５に示される）注目物体１５０の２次元画像１２０を取得し、データ通信システム（図示しない）を介して局所的にまたは遠隔の少なくとも一方で、画像１２０をコントローラ１９０に中継できる。コントローラ１９０は、例えば、立体視された２次元画像１２０を使用して注目物体１５０の３次元表示を再構築できる。また、コントローラ１９０は、画像化装置１１０と注目物体１５０の間の距離に基づいて基準線調整が必要かどうかを判断できる。また、コントローラ１９０は、基準線調整のために、画像化システム１１０のあらゆる構成部品に制御信号を伝達できる。また、コントローラ１９０は、立体画像化のために１つ以上の外因性パラメータを自動的に較正できる、という利点を有する。
【０１０９】
コントローラ１９０は、画像取得、基準線調整、較正、及び本明細書で説明するあらゆる他の機能と動作を実行するために必要とされる任意の処理ハードウェアを含み得る。制限なく、コントローラ１９０は、１台以上の汎用マイクロプロセッサ（例えば、単一コアプロセッサまたはマルチコアプロセッサ）、特定用途向け集積回路、特定用途向け命令セットプロセッサ、グラフィックスプロセシングユニット、物理学処理ユニット、デジタル信号処理装置、副処理装置、ネットワーク処理装置、音声処理装置、暗号化処理装置等を含み得る。ある実施形態では、コントローラ１９０は、画像捕捉動作、画像フィルタリング動作、及び画像処理動作の速度と効率を強化するための特殊化されたハードウェアを含む画像処理エンジンまたは媒体処理装置を含み得る。このような動作は、例えば、ベイヤ変換、デモザイシング動作、雑音除去動作、画像鮮明化動作、または画像軟化動作の少なくとも１つを含む。
【０１１０】
ある実施形態では、コントローラ１９０は、基準線調整とパラメータ較正を実行するために特殊化されたハードウェアを含み得る。例えば、特殊化されたハードウェアは、以下の（ａ）〜（ｅ）の少なくとも１つを実行可能であるが、その機能はそれらに限定されない。（ａ）立体視された２次元画像１２０を使用し、注目物体１５０の３次元表示を再構築すること、（ｂ）画像化装置１１０と注目物体１５０との間の距離に基づいて基準線調整が必要とされるかどうかを判断すること、（ｃ）最適な基準線を決定すること、（ｄ）基準線調整のための画像化システム１００のあらゆる構成部品に制御信号を伝達すること、（ｅ）立体画像化のための１つ以上の外因性パラメータを較正すること。
【０１１１】
ある実施形態では、コントローラ１９０は、画像化装置１１０に物理的に隣接して配置される。この場合、コントローラ１９０と画像化装置１１０との間のデータは局所的に通信できる。局所通信の利点は、伝送遅延を削減し、リアルタイム基準線調整、画像処理、及びパラメータ較正を容易にできる点である。他の実施形態では、コントローラ１９０は、画像化装置１１０から遠隔に配置される。遠隔処理は、例えば重量の制限または画像化システム１００の操作環境に関係する他の理由のために適切であり得る。ある実施形態において、本発明はこれに限定されないが、画像化装置１１０は、（図１１から図１３に示される）無人航空機２００（ＵＡＶ）等の可動プラットフォームの中に搭載される場合、地上端末または基地局等の集中処理のための遠隔端末（図示しない）に画像化データを伝達することが望ましくあり得る。集中処理は、例えば複数の無人航空機２００が調整されたやり方で、関心のある所与の物体１５０を画像化する場合に望ましくあり得る。
【０１１２】
多様な通信方法が、画像化装置１１０とコントローラ１９０との間の遠隔通信に使用できる。適切な通信方法は、例えば、無線、ワイヤレスフィディリティー（Ｗｉ−Ｆｉ）、セルラー、衛星、及び放送を含む。無線通信技術は、例えば、汎用性デジタル移動電話方式（ＧＳＭ）、汎用パケット無線方式（ＧＰＲＳ）、符号分割多重アクセス（ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、ＣＤＭＡ２０００、ＩＭＴシングルキャリア、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、ロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスト、時分割ＬＴＥ（ＴＤ−ＬＴＥ）、高性能無線広域ネットワーク（ＨｉｐｅｒＷＡＮ）、高性能無線メトロポリタンエリアネットワーク（ＨｉｐｅｒＭＡＮ）、ローカルマルチポイント配信サービス（ＬＭＤＳ）、Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ（ＷｉＭＡＸ）、ジグビー、ブルートゥース、フラッシュ直交周波数分割多重化方式（Ｆｌａｓｈ−ＯＦＤＭ）、高容量空間分割多元接続（ＨＣ−ＳＤＭＡ）、アイバースト、ユニバーサル移動体通信システム（ＵＭＴＳ）、ＵＭＴＳ時分割二重化（ＵＭＴＳ−ＴＤＤ）、次世代高速パケットアクセス（ＨＳＰＡ＋）、時分割同期符号分割多元接続（ＴＤ−ＳＣＤＭＡ）、エボリューションデータ最適化（ＥＶ−ＤＯ）、デクト（ＤＥＣＴ）等を含むが、これらに限定されない。
【０１１３】
ある実施形態において、画像化システム１００は、必要に応じて、１つ以上の追加のハードウェア構成部品（図示しない）を含み得る。追加ハードウェア構成部品は、例えば、メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭ、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ、電気的消去可能・プログラムＲＯＭ、電気的消去可能・プログラム可能型読取専用メモリ、フラッシュメモリ、セキュアデジタル（ＳＤ）カード等）、または１つ以上の入出力インタフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）、デジタルビジュアルインタフェース（ＤＶＩ）、ディスプレイポート、シリアルＡＴＡ（ＳＡＴＡ）、ＩＥＥＥ１３９４インタフェース（ＦｉｒｅＷｉｒｅとしても知られる）、シリアル、ビデオグラフィックスアレイ（ＶＧＡ）、スーパービデオグラフィックスアレイ（ＳＶＧＡ）、小型コンピュータ用周辺機器インタフェース（ＳＣＳＩ）、高精細度マルチメディアインタフェース（ＨＤＭＩ）、音声ポート、または専用の入出力インタフェースの少なくとも１つ）の少なくとも１つを含むが、これらに限定されない。また、画像化システム１００は、制限なく、１台以上の入出力装置（例えば、ボタン、キーボード、キーパッド、トラックボール、ディスプレイ、及びモニタ）を含み得る。
【０１１４】
図２において、画像化システム１００は、基準線調整機構１７０を有している。基準線調整機構１７０は、第１の画像化装置１１０ａと第２の画像化装置１１０ｂの間の基準線ｂを自動的に調整する。画像化システム１００はさらに、コントローラ１９０を含む。コントローラ１９０は、図１に関して詳細に上述されている。基準線調整機構１７０は、その両端に、端部領域ユニット１００１ａと１００１ｂ（図１０に示される）が設けられている。端部領域ユニット１００１ａと１００１ｂは、それぞれ、画像化装置１１０ａ及び１１０ｂを取り付けるためのユニットである。基準線調整機構１７０は、画像化装置１１０ａと１１０ｂが他方に対して移動できるようにする。ある実施形態では、一方の画像化装置１１０は移動できるが、他方の画像化装置１１０は移動しない。他の実施形態では、画像化装置１１０ａと１１０ｂの両方とも移動できる。基準線調整機構１７０によって可能になる画像化装置の相対運動は、単一次元に沿うこともあれば複数の次元に沿うこともある。好ましい実施形態では、相対運動は単一次元に沿っている。他の実施形態では、相対運動は複数の次元に沿って、複数の画像化用途に応じ得る。
【０１１５】
本明細書において、基準線ｂは、第１の画像化装置１１０ａの中心（本明細書では起点とも称する）と第２の画像化装置１１０ｂの中心との間の距離を指す。したがって、この例において、基準線ｂの最小の長さは、画像化装置１１０の幅に依存し得る。また、この例において、基準線ｂの最大の長さは、基準線調整機構１７０が取り付けられる物理的なシステムの長さ、または画像化システム１００が動作する動作環境の次元の少なくとも一方に依存し得る。また、基準線調整機構１７０の運動の範囲は、基準線調整機構１７０に特有の形態に依存し得る。例えば、ある実施形態では、基準線ｂの調整可能な範囲は約３センチメートルから約２０センチメートルであり得る。また、ある実施形態では、基準線ｂは、３センチメートルから５センチメートル、３センチメートルから７センチメートル、３センチメートルから９センチメートル、３センチメートルから１０センチメートル、３センチメートルから１２センチメートル、３センチメートルから１５センチメートル、３センチメートルから２０センチメートル、５センチメートルから７センチメートル、５センチメートルから１０センチメートル、５センチメートルから１２センチメートル、５センチメートルから１５センチメートル、５センチメートルから１７センチメートル、５センチメートルから２０センチメートル、５センチメートルから２５センチメートル、７センチメートルから１０センチメートル、７センチメートルから１２センチメートル、７センチメートルから１５センチメートル、７センチメートルから１７センチメートル、７センチメートルから２０センチメートル、７センチメートルから２５センチメートル、１０センチメートルから１５センチメートル、１０センチメートルから１７センチメートル、１０センチメートルから２０センチメートル、１０センチメートルから２５センチメートル、または１０センチメートルから３０センチメートルの調整可能範囲内であり得る。さらに他の実施形態では、基準線ｂは最高３０センチメートル、３５センチメートル、４０センチメートル、５０センチメートル、６０センチメートル、７０センチメートル、８０センチメートル以上に増加させられる。好ましい実施形態では、基準線ｂは５センチメートルから１５センチメートルに及ぶことがあり得る。
【０１１６】
図３には、画像化システム１００の基準線ｂを自動的に調整する方法３００のステップが、フローチャートによって示されている。ステップ３０１で、画像化システム１００と注目物体１５０の間の物体距離Ｚを取得する。物体距離Ｚは、必要に応じて多様な方法のいずれかから選択された方法を使用して取得できる。ある実施形態では、物体距離Ｚは、立体視による画像化システム１００の複数の画像化装置１１０を使用し、取得できる。例えば、２台の画像化装置１１０のそれぞれは、注目物体１５０の（図４から図５に示される）画像１２０を取得できる。そして、取得された画像１２０の重複部分を分析すると、注目物体１５０の奥行きを評価できる。また、物体距離Ｚは、レーザーを使用する、または超音波を使用する等、立体視以外の方法を使用して取得できる。ステップ３０２で、基準線ｂを、物体距離Ｚに従って自動的に調整する。
【０１１７】
図４は、立体視を使用して物体距離Ｚを確かめる方法を説明する図である。図４において、２台の画像化装置１１０、つまり左の画像化装置１１０ａと右の画像化装置１１０ｂが示されている。画像化装置１１０ａと１１０ｂのそれぞれは、座標軸（ｘ１、ｙ１、ｚ１）と（ｘ２、ｙ２、ｚ２）で示される異なる空間座標系にあるが、同じ注目物体１５０を知覚する。画像化装置１１０ａと１１０ｂは、そのそれぞれの光軸１３０ａと１３０ｂに沿って注目物体１５０を知覚し、それにより注目物体１５０の２つの異なる２次元画像１２０ａと１２０ｂを取得する。画像化装置１１０ａと１１０ｂが、それらの光軸１３０ａと１３０ｂが一致するように位置決めされない限り、２次元画像１２０ａと１２０ｂは、通常、異なる位置から撮影されて異なっている。したがって、ほとんどの場合、（例えば、方程式（４）で表される）両眼視差ｄは、図５を参照して以下に説明するように、画像１２０ａと１２０ｂの間で検出できる。
【０１１８】
図５において、２次元画像１２０ａと１２０ｂとを比較すると、１組の画像化装置１１０ａと１１０ｂ（または、同等に、画像化システム１００）と注目物体１５０の間の物体距離Ｚを確かめることができる。三角測量の方法を用いると、画像１２０ａと１２０ｂの間の両眼視差ｄを使用して物体距離Ｚを確かめることができる。具体的には、その座標（Ｘｉ、Ｙｉ、Ｚｉ）で表される指数iを有する注目物体１５０の位置は、以下の方程式によって示すことができる。
【数１】
2017505903.tif 000003
【０１１９】
上記の方程式において、ｃｘとｃｙは画像化装置１１０aと１１０ｂのそれぞれの中心座標を表し、ｘｉとｙｉは、画像１２０aと１２０ｂの一方または両方での注目物体１５０の座標を表す。そして、ｂは基準線（言い換えると、画像化装置１１０ａと１１０ｂの中心座標間の距離）であり、（ここでは画像化装置が同じ焦点長さを有すると仮定すると）ｆは各画像化装置１１０aと１１０ｂの焦点距離である。また、ｉは関心のある１５０の複数の物体に関するまたは注目物体１５０の複数の特徴点１５５に関する指数である。ｄは、次の方程式で示される、画像１２０ａと１２０ｂの間の両眼視差である。
【数２】
2017505903.tif 000004
【０１２０】
図６には、物体距離Ｚを取得する方法６００のステップがフローチャートにより示されている。図６に示した方法では、第１の画像化装置１１０ａと第２の画像化装置１１０ｂを使用し、上述の原理および立体視に基づいて、物体距離Ｚを取得する。ステップ６０１で、第１の画像化装置１１０ａを使用して、注目物体１５０の（図４及び図５に示される）第１の画像１２０ａを取得する。ステップ６０２で、第２の画像化装置１１０ｂを使用して、注目物体１５０の（図４及び図５に示される）第２の画像１２０ｂを取得する。第１の画像と第２の画像１２０ａ、１２０ｂは、同時にまたは連続的に、希望に応じて、どちらかの方法で取得できる。ある実施形態において、第１の画像と第２の画像１２０ａ、１２０ｂを同時に取得すると、注目物体１５０または画像化システム１００の少なくとも一方の経時的なシフトに起因する誤差を削減できる、という利点がある。
【０１２１】
ステップ６０３で、注目物体１５０の第１の画像と第２の画像１２０ａ、１２０ｂは、必要に応じて、両眼視差ｄを決定する前に修正され得る。すなわち、画像１２０ａ、１２０ｂは補正され、歪みが除去される。このような補正は、例えば、次の（ａ）〜（ｃ）によって実行され得る。（ａ）画像１２０ａ、１２０ｂを回転させて同じ平面上に置く、（ｂ）画像１２０ａ、１２０ｂを拡大・縮小して画像１２０ａ、１２０ｂを同じサイズにする、（ｃ）画像１２０ａ、１２０ｂの対応するピクセルが並ぶようにスキューがないか調整する。修正は、２台の画像化装置１１０間の並進関係性と回転関係性を伝達する外因性パラメータのセットに基づいて実行できる。外因性パラメータは、例えば画像化システム１００のメモリ（図示しない）に記憶できる。
【０１２２】
ステップ６０４で、第１の画像１２０ａと第２の画像１２０ｂの間で、両眼視差ｄを検出する。例えば、両眼視差ｄは、第１の画像１２０ａ及び第２の画像１２０ｂのそれぞれにおける、注目物体１５０の位置に基づいて検出できる。選択された画像１２０における注目物体１５０の位置は、多様な設定値（例えば、接写、中間距離、遠い、人、景色等）に基づいて、任意の希望するやり方で決定し得る。注目物体１５０は、マシンビジョンまたは人工知能の少なくとも一方の方法等に基づいて特定できる。適切な方法は、ＲＡＮＳＡＣ（ランダムサンプルコンセンサス）、Ｓｈｉ＆Ｔｏｍａｓｉコーナー検出、ＳＵＲＦブロブ（加速ロバスト特徴）検出、ＭＳＥＲブロブ（最大安定極値領域）検出、ＳＵＲＦ（加速ロバスト特徴）記述子、ＳＩＦＴ（スケール不変特徴変換）記述子、ＦＲＥＡＫ（高速網膜キーポイント）(Ｆａｓｔ  ＲＥｔｉｎＡ  Ｋｅｙｐｏｉｎｔ) 記述子、ＢＲＩＳＫ（バイナリロバスト不変スケーラブルキーポイント）記述子、ＨＯＧ (Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ)（配向傾きのヒストグラム）記述子等の特徴検出技法、特徴抽出技法、または特徴一致技法の少なくとも１つを含む。同様に、これらの方法は、注目物体１５０の中で（図５に示される）１つ以上の特徴点１５５を特定するために使用できる。
【０１２３】
ある実施形態では、注目物体１５０は、画像化装置１１０の視野全体を含み得る。例えば、選択された画像化装置１１０は注目物体１５０に非常に近いことがあり、注目物体１５０は画像化装置１１０の視野全体をふさぐ。また、注目物体１５０は、画像化装置１１０の視野の中の多くの個々の物体の複合物（例えば、景色）でもあり得る。このような場合、複合物の中の個々の物体に焦点を合わせることは望まれていない。そして、複合物の画像の各ピクセルは別個の特徴点１５５と見なすことができ、特徴点１５５またはピクセルに基づいて物体距離Ｚを検出できる。また、注目物体１５０は、画像化装置１１０の視野の一部を含むこともある。例えば、視野の中心（例えば、視野のピクセルの１０パーセント、２０パーセント、３０パーセント、４０パーセント、５０パーセント、６０パーセント、７０パーセント、８０パーセント、または９０パーセント）は、注目物体１５０であるとみなし得る。また、注目物体１５０は、第１の画像化装置１１０ａにより取得された第１の画像１２０ａと、第２の画像化装置１１０ｂにより取得された第２の画像１２０ｂの間の重複領域のすべてまたは一部を含み得る。
【０１２４】
ステップ６０５で、両眼視差ｄを使用して、物体距離Ｚを検出する。例えば、物体距離Ｚは、方程式（１）から（４）を使用し、両眼視差ｄ、第１の画像装置１１０ａと第２の画像装置１１０ｂとの間の基準線ｂ、及び第１の画像化装置と第２の画像化装置１１０ａと１１０ｂの内の少なくとも１台の焦点距離の関数として検出できる。ある実施形態では、第１の画像化装置１１０ａと第２の画像化装置１１０ｂは、同じ焦点距離ｆを有する。
【０１２５】
図７には、注目物体１５０の特徴点１５５を使用し、物体距離Ｚを取得する方法７００のステップがフローチャートにより示されている。ステップ７０１で、注目物体１５０上の複数の特徴点１５５を取得する。特徴点１５５は、さまざまな異なる方法を使用し、取得できる。ある実施形態では、例えば、特徴点１５５は、注目物体１５０の予め定められた形状として特定される。他の実施形態では、特徴点１５５は、ある色または輝度を有する注目物体１５０の１つ以上の部分として認識される。他の実施形態では、特徴点１５５は、注目物体１５０の任意の部分が選択される。他の実施形態では、特徴点１５５は、例えば毎ピクセル、１ピクセルおき、２ピクセルおき、３ピクセルおき等の注目物体１５０上で規則正しく離間された間隔で選択される。特徴点１５５は、希望に応じてさまざまな形状とサイズをとることができる。また、上述した方法の組合せを使用して、特徴点１５５を選択し得る。
【０１２６】
ステップ７０２で、各特徴点１５５と画像化システム１００との間の特徴距離ｚを検出する。各特徴距離ｚは、任意の適切な方法で検出できる。例えば、その方法は、（図４及び図５に示される）第１の画像化装置１１０ａによって取得された（図４及び図５に示される）第１の画像１２０ａでの特徴点１５５の位置と（図４及び図５に示される）第２の画像化装置１１０ｂによって取得される（図４及び図５に示される）第２の画像１２０ｂの特徴点１５５の位置の間の両眼視差ｄを使用することを含む。両眼視差ｄを使用し、特徴距離ｚは、図３から図６について上述したように、物体距離Ｚとして同様に方程式（１）から（４）を使用して検出できる。
【０１２７】
ステップ７０３で、ステップ７０２で検出された特徴距離ｚを使用して、物体距離Ｚを検出する。任意のさまざまな方法を用いて、注目物体１５０の個々の特徴距離ｚに基づいて物体距離Ｚを決定できる。ある実施形態では、特徴距離ｚの平均に基づいて物体距離Ｚを検出する。例えば、平均の種類は、算術平均、代数平均、中央値、またはモードを含み得る。他の実施形態では、物体距離Ｚは、特徴点１５５の内の１つ以上を選択し、選択された特徴点１５５の特徴距離ｚに基づいて物体距離Ｚを取得することによって検出される。特徴点１５５の選択されたサブセットから物体距離Ｚを計算する利点は、例えば雑音を除外できること、遠すぎる（または近すぎる）特徴点を除外できること、または輝度もしくは色に基づいて特徴点１５５を除外できること、を含み得る。例えば、画像化システム１００から遠く離れすぎた特徴点１５５は、物体距離Ｚを推定する際に誤差を生じやすいことがある。したがって、ある実施形態では、物体距離Ｚを決定するために、画像化システム１００に最も近い特徴点１５５の所定のパーセンテージを選択し、残りの特徴点１５５は除外し得る。例えば、選択される特徴点１５５のパーセンテージは１０パーセント、２０パーセント、３０パーセント、４０パーセント、５０パーセント、６０パーセント、７０パーセント、８０パーセント、または９０パーセントである。好ましい実施形態では、特徴点１５５の８０パーセントを選択する。他の好ましい実施形態では、特徴点１５５は画像内のピクセルであり、物体距離Ｚを決定するために、このピクセルの８０パーセントを選択する。望ましくない特徴点１５５を除外した後、画像化システム１００から最も遠い、選択された（言い換えると、除外されて残っている）特徴点１５５を使用して物体距離Ｚを決定できる。言い換えると、物体距離Ｚは、画像化システム１００から最も遠い選択された特徴点１５５の特徴距離ｚである。
【０１２８】
図８には、物体距離Ｚに従って基準線ｂを自動的に調整する方法８００のステップがフローチャートにより示されている。方法８００は、基準線ｂの値の好ましい範囲を定義する最小基準線ｂｍｉｎと最大基準線ｂｍａｘを利用する。ある実施形態では、ｂｍｉｎとｂｍａｘの内の一方または両方とも、物体距離Ｚの関数となり得る。また、ｂｍｉｎとｂｍａｘの一方または両方とも物体距離Ｚとは無関係であることもある。
【０１２９】
ステップ８０１で、画像化システム１００の基準線ｂ（言い換えると、基準線ｂの現在値）を検出する。例えば、基準線ｂは、内部パラメータであり得る。この内部パラメータは（図１に示される）コントローラ１９０によって追跡調査されるか、またはメモリ（図示しない）に記憶されるかの少なくとも一方である。また、基準線ｂは（図２から図３に示される）基準線調整機構１７０の物理的な位置またはその１つ以上の構成部品の少なくとも一方に基づいて検出される。基準線ｂが検出された後、基準線ｂは、最小基準線ｂｍｉｎと最大基準線ｂｍａｘに比較され、基準線調整が実行されるべきかどうかを判断し得る。
【０１３０】
ステップ８０２で、基準線ｂを最小基準線ｂｍｉｎと比較する。基準線ｂが最小基準線ｂｍｉｎ以上である場合、次にステップ８０５で基準線ｂが最大基準線ｂｍａｘより大きいかどうかを判断する。基準線ｂが最小基準線ｂｍｉｎ未満である場合、次に、場合に応じて、ステップ８０３で、基準線ｂと最小基準線ｂｍｉｎの差異が第１の公差δ１よりも大きいかどうかを、さらに判断する。基準線ｂと最小基準線ｂｍｉｎの差異が第１の公差δ１よりも大きい場合、基準線ｂはステップ８０４で増加し得る。基準線ｂと最小基準線ｂｍｉｎの差異が第１の公差δ１以下である場合、ステップ８０１に戻り、画像化システム１００の基準線ｂを検出する。第１の公差δ１は、基準線ｂまたは最小基準線ｂｍｉｎ（例えば分数として）の少なくとも一方に依存することもあれば、依存しないこともある。
【０１３１】
ステップ８０５で、基準線ｂが最大基準線ｂｍａｘよりも大きいかどうかを判断する。基準線ｂが基準線ｂｍａｘ以下である場合、次にステップ８０８で基準線ｂが最大基準線ｂｍａｘ未満であるかどうかを判断する。基準線ｂが最大基準線ｂｍａｘよりも大きい場合、次に、場合に応じて、ステップ８０６に進み、基準線ｂと最大基準線ｂｍａｘの差異が第２の公差δ２よりも大きいかどうかをさらに判断する。基準線ｂと最大基準線ｂｍａｘの差異が第２の公差δ２よりも大きい場合、基準線ｂはステップ８０７で減少され得る。基準線ｂと最大基準線ｂｍａｘの差異が第２の公差δ２以下の場合、ステップ８０１に戻り、画像化システム１００の基準線ｂを検出する。第２の公差δ２は基準線ｂまたは最大基準線ｂｍａｘ（例えば、その分数）の少なくとも一方に依存することもあれば、依存しないこともある。公差δ１及び公差δ２は、基準線調整と画像化の最小化混乱のバランスをとることができる。
【０１３２】
ステップ８０８で、基準線ｂが最大基準線ｂｍａｘ未満であるかどうかを判断する。未満である場合、次にステップ８０９で、場合に応じて、基準線ｂは、基準線ｂが最大基準線ｂｍａｘに達するまで増加され得る。ステップ８０９で基準線ｂが増加すると、基準線ｂを最大基準線ｂｍａｘに設定することによって、注目物体１５０を最も少ない量の誤差で解像できるという利点がある。
【０１３３】
基準線ｂが減少するにつれて遠い物体を解像することがますます困難になるという事実がある。例えば、最小基準線ｂｍｉｎは、この事実に基づいて設定できる。三角測量によって、及び上記に示された方程式（３）に従って、物体距離Ｚは基準線ｂに正比例し、両眼視差ｄに反比例する。したがって、両眼視差ｄを測定できる解像度は、物体距離Ｚを測定する精度を制約することがある。例えば、デジタル画像化装置１１０を有するデジタル画像化システムの場合、両眼視差ｄの解像度は画像化装置１１０の解像度に依存し得る。１ピクセルの長さＬ未満である画像１２０の位置シフトを、デジタル画像化装置１１０によって検出することは困難である。したがって、デジタル画像での物体の位置は１ピクセルの長さＬまでの誤差を有し得る。両眼視差ｄは２つの画像を使用して検出されるので、両眼視差ｄの累積誤差は最大２Ｌ（言い換えると、２ピクセル長）になり得る。したがって、よりよい精度で検出するためには、所与の物体距離Ｚの場合、最小基準線ｂｍｉｎを、１、２、３、４、５、６、７、８、９、１０以上等のピクセル長等の少なくとも所与の両眼視差ｄを示す可能性のある値に設定できる。好ましい実施形態では、最小基準線ｂｍｉｎは、両眼視差ｄが、所与の物体距離Ｚの場合、少なくとも４ピクセル長となるように設定される。言い換えると、最小基準線ｂｍｉｎは、４×Ｚ×Ｌ／ｆで設定できる。ここで、Ｚは物体距離、Ｌは画像化装置１１０の内の少なくとも１台のピクセル幅、ｆは画像化装置１１０の内の少なくとも１台の焦点距離である。ある実施形態では、画像化システム１００の第１の画像化装置１１０ａ及び第２の画像化装置１１０ｂは、同じ焦点距離ｆまたは同じピクセル幅Ｌの少なくとも一方を有し得る。
【０１３４】
基準線ｂが大きすぎる場合、２台の画像化装置１１０によって取得される画像１２０間の重複領域が小さすぎるという事実があり得る。例えば、最大基準線ｂｍａｘは、この事実に基づいて設定できる。したがって、最大基準線ｂｍａｘは、例えば少なくとも１０パーセント、２０パーセント、３０パーセント、４０パーセント、５０パーセント、６０パーセント、７０パーセント、８０パーセント、または９０パーセントの閾値を超えた画像間で重複を維持することに基づき得る。好ましい実施形態では、閾値は５０パーセントである。好ましい実施形態では、自動的に調整することは、重複が、例えば５０パーセント等の閾値に達するまで基準線ｂを増加することを含む。数学的に表すと、最大基準線ｂｍａｘはＺ×ｔａｎ（θ／２）で設定できる。ここで、Ｚは物体距離、θは画像化装置１１０の内の少なくとも１台の視角である。ある実施形態では、画像化システム１００の第１の画像化装置１１０ａと第２の画像化装置１１０ｂは、同じ視角θを有する。
【０１３５】
画像化システム１００が、（図１１から図１３に示される）ＵＡＶ２００等の可動プラットフォームであるか、または画像化システム１００が移動プラットフォームに搭載されるか、の少なくとも一方である実施形態においては、基準線調整は、移動プラットフォームの操作モードを考慮に入れることが有利である。可動プラットフォームが、例えばＵＡＶ２００である場合、操作モードはＵＡＶ２００の飛行モードを含み得る。例えば、ＵＡＶ２００は着陸中にＵＡＶ２００の真下の区域の近接撮影画像を有効利用し得る。したがって、基準線ｂは飛行モードが着陸モードであるときに減少できる。同様に、ＵＡＶ２００が離陸中にＵＡＶ２００の周囲のよりよい画像を有効利用し得る。したがって、基準線ｂは飛行モードが離陸モードであるときに増加できる。また、通常、空中画像化中はより遠くを見ることが好ましい。したがって、基準線ｂは飛行モードが空中画像取得モードであるときに増加できる。
【０１３６】
図９には、基準線ｂの自動調整後、画像化システム１００の外因性パラメータを較正する方法９００のステップがフローチャートにより示されている。外因性パラメータは、例えば、３×３回転行列Ｒと３次元並進ベクトルｔを含む。言い換えると、外因性パラメータは、回転行列Ｒによってカプセル化された複数の回転パラメータと、並進ベクトルｔによってカプセル化された複数の並進パラメータを含み得る。外因性パラメータは、画像化装置１１０の相対位置を定義し、立体視を使用し、注目物体１５０の３次元画像化を可能にする。ある実施形態では、回転行列Ｒは直交行列または正規直交行列であり得る。例えば、ＲＲＴ＝Ｉ及びＲＴＲ＝Ｉであることが望ましいことがある。ある実施形態では、回転行列Ｒは、３×３（例えば、同次行列）以外の次元性を有し得る。また、並進ベクトルｔは３以外の次元性を有し得る。
【０１３７】
画像化システム１００の基準線ｂが調整された後、外因性パラメータは陳腐化し、較正（または再較正）の効果を得られる。通常、基準線調整は、物体距離Ｚが基準線ｂよりもはるかに大きいと仮定し、注目物体を基準にして画像化装置１１０の回転方向では相対的にほとんど変化を生じさせない。したがって、好ましい実施形態では、外因性パラメータは２ステッププロセスを使用して較正できる。ステップ９０１で、並進パラメータｔを、基準線ｂの自動調整に基づいて初期較正する。言い換えれば、初期調整後の外因性パラメータはＲ０及びλｔ０である。ここで、Ｒ０とｔ０は事前調整外因性パラメータ、λは初期調整の量をｔ０に反映する定数である。
【０１３８】
例えば、画像化システム１００の基準線調整機構１７０が（図１０に示される）スクリュー軸機構１０００を含む場合、並進パラメータｔの初期較正は、基準線調整中にスクリュー軸機構１０００の回転の程度に基づき得る。基準線調整の量は、（図１０に示される）スクリュー軸１００２の半径及び溝ピッチにさらに基づき得る。また、ラックアンドピニオン機構、スライダクランク機構、リニアモータ等の類似する方法を使用して、他の基準線調整機構のための並進パラメータｔの初期較正を検出できる。
【０１３９】
ステップ９０２で、初期較正後、Ｒ及びｔの外因性パラメータを最適化のためにさらに較正できる。さまざまな最適化方法は、外因性パラメータを使用して、さらに較正できる。最適化に適するアルゴリズムは、例えば、線形計画法、補間、メメティックアルゴリズム、微分展開、進化アルゴリズム、遺伝的アルゴリズム、動的緩和、山登りアルゴリズム、ランダム再起動アルゴリズム、焼き鈍し法、傾斜降下等を含む。好ましい実施形態では、追加の較正は、以下に示すようにバンドル調整最適化法を使用する。例えば、バンドル調整最適化方法は、以下の適合度関数の値を最小限に抑えることによって続けて実行され得る。
【数３】
2017505903.tif 000005
【０１４０】
ここで、ＰｌとＰｒは、それぞれ（図４から図５に示される）第１の画像化装置１１０ａと第２の画像化装置１１０ｂの射影行列である。ｘｌとｘｒはそれぞれ第１の画像化装置１１０ａと第２の画像化装置１１０ｂの位置である。Ｘは注目物体の位置であり、ｉは（図４から図５に示される）複数の注目物体１５０に関するまたは（図５に示される）特徴点１５５に関する指数である。射影行列ＰｌとＰｒは外因性パラメータＲとｔを以下の関係を通してカプセル化できる。
【数４】
2017505903.tif 000006
【０１４１】
上式において、ＫｌとＫｒは、それぞれ第１の画像化装置１１０ａと第２の画像化装置１１０ｂ（図４から図５に示される）に内因性のパラメータであり、例えば、画像化装置の工場設定値から決定され得る。したがって、ＰｌとＰｒの最適値が方程式（５）の最適度関数を最小限に抑えることによって検出された場合、外因性パラメータＲとｔは、内因性パラメータＫｌとＫｒに基づいて方程式（６）と（７）を使用して検出できる。
【０１４２】
図３から図９に関して上述した方法は、第１の画像化装置１１０ａと第２の画像化装置１１０ｂを有する画像化システムの基準線を自動的に調整するための命令を含むコンピュータプログラム製品（図示しない）として実装できる。コンピュータプログラム製品の命令は、例えばメモリ上の（図１に示される）コントローラ１９０に記憶できる。命令は、例えばコントローラ１９０のプロセッサ（図示しない）上で実行できる。制御信号は、例えば、画像化システム１００と注目物体１５０の間の物体距離Ｚ、及び物体距離Ｚに基づいて望まれる任意の基準線調整に基づいてコントローラによって生成できる。制御信号は、望まれるように（図２に示される）基準線調整機構１７０に出力され、コントローラの命令に従って基準線調整が行われる。
【０１４３】
図１０には、スクリュー機構１０００を含む基準線調整機構１７０が、図２に示した画像化システムの好ましい実施形態として示されている。スクリュー軸機構１０００は、スクリュー軸１００２ａと１００２ｂ、それと回転自在に接続された中心ハウジング１００３、及びスクリュー軸１００２ａと１００２ｂ上において回転自在にスリーブで繋がれた端部領域ユニット１００１ａと１００１ｂを含む。各端部領域ユニット１００１ａと１００１ｂは、画像化装置１１０（図示しない）に接続される。スクリュー軸１００２ａと１００２ｂは、例えばステッピングモータ等のアクチュエータ（図示しない）を介して互いとは無関係に回転し、端部領域ユニット１００１ａと１００１ｂを互いに関して直線状に移動させることができる。各端部領域ユニット１００１ａと１００１ｂは、内部に配置された複数の玉軸受け（図示しない）を含んでおり、スクリュー軸１００２ａと１００２ｂとの摩擦を削減できるという利点がある。基準線調整のためのスクリュー軸機構１０００の利点は、スクリュー軸１００２ａと１００２ｂの回転運動を、端部領域ユニット１００１ａと１００１ｂの並進運動に正確に変換できることである。このことは、（図２に示される）基準線ｂの微調整のために望ましいことであり得る。基準線調整のためのスクリュー軸機構１０００の他の利点は、直線運動の程度が回転運動の程度に正比例することである。したがって、例えばスクリュー軸１００２ａと１００２ｂの半径と溝ピッチに基づいて、基準線調整を正確に推定できる。
【０１４４】
また、基準線調整機構１７０は、例えばスライダクランク機構、ラックアンドピニオン機構、リニアモータ等の回転運動を直線運動に変換するための機構を含み得る。基準線調整機構１７０は、画像化装置１１０の直線運動または非直線運動を容易にするまたは達成することの少なくとも一方を可能にする追加の構成部品をさらに含み得る。これは、例えばレールシステムとランナーブロック、端部軸受支え、ボールねじ、スライドブッシュ、スライドネジ、コンベヤベルト、滑車等を含むが、これらに限定されない。
【０１４５】
基準線調整機構１７０は、希望に応じて画像化システム１００のいずれかの支持構造（図示しない）に取り付けられる。また、図１０において、基準線調整機構１７０は、単一ユニットとして示されている。しかし、これは説明を目的とするだけであり、これに制約されない。ある実施形態では、基準線調整機構１７０は、画像化システム１００の部分に別々に取り付けられる複数のユニット（例えば、別々のスクリュー軸機構、ラックアンドピニオン機構、またはスライダクランク機構の少なくとも１つ）を含み得る。ある実施形態では、各画像化装置１１０は、基準線調整機構１７０の別々に可動のユニットに取り付けられ得る。基準線調整機構１７０は、希望に応じて、画像化システム１００の異なる部分に位置決めできる利点がある。基準線調整機構１７０が単一ユニットとして実装される場合、基準線調整機構１７０が回転すると、それに取り付けられた画像化装置１１０もともに回転する。このことは、画像化装置１１０間の調整のために有利である。画像化装置１１０が、基準線調整機構１７０の可動ユニットに別々に取り付けられる場合、画像化装置１１０の回転を（例えば、図１に示されるコントローラ１９０によって）調整できる。
【０１４６】
図１１から図１３には、画像化システム１００が、本発明の実施形態に従って示されている。ここで、画像化システム１００は、無人航空機（ＵＡＶ）２００等の可動プラットフォームである。言い換えると、画像化システム１００は、ＵＡＶ２００等の可動プラットフォームに取り付けることができる。図１１から図１３において、画像化装置１１０は、それぞれ異なる構成でＵＡＶ２００に取り付けられている。
【０１４７】
一般的に「ドローン」と呼ばれるＵＡＶ２００は、人間のパイロットが車両に搭乗しない航空機であり、ドローンの飛行は自律的にまたはリモートパイロット（またはときには両方）によって制御される。ＵＡＶは、多様な形式の空中データ収集を必要とする民間の用途において使用される場合が増えている。多様なタイプのＵＡＶ２００は、画像化システム１００として使用するのに適している。例えば、ＵＡＶ２００の適切なタイプの１つは、複数の回転翼によって推進される空中回転翼航空機である。１つの適切なタイプの回転翼航空機は４つの回転翼を有し、クワッドコプター、クワッドロータヘリコプター、またはクワッドロータとして知られている。画像化（例えば、立体画像化）するための本発明に関わるシステム及び方法に適切なクワッドコプターは、例えば、現在市販されている多数のモデルを含む。本発明に関わるシステム及び方法に適したＵＡＶ２００は、シングルロータ、デュアルロータ、トリロータ、ヘクサロータ、及びオクタロータの設計等の他の回転翼設計をさらに含むが、これらに限定されない。固定翼ＵＡＶ２００、及びハイブリッド回転翼‐固定翼ＵＡＶ２００も使用できる。
【０１４８】
図１１には、ＵＡＶ２００に取り付けられた画像化システムが、本発明の実施形態に従って示されている。図１１において、画像化システム１００は、ＵＡＶ２００に取り付けられた左（つまり左舷）画像化装置１１０ａと右（つまり右舷）画像化装置１１０ｂを有している。多様な画像化装置１１０は、ＵＡＶ２００で使用する場合、一般に軽量かつコンパクトであることが好ましい。図１１の例では、画像化装置１１０ａと１１０ｂは、基準線調整機構１７０を介してＵＡＶ２００の底面に取り付けられる。画像化装置１１０ａと１１０ｂをＵＡＶ２００の底面に位置決めする利点は、底面位置がＵＡＶ２００の飛行動作に対して相対的に目立たない点である。さらに、画像化装置１１０ａと１１０ｂをＵＡＶ２００の底面に位置決めすると、ＵＡＶ２００の直下の区域を画像化でき、このことは着陸及び他の空中監視目的に有利であり得る。基準線調整機構１７０は、ＵＡＶ２００に取り付けられる単一のユニットまたはＵＡＶ２００に別々に取り付けられる複数のユニットであり得る。基準線ｂは、左右の画像化装置１１０ａと１１０ｂの中心間の距離として示される。この例では、左右の画像化装置１１０ａと１１０ｂは物理的に接しているため、基準線ｂは最小値に達している。
【０１４９】
この例では、（図１に示される）コントローラ１９０からの制御信号に基づいて、基準線調整機構１７０は、ＵＡＶ２００の物理的な構成に基づいて最大値まで、希望する値に基準線ｂを拡大できる。最小値に達する基準線ｂの例を示す実施形態は、図１１の実施形態に関して図１２に示される。この例では、基準線ｂを増加する能力は、さらにＵＡＶ２００に追加される構成部品に依存し得る。構成部品は例えば、ＵＡＶ２００の側面フランクに位置決めされた着陸ギヤ２１０等である。この例では、着陸ギヤ２１０が、画像化装置１１０ａと１１０ｂの視野を遮ること、または画像化装置１１０ａと１１０ｂがある点を過ぎて移動するのを物理的に妨げること、の少なくとも一方のことがあり得る。したがって、これらのことに有利となるように、ある実施形態では、着陸ギヤ２１０を格納できる、または自動的に退けることができる。
【０１５０】
図１３には、ＵＡＶ２００に取り付けられた画像化システム１００が、本発明の他の実施形態に従って示されている。図１３において、左画像化装置１１０ａと右画像化装置１１０ｂが、ＵＡＶ２００の本体（つまり機体）２２０の側面に取り付けられている。この例では、画像化装置１１０ａと１１０ｂは、基準線調整機構１７０の別々のユニットを介してＵＡＶ２００に別々に取り付けられる。本実施形態の利点は、基準線ｂが図示されるようにより大きな値をとることができる点、及び画像化装置１１０ａと１１０ｂの視野が着陸ギヤ２１０によって妨害されない点を含む。
【０１５１】
図１４において、調整可能なフレームに取り付けられる画像化システム１００が、本発明の他の実施形態に従って示されている。図１４において、左画像化装置１１０ａと右画像化装置１１０ｂが、ＵＡＶ２００の調整可能なフレーム２５０に取り付けられている。言い換えると、基準線調整機構１７０は、調整可能なフレーム２５０である、または調整可能なフレーム２５０の一部であり得る。調整可能なフレーム２５０は、ＵＡＶ２００の機体２２０に調整可能に取り付けられた１つ以上の調整可能な部材２５１を含み得る。調整可能な部材２５１は、付着点２５２に関して枢動するようにできるが、部材２５１はこのことに制限されない。ある実施形態では、機体２２０に付着点２５２が設けられている。左画像化装置１１０ａと右画像化装置１１０ｂは、それぞれ調整可能な部材２５１の末端部に取り付けできる。図１４には、コンパクトな構成に調整できる部材２５１が示されている。（例えば、１つ以上の付着点２５２の回りで枢動することによって）調整可能な部材２５１の位置を調整すると、画像化装置１１０ａと１１０ｂの間の基準線ｂは増加して、図１５に示す拡張構成となる。同様に、図１４に示すように、調整可能な部材２５１をコンパクトな構成に折り畳むと、基準線ｂは希望に応じて減少する。
【０１５２】
この例では、画像化装置１１０ａと１１０ｂは、基準線調整機構１７０の別々のユニットを介してＵＡＶ２００に別々に取り付けられる。この実施形態の利点は、基準線ｂが図示されるようにより大きな値をとることができる点、及び画像化装置１１０ａと１１０ｂの視野が着陸ギヤ２１０によって妨害されない点を含む。
【０１５３】
画像化システム１００がＵＡＶ２００である（または、画像化システム１００がＵＡＶ２００に取り付けられる）実施形態では、コントローラ１９０は、ＵＡＶの飛行モードに応じて基準線を調整できる利点がある。例えば、コントローラ１９０は、飛行モードが着陸モードであるとき、基準線ｂを減少させ得る。また、コントローラ１９０は、飛行モードが離陸モードであるとき、基準線ｂを増加させ得る。また、コントローラ１９０は、飛行モードが空中画像取得モードであるとき、基準線ｂを増加させ得る。
【０１５４】
図１１から図１５において、画像化装置１１０は、ＵＡＶ２００に関して対称的に位置決めされて示されているが、必ずしもその必要はない。ある実施形態では、画像化装置１１０は非対称に位置決めされる。また、画像化システム１００は、例示のためだけにＵＡＶ２００に関して図示され、説明されている。しかし、画像化システム１００は任意のタイプの可動プラットフォームであり得ると共に、任意のタイプの可動プラットフォーム上に取り付けることができる。適切な可動プラットフォームは、例えば、自転車、自動車、トラック、船、ボート、列車、ヘリコプター、航空機、その多様なハイブリッド等を含むが、これらに限定されない。
【０１５５】
図１６には、注目物体に向けられた画像化システム１００が、本発明の実施形態に従って示されている。図１６において、画像化システム１００は、画像化システム１００から注目物体１５０までの間の物体距離Ｚを決定するための構成部品を含む。好ましい実施形態では、画像化システム１００の複数の画像化装置１１０ａと１１０ｂは、図３の方法に関して詳細に説明されるように物体距離を決定するために立体視を使用できる。また、奥行きを評価できる１台以上の補助装置１８０を使用して、物体距離Ｚを決定できる。
【０１５６】
ある実施形態では、補助装置１８０は、注目物体１５０に対して特有の空間構造で光を発することができる光源を有するレーザー（例えば、赤外線レーザー）である。さらに、このような補助レーザー装置１８０は、注目物体１５０から発せられた光を受光するためのレンズとフィルターチップを備え得る。（図１に示される）コントローラ１９０は、受光した光の構造を計算し、光構造の変動を通して、注目物体１５０の構造と距離情報を知覚できる。レーザーの出力を必要に応じて増加させ、屋外環境で機能させて太陽光の赤外線シグネチャーを克服し得る。
【０１５７】
他の実施形態では、補助装置１８０は超音波システムである。超音波補助装置１８０は、例えば注目物体１５０によって超音波が補助装置１８０に再反射するのに要する時間を使用し、物体距離Ｚを決定する１台以上の超音波エミッタとセンサ（例えば、配列された超音波振動子）を有し得る。ある実施形態では、超音波補助装置１８０は、単一装置として（例えば、奥行き知覚用のＲＧＢ−Ｄカメラとして）１台以上の画像化装置１１０と統合できる。物体距離を検知するための複数のタイプの装置を使用することの利点は、冗長性によって測定値がより正確になることである。また測定値は、あるタイプの補助装置１８０では誤差を生じさせるが他のタイプでは生じさせないことがある環境条件に対して、より堅牢であること、またはその環境条件を免れていることの少なくとも一方の利点がある。
【０１５８】
図１７には、（図２に示される）第１の画像化装置１１０ａと（図２に示される）第２の画像化装置１１０ｂの間の基準線を自動的に調整するスタンドアロン装置１７００が示されている。自動基準線調整用のスタンドアロン装置１７００の利点は、スタンドアロン装置１７００が、異なるタイプの画像化装置１１０とともに使用する、または壊れた画像化装置１１０を新しい画像化装置１１０に交換する等、異なる画像化装置１１０とともに使用することが容易な点である。スタンドアロン装置１７００は、スタンドアロン装置１７００を異なる画像化システム１００とともに（例えば、異なるＵＡＶ等の異なる可動プラットフォームとともに）使用できる、という利点も有する。スタンドアロン装置１７００は、（図２に示される）基準線ｂを調整する基準線調整機構１７０及び基準線ｂを自動的に調整するコントローラ１９０を含む。コントローラ１９０は、画像化システムと注目物体１５０（図示しない）の間の物体距離に従い、基準線調整機構１７０を使用して基準線ｂを自動的に調整する。基準線調整機構１７０は、画像化システム１００に関連して上述されている（例えば、図３の例を参照）。基準線調整機構１７０は、互いに対するまたは周囲に対する画像化装置１１０の直線運動または非直線運動をもたらすために、希望に応じて、さまざまな構成部品を含み得る。運動をもたらす構成部品は、例えば、モータ（例えば、ステッピングモータ）、スクリュー軸機構、スライドクランク機構、ラックアンドピニオン機構、リニアモータ等を含むが、これに限定されない。追加の構成部品は、画像化装置１１０の運動を容易にすること、または運動をもたらすことの少なくとも一方を可能にし得る。追加の構成部品は、例えば、玉軸受け、レールシステムとランナーブロック、端部軸受支え、ボールねじ、スライドブッシュ、スライドネジ、コンベヤベルト、滑車、多様なタイプの潤滑剤等を含むが、これらに限定されない。装置１７００は、互いに関して直線状に移動する端部領域ユニット１００１ａと１００１ｂを含み得る。画像化装置１１０は、端部領域ユニット１００１ａと１００１ｂのそれぞれに取り付けることができる。それにより、端部領域ユニットそれぞれに対する画像化装置１１０の並進運動を可能にし、基準線ｂ（図示しない）の調整を容易にできる。
【０１５９】
コントローラ１９０は、基準線調整機構１７０の機能を制御し、それによって基準線ｂの調整を自動化できる。コントローラ１９０は、データ通信の構成部品（例えば、シリアルバス:図示しない）を介して基準線調整機構１７０に制御データを送信できる。コントローラ１９０は、基準線調整（例えば、入出力ポートを通して）のために、さらに外部でデータを受信すること、または送信することの少なくとも一方を実行できる。また、コントローラ１９０は、リモートデータ通信システム（図示しない）を使用し、外部でデータを受信すること、または送信することの少なくとも一方を実行できる。コントローラ１９０によって送信されるデータは、例えば基準線調整機構１７０への制御信号を含み得る。さらに、コントローラは、１台以上の画像化装置１１０によって取得される画像を受信できる。コントローラ１９０は、例えば、立体視を使用し、注目物体１５０の３次元表示を再構築すること、注目物体１５０に基づいて基準線調整が必要であるかどうかを判断すること、等が可能である。また、コントローラ１９０は、図９に関してより詳細に上述した方法のように、立体視画像化のための１つ以上の外因性パラメータを自動的に較正できるという利点も有する。
【０１６０】
開示した実施形態は、多様な修正形態及び代替形態を受け入れる余地が大きく、その特定の例が図面中で一例として示されており、本明細書に詳細に説明されている。ただし、説明した実施形態は、特定の形式または方法に制限されるものではなく、逆に説明した実施形態がすべての修正形態、同等物及び代替物をカバーすることが理解されるべきである。
【図１】
2017505903.tif 000007
【図２】
2017505903.tif 000008
【図３】
2017505903.tif 000009
【図４】
2017505903.tif 000010
【図５】
2017505903.tif 000011
【図６】
2017505903.tif 000012
【図７】
2017505903.tif 000013
【図８】
2017505903.tif 000014
【図９】
2017505903.tif 000015
【図１０】
2017505903.tif 000016
【図１１】
2017505903.tif 000017
【図１２】
2017505903.tif 000018
【図１３】
2017505903.tif 000019
【図１４】
2017505903.tif 000020
【図１５】
2017505903.tif 000021
【図１６】
2017505903.tif 000022
【図１７】
2017505903.tif 000023
【手続補正書】
【提出日】平成28年7月20日(2016.7.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも第１の画像化装置及び第２の画像化装置を含む複数の画像化装置を有する画像化システムの基準線を自動調整する方法において、
前記画像化システムと注目物体の間の物体距離を取得するステップと、
前記物体距離に従って前記基準線を自動的に調整するステップと、
を含む方法。
【請求項２】
前記物体距離を取得するステップが、
前記第１の画像化装置を使用し、前記注目物体の第１の画像を取得するステップと、
前記第２の画像化装置を使用し、前記注目物体の第２の画像を取得するステップと、
前記第１の画像と前記第２の画像の間の両眼視差を決定するステップと、
前記両眼視差を使用し、前記物体距離を決定するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記物体距離を取得するステップが、
前記両眼視差を決定する前に前記第１の画像と前記第２の画像を修正するステップをさらに含む、請求項２に記載の方法。
【請求項４】
前記物体距離を取得するステップが、
前記注目物体上の複数の特徴点を取得するステップと、
前記画像化システムと前記特徴点のそれぞれの間のそれぞれの特徴距離を決定するステップと、
前記特徴距離を使用し、前記物体距離を決定するステップと、
を含む、請求項１から請求項３のいずれか１つに記載の方法。
【請求項５】
前記物体距離を決定するステップが、
前記特徴距離の平均に基づいて前記物体距離を決定するステップを含む、請求項４に記載の方法。
【請求項６】
前記物体距離を決定するステップが、
前記特徴点の内の１つ以上を選択するステップと、
前記選択された特徴点の前記特徴距離に基づいて前記物体距離を取得するステップと、
を含む、請求項４または請求項５に記載の方法。
【請求項７】
前記特徴点を選択するステップは、
前記画像化システムに最も近い特徴点の所定のパーセンテージを選択するステップと、
前記画像化システムから最も遠い前記選択された特徴点の前記特徴距離として前記物体距離を取得するステップと、
を含む、請求項６に記載の方法。
【請求項８】
前記画像化システムと前記特徴点のそれぞれとの間の前記特徴距離を決定するステップが、
前記第１の画像化装置または前記第２の画像化装置によって取得された画像上の前記特徴点に対応するピクセルに基づいて前記特徴距離を決定するステップを含む、請求項４から請求項７のいずれか１つに記載の方法。
【請求項９】
前記物体距離を取得するステップが、
レーザーまたは超音波システムを使用し、前記物体距離を取得するステップを含む、請求項１から請求項８のいずれか１つに記載の方法。
【請求項１０】
前記調整するステップが、
前記基準線が最小基準線以下である場合に、前記基準線を増加させるステップを含む、請求項１から請求項９のいずれか１つに記載の方法。
【請求項１１】
前記最小基準線が４×Ｚ×Ｌ／ｆであり、Ｚが前記物体距離であり、Ｌが前記画像化装置の内の少なくとも１台のピクセル幅であり、ｆが前記画像化装置の内の少なくとも１台の焦点距離である、請求項１０に記載の方法。
【請求項１２】
前記調整するステップが、
前記基準線が最大基準線を超える場合に、前記基準線を減少させるステップを含む、請求項１から請求項１１のいずれか１つに記載の方法。
【請求項１３】
前記調整するステップが、
前記基準線が最大基準線以下の場合に、前記基準線を増加させるステップを含む、請求項１から請求項１２のいずれか１つに記載の方法。
【請求項１４】
前記調整するステップが、
前記第１の画像化装置の視野が少なくとも閾値分前記第２の画像化装置の視野と重複するまで前記基準線を増加させるステップを含む、請求項１から請求項１３のいずれか１つに記載の方法。
【請求項１５】
前記基準線の前記自動調整後に前記画像化システムの外因性のパラメータを較正するステップをさらに含む、請求項１から請求項１４のいずれか１つに記載の方法。
【請求項１６】
前記較正するステップが、
前記画像化システムの並進外因性パラメータまたは回転外因性パラメータの少なくとも一方を較正するステップを含む、請求項１５に記載の方法。
【請求項１７】
前記較正するステップが、
前記基準線を自動的に調整するステップに従って前記並進外因性パラメータを初期較正するステップを含む、請求項１６に記載の方法。
【請求項１８】
前記較正するステップが、
前記初期較正するステップの後に前記外因性パラメータを追加較正して前記外因性パラメータを最適化するステップを含む、請求項１７に記載の方法。
【請求項１９】
前記画像化システムが無人航空機（ＵＡＶ）であり、
前記自動的に調整するステップが前記ＵＡＶの飛行モードに依存している、請求項１８に記載の方法。
【請求項２０】
前記調整するステップが、
前記飛行モードが着陸モードであるときに前記基準線を減少させるステップを含む、請求項１９に記載の方法。
【請求項２１】
前記調整するステップが、
前記飛行モードが離陸モードであるときに前記基準線を増加させるステップを含む、請求項１９または請求項２０に記載の方法。
【請求項２２】
前記調整するステップが、
前記飛行モードが空中画像取得モードであるときに前記基準線を増加させるステップを含む、請求項１９から請求項２１のいずれか１つに記載の方法。
【請求項２３】
請求項１から請求項２２のいずれか１つに記載の方法に従って、基準線を自動的に調整する、
ことを特徴とする、画像化システム。
【請求項２４】
請求項１から請求項２２のいずれか１つに記載の方法に従って、第１の画像化装置と第２の画像化装置を有する画像化システムの基準線を自動的に調整するための命令を備える、
ことを特徴とする、コンピュータプログラム。
【請求項２５】
複数の画像化装置を有する画像化システムの第１の画像化装置と第２の画像化装置の間の基準線を自動的に調整する装置において、
前記第１の画像化装置と前記第２の画像化装置と接続されている基準線調整機構と、
前記画像化システムと注目物体の間の物体距離に従って前記基準線を自動的に調整する前記基準線調整機構に制御信号を提供するコントローラと、
を備える、
ことを特徴とする、装置。
【請求項２６】
前記コントローラが、
前記第１の画像化装置を使用し、前記注目物体の第１の画像を取得し、
前記第２の画像化装置を使用し、前記注目物体の第２の画像を取得し、
前記第１の画像と前記第２の画像の間の両眼視差を決定し、
前記両眼視差を使用し、前記物体距離を決定すること、によって前記物体距離を取得する、
ことを特徴とする、請求項２５に記載の装置。
【請求項２７】
前記コントローラが、
前記両眼視差を決定する前に前記第１の画像と前記第２の画像を修正する、
ことを特徴とする、請求項２６に記載の装置。
【請求項２８】
前記コントローラが、
前記注目物体上の複数の特徴点を取得し、
前記画像化システムと前記特徴点のそれぞれの間の特徴距離を決定し、
前記特徴距離を使用し、前記物体距離を決定すること
によって前記物体距離を取得する、
ことを特徴とする請求項２５から請求項２７のいずれか１つに記載の装置。
【請求項２９】
前記コントローラが、
前記特徴距離の平均に基づいて前記物体距離を取得する、
ことを特徴とする、請求項２８に記載の装置。
【請求項３０】
前記コントローラが、
前記特徴点の内の１つ以上を選択し、前記選択された特徴点の前記特徴距離に基づいて前記物体距離を取得する、
ことを特徴とする、請求項２８または請求項２９に記載の装置。
【請求項３１】
前記コントローラが、
前記画像化システムに最も近い特徴点の所定のパーセンテージを選択することによって前記特徴点を選択し、前記画像化システムから最も遠い選択された特徴点の前記特徴距離として前記物体距離を取得する、
ことを特徴とする、請求項３０に記載の装置。
【請求項３２】
前記画像化システムと前記特徴点のそれぞれの間の前記それぞれの特徴距離を決定することが、前記第１の画像化装置または前記第２の画像化装置によって取得された画像上の前記特徴点に対応するピクセルに基づいて特徴距離を決定することを含む、
ことを特徴とする、請求項２８から請求項３１のいずれか１つに記載の装置。
【請求項３３】
前記物体距離を取得するレーザーまたは超音波システムをさらに備える、
ことを特徴とする、請求項２５から請求項３２のいずれか１つに記載の装置。
【請求項３４】
前記基準線調整機構が、スクリュー軸機構、ラックアンドピニオン機構、スライダクランク機構、リニアモータ及び調整可能なフレームのうち少なくとも１つを備える、
ことを特徴とする、請求項２５から請求項３３のいずれか１つに記載の装置。
【請求項３５】
前記制御信号が、前記基準線が最小基準線以下である場合に、前記基準線を自動的に増加させる信号である、
ことを特徴とする、請求項２５から請求項３４のいずれか１つに記載の装置。
【請求項３６】
前記最小基準線が４×Ｚ×Ｌ／ｆであり、Ｚが前記物体距離であり、Ｌが前記画像化装置の内の少なくとも１台のピクセル幅であり、ｆが前記画像化装置の内の少なくとも１台の焦点距離である、
ことを特徴とする、請求項３５に記載の装置。
【請求項３７】
前記制御信号が、前記基準線が最大基準線を超える場合に、前記基準線を自動的に減少させる信号である、
ことを特徴とする、請求項２５から請求項３６のいずれか１つに記載の装置。
【請求項３８】
前記制御信号は、前記基準線が最大基準線以下である場合に、前記基準線を自動的に増加させる信号である、
ことを特徴とする、請求項２５から請求項３７のいずれか１つに記載の装置。
【請求項３９】
前記コントローラが、前記第１の画像化装置の視野が少なくとも閾値分、前記第２の画像化装置の視野と重複するまで、前記基準線を自動的に増加させる、
ことを特徴とする、請求項２５から請求項３８のいずれか１つに記載の装置。
【請求項４０】
前記コントローラが、前記基準線の前記自動調整後に前記画像化システムの外因性パラメータを較正する、
ことを特徴とする、請求項２５から請求項３９のいずれか１つに記載の装置。
【請求項４１】
前記コントローラが、並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正する、
ことを特徴とする、請求項４０に記載の装置。
【請求項４２】
前記コントローラが、前記基準線調整機構の線形変位に従って前記並進外因性パラメータを初期較正する、
ことを特徴とする、請求項４１に記載の装置。
【請求項４３】
前記基準線調整機構が、スクリュー軸機構を備え、
前記コントローラが、前記スクリュー軸機構の回転の程度に従って前記並進外因性パラメータを初期較正する、
ことを特徴とする、請求項４２に記載の装置。
【請求項４４】
前記コントローラが、前記初期較正の後に前記外因性パラメータをさらに較正し、前記外因性パラメータを最適化する、
ことを特徴とする、請求項４２または請求項４３に記載の装置。
【請求項４５】
前記コントローラが、バンドル調整を使用し、前記外因性パラメータをさらに較正する、
ことを特徴とする、請求項４４に記載の装置。
【請求項４６】
前記画像化システムが、可動プラットフォームである、
ことを特徴とする、請求項２５から請求項４５のいずれか１つに記載の装置。
【請求項４７】
前記画像化システムが、無人航空機（ＵＡＶ）である、
ことを特徴とする、請求項４６に記載の装置。
【請求項４８】
前記コントローラが、前記ＵＡＶの飛行モードに応じて前記基準線を自動的に調整する、
ことを特徴とする、請求項４７に記載の装置。
【請求項４９】
前記コントローラが、前記飛行モードが着陸モードであるときに前記基準線を減少させる、
ことを特徴とする、請求項４８に記載の装置。
【請求項５０】
前記コントローラが、前記飛行モードが離陸モードであるときに前記基準線を増加させる、
ことを特徴とする、請求項４８または請求項４９に記載の装置。
【請求項５１】
前記コントローラが、前記飛行モードが空中画像取得モードであるときに前記基準線を増加させる、
ことを特徴とする、請求項４８から５０のいずれか１つに記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明に関わる方法において、物体距離を取得するステップは、レーザーまたは超音波システムを使用し、物体距離を取得するステップを含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明に関わる方法において、調整するステップは、基準線が最小基準線以下である場合に、基準線を増加させるステップを含む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明に関わる方法において、調整するステップは、基準線が最大基準線を超える場合に、基準線を減少させるステップを含む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明に関わる方法において、調整するステップは、基準線が最大基準線以下の場合に、基準線を増加させるステップを含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明に関わる方法において、調整するステップは、第１の画像化装置の視野が、少なくとも閾値分、第２の画像化装置の視野と重複するまで基準線を増加させるステップを含む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本発明に関わる方法において、調整するステップは、飛行モードが着陸モードであるときに基準線を減少させるステップを含む。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
本発明に関わる方法において、調整するステップは、飛行モードが離陸モードであるときに基準線を増加させるステップを含む。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本発明に関わる方法において、調整するステップは、飛行モードが空中画像取得モードであるときに基準線を増加させるステップを含む。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
本発明の他の実施形態に従って、上記方法の内のいずれか１つに従って第１の画像化装置と第２の画像化装置を有する画像化システムの基準線を自動的に調整する命令を含むコンピュータプログラム、について説明する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
本発明に関わる装置は、物体距離を取得するためのレーザーまたは超音波システムをさらに含む。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
本発明に関わる装置において、基準線調整機構は、スクリュー軸機構、ラックアンドピニオン機構、スライダクランク機構、リニアモータ及び調整可能なフレームのうち少なくとも１つを含む。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】削除
【補正の内容】
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】削除
【補正の内容】
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】削除
【補正の内容】
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】削除
【補正の内容】
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】削除
【補正の内容】
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】削除
【補正の内容】
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】削除
【補正の内容】
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】削除
【補正の内容】
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】削除
【補正の内容】
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】削除
【補正の内容】
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】削除
【補正の内容】
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】削除
【補正の内容】
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】削除
【補正の内容】
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】削除
【補正の内容】
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】削除
【補正の内容】
【手続補正４２】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】削除
【補正の内容】
【手続補正４３】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】削除
【補正の内容】
【手続補正４４】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】削除
【補正の内容】
【手続補正４５】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】削除
【補正の内容】
【手続補正４６】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】削除
【補正の内容】
【手続補正４７】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】削除
【補正の内容】
【手続補正４８】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】削除
【補正の内容】
【手続補正４９】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】削除
【補正の内容】
【手続補正５０】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】削除
【補正の内容】
【手続補正５１】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】削除
【補正の内容】
【手続補正５２】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】削除
【補正の内容】
【手続補正５３】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】削除
【補正の内容】
【手続補正５４】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】削除
【補正の内容】
【手続補正５５】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】削除
【補正の内容】
【手続補正５６】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】削除
【補正の内容】
【手続補正５７】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】削除
【補正の内容】
【国際調査報告】
2017505903.tif 000024
2017505903.tif 000025