(57)【要約】ここで開示されるのは、カメラ画像化システム（１００，４００）における１つ以上のカメラ（３１２−３１５）の位置及び方向を位置合わせする方法（５００）である。本方法は、あるステップ（５０２）でシーンの３次元画像を表すデータを深度画像化装置（３３０）から受け取ること、を含む。あるステップ（５０３）で、シーンに対する参照フレームで３次元画像が較正される。参照フレームは参照位置及び参照方向を含む。あるステップ（５０４）で、参照フレームにおいて３次元画像内のカメラのそれぞれの３次元位置が求められる。あるステップ（５０５）で、参照フレームにおける少なくとも１つの次元でのそれぞれのカメラの方向が求められる。あるステップ（５０６）で、それぞれのカメラについての位置及び方向を組み合わせることによって参照フレームにおけるカメラ姿勢が求められる。
2019528501.tif 000002
【特許請求の範囲】
【請求項１】
カメラ画像化システムにおける１つ以上のカメラの位置及び方向を位置合わせする方法であって、
ａ）シーンの３次元画像を表すデータを深度画像化装置から受け取ること、
ｂ）シーンに対する参照フレームで３次元画像を較正することであって、前記参照フレームは参照位置及び参照方向を含む、較正すること、
ｃ）前記参照フレームにおいて前記３次元画像内の前記カメラのそれぞれの３次元位置を求めること、
ｄ）前記参照フレームにおける少なくとも１つの次元でのそれぞれのカメラの方向を求めること、及び
ｅ）それぞれのカメラについての位置及び方向を組み合わせることによって前記参照フレームにおけるカメラ姿勢を求めること
を含む方法。
【請求項２】
ステップｄは、前記１つ以上のカメラにマウントされた方向センサから方向データを得ることを含む、請求項１に記載の方法。
【請求項３】
それぞれの方向センサは、加速度計を含む、請求項２に記載の方法。
【請求項４】
それぞれの方向センサは、ジャイロスコープを含む、請求項２に記載の方法。
【請求項５】
それぞれの方向センサは、磁気計を含む、請求項２に記載の方法。
【請求項６】
それぞれの方向センサは、慣性測定ユニットを含む、請求項２に記載の方法。
【請求項７】
前記深度画像化装置は、タイムオブフライトカメラ、ストラクチャードライト３Ｄスキャナ、ステレオカメラシステム、深度カメラ、レーザースキャナ、又はＬｉＤＡＲシステムのうちの１つ以上を含む、請求項１−６のいずれか１項に記載の方法。
【請求項８】
前記シーンは、乗り物キャビン又はコックピットを含む、請求項１−７のいずれか１項に記載の方法。
【請求項９】
前記シーンは、乗り物であり、前記参照方向は、乗り物の車軸又は乗り物の駆動軸に対して定義される、請求項１−８のいずれか１項に記載の方法。
【請求項１０】
シーンの速度又は加速度のデータを受け取るステップを含む、請求項１−９のいずれか１項に記載の方法。
【請求項１１】
シーン内の所定位置についてのＧＰＳデータを受け取るステップを含む、請求項１−１０のいずれか１項に記載の方法。
【請求項１２】
シーン内での前記カメラの３次元位置を求めるステップは、３次元画像に対して形状認識を実行することによって、画像中のカメラの位置を自動的に認識することを含む、請求項１−１１のいずれか１項に記載の方法。
【請求項１３】
前記形状認識は、前記カメラの形状を認識する、請求項１２に記載の方法。
【請求項１４】
前記形状認識は、それぞれのカメラ上に、又はそれぞれのカメラの近傍に配置された所定のパターンを認識する、請求項１２に記載の方法。
【請求項１５】
シーン内での前記カメラの３次元位置を求めるステップは、ソフトウェアアプリケーションを用いて３次元画像中のカメラ位置を手動で指定することを含む、請求項１−１４のいずれか１項に記載の方法。
【請求項１６】
前記参照位置は、前記カメラの位置である、請求項１−１５のいずれか１項に記載の方法。
【請求項１７】
前記参照位置は、シーン内の既知の特徴の位置である、請求項１−１６のいずれか１項に記載の方法。
【請求項１８】
シーン内での前記カメラの３次元位置を求めるステップは、既知の参照特徴でシーンの幾何学形状を較正することを含む、請求項１−１７のいずれか１項に記載の方法。
【請求項１９】
ｆ）シーンから深度画像化装置を除去することを含む、請求項１−１８のいずれか１項に記載の方法。
【請求項２０】
ステップｂは、
i. 乗り物シーンを表す参照データをロードすることであって、前記参照データは、前記乗り物シーン内の１つ以上の既知の特徴の位置及び方向を含む、ロードすること、
ii. ３次元画像内において、１つ以上の既知の特徴の幾何学的外観を特定すること、
iii. 前記幾何学的外観から、ステップｃで特定された既知の特徴に対するカメラの３次元位置及び方向を求めること、及び前記乗り物シーン内での３次元カメラの姿勢を計算すること
を含む、請求項１−１９のいずれか１項に記載の方法。
【請求項２１】
カメラ画像化システムにおける１つ以上のカメラの位置及び方向を位置合わせするシステムであって、前記カメラのそれぞれは、シーン内にマウントされ、
シーンの３次元画像を表すデータを得る深度画像化装置、及び
処理ユニットであって、
シーンに対する参照フレームで３次元画像を較正することであって、前記参照フレームは参照位置及び参照方向を含む、較正すること、
前記参照フレームにおいて前記３次元画像内の前記カメラのそれぞれの３次元位置を求めること、
前記参照フレームにおける少なくとも１つの次元でのそれぞれのカメラの方向を求めること、及び
それぞれのカメラについての位置及び方向を組み合わせることによって前記参照フレームにおけるカメラ姿勢を求めること
を行う処理ユニット
を備えるシステム。
【請求項２２】
１つ以上の方向センサであって、それぞれは、関連付けられたカメラにマウントされ、少なくとも１つの次元において前記関連付けられたカメラの方向を表す方向データを測定するよう構成されている、１つ以上の方向センサを備える、請求項２１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラモニタリングシステムに関し、特に、カメラモニタリングシステムにおいてカメラの位置及び方向を位置合わせする（registering）方法及びシステムに関する。本発明の実施形態は、乗り物でのマルチカメラドライバモニタリングシステムのために特に開発された。いくつかの実施形態は、その応用例に具体的に参照してここで開示されるが、本発明は、そのような使用分野には限定されず、広いコンテキストで応用可能であることが理解されよう。
【背景技術】
【０００２】
明細書を通して背景技術のいかなる説明も、そのような技術が広く知られており、当該分野におけるありふれた一般的な知識を形成するという自認としては決して考えられるべきではない。
【０００３】
モニタリング及び監視システムにおいては、シーンを異なる視点からモニタすることがしばしば必要である。これは、シーンの全体で異なる位置及び方向における複数のカメラを配置することによって典型的には達成される。そのような乗り物及び運転者モニタリングシステムのようないくつかの応用例においては、あるカメラの視点から他のカメラの視点へと物体の位置を追尾及びマッピングできることが優位性を有する。これら応用例においては、それぞれのカメラの相対的な位置及び方向を知ることによって、それぞれのカメラの視野の間の物体位置の正確なマッピング又は投影が実行され得るようにすることが必要である。
【０００４】
従来は、それぞれのカメラの位置及び方向は、モニタリングシステムの設置の較正段階の間に技術者によって手動で入力されていた。これは、多大な時間及び努力を必然的に要求し、位置／方向の正確性は、技術者の能力によって制限される。さらに、カメラが再配置されたり、新しいカメラがモニタリングシステムに追加されたりするたびに、システムのダウンタイム及び技術者の費用を犠牲にして較正手続が再び実行されなければならない。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の第１局面によれば、カメラ画像化システムにおける１つ以上のカメラの位置及び方向を位置合わせする方法が提供され、この方法は、
ａ）シーンの３次元画像を表すデータを深度画像化装置から受け取ること、
ｂ）シーンに対する参照フレームで３次元画像を較正することであって、前記参照フレームは参照位置及び参照方向を含む、較正すること、
ｃ）前記参照フレームにおいて前記３次元画像内の前記カメラのそれぞれの３次元位置を求めること、
ｄ）前記参照フレームにおける少なくとも１つの次元でのそれぞれのカメラの方向を求めること、及び
ｅ）それぞれのカメラについての位置及び方向を組み合わせることによって前記参照フレームにおけるカメラ姿勢を求めること
を含む。
【０００６】
ある実施形態では、ステップｄは、前記１つ以上のカメラにマウントされた方向センサから方向データを得ることを含む。ある実施形態では、それぞれの方向センサは、加速度計を含む。ある実施形態では、それぞれの方向センサは、ジャイロスコープを含む。ある実施形態では、それぞれの方向センサは、磁気計を含む。ある実施形態では、それぞれの方向センサは、慣性測定ユニットを含む。
【０００７】
いくつかの実施形態では、前記深度画像化装置は、タイムオブフライトカメラ、ストラクチャードライト３Ｄスキャナ、ステレオカメラシステム、深度カメラ、レーザースキャナ、又はＬｉＤＡＲシステムのうちの１つ以上を含む。
【０００８】
前記シーンは、好ましくは乗り物キャビン又はコックピットを含む。好ましくは、前記シーンは、乗り物であり、前記参照方向は、乗り物の車軸又は乗り物の駆動軸に対して定義される。
【０００９】
いくつかの実施形態では、本方法は、シーンの速度又は加速度のデータを受け取るステップを含む。いくつかの実施形態では、本方法は、シーン内の所定位置についてのＧＰＳデータを受け取るステップを含む。
【００１０】
いくつかの実施形態では、シーン内での前記カメラの３次元位置を求めるステップは、３次元画像に対して形状認識を実行することによって、画像中のカメラの位置を自動的に認識することを含む。ある実施形態では、前記形状認識は、前記カメラの形状を認識する。他の実施形態では、前記形状認識は、それぞれのカメラ上に、又はそれぞれのカメラの近傍に配置された所定のパターンを認識する。
【００１１】
いくつかの実施形態では、シーン内での前記カメラの３次元位置を求めるステップは、ソフトウェアアプリケーションを用いて３次元画像中のカメラ位置を手動で指定することを含む。
【００１２】
ある実施形態では、前記参照位置は、前記カメラの位置である。他の実施形態では、前記参照位置は、シーン内の既知の特徴の位置である。
【００１３】
いくつかの実施形態では、シーン内での前記カメラの３次元位置を求めるステップは、既知の参照特徴でシーンの幾何学形状を較正することを含む。
【００１４】
ある実施形態では、シーンから深度画像化装置を除去することを含む。
【００１５】
いくつかの実施形態では、ステップｂは、
i. 乗り物シーンを表す参照データをロードすることであって、前記参照データは、前記乗り物シーン内の１つ以上の既知の特徴の位置及び方向を含む、ロードすること、
ii. ３次元画像内において、１つ以上の既知の特徴の幾何学的外観を特定すること、
iii. 前記幾何学的外観から、ステップｃで特定された既知の特徴に対するカメラの３次元位置及び方向を求めること、及び前記乗り物シーン内での３次元カメラの姿勢を計算すること
を含む。
【００１６】
本発明の第２局面によれば、カメラ画像化システムにおける１つ以上のカメラの位置及び方向を位置合わせするシステムが提供され、前記カメラのそれぞれは、シーン内にマウントされ、
シーンの３次元画像を表すデータを得る深度画像化装置、及び
処理ユニットであって、
シーンに対する参照フレームで３次元画像を較正することであって、前記参照フレームは参照位置及び参照方向を含む、較正すること、
前記参照フレームにおいて前記３次元画像内の前記カメラのそれぞれの３次元位置を求めること、
前記参照フレームにおける少なくとも１つの次元でのそれぞれのカメラの方向を求めること、及び
それぞれのカメラについての位置及び方向を組み合わせることによって前記参照フレームにおけるカメラ姿勢を求めること
を行う処理ユニット
を備える。
【００１７】
いくつかの実施形態では、本システムは、１つ以上の方向センサであって、それぞれは、関連付けられたカメラにマウントされ、少なくとも１つの次元において前記関連付けられたカメラの方向を表す方向データを測定するよう構成されている、１つ以上の方向センサを備える。
【図面の簡単な説明】
【００１８】
本開示の好ましい実施形態が、例示としてのみ、添付の図面を参照してこれから説明される。
【図１】図１は、乗り物内に配置された４カメラモニタリングシステムの透視図である。
【図２】図２は、図１の４カメラモニタリングシステムの平面図である。
【図３】図３は、図１及び２の４カメラモニタリングシステムの概略的システムレベル図である。
【図４】図４は、代替の４カメラモニタリングシステムの概略的システムレベル図である。
【図５】図５は、マルチカメラ画像化システムにおいて複数のカメラの位置及び方向を位置合わせする方法における主要なステップを図示する機能フロー図である。
【図６】図６は、乗り物シーン内の３次元画像を較正する方法における主要なステップを図示する機能フロー図である。
【発明を実施するための形態】
【００１９】
システムの概要
ここで説明される本発明の実施形態は、マルチカメラ乗り物モニタリングシステムにおけるカメラ群の位置及び方向の位置合わせを自動化することに関する。これらの実施形態において、画像化されるべきシーンは、乗り物のドライバー、乗り物／コクピットのインテリア、乗り物の前方向の道路シーン、及びオプションとして乗り物からの横及び後ろの視野である。乗り物は、商用の自動車、トラック、土木機械、飛行機、ジェット機、ヘリコプター、又は等価なシミュレーション環境を表し得る。しかし本発明は、他のシーンをモニタリングするための監視ネットワークのような他のマルチカメラモニタリングシステムに適用可能であることが理解されよう。本発明は、単一カメラのモニタリングシステムにも適用可能であり得る。
【００２０】
図１及び２をまず参照して、乗り物１０６内の異なる位置に配置された４つのカメラ１０１−１０４を含む乗り物モニタリングシステム１００が図示されている。カメラ１０１は、乗り物のダッシュボード上に配置され、前方向ロードシーンをモニタリングするために乗り物の前方向に向けられている。カメラ１０２、１０３、及び１０４は、乗り物１０６の運転者１０８をモニタするように配置され、方向付けられている。カメラ１０２は、乗り物１０６の計器パネル上に又は隣接して、又は乗り物１０６のステアリングコラム上に配置される。カメラ１０３は、乗り物１０６のフレームの運転者側のＡピラー上に配置される。カメラ１０４は、乗り物１０６のセンターコンソール上に又は隣接して、好ましくはスクリーンが提供される乗り物内のディスプレイスクリーンに隣接して、配置される。具体的なカメラ位置は、例示的であるだけであって、運転者、前方ロードシーン、又は乗り物の中の又は周囲の他の視野をモニタするために、より多くの又はより少ないカメラが乗り物１０６内の又は外の他の位置において組み込まれてもよい。カメラの他の例示的位置は、バックミラー、リアバンパー、フロントバンパー、乗り物ルーフ、及びボンネット／フードを含む。
【００２１】
ここで図３を参照すると、システム１００のシステムレベルの概略図が示されている。システム１００は、プロセッサ３０２、メモリ３０４、電源３０６、ネットワークインタフェース３０８、及びユーザ入力デバイス３１０を含む中央処理装置３００を含む。乗り物モニタリングシステムの実施形態において、中央処理装置３００は、好ましくは乗り物のダッシュボード又はセンターコンソール内に設置され、製造時にオンボード乗り物コンピュータシステムと統合され得る。しかし、中央処理装置３００及びシステム１００は、全体として、アフターマーケット製品として製造されて、モジュールとして後で設置され得る。
【００２２】
プロセッサ３０２は、複数のカメラから受け取られた画像ストリームを処理するよう構成されたハードウェア及び／又はソフトウェアを有する任意の既知の、又は従来のマイクロプロセッサ又はパーソナルコンピュータを表現し得る。例として、プロセッサ３０２は、システムオンチップ技術を含み得て、ビデオ処理パイプラインを含み得る。ある実施形態において、プロセッサ３０２は、オンボード乗り物コンピュータシステムのプロセッサと統合され、又は通信可能であり得る。
【００２３】
中央処理装置３００は、電源３０６に接続されることで電力が供給される。ある実施形態では、電源３０６は、乗り物のバッテリーのような乗り物の電源への電気的接続を表現する。他の実施形態では、電源３０６は、中央処理装置３００の筐体内で統合され、オプションとして外部電源に接続されたローカルバッテリーを表現する。
【００２４】
ネットワークインタフェース３０８は、データをシステム１００に送信し、システム１００から受信することを可能にし、システム１００を他のデバイス又はシステムに電気的に又は無線で接続するインタフェースを表現する。ネットワークインタフェース３０８は、ＵＳＢ、ＨＤＭＩ、又はイーサネットのポート、シリアルデバイスポートのような有線で接続されたネットワークポート及び／又はブルートゥースＴＭデバイス、Wi-FiＴＭデバイス、又は携帯電話ネットワークトランシーバのような無線デバイスを含む。
【００２５】
ユーザ入力は、ユーザ入力デバイス３１０を通してシステム１００に与えられ得て、ユーザ入力デバイス３１０は、タッチスクリーンディスプレイ又はキーボード又はキーパッド及び付随するディスプレイを含み得る。ユーザ入力デバイス３１０は、ネットワークインタフェース３０８又は他の手段を通してシステム１００に接続されたコンピュータ又はスマートフォンのような外部デバイスも表現し得る。ある実施形態では、ユーザ入力デバイス３１０は、乗り物に統合され、乗り物のセンターコンソール内に設置されたディスプレイインタフェースを通して操作されるコンピュータシステムを表現する。
【００２６】
ユーザ入力デバイス３１０を通してシステム１００に入力され得る例示的データは、
・乗り物のキャビンの３次元モデル又は乗り物シーンの２次元画像を含む乗り物シーン参照データ、
・カメラ１０１−１０４についての初期又は参照の位置及び方向のデータ、
・乗り物内の他の参照点の位置、
・顔認識のための運転者の画像、
・乗り物又は乗り物キャビンのモデルデータ、
・乗り物内での目の位置を求めるための運転者身長のような運転者の詳細、及び
・アップデートされた注視追跡アルゴリズムのようなプロセッサ３０２のためのソフトウェアアップデート
を含む。
【００２７】
ユーザ入力デバイス３０１を通してシステム１００から抽出され得る例示的データは、
・統計的注視方向データ、
・カメラ較正又は再アラインメントのデータ、及び
・カメラ１０１−１０４からの生の又は処理された画像／ビデオデータ
を含む。
【００２８】
システム１００は、４つのカメラユニット３１２−３１５を含み、これらは、モニタリングされるべきシーンの中の又はその近傍の相対的位置においてマウントされる。それぞれのカメラユニット３１２−３１５は、そのそれぞれの視野内のシーンの画像をキャプチャするためのそれぞれのカメラ１０１−１０４を含む。
【００２９】
それぞれのカメラは、電気ケーブル及び関連付けられたポートを含むそれぞれの接続３２２−３２５を通して中央処理装置３００に電気的に接続される。これら電気的接続は、プロセッサ３０２によるカメラ１０１−１０４の制御、及びカメラ１０１−１０４からの画像データの伝送を提供する。
【００３０】
カメラ１０１−１０４は、画像化光学系と組み合わせて、さまざまなタイプの既知の画像センサを利用し得る。例示的画像センサは、後の画像処理に適切したフォーマットである画像及び／又はビデオシーケンスをキャプチャするための関連する処理電子回路及びメモリと組み合わせられた、電荷結合素子（ＣＣＤ）又は相補性金属酸化膜半導体（ＣＭＯＳ）チップを含む。カメラ１０１−１０４は、２次元又は３次元で画像をキャプチャすることが可能であり得る。
【００３１】
乗り物シーンの場合、基準系（frame of reference）は、乗り物フレームの領域に対して定義され得る。例として、基準座標系（reference coordinate system）は、乗り物の駆動軸に沿ってアラインされたｚ軸（長手方向の次元）、右車輪が正の方向である、前輪軸に沿ってアラインされたｘ軸（横方向の次元を定義する）、及びおおまかには垂直の次元を定義するｙ軸を有することで、直交座標系を完成するものとして定義され得る。この例示的座標系は、本発明を説明するためにここで用いられる。しかし他の任意の基準座標系が選ばれ得ることが理解されよう。
【００３２】
最後に、システム１００は、３次元におけるそれぞれのカメラ１０１−１０４を含む、シーンの画像をキャプチャする深度画像化装置３３０を含む。深度画像化装置３３０は、１つ以上のスキャニング又はパルス化タイムオブフライトカメラ（pulsed time of flight camera）、ＬｉＤＡＲシステム、ステレオカメラ構成、ストラクチャードライト３Ｄスキャナ、位相検出又は３次元でシーンの画像をキャプチャできる任意の他の画像化システムを持つ画像センサを含み得る。深度画像化装置３３０は、装置３３０に制御を提供し、生の３次元画像データ又はプリプロセスされた深度マップデータ（pre-processed depth map data）を装置３３０から受け取るために、電気的接続３３２を通してプロセッサ３０２と動作可能に関連付けられている。ある実施形態では、深度画像化装置３３０は、中央処理装置３００及びプロセッサ３０２にネットワークインタフェース３０８を通して接続される。
【００３３】
代替の実施形態システム４００が図４に示される。ここでシステム１００の対応する特徴には、同じ参照番号が付される。システム４００は、４つのカメラユニット３１２−３１５を含み、これらは、それぞれ、それぞれのカメラ１０１−１０４、及び参照方向に対するカメラの方向を測定する方向センサ３１７−３２０を含む。
【００３４】
方向センサ３１７−３２０は、加速度計及びジャイロスコープのような単純な慣性デバイス及び磁気計及びより発展型の慣性測定ユニットのような他のデバイス、又はそれらの組み合わせを含み得る。方向センサ３１７−３２０は、参照方向に対して１次元、２次元、又は３次元における方向を測定することが可能であり得る。適切な参照方向（reference orientation）は、乗り物の駆動軸及び前輪軸を用いる上述のものである。しかし、参照方向は、具体的な応用例に基づいて任意のものが選ばれ得ることが理解されよう。例えば、もし２つ以上のカメラが共通の軸に沿ってアラインされているなら、その軸は、参照方向として好ましくあり得る。方向は、３次元デカルト座標系で好ましくは表現される。しかし、方向は、方向ベクトルが、垂直平面における半径方向距離（ｒ）、天頂角（θ）及び水平平面における方位角（φ）で表現される球座標系のような任意の座標系で表現され得ることが理解されよう。
【００３５】
ある実施形態では、方向センサ３１７−３２０は、それぞれのカメラ１０１−１０４に一体化して取り付けられる。他の実施形態では、方向センサ３１７−３２０は、カメラも装着される中間支持フレーム上にそれぞれのカメラ１０１−１０４に対してマウントされる。
【００３６】
例示的実現例
マルチカメラ画像化システムにおける複数のカメラの位置及び方向を位置合わせするシステム１００及び４００の動作は、図５のフロー図に示される方法５００を参照して説明される。
【００３７】
まずステップ５０１において、カメラが、モニタリングされるべきシーン内のそれらの所望の位置において取り付けられる。運転者モニタリングシステムの場合、カメラは、図１及び２における場所のような、乗り物内又は乗り物周囲の位置において好ましくはマウントされることによって、運転者及び前方道路シーンをそれらの視野内に入れるようにする。ステップ５０１は、乗り物の製造中に、又はその後の乗り物１０６へのシステム１００の装着時に実行され得る。
【００３８】
カメラユニット３１２−３１５の装着の間に、それぞれのユニットは、中央処理ユニット３００にそれぞれの接続３２２−３２５を通して電気的に接続される。ステップ５０１の間に、深度画像化装置３３０も装着され、システム１００に電気的接続３３２を通して接続される。深度画像化装置３３０は、乗り物１０６内に、又はその近傍に、一時的又は永続的に装着され得る。
【００３９】
装置３３０は、次のステップで規定される固定された乗り物基準系に対する正確に知られたカメラ姿勢で装着される。カメラ姿勢には、カメラセンサアレイの３次元位置、及びカメラの光学軸の３次元方向を示す６次元ベクトルを含む。
【００４０】
ステップ５０２において、深度画像化装置３３０は、シーンの１つ以上の３次元画像を生成するように制御され、これにはカメラユニット３１２−３１５を含む。３次元画像は、物体の２次元横方向位置に加えて、深度画像化装置３３０からの物体の深度を示す第３次元を含むシーンの深度マップを表す。
【００４１】
正確な深度データを抽出する前に、深度画像化装置３３０は、典型的には較正を必要とする。タイムオブフライトカメラのような商用デバイスの中には、自己較正を可能にする組み込み較正ルーチンを有するものもある。しかし他の装置は、例えば、高度な正確さで大きさが知られている較正物体をシーン中に置くことによる手動較正を必要とする。
【００４２】
深度画像化装置３３０がステレオカメラシステムを含む場合、互いに対する、又は参照点に対するカメラの相対位置及び方向を決定することによって、カメラの関連付けられた画素について光線の交点を計算し、２つのカメラがまず較正される必要がある。さらに、１つのステレオ画像において見えるそれぞれの表面点が、他のステレオ画像のどこに位置するかを特定する必要がある。カメラは、視野が重なるようにキャプチャするよう配置されることも必要である。シーンの較正は、画像化されるべきシーン中に所定の較正パターンを有する物体を配置することによって最初は実行され得る。ステレオ画像をキャプチャすると、較正パターンは、カメラの対応する画素を特定するのに用いられ、また、カメラ間の３次元における回転及びシフト、焦点距離、歪等のようなシミュレートされた３Ｄシーンの他のパラメータを特定するのにも用いられ得る。これらのパラメータを用いて、シーン内での物体の３次元座標が計算され得る。
【００４３】
ステップ５０２でキャプチャされた３次元画像は、深度画像化装置３３０の基準系に基づく。ステップ５０３において、３次元画像は、乗り物シーン内の又は乗り物シーンに対する参照フレーム（reference frame）に較正されることによって、参照フレーム内での装置３３０の姿勢を求める。参照フレームは、参照位置（reference position）及び参照方向（reference orientation）を含む。適切な参照フレームは、乗り物駆動軸及び前輪軸を用いて上述したものである。この参照フレームは、乗り物参照フレームと呼ばれる。ここで参照位置は、乗り物前車軸及び駆動軸の交点になる。参照方向は、長手方向に沿って規定される乗り物の前方方向として指定され得る。
【００４４】
他の例示的参照位置は、深度画像化装置３３０の３次元位置又はカメラユニット３１２−３１５のうちの１つの３次元位置を含む。しかし参照位置は、３次元画像内で特定され得て、かつカメラユニット３１２−３１５の位置に正確に関連付けられている限り、任意に選ばれ得る。例として、参照位置は、乗り物のセンターコンソール上の点のような、シーン内の既知の参照点として指定され得る。参照位置及び方向は、ユーザ入力装置３１０を通してユーザによって指定され得る。
【００４５】
ある実施形態では、ステップ５０３は、装置３３０の位置及び方向をユーザ入力デバイス３１０を通して手動で指定することによって実行され得る。他の実施形態では、ステップ５０３は、図６に示され、以下に説明される自己較正プロセス６００を通して実行される。まずステップ６０１において、乗り物シーンを示す参照データがメモリ３０４からロードされる。参照データは、乗り物シーン内の１つ以上の既知の特徴（features）の位置及び方向を含む。参照データは、乗り物シーン又はキャビンの３次元ＣＡＤモデルを表し得る。代替として、参照データは、より早い時刻において正確に知られたカメラ姿勢で装置３３０によってキャプチャされた画像を表し得る。既知の特徴は、ダッシュボード計器のような乗り物シーン内の特徴、物体、輪郭、又は表面を含み得る。乗り物キャビンそのものは、もしキャビンの正確なモデルが既知であるなら、既知の物体を表し得る。既知の物体は、シーン内で既知である幾何学的外観を有していなければならない。
【００４６】
次にステップ６０２において、１つ以上の既知の特徴の幾何学的外観が３次元画像内で特定される。これは、パターンマッチング、形状認識等を通して起こり得る。最後にステップ６０３で、既知の特徴に対するカメラの３次元位置及び方向が、幾何学的外観から求められる。これから、乗り物シーン内での３次元のカメラの姿勢が決定され得る。最後のステップは、畳み込みニューラルネットワークのような機械学習手法の使用を活用することで、異なる条件下の乗り物キャビン及びその中の特徴を知ることができる。例えば、運転者が乗り物の中で着席し、既知の物体のうちのいくつかを遮るとき等である。
【００４７】
図５に戻って、ステップ５０４において、参照フレーム内の３次元画像（群）内でのカメラ１０１−１０４のそれぞれの３次元位置が求められる。ある実施形態では、シーン内でのカメラの３次元位置を特定することは、ソフトウェアアプリケーションを用いてカメラ位置を手動で指定することを含む。この手法では、３次元画像は、ディスプレイスクリーン上に表示され、ユーザは、マウス、キーボード、タッチスクリーン、又は他の同様のデバイスのようなユーザ入力デバイス３１０を通してカーソルを制御することで、選択及びクリックのプロセスを用いて手動でカメラを指定することができる。選択された位置は、参照位置を参照して定義された座標系で、メモリ３０４に記憶される。
【００４８】
他の実施形態では、ステップ５０４は、３次元画像に対する形状認識を実行することによって、画像中のカメラ１０１−１０４の位置を自動的に認識することを含む。もしカメラ１０１−１０４が所定の認識可能な形状を有するなら、形状認識アルゴリズムがプロセッサ３０２によって実行されて、３次元画像内のそれぞれのカメラの２次元横方向位置（transverse position）を自動的に認識し、それら２つの横方向位置におけるカメラの対応する深度値（depth values）を後で抽出し得る。もしシーン画像の解像度が十分に高いなら、カメラ開口の中心は、カメラ位置として特定及び指定され得る。カメラは、画像内の画素領域を一般には備えるので、それぞれのカメラの深度は、総計又は平均深度として、又はカメラの特定の部分の深度によって計算され得る。
【００４９】
カメラ群を互いに区別する必要が存在するので、上述の自動形状認識アルゴリズムは、ユーザ入力デバイス３１０によるユーザ入力と共に用いられ得る。
【００５０】
さらなる実施形態では、それぞれのカメラは、それぞれのカメラは、画像化の前に所定のパターンで指定され、形状認識アルゴリズムが実行され、それは所定のパターンを認識し、それぞれのカメラの位置を特定し区別する。例示的パターンは、単純な数字の識別子（「１」、「２」、「３」、…）、２次元又は３次元バーコード又は他のユニークなパターンを含む。このパターンは、粘着材料を用いてそれぞれのカメラに付着され得るか、又はそれぞれのカメラの面に刻まれ得る。好ましくは、このパターンは、カメラボディの中央部分に位置することによって、カメライメージセンサの位置を正確に表す。さらに、このパターンは、それぞれのカメラの複数の面上に印刷されることによって、異なるアングルからの画像における正確な位置の確率を増すことができる。
【００５１】
ステップ５０５において、それぞれのカメラの方向が、乗り物の基準系において求められる。上述のシステム４００を利用するある実施形態では、これは、それぞれのカメラの方向データをそれぞれの方向センサ３１７−３２０から信号３２２−３２５を通して得ることを含む。好ましくは、方向データは、２次元又は３次元におけるカメラ方向を含む。しかし、方向センサは、１次元における方向だけを提供し得て、残りの次元は手動で測定されてもよい。方向は、上述の参照方向に対して定義される。カメラの方向を得るために方向センサを利用するときは、ステップ５０５は、ステップ５０３及び５０４と共に実行され得るか、又はステップ５０３及び５０４の後に実行され得る。
【００５２】
代替の実施形態では、カメラ１０１−１０４の方向は、深度画像化装置３３０に関して上述されたプロセス６００と同様の自己較正プロセスを通して決定され得る。ここでは、テストされているシーンカメラは、その現在の姿勢から画像をキャプチャするのに用いられ、ステップ６０１−６０３は、キャプチャされた画像を用いて実行される。実質的に、キャプチャされた画像は、シーンの３次元モデル（又は既知のカメラ姿勢において以前にキャプチャされた画像）と比較され、パターンマッチング及び／又は機械学習が用いられて乗り物参照フレーム中でのシーン内でのカメラの方向を求める。このプロセスは、それぞれのカメラについて実行され得て、カメラ位置をキャプチャするのにも、又はステップ５０４における上述の測定の正確性をチェックするものとしても用いられ得る。よってこのプロセスは、ステップ５０４及び５０５の両方を実行するのに用いられ得る。
【００５３】
ステップ５０６において、プロセッサ３０２は、乗り物の速度又は加速度のデータ、乗り物のＧＰＳ位置のような外部入力を受け取る。例として、システム１００は、乗り物のＧＰＳ位置、速度、及び加速度のような乗り物データのフィードを提供するネットワークインタフェース３０８を通してオンボード乗り物コンピュータシステムに接続され得る。外部入力データは、方向データを増強し（augment）て、カメラ方向の計算を助けるために用いられ得るが、これは、方向センサが１つ又は２つの次元における方向しか測定できないときには特にそうである。例として、ヨー方向（垂直軸）は、重力の一定の力を受けてカメラが静止しているときには、求めるのが典型的には難しい。乗り物が動いているときに、カメラの位置、速度、又は加速度の変化を測定することは、３次元におけるカメラの方向が推測され得る、全体的な力ベクトルを求めるのに役立ち得る。
【００５４】
外部入力は、ステップ５０４及び５０５におけるカメラ位置の算出のための追加の入力として機械学習アルゴリズムにも与えられ得る。
【００５５】
最後に、ステップ５０７において、プロセッサ３０２は、３次元位置データ、方向データ、及びオプションとして、それぞれのカメラがそれぞれのカメラについてのカメラ姿勢を求めるための外部入力データを組み合わせる。
【００５６】
カメラ姿勢は、異なるカメラにわたってシーン内での物体を特定及び追尾するのに用いられ得る。ある実施形態では、運転者の注視点（凝視の点）は、運転者に向いたカメラから推定され、前方道路シーンをキャプチャする前方を向いたカメラの画像上に投影され得る。
【００５７】
上述のシステム及び方法は、マルチカメラシステムにおけるカメラの相対的な位置及び方向を効率的かつ正確に求めることができることが理解されよう。
【００５８】
解釈
具体的にそうではないと述べない限り、以下の議論から明らかなように、明細書を通して、「処理すること」、「コンピューティングすること」、「計算すること」、「求めること」、「分析すること」等のような語は、例えば電子的な、物理的な量として表されるデータを同様に物理量として表される他のデータに操作及び／又は変換する、コンピュータ又はコンピューティングシステム、又は類似の電子計算装置の動作及び／又は処理を指すことが理解されよう。
【００５９】
同様に、「コントローラ」又は「プロセッサ」という語は、レジスタ及び／又はメモリからの電子データを処理することによって、その電子データを、例えばレジスタ及び／又はメモリに記載され得る他の電子データに変換する、任意の装置又は装置の一部を指し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。
【００６０】
ここで記載される手法は、ある実施形態では、１つ以上のプロセッサによって実行されたときに、ここで記載された方法のうちの少なくとも１つを実行する一連の命令を含むコンピュータで読み取り可能な（機械読み取り可能なとも呼ばれる）コードを受け入れる、１つ以上のプロセッサによって実行可能である。とられるべき動作を特定する一連の命令（順次の又は他の）を実行できる任意のプロセッサが含まれる。よって、１つの例としては、１つ以上のプロセッサを含む典型的な処理システムがある。それぞれのプロセッサは、１つ以上のＣＰＵ、グラフィックスプロセシングユニット、及びプログラマブルＤＳＰユニットを含み得る。処理システムは、メインＲＡＭ及び／又はスタティックＲＡＭ、及び／又はＲＯＭをさらに含み得る。バスサブシステムは、要素間で通信するために含まれ得る。処理システムは、さらに、ネットワークによって結合されたプロセッサ群を持つ分散化された処理システムであり得る。もしこの処理システムがディスプレイを要求するなら、そのようなディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ）ディスプレイを含み得る。もし手動データ入力が必要なら、処理システムは、１つ以上の、キーボードのようなアルファベット数字の入力ユニット、マウスのようなポインティングコントロールデバイス等のような入力デバイスも含む。ここで用いられるメモリユニットという語は、もし文脈から明らかであり、明示的にそうではないと述べられないなら、ディスクドライブユニットのような記憶システムも包含する。ある構成の処理システムは、サウンド出力デバイス及びネットワークインタフェースデバイスを含み得る。メモリサブシステムは、よって、１つ以上のプロセッサによって実行されたときに、ここで記載された１つ以上の方法を実行させる一連の命令を含むコンピュータ読み取り可能なコード（例えばソフトウェア）を担持するコンピュータ読み取り可能な担持媒体を含む。この方法がいくつかの要素、例えば、いくつかのステップを含むとき、具体的に述べられない限り、そのような要素の順番付けは暗示されていない。ソフトウェアは、ハードディスク中に常駐し得て、又は、コンピュータシステムによるその実行の間には、完全に又は少なくとも部分的にはＲＡＭ内に及び／又はプロセッサ内に常駐し得る。よって、メモリ及びプロセッサも、コンピュータ読み取り可能なコードを担持するコンピュータ読み取り可能な担持媒体を構成する。
【００６１】
さらに、コンピュータ読み取り可能な担持媒体は、コンピュータプログラム製品を形成し得て、又はその中に含まれ得る。
【００６２】
代替の実施形態では、１つ以上のプロセッサは、スタンドアローンの装置として動作し、又はネットワークされた展開において、他のプロセッサ（群）と例えばネットワークで接続し得て、１つ以上のプロセッサは、サーバ・ユーザネットワーク環境におけるサーバ又はユーザマシンの役割で、又はピアツーピア又は分散ネットワーク環境でのピアマシンとして動作し得る。１つ以上のプロセッサは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブ機器、ネットワークルータ、スイッチ又はブリッジ、又はそのマシンによってとられるべき行為を特定する一連の命令（順次に又は他のやり方で）を実行することができる任意のマシンを形成し得る。
【００６３】
図は、単一のプロセッサ及びコンピュータ読み取り可能なコードを担持する単一のメモリしか示していないが、本発明の局面を不明瞭にしないために、上述の多くの要素は、明示的に示され、又は記載されていなくても含まれていることが当業者には理解できるだろう。例えば、単一の機器しか図示されていないが、「機器」という語は、一つのセットの（又は複数のセットの）命令を個別に又は連携して実行することによって、ここで説明された手法のうちの任意の１つ以上のものを実行する機器群の任意の集まりを含むよう解釈されるべきである。
【００６４】
よって、ここで記載された方法のうちのそれぞれの１つの実施形態は、例えば１つ以上のプロセッサ、例えばウェブサーバの構成の一部である１つ以上のプロセッサ上で実行される、一連の命令、例えばコンピュータプログラムを担持するコンピュータ読み取り可能な担持媒体の形態をとる。よって当業者には理解されるように、本発明の実施形態は、方法、特別な目的のための装置のような装置、データ処理システムのような装置、又はコンピュータ読み取り可能な担持媒体、例えばコンピュータプログラム製品として実現され得る。コンピュータ読み取り可能な担持媒体は、１つ以上のプロセッサで実行されたときに、プロセッサ又はプロセッサ群に方法を実行させる一連の命令を含むコンピュータ読み取り可能なコードを担持する。したがって、本発明の局面は、方法、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェア及びハードウェアの局面が組み合わせられた実施形態の形態をとり得る。さらに本発明は、媒体に実現されたコンピュータ読み取り可能なプログラムコードを担持する担持媒体の形態（例えばコンピュータ読み取り可能な記憶媒体上のコンピュータプログラム製品）をとり得る。
【００６５】
ソフトウェアは、ネットワークインタフェースデバイスを介してネットワークを通じてさらに送信され、又は受信され得る。担持媒体は、例示的実施形態では単一の媒体として示されているが、「担持媒体」という語は、命令の１つ以上のセットを記憶する単一の媒体又は複数の媒体（例えば中央化された又は分散化されたデータベース、及び／又は関連するキャッシュ及びサーバ）を含むように解釈されるべきである。「担持媒体」という語は、１つ以上のプロセッサによって実行されるための命令のセットを記憶、エンコード、又は担持することができ、１つ以上のプロセッサに本発明の方法のうちの任意の１つ以上のものを実行させる任意の媒体を含むようにも解釈されるべきである。担持媒体は、これらには限定されないが、不揮発性媒体、揮発性媒体、及び伝送媒体を含む多くの形態をとり得る。不揮発性媒体は、例えば、光学、磁気ディスク、及び光磁気ディスクを含む。揮発性媒体は、メインメモリのようなダイナミックメモリを含む。伝送媒体は、バスサブシステムを含む電線を含む、同軸ケーブル、銅線、及び光ケーブルを含む。伝送媒体は、ラジオ波及び赤外データ通信の間に発生されるもののような音響的又は光学的波の形態もとり得る。例えば、「担持媒体」という語は、したがって、これらには限定されないが、固体メモリ、光学的及び磁気的媒体に実現されたコンピュータ製品、少なくとも１つのプロセッサによって検出され得て、実行されるときに方法を実現する命令のセットを表す伝搬される信号を担持する媒体、及び少なくとも１つのプロセッサのうちの少なくとも１つによって検出可能であり、命令のセットを表す伝搬される信号を担持するネットワーク中の伝送媒体を含むよう解釈されるべきである。
【００６６】
説明された方法のステップは、ある実施形態では、記憶装置に記憶された命令（コンピュータ読み取り可能なコード）を実行する処理（すなわちコンピュータ）システムの適切なプロセッサ（又はプロセッサ群）によって実行されることが理解されよう。本発明は、いかなる具体的な実現法又はプログラミング手法にも限定されないこと、及び本発明は、ここで記載された機能を実現する任意の適切な手法を用いて実現され得ることが理解されよう。本発明は、いかなる特定のプログラミング言語又はオペレーティングシステムにも限定されない。
【００６７】
本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。
【００６８】
ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために用いられる順序を表す形容詞「第１」、「第２」、「第３」等は、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。
【００６９】
以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。ここで使われているように含むという語のいずれもやはり開放的な語であり、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。
【００７０】
本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられている。しかしこの開示方法は、特許請求の範囲がそれぞれの特許請求の範囲において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。
【００７１】
さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。
【００７２】
ここに提供された記載において、多くの具体的な詳細が述べられている。しかし、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。
【００７３】
同様に、結合されるという語は、特許請求の範囲で使われるときには、直接的接続だけに限定されて解釈されるべきではないことに注意されたい。「結合された」及び「接続された」という語が、それらの派生形もあわせて、用いられ得る。これら語は、互いの同義語としては意図されていない。よって装置Ｂに結合された装置Ａという表現の範囲は、装置Ａの出力が直接に装置Ｂの入力に接続されている装置又はシステムに限定されるべきではない。それは、Ａの出力及びＢの入力の間のパスが存在し、これは、他の装置又は手段を含むパスであってもよいということを意味する。「結合された」は、２つ以上の要素が直接的な物理的、電気的、又は光学的接触のいずれかにあること、又は２つ以上の要素が直接的な接触にはないが、依然として互いに協働又は相互作用することを意味し得る。
【００７４】
よって、本開示の好ましい実施形態であるべきものが記載されてきたが、他のさらなる改変が本開示の精神から逸脱することなくなされ得て、そのような変更及び改変が本開示の範囲内に入るものとして請求されていると意図されていることが当業者にはわかるだろう。例えば、上で与えられた任意の表現は、用いられ得る手続を代表するものに過ぎない。機能が、ブロック図から追加又は削除されてもよく、操作は、機能ブロック間で相互交換されてもよい。本開示の範囲内で、記載された方法に対してステップが追加又は削除されてもよい。
【図１】
2019528501.tif 000003
【図２】
2019528501.tif 000004
【図３】
2019528501.tif 000005
【図４】
2019528501.tif 000006
【図５】
2019528501.tif 000007
【図６】
2019528501.tif 000008
【国際調査報告】
2019528501.tif 000009
2019528501.tif 000010
2019528501.tif 000011
2019528501.tif 000012
2019528501.tif 000013
2019528501.tif 000014
2019528501.tif 000015
2019528501.tif 000016
2019528501.tif 000017
2019528501.tif 000018
2019528501.tif 000019
2019528501.tif 000020
2019528501.tif 000021
2019528501.tif 000022
2019528501.tif 000023
2019528501.tif 000024
2019528501.tif 000025
2019528501.tif 000026
2019528501.tif 000027
2019528501.tif 000028
2019528501.tif 000029