(57)【要約】ボウル形状画像を利用するための技術は、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、を受信するコンピューティングデバイスを含む。コンピューティングデバイスは、第１の魚眼画像と第２の魚眼画像との結合画像を生成し、第１の魚眼画像及び第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、関心領域内のオブジェクトを分類し、結合画像に基づいて、ボウル形状画像の一部を生成する。
2017502404.tif 000002
【特許請求の範囲】
【請求項１】
ボウル形状画像を利用するためのコンピューティングシステムであって、
第１のシーンを含む第１の魚眼画像を撮影する第１の魚眼カメラと、
オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンを含む第２の魚眼画像を撮影する第２の魚眼カメラと、
前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する結合画像生成モジュールと、
前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するオブジェクト分類モジュールと、
前記結合画像に基づいて、ボウル形状画像の一部を生成するボウル生成モジュールと、
を備えたコンピューティングシステム。
【請求項２】
前記結合画像生成モジュールは、
前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、
前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、
（ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、
前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、
を含む、請求項１記載のコンピューティングシステム。
【請求項３】
前記特徴照合モジュールは、さらに、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムの基本行列を決定し、前記基本行列は、前記カメラシステムのジオメトリに基づく、請求項２記載のコンピューティングシステム。
【請求項４】
前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む、請求項３記載のコンピューティングシステム。
【請求項５】
前記特徴照合を実行することは、式
【数１】
2017502404.tif 000015
を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである、請求項２記載のコンピューティングシステム。
【請求項６】
前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む、請求項２乃至５いずれか一項記載のコンピューティングシステム。
【請求項７】
前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する、請求項２乃至５いずれか一項記載のコンピューティングシステム。
【請求項８】
前記画像統合モジュールは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにする、請求項２乃至５いずれか一項記載のコンピューティングシステム。
【請求項９】
前記結合画像生成モジュールは、
前記第１の魚眼画像と前記第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、
（ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、
前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、
を含む、請求項１記載のコンピューティングシステム。
【請求項１０】
前記オーバーラップ画像領域を決定することは、
前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出し、
前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する
ことを含む、請求項９記載のコンピューティングシステム。
【請求項１１】
前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む、請求項９記載のコンピューティングシステム。
【請求項１２】
前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む、請求項９記載のコンピューティングシステム。
【請求項１３】
前記勾配制約方程式を適用することは、
前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、
前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、
∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にする
ことを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である、請求項１２記載のコンピューティングシステム。
【請求項１４】
前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む、請求項９乃至１３いずれか一項記載のコンピューティングシステム。
【請求項１５】
前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む、請求項９乃至１３いずれか一項記載のコンピューティングシステム。
【請求項１６】
前記オブジェクト分類モジュールは、
前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像内の前記関心領域を決定する関心領域決定モジュールと、
（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、
前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、
を含む、請求項１記載のコンピューティングシステム。
【請求項１７】
前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する、請求項１６記載のコンピューティングシステム。
【請求項１８】
前記関心領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する、請求項１６記載のコンピューティングシステム。
【請求項１９】
前記関心領域決定モジュールは、さらに、
前記第１の魚眼画像及び前記第２の魚眼画像のうちの前記１つの魚眼画像を、仮想的半球形状表示面に投影して、半球形状画像を生成し、
前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成する
ことを含み、
前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む、請求項１６乃至１８いずれか一項記載のコンピューティングシステム。
【請求項２０】
前記オブジェクト分類を実行することは、
前記コンピューティングシステムのメモリからオブジェクトプロファイルを取得し、
前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較する
ことを含む、請求項１６乃至１８いずれか一項記載のコンピューティングシステム。
【請求項２１】
前記ボウル生成モジュールは、
（ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、
前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、
を含む、請求項１記載のコンピューティングシステム。
【請求項２２】
前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するボウルワーピングモジュール
をさらに備えた請求項２１記載のコンピューティングシステム。
【請求項２３】
前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、
前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、
対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む、請求項２１記載のコンピューティングシステム。
【請求項２４】
前記水平オフセットは、前記車両の前記長さの半分よりも長い、請求項２３記載のコンピューティングシステム。
【請求項２５】
対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
【数２】
2017502404.tif 000016
として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである、請求項２３記載のコンピューティングシステム。
【請求項２６】
前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、
前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である、請求項２１乃至２５いずれか一項記載のコンピューティングシステム。
【請求項２７】
前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する、請求項２１乃至２５いずれか一項記載のコンピューティングシステム。
【請求項２８】
対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該水平スライスの前記第２の半軸を決定することを含む、請求項２１乃至２５いずれか一項記載のコンピューティングシステム。
【請求項２９】
画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像の前記一部を生成し、
前記コンピューティングシステムのディスプレイ上に、前記ボウル形状画像の前記一部を表示する
表示モジュール
をさらに備えた請求項２１記載のコンピューティングシステム。
【請求項３０】
前記ボウル形状画像の前記一部を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む、請求項２９記載のコンピューティングシステム。
【請求項３１】
コンピューティングデバイス上でボウル形状画像を利用するための方法であって、
前記コンピューティングデバイスにより、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、を受信するステップと、
前記コンピューティングデバイスにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成するステップと、
前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するステップと、
前記コンピューティングデバイスにより、前記結合画像に基づいて、ボウル形状画像の一部を生成するステップと、
を含む方法。
【請求項３２】
前記ボウル形状画像の一部を生成することは、
生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定することと、
前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定することと、
前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定することと、
前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成することと、
を含む、請求項３１記載の方法。
【請求項３３】
ボウル形状画像を生成するためのコンピューティングデバイスであって、
（ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、
前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、
を備えたコンピューティングデバイス。
【請求項３４】
前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、
前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、
対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
【数３】
2017502404.tif 000017
として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである、請求項３３記載のコンピューティングデバイス。
【請求項３５】
複数の魚眼カメラにより生成された魚眼画像を結合するためのコンピューティングデバイスであって、
第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、
前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、
（ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、
前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、
を備えたコンピューティングデバイス。
【請求項３６】
前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含み、
前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する、請求項３５記載のコンピューティングデバイス。
【請求項３７】
オプティカルフローに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、
第１の魚眼カメラにより生成された第１の魚眼画像と第２の魚眼カメラにより生成された第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、
（ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、
前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、
を備えたコンピューティングデバイス。
【請求項３８】
前記オブジェクトの動きを決定することは、
前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、
前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、
∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にする
ことを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である、請求項３７記載のコンピューティングデバイス。
【請求項３９】
魚眼画像内のオブジェクトを分類するためのコンピューティングデバイスであって、
魚眼画像内の関心領域を決定する関心領域決定モジュールと、
（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、
前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、
を備えたコンピューティングデバイス。
【請求項４０】
前記オブジェクト分類を実行することは、
前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得し、
前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較する
ことを含む、請求項３９記載のコンピューティングデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
リアビューカメラ等の車両搭載カメラシステムが、高級車両において、さらにはいくつかのよりローエンドの車両においても、柱になっている。特定の実装に応じて、車両カメラシステムは、ビジョンの向上、自動縦列駐車、及び／又は他の目的のために使用され得る。例えば、車両搭載カメラにより撮影された画像は、車両のナビゲーションシステムディスプレイスクリーン上に表示され得、車両の妨げのない後方ビュー（すなわち、リアビューミラーよりも優れている）又は俯瞰ビュー（すなわち、車両の周囲を表示する）を運転手に提供する。
【０００２】
いくつかのカメラは、車両の周囲の全て（すなわち、３６０度全体）を撮影するために車両に搭載され得る。そのような車両搭載カメラシステムは、車両の周囲を撮影するのに必要なカメラの数を最小限にするために、魚眼レンズを有するカメラ（すなわち、魚眼カメラ）等の広角カメラを利用することがある。車両の周囲の画像は、一般的には、地表面（ground  plane）に対する逆投影（inverse  projection）として生成及び表示される。したがって、地面の上に位置するオブジェクト（例えば、駐車線）は、通常、正しく投影される。しかしながら、他の車両及び歩行者等の垂直オブジェクトは、歪んだ投影を有する。なぜならば、そのような垂直オブジェクトは、地表面の上に全てが位置するわけではないからである。さらに、近傍カメラ群のオーバーラップ領域は、１つの実世界点の異なる投影を有し、これは、画像曖昧性、二重性（duplicity）、及び／又は不可視オブジェクトを生じさせる。さらに、魚眼画像に関連付けられた歪みは、周囲オブジェクト（例えば、車両、歩行者、建物、道路標識等）を識別及び分類することを難しくする。
【図面の簡単な説明】
【０００３】
本明細書に記載のコンセプトが、限定ではなく例として、添付の図面に示される。図示の単純さ及び明瞭さのために、図面に示される要素は、必ずしも縮尺通りに描かれてはいない。参照ラベルは、適切であると考えられる場合、対応要素又は類似要素を示すために、図面間で繰り返されている。
【図１】車両の周囲の物理的環境を表示するための、車両の車両内コンピューティングシステムの少なくとも１つの実施形態の簡略化されたブロック図。
【図２】図１の車両の少なくとも１つの実施形態の簡略化された例示図。
【図３】図１の車両内コンピューティングシステムにより確立される環境の少なくとも１つの実施形態の簡略化されたブロック図。
【図４】仮想的ボウル形状投影面の少なくとも１つの実施形態の例示図。
【図５Ａ】図４の仮想的ボウル形状投影面の上面図の簡略化された例示図。
【図５Ｂ】図４の仮想的ボウル形状投影面の下面図の簡略化された例示図。
【図６】図４の仮想的なボウル形状投影面の垂直横断面の簡略化された例示図。
【図７】図１の車両の周囲の物理的環境を表示するための方法の少なくとも１つの実施形態の簡略化されたフロー図。
【図８】図４の仮想的ボウル形状投影面へのオブジェクトの投影の少なくとも１つの実施形態の簡略化された例示図。
【図９】画像スティッチングを利用して、図１の車両内コンピューティングシステムにより生成された画像を結合するための方法の少なくとも１つの実施形態の簡略化されたフロー図。
【図１０】２つの近傍魚眼カメラにより撮影された魚眼画像の簡略化された例示図。
【図１１】図４の仮想的ボウル形状投影面に投影された、図１の車両のカメラからのスティッチングされた画像の簡略化された例示図。
【図１２】オプティカルフローを利用して、図１の車両内コンピューティングシステムにより生成された画像を結合するための方法の少なくとも１つの実施形態の簡略化されたフロー図。
【図１３】オプティカルフローを利用して、図１の車両内コンピューティングシステムにより生成された画像を結合するための方法の少なくとも１つの実施形態の簡略化されたフロー図。
【図１４Ａ】図１の車両内コンピューティングシステムにより撮影された魚眼画像の少なくとも１つの実施形態の図。
【図１４Ｂ】図１４Ａの撮影された魚眼画像に基づく、生成されたオプティカルフロー出力の少なくとも１つの実施形態の図。
【図１５】図１の車両内コンピューティングシステムにより生成された魚眼画像内のオブジェクトを分類するための方法の少なくとも１つの実施形態の簡略化されたフロー図。
【図１６】図１の車両内コンピューティングシステムの魚眼カメラにより撮影された魚眼画像の少なくとも１つの実施形態の図。
【図１７】図１６の魚眼画像の投影から生成された歪みのある直線状画像の図。
【図１８】図１５の方法に基づいて図１６の魚眼画像から生成された直線状画像の図。
【図１９】図１の車両内コンピューティングシステムによりボウル形状画像を生成するための方法の少なくとも１つの実施形態の簡略化されたフロー図。
【発明を実施するための形態】
【０００４】
本開示のコンセプトは、様々な変更形態及び代替形態を受け入れる余地があるが、その特定の実施形態が、例として、図面に示され本明細書で詳細に説明される。しかしながら、本開示のコンセプトを、開示する特定の形態に限定する意図はなく、反対に、意図は、本開示及び添付の特許請求の範囲と整合する全ての変更形態、均等形態、及び代替形態をカバーすることにあることを理解されたい。
【０００５】
「一実施形態」、「ある実施形態」、「例示的な実施形態」等の本明細書における言及は、説明する実施形態が、特定の特徴、構造、又は特性を含み得るが、全ての実施形態が、そのような特定の特徴、構造、又は特性を含んでもよいし、又は、必ずしもそのような特定の特徴、構造、又は特性を含む必要がなくてもよいことを示す。さらに、このような語句は、必ずしも同じ実施形態を指すわけではない。さらに、特定の特徴、構造、又は特性がある実施形態との関連で記載されている場合には、明示されていようといまいと、他の実施形態との関連でそのような特徴、構造、又は特性を実装することは当業者の知識の範囲内であるとする。さらに、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形のリストに含まれる項目は、（Ａ）；（Ｂ）；（Ｃ）；（Ａ及びＢ）；（Ａ及びＣ）；（Ｂ及びＣ）；又は（Ａ、Ｂ、及びＣ）を意味し得ることを理解されたい。同様に、「Ａ、Ｂ、又はＣのうちの少なくとも１つ」という形でリストされる項目は、（Ａ）；（Ｂ）；（Ｃ）；（Ａ及びＢ）；（Ａ及びＣ）；（Ｂ及びＣ）；又は（Ａ、Ｂ、及びＣ）を意味し得る。
【０００６】
開示する実施形態は、場合に応じて、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組合せにより実装することができる。開示する実施形態はまた、１以上のプロセッサにより読み出されて実行され得る、一時的又は非一時的な１以上のマシン読み取り可能な記憶媒体（例えば、コンピュータ読み取り可能な記憶媒体）により運ばれる命令又はそのような媒体に記憶される命令として実装することができる。マシン読み取り可能な記憶媒体は、マシンにより読み取ることができる形式で情報を記憶又は伝送する任意の記憶デバイス、メカニズム、又は他の物理的構造（例えば、揮発性メモリ、不揮発性メモリ、メディアディスク、又は他のメディアデバイス）として具現化することができる。
【０００７】
図面において、いくつかの構造的特徴又は方法的特徴が、特定の配置及び／又は順序で示され得る。しかしながら、そのような特定の配置及び／又は順序が必須とされるわけではないことを理解されたい。そうではなく、いくつかの実施形態においては、そのような特徴は、例示する図面に示される態様及び／又は順序と異なる態様及び／又は順序で構成することもできる。さらに、特定の図面内に構造的特徴又は方法的特徴が含まれることは、そのような特徴が全ての実施形態において必要とされることを意味しないし、いくつかの実施形態においては、そのような特徴が含まれないことを意味しない、又はそのような特徴が他の特徴と組み合わされないことを意味しない。
【０００８】
次に図１を参照すると、例示的な実施形態において、車両１００は、車両内コンピューティングシステム１０２を含む。車両内コンピューティングシステム１０２は、本明細書に記載の機能を実行することができる任意のタイプのコンピューティングシステムとして具現化され得る。例示的な実施形態において、車両１００は、車輪付き乗用車両（例えば、自動車、トラック、トラックトラクタ、バス等）として具現化される。しかしながら、他の実施形態においては、車両１００は、別のタイプの車両（例えば、レール駆動式トロリー、無人車両、又は、説明する技術及びメカニズムの適用に適した別の車両）又は他の移動可能な装置として具現化されてもよい。本明細書で説明するように、車両内コンピューティングシステム１０２は、魚眼画像を撮影し、撮影された魚眼画像を結合し、魚眼画像に対してオブジェクト分類を実行し、結合された魚眼画像に基づくボウル形状画像を表示するよう構成される。いくつかの実施形態において、車両内コンピューティングシステム１０２は、車両内インフォテインメントシステム、ナビゲーションシステム、及び／又は他の車両ベースのコンピューティングシステムとして具現化され得る、又は、これらのシステムの一部として具現化され得る。他の実施形態においては、車両内コンピューティングシステム１０２は、代替的に、スタンドアロン型のコンピューティングデバイス又はコンピューティングシステムとして具現化されてもよい。
【０００９】
さらに、いくつかの実施形態において、リモートコンピューティングデバイスが、車両内コンピューティングシステム１０２と通信可能に接続され得、本明細書に記載の機能のうちの１以上を（例えば、リモートで）実行し、ネットワーク（例えば、有線通信ネットワーク又は無線通信ネットワーク）を介してその結果を車両内コンピューティングシステム１０２に通信するよう構成され得る。そのような実施形態において、リモートコンピューティングデバイスは、車両内コンピューティングシステム１０２と通信することができ、本明細書に記載の機能を実行することができる任意のタイプのコンピューティングデバイス（例えば、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ノートブック、ネットブック、ウルトラブック（登録商標）、携帯電話機、スマートフォン、携帯情報端末、モバイルインターネットデバイス、ハイブリッドデバイス、及び／又は、任意の他のコンピューティング／通信デバイス）として具現化され得る。
【００１０】
図１に示されるように、例示的な車両内コンピューティングシステム１０２は、プロセッサ１１０、入力／出力（Ｉ／Ｏ）サブシステム１１２、メモリ１１４、データストレージ１１６、ディスプレイ１１８、カメラシステム１２０、ユーザインタフェース１２２、及び、いくつかの実施形態においては１以上の周辺デバイス１２４を含む。さらに、カメラシステム１２０は、１以上のカメラ１２６を含み、ユーザインタフェース１２２は、仮想カメラコントロール１２８を含む。もちろん、他の実施形態においては、車両内コンピューティングシステム１０２は、一般的なコンピューティングデバイスにおいて通常見つけられるコンポーネント（例えば、通信回路、様々な入力／出力デバイス、及び／又は他のコンポーネント）といった他のコンポーネント又はさらなるコンポーネントを含んでもよい。さらに、いくつかの実施形態において、例示的なコンポーネントのうちの１以上は、別のコンポーネントに組み込まれ得る、又は、別のコンポーネントの一部からのものであり得る。例えば、メモリ１１４又はメモリ１１４の一部は、いくつかの実施形態において、プロセッサ１１０に組み込まれ得る。
【００１１】
プロセッサ１１０は、本明細書に記載の機能を実行することができる任意のタイプのプロセッサとして具現化され得る。例えば、プロセッサは、シングルコアプロセッサ、マルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、又は他のプロセッサ若しくは処理／制御回路として具現化され得る。同様に、メモリ１１４は、本明細書に記載の機能を実行することができる任意のタイプの揮発性メモリ、不揮発性メモリ、又はデータストレージとして具現化され得る。動作中、メモリ１１４は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、及びドライバ等といった、車両内コンピューティングシステム１０２の動作中に使用される様々なソフトウェア及びデータを記憶することができる。メモリ１１４は、Ｉ／Ｏサブシステム１１２を介してプロセッサ１１０に通信可能に接続される。Ｉ／Ｏサブシステム１１２は、プロセッサ１１０、メモリ１１４、及び車両内コンピューティングシステム１０２の他のコンポーネントによる入力／出力動作を円滑にするための回路及び／又はコンポーネントとして具現化され得る。例えば、Ｉ／Ｏサブシステム１１２は、メモリコントローラハブ、入力／出力制御ハブ、ファームウェアデバイス、通信リンク（すなわち、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、ライトガイド、プリント回路基板トレース等）、並びに／又は、入力／出力動作を円滑にするための他のコンポーネント及びサブシステムとして具現化されて得る、又は、これらを含み得る。いくつかの実施形態において、Ｉ／Ｏサブシステム１１２は、システムオンチップ（ＳｏＣ）の一部を形成し、プロセッサ１１０、メモリ１１４、及び車両内コンピューティングシステム１０２の他のコンポーネントとともに、１つの集積回路チップに組み込むことができる。
【００１２】
データストレージ１１６は、例えば、メモリデバイス及び回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、又は他のデータ記憶デバイス等といった、データの短期記憶又は長期記憶のために構成される任意のタイプの１以上のデバイスとして具現化され得る。データストレージ１１６及び／又はメモリ１１４は、例えば、以下で説明するような、撮影及び処理された画像、オブジェクトプロファイル及びオブジェクトモデル、画像フィルタ、コンポーネントパラメータ、並びに／又は、車両内コンピューティングシステム１０２の動作において有用な他のデータ等といった様々なデータを、車両内コンピューティングシステム１０２の動作中に記憶することができる。
【００１３】
車両内コンピューティングシステム１０２のディスプレイ１１８は、車両内コンピューティングシステム１０２のユーザ（例えば、車両１００の運転手又は乗員（同乗者））に対して情報が表示され得る任意の１以上のディスプレイスクリーンとして具現化され得る。ディスプレイ１１８は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、ホログラフィックディスプレイ若しくは他の３次元（３Ｄ）ディスプレイ、及び／又は他のディスプレイ技術を含む任意の適切なディスプレイ技術として具現化され得る、又は、そのような任意の適切なディスプレイ技術を使用することができる。図１において、１つのディスプレイ１１８が示されているが、車両内コンピューティングシステム１０２は、同じ又は異なるコンテンツが、互いと同時に又は順に表示され得る複数のディスプレイ又はディスプレイスクリーンを含んでもよいことを理解されたい。ディスプレイ１１８は、様々な車両動作パラメータ及び／又は車両インフォテインメント情報（例えば、ラジオ局、温度コントロール等）が表示される汎用ディスプレイとして具現化され得る。代替的に、ディスプレイ１１８は、以下で説明するような、カメラシステム１２０により生成された画像を表示するための特定目的ディスプレイとして具現化されてもよい。
【００１４】
カメラシステム１２０は、１以上のカメラ１２６を含む、１以上のカメラ１２６は、車両１００の周囲の環境、又は、より詳細には、車両内コンピューティングシステム１０２の周囲の環境の画像を撮影するために使用され得る。例示的な実施形態において、カメラシステム１２０のカメラ１２６は、車両１００の周囲３６０度全体又はそのほとんどの部分を撮影するように適切に離間している。いくつかの実施形態において、各カメラ１２６の視野は、１以上の他のカメラとオーバーラップすることがある。さらに、いくつかの実施形態において、他のカメラ１２６及び／又は車両１００に対するカメラ１２６の位置に関連付けられたジオメトリ（geometry）は、既知である、且つ／又は、決定可能である。
【００１５】
カメラ１２６の各々は、スチールカメラ、ビデオカメラ、ウェブカメラ、又は、ビデオ及び／若しくは画像を撮影することができる他のデバイス等といった、画像を撮影するのに適した任意の周辺デバイス又は統合デバイスとして具現化され得る。例示的な実施形態において、カメラ１２６の各々は、車両１００の周囲の全体又はほぼ全体の撮影を容易にする魚眼カメラとして具現化される。もちろん、他の実施形態においては、例えば、車両１００のタイプ、使用される１２６のタイプ、及び／又は他の基準に応じて、他のタイプの広角カメラ又は狭角カメラが使用されてもよい。さらに、カメラシステム１２０は、そのような様々な基準に応じて車両１００の周囲を撮影する２以上のカメラ１２６を含み得る。例示的な実施形態において、カメラシステム１２０は、車両１００の周囲全体を撮影するとともに、車両１００の周囲全体を撮影するのに必要なカメラ１２６の数を最小限にする、車両１００に搭載又は統合された４つの魚眼カメラ１２６（すなわち、魚眼レンズを有するカメラ）を含む。例えば、図２の例示的な実施形態に示されるように、カメラ１２６は、車両１００の４つの側（すなわち、前側、後側、運転手側、及び助手席側）の各々に搭載され得る。もちろん、他の実施形態においては、車両内コンピューティングシステム１０２は、異なる数、タイプ、及び／又は相対位置のカメラ１２６を利用してもよい。例えば、別の実施形態においては、カメラ１２６は、車両１００に関する他の位置（例えば、車両１００のコーナー）に配置されてもよい。
【００１６】
ユーザインタフェース１２２は、車両内コンピューティングシステム１０２のユーザが、車両内コンピューティングシステム１０２とインタラクトすることを可能にする。例えば、以下で説明するように、ユーザは、車両内コンピューティングシステム１０２とインタラクトして、車両１００の周囲をディスプレイ１１８上に表示させることができる。そのようなものとして、いくつかの実施形態において、ユーザインタフェース１２２は、１以上の仮想的な及び／若しくは物理的なボタン、ノブ（knob）、スイッチ、キーパッド、タッチスクリーン、並びに／又は、Ｉ／Ｏ機能を可能にするための他のメカニズムを含む。例えば、いくつかの実施形態において、ユーザインタフェース１２２は、車両１００のナビゲーションシステム又はインフォテインメントシステムと統合され得る。上述したように、ユーザインタフェース１２２は、例示的な実施形態において、仮想カメラコントロール１２８を含む。仮想カメラコントロール１２８は、車両内コンピューティングシステム１０２のユーザが、（例えば、仮想カメラ２０２（図２参照）を移動させることにより）車両内コンピューティングシステム１０２の仮想カメラ２０２の視野を変更することを可能にする。以下で詳細に説明するように、仮想カメラ２０２は、ディスプレイ１１８上にレンダリングされるべき画像を「キャプチャ」する。この画像は、カメラ１２６のうちの１つのカメラにより撮影された１つの画像又は複数のカメラ１２６（例えば、近傍カメラ１２６）により撮影された画像の結合に対応し得る。したがって、仮想カメラ２０２を回転させ又は他の形で移動させ、それにより、仮想カメラ２０２の視野を変更することによって、表示される画像が、車両内コンピューティングシステム１０２のユーザにより調整され得る。以下でより詳細に説明するように、カメラ１２６により撮影され車両内コンピューティングシステム１０２により処理された、車両１００の周囲の画像に基づいて、ボウル形状画像が生成される。そのようなものとして、いくつかの実施形態において、ボウル形状画像は、仮想カメラ２０２の視野に基づいて、ディスプレイ１１８上にレンダリングされ得る。ここで、仮想カメラ２０２の視野は、複数のカメラ１２６からの視野の組合せを含み得る。例えば、ボウル形状画像は、ボウル形状画像が仮想カメラ２０２により「キャプチャ」された視点（perspective）（例えば、上／下から、遠く／近くから、ボウル形状画像の内側／外側から、等）に基づいて表示され得る。
【００１７】
いくつかの実施形態において、車両内コンピューティングシステム１０２は、１以上の周辺デバイス１２４をさらに含み得る。周辺デバイス１２４は、スピーカ、マイクロフォン、追加的な記憶デバイス等といった任意の数の追加的な周辺デバイス又はインタフェースデバイスを含み得る。周辺デバイス１２４に含まれる具体的なデバイスは、例えば、車両内コンピューティングシステム１０２のタイプ及び／又は使用の意図（例えば、車両内コンピューティングシステム１０２が、スタンドアロン型のシステムであるか、又は、より大きな車両内インフォテインメントシステムに組み込まれるか）に依拠し得る。
【００１８】
次に図３を参照すると、使用の際、例示的な車両内コンピューティングシステム１０２は、車両１００の周囲のボウル形状イメージングのための環境３００を確立する、以下で説明するように、車両内コンピューティングシステム１０２は、画像曖昧性、二重性、及び／又は不可視オブジェクトを最小限にする又は低減させるやり方で、カメラ１２６により撮影された魚眼画像を結合する。車両内コンピューティングシステム１０２は、さらに、魚眼画像に対してオブジェクト分類を実行することができ、車両１００の周囲の向上した知覚を車両１００の乗員（例えば、運転手）に提供するために、結合魚眼画像に基づくボウル形状画像を表示する。車両内コンピューティングシステム１０２の例示的な環境３００は、画像撮影モジュール３０２、結合画像生成モジュール３０４、オブジェクト分類モジュール３０６、ボウル生成モジュール３０８、表示モジュール３１０、及びカメラ制御モジュール３１２を含む。さらに、結合画像生成モジュール３０４は、スティッチングモジュール３１４及びオプティカルフローモジュール３１６を含む。例示的な実施形態に示されるように、スティッチングモジュール３１４は、特徴検出モジュール３１８、特徴照合モジュール３２０、継ぎ目決定モジュール３２２、及び画像統合モジュール３２４を含み、オプティカルフローモジュール３１６は、オーバーラップ決定モジュール３２６、動き決定モジュール３２８、及び画像生成モジュー３３０を含む。さらに、オブジェクト分類モジュール３０６は、較正モジュール３３２、関心領域（ＲＯＩ）決定モジュール３３４、直線状（rectilinear）投影モジュール３３６、及びオブジェクト識別モジュール３３８を含み、ボウル生成モジュール３０８は、ボウルジオメトリモジュール３４０、ボウル統合モジュール３４２、及びボウルワーピング（warping）モジュール３４４を含む。環境３００のこれらのモジュールの各々は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せとして具現化され得る。さらに、いくつかの実施形態において、これらの例示的なモジュールのうちの１以上は、別のモジュールの一部を形成することができる。
【００１９】
画像撮影モジュール３０２は、カメラ１２６の各々の視野内のシーンの画像／ビデオを撮影するために、カメラシステム１２０のカメラ１２６を制御する。特定の実施形態に応じて、画像撮影モジュール３０２は、連続的に（例えば、ビデオストリームとして）、周期的に、一時的又は条件的な入力に応答して、これらの組合せとして、又は別のスキームに基づいて画像を撮影するように各カメラ１２６に指示することができる。例えば、カメラ１２６は、車両１００のトランスミッションが、リバースモードにあるときに、あるいは、車両１００が、所定の閾速度以下で動いているときに、画像を撮影することができる。
【００２０】
上述したように、カメラシステム１２０は、車両１００の周囲を撮影するために戦略的に配置された複数のカメラ１２６を含む。カメラ１２６の各々は、各カメラの視野内のシーンの独立した画像を生成する。そのようなものとして、結合画像生成モジュール３０４は、カメラ１２６により生成された２以上の画像を結合して、結合画像を生成する。例えば、例示的な実施形態において、結合画像生成モジュール３０４は、近傍カメラ１２６（すなわち、互いと最も近いカメラ１２６）により撮影された２つの画像に基づいて、結合画像を生成する。便宜上、本明細書において、そのような画像は、「近傍画像」と呼ばれることがある。いくつかの実施形態において、結合画像を生成するために結合画像生成モジュール３０４により使用される２以上の画像は、例えば、仮想カメラ２０２の位置に基づき得る（すなわち、ユーザが見たいと望む周囲の領域に基づき得る）。他の実施形態においては、複数の結合画像が、複数のカメラ１２６により生成された画像の各々に基づいて生成されてもよい。
【００２１】
例示的な実施形態において、カメラシステム１２０は、近傍カメラ１２６の視野がオーバーラップ領域を有するように配置される。したがって、それらの近傍カメラ１２６により撮影された画像が、仮想的ボウル形状面に投影されるとき、そのボウル形状面は、しばしば、１つの実世界点の異なる投影を有し、これは、画像曖昧性、二重性、及び／又は車両１００の周囲における不可視オブジェクトを生じさせ得る。近傍カメラ１２６により撮影された画像を結合する際、結合画像生成モジュール３０４は、これらの投影に関する問題を最小限にする又は低減させる。そうするために、結合画像生成モジュール３０４は、以下で説明するように、例えば、画像スティッチング、オプティカルフローメカニズム、画像ブレンディング、及び／又は他の適切な技術を利用することができる。いくつかの実施形態において、結合画像生成モジュール３０４は、画像のペアワイズ組合せ（pairwise  combination）に基づいて（すなわち、近傍カメラ１２６により生成された画像を結合することにより）、「パノラマ」画像を生成する。
【００２２】
スティッチングモジュール３１４は、画像スティッチングに基づいて、複数の撮影された画像（例えば、魚眼画像）及び／又は仮想的ボウル形状面へのそれらの投影を結合する。例えば、例示的な実施形態において、スティッチングモジュール３１４は、画像スティッチングを利用して、近傍カメラ１２６により撮影された画像に基づいて、結合画像を生成する。上述したように、カメラシステム１２０のジオメトリは、近傍カメラ１２６の視野のオーバーラップを生じさせ、これが、今度は、近傍カメラ１２６により撮影された画像が、オーバーラップ領域においてオーバーラップするシーンを有することを生じさせる。すなわち、オーバーラップ領域において、撮影された画像は、車両１００の周囲の環境の同じ実世界点の表示を含み、したがって、互いと直接的にオーバーラップすることもあるし互いと直接的にオーバーラップしないこともある同じ画像特徴を含む。画像スティッチングを実行するために、スティッチングモジュール３１４は、特徴検出モジュール３１８、特徴照合モジュール３２０、継ぎ目決定モジュール３２２、及び画像統合モジュール３２４を含む。
【００２３】
スティッチングモジュール３１４の特徴検出モジュール３１８は、近傍カメラ１２６により撮影された画像に対して特徴検出を実行する。特徴検出モジュール３１８は、画像の特徴（例えば、コーナー、エッジ、ブロブ等といった関心点）を検出／識別するために、任意の適切な特徴検出技術、アルゴリズム、及び／又はメカニズムを利用することができることを理解されたい。例えば、特徴検出モジュール３１８は、画像の特徴を検出及び記述するために、ＳＵＲＦ（speeded  up  robust  features）、ＳＩＦＴ（scale-invariant  feature  transform）、ＭＯＰＳ（multi-scale  oriented  patches）、Ｃａｎｎｙ、Ｈａｒｒｉｓ、及び／又はＳｏｂｅｌフィルタ等の一般的な特徴検出器／記述子を利用することができる。
【００２４】
特徴照合モジュール３２０は、近傍カメラ１２６により撮影された画像の検出された特徴に対して特徴照合を実行して、オーバーラップ領域内の画像のどの特徴（例えば、特定の画素）が、互いと対応するかを特定する。もちろん、特徴照合モジュール３２０は、互いと対応する、２つの画像（すなわち、ステレオ画像ペア）の特徴を特定するために、任意の適切な特徴照合技術、アルゴリズム、及び／又はメカニズムを利用することができる。例えば、特徴照合モジュール３２０は、差の二乗和（ＳＳＤ）、固定閾値、最短近傍、及び／又はＲＡＮＳＡＣ（random  sample  consensus）等といった照合アルゴリズム又は技術と組み合わせて、上述した検出器／記述子のうちの１以上を利用することができる。追加的又は代替的に、いくつかの実施形態においては、特徴照合モジュール３２０は、カメラシステム１２０の予め定められたジオメトリを利用して、オーバーラップ領域内の合致する特徴を特定するための決定論的（deterministic）技術を使用することができる。
【００２５】
合致した特徴に基づいて、継ぎ目決定モジュール３２２は、オーバーラップ領域内の、近傍画像の各画像上の継ぎ目（すなわち、第１の画像上の第１の継ぎ目及び第２の画像上の第２の継ぎ目）を特定する。すなわち、継ぎ目決定モジュール３２２は、第１の画像のどの特徴群（例えば、特定の画像位置又は画素）が、第２の画像の対応する特徴に合致するかを判別し、（例えば、「点を結ぶ（connect-the-dots）」方式で、第１の画像内の隣接する合致した特徴群の各特徴の間に線分を引くことにより）それらの特徴を「結びつけて」、第１の画像の仮想的な継ぎ目を決定する。同様に、継ぎ目決定モジュール３２２は、第２の画像の合致した特徴群に基づいて、第２の画像の継ぎ目を決定する。第１の画像の継ぎ目及び第２の画像の継ぎ目に基づいて、継ぎ目決定モジュール３２２は、第１の画像と第２の画像とを結合するための第３の継ぎ目を決定する。継ぎ目決定モジュール３２２は、任意の適切な技術（例えば、継ぎ目平均化）を使用して、第３の継ぎ目の位置を決定することができることを理解されたい。例えば、例示的な実施形態において、継ぎ目決定モジュール３２２は、以下で説明するように、（例えば、ボウル生成モジュール３０８を介して、）第１の画像及び第２の画像を仮想的ボウル形状投影面に投影する。したがって、それらの決定された継ぎ目も、仮想的なボウル形状投影面に投影され、それらの投影された継ぎ目に基づいて、継ぎ目決定モジュール３２２は、第１の画像と第２の画像とを結合するための継ぎ目、又は、より詳細には、第１の画像の投影と第２の画像の投影とを結合するための継ぎ目を決定する。
【００２６】
画像統合モジュール３２４は、継ぎ目決定モジュール３２２により決定された第３の継ぎ目において近傍画像／対応する画像投影を結合することにより、近傍画像／対応する画像投影の結合画像を生成する。さらに、画像統合モジュール３２４は、近傍画像又は画像投影の第１の継ぎ目と第２の継ぎ目との間の画像画素を内挿及び／又は外挿して、「平滑化」画像を生成し、画像アーチファクトを除去することができる、且つ／又は、別の形でこれらの画像のオーバーラップ領域をフィルタリングすることができる。さらに、結合画像を生成する際、画像統合モジュール３２４は、第１の画像又は投影のうち第１の継ぎ目を超えている部分と、第２の画像又は投影のうち第２の継ぎ目を超えている部分と、を破棄する又は強調しないようにする（deemphasize）ことができる（すなわち、これらの部分は、オーバーラップ画像領域内にあるが、第１の継ぎ目と第２の継ぎ目との間に規定される領域の外側である）。スティッチングモジュール３１４の機能については、図９の方法９００に関連して、以下でさらに説明する。
【００２７】
結合画像生成モジュール３０４のオプティカルフローモジュール３１６は、オプティカルフローに基づいて、撮影された画像（例えば、魚眼画像）を結合する。例示的な実施形態において、生成される結合画像は、近傍画像の非オーバーラップ部分と、オーバーラップ画像領域に基づいて生成される画像と、を含む。上述したように、オプティカルフローモジュール３１６は、オーバーラップ決定モジュール３２６、動き決定モジュール３２８、及び画像生成モジュー３３０を含む。特定の実施形態に応じて、車両内コンピューティングシステム１０２は、画像スティッチング、オプティカルフロー、及び／又は他の画像結合メカニズムを利用して、画像を結合することができることを理解されたい。
【００２８】
オーバーラップ決定モジュール３２６は、近傍画像のオーバーラップ領域を決定する。オーバーラップ決定モジュール３２６は、任意の適切な技術、アルゴリズム、又はメカニズムを使用して、オーバーラップ画像領域を特定することができることを理解されたい。例えば、上述したように、カメラシステム１２０のジオメトリは、既知である、且つ／又は、決定可能である。したがって、いくつかの実施形態において、オーバーラップ領域は、そのようなジオメトリに基づいて決定され得る。他の実施形態においては、オーバーラップ領域は、例えば、上述した特徴検出及び特徴照合に基づいて決定されてもよい。
【００２９】
動き決定モジュール３２８は、近傍画像を撮影したカメラ１２６に対する、オーバーラップ画像領域内に位置するオブジェクトの動きを決定する。以下で詳細に説明するように、そうする際、動き決定モジュール３２８は、カメラ１２６により撮影された複数の画像を使用して、近傍カメラ１２６の各々について、オーバーラップ画像領域の強度（intensity）の時間微分係数（derivative）を決定することができる。さらに、動き決定モジュール３２８は、近傍画像について、オーバーラップ画像領域の強度の空間微分係数を決定することができる。近傍カメラ１２６の視野内のオーバーラップ領域内のオブジェクトの決定された相対的な動きに基づいて、動き決定モジュール３２８は、車両１００に対して動いているオブジェクトを特定する。
【００３０】
画像生成モジュール３３０は、特定された動いているオブジェクトに基づいて、オーバーラップ画像領域の画像を生成する。上述したように、この生成された画像が、近傍画像の非オーバーラップ部分と結合されて、近傍画像の結合画像がもたらされ得る。オーバーラップ画像領域の画像を生成する際、画像生成モジュール３３０は、近傍画像の一方又は両方からの特定された動いているオブジェクトを含む画像を生成することができ、オーバーラップ画像領域をブレンド若しくはフィルタリングすることができ、且つ／又は、推定位置において、動いているオブジェクトを位置特定することができる。オプティカルフローモジュール３１６の機能については、図１２及び図１３の方法１２００に関連して、以下でさらに説明する。
【００３１】
オブジェクト分類モジュール３０６は、車両１００のカメラ１２６により撮影された魚眼画像内に存在するオブジェクトを検出及び分類する。例えば、オブジェクト分類モジュール３０６は、オブジェクト分類技術を利用して、車両１００の死角において歩行者が歩行中であると判別することができ、いくつかの実施形態においては、車両１００の運転手にアラートすることができる。本明細書において、オブジェクト分類は、魚眼画像に関連して説明されるが、この説明は、他のタイプの画像（例えば、異なるタイプの広角レンズを有するカメラにより生成された画像）にも適用され得ることを理解されたい。上述したように、オブジェクト分類モジュール３０６は、較正モジュール３３２、関心領域決定モジュール３３４、直線状投影モジュール３３６、及びオブジェクト識別モジュール３３８を含む。
【００３２】
較正モジュール３３２は、正確な画像撮影と、実効的なオブジェクト分類に必要なメトリック（metric）情報（例えば、オブジェクト及び／又は画像特徴間の距離）の抽出のために、魚眼カメラ１２６を較正するよう構成される。較正モジュール３３２は、そうするために、任意の適切な技術、アルゴリズム、及び／又はメカニズムを利用することができることを理解されたい。例えば、特定の実施形態に応じて、較正モジュール３３２は、特定のセンサ／レンズタイプ（例えば、特定のタイプの魚眼レンズ）を対象とする技術を使用して、且つ／又は、より広範なカテゴリのセンサ／レンズ（例えば、全てのセンサ／レンズ）に汎用適用可能な技術を使用して、カメラ１２６を較正することができる。さらに、較正モジュール３３２は、特定の時点において（例えば、車両内コンピューティングシステム１０２のブートプロセス中に）、又は時間にわたって周期的に、そのような較正を実行することができる。
【００３３】
関心領域決定モジュール３３４は、撮影された魚眼レンズ内の、オブジェクト分類がフォーカスされるべき関心領域を決定する。以下で詳細に説明するように、画像全体に対してオブジェクト分類を実行することは、一般に、計算集約的である。さらに、魚眼画像に固有の歪み（例えば、魚眼歪み）は、一般に、魚眼画像に対するオブジェクト分類の実行を極めて難しくする。なぜならば、魚眼レンズ画像の異なる部分に位置する同一のオブジェクトが、（例えば、魚眼画像内での並進、スケール、及び回転の不変性の欠如に起因して）異なる形状を有するように見えることがあり、オブジェクトプロファイルが、一般に、歪みのない直線状空間において定義されるからである。直線状画像への魚眼画像全体の変換は、何らかの歪みを低減させるが、それでも、通常は、変換において利用される画像投影に起因して、著しい画像歪み（例えば、遠近歪み）をもたらす。画像全体のサブセット（すなわち、「関心領域」）にフォーカスすることにより、計算複雑度及び／又は画像歪みを低減させることができる。関心領域決定モジュール３３４は、関心領域を特定するために、任意の適切な技術（例えば、オリジナルの魚眼画像又は中間画像に対するオプティカルフロー又はオブジェクト検出、レーザー走査、レーダー、フォトニックミキシングデバイス等）を使用することができる。
【００３４】
直線状投影モジュール３３６は、画像投影を使用して、魚眼画像の関心領域を直線状画像に変換する。詳細には、直線状投影モジュール３３６は、特定された関心領域を仮想的半球形状表示面に投影して、半球形状画像領域（すなわち、仮想的半球形状面の周りで「くるめられた（wrapped）」画像）を生成する。さらに、直線状投影モジュール３３６は、半球形状画像領域を、半球形状画像領域内の点（例えば、中心点）に垂直な平面に投影して、直線状画像を生成する。結果として得られる直線状画像は、平面への魚眼画像全体の投影から得られる直線状画像よりもはるかに歪みが少ない傾向がある。他の実施形態においては、直線状投影モジュール３３６は、他の技術を使用して、関心領域を直線状画像に変換してもよい。
【００３５】
オブジェクト識別モジュール３３８は、直線状画像に対してオブジェクト分類を実行して、車両１００の周囲近くにあるオブジェクトを検出及び／又は分類する。例えば、以下で説明するように、オブジェクト識別モジュール３３８は、直線状画像内で識別されたオブジェクトを、車両内コンピューティングシステム１０２のメモリ１１４又はデータストレージ１１６に記憶されている（又はリモートに記憶されている）予め定義されたオブジェクトプロファイルと比較して、合致しているかどうかを判定することができる。直線状画像内のオブジェクトを分類した後、オブジェクト分類モジュール３０６は、（例えば、逆投影（back  projection）により、）分類されたオブジェクトの投影元の、魚眼画像の位置を決定することができる。さらに、いくつかの実施形態において、オブジェクト分類モジュール３０６は、（例えば、分類されたオブジェクトをハイライトすることにより、又は可聴アラートメッセージを介して）車両内コンピューティングシステム１０２のユーザにその分類をアラートすることができる。オブジェクト分類モジュール３０６の機能については、図１５の方法１５００に関連して、以下でさらに説明する。
【００３６】
次に図３〜図６を参照すると、ボウル生成モジュール３０８は、仮想的ボウル形状投影面４０２（図４参照）を生成する。車両内コンピューティングシステム１０２のユーザ（例えば、車両１００の運転手）が見るために、仮想的ボウル形状投影面４０２には、カメラシステム１２０のカメラ１２６により撮影された画像又はその処理済みバージョン（例えば、結合画像）が、投影され得る。ほとんどの車両内イメージングシステムにおいて、車両搭載カメラにより撮影された画像の視覚化は、車両が置かれている地表面４０４（図４参照）の上に位置していないオブジェクトの著しい歪みをもたらす。本明細書で説明するように、仮想的ボウル形状投影面は、例えば、仮想的ボウル形状投影面４０２の平滑度、仮想的ボウル形状投影面４０２と地表面４０４との間の滑らかな遷移、及び地表面４０４におけるボウル形状投影面４０２の平坦度等といった詳細に定義された幾何学的（geometric）特性を有する。したがって、画像を仮想的ボウル形状投影面４０２に投影することによって、例えば、オブジェクト歪みの低減、及び／又は、地表面４０４よりも高い位置にあるオブジェクトを見ることが可能になること（このようなオブジェクトは、従来の平面的な仮想的投影面を使用すると、隠され得る又は見ることができない）等といった１以上の利点を得ることができる。上述したように、例示的な実施形態において、ボウル生成モジュール３０８は、ボウルジオメトリモジュール３４０、ボウル統合モジュール３４２、及びボウルワーピングモジュール３４４を含む。
【００３７】
ボウルジオメトリモジュール３４０は、様々なパラメータに基づいて、仮想的ボウル形状投影面４０２の所望のジオメトリを決定し、仮想的ボウル形状投影面４０２の各水平スライス（例えば、図４のスライス４０６を参照されたい）を構築する。そうする際、ボウルジオメトリモジュール３４０は、（例えば、検索により）車両１００のサイズ（例えば、長さ、幅、高さ等）に関連する情報を決定し、様々なパラメータ（例えば、ボウル高さ、水平オフセット、適応比（adaptive  ratio）等）を取得する。以下で示すように、各水平スライスの幅は、特定の実施形態に応じて変わり得る。さらに、いくつかの実施形態において、水平スライスは、一様でない（すなわち、異なる）幅を有し得る。
【００３８】
例示的な実施形態において、仮想的ボウル形状投影面４０２は、車両１００又は車両１００の仮想的表現が、地表面４０４の上でボウル形状投影面４０２の内側に配置されるように形成される。以下で詳細に説明するように、この情報に基づいて、ボウルジオメトリモジュール３４０は、車両１００の長さに沿った、ボウル形状投影面４０２の垂直スライス４０８（図４参照）の長半軸（major  semi-axis）及び短半軸（minor  semi-axis）を決定する。さらに、ボウルジオメトリモジュール３４０は、仮想的ボウル形状投影面４０２の各水平スライスについて（例えば、下面４１０から上面４１２まで）、垂直スライス４０８の長半軸及び短半軸に基づいて、対応する水平スライスの長半軸を決定し、対応する水平スライスの長半軸と短半軸との適応比に基づいて、対応する水平スライスの短半軸を決定する。以下で説明するように、例示的な実施形態において、適応比は、直線的に変化し、ボウル形状投影面４０２の上面４１２においては、約単位元（unity）（すなわち、１．０）であり、ボウル形状投影面４０２の下面４１０においては、車両の長さを車両の幅で割った商（すなわち、ｃａｒＬｅｎｇｔｈ／ｃａｒＷｉｄｔｈ）に等しい。図５Ａに示されるように、ボウル形状投影面４０２の軸５０４に沿って見たボウル形状投影面４０２の上面図５０２から、ボウル形状投影面４０２の最上水平スライス５０６は、円形の幾何学形状を有し、ボウル形状投影面４０２の最大スライス５０８は、ボウル形状投影面４０２の垂直方向中央に向かって存在する。さらに、図５Ｂに示されるように、軸５０４に沿って見たボウル形状投影面４０２の下面図５１０から、ボウル形状投影面４０２の最下水平スライス５１２は、円形ではない楕円形の幾何学形状を有する（すなわち、最下水平スライス５１２は、長軸が短軸と等しくない楕円を規定している）。
【００３９】
ボウル統合モジュール３４２は、ボウルジオメトリモジュール３４０により生成された水平スライスの結合に基づいて、仮想的ボウル形状投影面４０２を生成する。例えば、ボウル統合モジュール３４２は、ボウル形状投影面４０２の水平スライスを積み重ね、これらのスライスを一緒に統合して、結果として得られるボウル形状投影面４０２を形成する。さらに、ボウル統合モジュール３４２は、平坦な地表面４０４（又は、より詳細には部分的平面）である、ボウルの下面４１０を生成して統合することができる。ボウル形状投影面４０２の上面４１２は、部分的に開かれており、車両１００より上にある環境の部分は、ボウル形状投影面４０２の上部分に投影され得ることを理解されたい。
【００４０】
ボウルワーピングモジュール３４４は、生成された仮想的ボウル形状投影面４０２のうち地表面４０４に隣接するセクション（特定の実施形態に応じて、例えば、下半分、下３分の１、下４分の１、下８分の１等）をフィルタリング又は平滑化するよう構成される。図６において、ボウル形状投影面４０２の垂直断面６０２（例えば、垂直スライス４０８に垂直である）の一部により示されるように、ボウルワーピングモジュール３４４は、ボウル形状投影面４０２の下側部分６０４が、ボウル形状投影面４０２の上側部分６０６がボウル形状投影面４０２の上面４１２に近づくよりも遅いレートで、ボウル形状投影面４０２の下面４１０（すなわち、地表面）に近づくように、構築されたボウル形状投影面４０２の形状を変更する。したがって、ボウル形状投影面４０２に投影される画像（本明細書において、「ボウル形状画像」と呼ばれる）は、ボウル形状投影面４０２に関連して上述した上記特徴を含むようになる（すなわち、ボウル形状画像は、上側部分の微分係数の絶対値よりも小さい絶対値の微分係数を有する下側部分を含むようになる）。さらに、ボウル形状投影面４０２の下側部分は、任意の場所における投影面４０２の微分係数が画定的である（definite）ように（すなわち、特異点がないように）、ボウル形状投影面４０２の地表面４０４と統合される。ボウルワーピングモジュール３４４は、そうするために、任意の適切な画像フィルタ、アルゴリズム、技術、及び／又はメカニズムを使用することができることを理解されたい。
【００４１】
再度図３を参照すると、表示モジュール３１０は、車両内コンピューティングシステム１０２のユーザが見るために、ディスプレイ１１８上に画像をレンダリングする。例えば、表示モジュール３１０は、ボウル形状画像を生成するためにボウル生成モジュール３０８により生成された仮想的ボウル形状投影面４０２に、１以上の魚眼画像、結合画像、及び／又は他のタイプの画像を「投影」し、ディスプレイ１１８上に、ボウル形状画像又はボウル形状画像の一部を表示することができる。もちろん、いくつかの実施形態においては、生成された画像又は結合画像は、従来のように、ボウル形状投影面４０２に「投影」されず、代わりに、生成された画像又は結合画像は、そのような画像がボウル形状投影面４０２にあたかも投影されるかのように、上述した特徴を含むボウル形状を有するように変更されてもよい。
【００４２】
上述したように、いくつかの実施形態においては、表示モジュール３１０は、ボウル形状画像のうち、車両内コンピューティングシステム１０２の仮想カメラ２０２の視野内にある部分のみをレンダリングしてもよい。したがって、ボウル形状画像は、３次元面に「投影」される画像として具現化され得るが、ディスプレイ１１８は、いくつかの実施形態においては、２次元視点のボウル形状画像をレンダリングし得る。カメラ制御モジュール３１２は、仮想カメラ２０２の視点を決定し、仮想カメラコントロール１２８と組み合されて、車両内コンピューティングシステム１０２のユーザが、車両内コンピューティングシステム１０２の仮想カメラ２０２の視野を変更することを可能にする。
【００４３】
次に図７を参照すると、使用の際、車両内コンピューティングシステム１０２は、車両１００、又は、より詳細には車両内コンピューティングシステム１０２の周囲の物理的環境を表示するための方法７００を実行することができる。上述したように、本明細書に記載の方法は、概して、魚眼カメラと魚眼カメラにより生成される魚眼画像とに関連して説明される。しかしながら、本明細書に記載の方法は、他の適切なタイプのカメラ及び／又は画像にも適用可能である。例示的な方法７００は、ブロック７０２で開始する。ブロック７０２において、車両内コンピューティングシステム１０２は、周囲の物理的環境を表示するかどうかを決定する。周囲の物理的環境を表示する場合、ブロック７０４において、車両内コンピューティングシステム１０２は、カメラ１２６から魚眼画像を受信する。上述したように、例示的な実施形態（図２参照）において、カメラシステム１２０は、４つの魚眼カメラを含む。したがって、そのような実施形態において、車両内コンピューティングシステム１０２は、同じ撮影時間に関連付けられた４つのカメラ１２６の各々から魚眼画像を受信する（すなわち、４つのカメラ１２６は、同じ時間又はほぼ同じ時間に、魚眼画像を撮影する）。もちろん、他の実施形態においては、カメラシステム１２０は、異なる数のカメラ１２６を含んでもよく、したがって、ブロック７０４において、異なる数の魚眼画像が、受信又は取得されてもよい。さらに、いくつかの実施形態において、これらの画像のうちの１以上は、（例えば、以下で説明するオプティカルフローアルゴリズムによる使用のために、）車両内コンピューティングシステム１０２のメモリ１１４又はデータストレージ１１６に記憶され得る。
【００４４】
ブロック７０６において、車両内コンピューティングシステム１０２は、カメラ１２６から受信した画像のうちの２以上の画像を結合して、結合／複合画像を生成する。車両内コンピューティングシステム１０２は、そうするために、任意の適切な技術又はメカニズムを使用することができることを理解されたい。例えば、比較的原始的な実施形態においては、車両内コンピューティングシステム１０２は、単純にこれらの画像を互いに付加して、結合画像を生成し得る。しかしながら、以下で説明するように、例示的な実施形態は、生成される結合画像及び／又は対応する投影における不正確性又は曖昧性を低減させるために、スティッチング及び／又はオプティカルフロー等といったより複雑な技術を利用して、これらの画像を結合することができる。
【００４５】
上述したように、車両内コンピューティングシステム１０２は、車両１００の運転手のビジョンの向上及び利便性のために、撮影された画像及び／又は結合画像が投影され得る仮想的ボウル形状投影面４０２を生成する。さらに、近傍カメラ１２６は、オーバーラップする視野を有し、これは、近傍カメラ１２６により生成された画像が、オーバーラップ画像領域内で合致する（すなわち、重複する）特徴を有することを生じさせる。特徴のそのような重複は、対処されない場合には、結合画像及び／又は対応する投影内でのそのような特徴の曖昧性をもたらし得る。例えば、図８に示されるように、２つの近傍カメラ８０２、８０４は、（例えば、逆投影により、）同じ実世界点８０６を、ボウル形状投影面４０２の２つの異なる点８０８、８１０に投影する（すなわち、実世界点８０６が、ボウル形状投影面４０２と一致しない限り）。詳細には、第１のカメラ８０２により撮影された実世界点８０６は、第１の点８０８において、ボウル形状投影面４０２に投影され、第２のカメラ８０４により撮影された実世界点８０６は、第２の点８１０において、ボウル形状投影面４０２に投影される。したがって、画像を結合するときに、車両内コンピューティングシステム１０２は、オーバーラップ画像領域に起因する、画像曖昧性、二重性、及び／又は不可視オブジェクトに関する問題に対処することができる。例えば、例示的な実施形態において、車両内コンピューティングシステム１０２は、図７の方法７００のブロック７０８において、スティッチングアルゴリズムを利用することにより、又は、図７の方法７００のブロック７１０において、オプティカルフローアルゴリズムを利用することにより、２つの近傍画像を結合することができる。もちろん、いくつかの実施形態においては、技術の組合せを利用して、結合画像を生成してもよい。
【００４６】
スティッチングアルゴリズムを使用して近傍画像を結合するために、車両内コンピューティングシステム１０２は、図９に示される方法９００を実行することができる。例示的な方法９００は、ブロック９０２で開始する。ブロック９０２において、車両内コンピューティングシステム１０２は、近傍魚眼画像をスティッチングするかどうかを決定する。近傍魚眼画像をスティッチングする場合、ブロック９０４において、車両内コンピューティングシステム１０２は、カメラシステム１２０のジオメトリに基づいて、近傍画像のための基本行列を決定する。基本行列は、２つの画像の対応する特徴間のマッピングにより、同じシーンが撮影された２つの画像の画像座標を互いに関連付けることを理解されたい。カメラシステム１２０のジオメトリ及び座標系は、既知であるので、基本行列も既知である又は容易に決定可能である（すなわち、画像特徴検出又は特徴照合を実行しない）。代替的に、基本行列は、２つの画像の照合される特徴に基づいて決定されてもよい。
【００４７】
ブロック９０６において、車両内コンピューティングシステム１０２は、近傍魚眼画像の各々に対して特徴検出を実行して、それらの画像の特徴（すなわち、関心点）を識別する。上述したように、車両内コンピューティングシステム１０２は、そうするために、任意の適切な検出器（例えば、ＳＵＲＦ、ＳＩＦＴ、ＭＯＰＳ等）を使用することができる。ブロック９０８において、車両内コンピューティングシステム１０２は、（例えば、ＲＡＮＳＡＣ又は別の照合アルゴリズムを使用して、）近傍魚眼画像の検出された特徴に対して特徴照合を実行して、それらの画像のどの特徴が互いと対応するかを特定する。いくつかの実施形態において、そうする際、ブロック９１０において、車両内コンピューティングシステム１０２は、（例えば、検出された特徴の比較に関連する計算オーバーヘッドを低減させるために、）決定された基本行列に基づいて、特徴合致候補をフィルタリングする。
【００４８】
追加的又は代替的に、特徴照合を実行する際、ブロック９１２において、車両内コンピューティングシステム１０２は、オーバーラップ画像間の適切な特徴対応関係を特定するために、特徴合致候補のＳａｍｓｏｎの距離（Samson’s  distance）を最小にし得る。より詳細には、車両内コンピューティングシステム１０２は、式
【数１】
2017502404.tif 000003
を最小にし得る。ここで、ｘ１及びｘ２は、オーバーラップ画像のうちの第１の魚眼画像の照合される特徴に関連付けられている画素の２次元座標であり、ｘ１’及びｘ２’は、オーバーラップ画像のうちの第２の魚眼画像の照合される特徴に関連付けられている画素の２次元座標であり、Ｆは、基本行列であり、ｉは、照合される特徴に関連付けられている画素のインデックスである。他の実施形態においては、車両内コンピューティングシステム１０２は、他の適切な技術を使用して（例えば、特徴照合アルゴリズムを使用せず決定された基本行列を使用して、カメラシステム１２０のジオメトリからの基本行列の演繹的な（priori）知識を使用せず特徴照合アルゴリズムを使用して等）、特徴照合を実行してもよい。
【００４９】
ブロック９１４において、車両内コンピューティングシステム１０２は、合致した特徴に基づいて、オーバーラップ画像領域内の近傍魚眼画像の継ぎ目を決定する。例えば、次に図１０及び図１１を参照すると、車両内コンピューティングシステム１０２は、各近傍画像について（すなわち、第１の魚眼画像１００２及び第２の魚眼画像１００４の各々について、）関心点としての画像特徴（例えば、画素又は画素のグループ）を特定することができる。第２の画像１００４の対応する特徴群に合致する、第１の画像１００２の検出された特徴群のサブセットを、（例えば、「点を結ぶ」方式で又は別の方式で）仮想的に結んで、第１の画像１００２の合致した特徴群から構成される継ぎ目１００６を生成することができる。同様に、第１の画像１００２の対応する特徴群に合致する、第２の画像１００４の検出された特徴群も、継ぎ目１００８を構成することができる。
【００５０】
再度図９を参照すると、ブロック９１６において、車両内コンピューティングシステム１０２は、近傍魚眼画像の結合画像を生成する。上述したように、そうする際、ブロック９１８において、車両内コンピューティングシステム１０２は、近傍魚眼画像（すなわち、画像１００２、１００４）を、仮想的ボウル形状投影面４０２に投影することができる。ボウル形状投影面４０２へのそのような投影を実行するために、方法９００と（例えば、少なくとも部分的に）組み合わせて、図１９に示され以下で説明される方法１９００が利用又は実行され得ることを理解されたい。ブロック９２０において、車両内コンピューティングシステム１０２は、第１の画像１００２の投影と第２の画像１００４の投影とが接合されるべき第３の継ぎ目１１０２を決定する。車両内コンピューティングシステム１０２は、任意の適切な技術、アルゴリズム、又はメカニズムを使用して、第３の継ぎ目１１０２の位置を決定することができる（例えば図１１参照）ことを理解されたい。例えば、一実施形態において、車両内コンピューティングシステム１０２は、継ぎ目１００６と継ぎ目１００８との平均継ぎ目（例えば、３次元ボウル形状投影面４０２上の継ぎ目１００６及び継ぎ目１００８の対応する合致した特徴群の位置の算術平均）として、第３の継ぎ目１１０２を決定することができる。別の実施形態においては、第３の継ぎ目１１０２の位置は、例えば、画像１００２及び画像１００４又は対応する投影群の最も多くのデータを保つことができる位置として選択されてもよい。ブロック９２２において、車両内コンピューティングシステム１０２は、投影された画像の第１の継ぎ目１００６と第２の継ぎ目１００８との間の画像画素を内挿、外挿、及び／又はフィルタリングして、オーバーラップ画像領域内に画像アーチファクトがほとんどない投影画像を生成することができる。いくつかの実施形態において、車両内コンピューティングシステム１０２は、さらに、投影された画像の諸部分（例えば、対応する画像１００２及び画像１００４内の継ぎ目１００６及び継ぎ目１００８を超えている部分）を強調しないようにすることができる。例えば、車両内コンピューティングシステム１０２は、画像投影のそのような部分をクロップする又は不鮮明にすることができる。別の実施形態において、車両内コンピューティングシステム１０２は、結合画像をボウル形状投影面４０２に投影する前に結合画像を生成するのに先立って、第３の継ぎ目を決定し、２次元空間内の元々の継ぎ目の間の領域をフィルタリングすることができる。さらに、図１１に示されるように、継ぎ目１１０４が、上述したのと同様に、他のペアの近傍カメラ１２６の各々の間に生成され得ることを理解されたい。
【００５１】
オプティカルフローアルゴリズムを使用して近傍画像を結合するために、車両内コンピューティングシステム１０２は、図１２〜図１３に示される方法１２００を実行することができる。例示的な方法１２００は、ブロック１２０２で開始する。ブロック１２０２において、車両内コンピューティングシステム１０２は、オプティカルフローを利用するかどうかを決定する。車両内コンピューティングシステム１０２は、オプティカルフローを利用して、オブジェクトがオーバーラップする視野内で動いているかどうかの判定に基づいて、近傍魚眼画像のオーバーラップ画像領域を、仮想的ボウル形状投影面４０２にどのように投影するかを決定することができる。車両内コンピューティングシステム１０２が、オプティカルフローを利用すると決定した場合、ブロック１２０４において、車両内コンピューティングシステム１０２は、オプティカルフローを適用する、近傍魚眼画像のオーバーラップ領域を決定／特定する。例えば、ブロック１２０６において、車両内コンピューティングシステム１０２は、カメラシステム１２０の予め定められたジオメトリに基づいて、近傍魚眼画像のオーバーラップ領域を決定することができる。すなわち、車両内コンピューティングシステム１０２は、対応する近傍カメラ１２６のオーバーラップする視野と、カメラ１２６間の既知の幾何学的関係と、に基づいて、近傍魚眼画像のオーバーラップ領域を特定するよう構成され得る。追加的又は代替的に、ブロック１２０８において、車両内コンピューティングシステム１０２は、図９に関連して上述したように、近傍魚眼画像に対して特徴検出及び特徴照合を実行して、オーバーラップ領域を決定してもよい。
【００５２】
ブロック１２１０において、車両内コンピューティングシステム１０２は、特定されたオーバーラップ画像領域内のオブジェクトの相対的な動きを決定する。すなわち、車両内コンピューティングシステム１０２は、オーバーラップ画像領域内で撮影されたオブジェクトが、車両１００に対してどの程度動いているかを決定する。そうする際、車両内コンピューティングシステム１０２は、オーバーラップ領域内のオブジェクトの相対的な動きを決定するために、画像フィルタ（例えば、エッジ検出器、勾配フィルタ等）又は他の適切な技術を利用することができる。例えば、ブロック１２１２において、車両内コンピューティングシステム１０２は、勾配制約方程式（gradient  constraint  equation）を適用することができる。そのようなものとして、ブロック１２１４において、車両内コンピューティングシステム１０２は、（例えば、近傍画像の一方又は両方について、）オーバーラップ画像領域内の画素の強度の空間微分係数を決定することができる。さらに、ブロック１２１６において、車両内コンピューティングシステム１０２は、オーバーラップ画像領域内の画素の強度の時間微分係数を決定することができる。
【００５３】
いくつかの実施形態において、オーバーラップ画像領域内のオブジェクトの動きを確認するために、勾配制約方程式∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０が、オーバーラップ画像領域に適用され得る。ここで、Ｉ（ｘ，ｔ）は、画素強度であり、∇Ｉ（ｘ，ｔ）は、画素強度の空間微分係数であり、ｕは、複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、画素強度の時間微分係数である。より詳細には、ｕは、（例えば、撮影と撮影との間の短い期間で）同じ魚眼カメラにより撮影された２つの魚眼画像を比較することにより決定された、基礎となる画素の２次元速度である。多数のオプティカルフローアルゴリズムが、基礎としてそのような勾配制約方程式を利用し得、本明細書においては、それらのアルゴリズムのうちの任意のアルゴリズムが利用され得ることを理解されたい。さらに、いくつかの実施形態において、異なる物理的制約を有するオプティカルフローアルゴリズムが、車両内コンピューティングシステム１０２により利用され得る。図１４Ａ及び図１５Ｂの例示的な実施形態に示されるように、オプティカルフローアルゴリズムは、入力画像１４０２に基づくオプティカルフロー画像１４０４を出力し、これにより、その画像内にオブジェクトの相対的な動きを示すことができる。図１４Ａに示されるオプティカルフローアルゴリズムの例示的な入力画像１４０２は、動いていない背景と動いている人とを含むシーンを有する魚眼画像である。したがって、オプティカルフロー画像１４０４（すなわち、オプティカルフローアルゴリズムの出力画像）は、さらなる解析のために、動いている人と動いていない背景とを、異なる色を使用して明確に区別する。詳細には、利用されているオプティカルフローアルゴリズムは、より暗い色合いを使用して動いているオブジェクトを識別し、より明るい色合いを使用して動いていないオブジェクトを識別する。例示的な実施形態において、同様の対応するオプティカルフロー出力画像を生成するために、そのようなアルゴリズムが、オーバーラップ画像領域に適用される。
【００５４】
ブロック１２１８（図１３参照）において、車両内コンピューティングシステム１０２は、オーバーラップ画像領域内のオブジェクトの相対的な動きに基づいて（例えば、オプティカルフロー出力画像に基づいて）、車両１００に対して動いているオブジェクトを特定する。そのような特定は、例えば、使用される特定のオプティカルフローアルゴリズムに依拠し得ることを理解されたい。例えば、１つの特定のオプティカルフローアルゴリズムは、処理済み画像のうち、最大量の相対的な動きを有する画素が、白であり、処理済み画像のうち、最小量の相対的な動きを有する画素が、黒であり、最大量（白）と最小量（黒）との間の何らかのレベルの動きを有する画素が、グレーの色合いである、グレースケール画像を出力することができる。
【００５５】
使用される特定のオプティカルフローアルゴリズムにかかわらず、ブロック１２２０において、車両内コンピューティングシステム１０２は、特定された動いているオブジェクトに基づいて、オーバーラップ画像領域の画像を生成する。いくつかの実施形態において、近傍画像を互いに付加することにより、近傍画像の結合画像が生成され得、例えば、オーバーラップ画像領域の生成された画像が、結合画像のオーバーラップ画像領域の上に重ね合わされる。動いているオブジェクトが特定されない場合、車両内コンピューティングシステム１０２は、いくつかの実施形態において、近傍画像を結合するために、別の技術（例えば、画像スティッチング）を利用することができることを理解されたい。しかしながら、動いているオブジェクトが特定された場合、車両内コンピューティングシステム１０２は、近傍画像の結果として得られる結合画像内に動いているオブジェクトを保つよう試みる。そのようにしなければ、仮想的ボウル形状投影面４０２への結合画像の投影は、不可視オブジェクト及び／又は見えない点（blind  spot）をもたらし得る。
【００５６】
オーバーラップ画像領域の画像を生成する際、車両内コンピューティングシステム１０２は、近傍画像の一方又は両方からの特定された動いているオブジェクトを含む画像を生成することができる。例えば、ブロック１２２２において、車両内コンピューティングシステム１０２は、近傍魚眼画像の一方からのブレンドされていない動いているオブジェクトを有する画像を生成することができる。すなわち、動いているオブジェクトが、オーバーラップ画像領域内で特定された場合、その動いているオブジェクトは、近傍画像の両方に存在する。したがって、車両内コンピューティングシステム１０２は、特定されてはいるがそれらの画像の一方のみからの動いているオブジェクトを表示することができ、（例えば、オブジェクトの二重性を避けるために、）動いているオブジェクトを不鮮明にすることにより、他方の近傍画像内の動いているオブジェクトを強調しないようにすることができる。ブロック１２２４において、車両内コンピューティングシステム１０２は、近傍魚眼画像の両方からのブレンドされていない動いているオブジェクトを有する画像を生成することができる。例えば、車両内コンピューティングシステム１０２が、動いているオブジェクトのどの位置がより適切であるかを決定できない（すなわち、仮想的ボウル形状投影面４０２への各近傍魚眼画像内のオブジェクトの将来の投影位置に基づいて）場合、車両内コンピューティングシステム１０２は、両方の近傍魚眼画像からの動いているオブジェクトをボウル形状投影面４０２に投影することにより、両方の位置において、動いているオブジェクトを表示することを決定することができる。ブロック１２２６において、車両内コンピューティングシステム１０２は、近傍魚眼画像に基づく推定位置において動いているオブジェクトを有する画像を生成することができる。すなわち、車両内コンピューティングシステム１０２は、適切な解析に基づいて（例えば、両方の近傍画像からのオブジェクトの投影位置を平均化することにより）、動いているオブジェクトの各々を投影する位置を決定することができる。さらに、いくつかの実施形態において、車両内コンピューティングシステム１０２は、画像アーチファクトを低減させるために、オーバーラップ画像領域をブレンド、フィルタリング、及び／又は変更することができる。
【００５７】
再度図７を参照すると、ブロック７１２において、車両内コンピューティングシステム１０２は、１以上の撮影された魚眼画像に対してオブジェクト分類を実行する。例えば、車両内コンピューティングシステム１０２は、車両１００の周囲近くにいる歩行者又は動物の位置を決定することができる。そうするために、車両内コンピューティングシステム１０２は、魚眼画像内のオブジェクトを分類するための図１５に示される方法１５００を実行することができる。魚眼画像に対してオブジェクト分類を実行することは、魚眼画像の固有の特性に起因して、従来の分類アルゴリズムに基づくと、極めて難しいものであり得ることを理解されたい。例えば、魚眼画像は、強い魚眼歪みを有し、魚眼画像内の画素解像度は、魚眼画像の中心から境界まで非直線的に減少し、実世界環境における直線は、魚眼画像内では曲線として見える。したがって、オブジェクトは、魚眼カメラに対するオブジェクトの相対位置に応じて、魚眼画像内では異なる形状を有するように見える。魚眼歪みは補償され得るが、これは、通常は、遠近歪み（perspective  distortion）をもたらし、従来の分類を困難にさせる。以下で説明するように、分類は、一般に、画像内のオブジェクトを、一般的には歪みのない直線状空間において定義されている、オブジェクトの特定のクラスに関する予め定義されたオブジェクトモデル又はオブジェクトプロファイルと比較することを伴う。
【００５８】
例示的な方法１５００は、ブロック１５０２で開始する。ブロック１５０２において、車両内コンピューティングシステム１０２は、オブジェクト分類を実行するかどうかを決定する。オブジェクト分類を実行する場合、ブロック１５０４において、車両内コンピューティングシステム１０２は、魚眼カメラ１２６のうちの１以上を較正する。上述したように、カメラ１２６は、正確な画像撮影及びメトリックデータの抽出を確実にするための適切な技術を使用して、（例えば、内発的及び外発的に）較正される。例えば、魚眼画像は、投影
【数２】
2017502404.tif 000004
に関連し得る。ここで、Ｐは、投影行列であり、Ｘは、同種の座標（例えば、ｘ、ｙ、及びｚ）のベクトル記述であり、ｕは、魚眼画像への投影であり、λは、同種の曖昧性に対応するスケーリング係数であり、Ａ及びｔは、ミスアライメント（misalignment）（例えば、カメラ構成、解像度、画素サイズ等）に対応する係数であり、ｆ（ｕ，ｖ）＝ａ０＋ａ１ｐ＋ａ２ｐ２＋・・・＋ａｎｐｎは、魚眼画像の全てのタイプの歪みの多項式近似であり、ここで、ｐは、点（ｕ，ｖ）と光軸との間のメトリック距離である。いくつかの実施形態において、魚眼カメラの較正は、上記で与えられる投影式におけるＡ、ｔ、及びｆ（ｕ，ｖ）の値の決定を含む。もちろん、他の実施形態においては、カメラ１２６を較正するために、他の較正技術が使用されてもよい。
【００５９】
ブロック１５０６において、車両内コンピューティングシステム１０２は、魚眼画像内の、オブジェクト分類を実行する関心領域を決定する（例えば、図１６の魚眼画像１６００を参照されたい）。上述したように、画像全体に対してオブジェクト分類を実行することは、計算集約的であり、直線状画像への魚眼画像全体の投影は、著しい遠近歪みを生じさせる。画像のある領域（すなわち、画像全体よりも小さな部分）に対してオブジェクト分類を実行することは、これらのファクタの両方の影響を低減させる。関心領域の位置、サイズ、及び／又は他の特性は、任意の適切な技術を使用して決定され得ることを理解されたい。例えば、関心領域のサイズは、いくつかの実施形態において、分類が実行されるオブジェクト（例えば、歩行者）のサイズに基づいて選択され得る。
【００６０】
ブロック１５０８において、車両内コンピューティングシステム１０２は、オプティカルフローアルゴリズムを利用して、図１２及び図１３の方法１２００に関連して上述したように、動いているオブジェクトを特定することにより、関心領域を決定することができる。すなわち、車両内コンピューティングシステム１０２は、魚眼画像のうち、車両１００に対して相当の動きがある領域に対してオブジェクト分類を実行することを決定することができる。ブロック１５１０において、車両内コンピューティングシステム１０２は、魚眼画像に対してオブジェクト検出を実行して、関心領域を特定することができる。分類アルゴリズムは、一般的には、魚眼画像に対して非常に不十分に機能するが、車両内コンピューティングシステム１０２は、例えば、魚眼画像に対して様々な画像フィルタ及び／又は特徴検出器を使用して、魚眼画像内のオブジェクトの存在を判別することができ得る（すなわち、車両内コンピューティングシステム１０２が、検出されたオブジェクトを分類できないとしても）。ブロック１５１２において、車両内コンピューティングシステム１０２は、歪みのある直線状画像に対してオブジェクト検出を実行することにより、関心領域を決定することができる。そうする際、ブロック１５１４において、車両内コンピューティングシステム１０２は、魚眼画像を、仮想的半球形状表示面に投影することができ、次いで、そこからのある平面に投影することができる。上述したように、画像全体の投影から結果として生じる直線状画像は、遠近歪みを含む（例えば、図１７の歪みのある直線状画像１７００を参照されたい）。しかしながら、それでも、歪みのある直線状画像に対してオブジェクト検出アルゴリズムを使用して、車両内コンピューティングシステム１０２によるさらなる解析及び分類のために、関心領域を特定することができる。
【００６１】
ブロック１５１６において、車両内コンピューティングシステム１０２は、決定された関心領域を、仮想的半球形状表示面に投影して、半球形状画像領域を生成する。さらに、ブロック１５１８において、車両内コンピューティングシステム１０２は、半球形状画像領域を、半球形状画像領域内の点（例えば、中心点）に垂直な平面に投影して、直線状画像を生成する。上述したように、この平面への半球形状画像領域の投影は、この平面への魚眼画像全体の投影よりも著しく少ない歪み（例えば、遠近歪み）をもたらす。したがって、オブジェクト分類アルゴリズムは、概して、画像全体に基づいて生成された直線状画像（図１７参照）よりも、関心領域に基づいて生成された直線状画像（例えば、図１８の直線状画像１８００を参照されたい）に対して、より良く（例えば、より速く且つ／又はより正確に）機能する。他の実施形態においては、車両内コンピューティングシステム１０２は、最小限の遠近歪みを有する直線状画像を生成するために、投影の異なる組合せを使用して、関心領域を平面に投影してもよい。例えば、車両内コンピューティングシステム１０２は、いくつかの実施形態においては、関心領域を魚眼画像から平面に直接的に投影してもよい（すなわち、半球形状表示面へ／からの投影をバイパスすることにより）。
【００６２】
ブロック１５２０において、車両内コンピューティングシステム１０２は、生成された直線状画像に対してオブジェクト分類を実行する。上述したように、そうする際、車両内コンピューティングシステム１０２は、直線状画像又は直線状画像の一部（例えば、関心点）を、１以上の予め定義されたオブジェクトプロファイル／モデルと比較して、合致しているかどうかを判定する。特定の実施形態に応じて、オブジェクトの広範な異なるタイプ／クラスのためのオブジェクトプロファイルが存在し得る。例えば、いくつかのオブジェクトプロファイルは、大人の歩行者、子供の歩行者、ペット、車両、及びその他を含み得る。オブジェクトプロファイルは、任意の適切なデータ構造として具現化され得、例えば、高さ、幅、向き、平均速度、重要度、識別可能な関心点、及び他の適切な特性等といった特性を含み得ることを理解されたい。車両内コンピューティングシステム１０２が、オブジェクトを成功裡に分類できたかどうかにかかわらず、方法１５００は、ブロック１５０２に戻り、ブロック１５０２において、車両内コンピューティングシステム１０２は、（例えば、別の魚眼画像に対して）オブジェクト分類を実行するかどうかを決定する。
【００６３】
再度図７を参照すると、ブロック７１４において、車両内コンピューティングシステム１０２は、ボウル形状画像を表示する。上述したように、そうするために、車両内コンピューティングシステム１０２は、１以上の画像（例えば、魚眼画像、結合／複合画像、パノラマ画像等）を投影する仮想的ボウル形状投影面４０２を生成又は使用し、それにより、「ボウル形状」画像を生成する。この投影は、例えば、車両１００の周囲の環境の運転手の視認性を向上させる。もちろん、上述したように、いくつかの実施形態において、１以上の画像は、従来のように、ボウル形状投影面４０２に「投影」される以外に、ボウル形状投影面４０２と整合するボウル形状を有するように変更され得る。ブロック７１６において、車両内コンピューティングシステム１０２は、上述したように、結合画像及び仮想カメラ２０２の向きに基づいて、ボウル形状画像を生成することができることを理解されたい。例えば、ボウル形状画像を生成するために、カメラ１２６により撮影された画像を結合して、仮想的ボウル形状投影面４０２に投影され得る１つの結合画像を生成することができる。上述したように、いくつかの実施形態において、投影は、例えば、図９の方法９００に関連して上述した近傍画像のスティッチングと組み合わせて実行され得る。さらに、いくつかの実施形態において、車両内コンピューティングシステム１０２は、ボウル形状画像及び／又はボウル形状投影面４０２のうち、仮想カメラ２０２の視野内にあり仮想カメラ２０２と同じ視点からの部分のみを生成又は表示することができる。さらに、ブロック７１８において、車両内コンピューティングシステム１０２は、上述したように、車両内コンピューティングシステム１０２により検出され分類されたオブジェクトをハイライトすることができる。特定の実施形態に応じて、車両内コンピューティングシステム１０２は、例えば、ユーザの利便性のために、分類されたオブジェクトをディスプレイ１１８上で視覚的にハイライトすることができ、オブジェクトの存在を識別する可聴アラートをユーザに送ることができ、且つ／又は、分類に基づいて、車両１００の１以上の他の電気機械的特徴を利用することができる（例えば、車両１００に自動的にブレーキをかける）。
【００６４】
いくつかの実施形態において、車両内コンピューティングシステム１０２は、図１９に示される方法１９００を実行して、図４に示されるボウル形状画像を生成することができる。例示的な方法１９００は、ブロック１９０２で開始する。ブロック１９０２において、車両内コンピューティングシステム１０２は、ボウル形状画像を生成するかどうかを決定する。ボウル形状画像を生成する場合、車両内コンピューティングシステム１０２は、１以上の画像（例えば、結合画像）を投影する仮想的ボウル形状投影面４０２を生成又は決定し、１以上の画像をボウル形状投影面４０２に投影する。詳細には、ブロック１９０４において、車両内コンピューティングシステム１０２は、車両１００の長さに沿った、仮想的ボウル形状投影面４０２（すなわち、生成されるべきもの）の垂直スライス４０８（図４参照）（例えば、車両１００の長手方向軸に沿ってボウル形状投影面４０２を横切って得られる垂直スライス）の長半軸及び短半軸を決定する。車両内コンピューティングシステム１０２は、任意の適切な技術を使用して（例えば、車両１００のサイズ及び／又は予め定められた値／閾値に基づいて）、垂直スライス４０８の長軸及び短軸の適切なサイズを決定することができることを理解されたい。
【００６５】
ブロック１９０６において、車両内コンピューティングシステム１０２は、生成されるボウル形状投影面４０２の「水平オフセット」を決定する。いくつかの実施形態において、水平オフセットは、仮想的ボウル形状投影面４０２の生成のために車両内コンピューティングシステム１０２のメモリ１１４又はデータストレージ１１６に記憶されている予め定められた値であり得る。例示的な実施形態において、水平オフセットは、車両１００の長さよりも短く車両１００の長さの半分よりも長い長さ（例えば、車両１００の長さの半分よりもわずかに長い長さ）を有する。
【００６６】
上述したように、車両内コンピューティングシステム１０２は、仮想的ボウル形状投影面４０２の各水平スライスを生成し、それらの水平スライスを結合して、仮想的ボウル形状投影面４０２を生成することができる。したがって、ブロック１９０８において、車両内コンピューティングシステム１０２は、生成される仮想的ボウル形状投影面４０２の次の水平スライスを選択する。水平スライスの「厚さ」又は幅は、特定の実施形態に応じて変わり得ることを理解されたい。例えば、いくつかの実施形態において、水平スライスの幅は、無限小（すなわち、仮想的）、又は、車両内コンピューティングシステム１０２のハードウェア、ファームウェア、及び／又はソフトウェアの制限により許容される最大分解能（maximum  resolution）であり得る。さらに、水平スライスの選択の順序（例えば、上から下、下から上、ランダムな選択等）も、特定の実施形態に依拠し得る。
【００６７】
ブロック１９１０において、車両内コンピューティングシステム１０２は、選択された水平スライスの第１の半軸（例えば、長半軸の長さ）を決定する。そうする際、ブロック１９１２において、車両内コンピューティングシステム１０２は、いくつかの実施形態では、
【数３】
2017502404.tif 000005
に従って、第１の半軸を決定することができる。ここで、ａＨｏｒｉｚｏｎｔａｌは、選択された水平スライスの第１の半軸（すなわち、長半軸）の長さであり、ａＯｆｆｓｅｔは、上記で決定された水平オフセットであり、ａＶｅｒｔｉｃａｌは、垂直スライスの長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、垂直スライスの短半軸の長さであり、ｚは、ボウル形状投影面４０２の地表面４０４より上の選択された水平スライスの高さである。
【００６８】
ブロック１９１４において、車両内コンピューティングシステム１０２は、選択された水平スライスに関する適応比を決定する。上述したように、例示的な実施形態において、適応比は、予め定義されたものであり、適応比が、ボウル形状投影面４０２の上面４１２（図４参照）においては、約単位元（すなわち、１．０）であり、ボウル形状投影面４０２の下面４１０（図４参照）においては、車両の長さを車両の幅で割った商（すなわち、ｃａｒＬｅｎｇｔｈ／ｃａｒＷｉｄｔｈ）として求められた値におおよそ等しいように、適応比は、水平スライスにわたって直線的に変化する。したがって、仮想的ボウル形状投影面４０２の最上水平スライスは、円形として形成され、仮想的ボウル形状投影面４０２の最下水平スライス（すなわち、仮想的ボウル形状投影面４０２の地表面に隣接する水平スライス）は、円形ではない楕円形として形成される。いくつかの実施形態において、適応比は、１次元線形関数として表現され得、この関数には、水平スライスの識別子が入力され、この関数の出力が、本明細書に記載の計算において使用される。したがって、各水平スライスは、異なる適応比値に関連付けられる。
【００６９】
ブロック１９１６において、車両内コンピューティングシステム１０２は、選択された水平スライスの第２の半軸（例えば、短半軸の長さ）を決定する。そうする際、ブロック１９１８において、車両内コンピューティングシステム１０２は、
【数４】
2017502404.tif 000006
に従って、第２の半軸を決定することができる。ここで、ｂＨｏｒｉｚｏｎｔａｌは、選択された水平スライスの第２の半軸（すなわち、短半軸）の長さであり、ａＨｏｒｉｚｏｎｔａｌは、選択された水平スライスの第１の半軸（すなわち、長半軸）の長さであり、ａｄａｐｔｉｖｅＲａｔｉｏは、上述した、選択された水平スライスに関する適応比である。
【００７０】
ブロック１９２０において、車両内コンピューティングシステム１０２は、仮想的ボウル形状投影面４０２の生成される水平スライスが残っているかどうかを判定する。水平スライスが残っている場合、方法１９００は、ブロック１９０８に戻り、ブロック１９０８において、車両内コンピューティングシステム１０２は、生成される次の水平スライスを選択する。しかしながら、仮想的ボウル形状投影面４０２の全ての水平スライスが生成された場合、ブロック１９２２において、車両内コンピューティングシステム１０２は、適切な技術又はアルゴリズムを使用して、これらの水平スライスを結合してボウル形状投影面４０２を生成する。例えば、車両内コンピューティングシステム１０２は、水平スライスを適切な順序で互いに「積み重ね」、スライスを一緒に統合して１つの仮想面を生成することができる。さらに、いくつかの実施形態において、車両内コンピューティングシステム１０２は、平坦な地表面４０４（すなわち、ボウル形状投影面４０２の最下面）をこの仮想面の下に統合して、仮想的ボウル形状投影面４０２を生成する。
【００７１】
ブロック１９２４において、車両内コンピューティングシステム１０２は、地表面４０４に隣接する、生成された仮想的ボウル形状投影面４０２の下側セクションをフィルタリングして、地表面４０４とボウル形状投影面４０２の下側水平スライス（図６参照）との間の接合を平滑化する。上述したように、車両内コンピューティングシステム１０２は、そうするために、任意の適切な画像フィルタ、アルゴリズム、技術、及び／又はメカニズムを使用することができる。ブロック１９２６において、車両内コンピューティングシステム１０２は、１以上の結合画像を、生成された仮想的ボウル形状投影面４０２に投影して、ボウル形状画像を生成する。上述したように、ボウル形状画像は、車両１００の周囲の環境のユーザの知覚を向上させる。さらに、実世界地表面の撮影された画像は、いくつかの実施形態において、最小限の歪みしかないように、あるいは、歪みがないように、地表面４０４に直接的に逆投影され得ることを理解されたい。さらに、上述したように、生成されたボウル形状画像は、車両内コンピューティングシステム１０２のユーザ（例えば、車両１００の運転手）のために、車両内コンピューティングシステム１０２のディスプレイ１１８上に表示される。
【００７２】
図７に戻ると、ブロック７２０において、車両内コンピューティングシステム１０２は、（例えば、仮想カメラ２０２を並進又は回転させることにより）仮想カメラ２０２の視野を変更するユーザ入力が、（例えば、運転手から）受信されたかどうかを判定する。ユーザ入力が受信された場合、ブロック７２２において、車両内コンピューティングシステム１０２は、ユーザ入力及び仮想カメラ２０２の新たな位置に基づいて、ボウル形状画像の表示を変更する。例えば、ユーザは、（例えば、車両１００の内側の視点と整合する視点から）ボウル形状画像において仮想カメラ２０２を回転させて、ボウル形状画像の異なる部分を表示させることができる。いくつかの実施形態において、車両内コンピューティングシステム１０２は、（例えば、複数の視点のボウル形状画像を同時に表示するために）複数の仮想カメラ２０２を利用することができることを理解されたい。例えば、一実施形態において、車両内コンピューティングシステム１０２は、車両１００の４つの側の各々からのボウル形状画像のビューを表示することができる。他の実施形態においては、上述したように、ボウル形状画像全体又はその一部が、３Ｄディスプレイ上に表示されてもよい。（ブロック７２２における）ボウル形状画像の表示の変更に応じて、又は、（ブロック７２０における）ボウル形状画像を変更するユーザ入力が受信されていないという判定に応じて、方法７００は、ブロック７０２に戻り、ブロック７０２において、車両内コンピューティングシステム１０２は、車両１００の周囲の環境を表示するかどうかを決定する。
【００７３】
例
本明細書で開示した技術の例示的な例が、以下に提供される。本技術の実施形態は、以下に記載の例の任意の１以上及び任意の組合せを含み得る。
【００７４】
例１は、ボウル形状画像を利用するためのコンピューティングシステムであって、第１のシーンを含む第１の魚眼画像を撮影する第１の魚眼カメラと、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンを含む第２の魚眼画像を撮影する第２の魚眼カメラと、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する結合画像生成モジュールと、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するオブジェクト分類モジュールと、前記結合画像に基づいて、ボウル形状画像の一部を生成するボウル生成モジュールと、を備えているコンピューティングシステムを含む。
【００７５】
例２は、例１の主題を含み、前記結合画像生成モジュールは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、（ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、を含む。
【００７６】
例３は、例１及び２のうちのいずれかの主題を含み、前記特徴照合モジュールは、さらに、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムの基本行列を決定し、前記基本行列は、前記カメラシステムのジオメトリに基づく。
【００７７】
例４は、例１〜３のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
【００７８】
例５は、例１〜４のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
【００７９】
例６は、例１〜５のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
【数５】
2017502404.tif 000007
を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
【００８０】
例７は、例１〜６のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
【００８１】
例８は、例１〜７のうちのいずれかの主題を含み、前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する。
【００８２】
例９は、例１〜８のうちのいずれかの主題を含み、前記画像統合モジュールは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにする。
【００８３】
例１０は、例１〜９のうちのいずれかの主題を含み、前記結合画像生成モジュールは、前記第１の魚眼画像と前記第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、（ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、を含む。
【００８４】
例１１は、例１〜１０のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出し、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することを含む。
【００８５】
例１２は、例１〜１１のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
【００８６】
例１３は、例１〜１２のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
【００８７】
例１４は、例１〜１３のうちのいずれかの主題を含み、前記勾配制約方程式を適用することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
【００８８】
例１５は、例１〜１４のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【００８９】
例１６は、例１〜１５のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【００９０】
例１７は、例１〜１６のうちのいずれかの主題を含み、前記オブジェクト分類モジュールは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像内の前記関心領域を決定する関心領域決定モジュールと、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、を含む。
【００９１】
例１８は、例１〜１７のうちのいずれかの主題を含み、魚眼画像を撮影するために、前記第１の魚眼カメラ及び前記第２の魚眼カメラのうちの少なくとも１つの魚眼カメラを較正する較正モジュールをさらに備えている。
【００９２】
例１９は、例１〜１８のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
【００９３】
例２０は、例１〜１９のうちのいずれかの主題を含み、前記関心領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
【００９４】
例２１は、例１〜２０のうちのいずれかの主題を含み、前記関心領域決定モジュールは、さらに、前記第１の魚眼画像及び前記第２の魚眼画像のうちの前記１つの魚眼画像を、仮想的半球形状表示面に投影して、半球形状画像を生成し、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成することを含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
【００９５】
例２２は、例１〜２１のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記コンピューティングシステムのメモリからオブジェクトプロファイルを取得し、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することを含む。
【００９６】
例２３は、例１〜２２のうちのいずれかの主題を含み、前記ボウル生成モジュールは、（ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、を含む。
【００９７】
例２４は、例１〜２３のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するボウルワーピングモジュールをさらに備えている。
【００９８】
例２５は、例１〜２４のうちのいずれかの主題を含み、前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
【００９９】
例２６は、例１〜２５のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
【０１００】
例２７は、例１〜２６のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
【数６】
2017502404.tif 000008
として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
【０１０１】
例２８は、例１〜２７のうちのいずれかの主題を含み、前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
【０１０２】
例２９は、例１〜２８のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
【０１０３】
例３０は、例１〜２９のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
【０１０４】
例３１は、例１〜３０のうちのいずれかの主題を含み、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像の前記一部を生成し、前記コンピューティングシステムのディスプレイ上に、前記ボウル形状画像の前記一部を表示する表示モジュールをさらに備えている。
【０１０５】
例３２は、例１〜３１のうちのいずれかの主題を含み、前記ボウル形状画像の前記一部を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
【０１０６】
例３３は、例１〜３２のうちのいずれかの主題を含み、前記コンピューティングシステムは、車両内コンピューティングシステムとして具現化される。
【０１０７】
例３４は、ボウル形状画像を生成するためのコンピューティングデバイスであって、（ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、を備えているコンピューティングデバイスを含む。
【０１０８】
例３５は、例３４の主題を含み、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するボウルワーピングモジュールをさらに備えている。
【０１０９】
例３６は、例３４及び３５のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
【０１１０】
例３７は、例３４〜３６のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
【０１１１】
例３８は、例３４〜３７のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
【数７】
2017502404.tif 000009
として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
【０１１２】
例３９は、例３４〜３８のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
【０１１３】
例４０は、例３４〜３９のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
【０１１４】
例４１は、例３４〜４０のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
【０１１５】
例４２は、例３４〜４１のうちのいずれかの主題を含み、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像を生成し、前記コンピューティングデバイスのディスプレイ上に、前記ボウル形状画像を表示する表示モジュールをさらに備えている。
【０１１６】
例４３は、例３４〜４２のうちのいずれかの主題を含み、前記ボウル形状画像を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
【０１１７】
例４４は、例３４〜４３のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両内コンピューティングシステムとして具現化される。
【０１１８】
例４５は、複数の魚眼カメラにより生成された魚眼画像を結合するためのコンピューティングデバイスであって、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、（ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、を備えているコンピューティングデバイスを含む。
【０１１９】
例４６は、例４５の主題を含み、前記特徴照合モジュールは、さらに、前記第１の魚眼画像を生成する第１の魚眼カメラ及び前記第２の魚眼画像を生成する第２の魚眼カメラを含むカメラシステムの基本行列を決定し、前記基本行列は、前記カメラシステムのジオメトリに基づく。
【０１２０】
例４７は、例４５及び４６のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
【０１２１】
例４８は、例４５〜４７のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
【０１２２】
例４９は、例４５〜４８のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
【数８】
2017502404.tif 000010
を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
【０１２３】
例５０は、例４５〜４９のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
【０１２４】
例５１は、例４５〜５０のうちのいずれかの主題を含み、前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する。
【０１２５】
例５２は、例４５〜５１のうちのいずれかの主題を含み、前記画像統合モジュールは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにする。
【０１２６】
例５３は、オプティカルフローに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、第１の魚眼カメラにより生成された第１の魚眼画像と第２の魚眼カメラにより生成された第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、（ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、を備えているコンピューティングデバイスを含む。
【０１２７】
例５４は、例５３の主題を含み、前記オーバーラップ画像領域を決定することは、第１のシーンが撮影された前記第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された前記第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出し、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することを含む。
【０１２８】
例５５は、例５３及び５４のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
【０１２９】
例５６は、例５３〜５５のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
【０１３０】
例５７は、例５３〜５６のうちのいずれかの主題を含み、前記勾配制約方程式を適用することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
【０１３１】
例５８は、例５３〜５７のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【０１３２】
例５９は、例５３〜５８のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【０１３３】
例６０は、魚眼画像内のオブジェクトを分類するためのコンピューティングデバイスであって、魚眼画像内の関心領域を決定する関心領域決定モジュールと、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、を備えているコンピューティングデバイスを含む。
【０１３４】
例６１は、例６０の主題を含み、前記魚眼画像を撮影するために魚眼カメラを較正する較正モジュールをさらに備えている。
【０１３５】
例６２は、例６０及び６１のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
【０１３６】
例６３は、例６０〜６２のうちのいずれかの主題を含み、前記関心領域を決定することは、前記魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
【０１３７】
例６４は、例６０〜６３のうちのいずれかの主題を含み、前記関心領域決定モジュールは、さらに、前記魚眼画像を仮想的半球形状表示面に投影して、半球形状画像を生成し、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成することを含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
【０１３８】
例６５は、例６０〜６４のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得し、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することを含む。
【０１３９】
例６６は、コンピューティングデバイス上でボウル形状画像を利用するための方法であって、前記コンピューティングデバイスにより、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、を受信するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するステップと、前記コンピューティングデバイスにより、前記結合画像に基づいて、ボウル形状画像の一部を生成するステップと、を含む方法を含む。
【０１４０】
例６７は、例６６の主題を含み、前記結合画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出することと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することと、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定することと、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定することと、前記第１の継ぎ目及び前記第２の継ぎ目に基づいて、前記オーバーラップ領域内の第３の継ぎ目を決定することと、前記の決定された第３の継ぎ目において前記第１の魚眼画像と前記第２の魚眼画像とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成することと、を含む。
【０１４１】
例６８は、例６６及び６７のうちのいずれかの主題を含み、前記結合画像を生成することは、前記第１の魚眼画像を生成する第１の魚眼カメラ及び前記第２の魚眼画像を生成する第２の魚眼カメラを含むカメラシステムの基本行列を決定することを含み、前記基本行列は、前記カメラシステムのジオメトリに基づく。
【０１４２】
例６９は、例６６〜６８のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
【０１４３】
例７０は、例６６〜６９のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
【０１４４】
例７１は、例６６〜７０のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
【数９】
2017502404.tif 000011
を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
【０１４５】
例７２は、例６６〜７１のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
【０１４６】
例７３は、例６６〜７２のうちのいずれかの主題を含み、前記結合画像を生成することは、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行することを含む。
【０１４７】
例７４は、例６６〜７３のうちのいずれかの主題を含み、前記結合画像を生成することは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の投影の端部と、を強調しないようにすることを含む。
【０１４８】
例７５は、例６６〜７４のうちのいずれかの主題を含み、前記結合画像を生成することは、第１の魚眼カメラにより生成された前記第１の魚眼画像と第２の魚眼カメラにより生成された前記第２の魚眼画像とのオーバーラップ画像領域を決定することと、前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定することと、前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定することと、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成することと、を含む。
【０１４９】
例７６は、例６６〜７５のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出することと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することと、を含む。
【０１５０】
例７７は、例６６〜７６のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
【０１５１】
例７８は、例６６〜７７のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
【０１５２】
例７９は、例６６〜７８のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定することと、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定することと、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることと、を含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
【０１５３】
例８０は、例６６〜７９のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【０１５４】
例８１は、例６６〜８０のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【０１５５】
例８２は、例６６〜８１のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像内の前記関心領域を決定することと、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影することにより、直線状画像を生成することと、前記直線状画像内のオブジェクトを分類することと、を含む。
【０１５６】
例８３は、例６６〜８２のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像を撮影するために魚眼カメラを較正することを含む。
【０１５７】
例８４は、例６６〜８３のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
【０１５８】
例８５は、例６６〜８４のうちのいずれかの主題を含み、前記関心領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
【０１５９】
例８６は、例６６〜８５のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの前記１つの魚眼画像を、仮想的半球形状表示面に投影して、半球形状画像を生成することと、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成することと、を含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
【０１６０】
例８７は、例６６〜８６のうちのいずれかの主題を含み、前記オブジェクトを分類することは、前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得することと、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することと、を含む。
【０１６１】
例８８は、例６６〜８７のうちのいずれかの主題を含み、前記ボウル形状画像の一部を生成することは、生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定することと、前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定することと、前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定することと、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成することと、を含む。
【０１６２】
例８９は、例６６〜８８のうちのいずれかの主題を含み、前記ボウル形状画像の一部を生成することは、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化することを含む。
【０１６３】
例９０は、例６６〜８９のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記ボウル形状画像の一部を生成することは、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定することを含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
【０１６４】
例９１は、例６６〜９０のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
【０１６５】
例９２は、例６６〜９１のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
【数１０】
2017502404.tif 000012
として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
【０１６６】
例９３は、例６６〜９２のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
【０１６７】
例９４は、例６６〜９３のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
【０１６８】
例９５は、例６６〜９４のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
【０１６９】
例９６は、例６６〜９５のうちのいずれかの主題を含み、前記ボウル形状画像の一部を生成することは、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像の前記一部を生成することを含み、前記方法は、前記コンピューティングデバイスのディスプレイ上に、前記ボウル形状画像の前記一部を表示するステップをさらに含む。
【０１７０】
例９７は、例６６〜９６のうちのいずれかの主題を含み、前記ボウル形状画像の前記一部を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
【０１７１】
例９８は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例６６〜９７のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
【０１７２】
例９９は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例６６〜９７のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
【０１７３】
例１００は、ボウル形状画像を利用するためのコンピューティングデバイスであって、例６６〜９７のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
【０１７４】
例１０１は、コンピューティングデバイス上でボウル形状画像を生成するための方法であって、前記コンピューティングデバイスにより、生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定するステップと、前記コンピューティングデバイスにより、前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定するステップと、前記コンピューティングデバイスにより、前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するステップと、前記コンピューティングデバイスにより、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するステップと、を含む方法を含む。
【０１７５】
例１０２は、例１０１の主題を含み、前記コンピューティングデバイスにより、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するステップをさらに含む。
【０１７６】
例１０３は、例１０１及び１０２のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記方法は、前記コンピューティングデバイスにより、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定するステップをさらに含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
【０１７７】
例１０４は、例１０１〜１０３のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
【０１７８】
例１０５は、例１０１〜１０４のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
【数１１】
2017502404.tif 000013
として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
【０１７９】
例１０６は、例１０１〜１０５のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
【０１８０】
例１０７は、例１０１〜１０６のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
【０１８１】
例１０８は、例１０１〜１０７のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
【０１８２】
例１０９は、例１０１〜１０８のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像を生成するステップと、前記コンピューティングデバイスにより、前記コンピューティングデバイスのディスプレイ上に、前記ボウル形状画像を表示するステップと、をさらに含む。
【０１８３】
例１１０は、例１０１〜１０９のうちのいずれかの主題を含み、前記ボウル形状画像を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
【０１８４】
例１１１は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１０１〜１１０のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
【０１８５】
例１１２は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１０１〜１１０のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
【０１８６】
例１１３は、ボウル形状画像を生成するためのコンピューティングデバイスであって、例１０１〜１１０のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
【０１８７】
例１１４は、コンピューティングデバイス上で、複数の魚眼カメラにより生成された魚眼画像を結合するための方法であって、前記コンピューティングデバイスにより、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出するステップと、前記コンピューティングデバイスにより、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成するステップと、前記コンピューティングデバイスにより、前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定するステップと、前記コンピューティングデバイスにより、前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成するステップと、を含む方法を含む。
【０１８８】
例１１５は、例１１４の主題を含み、前記コンピューティングデバイスにより、前記第１の魚眼画像を生成する第１の魚眼カメラ及び前記第２の魚眼画像を生成する第２の魚眼カメラを含むカメラシステムの基本行列を決定するステップをさらに含み、前記基本行列は、前記カメラシステムのジオメトリに基づく。
【０１８９】
例１１６は、例１１４及び１１５のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
【０１９０】
例１１７は、例１１４〜１１６のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
【０１９１】
例１１８は、例１１４〜１１７のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
【数１２】
2017502404.tif 000014
を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
【０１９２】
例１１９は、例１１４〜１１８のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
【０１９３】
例１２０は、例１１４〜１１９のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行するステップをさらに含む。
【０１９４】
例１２１は、例１１４〜１２０のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにするステップをさらに含む。
【０１９５】
例１２２は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１１４〜１２１のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
【０１９６】
例１２３は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１１４〜１２１のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
【０１９７】
例１２４は、画像スティッチングに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、例１１４〜１２１のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
【０１９８】
例１２５は、オプティカルフローに基づいて、コンピューティングデバイス上で魚眼画像を結合するための方法であって、前記コンピューティングデバイスにより、第１の魚眼カメラにより生成された第１の魚眼画像と第２の魚眼カメラにより生成された第２の魚眼画像とのオーバーラップ画像領域を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定するステップと、前記コンピューティングデバイスにより、前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定するステップと、前記コンピューティングデバイスにより、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成するステップと、を含む方法を含む。
【０１９９】
例１２６は、例１２５の主題を含み、前記オーバーラップ画像領域を決定するステップは、前記コンピューティングデバイスにより、第１のシーンが撮影された前記第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された前記第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出するステップと、前記コンピューティングデバイスにより、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定するステップと、を含む。
【０２００】
例１２７は、例１２５及び１２６のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
【０２０１】
例１２８は、例１２５〜１２７のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
【０２０２】
例１２９は、例１２５〜１２８のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定することと、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定することと、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることと、を含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
【０２０３】
例１３０は、例１２５〜１２９のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【０２０４】
例１３１は、例１２５〜１３０のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
【０２０５】
例１３２は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１２５〜１３１のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
【０２０６】
例１３３は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１２５〜１３１のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
【０２０７】
例１３４は、オプティカルフローに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、例１２５〜１３１のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
【０２０８】
例１３５は、コンピューティングデバイス上で魚眼画像内のオブジェクトを分類するための方法であって、前記コンピューティングデバイスにより、魚眼画像内の関心領域を決定するステップと、前記コンピューティングデバイスにより、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影することにより、直線状画像を生成するステップと、前記コンピューティングデバイスにより、前記直線状画像に対してオブジェクト分類を実行するステップと、を含む方法を含む。
【０２０９】
例１３６は、例１３５の主題を含み、前記コンピューティングデバイスにより、前記魚眼画像を撮影するために魚眼カメラを較正するステップをさらに含む。
【０２１０】
例１３７は、例１３５及び１３６のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
【０２１１】
例１３８は、例１３５〜１３７のうちのいずれかの主題を含み、前記関心領域を決定することは、前記魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
【０２１２】
例１３９は、例１３５〜１３８のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、前記魚眼画像を仮想的半球形状表示面に投影して、半球形状画像を生成するステップと、前記コンピューティングデバイスにより、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成するステップと、をさらに含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
【０２１３】
例１４０は、例１３５〜１３９のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得することと、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することと、を含む。
【０２１４】
例１４１は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１３５〜１４０のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
【０２１５】
例１４２は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１３５〜１４０のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
【０２１６】
例１４３は、魚眼画像内のオブジェクトを分類するためのコンピューティングデバイスであって、例１３５〜１４０のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
【図１】
2017502404.tif 000018
【図２】
2017502404.tif 000019
【図３】
2017502404.tif 000020
【図４】
2017502404.tif 000021
【図５Ａ】
2017502404.tif 000022
【図５Ｂ】
2017502404.tif 000023
【図６】
2017502404.tif 000024
【図７】
2017502404.tif 000025
【図８】
2017502404.tif 000026
【図９】
2017502404.tif 000027
【図１０】
2017502404.tif 000028
【図１１】
2017502404.tif 000029
【図１２】
2017502404.tif 000030
【図１３】
2017502404.tif 000031
【図１４Ａ】
2017502404.tif 000032
【図１４Ｂ】
2017502404.tif 000033
【図１５】
2017502404.tif 000034
【図１６】
2017502404.tif 000035
【図１７】
2017502404.tif 000036
【図１８】
2017502404.tif 000037
【図１９】
2017502404.tif 000038
【国際調査報告】
2017502404.tif 000039
2017502404.tif 000040