(57)【要約】  車両イメージングシステムで使用するために全方向画像モデルとレクティリニア画像モデル間で様々な変換を行なうシステム及び方法。詳細には、車両上に位置決めされた全方向カメラからの全方向画像をレクティリニア画像に変換するためのパネル変換システム及び方法。レクティリニア画像は、車両操縦の実行中に使用するためにドライバに表示される。パネル変換システム及び方法は、また、既存のレクティリニア画像処理システムと共に使用するために全方向カメラに基づいてレクティリニア画像モデルを提供する。レクティリニア画像モデルは、ステアリングホイール角度センサ及びユーザインタフェースなどの自動及び手動両方のシステム入力によって定義される可変組の入力パラメータに基づいて決定される。
2018533098.tif 000002
【特許請求の範囲】
【請求項１】
制御ユニットによって、車両上に配置された全方向カメラからの全方向画像をレクティリニア画像に変換する方法であって、
光学座標系で単位球面上の全方向画像を表す全方向カメラモデルにアクセスするステップであって、前記全方向カメラモデルが第１の複数の画素を有するステップと、
前記単位球面に接する局所平面を定義する１組のパラメータを受け取るステップであって、前記局所平面が、第２の複数の画素を有するレクティリニアカメラモデルを表すステップと、
前記１組のパラメータに基づいて前記局所平面の平面範囲を決定するステップであって、前記平面範囲が前記局所平面の境界を定義するステップと、
前記第１の複数の画素と前記第２の複数の画素との関係を決定するステップと、
前記制御ユニットに、前記全方向カメラからの前記全方向画像を受け取るステップと、
前記第１の複数の画素と前記第２の複数の画素との関係に基づいて前記全方向画像からレクティリニア画像を生成するステップとを含む方法。
【請求項２】
前記単位球面に接する前記局所平面を定義する前記１組のパラメータを受け取るステップが、前記光学座標系の原点で始まり前記局所平面と前記単位球面との接点を指すベクトルを表す情報を受け取るステップを含む、請求項１に記載の方法。
【請求項３】
前記ベクトルを表す情報が、複数の角度を含む、請求項２に記載の方法。
【請求項４】
前記１組のパラメータが、更に、視界と前記局所平面の解像度とを含む、請求項２に記載の方法。
【請求項５】
前記ベクトルが、前記光学原点から前記全方向画像上の関心領域への視線を定義する、請求項３に記載の方法。
【請求項６】
前記局所平面の境界を定義するステップが、更に、前記光学座標系に対する前記局所平面の全周囲を定義するステップを含む、請求項１に記載の方法。
【請求項７】
前記全方向カメラモデルの角度サンプル間隔と前記１組のパラメータとに基づいて前記第２の複数の画素のサンプル間隔を決定することを更に含む、請求項１に記載の方法。
【請求項８】
前記単位球面に接する前記局所平面が、前記全方向画像内の関心領域を定義する、請求項１に記載の方法。
【請求項９】
前記１組のパラメータによって定義された前記関心領域内の前記第１の複数の画素の各画素の位置を、前記光学座標によって表わされた世界位置にマッピングするステップを更に含む、請求項８に記載の方法。
【請求項１０】
前記第１の複数の画素の各画素の位置をマッピングするステップが、更に、前記単位球面上の前記複数の位置の各位置の前記マッピングを、前記光学座標によって表わされた所定の較正パターンで較正するステップを含む、請求項９に記載の方法。
【請求項１１】
前記第１の複数の画素と前記第２の複数の画素との関係を決定するステップが、
前記光学座標系に対する前記局所平面上の座標点を定義する局所平面格子を決定するステップと、
前記局所平面格子の前記座標点を前記単位球面上に投影することによって、前記光学座標系に対する前記単位球面上の座標点を定義する単位球面格子を決定するステップとを含む、請求項１に記載の方法。
【請求項１２】
前記単位球面格子上の各座標点が、前記第１の複数の画素の各画素位置を定義し、前記局所平面格子上の各対応座標点が、前記第２の複数の画素の各対応画素位置を定義する、請求項９に記載の方法。
【請求項１３】
前記レクティリニア画像を生成するステップが、前記全方向画像からの前記第１の複数の画素のそれぞれからの情報を、前記第２の複数の画素の各対応画素に複写するステップを含む、請求項１０に記載の方法。
【請求項１４】
前記車両内の表示装置上に前記レクティリニア画像を表示するステップを更に含む、請求項１に記載の方法。
【請求項１５】
前記単位球面に接する局所平面を定義する１組のパラメータを受け取るステップが、外部コントローラから前記１組のパラメータを受け取るステップを含む、請求項１に記載の方法。
【請求項１６】
単位球面に接する局所平面を定義する１組のパラメータを受け取るステップが、ドライバ入力に基づいて前記制御ユニットによって前記１組のパラメータを決定するステップを含む、請求項１に記載の方法。
【請求項１７】
前記レクティリニア画像を生成するステップが、前記１組のパラメータに基づいて前記単位球面からの前記全方向画像の一部分を前記局所平面上に投影することによって実行される、請求項１に記載の方法。
【請求項１８】
前記単位球面に接する第２の局所平面を定義する第２組のパラメータを受け取るステップであって、前記第２の局所平面が、第３の複数の画素を有する第２のレクティリニアカメラモデルを表すステップと、
前記第１の複数の画素と前記第３の複数の画素の関係を決定するステップと、
前記制御ユニットに、前記全方向カメラからの前記全方向画像を受け取るステップと、
前記第１の複数の画素と前記第３の複数の画素の関係に基づいて前記全方向画像から第２のレクティリニア画像を生成するステップとを含み、
前記第２のレクティリニア画像が、前記レクティリニア画像とは異なる透視ビューを有する、請求項１に記載の方法。
【請求項１９】
前記車両内の表示装置上に前記第２のレクティリニア画像を表示するステップを更に含む、請求項１８に記載の方法。
【請求項２０】
前記第１の複数の画素と前記第２の複数の画素との関係を決定するステップが、ルックアップテーブルを使用する補間によって部分的に行なわれる、請求項１に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
本発明の実施形態は、カメラ画像を処理し表示するシステム及び方法に関する。詳細には、本発明の実施形態は、全方向カメラ画像をレクティリニア（rectilinear）カメラ画像に変換することに関する。
【発明の概要】
【０００２】
車両イメージングシステムは、車両のドライバに広い視界を提供する。車両の内部に配置された表示画面が、車両のカメラからの画像をドライバに表示する。例えば、後方視野カメラは、車両の後部に取り付けられうる。後方視野カメラは、車両の真後ろにある物体を表示装置によって確認できるように下後方を向くように構成される。そのようにして、ドライバは、ドライバの視界内の盲点によって直接見えない車両背後の物体を確認できる。
【０００３】
後方視野カメラの１つのタイプは、全方向カメラ（例えば、魚眼レンズカメラ）である。全方向カメラは、超広角視界を捕らえる。車両の後部に取り付けられたとき、幾つかの全方向カメラが、車両の後ろに１８０度の視界を捕らえることができる。超広角ビューは、ドライバが、ドライバの車両に対して直角方向に近づく車両の検出を可能にする。これは、特に、ドライバが駐車スペースから車両をバックさせているときに有益である。このシナリオでは、隣りの駐車車両が、ドライバの交差交通の視界を妨げうる。後方視野カメラを使用することによって、ドライバは、ドライバが自然の視認性を得ようとするときに表示装置の支援によって駐車スペースから出ることができる。
【０００４】
しかしながら、全方向カメラのレンズによって、車両のドライバに投影される画像は歪みうる。この歪みによって、ドライバは、自分の車両とまわりの車両との距離を決定することが難しい。更に、全方向画像に基づいてまわりの車両の速度を決定することもまた難しい。したがって、ドライバに全方向画像だけを投影する表示装置による安全性便益は限定される。
【０００５】
本発明の実施形態は、全方向画像の関心領域を１つ以上のレクティリニア画像に変換するシステム及び方法を提供する。変換の一部として、全方向画像に存在する歪みが、レクティリニア画像として表示されたとき大幅に低減される。レクティリニア画像を使用することによって、ドライバは、車両の距離と速度をより正確に判断できる。更に、レクティリニア画像は、ドライバが他の物体の存在をより適切に評価することを可能にする。例えば、ドライバは、レクティリニア画像によって、歩行者、柱、ショッピングカートなどに対する距離を確認し測定できる。
【０００６】
本発明の実施形態は、また、パラメータベクトルによって定義されたパネルモデルを使用して全方向画像モデルとレクティリニア画像モデルとの間を変換するシステム及び方法を提供する。この変換は、全方向画像画素とレクティリニア画像画素と世界座標と画像画素との間のマッピングを含む。電子制御ユニットは、パネルモデルを計算し、次にそのパネルモデルを使って様々な画像処理機能を実行する。そのような機能は、パネルモデルを、レクティリニア画像で動作するように構成されたサードパーティソフトウェア及びハードウェアモデルに提供することを含む。パネルは、全方向カメラの光学原点からの透視ビューを全方向画像内の関心領域に数学的にモデル化することによってレクティリニア画像モデルを呈示する。
【０００７】
一実施形態では、本発明は、制御ユニットによって、車両上に配置された全方向カメラからの全方向画像をレクティリニア画像に変換する方法を提供する。制御ユニットは、光学座標系の単位球面上の全方向画像を表す全方向カメラモデルにアクセスする。全方向カメラモデルは、第１の複数の画素を有する。制御ユニットは、単位球面に接する局所平面を定義する１組のパラメータを受け取る。局所平面は、第２の複数の画素を有するレクティリニアカメラモデルを表す。制御ユニットは、１組のパラメータに基づいて局所平面の平面範囲（plane extent）を決定し、平面範囲は局所平面の境界を規定する。次に、制御ユニットは、第１の複数の画素と第２の複数の画素との関係を決定する。全方向カメラから全方向画像を受け取り、制御ユニットは、第１の複数の画素と第２の複数の画素との関係に基づいて、全方向画像からレクティリニア画像を生成する。
【０００８】
本発明の別の実施形態は、車両イメージングシステムを動作させる方法を提供する。この方法は、電子制御ユニットに、車両全方向カメラから全方向画像を受け取ることを含む。第１の傾斜透視ベクトルが決定される。次に、第１の傾斜透視ベクトルに対して直角の第１のレクティリニア画像が生成され、第１のレクティリニア画像が、車両のドライバに表示される。電子制御ユニットは、ドライバ操作制御機構からコマンドを受け取る。傾斜透視ベクトルが、そのコマンドに基づいて調整される。調整された傾斜透視ベクトルに直角の第２のレクティリニア画像が生成され、第２のレクティリニア画像が、ドライバに表示される。
【０００９】
更に別の実施形態では、本発明は、全方向カメラ、表示装置、ドライバ操作制御機構及び電子制御ユニットを含む車両イメージングシステムを提供する。電子制御ユニットは、全方向カメラから全方向画像を受け取り、第１の傾斜透視ベクトルを決定するように構成される。電子制御ユニットは、更に、第１の傾斜透視ベクトルに対して直角の第１のレクティリニア画像を生成し、第１のレクティリニア画像を表示装置に送るように構成される。電子制御ユニットは、また、ドライバ操作制御機構からコマンドを受け取り、そのコマンドに基づいて傾斜透視ベクトルを調整し、調整された傾斜透視ベクトルに対して直角の第２のレクティリニア画像を生成し、第２のレクティリニア画像を表示装置に送るように構成される。
【００１０】
本発明の他の態様は、詳細な説明及び添付図面の検討により明らかになる。
【図面の簡単な説明】
【００１１】
【図１】パネル変換システムを備えた車両を示す図である。
【図２】図１のパネル変換システムの電子制御ユニットのブロック図である。
【図３】図１のパネル変換システムを使用して全方向画像をレクティリニア画像に変換する方法のフローチャートである。
【図４】図３の方法において図１の全方向カメラによって電子制御ユニットに入力される全方向画像である。
【図５】図３の方法によって出力されるレクティリニア画像である。
【図６】図１のパネル変換システムの全方向カメラに対する光学座標系の三次元表現を示す図である。
【図７】図６の光学座標系で表示されたビューイング球面の三次元表現である。
【図８】図７のビューイング球面の三次元表現とビューイング球面に接する局所平面を示す図である。
【図９】図１のパネル変換システムによってパネルモデルを作成する方法のフローチャートである。
【図１０】図８に示された局所平面を計算する方法のフローチャートである。
【図１１】図９の方法の角度間隔を設定する方法のフローチャートである。
【図１２】図９の方法の接平面範囲を計算する方法のフローチャートである。
【図１３】図９の方法の接平面格子を計算する方法のフローチャートである。
【図１４】図９の方法の球面格子を計算する方法のフローチャートである。
【図１５】ビューイング球面と局所平面の間の投影点の関係の三次元表現を示す図である。
【図１６】図９の方法の出力格子を計算する方法のフローチャートである。
【図１７】図９の方法から作成されたパネルモデルを使用して、全方向画素位置を世界位置を指すベクトルに変換する方法のフローチャートである。
【図１８】図９の方法から作成されたパネルモデルを使用して、世界位置を局所平面上の画素位置に変換する方法のフローチャートである。
【図１９】全方向画像からの画素位置を図９の方法から作成された局所平面上の画素位置に変換する方法のフローチャートである。
【図２０】図９の方法から作成されたパネルモデルを使用して、局所平面からの画素位置を全方向画像上の画素位置に変換する方法のフローチャートである。
【図２１】第１のパネルモデルと第２のパネルモデルを使用して、第１の局所平面からの画素位置を第２の局所平面からの別の画素位置に変換する方法のフローチャートである。
【図２２】図９の方法から作成されたパネルモデルを使用して、ビューイング球面上の点を局所平面上の点に変換する方法のフローチャートである。
【図２３】図９の方法から作成されたパネルモデルを使用して、局所平面上の点をビューイング球面上の点に変換する方法のフローチャートである。
【図２４】図１のパネル変換システムの視界を実演する車両の俯瞰図である。
【図２５Ａ】図１の全方向カメラによって電子制御ユニットに入力される全方向画像である。
【図２５Ｂ】図２５Ａの全方向画像の変換に基づくレクティリニア画像である。
【図２５Ｃ】図２５Ｂに示されたものとは異なる透視ベクトルを使用する変換に基づくレクティリニア画像である。
【図２５Ｄ】図２５Ｂに示されたものとは別の透視ベクトルを使用する変換に基づくレクティリニア画像である。
【図２６】図２５Ｃ〜図２５Ｄの透視ベクトルを調整するためにステアリングホイール上に配置された入力インタフェースの例を示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態を詳細に説明する前に、本発明の用途が、以下の説明で示されるか又は以下の図面に示された構造の詳細及び構成要素の配列に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々な方法で実施又は実行されうる。
【００１３】
本発明を実現するために、複数のハードウェア及びソフトウェアベース装置並びに複数の異なる構造構成要素が使用されうることに注意されたい。更に、本発明の実施形態が、検討のために、構成要素の大部分がハードウェアのみで実現されるかのように図示又は記述されうるハードウェア、ソフトウェア、及び電子的構成要素若しくはモジュールを含みうることを理解されたい。しかしながら、当業者は、この詳細な説明を読むことにより、少なくとも１つの実施形態において、本発明の電子的態様が、１つ以上のプロセッサによって実行可能なソフトウェア（例えば、非一時的コンピュータ可読媒体に記憶された）で実現されうることを理解するであろう。したがって、本発明を実現するために、複数のハードウェア及びソフトウェアベースの装置並びに複数の異なる構造の構成要素を利用できることに注意されたい。例えば、明細書で述べる「制御ユニット」及び「コントローラ」は、１つ以上のプロセッサ、非一時的コンピュータ可読媒体を含む１つ以上のメモリモジュール、１つ以上の入出力インタフェース、及び構成要素を接続する様々な接続（例えば、システムバス）を含みうる。
【００１４】
最新車両では、イメージングシステムの使用が増えている。車両のまわりの広角度の視界を提供するために、車両の外側に１つ以上の全方向カメラ（例えば、魚眼レンズカメラ）を備えた最新車両が増えている。全方向カメラは、従来のレクティリニアカメラより大きい視界を提供する。しかしながら、全方向カメラは、画像の非線形性によって、レクティリニアカメラによって捕らえられた画像より歪んで見える画像を捕らえる。例えば、路上のレーンマーキングなどの平行線は、全方向カメラによって作成された画像内では湾曲して見える。多くの場合、そのようなカメラ画像は、ドライバの周囲の認識を高めるために、車両のドライバに表示される。しかしながら、全方向画像がドライバに表示されたとき、ドライバは、全方向画像だけに基づいて周囲の車両の距離と速度を計測することが難しいことがある。
【００１５】
本明細書に記載されたシステム又は方法の幾つかは、全方向カメラから捕らえられた全方向画像を、ドライバに表示にするためのレクティリニア画像に変換するパネル変換を提供する。レクティリニア画像は、全方向画像からの歪みの補正を含む。補正された画像は、ドライバが他の車両の距離及び速度を適切に計測するのを支援する。これは、特に、ドライバが駐車スペースからバックするときに有用である。この状況では、ドライバの視覚は、自分の車両の隣りに駐車された車両によって遮られることがある。後方視野全方向カメラを装備した車両は、ドライバが、隣の車両、例えば車両に対して直角に近づく車両によって遮られた車両を見ることを可能にしうる。ドライバが、近づく車両の距離と速度を適切に確認できるように、全方向画像は、ドライバへの表示前にレクティリニア画像に変換される。
【００１６】
パネル変換は、最初に、全方向画像内の関心領域を設定する。関心領域が定義された後、パネル変換は、全方向画像の一部分を本明細書に示された方法でレクティリニア画像に変換する。画像の一部分の変換は、最初に、全方向画像内の関心領域とその関心領域の透視ビューの関係をマッピングすることによって使用可能にされる。マッピングは、全方向画像に関連する多数の関数を実行する能力をパネル変換に提供する。
【００１７】
図１は、パネル変換の一実施形態を備えた車両１００を示す。車両１００は、全方向カメラ１０５、電子制御ユニット（ＥＣＵ１１０）、車両通信バス１１５（例えば、ＣＡＮバス）、表示装置１２０及び入力インタフェース１２５を含む。幾つかの実施形態は、また、ステアリングホイール１３０と、入力信号をＥＣＵ１１０に提供するように構成されたステアリング角度センサ１３５とを含む。カメラ１０５は、ＥＣＵ１１０に通信で結合され、それにより、ＥＣＵ１１０は、カメラ１０５によって捕らえられた複数の画像にアクセスする。複数の画像は、連続的なビデオストリームでもよく、一連のスチル画像でよい。ＥＣＵ１１０は、カメラ１０５からの複数の画像を処理し、処理された画像を車両のドライバが見るための表示装置１２０に送る。通信バス１１５は、ＥＣＵ１１０を、他の車両システムと共に表示装置１２０と通信で結合する。したがって、通信バス１１５は、ＥＣＵ１１０と表示装置１２０と入力インタフェース１２５と他の車両システムとの間の通信を可能にする。幾つかの実施形態では、表示装置１２０と入力インタフェース１２５は、単一ユニットに結合される。例えば、入力インタフェース１２５は、表示装置１２０上のタッチスクリーンを介してドライバからコマンドを受け取ることができる。
【００１８】
図２は、パネル変換のＥＣＵ１１０のブロック図である。ＥＣＵ１１０は、特に、全方向画像の一部分をレクティリニア画像に変換するように構成される。ＥＣＵ１１０は、ＥＣＵ１１０及び／又はカメラ１０５内の構成要素及びモジュールに対して電力、動作制御及び保護を提供する複数の電気及び電子構成要素を含む。例えば、ＥＣＵ１１０は、特に、コントローラ２０５（プログラム可能な電子マイクロプロセッサ、マイクロコントローラ又は類似装置など）、電源モジュール２１０及び入出力モジュール２１５を含む。コントローラ２０５は、特に、処理ユニット２２０とメモリ２２５を含む。処理ユニット２２０は、メモリ２２５に通信で結合され、メモリ２２５に記憶可能な命令を実行する。コントローラ２０５は、特に、本明細書に記載された制御プロセス及び方法と関連した命令を、メモリ２２５から取り出し実行するように構成される。他の実施形態では、ＥＣＵ１１０は、追加の構成要素、より少数の構成要素、又は異なる構成要素を含む。
【００１９】
図２の実施形態では、入出力モジュール２１５が、カメラ１０５から全方向画像を受け取り、その全方向画像を画像処理のためにコントローラ２０５に送る。次に、コントローラ２０５は、内部プロトコル及び外部コマンドに基づいて画像を処理し変換する。ＥＣＵ１１０は、ＥＣＵ１１０と表示装置１２０の間の通信バス１１５又は別の通信リンクを介して、変換画像を表示装置１２０に送る。更に、入出力モジュール２１５は、入力インタフェース１２５から、全方向画像の関心領域を識別するコマンドを受け取る。全方向画像の関心領域は、ＥＣＵ１１０及び／又はドライバによって、特にその時点でドライバに関連すると判断された全方向画像の部分を表す。
【００２０】
入力インタフェース１２５は、ドライバが全方向画像の関心領域を手動で選択することを可能にするドライバ制御２４０を含む。ドライバ制御２４０は、例えば、ボタン、ダイヤル又はジョイスティックを含みうる。多くの場合、ドライバ制御機構２４０は、例えば、ステアリングホイール１３０上、センターコンソール上、又はダッシュボード上のドライバに好都合な位置に位置決めされる。詳細には、ステアリングホイール１３０上に配置された音声制御機構のメディアキーは、ドライバが関心領域を手動で選択することを可能にするように構成されうる。そのような実施形態では、制御機構は、二重目的の機能を実行し、各機能が様々なモードで選択される。例えば、第１のモードで、メディアキーは、音声制御機構を操作し、第２のモードで、メディアキーは、関心領域を定義する信号をＥＣＵ１１０に入力する。そのような例では、第１のモードは、デフォルトモードでよく、第２のモードは、手動スイッチ又はトリガ事象（車両をバックギアに入れることなど）による自動作動によって活動化されうる。
【００２１】
幾つかの実施形態では、入力インタフェース１２５は、ドライバ制御機構２４０を含まない。より正確に言うと、ＥＣＵ１１０は、自動車両システムからデータを受け取る。自動車両システムは、全方向画像の関心領域を自動的に定義できる。例えば、ステアリング角度センサ１３５が、ステアリング角度データをＥＣＵ１１０に入力できる。ステアリング角度データを使用して、ＥＣＵ１１０は、車両の移動方向を予測し、予測した移動方向に基づいて関心領域を選択する。他の実施形態では、ドライバ制御２４０及び自動車両システムが両方とも、関心領域を定義するために使用される。これらのシステムは、連携して、又は指定された優先順位で使用されうる。例えば、車両がバックギアにあるとき、ＥＣＵ１１０は、ステアリング角度データに基づいて関心領域を決定できる。次に、活動化されたとき、ドライバ制御機構２４０は、ステアリング角度データに基づいて決定された関心領域を無効にできる。連携制御を有するそのような一実施形態では、ドライバ制御機構２４０とステアリング角度データは両方とも、関心領域の決定を支援できる。連携制御は、所定の優先順位に応じて異なる重みが割り当てられたステアリング角度センサ１３５とドライバ制御機構２４０を有する。
【００２２】
入力インタフェース１２５は、通信バス１１５上の通信モジュールによってリンクされうる。幾つかの実施形態では、入力インタフェース１２５は、入出力モジュール２１５と通信するためのＪ１９３９又はＣＡＮバスなどのプロトコルによって通信する。他の実施形態では、入力インタフェース１２５は、特定用途の必要に応じて、他の適切なプロトコルで入出力モジュール２１５と通信する。幾つかの実施形態では、入力インタフェース１２５は、様々な自動車制御機構及びセンサから情報を入力する。
【００２３】
図３は、カメラ１０５によって取得された全方向画像の一部分をレクティリニア画像に変換する方法を示す。最初のステップで、ＥＣＵ１１０は、カメラ１０５から全方向画像をロードし、パネルモデル（後述する）をロードする（ステップ３０５）。第２のステップで、ＥＣＵ１１０は、パネルモデルに基づいて全方向画像の一部分をレクティリニア画像にマッピングする（ステップ３１０）。換言すると、ＥＣＵ１１０は、パネルモデルに基づいて、全方向画像の一部分の各画素位置をレクティリニア画像の対応する画素位置にワープするワープルーチンを実行する。プロセスで、ＥＣＵ１１０は、全方向画像の一部分の各画素からの情報を、対応するレクティリニア画素に複写する。第３のステップで、パネル画像（即ち、レクティリニア画像）が生成され出力される（ステップ３１５）。次に、その出力が、表示装置１２０に送られうる。図３のこの方法が、追加のパネルモデルに繰り返されうることに注意されたい。各パネルモデルは、全方向画像の異なる部分を表現できる。ＥＣＵ１１０が、複数のパネルモデルに基づいて複数のレクティリニア画像を出力するとき、表示装置１２０は、複数のレクティリニア画像を様々な構成で表示できる。
【００２４】
図４は、図３に示された変換の前の全方向カメラ画像を示す。前述のように、全方向画像は、画像に非線形性を含む。例えば、格子縞４０５が、全方向画像表示が平行線をどのように表示するかを示す。図示されたように、格子縞４０５の上側４１０と左側４１５が、外方に湾曲している。この反対に、下側４２０と右側４２５は、内方に湾曲している。これと対照的に、図５に変換後の全方向画像が示される。変換画像が示すように、格子縞５０５は、格子縞４０５の非線形性の補正を示す。格子縞５０５の上側５１０、左側５１５、下側５２０及び右側５２５は、レクティリニアカメラによって捕らえられるときに直線縁に近づく。領域５３０は、画像の、カメラ１０５の視界から外れた領域である。
【００２５】
他の実施形態では、ＥＣＵ１１０は、全方向画像からの情報に基づいて様々な変換を実行して、ＥＣＵ１１０内とイメージングシステムの外部の他の車両システム及びコントローラとの両方による様々な機能を可能にする。図６に基準系が示される。基準系は、座標［０，０，０］が光学原点６１０に位置決めされた光学座標系（ＯＣＳ）を含む。光学原点６１０は、カメラ１０５がその周囲からの光を検出する中心点を表す（例えば、ピンホールカメラ）。図示されたように、Ｚ軸は、カメラ１０５の視線の中心に沿ってまっすぐ伸びる。Ｙ軸は、下方かつ中心視線に対して垂直に伸びる。Ｘ軸は、右方かつカメラ１０５に対して垂直に伸びる。この座標系は、ＥＣＵ１１０による実世界位置の解析を可能にする。
【００２６】
操作前に、ＯＣＳをカメラ１０５の光学素子と位置合わせする較正手順が実行される。較正手順は、全方向画像によって捕らえられた規定パターンを使用する。例えば、較正は、格子縞４０５を使用してＯＣＳを全方向画像と位置合わせできる。較正の際、格子縞４０５によって表わされＯＣＳに対して定義された世界位置が、画素位置にマッピングされる。また、画素位置は、対応する世界点（例えば、格子縞４０５上の位置）の方を向いたベクトルにマッピングされる。
【００２７】
図７は、ＯＣＳに重ねられたビューイング球面７１０として表示された全方向画像７０５を示す。換言すると、ビューイング球面７１０は、ＯＣＳ内のカメラ１０５によって受け取られるような全方向画像７０５を表す。ビューイング球面７１０は、光学原点６１０からの１組のベクトルによって定義された、１単位の大きさを有する領域でよい（即ち、単位球面）。ビューイング球面７１０は、全方向画像７０５の視覚的表現を提供する。全方向画像７０５を構成する複数の画素は、ビューイング球面７１０によって定義された領域内に位置決めされる。ビューイング球面７１０が理論的に隣接しているとき、全方向画像７０５の最大解像度が複数の画素の量に依存することに注意されたい。画素の量は、カメラ１０５のタイプに依存する。一実施形態では、ＥＣＵ１１０は、全方向画像７０５を、メモリ２２５に、ビューイング球面７１０上の画素位置に基づく値の表で記憶する。画素位置は、光学原点６１０に対して（例えば、ベクトルとして）、又はビューイング球面７１０上の座標点として表されうる。
【００２８】
図８に、ビューイング球面７１０に接する局所平面８０５が示される。局所平面８０５は、ＥＣＵ１１０にロードされた１組のパラメータによって定義される。一実施形態では、１組のパラメータは、局所平面８０５の方向と方位、垂直視野、水平視野及びスケールファクタを示す値を含む。そのような一実施形態では、局所平面８０５の方向と方位は、光学原点６１０からのヨー角、ピッチ角及びロール角によって、又は光学座標軸からの角度から定義されうる。このようにして、局所平面８０５の方向は、局所平面８０５の中心の方を向いたパラメータベクトルによって示される。ビューの垂直及び水平視野はそれぞれ、交差するパラメータベクトルとの角度によって定義されうる。ＥＣＵ１１０は、メモリ２２５内の１組のパラメータを次のようにベクトルの形で記憶しうる。
【００２９】
【数１】
2018533098.tif 000003
【００３０】
ここで、｛ΡψY，ΡψP，ΡψR｝はそれぞれヨー、ピッチ及びロールを表わし、｛ＰθV，ΡθΗ］は垂直及び水平視野（例えば、ＰθV＝ＰθH＝１００°）を表し、ＰΔは解像度を制御するスケールファクタである。換言すると、｛ΡψY，ＰψP，ＰψR｝は、パネル方向と方位を定義する。
【００３１】
１組のパラメータが値によって定義された後、局所平面８０５が、パネルモデルに変換されうる。パネルモデルは、ビューイング球面７１０に接する関心領域をＯＣＳを基準にして指定し、それによりビューイング球面７１０上の関心領域も指定する。パネルモデルは、次の形の固有行列によって定義されうる。
【００３２】
【数２】
2018533098.tif 000004
【００３３】
ここで、ａxとａyは、スケーリングパラメータを表し、［ｘ0，ｙ0］Tは、パラメータベクトルが局所平面８０５と交差する点である。パネルモデルは、パラメータベクトルの方向に向けられた仮想透視カメラを表わし、このパラメータベクトルは光学原点６１０から始まる。パネルモデルは、方向、視界及び解像度を含む１組のパラメータによって示された全ての情報を含みうる。
【００３４】
図９は、１組のパラメータに基づいてパネルモデルを決定する方法を示す。ＥＣＵ１１０が、１組のパラメータに基づいて、ビューイング球面７１０に対する局所平面８０５を計算する（ステップ９０５）。ＥＣＵが、局所平面８０５の角度サンプル間隔を設定する（ステップ９１０）。ＥＣＵ１１０が、局所平面８０５の平面範囲を計算する（ステップ９１５）。ＥＣＵ１１０が、局所平面格子を決定する（ステップ９２０）。ＥＣＵ１１０が、局所平面格子に基づいて球面格子を決定する（ステップ９２５）。ＥＣＵが、出力格子を決定する（ステップ９３０）。ＥＣＵが、出力格子に基づいてパネルモデルを決定する（ステップ９３５）。
【００３５】
図１０〜図１５は、図９に示された方法の特定のステップを示す。ステップ９０５に関して、図１０は、局所平面８０５を計算する方法を示す。前述したように、局所平面８０５は、ビューイング球面７１０の上にある。局所平面８０５は、角度座標［ΡψY ΡψP ΡψR］Tによって決定される。角度座標は、前述したようなユーザ定義パラメータによって指定される。局所平面８０５を計算するために、ＥＣＵ１１０が、１組のパラメータによって指定された方向を決定する（ステップ１００５）。ＥＣＵ１１０が、回転行列を計算する（ステップ１０１０）。最後に、ＥＣＵ１１０が、原点がパラメータベクトルとビューイング球面７１０の間の接点にある局所平面座標系を定義する（ステップ１０１５）。一実施形態では、初期基準｛Ｘ，Ｙ，Ｚ｝が、以下のように決定される。
【００３６】
【数３】
2018533098.tif 000005
【００３７】
これらの値を使用して、ヨー角は、以下のようなパラメータから適用される。
【００３８】
【数４】
2018533098.tif 000006
【００３９】
ここで、
【００４０】
【数５】
2018533098.tif 000007
【００４１】
ピッチ角も、以下のようなパラメータから適用される。
【００４２】
【数６】
2018533098.tif 000008
【００４３】
ここで、
【００４４】
【数７】
2018533098.tif 000009
【００４５】
同様に、ロール角は、以下のようなパラメータから適用される。
【００４６】
【数８】
2018533098.tif 000010
【００４７】
ここで、
【００４８】
【数９】
2018533098.tif 000011
【００４９】
上記ステップが、回転行列を任意の順序で適用することに注意されたい。ステップは、代替順序で実行されうる。回転行列を適用した後で、ＥＣＵ１１０は、以下に基づいて局所平面８０５｛ＸLTP，ＹLTP，ＺLTP｝を決定する。
【００５０】
【数１０】
2018533098.tif 000012
【００５１】
一般的な意味で、回転行列は、直交群０（ｎ）に属し、したがって、式は次のように単純化されうる。
【００５２】
【数１１】
2018533098.tif 000013
【００５３】
ここで、Ｒ（Ｔｉｌｄｅ）∈０（３）は、Ｒ（Ｔｉｌｄｅ）ＴＲ（Ｔｉｌｄｅ）＝Ｉとなるような任意の回転行列を表す。次に、局所平面座標系は、ＥＣＵ１１０によって以下の行列で符号化される。
【００５４】
【数１２】
2018533098.tif 000014
【００５５】
ここで、ＭLTPは、局所平面座標系によって表された均質点又はベクトルをＯＣＳによって表された均質点又はベクトルに変換するＥＣＵ１１０と呼ばれる関数である。
【００５６】
局所平面８０５を計算した後で、ＥＣＵ１１０は、図１１に示されたステップを使用して一定角度サンプル間隔を設定する。ＥＣＵ１１０が、角度範囲を計算する（ステップ１１０５）。ＥＣＵ１１０が、最高解像度を計算する（ステップ１１１０）。次に、ＥＣＵ１１０は、パラメータからスケールファクタを読み取る（ステップ１１１５）。最後に、ＥＣＵ１１０は、格子サンプル間隔を定義する（ステップ１１１５）。ステップ１１０５から１１１５を使用して一定角度サンプル間隔を決定するための一実施形態は、以下のステップで示される。ｈとｗは全方向画像７０５の高さと幅を表すものとする。次に、ｃとｒが、以下のように定義される。
【００５７】
【数１３】
2018533098.tif 000015
【００５８】
角度範囲は、以下のように計算される。
【００５９】
【数１４】
2018533098.tif 000016
【００６０】
ここで、Ｆは、較正処理の際に計算される前方投射関数を表す。サンプル間隔は均一ではないが、単純化を使用して、サンプル間隔は、以下のように計算されうる。
【００６１】
【数１５】
2018533098.tif 000017
【００６２】
最高解像度が決定される。
【００６３】
【数１６】
2018533098.tif 000018
【００６４】
ここで、μθは、全方向画像７０５の理想的な角度格子入り支援（angular gridded support）を表す。次に、局所接平面上のサンプル間隔が、以下のように決定される。
【００６５】
【数１７】
2018533098.tif 000019
【００６６】
ここで、ＰΔ＞１はサンプル間隔を拡大し、ＰΔ＜１はサンプル間隔を縮小する。サンプル間隔が広げられると画像の解像度が低くなり、これと反対にサンプル間隔が縮められると解像度が高くなる。
【００６７】
パネルモデルを決定する際の次のステップは、平面範囲を計算することである。平面範囲を計算する方法が、図１２に示される。ＥＣＵ１１０は、１組のパラメータに基づいて光学原点６１０からの視界を表す垂直及び水平角をロードする（ステップ１２０５）。ＥＣＵ１１０は、局所平面８０５の境界を定義する初期平面限界を計算する（ステップ１２１０）。最後に、ＥＣＵ１１０は、ゼロを中心に位置決めすることによって初期平面限界の精度を高める（ステップ１２１５）。方法１２００の一実施形態は、以下のステップと式を使用する。最初に、視界パラメータ［ＰθV  ＰθH］Tに対する局所平面８０５の範囲を決定する。換言すると、局所平面８０５の全周囲は、垂直角と水平角によって定義された視界まで広がる限界によって定義される。一実施形態では、平面の限界は、以下のステップと式によって決定される。
【００６８】
【数１８】
2018533098.tif 000020
【００６９】
平面の限界は、以下のように示された式を使用してゼロを明示的に含むように修正される（下記の節を参照）。
【００７０】
【数１９】
2018533098.tif 000021
【００７１】
次の式が得られる。
【００７２】
【数２０】
2018533098.tif 000022
【００７３】
換言すると、平面範囲（即ち、局所平面８０５が広がる全領域）は、次の式で示される。
【００７４】
【数２１】
2018533098.tif 000023
【００７５】
パネルモデルを決定する次のステップは、平面格子を計算することである。平面格子を計算する方法は、図１３に示される。ＥＣＵ１１０は、メモリ２２５から一定角度サンプル間隔をロードする（ステップ１３０５）。ＥＣＵ１１０は、格子点を定義する（ステップ１３１０）。最後に、ＥＣＵ１１０は、カメラ１０５の固有パラメータを計算する（ステップ１３１５）。方法の一実施形態は、以下のステップ及び式を使用する。ＥＣＵ１１０は、局所平面８０５上の１組の格子点を計算する。各格子点は、対象の世界点に対応し、その点にマッピングされた対応画素を有する。ＥＣＵ１１０は、固有行列Ｋを決定する。ＥＣＵ１１０は、最初に以下のベクトルを決定することによって局所平面格子を計算する。
【００７６】
【数２２】
2018533098.tif 000024
【００７７】
局所平面格子縞格子は、次の式によって示される。
【００７８】
【数２３】
2018533098.tif 000025
【００７９】
ここで、網状格子は標準ＭＡＴＬＡＢ関数であり、ＸLTPとＹLTPは、いわゆる格子点を縞格子形式で記憶する行列である。格子は、以下の計算を使用してＯＣＳに変換される。
【００８０】
【数２４】
2018533098.tif 000026
【００８１】
内部カメラパラメータは、次の式によって示される。
【００８２】
【数２５】
2018533098.tif 000027
【００８３】
ビューイング球面７１０が単位球面として定義されるので、焦点距離は１に標準化される（即ち、ｆ＝１）。ＥＣＵ１１０は、以下の式を使用して、画素スケールパラメータを設定する。
【００８４】
【数２６】
2018533098.tif 000028
【００８５】
固有行列は、以下の形で表される。
【００８６】
【数２７】
2018533098.tif 000029
【００８７】
パネルモデルを決定する際の次のステップは、球面格子を計算することである。図１４は、球面格子を計算する方法を示す。最初のステップで、ＥＣＵ１１０は、平面格子をロードする（ステップ１４０５）。第２のステップで、ＥＣＵ１１０は、局所平面格子をビューイング球面７１０にマッピングする（ステップ１４１０）。方法１４００の一実施形態は、以下のステップと式を使用する。球面格子は、局所平面格子｛ｘocs，ｙocs，ｚocs｝をビューイング球面７１０｛ｘsph，ｙsph，ｚsph｝に投影し、ＯＣＳに対する局所平面格子を定義することによって計算される。例えば、図１５は、ビューイング球面７１０上の投影点｛ｘsph，ｙsph，ｚsph｝を示す。球面格子｛ｘsph，ｙsph，ｚsph｝は、以下の式によって、局所平面格子｛ｘocs，ｙocs，ｚocs｝の各格子サンプル（ｉ，ｊ）を標準化することによって計算される。
【００８８】
【数２８】
2018533098.tif 000030
【００８９】
換言すると、平面ｐplane［ｉ，ｊ］＝[ｘocs［ｉ，ｊ］ｙocs［ｉ，ｊ］ｚocs［ｉ，ｊ］］Tは、||ｐplane［ｉ，ｊ］||≧１のＬ２ノルムを有し、標準化によって、||ｐplane［ｉ，ｊ］||＝１∀i,jとなり、全ての点がビューイング球面７１０に投影される。
【００９０】
パネルモデルを決定するための最後のステップで、ＥＣＵ１１０は、図１６に示されたような出力格子を計算する。最初のステップで、ＥＣＵ１１０は、球面格子をロードする（ステップ１６０５）。第２のステップで、ＥＣＵ１１０は、ビューイング球面７１０上の画素に球面格子をマッピングする（ステップ１６１０）。球面格子を画素にマッピングするステップは、ルックアップテーブルを使用する補間プロセスを含みうる。次に、ＥＣＵ１１０が、パネルモデルを計算する。パネルモデルは、仮想カメラパースペクティブモデルを表す。換言すると、パネルモデルは、全方向カメラの原点から得られたビューイング平面の数学的モデルである。
【００９１】
ＥＣＵ１１０が、多数の組のパラメータに基づいて多数のパネルモデルを並列に計算できることに注意されたい。多数のパネルモデルが決定されたとき、ＥＣＵ１１０は、各組のパラメータに基づいて各パネルモデルを計算する。各組のパラメータは、様々な自動又は手動入力に基づいて個別に決定されうる。パネルモデルの幾つかは、一定に保持され（セットパラメータベクトルで）、一方、他のパネルモデルは、移動パラメータベクトルに基づいて再位置決めされ再計算される。ＥＣＵ１１０は、多数のパネルモデルに基づく平行レクティリニア画像を表示装置１２０に出力して、多数の異なるレクティリニア画像を同時に表示できる。あるいは、ＥＣＵ１１０は、画像処理に関連する様々な関数のための複数のパネルモデルを出力できる。
【００９２】
パネルモデルは、ＥＣＵ１１０が全方向画像７０５に関する様々な関数を実行することを可能にする。例えば、図１７は、パネル画素位置ＸEを世界内の位置を指すベクトルに変換する方法１７００を示す。この関数は、局所パネル８０５上の画素を、ＯＣＳを基準にして定義され世界点ＵE（ＸE）を指すベクトルに逆変換する。換言すると、Ｘが、ＯＣＳに対して定義された世界位置を表わし、ｘが、この位置に対応する画素を表す場合、この関数はｕE（ｘ）＝ｘ／||ｘ||を構成し、ベクトルは世界点を指す。最初のステップで、ＥＣＵ１１０は、メモリ２２５から全方向画素位置をロードする（ステップ１７０５）。第２のステップで、ＥＣＵ１１０は、パネルモデルに基づいて世界位置を指すベクトルを計算する（ステップ１７１０）。第３に、ＥＣＵ１１０は、ベクトルを出力する（ステップ１７１５）。一実施形態で、ＥＣＵ１１０は、以下の組のステップと式に基づいてベクトルを計算する。パネル画素ｘEの場合、そのパネル画素を一様形式ｘ＝〔ｘＥ  １〕に変換する。この画素を逆投影して光線を形成する。この光線上の点は、式によって示される。
【００９３】
【数２９】
2018533098.tif 000031
【００９４】
ここで、ｐ†は、Ｐ＝［Ｋ  Ｏ］の一般逆行列を表す。均質世界点ｐは、ユークリッド形式に変換され、ｐEとして示される。世界位置が光線に沿った任意の点にありうるので、以下の規則に従って標準化する。
【００９５】
【数３０】
2018533098.tif 000032
【００９６】
ベクトルが、世界点を指しているか世界点から出ているかを決定するために、世界Ｚ基準の内積を行なう。結果が正の場合、光線は世界点を指している。これと反対に、結果が負の場合、光線は、世界点から出る方向に向いてる。この結果は、以下の式によって決定されうる。
【００９７】
【数３１】
2018533098.tif 000033
【００９８】
補正されたベクトルは、局所平面座標系に対して表されたｓｖeによって示される。ベクトルは、以下の関係を使用して、ＯＣＳに対して表されうる。
【００９９】
【数３２】
2018533098.tif 000034
【０１００】
ここで、ＭLTPに関して前に定義された式からＲＯＣＳＬＴＰ＝Ｒ（Ｔｉｌｄｅ）である。
【０１０１】
図１８に示された例では、ＥＣＵ１１０は、パネルモデルに基づいてＯＣＳに対して定義された世界位置から、パネル上の画素位置を決定する。パネルは、画素によって定義された局所平面８０５に沿って位置合せされた平面を指し、局所平面８０５は、距離（例えば、メートル）によって定義される。最初のステップで、ＥＣＵ１１０は、世界点ＸEをロードする（ステップ１８０５）。第２のステップで、ＥＣＵ１１０は、パネルモデルに基づいてパネル上の画素位置を決定する（ステップ１８１０）。第３のステップで、ＥＣＵ１１０は、画素位置を出力する（ステップ１８１５）。画素位置の決定は、以下のステップと式に基づいて行なわれうる。世界点ＸEを局所平面座標系に次のように回転させる。
【０１０２】
【数３３】
2018533098.tif 000035
【０１０３】
ここで、ＲＬＴＰＯＣＳ＝（ＲＯＣＳＬＴＰ）Ｔある。一様形式、Ｘ＝〔Ｘ‘Ｅ  １〕に変換し、それを以下の式で画素位置にマッピングする。
【０１０４】
【数３４】
2018533098.tif 000036
【０１０５】
次に、均質画素ｘは、ユークリッド形態ｘEに変換される。
【０１０６】
更に別の例では、ＥＣＵ１１０は、図１９に示されたようなパネルモデルに基づいて、全方向画像７０５上の画素位置からパネル上の画素位置を決定する。最初のステップで、ＥＣＵ１１０は、全方向画像７０５から画素位置をロードする（ステップ１９０５）。第２のステップで、ＥＣＵ１１０は、パネルモデルに基づいてパネル上の画素位置を決定する（ステップ１９１０）。第３のステップで、ＥＣＵ１１０は、局所平面座標系に対するパネル上の画素位置を出力する（ステップ１９１５）。一実施形態では、ＥＣＵ１１０は、以下のステップと式を使用して画素位置を決定する。全方向画像７０５ｘf内の画素位置の場合、画素位置をビューイング球面７１０に変換する。
【０１０７】
【数３５】
2018533098.tif 000037
【０１０８】
ここで、ｇは、全方向画素位置を世界位置にマッピングする関数を表わし、Ｘcは、ＯＣＳに対して定義されたビューイング球面７１０上の点である。位置Ｘcを局所平面８０５にマッピングする。
【０１０９】
【数３６】
2018533098.tif 000038
【０１１０】
ＯＣＳ座標系から局所平面座標系に回転させる。
【０１１１】
【数３７】
2018533098.tif 000039
【０１１２】
局所平面８０５からパネル上の画素位置に変換する。
【０１１３】
【数３８】
2018533098.tif 000040
【０１１４】
ここで、ｘは、１ベースの索引付けを使用するパネル上の画素位置を表す。
【０１１５】
図２０に示された更に別の例では、ＥＣＵ１１０は、パネルモデルに基づいて、パネル（ｘf）上の画素位置から全方向画像７０５上の画素位置を決定する。最初のステップで、ＥＣＵ１１０は、パネルに画素位置をロードする（ステップ２００５）。第２のステップで、ＥＣＵ１１０は、パネルモデルに基づいて全方向画像７０５上の対応する画素位置を決定する（ステップ２０１０）。第３のステップで、ＥＣＵ１１０は、ＯＣＳに対するビューイング球面７１０上の画素位置を出力する（ステップ２０１５）。一実施形態では、ＥＣＵ１１０は、以下のステップと式に基づいて画素位置を決定する。次のように画素位置を局所平面座標系に変換する。
【０１１６】
【数３９】
2018533098.tif 000041
【０１１７】
ここで、ｌｐ＝〔ｘｌｉｍ[１]  ｙｌｉｍ[１]〕は、平面範囲オフセットを表す。次に、局所平面８０５上の世界位置が、以下の計算によってビューイング球面７１０にマッピングされる。
【０１１８】
【数４０】
2018533098.tif 000042
【０１１９】
ここで、ｈp→sは、ビューイング球面７１０関数に対する局所平面８０５である。ＸcがＯＣＳに対して定義されるので、ＥＣＵ１１０はそれを画素位置に変換できる。
【０１２０】
【数４１】
2018533098.tif 000043
【０１２１】
ここで、ｆは、ＯＣＳに対して定義された世界位置を全方向画像７０５上の画素位置にマッピングする関数を表す。
【０１２２】
図２１に示された別の例では、ＥＣＵ１１０は、第１のパネル内の画素位置に基づいて第２のパネル内の画素位置を決定する。最初のステップで、ＥＣＵ１１０は、第１のパネルから画素位置をロードする（ステップ２１０５）。第２のステップで、ＥＣＵ１１０は、第１のパネルの第１のパネルモデルと第２のパネルの第２のパネルモデルとの比較に基づいて、第２のパネル上の対応する画素位置を決定する（ステップ２０１０）。第３のステップで、ＥＣＵ１１０は、第２のパネルに関する画素位置を出力する（ステップ２０１５）。一実施形態では、ＥＣＵ１１０は、以下のステップと式を使用して第２のパネルに対する画素位置を決定する。ＥＣＵ１１０は、次の式によって画素位置を第１のパネルｘから世界座標内にマッピングする。
【０１２３】
【数４２】
2018533098.tif 000044
【０１２４】
ここで、ＰＡＮ1.ＰｉｘｅｌＴｏＷｏｒｌｄは、第１のパネルに対する世界位置変換への画素位置を示す。次に、ＥＣＵ１１０は、ビューイング球面７１０に標準化する。
【０１２５】
【数４３】
2018533098.tif 000045
【０１２６】
ＥＣＵ１１０は、点を第２のパネルに投影する。
【０１２７】
【数４４】
2018533098.tif 000046
【０１２８】
ここで、ＰＡＮ２.ｈs→pは、第２のパネルに対するビューイング球面７１０を表す。第２のパネルＸLの上の点は、第２のパネル上の画素位置に変換される。
【０１２９】
【数４５】
2018533098.tif 000047
【０１３０】
ここで、ｘ’は、１ベースの索引付けを使用する第２のパネルに対する画素位置を表す。
【０１３１】
図２２に示された更に別の例では、ＥＣＵ１１０は、本明細書の幾つかの例で使用されているような支持関数ｈs→pを決定する。ＥＣＵ１１０は、ＯＣＳに対して定義されたビューイング球面７１０上の点から、局所平面座標系に対する点の位置を決定する。最初のステップで、ＥＣＵ１１０は、ビューイング球面７１０に点の座標をロードする（ステップ２２０５）。第２のステップで、ＥＣＵ１１０は、局所平面座標系に対する点の座標を決定する（ステップ２２１０）。第３のステップで、ＥＣＵ１１０は、局所平面座標系に対する点の座標を出力する（ステップ２２１５）。一実施形態で、ＥＣＵ１１０は、以下の関数を使用して、局所平面座標系に対する点の座標を決定する。
・平面上の点  LTP.O
・面法線      LTP.Z
・線上の点    OCS.O=[0 0 0]T
・線方向      XC
【０１３２】
解をＩocsとして示すと、ＥＣＵ１１０は、以下の関係を利用してＯＣＳ座標から局所平面座標に変換する。
【０１３３】
【数４６】
2018533098.tif 000048
【０１３４】
ここで、ＸLは、局所平面８０５上の点である（例えば、Ｚ成分が０；ＸL[３]＝０）。
【０１３５】
図２３に示された別の例では、ＥＣＵ１１０は、追加の支持関数（ｈp→s）を決定し、この支持関数は、局所平面座標系に対して定義された局所平面８０５上の点をＯＣＳに対して定義されたビューイング球面７１０上の点の位置に変換する。最初のステップで、ＥＣＵ１１０は、ビューイング球面７１０上の点の座標をロードする（ステップ２３０５）。第２のステップで、ＥＣＵ１１０は、パネルモデルに基づいてＯＣＳに対する点の位置を決定する（ステップ２３１０）。第３のステップで、ＥＣＵ１１０は、ＯＣＳに対する点の位置を出力する（ステップ２３１５）。一実施形態では、ＥＣＵ１１０は、以下のステップと式を使用して点の座標を決定する。局所平面座標系に対して定義された点ＸLをＯＣＳに変換する。
【０１３６】
【数４７】
2018533098.tif 000049
【０１３７】
ＯＣＳ点は、ビューイング球面７１０にマッピングされる。
【０１３８】
【数４８】
2018533098.tif 000050
【０１３９】
これらの様々な関数が、パネル変換を演算するプロセスでＥＣＵ１１０によって実行されうることに注意されたい。これらの関数は、ＥＣＵ１１０が、全方向画像モデルとレクティリニア画像モデルの間の画像変換に関連する様々なタスクの実行を可能にする。
【０１４０】
例えば、図２４は、車両１００が駐車スペースから出るときに車両１００の視界を示す。ドライバの自然視覚は、ドライバの駐車スペースの隣りの駐車車両２４１０によって制限される。駐車車両２４１０により、ドライバは、車両１００が駐車車両２４１０の後部を超えるまで狭い視界２４１５を有する。図１に示されたパネル変換によって、ドライバは、より高い認識で駐車スペースから出始めることができる。前に説明されたように、カメラ１０５は、全方向画像７０５をＥＣＵ１１０に提供し、ＥＣＵ１１０は、全方向画像７０５を、ドライバに表示するための１つ以上のレクティリニア画像に変換する。カメラ１０５の視界２４２０が、車両１００に対して直角に広がって視界２４１５よりも広い領域をカバーする。
【０１４１】
図２５Ａから図２５Ｄに示された一実施形態では、表示装置１２０は、ＥＣＵ１１０からの幾つかの画像を表示する。図２５Ａで、表示装置は、カメラ１０５によって捕らえられたような全方向画像７０５を表示する。図２５Ｂで、ＥＣＵ１１０は、最初に、カメラ１０５の光学原点６１０に沿って合わされたパラメータベクトルに基づいて、全方向画像７０５を変換する。この画像は、車両１００の始動時にＥＣＵ１１０によって送られるデフォルト画像でよい。この画像では、全方向画像７０５の左端と右端は、レクティリニア画像によって表示されない。この実施形態では、左端と右端は、画像が最大の水平及び垂直視野で表示されるときでも表示されない。図２５Ｃは、パラメータベクトルが車両１００の第１の側の方に向けられたときのレクティリニア画像を示す。同様に、図２５Ｄは、パラメータベクトルが車両１００の第２の側の方に向けられたときのレクティリニア画像を示す。
【０１４２】
図２６は、入力インタフェース１２５の一実施形態を示す。この実施形態では、ＥＣＵ１１０の入力制御として機能するメディアキー２６０５が表示される。デフォルト画像から始まって、ドライバは、入力インタフェース１２５を操作して、パラメータベクトルを調整し、これにより画像をドライバの関心領域に調整できる。例えば、ドライバが、車両１００の乗客側の方に振り向くことによって駐車スペースから出ようとする場合、ドライバは、左矢印キーを押してパラメータベクトルを乗客側に向けてもよい。次に、ＥＣＵ１１０は、実質的に、パラメータベクトルを乗客側に変化させ、したがって、ドライバが、カメラ１０５を物理的に移動させることなく図２５Ｃに示された画像を見ることを可能にする。また、ドライバが、入力インタフェース１２５を使用してレクティリニア画像を拡大縮小できることに注意されたい。したがって、パラメータベクトルによって、カメラ１０５が、固定されている場合でも、仮想パン、ズーム及びチルトカメラとして機能できる。
【０１４３】
入力インタフェース１２５以外の制御機構もパラメータベクトルを調整できる。これらは、様々なタイプのドライバ操作制御機構でよい。例えば、一実施形態では、ステアリングホイール１３０は、パラメータベクトルを、ステアリング角度センサ１３５に基づく角度に自動調整する。そのような一実施形態では、ドライバが、ステアリングホイール１３０を時計回りに回転させるとき、ＥＣＵ１１０は、車両１００が乗客側の方に振り向くことを予期して、パラメータベクトルを乗客側の方に向ける。この自動調整は、車両がバックギアにある場合だけ可能にされうる。更に、自動調整は、前述のような入力制御機構を使用する手動調整と組み合わせて使用されてもよい。この場合、自動制御と手動制御は、パラメータベクトルを各制御に必要とされるように実時間で適応させることに関連して動作できる。別の実施形態では、手動制御と自動制御は、優先順位が割り当てられうる。例えば、車両がバックしているとき、自動制御は手動制御より優先されうる。これと反対に、手動制御は、ドライバが手動操作モードを選択したときは常に自動制御より優先されうる。優先順位は、ドライバ選択に基づいて変更されてもよく、所定の安全基準に基づいて維持されてもよい。
【０１４４】
別の実施形態では、ＥＣＵ１１０は、ＥＣＵ１１０内又は他の車両システムにおける追加機能の支援で画像処理を実行できる。詳細には、レクティリニア画像に依存して意図された機能を実行するハードウェアモジュール又はソフトウェアモジュールが車両に含まれうる。ＥＣＵ１１０は、本明細書に記載された様々な変換を実行して、そのようなモジュールに、パネルモデルによって定義されたレクティリニア画像モデルを提供できる。したがって、そのようなモジュールが全方向カメラで動作するように設計されていないときでもＥＣＵ１１０と接続するサードパーティイメージングモジュールが車両に取り付けられうる。例えば、レクティリニア画像に基づいて運動アルゴリズム及び訓練クラシファイヤ（例えば、歩行者検出）から構造を実行するモジュールは、変換を使用して実施されうる。換言すると、全方向画像７０５のパネルモデルは、先在アルゴリズムよる直接使用のために、全方向画像７０５をレクティリニア画像に変換する前処理ステップとして実行されうる。
【０１４５】
幾つかの先在アルゴリズムは、多数のレクティリニアカメラによって提供されうる大きい視界を必要とする。しかしながら、多数のカメラは、車両のコストを高める。有利には、パネル変換の実施形態は、そのような多数のレクティリニア画像アルゴリズムへの入力として多数のパラメータベクトルと多数のパネルモデルを使用して、単一の全方向カメラ１０５から多数のレクティリニア画像フィードを提供する。例えば、パネル変換は、１８０度の全方向画像７０５に基づいて、表示装置１２０上に３つの６０度レクティリニアビューを並べて提供できる。この場合、ＥＣＵ１１０は、全方向画像７０５を変換し、３つのレクティリニア画像に基づいて表示用の単一画像を再構成するために３つのパラメータベクトルを決定する。
【０１４６】
したがって、本発明は、特に、全方向カメラ１０５から取得された全方向画像７０５により様々な機能を実行し、実行される特定の機能によって決まる様々な値を出力するパネル変換を車両に提供する。本発明の様々な特徴及び利点は、以下の特許請求の範囲に示される。
【符号の説明】
【０１４７】
１００  車両
１０５  全方向カメラ
１１０  電子制御ユニット（ＥＣＵ）
１１５  車両通信バス
１２０  表示装置
１２５  入力インタフェース
１３０  ステアリングホイール
１３５  ステアリング角度センサ
【図１】
2018533098.tif 000051
【図２】
2018533098.tif 000052
【図３】
2018533098.tif 000053
【図４】
2018533098.tif 000054
【図５】
2018533098.tif 000055
【図６】
2018533098.tif 000056
【図７】
2018533098.tif 000057
【図８】
2018533098.tif 000058
【図９】
2018533098.tif 000059
【図１０】
2018533098.tif 000060
【図１１】
2018533098.tif 000061
【図１２】
2018533098.tif 000062
【図１３】
2018533098.tif 000063
【図１４】
2018533098.tif 000064
【図１５】
2018533098.tif 000065
【図１６】
2018533098.tif 000066
【図１７】
2018533098.tif 000067
【図１８】
2018533098.tif 000068
【図１９】
2018533098.tif 000069
【図２０】
2018533098.tif 000070
【図２１】
2018533098.tif 000071
【図２２】
2018533098.tif 000072
【図２３】
2018533098.tif 000073
【図２４】
2018533098.tif 000074
【図２５Ａ】
2018533098.tif 000075
【図２５Ｂ】
2018533098.tif 000076
【図２５Ｃ】
2018533098.tif 000077
【図２５Ｄ】
2018533098.tif 000078
【図２６】
2018533098.tif 000079
【国際調査報告】
2018533098.tif 000080
2018533098.tif 000081
2018533098.tif 000082
2018533098.tif 000083