(57)【特許請求の範囲】
【請求項１】
ビデオシステムを動作させる方法であって、
魚眼レンズの使用によって捕捉された画像を受け取るステップと、
画像を複数の水平画像ラインに分割するステップと、
水平画像ラインの各々のそれぞれの断片を異なるそれぞれのサンプリング周波数でサンプリングするステップであって、各サンプリング周波数はサンプリングされた断片のサイズの逆数に関連し、サンプリングされた断片のサイズは画像の一番上から画像の一番下までの進行において各水平画像ライン毎に増加しているステップと、
を含む方法。
【請求項２】
各前記断片は、各前記画像ラインのそれぞれの中央部分からなる、請求項１の方法。
【請求項３】
サンプリングされた断片のサイズは、画像の一番上においては画像ラインの約１／３からなり、画像の一番下においては画像ライン全体からなる、請求項１の方法。
【請求項４】
画像はアナログ画像からなり、方法は、
アナログ画像をデジタル画像データに変換するステップと、
サンプリングされたデジタル画像ラインを第二のアナログ画像に変換するステップと、
を更に含む、請求項１の方法。
【請求項５】
画像の一番上における物体は、画像の一番下における物体よりもレンズから遠く離れている、請求項１の方法。
【請求項６】
サンプリングされた断片の外側である各水平ラインの部分を廃棄するステップを更に含む、請求項１の方法。
【請求項７】
水平画像ラインをカウントするステップと、
各前記画像ライン中のピクセルの数をカウントするステップと、
各ラインのサンプリングを開始して終了する回数を決定するステップであって、決定することはカウントするステップの各々に基づいているステップと、
を更に含む、請求項１の方法。
【請求項８】
ビデオシステムを動作させる方法であって、
魚眼レンズの使用によって捕捉された第一のアナログ画像を受け取るステップと、
アナログ画像をデジタル画像データに変換するステップと、
画像データを複数の画像ラインに分割するステップと、
画像ラインの各々のそれぞれの中央部分を異なるそれぞれのサンプリング周波数でサンプリングするステップであって、各サンプリング周波数は中央部分によって占有されたそれぞれの画像ラインの断片の逆数に関連し、中央部分によって占有された画像ラインの断片は画像の第一のエッジから画像の第二のエッジまでの進行において各画像ライン毎に増加しているステップと、
サンプリングされたデジタル画像ラインを第二のアナログ画像に変換するステップと、
を含む方法。
【請求項９】
各前記サンプリング周波数は、マスタークロック周波数よりも約１〜３倍大きく、レンズの歪み特性に依存している、請求項８の方法。
【請求項１０】
サンプリングされた中央部分のサイズは、画像の第一のエッジにおいては画像ラインの約１／３からなり、画像の第二のエッジにおいては画像ライン全体からなる、請求項８の方法。
【請求項１１】
サンプリングされたデジタル画像ラインをＦＩＦＯメモリー装置中に格納するステップを更に含む、請求項８の方法。
【請求項１２】
画像の第一のエッジにおける物体は、画像の第二のエッジにおける物体よりもレンズから遠く離れている、請求項８の方法。
【請求項１３】
中央部分の外側である各水平ラインの部分を廃棄するステップを更に含む、請求項８の方法。
【請求項１４】
画像ラインをカウントするステップと、
各前記画像ライン中のピクセルの数をカウントするステップと、
各ラインのサンプリングを開始して終了する回数を決定するステップであって、決定することはカウントするステップの各々に基づいているステップと、
を更に含む、請求項８の方法。
【請求項１５】
ビデオシステムを動作させる方法であって、
魚眼レンズの使用によって捕捉された第一の画像を受け取るステップと、
画像を複数の水平画像ラインに分割するステップであって、各画像ラインは中央部分と２つの側方部分を有し、中央部分の側方部分に対するサイズは画像の一番上から画像の一番下まで各水平画像ライン毎に増加しているステップと、
画像ラインの側方部分を廃棄するステップと、
中央部分の各々を実質的に等しい数のサンプルで表現するステップと、
サンプルを含んだ第二の画像を形成するステップと、
を含む方法。
【請求項１６】
第二の画像はサンプルだけを含む、請求項１５の方法。
【請求項１７】
表現するステップは、画像ラインの各々のそれぞれの前記中央部分を異なるそれぞれのサンプリング周波数でサンプリングすることであって、各サンプリング周波数は中央部分によって占有されたそれぞれの画像ラインの断片の逆数に関連していることを含む、
請求項１５の方法。
【請求項１８】
水平画像ラインをカウントするステップと、
各前記画像ライン中のピクセルの数をカウントするステップと、
各ラインのサンプリングを開始して終了する回数を決定するステップであって、決定することはカウントするステップの各々に基づいているステップと、
を更に含む、請求項１７の方法。
【請求項１９】
サンプリングされた中央部分のサイズは、画像の一番上においては画像ラインの約１／３からなり、画像の一番下においては画像ライン全体からなる、請求項１７の方法。
【請求項２０】
画像の一番上における物体が画像の一番下における物体よりもレンズから遠く離れているように、魚眼レンズを向き付けするステップを更に含む、請求項１５の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼レンズを含んだカメラシステムを動作させるための装置と方法に関し、より特定には、魚眼レンズを含んだ自動車用リアビューカメラシステムを動作させるための装置と方法に関する。
【背景技術】
【０００２】
自動車用リアビューカメラは、光学的魚眼レンズをしばしば使用する。魚眼レンズは非常に幅の広い半球状の画像を作成する広角レンズの一種である。超広角レンズの全てと同様に、魚眼レンズは、特にビューの極めて広い角度について、たる型歪みにより苦しめられ、それは凸状の見え方に結果としてなる。
【０００３】
自動車用リアビューカメラを介して捕捉された歪んだ画像の一例が図１に示されている。魚眼レンズによって作成された歪みの典型として、視野は画像の一番上においての方が画像の一番下においてよりもはるかに幅広く、例えばおよそ３倍幅広い。この不一致の理由は、画像の一番上における物体が画像の一番下における物体よりもレンズから遠く離れていることであり得る。
【０００４】
ＳＤＲＡＭをもったビデオデジタル信号プロセッサ（ＤＳＰ）を使うことにより、魚眼レンズによって引き起こされた歪みを除去することが可能であり得る。しかしながら、そのような本格的なＤＳＰの採用は高価な解決策であろうし、よってやりすぎと考えられ得る。
【０００５】
従って、従来技術に鑑みて先行されてもおらず自明でもないことであるのは、魚眼レンズの使用によって捕捉された画像から歪みを除去することのオプションをビューアに付与し、そうすることを安価なやり方でやる方法である。
【発明の概要】
【０００６】
本発明は、画像の一番上の中央部分を歪みの量に比例して「引き延ばすこと」による魚眼歪みの修正のための方法を提供する。「引き延ばすこと」の度合い、または引き延ばしの間に除去される画像の周縁の幅は、捕捉された画像全体が画像の一番下において含まれるまで、画像の一番上から画像の一番下へ一様に減少しても良い。
【０００７】
一実施形態では、ビデオファーストインファーストアウト（ＦＩＦＯ）メモリーが、ＦＩＦＯメモリーのクロックを歪みの度合いに比例して変調することによって魚眼レンズによって引き起こされた歪みを除去するのに使われる。
【０００８】
発明は、その１つの形では、魚眼レンズの使用によって捕捉された画像を受け取ることを含んだビデオシステムを動作させる方法からなる。画像は、複数の水平画像ラインに分割される。水平画像ラインの各々のそれぞれの断片は、異なるそれぞれのサンプリング周波数でサンプリングされる。各サンプリング周波数は、サンプリングされた断片のサイズの逆数に関連する。サンプリングされた断片のサイズは、画像の一番上から画像の一番下までの進行において各水平画像ライン毎に増加する。サンプリングされた断片のサイズ（と従ってサンプリング周波数）は、歪み特性のようなレンズの特性の関数であっても良い。
【０００９】
発明は、その別の形では、魚眼レンズの使用によって捕捉された第一のアナログ画像を受け取ることを含んだビデオシステムを動作させる方法からなる。アナログ画像は、デジタル画像データに変換される。画像データは、複数の画像ラインに分割される。画像ラインの各々のそれぞれの中央部分は、異なるそれぞれのサンプリング周波数でサンプリングされる。各サンプリング周波数は、中央部分によって占有されたそれぞれの画像ラインの断片の逆数に関連する。中央部分によって占有された画像ラインの断片は、画像の第一のエッジから画像の第二のエッジまでの進行において各画像ライン毎に増加する。サンプリングされたデジタル画像ラインは、第二のアナログ画像に変換される。
【００１０】
発明は、その更に別の形では、魚眼レンズの使用によって捕捉された第一の画像を受け取ることを含んだビデオシステムを動作させる方法からなる。画像は、複数の水平画像ラインに分割される。各画像ラインは、中央部分と２つの側方部分を有する。中央部分の側方部分に対するサイズは、画像の一番上から画像の一番下まで各水平画像ライン毎に増加する。画像ラインの側方部分は廃棄される。中央部分の各々は、実質的に等しい数のサンプルで表現される。サンプルを含んだ第二の画像が形成される。
【００１１】
本発明の利点は、魚眼レンズによって生成された画像歪みが安価に修正され得ることである。
【００１２】
この発明の上述したおよびその他の特徴と目的とそれらを達成するやり方は、添付の図面との関係で発明の実施形態の以下の記載を参照することによってより明らかとなり、発明自体がより良く理解されるであろう。
【図面の簡単な説明】
【００１３】
【図１】図１は、従来技術の魚眼レンズによって捕捉された例示的な歪んだ画像である。
【図２Ａ】図２Ａは、本発明の方法の一実施形態に従ってビデオスクリーン上に表示された図１の画像の一番上のラインと一番下のラインの部分を描いている図である。
【図２Ｂ】図２Ｂは、本発明の方法の一実施形態に従ってビデオスクリーン上に画像を表示するのに使われた図２Ａの画像の水平ラインの関数としてのビデオクロック周波数を描いているプロットである。
【図３】図３は、本発明のビデオシステムの一実施形態のブロック図である。
【図４】図４は、図３のビデオシステムのクロック変調器の一実施形態のブロック図である。
【図５】図５は、ビデオシステムを動作させるための本発明の方法の一実施形態のフローチャートである。
【図６】図６は、ビデオシステムを動作させるための本発明の方法の別の実施形態のフローチャートである。
【発明を実施するための形態】
【００１４】
これ以降に開示される実施形態は、網羅的であることや以下の記載に開示された厳密な形態に発明を限定することを意図されていない。寧ろ実施形態は、当業者がその教示内容を利用し得るように選択され記載される。
【００１５】
一実施形態では、本発明の方法は、クロック変調、即ちスクリーンまたはモニター上での再生のために画像がサンプリングされるところの周波数の変調、を含む。一つの特定の実施形態では、捕捉された画像は、１３．５ＭＨｚでサンプリングされ、水平ライン周波数（Ｆｈ）＝１５，７３４．２６６ＨｚをもったNational Television System Committee (NTSC)アナログテレビシステムビデオを介してスクリーン上に再生される。このレートでは、水平ブランキングインターバルを含んだビデオスクリーンのライン全体に渡って８５８個（即ち、１３．５ＭＨｚ／１５，７３４．２６６Ｈｚ）のサンプルがあるであろう。アクティブなライン、即ちビデオラインの可視部分内では、８５８個のサンプルの内の７２０個があり得る。もしクロックレートが増加されれば、ライン毎により多くのサンプルが捕捉され得て、より重要には、与えられたラインのより小さな部分内で７２０個のサンプルが捕捉され得る。
【００１６】
例えば、与えられたビデオ画像の一番上のラインに適用された約４０ＭＨｚの初期最大クロックレートを考える。このレートでは、水平ブランキングインターバルを含んだビデオスクリーンの一番上のライン全体に渡って２，５４２個（即ち、４０ＭＨｚ／１５，７３４．２６６Ｈｚ）のサンプルがあるであろう。アクティブなライン、即ちビデオラインの可視部分内では、２，５４２個のサンプルの内の２，１３３個があり得る。発明の一実施形態によると、７２０個のサンプル、即ち２，１３３個のサンプルビデオラインの約１／３が、図２Ａに描かれているように、一番上のビデオラインの中央部分、例えば中央の１／３から、ファーストインファーストアウト（ＦＩＦＯ）メモリー中に捕捉されても良い。
【００１７】
下方向の各後続のラインについては、図２Ｂに描かれているように、望ましい７２０個のサンプルがビデオラインの増加する割合を捕捉するように、クロックレートが減少されても良い。画像の一番下では、１３．５ＭＨｚの最小クロック周波数に到達し、７２０個のサンプルがライン全体を捕捉する。
【００１８】
サンプルクロックは、７２０個のクロックパルス内ではない画像の三角形のコーナー部分１０ａ、１０ｂの間は阻害されても良い。このサンプルクロックの阻害は、それらのコーナー部分１０ａ、１０ｂが失われるおよび／または廃棄されることに結果としてなる。
【００１９】
一実施形態では、クロックは、アナログ−デジタル変換クロックとＦＩＦＯ入力クロックの両方として機能する。図２Ｂの画像の一番上では、適切な時間、例えば一番上のラインを通した道程のおよそ１／３の位置にある時、までクロックが阻害されても良く、それから７２０個のサンプルが、示されるように画像の中心から高い周波数（約４０ＭＨｚ）で捕捉される。変換クロック周波数は、一番下のラインにおいて周波数が１３．５ＭＨｚであるまで、一番上から一番下までの各ライン毎に減少する。
【００２０】
ＦＩＦＯ出力クロックとデジタル−アナログ変換クロックの両方として機能する別のクロックは、１３．５ＭＨｚの一定のレートで進む。各ビデオラインは７２０個のクロックパルスを含むので、４０ＭＨｚで捕捉された一番上のラインの部分は、ビデオスクリーン全体に渡って引き延ばされ、減少するレートで捕捉された各後続のラインもしかりである。よって、各ラインのサンプリングされた中央部分は、長方形のスクリーン上に画像を形成するように組み合わされても良い。
【００２１】
本発明のビデオシステム１２の一実施形態が図３に描かれている。システム１２は、魚眼レンズを有するカメラ１４を含む。ゲンロッククロック発生器１６は、マスタークロック信号１８と水平同期信号Ｈの両方を作成するのにカメラ１４のビデオ出力を使用する。クロック変調器２０は、アナログ−デジタル変換器２４とＦＩＦＯメモリー２６の両方に送られるＦＩＦＯ入力クロック信号２２を作成する。マスタークロック信号１８は、ＦＩＦＯ出力クロック信号としてＦＩＦＯメモリー２６に、およびデジタル−アナログ変換器２８に、供給される。カメラ１４は、魚眼歪みをもったビデオを出力するが、ビデオシステム１２、特にデジタル−アナログ変換器２８は、魚眼歪みの無いビデオを出力する。カメラ１４を例外として、システム１２全体は、単一のアプリケーション特定集積回路（ＡＳＩＣ）中に含まれることが可能である。
【００２２】
図４には、マスタークロック信号１８と水平同期信号Ｈを受け取り、ＦＩＦＯ入力クロック信号２２を出力するためのクロック変調器２０の一つの特定の実施形態が描かれている。デジタルラインカウンター３０は、受け取った水平同期信号Ｈに基づいて、ビデオラインを、例えば画像の一番上から一番下までカウントしても良い。最大クロックレートは、ラインカウントに直接比例する値によって割られても良い。より特定には、図４の実施形態では、カウンター３０からのラインカウントに比例する値「ｎ」が３２において作成される。マスタークロック信号１８は、位相ロックループ３４によって受け取られる。位相ロックループ３４の出力信号３６の周波数は、マスタークロック信号１８の周波数よりも約３倍大きくても良い。周波数分割器３８は、量ｎで割られた出力信号３６の周波数に等しい周波数を有するＦＩＦＯ入力クロック信号２２を出力しても良い。
【００２３】
クロック変調器２０はまた、マスタークロック信号１８上のマスタークロックサイクルをカウントし、適切な時間までサンプルクロックの開始、即ちＦＩＦＯ入力クロック２２の開始を阻害する、デジタルピクセルカウンター４０を含んでも良い。一実施形態では、「適切な時間」は、画像の中心部分があらゆる与えられたライン内で捕捉されるように選ばれる。例えば、画像の一番上では、一番上のラインの中心の約１／３が捕捉されるようにラインの約１／３についてサンプルクロックが阻害され、一番上のラインと一番下のラインの間の中程のラインでは、ラインの中心の約２／３が捕捉されるようにラインの約１／６についてサンプルクロックが阻害され、画像の最後のラインでは、サンプルクロックは全く阻害されず、ライン全体が捕捉される。
【００２４】
上述したサンプルクロックの阻害は、周波数分割器３８からの生のＦＩＦＯ入力クロック信号４４とピクセルカウンター４０からの阻害信号４６を受け取るクロック阻害モジュール４２によって行われても良い。阻害信号４６は、阻害されるべき画像の端部分に相当している時には０の値をもち、阻害されるべきではない画像の中央部分に相当している時には１の値をもつ２値信号であっても良い。クロック阻害モジュール４２は、周波数分割器３８からの生のＦＩＦＯ入力クロック信号４４とピクセルカウンター４０からの阻害信号４６の論理和をとって、それによりＦＩＦＯ入力クロック信号２２を作成しても良い。
【００２５】
一実施形態（図示せず）では、ピクセルカウンター４０は、ラインカウンター３０の出力から現行ライン情報を受け取る。よって、ピクセルカウンター４０は、ライン番号と共に変動するピクセル数についてＦＩＦＯ入力クロック信号２２を阻害しても良い。
【００２６】
上に開示された実施形態では、ＦＩＦＯ入力クロック信号２２の周波数は、カウンター３０によって作成されたラインカウントと特定の関係を有する。しかしながら、本発明はより一般的に、カウンター３０によって作成されたラインカウントが増加するにつれてＦＩＦＯ入力クロック信号２２の周波数が減少するあらゆる実施形態を包含することが理解されるべきである。
【００２７】
ビデオシステムを動作させるための本発明の方法５００の一実施形態が図５に描かれている。最初のステップ５０２では、魚眼レンズの使用によって捕捉された第一の画像が受け取られる。例えば、カメラ１４は、図１および２Ａに示された画像を捕捉し得る魚眼レンズを含んでも良い。
【００２８】
ステップ５０４では、画像が複数の水平画像ラインに分割され、各画像ラインは中央部分と２つの側方部分を有し、中央部分の側方部分に対するサイズは画像の一番上から画像の一番下まで各水平画像ライン毎に増加している。つまり、図２Ａに示される画像は、平行な水平画像ラインのセットから形成されているかまたはそれらに分割されていても良く、各ラインは画像の左手サイドと右手サイドの間に延びている。図２Ａに示されるように、画像は２つの側方部分１０ａおよび１０ｂと、それらの間に配置された台形の中央部分を含んでも良い。図２Ａに見られるように、中央部分は画像の一番上において最小であり、画像の一番下に近づくにつれて側方部分に対して徐々に大きくなっていく。
【００２９】
次のステップ５０６では、画像ラインの側方部分が廃棄される。一実施形態では、クロック阻害モジュール４２が側方部分１０ａおよび１０ｂのサンプリングを阻止し、画像の中央部分だけがサンプリングされることを許容する。よって、画像ラインの側方部分は、デジタル化されたり、メモリー中に格納されたり、そうでなければ処理されたりすることは決してなく、よって実効的に失われるか廃棄されている。
【００３０】
次に、ステップ５０８では、中央部分の各々が、実質的に等しい数のサンプルで表現される。例えば、上の実施形態で記載されたように、中央部分の長さに関係なく、７２０個のサンプルが画像の水平ラインの各々の中央部分から取られる。それら７２０個のサンプルは、そこからそれらが取られたところのそれぞれの中央部分を実効的に表現する。中央部分の異なる長さを補償するために、中央部分の長さに渡って７２０個のクロックパルス、即ち７２０個のサンプルを維持すべく、サンプリング周波数が変動しても良い。中央部分、即ちサンプリングされた断片のサイズは、レンズの歪み特性に依存していても良い。よって、サンプリング周波数はまた、レンズの歪み特性と共に変動しても良い。
【００３１】
最後のステップ５１０では、サンプルを含んだ第二の画像が形成される。つまり、歪んでいない画像を形成するようにステップ５０８で取られたサンプルの全てが一緒にされても良い。
【００３２】
ビデオシステムを動作させるための本発明の方法６００の別の実施形態が図６に描かれている。最初のステップ６０２では、魚眼レンズの使用によって捕捉された第一のアナログ画像が受け取られる。例えば、カメラ１４は、図１および２Ａに示されたアナログ画像を捕捉し得る魚眼レンズを含んでも良い。
【００３３】
ステップ６０４では、アナログ画像がデジタル画像データに変換される。一実施形態では、アナログ−デジタル変換器２４がカメラ１４からのアナログ画像をＦＩＦＯメモリー２６中に格納されたデジタル画像データに変換する。
【００３４】
次のステップ６０６では、画像が複数の水平画像ラインに分割される。つまり、図２Ａに示される画像は、平行な水平画像ラインのセットから形成されているかまたはそれらに分割されていても良く、各ラインは画像の左手サイドと右手サイドの間に延びている。
【００３５】
次に、ステップ６０８では、画像ラインの各々のそれぞれの中央部分が、異なるそれぞれのサンプリング周波数でサンプリングされ、各サンプリング周波数は、中央部分によって占有されたそれぞれの画像ラインの断片の逆数に関連し、中央部分によって占有された画像ラインの断片は、画像の一番上のエッジから画像の一番下のエッジまでの進行において各水平画像ライン毎に増加している。例えば、上で説明された実施形態では、側方部分１０ａ、１０ｂの間の画像ラインの中央部分が、画像の一番上における４０ＭＨｚから画像の一番下における１３．５ＭＨｚまでの範囲にある変動するサンプリング周波数で、サンプリングされる。サンプリング周波数は、画像ライン全体のパーセントとしての中央部分のサイズの逆数と関連する。例えば、中央部分は、サンプリング周波数が４０ＭＨｚである画像の一番上においては画像ライン全体のおよそ１／３である。中央部分のサイズは、サンプリング周波数が４０ＭＨｚから１３．５ＭＨｚまで徐々に減少するにつれて、画像ラインの１／３から画像の一番下における画像ライン全体まで徐々に増加する。
【００３６】
最後のステップ６１０では、サンプリングされたデジタル画像ラインが、第二のアナログ画像に変換される。上で説明された実施形態では、ＦＩＦＯメモリー２６中に格納されたサンプリングされたデジタル画像ラインが、デジタル−アナログ変換器２８によってアナログ画像に変換される。
【００３７】
この発明は例示的なデザインを有するものとして記載されたが、本発明はこの開示の精神と範囲内で更に変形されても良い。この出願は従って、その一般的原理を使った発明のあらゆる変形、使用または適応をカバーすることが意図されている。更に、この出願は、この発明が関係する技術分野における周知または慣例的慣行内に入るような本開示からの逸脱をカバーすることが意図されている。
【図１】
0005460736.tif 000002
【図２Ａ】
0005460736.tif 000003
【図２Ｂ】
0005460736.tif 000004
【図３】
0005460736.tif 000005
【図４】
0005460736.tif 000006
【図５】
0005460736.tif 000007
【図６】
0005460736.tif 000008