(57)【要約】【課題】車両の周囲を撮影した広角画像のうち注意喚起が必要とされる領域の解像度を高くすることができる「撮像装置及び車両周囲画像提供装置」を提供すること。【解決手段】撮像装置は、画像データを取得するイメージセンサと、イメージセンサで取得された画像データのうち、外部から指示される特定の領域を所要の像高に合わせた出力画像サイズに変換して出力する制御手段と、を備える。制御手段は、指示される特定の領域の画像全体に対する位置に応じて、予め定義されたレンズの画角に対する像高の関数を基に当該特定の領域の画素数を算出し、当該特定の領域の出力画像を当該画素群からなる画像として出力するようにし、指示される特定の領域以外の領域の出力画像を、画素を間引いた画素群からなる画像として出力する。【選択図】図６
2010283567.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得するイメージセンサと、
前記イメージセンサで取得された画像データのうち、外部から指示される特定の領域を所要の像高に合わせた出力画像サイズに変換して出力する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記指示される特定の領域の画像全体に対する位置に応じて、予め定義されたレンズの画角に対する像高の関数を基に当該特定の領域の画素数を算出し、当該特定の領域の出力画像を当該画素群からなる画像として出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記指示される特定の領域以外の領域の出力画像を、画素を間引いた画素群からなる画像として出力することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記変換された画像データをコンポジット映像信号に変換して出力することを特徴とする請求項３に記載の撮像装置。
【請求項５】
表示装置と、
請求項４に記載の撮像装置と、
当該撮像装置に前記特定の領域の指示を含む画像要求信号を供給し、当該撮像装置からコンポジット映像信号の形式で出力された画像データを画像処理して前記表示装置に転送する制御装置と、
を備えたことを特徴とする車両周囲画像提供装置。
【請求項６】
前記制御装置は、注意を喚起する対象を検出する検出手段を有し、
前記撮像装置から転送された画像のうち前記検出手段によって注意を喚起する対象が検出されたとき、前記撮像装置に当該対象を含む特定の領域の解像度を他の部分の解像度よりも高くする指示を行うことを特徴とする請求項５に記載の車両周囲画像提供装置。
【請求項７】
前記注意を喚起する対象は、見通しの悪い交差点又は前記画像に含まれる移動体であることを特徴とする請求項６に記載の車両周囲画像提供装置。
【請求項８】
前記移動体が複数存在するとき、自車両に近い前記移動体を前記注意を喚起する対象とすることを特徴とする請求項７に記載の車両周囲画像提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び車両周囲画像提供装置に関し、特に広角カメラによって撮像された車両周辺の画像の一部を高解像度で提供することが可能な撮像装置及び車両周囲画像提供装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置は、撮影した画像を即時に再生することができ、また、パーソナルコンピュータ等の画像入力装置として簡便に利用できる等の利点から、様々な分野で利用されている。例えば、車載用として利用する場合、車両周囲を撮影してその撮像画像をＬＣＤモニタ等の表示装置の画面に表示すれば、パーキングエリアでの駐車や車庫入れ等の際に運転者の駐車支援を図ることができる。また、車両周辺の撮像画像を解析して、他車両などの移動体を検出することにより、車両周囲の状況を早期に把握することが可能となる。
【０００３】
車両周囲の状況を広範囲に取得するために、使用されるカメラには広範囲な視野角の画像を撮像可能な広角レンズが使用されている。広角レンズで撮像された画像は、広範囲の画像を取得できるものの、その周辺部の画像は歪みが大きくなり、実物との差が大きく分かりづらいという問題があった。
【０００４】
これに対して、特許文献１には、撮像素子上に結像される画像上における画像部分の画角に対する像高の変化量を画像の中心部より周辺部の方で大きくなるように構成したカメラ装置が記載されている。
【０００５】
このような撮像装置で取得された画像を、コンピュータを介して表示装置に転送するよう適応されたシステムでは、一般的にコンポジット映像信号（例えば、ＮＴＳＣ信号）による伝送ラインを用いて撮像装置とコンピュータとを接続している。
【０００６】
一方、デジタルカメラには、光学レンズを通して被写体から反射された光を電気信号に変換するイメージセンサが内蔵されており、現状の技術では、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）を利用したイメージセンサが使用されている。デジタルカメラでは、イメージセンサから出力される電気信号はアナログ信号であるので、このアナログ信号をデジタル信号に変換した後、そのデジタル化された画像データをデジタル信号プロセッサ（ＤＳＰ）に入力している。このプロセッサでは、多種多様の画像処理が行われ、例えば、自動焦点、自動露光、自動ホワイトバランス調整などの画像処理が行われる。このプロセッサを通して画像処理された画像データは、上記のコンポジット映像信号（ＮＴＳＣ信号等）に変換されてコンピュータに転送され、さらに表示装置に供給される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１１０２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記したようなデジタルカメラには、イメージセンサの画素数が大きい場合（つまり、解像度が高い場合）にＶＧＡ(６４０×４８０ドットの解像度)やＱＶＧＡ（３２０×２４０ドットの解像度）など所要の解像度に合わせた出力画像サイズに変換（リサイジング）する機能が備えられ、この画像リサイジング機能は上記のＤＳＰが担っている。典型的なリサイジングの態様としては、イメージセンサで取得された画像に対し、全体を一定に間引く方法（例えば、水平方向の１ライン毎に交互に画素を間引く方法や、所定数単位の画素毎に１画素ずつ間引く方法等）、あるいは画像の一部の領域を切り取る方法が用いられている。
【０００９】
しかし、この従来のリサイジングの態様では、画像全体に対して一定の割合で画素を間引いたり、画像の一部の領域を切り取るようにしていたため、特に車載用として利用した場合に以下の問題点があった。
【００１０】
すなわち、車載カメラを高解像度対応のもの（１００万〜２００万画素程度のデジタルカメラ）にした場合、表示装置側への画像の伝送手段として現状のようなコンポジット映像信号（ＮＴＳＣ信号等）を使用すると、実質３５万画素程度（７２０×４８０ピクセル（画素））のデータ量しか転送できないため、せっかく高解像度対応のデジタルカメラを車載用に利用してもその高解像度のメリットを生かすことができないといった課題があった。
【００１１】
本発明は、かかる従来技術の課題に鑑みなされたものであり、車両の周囲を撮影した広角画像のうち注意喚起が必要とされる領域の解像度を高くすることができる撮像装置及び車両周囲画像提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した従来技術の課題を解決するため、本発明の一形態によれば、画像データを取得するイメージセンサと、前記イメージセンサで取得された画像データのうち、外部から指示される特定の領域を所要の像高に合わせた出力画像サイズに変換して出力する制御手段と、を備えたことを特徴とする撮像装置が提供される。
【００１３】
この形態に係る撮像装置において、前記制御手段は、前記指示される特定の領域の画像全体に対する位置に応じて、予め定義されたレンズの画角に対する像高の関数を基に当該特定の領域の画素数を算出し、当該特定の領域の出力画像を当該画素群からなる画像として出力するようにしてもよく、前記制御手段は、前記指示される特定の領域以外の領域の出力画像を、画素を間引いた画素群からなる画像として出力するようにしてもよく、前記制御手段は、前記変換された画像データをコンポジット映像信号に変換して出力するようにしてもよい。
【００１４】
また、本発明の他の形態によれば、表示装置と、上記の形態に係る撮像装置と、当該撮像装置に前記特定の領域の指示を含む画像要求信号を供給し、当該撮像装置からコンポジット映像信号の形式で出力された画像データを画像処理して前記表示装置に転送する制御装置と、を備えたことを特徴とする車両周囲画像提供装置が提供される。
【００１５】
この形態に係る車両周囲画像提供装置において、前記制御装置は、注意を喚起する対象を検出する検出手段を有し、前記撮像装置から転送された画像のうち前記検出手段によって注意を喚起する対象が検出されたとき、前記撮像装置に当該対象を含む特定の領域の解像度を他の部分の解像度よりも高くする指示を行うようにしてもよく、前記注意を喚起する対象は、見通しの悪い交差点又は前記画像に含まれる移動体であるようにしてもよく、前記移動体が複数存在するとき、自車両に近い前記移動体を前記注意を喚起する対象とするようにしてもよい。
【発明の効果】
【００１６】
この形態に係る撮像装置及び車両周囲画像提供装置では、撮像画像のうちの注意を喚起する領域を特定し、その領域の解像度を高めた出力画像を生成するようにしている。注意を喚起する領域は、見通しの悪い交差点や、車両などの移動する障害物が撮像されている範囲である。
【００１７】
これにより、広角画像で撮像された周辺部に注意を喚起する領域が存在していたとしても、その部分の解像度を高くすることができ、ユーザにとって出力画像が見やすくなり、安全走行に寄与することが可能となる。
【００１８】
また、注意を喚起する特定領域の解像度（画素数）は予め定義されたレンズの画角に対する像高の関数（像高特性）を用いて算出している。また、特定領域以外の領域の画素数も特定領域の画素数を基に算出している。これにより、撮像画像を出力画像に変換する際に必要となる各領域の画素数を容易に算出でき、撮像画像の表示の際にかかる処理負担も軽く画像表示に係る時間の遅延を防止することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る車載カメラ（撮像装置）を使用した車両周囲画像提供装置の構成を概略的に示すブロック図である。
【図２】図１の装置における各車載カメラの設置例を模式的に示す図である。
【図３】図１の装置における各車載カメラの内部構成を概略的に示すブロック図である。
【図４】図１の装置におけるＥＣＵの内部構成を概略的に示すブロック図である。
【図５】レンズの画像範囲とイメージセンサによる画像取得範囲との位置関係を示す図である。
【図６】車載カメラで撮像された画像の一部を高解像度にした一例を示す図である。
【図７】レンズの画角と像高の関係を説明する図である。
【図８】図３の車載カメラにおいて行う画像のリサイジングの一例を説明するための図である。
【図９】画像の一部を高解像度にする処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
【００２１】
図１は、本発明の一実施形態に係る車載カメラ（撮像装置）を使用した車両周囲画像提供装置の概略構成を示した図である。本実施形態では、本発明に係る撮像装置をトップビュー表示機能を備えた車両周囲画像提供装置の一部として組み込んだ場合の構成例を示している。「トップビュー表示」とは、ディスプレイの画面上で自車両を真上から見た表示であり、典型的なトップビュー表示機能によれば、予め自車画像をメモリ等に記憶させておき、その一方で複数の車載カメラにより車両周囲の各方向の画像を取得し、取得した各画像を自車両の上方からの視点に変換した後の車両周囲の画像と、上記の自車画像とを必要なときに合成して、ディスプレイの画面に表示する。
【００２２】
本実施形態に係る車両周囲画像提供装置５０は、図１に示すように、基本的に、車載カメラ１０ａ、１０ｂ、１０ｃ及び１０ｄと、電子制御ユニット（ＥＣＵ）２０と、表示部３０とを備えている。
【００２３】
各車載カメラ１０ａ、１０ｂ、１０ｃ及び１０ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１０ａは車両の前部に、後方カメラ１０ｂは車両の後部に、左方カメラ１０ｃ及び右方カメラ１０ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）に設置されている。
【００２４】
また、各車載カメラ１０ａ〜１０ｄは、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されており、各車載カメラ１０ａ〜１０ｄが協働して自車両の全周囲（車両周囲）を撮影できるように配置されている。
【００２５】
各車載カメラ１０ａ〜１０ｄは、例えば、ＣＣＤ(Charge Coupled Device)センサを内蔵している。特に図示はしないが、このＣＣＤセンサは、受光部として機能するフォトダイオード（光電変換素子）と、その光電変換された信号（電荷）を転送するためのＣＣＤを有しており、フォトダイオードは２次元に配列され、各フォトダイオード上にマイクロレンズが設けられている。また、各車載カメラ１０ａ〜１０ｄは、後述するように、画像をリサイズする機能を備えている。
【００２６】
表示部３０は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。この表示部３０の表示画面には、ＥＣＵ２０からの制御に基づいて、後述するように各車載カメラ１０ａ〜１０ｄで画像のリサイジングが行われて出力された画像データを適宜画像処理して得られた車両の周囲画像が表示される。
【００２７】
次に、本実施形態に係る車両周囲画像提供装置５０において使用される各車載カメラ１０ａ〜１０ｄの内部構成について、図３を参照しながら説明する。
【００２８】
図３に示すように、車載カメラ１０ａ〜１０ｄは、被写体で反射された光を透過させる光学レンズ１１と、このレンズ１１を通して入射された光を当該被写体に応じた映像信号（アナログの電気信号）に変換するＣＣＤイメージセンサ１２と、このＣＣＤイメージセンサ１２を駆動するＣＣＤドライバ１３と、ＣＣＤイメージセンサ１２から出力されるアナログの画像データに対して各種処理を行うアナログフロントエンド（Ｆ／Ｅ）１４と、デジタル信号プロセッサ（ＤＳＰ）１５と、データ格納用のメモリ１６と、指定された画像領域の像高を調整するリサイジングの態様を規定したテーブルを格納したメモリ１７と、ビデオエンコーダ１８と、を備えている。さらに、電源部（不図示）も備えており、必要に応じて各機能ブロックにそれぞれ所要の電源電圧が供給されるようになっている。なお、図３の例では、ＣＣＤイメージセンサ１２を使用しているが、これに代えてＣＭＯＳイメージセンサを使用してもよい。
【００２９】
この構成において、アナログＦ／Ｅ１４は、ＣＣＤイメージセンサ１２で取得されたアナログの画像信号からノイズ成分を除去するためのフィルタ、そのアナログの画像信号を増幅するアンプ、その増幅されたアナログ信号をデジタル画像信号に変換するＡ／Ｄ変換機などの機能ブロックを有している。このアナログＦ／Ｅ１４は、基本的には、ＣＣＤイメージセンサ１２の出力をＡ／Ｄ変換する際の入力ゲインを制御したり、ＣＣＤドライバ１３に対してＣＣＤイメージセンサ１２を駆動するのに必要な制御信号を供給するものである。
【００３０】
メモリ１６は、例えば、フラッシュメモリ等の半導体メモリからなる。このメモリ１６には、ＤＳＰ２０からの制御に基づき、アナログＦ／Ｅ１４を通して適宜画像処理されたデジタル画像データが格納される。メモリ１７は、同様にフラッシュメモリ等の半導体メモリからなる。このメモリ１７には、外部からの取得要求の対象とされる画像（本実施形態では、ＥＣＵ２０から送られてくる画像要求信号ＲＱにより指示される画像）のうちの所定の領域に対して解像度を他の領域よりも高くするための像高を決定するパラメータが格納されている。
【００３１】
ＤＳＰ１５は、基本的には、アナログＦ／Ｅ１４を通して適宜画像処理されたデジタル画像データに対して、一般的なデジタルカメラにおいて行われているのと同様のデジタル信号処理、ガンマ（γ）補正等の信号加工や補正、ＹＵＶ信号への変換処理等を行う。
【００３２】
さらにＤＳＰ１５は、ＥＣＵ２０からの画像要求信号ＲＱを受信したときに、メモリ１７に格納されているパラメータを参照して、その画像要求信号ＲＱにより指示される画像の領域に対して取得された画像データのリサイズを行う。
【００３３】
リサイジング処理がなされたデジタル画像データは、上記のγ補正等の信号加工や補正、ＹＵＶ信号への変換処理等を経て、ビデオエンコーダ１８に出力される。
【００３４】
ビデオエンコーダ１８では、そのデジタル画像信号（ＹＵＶ信号）をアナログの画像信号（ＮＴＳＣ信号）に変換して、ＥＣＵ２０への伝送ライン上に出力する。
【００３５】
次に、ＥＣＵ２０の内部構成について図４を参照しながら説明する。
【００３６】
ＥＣＵ２０は、全体として、各車載カメラ１０ａ〜１０ｄから出力された画像データに対し、適宜画像処理を施して車両周囲の画像（トップビュー画像）を生成し、表示部３０に供給するための制御ユニットである。このＥＣＵ２０は、図４に示すように、車載カメラ１０ａ〜１０ｄから転送されてきたアナログの画像データをデジタルデータに変換する画像入力部（Ａ／Ｄ）２１と、データ格納用のメモリ２２と、ＣＰＵ２３と、画像処理部２４と、ＣＰＵ２３で行うトップビュー表示のための処理を規定したプログラムを格納したメモリ２５と、注意喚起情報検出部２６とを備えている。
【００３７】
メモリ２２は、例えば、フラッシュメモリ等の半導体メモリからなる。このメモリ２２には、ＣＰＵ２３からの制御に基づき、画像入力部２１を通してＡ／Ｄ変換された画像データ（各車載カメラ１０ａ〜１０ｄで取得された車両周辺の画像データ）が格納されると共に、画像処理部２４で画像処理されたデジタル画像データ（車両周辺の画像データの視点変換後の俯瞰画像データ）が格納される。さらにメモリ２２には、予め準備された自車両の画像（自車画像）のデータが格納されている。
【００３８】
画像処理部２４は、ＣＰＵ２３からの制御に基づき、メモリ２２に格納されている画像データを参照して、各車載カメラ１０ａ〜１０ｄで取得された各方向（自車両の前方、後方、左方及び右方）の画像の視点をそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像）を生成し、生成された各方向の俯瞰画像を合成して車両周囲の画像を生成し、さらに、生成された車両周囲の画像（俯瞰画像）に自車画像を合成してトップビュー画像を生成する。
【００３９】
注意喚起情報検出部２６は、車両走行において注意喚起の対象となる対象物や地点を検出する。例えば、ＧＰＳ受信機の出力から車両位置を検出し、自車両が予め注意喚起地点として設定された見通しの悪い交差点に接近したことを検出する。また、レーダや電波等を使用して、他車両等の障害物を検出したり、画像データのフレーム間差分を解析して移動体を検出したりする。
【００４０】
ＣＰＵ２３は、基本的には、各車載カメラ１０ａ〜１０ｄから出力された画像データに基づいて画像処理部２４に対しトップビュー表示に係る各種画像処理を制御する。また、ＣＰＵ２３は、本発明に関連する処理として、各車載カメラ１０ａ〜１０ｄから取得した撮像画像のうち、注意を喚起する対象が含まれる領域を特定し、この特定領域を所要の像高にする旨の画像要求信号ＲＱを生成し、各車載カメラ１０ａ〜１０ｄに送信する。
【００４１】
このように構成された車両周囲画像提供装置５０において、注意を喚起する必要のある特定領域が撮像画像に存在することを検出すると、その画像の特定領域の解像度を他の領域に比べて高くするように画素の処理を施して出力画像を作成し表示する。これにより、広角レンズで撮像され、歪んだ領域であっても、特定領域に指定されれば、その部分の解像度が高くなるため、対象物を明瞭に表示することが可能になり、安全走行に寄与することができる。
【００４２】
以下、本実施形態に係る撮像装置及び車両周囲画像提供装置５０において行う車載カメラ１０ａ〜１０ｄにより取得した広角画像のうち所定の領域の画像を高解像度に変換する処理について、図５から図９を参照しながら説明する。
【００４３】
図５は、車載カメラのレンズから見た画像範囲とイメージセンサによる画像取得範囲との位置関係を示した図である。図５に示すように、車載カメラのレンズ５１は平面的に丸く、その画像範囲も「円形」となっているのに対し、イメージセンサによる画像取得範囲５２は、その受光部が２次元アレイのマトリクス状に配列されたフォトダイオードから構成されているため、カメラレンズの視野内で「矩形」となっている。
【００４４】
なお、画像取得範囲５２において、格子状に区分けされた各部分は画素（ピクセル）を表している。また、車載カメラから表示部への画像転送にあたり、ＤＳＰ１５では、転送される画像のサイズ（Ａ＋Ｂ）が所要の出力画像サイズ（例えばＶＧＡサイズ）となるように画像のリサイジングを行う。
【００４５】
図６は、車載の前方カメラで撮像された画像の一例を示している。図６（ａ）は、本実施形態の画像処理を行う前の画像６１であり、図６（ｂ）は、注意喚起の対象物の周辺を高解像度にしたときの画像６２を示している。なお、この画像のうち図５の画像取得範囲５２に対応する領域が表示部３０で表示されることになる。
【００４６】
図６（ａ）に示すように、自車の前方カメラで撮像された右前方の他車両（移動体）を注意喚起の対象物として検出したものとする。検出された他車両は撮像画像の周辺部に位置しており、表示される移動体は実際の形状に比べて歪みが大きく、大きさも小さくなっている。従って、この画像が表示部３０に表示された場合でも、運転者が移動体の存在に気がつかない可能性がある。これに対して、図６（ｂ）は、移動体の周辺部の解像度を高くしており、表示される移動体は実際の形状に近く、大きさも大きくなっている。
【００４７】
検出された注意喚起の対象物の周辺を注意喚起対象領域６３とし、この領域６３に対して解像度を高くし、像高を大きくする処理を施している。このような特定領域の画像の像高調整処理について以下に説明する。
【００４８】
図７（ａ）及び（ｂ）は、レンズの像高特性を示すグラフである。横軸は画角θであり、縦軸は像高ｙである。図７（ｃ）は、本実施形態における画角θ及び像高ｙの定義を説明する図であり、レンズ７１及び撮像素子７２を上方から見た上面図に相当する。レンズ７１の光軸中心から角度θだけずれた位置にある被写体が、レンズ７１によって撮像素子７２上に結像されている。本実施形態では、この角度θを「画角θ」と定義し、撮像素子７２上におけるレンズ７１の光軸中心から被写体の結像位置までの距離ｙを、「像高ｙ」と定義している。また、像高はピクセル数で表される。
【００４９】
図７（ａ）の像高特性曲線Ｌ１は、画角の変化率に対する像高の変化率が画像の中央部から周辺部にわたって一定の関係を有し、画角と像高が正比例関係になっている。従って、この像高特性曲線Ｌ１による撮像画像は、中心から周辺まで一様に歪ませている。一方、図７（ｂ）の像高特性曲線Ｌ２は周辺部における画角の変化率に対する像高の変化率を中央部における画角の変化率に対する像高の変化率よりも大きくなるような関係になっている。
【００５０】
これらの像高特性曲線は、画角をθ、像高をｙとしたとき、次式によって表される。
【００５１】
ｙ＝ｋ１×θ＋ｋ２×θ2＋…＋ｋｎ×θn
例えば、像高特性曲線を２次式で規定すると、ｙ＝ｋ１×θ＋ｋ２×θ2となり、係数ｋ１及びｋ２の値によって像高特性が決定される。図７（ａ）の像高特性曲線Ｌ１は係数ｋ２をゼロとした場合であり、図７（ｂ）の像高特性曲線Ｌ２は係数ｋ１をゼロとした場合である。これらの係数ｋ１、ｋ２の値は、像高特性が所定の領域において所望の像高になるように予め決定しておく。
【００５２】
図６（ａ）の像高調整処理を施す前の画像は、像高特性曲線Ｌ１の係数ｋ１を４とし、係数ｋ２を０とした場合に対応している。このときの像高調整対象領域６３内の移動体の画角が７０［度］から８０［度］とすると、像高は２４８［ピクセル］から２８４［ピクセル］となる。従って、その間のピクセル数が３６となっている。
【００５３】
一方、図６（ｂ）の像高調整処理を施した後の画像は、像高特性曲線Ｌ２の係数ｋ１を０とし、係数ｋ２を０．０４とした場合に対応している。このときの像高は、１９４［ピクセル］から２５２［ピクセル］となり、その間のピクセル数が５８となっている。
【００５４】
図８は、車載カメラにおいて行う画像のリサイジングの一例を説明する図であり、図５（ａ）の像高調整処理前のカメラ画像における像高調整対象領域６３を拡大して示している。図８の例では、車両の前方交差点の右側に存在する移動体である車両が含まれる領域を像高調整対象領域６３とし、この領域６３を高解像度にするようにしている。すなわち、この領域６３については図７（ｂ）の像高特性曲線Ｌ２を使用し、この領域６３の画素数（解像度）を算出する。上記したように像高調整対象領域６３内の移動体の水平方向のピクセル数は５８となり、この領域６３においては画素の間引きを行わず、これらの画素群で出力画像を生成する。これにより、像高調整対象領域６３における画像は像高が大きくかつ高解像度になる。なお、注意喚起の対象となる移動体の画像だけを高解像度にしてもよく、像高調整対象領域６３を高解像度にしてもよい。像高調整対象領域６３は注意喚起の対象物が含まれる領域であり、移動体の周囲の距離や、移動体の面積が予め規定した割合になるように像高調整対象領域６３の大きさを特定する。
【００５５】
なお、注意を喚起する対象として移動体が複数検出された場合には、自車両に近い移動体を注意喚起の対象として像高調整対象領域６３を設定する。また、自車両に接近している移動体を注意喚起の対象とするようにしてもよい。
【００５６】
像高調整対象領域６３の高解像度化に伴い、出力画像においてその領域６３で追加された分の画素を、他の領域から間引くことが必要となる。その他の領域については予め決められた画素の間引きに加えて、所定領域において高解像度にした分の画素数を間引くように調整する。なお、予め決められた画素の間引きとしては、典型的には、イメージセンサで取得された画像に対して、全体を一定に間引く方法、例えば、水平方向の１ライン毎に交互に画素を間引く方法や、所定の数単位の画素毎に１画素ずつ間引く方法がある。ここでは、所定の数単位の画素毎に１画素ずつ間引くものとする。
【００５７】
このとき、像高調整対象領域６３が撮像画像のどこに位置するかによって、その他の領域のうち画素を間引く領域を予め設定するようにしておく。例えば、像高調整対象領域６３が撮像画像の周辺部であった場合には次のようにして出力画像を生成する。
【００５８】
（１）像高調整対象領域以外の領域の画像に対して一律に画素を間引く場合
この場合は、出力画像において、周辺領域ＡＲ３で追加される画素数Ｓを周辺領域ＡＲ１及び中央領域ＡＲ２から通常の一つおきの間引きに加えて平均化して間引く。例えば、周辺領域ＡＲ１の水平ラインの画素６４の数がｎ１、中央領域ＡＲ２の水平ラインの画素６４の数がｎ２であり、ｎ１＋ｎ２＝Ｎ１であれば、（Ｎ１／Ｓ）×ｃ１番目の画素を間引くようにする。ただし、ｃ１は自然数であり、０≦ｃ１≦Ｓとする。
【００５９】
（２）像高調整対象領域以外の領域の画像のうち、中央部の画素を間引く場合
この場合は、中央領域ＡＲ２についての画素の間引き数を通常よりも多くする。例えば、中央領域ＡＲ２の水平ラインの画素６４の数がｎ２であれば、（ｎ２／Ｓ）×ｃ２番目の画素を間引くようにする。ただし、ｃ２は自然数であり、０≦ｃ２≦Ｓとする。
【００６０】
なお、車両周囲の画像を広角範囲で取得するために、一般に魚眼レンズが使用されている。このため、ＣＣＤやＣＭＯＳ等のイメージセンサで画像を取得すると、レンズの周辺部分は中央部分に比べて解像度が低下する。中央部分の画像は周辺部分の画像よりも解像度が高いため、中央部分について多少の間引き量を増やしても、画像全体としてはそれほどの支障が生じない。
【００６１】
（３）像高調整対象領域以外の領域の画像のうち、像高調整対象領域と反対側の周辺部の画素を間引く場合
この場合は、周辺領域ＡＲ１についての画素の間引き数を通常よりも多くする。例えば、この周辺領域ＡＲ１の水平ラインの画素６４の数がｎ１であれば、（ｎ１／Ｓ）×ｃ３番目の画素を間引くようにする。ただし、ｃ３は自然数であり、０≦ｃ３≦Ｓとする。
【００６２】
この領域の画素を間引く場合としては、例えば、車両が交差点を直進する場合であって、前方左方を特に注意する状態でない場合が考えられる。
【００６３】
また、例えば、移動体を２つ検出し、自車位置に近い移動体が画像の周辺部であって、その移動体を中心とした領域を所定領域としたとき、もう一方の移動体の存在する領域が中央部であれば、中央部の画素の間引き数を他方の周辺部の画素の間引き数よりも少なくするようにしてもよい。同様に、もう一方の移動体の存在する領域が他方の周辺部であれば、他方の周辺部の画素の間引き数を中央部の画素の間引き数よりも少なくするようにしてもよい。
【００６４】
上記に示したような、どの領域でどの程度の画素の間引きを行うかについてのリサイジングの態様は、予めリサイジング態様テーブルとして規定し、メモリ１７に記憶しておく。
【００６５】
次に、ＥＣＵ２０及び車載カメラ１０において行う、車載カメラで撮像された画像の一部を像高調整する処理について、図９のフローチャートを用いて説明する。
【００６６】
まず、ステップＳ１１において、車両周囲の画像を車載カメラ１０ａ〜１０ｄにより撮像する。
【００６７】
次のステップＳ１２では、ＥＣＵ２０において、撮像画像に注意を喚起する必要がある対象が含まれているか否かを判定する。この対象は、予め設定された交差点やＴ字路、Ｙ字路等の見通しの悪い地点であってもよいし、注意喚起情報検出部２６で検出された他車両等の移動体であってもよい。対象が含まれているときは、ステップＳ１３に移行し、対象が含まれていないときは、ステップＳ１８に移行する。
【００６８】
次のステップＳ１３では、ＥＣＵ２０において、撮像画像のうちの像高を大きくする注意喚起対象領域を特定する。注意喚起対象領域の特定は、例えば、移動体を検出したときには、その移動体の全体が含まれる所定範囲とする。また、交差点など見通しの悪い地点を前方カメラで撮像した場合には、撮像画像の右側の周辺部とする。また、自車両が左折するときには、左側の周辺部としてもよい。
【００６９】
次のステップＳ１４では、注意喚起対象領域に適用する像高特性関数を決定する。この像高特性関数は、像高特性曲線の係数パラメータを変えることによって調整される。像高を調整する領域と係数パラメータとの関係は予めメモリに格納しておく。
【００７０】
次のステップＳ１５では、車載カメラにおいて、像高特性関数を基に注意喚起対象領域の像高（画素数）を算出する。
【００７１】
次のステップＳ１６では、注意喚起対象領域以外の領域の画素数を算出する。通常、所定の出力画像サイズになるように画像のリサイジングが行われている。例えば、撮像画像の水平方向の画素数に対して、１画素おきに画素を間引くようにして、予め間引く画素数が決められている。注意喚起対象領域では像高を大きくするとともに、その領域を高解像度にするために画素の間引きを行わないようにする。そのため、水平方向全体の伝送画素数を調整するため、対象領域以外の領域の画素をさらに間引くことが必要となる。このとき、他の領域から一律に間引くようにしてもよいし、他の領域を中央部と周辺部とに分け、所定の条件の下に中央部の画素を間引いたり、周辺部の画素を間引くようにしてもよい。
【００７２】
次のステップＳ１７では、ステップＳ１５及びステップＳ１６で算出された画素数に基づいて出力画像を生成する。
【００７３】
一方、ステップＳ１８では、撮像地点が像高調整を要する地点ではないと判定されているため、撮像装置で撮像された画像を通常の画素の間引きを行って調整した出力画像を生成して、本処理は終了する。
【００７４】
以上説明したように、本実施形態の撮像装置及び車両周囲画像提供装置では、撮像画像のうちの注意を喚起する領域を特定し、その領域の解像度を高めた出力画像を生成するようにしている。注意を喚起する領域は、見通しの悪い交差点や、車両などの移動する障害物が撮像されている範囲である。
【００７５】
これにより、広角画像で撮像された周辺部に注意を喚起する領域が存在していたとしても、その部分の解像度を高くすることができ、画像歪みを低減することも可能で、ユーザにとって出力画像が見やすくなり、安全走行に寄与することが可能となる。
【００７６】
また、注意を喚起する領域の解像度（画素数）は予め定義されたレンズの画角に対する像高の関数（像高特性）を用いて算出している。また、特定領域以外の領域の画素数も特定領域の画素数を基に算出している。これにより、撮像画像を出力画像に変換する際に必要となる各領域の画素数を容易に算出でき、撮像画像の表示の際にかかる処理負担も軽く画像表示に係る時間の遅延を防止することが可能となる。
【符号の説明】
【００７７】
１０ａ、１０ｂ、１０ｃ、１０ｄ…車載カメラ（撮像装置）、
１５…デジタル信号プロセッサ（ＤＳＰ／制御手段）、
１８…ビデオエンコーダ（制御手段）、
２０…電子制御装置（ＥＣＵ／制御装置）、
２３…ＣＰＵ、
２４…画像処理部、
３０…表示部（表示装置）、
５０…車両周囲画像提供装置、
６１…像高調整処理前のカメラ画像、
６２…像高調整処理後のカメラ画像、
６３…像高調整対象領域。
【図１】
2010283567.tif 000003
【図２】
2010283567.tif 000004
【図３】
2010283567.tif 000005
【図４】
2010283567.tif 000006
【図５】
2010283567.tif 000007
【図６】
2010283567.tif 000008
【図７】
2010283567.tif 000009
【図８】
2010283567.tif 000010
【図９】
2010283567.tif 000011