(57)【要約】【課題】幾何学補正により平面視座標に座標変換を行った際に拡大率が大きい部分の画質を向上する。【解決手段】カメラ１１の撮像に係る解像度の半分の解像度で映像を表示する表示装置１５を有する場合に、座標変換により所定の拡大率以下で映像が変換される部分について、奇数フィールド及び偶数フィールドのうちのいずれか一方を参照して座標変換を行う一方、座標変換により所定の拡大率を超えて映像が変換される部分について、奇数フィールド及び偶数フィールドの両方を参照して座標変換を行う。拡大率の大小に拘わらず、鮮明な画質の映像を表示装置に表示できる。【選択図】図１
2005333442.tif 000002
【特許請求の範囲】
【請求項１】
周辺の映像を所定の撮像手段で撮像して所定の表示手段に表示する周辺視認装置であって、
元映像を撮像し、奇数ラインのみからなる奇数フィールドと偶数ラインのみからなる偶数フィールドに分けて映像を出力する前記撮像手段と、
前記撮像手段の撮像に係る解像度の半分の解像度で映像を表示する表示手段と、
前記元映像について座標変換を行って前記表示手段に映像を出力する画像処理手段と
を備え、
前記画像処理手段が、前記座標変換により所定の拡大率以下で映像が変換される部分について、前記奇数フィールド及び前記偶数フィールドのうちのいずれか一方を参照して前記座標変換を行う一方、前記座標変換により前記所定の拡大率を超えて映像が変換される部分について、前記奇数フィールド及び前記偶数フィールドの両方を参照して前記座標変換を行うことを特徴とする周辺視認装置。
【請求項２】
請求項１に記載の周辺視認装置であって、
前記所定の拡大率が１．０倍である、周辺視認装置。
【請求項３】
請求項１または請求項２に記載の周辺視認装置であって、
前記画像処理手段が、前記座標変換により２．０倍の拡大率で映像が変換される部分について、前記奇数フィールドの前記奇数ラインと前記偶数フィールドの前記偶数ラインとを交互に配置して前記座標変換を行うことを特徴とする周辺視認装置。
【請求項４】
請求項１から請求項３のいずれかに記載の周辺視認装置であって、
前記画像処理手段が、前記座標変換により少なくとも１．０より高い拡大率で変換する映像の一部について、アップサンプリングして解像度を２倍に増やして、所定のサンプリング関数により画素補間を行うことを特徴とする周辺視認装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の映像を所定の撮像手段で撮像して車内の表示手段に表示する周辺視認装置及びそれに関連する技術に関するものである。
【背景技術】
【０００２】
自動車の分野においては、例えば車両の後方を運転者が確認しやすくするために、車両の後部に設置されたバックカメラで後方を撮像し、車内に設置された液晶パネル等の表示装置に表示することが行われている。
【０００３】
このように表示装置に表示される映像としては、通常のバックカメラの元映像を用いることで可能である。図４に、バックカメラで撮像された元映像を示す。この元映像では、図５のように、カメラ１の設置位置が地面から一定の高さＨを有して設定されるため、カメラ１の視野範囲３に入る元映像は斜めに見下ろす視点で撮像されたものとなっている。
【０００４】
しかしながら、図４に示した斜めに見下ろす視点の元映像は、カメラ１の設置位置が一般に視認者の視認高さと異なって設定されるなどの理由から、必ずしも周囲の映像を感覚的に把握しやすいものとならないことが多い。
【０００５】
そこで、画像に対して幾何学的補正をかけるなどの視点変換の技術を用いて、斜めに見下ろす視点の映像を平面視座標の映像に変換することで、例えば図６のように、距離感を分かりやすくすることが可能である。
【０００６】
尚、図４及び図６中の符号５は車両のバンパー、図６中の符号７は座標変換を行ったことにより元映像になかった画素部分に対応して表示された暗表示部をそれぞれ示している。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、図６に示したような幾何学補正による視点変換後の映像において、車両近傍のＡ２で示した部分は元映像のＡ１の部分に対応して映像の縮小（画素の間引き）が行われるが、車両遠方のＢ２で示した部分は元映像のＢ１の部分に対応して拡大（画素補間）している。
【０００８】
ここで、図７は映像の拡大率が小さく画素補間をほとんど行わずに済む場合の原理図、図８は映像の拡大率が大きく画素補間を行っている場合の原理図である。尚、図７及び図８において、ｙ０〜ｙ３は元映像中の各画素、Ｙ０〜Ｙ３は幾何学補正による視点変換後の映像における各画素を意味している。
【０００９】
幾何学補正による視点変換後の映像に拡大部分Ｂ２が存在する場合において、その拡大率が図７のように小さい場合は、例えば画素Ｙ０が元映像中の画素ｙ０及びｙ１から生成され、また例えば画素Ｙ１が元映像中の画素ｙ１及びｙ２から生成されるといったように、元映像の解像度がほぼ維持されるため、画質の劣化は行われない。
【００１０】
これに対して、拡大率が図８のように大きい場合は、例えば画素Ｙ０が元映像中の画素ｙ０及びｙ１から生成されるのに対して、例えば画素Ｙ１も元映像中の画素ｙ０及びｙ１から生成される、といったように、元映像中の同じ２画素ｙ０〜ｙ３を参照して出力画素Ｙ０〜Ｙ３を連続して画素補間して生成するため、垂直方向にぼやけた映像になってしまう。
【００１１】
そして、画像の拡大率は、車両から遠方にいくに従って大きくなるため、図６に示したような幾何学補正による視点変換後の映像では、車両から遠方の映像部分（例えば、Ｂ２等）において画質劣化が起きやすくなってしまう。
【００１２】
そこで、本発明の課題は、幾何学補正により平面視座標に座標変換を行うのに際して、拡大率が高くなる部分の視認性を向上し得る周辺視認装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決すべく、請求項１に記載の発明は、周辺の映像を所定の撮像手段で撮像して所定の表示手段に表示する周辺視認装置であって、元映像を撮像し、奇数ラインのみからなる奇数フィールドと偶数ラインのみからなる偶数フィールドに分けて映像を出力する前記撮像手段と、前記撮像手段の撮像に係る解像度の半分の解像度で映像を表示する表示手段と、前記元映像について座標変換を行って前記表示手段に映像を出力する画像処理手段とを備え、前記画像処理手段が、前記座標変換により所定の拡大率以下で映像が変換される部分について、前記奇数フィールド及び前記偶数フィールドのうちのいずれか一方を参照して前記座標変換を行う一方、前記座標変換により前記所定の拡大率を超えて映像が変換される部分について、前記奇数フィールド及び前記偶数フィールドの両方を参照して前記座標変換を行うものである。
【００１４】
請求項２に記載の発明は、請求項１に記載の周辺視認装置であって、前記所定の拡大率が１．０倍であるものである。
【００１５】
請求項３に記載の発明は、請求項１または請求項２に記載の周辺視認装置であって、前記画像処理手段が、前記座標変換により２．０倍の拡大率で映像が変換される部分について、前記奇数フィールドの前記奇数ラインと前記偶数フィールドの前記偶数ラインとを交互に配置して前記座標変換を行うものである。
【００１６】
請求項４に記載の発明は、請求項１から請求項３のいずれかに記載の周辺視認装置であって、前記画像処理手段が、前記座標変換により少なくとも１．０より高い拡大率で変換する映像の一部について、アップサンプリングして解像度を２倍に増やして、所定のサンプリング関数により画素補間を行うものである。
【発明の効果】
【００１７】
請求項１に記載の発明の周辺視認装置は、撮像手段の撮像に係る解像度の半分の解像度で映像を表示する表示手段を有する場合に、座標変換により所定の拡大率以下で映像が変換される部分について、奇数フィールド及び偶数フィールドのうちのいずれか一方を参照して座標変換を行う一方、座標変換により所定の拡大率を超えて映像が変換される部分について、奇数フィールド及び偶数フィールドの両方を参照して座標変換を行うので、拡大率の大小に拘わらず、鮮明な画質の映像を表示装置に表示できる。したがって、視認性の良い映像を表示することが可能となる。
【００１８】
この場合、請求項２のように、拡大率が１．０倍を超えるときに奇数フィールド及び偶数フィールドの両方を参照して座標変換を行えば、拡大率が少なくとも２倍以下の部分の全てにおいて、奇数フィールド及び偶数フィールドのうちのいずれか一方だけの映像とほぼ同等の画質を得ることができる。
【００１９】
請求項３に記載の発明の周辺視認装置は、座標変換により２．０倍の拡大率で映像が変換される部分について、奇数ラインと偶数ラインとを交互に配置して座標変換を行うといった簡単な処理を行うだけで、容易に画質を鮮明にできる。
【００２０】
請求項４に記載の発明の周辺視認装置は、映像の一部について、アップサンプリングして解像度を２倍に増やして、所定のサンプリング関数により画素補間を行うので、画素補間を行う際に解像度を上げて画質劣化を防止することが可能となる。
【発明を実施するための最良の形態】
【００２１】
一般に、映像を撮像する撮像手段としてのカメラは、撮像された映像に係る信号をＮＴＳＣ方式の信号として画像処理ＥＣＵ（画像処理手段）に出力（画像伝送）する。このＮＴＳＣ方式での画像伝送では、例えば垂直方向で合計４８０ラインの映像のうち、２４０ラインの奇数ラインで構成された奇数フィールドと、２４０ラインの偶数ラインで構成された偶数フィールドに分けて交互に画像を伝送している。
【００２２】
ところで、自動車内の運転者（ユーザ）等の乗員が周辺の安全確認を行うために、自動車の周辺の映像をカメラで撮像し、これを車室内の液晶表示装置（ＬＣＤ）に表示する場合、液晶表示装置は車室内の限られたスペースに配置する必要があることから、あまり大型の画面を有するものの設置が困難であり、液晶表示装置に表示される映像のライン数は２４０ラインが適している。
【００２３】
このことから、従来においては、２４０ラインの奇数ラインで構成された奇数フィールドと、２４０ラインの偶数ラインで構成された偶数フィールドのうち、一方のフィールドのみ、例えば奇数フィールドのみを表示している。即ち、偶数フィールドについては、カメラで撮像されてＮＴＳＣ方式の信号として画像処理ＥＣＵに伝送されるにも拘わらず、この画像処理ＥＣＵで廃棄されて液晶表示装置に表示されることがなかった。
【００２４】
しかしながら、図８のように画像の拡大率が大きい場合において、奇数フィールドのみの画像に対して画素補間を行うと、垂直方向にぼやけた映像になってしまい、特に図６に示したような幾何学補正による視点変換後の映像では、車両から遠方の映像部分（例えば、Ｂ２等）において画質劣化が起きやすくなってしまうという問題があった。
【００２５】
そこで、本発明の一の実施形態に係る周辺視認装置においては、車両遠方において拡大率の大きな画質劣化の起きやすい部分の画像に対しては、奇数フィールドと偶数フィールドの両方を用いて解像度を上げ、画質劣化を低減する処理を行うようになっている。
【００２６】
図１は本発明の一の実施形態に係る周辺視認装置を示すブロック図である。
【００２７】
この周辺視認装置は、自動車内の運転者（ユーザ）等の乗員が周辺の安全確認を行うために、自動車の周辺について、図５のように斜めに見下ろす視点で図４に示したような元映像を撮像し、この元映像に対して視点変換を行って幾何学補正により平面視座標に視点変換を行うものである。
【００２８】
具体的に、この周辺視認装置は、図１の如く、車両の周辺を撮像するカメラ１１と、このカメラ１１に対して例えば車載ＬＡＮ１２を通じて画像処理ＥＣＵ（画像処理手段）１３で受信され、この画像処理ＥＣＵ１３で画像処理されて表示装置（ディスプレイ）１５に表示されるようになっている。
【００２９】
ここで、カメラ１１は、例えばＣＣＤ等の所定の撮像素子を備えた一般的なものであり、図５の如く斜めに見下ろす視点で元映像を撮像するようになっている。このカメラ１１で撮像された元映像は、垂直方向に４８０ラインの画素を有しているが、このうち、２４０ラインの奇数ラインで構成された奇数フィールドと、２４０ラインの偶数ラインで構成された偶数フィールドに分けて、車載ＬＡＮ１２を通じて画像処理ＥＣＵ１３に交互に伝送される。
【００３０】
画像処理ＥＣＵ１３は、図１の如く、車載ＬＡＮ１２で通信を行うための通信インターフェースである通信Ｉ／Ｆ部２１と、表示装置（ディスプレイ）１５に接続されるモニターＩ／Ｆ部２３と、画像処理を司る画像処理ＡＳＩＣ２５と、この画像処理ＡＳＩＣ２５において座標変換を行うための変換テーブルを格納する変換テーブル用メモリ２７と、画像処理ＡＳＩＣ２５が画像処理に際して一時的に映像を格納するＳＤＲＡＭ等のフレームメモリ２９と、画像処理ＡＳＩＣ２５を制御するＣＰＵ３１と、画像処理ＡＳＩＣ２５での画像処理において各種パラメータ等を提供するための書き換え可能な不揮発性メモリ３３とを備えて構成される。
【００３１】
ここで、フレームメモリ２９は、少なくとも、元映像の１フレーム毎に、奇数フィールドと偶数フィールドの両方を格納するようになっている。望ましくは、このフレームメモリ２９は、元映像の１フレーム当たりのデータよりも大きな容量のデータを格納できるようになっている。
【００３２】
そして、この画像処理ＡＳＩＣ２５は、元映像に対して視点変換を行って幾何学補正により平面視座標に視点変換を行う第１の機能と、この視点変換に際して元映像を垂直方向に拡大する必要のない部分（即ち、拡大率が１．０倍以下である部分）についてフレームメモリ２９内の奇数フィールドの画素のみを参照する第２の機能と、視点変換に際して元映像を垂直方向に拡大する必要のある部分（即ち、拡大率が１．０倍より大きい部分）についてフレームメモリ２９内の奇数フィールドと偶数フィールドの両方の画素を参照して画素補間する第３の機能とを有する。
【００３３】
ここで、図２は拡大率が２．０倍である部分について画素補間を行う場合の原理図であり、図２中の符号ｙｏ０〜ｙｏ３は奇数フィールドにおいて垂直方向に並んだ各画素、符号ｙｅ０〜ｙｅ２は偶数フィールドにおいて垂直方向に並んだ各画素、符号Ｙ０〜Ｙ６は画素補間された後の映像（図８参照）において垂直方向に並んだ各画素をそれぞれ示している。
【００３４】
例えば、拡大率が１．０倍である部分については、表示装置１５の適合解像度として垂直方向に２４０ラインが設定されているため、元映像の奇数フィールドの各画素ｙｏ０〜ｙｏ３のみで充分に鮮明な画像を得ることができる。
【００３５】
これに対して、拡大率が２．０倍である部分については、奇数フィールド内の垂直方向に近接する各画素ｙｏ０〜ｙｏ３同士の間にそれぞれ１画素ずつを補間する必要がある。そこで、図２の如く、画像処理ＡＳＩＣ２５は、奇数フィールド内の垂直方向に近接する各画素ｙｏ０〜ｙｏ３同士の間に、従来廃棄されていた偶数フィールドの各画素ｙｅ０〜ｙｅ２をそのまま補間すれば、拡大率が１．０倍である部分と同程度に鮮明な画像を得ることができる。
【００３６】
ここで、図２においては、奇数フィールドの各画素ｙｏ０〜ｙｏ３がそのまま表示画像のＹ０，Ｙ２，Ｙ４，Ｙ６として採用され、偶数フィールドの各画素ｙｅ０〜ｙｅ２がそのまま表示画像の画素Ｙ１，Ｙ３，Ｙ５として採用された例を示している。
【００３７】
また、拡大率が１．０倍より大きく、且つ２．０倍より小さい場合は、画像処理ＡＳＩＣ２５は、図２に示された補間後の画像の画素Ｙ０〜Ｙ６を用いて、所定の重み付け演算を伴う間引き処理等を行って画像縮小を行う。
【００３８】
さらに、拡大率が２．０倍より大きい場合は、画像処理ＡＳＩＣ２５は、図２に示された補間後の画像の画素Ｙ０〜Ｙ６を用いて、例えば図３のように所定の画素補間処理等を行って画像拡大を行う。
【００３９】
この図３においては、奇数フィールドの各画素ｙｏ０〜ｙｏ３がそのまま表示画像の画素Ｙ０，Ｙ２，Ｙ４，Ｙ６として採用される。また、表示画像の例えば画素Ｙ３は、偶数フィールドの１個の画素ｙｅ１と、奇数フィールドの４個の画素ｙｏ０〜ｙｏ３を参照して画素補間が行われる。このときに適用される画素補間の方式としては、周辺画素を重み付け加算する一般的な方式が用いられ、例えば、バイリニア法またはバイキュービック法等の既存の画素補間方式を採用される。
【００４０】
このようにすると、拡大率が２．０倍以下の映像については、少なくとも元映像と同等の解像度で映像を得ることができることになる。
【００４１】
尚、通常の画素補間においては、拡大率が１．５倍程度までは画質の劣化が目立たない。また、この実施形態においては、拡大率が２．０倍までは元映像と同等に鮮明な映像となっている。したがって、拡大率が３．０倍（＝２．０倍×１．５倍）以下の画素補間が行われている部分については画質の劣化が目立たないことになり、比較的遠方において拡大率が３．０倍を超える部分についてのみ画質の劣化が感じられることになる。
【００４２】
したがって、幾何学補正により平面視座標に座標変換を行うのに際して、従来のカメラ１１や表示装置１５を一切変更することなく、画像処理ＥＣＵ１３の内部の画像処理を変更するだけで、拡大率が高くなる部分の視認性を容易に向上することができる。
【００４３】
尚、上記実施形態では、垂直方向に２４０ラインある元映像において、サンプル数を変更せずに座標変換を行い、この座標変換時に車両遠方の解像度が低い部分に対し、奇数フィールドの各画素ｙｏ０〜ｙｏ３に対して偶数フィールドの各画素ｙｅ０〜ｙｅ２を画素補間して垂直方向に拡大率２．０倍の鮮明な映像を得、この映像を用いて画素補間及び間引き処理を行って座標変換を行っていたが、奇数フィールドの各画素ｙｏ０〜ｙｏ３だけでなく、従来廃棄されていた偶数フィールドの各画素ｙｅ０〜ｙｅ２を用いるのであれば、上記方法に限られない。
【００４４】
例えば、垂直方向に２４０ラインある元映像の座標変換時に、車両遠方の解像度が低い部分（例えば、垂直方向の拡大率が３．０倍以上等の部分）に対し、アップサンプリングして解像度を２倍に増やし、サンプリング（シンク）関数によって補間を行って解像度を上げ、画質劣化を低減するようにしてもよい。この場合のアップサンプリングにおいて、偶数フィールドの各画素ｙｅ０〜ｙｅ２を使用すれば、上記実施形態と同様に拡大率の高い部分においても、画質の鮮明な映像部分を表示装置１５に表示することができる。この場合においても、奇数フィールドの各画素ｙｏ０〜ｙｏ３だけでなく、偶数フィールドの各画素ｙｅ０〜ｙｅ２を使用して画素補間を行うことで、全体の画質の鮮明度を向上できることはいうまでもない。
【００４５】
また、上記実施形態では、カメラ１１が自動車に設置されて、車室内の表示装置１５で車両の周辺を視認する例について説明したが、例えば駐車場の壁等にカメラ１１を設置し、監視センターの表示装置１５で駐車場のカメラ設置位置の周辺を視認するものに適用してもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の一の実施形態に係る周辺視認装置を示すブロック図である。
【図２】本発明の一の実施形態に係る周辺視認装置において拡大率が２．０倍の画素補間を行う原理を示す図である。
【図３】本発明の一の実施形態に係る周辺視認装置において拡大率が２．０倍を超えている部分での画素補間を行う原理を示す図である。
【図４】カメラで撮像された元映像を示す図である。
【図５】車両におけるカメラの設置位置の例を示す図である。
【図６】従来の周辺視認装置において幾何学補正により平面視座標に座標変換を行った映像例を示す図である。
【図７】映像の一部の拡大率が小さい場合の原理図である。
【図８】映像の一部の拡大率が大きい場合の原理図である。
【符号の説明】
【００４７】
１１  カメラ
１２  車載ＬＡＮ
１３  画像処理ＥＣＵ
１５  表示装置
【図１】
2005333442.tif 000003
【図２】
2005333442.tif 000004
【図３】
2005333442.tif 000005
【図５】
2005333442.tif 000006
【図７】
2005333442.tif 000007
【図８】
2005333442.tif 000008
【図４】
2005333442.tif 000009
【図６】
2005333442.tif 000010