(57)【要約】【課題】車両の周囲を示す画像の一部を拡大する場合であっても画質の劣化をできるだけ抑制することが可能な技術する。【解決手段】画像を処理する画像処理装置であって、車両の周囲を撮影する撮影装置から撮影画像を取得する画像取得手段と、前記車両の周囲に設けた仮想の投影面に前記撮影画像のデータを投影する投影手段と、前記投影された撮影画像の歪みを補正する補正手段と、を備え、前記補正手段は、前記撮影画像の一部を拡大する旨の入力が有る場合には、入力が無い場合よりも補正量を多くする。【選択図】図１
2016046747.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
車両の周囲を撮影する撮影装置から撮影画像を取得する画像取得手段と、
前記車両の周囲に設けた仮想の投影面に前記撮影画像のデータを投影する投影手段と、
前記投影された撮影画像の歪みを補正する補正手段と、を備え、
前記補正手段は、前記撮影画像の一部を拡大する旨の入力が有る場合には、入力が無い場合よりも補正量を多くすることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記補正手段は、前記歪みの補正によって生じる非表示領域が、前記拡大する領域に重畳しない範囲での略最大の補正量で補正することを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置において、
前記補正手段は、前記車両から遠い側の投影面を車両側に湾曲させることを特徴とする画像処理装置。
【請求項４】
画像を表示する画像表示システムであって、
請求項１ないし３のいずれか１項に記載の画像処理装置と、
前記画像処理装置から出力される画像を表示する表示装置と、
を備えていることを特徴とする画像表示システム。
【請求項５】
画像を処理する画像処理方法であって、
（ａ）車両の周囲を撮影する撮影装置から撮影画像を取得する工程と、
（ｂ）前記車両の周囲に設けた仮想の投影面に前記撮影画像のデータを投影する工程と、
（ｃ）前記投影された撮影画像の歪みを補正する工程と、を備え、
前記工程（ｃ）では、前記撮影画像の一部を拡大する旨の入力が有る場合には、入力が無い場合よりも補正量を多くすることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両の周囲を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周囲の様子をほぼリアルタイムに認識することができる。
【０００３】
また、近年では、車両の周囲を撮影して得られた画像を利用して、車両の上方などの任意の仮想視点からみた車両の周囲を示す画像を生成し、その画像を表示する画像表示システムも知られている。この仮想視点からみた車両の周囲を示す画像は、車両の周囲に相当する仮想の投影面に撮影画像のデータを投影し、投影面上のデータを用いることで生成される。そして、このような投影面の形状は一般には水平方向に沿った水平面（路面）である。
【０００４】
ところが、投影面の形状を水平面（路面）とすると、車両から離れた位置に存在する物体ほど投影面の遠い位置に投影される。この場合、例えば物体が立体物である場合には、その立体物が実際の路面からの高さよりも高く、つまり実際よりも長く縦伸びした状態で歪んで表示されてしまう。この現象は特に画像の左右上部において顕著である。
【０００５】
このため、違和感のある表示を改善するために、車両の位置から離れるほど傾きが大きくなる湾曲した形状の投影面を用いて画像データを投影する方法も知られている。この場合、車両から離れた位置に存在する立体物の像の投影される位置が、水平面に投影した場合よりも近くなるため、縦伸びの歪みを抑制した画像を生成することができる。
【０００６】
ただし、このような投影面を利用すると、主として車両から離れた位置の画像の縦伸びの歪みを抑制するために、画面上部中央の画像が縮小されることになる。このため、画面上部に画像の表示されない領域が発生してしまうことがあった。そこで、実際に表示装置に表示する際には、この表示されない領域を除いた部分を抽出し、その抽出した画像を表示させていた。なお、本発明と関連する技術としては、例えば、特許文献１がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2010-33108号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上述した技術では、投影面の角度を大きくすれば、縦伸びの歪みを抑制する補正量を大きくすることができ、立体物の像をより違和感のない状態で表示することができる。一方で、補正量を大きくするほど画像の上部を縮小することになるので、表示されない領域も大きくなる。つまり、抽出できる領域が小さくなる。そうすると、車両の周囲の表示する範囲も小さくなり、車両の周囲の十分な確認が困難になる場合も出てきてしまう。このため、縦伸びの歪みを抑制する補正量は、表示できる範囲とのバランスを考慮して決める必要があり、やみくもに大きくすることはできない。
【０００９】
このように、従来の技術では、縦伸びの歪みを抑制する補正量を十分に大きくすることができないため、縦伸びした状態を十分に改善することができない。このような画像を用いると、特に、表示した画像の一部を拡大して表示するような場合には、画質を十分に改善できていない画像をさらに拡大することになるため、より一層、画質が劣化してしまう。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、車両の周囲を示す画像の一部を拡大する場合であっても画質の劣化をできるだけ抑制することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、車両の周囲を撮影する撮影装置から撮影画像を取得する画像取得手段と、前記車両の周囲に設けた仮想の投影面に前記撮影画像のデータを投影する投影手段と、前記投影された撮影画像の歪みを補正する補正手段と、を備え、前記補正手段は、前記撮影画像の一部を拡大する旨の入力が有る場合には、入力が無い場合よりも補正量を多くする画像処理装置である。
【００１２】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記補正手段は、前記歪みの補正によって生じる非表示領域が、前記拡大する領域に重畳しない範囲での略最大の補正量で補正する。
【００１３】
また、請求項３の発明は、請求項１又は２に記載の画像処理装置において、前記補正手段は、前記車両から遠い側の投影面を車両側に湾曲させる。
【００１４】
また、請求項４の発明は、画像を表示する画像表示システムであって、請求項１ないし３のいずれか１項に記載の画像処理装置と、前記画像処理装置から出力される画像を表示する表示装置と、を備えている画像表示システムである。
【００１５】
また、請求項５の発明は、画像を処理する画像処理方法であって、（ａ）車両の周囲を撮影する撮影装置から撮影画像を取得する工程と、（ｂ）前記車両の周囲に設けた仮想の投影面に前記撮影画像のデータを投影する工程と、（ｃ）前記投影された撮影画像の歪みを補正する工程と、を備え、前記工程（ｃ）では、前記撮影画像の一部を拡大する旨の入力が有る場合には、入力が無い場合よりも補正量を多くする画像処理方法である。
【発明の効果】
【００１６】
請求項１ないし５の発明によれば、補正手段が投影された撮影画像の歪みを補正するので、投影した際に生じる画質の劣化を抑制することができる。また、撮影画像の一部を拡大する旨の入力が有る場合には、入力が無い場合よりも補正量を多くするため、画質の劣化を抑制した状態で一部分を拡大することが可能になる。
【００１７】
また、特に請求項２の発明によれば、歪みの補正によって生じる非表示領域を表示領域に重畳させることなく、画質の劣化を略最大限に抑制することが可能になる。
【００１８】
また、特に請求項３の発明によれば、車両から遠い側の投影面に投影された画像は、歪みが大きいため、その部分を車両側に湾曲させることにより、歪みを抑制することができ、画質の劣化を抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、画像表示システムのブロック図である。
【図２】図２は、画像表示システムの処理を示すフローチャートである。
【図３】図３は、画像データを投影する例を示す図である。
【図４】図４（ａ）は、投影面のイメージを示す図であり、図４（ｂ）は、表示画像の例を示す図である。
【図５】図５は、画像データを投影する例を示す図である。
【図６】図６は、第２補正処理を示すフローチャートである。
【図７】図７は、第２補正処理を説明する図である。
【図８】図８（ａ）は、投影面のイメージを示す図であり、図８（ｂ）は、表示画像の例を示す図である。
【図９】図９（ａ）は、表示範囲を示す図であり、図９（ｂ）は、表示画像の例を示す図である。
【図１０】図１０は、拡大領域を示す図である。
【図１１】図１１（ａ）及び（ｂ）は、投影面のイメージを示す図である。
【図１２】図１２は、表示画像の例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２１】
＜１．システムの構成＞
まず、本実施の形態の画像表示システム１０の構成について説明する。図１は、画像表示システム１０の概略構成を示すブロック図である。画像表示システム１０は、カメラ１と、画像処理装置２と、表示装置３とを備えている。この画像表示システム１０は、自動車などの車両に搭載されるシステムであって、車両の周囲を撮影した画像に対して所定の処理を施した後に表示する機能を有している。以下では、画像表示システム１０が搭載される車両を「自車両」という。
【００２２】
カメラ１は、自車両の周囲を撮影して撮影画像を得るものである。このカメラ１は、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。カメラ１は、所定の周期（例えば、１／３０秒周期）で繰り返し撮影画像を取得する。なお、カメラ１は、例えば、自車両の後部に設けられ、車両後方を撮影するバックカメラとして用いられる。ただし、これに限定されるものではなく、他の方向を撮影するカメラであっても適用可能であるし、複数のカメラを用いる構成とすることもできる。
【００２３】
カメラ１をバックカメラとして用いる場合、カメラ１は、自車両の後端の背面ドアに設けられ、その光軸は自車両の前後方向に沿って後方に向けられる。したがって、カメラ１は、自車両の後方を撮影して、自車両の後方の様子を示す撮影画像を取得することができる。また、カメラ１のレンズには、例えば魚眼レンズが用いられており、この場合、カメラ１は１８０度以上の画角を有する。つまり、カメラ１は、自車両の後方に広がる左右方向に１８０度以上の領域を撮影することが可能である。
【００２４】
画像処理装置２は、カメラ１で取得した撮影画像に所定の処理を施して表示装置３に出力する。画像処理装置２は、画像取得部２１、画像処理部２２、画像出力部２３、メモリ２４、及び、制御部２５を備えている。
【００２５】
画像取得部２１は、カメラ１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、画像取得部２１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２１が処理した撮影画像の１つが、映像信号の１つのフレームとなる。
【００２６】
画像処理部２２は、画像取得部２１が取得した撮影画像に対して所定の処理を実行する。画像処理部２２としては、例えば、所定の処理が実行可能なＡＳＩＣやＦＰＧＡなどのハードウェア回路を用いることができる。画像処理部２２は、路面投影部２２ａと、第１補正部２２ｂと、第２補正部２２ｃと、拡大処理部２２ｄとを備えている。
【００２７】
路面投影部２２ａは、画像取得部２１が取得した撮影画像を水平面上に投影する機能を有している。本実施の形態では、水平面として路面（ワールド座標）に投影する構成について説明する。なお、カメラ１をバックカメラとして用いた場合には、カメラ１は車両の比較的低い位置に取り付けられていて、その視点は低いため、画像表示システム１０では、視点を上方などに変換してユーザにとって見やすい画像を作成する。このため、路面投影部２２ａは、視点変換の際に撮影画像を路面上に投影する。
【００２８】
第１補正部２２ｂは、歪曲収差を補正する機能を有している。一般に、カメラ１の撮影画像には、レンズの形状に起因した画像の歪みとして歪曲収差が生じている。特に、本実施の形態のように魚眼レンズ等を用いるとその歪みが顕著に表れる。このため、第１補正部２２ｂは、路面投影した画像データに対して歪曲収差の歪みを抑制する補正を行う。
【００２９】
第２補正部２２ｃは、路面投影に起因した画像の歪みを補正する機能を有している。撮影画像を路面に投影すると、画像中に含まれる車両や建物などの立体物が垂直方向に不自然に拡大されてしまう（縦伸びしてしまう）。特に、カメラ１から離れた位置に存在する立体物の垂直方向への拡大（縦伸び）が顕著に表れる。このため、第２補正部２２ｃは、歪曲収差を補正した画像データに対して縦伸びの歪みを抑制する補正を行う。この補正には、投影面の一部が湾曲した新たな投影面を作成する方法が用いられる。
【００３０】
また、第２補正部２２ｃは、撮影画像の一部を拡大する旨の入力がある場合とない場合とで補正量を変えるようになっている。さらには、拡大する場合には、その拡大する部分や範囲に応じても補正量を変えるようになっている。補正量の変化は、新たな投影面の湾曲の程度を変えることで行われる。なお、この第２補正部２２ｃが実行する処理の詳細は後述する。
【００３１】
拡大処理部２２ｄは、撮影画像の一部を拡大する機能を有している。ユーザが撮影画像の一部を拡大する旨の操作をしていない場合には、拡大処理部２２ｄは、表示可能な略最大範囲の画像を抽出して拡大する。一方、ユーザが撮影画像の一部を拡大する旨の操作をした際には、拡大処理部２２ｄは、その指示された部分の画像を拡大する。より具体的には、拡大処理部２２ｄは、ユーザが拡大を指示した部分や範囲を判定し、第２補正部２２ｃによる補正を待つ。そして、拡大処理部２２ｄは、第２補正部２２ｃが補正した後の撮影画像を用いて拡大処理を実行する。
【００３２】
画像出力部２３は、画像処理部２２にて処理が施された撮影画像をＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。これにより、例えば上方などに視点変換された撮影画像が表示装置３において表示される。
【００３３】
メモリ２４は、第２補正部２２ｃにて使用する補正値を記憶している。第２補正部２２ｃは、上述のように投影面の形状を湾曲させることで縦伸びの歪みを抑制する補正を実行しており、メモリ２４は、この湾曲の程度を補正値として記憶している。補正値としては、ユーザの指示に基づく拡大処理を実行しない際に用いられる第１補正値と、ユーザの指示に基づく拡大処理を実行する際に用いられる第２補正値とが用いられている。第１補正値は、予め決められた値であり、第２補正値は、拡大する部分や範囲に対応付けられた値である。
【００３４】
なお、メモリ２４としては、電気的にデータの読み書きが可能であって、電源を遮断されてもデータが消去されない不揮発性の半導体メモリを用いることができる。例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）やフラッシュメモリなどである。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成してもよい。
【００３５】
制御部２５は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理部２２を含む画像処理装置２の各部を制御する。制御部２５の各種の機能は、ソフトウェアで実現される。すなわち、制御部２５の機能は、ＲＯＭなどによって記憶されたプログラムに従ったＣＰＵの演算処理（プログラムの実行）によって実現される。
【００３６】
表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、カメラ１で撮影した画像や各種の情報などを表示してユーザに報知する。また、表示装置３は、目的地までのルートを案内するナビゲーション機能や、ユーザの操作を受け付けるタッチパネル機能を備えていてもよい。
【００３７】
＜２．システムの処理＞
次に、画像表示システム１０の処理について説明する。図２は、画像表示システム１０の処理を示すフローチャートである。
【００３８】
画像表示システム１０は、ユーザによる開始指示の入力があった場合や、視点変換の指示の入力があった場合、自車両のギアがＲ（後退）に入った場合などの所定の条件が成立すると、画像取得部２１がカメラ１による撮影画像を取得して、画像処理部２２に出力する。そして、画像処理部２２が路面投影処理を実行する（ステップＳ１０１）。
【００３９】
具体的には、路面投影部２２ａが、カメラ１による撮影画像に含まれるデータ（各画素の値）を、仮想的な三次元空間における投影面に投影する。本実施の形態では、水平面（路面）に対応する面を投影面として用いている。図３は、撮影画像のデータを路面に投影する例を模式的に示す図である。図３に示すように、本来の撮影画像を仮想視点から見た場合の画像に対応させるように撮影画像のデータを路面に投影する。
【００４０】
図２に戻り、次に、画像処理部２２は、第１補正処理を実行する（ステップＳ１０２）。第１補正処理は、第１補正部２２ｂが歪曲収差を補正する処理である。ここで、第１補正処理について図４を用いて説明する。図４（ａ）は、路面投影した画像の歪曲収差を補正したイメージ図である。図４（ａ）では、補正イメージをわかり易くするためにクロスハッチ画像を用いている。
【００４１】
図４（ａ）に示すように、画像の歪みは画面周辺で顕著なため、周辺になるにつれて補正量を大きくしている。このような第１補正処理が行われた後の撮影画像の例が図４（ｂ）である。なお、第１補正処理の手法としては、例えば、座標変換などの周知の手法を用いることができる。この第１補正処理を行うことで撮影画像を路面投影した画像データが得られる。
【００４２】
図２に戻り、次に、画像処理部２２は、第２補正処理を実行する（ステップＳ１０３）。第２補正処理は、第２補正部２２ｃが、上述した立体物の縦伸びによる歪みを抑制する処理である。一般に、カメラ１からの距離が離れている物体ほど、路面に投影した際の垂直方向への拡大量（縦伸び量）は大きい。そして、カメラ１からの距離が離れている物体は、画面の上部に表示される。したがって、第２補正処理では、路面投影した画像データのうち、画面上部の画像データへの補正量を多くして縦伸びを抑制する。
【００４３】
具体的には、路面投影した画像データのうち、画面上部の画像データを仮想視点側（自車両側）に湾曲させる。つまり、画像上部の画像データを仮想視点側（自車両側）に引き起こす。このように、路面投影した投影面の画面上方部分を起こして新たな投影面を作成する。この点について図５を用いて説明する。図５は、撮影画像のデータを新たな投影面に投影する例を模式的に示す図である。図５に示すように、路面に投影した投影面の画面上部に相当する部分を起こして湾曲させたものを新たな投影面としている。
【００４４】
ここで、第２補正処理について図６を用いて詳細に説明する。図６は、第２補正処理を示すフローチャートである。まず、第２補正部２２ｃは、ユーザによる拡大操作の有無を判定する（ステップＳ２０１）。これは、撮影画像を表示する際に、その一部分を拡大して表示する旨の操作（入力）があったか否かの判定である。本実施の形態では、撮影画像の一部を拡大して表示するか否かによって第２補正処理の内容が変わるため、拡大操作の有無を判定している。なお、拡大操作の有無は、ディスプレイ上で拡大したい箇所をタッチする等、ユーザが何らかの方法で入力操作した内容を判定すればよい。
【００４５】
拡大操作が無い場合、つまり拡大する旨の入力が無い場合には（ステップＳ２０１でＮｏ）、第２補正部２２ｃは、メモリ２４から第１補正値を取得する（ステップＳ２０２）。本処理は、ユーザによる指示に基づく拡大処理を伴わないため、使用する補正値は第１補正値となる。なお、第１補正値は、第１角度と第２角度とを有している。本実施の形態では、後述するように、新たな投影面を作成する際には、投影面の画面上部を起こして、画面下部になるにつれて徐々に下げていく処理を行う。このため、第１補正値は、画面上部を起こす際に用いる角度としての第１角度と、徐々に下げる際に用いる角度としての第２角度とを有している。
【００４６】
そして、第２補正部２２ｃは、補正処理を実行する（ステップＳ２０５）。第２補正処理は新たな投影面を作成する処理でもあるため、この新たな投影面の作成方法について図７を用いて説明する。図７は、新たな投影面を横方向から見た図である。
【００４７】
路面に画像データを投影した投影面の縦及び横には、複数列及び複数行の画像データが配置されている。そこで、第２補正部２２ｃは、投影面ＰＰに配置された画像データのうち、画面の最上部に対応する行の画像データＬ１を選択する。換言すると、第２補正部２２ｃは、自車両から（仮想視点ＰＶからでもよい）最も遠い位置の横方向に配置された各画像データＬ１を選択する。
【００４８】
第２補正部２２ｃは、第１補正値として第１角度θ１ｕと第２角度θ１ｄとを取得すると、選択した画像データＬ１を第１角度θ１ｕだけ起こした位置に配置する。つまり、画像データＬ１は、第１角度θ１ｕだけ起こした位置に投影される。
【００４９】
次に、第２補正部２２ｃは、投影面ＰＰに配置された画像データのうち、画面の上方から２番目の行に対応する画像データＬ２を選択する。換言すると、第２補正部２２ｃは、画像データＬ１よりも１つ下の位置の横位置に配置された各画像データＬ２を選択する。そして、第２補正部２２ｃは、第１角度θ１ｕよりも第２角度θ１ｄだけ下げた位置に、選択した画像データＬ２を配置する。すなわち、第２補正部２２ｃは、角度（θ１ｕ−θ１ｄ）だけ起こした位置に画像データＬ２を投影するとも言える。
【００５０】
同様に、第２補正部２２ｃは、投影面ＰＰに配置された画像データのうち、画面の上方から３番目の行に対応する画像データＬ３を選択する。換言すると、第２補正部２２ｃは、画像データＬ２よりも１つ下の位置の横方向に配置された各画像データＬ３を選択する。そして、第２補正部２２ｃは、角度（θ１ｕ−θ１ｄ）よりも第２角度θ１ｄだけ下げた位置に、選択した画像データＬ３を配置する。すなわち、第２補正部２２ｃは、角度（θ１ｕ−２×θ１ｄ）だけ起こした位置に画像データＬ３を投影するとも言える。
【００５１】
このように、第２補正処理は、画像データを画面上方から順番に選択し、第１角度だけ起こした後に、第２角度ずつ下げた位置に投影面を作成する処理である。そして、これを順に実行していくと、第２角度の合計値が第１角度の値を超える場合がある。これは、投影面を起こす角度が０度になるということである。このため、第２補正部２２ｃは、第２角度の合計値が第１角度の値を超えた場合には、この箇所よりも画面下部の画像データは起こすことなく路面に投影する。
【００５２】
すなわち、投影面の上方に配置された画像データを起こして、その下の位置に配置された画像データを選択する毎に所定の角度だけ差し引くことで、投影面を曲面から平面へとなだらかに戻すことが可能になる。これにより、新たな投影面は、画面下方に対応する部分は平面である一方で、画面上方に対応する部分は曲面の投影面となる。つまり、湾曲した新たな投影面を作成することができる。なお、投影面を起こす角度が０度になる場合には、路面に投影することと同じになるため、平面の部分は新たに投影してもよいし、元の投影面を使用してもよい。
【００５３】
また、第１角度θ１ｕ及び第２角度θ１ｄは、予め設定された任意の角度である。ただし、上述したように、一般的には、縦伸びによる歪みを抑制する補正は画像の見た目を改善させることができるものの、表示できない領域も拡大させてしまう。このため、第１角度θ１ｕ及び第２角度θ１ｄは、補正による見た目の改善と表示領域の確保とのバランスを考慮した値とすることが好ましい。例えば、第１角度θ１ｕを２０度とし、第２角度θ１ｄを４度とすることができる。
【００５４】
また、このような拡大操作がない場合の第２補正処理について図８を用いて説明する。図８（ａ）は、第２補正処理を実行した後の投影面のイメージ図である。図８（ａ）においても、補正イメージをわかり易くするためにクロスハッチ画像を用いている。図８（ａ）に示すように、図４（ａ）で示した投影面に対して画面上部（カメラ１に対して遠方）の画像が中央方向へと寄るように補正されている。このような投影面とすることで、画面の上部の物体が中央部分に寄って表示されるため、縦伸びによる歪みを抑制させた状態で表示させることができる。この第２補正処理が行われた後の撮影画像の例が図８（ｂ）である。
【００５５】
ここで、図４（ｂ）の画像と図８（ｂ）の画像とを比較する。図４（ｂ）は、撮影画像を路面に投影して歪曲収差を補正した状態の表示画像である。図４（ｂ）に示すように、画面上部に表示された遠方部分に存在する立体物が縦方向に延びた状態で表示されている。一方、図８（ｂ）は、縦伸びによる歪みを補正した状態の表示画像である。図８（ｂ）に示すように、第２補正処理により、遠方部分に存在する立体物の縦伸びが抑制された状態で表示されている。
【００５６】
このように、路面に投影した投影面の上方部分を起こす補正をすることで、遠方に存在する立体物の縦伸びによる歪みを抑制することが可能になる。一方で、画面の上方部分を中央に寄らせたことで、画面上部には画像が表示されない領域（非表示領域）が発生してしまう（図８のＵＤ）。
【００５７】
このため、画像表示システム１０が実際に撮影画像を表示する際には、この非表示領域を除いた部分を表示する。ここで、図２に戻り、画像処理部２２は、拡大処理を実行する（ステップＳ１０４）。この拡大処理は、表示する部分を拡大する処理である。ユーザによる拡大操作がない場合には、非表示領域を除いた部分を抽出して拡大する処理となる。
【００５８】
具体的には、図９（ａ）に示すように、拡大処理部２２ｄは、非表示領域ＵＤを除いた略最大の領域ＣＰ１を選択する。そして、拡大処理部２２ｄは、図９（ｂ）に示すように、この領域ＣＰ１の画像データを抽出し、表示装置３の画面の大きさに合わせるようにして拡大する。そして、拡大された画像データが画像出力部２３から表示装置３に出力され、表示装置３は入力した画像を表示する（ステップＳ１０５）。
【００５９】
次に、図６に戻り、拡大操作があった場合、つまり拡大する旨の入力が有る場合には（ステップＳ２０１でＹｅｓ）、第２補正部２２ｃは、拡大領域を判定する（ステップＳ２０３）。これは、撮影画像の一部分を拡大して表示する旨の操作があった場合に、その拡大する領域を判定する処理である。この判定は、ユーザが画面にタッチして指定した場合には、そのタッチした位置の座標情報を取得して行うことができる。
【００６０】
拡大領域が判定されると、第２補正部２２ｃは、メモリ２４から第２補正値を取得する（ステップＳ２０４）。本処理は、ユーザの指示に基づく拡大処理を伴うので、使用する補正値は第２補正値となる。また、第２補正値も、第１角度及び第２角度を有している。これは、第１補正値における第１角度及び第２角度と同様に、第１角度は画面上部を起こす際に用いられる角度であって、第２角度は徐々に下げる際に用いられる角度である。
【００６１】
また、撮影画像の一部分を拡大して表示する旨の入力があった場合の第２補正処理は、非表示領域が拡大領域に重畳しない（被らない）範囲で略最大の補正量で補正する処理である。このため、第２補正値は、拡大指示のあった領域の位置に応じて変わる値であり、各補正値は拡大領域の位置に対応付けられている。したがって、メモリ２４には、第２補正値として、例えば、拡大領域の位置に対応する座標情報と、第１角度及び第２角度の組み合わせからなる補正値とが対応付けられたテーブルなどによって記憶されている。
【００６２】
そして、第２補正部２２ｃは、補正処理を実行する（ステップＳ２０５）。本処理においても、第２補正部２２ｃは、路面に投影した投影面（図４（ａ））を用いて新たな投影面を作成する。新たな投影面の作成方法は、上述したユーザによる拡大操作が無い場合と比べて補正値（第１角度及び第２角度）が異なるのみで考え方は同様である。本処理（ユーザによる拡大操作が有る場合の第２補正処理）では、ユーザによる拡大操作が無い場合の第２補正処理よりも補正量を多くしている。
【００６３】
具体的に説明する。第２補正部２２ｃが、拡大する領域を判定し、その領域に対応付けられた第２補正値として第１角度θ２ｕ及び第２角度θ２ｄを取得したとする。この場合、第２補正部２２ｃは、投影面の画像データＬ１を選択し、第１角度θ２ｕだけ起こした位置に画像データＬ１を配置する。つまり、第２補正部２２ｃは、第１角度θ２ｕの位置に画像データＬ１が来るように投影面を起こす。これにより、第１角度θ２ｕだけ起こした位置に画像データＬ１が投影される。
【００６４】
次に、第２補正部２２ｃは、画像データＬ２を選択し、第１角度θ２ｕから第２角度θ２ｄだけ下げた位置に、選択した画像データＬ２を配置する。つまり、第２補正部２２ｃは、角度（θ２ｕ−θ２ｄ）の位置に画像データＬ２が来るように投影面を起こす。これにより、角度（θ２ｕ−θ２ｄ）だけ起こした位置に画像データＬ２が投影される。
【００６５】
同様に、第２補正部２２ｃは、画像データＬ３を選択し、角度（θ２ｕ−θ２ｄ）から第２角度θ２ｄだけ下げた位置に、選択した画像データＬ３を配置する。つまり、第２補正部２２ｃは、角度（θ２ｕ−２×θ２ｄ）の位置に画像データＬ３が来るように投影面を起こす。これにより、角度（θ２ｕ−２×θ２ｄ）だけ起こした位置に画像データＬ３が投影される。以下、上述したユーザによる拡大操作が無かった場合の第２補正処理と同様にして行われる。
【００６６】
ここで、ユーザによる拡大操作があった場合の第２補正処理について図を用いて説明する。図１０は、撮影画像中の拡大領域を示す図である。図１１は、拡大操作があった場合の第２補正処理の投影面のイメージ図である。図１１においても、補正イメージをわかり易くするためにクロスハッチ画像を用いている。
【００６７】
図１０には、ユーザの拡大操作によって指定された拡大領域ＣＰ２が示されている。この拡大領域ＣＰ２に対応する部分を投影面のイメージ図に表したものが図１１（ａ）である。すなわち、図１１（ａ）は、路面への投影面に拡大処理する領域が対応付けられている。そして、この投影面に対して第２補正処理を行って新たな投影面を作成した後のイメージ図が図１１（ｂ）である。
【００６８】
図１１（ｂ）に示すように、拡大処理する領域の境界付近にまで非表示領域が来るように投影面を湾曲させることで、縦伸びの歪みをより多く抑制する補正をしている。縦伸びの歪みをより多く抑制するように補正することで非表示領域が拡大するものの、拡大領域には重畳させない（被らせない）程度に投影面を湾曲させているので、縦伸びの歪みを抑制する補正を略最大限に実行することが可能になる。
【００６９】
そして、図２に戻り、拡大処理部２２ｄは、第２補正後の画像データを用いて拡大処理を実行する（ステップＳ１０４）。具体的には、拡大処理部２２ｄは、第２補正処理後の画像データのうち、拡大処理する領域を抽出し、表示装置３の表示領域の大きさまで拡大する。
【００７０】
次に、表示装置３が表示処理を実行する（ステップＳ１０５）。拡大処理部２２ｄで拡大した画像データが、画像出力部２３から表示装置３に対して出力される。そして、図１２に示すように、表示装置３が、取得した画像データに基づいて拡大された画像を表示する。
【００７１】
以上のように、路面に投影した画像データの画面上部に相当する部分を起こした新たな投影面を作成することで、仮想視点（自車両）に対して遠方部分に存在する立体物の縦伸びによる歪みを抑制することができる。また、特に、画像の一部を拡大して表示する際には、投影面を起こすことによって生じる非表示領域がその拡大領域に重畳しない範囲で略最大となるように新たな投影面を作成することで、縦伸びによる歪みをより一層抑制することが可能となり、拡大表示した際に画質が劣化してしまうことを回避することができる。以上の実施の形態では、投影面の起こし度合いにより歪み補正量を可変する例について説明したが、本発明における歪み補正の手法はそれに限定されるものではない。
【００７２】
なお、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【００７３】
１    カメラ
２    画像処理装置
３    表示装置
１０    画像表示システム
２１    画像取得部
２２    画像処理部
２３    画像出力部
２４    メモリ
２５    制御部
【図１】
2016046747.tif 000003
【図２】
2016046747.tif 000004
【図３】
2016046747.tif 000005
【図４】
2016046747.tif 000006
【図５】
2016046747.tif 000007
【図６】
2016046747.tif 000008
【図７】
2016046747.tif 000009
【図８】
2016046747.tif 000010
【図９】
2016046747.tif 000011
【図１０】
2016046747.tif 000012
【図１１】
2016046747.tif 000013
【図１２】
2016046747.tif 000014