(57)【要約】【課題】運転手には瞬時にどの部分が表示されているのかを容易に認識させることが可能で、また変換後の画像の画質を劣化させない、画像処理システムを提供すること。【解決手段】画像を撮像する撮像装置と、撮像装置で撮像された画像に対して画像処理する制御装置と、制御装置で画像処理された画像を表示する表示装置と、を含んで構成され、車両の周囲の画像を撮像する撮像部と、撮像部で撮像された車両の周囲の画像を、第１の画像から第１の画像の一部領域に対応する第２の画像へ変換する変換部と、表示装置に対する操作を行う操作部と、表示装置が撮像部で撮像された画像以外の第３の画像を表示している場合に操作部の操作に応じて第３の画像から第１の画像に表示画像を変更した後第２の画像を表示するよう変換部及び表示部を制御する制御部と、を含む、画像処理システムが提供される。【選択図】図２
2010033108.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置と、
前記撮像装置で撮像された画像に対して画像処理する制御装置と、
前記制御装置で画像処理された画像を表示する表示装置と、
を含んで構成され、
車両の周囲の画像を撮像する撮像部と、
前記撮像部で撮像された車両の周囲の画像を第１の画像から前記第１の画像の一部領域に対応する第２の画像へ変換する変換部と、
前記表示装置に対する操作を行う操作部と、
前記表示装置が前記撮像部で撮像された画像以外の第３の画像を表示している場合に前記操作部の操作に応じて前記第３の画像から前記第１の画像に表示画像を変更した後、前記第２の画像を表示するよう前記変換部および前記表示装置を制御する制御部と、
を含む、画像処理システム。
【請求項２】
前記操作部の操作は、ボタンを１度押すことである、請求項１に記載の画像処理システム。
【請求項３】
前記第１の画像は車両の前方の画像であり、前記第２の画像は前記前方の画像の一部領域に対応する左右前方の画像であり、前記第３の画像は地図情報である、請求項２に記載の画像処理システム。
【請求項４】
前記変換部は、前記第１の画像から前記第２の画像へ変換の軌跡が分かるように変換する、請求項３に記載の画像処理システム。
【請求項５】
前記変換部は、前記撮像装置に含まれる、請求項１に記載の画像処理システム。
【請求項６】
前記変換部は、前記制御装置に含まれる、請求項１に記載の画像処理システム。
【請求項７】
前記変換部は、前記撮像部で撮像された結果得られるＲＡＷデータから変換する、請求項１に記載の画像処理システム。
【請求項８】
前記変換部は、前記撮像部で撮像された結果得られるＲＡＷデータを符号化した後の画像から変換する、請求項１に記載の画像処理システム。
【請求項９】
車両の周囲の画像を撮像する撮像部と、
外部からの変換指示に基づいて、前記撮像部で撮像された画像を第１の画像から前記第１の画像の一部領域に対応する第２の画像へ変換する変換部と、
を含む、撮像装置。
【請求項１０】
車両の周囲の画像を撮像する撮像ステップと、
前記撮像ステップで撮像された車両の周囲の画像を表示する表示ステップと、
前記撮像ステップで撮像された車両の周囲の画像を第１の画像から前記第１の画像の一部領域に対応する第２の画像へ変換する変換ステップと、
前記表示装置が前記撮像部で撮像された画像以外の第３の画像を表示している場合に前記表示ステップで表示される画像を表示する表示装置に対する操作に応じて前記第３の画像から前記第１の画像に表示画像を変更した後、前記第２の画像を表示するよう制御する制御ステップと、
を含む、画像処理方法。
【請求項１１】
車両の周囲の画像を撮像する撮像ステップと、
前記撮像ステップで撮像された車両の周囲の画像を表示する表示ステップと、
前記撮像ステップで撮像された車両の周囲の画像を第１の画像から前記第１の画像の一部領域に対応する第２の画像へ変換する変換ステップと、
前記表示装置が前記撮像部で撮像された画像以外の第３の画像を表示している場合に、前記表示ステップで表示される画像を表示する表示装置に対する操作に応じて前記第３の画像から前記第１の画像に表示画像を変更した後、前記第２の画像を表示するよう制御する制御ステップと、
をコンピュータに実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、撮像装置、画像処理方法及びコンピュータプログラムに関し、より詳細には、車両に設置される撮像装置によって撮影された画像を表示させるための画像処理システム、画像処理方法及びコンピュータプログラム、並びに当該撮像装置に関する。
【背景技術】
【０００２】
自動車を運転する際には、運転席からは見えづらい、または全く見えずに死角となっている場所が存在する。そのような場所を運転席で視認できるようにするために、自動車の前方部や後方部に小型のカメラ（車載カメラ）を搭載し、当該カメラで撮影した画像を自動車の運転席から見える位置に設置された画像表示装置に表示させる車載カメラシステムが存在する（例えば、特許文献１参照）。
【０００３】
かかる車載カメラシステムによって表示された画像を見ながらハンドルを操作することで、狭い路地を走行中に自動車に近づいてくる人の存在を確認したり、自動車をバックさせながらの駐車や狭い場所への縦列駐車を容易にしたりすることができる。
【０００４】
また、従来においては、車両の左右前方の画像を撮影するために、車載カメラ装置にプリズムを介して左右両方の画像を取得する方法が知られている（例えば、特許文献２参照）。このようにプリズムを介して画像を撮像することで、左右両側の画像を一度に視認することができるようになる。
【０００５】
【特許文献１】特開２００２−１９５５６号公報
【特許文献２】特開２００１−２１９７８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献２に開示された方法では、プリズムを介して撮像するカメラ装置であるため用途が限定されたり、カメラ装置の外形サイズが大きくなったりする等の問題があった。また、プリズムを介して撮像するので、正面の画像を得ることができず、運転席に設置された画像表示装置に表示された画像を見たときに、運転手には瞬時にはどの部分が表示されているのかが認識しづらいという問題もあった。
【０００７】
また、従来の車載カメラシステムにおいては、車載カメラで撮影された画像を一度ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｔａｎｄａｒｄｓ  Ｃｏｍｍｉｔｔｅｅ）方式に変換して、ＮＴＳＣ方式に変換された後の画像に対して画像処理を施していた。しかし、ＮＴＳＣ方式の帯域制限により、ＮＴＳＣ方式に変換された後の画像は変換前の画像に比べて画質が劣化してしまうので、画像表示装置に表示された画像が粗くなってしまう問題もあった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、運転手に対して瞬時にどの部分が表示されているのかを容易に認識させることが可能な、新規かつ改良された画像処理システム、撮像装置、画像処理方法及びコンピュータプログラムを提供することにある。
【０００９】
また、本発明の別の目的とするところは、画像表示装置に表示される変換後の画像の画質が粗くならない、新規かつ改良された画像処理システム、撮像装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、画像を撮像する撮像装置と、撮像装置で撮像された画像に対して画像処理する制御装置と、制御装置で画像処理された画像を表示する表示装置と、を含んで構成され、車両の周囲の画像を撮像する撮像部と、撮像部で撮像された車両の周囲の画像を、第１の画像から第１の画像の一部領域に対応する第２の画像へ変換する変換部と、表示装置に対する操作を行う操作部と、表示装置が撮像部で撮像された画像以外の第３の画像を表示している場合に、操作部の操作に応じて、第３の画像から第１の画像に表示画像を変更した後、第２の画像を表示するよう変換部及び表示部を制御する制御部と、を含む、画像処理システムが提供される。
【００１１】
かかる構成によれば、撮像装置は画像を撮像し、制御装置は撮像装置で撮像された画像に対して画像処理し、表示装置は制御装置で処理された画像を表示する。かかる構成を有する画像処理システムにおいて、撮像部は車両の周囲の画像を撮像し、変換部は撮像部で撮像された車両の周囲の画像を、第１の画像から第１の画像の一部領域に対応する第２の画像へ変換する。そして、操作部は表示装置に対する操作を行い、制御部は表示装置が撮像部で撮像された画像以外の第３の画像を表示している場合に、操作部の操作に応じて、第３の画像から第１の画像に表示画像を変更した後、第２の画像を表示するよう変換部及び表示部を制御する。その結果、本発明のある観点によって提供される画像処理システムによれば、変換後の画像の画質が劣化せず、また運転手には瞬時にどの部分が表示されているのかを容易に認識させることができる。
【００１２】
操作部の操作は、ボタンを１度押すことであってもよい。また、第１の画像は車両の前方の画像であり、第２の画像は前方の画像の一部領域に対応する左右前方の画像であり、第３の画像は地図情報であってもよい。
【００１３】
変換部は、第１の画像から第２の画像へ変換の軌跡が分かるように変換してもよい。
【００１４】
上記画像処理システムは、画像を撮像する撮像装置と、撮像装置で撮像された画像に対する画像処理を制御する制御装置と、を有し、変換部は該撮像装置に含まれるようにしてもよい。
【００１５】
また、上記画像処理システムは、画像を撮像する撮像装置と、撮像装置で撮像された画像に対する画像処理を制御する制御装置と、を有し、変換部は該制御装置に含まれるようにしてもよい。
【００１６】
変換部は撮像部で撮像された結果得られるＲＡＷデータから変換してもよく、また、変換部は撮像部で撮像された結果得られるＲＡＷデータを符号化した後の画像から変換してもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、車両の周囲の画像を撮像する撮像部と、外部からの変換指示に基づいて、撮像部で撮像された画像を第１の画像から第１の画像の一部領域に対応する第２の画像へ変換する変換部と、を含む、撮像装置が提供される。
【００１８】
かかる構成によれば、撮像部は車両の周囲の画像を撮像し、変換部は外部からの変換指示に基づいて、撮像部で撮像された画像を第１の画像から第１の画像の一部領域に対応する第２の画像へ変換する。その結果、本発明の別の観点によって提供される撮像装置によれば、変換後の画像の画質が劣化せず、また運転手には瞬時にどの部分が表示されているのかを容易に認識させることができる。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、車両の周囲の画像を撮像する撮像ステップと、撮像ステップで撮像された車両の周囲の画像を表示する表示ステップと、撮像ステップで撮像された車両の周囲の画像を、第１の画像から第１の画像の一部領域に対応する第２の画像へ変換する変換ステップと、表示装置が撮像部で撮像された画像以外の第３の画像を表示している場合に、表示ステップで表示される画像を表示する表示装置に対する操作に応じて、第３の画像から第１の画像に表示画像を変更した後、第２の画像を表示するよう制御する制御ステップと、を含む、画像処理方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、車両の周囲の画像を撮像する撮像ステップと、撮像ステップで撮像された車両の周囲の画像を表示する表示ステップと、撮像ステップで撮像された車両の周囲の画像を、第１の画像から第１の画像の一部領域に対応する第２の画像へ変換する変換ステップと、表示装置が撮像部で撮像された画像以外の第３の画像を表示している場合に、表示ステップで表示される画像を表示する表示装置に対する操作に応じて、第３の画像から第１の画像に表示画像を変更した後、第２の画像を表示するよう制御する制御ステップと、をコンピュータに実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、操作に応じて、第１の画像を表示した後、第１の画像の一部領域に対応する第２の画像を表示することで、運転手にはどの部分が表示されているのかを容易に認識させることが可能な画像処理システムを提供することができる。また、ボタンを１度押すことで、第３の画像から第１の画像を表示変更した後、さらに第２の画像を表示しているので、複数回の操作を行わなくとも、運転手にどの部分が表示されているかを容易に認識させることができ、使い勝手の向上した画像処理システムを提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
（第１の実施形態）
まず、本発明の第１の実施形態にかかる画像処理システム及び画像処理方法について説明する。図１は、本発明の第１の実施形態にかかる画像処理システムを搭載した車両を上方から俯瞰した状態を示す説明図である。
【００２４】
図１に示したように、本発明の第１の実施形態にかかる画像処理システムを搭載した車両１０は、前方中央部分に映像を撮像するための撮像装置１１０が設置されている。本実施形態における撮像装置１１０は、視野角が１８０度を超える広視野角のレンズを有する撮像装置である。
【００２５】
そして、本実施形態にかかる画像処理システムは、広視野角のレンズを有する撮像装置１１０を用いて撮像した映像を、車両１０の運転席に設置された表示装置に表示させる。車両１０を運転する運転手は、撮像装置１１０で撮像された映像を表示装置で確認することで、運転席から見えづらい、または死角になって全く見えなくなっている場所を視認することができる。
【００２６】
なお、本実施形態においては車両１０の前方中央部分に撮像装置１１０を設置しているが、本発明においては、撮像装置を設置する場所はかかる例に限定されないことは言うまでもない。また、車両１０に設置する撮像装置の数は２つ以上であってもよい。
【００２７】
以下において、本発明の第１の実施形態にかかる画像処理システム及び画像処理方法について詳細に説明する。
【００２８】
図２は、本発明の第１の実施形態にかかる画像処理システム１００の構成について説明する説明図である。以下、図２を用いて、本発明の第１の実施形態にかかる画像処理システム１００の構成について説明する。
【００２９】
図２に示したように、本発明の第１の実施形態にかかる画像処理システム１００は、撮像装置１１０と、操作部１２０と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１３０と、表示装置１６０と、を含んで構成される。
【００３０】
撮像装置１１０は、上述したように車両１０の前方中央部分および後方中央部分に設置され、車両１０の前方、後方および左右両方の映像を撮像するものである。撮像装置１１０は、視野角が１８０度を超える広視野角のレンズ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような撮像素子等を含んで構成されている。撮像装置１１０で撮像された映像はＥＣＵ１３０に送られる。
【００３１】
操作部１２０は、画像処理システム１００に対する操作入力を受け付けるものである。例えば、操作部１２０の操作によって、表示装置１６０への映像出力を開始したり停止したりすることができる。また、操作部１２０の操作によって、後述のように表示装置１６０へ表示される画像の変換処理を開始することができる。図面には詳細に図示しないが、操作部１２０には画像処理システム１００に対する操作入力を受け付けるための各種ボタンが配置されている。
【００３２】
ＥＣＵ１３０は、車両１０の各部を制御するための部品であり、例えばエンジンの回転数の制御やエア・コンディショナーの制御を行う。そして本実施形態においては、ＥＣＵ１３０は、所定の指示に応じて撮像装置１１０で撮像された映像に対する信号処理を行う。ＥＣＵ１３０で行う撮像装置１１０で撮像された映像に対する信号処理及びＥＣＵ１３０に信号処理を実行させるための所定の指示の詳細について後に詳述する。撮像装置１１０で撮像された映像、またはＥＣＵ１３０で信号処理が施された映像は表示装置１６０に送られる。
【００３３】
表示装置１６０は、車両１０の運転席から見える位置に設置されるものであり、撮像装置１１０で撮像された映像を、いわゆるライブビュー表示するものである。表示装置１６０には、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）が搭載されていてもよく、有機ＥＬディスプレイが搭載されていてもよい。なお、本実施形態にかかる表示装置１６０にはカーナビゲーションシステムが内蔵されている。カーナビゲーションシステムを起動することにより、表示装置１６０には現在地の地図情報や目的地までの経路情報等が表示される。よって、図１や図２には図示しないが、車両１０には、カーナビゲーションシステムのためにＧＰＳ（Ｇｒｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等の現在地取得手段や、ジャイロ等の自律航法装置などを備えていてもよい。
【００３４】
車両１０の運転手は、表示装置１６０に表示される映像を見ることによって、運転席からは見えづらい、または死角になって全く見えない位置の様子を視認することができる。そして、本実施形態にかかる画像処理システム１００においては、ＥＣＵ１３０で信号処理された映像を表示装置１６０に表示させることで、運転手の視認性をより高めることができる。
【００３５】
以上、図２を用いて、本発明の第１の実施形態にかかる画像処理システム１００の構成について説明した。なお、図２および上述の説明では、操作部１２０には画像処理システム１００に対する操作入力を受け付けるための各種ボタンが配置されているとして説明したが、本発明は係る例に限定されない。表示装置１６０をタッチパネル式にして、表示装置１６０に表示されたボタンに運転手等がタッチすることで、画像処理システム１００に対する操作入力を受け付けるようにしてもよい。次に、本発明の第１の実施形態にかかる撮像装置１１０の構成について説明する。
【００３６】
図３は、本発明の第１の実施形態にかかる撮像装置１１０の構成について説明する説明図である。以下、図３を用いて本発明の第１の実施形態にかかる撮像装置１１０の構成について説明する。
【００３７】
図３に示したように、本発明の第１の実施形態にかかる撮像装置１１０は、レンズ１１２と、撮像素子１１４と、データ変換部１１６と、Ｄ／Ａ変換器１１８と、を含んで構成される。
【００３８】
レンズ１１２は、被写体（図示せず）の画像を撮像素子１１４の撮像面上に投写するものである。本実施形態にかかるレンズ１１２の視野角は、上述したように１８０度を超えるものを用いている。一例として、視野角がおよそ１８６度であるレンズを、図３のレンズ１１２として用いることができる。
【００３９】
撮像素子１１４は、レンズ１１２から入射された光を電気信号に変換するための素子である。撮像素子１１４としては、上述したようにＣＣＤイメージセンサを用いてもよく、ＣＭＯＳイメージセンサを用いてもよい。撮像素子１１４で光から変換した結果得られた電気信号はデータ変換部１１６に送られる。
【００４０】
データ変換部１１６は、撮像素子１１４で生成された電気信号をデジタル信号に変換するものである。なお、データ変換部１１６には、撮像素子１１４で生成された電気信号に含まれる雑音成分を除去するためにＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路を含めてもよい。
【００４１】
また、データ変換部１１６には、電気信号を増幅するためにアンプ回路を含めてもよい。データ変換部１１６で変換された結果、輝度信号デジタルデータと色信号デジタルデータとを含む、画像の生データ（ＲＡＷデータ）が生成される。データ変換部１１６で生成されるデジタル信号はＤ／Ａ変換器１１８に送られる。
【００４２】
Ｄ／Ａ変換器１１８は、データ変換部１１６で生成された画像の生データ（ＲＡＷデータ）を含んだデジタル信号を、ＥＣＵ１３０に伝送するためにアナログ信号に変換するものである。Ｄ／Ａ変換器１１８で変換された信号は、画像の生データが符号化されて、画像データとしてＥＣＵ１３０に伝送される。
【００４３】
なお、本実施形態では撮像装置１１０にＤ／Ａ変換器１１８を含めて構成したが、本発明はかかる例に限定されない。すなわち、デジタル信号のままで撮像装置１１０からＥＣＵ１３０に画像データを伝送できる場合には、Ｄ／Ａ変換器１１８を用いないようにしてもよい。
【００４４】
以上、図３を用いて本発明の第１の実施形態にかかる撮像装置１１０の構成について説明した。次に、本発明の第１の実施形態にかかるＥＣＵ１３０の構成について説明する。
【００４５】
図４は、本発明の第１の実施形態にかかるＥＣＵ１３０の構成について説明する説明図である。以下、図４を用いて本発明の第１の実施形態にかかるＥＣＵ１３０の構成について説明する。
【００４６】
図４に示したように、本発明の第１の実施形態にかかるＥＣＵ１３０は、Ａ／Ｄ変換器１３２と、画像バッファ１３４と、画像変換部１３６と、変換制御部１３８と、Ｄ／Ａ変換器１４０と、を含んで構成される。
【００４７】
Ａ／Ｄ変換器１３２は、撮像装置１１０から伝送された画像データをデジタル信号に変換するものである。なお、本実施形態ではＥＣＵ１３０にＡ／Ｄ変換器１３２を含めて構成しているが、本発明はかかる例に限定されない。すなわち、ＥＣＵ１３０がデジタル信号のままで撮像装置１１０から画像データを受け取ることができる場合には、Ａ／Ｄ変換器１３２を用いないようにしてもよい。Ａ／Ｄ変換器１３２でデジタル信号に変換された画像データは、画像バッファ１３４に一時的に格納する。
【００４８】
画像バッファ１３４は、Ａ／Ｄ変換器１３２で生成された画像データをＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ，Ｆｉｒｓｔ  Ｏｕｔ）形式で一時的に格納するものである。画像バッファ１３４で格納された画像データは画像変換部１３６に送られて所定の変換処理が施される。
【００４９】
画像変換部１３６は、画像バッファ１３４から出力される画像データに対して変換制御部１３８からの変換指示があった場合に、当該変換指示に応じた所定の変換処理を施すものである。画像変換部１３６で変換された画像データはＤ／Ａ変換器１４０に出力される。画像変換部１３６で実行する画像データの変換処理については後述する。
【００５０】
変換制御部１３８は、外部から画像の変換を指示する変換指示信号の入力を受けると、画像変換部１３６に対して当該変換指示信号に応じた画像データの変換指示を送出するものである。変換制御部１３８から変換指示を受け取ることで、画像変換部１３６は撮像装置１１０で撮像される映像に対して変換処理を実行する。また、変換制御部１３８は、カーナビゲーションシステムの画像が表示装置１６０に表示されている状態で、カーナビゲーションシステムの画像から撮像装置１１０で撮影した画像への表示に（またはその逆の表示に）切り替えが指示された際に、表示装置１６０、ＥＣＵ１３０及び撮像装置１１０を制御するものである。
【００５１】
変換制御部１３８に変換指示信号が送出されるタイミングとしては、例えば運転手が操作部１２０を操作することによって、明示的に画像の変換が指示された時点（例えば、カーナビゲーションシステムに表示されたボタンを運転手が押下した時点）であってもよく、また、走行中に速度が所定の速度以下となった時点であってもよい。走行中に速度が所定の速度以下となったことをトリガとして変換制御部１３８に変換指示信号を送出するために、ＥＣＵ１３０で車両１０の速度の低下を検出してもよい。またこれらのタイミング以外にも、車両１０の後部に撮像装置を設置し、車両１０の後方の映像を視認したい場合には、車両１０をバックさせた時点で変換制御部１３８に変換指示信号を送出するようにしてもよい。
【００５２】
なお、画像変換部１３６は、変換制御部１３８から変換指示が送出されていない場合には、画像の変換は行わずに画像データをＤ／Ａ変換器１４０に出力する。
【００５３】
Ｄ／Ａ変換器１４０は、画像変換部１３６から出力された画像データを、表示装置１６０に伝送するために、例えばＮＴＳＣ方式に変換するものである。Ｄ／Ａ変換器１４０で変換された信号は、映像信号として表示装置１６０に伝送される。なお、本実施形態においてはＥＣＵ１３０にＤ／Ａ変換器１４０を含めているが、本発明は係る例に限定されない。すなわち、デジタル信号のままではＥＣＵ１３０から表示装置１６０に画像データを伝送できる場合には、ＥＣＵ１３０にＤ／Ａ変換器１４０を含めないように構成してもよい。
【００５４】
以上、図４を用いて本発明の第１の実施形態にかかるＥＣＵ１３０の構成について説明した。次に、本発明の第１の実施形態にかかるＥＣＵ１３０における画像変換処理について図面を参照しながら説明する。
【００５５】
図５は、表示装置１６０に表示されるカーナビゲーションシステムの画面の一例について示す説明図である。本実施形態においては、表示装置１６０に表示されるカーナビゲーションシステムの画面において、現在地を示す地図が表示されている地図画像の右側に、俯瞰画像ボタン１６ａ、ブラインドコーナービューボタン１６ｂ、リアビューボタン１６ｃ、および側後方画像ボタン１６ｄが表示されている。本実施形態においては、表示装置１６０に表示された各ボタンは画面を指でタッチすることで反応し、各ボタンに割り当てられた動作が実行される。
【００５６】
俯瞰画像ボタン１６ａは、撮像装置１１０で撮像した画像を車両１０の上部から撮像したように変換したものを、表示装置１６０に表示させるためのボタンである。かかる変換処理は例えばＥＣＵ１３０で行うことができる。
【００５７】
ブラインドコーナービューボタン１６ｂは、車両１０の前方に設置された撮像装置１１０で撮像した、車両１０の左右前方の画像を、表示装置１６０に表示させるためのボタンである。そして、本実施形態においては、ブラインドコーナービューボタン１６ｂを指でタッチすることで車両１０の左右前方の画像を表示装置１６０に表示させる際に、一度車両１０の前方の画像を表示させた後に、車両１０の左右前方の画像を表示させるように、撮像装置１１０で撮像した画像を変換する。かかる変換処理については後に詳述する。
【００５８】
リアビューボタン１６ｃは、車両１０の後方に設置された撮像装置１１０で撮像した車両１０の後方の画像を、表示装置１６０に表示させるためのボタンである。また、側後方画像ボタン１６ｄは、車両１０の後方に設置された撮像装置１１０で撮像した、車両１０の側部後方（側後方）の画像を、表示装置１６０に表示させるためのボタンである。
【００５９】
図５に示す状況は、車がＴ字路に辿り着こうとしているが、運転手からは、建物が存在するために、左右方向は死角となってしまっている状況である。このような状況においても、車の前方に設置された撮像装置１１０で撮影された左右前方の画像を確認することで死角に存在する車や人を認識することができる。従って、後述する図８に示すような左右前方の画像を表示すれば、死角に存在する車や人を確認するには十分である。しかしながら、運転手にとって、図５の画像から図８の画像に突然切り替わると、車体２１やポール２２がどこに存在するのか認識し難く、つまり、前方のどのあたりに車体２１やポール２２が存在するのか認識し難い。そこで、図５の状態において、ブラインドコーナー１６ｂボタンを押した場合、後述する図６に示す前方の画像を表示した後、その前方の画像の一部領域に対応する画像である図８に示す画像を表示するように制御する。このようにすることで、車体２１やポール２２が前方のおおよそどのあたりに位置するのか認識し易く、違和感を覚えることを少なくさせることができる。また、ブラインドコーナー１６ｂボタンを１度押しただけで、図５の画像から図６の画像に表示変更した後、図８の画像を表示するように制御している。複数回の操作が不要で運転手にとって便利である。
【００６０】
図６は、図５に示したブラインドコーナービューボタン１６ｂを指でタッチすることで表示装置１６０に表示される画面の一例であり、本発明の第１の実施形態にかかる撮像装置１１０で撮像され、表示装置１６０にライブビュー表示されている画像の一例を示す説明図である。なお、上述したように、本発明の第１の実施形態にかかる撮像装置１１０に搭載されているレンズ１１２は、視野角が１８０度を超える広視野角のレンズである。従って、図６に示したように、撮像装置１１０が撮像した画像は広範囲に渡って表示される画像になってはいるものの、周縁部になるに連れて歪みが生じた画像となっている。
【００６１】
そこで、本発明の第１の実施形態においては、車両１０の運転席から視認しづらい場所に位置している物体を画像から視認しやすいように画像変換部１３６で変換処理を実行する。そして、変換処理を実行する際には、変換前の画像から変換後の画像に滑らかに遷移する（モーフィング処理を実行する）ことで、どの部分を表示しているのかを分かりやすく伝えることができる。
【００６２】
ここで、本発明の第１の実施形態にかかる画像の変換パターンの一例を示す。なお、本発明に置いては、以下で説明する画像の変換パターンは係る例に限られないことは言うまでもない。
【００６３】
なお、図６では、図５に示した各ボタンのうち、ブラインドコーナービューボタン１６ｂが非表示状態となっており、替わりに、図５に示した地図画像を表示装置１６０に表示させるための地図表示ボタン１６ｅが表示されている場合について示しているが、ボタンの表示形式についてはかかる場合に限定されないことは言うまでもない。また、図６に表示された画像は、歪みが生じているが、これに限定されず、歪みを補正した画像を表示するようにしてもよいことは言うまでもない。
【００６４】
図５に示したような画像が表示装置１６０に表示されている状態で、ブラインドコーナービューボタン１６ｂを押すと、まず、上述のように図６に示す画像を表示するよう表示装置１６０、ＥＣＵ１３０及び撮像装置１１０を制御する。かかる制御は、ＥＣＵ１３０の内部に設けられる変換制御部１３８によって行われる。なお、本発明においてはかかる制御を行うのは変換制御部１３８に限られず、表示装置１６０の内部にかかる制御を実行する制御手段（図示せず）を設けて、当該制御手段によって行われてもよい。また、ブラインドコーナービューボタン１６ｂの押し操作に応じて、変換制御部１３８に変換指示信号が送出され、変換制御部１３８は画像変換部１３６に対して画像の変換処理を実行するように指示する。画像の変換処理の実行指示を受けた画像変換部１３６は、撮像装置１１０で撮像されている画像に対して変換処理を施し、変換後の画像を出力する。
【００６５】
図７及び図８は、画像変換部１３６で変換処理された結果、画像変換部１３６から出力され、表示装置１６０に表示される画像を示す説明図である。図７は図８に示した状態に至る途中の一状態を示したものである。
【００６６】
本実施形態においては、画像変換部１３６で変換処理が開始されると、図６に示した状態から図７に示した状態を経て、図８に示した状態に滑らかに遷移することを特徴とする。画像変換部１３６では、図８に示したような画像を実現するために、図６に示した画像における周縁部の歪みを補正する処理を実行する。
【００６７】
画像の周縁部の歪みを補正する技術としては、例えば、本件出願人が先に出願した特開２００７−６７７１４号公報や特開２００７−３２９５４８号公報等で開示された技術を用いることができる。
【００６８】
画像の周縁部の歪みを補正する技術の一例を述べる。例えば、変換の前後の画像において、水平方向の歪みを補正する際には、原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて原画像に対し１次元補間演算を施すことにより、原画像の水平方向における歪みを補正する。また、垂直方向の歪みを補正する際には、水平方向の歪み補正により得られた画像を用いて、原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた１次元補間演算を施すことにより、原画像の垂直方向における歪みを補正する。
【００６９】
なお、図７及び図８に示した図面においては画像の縦方向に境界線が入っているが、この境界線は説明の便宜上付したものであり、本発明においては変換途中の画像や変換後の画像に境界線を付してもよいし、付さなくてもよい。
【００７０】
続いて、本発明の第１の実施形態にかかる画像処理システム１００による画像処理方法について説明する。
【００７１】
図９は、本発明の第１の実施形態にかかる画像処理システム１００による画像処理方法について説明する流れ図である。以下、図９を用いて本発明の第１の実施形態にかかる画像処理システム１００による画像処理方法について説明する。
【００７２】
まず、カーナビゲーションシステムによる地図画面を表示装置１６０に表示させている状態で（ステップＳ１０２）、運転手によりブラインドコーナービューボタン１６ｂが押下されたかどうか（指でタッチされたかどうか）を判定する（ステップＳ１０４）。ブラインドコーナービューボタン１６ｂが押下されたかどうか（指でタッチされたかどうか）の判定は、例えばＥＣＵ１３０の変換制御部１３８で行ってもよい。
【００７３】
上記ステップＳ１０４の判定の結果、運転手によるブラインドコーナービューボタン１６ｂのボタン操作が行われていないと判定した場合には、上記ステップＳ１０２に戻り、表示装置１６０へのカーナビゲーションシステムの画面の表示を継続する。
【００７４】
一方、上記ステップＳ１０４の判定の結果、運転手によるブラインドコーナービューボタン１６ｂのボタン操作が行われたと判定した場合には、車両１０の前方中央部分に設置された撮像装置１１０を用いて、車両１０の前方の画像の撮影を開始する。なお、撮像装置１１０による撮像処理は、ブラインドコーナービューボタン１６ｂのボタン操作が行われる前から行っていてもよい。撮像装置１１０で撮影された画像はＥＣＵ１３０に伝送される。ＥＣＵ１３０は撮像装置１１０で撮影された画像の伝送を受けると、当該撮影された画像を表示装置１６０にライブビュー表示させる（ステップＳ１０６）。この時点で表示装置１６０に表示される画像は、図６に示したような、画像変換部１３６での変換処理が施されていない画像である。
【００７５】
続いて、表示装置１６０に表示されている画像を、図８に示したような画像にするために、ＥＣＵ１３０の画像変換部１３６において、撮像装置１１０で撮影された画像を滑らかに変換する（ステップＳ１０８）。
【００７６】
具体的には、上述したように、図６に示したような画像から、図７に示したような画像の状態を経て、最終的に図８に示したような画像を表示装置１６０に表示させるように変換する。そして、表示装置１６０に表示させる画像が、図６に示した状態からから図７に示した状態からを経て、図８に示した状態からに至るまで滑らかに変化するように、画像変換部１３６で変換処理を実行する。
【００７７】
ＥＣＵ１３０の画像変換部１３６において変換処理が行われると、画像変換部１３６で変換処理が施された後の画像を表示装置１６０にライブビュー表示させる（ステップＳ１１０）。
【００７８】
以上、図９を用いて本発明の第１の実施形態にかかる画像処理システム１００による画像処理方法について説明した。なお、図９で示した本発明の第１の実施形態にかかる画像処理システム１００による画像処理方法は、運転手による操作部１２０のボタン操作をトリガとして画像の変換処理を行っていたが、上述したように、本発明は係る例に限定されないことは言うまでもない。
【００７９】
例えば、車両１０を走行させており、撮像装置１１０で撮影した画像を表示装置１６０に表示させている場合には、走行中に車両１０の速度が所定の速度以下となったかどうかを判定してもよい。所定の速度以下となったか否かを判定の基準とするのは、交差点に車両１０が進入して、左右からの車や人等の到来を確認する必要があると考えられるためである。かかる場合には、車両１０の速度が所定の速度以下になったと判定した場合に、上記ステップＳ１０８の変換処理を実行してもよい。
【００８０】
また、車両１０の後部に撮像装置を設置し、車両１０の後方の映像を視認したい場合には、車両１０をバックさせたかどうかを判定してもよい。そして、車両１０をバックさせたと判定した場合に、上記ステップＳ１０８の変換処理を実行してもよい。
【００８１】
以上説明したように、本発明の第１の実施形態によれば、車両１０の前方中央部に設置された、広視野角特性を有する撮像装置１１０で撮影した画像を、ＥＣＵ１３０で変換処理を施して、表示装置１６０に表示させる。そして、変換処理を実行する際には、表示装置１６０に表示される画像が、変換の前後で滑らかに変化するように変換処理を実行する。
【００８２】
このように表示装置１６０に表示させる画像を滑らかに変化させることによって、運転手はどの部分がズームアップされて表示されているのかを容易に視認することができるようになる。また、従来はプリズムを用いなければ得ることが出来なかった画像であっても、変換処理によってプリズムを用いた画像と同等の画像を得ることが出来る。さらに、プリズムを用いると撮影することが出来なかった正面部分の画像も撮影することができるので、システムのコストダウンを図ることができる。
【００８３】
また、従来においてはＮＴＳＣ方式に変換された後の画像に対して画像処理を施していたが、本発明の第１の実施形態ではＮＴＳＣ方式に変換する前の画像に対して画像処理を施しているので、変換後の画像も高画質を保つことができる。その結果、運転手が変換後の画像を見た場合における画像の視認性を、より高めることが可能となる。
【００８４】
なお、上述した画像変換部１３６における画像処理は、ＥＣＵ１３０の内部にコンピュータプログラムを格納し、格納したコンピュータプログラムを順次読み出して実行することによって行ってもよい。
【００８５】
（第２の実施形態）
本発明の第１の実施形態では、ＥＣＵ１３０に画像変換部１３６を設け、ＥＣＵ１３０において撮像装置１１０で撮影した画像の変換処理を実行していた。本発明の第２の実施形態では、撮像装置の内部に画像変換部を設けた場合について説明する。
【００８６】
図１０は、本発明の第２の実施形態にかかる撮像装置２１０の構成について説明する説明図である。以下、図１０を用いて本発明の第２の実施形態にかかる撮像装置２１０の構成について説明する。
【００８７】
撮像装置２１０は、本発明の第１の実施形態で説明した撮像装置１１０に置き換えられるものである。すなわち、撮像装置２１０は車両１０の前方中央部に設置され、車両１０の前方部分の画像を撮影するためのものである。図１０に示したように、本発明の第２の実施形態にかかる撮像装置２１０は、レンズ２１２と、撮像素子２１４と、データ変換部２１６と、画像バッファ２１８と、画像変換部２３６と、変換制御部２３８と、Ｄ／Ａ変換器２４０と、を含んで構成される。
【００８８】
ここで、図１０に示した撮像装置２１０の構成のうち、レンズ２１２、撮像素子２１４、及びデータ変換部２１６は、図３に示したレンズ１１２、撮像素子１１４、及びデータ変換部１１６と、それぞれ同等の機能を有するものであるので詳細な説明は省略する。
【００８９】
また、図１０に示した撮像装置２１０の構成のうち、画像バッファ２１８、画像変換部２３６、及び変換制御部２３８は、図４に示したＥＣＵ１３０の画像バッファ１３４、画像変換部２３６、及び変換制御部２３８と、それぞれ同等の機能を有するものである。従って、本発明の第２の実施形態では、レンズ２１２及び撮像素子２１４を用いて撮像した画像を、撮像装置２１０の内部で変換する。
【００９０】
以上、図１０を用いて本発明の第２の実施形態にかかる撮像装置２１０の構成について説明した。
【００９１】
以上説明したように、本発明の第２の実施形態によれば、車両１０の前方中央部に設置された、広視野角特性を有する撮像装置２１０で撮影した画像を、撮像装置２１０の内部で変換処理を施して、表示装置１６０に表示させる。そして、変換処理を実行する際には、表示装置１６０に表示される画像が、変換の前後で滑らかに変化するように変換処理を実行する。
【００９２】
このように表示装置１６０に表示させる画像を、撮像装置２１０の内部で滑らかに変化させることによって、運転手はどの部分がズームアップされて表示されているのかを容易に視認することができるようになる。また、従来はプリズムを用いなければ得ることが出来なかった画像であっても、変換処理によってプリズムを用いた画像と同等の画像を、撮像装置２１０単体で得ることが出来る。さらに、プリズムを用いると撮影することが出来なかった正面部分の画像も撮影することができるので、システムのコストダウンを図ることができる。
【００９３】
また、従来においてはＮＴＳＣ方式に変換された後の画像に対して画像処理を施していたが、本発明の第２の実施形態ではＮＴＳＣ方式に変換する前の画像に対して画像処理を施しているので、変換後の画像も高画質を保つことができる。さらに、本発明の第２の実施形態では撮像装置２１０の内部で変換処理を実行しているので、撮像素子２１４で取得した画像の生データ（ＲＡＷデータ）に対して直接変換処理を行うこともできる。その結果、運転手が変換後の画像を見た場合における画像の視認性を、より高めることが可能となる。
【００９４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９５】
例えば、上記実施形態では、その時々の原画像に基づいて画像作成しているので、図６に示した全体の画像と、図８に示した２分割の画像とでは異なる原画像に基づいて画像を作成しているが、本発明は係る例に限定されない。すなわち、図６に示した全体の画像と、図８に示した２分割の画像とは、同じ原画像に基づいて画像を作成してもよい。
【００９６】
また、撮像装置１１０が車両１０に対して斜めに設置されてしまった場合であっても、例えば画像変換部１３６で画像の傾き角を検知してもよい。そして、画像変換部１３６で検知した傾き角に基づいて、撮像装置１１０で撮像された画像を画像変換部１３６で変換してもよい。
【００９７】
また、上記実施形態では、画像変換部１３６で変換処理が開始されると、図６に示した状態から図７に示した状態を経て、図８に示した状態に滑らかに遷移させていたが、本発明は係る例に限定されない。例えば、画像変換部１３６で変換処理が開始されると、図６に示した状態から図８に示した状態に瞬時に遷移させるようにしてもよい。
【図面の簡単な説明】
【００９８】
【図１】本発明の第１の実施形態にかかる画像処理システムを搭載した車両を上方から俯瞰した状態を示す説明図である。
【図２】本発明の第１の実施形態にかかる画像処理システム１００の構成について説明する説明図である。
【図３】本発明の第１の実施形態にかかる撮像装置１１０の構成について説明する説明図である。
【図４】本発明の第１の実施形態にかかるＥＣＵ１３０の構成について説明する説明図である。
【図５】表示装置１６０に表示されるカーナビゲーションシステムの画面の一例を示す説明図である。
【図６】表示装置１６０にライブビュー表示されている画像の一例を示す説明図である。
【図７】表示装置１６０に表示される画像を示す説明図である。
【図８】表示装置１６０に表示される画像を示す説明図である。
【図９】本発明の第１の実施形態にかかる画像処理システム１００による画像処理方法について説明する流れ図である。
【図１０】本発明の第２の実施形態にかかる撮像装置２１０の構成について説明する説明図である。
【符号の説明】
【００９９】
１０    車両
２１    車体
２２    ポール
１００    画像処理システム
１１０    撮像装置
１１２    レンズ
１１４    撮像素子
１１６    データ変換部
１１８    Ｄ／Ａ変換器
１２０    操作部
１３０    ＥＣＵ
１３２    Ａ／Ｄ変換器
１３４    画像バッファ
１３６    画像変換部
１３８    変換制御部
１４０    Ｄ／Ａ変換器
１６０    表示装置
２１０    撮像装置
２１２    レンズ
２１４    撮像素子
２１６    データ変換部
２１８    画像バッファ
２３６    画像変換部
２３８    変換制御部
２４０    Ｄ／Ａ変換器
【図１】
2010033108.tif 000003
【図２】
2010033108.tif 000004
【図３】
2010033108.tif 000005
【図４】
2010033108.tif 000006
【図５】
2010033108.tif 000007
【図６】
2010033108.tif 000008
【図７】
2010033108.tif 000009
【図８】
2010033108.tif 000010
【図９】
2010033108.tif 000011
【図１０】
2010033108.tif 000012