(57)【要約】【課題】画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供する。【解決手段】自車両側後方の画像を側後方カメラから取得し（Ｓ１００）、自車両の速度及び操舵角を取得する（Ｓ１０５）、取得した速度及び操舵角から自車両が走行車線を変更するか否かを判定し（Ｓ１１０）、変更がない場合（Ｓ１１０：Ｎｏ）、本画像処理を繰り返す。変更がある場合（Ｓ１１０：Ｙｅｓ）、Ｓ１００において取得した画像の画像エネルギ画像を生成する（Ｓ１１５）。その後、画像エネルギが所定の値以下の部分を結ぶＳｅａｍを算出し、削除しない条件に合致するＳｅａｍ以外のＳｅａｍを削除して縮小画像を生成する（Ｓ１２０）。そして、算出した縮小画像を通常の大きさの画像に均等に拡大して表示装置に表示する（Ｓ１２５）。【選択図】図２
2009146134.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺の画像を取得するための画像取得手段と、
前記画像取得手段で取得した前記画像中の画像エネルギを算出し、算出した画像エネルギが所定の値より低い箇所を前記画像の一端から対向する他端へ順次通過するラインを算出する画像エネルギ算出手段と、
前記画像エネルギ算出手段で算出した前記画像中のライン部分を削除することにより前記画像を縮小する画像縮小手段と、
前記画像エネルギ算出手段で算出されるラインの総本数を所定の条件下で画像毎に可変とする削除抑制手段と、
を備えたことを特徴とする車載用画像処理装置。
【請求項２】
請求項１に記載の車載用画像処理装置において、
前記削除抑制手段は、
前記所定の条件として、前記画像中のライン又は前記画像の解析結果を用いることを特徴とする車載用画像処理装置。
【請求項３】
請求項２に記載の車載用画像処理装置において、
前記削除抑制手段は、
前記画像中のライン又は前記画像の解析結果として、前記ラインの１本分の画像エネルギの値を算出し、算出した画像エネルギの値が所定の値よりも高くなったときに、それ以上ラインを削除しないようにすることを特徴とする車載用画像処理装置。
【請求項４】
請求項２に記載の車載用画像処理装置において、
前記削除抑制手段は、
前記画像中のライン又は前記画像の解析結果として、前記画像縮小手段で削除したライン部分の画像エネルギの総削除合計量が所定の値となったときに、それ以上ラインを削除しないようにすることを特徴とする車載用画像処理装置。
【請求項５】
請求項２に記載の車載用画像処理装置において、
前記削除抑制手段は、
前記画像中のライン又は前記画像の解析結果として、前記ラインを削除する前、又はライン１本の削除処理の終了後ごとに、前記画像全体の画像エネルギの総量を算出し、算出した画像エネルギの総量を前記画像全体のサイズで割った画像エネルギの平均値に応じて、それ以降に削除するラインの数を決定することを特徴とする車載用画像処理装置。
【請求項６】
請求項２に記載の車載用画像処理装置において、
前記削除抑制手段は、
前記画像中のライン又は前記画像の解析結果として、ライン算出処理毎に、前記画像全体の画像エネルギの総量を算出し、算出した画像エネルギの総量が所定の値以下となったとき、それ以上ラインを削除しないようにすることを特徴とする車載用画像処理装置。
【請求項７】
請求項１に記載の車載用画像処理装置において、
前記自車両の走行状態を検出するための走行状態検出手段を備え、
前記削除抑制手段は、
前記所定の条件として、前記走行状態検出手段で検出した前記自車両の走行状態を用いることを特徴とする車載用画像処理装置。
【請求項８】
請求項７に記載の車載用画像処理装置において、
前記走行状態検出手段は、
前記走行状態として前記自車両の速度を検出する速度検出手段を備え、
前記削除抑制手段は、
前記所定の条件として、前記走行状態検出手段で前記自車両が停車又は所定値より車速が低い状態である場合、前記ラインの削除の抑制を行うことを特徴とする車載用画像処理装置。
【請求項９】
請求項７に記載の車載用画像処理装置において、
前記走行状態検出手段は、
前記走行状態として前記自車両が走行車線を変更することを検出する走行車線変更検出手段を備え、
前記削除抑制手段は、
前記所定の条件として、前記走行車線変更検出手段で前記自車両が走行車線を変更することを検出した場合以外は、前記ラインの削除の抑制を行うことを特徴とする車載用画像処理装置。
【請求項１０】
請求項７に記載の車載用画像処理装置において、
前記走行状態検出手段は、
前記走行状態として前記自車両のドアが開くことを検出するドア開検出手段を備え、
前記削除抑制手段は、
前記所定の条件として、前記ドア開検出手段で前記自車両のドアが開くことを検出した場合以外は、前記ラインの削除の抑制を行うことを特徴とする車載用画像処理装置。
【請求項１１】
請求項７に記載の車載用画像処理装置において、
前記走行状態検出手段は、
前記走行状態として前記自車両の周辺の車線の有無を検出する車線検出手段を備え、
前記削除抑制手段は、
前記所定の条件として、前記車線検出手段で前記自車両付近に車線があることを検出した場合以外は、前記ラインの削除の抑制を行うことを特徴とする車載用画像処理装置。
【請求項１２】
請求項７に記載の車載用画像処理装置において、
前記走行状態検出手段は、
前記走行状態として前記自車両の周辺に移動障害物が存在することを検出する移動障害物検出手段を備え、
前記削除抑制手段は、
前記所定の条件として、前記移動障害物検出手段で前記自車両付近に移動障害物を検出した場合以外は、前記ラインの削除の抑制を行うことを特徴とする車載用画像処理装置。
【請求項１３】
請求項１〜請求項１２の何れかに記載の車載用画像処理装置において、
前記画像縮小手段は、
前記画像を縮小する際、縮小後の前記画像を、削除したラインの総数の変化にかかわらず常に一定の大きさになるようサイズ変更することを特徴とする車載用画像処理装置。
【請求項１４】
請求項１〜請求項１３の何れかに記載の車載用画像処理装置と、
前記車載用画像処理装置で得られた画像を表示するための表示手段と、
を備えたことを特徴とする車載用画像表示装置。
【請求項１５】
請求項１４に記載の車載用画像表示装置において、
前記画像取得手段は、前記自車両の後方画像を取得可能に前記自車両に取り付けられ、
前記表示手段は、前記自車両の後方確認用ミラー部分に、運転者が視認可能に取り付けられていることを特徴とする車載用画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の重要部分を見やすさを保った状態で画像を縮小して表示するための車載用画像処理装置及び車載用画像表示装置に関する。
【背景技術】
【０００２】
従来、車載カメラを用い、車両の側後方の画像を取得し、オプティカルフローなどで検出した相対速度を持つ物を強調表示して、運転者がより理解しやすい画像を生成することで車両運転時の安全向上を狙っている技術がある（例えば、特許文献１参照）。
【０００３】
一方で、画像の重要度を解析して重要度の高い箇所を切り貼りすることで重要箇所を残したまま画像を縮小する技術もある（例えば、特許文献２参照）。さらに、これを改良し、重要度を示す画像エネルギ画像をまず算出し、それに対してＳｅａｍと呼ばれる重要度が低い箇所を通って画像エネルギ画像を縦断するラインを算出し、その箇所を削除していく方法が提案されている（例えば、非特許文献１参照）。
【０００４】
これらの縮小画像生成技術により、小さなモニタに効率よく周辺状況を表示することができる。これを車載カメラに適用した場合、例えば側後方カメラにおいては、追越し車両がより拡大強調されることになり、一目で車線変更の可否が分かりやすい。
【特許文献１】特開２００３−２７４３９３
【特許文献２】ＵＳ２００７／００２５６３７
【非特許文献１】”Seam Carving for Content-Aware Image Resizing”, S.Avidan (Mitsubishi Electric Research Labs), SIGGRAPH’07
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１に記載されている手法では、画像エネルギ画像の算出方法によっては、重要物体が十分に強調されなかったり、縮小画像がひずんだりするという問題がある。例えば、一般的な手法として、画像エネルギ画像にエッジ画像を用いた場合、路側構造物は強いエッジを持つ場合が多く、車線変更の可否を判定するには余り重要でないにもかかわらず重要度が高くなる。したがって、真に重要な周辺車両の重要度が相対的に低くなり、十分車両が強調されない。また、車両の凹凸が少ない、いわゆるのっぺりした形状の車両も同様に画像エネルギが相対的に低くなり、車両の形状がひずむ。
【０００６】
特に、車両が非常に多い状況や路面に模様がある状況などの画像全体が複雑すぎる場合も、削除にふさわしい箇所がないにも拘わらず削除処理がされてしまうので、車両がひずんでしまう。
【０００７】
基本的に、本手法は画像にひずみや違和感を生じさせ、見た目の違和感を増させる傾向があり、それを鑑みても見やすさのアシスト効果があると思われるシーンに限定して処理することが重要となる。
【０００８】
本発明は、こうした問題に鑑みなされたもので、画像中の重要な物体を縮小画像中で強調し、かつ、違和感の少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
かかる問題を解決するためになされた請求項１に記載の車載用画像処理装置（５：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、画像取得手段（１０）、画像エネルギ算出手段（３０）、削除抑制手段（３０）及び画像縮小手段（３０）を備えている。
【００１０】
画像取得手段（１０）は、自車両周辺の画像を取得するためのものであり、画像エネルギ算出手段は、画像取得手段（１０）で取得した画像中の画像エネルギを算出し、算出した画像エネルギが所定の値より低い箇所を画像の一端から対向する他端へ順次通過するラインを算出する。
【００１１】
削除抑制手段（３０）は、画像エネルギ算出手段で算出したラインのうち、画像中から削除しないラインを決定し、画像縮小手段（３０）は、画像エネルギ算出手段（３０）で算出した画像中のラインのうち削除抑制手段（３０）で削除しないと決定されたライン以外のライン部分を削除することにより画像を縮小する。
【００１２】
以上のような車載用画像処理装置（５）では、重要度の高い箇所は強調され、かつ、重要度の低い箇所にはひずみが発生しにくい縮小画像を得ることができる。以下説明する。
まず、「画像中の画像エネルギ」について説明する。これは、画像中の重要な箇所がどこかを示す指標で、画像中の各位置ごとに算出され、画像全体の画像エネルギ分布を作成した物を画像エネルギ画像と呼ぶ。
【００１３】
この算出方法、すなわち画像エネルギの定義の方法は様々な方法が考えられ、例えばエッジ画像、すなわち線の粗密が色の変化が大きい箇所と考えることができる。例えば、晴天の空など重要でないと思われる箇所では、線の粗密や画面の色の変化がほとんどできない。
【００１４】
一方、都市の道路を撮影した画像で重要と思われる箇所は、道路面に車線などのペイントが施されていたり、道路上には車両が多数存在していたり、道路脇に建物が立ち並んでいたり、また、道路脇や建物には広告用の看板などが立ち並んでいたりするので、線の粗密や色の変化が大きい。
【００１５】
このように、エッジ抽出処理を画像中の画像エネルギとした場合、エッジが強い部分が「画像中の画像エネルギが高い」となる一方で、模様がない重要なもの、例えばのっぺりとしたデザインの車両は重要でないとされてしまうことになる。このため、車両が削除されたり、車両内部ののっぺりした箇所が削除され車両の見た目がひずんだりする。そのため、この画像エネルギの算出方法は非常に重要である。
【００１６】
このように定義した「画像中の画像エネルギ」によれば、請求項１に記載の車載用画像処理装置（５）では、画像エネルギ算出手段により、画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い箇所を画像の一端から対向する他端へ順次通過するラインが算出される。そして、画像縮小手段（３０）では、基本的な処理として、画像エネルギ算出手段（３０）で算出した画像中のライン部分が削除されることにより画像が縮小される。
【００１７】
ところが、このような処理を行った場合、例えば、市街地のように画像全体が複雑で、画面全体の重要度が高くて余り差がなく、削除可能な箇所が余りないような画像の場合には、画像の局所に存在するわずかな低エネルギ箇所にラインが集中し、全体にひずみの多い違和感のある絵とされてしまう。
【００１８】
そこで、削除抑制手段（３０）により、画像エネルギ算出手段で算出したラインのうち、画像中から削除しないラインを決定し、画像縮小手段（３０）は、画像エネルギ算出手段（３０）で算出した画像中のラインのうち削除抑制手段（３０）で削除しないと決定されたライン以外のライン部分を削除することにより画像を縮小する。それにより、無理に画像を縮小されてしまうことがなくなり、画像がひずんで違和感のある絵になりにくくなることを防止することができるのである。
【００１９】
ところで、画像エネルギ算出手段（３０）で算出されるラインの数を可変にする所定の条件としては種々のものが考えられるが、請求項２に記載のように、削除抑制手段（３０）は、所定の条件として、画像中のライン又は画像の解析結果を用いるようにすると、画像取得手段（１０）で取得した画像の画像処理で条件を定めることができるので、車載用画像処理装置（５）の装置構成を簡易なものにすることができる。
【００２０】
ところで、削除抑制手段（３０）において、画像中から削除するラインを決定するには種々の方法が考えられるが、請求項３に記載のように、削除抑制手段（３０）は、画像中のライン又は画像の解析結果として、ラインの１本分の画像エネルギの値を算出し、算出した画像エネルギの値が所定の値よりも高くなったときに、それ以上ラインを削除しないようにするとよい。
【００２１】
このようにすると、例えば、画面全体の重要度が高く、削除可能な箇所が少ないような画像においては、無理にそれ以上の削除を行って画像を異常なまでにひずませることがなくなる。また、重要度の大きさを１本のラインの画像エネルギの値で決定することができるので、有効である。
【００２２】
また、請求項４に記載のように、削除抑制手段（３０）は、画像中のライン又は画像の解析結果として、画像縮小手段（３０）で削除したライン部分の画像エネルギの総削除総量が所定の値となったときに、それ以上ラインを削除しないようにしても、請求項３と同様に画像全体の重要度が高い場合に有効である。
【００２３】
さらに、請求項５に記載のように、削除抑制手段（３０）は、画像中のライン又は画像の解析結果として、ラインを削除する前、又は１本削除の繰り返し処理終了ごとに、画像全体の画像エネルギの総量を算出し、算出した画像全体サイズで割った画像エネルギの平均値に応じて、それ以降に削除するラインの数を決定するようにしても、請求項３と同様に有効である。
【００２４】
ところで、請求項１に記載の車載用画像処理装置（５）では、画像中のラインを算出し、そのライン部分の削除を行って画像を縮小させるので、縮小した画像には、基本的にひずみが生じる。そのため、画像に重要箇所が多い場合とは逆に、画像中に特に強調したい物がない場合も、画像を縮小する処理を抑制したい。
【００２５】
そこで、請求項６に記載のように、削除抑制手段（３０）は、削除抑制手段（３０）は、画像中のライン又は画像の解析結果として、ライン算出処理毎に、画像全体の画像エネルギの総量を算出し、算出した画像エネルギの総量が所定の値以下となったとき、それ以上ラインを削除しないようにすることを特徴とする車載用画像処理装置（５）。
【００２６】
このようにすると、画像全体の画像エネルギ量が所定の値よりも少ない場合は、特に強調したい物がなくなったと判定できるので、削除処理を行わない。つまり、特に強調したい物がなくなった場合に画像が縮小されなくなるので、それ以上にひずみが発生しなくなる。
【００２７】
ところで、画像エネルギ算出手段（３０）で算出されるラインの数を可変にする所定の条件として、画像中のライン又は画像の解析結果以外に、自車両の走行状態を用いると、自車両が走行状態にある場合の安全性を確保することができるので都合がよい。
【００２８】
そこで、請求項７に記載のように、自車両の走行状態を検出するための走行状態検出手段（２０，４０，６０，７０）を備え、削除抑制手段（３０）は、所定の条件として、走行状態検出手段（２０，４０，６０，７０）で検出した自車両の走行状態を用いるようにするとよい。
【００２９】
このようにすると、自車両の走行状態に応じて削除されるラインの数を変化させることができる。つまり、縮小される画像が変化するので、自車両が走行状態にある場合の安全性を確保することができる。
【００３０】
ここで、「自車両の走行状態」とは、自車両が実際にある速度をもって走行している場合だけでなく、道路の路側などに運転者などが乗車して停車し、ドアなどが開く可能性があるような状態をも含んでいる。
【００３１】
ところで、車両走行中あるいは車両停車中に特に危険が大きい場合がある。例えば、走行中に車線を変更する場合には他車両などとの衝突の危険性があり、車両が停止中にドアを開く場合には、自転車あるいは追越しをする車両などが開いたドアに衝突する危険性がある。
【００３２】
このような、画像を見て一瞬の判断で危険性を判断しなければならないときには、本手法による重要物の拡大強調は、ドライバにとっての認知アシストとなり得る。しかし、特に危険のない停車中などで画像をじっくり見られる場合には、特に強調の必要はなく、逆にひずみや違和感のある画像は抑制すべきである。
【００３３】
そこで、請求項８に記載のように、走行状態検出手段（２０，４０，６０，７０）は、前記走行状態として自車両の速度を検出する速度検出手段（４０）を備え、削除抑制手段（３０）は、所定の条件として、走行状態検出手段（４０、６０、７０）で自車両が停車又は所定値より車速が低い状態である場合、ラインの削除の抑制を行うようにするとよい。
【００３４】
具体的には、例えば、車速がゼロの際は削除する最大ライン本数をゼロに設定し、車速に応じて徐々に本数を上げて車速２０ｋｍ／ｈ以上で正規の最大本数、例えば１００本に上げるなどが考えられる。
【００３５】
また、請求項９に記載のように、走行状態検出手段（２０，４０，６０，７０）は、前記走行状態として、自車両が走行車線を変更することを検出する走行車線変更検出手段（４０，６０）を備え、削除抑制手段（３０）は、所定の条件として、走行車線変更検出手段（４０，６０）で自車両が走行車線を変更することを検出した場合以外は、ラインの削除の抑制を行うようにすると、自車両が車線変更をするときに、重要物体が強調された画画像を得ることができる。具体的には、例えば、ウインカを出した場合には削除するライン本数を倍にするなどが考えられる。
【００３６】
さらに、請求項１０に記載のように、走行状態検出手段（２０，４０，６０，７０）は、前記走行状態として自車両のドアが開くことを検出するドア開検出手段（７０）を備え、削除抑制手段（３０）は、所定の条件として、ドア開検出手段（７０）で自車両のドアが開くことを検出した場合、ラインの削除の抑制を行うようにすると、自車両のドアを開けるときに、強調された物体があるひずみの少ない縮小画像を得ることができる。
【００３７】
また、請求項１１に記載のように、走行状態検出手段（２０，４０，６０，７０）は、前記走行状態として自車両の周辺の車線の有無を検出する車線検出手段（７０）を備え、削除抑制手段（３０）は、所定の条件として、車線検出手段（７０）で自車両付近に車線があることを検出した場合以外は、ラインの削除の抑制を行うようにすると、画像縮小の際に車線がひずむことがなくなる。したがって、縮小画像においても車線が見やすくなる。
【００３８】
また、請求項１２に記載のように、走行状態検出手段（２０，４０，６０，７０）は、前記走行状態として自車両の周辺に移動障害物が存在することを検出する移動障害物検出手段（２０）を備え、削除抑制手段（３０）は、所定の条件として、移動障害物検出手段（２０）で自車両付近に移動障害物を検出した場合以外は、ラインの削除の抑制を行うようにすると、画像縮小の際に障害物がひずむことがなくなる。したがって、縮小画像において障害物が見やすくなるので、運転時の安全性を向上させることができる。
【００３９】
ところで、請求項１〜請求項１３の何れかに記載のように画像中でラインを設定し、そのライン部分を削除することによって画像を縮小し、かつその削除ラインの総数を変化させた場合、画像全体の大きさも小さくなり、かつ縮小後の画像サイズも毎回変動する。車載用画像処理装置（５）の場合、画像の大きさが常に変化すると、運転者にとって見にくい画像となる。
【００４０】
そこで、請求項１３に記載のように、画像縮小手段（３０）は、画像を縮小する際、縮小した規模に応じて、処理後の画像を一定の画像サイズになるようサイズ変換するとよい。拡大表示する際には、縮小前の画像と同じ大きさになるように、縮小後の画像を均等に拡大してもよいし。表示の目的に合わせて、表示画像の縦横比を変化させてもよい。
【００４１】
このようにすると、請求項１に記載のように画像が縮小され、画像中の画像エネルギの低い部分が削除された画像を拡大することになるので、強調された部分は縮小される前に比べ大きく表示されることになり、かつ、画像全体の大きさは変化しないものとなる。したがって、運転者にとって、強調部分がより見やすい画像となる
請求項１４に記載の車載用画像表示装置（１）は、請求項１〜請求項９の何れかに記載の車載用画像処理装置と、その車載用画像処理装置（５）で得られた画像を表示するための表示手段（５０）と、を備えたことを特徴とする。
【００４２】
このような車載用画像表示装置（１）は、請求項１〜請求項９の何れかに記載の車載用画像処理装置（５）の特徴を有する車載用画像表示装置（１）となる。
ところで、強調された物体が表示される縮小画像は、自車両の後方確認に用いると有効である。そこで、請求項１５に記載のように、画像取得手段（１０）を自車両の後方画像を取得可能に自車両に取り付け、表示手段（５０）を、自車両の後方確認用ミラー部分に、運転者が視認可能に取り付けると、表示手段（５０）によって運転者は後方の危険性を確認することができるので、運転時の安全性を向上させることができる。
【発明を実施するための最良の形態】
【００４３】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
［第１実施形態］
図１は、本発明が適用された車載用画像表示装置１の概略の構成を示すブロック図である。車載用画像表示装置１は、図１に示すように、車載用画像処理装置５及び表示装置５０を備えている。
【００４４】
車載用画像処理装置５は、側後方カメラ１０、ミリ波レーダ２０、車速センサ４０、操舵角検出器６０及び画像処理部３０を備えている。
側後方カメラ１０は、図示しない自車両周辺の画像を取得するための可視光画像を取得可能な小型広角ＣＣＤカメラであり、車両の側後方の画像を取得できるように自車両のバックミラーなどに取り付けられている。
【００４５】
ミリ波レーダ２０は、画像中の物体（本実施形態では他車両）の相対速度を検出するためのものであり、ミリ波電波を自車両の側後方に送信できるように自車両に取り付けられている。ミリ波レーダ２０は、ミリ波電波を送信し、送信した電波の反射波を受信し、受信した反射波の受信強度、受信方位及び反射波のドップラシフトから車両側後方の他車両のまでの距離と方位及び相対速度を検出する。
【００４６】
車速センサ４０は、自車両の速度を検出するものであり、車軸の回転数から速度を検出するものであってもよいし、ＧＰＳ車載機で自車両の現在位置を検出し、その変化量から速度を検出するものであってもよい。
【００４７】
操舵角検出器６０は、自車両が走行車線を変更することを検出するためのものであり、ポテンショメータやロータリエンコーダなどにより、自車両の前輪の操舵角度を検出する。
【００４８】
画像処理部３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏなどから構成されており、以下の（ア）〜（キ）の処理を実行する。
ＲＡＭ及びＩ／Ｏなどから構成されており、以下の（ア）〜（キ）の処理を実行する。
【００４９】
（ア）側後方カメラ１０で取得した画像中の画像エネルギを算出する。
（イ）算出した画像エネルギが所定の値より低い箇所を画像の一端から対向する他端へ順次通過するラインを算出する。
【００５０】
（ウ）算出したラインのうち、ラインの１本分の画像エネルギの値を算出し、算出した画像エネルギの値が所定の値よりも高いラインを削除しないと決定する。
（エ）算出した画像中のラインのうち削除しないと決定されたライン以外のライン部分を削除することにより画像を縮小する。
【００５１】
（オ）車速センサ４０及び操舵角検出器６０で自車両が走行車線を変更することを検出した場合、ラインの削除を行わない。
（カ）画像を表示装置５０に表示する際、縮小後の画像を拡大する。
【００５２】
（キ）（カ）の処理で縮小画像を拡大した画像を表示装置５０で表示させる。
表示装置５０は、画像を表示するためのものであり、液晶ディスプレイや有機ＥＬディスプレイを有している。表示装置５０は、自車両のバックミラー部分のミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。
【００５３】
（画像処理部３０における処理）
次に図２〜図４に基づき画像処理部３０で実行される処理について説明する。図２は、画像処理部３０で実行される画像処理のメインルーチンの処理の流れを示すフローチャートであり、図３は、サブルーチンである画像エネルギ画像生成処理のフローチャートである。また、図４は、サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。
【００５４】
画像処理では、図２に示すように、Ｓ１００において側後方カメラ１０から自車両の側後方の画像が取得され、続くＳ１０５では、車速センサ４０から自車両の速度、操舵角検出器６０から自車両の操舵角が取得される。
【００５５】
続くＳ１１０では、自車両が走行中に車線を変更するか否かが判定される。つまり、Ｓ１０５において取得された自車両の速度が所定の値以上（例えば、４０ｋｍ／ｈ以上）であり、かつ、操舵角度が所定の値を超えた場合に、自車両が走行中に車線を変更すると判定される。
【００５６】
そして、自車両が車線を変更すると判定された場合（Ｓ１１０：Ｙｅｓ）、処理がＳ１１５へ移行され、車線を変更しないと判定された場合（Ｓ１１０：Ｎｏ）、処理がＳ１００へ移行され、本処理が繰り返される。
【００５７】
Ｓ１１５では、Ｓ１００において取得された画像の画像エネルギ画像が生成される。画像エネルギ画像生成処理の詳細については後述する。
続くＳ１２０では、Ｓ１１５において生成された画像エネルギ画像に対して、低画像エネルギ箇所が削除され、縮小画像が得られる。低画像エネルギ箇所削除処理については後述する。
【００５８】
続くＳ１２５では、Ｓ１２０において得られた縮小画像が縮小する前の画像と同じ大きさとなるように拡大され、表示装置５０に表示される。このときの拡大方法としては、基本的には画面全体を均等に拡大するが、表示の目的によって表示画像の縦横比を変化させてもよい。また、縮小画像を表示装置５０の画面の表示可能部分と同じ大きさになるように拡大してもよい。
【００５９】
そして、表示装置５０への画像表示が終了した後、処理がＳ１００に戻されて、画像処理が繰り返される。
（画像エネルギ画像生成処理）
次に、図３に基づき、画像エネルギ画像生成処理について説明する。画像エネルギ画像生成処理では、Ｓ３００においてベース画像エネルギパターン画像が生成される。例えば、格子状に設定された画像エネルギパターンをベース画像とする。このとき、自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広くなり、かつ、格子の画像エネルギが低くなるように格子の画像エネルギ分布が設定された格子パターンとする。
【００６０】
Ｓ２０５では、Ｓ２００において生成されたベース画像エネルギパターン画像に対しエッジ画像が作成される。つまり、画像中の角や縁の部分が抽出され画像（エッジ画像）が生成される。原画像の例を図５（ａ）及びエッジ画像の例を図５（ｂ）に示す。
【００６１】
Ｓ２１０では、Ｓ２０５において生成されたエッジ画像がＳ２００において生成されたベース画像エネルギパターン画像に加算される。つまり、ベース画像エネルギパターン画像にエッジ画像が重畳され、処理が終了される。
（低画像エネルギ箇所削除処理）
次に、図４に基づき、低画像エネルギ箇所削除処理について説明する。低画像エネルギ箇所削除処理では、Ｓ３００において、Ｓ１１０（図２参照）の画像エネルギ画像生成処理で得られた画像エネルギ画像に対してまず、削減すべきライン（以下、このラインを「Ｓｅａｍ」と呼ぶ。）の本数が算出される。
【００６２】
具体的には、Ｓ１００（図２参照）で取得された画像の大きさと縮小画像との縦横の長さの比率及びＳｅａｍ１本を画面から削除した場合に画面から削除されるＳｅａｍの幅から削除すべきＳｅａｍの本数が算出される。
【００６３】
続くＳ３０５では、Ｓｅａｍが算出される。Ｓｅａｍは画像上端から下端まで最小の画像エネルギで通過できる筋のことであり、最短経路問題を解くことにより求められる。具体的にはＳｅａｍの算出は、Ｓ２４０（図３参照）において得られた画像エネルギ画像と同サイズの経路合計値を保存するメモリ空間（以下経路画像と呼ぶ）を確保し、元画像上辺の２行目から下の行に向かって以下のように全ピクセルに対して計算する。
【００６４】
ある画像中の１点のピクセルに対し、その上３ピクセルの経路画像エネルギ値のうち最も小さい値と、元画像の自身のピクセル位置の画像エネルギ値の合算値を、経路画像に保存する。これにより、経路画像には画像上端からそのピクセルへの最短経路値が保存され、経路画像の最下辺の値のうち最小の物が、求めるＳｅａｍの合計画像エネルギ値、その箇所から逆に経路画像を上端に向かってさかのぼることで、Ｓｅａｍの形状が得られる。
【００６５】
また、Ｓｅａｍを算出するとともに、Ｓｅａｍ１本ごとの画像エネルギ値が算出される。Ｓｅａｍの例を図６（ａ）に示す。図６（ａ）中で、画像の上辺から下辺へ描かれている多数の線がＳｅａｍである。
【００６６】
続く、Ｓ３１０では、Ｓ３０５で算出されたＳｅａｍの画像エネルギ値が所定の値以上であるか否かが判定される。そして、画像エネルギが所定の値以上と判定された場合（Ｓ３１０：Ｙｅｓ）、処理が終了され、メインルーチンへ処理が移行される。一方、画像エネルギが所定の値未満であると判定された場合（Ｓ３１０：Ｎｏ）、処理がＳ３１５へ移行される。
【００６７】
Ｓ３１５では、Ｓ３０５において特定されたＳｅａｍ部分が画像エネルギ画像から削除され、続くＳ３２０では、Ｓ３１５において削除されたＳｅａｍの総本数がＳ３００において算出された削除すべきＳｅａｍの本数以下か否かが判定される。
【００６８】
そして、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数以下の場合（Ｓ３２０：Ｙｅｓ）、処理がＳ３０５へ移行され処理が繰り返される。また、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数よりも多い場合（Ｓ３２０：Ｎｏ）、処理が終了される。本低画像エネルギ箇所削除処理がなされた画像の例を図６（ｂ）に示す。
【００６９】
（車載用画像表示装置１の特徴）
以上の車載用画像表示装置１では、画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い箇所を画像の一端から対向する他端へ順次通過するＳｅａｍが算出され、で算出した画像中のＳｅａｍ部分が削除されることにより画像が縮小される。
【００７０】
また、画像を縮小する際、縮小後の画像が縮小前の画像と同じ大きさになるように縮小後の画像を拡大表示している。したがって、強調された部分は縮小される前に比べ大きく表示されることになり、かつ、画像全体の大きさは変化しないものとなる。したがって、運転者にとって、強調部分がより見やすい画像となる。
【００７１】
さらに、Ｓｅａｍの１本分の画像エネルギの値を算出し、算出した画像エネルギの値が所定の値よりも高い場合は、それ以上ラインを削除しないようにしているので、例えば、画面全体の重要度が高く、削除可能な箇所が少ないような画像においては、無理な削除でひずみを異常に発生させることを抑制できるので、有効である。
【００７２】
さらに、削除したすべてのＳｅａｍのエネルギの合計値が所定の値となったときに、それ以上Ｓｅａｍを削除しないようにしているので、同様に画像全体の重要度が高い場合に有効である。
【００７３】
また、自車両が走行状態である場合であって、自車両が走行車線を変更することを検出した場合に、Ｓｅａｍの削除の抑制を行うようにしているので、自車両が車線変更をするときに、強調された物体があるひずみの少ない縮小画像を得ることができる。
【００７４】
つまり、車両走行中、特に他車両などとの衝突の危険性ある、車線変更の場合にひずみのない縮小画像が表示されるので、運転時の安全性を向上させることができる。
また、側後方カメラ１０を自車両の後方画像を取得可能に自車両に取り付け、表示装置５０を、自車両の後方確認用ミラー部分に、運転者が視認可能に取り付けてある。したがって、表示装置５０によって運転者は後方の危険性を確認することができるので、運転時の安全性を向上させることができる。
【００７５】
［第２実施形態］
次に、低画像エネルギ箇所削除処理においてＳｅａｍを別の方法で削除する第２実施形態について説明する。第２実施形態における車載用画像表示装置は第１実施形態の車載用画像表示装置１と同じ構成であり、画像処理部３０における処理も類似している。したがって、同じ構成及び同じ処理の説明者省略し、異なる処理の部分について説明する。
【００７６】
第２実施形態では、図７に示すように、Ｓ３００〜Ｓ３０５は第１実施形態と同じ処理が行われ、Ｓ３０５においてＳｅａｍが算出された後、第１実施形態におけるＳ３１０が実行されず、続くＳ３１５において、Ｓ３０５で算出されたＳｅａｍが削除される。
【００７７】
そして、続くＳ３１６では、Ｓ３１５においてＳｅａｍを削除した後の画像全体の画像エネルギの総量を算出し、それが所定の値以下であるか否が判定され、それに応じて、削除処理の終了が決定される。
【００７８】
そして、画像エネルギの合計値が所定の値以下であると判定された場合（Ｓ３１８：Ｙｅｓ）、処理が終了され、画像エネルギの合計値が所定の値より大であると判定された場合（Ｓ３１８：Ｎｏ）、処理がＳ３２０へ移行され、続くＳ３２０では、第１実施形態と同じ処理が行われる。
【００７９】
このように、削除する画像全体のエネルギの合計値が所定の値以下となったときに、それ以上ラインを削除しないようにしているので、強調したい物が既になくなったと判定できる。つまり、強調したい物がなくなった場合には、それ以上画像が縮小されなくなるので、それ以上ひずみが発生しなくなる。
【００８０】
したがって、例えば、画像全体の重要度が低く、強調したい箇所が少ないような画像においては、画像縮小によるひずみが少なくなるので有効である。
［第３実施形態］
第３実施形態では、Ｓｅａｍを削除した後の画像全体の画像エネルギの平均値を算出し、それに応じて、削除処理の終了を決定する。
【００８１】
具体的には、Ｓ３０５において画像の画像エネルギの合計の画像エネルギが算出される。そして、Ｓ３１５においてＳｅａｍが削除される。続く、Ｓ３１６では、Ｓ３０５において削除されたＳｅａｍの画像エネルギがＳ３０５において算出した合計画像エネルギから減算される。
【００８２】
続くＳ３１８では、Ｓ３１６で算出された画像エネルギを画像サイズで割った平均値が、所定の値以上であるか否かが判定される。そして、平均画像エネルギが所定の値以上であると判定された場合（Ｓ３１８：Ｙｅｓ）、処理が終了され、画像エネルギが所定の値未満と判定された場合（Ｓ３１８：Ｎｏ）、処理がＳ３２０へ移行される。
【００８３】
このように、Ｓｅａｍを削除した後の画像全体の画像エネルギの平均値を算出し、算出した画像全体の画像エネルギの平均値が所定の値以上になった場合、それ以降Ｓｅａｍを削除しないようにしているので、複雑すぎる画像に対してそれ以上画像が縮小されなくなり、異常なひずみが発生しなくなる。
【００８４】
［第４実施形態］
上記実施形態では、自車両の走行中の車線変更を検出して、走行中の車線変更が行われる際に画像縮小を行っていたが、自車両が停止中であっても画像縮小を行う場合について説明する。第４実施形態では、車載用画像表示装置及び画像処理部３０で実行される画像処理は第１実施形態のそれと類似しているので、同じ構成や処理については説明を省略し、後となる部分について説明を行う。
【００８５】
第４実施形態では、図８に示すように、第１実施形態の自車両のドア部にドアが開状態であるか否かを検出するマイクロスイッチなどのドア開センサ７０を装着する。
そして、図２に示す画像処理におけるＳ１０５において、自車両の速度及び操舵角が取得される代わりに、ドア開センサ７０の状態が取得され、続くＳ１１０において車線変更の有無の判定の代わりに、ドアが開状態であるか否かが判定される。
【００８６】
そして、ドアが開状態であると判定された場合（Ｓ１１０：Ｙｅｓ）、処理がＳ１１５へ移行され、ドアが閉状態であると判定された場合（Ｓ１１０：Ｎｏ）、処理がＳ１００へ移行されて、画像処理が繰り返される。
【００８７】
このように自車両のドアが開くことを検出した場合にＳｅａｍの削除を行うようにすると、自車両のドアを開けるときに、重要物が強調された画像を得ることができる。
つまり、車両が停車している場合にドアを開く際には、歩行者や自転車あるいは追越しをする車両などに開いたドアが衝突する危険性があるが、その際それらの重要物が強調された画像を得ることができると、運転者は歩行者や自転車あるいは追越しをする車両などを認識しやすい。したがって、それらとの衝突の危険を避けることができる。
【００８８】
［第５実施形態］
第５実施形態では、図８に示すように、自車両にミリ波レーダ２０を装着し、側後方カメラ１０と同じ領域の物体（障害物）の位置を検出できるようにする。つまり、図２に示す画像処理におけるＳ１０５において、自車両の速度及び操舵角が取得される代わりに、ミリ波レーダ２０によって障害物の有無が取得され、続くＳ１１０において車線変更の有無の判定の代わりに、障害物があるか否かが判定される。
【００８９】
そして、障害物があると判定された場合（Ｓ１１０：Ｙｅｓ）、処理がＳ１１５へ移行され、障害物がないと判定された場合（Ｓ１１０：Ｎｏ）、処理がＳ１００へ移行されて、画像処理が繰り返される。
【００９０】
このように障害物を検出した場合にＳｅａｍの削除を行うようにすると、障害物が強調された画像を得ることができる。つまり、歩行者や自転車あるいは他車両などの障害物が検出された場合、それらの障害物が強調された画像を得ることができると、運転者は歩行者や自転車あるいは他車両などを認識しやすい。したがって、それらの障害物との衝突の危険を避けることができる。
【００９１】
［第６実施形態］
第６実施形態では、側後方カメラ１０で取得した画像から車線を検出するようにする。つまり、図２に示す画像処理におけるＳ１０５において、自車両の速度及び操舵角が取得される代わりに、Ｓ１００において取得された側後方カメラ１０の画像から画像処理によって、自車両周辺の車両が抽出される。
【００９２】
続くＳ１１０において車線変更の有無の判定の代わりに、車線があるか否かが判定される。
そして、車線があると判定された場合（Ｓ１１０：Ｙｅｓ）、処理がＳ１１５へ移行され、車線がないと判定された場合（Ｓ１１０：Ｎｏ）、処理がＳ１００へ移行されて、画像処理が繰り返される。このように車線が検出された場合にＳｅａｍの削除を行うようにすると、車線がひずまない画像を得ることができる。
【００９３】
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
【００９４】
（１）上記実施形態では、表示装置５０は、自車両のバックミラー部分に、運転者が表示画面を視認可能となるように取り付けられているが、自車両の車室内の前部に装着されているカーナビゲーション装置の表示画面を用い、車両内に対して表示を行うようにしてもよい。
【００９５】
（２）上記実施形態では、画像エネルギ画像を生成するためにエッジ画像を生成していた（図４のＳ３０５参照）が、エッジの代わりに、縮小対象画像の特定にあわせて、他の関数を用いてもよい。具体的には、エッジ２乗関数、顕著性関数、ハリスコーナ関数、視線認識結果関数、顔認識結果関数、エントロピ関数、セグメンテーション関数あるいはＨｏＧ（Histogram of Gradientsの略）関数などの関数を用いてもよい。
【００９６】
（３）また側後方カメラ１０は、可視光カメラの代わりに赤外線カメラであってもよい。赤外線カメラであれば、夜間など自車両の周囲が暗いときに人や自転車などを縮小画像中で強調表示する場合に有効である。
【００９７】
（４）上記実施形態では、画像の左右幅を縮小するよう、Ｓｅａｍ方向は上下を想定したが、上下幅を縮小する場合は、Ｓｅａｍ方向を左右に置き換えて適用できる。
（５）第１〜第３実施形態では、自車速度及び操舵角度に基づいて車線変更することを検出していたが、ウィンカスイッチを用いてもよい。つまり、Ｓ１０５（図２参照）においてウィンカスイッチの操作方向を取得し、Ｓ１１０において、ウィンカスイッチが時計方向に操作された場合、右に車線変更し、反時計方向に操作された場合には、左に車線変更すると判断するのである。
【図面の簡単な説明】
【００９８】
【図１】車載用画像表示装置１の概略の構成を示すブロック図である。
【図２】画像処理のメインルーチンの処理の流れを示すフローチャートである。
【図３】サブルーチンである画像エネルギ画像生成処理のフローチャートである。
【図４】サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。
【図５】画像エネルギ画像生成処理中で生成されるエッジ画像の例を示す図である。
【図６】低画像エネルギ箇所削除処理がなされた画像の例を示す図である。
【図７】第２実施形態における低画像エネルギ箇所削除処理のフローチャートである。
【図８】第４実施形態における車載用画像表示装置の概略の構成を示すブロック図である。
【符号の説明】
【００９９】
１…車載用画像表示装置、５…車載用画像処理装置、１０…側後方カメラ、２０…ミリ波レーダ、３０…画像処理部、４０…車速センサ、５０…表示装置、６０…操舵角検出器、７０…ドア開センサ。
【図１】
2009146134.tif 000003
【図２】
2009146134.tif 000004
【図３】
2009146134.tif 000005
【図４】
2009146134.tif 000006
【図７】
2009146134.tif 000007
【図８】
2009146134.tif 000008
【図５】
2009146134.tif 000009
【図６】
2009146134.tif 000010