(57)【特許請求の範囲】
【請求項１】
自車両周辺の画像を取得するための画像取得手段と、
前記画像処理取得手段で取得した前記画像中の領域の重要度を設定する領域重要度設定手段と、
前記画像取得手段で取得した前記画像中のエネルギを算出する画像エネルギ算出手段と、
前記画像エネルギ算出手段で算出した前記画像中のエネルギが所定の値より低い領域を抽出して削除することにより前記画像を縮小する画像縮小手段と、
を備え、
前記画像エネルギ算出手段は、
前記領域重要度設定手段により設定した前記画像中の重要度が所定の値以上の領域に対して、所定のエネルギパターンを設定することにより、前記画像中の重要度が所定の値以上の領域が削除されないようにすることを特徴とする車載用画像処理装置。
【請求項２】
請求項１に記載の車載用画像処理装置において、
前記画像エネルギ算出手段は、
前記画像中の重要度が所定の値以上の領域に対して設定する所定のエネルギパターンとして、格子状に所定のエネルギが分布しているエネルギパターンを用いることを特徴とする車載用画像処理装置。
【請求項３】
請求項２に記載の車載用画像処理装置において、
前記画像エネルギ算出手段は、
前記格子状のエネルギパターンとして、前記自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広くなり、かつ、格子のエネルギが低く設定されることを特徴とする車載用画像処理装置。
【請求項４】
請求項１〜請求項３の何れかに記載の車載用画像処理装置において、
前記領域重要度設定手段は、
前記画像中の車両、人、自車両が存在する車線内の領域、自車両が存在する車線に隣接する車線内の領域、路側構造物又は水平線よりも上方の領域の少なくとも何れか１つの重要度を所定以上の値に設定することを特徴とする車載用画像処理装置。
【請求項５】
請求項１〜請求項４の何れかに記載の車載用画像処理装置において、
前記領域重要度設定手段は、
前記画像中の前記自車両の進行方向の軸から離れるに従って物体の重要度を低下させることを特徴とする車載用画像処理装置。
【請求項６】
請求項１〜請求項５の何れかの車載用画像処理装置において、
前記画像エネルギ算出手段は、
所定のエネルギパターンをベースパターンとしてもち、前記ベースパターンに、前記領域重要度設定手段により設定した前記画像中の重要度が所定の値以上の領域に対して、さらにエネルギを加減算することで前記画像中のエネルギを算出し、
前記ベースパターンは、
格子状に所定のエネルギが分布しているエネルギパターンであることを特徴とする車載用画像処理装置。
【請求項７】
請求項６に記載の車載用画像処理装置において、
前記画像エネルギ算出手段は、
前記格子状にエネルギーが分布しているエネルギパターンとして、前記自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広く設定されることを特徴とする車載用画像処理装置。
【請求項８】
車載用の表示手段と、
請求項１〜請求項７の何れかに記載の車載用画像処理装置と、
前記車載用画像処理装置で縮小した画像を前記表示手段で表示させる表示制御手段と、
を備えたことを特徴とする車載用画像表示装置。
【請求項９】
請求項８に記載の車載用画像表示装置において、
前記表示手段は、
前記自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられていることを特徴とする車載用画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の重要部分を見やすさを保った状態で画像を縮小して表示するための車載用画像処理装置及び車載用画像表示装置に関する。
【背景技術】
【０００２】
従来、車載カメラを用い、車両の側後方の画像を取得し、オプティカルフローなどで検出した相対速度を持つ物を強調表示して、運転者がより理解しやすい画像を生成することで車両運転時の安全向上を狙っている技術がある（例えば、特許文献１参照）。
【０００３】
一方で、画像の重要度を解析して重要度の高い箇所を切り貼りすることで重要箇所を残したまま画像を縮小する技術もある（例えば、特許文献２参照）。さらに、これを改良し、重要度を示す画像エネルギ画像をまず算出し、それに対してＳｅａｍと呼ばれる重要度が低い箇所を通って画像エネルギ画像を縦断するラインを算出し、その箇所を削除していく方法が提案されている（例えば、非特許文献１参照）。
【０００４】
これらの縮小画像生成技術により、小さなモニタに効率よく周辺状況を表示することができる。これを車載カメラに適用した場合、例えば側後方カメラにおいては、追越し車両がより拡大強調されることになり、一目で車線変更の可否が分かりやすい。
【特許文献１】特開２００３−２７４３９３
【特許文献２】ＵＳ２００７／００２５６３７
【非特許文献１】”Seam Carving for Content-Aware Image Resizing”, S.Avidan (Mitsubishi Electric Research Labs), SIGGRAPH’07
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１に記載されている手法では、画像エネルギ画像の算出方法によっては、重要物体が十分に強調されなかったり、縮小画像がひずんだりするという問題がある。例えば、一般的な手法として、画像エネルギ画像にエッジ画像を用いた場合、路側構造物は強いエッジを持つ場合が多く、車線変更の可否を判定するには余り重要でないにもかかわらず重要度が高くなる。
【０００６】
したがって、真に重要な周辺車両の重要度が相対的に低くなり、十分車両が強調されない。また、車両の凹凸が少ない、いわゆるのっぺりした形状の車両も同様に画像エネルギが相対的に低くなり、車両の形状がひずむ。
【０００７】
さらに、車両が非常に多い状況や路面に模様がある状況などの画像全体が複雑すぎる場合も、削除にふさわしい箇所がないにも拘わらず削除処理がされてしまうので、車両がひずんでしまう。
【０００８】
本発明は、こうした問題に鑑みなされたもので、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
かかる問題を解決するためになされた請求項１に記載の車載用画像処理装置（５：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、画像取得手段（１０）、領域重要度設定手段（３０）、画像エネルギ算出手段（３０）及び画像縮小手段（３０）を備えている。
【００１０】
画像取得手段（１０）は、自車両周辺の画像を取得するためのものであり、領域重要度設定手段（３０）は、画像処理取得手段（１０）で取得した画像中の領域の重要度を設定する。また、画像エネルギ算出手段（３０）は、画像取得手段（１０）で取得した画像中のエネルギを算出する。
【００１１】
画像縮小手段（３０）は、画像エネルギ算出手段（３０）で算出した画像中のエネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。さらに、画像エネルギ算出手段（３０）は、領域重要度設定手段（３０）により設定した画像中の重要度が所定の値以上の領域に対して、所定のエネルギパターンを設定することにより、前記画像中の重要度が所定の値以上の領域が削除されないようにする。
【００１２】
以上のような車載用画像処理装置（５）は、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができるので、運転者に見やすい縮小画像表示が可能な画像処理装置となる。以下説明する。
【００１３】
まず、「画像中の画像エネルギ」について説明する。これは、画像中の重要な箇所がどこかを示す指標で、画像中の各位置ごとに算出され、画像全体のエネルギ分布を作成した物をエネルギ画像と呼ぶ。
【００１４】
この算出方法、すなわちエネルギの定義の方法はさまざまな方法が考えられ、例えばエッジ画像、すなわち線の粗密が色の変化が大きい箇所と考えることが出来る。例えば、晴天の空など重要でないと思われる箇所では、線の粗密や画面の色の変化がほとんどできない。一方、都市の道路を撮影した画像で重要と思われる箇所は、道路面に車線などのペイントが施されていたり、道路上には車両が多数存在していたり、道路脇に建物が立ち並んでいたり、また、道路脇や建物には広告用の看板などが立ち並んでいたりするので、線の粗密や色の変化が大きい。
【００１５】
このように、エッジ抽出処理を画像中の画像エネルギとした場合、エッジが強い部分が「画像中の画像エネルギが高い」となる一方で、模様が無い重要なもの、例えばのっぺりとしたデザインの車両は重要でないとされてしまうことになる。このため、車両が削除されたり、車両内部ののっぺりした箇所が削除され車両の見た目がひずんだりする。そのため、この画像エネルギの算出方法は非常に重要である。
【００１６】
このように定義した「画像中のエネルギ」によれば、請求項１に記載の車載用画像処理装置（５）では、画像エネルギ算出手段（３０）で画像中のエネルギが算出され、算出されたエネルギが所定の値より低い部分が削除されて画像が縮小される。
【００１７】
その際、領域重要度設定手段（３０）により設定した画像中の重要度が所定の値以上の領域に対して、所定のエネルギパターンを設定する。したがって、画像中で重要度が所定以上の領域、例えば、他車両や自転車あるいは人などの領域については、その部分のエネルギを高くして画像中から削除されないようにすれば、その部分がひずまない画像としたり、その部分を強調した画像としたりすることができる。
【００１８】
ここで、画像中で重要度が高い領域は、他車両や自転車あるいは人のように、運転者が自車両を運転する際に危険性があると認識すべきものである。したがって、画像縮小の際、それらが、ひずまない状態で画像中に残っていたり、強調されていたりすれば、運転者は、それらを画像中から容易に認識することができるので、運転時の安全性を向上することができる。
【００１９】
ところで、画像中の重要度が所定の値以上の領域に対して設定する所定のエネルギパターンとしては、種々のものが考えられるが、請求項２に記載のように、格子状に所定のエネルギが分布しているエネルギパターンを用いるようにするとよい。
【００２０】
このようにすると、重要度の高い箇所は強調され、かつ、重要度の低い箇所にはひずみが発生しにくい縮小画像を得ることができる。以下説明する。
請求項１に記載の車載用画像処理装置（５）では、画像中のライン部分を削除することによって画像を縮小するため、縮小後の画像にはひずみが生じる。このひずみは、Seamが斜めに走って一箇所に集中することで生じる。Seamが集中しないためには、Seamを斜めに走らせないようにすればよい。
【００２１】
そのためには、格子状に所定のエネルギが分布しているエネルギパターンを設定する、例えば、加算する格子状に分布したエネルギパターンの格子の部分のエネルギの大きさが、強調したい重要物のエネルギよりも低く、かつ非重要物のエネルギよりも高い値であれば、重要物の強調のためにラインが斜めに走るのは許容され、それ以外の非重要物の領域ではラインが斜めに走るのが抑制される。なお、非特許文献１に記載のように、以下、このラインをSeamと呼ぶ。
【００２２】
より具体的には、１ピクセルごとに周囲の領域よりも高いエネルギを持つ縦長格子模様状のエネルギパターンを設定してやればよいのである。
このように、重要物の領域ではSeamが斜めに走るのは許容され、それ以外の非重要物の領域ではSeamが斜めに走るのが抑制されるので、そのSeam部分を削除することにより、重要度の高い箇所は強調され、かつ低い箇所は不必要なひずみが発生しなくなる。
【００２３】
また、格子状のエネルギパターンにおいて、自車両の進行方向に対して単に側方のエネルギを低く、後方遠方を高くしたグラデーションのエネルギパターンを設定するだけでは、一方的に自車両側方の画像が削除されて、まったく側方が映っていない画像になるおそれがある。
【００２４】
そこで、請求項３に記載のように、格子状のエネルギパターンとして、自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広くなり、かつ、格子のエネルギが低く設定されていると、自車両側方の領域がすべて低エネルギにならず、所々に画像を間引いた部分が入るような画像を作ることができる。これにより、至近の隣車線領域である広角域ほど間引かれる量が多く、遠方の隣車線領域ほど間引かれる量が少ない画像となり、遠くから近くまでの領域が効率よく見られることとなる。
【００２５】
ところで、画像における重要度が高いものとしては、自車両の走行中に運転者が安全運転をするために認識しなければならないもの、つまり、危険を引き起こすような、車両、人、路側構造物、安全な運転操作を行うための自車両が存在する車線、その車線に隣接する車線、あるいは水平線などがある。
【００２６】
そこで、領域重要度設定手段（３０）は、請求項４に記載のように、画像中の車両、人、自車両が存在する車線内の領域、自車両が存在する車線に隣接する車線内の領域、路側構造物又は水平線よりも上方の領域の少なくとも何れか１つの重要度を所定以上の値に設定するとよい。
【００２７】
このようにすると、前述した、運転時に危険を引き起こすような物体や安全運手に必要となる物体を、重要度が高いものとして画像縮小時に縮小されることなく、画像中で強調して表示されるので、運転者は重要度が高いものを視認しやすい。したがって、運転者は安全運転を行うことができる。
【００２８】
また、同じような物体であっても、自車両から側方に離れているほど自車両に対する危険度は低下する。そこで、請求項５に記載のように、領域重要度設定手段（３０）は、画像中の自車両の進行方向の軸から離れるに従って物体の重要度を低下させるようにするとよい。
【００２９】
このようにすると、自車両から側方に離れたところにある物体ほど重要度が低下するので、自車両の側方に近い物体は強調され、離れた物体は縮小される。つまり、危険度の高い物体がより強調されて表示されるので、運転者は安全運転を行うことができる。
【００３０】
ところで、画像中に車両などの重要物がない場合、元画像として所定の値のエネルギパターンを重畳しておくと、重要物がない場合には、そのベースパターンが優先され、ひずみのない画となる。
【００３１】
そこで、請求項６に記載のように、画像エネルギ算出手段（３０）は、所定のエネルギパターンをベースパターンとしてもち、ベースパターンに、領域重要度設定手段（３０）により設定した画像中の重要度が所定の値以上の領域に対して、さらにエネルギを加減算することで画像中のエネルギを算出し、ベースパターンは、格子状に所定のエネルギが分布しているエネルギパターンであるようにすると、車両などの重要物がない場合はベースパターンが優先され、ひずみのない画となる。
【００３２】
さらに請求項７に記載のように、画像エネルギ算出手段（３０）は、格子状にエネルギーが分布しているエネルギパターンとして、自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広く設定されるようにするとよい。
【００３３】
このように、ベースパターンの格子間隔が自車両の進行方向の軸に対し遠ざかるに従って広くなると、至近の隣車線領域である広角域ほど間引かれる量が多く、遠方の隣車線領域ほど間引かれる量が少ない画像がベースとなり、遠くから近くまでの領域が効率よく見ることができることとなる。
【００３４】
請求項８に記載の画像表示装置（１）は、車載用の表示手段（５０）と、請求項１〜請求項５の何れかに記載の車載用画像処理装置（５）と、車載用画像処理装置（５）で縮小した画像を表示手段（５０）で表示する表示制御手段（３０）を備えたことを特徴とする。
【００３５】
このような車載用画像表示装置（１）によれば、請求項１〜請求項５の何れかに記載の車載用画像処理装置の特徴を有する画像を表示することができる車載用画像表示装置（１）とすることができる。
【００３６】
ところで、表示手段（５０）を自車両に装着する際、装着する位置や表示の方向には種々の方法が考えられる。例えば、車室内の前部に装着されているカーナビゲーション装置の表示画面を表示手段（５０）として用い、車両内に対して表示を行うようにしてもよいが、請求項９に記載のように、自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられるようにしてもよい。
【００３７】
このようにすると、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、強調表示された物体を視認することができるので、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００３９】
図１は、本発明が適用された車載用画像表示装置１の概略の構成を示すブロック図である。車載用画像表示装置１は、図１に示すように、車載用画像処理装置５及び表示装置５０を備えている。
【００４０】
車載用画像処理装置５は、側後方カメラ１０、ミリ波レーダ２０、車速センサ４０及び画像処理部３０を備えている。
側後方カメラ１０は、図示しない自車両周辺の画像を取得するための可視光画像を取得可能な小型広角ＣＣＤカメラであり、車両の側後方の画像を取得できるように自車両のバックミラーなどに取り付けられている。
【００４１】
ミリ波レーダ２０は、画像中の物体（本実施形態では他車両）の相対速度を検出するためのものであり、ミリ波電波を自車両の側後方に送信できるように自車両に取り付けられている。ミリ波レーダ２０は、ミリ波電波を送信し、送信した電波の反射波を受信し、受信した反射波の受信強度、受信方位及び反射波のドップラシフトから車両側後方の他車両のまでの距離と方位及び相対速度を検出する。
【００４２】
車速センサ４０は、自車両の速度を検出するものであり、車軸の回転数から速度を検出するものであってもよいし、ＧＰＳ車載機で自車両の現在位置を検出し、その変化量から速度を検出するものであってもよい。
【００４３】
画像処理部３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏなどから構成されており、以下の（ア）〜（オ）の処理を実行する。
（ア）側後方カメラ１０で取得した画像中の領域の重要度を所定以上の値に設定する。重要度は、以下の（■）〜（■）の少なくとも何れかとする。
【００４４】
（■）画像中の車両、人、自車両が存在する車線内の領域
（■）自車両が存在する車線に隣接する車線内の領域
（■）路側構造物又は水平線よりも上方の領域
（イ）画像中の自車両の進行方向の軸から離れるに従って物体の重要度を低下させる。
【００４５】
（ウ）側後方カメラ１０で取得した画像中の画像エネルギを算出する。
（エ）（ア）において設定した画像中の重要度が所定の値以上の領域に対して、格子状に所定のエネルギが分布しているエネルギパターンを設定する。このとき、自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広く設定されたものを用いてエネルギパターンを設定する。
【００４６】
（オ）（ア）〜（エ）の処理で得られた画像エネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。
（カ）（オ）の処理で縮小した画像を表示装置５０で表示させる。
【００４７】
表示装置５０は、車載用画像処理装置５で縮小した画像を表示するものであり、液晶ディスプレイや有機ＥＬディスプレイを有している。表示装置５０は、自車両のバックミラー部分のミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。
【００４８】
（画像処理部３０における処理）
次に図２〜図５に基づき画像処理部３０で実行される処理について説明する。図２は、画像処理部３０で実行される画像処理のメインルーチンの処理の流れを示すフローチャートであり、図３は、サブルーチンである重要度設定処理のフローチャートである。また、図４は、サブルーチンである画像エネルギ画像生成処理のフローチャートであり、図５は、サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。
【００４９】
画像処理では、図２に示すように、Ｓ１００において側後方カメラ１０から自車両の側後方の画像が取得され、続くＳ１０５では、重要度設定処理がなされ、Ｓ１００において取得された画像中の領域の重要度が設定される。重要度設定処理については後述する。
【００５０】
続くＳ１１０では、Ｓ１００において取得された画像の画像エネルギ画像が生成される。画像エネルギ画像生成処理の詳細については後述する。
続くＳ１１５では、Ｓ１１０において生成された画像エネルギ画像に対して、低画像エネルギ箇所が削除され、縮小画像が得られる。低画像エネルギ箇所削除処理については後述する。
【００５１】
続くＳ１２０では、Ｓ１１５において得られた縮小画像が表示装置５０に表示され、処理がＳ１００に戻されて、画像処理が繰り返される。
（重要度設定処理）
次に、図３に基づき、重要度設定処理について説明する。重要度設定処理では、Ｓ２００において、Ｓ１００（図２参照）で取得された画像中から重要領域が抽出される。
【００５２】
つまり、画像中から公知の画像処理によって、車両、人、自車両が存在する車線内の領域、自車両が存在する車線領域に隣接する車線内の領域、路側構造物よりも上方の領域及び水平線よりも上方の領域が抽出される。
【００５３】
続くＳ２０５では、Ｓ２００において抽出された領域に、車両、人、自車両が存在する車線内領域があるか否かが判定され、当該車線内領域があると判定された場合（Ｓ２０５：Ｙｅｓ）、処理がＳ２２５へ移行され、当該領域がないと判定された場合（Ｓ２０５：Ｎｏ）、処理がＳ２１０へ移行される。
【００５４】
Ｓ２１０では、Ｓ２００において抽出された領域に、自車両が存在する車線内領域に隣接する車線内領域があるか否かが判定され、当該車線内領域があると判定された場合（Ｓ２１０：Ｙｅｓ）、処理がＳ２２５へ移行され、当該領域がないと判定された場合（Ｓ２１０：Ｎｏ）、処理がＳ２１５へ移行される。
【００５５】
Ｓ２１５では、Ｓ２００において抽出された領域に、路側構造物よりも上方の領域があるか否かが判定され、当該領域があると判定された場合（Ｓ２１５：Ｙｅｓ）、処理がＳ２２５へ移行され、当該領域がないと判定された場合（Ｓ２１５：Ｎｏ）、処理がＳ２２０へ移行される。
【００５６】
Ｓ２２０では、水平線よりも上方の領域があるか否かが判定され、当該領域があると判定された場合（Ｓ２２０：Ｙｅｓ）、処理がＳ２２５へ移行され、当該領域がないと判定された場合（Ｓ２２０：Ｎｏ）、処理が終了される。
【００５７】
Ｓ２２５では、重要度が設定される。つまり、各領域の重要度が以下の（ａ）〜（ｄ）ように設定される。
（ａ）車両、人、自車両が存在する車線内の領域の場合、重要度は、×１０
（ｂ）自車両が存在する車線に隣接する車線内の領域の場合、重要度は、×６
（ｃ）路側構造物よりも上方の領域の場合、重要度は、×４
（ｄ）水平線よりも上方の領域の場合重要度は、×２
ここで、「×１０」とは、Ｓ１００において得られるその領域のエネルギを１０倍という意味である。
【００５８】
続くＳ２３０では、Ｓ２２５において各領域に設定した重要度を自車両の進行方向からの距離に応じ補正する。つまり、自車両の進行方向の中心軸から各領域までの距離に従って当該領域の重要度を下げるのである。
【００５９】
具体的には、Ｓ１００（図２参照）において取得した画像において、側後方カメラ１０の自車両進行方向の軸と一致する部分から、Ｓ２２５において重要度を設定した領域までの距離が画面中で所定以上離れている場合には、Ｓ２２５において設定した重要度に０．５を乗じた値を重要度とする。重要度が補正された後、処理が終了される
（画像エネルギ画像生成処理）
次に、図４に基づき、画像エネルギ画像生成処理について説明する。画像エネルギ画像生成処理では、Ｓ３００においてベース画像エネルギパターン画像が生成される。例えば、格子状に設定されたエネルギパターンをベース画像とする。このとき、自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広くなるように格子のエネルギ分布が設定された格子パターンとする。
【００６０】
Ｓ３０５では、Ｓ３００において生成されたベース画像エネルギパターン画像に対しエッジ画像が作成される。つまり、画像中の角や縁の部分が抽出され画像（エッジ画像）が生成される。原画像の例を図６（ａ）及びエッジ画像の例を図６（ｂ）に示す。
【００６１】
Ｓ３１０では、Ｓ３０５において生成されたエッジ画像がＳ３００において生成されたベース画像エネルギパターン画像に加算される。つまり、ベース画像エネルギパターン画像にエッジ画像が重畳される。
【００６２】
Ｓ３１５では、Ｓ１０５（図２参照）で設定された重要度に応じてエネルギパターンが生成される。つまり、Ｓ１０５で設定された重要度が所定の値より高い領域に対し、その重要度を乗じたエネルギが格子状に分布しているエネルギパターンが生成される。このとき、自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広くなるように格子のエネルギ分布が補正される。
【００６３】
Ｓ３２０では、Ｓ３１５において生成されたエネルギパターンが３１０で得られた画像エネルギ画像へ加算され、処理が終了される。
（低画像エネルギ箇所削除処理）
次に、図５に基づき、低画像エネルギ箇所削除処理について説明する。低画像エネルギ箇所削除処理では、Ｓ４００において、Ｓ１１０（図２参照）の画像エネルギ画像生成処理で得られた画像エネルギ画像に対して、削減すべきライン（以下、このラインを「Ｓｅａｍ」と呼ぶ。）の本数が算出される。
【００６４】
具体的には、Ｓ１００（図２参照）で取得された画像の大きさと縮小画像との縦横の長さの比率及びＳｅａｍ１本を画面から削除した場合に画面から削除されるＳｅａｍの幅から削除すべきＳｅａｍの本数が算出される。
【００６５】
続くＳ４０５では、Ｓｅａｍが算出される。Ｓｅａｍの算出は、Ｓ３２０（図４参照）において得られた画像エネルギ画像の上辺の１点のピクセルに対し、その周囲のピクセルの画像エネルギ値が計算され、その画像エネルギ値が所定以下のピクセルを下辺まで順次結んでいくという方法で行われる。また、Ｓｅａｍを算出するとともに、Ｓｅａｍ１本ごとの画像エネルギ値が算出される。Ｓｅａｍの例を図７（ａ）に示す。図７（ａ）中で、画像の上辺から下辺へ描かれている多数の線がＳｅａｍである。
【００６６】
続く、Ｓ４１０では、Ｓ４０５で算出されたＳｅａｍの画像エネルギ値から、削除されたＳｅａｍの画像エネルギの合計値が所定の値以上であるか否かが判定される。そして、削除したＳｅａｍの画像エネルギの合計値が所定の値以上の場合（Ｓ４１０：Ｙｅｓ）、処理が終了される。また、削除したＳｅａｍの画像エネルギの合計値が所定の値よりも小さい場合（Ｓ４１０：Ｎｏ）、処理がＳ４１５へ移行される。
【００６７】
Ｓ４１５では、Ｓ４０５において算出されたＳｅａｍ部分が画像エネルギ画像から削除され、続くＳ４２０では、Ｓ４１５において削除されたＳｅａｍの総本数がＳ４００において算出された削除すべきＳｅａｍの本数以下か否かが判定される。
【００６８】
そして、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数以下の場合（Ｓ４２０：Ｙｅｓ）、処理がＳ４０５へ移行され処理が繰り返される。また、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数よりも多い場合（Ｓ４２０：Ｎｏ）、処理が終了される。本低画像エネルギ箇所削除処理がなされた画像の例を図７（ｂ）に示す。
【００６９】
（車載用画像表示装置１の特徴）
以上のような車載用画像表示装置１では、画像中のエネルギが算出され、算出されたエネルギが所定の値より低い部分が削除されて画像が縮小される。その際、画像中の重要度が所定の値以上の領域に対して、所定のエネルギパターンが設定される。
【００７０】
したがって、画像中で重要度が所定以上の領域、例えば、他車両や自転車あるいは人などの領域については、エネルギパターンが設定される。その際、エネルギパターンの部分は、他の領域よりも高いエネルギに設定されているので、画像中から削除されず、その部分がひずまない画像となり、さらに、その部分を強調した画像とすることができる。
【００７１】
ここで、画像中で重要度が高い領域は、他車両や自転車あるいは人のように、運転者が自車両を運転する際に危険性があると認識すべきものである。したがって、画像縮小の際、それらが削除されないで画像中に残っていたり、強調されたりすれば、運転者はそれらを画像中から容易に認識することができるので運転時の安全性を向上することができるのである。
【００７２】
また、画像中の重要度が所定の値以上の領域に対して設定する所定のエネルギパターンとして格子状に所定のエネルギが分布しているエネルギパターンを用いている。したがって、重要度の高い箇所は強調され、かつ、重要度の低い箇所にはひずみが発生しにくい縮小画像を得ることができる。
【００７３】
なぜなら、画像中のライン部分を削除することによって画像を縮小するため、縮小後の画像にはひずみが生じる。このひずみは、Seamが斜めに走って一箇所に集中することで生じる。したがって、Seamが集中しないためには、Seamを斜めに走らせないようにすればよい。
【００７４】
そのためには、前述のように格子状に所定のエネルギが分布しているエネルギパターンを設定する。そうすると、格子状に分布したエネルギパターンの格子の部分のエネルギの大きさが、強調したい重要物のエネルギよりも低く、かつ非重要物のエネルギよりも高い値であれば、重要物の強調のためにSeamが斜めに走るのは許容され、それ以外の非重要物の領域ではSeamが斜めに走るのが抑制される。したがって、そのSeam部分を削除することにより、重要度の高い箇所は強調され、かつ低い箇所は不必要なひずみを発生しなくなるからである。
【００７５】
また、格子状のエネルギパターンとして自車両の進行方向の軸に対し遠ざかるに従って格子の間隔が広く設定されている。したがって、自車両側方の領域がすべて低エネルギにならず、所々に画像を間引いた部分が入るような画像を作ることができる。
【００７６】
さらに、画像中の車両、人、自車両が存在する車線内の領域、自車両が存在する車線に隣接する車線内の領域、路側構造物又は水平線よりも上方の領域の少なくとも何れか１つの重要度を所定以上の値に設定している。したがって、運転時に危険を引き起こすような物体や安全運手に必要となる物体を重要度が高いものとして画像縮小時に縮小されることなく、画像中で強調して表示されるので、運転者は重要度が高いものを視認しやすい。したがって、運転者は安全運転を行うことができる。
【００７７】
また、画像中の自車両の進行方向の軸から離れるに従って物体の重要度を低下させている。自車両から側方に離れたところにある物体ほど重要度が低下するので、自車両の側方に近い物体は強調され離れた物体は縮小される。つまり、危険度の高い物体がより強調されて表示されるので、運転者は安全運転を行うことができる。
【００７８】
また、表示装置５０が自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられているので、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、強調表示された物体を視認することができる。したがって、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。
【００７９】
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
【００８０】
（１）上記実施形態では、自車両の進行方向から所定距離以上に離れている重要度の高い領域は、重要度を５０％としているが、自車両の進行方向からの距離によって重要度を段階的に変えてもよい。
【００８１】
（２）上記実施形態では、表示装置５０は、自車両のバックミラー部分に、運転者が表示画面を視認可能となるように取り付けられているが、自車両の車室内の前部に装着されているカーナビゲーション装置の表示画面を用い、車両内に対して表示を行うようにしてもよい。
【００８２】
（３）上記実施形態では、画像エネルギ画像を生成するためにエッジ画像を生成していた（図４のＳ３０５参照）が、エッジの代わりに、縮小対象画像の特定にあわせて、他の関数を用いてもよい。具体的には、エッジ２乗関数、顕著性関数、ハリスコーナ関数、視線認識結果関数、顔認識結果関数、エントロピ関数、セグメンテーション関数あるいはＨｏＧ（Histogram of Gradientsの略）関数などの関数を用いてもよい。
【００８３】
（４）また側後方カメラ１０は、可視光カメラの代わりに赤外線カメラであってもよい。赤外線カメラであれば、夜間など自車両の周囲が暗いときに人や自転車などを縮小画像中で強調表示する場合に有効である。
（５）上記実施形態では、画像の左右幅を縮小するよう、Ｓｅａｍ方向は上下を想定したが、上下幅を縮小する場合は、Ｓｅａｍ方向を左右に置き換えて適用できる。
【図面の簡単な説明】
【００８４】
【図１】車載用画像表示装置１の概略の構成を示すブロック図である。
【図２】画像処理のメインルーチンの処理の流れを示すフローチャートである。
【図３】サブルーチンである重要度設定処理のフローチャートである。
【図４】サブルーチンである画像エネルギ画像生成処理のフローチャートである。
【図５】サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。
【図６】画像エネルギ画像生成処理中で生成されるエッジ画像の例を示す図である。
【図７】低画像エネルギ箇所削除処理がなされた画像の例を示す図である。
【符号の説明】
【００８５】
１…車載用画像表示装置、５…車載用画像処理装置、１０…側後方カメラ、２０…ミリ波レーダ、３０…画像処理部、４０…車速センサ、５０…表示装置。
【図１】
0004962291.tif 000002
【図２】
0004962291.tif 000003
【図３】
0004962291.tif 000004
【図４】
0004962291.tif 000005
【図５】
0004962291.tif 000006
【図６】
0004962291.tif 000007
【図７】
0004962291.tif 000008