(57)【要約】【課題】対象物であると認識した画像領域の撮影画像データを補正し視認性を高めて対象物を表示する画像表示装置を提供する。【解決手段】カメラが撮影し画像データに変換された撮影画像データを走査し撮影画像データから予め登録されている対象物を認識する。撮影画像データ中に対象物として認識できる画像領域が存在するものの、画像領域の撮影画像データから対象物であると明確に判定できない場合、抽出した画像領域の撮影画像データを補正し撮影画像データよりも視認性の高い画像を表示する補正画像データを生成する。画像領域の撮影画像データから対象物であると明確に判定できる場合、認識した画像領域の補正画像データとして対象物のテンプレート画像データを選択する。補正画像データと撮影画像データとからディスプレイに画像を表示する表示画像データを生成する。【選択図】図１
2008286943.tif 000002
【特許請求の範囲】
【請求項１】
撮影した画像を画像データに変換した撮影画像データから対象物を認識する画像認識手段と、
前記対象物が認識されると、前記対象物に対応する画像領域の前記撮影画像データを補正し前記撮影画像デ−タよりも視認性の高い画像を表示する補正画像データを生成する画像補正手段と、
前記補正画像データと前記撮影画像データとから表示部に画像を表示する表示画像データを生成する画像生成手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記画像生成手段は、前記補正画像データに基づいて前記表示部に点滅して表示する前記表示画像データを生成することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記画像補正手段は、前記対象物として認識した前記画像領域の前記撮影画像データと前記対象物のテンプレート画像データとの類似性の相関値が所定値より大きい場合、前記テンプレート画像データを前記補正画像データとすることを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
前記画像生成手段は、前記対象物として認識した前記画像領域を拡大して前記表示部に表示する拡大画像データを前記補正画像データに基づいて生成することを特徴とする請求項１から３のいずれか一項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像から対象物を認識し対象物の存在を知らせるように表示する画像表示装置に関する。
【背景技術】
【０００２】
従来、車載カメラで撮影した画像から対象物を認識し、対象物の存在を運転者に知らせるようにディスプレイに表示する画像表示装置が知られている（例えば、特許文献１参照。）。
【０００３】
特許文献１では、車載カメラで撮影した画像において対象物であると認識された画像領域を赤枠で囲んでディスプレイに表示し、対象物の存在を運転者に知らせようとしている。
【特許文献１】特開平６−２１５３００号公報（段落［００２８］、図１６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように、認識した対象物を赤枠で囲んで表示しても、ディスプレイ上の対象物の表示が暗かったりコントラストが低いために視認性が低く不鮮明であれば、赤枠で囲まれた対象物の種類、つまり赤枠で囲まれている対象物が何であるかをディスプレイを見て認識することは困難である。
【０００５】
本発明は上記問題を解決するためになされたものであり、対象物であると認識した画像領域の撮影画像データを補正し視認性を高めて対象物を表示する画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明によると、撮影画像データから対象物を認識すると、対象物に対応する画像領域の撮影画像データを補正し撮影画像データよりも視認性の高い画像を表示部に画像を表示する表示画像データを生成する。ここで視認性とは、表示部に表示された画像を見て対象物であると認識できる度合いを表している。視認性が高いほど表示画像を見て対象物であると容易に認識できる。
【０００７】
例えば、撮影画像データから対象物として認識した画像領域の画像が暗い場合には明度を増加し、対象物として認識した画像領域の画像の境界が不明瞭であれば鮮鋭度またはコントラストを高める。このように、対象物として認識した画像領域の撮影画像データの彩度、色相、明度、コントラスト、鮮鋭度等を補正して表示部に表示することにより、撮影画像データを補正せずに対象物を表示するよりも対象物の視認性が高まり、表示画像を見て対象物の存在および種類を容易に認識することができる。
【０００８】
請求項２に記載の発明によると、補正画像データに基づいて表示部に点滅して表示する表示画像データを生成するので、表示部に表示されている画像に対象物が存在することを容易に認識できる。この場合の点滅表示とは、補正画像データに基づいて表示される画像と他の画像とを交互に表示することを表している。例えば、画像領域に対応する補正前の撮影画像データに基づいて表示される画像または白く塗りつぶした画像を点滅表示する他の画像とし、補正画像データに基づいて表示される画像と交互に表示することが考えられる。
【０００９】
請求項３に記載の発明によると、対象物として認識した画像領域の撮影画像データと対象物のテンプレート画像データとの類似性の相関値が所定値より大きい場合、つまり対象物として認識した画像領域の撮影画像が対象物である信頼度が高ければ、対象物のテンプレート画像データに基づいて表示部に画像を表示する。テンプレート画像データに基づいて対象物が明瞭に表示部に表示されるので、表示された画像を見て対象物の存在および種類を容易に認識できる。
【００１０】
請求項４に記載の発明によると、対象物として認識した画像領域を拡大して表示する拡大画像データを補正画像データに基づいて生成して表示部に表示するので、表示された画像を見て対象物の存在および種類を容易に認識できる。
【００１１】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、またはそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【発明を実施するための最良の形態】
【００１２】
以下に、本発明の実施形態を図に基づいて説明する。
本発明の一実施形態による画像表示システムの概略構成を示すブロック図を図２に示す。
【００１３】
（画像表示システム１０）
画像表示システム１０は、車両に搭載されており、車両前方における所定範囲内の画像を撮影し撮影画像から対象物が存在しているか否かを判定し、対象物の存在を認識した場合は対象物として認識した画像領域の撮影画像データを補正して表示するものである。画像表示システム１０は、カラーカメラ２０と、ＥＣＵ（Electronic Control Unit）３０と、表示部５０とを備えている。
【００１４】
撮影部としてのカラーカメラ２０は、図３に示すように、車両１００において例えばルームミラー近傍に取り付けられ、車両１００の前方の所定範囲を撮影する。具体的には、カラーカメラ２０は、レンズ２２を含む光学系と撮像素子２４とにより構成され、レンズ２２を含む光学系を通して撮像素子２４に入力された光学画像情報を撮影画像データ（ＲＧＢ信号）に変換してＥＣＵ３０へ出力する。撮像素子２４は撮影対象の光学画像を画像データに変換する素子であり、ＣＣＤ（Charge Coupled Device）等が使用される。
【００１５】
尚、本実施形態の画像表示システム１０は、多色画像を撮影可能なカラーカメラ２０を使用しているが、モノクロ画像を撮影するカメラを用いてもよい。また、通常の可視光を撮影するカメラに加えて赤外線カメラを搭載し、周囲の明るさに応じて撮影カメラを切り替えて使用してもよい。
【００１６】
ＥＣＵ３０は、車両におけるナビゲーションシステムを制御するための電子制御装置であり、ＣＰＵ３２、ＲＯＭ３４、ＲＡＭ３６、フラッシュメモリ３８、ハードディスク（ＨＤ）４０等から構成されている。ＥＣＵ３０は、画像認識手段、画像補正手段、画像生成手段として機能する。本実施形態では、ナビゲーションシステムに関する各種制御に加え、カラーカメラ２０が撮影して画像データに変換した撮影画像データから対象物を認識し、認識した対象物に対応する画像領域の撮影画像データを補正して表示画像データを生成する画像表示装置としても使用する。
【００１７】
ＥＣＵ３０は、撮影画像データから認識する対象物として、例えば各種道路標識、特定の建物等を登録して記憶している。登録された対象物のテンプレート画像データは、ＥＣＵ３０のＲＯＭ３２、フラッシュメモリ３８またはＨＤ４０等に記憶されている。対象物は予め登録されている固定情報でもよいし、画像表示システム１０のタッチパネル等から選択または入力される可変情報でもよい。
【００１８】
表示部５０は、ディスプレイ５２の他に図示しないインジケータ等を備えている。ディスプレイ５２は、ナビゲーションシステムにおける地図画像や各種情報等を表示するディスプレイと兼用してもよいし、車両１００の前方の画像を表示する専用のディスプレイであってもよい。
【００１９】
（画像処理）
次に、画像表示システム１０においてＥＣＵ３０が実行する画像処理について図１に基づいて説明する。図１は、ＥＣＵ３０が実行する画像処理ルーチンを示すフローチャートである。図１において符号のＳはステップを表している。
【００２０】
Ｓ３００においてＥＣＵ３０は、カラーカメラ２０が撮影し撮像素子２４により画像データに変換された撮影画像データを走査し、対象物を認識する処理を実行する。具体的には、ＥＣＵ３０は、撮影画像データを画素毎に走査し、撮影画像データと対象物のテンプレート画像データとの類似性の相関値の合計（以下、相関値合計という。）を求める。この場合、撮影画像データの色情報は、日陰か日向かによって変化する光の当たり方または天気等によってテンプレート画像データと異なることがあるので、撮影画像データとテンプレート画像データとをグレースケールで比較してもよい。
【００２１】
Ｓ３０２においてＥＣＵ３０は、撮影画像データとテンプレート画像データとの類似性の相関値合計と第１所定値とを比較する。相関値合計が第１所定値以下の場合は撮影画像データから対象物を認識できないことを表し、相関値合計が第１所定値より大きい場合は撮影画像データ中に対象物として認識できる画像領域が存在することを表している。
【００２２】
撮影画像データとテンプレート画像データとの類似性の相関値合計が第1所定値以下の場合、ＥＣＵ３０は本ルーチンを終了する。撮影画像データとテンプレート画像データとの類似性の相関値合計が第１所定値より大きい場合、ＥＣＵ３０はＳ３０４に処理を移行する。
【００２３】
Ｓ３０４においてＥＣＵ３０は、対象物として認識した画像領域の撮影画像データを抽出する。そして、Ｓ３０６においてＥＣＵ３０は、抽出した画像領域の撮影画像データとテンプレート画像データとの類似性の相関値合計と第２所定値とを比較する。第２所定値は第１所定値よりも大きい閾値である。
【００２４】
相関値合計が第１所定値よりも大きいが第２所定値以下の場合は、撮影画像データ中に対象物として認識できる画像領域が存在するものの、画像領域の撮影画像データから対象物であると明確に判定できないことを表している。相関値合計が第１所定値よりも大きく、かつ第２所定値よりも大きい場合は、画像領域の撮影画像データから対象物であると明確に判定できることを表している。
【００２５】
相関値合計が第１所定値よりも大きく、かつ第２所定値よりも大きい場合、ＥＣＵ３０はＳ３０８に処理を移行する。相関値合計が第１所定値よりも大きいが第２所定値以下の場合、ＥＣＵ３０はＳ３１２に処理を移行する。
【００２６】
Ｓ３０８においてＥＣＵ３０は、対象物として認識した画像領域の補正画像データとして対象物のテンプレート画像データを選択する。補正画像データはディスプレイ５２に対象物を表示するためのデータであるから色情報を含んでいる。
【００２７】
Ｓ３１２においてＥＣＵ３０は、抽出した画像領域の撮影画像データを解析する。そして、Ｓ３１４においてＥＣＵ３０は、Ｓ３１２において実施した撮影画像データの解析結果に基づいて、撮影画像データを補正する要素および補正要素の補正度合いを決定する。
【００２８】
Ｓ３１２における画像解析は色情報を含んで実施される。具体的には、ＥＣＵ３０は、ディスプレイ５２に表示される画像から運転者が対象物を認識しやすいように、彩度、色相、明度、コントラスト、鮮鋭度等のうち、どの要素について撮影画像データを補正するかを選択し、選択した補正要素の補正度合いを決定する。例えば、画像領域の撮影画像データが暗すぎる場合には明度の増加度合いを決定する。一方、画像領域の撮影画像データが明るすぎる場合には明度の低下度合いを決定する。
【００２９】
Ｓ３１０においてＥＣＵ３０は、Ｓ３０８において選択された対象物のテンプレート画像データ、あるいはＳ３１４において決定された補正要素およびその補正度合いに基づいて撮影画像データを補正して得られた画像データを補正画像データとする。そして、ＥＣＵ３０は、対象物として認識した画像領域の補正画像データと撮影画像データとから表示画像データを生成し、図４または図５に示すようにディスプレイ５２に表示する。
【００３０】
図４は対象物２００のテンプレート画像を補正画像データとして選択しディスプレイ５２に表示した例を示している。図５は補正要素および補正要素の補正度合いに基づいて対象物２００として認識された画像領域の撮影画像データを補正して補正画像データを生成し、この補正画像データに基づいて対象物２００をディスプレイ５２に表示した例を示している。図４および図５においては、対象物２００が存在する画像領域に補正画像データに基づいて対象物２００を表示するだけでなく、補正画像データに基づいて画像領域の対象物２００を拡大した拡大画像データを生成し、この拡大画像データに基づいて対象物２００の拡大画像２１０がディスプレイ５２に表示されている。
【００３１】
撮影画像データを補正せずにディスプレイ５２に表示する図６の表示例に比べ、補正画像データに基づいてディスプレイ５２に表示された図４および図５の画像において対象物２００の視認性が高くなっている。その結果、ディスプレイ５２に表示された画像を見ることにより、運転者は車両の前方に対象物２００が存在することを容易に認識できるとともに、その対象物２００が何であるかという対象物２００の種類を容易に認識できる。
【００３２】
（他の実施形態）
上記実施形態では、補正画像データに基づいて画像領域の対象物２００を拡大した拡大画像２１０をディスプレイ５２に表示した。これに対し、対象物２００の拡大画像を表示せず、補正画像データに基づいて表示される画像を対象物２００として認識された画像領域だけに表示してもよい。また、補正された対象物２００の拡大画像を表示する場合、対象物２００として認識された画像領域には図６に示すように補正していない撮影画像データに基づいて対象物２００を表示してもよい。
【００３３】
また、図４および図５において、画像領域に補正表示されている対象物２００、または補正表示されている対象物２００の拡大画像２１０、または画像領域に補正表示されている対象物２００および拡大画像２１０の両方を点滅表示してもよい。これにより、ディスプレイ５２に表示されている画像を見て、登録されている対象物２００がディスプレイ５２に表示された画像に存在することを運転者が容易に認識できる。
【００３４】
画像領域の対象物２００または拡大画像２１０を点滅表示する場合、撮影画像データに基づいて表示される画像または白く塗りつぶした画像と補正画像データに基づいて表示される画像とを交互に表示することが考えられる。
【００３５】
本発明は、上記実施形態に示した車両に搭載する画像表示装置に限らず、撮影画像データから予め登録された対象物を認識し、対象物が認識された場合には撮影画像データを補正し視認性を高めて表示するよう構成されたあらゆる画像表示装置に対して適用可能である。このように本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。
【図面の簡単な説明】
【００３６】
【図１】本実施形態の画像表示システムによる画像処理ルーチンを示すフローチャート。
【図２】画像表示システムを示すブロック図。
【図３】車両に搭載したカメラによる撮影状態を示す説明図。
【図４】撮影画像データを補正したディスプレイの表示例を示す説明図。
【図５】撮影画像データを補正したディスプレイの他の表示例を示す説明図。
【図６】撮影画像データを補正しないディスプレイの表示例を示す説明図。
【符号の説明】
【００３７】
１０：画像表示システム、２０：カラーカメラ（撮影部）、３０：ＥＣＵ（画像表示装置、画像認識手段、画像補正手段、画像生成手段）、５０：表示部、５２：ディスプレイ、２００：対象物（画像領域）、２１０：拡大画像
【図１】
2008286943.tif 000003
【図２】
2008286943.tif 000004
【図３】
2008286943.tif 000005
【図４】
2008286943.tif 000006
【図５】
2008286943.tif 000007
【図６】
2008286943.tif 000008