(57)【要約】【課題】運転者の覚醒度合いが低下した場合に交通事故に遭遇する危険性を抑制する。【解決手段】車載カメラで撮影した画像から移動体を検出し、各々の移動体について、運転者による認識のし易さに関する指標値を検出する。そして、得られた指標値と、運転者の覚醒度とに基づいて、移動体を強調表示する態様を移動体毎に決定し、決定した態様で移動体が強調表示された撮影画像を表示する。こうすれば、撮影画像から検出した移動体を、運転者のコンディションによらずに運転者に認識させることが可能となる。【選択図】図１０
2014109958.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラで撮影した撮影画像から移動体を検出し、該移動体が強調表示された前記撮影画像を表示する撮影画像表示装置であって、
前記撮影画像から前記移動体を検出する移動体検出手段と、
前記検出した移動体の各々について、前記運転者による認識のし易さに関する指標値を検出する指標値検出手段と、
前記運転者の覚醒度を検出する覚醒度検出手段と、
前記指標値と前記覚醒度とに基づいて、前記移動体を強調表示する態様を該移動体毎に決定する決定手段と、
前記移動体が前記強調表示された前記撮影画像を表示する表示手段と
を備える撮影画像表示装置。
【請求項２】
請求項１に記載の撮影画像表示装置であって、
前記指標値検出手段は、前記指標値として、前記撮影画像上での前記移動体の大きさを検出する手段である撮影画像表示装置。
【請求項３】
請求項１または請求項２に記載の撮影画像表示装置であって、
前記指標値検出手段は、前記指標値として、前記移動体と該移動体の背景部分との前記撮影画像上でのコントラストを検出する手段である撮影画像表示装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の撮影画像表示装置であって、
前記決定手段は、前記移動体を強調表示する態様として、該移動体を拡大表示する態様に決定する手段である撮影画像表示装置。
【請求項５】
請求項１ないし請求項３の何れか一項に記載の撮影画像表示装置であって、
前記決定手段は、前記移動体を強調表示する態様として、該移動体と該移動体の背景部分とのコントラストを強調して表示する態様に決定する手段である撮影画像表示装置。
【請求項６】
請求項１ないし請求項３の何れか一項に記載の撮影画像表示装置であって、
前記移動体の類別毎に所定のシンボル画像を記憶しておく記憶手段を備え、
前記決定手段は、前記移動体を強調表示する態様として、該移動体の画像を該移動体の類別に対応する前記シンボル画像に差し替えて表示する態様に決定する手段である撮影画像表示装置。
【請求項７】
車載カメラで撮影した撮影画像から移動体を検出し、該移動体が強調表示された前記撮影画像を表示する撮影画像表示方法であって、
前記撮影画像から前記移動体を検出する工程と、
前記検出した移動体の各々について、前記運転者による認識のし易さに関する指標値を検出する工程と、
前記運転者の覚醒度を検出する工程と、
前記指標値と前記覚醒度とに基づいて、前記移動体を強調表示する態様を該移動体毎に決定する工程と、
前記移動体が前記強調表示された前記撮影画像を表示する工程と
を備える撮影画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮影した撮影画像から移動体を検出して、移動体が強調表示された撮影画像を表示する技術に関する。
【背景技術】
【０００２】
運転者が安全に、且つ快適に車両を運転できるようにすることを目的として、様々な運転支援技術が開発されている。そのような運転支援技術の代表的なものとして、車両の前方あるいは周辺に存在する歩行者や車両などの移動体を検出して、運転者に知らせる技術（以下、移動体検出通知技術）が存在する。
【０００３】
この移動体検出通知技術では、移動体の大きさの違いや、移動体までの距離の違い、更には、移動体の一部が何かの陰になっていること等による影響を受けずに、洩れなく且つ正しく移動体を検出可能なことが必要となる。それでいながら、検出のための処理負担が過大とならないことも要請され、これらの要請を満たすために、パターンマッチングを利用した方式を初めとする種々の検出方式が開発されてきた（たとえば特許文献１）。
また、近赤外光による画像を撮影することで、夜間であっても移動体を正確に検出可能とする技術も開発されている（特許文献２）。
【０００４】
もっとも、如何に精度良く移動体を検出できたとしても、車両を運転するための最終的な判断は運転者に委ねられる。そこで、これらの移動体検出通知技術では、撮影した画像をモニター画面に表示し、移動体が検出された領域を枠で囲うなどの方法で、移動体の存在を運転者に通知している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０５８７５１号公報
【特許文献２】特許第４６１１９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、現状では、移動体を検出する技術の進歩に対して、検出した移動体の存在を運転者に通知する技術が追いついておらず、従って、移動体の検出結果を運転者の運転支援に十分に活用できていないという問題があった。たとえば現状では、検出した移動体は、モニター画面に表示した車載カメラの画像上で移動体を枠で囲うことによって表示しているが、移動体が小さく写っている場合には、枠で囲われた移動体が何であるかを運転者は直ちには認識することができない。また、暗い画像（あるいは画像中の暗い部分）に移動体が写っている場合にも、枠で囲われた移動体が何であるかを運転者は直ちには認識することができない。そして、運転者が疲れている場合や眠気を感じている場合には、こうした傾向はより一層顕著となり、その結果、移動体の検出結果を運転者の運転支援に活用することが困難となる。
【０００７】
この発明は、上述した問題に鑑みてなされたものであり、運転者のコンディションによらず、移動体の検出結果を運転者に認識させることが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
上述した問題を解決するために本発明の撮影画像表示装置あるいは撮影画像表示方法は、撮影画像から検出した移動体の各々について、運転者による認識のし易さに関する指標値を検出する。そして、得られた指標値と、運転者の覚醒度とに基づいて、移動体を強調表示する態様を移動体毎に決定し、決定した態様で移動体が強調表示された撮影画像を表示する。
こうすれば、移動体の認識のし易さに関する指標値だけでなく、運転者の覚醒度も考慮した態様で、移動体を強調表示することができる。このため、運転者が疲れや眠気を感じているような場合でも、撮影画像中から検出された移動体を運転者に認識させることが可能となる。
【０００９】
また、上述した本発明の撮影画像表示装置においては、運転者による認識のし易さに関する指標値として、撮影画像上での移動体の大きさを検出することとしてもよい。
撮影画像上での移動体の大きさは、運転者による認識のし易さに大きく関係し、且つ検出も容易である。従って、撮影画像上での移動体の大きさは、運転者による認識のし易さに関する指標値として好適に用いることができる。
【００１０】
また、上述した本発明の撮影画像表示装置においては、運転者による認識のし易さに関する指標値として、移動体のコントラスト（すなわち、撮影画像上で移動体が写った部分と、その移動体の背景部分との輝度差に関する指標）を検出することとしてもよい。
撮影画像上での移動体のコントラストの大きさも、運転者による認識のし易さに大きく関係し、且つ検出も容易である。従って、撮影画像上での移動体のコントラストも、運転者による認識のし易さに関する指標値として好適に用いることができる。
【００１１】
また、上述した本発明の撮影画像表示装置においては、移動体を強調表示する態様として、移動体を拡大表示することとしてもよい。
移動体を拡大表示すれば、撮影画像上で移動体を簡単に強調表示することができる。
【００１２】
また、上述した本発明の撮影画像表示装置においては、移動体を強調表示する態様として、移動体と、移動体の背景部分とのコントラストを強調して表示することとしてもよい。
移動体と移動体の背景部分とのコントラストを強調して表示すれば、撮影画像上で移動体を簡単に強調表示することが可能となる。
【００１３】
また、上述した本発明の撮影画像表示装置においては、次のようにして移動体を強調表示してもよい。先ず、移動体の類別（たとえば、歩行者や車両など）毎に所定のシンボル画像を記憶しておく。そして、移動体の画像を、移動体の類別に対応するシンボル画像に差し替えて表示することとしてもよい。
こうすれば、運転者が認識し易い画像をシンボル画像としておくことで、撮影画像上で移動体を簡単に強調表示することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】撮影画像表示装置を搭載した車両の説明図である。
【図２】撮影画像表示装置のブロック図である。
【図３】本実施例の撮影画像表示処理の前半部分のフローチャートである。
【図４】本実施例の撮影画像表示処理の後半部分のフローチャートである。
【図５】車載カメラから取得した撮影画像を例示した説明図である。
【図６】移動体の大きさおよびコントラストを検出する方法を示す説明図である。
【図７】移動体の大きさおよびコントラストに応じて認識容易度を決定する方法についての説明図である。
【図８】移動体の認識容易度を運転者の覚醒度に応じて修正する方法についての説明図である。
【図９】運転者の覚醒度によって認識困難な範囲が変化する様子を例示した説明図である。
【図１０】覚醒度によって修正した認識容易度に応じて強調表示態様を決定する方法を示す説明図である。
【図１１】移動体のコントラストを強調して表示する方法を例示した説明図である。
【図１２】移動体のコントラストを強調して表示する他の方法を例示した説明図である。
【図１３】移動体の大きさを拡大して表示する方法を例示した説明図である。
【図１４】移動体をシンボル画像に差し替えて表示する方法を例示した説明図である。
【図１５】移動体が強調表示された状態で表示モニターに表示された撮影画像を例示した説明図である。
【図１６】変形例の撮影画像表示処理で移動体の強調表示態様を決定する方法を概念的に示した説明図である。
【発明を実施するための形態】
【００１５】
以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成  ：
図１には、本実施例の撮影画像表示装置１００を搭載した車両１の大まかな構成が示されている。図示されているように本実施例の撮影画像表示装置１００は、車両１の進行方向（あるいは周囲）の画像を撮影する車載カメラ１０や、車載カメラ１０で撮影した画像（撮影画像）を表示する表示モニター１４、車両１の運転者の顔画像を撮影するドライバーカメラ１２などと共に、車両１に搭載されている。
撮影画像表示装置１００は、車載カメラ１０で撮影した撮影画像を受け取ると、撮影画像中の移動体（たとえば歩行者や車両）を検出し、それら移動体を運転者が認識しやすいように強調表示された状態で、撮影画像を表示モニター１４に表示する。また、移動体の強調態様を決定するに際しては、ドライバーカメラ１２で撮影した顔画像から運転者の覚醒度を検出して、覚醒度も考慮して強調表示する態様を決定する。
【００１６】
図２には、上述した機能を司る撮影画像表示装置１００の内部構成が示されている。図示されるように撮影画像表示装置１００には、画像記憶部１０２や、移動体検出部１０４、指標値検出部１０６、覚醒度検出部１０８、表示態様決定部１１０、表示画像生成部１１２、シンボル画像記憶部１１４が設けられている。
尚、これら７つの「部」は、撮影画像表示装置１００を機能に着目して便宜的に分類したものであり、撮影画像表示装置１００の内部が物理的に７つの部分に区分されている必要はない。また、これら７つの「部」のうち、画像記憶部１０２およびシンボル画像記憶部１１４は図示しないメモリーによって実現されるが、その他の５つの「部」については、論理回路あるいはＣＰＵなどを用いてハードウェア的に実現することもできるし、コンピュータープログラムあるいはプログラムの一部としてソフトウェア的に実現することもできる。
【００１７】
画像記憶部１０２は、車載カメラ１０から撮影画像を受け取ってメモリーに記憶する。
移動体検出部１０４は、画像記憶部１０２に記憶されている撮影画像を読み出して、撮影画像中に写った歩行者などの移動体を検出する。移動体の検出には、パターンマッチングを利用する方法など周知な種々の方法を用いることができる。
指標値検出部１０６は、移動体検出部１０４で検出された移動体の各々について、運転者にとっての認識し易さを示す指標値（認識容易度）を検出する。認識容易度については後ほど詳しく説明する。
覚醒度検出部１０８は、ドライバーカメラ１２で撮影した運転者の顔画像を解析して、運転者の覚醒度を検出する。顔画像から覚醒度を検出する際には、運転者が視線を動かす頻度や、瞬きする頻度、瞬きする際のまぶたの速度に基づいて覚醒度を検出するなど、周知の方法を用いることができる。尚、ドライバーカメラ１２で撮影した顔画像に限らず、たとえば運転座席に圧力センサーを内蔵して運転者の心拍数や呼吸を計測することによって覚醒度を検出しても良い。
表示態様決定部１１０は、指標値検出部１０６で検出した指標値（認識容易度）と覚醒度検出部１０８で検出した覚醒度とに基づいて、移動体を強調表示する態様を移動体毎に決定する。また、本実施例では、移動体を強調表示する態様の１つとして、移動体の画像を、移動体に対応したシンボル画像に差し替えて表示する態様も設定されている。尚、「移動体に対応したシンボル画像」とは、たとえば移動体が歩行者であれば人間の形状を単純化した図形の画像であり、移動体が動物であれば動物の形状や顔を単純化した図形の画像である。これらシンボル画像は、シンボル画像記憶部１１４に予め記憶されている。
そして、表示画像生成部１１２は、画像記憶部１０２に記憶された撮影画像を読み出すと、移動体検出部１０４で検出された移動体が、表示態様決定部１１０で決定された態様で強調表示された撮影画像を生成して、表示モニター１４に出力する。
このように、撮影画像から検出された移動体毎に、移動体の認識容易度および運転者の覚醒度を考慮した態様で移動体を強調表示して表示モニター１４に表示してやれば、運転者のコンディションによらずに、移動体の検出結果を運転者に認識させて、適切な運転支援を実現することが可能となる。以下では、こうしたことを実現するために撮影画像表示装置１００の内部で行われる処理について詳しく説明する。
【００１８】
尚、本実施例では、移動体検出部１０４が本発明における「移動体検出手段」に対応し、指標値検出部１０６が本発明の「指標値検出手段」に対応し、覚醒度検出部１０８が本発明の「覚醒度検出手段」に、表示態様決定部１１０が本発明の「決定手段」に、シンボル画像記憶部１１４が本発明の「記憶手段」にそれぞれ対応する。また、表示モニター１４は表示画像生成部１１２から出力される画像データに従って撮影画像を表示しているに過ぎないから、実際には表示画像生成部１１２が撮影画像を表示していると考えることができる。従って、本実施例の表示画像生成部１１２は、本発明の「表示手段」に対応している。
【００１９】
Ｂ．撮影画像表示処理  ：
図３および図４には、撮影画像表示装置１００が実行する本実施例の撮影画像表示処理のフローチャートが示されている。尚、この処理は、車載カメラ１０が画像を撮影する動きに同期させて、１秒間に３０回程度の一定周期で実行される処理である。
本実施例の撮影画像表示処理を開始すると、先ず始めに、撮影画像表示装置１００中の画像記憶部１０２が車載カメラ１０から出力された撮影画像を記憶する（Ｓ１００）。
【００２０】
続いて、撮影画像表示装置１００中の移動体検出部１０４が撮影画像を解析することによって、撮影画像中の移動体（歩行者や、車両、動物など）を検出する（Ｓ１０２）。撮影画像中の移動体は次のようにして検出する。
先ず、画像中で歩行者が写った部分の代表的な輝度の変化パターンを予め記憶しておく。同様に、車両や動物などについても、画像中でそれらが写った部分の代表的な変化パターンを記憶しておく。そして、撮影画像中で、これら代表的な変化パターンに近いパターンで輝度が変化している部分を探索する。たとえば、撮影画像中のある部分が、歩行者の変化パターンに近かったとすると、その部分には歩行者が写っているものと判断することができる。同様に、車両の変化パターンに近ければ、車両が写っていると判断することができ、動物の変化パターンに近ければ動物が写っていると判断することができる。
また、当然ながら、遠くの移動体は小さく写り、近くの移動体は大きく写るから、撮影画像に写った移動体の大きさも一様ではない。そこで、移動体の変化パターンについても様々な大きさのパターン（但し、形状は互いに相似）を用意しておき、それら複数の変化パターンを用いて撮影画像を探索する。こうすることで、撮影画像中で大きく写った移動体から小さく写った移動体まで、様々な大きさの移動体を検出することができる。
尚、上述したように、歩行者用、車両用、動物用など、何れの変化パターンを用いるかによって、検出される移動体の類別（歩行者、車両、動物など）が切り換わる。従って、予め多種類の変化パターンを記憶しておけば、より多くの類別の移動体を検出することが可能となる。また、検出した移動体の類別は、何れの類別の変化パターンを用いたかによって判断することができる。
【００２１】
図５には、このようにして撮影画像中から移動体が検出された様子が例示されている。図示した例では、歩行者の画像Ａ〜Ｅと、車両の画像Ｆとが検出されている。尚、図中で歩行者や車両を矩形で囲った破線の枠は、その移動体が検出された時の変化パターンの位置を表している。すなわち、上述したように移動体を検出する際には、様々な大きさの変化パターンを撮影画像中で少しずつ移動させながら、撮影画像中の輝度が変化パターンと同じように変化する部分を探索している。従って、図中で歩行者の画像Ａを囲う破線の矩形は、その大きさの歩行者用の変化パターンをその位置に置いたときに、撮影画像中の輝度が変化パターンと同じように変化していることを表している。歩行者の画像Ｂ〜Ｅを囲う破線の矩形についても同様である。尚、歩行者用の変化パターンは、大きさが異なっていても形状は互いに相似であるから、歩行者の画像Ａ〜Ｅを囲う破線の矩形は互いに相似な形状となっている。
また、以上の内容は、車両の画像Ｆについても全く同様に当て嵌まる。すなわち、車両の画像Ｆを囲う破線の矩形は、その大きさの車両用の変化パターンをその位置に置いたときに、撮影画像中の輝度が変化パターンと同じように変化していることを表している。
【００２２】
こうして撮影画像中の移動体を検出したら、それら移動体の大きさおよびコントラストを検出して、移動体毎に、運転者にとっての認識のし易さを示す指標値（認識容易度）を決定する（Ｓ１０４）。
図６には、撮影画像中から検出された移動体の大きさおよびコントラストを検出する様子が示されている。一例として、前述した歩行者の画像Ａを用いて説明すると、歩行者の大きさは、その歩行者を検出した変化パターン（破線の矩形）の対角線の長さで代表させる（図６（ａ）参照）。対角線の長さを用いれば、歩行者のように縦長の変化パターンを用いた場合と、車両のように横長の変化パターンを用いた場合とを区別することなく、移動体の大きさを表すことができる。
【００２３】
また、コントラストについては、歩行者の画像Ａに対してエッジを検出するなどによって画像Ａに写った歩行者の輪郭を検出し（図６（ｂ）中の一点鎖線）、輪郭の内側の部分（移動体部分）での平均輝度を算出する（図６（ｃ）参照）。更に、輪郭の外側の部分（背景部分）での平均輝度も算出する（図６（ｄ）参照）。そして、輪郭の内側（移動体部分）と輪郭の外側（背景部分）との平均輝度の差を、移動体のコントラストとして検出することができる。もちろん、他の周知な方法を用いてコントラストを検出しても良い。
【００２４】
こうして移動体の大きさおよびコントラストが分かれば、移動体の認識容易度（運転者にとってその移動体がどの程度認識し易いか）を決定することができる。たとえば、移動体の大きさについては、移動体が大きくなるほど運転者は容易に認識することが可能となる。また、移動体のコントラストについては、コントラストが低くなると移動体と背景との区別が付き難くなるので、運転者が認識することが困難となる。従って、移動体のコントラストが高くなるほど、運転者は容易に認識することができる。
もっとも、移動体の大きさがあまりに小さい場合には、コントラストが高くても運転者は容易に認識することができない。これに対して、コントラストが低くても、移動体が十分に大きければ、運転者は移動体を比較的容易に認識することができる。
【００２５】
図７には、様々な大きさおよびコントラストを有する移動体についての認識し易さ（認識容易度）を、実験的な手法によって求めた結果が示されている。このようなデータを求めておけば、移動体について検出した大きさおよびコントラストから、移動体の認識容易度を決定することができる。
図５の撮影画像を例に用いて説明すれば、図中で「Ａ」と表示した箇所の歩行者は、十分な大きさがあり且つコントラストも高いので、運転者が容易に認識することが可能であり、認識容易度は大きくなる。また、図中で「Ｆ」と表示した箇所の車両は、大きさは十分であるがコントラストが低いので、認識容易度は少し小さくなる。図中で「Ｂ」あるいは「Ｅ」と示した箇所の歩行者は、大きさも十分には大きくはなく且つコントラストも低いので、認識容易度は更に小さくなる。また、図中で「Ｄ」と表示した箇所の歩行者は、コントラストは高いが大きさが小さいので運転者が容易には認識することができず、認識容易度は小さくなる。更に、図中で「Ｃ」と表示した箇所の歩行者は、大きさもたいへんに小さく且つコントラストも低いので、認識容易度はたいへん小さくなる。
撮影画像表示装置１００の図示しないメモリーには図７に示すようなデータが予め記憶されている。そして指標値検出部１０６は、移動体検出部１０４から移動体の大きさおよびコントラストを受け取ると、メモリーに記憶されているデータを参照することによって、移動体毎に認識容易度を決定する（図３のＳ１０４）。
【００２６】
続いて、撮影画像表示装置１００の覚醒度検出部１０８は、ドライバーカメラ１２で撮影した運転者の顔画像を解析することによって、運転者の覚醒度を検出する（Ｓ１０６）。覚醒度の検出には周知の様々な方法を適用することができる。
たとえば、顔画像の中から運転者の瞳を検出して、瞳の位置の動きから運転者が視線を動かす頻度を検出する。そして、運転者が頻繁に視線を動かしている場合は覚醒度が高いと判断し、視線を動かす頻度が低くなるに従って、覚醒度が低下したと判断することができる。あるいは、運転者が瞬きをする頻度、瞬きする際のまぶたの移動速度などを検出することによって、覚醒度を検出してもよい。更には、ドライバーカメラ１２による顔画像を解析するのではなく、運転席に内蔵した圧力センサーを用いて運転者の呼吸や脈拍を監視することによって、覚醒度を検出することもできる。
【００２７】
続いて、撮影画像中で検出された移動体の中から任意の移動体を１つ選択する（図３のＳ１０８）。そして、選択した移動体の認識容易度を、覚醒度に基づいて修正する（Ｓ１１０）。たとえば、十分に覚醒した状態の運転者であれば、図５の撮影画像中で「Ｂ」あるいは「Ｅ」と表示した部分の歩行者も認識することができるが、運転者の覚醒度が低下するとこれらの歩行者を認識することが困難となる。そこで、運転者の覚醒度の影響を考慮して、移動体の認識容易度を修正しておくのである。
撮影画像表示装置１００には、図示しないメモリーに運転者の覚醒度に応じた修正係数が予め設定されている。そして、表示態様決定部１１０は、指標値検出部１０６および覚醒度検出部１０８から認識容易度および覚醒度を受け取ると、覚醒度に対応する修正係数を読み出して認識容易度に乗算することによって、修正された認識容易度を算出する。
【００２８】
図８（ａ）には、運転者の覚醒度に応じて修正係数が予め設定されている様子が例示されている。図示した例では、覚醒度が６段階で求められるようになっており、覚醒度５（完全に覚醒した状態）に対しては修正係数１．０が設定されている。また、覚醒度が低くなるに従って、修正係数も小さくなる。
また、図８（ｂ）には、移動体の大きさおよびコントラストによって決まる認識容易度が、覚醒度に応じて修正される様子が概念的に示されている。
【００２９】
以上のようにして、覚醒度を考慮して修正した認識容易度が得られたら、その認識容易度が所定の許容値以上か否かを判断する（図４のＳ１１２）。その結果、認識容易度が許容値に満たない移動体については、そのまま表示モニター１４に表示しても運転者が十分に認識できないことが予想される。
【００３０】
たとえば、図９（ａ）には運転者の覚醒度が十分に高い場合での、移動体の大きさおよびコントラストに対する認識容易度が示されているが、認識容易度が許容値以下の領域（図中に斜線を伏して示した領域）にある移動体については、車載カメラ１０で撮影した画像をそのまま表示モニター１４に表示しても運転者が認識できないことが予想される。
また、図９（ｂ）には運転者の覚醒度が低下した場合での、移動体の大きさおよびコントラストに対する認識容易度が示されているが、覚醒度が低下すると認識容易度が低めに修正されるので、認識容易度が許容値以下の領域（そのまま表示モニター１４に表示しても運転者が認識できないことが予想される領域）が広くなる。
そこで、撮影画像表示装置１００の表示態様決定部１１０は、修正された認識容易度を許容値と比較して許容値に満たなかった場合は（Ｓ１１２：ｎｏ）、修正後の認識容易度に応じて強調態様を決定する（図４のＳ１１４）。
【００３１】
図１０には、修正後の認識容易度に応じた強調態様が例示されている。
たとえば、修正後の認識容易度が許容値に少しだけ満たなかった場合（すなわち、許容値よりは小さいが、第１閾値以上であった場合）は、検出された移動体を枠で囲うことによって強調表示する。尚、第１閾値は許容値よりも小さな値に設定されている。また、移動体を囲う枠は、移動体を検出するために用いた変化パターン（図５、図６参照）の大きさとすることができる。
運転者の覚醒度を考慮して修正した認識容易度が許容値に少し満たない程度の移動体であれば、移動体を枠で囲って表示するだけで、運転者は移動体を確実に認識することが可能となる。
【００３２】
また、運転者の覚醒度を考慮して修正した認識容易度がより小さい移動体（第１閾値には満たないが第２閾値以上の移動体）については、移動体を枠で囲うと共に、コントラストを強調して表示する。尚、第２閾値は第１閾値よりも小さな値に設定されている。このような移動体については、移動体を枠で囲って表示することに加えて、コントラストも強調して表示することで、運転者が移動体を確実に認識することが可能となる。移動体のコントラストを強調する方法については後述する。
【００３３】
覚醒度を考慮して修正した認識容易度が、更に小さい移動体（第２閾値には満たないが、第３閾値以上の移動体）については、移動体を枠で囲うと共に、コントラストを強調し、更に移動体の画像を拡大して表示する。尚、第３閾値は第２閾値よりも小さな値に設定されている。こうすれば、枠で囲って、且つコントラストを強調しただけでは運転者が確実に認識できない移動体であっても、確実に認識することが可能となる。移動体の画像を拡大して表示する方法については後述する。
【００３４】
覚醒度を考慮して修正した認識容易度が、より一層小さい移動体（第３閾値にも満たない移動体）については、車載カメラ１０で撮影した移動体の画像を、移動体の類別に対応するシンボル画像に差し替えて表示する。たとえば、移動体が歩行者の画像であれば、人間を表す単純な図形（シンボル画像）に差し替えて表示する。また、移動体が動物であれば動物を表す単純な図形（シンボル画像）に差し替えて表示する。シンボル画像は単純で分かり易い図形が設定されているので、小さく表示されていても運転者が容易に認識することができる。シンボル画像についても後ほど詳しく説明する。
以上のように、撮影画像表示装置１００の表示態様決定部１１０は、選択した移動体の認識容易度を覚醒度に応じて修正した値が、許容値に満たなかった場合には（図４のＳ１１２：ｎｏ）、その移動体を表示モニター１４に表示する際の強調態様を、修正後の認識容易度に応じて決定する（Ｓ１１４）。
【００３５】
続いて、撮影画像表示装置１００の表示画像生成部１１２は、決定された態様で強調表示された移動体の画像を生成し、車載カメラ１０で撮影した画像（撮影画像）に対して、生成した移動体の画像（強調表示された画像）を合成する（Ｓ１１６）。
たとえば、決定された強調態様が、枠で囲って表示する態様の移動体（修正後の認識容易度が第１閾値以上で許容値未満の移動体）であれば、撮影画像に対して、移動体を囲う枠の画像を合成する。
【００３６】
また、決定された強調態様が、枠で囲い、且つコントラストを強調して表示する態様の移動体（修正後の認識容易度が第２閾値以上で第１閾値未満の移動体）の場合には、次のようにして、コントラストが強調された移動体の画像を生成し、得られた画像を撮影画像に合成する。
【００３７】
図１１および図１２には、コントラストが強調された移動体の画像を生成する方法が示されている。先ず始めに図１１に示した例を用いて説明すると、図１１（ａ）に示した例では、暗い（輝度が低い）背景の上に少し明るい（輝度が高い）移動体が写っている。
コントラストが強調された移動体の画像を生成するに際しては、先ず、移動体を囲う枠内での輝度の度数分布を検出する。すると、得られた度数分布には、移動体の部分（図示した例では歩行者）と、背景の部分とが現れる。そこで、図１１（ｂ）に示すように、背景側を基準として移動体側の輝度を増加させる。こうすれば、枠内での輝度の階調範囲を拡大させて、移動体のコントラストを強調することができる。
尚、階調範囲を拡大する割合は、覚醒度に応じて修正した認識容易度が小さいほど大きくしてもよい。
【００３８】
また、図１２（ａ）に示した例では、明るい（輝度が高い）背景の上に、少し暗い（輝度が低い）移動体が写っている。このような場合には、背景側を基準として、移動体側の輝度を減少させる。こうすれば、枠内での輝度の階調範囲が拡大して、移動体のコントラストを強調することができる。
尚、図１１および図１２に示した方法で枠内の画像のコントラストを強調すると、コントラストが強調されていない枠の外側との境目で、輝度が不自然に変化する箇所が生じることがある。しかし、この境目の部分に枠を表示することで、輝度が不自然に変化していることを目立たなくすることができる。
【００３９】
また、決定された強調態様が、移動体を枠で囲い、コントラストを強調し、更に画像を拡大する態様であった場合（移動体の修正後の認識容易度が第３閾値以上で第２閾値未満であった場合）には、上述した方法でコントラストを強調した移動体の画像を、更に、次のようにして拡大し、最終的に得られた移動体の画像を撮影画像に合成する。
【００４０】
図１３には、移動体の画像を拡大する幾つかの方法が例示されている。たとえば図１３（ａ）に示した例では、移動体を囲う枠の範囲内で移動体の画像を拡大する。この場合、移動体の画像を拡大したことで枠内からはみ出した部分は表示されなくなる。その結果、図示した例では、歩行者の頭の上端部分や、足の先端部分が欠けた状態の画像が表示される。
また、図１３（ｂ）に示した例では、移動体を囲う枠ごと、移動体の画像を拡大する。この場合、拡大前の枠の周囲の画像は、枠ごと拡大した移動体の画像で上書きされる。
尚、何れの方法で拡大する場合にも、画像を拡大する割合は、修正後の認識容易度が小さいほど大きくしてもよい。もっとも、移動体の画像を拡大すると遠くの移動体が近区にあるように見えてしまうので、拡大する割合には所定の上限値を設定しておくことが望ましい。
【００４１】
また、決定された強調態様が、移動体をシンボル画像に差し替えて表示する態様であった場合（移動体の修正後の認識容易度が第３閾値未満であった場合）には、撮影画像中で移動体が写った部分の画像を、移動体の類別に対応するシンボル画像に差し替えることによって、撮影画像を合成する。
たとえば、図１４（ａ）に例示したように移動体が歩行者であれば、歩行者が写った部分の画像に、人間を表すシンボル画像１１４ｓを上書きする。また、動物が写っている場合には、図１４（ｂ）に例示するような動物を表すシンボル画像１１４ｓを上書きする。これらのシンボル画像１１４ｓは、シンボル画像記憶部１１４に予め記憶されている。
尚、シンボル画像１１４ｓに差し替える移動体は、図５中の「Ｃ」の部分の歩行者のようにたいへん小さく写っていると考えられる。このため、シンボル画像１１４ｓの大きさを、移動体が写った大きさに合わせて表示したのでは、シンボル画像１１４ｓが小さすぎて運転者が認識困難な場合が予想される。そこで、シンボル画像記憶部１１４には、運転者が認識できる程度の大きさのシンボル画像１１４ｓが、移動体の類別毎に１つずつ記憶されており、撮影画像中に写った移動体の大きさに拘わらず、同じ大きさのシンボル画像１１４ｓに差し替えて表示されるようになっている。
【００４２】
以上に説明したように、選択した移動体の認識容易度を覚醒度に基づいて修正した値が、許容値に満たなかった場合は（図４のＳ１１２：ｎｏ）、修正後の認識容易度に応じた態様で強調表示された移動体の画像を生成し、生成した画像を撮影画像中に合成する（Ｓ１１４、Ｓ１１６）。
これに対して、移動体の修正した認識容易度が許容値以上であった場合は（Ｓ１１２：ｙｅｓ）、Ｓ１１４およびＳ１１６の処理は省略する。
【００４３】
そして、撮影画像中で検出した全ての移動体について、上述した処理（Ｓ１１０〜Ｓ１１６）を終了したか否かを判断し（Ｓ１１８）、未処理の移動体が残っている場合は（Ｓ１１８：ｎｏ）、Ｓ１０８に戻って新たな移動体を１つ選択して、続く上述した一連の処理を実行する。
このような処理を繰り返して、全ての移動体についての処理を終了したと判断したら（Ｓ１１８：ｙｅｓ）、表示画像生成部１１２は、最終的に得られた撮影画像の画像データを表示モニター１４に出力して、本実施例の撮影画像表示処理を終了する。
その結果、表示モニター１４には、移動体検出部１０４が検出した全ての移動体が運転者によって容易に認識可能な状態で、撮影画像が表示される。
【００４４】
図１５には、表示モニター１４に表示された撮影画像が例示されている。図５に示した車載カメラ１０が撮影した画像と比較すると、表示モニター１４に表示された撮影画像では、運転者が認識困難な移動体であっても、困難な程度に応じて強調表示されており、その結果、全ての移動体が容易に認識可能な状態で表示されている。
たとえば、図中で「Ｆ」と表示した箇所の車両は、車載カメラ１０が撮影した画像（図５の画像）中では、大きさは十分であるもののコントラストが低いために、運転者が見落とす虞があるが、図１５の表示モニター１４上の画像では枠で囲って表示されているため、運転者が認識し易くなっている。
また、図中で「Ｂ」あるいは「Ｅ」と表示した箇所の歩行者は、車載カメラ１０が撮影した画像中では、大きさも十分とは言えずコントラストも低いため、運転者が見落とす可能性がある。しかし、図１５の表示モニター１４上の画像では、枠で囲って表示されると共にコントラストも強調されているので、「Ｆ」の箇所の車両と同じ程度に、運転者が認識し易くなっている。
更に、図中で「Ｄ」と表示した箇所の歩行者は、車載カメラ１０が撮影した画像中では、大きさが小さくコントラストも低いため、運転者が見落とす可能性が高い。しかし、図１５の表示モニター１４上の画面では、枠で囲って表示されると共にコントラストが強調され、更に少し拡大して表示されているので、「Ｂ」あるいは「Ｅ」の歩行者と比べて大きくは違わない程度まで、運転者が認識し易くなっている。
また、図中で「Ｃ」と表示した箇所の歩行者は、車載カメラ１０が撮影した画像中では、たいへんに小さくコントラストも低いため、運転者はほとんど認識できないが、図１５の表示モニター１４上の画面では、シンボル画像１１４ｓに差し替えられて表示されている。シンボル画像１１４ｓは単純な図形であり、目に付き易いので、運転者が認識し易くなっている。
尚、図中で「Ａ」と表示した箇所の歩行者は、十分に大きく且つコントラストも高いので、車載カメラ１０で撮影された画像のままでも運転者が容易に認識することができる。
【００４５】
以上のように、表示モニター１４に表示される画像では、何れの移動体についても、運転者が容易に認識することが可能である。このため、本実施例では、たとえ運転者に認識されにくい移動体でも、移動体の認識容易度に応じて強調表示して表示するので、検出した全ての移動体の存在を運転者に認識させることが可能である。また、移動体の認識容易度を運転者の覚醒度に応じて修正し、修正後の認識容易度に基づいて強調表示の態様を決定しているので、運転者のコンディションによらずに、検出した全ての移動体を運転者に認識させることが可能となる。
【００４６】
Ｃ．変形例  ：
上述した実施例では、撮影画像中から検出した移動体の認識容易度に基づいて、移動体を強調表示するか否かを判断し、強調表示すると判断した場合の強調態様も認識容易度に基づいて決定するものとして説明した。しかし、強調態様については、認識容易度ではなく、（認識容易度を決定するために用いた）移動体の大きさおよびコントラストに基づいて決定しても良い。
【００４７】
図１６には、変形例の撮影画像表示処理で移動体の強調表示態様を決定するための考え方が示されている。
たとえば、図中に「第１グループ」と表示したように、移動体の大きさが大きく且つコントラストが低い移動体については、認識容易度が許容値を下回る主な原因は、主にコントラストが低いことにあると考えて良い。そこで、図中に白抜きの矢印で示したように、主にコントラストを強調するような強調態様に決定する。
尚、図５に示した例では、撮影画像中で「Ｆ」と表示した箇所に写った車両が、第１グループの移動体に該当する。
【００４８】
また、図中に「第２グループ」と表示したように、移動体の大きさおよびコントラストの何れも中くらいの移動体については、認識容易度が許容値を下回る原因は、移動体の大きさおよびコントラストの何れにもあると考えて良い。そこで、図中に白抜きの矢印で示したように、移動体を拡大し且つコントラストも強調するような強調態様に決定する。但し、移動体を拡大すると遠近感が狂ってしまうので、移動体の拡大率は控えめにしておくことが望ましい。
尚、図５に示した例では、撮影画像中で「Ｂ」あるいは「Ｅ」と表示した箇所に写った歩行者が、第２グループの移動体に該当する。
【００４９】
また、図中に「第３グループ」と表示したように、移動体の大きさが小さく且つコントラストが高い移動体については、認識容易度が許容値を下回る原因は、移動体の大きさが小さいことにあると考えて良い。従って、移動体の大きさを拡大するが、あまりに拡大しすぎると遠近感が狂ってしまうので拡大するには限界がある。そこで、図中に白抜きの矢印で示したように、移動体を拡大し、移動体の拡大だけでは不足する部分についてはコントラストも強調することによって補うような強調態様に決定する。
尚、図５に示した例では、撮影画像中で「Ｄ」と表示した箇所に写った歩行者が、第３グループの移動体に該当する。
【００５０】
更に、図中に「第４グループ」と表示したように、移動体の大きさが小さく且つコントラストも低い移動体については、移動体の画像をシンボル画像１１４ｓに差し替える強調態様に決定する。これは、遠近感が狂わないようにしようとすると、移動体を拡大し且つコントラストも強調しても、許容値を上回る程度まで認識容易度を大きくすることができないためである。
尚、図５に示した例では、撮影画像中で「Ｃ」と表示した箇所に写った歩行者が、第４グループの移動体に該当する。
また、図１６中の「第３グループ」よりも更にコントラストが高い移動体については、移動体の拡大だけでは不足する部分をコントラストの強調によって補うことができないので、移動体の画像をシンボル画像１１４ｓに差し替える強調態様に決定してもよい。
【００５１】
以上に説明した変形例では、移動体が運転者に認識され難くなっている原因に応じて、移動体の強調態様を決定することができるので、表示モニター１４の画面上では、移動体がより適切な態様で強調表示された撮影画像を表示することができる。
【００５２】
以上、本実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
【符号の説明】
【００５３】
１…車両、                １０…車載カメラ、        １２…ドライバーカメラ、
１４…表示モニター、      １００…撮影画像表示装置、  １０２…画像記憶部、
１０４…移動体検出部、    １０６…指標値検出部、      １０８…覚醒度検出部、
１１０…表示態様決定部、  １１２…表示部、      １１４…シンボル画像記憶部、
１１４ｓ…シンボル画像。
【図１】
2014109958.tif 000003
【図２】
2014109958.tif 000004
【図３】
2014109958.tif 000005
【図４】
2014109958.tif 000006
【図５】
2014109958.tif 000007
【図６】
2014109958.tif 000008
【図７】
2014109958.tif 000009
【図８】
2014109958.tif 000010
【図９】
2014109958.tif 000011
【図１０】
2014109958.tif 000012
【図１１】
2014109958.tif 000013
【図１２】
2014109958.tif 000014
【図１３】
2014109958.tif 000015
【図１４】
2014109958.tif 000016
【図１５】
2014109958.tif 000017
【図１６】
2014109958.tif 000018