(57)【要約】【課題】視点変換後の映像から標章を抽出し、抽出した標章に該当する標章データに基づいて標章画像を重畳表示することで、路上に描かれた標章が反転したり傾いてディスプレイに表示された場合でも、標章の認識がしやすく、運転者が短時間に認識判断できる映像を提示する。【解決手段】撮像部１００で撮像した映像を映像変換処理部２００で視点変換映像に変換し、標章認識処理部３００で標章認識を行う。標章が抽出された場合は、標章データに基づいて映像重畳処理部６００により標章画像が作成され、視点変換映像の標章が抽出された位置座標に標章画像が重畳され、表示部７００に表示される。【選択図】図１
2008228204.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられ、車両の周囲を撮影して映像を出力する撮像部と、
前記撮像部の出力した映像の視点変換を行い視点変換映像を出力する映像変換処理部と、
前記映像変換処理部が出力した視点変換映像において標章の認識を行い、認識した標章の標章データおよび位置座標を出力する標章認識処理部と、
前記標章認識処理部が出力した標章データに基づく標章画像を前記視点変換映像の前記位置座標に重畳して映像を出力する映像重畳処理部と、
前記映像重畳処理部が出力した前記映像を表示する表示部と、
を備えることを特徴とする車載撮像装置。
【請求項２】
前記標章は、道路上に描かれた文字、記号および道路標識を含むことを特徴とする請求項１に記載の車載撮像装置。
【請求項３】
前記標章認識処理部は、標章データが記録された標章データベースと、前記標章データベースの前記標章データに基づき前記視点変換映像において標章認識を行い、認識した標章の標章データおよび認識した標章の位置座標を出力する標章認識部と、を備えることを特徴とする請求項１または２に記載の車載撮像装置。
【請求項４】
前記標章データベースは、同一の標章に対し、標章を左右反転させた左右反転標章のデータと、標章の向きを複数の角度傾けた複数の回転標章のデータと、前記左右反転標章の向きを複数の角度傾けた複数の左右反転回転標章のデータとを、標章データとして備えていることを特徴とする請求項３に記載の車載撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載撮像装置に関するものである。
【背景技術】
【０００２】
近年、車両に小型カメラを取り付け、車両周囲の映像を車室内に設けたディスプレイに表示して、運転補助となる視覚映像を表示する車載撮像装置が実用化され、普及してきている。例えば、車両後部に車両後方を撮影するカメラを取り付け、車両後退時にカメラの撮影映像を車室内に設けたディスプレイに表示して、後退走行時の視覚補助を行って、後退走行を容易にする、いわゆるリアビューカメラ等と呼ばれる車載撮像装置が実用化されている。
【０００３】
また、最近ではカメラで撮影した映像を運転者がより認識しやすくなるように、カメラで撮影した映像に視点変換処理を施し、運転者の運転方向と映像の方向が一致するように必要に応じて左右反転、上下反転等を行い、ディスプレイに表示する車載撮像装置も提案されている（特許文献１）。  
【特許文献１】特開２００２−３１６６０２公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、このような視点変換処理を行う車載撮像装置では、前述したように場合により映像の左右反転、上下反転を行ってディスプレイ上に表示するため、道路上に文字や記号等の標章が描かれている場合は、それらの標章が反転してしまい、運転者が認識しづらくなってしまう、という問題点がある。また、カメラの撮影方向が路上に描かれた標章と一致しない場合も、ディスプレイ上で標章が傾いて表示されてしまうため、運転者が認識しづらくなってしまう、という問題点がある。
【０００５】
本発明の課題は、視点変換後の映像から標章を抽出し、抽出した標章に該当する標章データに基づいて標章画像を重畳表示することで、路上に描かれた標章が反転したり傾いてディスプレイに表示された場合でも、標章の認識がしやすく、運転者が短時間に認識判断できる映像を提示する車載撮像装置を提案することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、車両に取り付けられ、車両の周囲を撮影して映像を出力する撮像部と、前記撮像部の出力した映像の視点変換を行い視点変換映像を出力する映像変換処理部と、前記映像変換処理部が出力した視点変換映像において標章の認識を行い、認識した標章の標章データおよび位置座標を出力する標章認識処理部と、前記標章認識処理部が出力した標章データに基づく標章画像を前記視点変換映像の前記位置座標に重畳して映像を出力する映像重畳処理部と、前記映像重畳処理部が出力した前記映像を表示する表示部とを備えることを特徴としている。
【０００７】
また請求項２に記載の発明は、請求項１において、前記標章は、道路上に描かれた文字、記号および道路標識を含むことを特徴としている。
【０００８】
また請求項３に記載の発明は、請求項１または２において、前記標章認識処理部は、標章データが記録された標章データベースと、前記標章データベースの前記標章データに基づき前記視点変換映像において標章認識を行い、認識した標章の標章データおよび認識した標章の位置座標を出力する標章認識部と、を備えることを特徴としている。
【０００９】
上記構成によれば、視点変換後の映像から道路上に描かれた文字、記号および道路標識を含む標章を抽出し、抽出した標章に該当する標章データに基づいて標章画像を重畳表示することで、路上に描かれた標章が反転したり傾いてディスプレイに表示された場合でも、標章の認識がしやすく、運転者が短時間に認識判断できる映像を提示することができる。
【００１０】
また請求項４に記載の発明は、請求項３において、前記標章データベースは、同一の標章に対し、標章を左右反転させた左右反転標章のデータと、標章の向きを複数の角度傾けた複数の回転標章のデータと、前記左右反転標章の向きを複数の角度傾けた複数の左右反転回転標章のデータとを、標章データとして備えていることを特徴としている。
【００１１】
上記構成によれば、視点変換映像の中で標章がどのような姿勢にあっても、標章を認識することができる。
【発明の効果】
【００１２】
視点変換後の映像から標章を抽出し、抽出した標章に該当する標章データに基づいて標章画像を重畳表示することで、路上に描かれた標章が反転したり傾いてディスプレイに表示された場合でも、標章の認識がしやすく、運転者が短時間に認識判断できる映像を提示する車載撮像装置を実現することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態を図面に従って説明する。
【００１４】
図１に本発明の実施形態の概要のブロック図を示す。
【００１５】
なお、本発明における標章とは、「歩道」、「停止」、車速を示す数字等の道路上に描かれた文字や記号、および道路標識を指すものとする。
【００１６】
車載撮像装置は、撮像部１００、映像変換処理部２００、標章認識部４００と標章データベース５００で構成された標章認識処理部３００、映像重畳処理部６００、表示部７００を備えている。
【００１７】
撮像部１００は、いわゆるＣＣＤ素子、またはＣＭＯＳ素子を用いた小型カメラであり、車両に取り付けられて車両の周囲を撮像し、映像を映像信号ＳＧ０１として映像変換処理部２００に出力する。取り付け位置は用途や車両の種類によって変わるが、本実施形態ではワンボックス車におけるリアビューカメラを例として、図１に示すようにルーフスポイラーの車幅方向略中央部分に取り付けられ、車両後方を撮像するものとする。
【００１８】
映像変換処理部２００は、撮像部１００で撮像した映像の視点変換を行い、視点変換映像を視点変換映像信号ＳＧ０２として標章認識部４００と映像重畳処理部６００とに出力する。視点変換映像の例を図２に示す。視点変換は、撮像した位置とは異なる位置に仮想カメラがあるものとし、仮想カメラから撮像した映像となるように映像の座標変換を行うもので、撮像部１００の取り付け位置座標、取り付け角度、撮像範囲、撮像画素数、仮想カメラの位置座標、取り付け角度、撮像画素数等のパラメータに基づいて、公知の技術で実現が可能である。例えば、これらのパラメータより変換前に対する変換後の座標位置の変換テーブルを作成し、変換前の座標を変換テーブルに従い置き換えることで、視点変換映像を容易に得ることができる。その他、視点変換処理は種々の手法が提案されているが、いずれも公知の技術であるため、ここでの説明は省略する。
【００１９】
通常、車両に取り付けられた撮像部１００は、できるだけ広範囲の映像を撮像できるように、広角レンズを備えている。このような広角レンズを通して撮像した映像は、広角レンズの歪により映像に歪が生じている。しかしながら、この視点変換処理を行うことにより、撮像部１００での映像の歪が取り除かれるため、この後に行う標章認識処理が容易になる。
【００２０】
標章認識部４００では、映像変換処理部２００で視点変換した視点変換映像において、標章データベースに記録された標章データに基づいた標章認識を行う。ここで、標章認識は公知の技術で実現が可能である。例えば、まず視点変換映像から標章認識を行う処理範囲を抽出し、抽出した処理範囲で二値化と微分積分処理による特徴抽出を行うことにより、標章に該当する映像、例えば文字の映像を抽出する。そして、抽出した映像を所定の大きさに拡大縮小して正規化し、標章データベースに記録された標章データとのパターンマッチングを行うことで、標章認識を行うことが可能である。その他、標章認識技術は、文字認識技術や道路標識認識技術等、種々の手法が提案されているが、いずれも公知の技術であるため、ここでの説明は省略する。
【００２１】
標章認識部４００で標章認識が行われ、視点変換映像内に標章が認識されると、標章認識部４００は該当する標章データを標章データ信号ＳＧ０４として映像重畳処理部６００に出力する。また、認識された標章の位置、例えば標章の中心位置の位置座標を標章認識位置座標信号ＳＧ０５として映像重畳処理部６００に出力する。
【００２２】
標章データベース５００には、あらかじめ種々の標章データが記録されている。ここで、撮像部１００が撮像した映像に路面が含まれ、その路面に標章が描かれていたとする。この場合、路面に描かれた標章に対する撮像部１００の撮像方向は車両の向きや撮像部１００の取り付け位置、方向により一定とはならないため、視点変換映像を表示部７００に表示した場合、その標章の上下方向が表示部７００の上下方向に一致するとは限らず、標章が傾いて表示される場合がある。また、運転者がより映像を認識しやすくなるように、運転者の運転方向と映像の方向が一致するように必要に応じて視点変換映像を左右反転、上下反転し、ディスプレイに表示する場合もある。このため、同一の標章に対し、通常の標章データに加えて、標章の左右を反転させた左右反転標章（図３（ａ）参照）の標章データ、標章を角度θ傾けた回転標章（図３（ｂ）参照）で、複数のθに対する（例えば５度毎にθ＝５度〜３５５度）標章データ、左右反転標章を角度θ傾けた左右反転回転標章（図３（ｃ）参照）で、複数のθに対する（例えば５度毎にθ＝５度〜３５５度）標章データ等、複数の標章データを標章データベースにあらかじめ記録しておく。
【００２３】
なお、例えば視点変換映像の中に左右反転標章や回転標章が認識された場合でも、標章認識部４００から映像重畳処理部６００に出力される標章データは、反転や回転をしていない標章データ、すなわち、標章の上下方向とディスプレイの上下方向が一致した標章データとする。
【００２４】
映像重畳処理部６００は、標章認識部４００から受け取った標章データ信号ＳＧ０４に基づいて、表示する標章画像を作成する。また、標章認識部４００から受け取った位置座標において、作成した標章画像をいわゆるスーパーインポーズ処理によって視点変換映像に重畳し、表示部７００に映像信号として出力する。
【００２５】
この際、重畳する標章は、図４（ａ）に示すように、認識した標章の位置座標に単純に表示するもの、図４（ｂ）に示すように、標章データの周囲の所定の範囲を所定の色で塗りつぶして表示するもの、図４（ｃ）に示すように標章データを半透明として表示するもの、複数の標章が認識された場合は図４（ｄ）に示すように標章をまとめて外枠を付して表示するもの、等、種々の表示パターンがあり、あらかじめ選択した表示パターンで標章が重畳される。この表示パターンの選択は、映像重畳処理部６００に入力される表示パターン選択信号ＳＧ０６によって行われる。表示パターン選択信号ＳＧ０６は、機械的に設けた選択スイッチ（図示省略）、またはソフトウエアによるメニュー表示の選択によって映像重畳処理部６００に入力される。
【００２６】
表示部７００は、車室内のインストルメントパネル（図示省略）に設けられ、受け取った映像信号を表示する。
【００２７】
なお、視点変換映像は常に表示部７００に表示されているものではなく、所定のトリガーによって表示部７００に表示される。例えば、本実施形態では、撮像部１００は後退走行時の視覚補助を行うために車両後方を撮像するものであり、シフトレバー（図示省略）を、後退走行を意味する「Ｒ」位置とした際に、シフトレバーに設けられた「Ｒ」位置検出スイッチ（図示省略）のオン信号をトリガーとして、撮像部１００で撮像した映像が視点変換されて表示部７００に表示される。
【００２８】
以上の動作をフローチャートにしたものが図５である。
【００２９】
ステップＳ１０１では、撮像部１００で撮像された映像が、映像変換処理部２００において視点変換映像に変換される。この後に、フローはステップＳ１０２へ移行する。
【００３０】
ステップＳ１０２では、標章認識部４００において、標章の抽出と標章データとのパターンマッチングにより標章認識が行われる。この後に、フローはステップＳ１０３へ移行する。
【００３１】
ステップＳ１０３では、標章が認識されたか否かの判定が行われる。標章が認識された場合は、フローはステップＳ１０４に移行する。一方、標章が認識されなかった場合は、フローはステップＳ１０７へ移行する。
【００３２】
ステップＳ１０４では、映像重畳処理部６００において、標章データに基づき重畳する標章画像が作成される。作成される標章画像は、標章の上下方向とディスプレイの上下方向が一致した標章画像である。標章の表示パターンは、例えば図４（ａ）〜（ｄ）に示したように種々の種類があり、あらかじめ選択された種類の表示パターンに従った標章画像が作成される。この後に、フローはステップＳ１０５へ移行する。
【００３３】
ステップＳ１０５では、作成された標章画像が視点変換映像に重畳される。標章画像は、標章が認識された位置座標に重畳される。この後に、フローはステップＳ１０６へ移行する。
【００３４】
ステップＳ１０６では、表示部７００に標章画像が重畳された視点変換映像が表示される。
【００３５】
ステップＳ１０７では、視点変換映像がそのまま表示される。
【００３６】
以上の動作により、視点変換後の映像から標章を抽出し、抽出した標章に該当する標章データに基づいて標章を重畳表示することで、標章が反転したり傾いてディスプレイに表示された場合でも、標章の認識がしやすく、運転者が短時間に認識判断できる映像を提示することができる。
【００３７】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【００３８】
例えば、ブロック図は図１に示すものに限定されるものではなく、同等の機能を備えていればよい。
【００３９】
また、撮像部１００は一つに限定されるものではなく、複数備えていても良い。
【００４０】
また、標章の表示パターンは、図４に示すものに限定されるものではない。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態における車載撮像装置のブロック図である。
【図２】本発明の実施形態における視点変換前後の映像例である。
【図３】本発明の実施形態における左右反転、回転、左右反転回転した標章データの例である。
【図４】本発明の実施形態における表示例である。
【図５】本発明の実施形態におけるフローチャートである。
【符号の説明】
【００４２】
１００  撮像部
２００  映像変換処理部
３００  標章認識処理部
４００  標章認識部
５００  標章データベース
６００  映像重畳処理部
７００  表示部
【図１】
2008228204.tif 000003
【図２】
2008228204.tif 000004
【図３】
2008228204.tif 000005
【図４】
2008228204.tif 000006
【図５】
2008228204.tif 000007