(57)【要約】【課題】表示部に撮影対象物のサイズを変化させて表示するような場合において、ユーザに視覚を通じてわかり易く通知することができる映像処理装置を提供する。【解決手段】移動体に搭載された撮影部によって撮影される前記移動体の外界の映像を制御部により表示サイズを変更して表示部に表示を行う映像処理装置において、撮影対象物と前記撮影部、または前記移動体との距離を算出する距離算出部と、該距離算出部により算出された結果に応じて前記表示部に表示する映像中の少なくとも一部分の表示色を変更した映像を生成する映像加工処理部と、を有する構成となる。【選択図】    図２
2019129383.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された撮影部によって撮影される前記移動体の外界の映像を、制御部により表示サイズを変更して表示部に表示を行う映像処理装置において、
撮影対象物と前記撮影部、または前記移動体との距離を算出する距離算出部と、
該距離算出部により算出された結果に応じて前記表示部に表示する映像中の少なくとも一部分の表示色を変更した映像を生成する映像加工処理部と、を備えることを特徴とする映像処理装置。
【請求項２】
前記距離算出部より、前記撮影対象物の位置が予め設定された所定の距離内に位置するか否かを判定する距離判定部をさらに備え、
該距離判定部は、前記撮影対象物が当該所定の距離より近くに位置しているか、該所定の距離より遠くに位置しているか、該所定の距離に位置しているか、の少なくともいずれかに該当するかを判定することができ、
前記映像加工処理部は前記距離判定部の判定結果に応じて前記表示部に表示する映像中の少なくとも一部分の表示色を変更した映像を生成すること、を特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像加工処理部は、前記表示部に表示された前記撮影対象物を含む映像上の少なくとも一か所に表示オブジェクトを重畳させ、該表示オブジェクトの表示色を前記距離算出部より算出された前記撮影対象物と前記撮影部、または前記移動体との距離に応じて変更した映像を生成すること、を特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項４】
前記映像加工処理部は、前記表示部に表示された前記撮影対象物を含む映像上の少なくとも一か所に文字を重畳させ、該文字の表示色を前記距離算出部より算出された前記撮影対象物と前記撮影部、または前記移動体との距離に応じて変更した映像を生成すること、を特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項５】
前記映像加工処理部は、前記表示部全体の表示色を前記距離算出部より算出された前記撮影対象物と前記撮影部、または前記移動体との距離に応じて変更した映像を生成すること、を特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項６】
前記映像加工処理部は、前記表示部における映像表示領域の外周の表示色を前記距離算出部より算出された前記撮影対象物と前記撮影部、または前記移動体との距離に応じて変更した映像を生成すること、を特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項７】
前記映像加工処理部は、前記表示部に表示されている前記撮影対象物の表示色を前記距離算出部より算出された前記撮影対象物と前記撮影部、または前記移動体との距離に応じて変更した映像を生成すること、を特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項８】
前記映像加工処理部により重畳する色情報は、前記表示部に表示された前記撮影対象物の位置と実際の前記撮影対象車両の位置の変化に応じて、コントラストを変化することができる請求項１から請求項７のいずれか一項に記載の映像処理装置。
【請求項９】
前記制御部は映像制御部を有しており、前記映像制御部は撮影部のレンズの倍率を調整することができ、前記映像制御部は検出された前記撮影対象物の挙動に応じて前記撮影部の倍率を制御すること、を特徴とする請求項１に記載の映像処理装置。
【請求項１０】
前記制御部は、前記撮影部により撮影された映像から前記撮影対象物が写っている所定の領域を切り出し、映像を加工すること、を特徴とする請求項１に記載の映像処理装置。
【請求項１１】
移動体の外界を撮影する撮影装置から撮影対象物の表示サイズを変えた映像を取得し、加工して表示装置に表示させる映像処理方法であって、
前記撮影対象物と前記撮影部、または前記移動体との距離を算出するステップと、
前記映像加工処理部は該距離算出部により算出された結果に応じて前記表示部に表示する映像中の少なくとも一部分の表示色を変更した映像を生成するステップと、備えることを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮影された映像を表示部に表示させる技術に関する。
【背景技術】
【０００２】
近年、車載カメラが普及してきている。また、リアビューモニタ等、車両走行中に車載カメラにより撮影された映像をリアルタイムにモニタに表示させる用途が多くなってきている。この技術に関するものでは、例えば、特許文献１のような、撮影した車両を常に表示部の中央に一定のサイズで表示するように、カメラの撮影方向や倍率を制御する技術が開示されている。また、特許文献２のように撮影映像における関心領域のみを切り出し、拡大表示を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−１０８８４９号公報
【特許文献２】特開２０１６−２２００１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来技術のように表示サイズを変化させて表示部に表示してしまうと、撮影部の倍率変化や拡大表示により、撮影した実際の車両と映像処理により表示部に表示された車両との位置関係が異なってしまうという問題が生じる。結果として、ユーザは実際の車両が近いのか遠いのかが把握できなくなり、安全性が確保できなくなる。
【０００５】
本発明は、このような問題を鑑みてなされたものであって、表示部に撮影映像の表示サイズを変化させて表示するような場合において、ユーザに撮影対象物と自車両との位置関係を誤認させることなく通知することができる映像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に係る映像処理装置は、移動体に搭載された撮影部によって撮影される前記移動体の外界の映像を制御部により表示サイズを変更して表示部に表示を行う映像処理装置において、撮影対象物と前記撮影部、または前記移動体との距離を算出する距離算出部と、該距離算出部により算出された結果に応じて前記表示部に表示する映像中の少なくとも一部分の表示色を変更した映像を生成する映像加処理部とを備える。
【発明の効果】
【０００７】
本発明によれば、表示部に撮影映像の表示サイズを変化させて表示する際に、ユーザに撮影対象物と自車両との位置関係を誤認させることなく通知することができるという効果がある。
【図面の簡単な説明】
【０００８】
【図１】本発明が適応されるケースを模式的に示した図である。
【図２】本実施形態における映像処理装置のブロック図である。
【図３】車両内に搭載される表示部を示した図である。
【図４】制御構成を示すフローチャートである。
【図５】表示ＤＢ内の格納データの例を示す図である。
【図６】本実施形態の表示部に表示される例を示した図である。
【図７】表示形状を感嘆符にした場合の図である。
【図８】表示形状を文字にした場合の図である。
【図９】表示形状を表示部の映像表示領域の外周にした場合の図である。
【図１０】表示部全体に色情報を重畳した図である。
【図１１】撮影対象物上に色情報を重畳した図である。
【図１２】撮影対象物を覆うように色情報を重畳した図である。
【図１３】表示色のコントラストを変化させた図である。
【発明を実施するための形態】
【０００９】
本発明の実施の形態は、車載カメラで撮影した自車両後方の映像を、運転者から見える位置に設置されたモニタに表示させる映像処理装置に関する。
【００１０】
図１は本発明が適応されるケースを模式的に示した図である。Ａが自車両でＢが撮影対象車両である。１０は撮影部であり、本実施形態では車載カメラにより撮影を行う。また、図１では車両後部に車載カメラを内蔵させた例であるが、車内または車外の任意の位置に取り付けられる。撮影部１０の位置を自車両位置とした場合、撮影対象車両Ｂとの車間距離は距離ｄで表される。なお、どの位置との距離ｄを算出するかは本実施形態に留まらず実施形態によって変更可能である。
【００１１】
図２は本実施形態における映像処理装置１００の構成を示すブロック図である。図２に示すように、映像処理装置１００には、自車両の外界を撮影する撮影部１０と、撮影映像を表示する表示部３０がケーブル等を介して接続されている。
【００１２】
撮影部１０に用いられる撮影素子としては、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを使用可能である。また、本実施形態では、撮影部１０が一つの場合のみを説明しているが、撮影部１０が複数存在していても、本発明を適応することが可能である。
【００１３】
図３は車両内に搭載される表示部を示した図である。図３に示すように、表示部３０は例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などを表示デバイスとして用いることが可能である。本実施形態において表示部３０は、自車両内の所定位置に設けるための器材等からなる電子ミラー３０ａを想定している。しかし、本発明は電子ミラーのみに限定したものでなく、表示用モニタとして、例えば、スマートフォン、タブレット、外付けのポータブルナビゲーション装置などの外付けの情報端末のディスプレイ３０ｂを使用できる。他には、ナビゲーション装置上のディスプレイ３０ｃや、ヘッドアップディスプレイによる虚像３０ｄ、クラスタに搭載されたディスプレイ３０ｅに適応可能である。また、撮影部が複数あり、後方映像を表示するディスプレイとは別で、サイドミラーなどに取り付けられた撮影部から撮影された映像を表示部３０ｆ１、３０ｆ２のような側方向表示部３０ｆに表示をさせることも可能である。もちろん、一つの表示部に後方、両側方向の映像を分割して表示するようにしてもよい。
【００１４】
映像処理装置１００は、他車両検出部２０、制御部２１、車間距離判定部２３、映像加工処理部２４を備えている。
まず、他車両検出部２０は、撮影部１０より撮影された映像から他車両を検出する。そして、制御部２１は、当該他車両検出部２０より検出された他車両との車間距離を算出する車間距離算出部２１１と、表示部３０にサイズを変更して表示するために算出された車間距離を用いて撮影部の倍率を制御する映像制御手段２１２を備える。
【００１５】
車間距離算出部２１１は、他車両検出部２０が取得した撮影対象車両の位置に基づいて、自車両と撮影対象車両との距離を算出する。図１のように自車両Ａの後端部に設置されている撮影部から撮影対象車両Ｂの先端部までの距離ｄを算出することが好ましい。これは、運転者に実際の自車両Ａの後端部と撮影対象車両Ｂの先端部との距離を把握させることができるからである。
【００１６】
車間距離の算出手法としては、撮影部１０と撮影対象車両Ｂとの三角法より算出されたものであってもいいし、撮影部１０の他に車間距離を計測するセンサを搭載し、当該センサより算出されたものであってもよい。
【００１７】
また、撮影部１０の取り付け位置が車両後端では無い場合には、自車両の後端を検出、または予め設定して、当該検出または設定された車両の後端部から撮影対象車両先端部までの距離を算出する構成であってもよい。
【００１８】
そして、映像制御手段２１２より映像制御信号を撮影部１０に出力し、車間距離情報および映像制御情報を車間距離判定部２３に出力する。
以下、他車両検出部２０によって検出された他車両を撮影対象車両とする。
【００１９】
車間距離判定部２３は、車間距離算出部２１１が算出した車間距離に基づいて、撮影対象車両が所定距離に位置しているか否かを判定する。なお所定距離とは、予め設定された自車両と撮影対象車両との車間距離である。例えば所定距離を４０ｍと設定した場合、４０ｍという値のみを判断基準にしてもよいし、前後５ｍまでは所定距離４０ｍとして扱うようにしてもよい。または、４０ｍから６０ｍまでの範囲を所定距離とするようにしてもよい。
【００２０】
映像加工処理部２４は、表示色を決定する表示データ決定部２４１と予め各判定に対応した表示データを格納している表示ＤＢ２４２とを備える。表示ＤＢ２４２に格納しているデータとしては少なくとも色情報があり、その他に表示形状や表示位置などのデータを含んでいてもよい。表示形状や表示位置については図５の説明の際に合わせて説明を行う。
【００２１】
これにより、車間距離判定部２３による判定結果を映像加工処理部２４に送り、表示ＤＢ２４２に格納されている表示データから当該判定結果に対応した表示データを表示データ決定部２４１により決定する。そして、所定の表示色を付加した映像を生成して表示部３０に出力する。
【００２２】
なお、本実施形態では、撮影部１０とは別に他車両検出部２０と制御部２１と車間距離算出部２１１が存在しているが、他車両検出部２０と制御部２１と車間距離算出部２１１の機能を撮影部１０が有していてもよい。
【００２３】
次に、本実施形態に係る映像処理装置の処理手順について図４、図５及び図６を参照して説明する。図４は、本実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【００２４】
図５は、表示ＤＢ２４２の格納データの例を示す図である。（ａ）は図１における自車両Ａと撮影対象車両Ｂとの距離ｄが近距離であり、本実施の形態では距離ｄが４０ｍ以下の場合を示している。（ｂ）は自車両Ａと撮影対象車両Ｂの距離ｄが標準距離であり、本実施の形態では距離ｄが４０ｍ以上６０ｍ以下の場合を示している。（ｃ）は自車両Ａと撮影対象車両Ｂの距離ｄが遠距離であり、本実施の形態では距離ｄが６０ｍ以上の場合を示している。各表示データ内には表示部３０へ出力する映像を加工する際の表示形態や当該表示形状に付加する色情報、表示位置などを格納している。
【００２５】
図６は、表示部３０に表示される表示映像の例を示す説明図であり、（ａ）が自車両Ａと撮影対象車両Ｂとの距離が近距離、（ｂ）が自車両Ａと撮影対象車両Ｂとの距離が標準距離、（ｃ）が自車両Ａと撮影対象車両Ｂとの距離が遠距離の場合における、本発明に係る映像処理装置１００を用いていない状態の状態図であり、（ｄ）がそれぞれ（ａ）〜（ｃ）において、本実施形態に係る映像処理装置１００を用いた状態を示している。
【００２６】
図４に示すように、まず、撮影部１０で自車両後方の撮影を行い、当該撮影範囲の中で他車両検出部２０は他車両を検出する（ＳＴ１）。ここで、他車両が検出できなかった場合（ＳＴ１：ＮＯ）、他車両検出部２０は他車両を検出するまでこの処理を繰り返す。
【００２７】
そして、他車両を検出した場合（ＳＴ１：ＹＥＳ）、検出された他車両を撮影対象車両として、取得した撮影映像から自車両と撮影対象車両との車間距離を算出する（ＳＴ２）。車間距離の算出方法としては、上述したような手法を用いて車間距離を取得する。
【００２８】
撮影対象車両を表示部３０にサイズ変更をして表示できるように、映像制御手段２１２より撮影部の倍率を制御する（ＳＴ３）。なお、撮影部の倍率だけでなく、撮影範囲や角度などを制御して撮影対象物を追従して撮影するような場合においても本発明を適応することができる。さらに、撮影部の映像制御をした映像だけでなく、撮影映像を映像処理により一部切り出して拡大表示するような場合においても本発明を適応することができる。
【００２９】
ＳＴ２で取得した車間距離に基づいて、車間距離判定部２３にて判定処理を行う（ＳＴ４、ＳＴ５）。本実施形態では、距離ｄが４０ｍ以下であれば近距離判定、距離ｄが４０ｍ以上６０ｍ以下であれば標準距離判定、６０ｍ以上であれば遠距離判定とする。また、本実施の形態では上述のような距離ｄの設定値を設けたが、距離ｄの値は変更可能であるし、本実施形態では三分割する判定処理を設けているが分割数は適宜選択可能である。
【００３０】
まず、距離ｄが４０ｍ以上６０ｍ以下である標準距離であると判定された場合（ＳＴ４：ＹＥＳ）、映像加工処理部２４における表示ＤＢ２４２から標準距離として予め用意されているデータを抽出し、表示データを決定する（ＳＴ６）。標準距離として予め用意されているデータとは、例えば、図５（ｂ）である。標準距離と判定された場合、本実施形態における表示例としては、図６（ｄ）のように表示部内の少なくとも一か所に色情報重畳場所１００を設け、当該色情報重畳場所１００に表示色として青色を重畳させた映像を生成する。
【００３１】
次に、距離ｄが４０ｍ以上６０ｍ以下である標準距離と判定されなかった場合（ＳＴ４：ＮＯ）、距離ｄが４０ｍ以下である近距離であるかどうかの判定に移る（ＳＴ５）。
【００３２】
距離ｄが４０ｍ以下である近距離であると判定された場合（ＳＴ５：ＹＥＳ）、映像加工処理部２４における表示ＤＢ２４２から近距離として予め用意されているデータを抽出し、表示データを決定する（ＳＴ７）。近距離として予め用意されているデータとは、図５（ａ）である。近距離と判定された場合、図６（ｄ）の色情報重畳場所１００に表示色として赤色を重畳させた映像を生成する。なお、色情報重畳場所１００とは、図５のような各表示データの表示形状と表示位置の少なくとも２つから決定するものである。
【００３３】
次に、距離ｄが４０ｍ以下である近距離であると判定されなかった場合（ＳＴ５：ＮＯ）、車間距離判定部２３は距離ｄが６０ｍ以上である遠距離であると判定する。その場合、映像加工処理部２４における表示ＤＢ２４２から遠距離として予め用意されているデータを抽出し、表示データを決定する（ＳＴ８）。遠距離として予め用意されているデータとは、図５（ｃ）である。遠距離と判定された場合、図６（ｄ）の色情報重畳場所１００に表示色として黄色を重畳させた映像を生成する。
【００３４】
上記のそれぞれの判定結果により生成された映像を表示部３０に送り、表示部に表示を行う（ＳＴ９）。よって、表示部としては、本発明で処理する前は図６（ａ）、図６（ｂ）、図６（ｃ）のような映像となるが、本発明の処理を施すことにより図６（ｄ）のように一定のサイズで表示し、かつ、車間距離の判定結果に応じた色情報を色情報重畳場所１００に重畳した映像となる。また、色情報重畳場所１００の位置は表示部内において、どこにあってもよい。
【００３５】
これにより、例えば、本来図６（ａ）のように近距離だったものは図６（ｄ）のように標準距離と同一の位置にあるように表示させ、色情報重畳場所１００に赤色を重畳させることで、近距離である圧迫感を感じることが無くなり、かつ、色情報により実際には撮影対象車両Ｂが近距離にいることを認識することができる。
【００３６】
なお、色情報重畳場所１００の形状は丸だけでなく、例えば感嘆符を表したマークや、バツや三角などの他のマークや記号を用いることができる。例として、図７に表示形状を感嘆符にした場合の図を示す。これにより、距離判定に応じて、表示色と表示オブジェクトを変えて重畳することで距離の把握だけでなく、危険かどうかなどのより詳細な情報を運転者に報知することができる。
【００３７】
さらに、表示部に表示した文字の表示色を変更するような構成にしてもよい。例として、図８に色情報重畳場所１００を文字にした場合の図を示す。図８のように、自車両位置と撮影対象車両の位置との距離の数値を色情報重畳場所１００として表示色を変更するようにしてもよい。
【００３８】
また、その他の表示の形態としては、図９のように表示部の映像表示領域の外周に色情報重畳場所１００を設けるような構成にしてもよいし、図１０のように表示部の表示領域全体に色情報を重畳してもよい。さらには、表示部に表示されている撮影対象車両Ｂに色情報を重畳させてもよい。これは、図１１のように撮影対象車両上のみに色情報を重畳してもよいし、図１２のように撮影対象車両Ｂを覆うように色情報を重畳してもよい。このように、広い範囲に色情報を表示部に表示された前記撮影対象車両を含む映像上に重畳させることでユーザに気づかれやすくなると共に、表示色の変化も気づきやすくなる。
【００３９】
色情報についても、それぞれの判定結果に応じて表示色を切り変えるのではなく、表示色のコントラストを変化させるようにしてもよい。図１３に表示色のコントラストを変化させた場合の図を示す。図１３のように、（ａ）の遠距離から（ｃ）の近距離になるに連れて表示色を濃くするようにしてもよい。または、（ａ）の遠距離の時は表示色を青、（ｃ）の近距離の時は表示色を赤に設定し、（ａ）の遠距離から（ｃ）の近距離になるに連れて表示色を青から赤に徐々に表示色を変化させる構成にしてもよい。
【００４０】
本実施形態によれば、表示部に撮影映像の表示サイズを変化させて表示する場合において、実際の移動体、または撮影部と撮影対象物との距離を表示映像中の少なくとも一か所に設けたマークの色情報を変化させて表現することで、ユーザに撮影対象物と自車両との位置関係を誤認させることなく通知することができる。
【００４１】
また、本発明は前記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能である。
【符号の説明】
【００４２】
Ａ           自車両
Ｂ           撮影対象車両
ｄ           距離
１０       撮影部
２０       他車両検出部
２１       制御部
２１１    車間距離算出部
２１２    映像制御部
２３       車間距離判定部
２４       映像加工処理部
２４１    表示データ決定部
２４２    表示ＤＢ
３０（３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ、３０ｆ、３０ｆ１、３０ｆ２）  表示部
１００    映像処理装置
２００  色情報重畳場所
【図１】
2019129383.tif 000003
【図２】
2019129383.tif 000004
【図３】
2019129383.tif 000005
【図４】
2019129383.tif 000006
【図５】
2019129383.tif 000007
【図６】
2019129383.tif 000008
【図７】
2019129383.tif 000009
【図８】
2019129383.tif 000010
【図９】
2019129383.tif 000011
【図１０】
2019129383.tif 000012
【図１１】
2019129383.tif 000013
【図１２】
2019129383.tif 000014
【図１３】
2019129383.tif 000015