(57)【要約】【課題】乗員に煩わしさを感じさせることなく、所定の対象物の視認性を高めること。【解決手段】車両に設置され、車両周辺を撮像する第１の撮像装置１０１により撮像された画像である周辺画像を取得する取得部１１と、取得部１１が取得した周辺画像から所定の対象物を検知する検知部１２と、周辺画像において検知部１２により検知された所定の対象物を含む領域を算出する算出部１３と、を含む表示システム１０における表示制御装置１４の決定部１５が、乗員の目の位置から表示媒体１０３を介して所定の対象物が観察される場合において、所定の対象物を含む領域が観察される表示媒体１０３上の領域を決定し、処理部１６が、周辺画像から算出部１３により算出された領域を切り出した画像を決定部１５により決定された領域に表示させる。【選択図】  図１
2017005341.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置され、車両周辺を撮像する撮像装置により撮像された画像である周辺画像を取得する取得部と、
前記取得部が取得した周辺画像から所定の対象物を検知する検知部と、
前記周辺画像において前記検知部により検知された所定の対象物を含む領域を算出する算出部と、
を含む表示システムにおける表示制御装置であって、
乗員の目の位置から表示媒体を介して前記所定の対象物が観察される場合において、前記所定の対象物を含む領域が観察される前記表示媒体上の領域を決定する決定部と、
前記周辺画像から前記算出部により算出された領域を切り出した画像を、前記決定部により決定された領域に表示させる処理部と、
を備える表示制御装置。
【請求項２】
前記表示媒体は、光を透過することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示媒体は、光を反射することを特徴とする請求項１に記載の表示制御装置。
【請求項４】
前記処理部は、前記乗員が前記表示媒体に表示された前記所定の対象物を視認したと判定された場合に、前記算出部により算出された領域を前記決定部により決定された領域に表示させる処理を中止させる請求項１に記載の表示制御装置。
【請求項５】
請求項１に記載の表示制御装置を備える請求項１に記載の表示システム。
【請求項６】
車両に設置され、車両周辺を撮像する撮像装置により撮像された画像である周辺画像を取得する取得ステップと、
前記取得ステップにて取得された周辺画像から所定の対象物を検知する検知ステップと、
前記周辺画像において、前記検知ステップにて検知された所定の対象物を含む領域を算出する算出ステップと、
乗員の目の位置から表示媒体を介して前記所定の対象物が観察される場合において、前記所定の対象物を含む領域が観察される前記表示媒体上の領域を決定する決定ステップと、
前記周辺画像から前記算出ステップにて算出された領域を切り出した画像を、前記決定ステップにて決定された領域に表示させる処理ステップと、
を含む表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像された画像の表示制御を行う表示制御装置、その表示制御装置を備える表示システム、および、画像の表示を行う表示方法に関する。
【背景技術】
【０００２】
従来、撮像装置により撮像された車両の周辺画像において、障害物が映っている領域を囲む枠を表示することにより、障害物の存在を乗員が容易に認識できるようにする技術がある。
【０００３】
例えば、特許文献１には、車両の周辺に存在する障害物を認識し、その障害物が危険と判定された場合に、障害物を囲む軌道上を移動する画像を表示することにより、障害物の存在を乗員に知らせる表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６７３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の従来技術では、現実の風景と全く関係のない画像が表示されるため、乗員が煩わしさを感じることがある。
【０００６】
本発明は、乗員に煩わしさを感じさせることなく、所定の対象物の視認性を高めることが可能な表示制御装置、表示システム、および、表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る表示制御装置は、車両に設置され、車両周辺を撮像する撮像装置により撮像された画像である周辺画像を取得する取得部と、取得部が取得した周辺画像から所定の対象物を検知する検知部と、周辺画像において検知部により検知された所定の対象物を含む領域を算出する算出部と、を含む表示システムにおける表示制御装置であって、乗員の目の位置から表示媒体を介して所定の対象物が観察される場合において、所定の対象物を含む領域が観察される表示媒体上の領域を決定する決定部と、周辺画像から算出部により算出された領域を切り出した画像を決定部により決定された領域に表示させる処理部と、を備える。
【０００８】
また、本発明に係る表示システムは、上記表示制御装置を備える上記表示システムである。
【０００９】
また、本発明に係る表示方法は、車両に設置され、車両周辺を撮像する撮像装置により撮像された画像である周辺画像を取得する取得ステップと、取得ステップにて取得された周辺画像から所定の対象物を検知する検知ステップと、周辺画像において検知ステップにて検知された所定の対象物を含む領域を算出する算出ステップと、乗員の目の位置から表示媒体を介して所定の対象物が観察される場合において、所定の対象物を含む領域が観察される表示媒体上の領域を決定する決定ステップと、周辺画像から算出ステップにて算出された領域を切り出した画像を、決定ステップにて決定された領域に表示させる処理ステップと、を含む。
【発明の効果】
【００１０】
本発明によれば、乗員に煩わしさを感じさせることなく、所定の対象物の視認性を高めることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１における表示システムの一例を示す機能ブロック図
【図２】実施の形態１における表示処理の処理手順の一例を示すフロー図
【図３】実施の形態１における表示処理について説明する説明図
【図４】実施の形態２における表示システムの一例を示す機能ブロック図
【図５】実施の形態２における表示処理の処理手順の一例を示すフロー図
【図６】実施の形態２における表示処理について説明する説明図
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
（実施の形態１）
図１は、本実施の形態１における表示システム１０の一例を示す機能ブロック図である。表示システム１０は、第１の撮像装置１０１、第２の撮像装置１０２と接続され、表示システム１０は表示媒体１０３に画像を表示させる。
【００１４】
ここで、第１の撮像装置１０１は、車両に設置されるＣＣＤカメラなどの撮像装置である。第１の撮像装置１０１は、車両の前方を撮像する向きに設置されている。第２の撮像装置１０２は、乗員の目の領域を撮像するＣＣＤカメラなどの撮像装置である。
【００１５】
表示媒体１０３は、車両前部に設置され、乗員に車両の前方の風景に画像を重畳して視認させる表示媒体である。例えば、表示媒体１０３は、映像が投影されるＨＵＤ（Head-Up Display）などの装置である。本実施形態の表示媒体１０３は、車両のダッシュボード内に設置された液晶ディスプレイと、車両のフロントウインドウに設けられ、液晶ディスプレイに表示された画像を反射することにより乗員に虚像を観察させるコンバイナとからなる。乗員は、表示媒体１０３の透明なコンバイナを介して車両の前方に存在する実際の物体を直接観察するとともに、液晶ディスプレイに画像が表示されてできる虚像を観察する。なお、液晶ディスプレイに代えて、プロジェクタとスクリーンにより画像を表示してもよい。
【００１６】
表示システム１０は、取得部１１、検知部１２、算出部１３、表示制御装置１４を有する。
【００１７】
取得部１１は、車両の前方を撮像した第１の撮像装置１０１から周辺画像を取得する。
【００１８】
検知部１２は、周辺画像に映っている車両や歩行者などの所定の対象物を検知する。この検知は、従来の画像認識技術を用いて行うことができる。
【００１９】
算出部１３は、周辺画像における検知部１２により検知された対象物を含む領域を算出する。この領域は、例えば、対象物の大きさに応じて設定される矩形領域を表す２次元座標である。
【００２０】
表示制御装置１４は、表示媒体１０３における画像の表示を制御する。表示制御装置１４は、決定部１５、および、処理部１６を有する。
【００２１】
決定部１５は、表示媒体１０３を介して乗員の目の位置から車両の前方にある対象物が観察される場合において、その対象物を含む領域が観察される表示媒体１０３上の領域を決定する。この決定方法については、後に図３を用いて説明する。
【００２２】
処理部１６は、周辺画像から算出部１３により算出された対象物を含む領域を切り出した画像を、決定部１５により決定された領域に表示させる。
【００２３】
ここで、周辺画像から上記対象物を含む領域を切り出した画像が表示媒体１０３上に表示されると、乗員にとって対象物が表示媒体１０３の虚像の表示距離にあるように見える。一方、上記以外の領域に見える物体、すなわち、乗員が表示媒体１０３を介して直接観察する人や物は、乗員にとってそれぞれの距離にあるように見える。
【００２４】
そのため、決定部１５により決定された領域は、取得部１１で取得した周辺画像から算出部１３により算出された領域を切り出した画像が表示されるため、周りから浮かび上がって見える。よって、その領域が強調表示され、視認性が高まる。
【００２５】
また、その領域を強調表示するために現実の風景と全く関係のない枠などを表示することがないため、乗員に煩わしさを感じさせることがない。
【００２６】
次に、本実施の形態１における表示処理の処理手順について、図２及び図３を参照して説明する。図２は、本実施の形態１における表示処理の処理手順の一例を示すフロー図であり、図３は、本実施の形態１における表示処理について説明する説明図である。
【００２７】
図２、図３において、まず、取得部１１は、第１の撮像装置１０１から車両の前方を撮像した周辺画像２００を取得する（ステップＳ１０１）。
【００２８】
そして、検知部１２は、周辺画像２００から人や他の車両などの所定の対象物２０１を検知する処理を行い、その対象物２０１が検知されたか否かを判定する（ステップＳ１０２）。
【００２９】
対象物２０１が検知されない場合（ステップＳ１０２：ＮＯ）、周辺画像の取得処理が再度実行される（ステップＳ１０１）。
【００３０】
対象物２０１が検知された場合（ステップＳ１０２：ＹＥＳ）、算出部１３は、周辺画像２００における検知部１２により検知された対象物２０１を含む領域２０２を算出する（ステップＳ１０３）。以下、対象物を含む領域を「対象物領域」と表現する場合がある。
【００３１】
その後、決定部１５は、算出部１３により算出された周辺画像２００における対象物２０１を含む領域２０２の情報から実空間における対象物２０１を含む領域２０３を算出する（ステップＳ１０４）。
【００３２】
また、決定部１５は、第２の撮像装置１０２から乗員の目領域を撮像した画像（目領域画像）を取得する（ステップＳ１０５）。そして、決定部１５は、目領域を撮像した画像から乗員の目の位置２０４を算出する（ステップＳ１０６）。
【００３３】
その後、決定部１５は、乗員が表示媒体１０３を介して対象物２０１を観察する際の、表示媒体１０３上の対象物領域を決定する。本実施形態において、表示媒体１０３上の対象物領域とは、画像が表示される液晶ディスプレイ上の対象物領域であり、この対象物領域は、画像を反射するコンバイナ上の対象物領域、および乗員が観察する虚像上の対象物領域と対応している。なお、以下の説明では、表示媒体１０３に画像が表示されてできる虚像が表示される領域（以下、「虚像表示領域」と呼ぶ）における対象物領域を決定する。これは結果として表示媒体１０３における対象物領域を決定することと同等である。具体的には、決定部１５は、実空間における対象物２０１を含む領域２０３の情報、虚像表示領域２０５の情報、および、目の位置２０４の情報を用いて、周辺画像２００における対象物領域２０２と対応する領域が観察される、虚像表示領域２０５上の対象物領域２０６を決定する（ステップＳ１０７）。
【００３４】
そして、処理部１６は、ステップＳ１０１で取得した周辺画像２００から対象物２０１を含む領域２０２の画像（対象物領域画像）２０９を切り出す（ステップＳ１０８）。
【００３５】
そして、処理部１６は、虚像表示領域２０５上の対象物領域２０６に対象物領域画像２０９が表示されるように、表示媒体１０３に表示する出力画像２０７を生成する（ステップＳ１０９）。ここで、出力画像２０７における対象物領域以外の領域は黒画像としている。よって、この出力画像２０７を表示媒体１０３に表示させると、対象物領域以外の領域には虚像が観察されない。従って、乗員は、対象物領域以外の領域では表示媒体１０３を介して直接物体を観察することになる。なお、出力画像２０７の対象物領域以外の領域を全て黒画像とする必要はなく、何らかの情報を示す画像があっても良い。
【００３６】
その後、処理部１６は、出力画像２０７を表示媒体１０３に表示させる（ステップＳ１１０）。図３には、出力画像２０７の表示時に乗員に見える風景２０８が示されている。ここで、風景２０８では、対象物２０１を囲む枠が破線で示されているが、これは説明のために便宜的に付加したものであり、実際には見えないものである。実際には、破線で囲まれた対象物領域が周りから浮かび上がって見える。
【００３７】
ここで、対象物領域２０６に表示される対象物領域画像２０９は、表示媒体１０３の虚像の表示距離に観察される。一方、それ以外の領域では、実際の物体を直接視認するため、それぞれの距離に観察される。
【００３８】
そのため、対象物領域２０６は、周りから浮かび上がって見えるので、その領域が強調表示され、視認性が高まる。また、その領域を強調表示するために現実の風景と全く関係のない枠などを表示することがないため、乗員に煩わしさを感じさせることがない。
【００３９】
（実施の形態２）
実施の形態１では、車両の前方の風景に画像を重畳して視認させる場合について説明した。以下では、車両の後方の風景に画像を重畳して視認させる場合について説明する。
【００４０】
図４は、本実施の形態２における表示システム２０の一例を示す機能ブロック図である。なお、図４において、図１と同じ構成については同一の符号を付し、その説明を省略する。
【００４１】
図４に示すように、表示システム２０は、第１の撮像装置１０１、第２の撮像装置１０２と接続され、表示システム２０は表示媒体１０４に画像を表示させる。
【００４２】
ここで、第１の撮像装置１０１は、実施の形態１とは異なり、車両の後方を撮像する向きに設置されている。また、表示媒体１０４は、車両前部に設置され、乗員に車両の後方の風景に画像を重畳して視認させるミラーモニタである。この表示媒体１０４は、その表側からの光を反射すると共に、その裏側からの光を透過するハーフミラーと、ハーフミラーの裏側に配置された液晶ディスプレイとを備える。乗員は、ハーフミラーによる反射を介して車両の後方に存在する実際の物体を直接観察するとともに、液晶ディスプレイに表示された画像を観察する。
【００４３】
表示システム２０は、ミラー傾き検知部１７を備える。ミラー傾き検知部１７は、表示媒体１０４に備わるハーフミラーの傾きを検知する。
【００４４】
決定部１８は、表示媒体１０４を介して乗員の目の位置から車両の後方にある所定の対象物が観察される場合において、所定の対象物を含む領域が観察される表示媒体１０４上の領域を決定する。この決定方法については、後に図６を用いて説明する。
【００４５】
次に、本実施の形態２における表示処理の処理手順について、図５及び図６を参照して説明する。図５は、本実施の形態２における表示処理の処理手順の一例を示すフロー図であり、図６は、本実施の形態２における表示処理について説明する説明図である。
【００４６】
図５において、ステップＳ２０１〜ステップＳ２０４、ステップＳ２０６、ステップＳ２０７、ステップＳ２０９〜ステップＳ２１１の各処理は、図２におけるステップＳ１０１〜ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０８〜ステップＳ１１０の各処理とそれぞれ同様であるが、ステップＳ２０５、および、ステップＳ２０８の処理が異なる。
【００４７】
具体的には、ステップＳ２０５において、ミラー傾き検知部１７は、ミラーの傾きを検知する。ここで検知された傾きは、決定部１８に出力される。
【００４８】
決定部１８は、実空間における対象物２０１を含む領域２０３の情報、ハーフミラーの傾きの情報、および、目の位置２０４の情報を用いて、周辺画像２００における対象物領域２０２と対応する領域が観察される、表示媒体１０４上の対象物領域２０６を決定する（ステップＳ２０８）。
【００４９】
その後、実施の形態１と同様に、表示媒体１０４における表示領域２０５上の領域２０６にステップＳ２０９において切り出した画像２０９が表示されるように、表示媒体１０４に表示する出力画像２０７が生成され、出力画像２０７が表示媒体１０４に表示される（ステップＳ２０９〜ステップＳ２１１）。
【００５０】
図６には、出力画像２０７の表示時に乗員に見える風景２０８が示されている。ここで、風景２０８では、対象物２０１を囲む枠が破線で示されているが、これは説明のために便宜的に付加したものであり、実際には見えないものである。実際には、破線で囲まれた対象物領域が周りから浮かび上がって見える。
【００５１】
ここで、領域２０６に表示される画像２０９は、表示媒体１０４の距離に観察される。一方、それ以外の領域では、実際の物体をハーフミラーを介して直接観察するため、物体はそれぞれの距離に観察される。
【００５２】
そのため、領域２０６は、周りから浮かび上がって見えるため、その領域が強調表示され、視認性が高まる。また、その領域を強調表示するため、現実の風景と全く関係のない枠などを表示することがないため、乗員に煩わしさを感じさせることがない。
【００５３】
以上本発明の実施の形態について説明したが、表示媒体１０３、または、表示媒体１０４が領域２０２の画像を表示した後、乗員が表示媒体１０３、または、表示媒体１０４に表示された対象物２０１を視認したと判定された場合に、周辺画像２００の領域２０２の画像２０９を領域２０６に表示させる処理を中止させることとしてもよい。
【００５４】
これにより、表示媒体１０３、または、表示媒体１０４の領域２０２において、対象物２０１を含む本来の風景が見えるようになり、乗員が対象物２０１を見たい場合に、乗員が違和感を覚えることを防止できる。
【００５５】
具体的には、決定部１５、または、決定部１８は、第２の撮像装置１０２が目領域を撮像した画像を取得し、乗員の視線が向いている方法を判定する。この判定処理は、視線の向きを判定する従来技術を用いてなされる。
【００５６】
そして、決定部１５、または、決定部１８は、乗員の視線が表示媒体１０３、１０４に表示された対象物２０１の方向に向いているか否かを判定し、視線が対象物２０１の方向に向いていると判定された場合に、乗員が表示媒体１０３、または、表示媒体１０４に表示された対象物２０１を視認したと判定する。これらの判定処理も従来の技術を用いて行うことができる。
【産業上の利用可能性】
【００５７】
本発明は、乗員に煩わしさを感じさせることなく、所定の対象物の視認性を高めることが要求される表示制御装置や表示システム、表示方法に好適に利用できる。
【符号の説明】
【００５８】
１０、２０  表示システム
１１  取得部
１２  検知部
１３  算出部
１４  表示制御装置
１５、１８  決定部
１６  処理部
１７  ミラー傾き検知部
１０１  第１の撮像装置
１０２  第２の撮像装置
１０３、１０４  表示媒体
【図１】
2017005341.tif 000003
【図２】
2017005341.tif 000004
【図３】
2017005341.tif 000005
【図４】
2017005341.tif 000006
【図５】
2017005341.tif 000007
【図６】
2017005341.tif 000008