(57)【要約】【課題】車両との位置関係を把握しやすい、車両の後方を撮像した画像を出力することができる画像処理装置、画像表示システムおよび画像処理方法を提供する。【解決手段】画像処理装置１０は、車両１の後方を撮像する向きで車両１に配置されている撮像装置１２〜１４により撮像された画像５１〜５３を撮像装置から取得する取得部１０１と、運転手Ｕ１の顔位置を検出する位置検出部１０２と、位置検出部１０２により検出された顔位置Ｐ１に応じて、画像５１〜５３を含む合成画像５０のうち当該顔位置Ｐ１に対応する範囲７１を切り出すと共に、切り出すことにより得られた画像５４の上記顔位置に対応する位置Ｐ１１に車両１の位置を示す位置画像８０を重畳する画像処理を行い、画像処理後の画像６０を出力する画像処理部１０３と、を備える。【選択図】図２
2019175133.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、
運転手の顔位置を検出する位置検出部と、
前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備える
画像処理装置。
【請求項２】
前記画像処理部は、前記車両の車室内に配置されている表示装置の表示面をミラーと仮定したときに、当該表示面を介して、前記位置検出部により検出された前記顔位置において前記運転手が見ることができると推定される範囲を、前記対象画像から切り出す
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記位置検出部が検出した前記顔位置が前記車両の左右方向の一方側に移動していた場合、前記対象画像から前記第２画像を切り出す範囲を前記顔位置が移動する前の範囲よりも前記車両の左右方向の他方側に移動させ、前記位置画像を重畳させる位置を前記顔位置が移動する前の位置よりも前記車両の左右方向の一方側に移動させる
請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記顔位置が移動した場合に、前記位置画像を重畳させる位置を移動させる第１距離を、前記第２画像を前記対象画像から切り出す前記範囲を移動させる第２距離よりも長くする
請求項３に記載の画像処理装置。
【請求項５】
前記位置画像は、前記第２画像よりも小さい画像であり、前記運転手よりも後ろの位置にある前記車両の装備品を示す模式図である
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像処理部は、所定の入力に応じて前記位置画像の透明度を変更する
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
さらに、
前記車両周辺の照度を検出する照度センサを備え、
前記所定の入力は、前記照度センサにより検出された前記照度であり、
前記画像処理部は、前記照度が小さいほど前記透明度を大きくする
請求項６に記載の画像処理装置。
【請求項８】
さらに、
互いに異なる複数種類の前記位置画像を記憶している記憶部を備え、
前記画像処理部は、前記記憶部に記憶されている前記複数種類の位置画像のうちの、予め選択された１以上の位置画像を前記第２画像に重畳する
請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
さらに、
前記車両から所定の距離以内の位置に後続車両が位置するか否かを判定する判定部を備え、
前記画像処理部は、前記所定の距離以内の位置に前記後続車両が位置したと前記判定部により判定された場合、前記画像処理において前記位置画像の重畳をしない
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置と、
前記撮像装置と、
前記画像処理装置により出力された前記第３画像を表示する表示装置と、を備える
画像表示システム。
【請求項１１】
車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得し、
運転手の顔位置を検出し、
検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、
画像処理後の第３画像を出力する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両に配置された撮像装置から得られた画像を画像処理する画像処理装置、画像表示システムおよび画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、画像表示用ディスプレイが設けられたルームミラー上に定義された座標系におけるユーザの視点座標を検出し、検出した視点座標に基づいて画像表示用ディスプレイでの画像表示形態を制御する画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３３５４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、ユーザは、車両の後方が撮像された画像と、当該画像の車両との位置関係を把握しにくいという課題があった。
【０００５】
そこで、本発明は、車両との位置関係を把握しやすい、車両の後方を撮像した画像を出力することができる画像処理装置、画像表示システムおよび画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、運転手の顔位置を検出する位置検出部と、前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備える。
【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本発明の画像処理装置などは、車両との位置関係を把握しやすい、車両の後方の撮像した画像を出力することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る車両の一例を示す模式図である。
【図２】図２は、実施の形態に係る画像表示システムの機能構成の一例を示すブロック図である。
【図３】図３は、実施の形態に係る撮像装置により撮像される車両後方における撮像範囲を説明するための図である。
【図４】図４は、実施の形態に係る画像処理装置による画像処理前後、および、画像処理過程の画像を示す説明図である。
【図５】図５は、通常の運転中における顔位置で画像処理部が画像を切り出す範囲を説明するための図である。
【図６】図６は、移動した後の顔位置で画像処理部が画像を切り出す範囲を説明するための図である。
【図７】図７は、顔位置が移動する前後における画像処理部による画像処理の違いについて説明するための図である。
【図８】図８は、実施の形態に係る画像表示システムの動作の一例を示すシーケンス図である。
【図９】図９は、実施の形態に係る画像処理装置における画像処理の一例を示すフローチャートである。
【図１０】図１０は、変形例２に係る画像表示システムの機能構成の一例を示すブロック図である。
【図１１】図１１は、変形例２に係る画像処理装置における画像処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、画像表示装置に関し、以下の問題が生じることを見出した。
【００１１】
特許文献１に記載の画像表示装置では、カメラで取得した画像情報に基づいてリアウィンドウ方向の景観を画像表示用ディスプレイに表示させ、かつ、死角となって見通し不能な景観をワイヤーフレームなどを用いて表示させることが開示されている。しかしながら、特許文献１のように、リアウィンドウ方向の景観と、死角となって見通し不能な景観とを両方表示させてしまうと、画像が煩雑になるため、ユーザは、車両と車両の周囲の画像との位置関係、および、表示されている画像における車両後方を把握しにくいという課題があった。
【００１２】
以上の課題を解決するために、本発明者は、鋭意検討の上、下記の構成の画像処理装置、画像表示システムおよび画像処理方法を見出すに至った。
【００１３】
本発明の一態様に係る画像処理装置は、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、運転手の顔位置を検出する位置検出部と、前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備える。
【００１４】
これによれば、検出された運転手の顔位置に応じて、撮像装置により撮像された画像を含む対象画像から切り出す画像の範囲の位置と、第２画像に重畳させる位置画像の位置とを決定している。このため、車両の後方を撮像した画像を含む対象画像から運転手の顔位置に応じた適切な範囲で画像を切り出すことができ、かつ、切り出した画像の、顔位置に応じた適切な位置に位置画像を重畳させることができる。よって、車両との位置関係を把握しやすい、車両の後方を撮像した画像を出力することができる。これにより、運転手は、例えば、ルームミラーの代用として設けられた表示装置において表示された画像を見ることで、より少ない違和感で車両の後方の状況を把握することができる。
【００１５】
また、前記画像処理部は、前記車両の車室内に配置されている表示装置の表示面をミラーと仮定したときに、当該表示面を介して、前記位置検出部により検出された前記顔位置において前記運転手が見ることができると推定される範囲を、前記対象画像から切り出してもよい。
【００１６】
このように、画像処理装置は、ルームミラーを運転手が見ていると仮定したときに見えると推定される範囲を対象画像から切り出すため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
【００１７】
また、前記画像処理部は、前記位置検出部が検出した前記顔位置が前記車両の左右方向の一方側に移動していた場合、前記対象画像から前記第２画像を切り出す範囲を前記顔位置が移動する前の範囲よりも前記車両の左右方向の他方側に移動させ、前記位置画像を重畳させる位置を前記顔位置が移動する前の位置よりも前記車両の左右方向の一方側に移動させてもよい。
【００１８】
このように、画像処理装置は、顔位置が左右方向の一方側に移動したときには、切り出す範囲を他方側に移動させ、かつ、位置画像を重畳させる位置を一方側に移動させる。これは、顔位置が左右方向の一方側に移動したときには、ルームミラーには移動前よりも他方側の範囲が映り込むと推定されるからである。同様に、顔位置が左右方向の一方側に移動したときにはルームミラーを介した視線方向は他方側に移動するため、車両の車室内の装備品は反対側の一方側に移動すると推定されるからである。上記のように、画像処理装置は、切り出す範囲および位置画像を重畳する位置を決定するため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
【００１９】
また、前記画像処理部は、前記顔位置が移動した場合に、前記位置画像を重畳させる位置を移動させる第１距離を、前記第２画像を前記対象画像から切り出す前記範囲を移動させる第２距離よりも長くしてもよい。
【００２０】
撮像装置により撮像された画像の撮像対象は、車両の外部にあり、位置画像が示す車両の内部の装備品の位置よりも運転手からは遠い位置にある。このため、運転手が顔位置を左右方向に移動させてルームミラーを見た場合、運転手は、近い位置にある装備品の方が遠い位置にある車両の外部の対象よりも移動する距離が大きくなる。よって、上記のように、第１距離を第２距離よりも長くすることで、撮像装置により撮像された画像を含む対象画像から切り出す画像の範囲の位置と、第２画像に重畳させる位置画像の位置とを、ルームミラーを見ているときと同様に決定することができる。このため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
【００２１】
また、前記位置画像は、前記第２画像よりも小さい画像であり、前記運転手よりも後ろの位置にある前記車両の装備品を示す模式図であってもよい。
【００２２】
このように、位置画像は、切り出された画像よりも小さい画像であるため、重畳後の画像が煩雑になることを低減することができる。また、位置画像は、車両の装備品を示す模式図であるため、運転手は、画像を見ることで、車両の周囲の画像と車両との位置関係、および、表示されている画像における車両後方を直感的に把握することができる。
【００２３】
また、前記画像処理部は、所定の入力に応じて前記位置画像の透明度を変更してもよい。
【００２４】
このため、例えば、運転手の好み、車室内の明るさなどに応じて透明度が変更された位置画像が重畳された画像を提供することができる。
【００２５】
また、さらに、前記車両周辺の照度を検出する照度センサを備え、前記所定の入力は、前記照度センサにより検出された前記照度であり、前記画像処理部は、前記照度が小さいほど前記透明度を大きくしてもよい。
【００２６】
これによれば、車両の外部の対象を撮像した画像が暗くて外部の対象を視認しにくいと推定される場合、位置画像の透明度を小さくする。透明度位置画像が表示されることで、車両１の外部の対象の視認性が低下することを低減することができる。
【００２７】
また、さらに、互いに異なる複数種類の前記位置画像を記憶している記憶部を備え、前記画像処理部は、前記記憶部に記憶されている前記複数種類の位置画像のうちの、予め選択された１以上の位置画像を前記第２画像に重畳してもよい。
【００２８】
このため、運転手の好みに応じた画像を提供することができる。
【００２９】
また、さらに、前記車両から所定の距離以内の位置に後続車両が位置するか否かを判定する判定部を備え、前記画像処理部は、前記所定の距離以内の位置に前記後続車両が位置したと前記判定部により判定された場合、前記画像処理において前記位置画像の重畳をしなくてもよい。
【００３０】
これによれば、後続車両が近づいて画像内に大きく映り込んでいる場合、画像処理部は、位置画像を重畳しないため、画像に写り込んでいる後続車両のサイズと位置画像のサイズとの差が大きくなることで運転手に与える違和感を低減することができる。
【００３１】
本発明の一態様に係る画像表示システムは、上記の画像処理装置と、前記撮像装置と、前記画像処理装置により出力された前記第３画像を表示する表示装置と、を備える。
【００３２】
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３３】
以下、本発明の一態様に係る画像処理装置、画像表示システムおよび画像処理方法について、図面を参照しながら具体的に説明する。
【００３４】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３５】
（実施の形態）
実施の形態に係る画像表示システムについて説明する。
【００３６】
［１．構成］
図１は、実施の形態に係る車両の一例を示す模式図である。図２は、実施の形態に係る画像表示システムの機能構成の一例を示すブロック図である。図３は、実施の形態に係る撮像装置により撮像される車両後方における撮像範囲を説明するための図である。図４は、実施の形態に係る画像処理装置による画像処理前後、および、画像処理過程の画像を示す説明図である。
【００３７】
これらの図に示されるように、車両１は、画像表示システム１００を備える。画像表示システム１００は、画像処理装置１０と、撮像装置１２、１３及び１４と、表示装置４０とを備える。なお、以降の説明において特に断らない場合には、前後左右の方向は、車両１の進行方向を前方とした場合の方向とし、これは車両１のユーザにとっての前後左右の方向ともいえる。
【００３８】
撮像装置１２は、車両１の左側ドア付近に固定され、車両１の左側後方の撮像範囲Ｒ１を撮影するカメラである。撮像装置１２は、車両１の左側後方の撮像範囲Ｒ１を撮影して画像５１を生成する。撮像装置１２が生成した画像５１を左側後方画像ともいう。
【００３９】
撮像装置１３は、車両１の右側ドア付近に固定され、車両１の右側後方の撮像範囲Ｒ２を撮影するカメラである。撮像装置１３は、車両１の右側後方の撮像範囲Ｒ２を撮影して画像５２を生成する。撮像装置１３が生成した画像５２を右側後方画像ともいう。
【００４０】
撮像装置１４は、車両１のリアバンパー又はトランクフード付近に固定され、車両１の中央後方の撮像範囲Ｒ３を撮影するカメラである。撮像装置１４は、車両１の中央後方の撮像範囲Ｒ３を撮影して画像５３を生成する。撮像装置１４が生成した画像５３を中央後方画像ともいう。
【００４１】
このように、撮像装置１２〜１４のそれぞれは、車両１の後方を撮像する向きで車両１に配置されている。撮像装置１２〜１４により撮像範囲Ｒ１〜Ｒ３が撮像されるため、各撮像範囲Ｒ１〜Ｒ３よりも広い撮像範囲Ｒ１０が、撮像装置１２〜１４により撮像されることとなる。
【００４２】
撮像装置１２及び１４の撮像範囲Ｒ１およびＲ３の一部が重なっており、撮像装置１３及び１４の撮像範囲Ｒ２およびＲ３の一部が重なっている。そのため、左側後方画像と中央後方画像との一部には共通の対象が映っている。また、右側後方画像と中央後方画像との一部には共通の対象が映っている。
【００４３】
撮像装置１２、１３及び１４のそれぞれは、互いに異なる撮影条件の下で撮像することで画像を生成する。具体的には、撮像装置１２、１３及び１４のそれぞれは、互いに異なる位置に配置され、また、互いに異なる方向を向いて配置されており、例えば６０ｆｐｓで画像を取得する。また、撮像装置１２、１３及び１４のそれぞれの光学系の光学特性は異なっていてもよい。
【００４４】
画像処理装置１０は、各撮像装置１２〜１４から画像５１〜５３を取得し、取得した画像５１〜５３に基づいて、表示装置４０に表示させるための位置画像８０を出力する。具体的には、画像処理装置１０は、取得した画像５１〜５３から得られる広い撮像範囲Ｒ１０の合成画像５０のうち、運転手の顔位置に応じて、表示装置４０の表示面をルームミラーと仮定したときにルームミラーを介して運転手が見ることができると推定される範囲の画像５４を切り出して、切り出した画像５４に基づく画像６０を出力する。画像処理装置１０の詳細な説明は、後述する。
【００４５】
表示装置４０は、車両１の後方が映った画像である画像６０を表示する表示装置である。表示装置４０は、画像処理装置１０により出力された画像６０を表示する。表示装置４０は、画像処理装置１０により出力された画像６０を表示するため、車両１の後方を、光の反射を利用して映す従来のルームミラーの代用として用いられ得る。表示装置４０は、車両１の天井の前側中央部付近に配置されている。
【００４６】
図２を用いて、画像処理装置１０の機能的な構成について説明する。
【００４７】
画像処理装置１０は、取得部１０１と、位置検出部１０２と、画像処理部１０３と、記憶部１０４とを備える。
【００４８】
取得部１０１は、撮像装置１２〜１４によりそれぞれ撮像された画像５１〜５３を、各撮像装置１２〜１４から取得する。取得部１０１は、異なる複数のタイミング（例えば６０ｆｐｓ）で撮像装置１２〜１４のそれぞれにおいて撮像された画像を取得する。
【００４９】
位置検出部１０２は、運転手の顔位置を検出する。位置検出部１０２は、具体的には、表示装置４０に配置され、表示装置４０の表示面側（つまり表示装置４０の運転手側または後方）を撮像する撮像部３０を有し、撮像部３０により撮像された画像について顔認識処理を実行することで表示装置４０に対する運転手の顔位置を特定する。これにより、位置検出部１０２は、表示装置４０の基準位置から顔位置まで方向を特定することができる。なお、基準位置は、撮像部３０が配置されている表示装置４０の位置であってもよいし、表示装置４０の水平方向における中心位置であってもよい。また、撮像部３０は、例えば、カメラである。なお、位置検出部１０２は、運転手の目の位置を検出してもよいし、運転手の頭部の位置を検出することで運転手の顔位置を推定してもよい。
【００５０】
画像処理部１０３は、上述したように、画像５１〜５３を合成することで、合成画像５０を生成する。画像処理部１０３は、位置検出部１０２により検出された運転手の顔位置に応じて、対象画像としての合成画像５０のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた画像６０の顔位置に対応する位置に車両１の位置を示す位置画像８０を重畳する画像処理を行う。そして、画像処理部１０３は、画像処理後の画像６０を出力する。
【００５１】
画像処理部１０３は、位置検出部１０２が検出した運転手の顔位置が車両１の左右方向の一方に移動した場合、合成画像５０から画像を切り出す範囲を顔位置が移動する前の範囲よりも車両１の左右方向の他方側に移動させ、かつ、位置画像８０を重畳させる位置を顔位置が移動する前の位置よりも車両１の左右方向の一方側に移動させる。例えば、運転手の顔位置が右方向に移動した場合の例について図５〜図７を用いて説明する。
【００５２】
図５は、通常の運転中における顔位置で画像処理部が画像を切り出す範囲を説明するための図である。図６は、移動した後の顔位置で画像処理部が画像を切り出す範囲を説明するための図である。図７は、顔位置が移動する前後における画像処理部による画像処理の違いについて説明するための図である。
【００５３】
なお、図５および図６における（ａ）は、車両１の車室内の前側を上側から見た平面図であり、（ｂ）は、車両１を上側から見た平面図において撮像装置１２〜１４により撮像された撮像範囲Ｒ１０のうち表示装置４０に表示される画像の範囲を示す図である。図７の（ａ１）および（ａ２）は、図５の状態における画像処理部１０３による画像処理を説明するための図であり、（ａ１）は、合成画像５０から画像５４を切り出す処理例を示し、（ａ２）は、切り出した画像５４に位置画像８０を重畳させる処理例を示す図である。図７の（ｂ１）および（ｂ２）は、図６の状態における画像処理部１０３による画像処理を説明するための図であり、（ｂ１）は、合成画像５０から画像５５を切り出す処理例を示し、（ｂ２）は、切り出した画像５５に位置画像８０を重畳させる処理例を示す図である。図５および図６における一点鎖線Ｘは、車両１の前後方向を示す。
【００５４】
顔位置が移動する前として、図５の（ａ）に示されるように、例えば、運転手Ｕ１がステアリングホイール２２を握って通常の運転を行っており、運転手Ｕ１は、車両１の運転席２１の左右方向の中央に着座しているものとする。この場合、運転手Ｕ１が通常の運転中の顔位置Ｐ１において、表示装置４０をルームミラーと仮定した場合に運転手Ｕ１に視認されるルームミラー越しの視界の中心の方向Ｄ１が車両１の後方となる画像が表示装置４０に表示されるように、画像処理部１０３が切り出す範囲が調整されているものとする。つまり、この場合、図５の（ｂ）に示されるように、画像処理部１０３は、車両１の表示装置４０の中心位置（左右方向の中心位置）を起点とし、かつ、広い撮像範囲Ｒ１０のうちの方向Ｄ１を中心とする角度範囲θ１０に対応する範囲７１が画像を切り出す範囲として決定。角度範囲θ１０は、表示装置４０の中心位置を起点とし、方向Ｄ１を中心とする左右それぞれの角度範囲θ１１を合わせた角度範囲である。
【００５５】
なお、この場合の表示装置４０は、表示装置４０の表示面がルームミラーとした場合に、表示面を顔位置Ｐ１にある運転手Ｕ１が見た場合に、車両１の真後ろの範囲が表示面に反射される角度となるように、角度が調整されている。つまり、運転手Ｕ１の顔位置Ｐ１から表示装置４０の左右方向の中心の位置Ｐ３までの線と表示装置４０の表示面とがなす角の角度は、方向Ｄ１と表示装置４０の表示面とがなす角の角度と略等しい。
【００５６】
これにより、図７の（ａ１）に示されるように、画像処理部１０３は、合成画像５０から、決定された範囲７１を切り出すことにより画像５４を得る。そして、図７の（ａ２）に示されるように、画像処理部１０３は、切り出した画像５４の左右方向の中心の位置Ｐ１１に位置画像８０を重畳させ、重畳させることにより得られた画像６０を表示装置４０に出力する。なお、画像６０は、運転手が顔位置を移動させる前において画像処理部１０３により画像処理された後に出力される画像の一例である。
【００５７】
次に、顔位置が移動した場合について図６を用いて説明する。
【００５８】
図６の（ａ）に示されるように、顔位置が移動した後の場合として、例えば、運転手Ｕ１が運転席２１の右側に顔を移動させた場合を考える。この場合、運転手Ｕ１の顔位置Ｐ２において、表示装置４０をルームミラーと仮定した場合に運転手Ｕ１に視認されるルームミラー越しの視界の中心の方向Ｄ２は、方向Ｄ１よりも左よりの方向となる。この場合、図６の（ｂ）に示されるように、車両１の表示装置４０の中心位置（左右方向の中心位置）を起点とし、かつ、広い撮像範囲Ｒ１０のうちの方向Ｄ２を中心とする角度範囲θ２０に対応する範囲７２が画像を切り出す範囲として決定される。角度範囲θ２０は、表示装置４０の中心位置を起点とし、方向Ｄ２を中心とする左右それぞれの角度範囲θ１１を合わせた角度範囲である。
【００５９】
なお、この場合、運転手Ｕ１の顔位置Ｐ２から表示装置４０の中心の位置Ｐ３までの線と表示装置４０の表示面とがなす角の角度は、方向Ｄ２と表示装置４０の表示面とがなす角の角度と略等しい。
【００６０】
これにより、図７の（ｂ１）に示されるように、画像処理部１０３は、合成画像５０から、決定された範囲７２を切り出すことにより画像５５を得る。そして、図７の（ｂ２）に示されるように、画像処理部１０３は、顔位置Ｐ１の場合に位置画像８０を重畳させた位置Ｐ１１よりも第１距離ｄ１だけ右側の位置Ｐ１２に位置画像８０を重畳させ、重畳させることにより得られた画像６１を表示装置４０に出力する。このときに、画像処理部１０３は、顔位置Ｐ１から顔位置Ｐ２に顔位置が移動した場合に、位置画像８０を重畳させる位置を移動させる第１距離ｄ１を、画像６１を合成画像５０から切り出す範囲７１を移動させる第２距離ｄ２よりも長くする。つまり、画像６１は、運転手が顔位置を移動させた後において画像処理部１０３により画像処理された後に出力される画像の一例である。
【００６１】
ここで、第１距離ｄ１は、画像６１上における距離であり、例えば、画素数により表される。第２距離ｄ２は、画像６１上における距離であり、例えば、画像６１のうち運転手の顔位置が移動する前に切り出しが行われていた範囲７１の左右方向の他方側の端部の位置Ｐ２１と、運転手の顔位置が移動した後の画像６１の他方側の端部の位置Ｐ２２との間の画素数である。また、第２距離ｄ２は、合成画像５０上における距離であり、合成画像５０のうちの切り出す範囲７１と同サイズの画像を画像６１と同じ解像度に合成画像５０を対応させた画像における画素数により表されてもよい。
【００６２】
なお、図５〜図７を用いて、運転手Ｕ１の顔が右側に移動する場合を例に説明したが、左側に移動する場合も同様に説明できる。この場合、切り出す範囲は、右側に移動することとなり、位置画像８０を重畳する位置は左側に移動することとなる。
【００６３】
なお、画像処理部１０３は、上述した画像処理の他に、撮像装置１２〜１４の三次元空間におけるカメラの位置及び姿勢を示す外部パラメータと、カメラの焦点距離、収差、画像中心等の光学系の特性を示す内部パラメータとを調整する処理（つまり、校正）を行ってもよい。
【００６４】
記憶部１０４は、位置画像８０を記憶している。位置画像８０は、切り出した画像５４、５５よりも小さい画像であり、運転手Ｕ１よりも後ろの位置にある車両１の装備品を示す模式図（例えばＣＧ）である。記憶部１０４は、互いに異なる複数種類の位置画像を記憶していてもよい。この場合、画像処理部１０３は、記憶部１０４に記憶されている複数種類の位置画像８０のうちの、予め選択された１以上の位置画像を切り出した画像５４、５５に重畳する。画像処理部１０３により重畳される位置画像には、ユーザにより予め選択された画像を用いてもよいし、画像処理装置１０が工場出荷時の初期設定において選択された画像を用いてもよい。位置画像８０は、図７に示されるように、車両１のシートの模式図が用いられてもよいし、車両１のリアワイパー、リアスピーカ、リアピラーなどの他の装備品の模式図が用いられてもよい。
【００６５】
［２．動作］
次に、画像表示システム１００の動作について説明する。
【００６６】
図８は、実施の形態に係る画像表示システム１００の動作の一例を示すシーケンス図である。図９は、実施の形態に係る画像処理装置における画像処理の一例を示すフローチャートである。
【００６７】
画像表示システム１００では、図８に示すように、撮像装置１２〜１４のそれぞれは、撮像により得られた画像を出力する（Ｓ１〜Ｓ３）。
【００６８】
画像処理装置１０では、位置検出部１０２が運転手Ｕ１の顔位置を検出し（Ｓ４）、撮像装置１２〜１４により得られた画像に対して、画像処理部１０３が検出された顔位置に応じた画像処理を実行し（Ｓ５）、画像処理後の画像を出力する。なお、ステップＳ５の画像処理の詳細は後述する。
【００６９】
表示装置４０は、画像処理装置１０から出力された画像を取得して、当該画像を表示する（Ｓ６）。
【００７０】
画像表示システム１００では、ステップＳ１〜Ｓ６の処理を繰り返し実行することで、リアルタイムに、同じタイミングで撮像装置１２〜１４で撮像された３枚の画像を、検出した顔位置に応じて画像処理し、画像処理後の画像を表示装置４０に表示する。
【００７１】
次に、画像処理装置１０における画像処理について図９を用いて説明する。
【００７２】
画像処理において、画像処理装置１０では、取得部１０１は、撮像装置１２〜１４により撮像された３枚の画像５１〜５３を取得する（Ｓ１１）。
【００７３】
次に、画像処理部１０３は、３枚の画像５１〜５３を合成し、合成画像５０を得る（Ｓ１２）。
【００７４】
そして、画像処理部１０３は、検出された顔位置に応じて、合成画像５０のうち顔位置に対応する範囲７１の画像５４を切り出す（Ｓ１３）。
【００７５】
画像処理部１０３は、切り出した画像５４の顔位置に対応する位置に位置画像８０を重畳する（Ｓ１４）。
【００７６】
画像処理部１０３は、位置画像８０を重畳した後の画像６０（または画像６１）を表示装置４０に出力する（Ｓ１５）。
【００７７】
なお、顔位置を検出する処理を実施する頻度は、画像処理の頻度よりも少なくてもよい。車両１が走行中においては、車両１の周囲の景色は変化し続けるため撮像装置１２〜１４により得られた最新の画像を使用する必要があるが、顔位置が移動する頻度は少なく、また、顔位置が移動する速度は、車両１が走行する速度よりも遅いためである。
【００７８】
［３．効果など］
本実施の形態に係る画像処理装置１０は、取得部１０１と、位置検出部１０２と、画像処理部１０３とを備える。取得部１０１は、車両１の後方を撮像する向きで車両１に配置されている撮像装置１２〜１４により撮像された画像５１〜５３を撮像装置１２〜１４から取得する。位置検出部１０２は、運転手Ｕ１の顔位置を検出する。画像処理部１０３は、位置検出部１０２により検出された顔位置に応じて、画像５１〜５３を合成した合成画像５０のうち当該顔位置Ｐ１に対応する範囲７１を切り出すと共に、切り出すことにより得られた画像５４の顔位置Ｐ１に対応する位置Ｐ１１に車両１の位置を示す位置画像８０を重畳する画像処理を行い、画像処理後の画像６０（または画像６１）を出力する。
【００７９】
つまり、画像処理装置１０では、検出された運転手Ｕ１の顔位置Ｐ１に応じて、撮像装置１２〜１４により撮像された画像５１〜５３を含む合成画像５０から切り出す画像５４の範囲７１の位置Ｐ２１と、画像５４に重畳させる位置画像８０の位置Ｐ１１とを決定している。このため、車両１の後方を撮像した画像５１〜５３を含む合成画像５０から運転手Ｕ１の顔位置Ｐ１に応じた適切な範囲７１で画像５４を切り出すことができ、かつ、切り出した画像５４の、顔位置Ｐ１に応じた適切な位置Ｐ１１に位置画像８０を重畳させることができる。よって、車両１との位置関係を把握しやすい、車両１の後方を撮像した画像６０（または画像６１）を出力することができる。これにより、運転手Ｕ１は、例えば、ルームミラーの代用として設けられた表示装置４０において表示された画像を見ることで、より少ない違和感で車両１の後方の状況を把握することができる。
【００８０】
また、本実施の形態に係る画像処理装置１０において、画像処理部１０３は、車両１の車室内に配置されている表示装置４０の表示面をミラーと仮定したときに、当該表示面を介して、位置検出部１０２により検出された顔位置Ｐ１、Ｐ２において運転手Ｕ１が見ることができると推定される範囲７１、７２を、合成画像５０から切り出す。このように、画像処理装置１０は、ルームミラーを運転手が見ていると仮定したときに見えると推定される範囲を対象画像から切り出すため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
【００８１】
また、本実施の形態に係る画像処理装置１０において、画像処理部１０３は、位置検出部１０２が検出した顔位置Ｐ２が車両１の左右方向の一方側（例えば右側）に移動していた場合、合成画像５０から画像５４を切り出す範囲７２を顔位置が移動する前の範囲７１よりも車両１の左右方向の他方側（例えば左側）に移動させ、位置画像８０を重畳させる位置Ｐ１２を顔位置が移動する前の顔位置Ｐ１よりも車両１の左右方向の一方側（例えば右側）に移動させる。
【００８２】
このように、画像処理装置１０は、図６に示すように顔位置が左右方向の一方側（例えば右側）に移動したときには、図７に示すように、切り出す範囲を他方側（例えば左側）に移動させ、かつ、位置画像を重畳させる位置を一方側（例えば右側）に移動させる。これは、顔位置が左右方向の一方側（例えば右側）に移動したときには、ルームミラーには移動前よりも他方側（例えば左側）の範囲が映り込むと推定されるからである。同様に、顔位置が左右方向の一方側（例えば右側）に移動したときには、図６に示すように、ルームミラーを介した視線方向は他方側（例えば左側）に移動するため、車両の車室内の装備品は他方側とは反対側の一方側（例えば右側）に移動すると推定されるからである。上記のように、画像処理装置１０は、切り出す範囲および位置画像を重畳する位置を決定するため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
【００８３】
また、本実施の形態に係る画像処理装置１０において、画像処理部１０３は、検出された顔位置が移動した場合に、位置画像８０を重畳させる位置を移動させる第１距離ｄ１を、画像を合成画像５０から切り出す範囲を移動させる第２距離ｄ２よりも長くする。
【００８４】
撮像装置１２〜１４により撮像された画像の撮像対象は、車両１の外部にあり、位置画像８０が示す車両１の内部の装備品の位置よりも運転手Ｕ１からは遠い位置にある。このため、運転手Ｕ１が顔位置を左右方向に移動させてルームミラーを見た場合、運転手Ｕ１は、近い位置にある装備品の方が遠い位置にある車両１の外部の対象よりも移動する距離が大きくなる。よって、上記のように、第１距離ｄ１を第２距離ｄ２よりも長くすることで、撮像装置により撮像された画像を含む対象画像から切り出す画像の範囲の位置と、第２画像に重畳させる位置画像の位置とを、ルームミラーを見ているときと同様に決定することができる。このため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
【００８５】
また、本実施の形態に係る画像処理装置１０において、位置画像８０は、切り出された画像５４、５５よりも小さい画像であり、運転手Ｕ１よりも後ろの位置にある車両１の装備品を示す模式図である。このように、位置画像８０は、切り出された画像５４、５５よりも小さい画像であるため、重畳後の画像６０、６１が煩雑になることを低減することができる。また、位置画像８０は、車両１の装備品を示す模式図であるため、運転手Ｕ１は、画像６０、６１を見ることで、車両１の周囲の画像５４、５５と車両１との位置関係、および、表示されている画像６０、６１における車両後方を直感的に把握することができる。
【００８６】
［４．変形例］
［４−１．変形例１］
変形例１に係る画像処理装置について説明する。
【００８７】
変形例１に係る画像処理装置は、実施の形態の構成と同様であるが、画像処理部１０３がさらに下記の処理を実行する点が異なる。
【００８８】
具体的には、画像処理部１０３は、さらに、所定の入力に応じて位置画像８０の透明度を変更してもよい。つまり、画像処理部１０３は、切り出された画像５４、５５に重畳させる位置画像８０の透明度を調整し、調整後の位置画像８０を重畳してもよい。
【００８９】
画像処理部１０３は、例えば、所定の入力としてユーザにより設定された値を用いて位置画像８０の透明度を調整してもよい。
【００９０】
また、画像処理部１０３は、例えば、所定の入力として照度センサにより検出された照度を用いて位置画像８０の透明度を調整してもよい。この場合、画像処理部１０３は、照度センサにより検出された照度が小さいほど位置画像８０の透明度を大きくする。なお、この場合の照度センサは、車両１に設けられ、車両１周辺の照度を検出するセンサである。照度センサは、車両１の内部に配置されていてもよいし、車両１の外部に配置されていてもよい。照度センサの検出結果を用いて、車両１の外部の照度を推定できればどの位置に配置されていてもよい。
【００９１】
変形例１に係る画像処理装置１０では、画像処理部１０３は、所定の入力に応じて位置画像８０の透明度を変更する。このため、例えば、運転手の好み、車室内の明るさなどに応じて透明度が変更された位置画像が重畳された画像を提供することができる。
【００９２】
また、変形例１に係る画像処理装置１０では、画像処理部１０３は、照度センサにより検出された照度が小さいほど透明度を大きくする。このため、車両１の外部の対象を撮像した画像が暗くて外部の対象を視認しにくいと推定される場合、位置画像８０の透明度を大きくすることで、車両１の外部の対象の視認性が低下することを低減することができる。
【００９３】
［４−２．変形例２］
変形例２に係る画像処理装置について説明する。
【００９４】
図１０は、変形例２に係る画像表示システムの機能構成の一例を示すブロック図である。
【００９５】
図１０に示されるように、変形例２に係る画像表示システム１００Ａは、実施の形態に係る画像表示システム１００と比較して、画像処理装置１０Ａがさらに判定部１０５を備える点と、画像処理部１０３Ａによる処理とが異なる。変形例２に係る画像表示システム１００Ａのその他の構成は、実施の形態に係る画像表示システム１００と同様であるので説明を省略する。
【００９６】
判定部１０５は、車両１から所定の距離以内の位置に後続車両が位置するか否かを判定する。判定部１０５は、例えば、撮像装置１４により得られた画像を画像解析することにより、後続車両が所定の距離以内の位置に位置するか否かを判定してもよい。判定部１０５は、車両１が後方の物体との距離を検出する距離センサを有している場合には、距離センサの検出結果を用いて上記の判定を行ってもよい。
【００９７】
画像処理部１０３Ａは、判定部１０５により、所定の距離以内の位置に後続車両が位置したと判定した場合、実施の形態で説明した画像処理において、検出された顔位置に応じて、合成画像５０のうち当該顔位置に対応する範囲を切り出し、かつ、位置画像８０の重畳をしない。
【００９８】
図１１は、変形例２に係る画像処理装置における画像処理の一例を示すフローチャートである。
【００９９】
変形例２に係る画像処理は、実施の形態に係る画像処理と比較して、ステップＳ２１およびＳ２２が追加されている点が異なる。実施の形態に係る画像処理と同様の処理の説明は、省略する。
【０１００】
まず、実施の形態と同様にステップＳ１１〜Ｓ１３が行われる。
【０１０１】
ステップＳ１３の後に、判定部１０５は、車両１から所定の距離以内の位置に後続車両が位置するか否かを判定する（Ｓ２１）。
【０１０２】
画像処理部１０３は、判定部１０５により、車両１から所定の距離以内の位置に後続車両が位置すると判定された場合（Ｓ２１でＹｅｓ）、位置画像８０を重畳せずに、重畳しない、切り出した後の画像を出力する（Ｓ２２）。
【０１０３】
一方で、画像処理部１０３は、判定部１０５により、車両１から所定の距離以内の位置に後続車両が位置しないと判定された場合（Ｓ２１でＮｏ）、ステップＳ１４、Ｓ１５を行う。
【０１０４】
これによれば、後続車両が近づいて画像内に大きく映り込んでいる場合、画像処理部１０３は、位置画像８０を重畳しないため、画像に写り込んでいる後続車両のサイズと位置画像８０のサイズとの差が大きくなることで運転手Ｕ１に与える違和感を低減することができる。
【０１０５】
［４−３．変形例３］
上記実施の形態およびその変形例１、２に係る画像表示システム１００、１００Ａは、複数の撮像装置１２〜１４を備える構成としたが、これに限らずに、１つの撮像装置を備える構成としてもよい。
【０１０６】
［４−４．変形例４］
上記実施の形態では、位置検出部１０２は、撮像部３０を有し、撮像部３０により得られた画像に顔認識処理を実行することで表示装置４０に対する運転手の顔位置を特定するとしたが、これに限るものではない。例えば、位置検出部は、デプスセンサを有し、デプスセンサが検出した結果を用いて運転手の顔位置を特定してもよい。また、位置検出部は、サーモグラフィを有し、サーモグラフィが検出した結果を用いて運転手の顔位置を特定してもよい。
【０１０７】
なお、上記各実施の形態において、画像処理装置１０の各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１０８】
すなわち、このプログラムは、コンピュータに、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得し、運転手の顔位置を検出し、検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理方法を実行させる。
【０１０９】
以上、本発明の一つまたは複数の態様に係る画像処理装置、画像表示システムおよび画像処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１１０】
本発明は、車両との位置関係を把握しやすい、車両の後方の撮像した画像を出力することができる画像処理装置、画像表示システムおよび画像処理方法などとして有用である。
【符号の説明】
【０１１１】
１    車両
１０、１０Ａ    画像処理装置
１２〜１４    撮像装置
２１    運転席
２２    ステアリングホイール
３０    撮像部
４０    表示装置
５０    合成画像
５１〜５５、６０、６１    画像
７１、７２    範囲
８０    位置画像
１００、１００Ａ    画像表示システム
１０１    取得部
１０２    位置検出部
１０３、１０３Ａ    画像処理部
１０４    記憶部
１０５    判定部
Ｄ１、Ｄ２    方向
ｄ１    第１距離
ｄ２    第２距離
Ｐ１、Ｐ２、Ｐ３、Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２    位置
Ｒ１、Ｒ２、Ｒ３、Ｒ１０    撮像範囲
Ｕ１    運転手
θ１０、θ１１、θ２０    角度範囲
【図１】
2019175133.tif 000003
【図２】
2019175133.tif 000004
【図３】
2019175133.tif 000005
【図４】
2019175133.tif 000006
【図５】
2019175133.tif 000007
【図６】
2019175133.tif 000008
【図７】
2019175133.tif 000009
【図８】
2019175133.tif 000010
【図９】
2019175133.tif 000011
【図１０】
2019175133.tif 000012
【図１１】
2019175133.tif 000013