(57)【要約】【課題】運転において必要な部分を十分な大きさで表示しながら、車両の位置との対応を明確にする技術を提供する。【解決手段】合成部１２０は、第１変換画像を第１領域に配置させ、第２変換画像を第２領域に配置させるとともに、第１領域と第２領域のうちの車両に対応する位置に、車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成する。移動指示受付部１１２は、横方向の移動指示を受けつける。合成部１２０は、移動指示受付部１１２が移動指示を受けつけた場合、第１合成画像の第２領域よりも第２領域を拡大させるとともに、第２領域の拡大に応じてアイコンを車両に対応する位置に配置させた画像である第２合成画像を生成する。【選択図】図３
2020053916.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された第１撮像装置からの第１画像と、前記第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置からの第２画像とを受けつける入力受付部と、
前記入力受付部において受けつけた前記第１画像の少なくとも一部分が含まれる画像である第１変換画像と、前記入力受付部において受けつけた前記第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成する変換部と、
前記変換部において生成した前記第１変換画像を第１領域に配置させ、前記変換部において生成した前記第２変換画像を、前記第１領域の横に並べられる第２領域に配置させるとともに、前記第１領域と前記第２領域のうちの前記車両に対応する位置に、前記車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成する合成部と、
前記合成部において生成した前記第１合成画像を出力する出力部と、
前記第１撮像装置の搭載位置から前記第２撮像装置の搭載位置への横方向の移動指示を受けつける移動指示受付部とを備え、
前記合成部は、前記移動指示受付部が移動指示を受けつけた場合、前記第１合成画像の前記第２領域よりも前記第２領域を拡大させるとともに、前記第２領域の拡大に応じて前記アイコンを前記車両に対応する位置に配置させた画像である第２合成画像を生成し、
前記出力部は、前記合成部において生成した前記第２合成画像を出力する表示制御装置。
【請求項２】
前記移動指示受付部は、前記車両に搭載された方向指示器によって示された移動指示を受けつける請求項１に記載の表示制御装置。
【請求項３】
前記変換部は、前記第２画像の一部分を抽出することによって前記第２変換画像を生成し、
前記変換部は、前記合成部が前記第１合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さよりも、前記合成部が前記第２合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さを広くする請求項１または２に記載の表示制御装置。
【請求項４】
前記変換部は、前記第２画像の一部分を抽出することによって前記第２変換画像を生成し、
前記変換部は、前記合成部が前記第１合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さと、前記合成部が前記第２合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さとを等しくするとともに、前記合成部が前記第２合成画像を生成する場合において、前記第１合成画像を生成する場合よりも、前記第２画像から抽出した一部分を拡大する請求項１または２に記載の表示制御装置。
【請求項５】
前記入力受付部において受けつけた前記第２画像から監視対象物を検出する検出部をさらに備え、
前記変換部は、前記第２画像の一部分を抽出することによって前記第２変換画像を生成し、
前記変換部は、前記検出部が監視対象物を未検出である場合、前記合成部が前記第１合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さよりも、前記合成部が前記第２合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さを広くし、
前記変換部は、前記検出部が監視対象物を検出した場合、前記合成部が前記第１合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さと、前記合成部が前記第２合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さとを等しくするとともに、前記合成部が前記第２合成画像を生成する場合において、前記第１合成画像を生成する場合よりも、前記第２画像から抽出した一部分を拡大する請求項１または２に記載の表示制御装置。
【請求項６】
前記変換部は、前記第２画像の一部分を抽出することによって前記第２変換画像を生成し、
前記変換部は、前記合成部が前記第１合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さよりも、前記合成部が前記第２合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さを広くしながら、前記第１合成画像を生成する場合よりも、前記第２合成画像を生成する場合において前記第２画像から抽出した一部分を拡大する請求項１または２に記載の表示制御装置。
【請求項７】
車両であって
第１撮像装置と、
前記第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置と、
前記第１撮像装置と前記第２撮像装置とに接続される表示制御装置とを備え、
前記表示制御装置は、
前記第１撮像装置からの第１画像と、前記第２撮像装置からの第２画像とを受けつける入力受付部と、
前記入力受付部において受けつけた前記第１画像の少なくとも一部分が含まれる画像である第１変換画像と、前記入力受付部において受けつけた前記第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成する変換部と、
前記変換部において生成した前記第１変換画像を第１領域に配置させ、前記変換部において生成した前記第２変換画像を、前記第１領域の横に並べられる第２領域に配置させるとともに、前記第１領域と前記第２領域のうちの前記車両に対応する位置に、前記車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成する合成部と、
前記合成部において生成した前記第１合成画像を出力する出力部と、
前記第１撮像装置の搭載位置から前記第２撮像装置の搭載位置への横方向の移動指示を受けつける移動指示受付部とを備え、
前記合成部は、前記移動指示受付部が移動指示を受けつけた場合、前記第１合成画像の前記第２領域よりも前記第２領域を拡大させるとともに、前記第２領域の拡大に応じて前記アイコンを前記車両に対応する位置に配置させた画像である第２合成画像を生成し、
前記出力部は、前記合成部において生成した前記第２合成画像を出力する車両。
【請求項８】
車両に搭載された第１撮像装置からの第１画像と、前記第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置からの第２画像とを受けつけるステップと、
受けつけた前記第１画像の少なくとも一部分が含まれる画像である第１変換画像と、受けつけた前記第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成するステップと、
生成した前記第１変換画像を第１領域に配置させ、生成した前記第２変換画像を、前記第１領域の横に並べられる第２領域に配置させるとともに、前記第１領域と前記第２領域のうちの前記車両に対応する位置に、前記車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成するステップと、
生成した前記第１合成画像を出力するステップと、
前記第１撮像装置の搭載位置から前記第２撮像装置の搭載位置への横方向の移動指示を受けつけるステップと、
移動指示を受けつけた場合、前記第１合成画像の前記第２領域よりも前記第２領域を拡大させるとともに、前記第２領域の拡大に応じて前記アイコンを前記車両に対応する位置に配置させた画像である第２合成画像を生成するステップと、
生成した前記第２合成画像を出力するステップと、
を備える表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御技術、特に撮像装置において撮像した画像を表示させる表示制御装置、車両、表示制御方法に関する。
【背景技術】
【０００２】
車両外部の状況を把握するために、車両に搭載された３つの撮像装置により撮像された映像がインストルメントパネルのディスプレイに表示される。左側の映像、後側の映像、右側の映像が独立して表示されると、全体の状況が把握しづらくなる。全体の状況を把握しやすくするために、３つの撮像装置の映像の無限遠点（消失点）を合わせて、１つの仮想視点から見たような合成映像が生成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２５７４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の撮像装置により撮像された映像を合成する場合、１つの撮像装置により撮像された映像とは異なり、車両後方だけでなく、死角となるような側後方も表示可能である。しかしながら、ルームミラーサイズのディスプレイでは表示スペースが小さいので、側後方の映像が小さくなってしまう。また、側後方を含む広角な映像を表示する場合、どの部分が車両の後方に対応するかが分かりにくくなってしまう。
【０００５】
本開示はこうした状況に鑑みなされたものであり、その目的は、運転において必要な部分を十分な大きさで表示しながら、車両の位置との対応を明確にする技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示のある態様の表示制御装置は、車両に搭載された第１撮像装置からの第１画像と、第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置からの第２画像とを受けつける入力受付部と、入力受付部において受けつけた第１画像の少なくとも一部分が含まれる画像である第１変換画像と、入力受付部において受けつけた第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成する変換部と、変換部において生成した第１変換画像を第１領域に配置させ、変換部において生成した第２変換画像を、第１領域の横に並べられる第２領域に配置させるとともに、第１領域と第２領域のうちの車両に対応する位置に、車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成する合成部と、合成部において生成した第１合成画像を出力する出力部と、第１撮像装置の搭載位置から第２撮像装置の搭載位置への横方向の移動指示を受けつける移動指示受付部とを備える。合成部は、移動指示受付部が移動指示を受けつけた場合、第１合成画像の第２領域よりも第２領域を拡大させるとともに、第２領域の拡大に応じてアイコンを車両に対応する位置に配置させた画像である第２合成画像を生成し、出力部は、合成部において生成した第２合成画像を出力する。
【０００７】
本開示の別の態様は、車両である。この車両は、第１撮像装置と、第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置と、第１撮像装置と第２撮像装置とに接続される表示制御装置とを備える。表示制御装置は、第１撮像装置からの第１画像と、第２撮像装置からの第２画像とを受けつける入力受付部と、入力受付部において受けつけた第１画像の少なくとも一部分が含まれる画像である第１変換画像と、入力受付部において受けつけた第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成する変換部と、変換部において生成した第１変換画像を第１領域に配置させ、変換部において生成した第２変換画像を、第１領域の横に並べられる第２領域に配置させるとともに、第１領域と第２領域のうちの車両に対応する位置に、車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成する合成部と、合成部において生成した第１合成画像を出力する出力部と、第１撮像装置の搭載位置から第２撮像装置の搭載位置への横方向の移動指示を受けつける移動指示受付部とを備える。合成部は、移動指示受付部が移動指示を受けつけた場合、第１合成画像の第２領域よりも第２領域を拡大させるとともに、第２領域の拡大に応じてアイコンを車両に対応する位置に配置させた画像である第２合成画像を生成し、出力部は、合成部において生成した第２合成画像を出力する。
【０００８】
本開示のさらに別の態様は、表示制御方法である。この方法は、車両に搭載された第１撮像装置からの第１画像と、第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置からの第２画像とを受けつけるステップと、受けつけた第１画像の少なくとも一部分が含まれる画像である第１変換画像と、受けつけた第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成するステップと、生成した第１変換画像を第１領域に配置させ、生成した第２変換画像を、第１領域の横に並べられる第２領域に配置させるとともに、第１領域と第２領域のうちの車両に対応する位置に、車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成するステップと、生成した第１合成画像を出力するステップと、第１撮像装置の搭載位置から第２撮像装置の搭載位置への横方向の移動指示を受けつけるステップと、移動指示を受けつけた場合、第１合成画像の第２領域よりも第２領域を拡大させるとともに、第２領域の拡大に応じてアイコンを車両に対応する位置に配置させた画像である第２合成画像を生成するステップと、生成した第２合成画像を出力するステップと、を備える。
【０００９】
なお、以上の構成要素の任意の組合せ、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【００１０】
本開示によれば、運転において必要な部分を十分な大きさで表示しながら、車両の位置との対応を明確にできる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態１に係る車両の構成を示す図である。
【図２】図１の車両に搭載された撮像装置による撮像領域を示す図である。
【図３】図１の表示制御装置の構成を示す図である。
【図４】図３の変換部における仮想視点変換処理の概要を示す図である。
【図５】図５ａ−ｃは、図３の変換部において生成される仮想視点画像を示す図である。
【図６】図３の記憶部に記憶されるテーブルのデータ構造を示す図である。
【図７】図７ａ−ｅは、図３の合成部において生成される合成画像を示す図である。
【図８】図８ａ−ｅは、図３の合成部において生成される別の合成画像を示す図である。
【図９】図３の表示制御装置による合成画像の表示手順を示すフローチャートである。
【図１０】本実施の形態２に係る表示制御装置の構成を示す図である。
【図１１】図１０の表示制御装置による合成画像の表示手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
（実施の形態１）
本実施の形態を具体的に説明する前に、概要を述べる。本実施の形態は、車両に搭載された複数の撮像装置において撮像された映像を合成して表示装置に表示させる車両用電子ミラーの表示制御装置に関する。映像は複数の画像を時系列に並べることによって構成されるので、以下では画像として説明する。ここでは、車両の後側部分、左側部分、右側部分に撮像装置が搭載され、「３つ」の撮像装置により車両の後方が撮像されるとともに、車室の天井の前側部分にルームミラーサイズの表示装置が設置される。３つの画像を合成すると、ルームミラーで後方を見るときよりも広角な範囲が表示可能になる。しかしながら、表示装置のサイズが小さい場合、広角な範囲の画像を表示すると、画像に含まれる物体が小さくなってしまうので、視認性が低下する。
【００１３】
車線変更および右左折以外の通常走行において、後側部分の撮像装置からの画像を大きく表示し、車線変更あるいは右左折のような横方向の移動走行において、移動方向側の撮像装置からの画像を大きく表示すれば、運転において必要な部分が十分な大きさで表示される。つまり、移動する方向の情報を多く表示することにより、安全がさらに確保される。しかしながら、合成された画像が広角であったり、合成された画像によって示される方向が変わったりする場合、どの部分が車両の後方に対応するかが分かりにくくなってしまう。これは、画像と実際の道路との相関が分かりにくくなるからである。そのため、運転において必要な部分を十分な大きさで表示しながら、車両の位置との対応を明確にすることが求められる。
【００１４】
本実施の形態に係る表示制御装置は、方向指示器によって示される移動方向の指示（以下、「移動指示」という）を受けつけなければ、通常走行であると判定し、移動指示を受けつければ、移動指示において示された方向への移動走行であると判定する。表示制御装置は、通常走行において、後側部分の撮像装置からの画像を大きく表示する。その際、画像の中央部分が車両の位置に相当する。そのため、表示制御装置は、画像の中央部分に、車両の位置を示すためのアイコンを表示する。一方、表示制御装置は、移動走行において、移動方向側の撮像装置からの画像を大きく表示する。その際、車両の位置は、画像の中央部分からずれる。そのため、表示制御装置は、画像の中央部分からずれた位置にアイコンを表示する。以下、本実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。
【００１５】
図１は、車両１０００の構成を示す。車両１０００は、撮像装置１０と総称される第１撮像装置１０ａ、第２撮像装置１０ｂ、第３撮像装置１０ｃ、表示装置２０、表示制御装置１００を含む。図１の左側が車両１０００の前側部分を示し、図１の右側が車両１０００の後側部分を示し、図１の上側が車両１０００の右側部分を示し、図１の下側が車両１０００の左側部分を示す。つまり、車両１０００が前進する方向が前側と定義され、前側の反対が後側と定義される。また、前側を向いた運転者に対して右側と左側が定義される。以下では、車両１０００の前側部分と後側部分とを結ぶ方向を前後方向といい、車両１０００の左側部分と右側部分とを結ぶ方向を左右方向あるいは横方向ということもある。
【００１６】
第１撮像装置１０ａは、車両１０００の後側部分に搭載されるリアカメラである。第２撮像装置１０ｂは、車両１０００の左側部分に搭載されるサイドカメラであり、第３撮像装置１０ｃは、車両１０００の右側部分に搭載されるサイドカメラである。そのため、第２撮像装置１０ｂと第３撮像装置１０ｃは、第１撮像装置１０ａの搭載位置から少なくとも横方向にずれた位置に搭載される。
【００１７】
図２は、車両１０００に搭載された撮像装置１０による撮像領域１２を示す。第１撮像装置１０ａは、中央後方に広がる第１撮像領域１２ａにおいて画像（以下、「第１画像」という）を撮像する。第２撮像装置１０ｂは、左側後方に広がる第２撮像領域１２ｂにおいて画像（以下、「第２画像」という）を撮像する。第３撮像装置１０ｃは、右側後方に広がる第３撮像領域１２ｃにおいて画像（以下、「第３画像」という）を撮像する。第１撮像領域１２ａから第３撮像領域１２ｃは互いに異なるので、第１画像から第３画像も互いに異なる。第１撮像領域１２ａと第２撮像領域１２ｂの一部が重なり、第１撮像領域１２ａと第３撮像領域１２ｃの一部が重なる。そのため、第１画像と第２画像との一部には共通の対象物が映り、第１画像と第３画像との一部には共通の対象物が映る。また、各撮像装置１０の光学系の光学特性は異なっていてもよい。図１に戻って説明を続ける。
【００１８】
表示制御装置１００は、第１撮像装置１０ａから第３撮像装置１０ｃに接続される制御ユニットである。表示制御装置１００は、第１撮像装置１０ａからの第１画像、第２撮像装置１０ｂからの第２画像、第３撮像装置１０ｃからの第３画像を受けつける。表示制御装置１００は、これらの画像を合成することによって、合成された画像（以下、「合成画像」という）を生成する。表示装置２０は、これまでのルームミラーと同様に、車室の天井の前側部分に設置される。表示装置２０は、ルームミラーと同等のサイズを有する。表示装置２０は、表示制御装置１００に接続されており、表示制御装置１００において生成された合成画像を表示する。
【００１９】
図３は、表示制御装置１００の構成を示す。表示制御装置１００は、入力受付部１１０、移動指示受付部１１２、制御部１１４、記憶部１１６、変換部１１８、合成部１２０、出力部１２２を含む。入力受付部１１０は、第１撮像装置１０ａからの第１画像と、第２撮像装置１０ｂからの第２画像と、第３撮像装置１０ｃからの第３画像とを順次受けつける。入力受付部１１０は、第１画像から第３画像を変換部１１８に出力する。
【００２０】
変換部１１８は、第１画像から第３画像を入力受付部１１０から受けつける。変換部１１８は、第１画像から第３画像のそれぞれに対して撮像装置１０の光学系の光学特性に応じた補正を実行してもよい。例えば、補正は、レンズのゆがみに基づく修正、サイズおよび角度の調整のための補正、色調補正等を含む。変換部１１８は、第１画像から第３画像の仮想視点を共通にするように、第１画像から第３画像に対して仮想視点変換処理を実行する。各撮像装置１０の仮想地点を共通にすることにより、後述のように、合成画像を生成する際に違和感のない境界面が生成される。
【００２１】
図４は、変換部１１８における仮想視点変換処理の概要を示す。変換部１１８は、第１画像Ｐ（ｕ，ｖ）から視点の座標（Ｅｙｅ  ｃｏｏｒｄｉｎａｔｅ）（Ｘｅ，Ｙｅ，Ｚｅ）への変換を次のように実行する。
【数１】
2020053916.tif 000003
ここで、ｆは第１撮像装置１０ａ（Ｅｙｅ）の焦点距離を示す。次に、変換部１１８は、視点の座標（Ｘｅ，Ｙｅ，Ｚｅ）から世界座標（Ｗｏｒｌｄ  ｃｏｒｄｉｎａｔｅ）（Ｘｗ，Ｙｗ，Ｚｗ）への変換を次のように実行する。
【数２】
2020053916.tif 000004
ここで、Ｒｅｗは、視点の座標から世界座標への回転行列を示し、Ｔｅｗは、視点の座標から世界座標への平行移動ベクトルを示す。
【００２２】
変換部１１８は、世界座標（Ｘｗ，Ｙｗ，Ｚｗ）から仮想視点座標（Ｖｉｒｔｕａｌ  ｖｉｅｗ  ｐｏｉｎｔ  ｃｏｏｒｄｉｎａｔｅｓ）（Ｘｅ’，Ｙｅ’，Ｚｅ’）への変換を次のように実行する。
【数３】
2020053916.tif 000005
ここで、Ｒｗｅ’は世界座標から仮想視点座標への回転行列を示し、Ｔｗｅ’は世界座標から仮想視点座標への平行移動ベクトルを示す。最後に、変換部１１８は、仮想視点座標（Ｘｅ’，Ｙｅ’，Ｚｅ’）から第１仮想視点画像Ｐ（ｕ’，ｖ’）への変換を次のように実行する。第１仮想視点画像Ｐ（ｕ’，ｖ’）は、仮想視点に変換した第１画像Ｐ（ｕ，ｖ）である。
【数４】
2020053916.tif 000006
ここで、ｆ’は、仮想視点の焦点距離である。例えば、表示装置２０の位置に仮想視点を設定することにより、本来異なる位置で撮像された画像であっても、表示装置２０の位置から撮影されたように示される。変換部１１８は、第２画像と第３画像に対しても、同様に仮想視点変換処理を実行することにより、第２画像から第２仮想視点画像を生成し、第３画像から第３仮想視点画像を生成する。
【００２３】
図５ａ−ｃは、変換部１１８において生成される仮想視点画像２００を示す。図５ａは、第２仮想視点画像２００ｂを示し、図５ｂは、第１仮想視点画像２００ａを示し、図５ｃは、第３仮想視点画像２００ｃを示す。図１に戻って説明を続ける。
【００２４】
移動指示受付部１１２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）に接続される。移動指示受付部１１２は、ＣＡＮを介して、車両１０００に搭載された方向指示器によって示された移動指示を受けつける。移動指示は、第１撮像装置１０ａの搭載位置から第２撮像装置１０ｂの搭載位置への左方向の移動指示、第１撮像装置１０ａの搭載位置から第３撮像装置１０ｃの搭載位置への右方向の移動指示のいずれかを示す。移動指示受付部１１２は、移動指示を制御部１１４に出力する。
【００２５】
制御部１１４は、移動指示受付部１１２から移動指示を受けつけたり、受けつけなかったりする。制御部１１４は、移動指示を受けつけていないこと、あるいは受けつけた移動指示をもとに、合成画像の生成を制御する。その際、制御部１１４は、記憶部１１６に記憶されたテーブルを参照する。図６は、記憶部１１６に記憶されるテーブルのデータ構造を示す。図示のごとく、移動指示「なし」、「左方向」、「右方向」のそれぞれと、各仮想視点画像２００に対する抽出範囲とが対応づけられる。以下では、移動指示が「なし」である場合を「移動なし」と呼び、移動指示が「左方向」である場合を「左移動」と呼び、移動指示が「右方向」である場合を「右移動」と呼ぶ。
【００２６】
また、図６では、第１仮想視点画像２００ａと第２仮想視点画像２００ｂと第３仮想視点画像２００ｃとのそれぞれから抽出される画像の範囲として、第１抽出範囲と第２抽出範囲と第３抽出範囲との何れかが対応する。第１抽出範囲は、第２仮想視点画像２００ｂと第３仮想視点画像２００ｃに設定可能な範囲である。例えば、第２仮想視点画像２００ｂにおける第１抽出範囲の相対的な位置は、第３仮想視点画像２００ｃにおける第１抽出範囲の相対的な位置と左右対称になるように設定される。第２抽出範囲は、第２仮想視点画像２００ｂと第３仮想視点画像２００ｃに設定可能な範囲であり、第１抽出範囲よりも広い範囲である。第２抽出範囲は、第１抽出範囲を含む位置に設定される。例えば、第２仮想視点画像２００ｂにおける第２抽出範囲の相対的な位置は、第３仮想視点画像２００ｃにおける第２抽出範囲の相対的な位置と左右対称になるように設定される。第３抽出範囲は、第１仮想視点画像２００ａに設定可能な範囲である。例えば、第３抽出範囲は、第１仮想視点画像２００ａの中心を含む位置に設定される。
【００２７】
例えば、「移動なし」の場合、第２仮想視点画像２００ｂに対して第１抽出範囲が定められ、第１仮想視点画像２００ａに対して第３抽出範囲が定められ、第３仮想視点画像２００ｃに対して第１抽出範囲が定められる。また、「左移動」の場合、第２仮想視点画像２００ｂに対して第２抽出範囲が定められ、第１仮想視点画像２００ａに対して第３抽出範囲が定められ、第３仮想視点画像２００ｃに対して第１抽出範囲が定められる。さらに、「右移動」の場合、第２仮想視点画像２００ｂに対して第１抽出範囲が定められ、第１仮想視点画像２００ａに対して第３抽出範囲が定められ、第３仮想視点画像２００ｃに対して第２抽出範囲が定められる。
【００２８】
図５ａに示されるように、第２仮想視点画像２００ｂに対する第１抽出範囲２０２は、第２仮想視点画像２００ｂの中央部分よりも右側にずれた位置に設定される。また、第２抽出範囲２０４は、第１抽出範囲２０２よりも広く、かつ第１抽出範囲２０２よりも左側に延びるように設定される。図５ｂに示されるように第１仮想視点画像２００ａに対する第３抽出範囲２０６は、第１仮想視点画像２００ａの中央を含むように設定される。ここで、第３抽出範囲２０６は第１抽出範囲２０２よりも広いものとする。図５ｃに示されるように、第３仮想視点画像２００ｃに対する第１抽出範囲２０２は、第３仮想視点画像２００ｃの中央部分よりも左側にずれた位置に設定される。また、第２抽出範囲２０４は、第１抽出範囲２０２よりも広く、かつ第１抽出範囲２０２よりも右側に延びるように設定される。第２仮想視点画像２００ｂに対する第１抽出範囲２０２と、第３仮想視点画像２００ｃに対する第１抽出範囲２０２とは同一の広さである。また、第２仮想視点画像２００ｂに対する第２抽出範囲２０４と、第３仮想視点画像２００ｃに対する第２抽出範囲２０４とは同一の広さである。図１に戻って説明を続ける。
【００２９】
制御部１１４は、移動指示に応じて選択した抽出範囲を変換部１１８に出力する。変換部１１８は、制御部１１４から抽出範囲を受けつける。変換部１１８は、仮想視点画像から抽出範囲の部分を抽出することにより、変換画像を生成する。ここでは、この処理を図５ａ−ｃを使用しながら説明する。「移動なし」の場合、変換部１１８は、第２仮想視点画像２００ｂから第１抽出範囲２０２の部分を抽出することによって第２変換画像２１０ｂを生成する。また、変換部１１８は、第１仮想視点画像２００ａから第３抽出範囲２０６の部分を抽出することによって、第１画像あるいは第１仮想視点画像２００ａの少なくとも一部分が含まれる画像である第１変換画像２１０ａを生成する。さらに、変換部１１８は、第３仮想視点画像２００ｃから第１抽出範囲２０２の部分を抽出することによって、第３画像あるいは第３仮想視点画像２００ｃの少なくとも一部分が含まれる画像である第３変換画像２１０ｃを生成する。
【００３０】
「左移動」の場合、変換部１１８は、第２仮想視点画像２００ｂから第２抽出範囲２０４の部分を抽出することによって、第２画像あるいは第２仮想視点画像２００ｂの少なくとも一部分が含まれる画像である第２変換画像２１０ｂを生成する。つまり、「左移動」の場合の第２変換画像２１０ｂは、「移動なし」の場合の第２変換画像２１０ｂよりも広角になる。また、変換部１１８は、第１仮想視点画像２００ａから第３抽出範囲２０６の部分を抽出することによって第１変換画像２１０ａを生成する。さらに、変換部１１８は、第３仮想視点画像２００ｃから第１抽出範囲２０２の部分を抽出することによって第３変換画像２１０ｃを生成する。
【００３１】
「右移動」の場合、変換部１１８は、第２仮想視点画像２００ｂから第１抽出範囲２０２の部分を抽出することによって第２変換画像２１０ｂを生成する。また、変換部１１８は、第１仮想視点画像２００ａから第３抽出範囲２０６の部分を抽出することによって第１変換画像２１０ａを生成する。さらに、変換部１１８は、第３仮想視点画像２００ｃから第２抽出範囲２０４の部分を抽出することによって第３変換画像２１０ｃを生成する。つまり、「右移動」の場合の第３変換画像２１０ｃは、「移動なし」の場合の第３変換画像２１０ｃよりも広角になっている。第１変換画像２１０ａには、第１画像の少なくとも一部分が含まれ、第２変換画像２１０ｂには、第２画像の少なくとも一部分が含まれ、第３変換画像２１０ｃには、第３画像の少なくとも一部分が含まれるといえる。図１に戻って説明を続ける。変換部１１８は、第１変換画像２１０ａから第３変換画像２１０ｃを合成部１２０に出力する。
【００３２】
合成部１２０は、第１変換画像２１０ａから第３変換画像２１０ｃを変換部１１８から受けつける。合成部１２０は、第１変換画像２１０ａから第３変換画像２１０ｃをもとに合成画像を生成する。特に、合成部１２０は、「移動なし」の場合、第１合成画像２２０ａを生成し、「左移動」あるいは「右移動」の場合、第２合成画像２２０ｂを生成する。さらに、第２合成画像２２０ｂを生成するための方法として、「第１パターン」と「第２パターン」のいずれかが使用される。
【００３３】
図７ａ−ｅは、合成部１２０において生成される合成画像２２０を示し、特に「第１パターン」により生成される第２合成画像２２０ｂを示す。図７ａ、図７ｂは、「移動なし」の場合を示す。図７ｂのごとく、第１領域２１２ａが中央に設定され、第２領域２１２ｂが第１領域２１２ａの左側に並べられ、第３領域２１２ｃが第１領域２１２ａの右側に並べられる。第１領域２１２ａは第１変換画像２１０ａを配置させるための領域であり、第２領域２１２ｂは第２変換画像２１０ｂを配置させるための領域であり、第３領域２１２ｃは第３変換画像２１０ｃを配置させるための領域である。ここでは、第１変換画像２１０ａから第３変換画像２１０ｃの拡大率が等しくなるように、各領域２１２のサイズが定められる。前述のごとく、第３抽出範囲２０６は第１抽出範囲２０２よりも広いので、第１領域２１２ａは、第２領域２１２ｂ、第３領域２１２ｃよりも広くされる。また、第２領域２１２ｂの広さと第３領域２１２ｃの広さは等しくされる。
【００３４】
「移動なし」の場合の各領域２１２のサイズは記憶部１１６に予め記憶されており、制御部１１４は、記憶部１１６から選択した「移動なし」の場合のサイズを合成部１２０に設定させる。合成部１２０は、各領域のサイズを設定してから、第１領域２１２ａに第１変換画像２１０ａを配置させ、第２領域２１２ｂに第２変換画像２１０ｂを配置させ、第３領域２１２ｃに第３変換画像２１０ｃを配置させて、変換画像２１０を合成する。
【００３５】
また、合成部１２０は、合成した変換画像２１０のうちの車両１０００に対応する位置に、車両１０００の位置が示されるアイコン２３０を配置させた画像として、「移動なし」の場合の第１合成画像２２０ａを図７ａのように生成する。車両１０００に対応する位置は、「移動なし」の場合、合成した変換画像２１０のうちの中央部分である。また、アイコン２３０は、例えば、後部座席の形状を有したコンピュータグラフィックであり、アイコン２３０の横方向のサイズは、第１領域２１２ａの横方向のサイズと同一又は第１領域２１２ａの横方向のサイズに近いサイズにされる。アイコン２３０は、半透明であってもよい。「移動なし」の場合のアイコン２３０の位置およびサイズも記憶部１１６に予め記憶されており、制御部１１４は、記憶部１１６から選択した位置およびサイズを合成部１２０に使用させる。
【００３６】
図７ｄ、図７ｅは、「左移動」の場合を示す。図７ｄでは、図７ｂと比較して、第２領域２１２ｂが広くされ、第１領域２１２ａと第３領域２１２ｃとが狭くされる。そのため、図７ｄでは、図７ｂと比較して、第１領域２１２ａが右側にシフトされる。「左移動」の場合の各領域２１２のサイズは記憶部１１６に予め記憶されており、制御部１１４は、記憶部１１６から選択したサイズを合成部１２０に設定させる。合成部１２０は、各領域のサイズを設定してから、第１領域２１２ａに第１変換画像２１０ａを配置させ、第２領域２１２ｂに第２変換画像２１０ｂを配置させ、第３領域２１２ｃに第３変換画像２１０ｃを配置させて、変換画像２１０を合成する。前述のごとく、「左移動」の場合の第２変換画像２１０ｂは、「移動なし」の場合の第２変換画像２１０ｂよりも広角である。
【００３７】
また、合成部１２０は、合成した変換画像２１０のうちの車両１０００に対応する位置に、車両１０００の位置が示されるアイコン２３０を配置させた画像として、「左移動」の場合の第２合成画像２２０ｂを図７ｅのように生成する。ここで、車両１０００に対応する位置は、「左移動」の場合において、「移動なし」の場合よりも右側にシフトされる。また、「移動なし」の場合よりも「左移動」の場合において、第１領域２１２ａが狭くなることにより、アイコン２３０の横方向のサイズも短くされる。「左移動」の場合のアイコン２３０の位置およびサイズも記憶部１１６に予め記憶されており、制御部１１４は、記憶部１１６から選択した位置およびサイズを合成部１２０に使用させる。
【００３８】
「左移動」の場合、左側の第２変換画像２１０ｂが重要となるので、合成部１２０は、右側の第３変換画像２１０ｃを縮小し、限られた表示範囲を左側の第２変換画像２１０ｂ用に確保する。さらに、「左移動」の場合、第２変換画像２１０ｂでは、第２仮想視点画像２００ｂから第２抽出範囲２０４の部分が抽出されているので、視野範囲を広げ左側の広域の画像も表示される。その結果、死角が減り、安全のための視界が確保される。このような処理は、「右移動」の場合も、左右の関係が反対になるだけで同様になされる。
【００３９】
つまり、合成部１２０は、移動指示受付部１１２が移動指示を受けつけた場合、第１合成画像２２０ａよりも第２合成画像２２０ｂにおいて、移動指示で示された方向の第２領域２１２ｂあるいは第３領域２１２ｃを拡大させる。また、合成部１２０は、第２領域２１２ｂあるいは第３領域２１２ｃの拡大に応じてアイコン２３０の配置位置を調節する。その際、変換部１１８は、第１合成画像２２０ａを生成する場合における第１抽出範囲２０２よりも広い第２抽出範囲２０４を、移動指示で示された方向の仮想視点画像２００に対して使用する。これは、移動指示で示された方向の仮想視点画像２００からの抽出対象となる一部分の広さを広くすることに相当する。
【００４０】
ここで、「移動なし」の場合から、「左移動」の場合に変わるとき、制御部１１４は、図７ｂの状態から図７ｃの状態を介して図７ｄの状態に変化させてもよい。つまり、各領域２１２の大きさはシームレスに変化していってもよい。例えば、最初は、第１領域２１２ａを一定値まで縮小させるが、第１領域２１２ａが一定値まで縮小されると、第３領域２１２ｃを縮小させることによって、第１領域２１２ａが右にずらされる。その間、第２領域２１２ｂは連続的に拡大する。各領域２１２の変化も記憶部１１６に記憶される。さらに、第２領域２１２ｂの連続的な拡大にあわせて、第２変換画像２１０ｂを生成するための抽出範囲は、図５ａの第１抽出範囲２０２から第２抽出範囲２０４に連続して拡大してもよい。その結果、第２変換画像２１０ｂは連続的に広角になる。このような抽出範囲の変化も記憶部１１６に記憶される。
【００４１】
次に、第２パターンを説明する。第２パターンでは、移動指示が「左向き」であっても、「右向き」であっても、図５ａの第２仮想視点画像２００ｂに対して第１抽出範囲２０２が設定されるとともに、図５ｃの第３仮想視点画像２００ｃに対して第１抽出範囲２０２が設定される。つまり、第２仮想視点画像２００ｂおよび第３仮想視点画像２００ｃに対する抽出範囲の大きさは、変わらない。
【００４２】
図８ａ−ｅは、合成部１２０において生成される別の合成画像２２０を示し、特に「第２パターン」により生成される第２合成画像２２０ｂを示す。図８ａ、図８ｂは、「移動なし」の場合を示し、これらは図７ａ、図７ｂと同一の画像である。図８ｄ、図８ｅは、「左移動」の場合を示す。図８ｄは、図７ｄと同一の画像である。図８ｅにおける第２領域２１２ｂの広さは、図８ａにおける第２領域２１２ｂの広さよりも広い。一方、図８ａと図８ｅの場合において、図示しない第１抽出範囲２０２が共通して使用される。そのため、図８ｅにおける第２変換画像２１０ｂは、図８ａにおける第２変換画像２１０ｂよりも拡大されてから、第２領域２１２ｂに配置される。このように、オートバイなどの小さい障害物への視認性を上げたい場合、視野を拡大するのではなく、拡大することによりオートバイの拡大率を上げる。これにより、後方にいるオートバイの存在を運転者に伝えることができ、つまり、運転者に注意喚起を促すことができる。また、図８ｃは図７ｃと同一の領域を示したものである。
【００４３】
つまり、変換部１１８は、第１合成画像２２０ａを生成する場合と、第２合成画像２２０ｂを生成する場合において、第２仮想視点画像２００ｂと第３仮想視点画像２００ｃに対して共通の第１抽出範囲２０２を設定する。そのため、第２変換画像２１０ｂと第３変換画像２１０ｃの画角は一定である。また、合成部１２０は、第１合成画像２２０ａを生成する場合よりも第２合成画像２２０ｂを生成する場合において、移動指示で示された方向の変換画像２１０を拡大する。図３に戻って説明を続ける。合成部１２０は、生成した第１合成画像２２０ａあるいは第２合成画像２２０ｂを出力部１２２に出力する。
【００４４】
出力部１２２は、合成部１２０において第１合成画像２２０ａが生成された場合、第１合成画像２２０ａを表示装置２０に表示させる。また、出力部１２２は、合成部１２０において第２合成画像２２０ｂが生成された場合、第２合成画像２２０ｂを表示装置２０に表示させる。
【００４５】
以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＵＳＢメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。また、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。
【００４６】
以上の構成による表示制御装置１００の動作を説明する。図９は、表示制御装置１００による合成画像２２０の表示手順を示すフローチャートである。移動指示受付部１１２が移動指示を受けつけなかった場合（Ｓ１０のＮ）、変換部１１８、合成部１２０は、第１合成画像２２０ａを生成する（Ｓ１２）。出力部１２２は第１合成画像２２０ａを表示装置２０に表示させる（Ｓ１４）。移動指示受付部１１２が移動指示を受けつけた場合（Ｓ１０のＹ）、変換部１１８、合成部１２０は、第２合成画像２２０ｂを生成する（Ｓ１６）。出力部１２２は第２合成画像２２０ｂを表示装置２０に表示させる（Ｓ１８）。
【００４７】
本実施の形態によれば、第１合成画像と、受けつけた移動指示の方向の領域が拡大した第２合成画像とを生成するので、運転において必要な部分を十分な大きさで表示できる。また、アイコンを車両の位置に配置させた第１合成画像と、領域の拡大に応じてアイコンの配置位置が調節された第２合成画像とを生成するので、車両の位置との対応を明確にできる。また、移動指示を受けつけた場合に、第１合成画像を第２合成画像に変更するので、表示スペースを有効に利用できる。
【００４８】
また、方向指示器によって示された移動指示を受けつけるので、運転者からの移動指示により、第１合成画像を第２合成画像に変更できる。また、移動指示を受けつけた場合、移動指示の方向の抽出範囲をそれまでよりも大きくするので、移動指示の方向の画像を広角にできる。また、移動指示の方向の画像が広角になるので、運転者が取得可能な情報量を増加できる。また、移動指示を受けつけた場合、移動指示の方向の抽出範囲を変えずに、変換画像２１０を拡大するので、視認性を向上できる。
【００４９】
（実施の形態２）
次に、実施の形態２を説明する。実施の形態２は、実施の形態１と同様に、車両に搭載された複数の撮像装置において撮像された映像を合成して表示装置に表示させる表示制御装置に関する。表示制御装置は、「移動なし」の場合に第１合成画像を表示させ、「左移動」あるいは「右移動」の場合に第２合成画像を表示させる。実施の形態１では、第１パターンにより生成された第２合成画像、あるいは第２パターンにより生成された第２合成画像が表示される。実施の形態２では、拡大する方の領域に配置すべき変換画像に物体が検出されるか否かに応じて、第１パターンにより生成された第２合成画像と、第２パターンにより生成された第２合成画像とを切りかえる。ここでは、実施の形態１との差異を中心に説明する。
【００５０】
図１０は、表示制御装置１００の構成を示す。表示制御装置１００は、図１の構成に加えて検出部１３０を含む。検出部１３０は、第２仮想視点画像２００ｂと第３仮想視点画像２００ｃに対して画像認識処理を実行し、監視対象物、例えば車両、二輪車、歩行者等を検出する。検出処理には、パターンマッチング処理のような公知の技術が使用されればよい。検出部１３０は、検出結果として、第２仮想視点画像２００ｂにおいて監視対象物が検出されたか否かに関する情報、第３仮想視点画像２００ｃにおいて監視対象物が検出されたか否かに関する情報を制御部１１４に出力する。
【００５１】
制御部１１４は、移動指示受付部１１２から受けつけた移動指示が「左方向」である場合、検出部１３０からの検出結果のうち、第２仮想視点画像２００ｂにおいて監視対象物が検出されたか否かに関する情報を参照する。第２仮想視点画像２００ｂにおいて監視対象物が検出されていなければ、制御部１１４は、第１パターンによる第２合成画像２２０ｂの生成を決定する。一方、第２仮想視点画像２００ｂにおいて監視対象物が検出されていれば、制御部１１４は、第２パターンによる第２合成画像２２０ｂの生成を決定する。ここで、制御部１１４は、監視対象物の大きさも検出し、監視対象物の大きさをもとに、第１パターンによる第２合成画像２２０ｂの生成、あるいは第２パターンによる第２合成画像２２０ｂの生成を決定してもよい。例えば、監視対象物の大きさがしきい値以下である場合、制御部１１４は、第１パターンによる第２合成画像２２０ｂの生成を決定し、監視対象物の大きさがしきい値よりも大きい場合、第２パターンによる第２合成画像２２０ｂの生成を決定する。
【００５２】
制御部１１４は、移動指示受付部１１２から受けつけた移動指示が「右方向」である場合、検出部１３０からの検出結果のうち、第３仮想視点画像２００ｃにおいて監視対象物が検出されたか否かに関する情報を参照する。第３仮想視点画像２００ｃにおいて監視対象物が検出されていなければ、制御部１１４は、第１パターンによる第２合成画像２２０ｂの生成を決定する。一方、第３仮想視点画像２００ｃにおいて監視対象物が検出されていれば、制御部１１４は、第２パターンによる第２合成画像２２０ｂの生成を決定する。
【００５３】
制御部１１４が第１パターンによる第２合成画像２２０ｂの生成を決定した場合、変換部１１８、合成部１２０は、実施の形態１と同様に、第１パターンにより第２合成画像２２０ｂを生成する。制御部１１４が第２パターンによる第２合成画像２２０ｂの生成を決定した場合、変換部１１８、合成部１２０は、実施の形態１と同様に、第２パターンにより第２合成画像２２０ｂを生成する。
【００５４】
以上の構成による表示制御装置１００の動作を説明する。図１１は、表示制御装置１００による合成画像２２０の表示手順を示すフローチャートである。移動指示受付部１１２が移動指示を受けつけなかった場合（Ｓ１００のＮ）、変換部１１８、合成部１２０は、第１合成画像２２０ａを生成する（Ｓ１０２）。出力部１２２は第１合成画像２２０ａを表示装置２０に表示させる（Ｓ１０４）。移動指示受付部１１２が移動指示を受けつけた場合（Ｓ１００のＹ）、検出部１３０が監視対象物監視対象物を検出していなければ（Ｓ１０６のＮ）、変換部１１８、合成部１２０は、第１パターンにより第２合成画像２２０ｂを生成する（Ｓ１０８）。出力部１２２は、第１パターンにより生成した第２合成画像２２０ｂを表示装置２０に表示させる（Ｓ１１０）。検出部１３０が監視対象物監視対象物を検出していれば（Ｓ１０６のＹ）、変換部１１８、合成部１２０は、第２パターンにより第２合成画像２２０ｂを生成する（Ｓ１１２）。出力部１２２は、第２パターンにより生成した第２合成画像２２０ｂを表示装置２０に表示させる（Ｓ１１４）。
【００５５】
本実施の形態によれば、監視対象物が検出されたか否かに応じて、第１パターンにより第２合成画像を生成するか、あるいは第２パターンにより第２合成画像を生成するかを変更するので、監視対象物の存在の有無に応じた第２合成画像を生成できる。また、監視対象物が検出されなかった場合に、第１パターンにより第２合成画像を生成するので、移動指示の方向の画像を広角にできる。また、監視対象物が検出された場合に、第２パターンにより第２合成画像を生成するので、監視対象物の視認性を向上できる。
【００５６】
本開示の一態様の概要は、次の通りである。本開示のある態様の表示制御装置は、車両に搭載された第１撮像装置からの第１画像と、第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置からの第２画像とを受けつける入力受付部と、入力受付部において受けつけた第１画像の少なくとも一部分が含まれる画像である第１変換画像と、入力受付部において受けつけた第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成する変換部と、変換部において生成した第１変換画像を第１領域に配置させ、変換部において生成した第２変換画像を、第１領域の横に並べられる第２領域に配置させるとともに、第１領域と第２領域のうちの車両に対応する位置に、車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成する合成部と、合成部において生成した第１合成画像を出力する出力部と、第１撮像装置の搭載位置から第２撮像装置の搭載位置への横方向の移動指示を受けつける移動指示受付部とを備える。合成部は、移動指示受付部が移動指示を受けつけた場合、第１合成画像の第２領域よりも第２領域を拡大させるとともに、第２領域の拡大に応じてアイコンを車両に対応する位置に配置させた画像である第２合成画像を生成し、出力部は、合成部において生成した第２合成画像を出力する。
【００５７】
この態様によると、アイコンを車両の位置に配置させた第１合成画像と、受けつけた移動指示の方向の領域が拡大し、かつアイコンの配置位置が調節された第２合成画像とを生成するので、運転において必要な部分を十分な大きさで表示しながら、車両の位置との対応を明確にできる。
【００５８】
移動指示受付部は、車両に搭載された方向指示器によって示された移動指示を受けつける。この場合、方向指示器によって示された移動指示を受けつけるので、運転者からの移動指示により、第１合成画像を第２合成画像に変更できる。
【００５９】
変換部は、第２画像の一部分を抽出することによって第２変換画像を生成し、変換部は、合成部が第１合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さよりも、合成部が第２合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さを広くしてもよい。この場合、第１合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さよりも、第２合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さを広くするので、移動指示の方向の画像を広角にできる。
【００６０】
変換部は、第２画像の一部分を抽出することによって第２変換画像を生成し、変換部は、合成部が第１合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さと、合成部が第２合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さとを等しくするとともに、合成部が第２合成画像を生成する場合において、第１合成画像を生成する場合よりも、第２画像から抽出した一部分を拡大してもよい。この場合、第１合成画像を生成する場合と第２合成画像を生成する場合とにおいて第２画像からの抽出対象となる一部分の広さとを等しくし、第２合成画像を生成する場合において、第２画像から抽出した一部分を拡大するので、視認性を向上できる。
【００６１】
入力受付部において受けつけた第２画像から監視対象物を検出する検出部をさらに備えてもよい。変換部は、第２画像の一部分を抽出することによって第２変換画像を生成し、変換部は、検出部が監視対象物を未検出である場合、合成部が第１合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さよりも、合成部が第２合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さを広くし、変換部は、検出部が監視対象物を検出した場合、合成部が第１合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さと、合成部が第２合成画像を生成する場合において第２画像からの抽出対象となる一部分の広さとを等しくするとともに、合成部が第２合成画像を生成する場合において、第１合成画像を生成する場合よりも、第２画像から抽出した一部分を拡大してもよい。この場合、監視対象物が検出されたか否かに応じて、第２合成画像の生成方法を変更するので、監視対象物の存在の有無に応じた第２合成画像を生成できる。
【００６２】
変換部は、前記第２画像の一部分を抽出することによって前記第２変換画像を生成し、変換部は、前記合成部が前記第１合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さよりも、前記合成部が前記第２合成画像を生成する場合において前記第２画像からの抽出対象となる一部分の広さを広くしながら、前記第１合成画像を生成する場合よりも、前記第２合成画像を生成する場合において前記第２画像から抽出した一部分を拡大してもよい。この場合、監視対象物を拡大しながら、第２合成画像を広角化できる。
【００６３】
本開示の別の態様は、車両である。この車両は、第１撮像装置と、第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置と、第１撮像装置と第２撮像装置とに接続される表示制御装置とを備える。表示制御装置は、第１撮像装置からの第１画像と、第２撮像装置からの第２画像とを受けつける入力受付部と、入力受付部において受けつけた第１画像の少なくとも一部分が含まれる画像である第１変換画像と、入力受付部において受けつけた第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成する変換部と、変換部において生成した第１変換画像を第１領域に配置させ、変換部において生成した第２変換画像を、第１領域の横に並べられる第２領域に配置させるとともに、第１領域と第２領域のうちの車両に対応する位置に、車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成する合成部と、合成部において生成した第１合成画像を出力する出力部と、第１撮像装置の搭載位置から第２撮像装置の搭載位置への横方向の移動指示を受けつける移動指示受付部とを備える。合成部は、移動指示受付部が移動指示を受けつけた場合、第１合成画像の第２領域よりも第２領域を拡大させるとともに、第２領域の拡大に応じてアイコンを車両に対応する位置に配置させた画像である第２合成画像を生成し、出力部は、合成部において生成した第２合成画像を出力する。
【００６４】
この態様によると、アイコンを車両の位置に配置させた第１合成画像と、受けつけた移動指示の方向の領域が拡大し、かつアイコンの配置位置が調節された第２合成画像とを生成するので、運転において必要な部分を十分な大きさで表示しながら、車両の位置との対応を明確にできる。
【００６５】
本開示のさらに別の態様は、表示制御方法である。この方法は、車両に搭載された第１撮像装置からの第１画像と、第１撮像装置の搭載位置から少なくとも横方向にずれた位置に搭載された第２撮像装置からの第２画像とを受けつけるステップと、受けつけた第１画像の少なくとも一部分が含まれる画像である第１変換画像と、受けつけた第２画像の少なくとも一部分が含まれる画像である第２変換画像とを生成するステップと、生成した第１変換画像を第１領域に配置させ、生成した第２変換画像を、第１領域の横に並べられる第２領域に配置させるとともに、第１領域と第２領域のうちの車両に対応する位置に、車両の位置が示されるアイコンを配置させた画像である第１合成画像を生成するステップと、生成した第１合成画像を出力するステップと、第１撮像装置の搭載位置から第２撮像装置の搭載位置への横方向の移動指示を受けつけるステップと、移動指示を受けつけた場合、第１合成画像の第２領域よりも第２領域を拡大させるとともに、第２領域の拡大に応じてアイコンを車両に対応する位置に配置させた画像である第２合成画像を生成するステップと、生成した第２合成画像を出力するステップと、を備える。
【００６６】
以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【００６７】
本実施の形態１および２において、アイコン２３０は、例えば、後部座席の形状を有したコンピュータグラフィックとされている。しかしながらこれに限らず例えば、アイコン２３０は後部座席の形状を有していなくてもよく、後部座席斜め後ろにある柱であるＣピラーの形状を有していてもよい。また、車両１０００がワンボックスカー、ミニバン、ステーションワゴン等である場合、アイコン２３０は、車両最後部で屋根を支えるＤピラーの形状を有していてもよい。本変形例によれば、構成の自由度を向上できる。
【００６８】
本実施の形態１および２において、移動指示受付部１１２は、ＣＡＮを介して、車両１０００に搭載された方向指示器によって示された移動指示を受けつける。しかしながらこれに限らず例えば、車両１０００が自動運転車両である場合、移動指示受付部１１２は、ＣＡＮを介して、自動運転制御装置からの移動指示を受けつけてもよい。本変形例によれば、表示制御装置１００は自動運転車両にも適用できる。
【００６９】
本実施の形態１において、表示制御装置１００は、方向指示器によって示された移動指示を受けつけた場合に、第１合成画像２２０ａを第２合成画像２２０ｂに変更している。しかしながらこれに限らず例えば、撮像装置１０において撮像した画像において物体を検出した場合に、表示制御装置１００は、第１合成画像２２０ａを第２合成画像２２０ｂに変更してもよい。あるいは車両１０００の左側部分、右側部分のいずれかに搭載されたセンサで物体を検出した場合に、表示制御装置１００は、第１合成画像２２０ａを第２合成画像２２０ｂに変更してもよい。本変形例によれば、構成の自由度を向上できる。
【００７０】
本実施の形態２において、検出部１３０は、第２仮想視点画像２００ｂ、第３仮想視点画像２００ｃから監視対象物を検出する。しかしながらこれに限らず例えば、検出部１３０は、車両１０００の左側部分、右側部分のいずれかに搭載されたセンサにより監視対象物を検出してもよい。本変形例によれば、構成の自由度を向上できる。
【００７１】
本実施の形態２において、第１パターンによる第２合成画像２２０ｂの生成、あるいは第２パターンによる第２合成画像２２０ｂの生成が選択される。しかしながらこれに限らず例えば、第１パターンと第２パターンとを組み合わせて第２合成画像２２０ｂが生成されてもよい。これは、監視対象物を拡大しながら、第２仮想視点画像２００ｂあるいは第３仮想視点画像２００ｃを広角化することに相当する。本変形例によれば、構成の自由度を向上できる。
【産業上の利用可能性】
【００７２】
本開示によれば、運転において必要な部分を十分な大きさで表示しながら、車両の位置との対応を明確にできる。
【符号の説明】
【００７３】
１０  撮像装置、  １２  撮像領域、  ２０  表示装置、  １００  表示制御装置、  １１０  入力受付部、  １１２  移動指示受付部、  １１４  制御部、  １１６  記憶部、  １１８  変換部、  １２０  合成部、  １２２  出力部、  １０００  車両。
【図１】
2020053916.tif 000007
【図２】
2020053916.tif 000008
【図３】
2020053916.tif 000009
【図４】
2020053916.tif 000010
【図５】
2020053916.tif 000011
【図６】
2020053916.tif 000012
【図７】
2020053916.tif 000013
【図８】
2020053916.tif 000014
【図９】
2020053916.tif 000015
【図１０】
2020053916.tif 000016
【図１１】
2020053916.tif 000017