(57)【要約】【課題】死角の原因となる車体部分に車体で遮られている視野範囲の画像を重畳表示することを可能とする画像処理装置、画像処理方法、及び、プログラムを提供する。【解決手段】撮像範囲に車体の一部が含まれるように配置されている第１のカメラの画像を、第１のカメラの視野範囲の内の任意の視野範囲の画像に変換する第１視野変換画像生成部４５と、第１のカメラの画像の車体領域により死角となる周辺環境を撮像する第２のカメラの死角領域画像を、変換後の画像の視野範囲と同じ視野範囲の死角領域画像に変換する第２視野変換画像生成部４７と、変換後の画像の車体の領域に、変換後の死角領域画像の対応する領域を合成する合成処理部４８と、を備えている。【選択図】図１４
2015074436.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換する第１の視野変換手段と、
前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、前記第１の視野変換手段による変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換する第２の視野変換手段と、
前記第１の視野変換手段による変換後の前記画像の前記車体の領域に、前記第２の視野変換手段による変換後の前記死角領域画像の対応する領域を合成する合成手段と、
を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記第１のカメラにより撮像された画像の内で、前記車体の領域を示す車体マスク画像を格納する格納手段と、
前記格納手段に格納されている前記車体マスク画像を、前記第１の視野変換手段による変換後の前記画像の視野範囲と同じ視野範囲の車体マスク画像に変換する車体マスク画像変換手段と、
を、更に、備え、
前記合成手段は、前記車体マスク画像変換手段による変換後の前記車体マスク画像に基づいて、合成する領域を特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記車体マスク画像を生成する生成手段を、更に、備える、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、基準となる配置条件の下で作成された車体マスク画像を、前記第１のカメラの配置条件に合わせて変換して前記車体マスク画像を生成する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記車両の形状を模した車両形状データと前記第１のカメラの配置条件を示す配置パラメータとに基づいて、前記車体マスク画像を生成する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記任意の視野範囲を可変する可変手段を、更に、備える、
ことを特徴とする請求項１乃至５のいずれか一に記載の画像処理装置。
【請求項７】
前記合成手段は、前記車体の輪郭を残すように合成する、
ことを特徴とする請求項１乃至６のいずれか一に記載の画像処理装置。
【請求項８】
前記合成手段による合成結果を表示画面上に表示する表示手段を、更に、備える、
ことを特徴とする請求項１乃至７のいずれか一に記載の画像処理装置。
【請求項９】
車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換し、
前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換し、
変換後の前記画像の前記車体の領域に、変換後の前記死角領域画像の対応する領域を合成する、
ことを特徴とする画像処理方法。
【請求項１０】
画像処理装置のコンピュータに、
車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換し、
前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換し、
変換後の前記画像の前記車体の領域に、変換後の前記死角領域画像の対応する領域を合成する、
処理を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
運転手が車両を運転する場合、車体などに遮られ、運転手が直接視認できない死角部分が、運転手の視界に存在している。このような死角部分の内で、車両後方の視認性を確保するための手段として、従来から、ルームミラーやサイドミラーが車両に設置されている。
【０００３】
また、近年では、死角部分の視認性を補うための装置として、例えば、後方カメラや前方カメラなどを利用した装置が各種開発されている（例えば、特許文献１を参照）。ＩＳＯ１６５０５で規格化が進められているＣＭＳ（Camera Monitor System）は、車両後側方の状況を撮像した画像をモニタに表示するものであり、サイドミラーの代替手段として今後普及が期待されている。
【０００４】
ＣＭＳにおいて、モニタに表示する視野範囲の設定は、サイドミラーの視野範囲に準じて設定される。サイドミラーは、自車両と周辺物体との距離や位置関係を把握するために車体の一部がサイドミラーの視野範囲に含まれるように調整されるのが一般的である。
【０００５】
サイドミラーでは車両後方を視認することができないことから、車両の後方確認のためには、ルームミラーや後方カメラにより撮像された画像を確認する必要がある。つまり、死角部分を確認するためには、物理的に離れた複数のモニタやミラーを確認する必要があり、視線の移動量が非常に大きくなってしまう。
【０００６】
また、複数のモニタやミラーにより死角部分を確認する場合、モニタやミラーに表示される物体の対応関係の把握が非常に難しくなる。そのため、車両を操作しながらの周辺確認は、熟練を要し、容易ではないという問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１９６６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一つの側面では、本発明は、死角の原因となる車体部分に車体で遮られている視野範囲の画像を重畳表示することを可能とする画像処理装置、画像処理方法、及び、プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
一態様に係る画像処理装置は、車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換する第１の視野変換手段と、前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、前記第１の視野変換手段による変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換する第２の視野変換手段と、前記第１の視野変換手段による変換後の前記画像の前記車体の領域に、前記第２の視野変換手段による変換後の前記死角領域画像の対応する領域を合成する合成手段と、を備える、ことを特徴としている。
【発明の効果】
【００１０】
死角の原因となる車体部分に車体で遮られている視野範囲の画像を重畳表示することで、車両周辺の確認が容易となる。これにより、安全運転に寄与できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１における車載システムの構成例を示す図である。
【図２】図２Ａと図２Ｂは、いずれも、車両座標系を説明するための図である。
【図３】カメラ座標系を説明するための図である。
【図４】カメラの配置例を示す図である。
【図５】図５Ａ〜Ｅは、いずれも、カメラの配置パラメータについて説明するための図である。
【図６】右後側方視野を撮像する右仮想カメラについて説明するための図である。
【図７】仮想カメラの投影方法が透視法投影の場合における、右仮想カメラのカメラ座標系での入射光ベクトルの算出方法を説明するための図である。
【図８】右仮想カメラのカメラ座標系での入射光ベクトルの例を示す図である。
【図９】入射光ベクトルから画素位置を特定する方法を説明するための図である。
【図１０】（Ａ）は右カメラのカメラ画像の例であり、（Ｂ）は（Ａ）の例に対応する、右カメラの基準車体マスク画像の例を示す図である。
【図１１】図１０（Ｂ）に例示する基準車体マスク画像を視野変換した結果の画像の例を示す図である。
【図１２】後方カメラから右仮想カメラへの視野変換について説明するための図である。
【図１３】（Ａ）は道路平面と無限遠に配置した垂直面とによる投影面の構成例を示す図あり、（Ｂ）は道路平面と距離センサにより算出された距離の位置に配置した垂直面とによる投影面の構成例を示す図である。
【図１４】実施形態１における車載装置の構成例を示す機能ブロック図である。
【図１５】実施形態１における画像合成処理のフローを説明するためのフローチャートの例である。
【図１６】実施形態１における変換行列生成処理のフローを説明するためのフローチャートの例である。
【図１７】実施形態１における基準車体マスク画像変換処理のフローを説明するためのフローチャートの例である。
【図１８】実施形態１における第１視野変換画像生成処理のフローを説明するためのフローチャートの例である。
【図１９】実施形態１における第２視野変換画像生成処理のフローを説明するためのフローチャートの例である。
【図２０】実施形態１における画像合成処理の結果の例を示す図である。
【図２１】車両前側方視野に適用した場合における画像合成処理の結果の例を示す図である。
【図２２】実施形態２における車載装置の構成例を示す機能ブロック図である。
【図２３】実施形態２における基準車体マスク画像の生成方法を説明するための図である。
【図２４】実施形態２における基準車体マスク画像生成処理のフローを説明するためのフローチャートの例である。
【図２５】実施形態３における基準車体マスク画像の生成方法を説明するための図である。
【図２６】実施形態３における基準車体マスク画像生成処理のフローを説明するためのフローチャートの例である。
【図２７】実施形態における車載システムのハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１２】
以下に本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１３】
（実施形態１）
図１は、本実施形態１における車載システム１の構成例を示す図である。車載システム１は、図１に示すように、画像処理装置である車載装置２と、複数のカメラ３と、一又は複数のモニタ４と、距離センサ５とを備えて構成されている。車載装置２には、図１に示すように、複数のカメラ３と、一又は複数のモニタ４と、距離センサ５と、が接続されている。
【００１４】
なお、本実施形態１においては、車両後側方視野に存在する車体による死角を例に説明することとする。
【００１５】
カメラ３は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＭＯＳ（Metal-Oxide Semiconductor）などの撮像素子などで構成され、例えば、３０ｆｐｓ（frame per second）の頻度で車両周辺を撮像し、撮像した画像を後述の画像バッファ１１に順次格納する。なお、カメラ３の配置の例については、後述するものとする。
【００１６】
モニタ４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）などの表示装置であり、例えば、所定の画像処理を施した自車両周辺の画像や各種機能ボタンなどを表示画面上に表示する。モニタ４は、図１に示すように、例えば、左モニタ４Ｌと右モニタ４Ｒとで構成されており、本実施形態１においては、左サイドミラー相当する左モニタ４Ｌには、車両の左後側方視野ＶＬＢの画像が表示され、右サイドミラーに相当する右モニタ４Ｒには、車両の右後側方視野ＶＲＢの画像が表示される。
【００１７】
なお、左後側方視野ＶＬＢの画像と右後側方視野ＶＲＢの画像の表示態様は任意であり、例えば、１台のモニタ４の表示画面を左右２分割表示とし、左側に左後側方視野ＶＬＢの画像を、右側に右後側方視野ＶＲＢの画像を、それぞれ表示するように構成してもよい。
【００１８】
距離センサ５は、例えば、超音波式やレーザ式の距離センサなどである。距離センサ５は、超音波式の場合には、超音波を間欠的に発信させ、周辺物体からの反射波を受信することにより、周辺物体の有無を検出すると共に、超音波の発信から反射波の受信までに要した時間と音速との関係に基づいて、その周辺物体までの距離Ｄを算出する。距離センサ５は、車両のリア部に配置され、例えば、１０〜３０ｆｐｓの頻度で車両後方の物体までの距離Ｄを測定し、その都度、測定した距離Ｄを車載装置２に送信する。そして、この距離Ｄに基づいて、後述の投影面Ｓを構成する垂直面の位置が決定される。
【００１９】
車載装置２の詳細については後述するものとし、本実施形態１におけるアルゴリズムについて、流れに沿って説明する。
【００２０】
まず、図２乃至５を参照して、車両座標系とカメラ座標系について説明する。
【００２１】
図２Ａと図２Ｂは、いずれも、車両座標系を説明するための図である。車両座標系は、車両を基準として周辺物体の位置を座標で表した、車両固有の座標系であり、車両が移動することで、周辺物体の位置座標は変化する。車両座標系を、どのように設定するかは任意であるが、本実施形態１においては、図２に示すように、平面図における車両の中心であり路面上の点を原点Ｏ、車両の前後方向をＹ軸（前方方向をプラス）、車両の左右方向をＸ軸（右方向をプラス）、車両の垂直方向をＺ軸（上方向をプラス）とする。
【００２２】
図３は、カメラ座標系を説明するための図である。カメラ座標系は、カメラ３を基準として被写体となる周辺物体の位置を座標で表した、カメラ３固有の座標系である。カメラ座標系を、どのように設定するかは任意であるが、本実施形態１においては、図３に示すように、カメラ３の光学原点を原点Ｏ、光軸に対して水平方向に直交する方向をＸ軸（光軸方向に対して右方向をプラス）、光軸に対して垂直方向に直交する方向をＹ軸（上方向をプラス）、光軸をＺ軸（光軸方向とは逆方向をプラス）とする。視体積３１は、カメラ３の撮像範囲を示している。
【００２３】
図４は、車載装置２に接続されているカメラ３の配置例を示す図である。図４に示す配置例では、車両後方を撮像範囲とする後方カメラ３Ｂが車両のリア部に、車両右側を撮像範囲とする右カメラ３Ｒと車両左側を撮像範囲とする左カメラ３Ｌが左右のドアミラー周辺部に、それぞれ、配置され、これらの３台のカメラ３により前方周囲を除く車両周囲を撮像可能となっている。
【００２４】
図５Ａ〜Ｅは、いずれも、カメラ３の配置パラメータについて説明するための図である。カメラ３の配置パラメータは、少なくとも、車両座標系におけるカメラ３の配置位置を表す３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）と配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）とを含んでおり、この配置パラメータに基づいて、カメラ３の配置位置を一意的に定義することが可能である。
【００２５】
配置パラメータのＲｏｔａｔｅは、図５Ａに示すように、車両座標系とカメラ座標系とが一致する状態をカメラ配置の初期状態とし、図５Ｂに示すように、カメラ３が角度Ｒｏｔａｔｅだけ光軸（Ｚ軸）回りで回転させられていることを示している（ＲｏｔＺ（Ｒｏｔａｔｅ））。また、配置パラメータのＴｉｌｔは、図５Ｃに示すように、カメラ３が角度（π／２−Ｔｉｌｔ）だけＸ軸回りで回転させられていることを示している（ＲｏｔＸ（π／２−Ｔｉｌｔ））。すなわち、この変換により、水平方向で０、見下ろす方向でプラスとなるように定義されている俯角（Ｔｉｌｔ）は、真下方向からの仰角に変換される。
【００２６】
また、配置パラメータのＰａｎは、図５Ｄに示すように、カメラ３が角度ＰａｎだけＺ軸回りで左又は右に振られていることを示している（ＲｏｔＺ（Ｐａｎ））。また、配置パラメータの３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）は、図５Ｅに示すように、配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）に従ってカメラ３の配置角度を調整した後に、カメラ３を３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）に平行移動することで（Ｔｒａｎｓｌａｔｅ（Ｔｘ，Ｔｙ，Ｔｚ））、カメラ３の配置状態となることを示している。
【００２７】
配置パラメータは、カメラ３の配置位置を一意的に定義するものであると同時に、車両座標系とカメラ座標系との間の座標変換を定義するものでもある。図５Ａ〜Ｅの関係より、車両座標系からカメラ座標系への座標変換行列ＭＣＡＲ→ＣＡＭを式（１）で表すことができる。
【００２８】
【数１】
2015074436.tif 000003
【００２９】
ここで、ｃｐ＝ｃｏｓ（Ｐａｎ）、ｓｐ＝ｓｉｎ（Ｐａｎ）、ｃｔ＝ｃｏｓ（Ｔｉｌｔ）、ｓｔ＝ｓｉｎ（Ｔｉｌｔ）、ｃｒ＝ｃｏｓ（Ｒｏｔａｔｅ）、ｓｒ＝ｓｉｎ（Ｒｏｔａｔｅ）とした場合、
Ｍ１１＝ｃｒ×ｃｐ−ｓｒ×ｓｔ×ｓｐ
Ｍ１２＝ｃｒ×ｓｐ＋ｓｒ×ｓｔ×ｃｐ
Ｍ１３＝ｓｒ×ｃｔ
Ｍ２１＝−ｓｒ×ｃｐ−ｃｒ×ｓｔ×ｓｐ
Ｍ２２＝−ｓｒ×ｓｐ＋ｃｒ×ｓｔ×ｃｐ
Ｍ２３＝ｃｒ×ｃｔ
Ｍ３１＝ｃｔ×ｓｐ
Ｍ３２＝−ｃｔ×ｃｐ
Ｍ３３＝ｓｔ
である。
【００３０】
また、車両座標系からカメラ座標系へのベクトルの変換行列ＰＣＡＲ→ＣＡＭを、式（２）で表すことができる。
【００３１】
【数２】
2015074436.tif 000004
【００３２】
次に、車両の後側方視野を撮像する仮想カメラについて説明する。なお、車両の後側方視野は左側と右側の２つが存在するが、処理の内容は同じであることから、以下においては、図６に例示するような、車両の右後側方視野ＶＲＢを撮像する右仮想カメラＲＢを例に説明することとする。図６は、右後側方視野ＶＲＢを撮像する右仮想カメラＲＢについて説明するための図である。なお、図６の例では、右カメラ３Ｒのレンズは、広い範囲を撮像可能な広角レンズ、例えば、魚眼レンズとしているが、いわゆる、標準レンズでもよい。
【００３３】
右仮想カメラＲＢは、配置パラメータを有しており、配置パラメータと水平画角ＡＨと投影方法（例えば、透視法投影、円筒投影など）を指定することで、特定の視野を実現することが可能である。右仮想カメラＲＢの配置パラメータ（配置角度）と水平画角ＡＨは動的に変更可能であり、例えば、運転手の車両操作の内容に応じて、あるいは、運転手などによる操作部２０（後述）を介した設定変更により変更される。
【００３４】
本実施形態１における右仮想カメラＲＢの配置位置は、図６に示すように、右カメラ３Ｒの配置位置と同じであり、投影方法は、ディストーション（レンズ歪み）を考慮しない透視法投影とする。
【００３５】
次に、このような仮定の下、図７乃至図９を参照して、右カメラ３Ｒのカメラ画像を右後側方視野ＶＲＢの画像に変換する第１視野変換処理について説明する。
【００３６】
この場合、図７に示すように、右仮想カメラＲＢが撮像する右後側方視野ＶＲＢの画像上の任意の点の座標（ｘ，ｙ）ＲＢから、式（３．１）と式（３．２）とにより、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢを算出できる。図７は、仮想カメラの投影方法が透視法投影の場合における、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢの算出方法を説明するための図である。
【００３７】
【数３】
2015074436.tif 000005
【００３８】
【数４】
2015074436.tif 000006
【００３９】
ここで、式（３．２）中のｆは、右仮想カメラＲＢのカメラ座標系原点Ｏと右後側方視野ＶＲＢの画像座標系原点Ｏとの間の距離を、ｗｉｄｔｈは、右後側方視野ＶＲＢの画像の水平画素数を、ＡＨは、右仮想カメラＲＢの水平画角を、示している。この場合、１：ｔａｎ（ＡＨ／２）＝ｆ：（ｗｉｄｔｈ／２）が成り立つことから、ｆは、式（３．２）で表すことができる。
【００４０】
また、図８に例示する、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢは、式（４）により、図６に例示する車両座標系での入射光ベクトルｖＲＢＣＡＲに変換される。なお、式（４）中のＰ−１ＣＡＲ→ＣＡＭＲＢは、右仮想カメラＲＢの配置パラメータに基づいて、式（２）により生成可能な変換行列ＰＣＡＲ→ＣＡＭＲＢの逆行列である。また、図８は、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢの例を示す図である。
【００４１】
【数５】
2015074436.tif 000007
【００４２】
また、車両座標系での入射光ベクトルｖＲＢＣＡＲは、式（５）により、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲに変換できる。なお、式（５）中の、ＰＣＡＲ→ＣＡＭＲは、右カメラ３Ｒの配置パラメータに基づいて、式（２）により生成可能な変換行列ＰＣＡＲ→ＣＡＭＲである。
【００４３】
【数６】
2015074436.tif 000008
【００４４】
また、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲが、右カメラ３Ｒにより撮像された画像上のどの画素位置に像を結ぶかは、図９に示すように、対応付けることが可能である。式（６）は、その対応関係を示す式である。なお、図９は、入射光ベクトルｖＣＡＭＲから画素位置を特定する方法を説明するための図である。
【００４５】
【数７】
2015074436.tif 000009
【００４６】
ここで、式（６）中のＴＲは、入射光ベクトルｖＣＡＭＲと右カメラ３Ｒのカメラ画像上の画素位置とを１対１で対応付けるマッピングテーブルであり、マッピングテーブルＴＲは、ディストーション（レンズの歪み）を示すデータとカメラパラメータ（画素ピッチ）とに基づいて、予め設定可能である。
【００４７】
以上のようにして、右仮想カメラＲＢの右後側方視野ＶＲＢの画像上の画素に対応する右カメラ３Ｒのカメラ画像上の画素を特定し、特定した画素の画素値を対応する右後側方視野ＶＲＢの画像上の画素の画素値とすることで、右カメラ３Ｒのカメラ画像を右後側方視野ＶＲＢの画像に変換する第１視野変換処理を行う。
【００４８】
次に、図１０と図１１を参照して、基準車体マスク画像の視野変換処理について説明する。図１０Ａは、右カメラ３Ｒのカメラ画像の例であり、図１０Ｂは、図１０Ａの例に対応する、右カメラ３Ｒの基準車体マスク画像の例を示す図である。図１１は、図１０Ｂに例示する基準車体マスク画像を視野変換した結果の画像の例を示す図である。
【００４９】
右カメラ３Ｒの基準車体マスク画像は、図１０Ｂに示すように、右カメラ３Ｒのカメラ画像における車体領域を示す図であり、車体領域の画素値を“０”とし、それ以外の領域の画素値を“１”とした画像である。
【００５０】
右カメラ３Ｒのカメラ画像中の車体領域は、右カメラ３Ｒの配置パラメータを変更しない限り常に同じ位置に撮影されることから、右カメラ３Ｒの基準車体マスク画像は、右カメラ３Ｒの配置時に一度作成すればよい。
【００５１】
そして、右カメラ３Ｒの基準車体マスク画像に対して、上述した第１視野変換処理を行うことで、図１１に例示する視野変換後の車体マスク画像が生成される。
【００５２】
次に、図１２と図１３を参照して、後方カメラ３Ｂのカメラ画像を右後側方視野ＶＲＢの画像に変換する第２視野変換処理について説明する。図１２は、後方カメラ３Ｂから右仮想カメラＲＢへの視野変換について説明するための図である。図１３Ａは、道路平面と無限遠に配置した垂直面とによる投影面Ｓの構成例を示す図あり、図１３Ｂは、道路平面と距離センサにより算出された距離の位置に配置した垂直面とによる投影面Ｓの構成例を示す図である。
【００５３】
第１視野変換処理において説明したように、右仮想カメラＲＢにより撮像される右後側方視野ＶＲＢの画像上の任意の点の座標（ｘ，ｙ）ＲＢから、式（３．１）と式（３．２）とにより、座標（ｘ，ｙ）ＲＢに対応する点の右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢを算出できる。
【００５４】
また、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢは、式（４）により、車両座標系での入射光ベクトルｖＲＢＣＡＲに変換できる。そして、図１２に示すように、右仮想カメラＲＢの光学原点から入射光ベクトルｖＲＢＣＡＲとは逆の方向に線分を伸ばし、車両座標系で定義されている任意の投影面Ｓと線分との交点をＣとすると、車両座標系での交点Ｃの座標と後方カメラ３Ｂの配置パラメータとに基づいて、交点Ｃから後方カメラ３Ｂの光学原点に向かう車両座標系での入射光ベクトルｖＢＣＡＲを算出できる。
【００５５】
投影面Ｓを構成する垂直面は、図１３Ａに示すように、車両から十分遠い距離（無限遠）に配置してもよいし、図１３Ｂに示すように、距離センサ５により測定された後方物体までの距離Ｄの位置に配置してもよい。投影面Ｓを構成する垂直面を無限遠に配置することで、右仮想カメラＲＢと後方カメラ３Ｂとの視差を軽減することが可能となる。
【００５６】
また、車両座標系での入射光ベクトルｖＢＣＡＲは、式（７）により、後方カメラ３Ｂのカメラ座標系での入射光ベクトルｖＣＡＭＢに変換できる。なお、式（７）中のＰＣＡＲ→ＣＡＭＢは、後方カメラ３Ｂの配置パラメータに基づいて、式（２）により生成可能な変換行列ＰＣＡＲ→ＣＡＭＢである。
【００５７】
【数８】
2015074436.tif 000010
【００５８】
また、後方カメラ３Ｂのカメラ座標系での入射光ベクトルｖＣＡＭＢが、後方カメラ３Ｂにより撮像された画像上のどの画素位置に像を結ぶかは、上述したように、対応付けることが可能であり、式（８）は、その対応関係を示す式である。
【００５９】
【数９】
2015074436.tif 000011
【００６０】
ここで、式（８）中のＴＢは、入射光ベクトルｖＣＡＭＢと後方カメラ３Ｂのカメラ画像上の画素位置とを１対１で対応付けるマッピングテーブルであり、マッピングテーブルＴＢは、ディストーション（レンズの歪み）を示すデータとカメラパラメータ（画素ピッチ）とに基づいて、予め設定可能である。
【００６１】
以上のようにして、右仮想カメラＲＢの右後側方視野ＶＲＢの画像上の画素に対応する後方カメラ３Ｂのカメラ画像上の画素を特定し、特定した画素の画素値を対応する右後側方視野ＶＲＢの画像上の画素の画素値とすることで、後方カメラ３Ｂのカメラ画像を右後側方視野ＶＲＢの画像に変換する第２視野変換処理を行う。
【００６２】
次に、視野変換後の車体マスク画像に基づく、右カメラ３Ｒのカメラ画像を第１視野変換処理して生成された右後側方視野ＶＲＢの視野変換画像（以下、視野変換画像Ｒという）と後方カメラ３Ｂのカメラ画像を第２視野変換処理して生成された右後側方視野ＶＲＢの視野変換画像（以下、視野変換画像ＢＲという）との合成処理について説明する。
【００６３】
本合成処理は、基準車体マスク画像を第１視野変換処理して生成した視野変換後の車体マスク画像の画素値に基づいて、行われる。ここで、座標（ｘ，ｙ）ＲＢにおける視野変換後の車体マスク画像の画素値をα、座標（ｘ，ｙ）ＲＢにおける視野変換画像Ｒの画素値をＣＲ、座標（ｘ，ｙ）ＲＢにおける視野変換画像ＢＲの画素値をＣＢＲとすると、座標（ｘ，ｙ）ＲＢにおける合成画像の画素値ＣＤは、式（９）により算出できる。
【００６４】
【数１０】
2015074436.tif 000012
【００６５】
なお、画素値αの値は、車体領域において“０”とし、それ以外の領域を“１”とすると説明したが、これに限定されるものではなく、例えば、車体領域の輪郭部分の画素値を“１”未満の大きな値とし、輪郭部分から離れるに従って車体領域の画素値が“０”に近い値となるように構成してもよい。このように構成することで、周辺物体と接触する可能性が高い車体領域の輪郭部分をはっきり残した状態で、それ以外の車体領域には視野変換画像ＢＲを合成し、車体による死角をなくすことが可能となる。
【００６６】
次に、図１４を参照して、本実施形態１における車載装置２について説明する。図１４は、本実施形態１における車載装置２の構成例を示す機能ブロック図である。本実施形態１における車載装置２は、図１４に示すように、記憶部１０と、操作部２０と、受信部３０と、制御部４０と、を備えて構成されている。
【００６７】
記憶部１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などで構成されている。記憶部１０は、制御部４０を構成する、例えば、ＣＰＵ（Central Processing Unit）のワークエリア、車載装置２全体を制御するための動作プログラムなどの各種プログラムを格納するプログラムエリア、各カメラ３の配置パラメータ、各カメラ３のマッピングテーブル（ＴＲ，ＴＬ，ＴＢ）、右カメラ３Ｒと左カメラ３Ｌの基準車体マスク画像などの各種データを格納するデータエリアとして機能する。
【００６８】
また、記憶部１０は、画像バッファ１１と、視野変換画像バッファ１２と、車体マスク画像バッファ１３として機能する。画像バッファ１１は、カメラ３により撮像された、自車両周辺の画像データを順次格納する。視野変換画像バッファ１２は、カメラ画像を視野変換処理する際に利用されるバッファであり、車体マスク画像バッファ１３は、基準車体マスク画像を視野変換処理する際に利用されるバッファである。
【００６９】
操作部２０は、各種ボタンやモニタ４の表示画面上に表示されるタッチパネルなどで構成され、ユーザ（運転手など）は、操作部２０を操作して、所望の処理を実行させることが可能である。
【００７０】
受信部３０は、車両の操作内容を示す操作情報を車両から受信する。操作情報とは、例えば、シフト操作、アクセル操作、ハンドル操作、ウインカー操作などの内容を示す情報である。
【００７１】
制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図１４に示すように、判定部４１と、設定部４２と、変換行列生成部４３と、車体マスク画像変換部４４と、第１視野変換画像生成部４５と、位置決定部４６と、第２視野変換画像生成部４７と、合成処理部４８としての機能を実現すると共に、車載装置２全体を制御する制御処理や詳しくは後述の画像合成処理などの処理を実行する。
【００７２】
判定部４１は、詳しくは後述の画像合成処理の終了が指示されたか否かを判定する。例えば、判定部４１は、操作部２０を介して、ユーザにより所定の操作が行われた場合に、画像合成処理の終了が指示されたと判定する。また、例えば、判定部４１は、車載装置２が搭載されている車両のシフトレバーがパーキングの状態にされた場合など、予め設定されている終了条件を充足した際に、画像合成処理の終了が指示されたと判定する。
【００７３】
また、判定部４１は、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の視野範囲の設定が変更されたか否かを判定する。より具体的には、設定部４２により右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の水平画角ＡＨ、あるいは、配置パラメータ（配置角度）が変更された場合に、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の視野範囲の設定が変更されたと判定する。また、判定部４１は、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の視野範囲の設定が変更されたと判定した場合に、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の配置パラメータ（配置角度）が変更されたか否かを、更に、判定する。
【００７４】
設定部４２は、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の視野範囲を設定する。より具体的には、設定部４２は、受信部３０で受信された操作情報により特定される運転手の車両操作の内容、あるいは、運転手などにより操作部２０を介して設定された内容に基づいて、配置パラメータ（配置角度）と水平画角ＡＨを設定することで、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の視野範囲を設定する。
【００７５】
変換行列生成部４３は、記憶部１０のデータエリアに格納されている各カメラ３の配置パラメータに基づいて、上述の式（２）により、車両座標系から各カメラ座標系へのベクトルの変換行列ＰＣＡＲ→ＣＡＭＲ、ＰＣＡＲ→ＣＡＭＬ、ＰＣＡＲ→ＣＡＭＢを算出する。また、変換行列生成部４３は、設定部４２により設定された右仮想カメラＲＢと左仮想カメラＬＢの配置パラメータに基づいて、上述の式（２）により、車両座標系から右仮想カメラＲＢのカメラ座標系への変換行列の逆行列Ｐ−１ＣＡＲ→ＣＡＭＲＢと、車両座標系から左仮想カメラＬＢのカメラ座標系への変換行列の逆行列Ｐ−１ＣＡＲ→ＣＡＭＬＢと、を算出する。
【００７６】
また、変換行列生成部４３は、判定部４１により右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の配置パラメータ（配置角度）が変更されたと判定された場合に、変更後の配置パラメータに基づいて、配置パラメータが変更された右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の逆行列Ｐ−１ＣＡＲ→ＣＡＭＲＢ（又は、Ｐ−１ＣＡＲ→ＣＡＭＬＢ）を再算出する。
【００７７】
車体マスク画像変換部４４は、記憶部１０のデータエリアに格納されている右カメラ３Ｒと左カメラ３Ｌの基準車体マスク画像を、上述の第１視野変換処理により視野変換した車体マスク画像をそれぞれ生成する。
【００７８】
第１視野変換画像生成部４５は、上述の第１視野変換処理により、右カメラ３Ｒ（又は、左カメラ３Ｌ）のカメラ画像を右仮想カメラＲＢの右後側方視野ＶＲＢの画像（又は、左仮想カメラＬＢの左後側方視野ＶＬＢの画像）に変換した視野変換画像Ｒ（又は、視野変換画像Ｌ）を生成する。
【００７９】
位置決定部４６は、距離センサ５により算出された車両後方の周辺物体までの距離Ｄに基づいて、投影面Ｓを構成する垂直面の位置を決定する。例えば、位置決定部４６は、距離センサ５の測定範囲内に周辺物体が存在していないために距離Ｄが算出されなかった場合、あるいは、算出された距離Ｄが予め設定されている距離閾値以上の場合に、垂直面の位置を無限遠とし、算出された距離Ｄが距離閾値より小さい場合に、垂直面の位置を算出された距離Ｄの位置とする。
【００８０】
第２視野変換画像生成部４７は、上述の第２視野変換処理により、後方カメラ３Ｂのカメラ画像を右仮想カメラＲＢの右後側方視野ＶＲＢの画像（又は、左仮想カメラＬＢの左後側方視野ＶＬＢの画像）に変換した視野変換画像ＢＲ（又は、視野変換画像ＢＬ）を生成する。
【００８１】
合成処理部４８は、上述の式（９）に従って、第１視野変換画像生成部４５により生成された視野変換画像Ｒ（又は、視野変換画像Ｌ）と、第２視野変換画像生成部４７により生成された視野変換画像ＢＲ（又は、視野変換画像ＢＬ）と、を合成する処理を行う。そして、合成処理部４８は、合成処理の結果を、それぞれ、右モニタ４Ｒと左モニタ４Ｌの表示画面上に表示させる。
【００８２】
次に、図１５を参照して、本実施形態１における画像合成処理の流れについて説明する。図１５は、本実施形態１における画像合成処理のフローを説明するためのフローチャートの例である。本画像合成処理は、例えば、カメラ３により撮像された画像の画像データが画像バッファ１１に格納されたことをトリガとして開始される。
【００８３】
変換行列生成部４３は、変換行列の生成処理を実行し（ステップＳ００１）、車体マスク画像変換部４４は、右カメラ３Ｒと左カメラ３Ｌの基準車体マスク画像を、上述の第１視野変換処理により視野変換した車体マスク画像をそれぞれ生成する（ステップＳ００２）。
【００８４】
そして、第１視野変換画像生成部４５は、上述の第１視野変換処理により、右カメラ３Ｒ（又は、左カメラ３Ｌ）のカメラ画像から視野変換画像Ｒ（又は、視野変換画像Ｌ）を生成する（ステップＳ００３）。そして、第２視野変換画像生成部４７は、上述の第２視野変換処理により、後方カメラ３Ｂのカメラ画像から視野変換画像ＢＲ（又は、視野変換画像ＢＬ）を生成する（ステップＳ００４）。
【００８５】
そして、合成処理部４８は、上述の式（９）に従って、ステップＳ００３の処理で生成された視野変換画像Ｒ（又は、視野変換画像Ｌ）と、ステップＳ００４の処理で生成された視野変換画像ＢＲ（又は、視野変換画像ＢＬ）と、を合成する処理を行う（ステップＳ００５）。
【００８６】
そして、合成処理部４８は、合成処理の結果を、それぞれ、右モニタ４Ｒと左モニタ４Ｌの表示画面上に表示させ（ステップＳ００６）、判定部４１は、画像合成処理の終了が指示されたか否かを判定する（ステップＳ００７）。
【００８７】
画像合成処理の終了はまだ指示されていないと判定した場合には（ステップＳ００７；ＮＯ）、判定部４１は、更に、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の視野範囲の設定が変更されたか否かを判定する（ステップＳ００８）。
【００８８】
判定部４１により、視野範囲の設定が変更されていないと判定された場合には（ステップＳ００８；ＮＯ）、処理は上述のステップＳ００３の処理へと戻り、前述の処理を繰り返す。一方、視野範囲の設定が変更されたと判定した場合には（ステップＳ００８；ＹＥＳ）、判定部４１は、更に、右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の配置パラメータ（配置角度）が変更されたか否かを判定する（ステップＳ００９）。
【００８９】
判定部４１により、配置パラメータ（配置角度）が変更されたと判定された場合には（ステップＳ００９；ＹＥＳ）、変換行列生成部４３は、変更後の配置パラメータに基づいて、配置パラメータが変更された右仮想カメラＲＢ（又は、左仮想カメラＬＢ）の逆行列Ｐ−１ＣＡＲ→ＣＡＭＲＢ（又は、Ｐ−１ＣＡＲ→ＣＡＭＬＢ）を再算出する（ステップＳ０１０）。そして、処理はステップＳ００２の処理へと戻り、前述の処理を繰り返す。
【００９０】
一方、判定部４１により、配置パラメータ（配置角度）は変更されていないと判定された場合には（ステップＳ００９；ＮＯ）、処理はステップＳ００２の処理へと戻り、前述の処理を繰り返す。
【００９１】
一方、ステップＳ００７の処理において、判定部４１により、画像合成処理の終了が指示されたと判定された場合には（ステップＳ００７；ＹＥＳ）、処理を終了する。
【００９２】
次に、図１６を参照して、本実施形態１における変換行列生成処理の流れについて説明する。図１６は、本実施形態１における変換行列生成処理のフローを説明するためのフローチャートの例である。本変換行列生成処理は、上述の画像合成処理のステップＳ００１に対応する処理である。左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。
【００９３】
変換行列生成部４３は、設定部４２により設定された右仮想カメラＲＢの配置パラメータに基づいて、上述の式（２）により、車両座標系から右仮想カメラＲＢのカメラ座標系への変換行列の逆行列Ｐ−１ＣＡＲ→ＣＡＭＲＢを算出する（ステップＳ１０１）。
【００９４】
また、変換行列生成部４３は、記憶部１０のデータエリアに格納されている右カメラ３Ｒの配置パラメータに基づいて、上述の式（２）により、車両座標系から右カメラ３Ｒのカメラ座標系へのベクトルの変換行列ＰＣＡＲ→ＣＡＭＲを算出する（ステップＳ１０２）。
【００９５】
さらに、変換行列生成部４３は、記憶部１０のデータエリアに格納されている後方カメラ３Ｂの配置パラメータに基づいて、上述の式（２）により、車両座標系から後方カメラ３Ｂのカメラ座標系へのベクトルの変換行列ＰＣＡＲ→ＣＡＭＢを算出し（ステップＳ１０３）、本処理は終了する。そして、画像合成処理のステップＳ００２の処理へと移行する。
【００９６】
次に、図１７を参照して、本実施形態１における基準車体マスク画像変換処理の流れについて説明する。図１７は、本実施形態１における基準車体マスク画像変換処理のフローを説明するためのフローチャートの例である。本基準車体マスク画像変換処理は、上述の画像合成処理のステップＳ００２に対応する処理である。左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。
【００９７】
車体マスク画像変換部４４は、車体マスク画像バッファ１３をクリアし（ステップＳ２０１）、右仮想カメラＲＢの右後側方視野ＶＲＢの画像上における、まだ処理していない画素座標（ｘ，ｙ）ＲＢを抽出する（ステップＳ２０２）。
【００９８】
そして、車体マスク画像変換部４４は、抽出した画素座標（ｘ，ｙ）ＲＢを、式（３．１）と式（３．２）により、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢに変換し（ステップＳ２０３）、更に、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢを、式（４）により、車両座標系での入射光ベクトルｖＲＢＣＡＲに変換する（ステップＳ２０４）。
【００９９】
そして、車体マスク画像変換部４４は、車両座標系での入射光ベクトルｖＲＢＣＡＲを、式（５）により、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲに変換し（ステップＳ２０５）、式（６）により、入射光ベクトルｖＣＡＭＲに対応する右カメラ３Ｒのカメラ画像上の画素座標（ｘ，ｙ）Ｒを特定する（ステップＳ２０６）。
【０１００】
そして、車体マスク画像変換部４４は、処理対象の画素座標（ｘ，ｙ）ＲＢに、特定した画素座標（ｘ，ｙ）Ｒにおける基準車体マスク画像の画素値を書き込み（ステップＳ２０７）、右仮想カメラＲＢの画像上の全ての画素座標に対して処理を行ったか否かを判定する（ステップＳ２０８）。
【０１０１】
まだ未処理の画素座標がある場合には（ステップＳ２０８；ＮＯ）、処理はステップＳ２０２の処理へと戻り、前述の処理を繰り返す。一方、全ての画素座標に対して、特定した右カメラ３Ｒのカメラ画像上の画素座標（ｘ，ｙ）Ｒにおける基準車体マスク画像の画素値を書き込んだ場合には（ステップＳ２０８；ＹＥＳ）、車体マスク画像変換部４４は、生成した視野変換後の車体マスク画像を記憶部１０のデータエリアに格納する（ステップＳ２０９）。この際、視野変換後の車体マスク画像が既にデータエリアに存在する場合には、上書きする。そして、本処理は終了し、画像合成処理のステップＳ００３の処理へと移行する。
【０１０２】
次に、図１８を参照して、本実施形態１における第１視野変換画像生成処理の流れについて説明する。図１８は、本実施形態１における第１視野変換画像生成処理のフローを説明するためのフローチャートの例である。本第１視野変換画像生成処理は、上述の画像合成処理のステップＳ００３に対応する処理である。左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。
【０１０３】
第１視野変換画像生成部４５は、対応する視野変換画像バッファ１２をクリアし（ステップＳ３０１）、右仮想カメラＲＢの右後側方視野ＶＲＢの画像上における、まだ処理していない画素座標（ｘ，ｙ）ＲＢを抽出する（ステップＳ３０２）。
【０１０４】
そして、第１視野変換画像生成部４５は、抽出した画素座標（ｘ，ｙ）ＲＢを、式（３．１）と式（３．２）により、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢに変換し（ステップＳ３０３）、更に、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢを、式（４）により、車両座標系での入射光ベクトルｖＲＢＣＡＲに変換する（ステップＳ３０４）。
【０１０５】
そして、第１視野変換画像生成部４５は、車両座標系での入射光ベクトルｖＲＢＣＡＲを、式（５）により、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲに変換し（ステップＳ３０５）、式（６）により、入射光ベクトルｖＣＡＭＲに対応する右カメラ３Ｒのカメラ画像上の画素座標（ｘ，ｙ）Ｒを特定する（ステップＳ３０６）。
【０１０６】
そして、第１視野変換画像生成部４５は、処理対象の画素座標（ｘ，ｙ）ＲＢに、特定した画素座標（ｘ，ｙ）Ｒの画素値を書き込み（ステップＳ３０７）、右仮想カメラＲＢの画像上の全ての画素座標に対して処理を行ったか否かを判定する（ステップＳ３０８）。
【０１０７】
まだ未処理の画素座標がある場合には（ステップＳ３０８；ＮＯ）、処理はステップＳ３０２の処理へと戻り、前述の処理を繰り返す。一方、全ての画素座標に対して、特定した右カメラ３Ｒのカメラ画像上の画素座標（ｘ，ｙ）Ｒの画素値を書き込んだ場合には（ステップＳ３０８；ＹＥＳ）、本処理を終了し、画像合成処理のステップＳ００４の処理へと移行する。
【０１０８】
次に、図１９を参照して、本実施形態１における第２視野変換画像生成処理の流れについて説明する。図１９は、本実施形態１における第２視野変換画像生成処理のフローを説明するためのフローチャートの例である。本第２視野変換画像生成処理は、上述の画像合成処理のステップＳ００４に対応する処理である。左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。
【０１０９】
第２視野変換画像生成部４７は、対応する視野変換画像バッファ１２をクリアする（ステップＳ４０１）。そして、位置決定部４６は、距離センサ５により算出された距離Ｄに基づいて、投影面Ｓを構成する垂直面を配置する位置を決定する（ステップＳ４０２）。
【０１１０】
そして、第２視野変換画像生成部４７は、右仮想カメラＲＢの右後側方視野ＶＲＢの画像上における、まだ処理していない画素座標（ｘ，ｙ）ＲＢを抽出し（ステップＳ４０３）、抽出した画素座標（ｘ，ｙ）ＲＢを、式（３．１）と式（３．２）により、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢに変換する（ステップＳ４０４）。
【０１１１】
そして、第２視野変換画像生成部４７は、右仮想カメラＲＢのカメラ座標系での入射光ベクトルｖＣＡＭＲＢを、式（４）により、車両座標系での入射光ベクトルｖＲＢＣＡＲに変換し（ステップＳ４０５）、右仮想カメラＲＢの光学原点から入射光ベクトルｖＲＢＣＡＲとは逆の方向に伸ばした線分と、位置決定部４６により決定された位置に垂直面が配置された投影面Ｓとの交点Ｃの車両座標系での座標を算出する（ステップ４０６）。
【０１１２】
そして、第２視野変換画像生成部４７は、交点Ｃから後方カメラ３Ｂへの車両座標系での入射光ベクトルｖＢＣＡＲを算出し（ステップＳ４０７）、更に、式（７）により、算出した入射光ベクトルｖＢＣＡＲを後方カメラ３Ｂのカメラ座標系での入射光ベクトルｖＣＡＭＢに変換する（ステップＳ４０８）。
【０１１３】
そして、第２視野変換画像生成部４７は、式（８）により、入射光ベクトルｖＣＡＭＢに対応する後方カメラ３Ｂのカメラ画像上の画素座標（ｘ，ｙ）Ｂを特定し（ステップＳ４０９）、処理対象の画素座標（ｘ，ｙ）ＲＢに、特定した画素座標（ｘ，ｙ）Ｂの画素値を書き込む（ステップＳ４１０）。
【０１１４】
そして、第２視野変換画像生成部４７は、右仮想カメラＲＢの画像上の全ての画素座標に対して処理を行ったか否かを判定する（ステップＳ４１１）。まだ未処理の画素座標がある場合には（ステップＳ４１１；ＮＯ）、処理はステップＳ４０３の処理へと戻り、前述の処理を繰り返す。
【０１１５】
一方、全ての画素座標に対して、特定した後方カメラ３Ｂのカメラ画像上の画素座標（ｘ，ｙ）Ｂの画素値を書き込んだ場合には（ステップＳ４１１；ＹＥＳ）、本処理を終了し、画像合成処理のステップＳ００５の処理へと移行する。
【０１１６】
次に、図２０を参照して、具体例に従って、本画像合成処理の流れについて説明する。図２０は、本実施形態１における画像合成処理の結果の例を示す図である。本具体例は、右カメラ３Ｒに対応する処理の例を示すものである。
【０１１７】
右カメラ３Ｒにより撮像された右カメラ画像と右カメラ３Ｒの基準車体マスク画像を、第１視野変換処理し、視野変換画像Ｒと視野変換した車体マスク画像を生成する。また、後方カメラ３Ｂにより撮像された後方カメラ画像を、第２視野変換処理し、視野変換画像ＢＲを生成する。
【０１１８】
そして、視野変換した車体マスク画像の画素値に基づいて、視野変換画像Ｒと視野変換画像ＢＲとを画像合成する。つまり、視野変換画像Ｒの車体領域に後方カメラ３Ｂにより撮像された後方カメラ画像を合成することで、車体による死角をなくすことが可能となる。
【０１１９】
なお、本実施形態１において、後側方視野の車体領域に後方カメラ３Ｂにより撮像された画像を合成する処理について説明したが、これに限定されるものではなく、例えば、前側方視野の車体領域に前方カメラ３Ｆにより撮像された画像を合成する場合おいても本実施形態１の構成を適用できる。つまり、車体が死角となる視野画像に対して、本実施形態１の構成を適用可能である。図２１は、車両前側方視野に適用した場合における画像合成処理の結果の例を示す図である。
【０１２０】
上記実施形態１によれば、車体領域に、その車体領域により死角となる周辺環境を撮像した画像を合成する。このように構成することで、死角部分を確認するために複数のモニタなどを確認する必要がなくなるため、車両周辺の確認が容易となる。これにより、安全運転に寄与できる。
【０１２１】
また、上記実施形態１によれば、合成する領域を特定するために、基準車体マスク画像を用いる。このように構成することで、モニタ４に表示する視野範囲が変化した場合であっても、基準車体マスク画像を視野変換するだけで、変化後の視野範囲における車体領域（合成する領域）を特定することが可能となる。
【０１２２】
また、上記実施形態１によれば、モニタ４に表示する視野範囲に応じて、基準車体マスク画像を視野変換し、合成処理時に、視野変換した車体マスク画像を用いる。このように構成することで、想定される視野範囲に対応する複数の車体マスク画像を予め用意し、記憶部１０のデータエリアに格納しておく必要がなくなる。そのため、資源を有効活用することが可能となる。
【０１２３】
（実施形態２）
本実施形態２において、上記実施形態１で説明した車載システム１を量産車両に搭載する場合の、基準車体マスク画像の生成方法について説明する。
【０１２４】
図２２は、本実施形態２における車載装置２の構成例を示す機能ブロック図である。本実施形態２における車載装置２の構成は、基本的には実施形態１の場合と同じである。但し、制御部４０が、更に、基準車体マスク画像生成部４９として機能する点と、記憶部１０のデータエリアに右カメラ３Ｒと左カメラ３Ｌの理想配置パラメータと理想車体マスク画像とが格納されている点で、実施形態１の場合と異なっている。また、制御部４０の共通する機能部の一部（変換行列生成部４３）が果たす役割が実施形態１の場合と若干異なっている。
【０１２５】
理想配置パラメータは、カメラ３の理想的な取り付け条件を表したパラメータであり、ＣＡＤデータに基づいて作成してもよいし、基準となる車両にカメラ３を取り付けて配置パラメータを計測したものを利用してもよい。以下において、理想配置パラメータに基づいて配置されている右カメラ３Ｒと左カメラ３Ｌを、それぞれ、右理想カメラＲＭ、左理想カメラＬＭということとする。また、右理想カメラＲＭと左理想カメラＬＭとを区別する必要が無い場合には、単に、理想カメラＭと称することとする。
【０１２６】
理想車体マスク画像は、カメラ３を理想配置パラメータに従って配置した際の車体マスク画像、すなわち、理想カメラＭの基準車体マスク画像であり、ＣＡＤデータに基づいて作成してもよいし、基準となる車両に取り付けたカメラ３の画像に基づいて作成してもよい。
【０１２７】
制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図２２に示すように、判定部４１と、設定部４２と、変換行列生成部４３と、車体マスク画像変換部４４と、第１視野変換画像生成部４５と、位置決定部４６と、第２視野変換画像生成部４７と、合成処理部４８と、基準車体マスク画像生成部４９としての機能を実現すると共に、車載装置２全体を制御する制御処理や詳しくは後述の基準車体マスク画像生成処理などの処理を実行する。
【０１２８】
変換行列生成部４３は、実施形態１で説明した処理の他に、記憶部１０のデータエリアに格納されている理想配置パラメータに基づいて、式（２）により、車両座標系から右理想カメラＲＭのカメラ座標系への変換行列ＰＣＡＲ→ＣＡＭＲＭと、車両座標系から左理想カメラＬＭのカメラ座標系への変換行列ＰＣＡＲ→ＣＡＭＬＭと、を算出する。
【０１２９】
また、変換行列生成部４３は、記憶部１０のデータエリアに格納されている右カメラ３Ｒと左カメラ３Ｌの配置パラメータに基づいて、式（２）により、変換行列ＰＣＡＲ→ＣＡＭＲの逆行列Ｐ−１ＣＡＲ→ＣＡＭＲと、変換行列ＰＣＡＲ→ＣＡＭＬの逆行列Ｐ−１ＣＡＲ→ＣＡＭＬを生成する。
【０１３０】
基準車体マスク画像生成部４９は、記憶部１０のデータエリアに格納されている理想車体マスク画像に基づいて、基準車体マスク画像を生成する。
【０１３１】
ここで、基準車体マスク画像生成部４９による、より具体的な処理について、図２３を参照して説明する。図２３は、本実施形態２における基準車体マスク画像の生成方法を説明するための図である。なお、左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。また、本実施形態２においては、量産車両でのカメラ３の取り付け位置のズレは無視できる程度であるものとして説明する。
【０１３２】
右カメラ３Ｒの基準車体マスク画像上の任意の画素座標（ｘ，ｙ）Ｒに対応する理想車体マスク画像上の画素座標を（ｘ，ｙ）ＲＭとする。画素座標（ｘ，ｙ）Ｒは、式（１０）により、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲに変換でき、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲは、式（１１）により、車両座標系での入射光ベクトルｖＲＣＡＲに変換できる。
【０１３３】
【数１１】
2015074436.tif 000013
【０１３４】
【数１２】
2015074436.tif 000014
【０１３５】
車両座標系はカメラ３の配置角度に依存しないことから、車両座標系での右カメラ３Ｒの入射光ベクトルｖＲＣＡＲは、車両座標系での右理想カメラＲＭの入射光ベクトルｖＲＭＣＡＲと等しいとみなすことができる。
【０１３６】
したがって、車両座標系での入射光ベクトルｖＲＣＡＲ（＝ｖＲＭＣＡＲ）を、式（１２）により、右理想カメラＲＭのカメラ座標系での入射光ベクトルｖＣＡＭＲＭに変換できる。
【０１３７】
【数１３】
2015074436.tif 000015
【０１３８】
ここで、右理想カメラＲＭと量産車両の各右カメラ３Ｒのディストーション（レンズ歪み）の差が無視できる程度であるとすると、同じマッピングテーブルＴＲを用いた式（１３）により、右理想カメラＲＭのカメラ座標系での入射光ベクトルｖＣＡＭＲＭを画素座標（ｘ，ｙ）ＲＭに変換できる。
【０１３９】
【数１４】
2015074436.tif 000016
【０１４０】
このようにして特定した理想車体マスク画像上の画素座標（ｘ，ｙ）ＲＭにおける画素値を、基準車体マスク画像上の画素座標（ｘ，ｙ）Ｒに書き込むことで、基準車体マスク画像を生成する。
【０１４１】
次に、図２４を参照して、本実施形態２における基準車体マスク画像生成処理の流れについて説明する。図２４は、本実施形態２における基準車体マスク画像生成処理のフローを説明するためのフローチャートの例である。本基準車体マスク画像生成処理は、例えば、操作部２０を介して所定の操作が行われたことをトリガとして開始される。左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。
【０１４２】
変換行列生成部４３は、右カメラ３Ｒの配置パラメータに基づいて、式（２）により、変換行列ＰＣＡＲ→ＣＡＭＲの逆行列Ｐ−１ＣＡＲ→ＣＡＭＲを算出すると共に（ステップＳ５０１）、理想配置パラメータに基づいて、式（２）により、車両座標系から右理想カメラＲＭのカメラ座標系への変換行列ＰＣＡＲ→ＣＡＭＲＭを算出する（ステップＳ５０２）。
【０１４３】
そして、基準車体マスク画像生成部４９は、車体マスク画像バッファ１３をクリアし（ステップＳ５０３）、右カメラ３Ｒの基準車体マスク画像上における、まだ処理していない画素座標（ｘ，ｙ）Ｒを抽出する（ステップＳ５０４）。
【０１４４】
そして、基準車体マスク画像生成部４９は、抽出した画素座標（ｘ，ｙ）Ｒを、式（１０）により、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲに変換し（ステップＳ５０５）、更に、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲを、式（１１）により、車両座標系での入射光ベクトルｖＲＣＡＲに変換する（ステップＳ５０６）。
【０１４５】
そして、基準車体マスク画像生成部４９は、車両座標系での入射光ベクトルｖＲＣＡＲ（＝ｖＲＭＣＡＲ）を、式（１２）により、右理想カメラＲＭのカメラ座標系での入射光ベクトルｖＣＡＭＲＭに変換し（ステップＳ５０７）、式（１３）により、入射光ベクトルｖＣＡＭＲＭに対応する右理想カメラＲＭの理想車体マスク画像上の画素座標（ｘ，ｙ）ＲＭを特定する（ステップＳ５０８）。
【０１４６】
そして、基準車体マスク画像生成部４９は、処理対象の画素座標（ｘ，ｙ）Ｒに、特定した画素座標（ｘ，ｙ）ＲＭにおける基準車体マスク画像の画素値を書き込み（ステップＳ５０９）、右カメラ３Ｒの基準車体マスク画像上の全ての画素座標に対して処理を行ったか否かを判定する（ステップＳ５１０）。
【０１４７】
まだ未処理の画素座標がある場合には（ステップＳ５１０；ＮＯ）、処理はステップＳ５０４の処理へと戻り、前述の処理を繰り返す。一方、全ての画素座標に対して、特定した画素座標（ｘ，ｙ）ＲＭにおける理想車体マスク画像の画素値を書き込んだ場合には（ステップＳ５１０；ＹＥＳ）、基準車体マスク画像生成部４９は、生成した基準車体マスク画像を記憶部１０のデータエリアに格納し（ステップＳ５１１）、本処理は終了する。
【０１４８】
上記実施形態２によれば、理想車体マスク画像を、実際のカメラ３の配置パラメータに基づいて変換して、車両ごとに基準車体マスク画像を生成する。このようの構成することで、カメラ３の配置パラメータにばらつきがある量産車両の製造時における工数を削減し、製造効率を向上させることが可能となる。
【０１４９】
（実施形態３）
本実施形態３においては、車体形状データに基づいて、量産車両の基準車体マスク画像を生成する方法について説明する。
【０１５０】
本実施形態３における車載装置２の構成は、基本的には実施形態２の場合と同じである。但し、理想車体マスク画像の換わりに車体形状データが、記憶部１０のデータエリアに格納されている点で、実施形態２の場合と異なっている。また、制御部４０の共通する機能部の一部（変換行列生成部４３と基準車体マスク画像生成部４９）が果たす役割が実施形態２の場合と若干異なっている。
【０１５１】
車体形状データは、図２５に示すように、例えば、車両形状を模した３次元ポリゴンデータであり、車両座標系で定義されているものとする。
【０１５２】
変換行列生成部４３は、実施形態１で説明した処理の他に、記憶部１０のデータエリアに格納されている右カメラ３Ｒと左カメラ３Ｌの配置パラメータに基づいて、式（２）により、変換行列ＰＣＡＲ→ＣＡＭＲの逆行列Ｐ−１ＣＡＲ→ＣＡＭＲと、変換行列ＰＣＡＲ→ＣＡＭＬの逆行列Ｐ−１ＣＡＲ→ＣＡＭＬを生成する。
【０１５３】
基準車体マスク画像生成部４９は、記憶部１０のデータエリアに格納されている車体形状データに基づいて、基準車体マスク画像を生成する。
【０１５４】
ここで、基準車体マスク画像生成部４９による、より具体的な処理について、図２５を参照して説明する。図２５は、本実施形態３における基準車体マスク画像の生成方法を説明するための図である。なお、左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。
【０１５５】
右カメラ３Ｒの基準車体マスク画像上の任意の画素座標（ｘ，ｙ）Ｒは、上述の式（１０）により、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲに変換でき、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲは、上述の式（１１）により、車両座標系での入射光ベクトルｖＲＣＡＲに変換できる。
【０１５６】
ここで、右カメラ３Ｒの車両座標系での配置座標を（ＴｘＲ，ＴｙＲ，ＴｚＲ）とする。このとき、配置座標（ＴｘＲ，ＴｙＲ，ＴｚＲ）からベクトルｖＲＣＡＲの方向とは逆の方向に線分を伸ばし、伸ばした線分が車両形状データを構成するポリゴンの内で、車体領域を構成するポリゴンとの交点を持つ場合には、車体領域であるとし、“０”の値を画素値として画素座標（ｘ，ｙ）Ｒに書き込む。一方、伸ばした線分が車体領域を構成するポリゴンとの交点を持たない場合には、車体領域ではないとし、“１”の値を画素値として画素座標（ｘ，ｙ）Ｒに書き込む。
【０１５７】
次に、図２６を参照して、本実施形態３における基準車体マスク画像生成処理の流れについて説明する。図２６は、本実施形態３における基準車体マスク画像生成処理のフローを説明するためのフローチャートの例である。本基準車体マスク画像生成処理は、例えば、操作部２０を介して所定の操作が行われたことをトリガとして開始される。左カメラ３Ｌに対応する処理は、右カメラ３Ｒに対応する処理と同じであることから、ここでは、右カメラ３Ｒに対応する処理について説明することとする。
【０１５８】
変換行列生成部４３は、右カメラ３Ｒの配置パラメータに基づいて、式（２）により、変換行列ＰＣＡＲ→ＣＡＭＲの逆行列Ｐ−１ＣＡＲ→ＣＡＭＲを算出する（ステップＳ６０１）。
【０１５９】
そして、基準車体マスク画像生成部４９は、車体マスク画像バッファ１３をクリアし（ステップＳ６０２）、右カメラ３Ｒの基準車体マスク画像上における、まだ処理していない画素座標（ｘ，ｙ）Ｒを抽出する（ステップＳ６０３）。
【０１６０】
そして、基準車体マスク画像生成部４９は、抽出した画素座標（ｘ，ｙ）Ｒを、式（１０）により、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲに変換し（ステップＳ６０４）、更に、右カメラ３Ｒのカメラ座標系での入射光ベクトルｖＣＡＭＲを、式（１１）により、車両座標系での入射光ベクトルｖＲＣＡＲに変換する（ステップＳ６０５）。
【０１６１】
そして、基準車体マスク画像生成部４９は、車両座標系での入射光ベクトルｖＲＣＡＲに基づいて、車両形状データを構成するポリゴンの内で、車体領域を構成するポリゴンとの交点ＣＰを算出し（ステップＳ６０６）、交点ＣＰが有るか否かを判定する（ステップＳ６０７）。すなわち、交点ＣＰを算出できたか否かを判定する。
【０１６２】
交点ＣＰが有る場合には（ステップＳ６０７；ＹＥＳ）、処理対象の画素座標（ｘ，ｙ）Ｒに画素値“０”を書き込み（ステップＳ６０８）、交点ＣＰが無い場合には（ステップＳ６０７；ＮＯ）、処理対象の画素座標（ｘ，ｙ）Ｒに画素値“１”を書き込む（ステップＳ６０９）。
【０１６３】
そして、基準車体マスク画像生成部４９は、右カメラ３Ｒの基準車体マスク画像上の全ての画素座標に対して処理を行ったか否かを判定する（ステップＳ６１０）。
【０１６４】
まだ未処理の画素座標がある場合には（ステップＳ６１０；ＮＯ）、処理はステップＳ６０３の処理へと戻り、前述の処理を繰り返す。一方、全ての画素座標に対して画素値を書き込んだ場合には（ステップＳ６１０；ＹＥＳ）、基準車体マスク画像生成部４９は、生成した基準車体マスク画像を記憶部１０のデータエリアに格納し（ステップＳ６１１）、本処理は終了する。
【０１６５】
上記実施形態３によれば、車両形状データと右カメラ３Ｒ（又は、左カメラ３Ｌ）の配置パラメータとに基づいて、基準車体マスク画像を生成する。このように構成することで、右カメラ３Ｒ（又は、左カメラ３Ｌ）の配置位置にズレがあっても、車体マスク画像を生成することが可能となる。
【０１６６】
図２７は、各実施形態における車載システム１のハードウェア構成の例を示す図である。図１４（又は、図２２）に示す車載装置２は、例えば、図２７に示す各種ハードウェアにより実現されてもよい。図２７の例では、車載装置２は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、カメラ３が接続されているカメラインターフェース２０５、モニタ４が接続されているモニタインターフェース２０６、距離センサ５が接続されているセンサインターフェース２０７、無線通信モジュール２０８、および読取装置２０９を備え、これらのハードウェアはバス２１１を介して接続されている。
【０１６７】
ＣＰＵ２０１は、ＨＤＤ２０４に格納されている動作プログラムをＲＡＭ２０２にロードし、ＲＡＭ２０２をワーキングメモリとして使いながら各種処理を実行する。ＣＰＵ２０１は、動作プログラムを実行することで、図１４（又は、図２２）に示す制御部４０の各機能部を実現することができる。
【０１６８】
なお、上記動作を実行するための動作プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magnet Optical disk）などのコンピュータで読み取り可能な記録媒体２１２に記憶して配布し、これを車載装置２の読取装置２０９で読み取ってコンピュータにインストールすることにより、上述の処理を実行するように構成してもよい。さらに、インターネット上のサーバ装置が有するディスク装置等に動作プログラムを記憶しておき、無線通信モジュール２０８を介して、車載装置２のコンピュータに動作プログラムをダウンロード等するものとしてもよい。
【０１６９】
なお、実施形態に応じて、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４以外の他の種類の記憶装置が利用されてもよい。例えば、車載装置２は、ＣＡＭ（Content Addressable Memory）、ＳＲＡＭ（Static Random Access Memory）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの記憶装置を有してもよい。
【０１７０】
無線通信モジュール２０８は、無線接続における物理層の処理を行うハードウェアである。無線通信モジュール２０８は、例えば、アンテナ、ＡＤＣ（Analog-to-Digital Converter）、ＤＡＣ（Digital-to-Analog Converter）、変調器、復調器、符号化器、復号器などを含む。
【０１７１】
なお、実施形態に応じて、車載システム１のハードウェア構成は図２７とは異なっていてもよく、図２７に例示した規格・種類以外のその他のハードウェアを車載システム１に適用することもできる。
【０１７２】
例えば、図１４（又は、図２２）に示す車載装置２の制御部４０の各機能部は、ハードウェア回路により実現されてもよい。具体的には、ＣＰＵ２０１の代わりに、ＦＰＧＡ（Field Programmable Gate Array）などのリコンフィギュラブル回路や、ＡＳＩＣ（Application Specific Integrated Circuit）などにより、図１４（又は、図２２）に示す制御部４０の各機能部が実現されてもよい。もちろん、ＣＰＵ２０１とハードウェア回路の双方により、これらの機能部が実現されてもよい。
【０１７３】
以上において、いくつかの実施形態について説明した。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態を成すことができることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
【０１７４】
以上の実施形態１〜３を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換する第１の視野変換手段と、
前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、前記第１の視野変換手段による変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換する第２の視野変換手段と、
前記第１の視野変換手段による変換後の前記画像の前記車体の領域に、前記第２の視野変換手段による変換後の前記死角領域画像の対応する領域を合成する合成手段と、
を備える、
ことを特徴とする画像処理装置。
（付記２）
前記第１のカメラにより撮像された画像の内で、前記車体の領域を示す車体マスク画像を格納する格納手段と、
前記格納手段に格納されている前記車体マスク画像を、前記第１の視野変換手段による変換後の前記画像の視野範囲と同じ視野範囲の車体マスク画像に変換する車体マスク画像変換手段と、
を、更に、備え、
前記合成手段は、前記車体マスク画像変換手段による変換後の前記車体マスク画像に基づいて、合成する領域を特定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記車体マスク画像を生成する生成手段を、更に、備える、
ことを特徴とする付記２に記載の画像処理装置。
（付記４）
前記生成手段は、基準となる配置条件の下で作成された車体マスク画像を、前記第１のカメラの配置条件に合わせて変換して前記車体マスク画像を生成する、
ことを特徴とする付記３に記載の画像処理装置。
（付記５）
前記生成手段は、前記車両の形状を模した車両形状データと前記第１のカメラの配置条件を示す配置パラメータとに基づいて、前記車体マスク画像を生成する、
ことを特徴とする付記３に記載の画像処理装置。
（付記６）
前記任意の視野範囲を可変する可変手段を、更に、備える、
ことを特徴とする付記１乃至５のいずれか一に記載の画像処理装置。
（付記７）
前記合成手段は、前記車体の輪郭を残すように合成する、
ことを特徴とする付記１乃至６のいずれか一に記載の画像処理装置。
（付記８）
前記合成手段による合成結果を表示画面上に表示する表示手段を、更に、備える、
ことを特徴とする付記１乃至７のいずれか一に記載の画像処理装置。
（付記９）
車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換し、
前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換し、
変換後の前記画像の前記車体の領域に、変換後の前記死角領域画像の対応する領域を合成する、
ことを特徴とする画像処理方法。
（付記１０）
画像処理装置のコンピュータに、
車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換し、
前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換し、
変換後の前記画像の前記車体の領域に、変換後の前記死角領域画像の対応する領域を合成する、
処理を実行させる、
ことを特徴とするプログラム。
（付記１１）
画像処理装置のコンピュータに、
車両に搭載されているカメラであって、撮像範囲に前記車両の車体の一部が含まれるように配置されている第１のカメラの画像を、前記第１のカメラの視野範囲の内の任意の視野範囲の画像に変換し、
前記第１のカメラにより撮像された画像の前記車体の領域により死角となる周辺環境を撮像する第２のカメラの画像である死角領域画像を、変換後の前記画像の視野範囲と同じ視野範囲の前記死角領域画像に変換し、
変換後の前記画像の前記車体の領域に、変換後の前記死角領域画像の対応する領域を合成する、
処理を実行させるプログラムを記憶した記録媒体。
【符号の説明】
【０１７５】
１    車載システム
２      車載装置
１０    記憶部
１１    画像バッファ
１２    視野変換画像バッファ
１３    車体マスク画像バッファ
２０    操作部
３０    受信部
４０    制御部
４１    判定部
４２    設定部
４３    変換行列生成部
４４    車体マスク画像変換部
４５    第１視野変換画像生成部
４６    位置決定部
４７    第２視野変換画像生成部
４８    合成処理部
４９    基準車体マスク画像生成部
３      カメラ
３Ｂ    後方カメラ
３Ｌ    左カメラ
３Ｒ    右カメラ
ＲＢ    右仮想カメラ
４Ｌ    左モニタ
４Ｒ    右モニタ
５      距離センサ
２０１    ＣＰＵ
２０２    ＲＡＭ
２０３    ＲＯＭ
２０４    ＨＤＤ
２０５    カメラインターフェース
２０６    モニタインターフェース
２０７    センサインターフェース
２０８    無線通信モジュール
２０９    読取装置
２１１    バス
２１２    記録媒体
Ｓ      投影面
Ｃ      交点
ＣＰ     交点
【図１】
2015074436.tif 000017
【図２】
2015074436.tif 000018
【図３】
2015074436.tif 000019
【図４】
2015074436.tif 000020
【図５】
2015074436.tif 000021
【図６】
2015074436.tif 000022
【図７】
2015074436.tif 000023
【図８】
2015074436.tif 000024
【図９】
2015074436.tif 000025
【図１２】
2015074436.tif 000026
【図１３】
2015074436.tif 000027
【図１４】
2015074436.tif 000028
【図１５】
2015074436.tif 000029
【図１６】
2015074436.tif 000030
【図１７】
2015074436.tif 000031
【図１８】
2015074436.tif 000032
【図１９】
2015074436.tif 000033
【図２２】
2015074436.tif 000034
【図２４】
2015074436.tif 000035
【図２６】
2015074436.tif 000036
【図２７】
2015074436.tif 000037
【図１０】
2015074436.tif 000038
【図１１】
2015074436.tif 000039
【図２０】
2015074436.tif 000040
【図２１】
2015074436.tif 000041
【図２３】
2015074436.tif 000042
【図２５】
2015074436.tif 000043