(57)【要約】  車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像が、このカメラ１の設置の順序に従って配置された、一枚の監視画像を生成する監視画像生成機能と、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、生成された監視画像Ｋを投影するためのマッピング情報を監視画像に付加するマッピング情報付加機能と、マッピング情報が付された監視画像Ｋを含む情報を外部の端末装置８００へ送信する送信機能と、を実現する制御装置１０と、通信装置４００と、外部の端末装置８００と、を備えた車両監視システム１０００を提供する。
2013008623.tif 000002
【特許請求の範囲】
【請求項１】
車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラと、
前記各カメラの撮像画像を取得し、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が、当該カメラの設置の順序に従って配置された一枚の監視画像を生成する監視画像生成手段と、
前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけるマッピング情報付加手段と、
前記監視画像と前記マッピング情報とを外部の端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
【請求項２】
請求項１に記載の車両用監視装置において、
前記マッピング情報付加手段は、前記監視画像の右端又は左端に配置された前記撮像画像の基準座標を、前記監視画像にマッピング情報として付することを特徴とする車両用監視装置。
【請求項３】
請求項１に記載の車両用監視装置において、
前記車両の周囲において監視対象物体の存在位置を検出する監視物体検出手段をさらに備え、
前記監視画像生成手段は、前記各カメラの撮像画像を取得し、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が対応づけられた一枚の監視画像を生成し、
マッピング情報付加手段は、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影するためのマッピング情報を、前記監視画像に対応づけ、
前記送信手段は、前記監視対象物体の存在位置と前記マッピング情報とが対応づけられた監視画像とを外部の端末装置へ送信する、ことを特徴とする車両用監視装置。
【請求項４】
請求項３に記載の車両用監視装置において、
前記マッピング情報付加手段は、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影するためのマッピング情報を監視画像に付加することを特徴とする車両用監視装置。
【請求項５】
請求項３又は４に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視物体検出手段が前記車両の周囲に複数の監視対象物体を検出した場合には、前記車両に最も接近した監視対象物体の存在位置を前記監視画像に対応づけることを特徴とする車両用監視装置。
【請求項６】
請求項３〜５の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視物体検出手段により前記監視対象物体が検出された場合には、前記監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像を生成することを特徴とする車両用監視装置。
【請求項７】
請求項１〜６の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記各カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像を経時的に記憶し、所定の単位時間あたりに前記複数の監視画像が含まれる動画の監視画像を生成することを特徴とする車両用監視装置。
【請求項８】
請求項１〜７の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記監視画像の画素数が前記各カメラの撮像画像の画素数と略同一になるように画像のデータ量を圧縮して前記監視画像を生成することを特徴とする車両用監視装置。
【請求項９】
請求項１〜８の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記配置された前記各撮像画像の境界を示す線図形を、前記監視画像に付することを特徴とする車両用監視装置。
【請求項１０】
請求項１〜９の何れか一項に記載の車両用監視装置において、
前記監視画像生成手段は、前記投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、前記監視画像を生成することを特徴とする車両用監視装置。
【請求項１１】
請求項１〜１０の何れか一項に記載の車両用監視装置と、
前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
前記外部の端末装置は、
前記車両用監視装置と通信を行い、前記監視画像とマッピング情報とを取得する通信手段と、
前記監視画像を前記マッピング情報に基づいて前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両用監視システム。
【請求項１２】
請求項３、又は請求項３に従属する請求項４〜１０の何れか一項に記載の車両用監視装置と、
前記車両用監視装置と相互に情報の授受が可能な端末装置とを備え、
前記外部の端末装置は、
前記車両用監視装置と通信を行い、前記監視対象物体の存在位置の情報が付された監視画像と前記マッピング情報を取得する通信手段と、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両用監視システム。
【請求項１３】
車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に設置された前記カメラの右回り又は左回りの方向に沿う設置順序に従って配置された監視画像と、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを取得する通信手段と、
前記取得した監視画像を、前記取得したマッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両監視用の端末装置。
【請求項１４】
車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に設置された前記カメラの右回り又は左回りの方向に沿う設置順序に従って配置され、前記車両側で検出された監視対象物体の存在位置の情報が付された監視画像と、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを取得する通信手段と、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する画像処理手段と、
前記生成された表示画像を表示する表示手段と、を有することを特徴とする車両監視用の端末装置。
【請求項１５】
前記画像処理手段は、前記監視視点を前記投影モデルの側面に沿って所定範囲に渡って移動させて、前記各監視視点から見た表示画像を生成し、
前記表示手段は、前記生成された表示画像を順次に表示させることを特徴とする請求項１４に記載の車両監視用の端末装置。
【請求項１６】
車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像をそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像に基づいて、当該カメラの設置の順序に従って前記撮像画像を配置した一枚の監視画像を生成し、
前記生成された監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるマッピング情報を、監視画像に付加し、
前記監視画像と当該監視画像に対応づけられた前記マッピング情報とを外部の端末装置へ送信する、ことを特徴とする車両の監視方法。
【請求項１７】
車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像と、前記車両の周囲において検出された監視対象物体の存在位置とをそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が付された一枚の監視画像を生成し、
前記生成された監視画像を、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を前記監視画像に付加し、
前記監視対象物体の存在位置と前記マッピング情報とが対応づけられた監視画像を外部の端末装置へ送信する、ことを特徴とする車両の監視方法。
【請求項１８】
車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像をそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像に基づいて、当該カメラの設置の順序に従って配置された一枚の監視画像を生成し、
前記生成された監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるマッピング情報を、監視画像に付加し、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成する、ことを特徴とする車両の監視方法。
【請求項１９】
車両のボディの異なる位置に設置され、前記車両の周囲を撮像する複数のカメラの撮像画像と、前記車両の周囲において検出された監視対象物体の存在位置とをそれぞれ取得し、
前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの撮像画像が当該カメラの設置の順序に従って配置され、前記検出された監視対象物体の存在位置の情報が付された一枚の監視画像を生成し、
前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記検出された監視対象物体の像を正視する監視視点から見た前記監視画像を投影するためのマッピング情報を監視画像に付加し、
前記マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成する、ことを特徴とする車両の監視方法。
【請求項２０】
車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの設置順序に従って連続して配置した監視画像と、当該監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを、通信回線を介して受信し、
前記受信した監視画像を、前記受信した当該マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に前記監視画像を投影させた表示画像を生成し、
前記生成された表示画像をディスプレイに表示する車両の監視方法。
【請求項２１】
車両のボディの異なる位置に設置された複数のカメラの撮像画像が、前記車両のボディの外周に右回り又は左回りの方向に沿って設置された前記カメラの設置順序に従って連続して配置され、前記検出された監視対象物体の存在位置の情報が付された一枚の監視画像と、当該監視画像を前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に投影させるためのマッピング情報とを、通信回線を介して受信し、
前記取得した監視画像を、前記取得した当該マッピング情報に基づいて、前記車両の載置面を底面とする柱体の投影モデルの側面に設定された投影面に、前記監視対象物体の像を正視する監視視点から見た前記監視画像を投影させた表示画像を生成し、
前記生成された表示画像をディスプレイに表示する車両の監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置されたカメラを利用して、車両の周囲を監視する車両用監視装置、車両用監視システム、端末装置及び車両の監視方法に関する。
本出願は、２０１１年７月１２日に出願された日本国特許出願の特願２０１１―１５３７２５、及び２０１１年７月１２日に出願された日本国特許出願の特願２０１１―１５３７３５に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
【背景技術】
【０００２】
この種の装置に関し、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０７２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両に設置された複数のカメラの撮像画像を動画として送信した場合に、受信側の装置の機能によっては複数の動画を同時に再生することができず、取得した撮像画像の一部が有効に利用されないという問題がある。【０００５】
本発明が解決しようとする課題は、複数の撮像画像に基づいて生成されつつも、受信する端末装置側の備える機能にかかわらず、端末装置側で動画として同時に再生可能な監視画像を生成することである。
【課題を解決するための手段】
【０００６】
本発明は、複数のカメラで撮像された撮像画像をカメラの設置の順序に従って配置した一枚の監視画像と、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報とを外部の端末装置へ送信することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、送信された監視画像を受信した外部の端末装置が、マッピング情報に基づいて、柱体の側面に設定された投影面に、複数の撮像画像がカメラの設置順序で配置された一枚の監視画像を一連（ひとつながり）に投影することができるので、各端末装置の備える機能にかかわらず、撮像方向の異なる複数の撮像画像から生成された監視画像を動画として再生することができる。この結果、複数のカメラにより得た各撮像画像の情報を無駄にすることなく、ユーザの監視用の画像として有効に利用することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る第１実施形態の監視装置を含む車両監視システムの構成図である。
【図２】カメラの設置例を示す図である。
【図３】カメラの配置例を示す他の図である。
【図４】フロントカメラの撮像画像の一例を示す図である。
【図５】右サイドカメラの撮像画像の一例を示す図である。
【図６】リアカメラの撮像画像の一例を示す図である。
【図７】左サイドカメラの撮像画像の一例を示す図である。
【図８】複数の撮像画像に基づいて生成された監視画像の一の例を示す図である。
【図９】監視画像の歪み補正処理を説明するための図である。
【図１０】本実施形態の投影モデルの一例を示す模式図である。
【図１１】図１０に示す投影モデルのｘｙ面に沿う断面模式図である。
【図１２】端末装置のディスプレイに示される表示画像の一例を示す第１図である。
【図１３】端末装置のディスプレイに示される表示画像の一例を示す第２図である。
【図１４】端末装置のディスプレイに示される表示画像の一例を示す第３図である。
【図１５】端末装置のディスプレイに示される表示画像の一例を示す第４図である。
【図１６】端末装置のディスプレイに示される表示画像の一例を示す第５図である。
【図１７】端末装置のディスプレイに示される表示画像の一例を示す第６図である。
【図１８】端末装置のディスプレイに示される表示画像の一例を示す第７図である。
【図１９】端末装置のディスプレイに示される表示画像の一例を示す第８図である。
【図２０】車両用監視装置の制御手順を示すフローチャートである。
【図２１】本発明に係る第２実施形態の監視装置を含む車両監視システムの構成図である。
【図２２】カメラ及びセンサの設置例を示す図である。
【図２３】図８に対応する図であって、各カメラの撮像画像に基づいて生成された他の監視画像の例を示す図である。
【図２４】監視対象物体を正視する表示画像の一例を示す図である。
【図２５】図２１に示す表示画像の回転処理を説明するための図である。
【図２６】本発明に係る第２実施形態の車両用監視装置の制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための監視装置１００、この監視装置を備える車両監視システム１０００に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
【００１０】
図１は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図１に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）を備えている。
【００１１】
図２は、カメラ１ａ〜１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ〜１ｄはＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２に示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｄは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｂは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。制御装置１０は、カメラ１ａ〜１ｄによって撮像された撮像画像をそれぞれ取得する。
【００１２】
図３は、各カメラ１ａ〜１ｄの配置を車両Ｖの上空から見た図である。図３に示すように、エリアＳＰ１を撮像するカメラ１ａ、エリアＳＰ４を撮像するカメラ１ｂ、エリアＳＰ３を撮像するカメラ１ｃ、エリアＳＰ２を撮像するカメラ１ｄ、は、車両Ｖのボディの外周ＶＥに沿って右回り（時計回り）又は左回り（反時計回り）に沿って設置されている。つまり、図３に矢印Ｃで示す右回り（時計回り）に車両Ｖのボディの外周ＶＥに沿って見ると、カメラ１ａの右隣りにカメラ１ｂが設置され、カメラ１ｂの右隣りにカメラ１ｃが設置され、カメラ１ｃの右隣りにカメラ１ｄが設置され、カメラ１ｄの右隣りにカメラ１ａが設置されている。図３に示す矢印Ｃの方向とは反対に（反時計回り）に車両Ｖのボディの外周ＶＥに沿って見ると、カメラ１ａの左隣りにカメラ１ｄが設置され、カメラ１ｄの左隣りにカメラ１ｃが設置され、カメラ１ｃの左隣りにカメラ１ｂが設置され、カメラ１ｂの左隣りにカメラ１ａが設置されている。
【００１３】
図４は、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１の一例を示し、図５は、右サイドカメラ１ｂがエリアＳＰ４を撮像した撮像画像ＧＳＰ４の一例を示し、図６は、リアカメラ１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３の一例を示し、図７は、左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２の一例を示す図である。ちなみに、各撮像画像の画像サイズは、４８０ピクセル(縦)×６４０ピクセル(横)である。撮像画像のサイズは特に限定されないが、一般的な端末装置が動画再生可能なサイズとすることができる。
【００１４】
なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。
【００１５】
また、本実施形態の車両監視システム１０００は、さらに、監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００と、を有する。この車両監視システム１０００は、車両コントローラ２００と情報の授受が可能なイグニッションスイッチ３００を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
【００１６】
本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部の端末装置８００（コンピュータ）と相互に通信が可能である。本実施形態の外部の端末装置８００は、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備え、通信装置８１０が車載の監視装置１００側から監視画像を取得し、画像処理装置８２０が表示に必要な画像処理を実行し、ディスプレイ８３０が監視画像を表示する。外部の端末装置８００を所持するユーザは、監視装置１００から送出された車両の監視画像を、外部の端末装置８００を用いて確認することができる。
【００１７】
また、図１に示すように、本実施形態に係る監視装置１００の制御装置１０は、複数の監視画像に基づいて生成された監視画像を生成するとともに、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ、監視画像とマッピング情報とを外部の端末装置８００に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【００１８】
本実施形態に係る監視装置１００の制御装置１０は、監視画像生成機能と、マッピング情報付加機能と、及び送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。
【００１９】
以下、本発明の本実施形態に係る監視装置１００が実現する、監視画像生成機能、マッピング情報付加機能、及び送信機能の各機能について説明する。
【００２０】
まず、監視画像生成機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１の撮像画像をそれぞれ取得し、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像が、このカメラ１の設置の順序に従って配置された、一枚の監視画像を生成する。
【００２１】
先述したように、本実施形態において、カメラ１は車両Ｖのボディの外周ＶＥに沿って右回り（時計回り）にカメラ１ａ、１ｂ、１ｃ、１ｄの順に設置されているので、制御装置１０は、このカメラ１の設置の順序（カメラ１ａ、１ｂ、１ｃ、１ｄ）に従って、各カメラ１が撮像した複数の撮像画像が一体となるように横方向に接続し、一枚の監視画像を生成する。本実施形態の監視画像において、各撮像画像は車両Ｖの載置面(路面)が下辺となるように配置され、各撮像画像は路面に対して高さ方向（垂直方向）の辺で接続されている。
【００２２】
図８は監視画像Ｋの一例を示す図である。図８に示すように、本実施形態の監視画像Ｋは、図面左側から図面右側へ向かう方向Ｐに沿って、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、右サイドカメラ１ｂがエリアＳＰ４を撮像した撮像画像ＧＳＰ４、リアカメラ１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２が、左から右へ向かって横方向にＧＳＰ１、ＧＳＰ４、ＧＳＰ３、ＧＳＰ２の順序で並べて配置され、これら４つの撮像画像が一連に（ひとつながりに）されている。つまり、監視画像Ｋは、横に一列に並べられた撮像画像ＧＳＰ１、撮像画像ＧＳＰ４、撮像画像ＧＳＰ３、撮像画像ＧＳＰ２を含んでいる。
【００２３】
このように生成された監視画像Ｋを、路面(車両の載置面)に対応する画像を下にして左端から右側へ順番に示すことにより、車両Ｖの周囲を時計回りに見回したときに見える映像をユーザに示すことができる。
【００２４】
本実施形態の監視装置１００の制御装置１０は、一つの監視画像Ｋを生成する際には、各カメラ１の撮像タイミングが略同時である各撮像画像を用いることができる。これにより、監視画像Ｋに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。ちなみに、同じ監視画像Ｋに含まれる車両前方の撮像画像ＧＳＰ１と車両右側方の撮像画像ＧＳＰ４との撮像タイミングが異なる場合には、監視画像Ｋを再生したときに、異なる撮像タイミングの画像が同時に再生されるため、これを見るユーザに違和感を与えるが、本実施形態の監視装置１００は、略同時に撮像された撮像画像を用いて監視画像Ｋを生成するので、このような違和感を与えることが無い。
【００２５】
本実施形態の制御装置１０は、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Ｋを経時的に記憶し、所定の単位時間あたりに複数の監視画像Ｋが含まれる動画の監視画像Ｋを生成することができる。撮像タイミングが同時の撮像画像に基づいて動画の監視画像Ｋを生成することにより、車両周囲の状況の変化を正確に表現することができる。
【００２６】
ところで、各撮像領域の撮像画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Ｋを端末装置へ送信した場合には、端末装置の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の端末装置においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の端末装置では、複数方向の映像（動画）を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
【００２７】
これに対し、本実施形態の制御装置１０は、複数の撮像画像から一つの監視画像Ｋを生成するので、端末装置８００の機能にかかわらず、異なる撮像方向の撮像画像を同時に動画再生することができる。つまり、監視画像Ｋを連続して再生（動画再生）することにより、監視画像Ｋに含まれる４枚の撮像画像を同時に連続して再生（動画再生）し、方向の異なる領域の状態変化を一画面で監視することができる。
【００２８】
また、本実施形態の監視装置１００の制御装置１０は、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成することができる。図４〜図７に示す角撮像画像のサイズは４８０×６４０ピクセルである。本実施形態では、図８に示すように、本実施形態の制御装置１０は、監視画像Ｋのサイズが１２８０×２４０ピクセルとなるように、圧縮処理を行う。これにより、監視画像Ｋのサイズ（１２８０×２４０ピクセル）が、各撮像画像のサイズ（４８０×６４０ピクセル）と等しくなるので、監視画像Ｋを受信した端末装置８００側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
【００２９】
さらに、本実施形態の監視装置１００の制御装置１０は、配置された各撮像画像の境界を示す線図形を、監視画像Ｋに付することができる。図８に示す監視画像Ｋを例にすると、制御装置１０は、配置された各撮像画像の境界を示す線図形として、各撮像画像の間に矩形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａを監視画像Ｋに付することができる。
【００３０】
このように、撮像画像の境界に仕切り画像を配置することにより、一体の監視画像Ｋを構成するが撮像方向が異なる各監視画像Ｋをそれぞれ独立に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
【００３１】
本実施形態の監視装置１００の制御装置１０は、後述する投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成することができる。撮像画像の周辺領域は画像の歪みが生じやすく、カメラ１が広角カメラである場合には特に撮像画像の歪みが大きくなる傾向がある。このため、本実施形態では、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正する。
【００３２】
特に限定されないが、制御装置１０は、図９に示すように、端末装置８００において監視画像Ｋを投影させる投影モデルと同じ投影モデルの情報をＲＯＭ１２から読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することができる。なお、画像変換アルゴリズムと補正量はカメラ１の特性、投影モデルの形状に応じて適宜定義することができ、出願時に知られた手法を利用することができる。
【００３３】
このように、投影モデルの投影面に関し画像Ｋを投影した場合の歪みを予め補正しておくことにより、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
【００３４】
次に、本実施形態の監視装置１００のマッピング情報付加機能について説明する。本実施形態の監視装置１００において、制御装置１０は、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面に生成された監視画像Ｋを投影するためのマッピング情報を、監視画像Ｋに対応づけることができる。
【００３５】
図１０は本実施形態の投影モデルＭの一例を示す図、図１１は図１０に示す投影モデルＭのｘｙ面に沿う断面模式である。
【００３６】
同図に示すように、本実施形態の投影モデルＭは、底面が八角形で、鉛直方向（図中ｚ軸方向）に沿って高さを有する立体の八角柱体である。投影モデルＭの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、三角柱体、四角柱体、六角柱体などの角柱体、円柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。
【００３７】
また、同図に示すように、本実施形態の投影モデルＭの底面は車両Ｖの載置面と平行である。また、投影モデルＭの側面の内側面には、投影モデルＭの底面上に載置された車両Ｖの周囲の映像を映し出す投影面Ｓａ，Ｓｂ，Ｓｃ，Ｓｄ（以下、投影面Ｓと総称することもある）が設定されている。投影面Ｓは、投影面Ｓａの一部と投影面Ｓｂの一部、投影面Ｓｂの一部と投影面Ｓｃの一部、投影面Ｓｃの一部と投影面Ｓｄの一部、投影面Ｓｄの一部と投影面Ｓａの一部により構成することもできる。監視画像Ｋは、車両Ｖを取り囲む投影モデルＭの上方の視点Ｒ（Ｒ１〜Ｒ８、以下、視点Ｒと総称することもある）から車両Ｖを見下ろした映像として投影面Ｓに投影される。
【００３８】
本実施形態の監視装置１００の制御装置１０は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Ｋに対応づけることができる。図８に示す監視画像Ｋを例にすると、制御装置１０は、投影モデルＭに投影される際の、監視画像Ｋの始端位置又は終端位置を示すマッピング情報（基準座標）として、右端に配置された撮像画像ＧＳＰ１の左上頂点の座標Ａ（ｘ、ｙ）を監視画像Ｋに付することができる。同様に、監視装置１０は、監視画像Ｋの始端位置又は終端位置を示すマッピング情報として、左端に配置された撮像画像ＧＳＰ２の右上頂点の座標Ｂ（ｘ、ｙ）を監視画像Ｋに付することができる。始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Ｋの左下頂点、又は右端に配置された監視画像Ｋの右下頂点とすることもできる。なお、マッピング情報は、監視画像Ｋの画像データの各画素に付してもよいし、監視画像Ｋとは別のファイルとして管理することもできる。
【００３９】
このように、監視画像Ｋの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Ｋに対応づけることにより、監視画像Ｋを受信した端末装置８００が、ユーザに最初及び／又は投影処理時における基準位置を認識することができるので、カメラ１の配置順に並べられた監視画像Ｋを、投影モデルＭの側面の投影面Ｓに順次に投影することができる。カメラ１ａの撮像方向に位置する投影面Ｓａに車両前方の撮像画像ＧＳＰ１を投影し、カメラ１ｂの撮像方向に位置する投影面Ｓｂに車両右側方の撮像画像ＧＳＰ４を投影し、カメラ１ｃの撮像方向に位置する投影面Ｓｃに車両後方の撮像画像ＧＳＰ３を投影し、カメラ１ｄの撮像方向に位置する投影面Ｓｄに車両左側方の撮像画像ＧＳＰ２を投影することができる。
【００４０】
これにより、投影モデルＭに投影された監視画像Ｋは、あたかも車両Ｖの周囲を見回したときに見える映像を示すことができる。つまり、カメラ１の設置順序に応じて横一列に配置された撮像画像を含む監視画像Ｋは、投影モデルＭの柱体において、同じく横に並ぶ側面に投影されるので、柱体の投影モデルＭの投影面Ｓに投影された監視画像Ｋに、車両Ｖの周囲の映像をその位置関係を維持したまま再現することができる。
【００４１】
また、本実施形態の制御装置１０は、監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係をマッピング情報として記憶し、監視画像Ｋに付することができるが、端末装置８００側に予め記憶させておくこともできる。
【００４２】
なお、同図に示す視点Ｒ、投影面Ｓの位置は例示であり、任意に設定することができる。特に、視点Ｒは、ユーザの操作によって変更可能である。視点Ｒと監視画像Ｋの投影位置との関係は予め定義されており、視点Ｒの位置が変更された場合には所定の座標変換をすることにより、新たに設定された視点Ｒから見た監視画像Ｋを投影面Ｓ（Ｓａ〜Ｓｄ）に投影することができる。この視点変換処理には、出願時に知られている手法を用いることができる。
【００４３】
本実施形態の制御装置１０は、所定タイミングで撮像された撮像画像に基づいて監視画像Ｋを生成し、この監視画像Ｋにマッピング情報、基準座標、境界を示す線図形（仕切り画像）の情報を対応づけて撮像タイミングに従って経時的に記憶する。特に限定されないが、制御装置１０は、所定の単位時間あたりに複数の監視画像Ｋを含む一つの動画ファイルとして監視画像Ｋを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Ｋを記憶してもよい。
【００４４】
本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像Ｋを含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部の端末装置８００へ送信することができる。
【００４５】
以下、監視画像Ｋを受信し、監視画像Ｋを表示する端末装置８００について説明する。
【００４６】
端末装置８００は、上述した監視装置１００の外部に配置され、監視装置１００と通信を行う通信装置８１０と、取得した画像を表示用の画像に変換する画像処理装置８２０と、変換された表示用の監視画像Ｋを表示するディスプレイ８３０とを備える。
【００４７】
通信装置８１０は、監視装置１００が送出した監視画像Ｋとこの監視画像Ｋに対応づけられたマッピング情報を受信する。この監視画像Ｋは、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の設置順序（車両Ｖのボディの外周に沿う右回り又は左回りの順序）に従って配置されたものである。また、この監視画像Ｋには、監視画像Ｋを柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報が対応づけられている。通信装置８１０は取得した監視画像Ｋ及びマッピング情報を画像処理装置８２０へ送出する。
【００４８】
画像処理装置８２０は、予め記憶している投影モデルＭを読み出し、マッピング情報に基づいて、図１０及び図１１に示す車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓａ〜Ｓｄに監視画像Ｋを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Ｋの各画素を、投影面Ｓａ〜Ｓｄの各画素に投影する（マッピングする）。
【００４９】
画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、監視画像Ｋと共に受信した基準座標に基づいて、監視画像Ｋの開始点(監視画像Ｋの右端又は左端)を認識し、この開始点が予め投影モデルＭ上に定義された開始点(投影面Ｓの右端又は左端)と合致するように投影処理を行う。
【００５０】
また、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、各撮像画像の境界を示す線図形(仕切り画像)を投影モデルＭ上に配置する。仕切り画像は、予め投影モデルＭに付しておくこともでき、投影処理後に監視画像Ｋに付すこともできる。
【００５１】
ディスプレイ８３０は、投影モデルＭの投影面Ｓに投影した監視画像Ｋを表示する。図１２〜図１９は、監視画像Ｋの表示画像の例を示す。
【００５２】
図１２には、図１０，１１に示す視点Ｒ１から見た投影面Ｓｄ、Ｓａ、Ｓｂに投影された監視画像Ｋを示す。投影モデルＭの底面には各視点Ｒ〜見た車両Ｖの画像が貼り付けられている。また、投影面Ｓｄ、Ｓａ、Ｓｂの間にある画像が表示されていない部分は「境界を示す線図形（仕切り画像）」である。
【００５３】
同様に、図１３には視点Ｒ２から見た監視画像Ｋを示し、図１４には視点Ｒ３から見た監視画像Ｋを示し、図１５には視点Ｒ４から見た監視画像Ｋを示し、図１６には視点Ｒ５から見た監視画像Ｋを示し、図１７には視点Ｒ６から見た監視画像Ｋを示し、図１８には視点Ｒ７から見た監視画像Ｋを示し、図１９には視点Ｒ８から見た監視画像Ｋを示す。
【００５４】
このように、本実施形態の端末装置８００は、車両Ｖのボディに設置されたカメラ１の設置順序に応じて各カメラ１の撮像画像をｘ軸方向又はｙ軸方向に沿って（横に）配置した監視画像Ｋを、その配置順に従って柱体の投影モデルＭの側面に沿って(横に)マッピングするので、投影モデルＭに示された監視画像Ｋは、車両Ｖの周囲を時計回りに見回したときに見える映像を示すことができる。
【００５５】
特に図１２〜図１９に示すように、投影モデルＭの底面に車両Ｖの画像を示すことにより、車両Ｖの向きと各撮像画像との位置関係が分かり易くすることができる。つまり車両Ｖのフロントグリルに対向する投影面Ｓには、車両Ｖのフロントグリルに設けられたカメラ１ａの撮像画像ＧＳＰ１を投影し、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両Ｖの右サイドミラーに設けられたカメラ１ｄの撮像画像ＧＳＰ４を投影し、車両Ｖのリア部に対向する投影面Ｓには、車両Ｖのリア部に設けられたカメラ１ｃの撮像画像ＧＳＰ３を投影し、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両Ｖの左サイドミラーに設けられたカメラ１ｂの撮像画像ＧＳＰ２を投影することができる。このように、図１２〜図１９に示すように、本実施形態によれば、車両Ｖの周囲の映像がその位置関係を保ったまま投影された監視画像Ｋを提示することができるので、ユーザは車両のどこで何が起きているかを容易に把握することができる。
【００５６】
ちなみに、図１２〜図１９は静止画であるため、実際の表示画像の再生状態を示すことができないが、本実施形態の端末装置８００においては、ディスプレイ８３０の表示画面中の各投影面Ｓに示される画像はそれぞれ動画である。つまり、車両Ｖのフロントグリルに対向する投影面Ｓには、車両前方の撮像領域ＳＰ１の動画映像が映し出され、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両右側方の撮像領域ＳＰ４の動画映像が映し出され、車両Ｖのリア部に対向する投影面Ｓには、車両後方の撮像領域ＳＰ３の動画映像が映し出され、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両左側方の撮像領域ＳＰ２の動画映像が映し出されている。つまり、図１２〜図１９に示す各投影面Ｓには、異なるカメラ１により撮像された撮像画像に基づく複数の動画の監視画像Ｋを同時に再生することができる。
【００５７】
なお、ディスプレイ８３０は、タッチパネル式の入力情報の受付が可能な装置であり、ユーザが視点を自在に設定・変更することができる。視点位置と投影面Ｓとの対応関係は上述の画像処理装置８２０又はディスプレイ８３０において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Ｋをディスプレイ８３０に表示することができる。
【００５８】
以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図２０は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャートである。
【００５９】
ステップ１０において、本実施形態の監視装置１００の制御装置１０は、監視開始タイミングであるか否かを判断する。特に限定されないが、本実施形態の監視装置１００は、イグニッションスイッチ３００に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Ｖの電子キーが車両Ｖの近傍に存在しない場合（電子キーを携帯するユーザが車両Ｖから離れている場合）や、ユーザの外部の端末装置８００から監視画像Ｋの要求指令を受け付けた場合に監視処理を開始することができる。
【００６０】
ステップ２０において、本実施形態の監視装置１００は、車両Ｖに設置された複数のカメラ１に撮像を開始させる。そして、ステップ３０において、監視装置１００は、各カメラにより撮像された撮像画像をそれぞれ取得する。
【００６１】
ステップ４０において、本実施形態の監視装置１００は、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の複数の撮像画像を、このカメラ１の設置の順序に従う配置となるように合成し、一枚の監視画像Ｋを生成する。
【００６２】
ステップ５０において、本実施形態の監視装置１００は、使用する投影モデルＭを選択する。投影モデルＭの選択は、ユーザによって予め特定されてもよいし、車種ごとに予め特定しておいてもよい。
【００６３】
ステップ６０において、本実施形態の監視装置１００は、各撮像画像の歪みを補正する。本実施形態のカメラ１が広角カメラである場合には、撮像画像の中心から離れるにつれて（外縁近傍において）画像の歪みが大きくなるため、監視装置１００は、所定の画像変換処理を行うことにより、各撮像画像の歪みを補正することができる。本実施形態では、監視画像Ｋを投影モデルＭに投影した状態における歪みを補正するため、一度投影処理を行ってから歪み補正処理を行うことができる。歪み補正の手法は出願時に知られている手法を適宜に利用することができる。
【００６４】
ステップ７０において、本実施形態の監視装置１００は、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮する。
【００６５】
ステップ８０において、本実施形態の監視装置１００は、監視画像Ｋの右端又は左端に配置された撮像画像の基準座標をマッピング情報として監視画像Ｋに付する。これにより、監視画像Ｋと投影モデルＭとの位置関係を対応づけることができる。
【００６６】
続くステップ９０において、本実施形態の監視装置１００は、監視画像Ｋに配置された各撮像画像の境界を示す線図形(仕切り画像)を、監視画像Ｋに付する。
【００６７】
続くステップ１００において、監視装置１００は、上述した処理により得られた、マッピング情報が対応づけられた監視画像Ｋを含む情報を外部の端末装置８００へ送信する。そして、ステップ１１０において監視処理の終了が判断されるまで、ステップ２０以降の処理が繰り返される。
【００６８】
外部の端末装置８００の通信装置８１０は、ステップ３１において、監視装置１００から送出された監視画像Ｋを、マッピング情報とともに受信する。
【００６９】
次に、ステップ３２において、画像処理装置８２０は、マッピング情報に従い、監視画像Ｋを投影モデルＭの投影面Ｓに投影する。投影モデルＭの底面には、予め車両Ｖの映像を付しておくことができる。
【００７０】
そして、ステップ３３においてディスプレイ８３０は、投影モデルＭに投影された監視画像Ｋを含む情報を表示する。
【００７１】
なお、本実施形態では、監視装置１００が車両Ｖに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Ｖの監視方法を各装置において実行させることができる。また、本発明の本実施形態に係る車両Ｖの監視方法を、カメラ１、通信装置４００を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【００７２】
サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。この指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像をそれぞれ取得するステップと、車両Ｖのボディの外周に沿って右回り又は左回りの方向に設置されたカメラ１の撮像画像に基づいて、このカメラ１の設置の順序に従って配置された一枚の監視画像Ｋを生成するステップと、生成された監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに投影させるマッピング情報を監視画像Ｋに付加するステップと、監視画像Ｋとマッピング情報とを外部の端末装置８００へ送信するステップと、を含む。処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
【００７３】
また、上述の監視方法を実行させるサーバは、監視画像Ｋの投影処理を行い、投影モデルＭに監視画像Ｋを投影した表示用の画像を生成することができる。
【００７４】
この場合において、サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像をそれぞれ取得するステップと、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像に基づいて、このカメラ１の設置の順序に従って配置された一枚の監視画像Ｋを生成するステップと、生成された監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの投影面Ｓに投影させるマッピング情報を監視画像Ｋに付加するステップと、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに監視画像Ｋを投影させた表示画像を生成するステップと、を含む。サーバは、生成した表示画像を閲覧可能なように記憶し、端末装置８００からのアクセスがあった場合に、表示画像の閲覧を許可し、端末装置８００のディスプレイ８３０に表示画像を表示させることができる。また、サーバは、端末装置８００からの要求に応じて、表示画像のダウンロードを許可し、又は表示画像を端末装置８００へ送信して端末装置８００のディスプレイ８３０に表示させてもよい。なお、処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
【００７５】
さらに、端末装置８００に以下の指令を実行させて、端末装置８００の動作を制御し、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の設置順序に従って連続して配置された監視画像Ｋと、車両Ｖの載置面を底面とする柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報とを、通信回線を介して受信させるステップ、取得させた監視画像Ｋをマッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの投影面Ｓに、この監視画像Ｋを投影して表示画像を生成させるステップと、を含む。なお、処理の具体的な内容は、本実施形態の端末装置８００と共通するのでこれらの説明を援用する。
【００７６】
以上のとおり構成され、動作する本発明の実施形態に係る監視装置１００、車両監視システム１０００、及び端末装置８００は、以下の効果を奏する。
【００７７】
本実施形態に係る監視装置１００によれば、複数のカメラ１ａ〜１ｄで撮像された撮像画像をカメラ１ａ〜１ｄの設置の順序に従って配置した一枚の監視画像Ｋと、この監視画像Ｋを柱体の投影モデルＭの側面に設定された投影面Ｓに投影するためのマッピング情報とを外部の端末装置８００へ送信するので、複数の撮像画像がカメラの設置順序で配置された一連（ひとつながり）の監視画像Ｋを柱体の側面に設定された投影面Ｓに投影することができる、このため、各端末装置の備える機能にかかわらず、撮像方向の異なる複数の撮像画像から生成された監視画像Ｋを動画として再生することができる。この結果、複数のカメラにより得た各撮像画像の情報を無駄にすることなく、ユーザの監視用の画像として有効に利用することができる。
【００７８】
本実施形態に係る監視装置１００によれば、各カメラ１の撮像タイミングが略同時である各撮像画像から動画態様の監視画像Ｋを生成するので、監視画像Ｋに含まれる各撮像画像の情報を同期させることができる。このため、所定タイミングにおける車両周囲の状況を複数の撮像画像に基づく動画により正確に表現することができる。
【００７９】
本実施形態に係る監視装置１００によれば、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成するので、監視画像Ｋを受信した端末装置８００側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
【００８０】
本実施形態に係る監視装置１００によれば、監視画像Ｋの右端又は左端に配置された撮像画像の基準座標を、監視画像Ｋに付するので、監視画像Ｋを受信した端末装置８００が、監視画像Ｋと投影モデルＭとの対応位置関係を認識することができる。
【００８１】
本実施形態に係る監視装置１００によれば、配置された各撮像画像の境界を示す線図形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａを、監視画像Ｋに付するので、一体の監視画像Ｋを構成するが撮像方向が異なる各監視画像Ｋをそれぞれ独立に認識させることができる。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
【００８２】
本実施形態に係る監視装置１００によれば、投影モデルＭの側面に設定された投影面Ｓに撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成するので、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。この結果、ひとつづきにされた複数の各撮像画像を、ユーザに一つの監視画像Ｋとして認識させることができる。
【００８３】
本実施形態における車両Ｖの監視方法を使用した場合においても、監視装置１００、監視システム１００及び端末装置８００と同様の作用を奏し、同様の効果を得ることができる。
【００８４】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００８５】
本明細書では、本発明に係る車両用監視装置の一態様として監視装置１００及び車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【００８６】
また、本明細書では、本発明に係る車両用監視装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える監視装置１００を一例として説明するが、これに限定されるものではない。
【００８７】
また、本明細書では、カメラと、監視画像生成手段と、マッピング情報付加手段と、送信手段とを有する本発明に係る車両用監視装置の一態様として、カメラ１と、監視画像生成機能、マッピング情報付加機能、送信機能を実現する制御装置１０を備える監視装置１００を説明するが、これに限定されるものではない。
【００８８】
本明細書では、通信手段と、画像処理手段と、表示手段とを備える端末装置の一態様として、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備える端末装置８００を説明するが、これに限定されるものではない。
【００８９】
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００とを備えた車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【００９０】
＜第２実施形態＞
以下、本発明の第２実施形態に係る車両監視システム１０００について説明する。
【００９１】
先述したように、この種の装置に関し、ドアの接触センサなどが検出した外部からの刺激を検出した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られているが、車両に設置された複数のカメラの撮像画像を外部の端末装置に送信した場合に、受信側の端末装置で複数の撮像画像を同時に再生すると、どの撮像画像に注目すればよいかが分からずに、監視対象物体を確認するのに時間がかかるという問題がある。
【００９２】
本発明の第２実施形態においては、複数の撮像画像に基づいて生成されつつも、どの撮像画像に注目すべきかが分かりやすい監視画像を生成することを課題とする。
【００９３】
本発明の第２実施形態に係る車両監視システム１０００は、複数のカメラで撮像された撮像画像をカメラの設置の順序に従って配置し、車両の周囲において検出された監対象物体の存在位置の情報を付した監視画像と、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報とを外部の端末装置へ送信することにより、上記課題を解決する。
【００９４】
本発明の第２実施形態に係る車両監視システム１０００は、送信された監視画像を受信した外部の端末装置が、マッピング情報に基づいて、柱体の側面に設定された投影面に複数の撮像画像がカメラの設置順序で配置された一枚の監視画像を一連（ひとつながり）に投影するとともに、監視画像に付された監視対象物体の存在位置の情報に基づいて監視対象物体の像を投影面の任意の位置に投影することができるので、注目すべき監視対象物体が分かりやすい監視画像を表示することができる。この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
【００９５】
第２実施形態の車両監視システム１０００は、車両の周囲の監視対象物体の存在位置を検出する近接センサを備える点、この近接センサにより車両の周囲において検出された監対象物体の存在位置の情報が対応づけられた監視画像を生成する点、監視対象物体の存在位置とマッピング情報とが対応づけられた監視画像を端末装置８００に送信する点を特徴とし、基本的な構成及び動作は第１実施形態の車両監視システム１０００の構成及び動作と共通する。本実施形態では、重複した説明を避けるため、第１実施形態に係る説明を援用し、重複する説明は省略する。
【００９６】
図２１は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図２１に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）と、近接センサ２ａ〜２ｄと、以上検出センサ３と、を備えている。
【００９７】
図２２に例示するように、カメラ１ａ〜１ｄは車両Ｖに取り付けられる。カメラ１ａ〜１ｄは、図２に示す第１実施形態のカメラ１ａ〜１ｄと同様の位置に配置され、第１実施形態と同様に、図３に示す各エリアを撮像する。フロントカメラ１ａはエリアＳＰ１を撮像し、撮像画像ＧＳＰ１（例えば図４）を得る。右サイドカメラ１ｂはエリアＳＰ４を撮像し、撮像画像ＧＳＰ４（例えば図５）を得る。リアカメラ１ｃはエリアＳＰ３を撮像し、撮像画像ＧＳＰ３（例えば図６）を得る。左サイドカメラ１ｄはエリアＳＰ２を撮像し撮像画像ＧＳＰ２（例えば図７）を得る。各撮像画像の画像サイズは、４８０ピクセル(縦)×６４０ピクセル(横)である。撮像画像のサイズは特に限定されないが、一般的な端末装置が動画再生可能なサイズとすることができる。
【００９８】
なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。
【００９９】
また、図２２に示すように、カメラ１ａ〜１ｄの近傍には、監視対象物体を検出する近接センサ２ａ〜２ｄが設けられている。近接センサ２ａ〜２ｄは、超音波センサ、赤外線センサ、静電センサなどである。近接センサ２ａ〜２ｄは、車両Ｖ周囲の所定領域に物体が存在するか否か、又は車両周囲の物体が車両Ｖに接近しているか又は離隔しているか、及び近接センサ２ａ〜２ｄの設置位置に基づいて検出した物体の存在方向を検出することができる。これらの近接センサ２ａ〜２ｄは、物体に関する検出結果を監視装置１００へ送出する。
【０１００】
さらに、図２１に示すように、本実施形態の車両監視システム１０００は、監視対象物体を検出する車両のドアの接触センサ、傾斜センサ、侵入センサその他の車両の異常検出センサ３を備える。ドアの接触センサは移動物体がドアに接触したことにより監視対象物体の存在を検出することができ、傾斜センサは車両に所定値以上の傾きが生じたことにより監視対象物体の存在を検出することができ、侵入センサはドアのこじ開けや窓が割られるなどの車両への侵入のトリガが生じたことにより監視対象物体の存在を検出することができる。ちなみに、接触センサは人間が触れたドアを特定することにより、監視対象物体の存在位置（存在方向）を検出することができ、傾斜センサは車両の傾き方向により監視対象物体の存在位置（存在方向）を検出することができ、侵入センサは、異常が生じたガラスやドアの位置により監視対象物体の存在位置（存在方向）を検出することができる。異常検出センサ３は、上述の接触センサ、傾斜センサ、侵入センサに限定されず、車両に外力を与える蓋然性のある監視対象物体の存在及び存在位置を検出する機能を有するものであれば適用することができる。異常検出センサ３は、近接センサ２ａ〜２ｄに代えて、又は近接センサ２ａ〜２ｄとともに車両に設けてもよい。
【０１０１】
図２１に示すように、本実施形態の車両監視システム１０００は、さらに、監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００と、を有する。この車両監視システム１０００は、車両コントローラ２００と情報の授受が可能なイグニッションスイッチ３００を備える。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
【０１０２】
本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部の端末装置８００（コンピュータ）と相互に通信が可能である。本実施形態の外部の端末装置８００は、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備え、通信装置８１０が車載の監視装置１００側から監視画像を取得し、画像処理装置８２０が監視画像の表示に必要な画像処理を実行し、ディスプレイ８３０が監視画像を表示する。外部の端末装置８００を所持するユーザは、監視装置１００から送出された車両の監視画像を、外部の端末装置８００を用いて確認することができる。
【０１０３】
また、図２１に示すように、本実施形態に係る監視装置１００の制御装置１０は、複数の監視画像に基づいて生成され、監視対象物体の存在位置が対応づけられた監視画像を生成するとともに、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ、監視画像とマッピング情報とを外部の端末装置８００に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【０１０４】
本実施形態に係る監視装置１００の制御装置１０は、監視物体検出機能と、監視画像生成機能と、マッピング情報付加機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。
【０１０５】
以下、本発明の本実施形態に係る監視装置１００が実現する、監視物体検出機能、監視画像生成機能、マッピング情報付加機能、及び送信機能の各機能について説明する。
【０１０６】
まず、監視物体検出機能について説明する。本実施形態に係る監視装置１００の制御装置１０は、車両Ｖの周囲において監視対象物体の存在位置を検出する。本実施形態における監視対象物体とは、特に限定されないが、例えば人間のように、高さがあり且つ移動可能な物体である。
【０１０７】
特に限定されないが、本実施形態に係る監視装置１００の制御装置１０は、カメラ１による撮像画像に基づいて監視対象物体の存在位置（距離を含む）を検出することができ、近接センサ２の検出結果に基づいて監視対象物体の存在位置（距離を含む）を検出することができ、異常検出センサ３の検出結果に基づいて監視対象物体の存在位置（距離を含む）を検出することができる。
【０１０８】
具体的に、本実施形態に係る監視装置１００の制御装置１０は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備える。制御装置１０は、画像処理コントロールユニットを用いて、各カメラ１の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、物体が立体物であるか否か、さらに抽出した画像の移動量に基づいて検出した物体が移動物体であるか否かを判断することができる。たとえば、制御装置１０は、先述した画像処理コントロールユニットを用い、カメラ１の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、移動立体物である監視対象物体が検出されたと判断することができる。移動立体物である監視対象物体を検出するための画像処理の手法は、出願時において知られた手法を適宜に用いることができる。
【０１０９】
また、近接センサ２ａ〜２ｄから取得した検出結果に基づいて、移動立体物の存在を検出し、その移動立体物の位置の変化から車両に接近する監視対象物体を検出することができる。
【０１１０】
さらに、異常検出センサ３から取得した検出結果に基づいて、車両に外力を及ぼす監視対象物体の存在及びその存在位置を検出することができる。
【０１１１】
制御装置１０は、車両Ｖの周囲に複数の監視対象物体が検出された場合には、車両Ｖに最も接近した監視対象物体の存在位置を検出結果とすることができる。監視対象物体の存在位置の情報は、次に説明する監視画像の生成処理において用いられる。
【０１１２】
続いて、監視画像生成機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１の撮像画像をそれぞれ取得し、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像が、このカメラ１の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が対応づけられた一枚の監視画像を生成する。
【０１１３】
先述したように、本実施形態において、カメラ１は車両Ｖのボディの外周ＶＥに沿って右回り（時計回り）にカメラ１ａ、１ｂ、１ｃ、１ｄの順に設置されているので、制御装置１０は、このカメラ１の設置の順序（カメラ１ａ、１ｂ、１ｃ、１ｄ）に従って、各カメラ１が撮像した複数の撮像画像が一体となるように横方向に接続し、一枚の監視画像を生成する。本実施形態の監視画像において、各撮像画像は車両Ｖの載置面(路面)が下辺となるように配置され、各撮像画像は路面に対して高さ方向（垂直方向）の辺で接続されている。
【０１１４】
本実施形態においても、第１実施形態において図８に示す監視画像Ｋを生成することができる。監視画像Ｋは、図面左側から図面右側へ向かう方向Ｐに沿って、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１、右サイドカメラ１ｂがエリアＳＰ４を撮像した撮像画像ＧＳＰ４、リアカメラ１ｃがエリアＳＰ３を撮像した撮像画像ＧＳＰ３、及び左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２が、左から右へ向かって横方向にＧＳＰ１、ＧＳＰ４、ＧＳＰ３、ＧＳＰ２の順序で並べて配置され、これら４つの撮像画像が一連に（ひとつながりに）されている。監視画像Ｋは、横に一列に並べられた撮像画像ＧＳＰ１、撮像画像ＧＳＰ４、撮像画像ＧＳＰ３、撮像画像ＧＳＰ２を含んでいる。
【０１１５】
このように生成された監視画像Ｋを、路面(車両の載置面)に対応する画像を下にして左端から右側へ順番に示すことにより、車両Ｖの周囲を時計回りに見回したときに見える映像をユーザに示すことができる。
【０１１６】
本実施形態の監視装置１００の制御装置１０は、一つの監視画像Ｋを生成する際には、各カメラ１の撮像タイミングが略同時である各撮像画像を用いることができる。これにより、監視画像Ｋに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。ちなみに、同じ監視画像Ｋに含まれる車両前方の撮像画像ＧＳＰ１と車両右側方の撮像画像ＧＳＰ４との撮像タイミングが異なる場合には、監視画像Ｋを再生したときに、異なる撮像タイミングの画像が同時に再生されるため、これを見るユーザに違和感を与えるが、本実施形態の監視装置１００は、略同時に撮像された撮像画像を用いて監視画像Ｋを生成するので、このような違和感を与えることが無い。
【０１１７】
本実施形態の制御装置１０は、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Ｋを経時的に記憶し、所定の単位時間あたりに複数の監視画像Ｋが含まれる動画の監視画像Ｋを生成することができる。撮像タイミングが同時の撮像画像に基づいて動画の監視画像Ｋを生成することにより、車両周囲の状況の変化を正確に表現することができる。
【０１１８】
ところで、各撮像領域の撮像画像を経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Ｋを端末装置へ送信した場合には、端末装置の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の端末装置においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の端末装置では、複数方向の映像（動画）を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
【０１１９】
これに対し、本実施形態の制御装置１０は、複数の撮像画像から一つの監視画像Ｋを生成するので、端末装置８００の機能にかかわらず、異なる撮像方向の撮像画像を同時に動画再生することができる。つまり、監視画像Ｋを連続して再生（動画再生）することにより、監視画像Ｋに含まれる４枚の撮像画像を同時に連続して再生（動画再生）し、方向の異なる領域の状態変化を一画面で監視することができる。
【０１２０】
また、本実施形態の監視装置１００の制御装置１０は、監視画像Ｋの画素数が各カメラ１の撮像画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Ｋを生成することができる。図４〜図７に示す角撮像画像のサイズは４８０×６４０ピクセルである。図８に示すように、本実施形態の制御装置１０は、監視画像Ｋのサイズが１２８０×２４０ピクセルとなるように、圧縮処理を行う。これにより、監視画像Ｋのサイズ（１２８０×２４０ピクセル）が、各撮像画像のサイズ（４８０×６４０ピクセル）と等しくなるので、監視画像Ｋを受信した端末装置８００側の機能にかかわらず、画像処理及び画像再生を実行させることができる。
【０１２１】
さらに、本実施形態の監視装置１００の制御装置１０は、監視対象物体の存在位置を示す情報（座標値、又は座標上の領域値）を監視画像Ｋに付することができる。なお、車両Ｖの周囲に複数の監視対象物体が検出された場合には、車両Ｖに最も接近した監視対象物体の存在位置を監視画像Ｋに付することができる。
【０１２２】
このように、監視対象物体の存在位置を監視画像Ｋに付することにより、外部の端末装置８００で表示する際に、監視対象物体の存在位置の情報に基づいて監視対象物体を正視する視点から見た監視画像Ｋを投影するので、監視画像Ｋに含まれる複数の撮像画像のうち、どの撮像画像に注目すべきかが分かりやすい監視画像Ｋを表示することができる。この結果、監視対象物体の像を含む撮像画像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
【０１２３】
加えて、本実施形態の監視装置１００の制御装置１０は、監視対象物体が検出された場合には、監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像Ｋを生成することができる。
【０１２４】
具体的に、図２３に示すように、左サイドミラー部分に設置されたカメラ１ｄの撮像画像ＧＳＰ２と、フロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１と、右サイドミラー部に設置されたカメラ１ｂの撮像画像ＧＳＰ４と、リア（後方）部分に設置されたカメラ１ｃの撮像画像ＧＳＰ３が得られた場合に、本実施形態の制御装置１０は、監視対象物体に対応する画像上の位置Ｐの存在位置を基準点Ｐ０とし、この基準点Ｐ０を中心として、左右に９０度（全体で１８０度）の視野に対応する監視領域の画像を監視画像Ｋ４とし、この監視画像Ｋ４のみを配置した監視画像Ｋを生成することができる。ちなみに、図２３は、第１実施形態において説明した図８に対応する図である。
【０１２５】
このように、監視対象物体を中心に配置して、監視対象物体が検出されなかった監視が不要な画像を削除することにより、監視対象物体の動きが把握しやすい監視画像Ｋ４を生成することができる。しかも、監視画像Ｋとして送出するデータ量を低減させることができる。この結果、監視画像Ｋを外部端末装置８００へ送出する際の通信データ量の総量を低減させて、監視システム稼働時の通信コストを低減させることができる。
【０１２６】
また、本実施形態の監視装置１００の制御装置１０は、図８に示す第１実施形態の監視画像Ｋと同様に、配置された各撮像画像の境界を示す線図形を、監視画像Ｋに付することができる。図８に示す監視画像Ｋを例にすると、制御装置１０は、配置された各撮像画像の境界を示す線図形として、各撮像画像の間に矩形の仕切り画像Ｂｂ，Ｂｃ，Ｂｄ，Ｂａを監視画像Ｋに付することができる。このように、撮像画像の境界に仕切り画像を配置することにより、一体の監視画像Ｋを構成するが撮像方向が異なる各監視画像Ｋをそれぞれ独立に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
【０１２７】
本実施形態の監視装置１００の制御装置１０は、後述する投影モデルの側面に設定された投影面に撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成することができる。撮像画像の周辺領域は画像の歪みが生じやすく、カメラ１が広角カメラである場合には特に撮像画像の歪みが大きくなる傾向がある。このため、本実施形態では、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正する。
【０１２８】
特に限定されないが、制御装置１０は、図９に示す第１実施形態と同様に、端末装置８００において監視画像Ｋを投影させる投影モデルと同じ投影モデルの情報をＲＯＭ１２から読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することができる。なお、画像変換アルゴリズムと補正量はカメラ１の特性、投影モデルの形状に応じて適宜定義することができ、出願時に知られた手法を利用することができる。
【０１２９】
このように、投影モデルの投影面に関し画像Ｋを投影した場合の歪みを予め補正しておくことにより、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
【０１３０】
次に、本実施形態の監視装置１００のマッピング情報付加機能について説明する。本実施形態の監視装置１００において、制御装置１０は、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面に、生成された監視画像Ｋを投影するためのマッピング情報を監視画像Ｋに付加することができる。
【０１３１】
本実施形態においても、第１実施形態において図１０、図１１に示す投影モデルＭを用いることができる。図１０は投影モデルＭの斜視図、図１１は投影モデルＭのｘｙ面に沿う断面模式図である。本実施形態において用いる投影モデルＭは、第１実施形態における投影モデルＭと共通するので、その説明を援用する。
【０１３２】
これにより、投影モデルＭに投影された監視画像Ｋは、車両Ｖの周囲を見回したときに見える映像を示すことができる。つまり、カメラ１の設置順序に応じて横一列に配置された撮像画像を含む監視画像Ｋは、投影モデルＭの柱体において、同じく横に並ぶ側面に投影されるので、柱体の投影モデルＭの投影面Ｓに投影された監視画像Ｋに、車両Ｖの周囲の映像をその位置関係を維持したまま再現することができる。
【０１３３】
また、本実施形態の制御装置１０は、監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係をマッピング情報として記憶し、監視画像Ｋに付することができる。本実施形態の制御装置１０は、近接センサ２ａ〜２ｄにより検出された監視対象物体の存在位置の情報と、マッピング情報（監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係）とを対応づけて監視画像Ｋに付することができる。監視画像Ｋの各座標値と投影モデルＭの各投影面Ｓの座標値との対応関係であるマッピング情報は、端末装置８００側に予め記憶させておくこともできる。
【０１３４】
なお、同図に示す視点Ｒ、投影面Ｓの位置は例示であり、任意に設定することができる。特に、視点Ｒは、ユーザの操作によって変更可能である。視点Ｒと監視画像Ｋの投影位置との関係は予め定義されており、視点Ｒの位置が変更された場合には所定の座標変換をすることにより、新たに設定された視点Ｒから見た監視画像Ｋを投影面Ｓ（Ｓａ〜Ｓｄ）に投影することができる。この視点変換処理には、出願時に知られている手法を用いることができる。
【０１３５】
さらに、本実施形態の監視装置１００の制御装置１０は、検出された監視対象物体の存在位置の情報とマッピング情報とを対応づけることにより、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点を設定し、この監視視点から見た監視画像Ｋを投影面Ｓに投影するマッピング情報を監視画像Ｋに付加することができる。
【０１３６】
ここで、本実施形態における検出された監視対象物体の像を正視する監視視点とは、監視対象物体を正面から見ることのできる視点である。図１１に示す投影モデルＭを例にすれば、車両前方の領域ＳＰ１に監視対象物体が存在する場合には監視視点はＲ１であり、車両右側方の領域ＳＰ４に監視対象物体が存在する場合には監視視点はＲ３であり、車両後方の領域ＳＰ３に監視対象物体が存在する場合には監視視点はＲ５であり、車両左側方の領域ＳＰ２に監視対象物体が存在する場合には監視視点はＲ７である。同様に、車両右斜め前方の領域ＳＰ１とＳＰ４との重複領域に監視対象物体が存在する場合には監視視点はＲ２であり、車両右斜め後方の領域ＳＰ４とＳＰ３との重複領域に監視対象物体が存在する場合には監視視点はＲ４であり、車両左斜め後方の領域ＳＰ３とＳＰ２との重複領域に監視対象物体が存在する場合には監視視点はＲ６であり、車両左斜め前方の領域ＳＰ２とＳＰ１との重複領域に監視対象物体が存在する場合には監視視点はＲ８である。
【０１３７】
特に、検出された監視対象物体の存在位置の情報が対応づけられた監視画像Ｋを、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影するためのマッピング情報が監視画像Ｋに付された場合には、端末装置８００が、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影することができる。
【０１３８】
具体的に、本実施形態のマッピング情報には、監視対象物体の像を正視する監視視点の座標と、監視対象物体が含まれる撮像画像（監視画像Ｋ）の始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標とを含ませることができる。これにより、監視画像Ｋを受信した端末装置８００が、監視視点から正視される撮像画像を投影モデルＭに投影する際の基準位置を認識することができるので、監視対象物体を正視する監視画像Ｋをディスプレイ８３０に表示することができる。
【０１３９】
また、マッピング情報には監視対象物体の像の位置が対応づけられているので、監視対象物体の像が投影面Ｓ又はディスプレイ８３０の任意の位置、たとえば表示画面の中央に表示されるように、監視画像Ｋを投影モデルＭに投影することができる。投影位置のシフト手法は特に限定されないが、撮像画像の中心等の基準点から監視対象物体の像の偏位量を算出し、監視画像Ｋの基準座標に基づく投影位置から算出された偏位量に応じて投影位置をシフトすればよい。これにより、監視対象物体の像を投影モデルＭの中央又はディスプレイ８３０の中央に表示させることができる。投影モデルＭの中央又はディスプレイ８３０の中央に表示させた監視対象物体の像はユーザの注意を惹くため、監視対象物体の位置を分かり易く示すことができる。
【０１４０】
また、図１１に示す投影モデルＭを例にすれば、本実施形態のマッピング情報に従う投影処理が行われることにより、車両Ｖの右斜め前方に監視対象物体が存在する場合には、視点Ｒ２から正視される正視投影面Ｓａ及びＳｂに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示され、車両Ｖの右斜め後方に監視対象物体が存在する場合には、視点Ｒ４から正視される正視投影面Ｓｂ及びＳｃに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示され、車両Ｖの左斜め後方に監視対象物体が存在する場合には、視点Ｒ６から正視される正視投影面Ｓｃ及びＳｄに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示され、車両Ｖの左斜め前方に監視対象物体が存在する場合には、視点Ｒ８から正視される正視投影面Ｓｄ及びＳａに投影された監視画像Ｋが端末装置８００のディスプレイ８３０の略中央に表示される。同様に、上記各正視投影面Ｓには、監視対象物体の像が含まれている。
【０１４１】
本実施形態の制御装置１０は、所定タイミングで撮像された撮像画像に基づいて監視画像Ｋを生成し、この監視画像Ｋにマッピング情報、基準座標、境界を示す線図形（仕切り画像）の情報を対応づけて撮像タイミングに従って経時的に記憶する。特に限定されないが、制御装置１０は、所定の単位時間あたりに複数の監視画像Ｋを含む一つの動画ファイルとして監視画像Ｋを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Ｋを記憶してもよい。
【０１４２】
続いて、本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像Ｋを含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部の端末装置８００へ送信することができる。
【０１４３】
以下、監視画像Ｋを受信し、監視画像Ｋを表示する端末装置８００について説明する。
【０１４４】
端末装置８００は、上述した監視装置１００の外部に配置され、監視装置１００と通信を行う通信装置８１０と、取得した画像を表示用の画像に変換する画像処理装置８２０と、変換された表示用の監視画像Ｋを表示するディスプレイ８３０とを備える。
【０１４５】
通信装置８１０は、監視装置１００が送出した監視対象物体の存在位置が付された監視画像Ｋと、この監視画像Ｋに対応づけられたマッピング情報を受信する。この監視画像Ｋは、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に沿って右回り又は左回りの方向に沿って設置されたカメラ１の設置順序（車両Ｖのボディの外周に沿う右回り又は左回りの順序）に従って配置されたものである。この監視画像Ｋには、監視対象物体の存在位置の情報が付されている。また、この監視画像Ｋには、監視画像Ｋを柱体の投影モデルＭの投影面Ｓに投影させるためのマッピング情報が対応づけられている。通信装置８１０は取得した監視画像Ｋ及びマッピング情報を画像処理装置８２０へ送出する。
【０１４６】
画像処理装置８２０は、予め記憶している投影モデルＭを読み出し、マッピング情報に基づいて、図１０及び図１１に示す車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓａ〜Ｓｄに監視画像Ｋを投影させた表示画像を生成する。具体的には、監視画像Ｋと共に受信した基準座標に基づいて、監視画像Ｋの開始点(監視画像Ｋの右端又は左端)を認識し、この開始点が予め投影モデルＭ上に定義された開始点(投影面Ｓの右端又は左端)と合致させ、マッピング情報に従い監視画像Ｋの各画素を投影面Ｓａ〜Ｓｄの各画素に投影する（マッピングする）。
【０１４７】
そして、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、柱体の投影モデルの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影させた表示画像を生成する。具体的に、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、監視画像Ｋと共に受信した監視対象物体の存在位置の情報（座標）に基づいて監視対象物体の像を正視する視点を選択し、監視対象物体が正視された表示画像を生成する。
【０１４８】
上記手法に限定されず、画像処理装置８２０は、マッピング情報に基づくマッピング処理の後に、監視対象物体の像がディスプレイ８３０の左右に偏って表示される場合には、監視対象物体の像がディスプレイ８３０の略中央に表示されるように、柱体の投影モデルＭに投影された監視画像Ｋを回転させることができる。これにより、正視された監視対象物体の像を含む表示画像を表示することができる。
【０１４９】
なお、監視対象物体を正視する画像が投影される投影面Ｓが初期画面の中央に位置するように投影モデルＭを回転させる処理は、監視画像Ｋを投影モデルＭに投影させる前に行ってもよいし、監視画像Ｋを投影モデルＭに投影させた後に行ってもよい。
【０１５０】
また、画像処理装置８２０は、監視画像Ｋを投影モデルＭに投影する際に、各撮像画像の境界を示す線図形(仕切り画像)を投影モデルＭ上に配置する。仕切り画像は、予め投影モデルＭに付しておくこともでき、投影処理後に監視画像Ｋに付すこともできる。
【０１５１】
本実施形態における監視画像Ｋの表示画像の例は、第１実施形態と共通するので、第１実施形態において説明した図１２〜図１９を援用する。
【０１５２】
図１２には、図１０，図１１に示す視点Ｒ１から見た投影面Ｓｄ、Ｓａ、Ｓｂに投影された監視画像Ｋを示す。投影モデルＭの底面には各視点Ｒから見た車両Ｖの画像が貼り付けられている。また、投影面Ｓｄ、Ｓａ、Ｓｂの間にある画像が表示されていない部分は「境界を示す線図形（仕切り画像）」である。同様に、図１３には視点Ｒ２から見た監視画像Ｋを示し、図１４には視点Ｒ３から見た監視画像Ｋを示し、図１５には視点Ｒ４から見た監視画像Ｋを示し、図１６には視点Ｒ５から見た監視画像Ｋを示し、図１７には視点Ｒ６から見た監視画像Ｋを示し、図１８には視点Ｒ７から見た監視画像Ｋを示し、図１９には視点Ｒ８から見た監視画像Ｋを示す。
【０１５３】
図１２〜１９に示すように、監視対象物体は車両Ｖの左前方（図３の示す領域ＳＰ１とＳＰ２の重複領域）に存在し、監視対象物体の像はカメラ１ａの撮像画像ＧＳＰ１（図４参照）と、カメラ１ｄの撮像画像ＧＳＰ２（図７参照）とに含まれている。
【０１５４】
このため、本実施形態の画像処理装置８２０は、監視対象物体の像を正視する監視視点から見た監視画像Ｋの表示画像を生成する。具体的に、図２４は、本実施形態の端末装置８００が、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点Ｒ８から見た監視画像Ｋを投影させた表示画像を示す。図２４において監視対象物体の像を破線で囲って示す。同図に示す表示画像は、視点Ｒ８から見た正視投影面Ｓａ及びＳｂへ投影された監視対象物体の像を含む。図２４に示す表示画像では、監視対象物体の像が正面視されるとともに、ディスプレイ８３０の中央に表示されている。なお、監視対象物体の像が正視投影されている例としては、図１２に示す表示画像があるが、監視対象物体の像をディスプレイ８３０の中央に表示する場合には、図２４に示す表示画像が適している。
【０１５５】
本実施形態の端末装置８００は、車両Ｖのボディに設置されたカメラ１の設置順序に応じて各カメラ１の撮像画像をｘ軸方向又はｙ軸方向に沿って（横に）配置した監視画像Ｋを、その配置順に従って柱体の投影モデルＭの側面に沿って(横に)マッピングするので、投影モデルＭに示された監視画像Ｋは、車両Ｖの周囲を時計回りに見回したときに見える映像を示すことができる。
【０１５６】
特に図１２〜図１９に示すように、投影モデルＭの底面に車両Ｖの画像を示すことにより、車両Ｖの向きと各撮像画像との位置関係が分かり易くすることができる。つまり車両Ｖのフロントグリルに対向する投影面Ｓには、車両Ｖのフロントグリルに設けられたカメラ１ａの撮像画像ＧＳＰ１を投影し、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両Ｖの右サイドミラーに設けられたカメラ１ｄの撮像画像ＧＳＰ４を投影し、車両Ｖのリア部に対向する投影面Ｓには、車両Ｖのリア部に設けられたカメラ１ｃの撮像画像ＧＳＰ３を投影し、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両Ｖの左サイドミラーに設けられたカメラ１ｂの撮像画像ＧＳＰ２を投影することができる。このように、本実施形態によれば、車両Ｖの周囲の映像がその位置関係を保ったまま投影された監視画像Ｋを提示することができるので、ユーザは車両のどこで何が起きているかを容易に把握することができる。
【０１５７】
さらに、本実施形態の画像処理装置８２０は、監視対象物体の像を正視する監視視点から見た監視画像Ｋの表示画像を表示した後に、監視視点を投影モデルＭの側面に沿って所定範囲に渡って移動させて、各監視視点から見た表示画像を生成することができる。具体的に、画像処理装置８２０は、図２５に示す表示画像を生成した後に、同図中のＺ軸を回転軸として視点を図１１のＲ８から時計回りに、Ｒ１，Ｒ２，Ｒ３，Ｒ４…Ｒ７と遷移させ、各視点から見た各監視画像Ｋの表示画像を生成することができる。
【０１５８】
このように、監視対象物体の正視画像を表示した後に、車両の周囲を、視点を変えて巡視する表示画像により、車両Ｖの状態を正確に把握することができる。
【０１５９】
最後に、端末装置８００のディスプレイ８３０について説明する。本実施形態のディスプレイ８３０は、画像処理装置８２０により生成された表示画像を表示する。
【０１６０】
本実施形態のディスプレイ８３０は、タッチパネル式の入力情報の受付が可能な装置であり、ユーザが視点を自在に設定・変更することができる。視点位置と投影面Ｓとの対応関係は上述の画像処理装置８２０又はディスプレイ８３０において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Ｋをディスプレイ８３０に表示することができる。
【０１６１】
ちなみに、図１２〜図１９，２４，２５は静止画であるため、実際の表示画像の再生状態を示すことができないが、本実施形態の端末装置８００においては、ディスプレイ８３０の表示画面中の各投影面Ｓに示される画像はそれぞれ動画である。つまり、車両Ｖのフロントグリルに対向する投影面Ｓには、車両前方の撮像領域ＳＰ１の動画映像が映し出され、車両Ｖの右サイドミラーに対向する投影面Ｓには、車両右側方の撮像領域ＳＰ４の動画映像が映し出され、車両Ｖのリア部に対向する投影面Ｓには、車両後方の撮像領域ＳＰ３の動画映像が映し出され、車両Ｖの左サイドミラーに対向する投影面Ｓには、車両左側方の撮像領域ＳＰ２の動画映像が映し出されている。つまり、図１２〜図１９，２４，２５に示す各投影面Ｓには、異なるカメラ１により撮像された撮像画像に基づく複数の動画の監視画像Ｋを同時に再生することができる。
【０１６２】
以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図２６は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャートである。
【０１６３】
図２６に示すステップ１０〜ステップ９０までの処理は、図２０に示す第１実施形態のステップ１０〜ステップ９０までの処理と共通するので、その説明を援用する。
【０１６４】
次に、ステップ１１０へ進み、監視装置１００は監視対象物体が検出された場合にはステップ１３０へ進み、監視対象物体が検出されなかった場合にはステップ１２０へ進む。ステップ１２０においては、制御装置１０は開始点などの基準座標を、監視画像Ｋを付加してステップ１６０又はステップ１７０へ進む。
【０１６５】
他方、監視対象物体が検出された場合において、さらにステップ１３０で監視対象物体が複数検出されたか否かを判断する。複数の監視対象物体が検出された場合にはステップ１４０で最も車両Ｖに近接した監視対象物体の位置を算出し、ステップ１５０へ進む。また、ステップ１３０において単一の監視対象物体が検出された場合にもステップ１５０へ進む。ステップ１５０においては、監視装置１００は、最も車両Ｖに近接した監視対象物体の位置又は単一の監視対象物体の位置を、監視画像Ｋに付加する。そしてステップ１６０へ進む。
【０１６６】
ステップ１６０において、監視装置１００は、監視対象物体の像を中心とした所定領域の撮像画像のみを切り出す。この監視対象物体の像を中心とした所定領域のみで監視画像Ｋを生成することができる（図２３参照）。この処理を行うことなく、ステップ１７０へ進むこともできる。
【０１６７】
ステップ１６０において、監視装置１００は、マッピング情報が付された監視画像Ｋ、監視対象物体の存在位置を外部の端末装置８００へ送信する。
【０１６８】
続くステップ１７０において、監視装置１００は、上述した処理により得られた、マッピング情報が対応づけられた監視画像Ｋを含む情報を外部の端末装置８００へ送信する。そして、ステップ１８０において監視処理の終了が判断されるまで、ステップ２０以降の処理が繰り返される。
【０１６９】
外部の端末装置８００の通信装置８１０は、ステップ３１において、監視装置１００から送出された監視画像Ｋを、マッピング情報及び監視対象物体の存在位置とともに受信する。
【０１７０】
次に、ステップ３２において、画像処理装置８２０は、マッピング情報に従い、監視画像Ｋを投影モデルＭの投影面Ｓに投影する。投影モデルＭの底面には、予め車両Ｖの映像を付しておくことができる。
【０１７１】
画像処理装置８２０は、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点Ｒから見た監視画像Ｋを投影させた表示画像を生成することができる。さらに、画像処理装置８２０は、監視視点Ｒを投影モデルＭの側面に沿って所定範囲に渡って移動（Ｒ１〜Ｒ８）させて、各監視視点Ｒから見た表示画像を生成する。
【０１７２】
そして、ステップ３３においてディスプレイ８３０は、投影モデルＭに投影され、監視対象物体の像を正視する監視視点Ｒから見た監視画像Ｋの表示画像を表示し、その後に、監視視点Ｒを移動させて各監視視点Ｒから見た監視画像Ｋの表示画像を表示する。
【０１７３】
なお、本実施形態では、監視装置１００が車両Ｖに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Ｖの監視方法を各装置において実行させることができる。また、本発明の本実施形態に係る車両Ｖの監視方法を、カメラ１、通信装置４００を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【０１７４】
サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。この指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像と、車両Ｖの周囲において検出された監視対象物体の存在位置とをそれぞれ取得するステップと、車両Ｖのボディの外周に沿って右回り又は左回りの方向に設置されたカメラ１の撮像画像に基づいて、このカメラ１の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Ｋを生成するステップと、生成された監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに投影させるためのマッピング情報を監視画像Ｋに付加するステップと、監視対象物体の存在位置とマッピング情報とが対応づけられた監視画像Ｋを外部の端末装置８００へ送信するステップと、を含む。処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
【０１７５】
また、監視方法を実行させるサーバは、監視画像Ｋの投影処理を行い、投影モデルＭに監視画像Ｋを投影した表示用の画像を生成することができる。
【０１７６】
この場合において、サーバは以下の指令を実行して、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置され、車両Ｖの周囲を撮像する複数のカメラ１の撮像画像と、車両Ｖの周囲において検出された監視対象物体の存在位置とをそれぞれ取得するステップと、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の撮像画像がこのカメラ１の設置の順序に従って配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Ｋを生成するステップと、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、検出された監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影するためのマッピング情報を監視画像Ｋに付加するステップと、マッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影させた表示画像を生成するステップと、を含む。サーバは、生成した表示画像を閲覧可能なように記憶し、端末装置８００からのアクセスがあった場合に、表示画像の閲覧を許可し、端末装置８００のディスプレイ８３０に表示画像を表示させることができる。また、サーバは、端末装置８００からの要求に応じて、表示画像のダウンロードを許可し、又は表示画像を端末装置８００へ送信して端末装置８００のディスプレイ８３０に表示させてもよい。なお、処理の具体的な内容は、本実施形態の監視装置１００、車両監視システム１０００と共通するのでこれらの説明を援用する。
【０１７７】
さらに、端末装置８００に以下の指令を実行させて、端末装置８００の動作を制御し、本発明に係る本実施形態の車両の監視方法を実行することができる。指令の内容は、車両Ｖのボディの異なる位置に設置された複数のカメラ１の撮像画像が、車両Ｖのボディの外周に右回り又は左回りの方向に沿って設置されたカメラ１の設置順序に従って連続して配置され、検出された監視対象物体の存在位置の情報が付された一枚の監視画像Ｋと、この監視画像Ｋを車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに投影させるためのマッピング情報とを、通信回線を介して受信するステップと、取得した監視画像Ｋを、この取得したマッピング情報に基づいて、車両Ｖの載置面を底面とする柱体の投影モデルＭの側面に設定された投影面Ｓに、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影させた表示画像を生成するステップと、生成された表示画像をディスプレイ８３０に表示するステップとを含む。なお、処理の具体的な内容は、本実施形態の端末装置８００と共通するのでこれらの説明を援用する。
【０１７８】
以上のとおり構成され、動作する本発明の実施形態に係る監視装置１００、車両監視システム１０００、及び端末装置８００は、以下の効果を奏する。
【０１７９】
本実施形態に係る監視装置１００は、複数のカメラ１で撮像された撮像画像をカメラ１の設置の順序に従って配置し、車両Ｖの周囲において検出された監対象物体の存在位置を付した監視画像Ｋと、この監視画像Ｋを柱体の投影モデルＭの側面に設定された投影面Ｓに投影するためのマッピング情報とを外部の端末装置８００へ送信する。これにより、送信された監視画像Ｋを受信した外部の端末装置８００が、マッピング情報に基づいて、柱体の側面に設定された投影面Ｓに複数の撮像画像がカメラの設置順序で配置された一枚の監視画像Ｋを一連（ひとつながり）に投影するとともに、監視画像に付された監視対象物体の存在位置の情報に基づいて監視対象物体の像を投影面の任意の位置に投影することができるので、注目すべき監視対象物体が分かりやすい監視画像を表示することができる。この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
特に、検出された監視対象物体の存在位置の情報が対応づけられた監視画像Ｋを、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影するためのマッピング情報が監視画像Ｋに付された場合には、端末装置８００が、監視対象物体の像を正視する監視視点から見た監視画像Ｋを投影面Ｓに投影することができる。
このように、本実施形態によれば、複数の撮像画像のうち、どの撮像画像に注目すべきかが分かりやすい監視画像Ｋを表示することができる。
この結果、監視対象物体の像にユーザの注意を向けさせることができるため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
【０１８０】
本実施形態に係る監視装置１００は、車両Ｖの周囲に複数の監視対象物体が検出された場合には、車両Ｖに最も接近した監視対象物体の存在位置を監視画像Ｋに付するので、複数の監視対象物体のうち最も注意すべき監視対象物体の像にユーザの注意を向けさせることができる。このため、監視対象物体を確認する時間を短縮することができ、車両の遠隔監視の利便性を向上させることができる。
【０１８１】
本実施形態に係る監視装置１００は、検出された監視対象物体の像を中心とした所定領域の撮像画像のみが配置された監視画像Ｋを生成するので、監視対象物体の像が含まれ、ユーザに注意を喚起すべき撮像画像のみを端末装置８００へ送信するので、送信データ量を低減させることができる。この結果、監視システム稼働時の通信コストを低減させることができる。
【０１８２】
本実施形態に係る監視装置１００は、投影モデルＭの側面に設定された投影面Ｓに撮像画像を投影させた場合の歪みを補正してから、監視画像Ｋを生成するので、歪みの少ない見易い監視画像Ｋを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各撮像画像同士の位置ズレを低減させることができる。
【０１８３】
本実施形態に係る監視装置１００は、検出された監視対象物体の像を正視する監視視点から見た監視画像Ｋを、投影モデルＭの投影面Ｓに投影するためのマッピング情報を監視画像Ｋに付加するので、端末装置８００は、マッピング情報に従えば、監視対象物体を正視した監視画像Ｋを表示することができるので、端末装置８００側の処理負荷を低減させることができる。
【０１８４】
本実施形態における車両Ｖの監視方法を使用した場合においても、監視装置１００、監視システム１００及び端末装置８００と同様の作用を奏し、同様の効果を得ることができる。
【０１８５】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１８６】
本明細書では、本発明に係る車両用監視装置の一態様として監視装置１００及び車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【０１８７】
また、本明細書では、本発明に係る車両用監視装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える監視装置１００を一例として説明するが、これに限定されるものではない。
【０１８８】
また、本明細書では、カメラと、監視物体検出手段と、監視画像生成手段と、マッピング情報付加手段と、送信手段とを有する本発明に係る車両用監視装置の一態様として、カメラ１と、監視物体検出機能、監視画像生成機能、マッピング情報付加機能、送信機能を実現する制御装置１０を備える監視装置１００を説明するが、これに限定されるものではない。
【０１８９】
本明細書では、通信手段と、画像処理手段と、表示手段とを備える端末装置の一態様として、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備える端末装置８００を説明するが、これに限定されるものではない。
【０１９０】
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置１００と、車両コントローラ２００と、通信装置４００と、外部の端末装置８００とを備えた車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【０１９１】
１０００…車両監視システム
１ａ〜１ｄ…カメラ
２ａ〜２ｄ…近接センサ
３…異常検出センサ
１００…監視装置
Ｖ…車両
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
Ｍ…投影モデル
Ｓ，Ｓａ，Ｓｂ、Ｓｃ、Ｓｄ…投影面
Ｒ１〜Ｒ８…視点
２００…車両コントローラ
３００…イグニッションスイッチ
４００…通信装置
８００…端末装置
８１０…通信装置
８２０…画像処理装置
８３０…ディスプレイ
９００…通信回線
【図１】
2013008623.tif 000003
【図２１】
2013008623.tif 000004
【図２２】
2013008623.tif 000005
【図２６】
2013008623.tif 000006
【図２】
2013008623.tif 000007
【図３】
2013008623.tif 000008
【図４】
2013008623.tif 000009
【図５】
2013008623.tif 000010
【図６】
2013008623.tif 000011
【図７】
2013008623.tif 000012
【図８】
2013008623.tif 000013
【図９】
2013008623.tif 000014
【図１０】
2013008623.tif 000015
【図１１】
2013008623.tif 000016
【図１２】
2013008623.tif 000017
【図１３】
2013008623.tif 000018
【図１４】
2013008623.tif 000019
【図１５】
2013008623.tif 000020
【図１６】
2013008623.tif 000021
【図１７】
2013008623.tif 000022
【図１８】
2013008623.tif 000023
【図１９】
2013008623.tif 000024
【図２０】
2013008623.tif 000025
【図２３】
2013008623.tif 000026
【図２４】
2013008623.tif 000027
【図２５】
2013008623.tif 000028
【国際調査報告】
2013008623.tif 000029
2013008623.tif 000030
2013008623.tif 000031
2013008623.tif 000032