(57)【要約】      （修正有）【課題】移動体の外部領域の撮像画像を表示する技術の利便性を向上させる。【解決手段】カメラモニタシステムは、車両の左側方の所定領域を含む領域を撮像する第１カメラ１０と、車両の右側方の所定領域を含む領域を撮像する第２カメラ２０と、車両の後方の所定領域を含む領域を撮像する第３カメラ３０と、を備える。カメラモニタシステムは、さらに、第１カメラ１０が撮像した第１撮像画像と、第２カメラ２０が撮像した第２撮像画像と、第３カメラ３０が撮像した第３撮像画像とを含む合成画像を表示するモニタ４０と、合成画像のレイアウトを制御する画像プロセッサ５３と、を備える。画像プロセッサ５３は、少なくとも移動体情報及び環境情報のいずれか一方に応じてレイアウトを変更する。【選択図】図１
2018093311.tif 000002
【特許請求の範囲】
【請求項１】
車両の左側方の所定領域を含む領域を撮像する第１カメラと、
車両の右側方の所定領域を含む領域を撮像する第２カメラと、
車両の後方の所定領域を含む領域を撮像する第３カメラと、
前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、
前記合成画像のレイアウトを制御する画像プロセッサと、を備え、
前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する、カメラモニタシステム。
【請求項２】
請求項１に記載のカメラモニタシステムにおいて、前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて、前記モニタに表示される前記第１撮像画像及び前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
【請求項３】
請求項２に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両のターンシグナルスイッチの操作を検出すると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、カメラモニタシステム。
【請求項４】
請求項２又は３に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両の速度が所定速度以上になると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、カメラモニタシステム。
【請求項５】
請求項２から４のいずれか一項に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両が複数車線を走行していることを検出すると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、カメラモニタシステム。
【請求項６】
請求項２から５のいずれか一項に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両のギヤがリバースに設定されると、前記第１撮像画像及び前記第２撮像画像が縦長に表示されるレイアウトに切り替える、カメラモニタシステム。
【請求項７】
請求項２から６のいずれか一項に記載のカメラモニタシステムにおいて、
前記第１カメラの回転を駆動する第１駆動部と、
前記第２カメラの回転を駆動する第２駆動部と、
前記第１駆動部及び前記第２駆動部を制御するコントローラと、
をさらに備え、
前記コントローラは、前記第１カメラを回転させて前記第１撮像画像の縦横比を切り替え、前記第２カメラを回転させて前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
【請求項８】
請求項２から６のいずれか一項に記載のカメラモニタシステムにおいて、
前記第１カメラは、第１レンズと、第１撮像素子と、該第１レンズ及び該第１撮像素子の回転を駆動する第１駆動部を備え、
前記第２カメラは、第２レンズと、第２撮像素子と、該第２レンズ及び該第２撮像素子の回転を駆動する第２駆動部を備え、
前記カメラモニタシステムは、前記第１駆動部及び前記第２駆動部を制御するコントローラをさらに備え、
前記コントローラは、前記第１レンズ及び前記第１撮像素子を回転させて前記第１撮像画像の縦横比を切り替え、前記第２レンズ及び前記第２撮像素子を回転させて前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
【請求項９】
請求項２から６のいずれか一項に記載のカメラモニタシステムにおいて、
前記第１カメラは、第１撮像素子と、該第１撮像素子の回転を駆動する第１駆動部を備え、
前記第２カメラは、第２撮像素子と、該第２撮像素子の回転を駆動する第２駆動部を備え、
前記カメラモニタシステムは、前記第１駆動部及び前記第２駆動部を制御するコントローラをさらに備え、
前記コントローラは、前記第１撮像素子を回転させて前記第１撮像画像の縦横比を切り替え、前記第２撮像素子を回転させて前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
【請求項１０】
請求項１から９のいずれか一項に記載のカメラモニタシステムにおいて、前記第１カメラ、前記第２カメラ及び前記第３カメラは、間接視界に関する協定規則第４６号に規定される範囲を含む範囲を撮像するデバイスである、カメラモニタシステム。
【請求項１１】
車両の左側方の所定領域を含む領域を撮像する第１カメラが撮像した第１撮像画像と、車両の右側方の所定領域を含む領域を撮像する第２カメラが撮像した第２撮像画像と、車両の後方の所定領域を含む領域を撮像する第３カメラが撮像した第３撮像画像とを受信する通信部と、
前記第１撮像画像、前記第２撮像画像及び前記第３撮像画像を含む合成画像を表示するモニタにおける該合成画像のレイアウトを制御する画像プロセッサと、を備え、
前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する、画像処理装置。
【請求項１２】
車両の左側方の所定領域を含む領域を撮像する第１カメラと、
車両の右側方の所定領域を含む領域を撮像する第２カメラと、
車両の後方の所定領域を含む領域を撮像する第３カメラと、
前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、
前記合成画像のレイアウトを制御する画像プロセッサと、を含み、
前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する、カメラモニタシステムを備える車両。
【請求項１３】
第１カメラと、第２カメラと、第３カメラと、モニタと、画像プロセッサとを備えるカメラモニタシステムにおける画像処理方法であって、
前記第１カメラが、車両の左側方の所定領域を含む領域を撮像するステップと、
前記第２カメラが、車両の右側方の所定領域を含む領域を撮像するステップと、
前記第３カメラが、車両の後方の所定領域を含む領域を撮像するステップと、
前記画像プロセッサが、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記モニタに表示される合成画像のレイアウトを制御するステップと、
前記モニタが、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含み、前記画像プロセッサによってレイアウトを制御された前記合成画像を表示するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラモニタシステム、画像処理装置、車両及び画像処理方法に関する。
【背景技術】
【０００２】
従来、車両等の移動体の外部領域を撮像し、撮像画像をモニタに表示させるカメラモニタシステムが知られている。カメラモニタシステムは、従来の光学的なミラーとは異なり、車両周囲を間接的に視るものである。
【０００３】
例えば特許文献１には、車両の走行速度に応じて車載カメラの画角を変化させるカメラモニタシステムが開示されている。特許文献１のカメラモニタシステムは、車両の走行速度が遅いときは車載カメラの画角を小さくし、走行速度が速いときは車載カメラの画角を大きくする。これにより、高速走行時に視野が縮小するという運転者の視野の特性を補完することができる。
【０００４】
例えば特許文献２には、車両の進行方向に変化が生じたか否かを判断し、車両の進行方向の変化に追従するように撮影方向を変更するカメラモニタシステムが開示されている。これにより、道路が曲がっている場合でも適切な情報を取得することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２６４５７４号公報
【特許文献２】国際公開第２００７／０３２４２７号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、移動体の外部領域の撮像画像を表示する技術について改善の余地があった。
【０００７】
本開示は、移動体の外部領域の撮像画像を表示する技術の利便性を向上させるカメラモニタシステム、画像処理装置、車両及び画像処理方法に関する。
【課題を解決するための手段】
【０００８】
本開示の一実施形態に係るカメラモニタシステムは、車両の左側方の所定領域を含む領域を撮像する第１カメラと、車両の右側方の所定領域を含む領域を撮像する第２カメラと、車両の後方の所定領域を含む領域を撮像する第３カメラと、を備える。前記カメラシステムは、さらに、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、前記合成画像のレイアウトを制御する画像プロセッサと、を備える。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する。
【０００９】
本開示の一実施形態に係る画像処理装置は、車両の左側方の所定領域を含む領域を撮像する第１カメラが撮像した第１撮像画像と、車両の右側方の所定領域を含む領域を撮像する第２カメラが撮像した第２撮像画像と、車両の後方の所定領域を含む領域を撮像する第３カメラが撮像した第３撮像画像とを受信する通信部を備える。前記画像処理装置は、さらに、前記第１撮像画像、前記第２撮像画像及び前記第３撮像画像を含む合成画像を表示するモニタにおける該合成画像のレイアウトを制御する画像プロセッサを備える。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する。
【００１０】
本開示の一実施形態に係る車両は、カメラモニタシステムを備える。前記カメラモニタシステムは、車両の左側方の所定領域を含む領域を撮像する第１カメラと、車両の右側方の所定領域を含む領域を撮像する第２カメラと、車両の後方の所定領域を含む領域を撮像する第３カメラと、を含む。前記カメラモニタシステムは、さらに、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、前記合成画像のレイアウトを制御する画像プロセッサと、を含む。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する。
【００１１】
本開示の一実施形態に係る画像処理方法は、第１カメラと、第２カメラと、第３カメラと、モニタと、画像プロセッサとを備えるカメラモニタシステムにおける画像処理方法である。前記画像処理方法は、前記第１カメラが、車両の左側方の所定領域を含む領域を撮像するステップと、前記第２カメラが、車両の右側方の所定領域を含む領域を撮像するステップと、前記第３カメラが、車両の後方の所定領域を含む領域を撮像するステップと、を含む。前記画像処理方法は、さらに、前記画像プロセッサが、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記モニタに表示される合成画像のレイアウトを制御するステップと、前記モニタが、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像と、前記画像プロセッサによってレイアウトを制御された前記合成画像を表示するステップと、を含む。
【発明の効果】
【００１２】
本開示の一実施形態に係るカメラモニタシステム、画像処理装置、車両及び画像処理方法によれば、移動体の外部領域の撮像画像を表示する技術の利便性が向上する。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態に係るカメラモニタシステムの概略構成を示すブロック図である。
【図２】カメラモニタシステムを備える車両を左側方から見た図である。
【図３】カメラモニタシステムを備える車両を上方から見た図である。
【図４】第１モード及び第２モードにおける表示範囲の一例である。
【図５】左側方及び右側方の画像を縦長で表示させた場合のレイアウトの一例である。
【図６】左側方及び右側方の画像を横長で表示させた場合のレイアウトの一例である。
【図７】左側方及び右側方の画像を切り出して表示させた場合のレイアウトの一例である。
【図８】左側方及び右側方の画像を切り出して表示させた場合のレイアウトの他の例である。
【図９】本開示の一実施形態の第１変形例に係るカメラモニタシステムの概略構成を示すブロック図である。
【図１０】撮像素子が横長及び縦長の配置の場合の撮像範囲を示す図である。
【図１１】第１モード及び第２モードにおける撮像範囲の一例である。
【図１２】第１モード及び第２モードにおける撮像範囲の他の例である。
【図１３】駆動部でカメラ全体を回転させる機構の一例を示す図である。
【図１４】本開示の一実施形態の第２変形例に係るカメラモニタシステムの概略構成を示すブロック図である。
【図１５】駆動部でカメラ及び撮像素子を回転させる機構の一例を示す図である。
【図１６】駆動部で撮像素子を回転させる機構の一例を示す図である。
【図１７】本開示の一実施形態の第３変形例に係るカメラモニタシステムの概略構成を示すブロック図である。
【図１８】車内におけるスイッチの配置例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本開示の実施形態について、図面を参照して説明する。
【００１５】
（カメラモニタシステム）
図１を参照して、本開示の一実施形態に係るカメラモニタシステム１について説明する。
【００１６】
図１に示すように、カメラモニタシステム１は、第１カメラ１０と、第２カメラ２０と、第３カメラ３０と、モニタ４０と、画像処理装置５０とを備える。カメラモニタシステム１の各構成要素は、例えばネットワーク６０を介して情報を送受信可能である。ネットワーク６０は、例えば無線ネットワーク、及び有線ネットワークの少なくとも一方を含んでよい。有線ネットワークは、ＣＡＮ（Controller Area Network）等を含んでよい。
【００１７】
他の実施形態において、カメラモニタシステム１の一部又は全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、第１カメラ１０、第２カメラ２０、第３カメラ３０又はモニタ４０に、画像処理装置５０を内蔵させる構成等が考えられる。
【００１８】
図２及び図３に示すように、第１カメラ１０、第２カメラ２０、第３カメラ３０、モニタ４０及び画像処理装置５０は、移動体６１に備えられてよい。本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。図２及び図３は、移動体が車両である場合の一例を示したものである。
【００１９】
第１カメラ１０、第２カメラ２０及び第３カメラ３０は、間接視界に関する協定規則第４６号に規定される範囲を含む範囲を撮像するデバイスである。第１カメラ１０は、クラスＩ−ＶＩのいずれかに規定される車両の左側方を含む領域を撮像する。第２カメラ２０は、クラスＩ−ＶＩのいずれかに規定される車両の右側方を含む領域を撮像する。第３カメラ３０は、クラスＩ−ＶＩのいずれかに規定される車両の後方を含む領域を撮像する。
【００２０】
第１カメラ１０、第２カメラ２０及び第３カメラ３０の位置は、上述の領域を撮像することが可能な位置であれば、移動体６１の内部及び外部において任意である。第１カメラ１０は、図３の例において移動体６１の左側に位置する。第１カメラ１０は、図３の例においてクラスＩＩＩの範囲を撮像する。第２カメラ２０は、図３の例において移動体６１の右側に位置する。第２カメラ２０は、図３の例においてクラスＩＩＩの範囲を撮像する。第３カメラ３０は、図３の例において移動体６１の後方に位置する。第３カメラ３０は、図３の例においてクラスＩの範囲を撮像する。モニタ４０の位置は、移動体６１の内部において任意である。例えば図２に示すように、モニタ４０は、移動体６１のダッシュボードの中に位置する。モニタ４０は、運転者６２によって視認可能である。画像処理装置５０の位置は、移動体６１の内部において任意である。
【００２１】
（第１カメラ）
第１カメラ１０は、上述のように、クラスＩＩＩとして規定される車両の左側方を含む領域を撮像する。第１カメラ１０は、例えば図１に示すように、第１レンズ１１と、第１撮像素子１２と、第１通信部１３と、第１コントローラ１４とを備える。
【００２２】
第１レンズ１１は、被写体像を結像させる。例えば、第１レンズ１１は、絞りを含んでよい。第１レンズ１１は、１つ以上のレンズを含んで構成されてよい。
【００２３】
第１撮像素子１２は、２次元配列された複数の画素を有する。第１撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）撮像素子又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。第１撮像素子１２は、第１レンズ１１によって結像される被写体像を撮像して、撮像画像を生成可能である。
【００２４】
第１通信部１３は、外部装置と通信可能な通信インタフェースを含んでよい。第１通信部１３は、ネットワーク６０を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置５０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ  ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ  ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ  ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
【００２５】
第１コントローラ１４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、及び特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）及び特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。第１コントローラ１４は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
【００２６】
第１コントローラ１４は、第１カメラ１０全体の動作を制御する。第１コントローラ１４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、及び歪み補正処理等を含んでよい。第１コントローラ１４は、第１通信部１３を介して画像処理装置５０へ、第１カメラ１０が撮像した画像を出力する。
【００２７】
（第２カメラ）
第２カメラ２０は、上述のように、クラスＩＩＩとして規定される車両の右側方を含む領域を撮像する。第２カメラ２０は、例えば図１に示すように、第２レンズ２１と、第２撮像素子２２と、第２通信部２３と、第２コントローラ２４とを備える。
【００２８】
第２レンズ２１、第２撮像素子２２、第２通信部２３及び第２コントローラ２４の構成及び機能は、それぞれ、第１レンズ１１、第１撮像素子１２、第１通信部１３及び第１コントローラ１４の構成及び機能と同様であるため、詳細な説明は省略する。
【００２９】
（第３カメラ）
第３カメラ３０は、上述のように、クラスＩとして規定される車両の後方を含む領域を撮像する。第３カメラ３０は、例えば図１に示すように、第３レンズ３１と、第３撮像素子３２と、第３通信部３３と、第３コントローラ３４とを備える。
【００３０】
第３レンズ３１、第３撮像素子３２、第３通信部３３及び第３コントローラ３４の構成及び機能は、それぞれ、第１レンズ１１、第１撮像素子１２、第１通信部１３及び第１コントローラ１４の構成及び機能と同様であるため、詳細な説明は省略する。
【００３１】
（モニタ）
モニタ４０は、例えば液晶ディスプレイ及び有機ＥＬ（Electroluminescence）ディスプレイ等のディスプレイを含んでよい。モニタ４０は、例えばネットワーク６０を介して画像処理装置５０から入力される画像を表示してよい。モニタ４０は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。モニタ４０は、ユーザによる操作を受付可能なスイッチ及びキーを含んでよい。スイッチは、物理スイッチ及び電子スイッチを含んでよい。キーは、物理キー及び電子キーを含んでよい。モニタ４０は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置５０へ送信してよい。
【００３２】
モニタ４０は、ビデオ信号などの電気信号を可視光線で描く映像に変換する。モニタ４０は、画像処理装置５０から取得した画像を表示する。モニタ４０が画像処理装置５０から取得する画像は、第１カメラ１０が撮像した画像である第１撮像画像、第２カメラ２０が撮像した画像である第２撮像画像、及び第３カメラ３０が撮像した画像である第３撮像画像を含む画像である。以下、第１撮像画像、第２撮像画像及び第３撮像画像を含む画像を、合成画像ともいう。
【００３３】
（画像処理装置）
画像処理装置５０は、通信部５１と、記憶部５２と、画像プロセッサ５３とを備える。
【００３４】
通信部５１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば第１カメラ１０、第２カメラ２０、第３カメラ３０、モニタ４０、移動体６１に備えられたＥＣＵ（Electronic Control Unit又はEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
【００３５】
通信部５１は、歩車間通信、路車間通信及び車車間通信のための通信インタフェースを含んでよい。通信部５１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）及びＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部５１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
【００３６】
通信部５１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部５１は、移動体情報及び環境情報を取得可能であってよい。
【００３７】
移動体情報は、移動体６１に関する任意の情報を含んでよい。移動体情報は、例えば移動体６１の速度、加速度、旋回重力、傾き、方角、及び旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数及び座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体６１の位置情報、ならびに移動体６１の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、及びターンシグナルを含んでよい。
【００３８】
環境情報は、移動体６１の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体６１の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、及び信号機の点灯状態等を含んでよい。
【００３９】
記憶部５２は、一時記憶装置及び二次記憶装置を含んでよい。記憶部５２は、例えば半導体メモリ、磁気メモリ、及び光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、及びＢＤ（Blu-ray Disc）（登録商標）等を含んでよい。記憶部５２は、画像処理装置５０の動作に必要な種々の情報及びプログラムを記憶する。
【００４０】
画像プロセッサ５３は、１つ以上のプロセッサを含む。画像プロセッサ５３は、画像処理装置５０全体の動作を制御する。
【００４１】
画像プロセッサ５３は、通信部５１を介して、第１カメラ１０から第１撮像画像を、第２カメラ２０から第２撮像画像を、第３カメラ３０から第３撮像画像を取得する。
【００４２】
画像プロセッサ５３は、第１撮像画像、第２撮像画像及び第３撮像画像を含む合成画像を作成し、作成した合成画像を、通信部５１を介してモニタ４０に送信する。
【００４３】
画像プロセッサ５３は、通信部５１を介して外部装置から、移動体情報及び環境情報を取得してよい。画像プロセッサ５３は、少なくとも移動体情報及び環境情報のいずれか一方に応じて、合成画像のレイアウトを制御する。
【００４４】
レイアウトは、合成画像が含む各画像の形状、合成画像が含む各画像の大きさ、及び、合成画像内における各画像の配置などを意味する。レイアウトの変更により各画像の形状又は大きさが変更される場合、各画像が表示している外部領域の範囲が変わってよい。
【００４５】
画像プロセッサ５３は、合成画像を作成する際、第１撮像画像から必要な範囲を切り出してよい。画像プロセッサ５３は、例えば、第１撮像画像を横長の形状とする場合、取得した第１撮像画像から横長の範囲を切り出して合成画像を作成する。画像プロセッサ５３は、例えば、第１撮像画像を縦長の形状とする場合、取得した第１撮像画像から縦長の範囲を切り出して合成画像を作成する。画像プロセッサ５３は、第２撮像画像及び第３撮像画像についても、第１撮像画像と同様に必要な範囲を切り出してよい。
【００４６】
以下、画像プロセッサ５３が、合成画像において、第１撮像画像及び第２撮像画像を縦長の形状としている状態を、第１モードともいう。画像プロセッサ５３が、合成画像において、第１撮像画像及び第２撮像画像を横長の形状としている状態を、第２モードともいう。
【００４７】
図４に、第１モード及び第２モードにおける、第１撮像画像の表示範囲の例を示す。図４（ａ）は、第１モード時の側面図である。図４（ｂ）は、第１モード時の上面図である。図４（ｃ）は、第２モード時の側面図である。図４（ｄ）は、第２モード時の上面図である。
【００４８】
図４に示すように、図４（ａ）と図４（ｃ）を比較すると、第１モードにおいて表示される第１撮像画像の縦の範囲１０１は、第２モードにおいて表示される第１撮像画像の縦の範囲１０３より広い。図４（ｂ）と図４（ｄ）を比較すると、第１モードにおいて表示される第１撮像画像の横の範囲１０２よりも、第２モードにおいて表示される第１撮像画像の横の範囲１０４の方が広い。
【００４９】
画像プロセッサ５３は、移動体情報及び環境情報に応じて運転者６２が適切な範囲を確認できるように、第１撮像画像及び第２撮像画像を、第１モードと第２モードのいずれで表示させるかを制御する。
【００５０】
例えば、通常速度の走行時、及び駐車時のバック走行時は、車両に近い範囲を視認することが重要であるため、画像プロセッサ５３は、第１撮像画像及び第２撮像画像を、第１モードで表示させるように制御する。例えば、高速走行時、右左折時、車線変更時、及び複数車線走行時は、横方向を広く視認できることが重要であるため、画像プロセッサ５３は、第１撮像画像及び第２撮像画像を、第２モードで表示させるように制御する。画像プロセッサ５３は、移動体６１が所定速度以上で走行していることを検出すると、高速走行状態であると判定する。画像プロセッサ５３は、ターンシグナルの点灯により、移動体６１が右左折時又は車線変更時であることを検出することができる。画像プロセッサ５３は、ターンシグナルスイッチの操作を検出することにより、移動体６１が右左折時又は車線変更時であることを検出することができる。
【００５１】
画像プロセッサ５３は、移動体情報から、移動体６１の速度、移動体６１のギヤがリバースに設定されたか、ターンシグナルスイッチが操作されたかなどを検出することができる。画像プロセッサ５３は、環境情報から、移動体６１が複数車線を走行しているかなどを検出することができる。画像プロセッサ５３は、例えば、ナビゲーション装置から取得した道路情報から、移動体６１が複数車線を走行しているかを検出することができる。
【００５２】
図５に、第１モードにおける合成画像１１０のレイアウトの一例を示す。図５に示す例においては、第１撮像画像１１１は、左側に縦長で表示される。第２撮像画像１１２は、右側に縦長で表示される。第３撮像画像１１３は、中央下方に横長で表示される。中央上方には、その他の画像１１４が表示される。その他の画像１１４は、例えば、カーナビの画像又は周辺監視カメラの画像であってよい。
【００５３】
図６に、第２モードにおける合成画像１１０のレイアウトの一例を示す。図６に示す例においては、第１撮像画像１１１は、左下に横長で表示される。第２撮像画像１１２は、右下に横長で表示される。第３撮像画像１１３は、右上に横長で表示される。左上には、その他の画像１１４が表示される。その他の画像１１４は、例えば、カーナビの画像又は周辺監視カメラの画像であってよい。
【００５４】
（合成画像の変形例）
図７及び図８は、図５及び図６に比べて、合成画像の縦の長さが短い場合のレイアウトの例を示す図である。
【００５５】
図７は、第１モードにおけるレイアウトの変形例である。図７（ａ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、縦長の画像から、下方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、縦長の画像から、下方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図７（ａ）に示すレイアウトは、例えば移動体６１が通常速度で走行しているときに適している。
【００５６】
図７（ｂ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、縦長の画像から、上方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、縦長の画像から、上方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図７（ｂ）に示すレイアウトは、例えば移動体６１が駐車時などにおいてバックで走行しているときに適している。
【００５７】
図８は、第２モードにおけるレイアウトの変形例である。図８（ａ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、横長の画像から、左方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、横長の画像から、右方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図８（ａ）においては、第１撮像画像１１１の大きさと、第２撮像画像１１２の大きさとは等しい。図８（ａ）に示すレイアウトは、例えば移動体６１が高速で走行しているときに適している。
【００５８】
図８（ｂ）に示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、横長の画像から、左方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第３撮像画像１１３は、中央に表示される。図８（ｂ）においては、第２撮像画像１１２の大きさの方が、第１撮像画像１１１の大きさよりも大きい。図８（ｂ）に示すレイアウトは、例えば移動体６１が右折するとき、又は、追い越し車線に合流するときに適している。
【００５９】
（第１変形例）
図９を参照して、本開示の一実施形態の第１変形例に係るカメラモニタシステム２について説明する。
【００６０】
図９に示すように、第１変形例に係るカメラモニタシステム２は、第１カメラ１０と、第１駆動部１５と、第２カメラ２０と、第２駆動部２５と、第３カメラ３０と、モニタ４０と、画像処理装置５０と、コントローラ７０とを備える。
【００６１】
第１駆動部１５は、第１カメラ１０の回転を駆動する。第１駆動部１５は、光軸を変えないまま第１カメラ１０を回転させることもできるし、光軸をチルトさせた上で第１カメラ１０を回転させることもできる。
【００６２】
第２駆動部２５は、第２カメラ２０の回転を駆動する。第２駆動部２５は、光軸を変えないまま第２カメラ２０を回転させることもできるし、光軸をチルトさせた上で第２カメラ２０を回転させることもできる。
【００６３】
コントローラ７０は、第１駆動部１５及び第２駆動部２５の動作を制御する。コントローラ７０は、通信部７１と、プロセッサ７２とを備える。
【００６４】
通信部７１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば第１カメラ１０、第１駆動部１５、第２カメラ２０、第２駆動部２５、第３カメラ３０、モニタ４０、画像処理装置５０、移動体６１に備えられたＥＣＵ（Electronic Control Unit又はEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
【００６５】
通信部７１は、歩車間通信、路車間通信及び車車間通信のための通信インタフェースを含んでよい。通信部７１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）及びＶＩＣＳ（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部７１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
【００６６】
通信部７１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部７１は、移動体情報及び環境情報を取得可能であってよい。
【００６７】
プロセッサ７２は、１つ以上のプロセッサを含む。プロセッサ７２は、コントローラ７０全体の動作を制御する。
【００６８】
プロセッサ７２は、第１駆動部１５及び第２駆動部２５の動作を制御する。
【００６９】
第１変形例に係るカメラモニタシステム２においては、第１カメラ１０の第１レンズ１１、及び、第２カメラ２０の第２レンズ２１は、超広角レンズではない。そのため、例えば、第１カメラ１０が撮像する第１撮像画像の範囲は、そこから、所望の範囲を含む縦長画像及び横長画像の双方を切り出すことが可能な程度に広くないものとする。
【００７０】
超広角レンズは、性能を確保するために多くのレンズ枚数が必要であり、それに伴いレンズサイズが大きくなることからコストアップの要因になる。第１変形例に係るカメラモニタシステム２は、第１レンズ１１及び第２レンズ２１を超広角レンズとする必要がないことにより、コストを低減することができる。
【００７１】
第１変形例に係るカメラモニタシステム２の第１撮像素子１２及び第２撮像素子２２は、長方形の範囲を撮像する。第１駆動部１５は、第１カメラ１０を回転させることにより、第１撮像画像を横長又は縦長の配置とすることができる。第２駆動部２５は、第２カメラ２０を回転させることにより、第２撮像画像を横長又は縦長の配置とすることができる。
【００７２】
図１０に、第１撮像素子１２が横長に配置された場合と、縦長に配置された場合の撮像範囲の様子を示す。図１０（ａ）は、第１撮像素子１２が横長の配置の場合である。図１０（ａ）の配置の場合、第１撮像画像は横長となる。図１０（ｂ）は、第１撮像素子１２が縦長の配置の場合である。図１０（ｂ）の配置の場合、第１撮像画像は縦長となる。
【００７３】
第１駆動部１５が第１カメラ１０を回転させると、第１カメラ１０の第１コントローラ１４は、第１カメラ１０の上方と第１撮像画像の上方とが一致するように第１撮像画像を変換して、第１撮像画像を画像処理装置５０に送信する。該第１撮像画像の変換は、画像処理装置５０の画像プロセッサ５３が行ってもよい。
【００７４】
第２駆動部２５が第２カメラ２０を回転させると、第２カメラ２０の第２コントローラ２４は、第２カメラ２０の上方と第２撮像画像の上方とが一致するように第２撮像画像を変換して、第２撮像画像を画像処理装置５０に送信する。該第２撮像画像の変換は、画像処理装置５０の画像プロセッサ５３が行ってもよい。
【００７５】
図１１に、第１モード及び第２モードにおける、第１カメラ１０の撮像範囲の例を示す。図１１に示す例においては、第１駆動部１５は、光軸を変えないまま第１カメラ１０を回転させている。
【００７６】
図１１（ａ）は、第１モード時の側面図である。図１１（ｂ）は、第１モード時の上面図である。図１１（ｃ）は、第２モード時の側面図である。図１１（ｄ）は、第２モード時の上面図である。
【００７７】
図１１に示すように、図１１（ａ）と図１１（ｃ）を比較すると、第１モードにおいて第１カメラ１０が撮像する縦の範囲１０１は、第２モードにおいて第１カメラ１０が撮像する縦の範囲１０３より広い。図１１（ｂ）と図１１（ｄ）を比較すると、第１モードにおいて第１カメラ１０が撮像する第１撮像画像の横の範囲１０２よりも、第２モードにおいて第１カメラ１０が撮像する横の範囲１０４の方が広い。
【００７８】
図１２に、第１モード及び第２モードにおける、第１カメラ１０の撮像範囲の例を示す。図１２に示す例においては、第１駆動部１５は、光軸をチルトさせた上で第１カメラ１０を回転させている。図１２に示す例では、第１駆動部１５は、第２モードにおいて、光軸の向きを、第１モードのときよりも、上方かつ外向きにしている。このように第１モードであるか第２モードであるかに応じて光軸の向きを変えることにより、運転者６２は、状況に適した範囲を視ることができる。
【００７９】
図１２（ａ）は、第１モード時の側面図である。図１２（ｂ）は、第１モード時の上面図である。図１２（ｃ）は、第２モード時の側面図である。図１２（ｄ）は、第２モード時の上面図である。
【００８０】
図１２に示すように、図１２（ａ）と図１２（ｃ）を比較すると、第１モードにおいて第１カメラ１０が撮像する縦の範囲１０１は、第２モードにおいて第１カメラ１０が撮像する縦の範囲１０３より広い。図１２（ｂ）と図１２（ｄ）を比較すると、第１モードにおいて第１カメラ１０が撮像する第１撮像画像の横の範囲１０２よりも、第２モードにおいて第１カメラ１０が撮像する横の範囲１０４の方が広い。
【００８１】
図１３に、第１駆動部１５が第１カメラ１０を回転させる機構の一例を示す。第１カメラ１０は、第１カメラ１０の筐体に固定された歯車１３１を備える。第１駆動部１５は、歯車１３１と噛み合う歯車１３２を備える。第１駆動部１５は、歯車１３２を回転させることにより、歯車１３１を駆動して第１カメラ１０を回転させる。同様の機構により、第２駆動部２５は、第２カメラ２０を回転させることができる。
【００８２】
（第２変形例）
図１４を参照して、本開示の一実施形態の第２変形例に係るカメラモニタシステム３について説明する。
【００８３】
図１４に示すように、第２変形例に係るカメラモニタシステム３は、第１カメラ１０ａと、第２カメラ２０ａと、第３カメラ３０と、モニタ４０と、画像処理装置５０と、コントローラ７０とを備える。
【００８４】
第１カメラ１０ａは、図１に示す第１カメラ１０に加えて第１駆動部１５を備える。第２カメラ２０ａは、図１に示す第２カメラ２０に加えて第２駆動部２５を備える。
【００８５】
第１駆動部１５は、第１レンズ１１及び第１撮像素子１２を一体として駆動して回転させる。または、第１駆動部１５は、第１撮像素子１２のみを駆動して回転させる。
【００８６】
第２駆動部２５は、第２レンズ２１及び第２撮像素子２２を一体として駆動して回転させる。または、第２駆動部２５は、第２撮像素子２２のみを駆動して回転させる。
【００８７】
図１５に、第１駆動部１５が第１レンズ１１及び第１撮像素子１２を一体として回転させる機構の一例を示す。第１レンズ１１と第１撮像素子１２とは、一体として回転するように結合されている。第１レンズ１１は、第１レンズ１１に固定された歯車１３３を備える。第１駆動部１５は、歯車１３３と噛み合う歯車１３４を備える。第１駆動部１５は、歯車１３４を回転させることにより、歯車１３３を駆動して第１レンズ１１及び第１撮像素子１２を一体として回転させる。同様の機構により、第２駆動部２５は、第２レンズ２１及び第２撮像素子２２を一体として回転させることができる。
【００８８】
図１６に、第１駆動部１５が第１撮像素子１２のみを回転させる機構の一例を示す。第１レンズ１１と第１撮像素子１２とは、第１撮像素子１２が第１レンズ１１とは独立して回転可能なように構成されている。第１撮像素子１２は、第１撮像素子１２に固定された歯車１３５を備える。第１駆動部１５は、歯車１３５と噛み合う歯車１３６を備える。第１駆動部１５は、歯車１３６を回転させることにより、歯車１３５を駆動して第１撮像素子１２のみを回転させる。同様の機構により、第２駆動部２５は、第２撮像素子２２のみを回転させることができる。
【００８９】
回転機構以外に関しては、第２変形例は第１変形例と同様であるため、説明を省略する。
【００９０】
（第３変形例）
図１７を参照して、本開示の一実施形態の第３変形例に係るカメラモニタシステム４について説明する。
【００９１】
図１７に示すように、第３変形例に係るカメラモニタシステム４は、図９に示す第１変形例に係るカメラモニタシステム２に対し、スイッチ８０を加えたものである。
【００９２】
スイッチ８０は、第１モードと第２モードとを切り替えるスイッチである。運転者６２がスイッチ８０によって第１モードに切り替えると、第１駆動部１５は、第１撮像画像が縦長になるように第１カメラ１０を回転させ、第２駆動部２５は、第２撮像画像が縦長になるように第２カメラ２０を回転させる。運転者６２がスイッチ８０によって第２モードに切り替えると、第１駆動部１５は、第１撮像画像が横長になるように第１カメラ１０を回転させ、第２駆動部２５は、第２撮像画像が横長になるように第２カメラ２０を回転させる。
【００９３】
スイッチ８０の位置は、運転者６２が移動体６１の走行中に操作することが可能な位置であれば、移動体６１の内部において任意である。例えば、図１８に示すように、スイッチ８０は、ダッシュボード６３上のステアリングホイール６４の右奥に位置する。スイッチ８０は、ステアリングホイール６４上に取り付けられていてよい。スイッチ８０は、物理スイッチに限られず、カーナビ画面上などにスイッチボタンとして表示されていてよい。
【００９４】
以上述べたように、一実施形態に係るカメラモニタシステム１〜４によれば、画像プロセッサ５３は、少なくとも移動体情報及び環境情報のいずれか一方に応じて、第１撮像画像、第２撮像画像及び第３撮像画像を含む合成画像のレイアウトを変更する。合成画像を視認する運転者６２は、移動体６１の状況に適した領域を認識可能である。このため、移動体６１の外部領域の撮像画像を表示する技術の利便性が向上する。
【００９５】
本発明を諸図面及び実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
【００９６】
例えば、上述した実施形態に係るカメラモニタシステム１〜４の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置５０の構成および機能の一部または全部を、第１カメラ１０、第２カメラ２０、第３カメラ３０及びモニタ４０のいずれかに包含させてもよい。
【００９７】
上述の実施形態に係るカメラモニタシステム１〜４の構成要素の一部は、移動体６１の外部に位置してよい。例えば、画像処理装置５０等は、携帯電話または外部サーバ等の通信機器として実現され、カメラモニタシステム１〜４の他の構成要素と有線または無線によって接続されてもよい。
【符号の説明】
【００９８】
１、２、３、４  カメラモニタシステム
１０、１０ａ  第１カメラ
１１  第１レンズ
１２  第１撮像素子
１３  第１通信部
１４  第１コントローラ
１５  第１駆動部
２０、２０ａ  第２カメラ
２１  第２レンズ
２２  第２撮像素子
２３  第２通信部
２４  第２コントローラ
２５  第２駆動部
３０  第３カメラ
３１  第３レンズ
３２  第３撮像素子
３３  第３通信部
３４  第３コントローラ
４０  モニタ
５０  画像処理装置
５１  通信部
５２  記憶部
５３  画像プロセッサ
６０  ネットワーク
６１  移動体
６２  運転者
６３  ダッシュボード
６４  ステアリングホイール
７０  コントローラ
７１  通信部
７２  プロセッサ
８０  スイッチ
１０１、１０２、１０３、１０４  範囲
１１０  合成画像
１１１  第１撮像画像
１１２  第２撮像画像
１１３  第３撮像画像
１１４  カーナビの画像又は周辺監視カメラの画像
１２１、１２２  はみ出し部
１３１、１３２、１３３、１３４、１３５、１３６  歯車
【図１】
2018093311.tif 000003
【図２】
2018093311.tif 000004
【図３】
2018093311.tif 000005
【図４】
2018093311.tif 000006
【図５】
2018093311.tif 000007
【図６】
2018093311.tif 000008
【図７】
2018093311.tif 000009
【図８】
2018093311.tif 000010
【図９】
2018093311.tif 000011
【図１０】
2018093311.tif 000012
【図１１】
2018093311.tif 000013
【図１２】
2018093311.tif 000014
【図１３】
2018093311.tif 000015
【図１４】
2018093311.tif 000016
【図１５】
2018093311.tif 000017
【図１６】
2018093311.tif 000018
【図１７】
2018093311.tif 000019
【図１８】
2018093311.tif 000020