(57)【要約】  この画像処理装置は、車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、前記第１の映像に前記車体の一部を表現する画像を重畳する画像重畳部とを具備する。
2020105698.tif 000002
【特許請求の範囲】
【請求項１】
車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、
前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記車体の一部の画像が記憶部に予め記憶された画像である
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記予め記憶された画像が、前記第１の信号処理部に前記カメラの映像が取得される前に記憶された画像である
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記車体の一部の画像が、前記カメラの視野外の領域の画像である
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
前記画像重畳部が、前記車体の速度情報に基づいて前記第１の映像に重畳する前記画像を調整する
画像処理装置。
【請求項８】
請求項６に記載の画像処理装置であって、
前記画像重畳部は、前記第１の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記埋め込み画像は、前記隙間領域に近接する前記第１の映像の色合いに近い画像である
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記画像重畳部は、過去の前記第１の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置であって、
前記画像重畳部は、前記第１の映像に少なくとも前記画像が重畳された映像を第１の表示部に出力する
画像処理装置。
【請求項１２】
請求項１に記載の画像処理装置であって、
前記第１の映像から第１の画角と異なる第２の画角の第２の映像を生成し、第２の表示部に出力する第２の信号処理部
をさらに具備する画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置であって、
前記第２の画角の中心は前記第１の画角の中心よりも前記第１の映像空間内で高い位置にある
画像処理装置。
【請求項１４】
請求項１に記載の画像処理装置であって、
前記第１の映像は、リアビューのための映像である
画像処理装置。
【請求項１５】
請求項１２に記載の画像処理装置であって、
前記第２の映像が、ルームミラー画像相当の映像である
画像処理装置。
【請求項１６】
車体に取り付けられたカメラと、
前記カメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、
前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
を具備するカメラシステム。
【請求項１７】
第１の信号処理部が、車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成し、
画像重畳部が、前記第１の映像に前記車体の一部を表現した画像を重畳する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車体に設置されたカメラの映像を処理する画像処理装置、カメラシステム、モニター装置及び画像処理方法に関する。
【背景技術】
【０００２】
昨今、駐車等で車体を後退させる際、カメラで捕えた後方映像をカーナビゲーションシステムの画面を通してドライバーに提示することによって、駐車操作を支援するリアビューカメラを搭載する車体が増加している。多くのリアビューカメラは、車体の後側バンパーの一部を撮像視野に含めることによって、後側バンパーの一部を含めた車体後方の映像をリアビュー画面に表示する。これにより、ドライバーは、後側バンパーを基準としてリアビュー映像空間での距離感をつかめるようにされている（特許文献１参照）。【０００３】
一方、バックミラー等を持たない自動車の実現に向けて、バックミラー等に代わるカメラモニタリングシステム（ＣＭＳ：Ｃａｍｅｒａ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）を搭載した車体も増加している。ＣＭＳによって、死角が少なく視界のより広い後方映像の提供が可能となるなど、より安全性に優れた自動車の実現が期待される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５０９３８号公報（図３、段落［００１６］、［００２９］）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のリアビューカメラとＣＭＳは何れも車体後方の映像をドライバーに提供するものであるが、リアビューカメラは車体の真うしろの状況のモニタリングを目的とするものであるのに対し、ＣＭＳは車体の後続車両のモニタリングを目的とするものであるため、リアビューカメラとＣＭＳカメラとでは撮像視野の高さが異なる。このためそれぞれには撮像視野の異なる別々のカメラが用いられることが普通である。しかしながら、トータル的なコストを抑えるために１つのカメラでリアビューとＣＭＳを実現すること、あるいは、ＣＭＳ用のカメラを用いてリアビューを実現することが望まれている。
しかしながら、ＣＭＳカメラの映像を用いてリアビューを実現しようとした場合、ＣＭＳカメラの撮像視野に車体のバンパーが含まれないことに起因して様々な問題が生じていた。【０００６】
以上のような事情に鑑み、本技術の目的は、良質のリアビュー映像を提供することのできる画像処理装置、カメラシステム及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本技術に係る画像処理装置は、車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部とを具備する。【０００８】
本技術に係る画像処理装置によれば、カメラで撮像された映像から生成された第１の映像に、車体の一部を表現した画像を重畳することによって、その車体の一部を基準として距離感をユーザが捉えることが容易な撮影映像を得ることができる。【０００９】
前記車体の一部の画像は予め記憶された画像であってよい。【００１０】
より具体的には、前記予め記憶された画像は、前記第１の信号処理部に前記カメラの映像が取得される前に記憶された画像であってよい。【００１１】
前記車体の一部の画像は、前記カメラの視野外の領域の画像であってよい。【００１２】
前記車体の一部の画像は、前記車体のバンパーの少なくとも一部を仮想化した仮想画像であってよい。【００１３】
前記カメラは前記車体の前方、後方または側方を撮像するように取り付けられたカメラである。【００１４】
前記画像重畳部は、前記車体の速度情報に基づいて前記第１の映像に重畳する前記仮想画像を調整するように構成されてよい。【００１５】
前記画像重畳部は、前記第１の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳するように構成されてよい。【００１６】
前記埋め込み画像は、前記隙間領域に近接する前記第１の映像の色合いに近い画像であってよい。【００１７】
前記画像重畳部は、過去の前記第１の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成するように構成されてよい。【００１８】
前記画像重畳部は、前記第１の映像に少なくとも前記画像が重畳された映像を第１の表示部に出力するように構成されてよい。【００１９】
本技術に係る画像処理装置は、前記第１の映像から第１の画角と異なる第２の画角の第２の映像を生成し、第２の表示部に出力する第２の信号処理部をさらに具備するものであってよい。【００２０】
前記第２の画角の中心は前記第１の画角の中心よりも前記第１の映像空間内で高い位置にあることとしてよい。【００２１】
本技術に係る別の側面のカメラシステムは、車体に取り付けられたカメラと、前記カメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部とを具備する。【００２２】
本技術に係るさらに別の側面の画像処理装置は、車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部と、前記車体の速度を検出する速度検出部と、を具備し、前記画像重畳部が、前記検出された速度に基づいて前記映像に重畳する前記画像を調整するように構成される。【００２３】
本技術に係るさらに別の側面の信号処理方法は、第１の信号処理部が、車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成し、画像重畳部が、前記第１の映像に前記車体の一部を表現した画像を重畳する。
【図面の簡単な説明】
【００２４】
【図１】本技術に係るカメラシステム１００の全体構成を示すブロック図である。
【図２】図１のカメラシステム１００におけるカメラ１０の取り付け位置と向きを示す側面図である。
【図３】図２のカメラ１０の視野映像の例を示す図である。
【図４】カメラ１０の映像空間とＣＭＳ映像空間との位置関係の例を示す図である。
【図５】リアビュー映像６の構成例を示す図である。
【図６】リアビュー映像６の他の構成例を示す図である。
【図７】車速に応じた仮想画像４の調整方法を説明する図である。
【図８】本技術に係る第２の実施形態においてリアビュー元映像３に対して仮想画像４を静的位置関係で重畳する方法の説明図である。
【図９】第２の実施形態におけるリアビュー映像の例を示す図である。
【図１０】第２の実施形態におけるリアビュー映像の他の例を示す図である。
【図１１】過去映像による埋め込み処理の説明図である。
【図１２】カメラ１０の位置からカメラ１０の映像の画角下端に相当する位置までの距離をチャートを使って実測する方法を説明する図である。
【図１３】チャートの設置方法を説明する図である。
【図１４Ａ】ノーマルビューモードのリアビュー映像の例を示す図である。
【図１４Ｂ】ワイドビューモードのリアビュー映像の例を示す図である。
【図１４Ｃ】トップダウンビューモードのリアビュー映像の例を示す図である。
【図１５】トップダウンビューモードの変換後のカメラ視点を示す図である。
【図１６】第２の実施形態のカメラシステム１００におけるリアビュー信号処理部２３および画像重畳部２４の全体的な動作の流れを示すフローチャートである。
【図１７】本技術に係る画像処理装置の構成の第１の変形例を示すブロック図である。
【図１８】本技術に係る画像処理装置の構成の第２の変形例を示すブロック図である。
【図１９】本技術に係る画像処理装置の第３の変形例であるモニター装置の構成を示すブロック図である。
【図２０】本技術に係る画像処理装置の第４の変形例であるカメラシステムの構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本技術の実施の形態を図面をもとに以下の順に説明する。
１．全体のシステム構成
２．画像処理装置２０の構成
３．画像重畳処理
４．車速に応じた仮想画像の調整
５．過去映像の埋め込み
６．リアビューモードの切り替え
７．全体的な制御の流れ
８．変形例
【００２６】
＜第１の実施形態＞
（１．全体のシステム構成）
図１は本技術に係るカメラシステム１００の全体構成を示すブロック図である。
このカメラシステム１００は、カメラ１０と、画像処理装置２０と、ＣＭＳ表示部３０と、リアビュー表示部４０とを有する。
【００２７】
ＣＭＳ表示部３０およびリアビュー表示部４０は車体６０のドライバーが画面を視ることのできる別々のモニターである。ＣＭＳ表示部３０は、バックミラー、ドアミラーなどのルームミラーを代替するモニターなどであってよい。リアビュー表示部４０は、例えば、カーナビゲーションシステムの画面などであってよい。
【００２８】
図２は図１のカメラシステム１００におけるカメラ１０の取り付け位置と向きを示す側面図、図３は図２のカメラ１０の視野映像の例を示す図である。なお、本実施形態では、カメラ１０が車体６０の後方を撮像可能なように車体後部に配置される場合を想定する。これに限らず、カメラ１０は、車体６０の前方を撮像可能なように配置されてもよい。
【００２９】
カメラ１０は、ＣＣＤセンサまたはＣＭＯＳセンサを搭載したデジタルビデオカメラであり、好ましくは高解像度（ＨＤ：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のデジタルビデオカメラである。図２及び図３に示したように、カメラシステム１００のカメラ１０は、遠方を撮像できるように車体６０の後部のトップ部分など比較的高い位置などに、光軸をほぼ水平あるいは若干下向きに傾斜させて設置される。このようなカメラ配置の場合、車体６０の後側バンパー６１などのバンパーがカメラ１０の視野外となる。このため、カメラシステム１００を例えばバックミラーに代わる車体後方のモニタリングに利用しようとすると、後側バンパー６１の像が存在しないことによって車体後部の距離感が掴み難いカメラ映像１（図３参照）となるという課題があった。これが本技術が解決しようとする課題の一つである。
【００３０】
（２．画像処理装置２０の構成）
画像処理装置２０は、少なくとも、車体６０に取り付けられたカメラ１０で撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部（リアビュー信号処理部２３）と、前記第１の映像に車体６０の一部を表現した画像を重畳する画像重畳部２５とを含む。
【００３１】
より具体的には、画像処理装置２０は、カメラ１０により撮像された映像１からＣＭＳ用の映像を生成してＣＭＳ表示部３０に供給する一方で、カメラ１０により撮像された映像からリアビュー用の元映像を生成し、このリアビュー用の元映像に、少なくとも、例えば仮想的な後側バンパーなどの画像（以下、「仮想画像」と呼ぶ。）などを重畳したリアビュー映像を生成してリアビュー表示部４０に供給する。
なお、リアビュー元映像に仮想画像を重畳する方法には、車速に基づいて仮想画像の位置などを調整する方法と、車速に拘わらず固定の位置に仮想画像を重畳する方法とがあり、前者の方法を第１の実施形態、後者の方法を第２の実施形態において説明する。
【００３２】
図１に示すように、画像処理装置２０は、例えば、スプリッタ２１と、ＣＭＳ信号処理部２２（第２の信号処理部）と、リアビュー信号処理部２３と、画像重畳部２４などで構成される。画像処理装置２０は、例えば、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＬＳＩ（ｌａｒｇｅ−ｓｃａｌｅ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などの集積回路、バッファリング用のメモリなどで構成される。
【００３３】
スプリッタ２１は、カメラ１０により撮像された映像１（図３参照）をＣＭＳ信号処理部２２とリアビュー信号処理部２３に供給する。
【００３４】
ＣＭＳ信号処理部２２は、スプリッタ２１を通じて供給された映像１から、ＣＭＳ信号処理の対象領域の映像の切り出し、ビューモードに応じた歪み補正、ホワイトバランス調整などの画質調整を行うことによって、ＣＭＳ表示部３０に供給するＣＭＳ映像を生成する。
【００３５】
図４はカメラ１０の映像空間とＣＭＳ映像空間との位置関係の例を示す図である。同図に示すように、ＣＭＳ信号処理部２２は、カメラの映像１から、遠方の被写体を主な被写体とし、かつ水平線Ｓがほぼ中間の高さよりやや下にくるような画角部分にあたる映像領域２をＣＭＳ信号処理の対象領域として切り出すことによってＣＭＳ映像を生成する。
【００３６】
リアビュー信号処理部２３は、カメラの映像１から、リアビュー信号処理の対象領域の映像の切り出し、ビューモードに応じた歪み補正、ホワイトバランス調整などの画質調整を行うことによって、リアビュー用の元映像を生成する。なお、リアビュー信号処理部２３は、カメラ１０の映像１の全画素を処理対象としてもよい。図４はこのようにカメラ１０の映像１の全画素をリアビュー用の元映像３とする場合を示している。リアビュー用の元映像３とは、後述するバンパーの仮想画像や埋め込み画像が重畳される前の、カメラ１０の映像のみからなるカメラ映像のことであり、以降「リアビュー元映像３」と呼ぶ。このリアビュー元映像３に後述するバンパーの仮想画像や埋め込み画像が重畳された画像が「リアビュー映像６」である。
【００３７】
画像処理装置２０は、車体６０に搭載されたＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２００との間で通信を行う通信インタフェース（図示せず）を有する。ＥＣＵ２００との通信プロトコルにはＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などがある。画像重畳部２４は、上記の通信インタフェースを用いてＥＣＵ２００より車速情報などのステータス情報を受信し、受信した車速情報に基づいて仮想画像の位置などの調整を行う。この画像重畳部２４による仮想画像の重畳処理の詳細については後で説明する。
【００３８】
（３．画像重畳処理）
図５はリアビュー映像６の構成例を示す図である。画像重畳部２４は、リアビュー信号処理部２３によって生成されたリアビュー元映像３に、カメラ１０の視野内に存在しない例えば後側バンパーなどの車体の一部を表現した画像を仮想画像４として重畳して、リアビュー映像６を生成する。この仮想画像４は、例えば予めコンピュータグラフィックスなどにより作成された画像であり、画像処理装置２０にカメラ１０からの映像が供給される以前、あるいは、システムが起動されるよりも前に画像処理装置２０内の不揮発性メモリ（図示せず）に格納された情報である。なお、リアビュー元映像３に重畳される画像は、必ずしもコンピュータグラフィックスなどにより作成される画像であるとは限らず、例えば写真から加工された画像であってもよい。本明細書では、コンピュータグラフィックスなどにより作成される画像および写真加工画像などを「仮想画像４」と総称する。
【００３９】
なお、図５では、カメラ１０の映像１の全画素をリアビュー元映像３としてリアビュー映像６を生成する場合を示したが、本技術ではこれに限定されない。例えば、図６に示すように、カメラ１０の映像１の最下領域を含む一部矩形領域をリアビュー元映像３ａとして、これに仮想画像４などを重畳することによってリアビュー映像６ａを生成してもよい。
【００４０】
（４．車速に応じた仮想画像の調整）
画像重畳部２４は、ＥＣＵ２００から得られる車速情報に基づいて、リアビュー映像６に重畳させる仮想画像４の位置などを調整することができる。
【００４１】
図７は車速に応じた仮想画像４の調整方法を説明する図である。
同図において、ｈはカメラ１０の設置高さ、θはカメラ１０の画角下端に対応する光線のカメラ光軸に対する角度、φはカメラ１０の画角下端に対応する光線の垂直に対する角度、ｔは画像重畳部２４に予め設定されたタイミングパラメータである。
【００４２】
ここで、φはカメラ１０の光軸の水平に対する傾き（下方傾き）をβとすると、
φ＝９０−θ−β      ・・・（１）
の計算式により算出される。
【００４３】
タイミングパラメータｔは、車体後退中に現速度でt秒後に車体６０の後側バンパー６１が到達する地点を端とした仮想画像４を表示させるためのパラメータである。このタイミングパラメータｔは、ユーザが任意に設定を変更し得るものであってもよい。ここでの仮想画像は、現速度で後退した場合、t秒後／t秒以内に車が到達する領域を示したものである。
また、仮想画像が重畳されるリアビュー元映像３の領域の状況がドライバーに確認できるように、仮想画像は半透明画像として重畳し、表示しても良い。
【００４４】
まず、画像重畳部２４は、ｈ、ｔ、そして車速ｖから下記の計算式によって仮想画像４の表示位置を求める。リアビュー元映像３の画角を全体のリアビュー表示画角とした場合、全体のリアビュー表示画角の下端からどの位離れた位置を仮想画像４の上端とするかが仮想画像４の表示位置の計算対象となる。仮想画像４の上端位置は、カメラ１０の位置からｖｔ＋ｅだけ移動した地点にあたる。そこで、画像重畳部２４は、まずｖｔ＋ｅを算出する。なお、ｅはカメラ１０の位置から後側バンパー６１の端までの距離である。
【００４５】
次に、このｖｔ＋ｅの計算結果からαを算出する。αはカメラ１０から路面上のｖｔ＋ｅ地点をみた方向の垂直に対する角度である。αは次式によって算出される。
α＝ｔａｎ−１（（ｖｔ＋ｅ）／ｈ）    ・・・（２）
したがって、車速が高速であるほど仮想画像４の上端位置は図７上ではより左側にくる。
【００４６】
次に、画像重畳部２４は、リアビュー元映像３の下端から、リアビュー元映像３上の上記（２）式により算出されたαの角度に相当する位置（仮想画像４の上端位置）までの領域に仮想画像４を重畳する。これによって、仮想画像４がリアビュー元映像３の適切な位置に重畳されたことになり、車体６０との距離感の掴みやすいリアビュー映像６が得られる。
【００４７】
ところで、車速ｖが過度に大きい場合、リアビュー映像６の大半の領域が仮想画像４によって占められ、リアビュー表示部４０を通してユーザから見える車体後方の空間が狭くなりすぎてしまう。そこで、画像重畳部２４は、例えば、次の条件を満たす場合だけ仮想画像４を重畳することにする。
θ／２＜θ＋φ−α＜θ      ・・・（３）
上記（３）式を満足しない場合には、リアビュー元映像３だけがリアビュー映像６としてリアビュー表示部４０に表示される。これにより、リアビュー表示部４０を通してユーザから見える車体後方の映像空間が狭くなりすぎてしまうことを防止できる。
【００４８】
＜第２の実施形態＞
次に、本技術に係る第２の実施形態を説明する。
本実施形態において、画像重畳部２４は、リアビュー元映像３に対して仮想画像４を、車速に拠らず、静的な位置関係で重畳する。
【００４９】
図８は第２の実施形態においてリアビュー元映像３に対して仮想画像４を静的位置関係で重畳する方法の説明図、図９は本実施形態におけるリアビュー映像の例を示す図である。
これらの図に示すように、仮想画像４は、リアビュー表示部４０の表示空間において、カメラ１０の位置から車体６０の後側バンパー６１の端までの領域に相当する位置に配置される。この際、リアビュー表示部４０の表示空間においてリアビュー元映像３と仮想画像４との間に像が存在しない隙間領域ができる場合がある。画像重畳部２４は、この隙間領域に、仮想画像４との判別を容易にするための埋め込み画像５を埋め込む。この埋め込み画像５は、例えば、斜線、網掛け、色などによって仮想画像４と異なる特徴をもつ画像であることが好ましい。埋め込み画像５は、隙間領域付近のリアビュー元映像３の色合いに近い色を用いることが、仮想画像４との判別を容易にするため、より好ましい。さらに、図１０に示すように、埋め込み画像５には、リアビュー元映像３と仮想画像４との隙間の実空間における距離を示す値のキャラクタ情報７が重畳されてもよい。
ここでは、図８で示される仮想画像領域は、車体後部（後部バンパーを含む）を路面に投影した投影領域の一部に相当する。仮想画像領域の端部は、この投影領域（車体後部の投影領域）の端部に相当する。
【００５０】
（５．過去映像の埋め込み）
埋め込み画像５には、過去の映像、例えば１フレーム前の映像から切り出された映像を用いてもよい。この処理は、車体６０が後退する間にバッファに保持された過去のリアビュー元映像３を用いて行われる。
【００５１】
図１１は過去映像による埋め込み処理の説明図である。
６０ａは現在の位置の車体、６０ｂは１フレーム前の位置の車体である。ｖｆは１フレーム間に車体が速度ｖで移動した距離であり、ｆはフレーム周期である。
現在の車体６０ａの位置で撮像されたリアビュー元映像３と仮想画像４との間の隙間領域は、１フレーム前に撮影されたリアビュー元映像３中のカメラ光軸に対してθ１からθ２までの角度範囲の映像で埋められる。θ１、θ２は以下により算出される角度である。
θ１＝θ＋φ−ｔａｎ−１（（ｈｔａｎφ＋ｖｆ／ｈ）      ・・・（４）
θ２＝θ＋φ−ｔａｎ−１（（ｖｆ＋ｅ）／ｈ）      ・・・（５）
【００５２】
このように、現在のカメラ１０による画角下端と仮想画像４との間の隙間領域に１フレーム前の同じ領域の映像で埋めることによって、より自然なリアビュー映像を得ることができる。
【００５３】
なお、ここでは１フレーム前の映像から埋め込み用の映像を切り出して埋め込むこととしたが、さらに過去のフレームから、現在の隙間領域に対応する領域の映像を切り出して埋め込むようにしてもよい。
【００５４】
なお、図１１および上記（４）式において、カメラ１０の位置からカメラ１０の映像の画角下端に相当する位置までの距離であるｈｔａｎφは、計算によって求めることができるが、このｈｔａｎφは車体毎に固定値であるので、実測により求めることも可能である。
【００５５】
図１２及び図１３はｈｔａｎφの実測にチャートを用いた場合の説明図である。
図１２に示すように、チャート７０は、例えば２ｃｍと１０ｃｍ刻みの目盛が記されたシートなどである。図１３に示すように、実測時、チャート７０は、チャート７０の基点（０点）の位置を車体６０の後側バンパー６１の端に合わせるようにして路面に配置される。カメラ１０により撮像したリアビュー映像から画面に表示されたカメラ１０の映像７１の画角下端に見える目盛の値を、後側バンパー６１の端からカメラ１０の映像７１の画角下端との距離として目視により取得することができる。図１２の例では後側バンパー６１の端からカメラ１０の画角下端との距離が４４ｃｍであることが分かる。取得した距離は、システムに手入力などによって、画像処理装置２０に設定され、仮想画像重畳リアビュー映像６の生成に利用される。
【００５６】
（６．リアビューモードの切り替え）
リアビュー信号処理部２３は、３種類のリアビューモードを有し、適宜ユーザにより設定されたリアビューモード選択情報に基づいてリアビュー映像の表示画角を切り替えることができる。
【００５７】
リアビューモードには、ノーマルビューモード、ワイドビューモード、トップダウンビューモードなどがある。ユーザは、リアビューモードを、操作ボタンなどにより、随時任意に選択することができる。
【００５８】
図１４Ａ、図１４Ｂ、図１４Ｃはノーマルビューモード、ワイドビューモード、トップダウンビューモードそれぞれのモードによるリアビュー映像の例を示す図である。
ワイドビューは、広角レンズを用いて撮像をすることによってノーマルビューよりも広角範囲のリアビュー映像を表示するモードである。
トップダウンビューは、図１５に示すように、ノーマルビューモードのリアビュー映像などから、視点変換等の信号処理によって、車体真後ろの路面をほぼ真上から見たリアビュー映像を表示するモードである。
【００５９】
画像重畳部２４は、リアビューモードの種類に応じて、仮想画像４および埋め込み画像５の歪み補正を行う。
【００６０】
（７．全体的な制御の流れ）
次に、第２の実施形態のカメラシステム１００におけるリアビュー信号処理部２３および画像重畳部２４の動作の流れを説明する。
図１６は、第２の実施形態のカメラシステム１００におけるリアビュー信号処理部２３および画像重畳部２４の全体的な動作の流れを示すフローチャートである。
【００６１】
リアビュー信号処理部２３および画像重畳部２４は、例えば、車体がバックギアに入ったことを示すステータスをＥＣＵ２００から取得することなどによって起動し、以下制御を実行する。
【００６２】
リアビュー信号処理部２３は、起動後、リアビュー表示モードを確認し、その結果を保持する（ステップＳ１０１）。続いて、リアビュー信号処理部２３は、スプリッタ２１を通じてカメラ１０で撮影されたリアビュー元映像を入力する（ステップＳ１０２）。入力されたリアビュー元映像は画像処理装置２０内のバッファに保持される（ステップＳ１０３）。
【００６３】
画像重畳部２４は、リアビュー表示モードの確認結果に基づき、現在選択されているリアビュー表示モードに応じた形態の仮想画像を生成するとともに、リアビュー元映像の画角下端と仮想画像との隙間の埋め込み画像を作成し、これらをリアビュー元映像に重畳することによって仮想画像重畳リアビュー映像を生成する（ステップＳ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０７）。
【００６４】
次に画像重畳部２４は、車体の後退が開始されたかどうかをＥＣＵ２００からのステータスに基づいて判断する（ステップＳ１０８）。まだ車体が後退を開始していない場合、リアビュー信号処理部２３は、ステップＳ１０５、Ｓ１０６、Ｓ１０７のいずれかにより生成された仮想画像重畳リアビュー映像をリアビュー表示部４０に出力する（ステップＳ１０９）。この際、仮想画像重畳リアビュー映像における埋め込み画像は例えば斜線画像、網掛け画像、色画像など、仮想画像と単に判別できればよい一様な画像とされる。
【００６５】
車体の後退が開始されてから１フレーム分時間が経過するまでの間は（ステップＳ１１０のＮ）、画像重畳部２４は、ステップステップＳ１０５、Ｓ１０６、Ｓ１０７のいずれかにより生成された仮想画像重畳リアビュー映像をリアビュー表示部４０に出力し続ける（ステップＳ１０９）。
【００６６】
車体の後退が開始されてから１フレーム分時間が経過したところで（ステップＳ１１０のＹ）、画像重畳部２４は、ＥＣＵ２００より車速情報を取得してその値を確認する（ステップＳ１１１）。画像重畳部２４は、バッファから過去フレームのリアビュー元映像を読み込み、確認した車速に基づいて、当該過去フレームのリアビュー元映像中の、仮想画像重畳リアビュー映像における埋め込み画像の領域に対応する対応領域を算出する（ステップＳ１１２）。続いて、画像重畳部２４は、過去フレーム映像から上記対応領域の過去映像を切り出し、切り出した過去映像に対してリアビュー表示モードに応じた歪補正を施すことによって、過去映像による埋め込み画像を生成する（ステップＳ１１３）。
【００６７】
次に、画像重畳部２４は、生成した過去映像による埋め込み画像を現在の仮想画像重畳リアビュー映像の埋め込み画像の領域に重畳（上書き）することによって（ステップＳ１１４）、仮想画像と過去映像による埋め込み画像が重畳された仮想画像重畳リアビュー映像を完成させ、この仮想画像重畳リアビュー映像をリアビュー表示部４０に出力する（ステップＳ１１５）。
【００６８】
（８．変形例）
上記の実施形態のカメラシステム１００において、画像処理装置２０は、スプリッタ２１と、ＣＭＳ信号処理部２２と、リアビュー信号処理部２３と、画像重畳部２４とを備えるものとしたが、本技術はこれに限定されない。
【００６９】
（第１の変形例）
例えば図１７に示すように、画像処理装置２０ＡがＥＣＵ２００から車速情報を取得するように構成するのではなく、車体の速度を検出する速度検出部８０を別途備え、画像重畳部２４が速度検出部８０から車速情報を取得して、仮想情報の調整を行うようにしてもよい。
【００７０】
（第２の変形例）
図１８に示すように、図１の画像処理装置２０の構成から、少なくともＣＭＳ信号処理部２２を除き、リアビュー信号処理部２３と画像重畳部２４によって本技術に係る画像処理装置２０Ｂが構成されてもよい。
【００７１】
（第３の変形例）
図１９に示すように、本技術は、リアビュー信号処理部２３、画像重畳部２４、表示器２５を一つのシステムとして内蔵したモニター装置２０Ｃとして提供し得る。
あるいは、リアビュー信号処理部２３、画像重畳部２４を一つのシステムとしてカメラ１０を内蔵したカメラ装置として提供しても良い。
【００７２】
（第４の変形例）
図２０に示すように、本技術は、カメラ１０、リアビュー信号処理部２３、画像重畳部２４、表示器２５を個別の装置とした、カメラシステム１００Ｂとしても提供し得る。
また、図１、図１７、図２０それぞれに対して、一つ装置に内蔵する機能ブロックの組合せを変えても良い。
例えば、図１において、カメラ１０とスプリッタ２１とリアビュー信号処理部２３と画像重畳部２４を内蔵したカメラ装置と、ＣＭＳ信号処理部２２とＣＭＳ表示部３０とを内蔵した表示装置と、リアビュー表示部４０と、ＥＣＵ２００とを有するシステムとしても良い。また、カメラ１０とスプリッタ２１とＣＭＳ信号処理部２２とを内蔵したカメラ装置と、リアビュー信号処理部２３と画像重畳部２４とリアビュー表示部４０とを内蔵したリアビュー表示装置と、ＣＭＳ表示部３０とＥＣＵ２００とを有するシステムとしても良い。
【００７３】
上記の各実施形態では、特に車体の後方を撮像可能なように取り付けられたカメラの映像を用いるものとしたが、本技術は、車体の前方や側方を撮像可能なカメラの映像を用いる場合にも同様に応用し得るものである。
【００７４】
上記の各実施形態では、車体６０の一部の仮想画像４としてバンパーの仮想画像４をカメラ映像に重畳することとしたが、カメラ映像に重畳する車体６０の一部が何処であるかは本技術において限定されない。車体６０に設置されたカメラ１０の視野に入らない部位であって、カメラ映像の空間の距離感をユーザが掴みやすくできる部位であれば何でもよい。例えば、車体の側方をカメラで撮像するのであれば、車体の側面の仮想画像が重畳されるようにすればよい。さらに、車体の後方、前方をモニタリングする場合にも必ずしもバンパーの仮想画像が重畳されるべきであるとは限らない。例えば、ナンバープレートの仮想画像や、車体のシルエットの一部が重畳されてもよい。
【００７５】
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００７６】
さらに、本技術は以下のような構成もとることができる。
（１）車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、
前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
を具備する画像処理装置。
【００７７】
（２）上記（１）の画像処理装置であって、
前記車体の一部の画像が記憶部に予め記憶された画像である
画像処理装置。
【００７８】
（３）上記（２）の画像処理装置であって、
前記予め記憶された画像が、前記第１の信号処理部に前記カメラの映像が取得される前に記憶された画像である
画像処理装置。
【００７９】
（４）上記（１）から（３）のいずれかの画像処理装置であって、
前記車体の一部の画像が、前記カメラの視野外の領域の画像である
画像処理装置。
【００８０】
（５）上記（２）から（４）のいずれかの画像処理装置であって、
前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
画像処理装置。
【００８１】
（６）上記（１）から（５）のいずれかの画像処理装置であって、
前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
画像処理装置。
【００８２】
（７）上記（１）から（６）のいずれかの画像処理装置であって、
前記画像重畳部が、前記車体の速度情報に基づいて前記第１の映像に重畳する前記画像を調整する
画像処理装置。
【００８３】
（８）上記（１）から（６）のいずれかの画像処理装置であって、
前記画像重畳部は、前記第１の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
画像処理装置。
【００８４】
（９）上記（８）の画像処理装置であって、
前記埋め込み画像は、前記隙間領域に近接する前記第１の映像の色合いに近い画像である
画像処理装置。
【００８５】
（１０）上記（８）の画像処理装置であって、
前記画像重畳部は、過去の前記第１の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
画像処理装置。
【００８６】
（１１）上記（１）から（１０）のいずれかの画像処理装置であって、
前記画像重畳部は、前記第１の映像に少なくとも前記画像が重畳された映像を第１の表示部に出力する
画像処理装置。
【００８７】
（１２）上記（１）から（１１）のいずれかの画像処理装置であって、
前記第１の映像から第１の画角と異なる第２の画角の第２の映像を生成し、第２の表示部に出力する第２の信号処理部
をさらに具備する画像処理装置。
【００８８】
（１３）上記（１２）の画像処理装置であって、
前記第２の画角の中心は前記第１の画角の中心よりも前記第１の映像空間内で高い位置にある
画像処理装置。
【００８９】
（１４）上記（１）の画像処理装置であって、
前記第１の映像は、リアビューのための映像である
画像処理装置。
【００９０】
（１５）上記（１２）の画像処理装置であって、
前記第２の映像が、ルームミラー画像相当の映像である
画像処理装置。
【００９１】
（１６）車体に取り付けられたカメラと、
前記カメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、
前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部と
を具備するカメラシステム。
【００９２】
（１７）上記（１６）のカメラシステムであって、
前記車体の一部の画像が記憶部に予め記憶された画像である
カメラシステム。
【００９３】
（１８）上記（１７）のカメラシステムであって、
前記予め記憶された画像が、前記第１の信号処理部に前記カメラの映像が取得される前に記憶された画像である
カメラシステム。
【００９４】
（１９）上記（１６）から（１８）のいずれかのカメラシステムであって、
前記車体の一部の画像が、前記カメラの視野外の領域の画像である
カメラシステム。
【００９５】
（２０）上記（１７）から（１９）のいずれかのカメラシステムであって、
前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
カメラシステム。
【００９６】
（２１）上記（１６）から（２０）のいずれかのカメラシステムであって、
前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
カメラシステム。
【００９７】
（２２）記（１６）から（２１）のいずれかのカメラシステムであって、
前記画像重畳部が、前記車体の速度情報に基づいて前記第１の映像に重畳する前記画像を調整する
カメラシステム。
【００９８】
（２３）上記（１６）から（２１）のいずれかのカメラシステムであって、
前記画像重畳部は、前記第１の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
カメラシステム。
【００９９】
（２４）上記（２３）のカメラシステムであって、
前記埋め込み画像は、前記隙間領域に近接する前記第１の映像の色合いに近い画像である
カメラシステム。
【０１００】
（２５）上記（２３）のカメラシステムであって、
前記画像重畳部は、過去の前記第１の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
カメラシステム。
【０１０１】
（２６）上記（２３）から（２５）のいずれかのカメラシステムであって、
前記画像重畳部は、前記第１の映像に少なくとも前記画像が重畳された映像を第１の表示部に出力する
カメラシステム。
【０１０２】
（２７）上記（１６）から（２６）のいずれかのカメラシステムであって、
前記第１の映像から第１の画角と異なる第２の画角の第２の映像を生成し、第２の表示部に出力する第２の信号処理部
をさらに具備するカメラシステム。
【０１０３】
（２８）上記（２７）のカメラシステムであって、
前記第２の画角の中心は前記第１の画角の中心よりも前記第１の映像空間内で高い位置にある
カメラシステム。
【０１０４】
（２９）上記（１６）のカメラシステムであって、
前記第１の映像は、リアビューのための映像である
カメラシステム。
【０１０５】
（３０）上記（２７）のカメラシステムであって、
前記第２の映像が、ルームミラー画像相当の映像である
カメラシステム。
【０１０６】
（３１）車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成する第１の信号処理部と、
前記第１の映像に前記車体の一部を表現した画像を重畳する画像重畳部と、
前記画像が重畳された映像を表示する表示部と
を具備するモニター装置。
【０１０７】
（３２）上記（３１）のモニター装置であって、
前記車体の一部の画像が記憶部に予め記憶された画像である
モニター装置。
【０１０８】
（３３）上記（３２）のモニター装置であって、
前記予め記憶された画像が、前記第１の信号処理部に前記カメラの映像が取得される前に記憶された画像である
モニター装置。
【０１０９】
（３４）上記（３１）から（３３）のいずれかのモニター装置であって、
前記車体の一部の画像が、前記カメラの視野外の領域の画像である
モニター装置。
【０１１０】
（３５）上記（３１）から（３４）のいずれかのモニター装置であって、
前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
モニター装置。
【０１１１】
（３６）上記（３１）から（３５）のいずれかのモニター装置であって、
前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
モニター装置。
【０１１２】
（３７）上記（３１）から（３６）のいずれかのモニター装置であって、
前記画像重畳部が、前記車体の速度情報に基づいて前記第１の映像に重畳する前記画像を調整する
モニター装置。
【０１１３】
（３８）上記（３１）から（３６）のいずれかのモニター装置であって、
前記画像重畳部は、前記第１の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
モニター装置。
【０１１４】
（３９）上記（３８）のモニター装置であって、
前記埋め込み画像は、前記隙間領域に近接する前記第１の映像の色合いに近い画像である
モニター装置。
【０１１５】
（４０）上記（３７）のモニター装置であって、
前記画像重畳部は、過去の前記第１の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
モニター装置。
【０１１６】
（４１）上記（３１）のモニター装置であって、
前記第１の映像は、リアビューのための映像である
モニター装置。
【０１１７】
（４２）第１の信号処理部が、車体に取り付けられたカメラで撮像された映像から第１の画角の第１の映像を生成し、
画像重畳部が、前記第１の映像に前記車体の一部を表現した画像を重畳する
画像処理方法。
【０１１８】
（４３）上記（４２）の画像処理方法であって、
前記車体の一部の画像が記憶部に予め記憶された画像である
画像処理方法。
【０１１９】
（４４）上記（４３）の画像処理方法であって、
前記予め記憶された画像が、前記第１の信号処理部に前記カメラの映像が取得される前に記憶された画像である
画像処理方法。
【０１２０】
（４５）上記（４２）から（４４）のいずれかの画像処理方法であって、
前記車体の一部の画像が、前記カメラの視野外の領域の画像である
画像処理方法。
【０１２１】
（４６）上記（４２）から（４４）のいずれかの画像処理方法であって、
前記車体の一部の画像が、前記車体のバンパーの少なくとも一部を仮想化した仮想画像である
画像処理方法。
【０１２２】
（４７）上記（４２）から（４６）のいずれかの画像処理方法であって、
前記カメラが前記車体の前方、後方または側方を撮像するように取り付けられたカメラである
画像処理方法。
【０１２３】
（４８）上記（４２）から（４７）のいずれかの画像処理方法であって、
前記画像重畳部が、前記車体の速度情報に基づいて前記第１の映像に重畳する前記画像を調整する
画像処理方法。
【０１２４】
（４９）上記（４２）から（４７）のいずれかの画像処理方法であって、
前記画像重畳部は、前記第１の映像と前記仮想画像との間の像が存在しない隙間領域に埋め込み画像を重畳する
画像処理方法。
【０１２５】
（５０）上記（４９）の画像処理方法であって、
前記埋め込み画像は、前記隙間領域に近接する前記第１の映像の色合いに近い画像である
画像処理方法。
【０１２６】
（５１）上記（４９）の画像処理方法であって、
前記画像重畳部は、過去の前記第１の映像から前記隙間領域に対応する領域の映像を切り出して前記埋め込み画像を生成する
画像処理方法。
【０１２７】
（５２）上記（４２）から（５１）のいずれかの画像処理方法であって、
前記画像重畳部は、前記第１の映像に少なくとも前記画像が重畳された映像を第１の表示部に出力する
画像処理方法。
【０１２８】
（５３）上記（４２）から（５２）のいずれかの画像処理方法であって、
第２の信号処理部が、前記第１の映像から第１の画角と異なる第２の画角の第２の映像を生成し、第２の表示部に出力する
画像処理方法。
【０１２９】
（５４）上記（５３）の画像処理方法であって、
前記第２の画角の中心は前記第１の画角の中心よりも前記第１の映像空間内で高い位置にある
画像処理方法。
【０１３０】
（５６）上記（４２）の画像処理方法であって、
前記第１の映像は、リアビューのための映像である
画像処理方法。
【０１３１】
（５７）上記（５３）の画像処理方法であって、
前記第２の映像が、ルームミラー画像相当の映像である
画像処理方法。
【符号の説明】
【０１３２】
１…カメラ映像
３…リアビュー元映像
４…仮想画像
５…埋め込み画像
６…リアビュー映像
１０…カメラ
２０、２０Ａ、２０Ｂ…画像処理装置
２０Ｃ…モニター装置
２２…ＣＭＳ信号処理部
２３…リアビュー信号処理部
２４…画像重畳部
３０…ＣＭＳ表示部
４０…リアビュー表示部
６０…車体
６１…後側バンパー
８０…速度検出部
１００…カメラシステム
１００Ｂ…カメラモニタリングシステム
２００…ＥＣＵ
【図１】
2020105698.tif 000003
【図２】
2020105698.tif 000004
【図３】
2020105698.tif 000005
【図４】
2020105698.tif 000006
【図５】
2020105698.tif 000007
【図６】
2020105698.tif 000008
【図７】
2020105698.tif 000009
【図８】
2020105698.tif 000010
【図９】
2020105698.tif 000011
【図１０】
2020105698.tif 000012
【図１１】
2020105698.tif 000013
【図１２】
2020105698.tif 000014
【図１３】
2020105698.tif 000015
【図１４Ａ】
2020105698.tif 000016
【図１４Ｂ】
2020105698.tif 000017
【図１４Ｃ】
2020105698.tif 000018
【図１５】
2020105698.tif 000019
【図１６】
2020105698.tif 000020
【図１７】
2020105698.tif 000021
【図１８】
2020105698.tif 000022
【図１９】
2020105698.tif 000023
【図２０】
2020105698.tif 000024
【国際調査報告】
2020105698.tif 000025
2020105698.tif 000026
2020105698.tif 000027
2020105698.tif 000028