(57)【特許請求の範囲】
【請求項１】
複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御部と、
前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定部と、
前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合部と
を備え、
前記表示制御部は、
前記合成画像への表示切替条件が成立した場合に、所定の準備画像を前記表示部に表示させ、前記パターン照合部によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記準備画像に代えて前記合成画像を前記表示部に表示させ、
前記パターン照合部は、
前記表示切替条件の成立後に前記パターン指定部から前記車載カメラへ送信される前記画像パターンが、前記表示切替条件の成立前における前記画像パターンと同一である場合には、前記判定を行うことなく、前記表示制御部に対して前記合成画像の表示を指示すること
を特徴とする画像処理装置。
【請求項２】
複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御部と、
前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定部と、
前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合部と
を備え、
前記表示制御部は、
前記合成画像への表示切替条件が成立した場合に、所定の準備画像を前記表示部に表示させ、前記パターン照合部によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記準備画像に代えて前記合成画像を前記表示部に表示させ、何れかの前記画像パターン応答が前記画像パターンと一致しない場合には、前記画像パターン応答が前記画像パターンと一致しない前記車載カメラから入力される前記入力画像に代えて所定の代替画像を用いた代替合成画像を生成して前記表示部に表示させること
を特徴とする画像処理装置。
【請求項３】
複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御部と、
前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定部と、
前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合部と
を備え、
前記表示制御部は、
前記合成画像への表示切替条件が成立した場合に、前記合成画像の表示位置を示すレイアウト画像を前記表示部に表示させ、前記パターン照合部によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記レイアウト画像に代えて前記合成画像を前記表示部に表示させること
を特徴とする画像処理装置。
【請求項４】
前記表示制御部は、
前記準備画像として単色画像を前記表示部に表示させること
を特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記表示制御部は、
前記準備画像として黒色の単色画像を前記表示部に表示させること
を特徴とする請求項４に記載の画像処理装置。
【請求項６】
複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御工程と、
前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定工程と、
前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合工程と
を含み、
前記表示制御工程は、
前記合成画像への表示切替条件が成立した場合に、所定の準備画像を前記表示部に表示させ、前記パターン照合工程によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記準備画像に代えて前記合成画像を前記表示部に表示させ、
前記パターン照合工程は、
前記表示切替条件の成立後に前記車載カメラへ送信される前記画像パターンが、前記表示切替条件の成立前における前記画像パターンと同一である場合には、前記判定を行うことなく、前記表示制御工程において前記合成画像を前記表示部に表示させること
を特徴とする画像処理方法。
【請求項７】
複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御工程と、
前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定工程と、
前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合工程と
を含み、
前記表示制御工程は、
前記合成画像への表示切替条件が成立した場合に、所定の準備画像を前記表示部に表示させ、前記パターン照合工程によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記準備画像に代えて前記合成画像を前記表示部に表示させ、何れかの前記画像パターン応答が前記画像パターンと一致しない場合には、前記画像パターン応答が前記画像パターンと一致しない前記車載カメラから入力される前記入力画像に代えて所定の代替画像を用いた代替合成画像を生成して前記表示部に表示させること
を特徴とする画像処理方法。
【請求項８】
複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御工程と、
前記車載カメラに対し、複数の画像パターンの中から前記入力画像として出力すべき画像パターンを指定するパターン指定工程と、
前記車載カメラからそれぞれ送信される画像パターン応答の全てが前記画像パターンと一致するか否かを判定するパターン照合工程と
を含み、
前記表示制御工程は、
前記合成画像への表示切替条件が成立した場合に、前記合成画像の表示位置を示すレイアウト画像を前記表示部に表示させ、前記パターン照合工程によって前記画像パターン応答の全てが前記画像パターンと一致すると判定された場合に、前記レイアウト画像に代えて前記合成画像を前記表示部に表示させること
を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車両に搭載された複数の車載カメラから得られるカメラ画像を合成することにより、車両の直上や後部などの任意の仮想視点からみた車両の周囲の様子を示す合成画像を生成してディスプレイに表示する装置が提案されている。
【０００３】
特許文献１には、各車載カメラに対して画像領域の指定を行い、各車載カメラが、指定された画像領域をカメラ画像から切り取って出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０２７４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術には、指定通りの画像データが全て揃うまでの間、指定した画像領域とは異なる領域の画像データを含む意図しない合成画像がディスプレイに表示されるおそれがあった。
【０００６】
実施形態の一態様は、上記に鑑みてなされたものであって、意図しない合成画像が表示されることを防止することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本実施形態の一態様に係る画像処理装置は、表示制御部と、パターン指定部と、パターン照合部とを備える。表示制御部は、複数の車載カメラから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる。パターン指定部は、車載カメラに対し、複数の画像パターンの中から入力画像として出力すべき画像パターンを指定する。パターン照合部は、車載カメラからそれぞれ送信される画像パターン応答の全てが画像パターンと一致するか否かを判定する。表示制御部は、合成画像への表示切替条件が成立した場合に、所定の準備画像を表示部に表示させ、パターン照合部によって画像パターン応答の全てが画像パターンと一致すると判定された場合に、準備画像に代えて合成画像を表示部に表示させる。また、パターン照合部は、表示切替条件の成立後にパターン指定部から車載カメラへ送信される画像パターンが、表示切替条件の成立前における画像パターンと同一である場合には、判定を行うことなく、表示制御部に対して合成画像の表示を指示する。
【発明の効果】
【０００８】
実施形態の一態様によれば、意図しない合成画像が表示されることを防止することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態に係る画像処理システムの構成例を示す図である。
【図２】図２は、車載カメラの配置例を示す図である。
【図３】図３は、表示部に表示させる画面の切替タイミングを示すシーケンス図である。
【図４】図４は、バック画面の一例を示す図である。
【図５】図５は、準備画面の一例を示す図である。
【図６】図６は、仮想視点画面の一例を示す図である。
【図７】図７は、本実施形態に係る画像処理システムの具体的な構成例を示す図である。
【図８】図８は、本実施形態に係る画像処理装置が実行する処理の処理手順を示すフローチャートである。
【図９】図９は、代替仮想視点画面の一例を示す図である。
【図１０】図１０は、レイアウト画像の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、本発明に係る画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【００１１】
図１は、本実施形態に係る画像処理システムの構成例を示す図である。また、図２は、車載カメラの配置例を示す図である。
【００１２】
図１に示すように、本実施形態に係る画像処理システム１は、撮像装置２と、画像処理装置３と、表示部４とを備える。
【００１３】
撮像装置２は、前方カメラ２ａと、後方カメラ２ｂと、右方カメラ２ｃと、左方カメラ２ｄとを備える。これらの車載カメラ２ａ〜２ｄは、図２に示すように、車両１００の前方、後方、右方および左方にそれぞれ配置される。
【００１４】
車載カメラ２ａ〜２ｄは、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて車両１００の周囲を撮像する。具体的には、車載カメラ２ａ〜２ｄは、車両１００の前方、後方、右方および左方をそれぞれ撮像する。
【００１５】
車載カメラ２ａ〜２ｄは、魚眼レンズなどの広角レンズを備える。これにより、各車載カメラ２ａ〜２ｄは１８０度以上の画角を有する。したがって、これらの車載カメラ２ａ〜２ｄを利用することにより、車両１００の全周囲を撮影することができる。
【００１６】
各車載カメラ２ａ〜２ｄによって撮像された画像は、出力線５を介して画像処理装置３へ出力される。出力線５は、例えばＮＴＳＣ（National  Television  System  Committee）ケーブルである。
【００１７】
ここで、各車載カメラ２ａ〜２ｄの画素数は、例えば１００万画素であり、出力線５により出力可能な最大画素数（例えば３０万画素）よりも大きい。このため、画像処理システム１では、後述する画像処理装置３が、各車載カメラ２ａ〜２ｄに対し、画像処理装置３へ出力すべき画像領域を指定し、各車載カメラ２ａ〜２ｄが、撮像した画像から画像処理装置３によって指定された画像領域を切り出して画像処理装置３へ出力するようにしている。
【００１８】
上記画像領域の指定は、通信線６を介して行われる。通信線６は、例えばＣＡＮ（Controller  Area  Network）バス等の車載ＬＡＮ（Local  Area  Network）である。なお、画像処理装置３は、かかる通信線６を介して表示部４や図示しない各種のＥＣＵ(Electronic  Control  Unit)等とも接続されており、これら表示部４やＥＣＵとの間で種々の情報の送受信を行うことが可能である。
【００１９】
なお、以下では、車載カメラ２ａ〜２ｄによって撮像される画像（切り出し前の画像）を「カメラ画像」と記載し、車載カメラ２ａ〜２ｄから画像処理装置３へ出力される画像（切り出し後の画像）を「入力画像」と記載する。
【００２０】
画像処理装置３は、車載カメラ２ａ〜２ｄから入力される入力画像に対して座標変換処理を行うことにより、車両１００の周囲を仮想視点から見た仮想視点画像を生成する。
【００２１】
かかる座標変換処理において、画像処理装置３は、例えば、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された入力画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
【００２２】
例えば、画像処理装置３は、入力画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、入力画像に含まれるデータを、所定の投影面の対応する位置に投影することができる。
【００２３】
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両１００の位置であり、車両１００の位置の外側（例えば、お椀の底部分以外の部分）は、車両１００の周囲の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。
【００２４】
そして、画像処理装置３は、生成した仮想視点画像に対し、車両１００を上記仮想視点から見た車両画像をクロマキー合成した合成画像を生成して表示部４に表示させる。
【００２５】
表示部４は、ＬＣＤ（Liquid  Crystal  Display）を備え、画像処理装置３から取得した合成画像を含む仮想視点画面を表示することができる。なお、表示部４としては、例えばタッチパネル式ディスプレイを用いることができる。
【００２６】
ところで、画像処理装置３は、表示部４に表示させる画面を例えばバック画面等から上述した仮想視点画面へ切り替える場合に、仮想視点画像の生成に適した入力画像を取得するために、車載カメラ２ａ〜２ｄに対して入力画像として出力すべき画像領域の切り替えを要求することがある。
【００２７】
しかしながら、画像処理装置３が車載カメラ２ａ〜２ｄに対して画像領域の切り替えを要求してから、車載カメラ２ａ〜２ｄが切り替え後の入力画像を出力するまでにはタイムラグが存在する場合がある。このため、バック画面等から仮想視点画面へすぐに切り替えることとすると、要求した入力画像とは異なる入力画像（すなわち、切り替え前の入力画像）を含む意図しない合成画像が表示部４に表示されるおそれがある。さらに、入力画像の切り替えタイミングは車載カメラ２ａ〜２ｄごとに異なるため、入力画像が個々に切り替わることによって合成画像が頻繁に変化して画面がちらつくおそれもある。
【００２８】
このような状況を防ぐために、車載カメラ２ａ〜２ｄに対して画像領域の指定の切り替えを行ってから予め決められた時間が経過した後に、仮想視点画面への切り替えを行うことも考えられるが、想定外のタイムラグが生じた場合に対処することができない。また、一律に予め決められた時間待機するのは効率的ではない。
【００２９】
そこで、本実施形態に係る画像処理装置３は、バック画面等から仮想視点画面へ切り替える場合に、仮想視点画面に先立って所定の準備画面を表示部４に表示させ、新たに指定した入力画像に対応する出力応答を全ての車載カメラ２ａ〜２ｄから通信線６を介して受信した場合に、上記準備画面に代えて仮想視点画面を表示部４に表示させることとした。
【００３０】
かかる点について図３〜図６を参照して説明する。図３は、表示部４に表示させる画面の切替タイミングを示すシーケンス図である。また、図４は、バック画面の一例を示す図であり、図５は、準備画面の一例を示す図であり、図６は、仮想視点画面の一例を示す図である。なお、図３では、一例として、バック画面から仮想視点画面へ表示を切り替える場合のシーケン図を示している。
【００３１】
図３に示すように、前方カメラ２ａ、後方カメラ２ｂ、右方カメラ２ｃおよび左方カメラ２ｄは、カメラ画像から所定の領域を切り出した入力画像を画像処理装置３へそれぞれ出力する。画像処理装置３は、車載カメラ２ａ〜２ｄから取得した入力画像のうち、後方カメラ２ｂからの入力画像を用いたバック画面を生成して表示部４に表示させる。図４に示すように、バック画面１０１は、後方カメラ２ｂからの入力画像であるバック画像１１１を含み、他の車載カメラ２ａ，２ｃ，２ｄからの入力画像を含まない画面のことである。
【００３２】
画像処理装置３は、表示部４に表示させる画面（バック画面１０１や後述する仮想視点画面１０３）と、入力画像としてカメラ画像から切り出すべき画像領域（以下、「画像パターン」と記載する）との対応関係を示すテーブルを記憶している。また、車載カメラ２ａ〜２ｄは、入力画像としてカメラ画像から切り出す画像領域と、上記画像パターンとの対応関係を示すテーブルを記憶している。
【００３３】
画像処理装置３は、表示部４に現在表示されている画面に対応する画像パターンを通信線６経由で定期的に車載カメラ２ａ〜２ｄへ送信する。また、車載カメラ２ａ〜２ｄは、画像処理装置３から画像パターンを受信すると、現在出力中の入力画像に対応する画像パターン応答を画像処理装置３へ送信する。
【００３４】
例えば、バック画面１０１の表示中において、画像処理装置３は、バック画面１０１に対応する画像パターンＰ１を車載カメラ２ａ〜２ｄへ送信する。また、画像パターンＰ１を受信した車載カメラ２ａ〜２ｄは、画像パターンＰ１に対応する画像領域、すなわち、バック画面１０１に対応する画像領域から入力画像を切り出している場合には、画像パターン応答Ｐ１を画像処理装置３へ送信する。
【００３５】
つづいて、例えばユーザが仮想視点画面への切り替え操作を行うことにより、バック画面１０１から仮想視点画面への表示切替条件が成立すると、画像処理装置３は、まず、表示部４に対して準備画面を表示させる。
【００３６】
準備画面１０２は、図５に示すように、準備画像１１２を含む画面である。準備画像１１２は、黒色の単色画像であり、図示しない記憶部に予め記憶される。
【００３７】
このように、単色画像は比較的目立ちにくいため、準備画像１１２として単色画像を用いることで、例えば文字や模様等を含んだ画像を準備画像１１２として用いる場合と比較して運転中のユーザの注意を引きにくくすることができる。特に、本実施形態のように、黒色の単色画像を用いることにより、運転中のユーザの注意をより引きにくくすることができる。なお、準備画像１１２は、黒色以外の単色画像であってもよい。また、準備画像１１２は、必ずしも単色画像であることを要しない。
【００３８】
また、画像処理装置３は、バック画面１０１から仮想視点画面への表示切替条件が成立すると、仮想視点画面１０３に対応する画像パターンＰ２を車載カメラ２ａ〜２ｄへ送信する。
【００３９】
ここで、仮想視点画面１０３は、図６に示すように、例えばバック画像１１１と合成画像１１３とを含む画面である。合成画像１１３は、車載カメラ２ａ〜２ｄからの入力画像に基づいて生成される仮想視点画像１１５に対して車両画像１１６をクロマキー合成した画像である。なお、仮想視点画面１０３は、必ずしもバック画像１１１を含んでいることを要しない。
【００４０】
車載カメラ２ａ〜２ｄは、画像処理装置３から画像パターンＰ２を受信すると、カメラ画像から切り出す画像領域を画像パターンＰ１に対応する領域から画像パターンＰ２に対応する領域へ切り替え、画像パターンＰ２に対応する領域から切り出した入力画像を画像処理装置３へそれぞれ出力する。
【００４１】
また、車載カメラ２ａ〜２ｄは、出力した入力画像に対応する画像パターン応答Ｐ２を画像処理装置３に対してそれぞれ送信する。そして、画像処理装置３は、車載カメラ２ａ〜２ｄから受信した画像パターン応答Ｐ２の全てが画像パターンＰ２と一致した場合に、準備画面１０２に代えて仮想視点画面１０３を表示部４に表示させる。
【００４２】
上述したように、表示切替条件が成立した時点で仮想視点画面１０３への切り替えを行うと、意図しない合成画像を含む仮想視点画面１０３が表示部４に表示されるおそれがある。これに対し、本実施形態に係る画像処理装置３では、表示切替条件が成立した後、仮想視点画面１０３に先立って準備画面１０２を表示部４に表示させておくこととした。このため、意図しない合成画像１１３を含んだ仮想視点画面１０３が表示部４に表示されることを防止することができる。
【００４３】
次に、本実施形態に係る車載カメラ２ａ〜２ｄおよび画像処理装置３の具体的な構成および動作について説明する。まず、車載カメラ２ａ〜２ｄおよび画像処理装置３の具体的な構成について図７を参照して説明する。図７は、本実施形態に係る画像処理システム１の具体的な構成例を示す図である。なお、図７では、画像処理システム１の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。
【００４４】
図７に示すように、車載カメラ２ａ〜２ｄは、Ｉ／Ｆ（インタフェース）部２１ａ〜２１ｄと、制御部２２ａ〜２２ｄとを備える。Ｉ／Ｆ部２１ａ〜２１ｄは、例えばＣＡＮ通信用のインタフェースであり、通信線６を介して画像処理装置３との間で画像データを除く各種のデータを送受信する。
【００４５】
例えば、Ｉ／Ｆ部２１ａ〜２１ｄは、通信線６を介して画像処理装置３から画像パターンを受信して制御部２２ａ〜２２ｄへ渡す。また、Ｉ／Ｆ部２１ａ〜２１ｄは、制御部２２ａ〜２２ｄから受け取った画像パターン応答を通信線６を介して画像処理装置３へ送信する。
【００４６】
制御部２２ａ〜２２ｄは、画像パターンに対応する画像領域をカメラ画像から切り取って入力画像として出力線５経由で画像処理装置３へ出力する。また、制御部２２ａ〜２２ｄは、カメラ画像から切り取った画像領域に対応する画像パターン応答をＩ／Ｆ部２１ａ〜２１ｄおよび通信線６経由で画像処理装置３へ送信する。
【００４７】
なお、車載カメラ２ａ〜２ｄ間において、入力画像および画像パターン応答の出力・送信タイミングは同期されていない。すなわち、入力画像および画像パターン応答は、車載カメラ２ａ〜２ｄからそれぞれ異なるタイミングで出力・送信される。
【００４８】
画像処理装置３は、画像取得部３１と、表示制御部３２と、Ｉ／Ｆ部３３と、画面切替判定部３４と、パターン指定部３５と、パターン照合部３６とを備える。
【００４９】
画像取得部３１は、出力線５を介して車載カメラ２ａ〜２ｄから入力画像を取得する。また、画像取得部３１は、取得した入力画像を表示制御部３２へ出力する。
【００５０】
表示制御部３２は、入力画像を用いた各種の画像を生成して表示部４に表示させる。例えば、表示制御部３２は、後方カメラ２ｂからの入力画像であるバック画像１１１を用いたバック画面１０１（図４参照）を表示部４へ表示させる。また、表示制御部３２は、車載カメラ２ａ〜２ｄの各入力画像に対して上述した座標変換処理や合成処理を行うことによって合成画像１１３（図６参照）を生成して合成画像１１３を含む仮想視点画面１０３を表示部４へ表示させる。
【００５１】
表示制御部３２は、後述する画面切替判定部３４からの情報に従って、表示部４に表示すべき画面を決定する。例えば、表示制御部３２は、表示部４に表示すべき画面がバック画面１０１であることを示す情報が画面切替判定部３４から出力されている場合には、バック画面１０１を表示部４へ表示させる。
【００５２】
一方、表示部４に表示すべき画面が仮想視点画面１０３であることを示す情報が画面切替判定部３４から出力された場合、表示制御部３２は、仮想視点画面１０３ではなく、準備画像１１２（図５参照）を表示部４へ表示させる。また、表示制御部３２は、車載カメラ２ａ〜２ｄから送信される画像パターン応答の全てが画像パターンと一致する旨の通知を後述するパターン照合部３６から受けた場合に、仮想視点画面１０３を表示部４へ表示させる。
【００５３】
その他、表示制御部３２は、表示部４に現在表示させている画面の種別を示す情報を後述するパターン指定部３５へ出力する処理を行う。例えば、バック画面１０１を表示部４に表示させている場合には、表示部４に現在表示させている画面がバック画面１０１であることを示す情報をパターン指定部３５へ出力する。
【００５４】
Ｉ／Ｆ部３３は、例えばＣＡＮ通信用のインタフェースであり、通信線６を介して車載カメラ２ａ〜２ｄおよび各種のＥＣＵとの間で各種のデータを送受信する。
【００５５】
例えば、Ｉ／Ｆ部３３は、車両１００の現在のシフトレバーのポジションを示すシフト情報をシフトＥＣＵ７から通信線６を介して受信し、車両１００の現在の車速を示す車速情報を車速ＥＣＵ８から通信線６を介して受信する。そして、Ｉ／Ｆ部３３は、受信したシフト情報および車速情報を画面切替判定部３４へ渡す。なお、シフトＥＣＵ７および車速ＥＣＵ８は、Ｉ／Ｆ部７１，８１を備えており、かかるＩ／Ｆ部７１，８１および通信線６を介して画像処理装置３と各種の情報を送受信する。
【００５６】
また、Ｉ／Ｆ部３３は、車載カメラ２ａ〜２ｄから通信線６を介して画像パターン応答を受信し、受信した画像パターン応答をパターン照合部３６へ渡す。
【００５７】
画面切替判定部３４は、表示切替条件の成否を判定する。表示部４に表示される画面は、例えば、画面切替スイッチ９へのユーザの入力操作の他、車両１００のシフトレバーのポジションや車速などに応じて選択される。なお、画面切替スイッチ９への入力操作は、例えば、表示部４上へのタッチ操作であってもよい。
【００５８】
例えば、画面切替判定部３４は、仮想視点画面１０３へ切り替える入力操作が画面切替スイッチ９に対してなされた場合に、仮想視点画面１０３への表示切替条件が成立したと判定する。また、画面切替判定部３４は、シフトＥＣＵ７から取得されるシフト情報が、例えば「Ｄ」（ドライブ）から「Ｒ」（リア）に変化した場合、あるいは、車速ＥＣＵ８から取得される車速情報が、例えば１０ｋｍ／ｈに変化した場合にも、仮想視点画面１０３への表示切替条件が成立したと判定する。
【００５９】
画面切替判定部３４は、表示切替条件が成立したと判定した場合、切り替え後の表示画面の種別を示す情報を表示制御部３２およびパターン指定部３５へ出力する。
【００６０】
パターン指定部３５は、車載カメラ２ａ〜２ｄに対して画像パターンの指定を行う。例えば、パターン指定部３５は、現在の表示画面がバック画面１０１である旨の情報が表示制御部３２から出力されている場合、画像パターンＰ１（図３参照）をＩ／Ｆ部３３および通信線６を介して車載カメラ２ａ〜２ｄへ送信する。
【００６１】
また、パターン指定部３５は、切り替え後の表示画面の種別を示す情報を画面切替判定部３４から取得した場合に、画像パターンの切り替えの要否を判定する処理を行う。
【００６２】
例えば、パターン指定部３５は、現在の表示画面がバック画面１０１である旨の情報が表示制御部３２から出力されている場合において、切り替え後の表示画面が仮想視点画面１０３である旨の情報を画面切替判定部３４から取得した場合、画像パターンの切り替え（Ｐ１→Ｐ２）が必要であると判定する。
【００６３】
パターン指定部３５は、画像パターンの切り替えが必要であると判定すると、切り替え後の画像パターンをＩ／Ｆ部３３および通信線６を介して車載カメラ２ａ〜２ｄへ送信する。また、パターン指定部３５は、切り替え後の画像パターンをパターン照合部３６にも出力する。
【００６４】
一方、パターン指定部３５は、画像パターンの切り替えが不要であると判定すると、その旨をパターン照合部３６へ出力する。
【００６５】
上述したように、画像処理装置３は、表示部４に表示させる画面と画像パターンとの対応関係を示すテーブルを記憶しており、パターン指定部３５は、かかるテーブルを用いて上記判定を行う。
【００６６】
パターン照合部３６は、車載カメラ２ａ〜２ｄからＩ／Ｆ部３３経由で取得される画像パターン応答と、パターン指定部３５から出力される画像パターンとを照合し、車載カメラ２ａ〜２ｄから送信される全ての画像パターン応答が画像パターンと一致するか否かを判定する。
【００６７】
パターン照合部３６は、車載カメラ２ａ〜２ｄから送信される全ての画像パターン応答の全てが画像パターンと一致すると判定した場合、表示制御部３２に対して仮想視点画面１０３の表示部４への表示を指示する。
【００６８】
一方、パターン照合部３６は、上記判定処理を所定回数繰り返しても、何れかの車載カメラ２ａ〜２ｄからの画像パターン応答が画像パターンと一致しない場合には、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄを特定する情報とともに、代替仮想視点画面の表示部４への表示を指示する。
【００６９】
パターン照合部３６は、画像パターンの切り替えが不要である旨の情報をパターン指定部３５から取得した場合には、上記判定処理を行うことなく、表示制御部３２に対して仮想視点画面１０３の表示部４への表示を指示する。
【００７０】
次に、本実施形態に係る画像処理装置３の具体的動作について図８を参照して説明する。図８は、本実施形態に係る画像処理装置３が実行する処理の処理手順を示すフローチャートである。なお、図８には、表示部４の表示画面が仮想視点画面１０３または代替仮想視点画面に切り替わるまでの処理手順を示している。
【００７１】
図８に示すように、画像処理装置３は、表示切替条件が成立するか否かを判定し（ステップＳ１０１）、表示切替条件が成立したと判定すると（ステップＳ１０１，Ｙｅｓ）、表示部４に準備画面１０２を表示させる（ステップＳ１０２）。なお、表示切替条件が成立しない場合（ステップＳ１０１，Ｎｏ）、画像処理装置３は、表示切替条件が成立するまでステップＳ１０１の判定処理を繰り返す。
【００７２】
つづいて、画像処理装置３は、画像パターンの切り替えの要否を判定し（ステップＳ１０３）、画像パターンの切り替えが必要と判定すると（ステップＳ１０３，Ｙｅｓ）、切り替え後の画像パターンを車載カメラ２ａ〜２ｄへ送信する（ステップＳ１０４）。
【００７３】
つづいて、画像処理装置３は、車載カメラ２ａ〜２ｄから送信される全ての画像パターン応答がステップＳ１０４で送信された画像パターンと一致するか否かを判定する（ステップＳ１０５）。そして、全ての画像パターン応答が画像パターンと一致すると判定すると（ステップＳ１０５，Ｙｅｓ）、準備画面１０２に代えて仮想視点画面１０３を表示部４に表示させて（ステップＳ１０６）、処理を終える。
【００７４】
一方、ステップＳ１０３において、画像パターンの切り替えが不要と判定した場合（ステップＳ１０３，Ｎｏ）、画像処理装置３は、仮想視点画面１０３を表示部４に表示させて（ステップＳ１０６）、処理を終える。
【００７５】
このように、画像処理装置３は、仮想視点画面１０３への表示切替条件が成立した場合において（ステップＳ１０１，Ｙｅｓ）、画像パターンの切り替えが不要と判定した場合、すなわち、表示切替条件成立後の画像パターンが、表示切替条件が成立する直前の画像パターンと同一である場合には、ステップＳ１０５の判定処理を行うことなく、仮想視点画面１０３を表示部４に表示させることとした。これにより、準備画面１０２の表示時間、すなわち、仮想視点画面１０３が表示されるまでの待ち時間を短縮することができる。
【００７６】
また、ステップＳ１０５において、何れかの車載カメラ２ａ〜２ｄからの画像パターン応答が画像パターンと一致しない場合（ステップＳ１０５，Ｎｏ）、画像処理装置３は、ステップＳ１０５の判定処理をＮ回（Ｎは、０より大きい整数）繰り返したか否かを判定する（ステップＳ１０７）。この判定処理において、ステップＳ１０５の判定処理をＮ回繰り返していない場合には（ステップＳ１０７，Ｎｏ）、処理をステップＳ１０５へ戻す。また、ステップＳ１０５の判定処理をＮ回繰り返したと判定した場合には（ステップＳ１０７，Ｙｅｓ）、画像処理装置３は、準備画面１０２に代えて代替仮想視点画面を表示部４に表示させて（ステップＳ１０８）、処理を終える。
【００７７】
ここで、代替仮想視点画面について図９を参照して説明する。図９は、代替仮想視点画面の一例を示す図である。
【００７８】
図９に示すように、代替仮想視点画面１０３Ｘは、仮想視点画面１０３（図６参照）における合成画像１１３に代えて代替合成画像１１３Ｘを含む画面である。表示制御部３２は、パターン照合部３６から代替仮想視点画面の表示部４への表示を指示された場合に、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄ（ここでは、左方カメラ２ｄ）から入力される入力画像に代えて所定の代替画像１１７を用いた代替合成画像１１３Ｘを生成して表示部４に表示させる。
【００７９】
画像処理装置３は、各車載カメラ２ａ〜２ｄに対応する代替画像１１７を記憶部（図示せず）に記憶しており、表示制御部３２は、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄに対応する代替画像１１７を記憶部から取り出して代替合成画像１１３Ｘを生成する。
【００８０】
このように、本実施形態に係る表示制御部３２は、何れかの車載カメラ２ａ〜２ｄから取得される画像パターン応答が画像パターンと一致しない場合には、画像パターン応答が画像パターンと一致しない車載カメラ２ａ〜２ｄから入力される入力画像に代えて、所定の代替画像１１７を用いた代替合成画像１１３Ｘを生成して表示部４に表示させる。これにより、何れかの車載カメラ２ａ〜２ｄから指定と異なる入力画像が入力されている場合であっても、意図しない合成画像が表示されることを防止しつつ、ユーザに対して合成画像を提示することができる。
【００８１】
代替画像１１７としては、黒色の単色画像を用いることができる。このように、単色画像を用いることで、仮想視点画像１１５Ｘのうち車載カメラ２ａ〜２ｄからの入力画像を用いて生成された部分と、代替画像１１７を用いて生成された部分との区別が容易となる。特に、本実施形態のように、代替画像１１７として黒色の単色画像を用いることにより、両者を明確に区別することができる。なお、代替画像１１７は、黒色以外の単色画像であってもよい。また、代替画像１１７は、必ずしも単色画像であることを要しない。
【００８２】
ところで、代替合成画像１１３Ｘには、代替画像１１７と入力画像との合成部分が含まれる。例えば、図９に示す代替合成画像１１３Ｘには、前方カメラ２ａからの入力画像と代替画像１１７との合成部分と、後方カメラ２ｂからの入力画像と代替画像１１７との合成部分とが含まれる。
【００８３】
表示制御部３２は、代替画像１１７と入力画像との合成部分を代替画像１１７に置き換えるようにしてもよい。これにより、仮想視点画像１１５Ｘのうち、車載カメラ２ａ〜２ｄからの入力画像のみを用いて生成される仮想視点画像部分と、代替画像１１７を用いて生成された部分との境界線を明確化することができる。
【００８４】
なお、表示制御部３２は、車載カメラ２ａ〜２ｄから入力される全入力画像を用いて仮想視点画像１１５Ｘを生成したうえで、仮想視点画像１１５Ｘの一部を代替画像１１７と置き換えることによって代替合成画像１１３Ｘを生成するようにしてもよい。
【００８５】
上述してきたように、本実施形態に係る画像処理装置３は、表示制御部３２と、パターン指定部３５と、パターン照合部３６とを備える。表示制御部３２は、複数の車載カメラ２ａ〜２ｄから入力される入力画像に基づき、車両周囲を仮想視点から見た合成画像１１３を生成して表示部４に表示させる。パターン指定部３５は、車載カメラ２ａ〜２ｄに対し、複数の画像パターンの中から入力画像として出力すべき画像パターンを指定する。パターン照合部３６は、車載カメラ２ａ〜２ｄからそれぞれ送信される画像パターン応答の全てが画像パターンと一致するか否かを判定する。表示制御部３２は、合成画像１１３への表示切替条件が成立した場合に、合成画像１１３に先立ち所定の準備画像１１２を表示部４に表示させ、パターン照合部３６によって画像パターン応答の全てが画像パターンと一致すると判定された場合に、準備画像１１２に代えて合成画像１１３を表示部４に表示させる。
【００８６】
したがって、本実施形態に係る画像処理装置３によれば、意図しない合成画像が表示されることを防止することができる。
【００８７】
ところで、上述した実施形態では、準備画像１１２として、単色画像を用いる場合の例について説明したが、単色画像に代えて、仮想視点画像１１５のレイアウト画像を準備画像として用いることとしてもよい。かかる点について図１０を参照して説明する。図１０は、レイアウト画像の一例を示す図である。
【００８８】
図１０に示すように、レイアウト画像１０４は、バック画像１１１の表示領域を示す枠画像１１８と、合成画像１１３の表示領域を示す枠画像１１９と、車両画像１１６とを含み、バック画像１１１および仮想視点画像１１５を含まない画像である。
【００８９】
このように、表示制御部３２は、表示部４の表示領域における合成画像１１３の表示位置を示すレイアウト画像１０４を準備画像として表示部４に表示させてもよい。これにより、次に切り替わる画面をユーザにいち早く認識させることができる。
【００９０】
以上、本願に係る画像処理装置および画像処理方法の実施例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【００９１】
１  画像処理システム
２  撮像装置
２ａ〜２ｄ  車載カメラ
３  画像処理装置
４  表示部
３２  表示制御部
３５  パターン指定部
３６  パターン照合部
１０１  バック画面
１０２  準備画面
１０３  仮想視点画面
１１１  バック画像
１１２  準備画像
１１３  合成画像
１１５  仮想視点画像
【図１】
0006261542.tif 000002
【図２】
0006261542.tif 000003
【図３】
0006261542.tif 000004
【図４】
0006261542.tif 000005
【図５】
0006261542.tif 000006
【図６】
0006261542.tif 000007
【図７】
0006261542.tif 000008
【図８】
0006261542.tif 000009
【図９】
0006261542.tif 000010
【図１０】
0006261542.tif 000011