(57)【要約】【課題】撮像画像から変換されたビュー用画像において物体を強調するためのマーカーを適切に表示することができる。【解決手段】画像処理装置２０は、カメラ１０によって撮像された第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行い、第１画像を、該第１画像および第２画像とは異なる第３画像に変換する第２変換処理を行い、第２画像に撮像されている所定の物体の像を認識し、像が表されている領域を囲む多角形の頂点を抽出し、第２画像における、頂点それぞれの座標を第３画像において対応する座標にそれぞれ変換する第３変換処理を行い、第３変換処理で変換された座標に基づいて第３画像にマーカーを重畳するコントローラ２２を備える。【選択図】図２
2018200579.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮像された第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行い、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行い、前記第２画像に含まれる物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行い、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳するコントローラ
を備える画像処理装置。
【請求項２】
前記コントローラは、前記第３画像に含まれる表示範囲を出力するように構成され、
前記表示範囲には、該第１画像に含まれる領域に対応する領域の一部が含まれず、
前記コントローラは、前記第３変換処理で変換された各座標に位置する点を頂点とする多角形の、前記表示範囲に含まれる部分を、前記表示範囲に対して前記マーカーとして重畳することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記コントローラは、前記第２画像における前記頂点の座標について前記第２変換処理の逆変換処理を行い、さらに前記逆変換処理された座標について前記第１変換処理を行うことによって、前記第３変換処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
第１画像を撮像するカメラと、
前記第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行い、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行い、前記第２画像に含まれる所定の物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行い、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳するコントローラを含む画像処理装置と、
を備える画像処理システム。
【請求項５】
第１画像を撮像する撮像素子と、
前記第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行い、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行い、前記第２画像に含まれる所定の物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行い、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳するコントローラと、
を備えるカメラ装置。
【請求項６】
第１画像を撮像するカメラと、前記第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行い、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行い、前記第２画像に含まれる所定の物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行い、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳するコントローラと、を有する画像処理装置を含む画像処理システム、
を備える移動体。
【請求項７】
カメラによって撮像された第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行い、
前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行い、
前記第２画像に含まれる物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行い、
前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳する、
画像処理方法。
【請求項８】
カメラによって撮像された第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行い、
前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行い、
前記第２画像に含まれる物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行い、
前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳する、
ことを画像処理装置に実行させるための画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理システム、カメラ装置、移動体、画像処理方法、および画像処理用プログラムに関する。
【背景技術】
【０００２】
従来、カメラの撮像範囲内に存在する物体を認識し、カメラが撮像した画像上において、該物体の像を示す領域を強調するためのマーカーを表示する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−９８９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、正確に物体を認識するために、カメラによって撮像された撮像画像を認識処理に適する認識用画像に変換することがある。カメラによって撮像された、歪みを有する撮像画像を、歪みの少ない、利用者の参照に適したビュー用画像に変換することがある。このような場合に、認識用画像によって認識された物体を強調するためのマーカーをビュー用画像に適切に重畳することが望まれている。
【０００５】
本開示の目的は、撮像画像から変換されたビュー用画像において物体を強調するためのマーカーを適切に表示する画像処理装置、画像処理システム、カメラ装置、移動体、画像処理方法、および画像処理用プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本開示の画像処理装置は、コントローラを備える。前記コントローラは、カメラによって撮像された第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行う。前記コントローラは、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行う。前記コントローラは、前記第２画像に含まれる所定の物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出する。前記コントローラは、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行う。前記コントローラは、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳する。
【０００７】
本開示の画像処理システムは、第１画像を撮像するカメラと、画像処理装置と、を備える。前記画像処理装置は、コントローラを備える。前記コントローラは、前記第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行う。前記コントローラは、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行う。前記コントローラは、前記第２画像に含まれる所定の物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出する。前記コントローラは、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行う。前記コントローラは、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳する。
【０００８】
本開示のカメラ装置は、第１画像を撮像する撮像素子と、コントローラと、を備える。前記コントローラは、前記第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行う。前記コントローラは、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行う。前記コントローラは、前記第２画像に含まれる所定の物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出する。前記コントローラは、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行う。前記コントローラは、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳する。
【０００９】
本開示の移動体は、画像処理システムを備える。前記画像処理システムは、第１画像を撮像するカメラと、画像処理装置とを含む。前記画像処理装置は、コントローラを有する。前記第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行う。前記コントローラは、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行う。前記コントローラは、前記第２画像に含まれる所定の物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出する。前記コントローラは、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行う。前記コントローラは、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳する。
【００１０】
本開示の画像処理方法は、カメラによって撮像された第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を行う。前記画像処理方法は、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を行う。前記画像処理方法は、前記第２画像に含まれる物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を行う。前記画像処理方法は、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを重畳する。
【００１１】
本開示の画像処理用プログラムは、カメラによって撮像された第１画像を該第１画像とは異なる第２画像に変換する第１変換処理を画像処理装置に実行させる。前記画像処理用プログラムは、前記第１画像を、該第１画像および前記第２画像とは異なる第３画像に変換する第２変換処理を画像処理装置に実行させる。前記画像処理用プログラムは、前記第２画像に含まれる物体の像を認識し、前記物体の像が表されている領域を囲む多角形の頂点を抽出し、前記第２画像における、前記頂点それぞれの座標を前記第３画像において対応する座標にそれぞれ変換する第３変換処理を画像処理装置に実行させる。前記画像処理用プログラムは、前記第３変換処理で変換された座標に基づいて前記第３画像上の前記物体の像に係るマーカーを画像処理装置に重畳させる。
【発明の効果】
【００１２】
本開示の一実施形態によれば、撮像画像から変換されたビュー用画像において物体を強調するためのマーカーを適切に表示することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施形態に係る画像処理システムを搭載した移動体を示す図である。
【図２】図２は、本実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
【図３】図３は、図２に示す画像処理装置に記憶される画像の例であり、図３（ａ）は撮像画像の例であり、図３（ｂ）は認識用画像の例であり、図３（ｃ）はビュー用画像の例である。
【図４】図４は、第１変換処理および第２変換処理の対象となる撮像画像の模式図であり、
【図５】図５は第１変換処理により変換された認識用画像の模式図であり、
【図６】図６は第２変換処理により変換されたビュー用画像の模式図である。
【図７】図７は、図６に示すビュー用画像の一部を拡大した模式図である。
【図８】図８は、コントローラが実行するビュー用画像生成処理を示すフローチャートの一例である。
【図９】図９は、図８に示すビュー用マーカーの重畳処理の詳細を示すフローチャートの一例である。
【図１０】図１０は、図９に示す、四角形の、表示範囲内に含まれる部分の重畳処理の詳細を示すフローチャートの一例である。
【図１１】図１１は、本実施形態に係る画像処理システムの他の例の概略構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る実施形態について、図面を参照しながら詳細に説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
【００１５】
＜＜画像処理システムの構成＞＞
図１に示すように、本実施形態に係る画像処理システム１は、移動体２に搭載される。図２に示すように、画像処理システム１は、カメラ１０、画像処理装置２０、およびディスプレイ３０を含んで構成される。カメラ１０、画像処理装置２０、およびディスプレイ３０は、通信ネットワーク４０を介して、互いに情報を送受信する。通信ネットワーク４０は、例えば無線ネットワーク、有線ネットワーク、またはＣＡＮ（Controller Area Network）等を含んでよい。
【００１６】
本実施形態における「移動体」には、自動車、鉄道車両、産業車両、および生活車両等の車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、およびモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、および電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、および水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。画像処理システム１は、車両に限られず、船舶、航空機、潜水艇に用いてよい。
【００１７】
カメラ１０は、該カメラ１０に入射した光を結像させることによって、図３（ａ）に示すような撮像画像（第１画像）を撮像する。カメラ１０は、例えば、移動体２の後方の被写体を撮像するように該移動体２に取り付けられたリアカメラである。カメラ１０は、リアカメラに限定されず、例えば、移動体２の前方または側方の被写体を撮像するように該移動体２に取り付けられたカメラでもよい。
【００１８】
図２に示したように、カメラ１０は、撮像光学系１１、撮像素子１２、通信部１３を含んで構成される。
【００１９】
撮像光学系１１は、１つ以上のレンズによって構成され、被写体から入射した光を撮像素子１２の撮像面において被写体像として結像させる。レンズは、広角レンズを採用しうる。レンズは、魚眼レンズを用いてよい。撮像光学系１１は、移動体に対する法規制により定められた要件を満たすような範囲を撮像する。そのような、法規制には、米国において自動車に対して定められているCameron Gulbransen Kid's Transportation Safety Act of 2007（ＫＴ法）が含まれる。
【００２０】
撮像素子１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等で構成される。撮像素子１２は、撮像光学系１１によって結像された被写体像を光電変換して撮像画像を示す撮像画像データを生成する。
【００２１】
通信部１３は、撮像素子１２が生成した撮像画像を示す撮像画像データを、通信ネットワーク４０を介して画像処理装置２０に送信する。
【００２２】
画像処理装置２０は、カメラ１０が撮像した撮像画像に基づいて画像処理を行う。画像処理装置２０は、通信部２１と、コントローラ２２と、メモリ２３とを備える。
【００２３】
通信部２１は、カメラ１０から送信された撮像画像データを受信する。
【００２４】
コントローラ２２は、例えばプロセッサとして構成される。コントローラ２２は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ２２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。コントローラ２２は、記憶部を備え、記憶部に各種情報、または画像処理システム１の各構成部を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。記憶部は、コントローラ２２のワークメモリとして機能してよい。
【００２５】
メモリ２３は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）など、任意の記憶デバイスを含んで構成される。メモリ２３は、画像処理装置２０を動作させるためのプログラム等を記憶するとともに、ワークメモリとしても機能する。メモリ２３は、後述する第１テーブルおよび第２テーブルを記憶する。また、メモリ２３は、撮像画像、認識用画像（第２画像）、およびビュー用画像（第３画像）をそれぞれ示す画像データを記憶する。認識用画像は、コントローラ２２が、他の車両、人物等の所定の物体の像を認識する物体認識処理を行う対象となる画像である。ビュー用画像は、例えばＫＴ法のような法規制で規定された要件を満たす画像であって、歪みが少なく利用者の参照に適した画像である。
【００２６】
ディスプレイ３０は、移動体２の内部における運転席の近傍、具体的には、図１に示したように運転者が運転席に座った場合に視認することができる場所に取り付けられる。ディスプレイ３０は、例えば、移動体２のコクピットモジュール（CPM; CockPit Module）、ルーフ、Ａピラー、ウィンドシールド、ステアリングホイール、および左右のフロントドア等に取り付けられてよい。ディスプレイ３０は、例えば、インストルメントパネルの上部などに取り付けられてよい。ディスプレイ３０は、例えば、液晶ディスプレイである。ディスプレイ３０は、液晶ディスプレイに限らず、有機ＥＬ（electroluminescence）ディスプレイ、無機ＥＬディスプレイ、ＭＥＭＳ（Micro-Electro Mechanical System）ディスプレイ等であってよい。
【００２７】
ここで、画像処理システム１がビュー用画像を生成するための各構成について詳細に説明する。
【００２８】
＜第１変換処理＞
コントローラ２２は、通信部２１が受信した撮像画像データが示す、図３（ａ）のような撮像画像を、図３（ｂ）のような認識用画像に変換する第１変換処理を行う。
【００２９】
図４から図６に示すように、画像を複数の領域に区画した模式図を用いて、画像を変換する処理について説明する。図４から図６に示す例では、説明を簡便にするために、各画像は合計４８の領域を有するが、現実には、図４から図６に示す例に比べて遥かに小さい間隔で区画された多数の領域を有する。例えば、撮像画像の１つの領域は１つの画素に対応してよい。例えば、撮像画像の１つの領域は複数の画素を含む画素群に対応してよい。例えば、撮像画像の１つの領域は１または複数の副画素に対応してよい。
【００３０】
コントローラ２２は、第１変換処理において、撮像画像における各位置の画素を、第１テーブルでそれぞれ対応付けられている、認識用画像における各位置の画素とする。第１テーブルは、カメラ１０の設計に応じて、該カメラ１０によって撮像された歪みを伴う撮像画像が、物体認識処理の精度が高い、歪みが低減された認識用画像に変換されるように、適宜、設計されている。第１変換処理により、例えば、図４に示す領域Ａに位置する画像は、図５に示した認識用画像における領域Ａ’に示す画像に変形される。また、図４に示した撮像画像における領域Ｂに位置する画像は、図５に示す認識用画像における領域Ｂ’に示す画像に変形される。
【００３１】
また、図５に示した認識用画像の領域Ｃ’に対応する位置は撮像画像上に存在しない。この場合、コントローラ２２は、領域Ｃ’の位置の画像を、例えば、画素値０の画像とする。
【００３２】
上述においては、認識用画像の領域Ａ’、Ｂ’、およびＣ’にそれぞれ位置する画像を例として説明したが、他の領域についても同様である。
【００３３】
＜物体認識処理＞
コントローラ２２は、認識用画像について物体認識処理を施すことによって、認識用画像上における、他の車両、人物等の所定の物体の像を認識する。例えば、コントローラ２２は、ディープラーニングを用いて物体認識処理を行ってよい。コントローラ２２は、認識用画像から画像特徴を抽出し、該画像特徴についてパターンマッチングを行うことによって物体認識処理を行ってよい。
【００３４】
コントローラ２２は、図５に示す認識用画像上で、物体認識処理によって認識された物体の像が表されている領域を囲むマーカーＭ１を構成する四角形の頂点Ｐ１ｋ（ｋ＝１〜４）の座標を算出する。例えば、コントローラ２２は、例えば、面積が最小となり、かつ物体の像の全体を囲むことのできる四角形を決定する。そして、コントローラ２２は、該四角形の４つの頂点Ｐ１ｋの座標を算出する。コントローラ２２は、物体認識処理によって複数の物体の像を認識した場合、他の物体の像が表されている領域を囲むマーカーＭ２を構成する四角形の頂点Ｐ２ｋの座標も算出する。同様にして、コントローラ２２は、他の物体の像が表されている領域を囲むマーカーＭｎを構成する四角形の頂点Ｐｎｋの座標も算出する。ここで、ｎ＝１，２，・・・，Ｎであり、Ｎは物体認識処理において認識された物体の数である。
【００３５】
＜第２変換処理＞
コントローラ２２は、図３（ａ）に示したような撮像画像を、図３（ｃ）に示すようなビュー用画像に変換する第２変換処理を行う。図４および図６に示すように、撮像画像の一部の領域に対応するビュー用画像の領域は、該ビュー用画像の表示範囲（図６の破線内）に含まれない。
【００３６】
第２変換処理において、コントローラ２２は、撮像画像における各位置の画素を、第２テーブルでそれぞれ対応付けられている、ビュー用画像における各位置の画素とする。第２テーブルは第１テーブルと異なるテーブルである。第２テーブルは、カメラ１０の設計に応じて撮像される撮像画像から、例えばＫＴ法のような法規制で規定された要件を満たすように、撮像画像に含まれる歪みが補正されたビュー用画像に変換されるように、適宜、設計される。ＫＴ法で規定された要件は、障害物表示要件、表示サイズ要件等である。
【００３７】
第２変換処理により、例えば、図４に示された領域Ａに位置する画像は、図６に示す認識用画像における領域Ａ”に位置する画像に変形される。
【００３８】
図４に示す撮像画像における領域Ｂに位置する画像は、ビュー用画像において表示範囲（図６の破線内）に含まれない領域Ｂ”に対応する。このような場合、撮像画像の領域Ｂについての第２変換処理は行われず、ビュー用画像の領域Ｂ”には画像が形成されない。
【００３９】
＜第３変換処理およびビュー用マーカーの重畳＞
コントローラ２２は、ビュー用画像上での物体の像を表す領域を囲む四角形のマーカー（ビュー用マーカー）Ｍｎ’を、該ビュー用画像に重畳する。このため、コントローラ２２は、認識用画像から算出した、四角形の各頂点Ｐｎｋの座標に対して第３変換処理を施す。そして、コントローラ２２は、第３変換処理により変換された各頂点Ｐｎｋ’の座標に基づいて生成されたビュー用マーカーＭｎ’をビュー用画像に重畳する。
【００４０】
具体的には、コントローラ２２は、認識用画像における四角形の４つの頂点Ｐ１ｋの座標を、第１テーブルを用いてそれぞれ逆変換する逆変換処理を行う。すなわち、認識用画像におけるマーカーＭ１の４つの頂点Ｐ１ｋにそれぞれ対応する、撮像画像上の４つの頂点の座標を算出する。さらに、コントローラ２２は、第１テーブルを用いて逆変換処理された４つの座標を、第２テーブルを用いて変換する第２変換処理を行う。これにより、認識用画像におけるマーカーＭ１の４つの頂点Ｐ１ｋの座標それぞれに対応する、ビュー用画像上での４つの頂点Ｐ１ｋ’の座標が算出される。同様にして、コントローラ２２は、第３変換処理により、認識用画像における四角形の４つの頂点Ｐ２ｋの座標に基づいてビュー用画像上での４つの頂点Ｐ２ｋ’の座標を算出する。
【００４１】
例えば、図６に示す頂点Ｐ１ｋ’のように、第３変換処理後の座標に位置する頂点Ｐ１ｋ’がいずれも表示範囲内にある場合、コントローラ２２は、４つの頂点Ｐ１ｋ’で形成される四角形をビュー用マーカーＭ１’としてビュー用画像に重畳する。
【００４２】
既に説明したように、ビュー用画像の表示範囲には、撮像画像の一部の領域に対応する領域が含まれない（図４の領域Ｂと図６の領域Ｂ”とを参照）。このため、頂点Ｐ２１’、Ｐ２４’のように、第３変換処理された４つの頂点のうちいくつかの頂点がビュー用画像の表示範囲に含まれないことがある。この場合、コントローラ２２は、４つの頂点Ｐ２ｋ’で形成される四角形のうち表示範囲に含まれる部分をビュー用マーカーＭ２’としてビュー用画像に重畳する。
【００４３】
具体的には、コントローラ２２は、図７に示すように、４つの頂点Ｐ２ｋ’のうち、表示範囲内に含まれる頂点Ｐ２２’と頂点Ｐ２３’とを端点とする第１の線分Ｌ１を重畳する。そして、コントローラ２２は、頂点Ｐ２２’と、該頂点Ｐ２２’に隣接する、表示範囲に含まれない頂点Ｐ２１’とを端点とする線分の、第１の線分Ｌ１に対する角度θ１を算出する。さらに、コントローラ２２は、頂点Ｐ２２’から、第１の線分Ｌ１に対して角度θ１となる方向に第２の線分Ｌ２を重畳する。第２の線分Ｌ２は、第１の線分Ｌ１に対して角度θ１となる方向に延びた線の、表示範囲の端部と交差する点Ｑ１を端点とする線分である。
【００４４】
同様にして、コントローラ２２は、頂点Ｐ２３’と、該頂点Ｐ２３’に隣接する、表示範囲に含まれない頂点Ｐ２４’とを端点とする第３の線分Ｌ３の、第１の線分Ｌ１に対する角度θ２を算出する。さらに、コントローラ２２は、頂点Ｐ２３’から、第１の線分Ｌ１に対して角度θ２となる方向に第３の線分Ｌ３を重畳する。第３の線分Ｌ３は、第１の線分Ｌ１に対して角度θ２となる方向に延びた線の、表示範囲の端部と交差する点Ｑ２を端点とする線分である。
【００４５】
また、コントローラ２２は、第３変換処理が行われた座標に係る頂点Ｐ２ｋ’のうち１つまたは３つが表示範囲外にある場合も同様にして、四角形のうち表示範囲に含まれる部分をビュー用画像に重畳する処理を行う。
【００４６】
コントローラ２２は、上述のように、四角形または四角形の一部をビュー用画像に重畳すると、四角形または四角形の一部が重畳されたビュー用画像を示す画像データをディスプレイ３０に出力する。
【００４７】
また、コントローラ２２は、ビュー用画像の表示範囲外に、第３変換処理後の全ての頂点Ｐｎｋ’がある場合、該頂点Ｐｎｋ’で形成される四角形をビュー用画像に重畳しない。この場合、四角形および四角形の一部のいずれも重畳されていないビュー用画像を示す画像データをディスプレイ３０に出力する。
【００４８】
ディスプレイ３０は、画像処理装置２０から受信した画像データが示すビュー用画像を表示する。
【００４９】
＜＜画像処理装置の処理＞＞
続いて、本実施形態の画像処理装置２０のコントローラ２２が実行するビュー用画像生成処理について、図８を参照して説明する。コントローラ２２は、カメラ１０およびディスプレイ３０が起動されると、ビュー用画像生成処理を開始する。また、コントローラ２２は、カメラ１０およびディスプレイ３０が起動され、移動体２の有するＥＣＵ（Engine Control Unit）により移動体２の制御が開始されたときに、ビュー用画像生成処理を開始してよい。
【００５０】
まず、コントローラ２２は、カメラ１０が撮像した撮像画像を受信する（ステップＳ１）。
【００５１】
ステップＳ１で撮像画像が取得されると、コントローラ２２は、第１テーブルを用いて撮像画像を認識用画像に変換する第１変換処理を行う（ステップＳ２）。
【００５２】
ステップＳ２で第１変換処理が行われると、コントローラ２２は、認識用画像に対して物体認識処理を行う（ステップＳ３）。
【００５３】
ステップＳ３で物体認識処理が行われると、コントローラ２２は、認識用画像上で、物体認識処理によって認識された物体の像が表されている領域を囲む四角形のマーカーＭｎの頂点Ｐｎｋの座標を算出する（ステップＳ４）。
【００５４】
一方、コントローラ２２は、第２テーブルを用いて、ステップＳ１で取得した撮像画像をビュー用画像に変換する第２変換処理を行う（ステップＳ５）。
【００５５】
ステップＳ４で頂点Ｐｎｋの座標が算出され、ステップＳ５で第２変換処理が行われると、コントローラ２２は、認識用画像上の頂点Ｐｎｋの座標をビュー用画像上の対応する座標に変換する第３変換処理を行う（ステップＳ６）。
【００５６】
ステップＳ６で第３変換処理が行われると、コントローラ２２は、第３変換処理された４つの座標にある頂点Ｐｎｋ’に基づいてビュー用マーカーＭｎ’をビュー用画像に重畳する（ステップＳ７）。
【００５７】
ここで、コントローラ２２がビュー用マーカーＭｎ’をビュー用画像に重畳する処理について、図９を参照して詳細に説明する。
【００５８】
まず、コントローラ２２は、ステップＳ６で第３変換処理された、１つのマーカーについての４つの頂点Ｐｎｋ’が全てビュー用画像の表示範囲内にあるか否かを判定する（ステップＳ７１）。
【００５９】
ステップＳ７１で全ての頂点Ｐｎｋ’がビュー用画像の表示範囲内にある場合、コントローラ２２は、該頂点Ｐｎｋ’によって形成される四角形をビュー用画像に重畳する（ステップＳ７２）。
【００６０】
ステップＳ７１で全ての頂点Ｐｎｋ’がビュー用画像の表示範囲内にあるのではない場合、コントローラ２２は、いずれかの頂点Ｐｎｋ’がビュー用画像の表示範囲外にあり、他の頂点Ｐｎｋ’がビュー用画像の表示範囲内にあるかを判定する（ステップＳ７３）。
【００６１】
ステップＳ７３でいずれかの頂点Ｐｎｋ’がビュー用画像の表示範囲外にあり、他の頂点Ｐｎｋ’がビュー用画像の表示範囲内にある場合、コントローラ２２は、各頂点Ｐｎｋ’で形成される四角形の表示範囲内にある部分をビュー用マーカーＭｎ’としてビュー用画像に重畳する（ステップＳ７４）。
【００６２】
ここで、ステップＳ７４において、コントローラ２２が、ビュー用マーカーＭｎ’をビュー用画像に重畳する処理の一例について、図１０を参照して説明する。
【００６３】
コントローラ２２は、４つの頂点Ｐｎｋ’のうち、表示範囲内に含まれる頂点Ｐｎ２’と頂点Ｐｎ３’とを端点とする第１の線分Ｌ１を重畳する（ステップＳ７４１）。
【００６４】
ステップＳ７４１で第１の線分Ｌ１が重畳されると、コントローラ２２は、頂点Ｐｎ２’と、該頂点Ｐｎ２’に隣接する、表示範囲に含まれない頂点Ｐｎ１’とを端点とする線分の、第１の線分Ｌ１に対する第１の角度θ１を算出する（ステップＳ７４２）。
【００６５】
ステップＳ７４２で第１の角度θ１が算出されると、コントローラ２２は、頂点Ｐ２２’から、第１の線分Ｌ１に対して角度θ１となる方向に、表示範囲の端部と交差する点Ｑ１までの第２の線分Ｌ２を重畳する（ステップＳ７４３）。
【００６６】
ステップＳ７４３で第２の線分Ｌ２が重畳されると、コントローラ２２は、頂点Ｐｎ３’と、該頂点Ｐｎ３’に隣接する、表示範囲に含まれない頂点Ｐｎ４’とを端点とする線分の、第１の線分Ｌ１に対する第２の角度θ２を算出する（ステップＳ７４４）。
【００６７】
ステップＳ７４４で第２の角度θ２が算出されると、コントローラ２２は、頂点Ｐ２２’から、第１の線分Ｌ１に対して角度θ２となる方向に、表示範囲の端部と交差する点Ｑ２までの第３の線分Ｌ３を重畳する（ステップＳ７４５）。
【００６８】
ステップＳ７４２〜Ｓ７４５の処理において、コントローラ２２は、ステップＳ７４４およびステップＳ７４５の処理を行った後に、ステップＳ７４２およびステップＳ７４３の処理を行ってよい。また、コントローラ２２は、ステップＳ７４２およびＳ７４４の処理を行った後に、ステップＳ７４３およびＳ７４５の処理を行ってよい。
【００６９】
図９に戻って、ステップＳ７３で全ての頂点Ｐｎｋ’がビュー用画像の表示範囲外にある場合、コントローラ２２は、全てのマーカーＭｎの頂点Ｐｎｋから変換された、全ての頂点Ｐｎｋ’に基づき、重畳の処理が行われたか否かを判定する（ステップＳ７５）。また、ステップＳ７２またはステップＳ７４で四角形または四角形の一部がビュー用マーカーＭｎ’として重畳されると、コントローラ２２は、全てのマーカーＭｎの頂点Ｐｎｋから変換された、全ての頂点Ｐｎｋ’に基づき、重畳の処理が行われたか否かを判定する（ステップＳ７５）。
【００７０】
ステップＳ７５で、全ての頂点Ｐｎｋ’に基づき重畳の処理が行われていなかった場合、コントローラ２２は、まだ処理が行われていない頂点Ｐｎｋ’に基づき、ステップＳ２以降の処理を行う。ステップＳ７５で、全ての頂点Ｐｎｋ’に基づき、重畳の処理が行われていた場合、コントローラ２２は、ビュー用マーカーＭｎ’の重畳処理を終了する。
【００７１】
図８に戻って、ステップＳ７でビュー用マーカーＭｎ’の重畳処理が終了されると、コントローラ２２は、四角形または四角形の一部により構成されるビュー用マーカーＭｎ’が重畳されたビュー用画像をディスプレイ３０に出力する（ステップＳ８）。
【００７２】
ステップＳ８でビュー用マーカーＭｎ’が重畳されたビュー用画像が出力されると、コントローラ２２は、ビュー用画像生成処理を終了する指示が入力されたか否かを判定する（ステップＳ９）。
【００７３】
ステップＳ９でビュー用画像生成処理を終了する指示が入力されていない場合、コントローラ２２は、ステップＳ１に戻って以降の処理を繰り返す。ステップＳ９でビュー用画像生成処理を終了する指示が入力されていた場合、コントローラ２２は、ビュー用画像生成を終了する。
【００７４】
上述した画像処理装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像処理装置２０の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。そのようなコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶しコンピュータに供給することができる。非一次的なコンピュータ可読媒体には、光磁気ディスク、光ディスク、磁気ディスク、磁気テープ、および、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュメモリ等の半導体メモリ等を含むが、これらに限られない。
【００７５】
以上、本実施形態によれば、画像処理装置２０は、認識用画像で物体の像が表されている領域を囲む四角形の頂点Ｐｎｋそれぞれの座標をビュー用画像上の対応する座標に変換する。そして、画像処理装置２０は、変換された座標に基づいてビュー用画像にビュー用マーカーＭｎ’を重畳する。このため、画像処理装置２０は、認識処理に適する認識用画像を用いて正確に物体を認識することができるとともに、表示に適する表示画像に該物体を強調するためのビュー用マーカーＭｎ’を重畳することができる。このとき、画像処理装置２０は、認識用画像に係るマーカーＭｎを示す全ての座標を変換するのではなく、マーカーＭｎを構成する四角形の頂点Ｐｎｋのみを変換するため、ＣＰＵの処理負荷を軽減することができる。
【００７６】
また、本実施形態によれば、撮像画像の表示範囲に含まれる領域の一部がビュー用画像の表示範囲に含まれない場合、変換された４つの座標に位置する頂点Ｐｎｋ’で形成された四角形の、表示範囲に含まれる部分をビュー用マーカーＭｎ’として重畳する。このため、例えば、図６に示すように、物体の像が画像の表示範囲の端部近傍に位置し、第３変換処理された４つの頂点Ｐｎｋ’の一部がビュー用画像の表示範囲外に位置する場合も、該物体を強調するためのビュー用マーカーＭｎ’を重畳することができる。
【００７７】
上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。従って、本開示は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００７８】
例えば、上述の実施形態において、マーカーＭｎは四角形であるとしたが、この限りではない。マーカーＭｎは、三角形、五角形等を含む任意の多角形であってよい。この場合、コントローラ２２は、１つ以上、かつ全ての頂点の数未満の頂点が表示範囲外に含まれる場合、各座標に位置する点を頂点とする多角形の、表示範囲に含まれる部分をビュー用画像に重畳する。
【００７９】
また、上述の実施形態において、コントローラ２２は、第３変換処理において、認証用画像のマーカーＭｎの頂点Ｐｎｋの座標につき第１変換処理の逆変換処理を行い、逆変換処理が行われた座標につき第２変換処理を行うとしたが、これに限られない。例えば、コントローラ２２は、第３変換処理において、第１変換処理の逆変換処理と第２変換処理とを合成した変換処理を行ってよい。
【００８０】
上述の実施形態において、図２に示すように、画像処理システム１においてカメラ１０と画像処理装置２０とを別体として構成したが、これに限られない。例えば、図１１に示すように、画像処理システム１のカメラ１０と画像処理装置２０とを、カメラ装置１００として一体化してよい。この場合、カメラ装置１００は、撮像光学系１１ａ、撮像素子１２ａと、通信部２１ａと、コントローラ２２とａ、メモリ２３ａとを含んで構成する。撮像光学系１１ａ、撮像素子１２ａ、通信部２１ａ、コントローラ２２ａ、およびメモリ２３ａはそれぞれ、図１に示した画像処理システム１が備える撮像光学系１１、撮像素子１２と、通信部２１と、コントローラ２２、およびメモリ２３と同様の機能を有する。
【符号の説明】
【００８１】
１          画像処理システム
２          車両
１０        カメラ
１１        撮像光学系
１２        撮像素子
１３，２１  通信部
２０        画像処理装置
２２        コントローラ
２３        メモリ
３０        ディスプレイ
４０        通信ネットワーク
１００      カメラ装置
【図１】
2018200579.tif 000003
【図２】
2018200579.tif 000004
【図３】
2018200579.tif 000005
【図４】
2018200579.tif 000006
【図５】
2018200579.tif 000007
【図６】
2018200579.tif 000008
【図７】
2018200579.tif 000009
【図８】
2018200579.tif 000010
【図９】
2018200579.tif 000011
【図１０】
2018200579.tif 000012
【図１１】
2018200579.tif 000013