(57)【要約】【課題】駐車スペースの記号の認識において、対象記号の認識速度及び認識精度を向上させることを可能とする技術を提供する。【解決手段】画像処理装置は、対象記号及び前記対象記号の存在領域を前記画像から検出する画像検出部と、所定の記号を表す特定記号の特徴部分と同じ形状の特徴部分を前記対象記号から検出する特徴検出部と、前記特定記号及び前記対象記号の前記存在領域を複数の個別領域に分割する領域分割部と、複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積と、同じ位置の領域における前記特定記号の像の画素の面積との差が予め定められた所定値以下であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する判定部と、を備える。【選択図】図１
2019128607.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
対象記号及び前記対象記号の存在領域を前記画像から検出する画像検出部と、
所定の記号を表す特定記号の特徴部分と同じ形状の特徴部分を前記対象記号から検出する特徴検出部と、
前記特定記号及び前記対象記号の前記存在領域を複数の個別領域に分割する領域分割部と、
複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積と、同じ位置の領域における前記特定記号の像の画素の面積との差が予め定められた所定値以下であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する判定部と、
を備える画像処理装置。
【請求項２】
画像を処理する画像処理装置であって、
対象記号及び前記対象記号の存在領域を前記画像から検出する画像検出部と、
所定の記号の特徴部分を表す特定記号と同じ形状の特徴部分を前記対象記号から検出する特徴検出部と、
前記対象記号の前記存在領域を複数の個別領域に分割する領域分割部と、
複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積と、予め定められた面積との差が予め定められた所定値以下であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する判定部と、
を備える画像処理装置。
【請求項３】
画像を処理する画像処理装置であって、
対象記号及び前記対象記号の存在領域を前記画像から検出する画像検出部と、
所定の記号の特徴部分を表す特定記号と同じ形状の特徴部分を前記対象記号から検出する特徴検出部と、
前記対象記号の前記存在領域を複数の個別領域に分割する領域分割部と、
複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積の大小関係が、予め定められた関係であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する判定部と、
を備える画像処理装置。
【請求項４】
前記判定部は、前記特徴部分が存在する前記個別領域に対して所定位置にある前記個別領域における前記対象記号の像の画素の面積が、他の前記個別領域に対して最小または最大であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する請求項１または請求項３に記載の画像処理装置。
【請求項５】
前記判定部は、前記対象記号の前記存在領域を予め定められた所定角度ずつ回転させ、前記対象記号の前記特徴部分の位置を、前記特定記号の前記特徴部分の位置に接近させる請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記判定部は、前記個別領域を回転させ、前記対象記号の像と前記特定記号の像との画素の面積の差を導出する請求項１に記載の画像処理装置。
【請求項７】
前記判定部は、前記個別領域の縮尺変更を行い、前記対象記号の像と前記特定記号の像との画素の面積の差を導出する請求項１に記載の画像処理装置。
【請求項８】
画像を処理する画像処理方法であって、
対象記号及び前記対象記号の存在領域を前記画像から検出する工程と、
所定の記号を表す特定記号の特徴部分と同じ形状の特徴部分を前記対象記号から検出する工程と、
前記特定記号及び前記対象記号の前記存在領域を複数の個別領域に分割する工程と、
複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積と、同じ位置の領域における前記特定記号の像の画素の面積との差が予め定められた所定値以下であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する工程と、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、車載カメラで撮像された車両周辺の画像を用いて、例えば車両の駐車支援等の運転支援が行われている。このような車両の駐車支援に係る従来技術の一例が特許文献１に開示されている。
【０００３】
特許文献１で開示された従来の駐車スペース認識装置は、自車両が進入可能なスペースの画像に対して、予め用意された基準となるテンプレートを照合することで、当該スペースの用途を示す路面標示の種別を認識する。これにより、ユーザーに適した駐車スペースを認識することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２０５１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術の場合、同様の用途の駐車スペースを利用するたびに、あらためて路面上の記号を認識する必要があった。そして、例えば記号の回転角度がテンプレートに対してずれていたり、記号の形状に個体差があったりした場合に、記号の認識が困難になる。すなわち、駐車スペースの記号の認識に時間がかかり、認識精度が低下することが課題であった。
【０００６】
本発明は、上記の課題に鑑みなされたものであり、駐車スペースの記号の認識において、対象記号の認識速度及び認識精度を向上させることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、画像を処理する画像処理装置であって、対象記号及び前記対象記号の存在領域を前記画像から検出する画像検出部と、所定の記号を表す特定記号の特徴部分と同じ形状の特徴部分を前記対象記号から検出する特徴検出部と、前記特定記号及び前記対象記号の前記存在領域を複数の個別領域に分割する領域分割部と、複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積と、同じ位置の領域における前記特定記号の像の画素の面積との差が予め定められた所定値以下であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する判定部と、を備える構成（第１の構成）である。
【０００８】
また、本発明に係る画像処理装置は、画像を処理する画像処理装置であって、対象記号及び前記対象記号の存在領域を前記画像から検出する画像検出部と、所定の記号の特徴部分を表す特定記号と同じ形状の特徴部分を前記対象記号から検出する特徴検出部と、前記対象記号の前記存在領域を複数の個別領域に分割する領域分割部と、複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積と、予め定められた面積との差が予め定められた所定値以下であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する判定部と、を備える構成（第２の構成）である。
【０００９】
また、本発明に係る画像処理装置は、画像を処理する画像処理装置であって、対象記号及び前記対象記号の存在領域を前記画像から検出する画像検出部と、所定の記号の特徴部分を表す特定記号と同じ形状の特徴部分を前記対象記号から検出する特徴検出部と、前記対象記号の前記存在領域を複数の個別領域に分割する領域分割部と、複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積の大小関係が、予め定められた関係であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する判定部と、を備える構成（第３の構成）である。
【００１０】
また、上記第１または第３の構成の画像処理装置において、前記判定部は、前記特徴部分が存在する前記個別領域に対して所定位置にある前記個別領域における前記対象記号の像の画素の面積が、他の前記個別領域に対して最小または最大であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する構成（第４の構成）であっても良い。
【００１１】
また、上記第１から第４の構成の画像処理装置において、前記判定部は、前記対象記号の前記存在領域を予め定められた所定角度ずつ回転させ、前記対象記号の前記特徴部分の位置を、前記特定記号の前記特徴部分の位置に接近させる構成（第５の構成）であっても良い。
【００１２】
また、上記第１の構成の画像処理装置において、前記判定部は、前記個別領域を回転させ、前記対象記号の像と前記特定記号の像との画素の面積の差を導出する構成（第６の構成）であっても良い。
【００１３】
また、上記第１の構成の画像処理装置において、前記判定部は、前記個別領域の縮尺変更を行い、前記対象記号の像と前記特定記号の像との画素の面積の差を導出する構成（第７の構成）であっても良い。
【００１４】
また、本発明に係る画像処理方法は、画像を処理する画像処理方法であって、対象記号及び前記対象記号の存在領域を前記画像から検出する工程と、所定の記号を表す特定記号の特徴部分と同じ形状の特徴部分を前記対象記号から検出する工程と、前記特定記号及び前記対象記号の前記存在領域を複数の個別領域に分割する工程と、複数の前記個別領域それぞれにおける前記対象記号の像の画素の面積と、同じ位置の領域における前記特定記号の像の画素の面積との差が予め定められた所定値以下であることに基づき前記対象記号が前記所定の記号と同じ種類の記号であると判定する工程と、を含む構成（第８の構成）である。
【発明の効果】
【００１５】
本発明の構成によれば、駐車スペースの対象記号の特徴部分を利用し、且つ対象記号の存在領域を複数の個別領域に分割して比較することで、対象記号の認識速度及び認識精度を向上させることが可能になる。
【図面の簡単な説明】
【００１６】
【図１】実施形態の画像処理装置の構成を示すブロック図
【図２】車載カメラが車両に配置される位置を例示する図
【図３】仮想視点画像を生成する手法を説明するための図
【図４】画像処理装置で処理する車載カメラの画像の一例を示す図
【図５】駐車スペースの対象記号の存在領域の検出に係る説明図
【図６】ユーザーテンプレートの特定記号と対象記号とを例示する図
【図７】画像処理装置に自動認識させたい他の対象記号を例示する図
【図８】特定記号を個別領域に分割した状態を例示する図
【図９】対象記号を個別領域に分割した状態を例示する図
【図１０】他の例の対象記号を個別領域に分割した状態を例示する図
【図１１】対象記号を回転させた状態を例示する図
【図１２】実施例１の駐車スペースの対象記号の認識に係る処理フローの例を示すフローチャート
【図１３】実施例１の駐車スペースの対象記号の認識に係る処理フローの例を示すフローチャート（図１２の続き）
【図１４】駐車スペースとして利用しても良い記号のユーザーテンプレートを例示する図
【図１５】駐車スペースとして利用すべきではない記号のユーザーテンプレートを例示する図
【図１６】実施例２の特定記号を例示する図
【図１７】実施例２の対象記号を個別領域に分割した状態を例示する図
【図１８】個別領域の分割の仕方を説明するための特定記号を例示する図
【図１９】図１８の特定記号の場合の、対象記号の個別領域の分割状態を例示する図
【図２０】変形例の画像処理装置が取得した車載カメラの画像の第１例を示す模式図
【図２１】変形例の画像処理装置が取得した車載カメラの画像の第２例を示す模式図
【発明を実施するための形態】
【００１７】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。
【００１８】
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。
【００１９】
＜１．画像処理装置の概略＞
図１は、実施形態の画像処理装置１の構成を示すブロック図である。画像処理装置１は、例えば撮像部２と、センサ部３と、車両制御装置４と、を含む車両情報処理システムに組み込むことができる。車両情報処理システムは、撮像部２（車載カメラ）で撮像された車両周辺の画像を車両制御に用いることが可能なシステムである。また、本実施形態では、画像処理装置１は、ＧＰＳ（Global Positioning System）５から位置情報を取得し、表示装置６及び運転支援装置７に処理情報を出力する。
【００２０】
画像処理装置１は、車載カメラで撮像された画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置１は、撮像部２から画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行うことが可能である。なお、センサ部３は、場合によっては、車両情報処理システムに含まれなくても良い。
【００２１】
撮像部２は、車両周辺の状況を画像として撮像する目的で設けられる。撮像部２は、例えば４つのカメラ２１〜２４を備える。４つのカメラ２１〜２４は、車載カメラである。図２は、車載カメラ２１〜２４が車両８に配置される位置を例示する図である。
【００２２】
車載カメラ２１は車両８の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両８の前後方向に沿って延びる。フロントカメラ２１は車両８の前方向を撮像する。車載カメラ２３は車両８の後端に設けられる。このため、車載カメラ２３をバックカメラ２３とも呼ぶ。バックカメラ２３の光軸２３ａは上からの平面視で車両８の前後方向に沿って延びる。バックカメラ２３は車両８の後方向を撮像する。フロントカメラ２１及びバックカメラ２３の取付位置は、車両８の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。
【００２３】
車載カメラ２２は車両８の右側ドアミラー５１に設けられる。このため、車載カメラ２２を右サイドカメラ２２とも呼ぶ。右サイドカメラ２２の光軸２２ａは上からの平面視で車両８の左右方向に沿って延びる。右サイドカメラ２２は車両８の右方向を撮像する。車載カメラ２４は車両８の左側ドアミラー５２に設けられる。このため、車載カメラ２４を左サイドカメラ２４とも呼ぶ。左サイドカメラ２４の光軸２４ａは上からの平面視で車両８の左右方向に沿って延びる。左サイドカメラ２４は車両８の左方向を撮像する。
【００２４】
なお、車両８がいわゆるドアミラーレス車である場合、右サイドカメラ２２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ２４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。
【００２５】
車載カメラ２１〜２４のレンズとしては、例えば魚眼レンズが使用される。車載カメラ２１〜２４は、それぞれの水平方向の画角θが１８０度以上であるため、車両８の水平方向における全周囲を撮像することができる。
【００２６】
図１に戻って、センサ部３は、車載カメラ２１〜２４が搭載される車両８に関する情報を検出する複数のセンサを有する。車両８に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部３は、例えば車両の速度を検出する車速度センサ、ステアリングの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ等が含まれる。本実施形態では、センサ部３で検出された情報は、画像処理装置１に直接入力される構成としているが、これは例示にすぎない。例えば、センサ部３で検出された情報は、車両制御装置４または運転支援装置７を介して画像処理装置１に入力されても良い。
【００２７】
車両制御装置４は、車両の動作全般に関わる制御を行う。車両制御装置４は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源制御用ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置４は、画像処理装置１と情報を送受信する。
【００２８】
ＧＰＳ５は、画像処理装置１が搭載された車両８の位置情報を取得することができる。
【００２９】
表示装置６は、画像処理装置１から出力される表示用画像を受信する装置である。表示装置６は、例えば車両８に搭載されるナビゲーション装置等の表示装置、スマートフォン等の携帯端末、パーソナルコンピュータ等の据え置き型情報端末などが含まれる。表示装置６は、画像処理装置１から出力された表示用画像を画面表示する表示部を備える。当該表示部は、例えば液晶表示パネルであって、タッチパネル方式等の入力部を備え、外部から情報を入力できる構成であって良い。
【００３０】
運転支援装置７は、撮像部２で撮像された画像を用いて運転を支援する装置であり、例えば自動運転支援装置、自動駐車支援装置、自動緊急ブレーキ装置等を含んで良い。運転支援装置７は、例えばエンジンの始動とともに自動的に運転支援を開始する構成であって良い。また、運転支援装置７は、例えば運転者によってボタン、スイッチ等が押された場合に運転支援を開始する構成であって良い。
【００３１】
＜２．画像処理装置の詳細＞
画像処理装置１は、画像生成部１１と、制御部１２と、記憶部１３と、を備える。
【００３２】
画像生成部１１は、撮像部２で撮像された画像を処理して表示用画像を生成する。本実施形態では、画像生成部１１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部１１は、車両８に搭載された車載カメラ２１〜２４によって撮像された画像に基づき、仮想視点から見た車両８の周辺を示す仮想視点画像を生成する。さらに、画像生成部１１は、仮想視点画像に基づき、表示装置６で表示するための表示用画像を生成する。
【００３３】
＜２−１．仮想視点画像の生成＞
画像生成部１１が、仮想視点から見た車両８の周辺の様子を示す仮想視点画像を生成する手法について説明する。図３は、仮想視点画像ＣＰを生成する手法を説明するための図である。
【００３４】
フロントカメラ２１、右サイドカメラ２２、バックカメラ２３及び左サイドカメラ２４によって、車両８の前方、右側方、後方及び左側方それぞれを示す４つの画像Ｐ２１〜Ｐ２４が同時に取得される。これら４つの画像Ｐ２１〜Ｐ２４には、車両８の全周囲のデータが含まれる。画像生成部１１は、これら４つの画像Ｐ２１〜Ｐ２４を、制御部１２の後述する画像取得部１２１を介して取得する。
【００３５】
画像生成部１１は、これら４つの画像Ｐ２１〜Ｐ２４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両８の位置として定められる。
【００３６】
投影面ＴＳでは、車両８の領域の外側の領域に、画像のデータが投影される。画像Ｐ２１〜Ｐ２４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部１３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、画像Ｐ２１〜Ｐ２４に含まれる各画素の値とに基づいて決定できる。
【００３７】
次に、画像生成部１１は、制御部１２の後述する画像制御部１２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部１１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部１１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部１１は、任意の仮想視点ＶＰから見た仮想視点画像ＣＰを生成する。
【００３８】
例えば、図３に示すように、視点位置を車両８の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両８及び車両８の周辺を俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成することができる。
【００３９】
なお、仮想視点画像ＣＰａ、ＣＰｂ中に示す車両８の像８ｐは、予めビットマップなどのデータとして用意され、記憶部１３に記憶される。仮想視点画像の生成の際には、当該仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両８の像８ｐのデータが読み出されて、仮想視点画像ＣＰａ中に含められる。
【００４０】
このようにして、画像生成部１１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像ＣＰａを生成することができる。
【００４１】
＜２−２．制御部の詳細＞
制御部１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。記憶部１３は、不揮発性のメモリである。制御部１２は、記憶部１３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１２は、有線または無線で、撮像部２、センサ部３、車両制御装置４、ＧＰＳ５、表示装置６及び運転支援装置７に接続される。
【００４２】
制御部１２は、画像取得部１２１と、画像制御部１２２と、画像検出部１２３と、特徴検出部１２４と、領域分割部１２５と、判定部１２６と、を備える。制御部１２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００４３】
画像取得部１２１は、車載カメラ２１〜２４で撮像された画像を取得する。本実施形態では、車載カメラ２１〜２４の数は４つであり、画像取得部１２１は、車載カメラ２１〜２４それぞれで撮像された画像を取得する。
【００４４】
画像制御部１２２は、画像生成部１１によって実行される画像処理の制御を行う。例えば、画像制御部１２２は、画像生成部１１に対して、仮想視点画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部１２２は、画像生成部１１によって生成された表示用画像を表示装置６に対して出力する際の制御を行う。
【００４５】
駐車場において、画像処理装置１は、画像生成部１１によって生成された、例えば図４に示す画像ＣＰ１を取得する。図４は、画像処理装置１で処理する車載カメラの画像ＣＰ１の一例を示す図である。画像ＣＰ１は、駐車スペースＰＳ１、ＰＳ３の像を含む。
【００４６】
駐車スペースＰＳ１、ＰＳ３は、例えばひとつの矩形の駐車領域に配置された２本の区画線Ｌの像を含む。区画線Ｌは、路面に所定幅の白線或いは黄線で描かれ、車両の左右各々において車両の前後方向長さに対応する所定長さで延びる。
【００４７】
駐車スペースＰＳ１は、駐車スペースＰＳ１の記号Ｍ１を有する。ここで言う「記号」とは、駐車スペースＰＳ１の用途を示す標示（図記号）であって、例えば記号Ｍ１のような「国際シンボルマーク」が該当する。記号Ｍ１は、本実施形態の駐車スペースの記号の認識において認識対象の記号であることから、対象記号Ｍ１とも呼ばれる。
【００４８】
また、本実施形態では、対象記号Ｍ１のような「国際シンボルマーク」及びそれと同じ種類の記号の認識を目的とする。駐車スペースの記号としては、「国際シンボルマーク」に限定されるわけではなく、例えば「高齢運転者標識」、歩行困難者用駐車スペースの標示、駐車スペースであることを表す「Ｐ」の文字標示、スペースの番号標示、タクシーやバスの停留所（待機所）の標示など他の路面標示も含まれる。また、例えば駐車スペースＰＳ１は、記号Ｍ１を有することから、隣接する駐車スペースＰＳ３よりも視認性が高い、目立つ色合いがその駐車スペース全体に用いられる。
【００４９】
画像検出部１２３は、駐車スペースＰＳ１、ＰＳ３の区画線Ｌ、駐車スペースＰＳ１の領域全体及び対象記号Ｍ１を画像ＣＰ１から検出する。すなわち、画像検出部１２３は、駐車スペースＰＳ１の記号の認識に係る対象記号Ｍ１を画像ＣＰ１から検出する。画像検出部１２３は、画像ＣＰ１に対して画像処理を行い、画像ＣＰ１中のいわゆるエッジを抽出することで、区画線Ｌ、駐車スペースＰＳ１の領域全体及び対象記号Ｍ１を検出する。対象記号Ｍ１に関して、画像検出部１２３は、駐車スペースＰＳ１中の白線の集合体を対象記号Ｍ１として認識し、検出する。
【００５０】
また、画像検出部１２３は、対象記号Ｍ１の存在領域を画像ＣＰ１から検出する。図５は、駐車スペースＰＳ１の対象記号Ｍ１の存在領域ａ１の検出に係る説明図であって、図４の一部の像である。駐車スペースＰＳ１の対象記号Ｍ１の存在領域ａ１は、対象記号Ｍ１の周囲の床面の像を含む所定範囲で構成される。対象記号Ｍ１の存在領域ａ１は、例えば対象記号Ｍ１の周囲の床面の像を含む矩形形状で構成されるが、円形など他の形状であっても良い。画像検出部１２３は、対象記号Ｍ１の存在領域ａ１の像を画像ＣＰ１から検出し、切り出す。
【００５１】
特徴検出部１２４は、所定の記号を表す特定記号の特徴部分と同じ形状の特徴部分を対象記号Ｍ１から検出する。特定記号とは、同様の用途の駐車スペースの記号として、ユーザーが画像処理装置１で認識させたいと所望する所定の記号であって、例えばユーザーテンプレートとして記憶部１３に予め登録（記憶）される。図６は、ユーザーテンプレートの特定記号ＳＭ１と対象記号Ｍ１とを例示する図である。
【００５２】
図７は、画像処理装置１に自動認識させたい他の対象記号を例示する図である。画像処理装置１に自動認識させたい他の対象記号としては、対象記号Ｍ１のほかに、例えば図７に示す対象記号Ｍ２、Ｍ３、Ｍ４、Ｍ５がある。
【００５３】
例えば、特定記号ＳＭ１が、図６に示す「国際シンボルマーク」である場合、特定記号ＳＭ１の一部に円弧状部分ＳＭ１ｃが存在する。同様に、対象記号Ｍ１にも、その一部に円弧状部分Ｍ１ｃが存在する。なお、記号の特徴部分は円弧状部分に限定されるわけではなく、例えば直線状部分や矩形状部分など、他の形状の部分であっても良い。画像から直線や円の像を検出する手法としては、例えばハフ変換などといった既知の技術を利用しても良い。
【００５４】
このようにして、特徴検出部１２４は、特定記号ＳＭ１の特徴部分である円弧状部分ＳＭ１ｃと同じ形状の特徴部分である円弧状部分Ｍ１ｃを対象記号Ｍ１から検出する。対象記号Ｍ１の特徴部分は、対象記号Ｍ１が特定記号ＳＭ１と同じ種類の記号であることの認識において、認識速度及び認識精度を向上させるために利用される。
【００５５】
領域分割部１２５は、特定記号ＳＭ１及び対象記号Ｍ１の存在領域を複数の個別領域に分割する。領域分割部１２５は、例えば特定記号ＳＭ１及び対象記号Ｍ１の存在領域を４等分し、４つの矩形の個別領域に分割する。図８は、特定記号ＳＭ１を個別領域Ｓａ１１、Ｓａ１２、Ｓａ１３、Ｓａ１４に分割した状態を例示する図である。図８によれば、領域分割部１２５は、特定記号ＳＭ１の存在領域Ｓａ１を例えば４つの個別領域Ｓａ１１、Ｓａ１２、Ｓａ１３、Ｓａ１４に分割する。図９は、対象記号Ｍ１を個別領域ａ１１、ａ１２、ａ１３、ａ１４に分割した状態を例示する図である。図９によれば、領域分割部１２５は、対象記号Ｍ１の存在領域ａ１を例えば４つの個別領域ａ１１、ａ１２、ａ１３、ａ１４に分割する。なお、個別領域は、４つの矩形に限定されるわけではなく、他の数、他の形状であっても良い。
【００５６】
判定部１２６は、対象記号Ｍ１が特定記号ＳＭ１と同じ種類の記号であるか否かを判別する。この判別において、判定部１２６は、対象記号Ｍ１及び特定記号ＳＭ１の、複数の個別領域それぞれにおける記号の像の画素の面積を比較する。そして、判定部１２６は、４つの個別領域ａ１１、ａ１２、ａ１３、ａ１４それぞれにおける対象記号Ｍ１の像の画素の面積と、同じ位置の領域Ｓａ１１、Ｓａ１２、Ｓａ１３、Ｓａ１４における特定記号ＳＭ１の像の画素の面積との差が予め定められた所定値以下であることに基づき対象記号Ｍ１が所定の記号を表す特定記号ＳＭ１と同じ種類の記号であるか否かを判別する。
【００５７】
図１０は、他の例の対象記号Ｍ４を個別領域ａ４１、ａ４２、ａ４３、ａ４４に分割した状態を例示する図である。例えば、図７及び図１０に示した対象記号Ｍ４は、特定記号ＳＭ１と比較して、特徴部分である円弧状部分Ｍ４ｃの位置が異なる。詳細に言えば、特定記号ＳＭ１の円弧状部分ＳＭ１ｃが存在領域Ｓａ１の左下に存在することに対して、対象記号Ｍ４の円弧状部分Ｍ４ｃは存在領域ａ４の右下に存在する。
【００５８】
これに対して、判定部１２６は、対象記号Ｍ４の存在領域ａ４を予め定められた所定角度（例えば９０度）ずつ回転させ、対象記号Ｍ４の特徴部分である円弧状部分Ｍ４ｃの位置を、特定記号ＳＭ１の特徴部分である円弧状部分ＳＭ１ｃの位置に接近させる。図１１は、対象記号Ｍ４を回転させた状態を例示する図である。図１１によれば、対象記号Ｍ４の円弧状部分Ｍ４ｃの位置は、特定記号ＳＭ１の円弧状部分ＳＭ１ｃの位置と一致する。なお、対象記号の回転させるときの所定角度は、９０度に限定されるわけではなく、他の角度であっても良い。この所定角度は、対象記号の形状等に基づいて任意に定めることができる。
【００５９】
図８及び図９に戻って、対象記号Ｍ１及び特定記号ＳＭ１の、複数の個別領域それぞれにおける記号の像の画素の面積を比較することに関してより詳細に言えば、判定部１２６は、特徴部分である円弧状部分Ｍ１ｃ、ＳＭ１１が存在する個別領域ａ１３、Ｓａ１３に対して所定位置にある個別領域を検出する。例えば、対象記号Ｍ１及び特定記号ＳＭ１といった「国際シンボルマーク」と同じ種類の記号の場合、判定部１２６は、円弧状部分Ｍ１ｃ、ＳＭ１１が存在する個別領域ａ１３、Ｓａ１３に対して対角位置にある個別領域ａ１１、Ｓａ１１を検出する。この個別領域ａ１１、Ｓａ１１は、対象記号Ｍ１及び特定記号ＳＭ１の像の画素の面積が、他の個別領域に対して最小である。そして、判定部１２６は、特徴部分が存在する個別領域ａ１３、Ｓａ１３に対して所定位置にある個別領域ａ１１、Ｓａ１１における対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積が、他の個別領域に対して最小であることに基づき対象記号Ｍ１が所定の記号を表す特定記号ＳＭ１と同じ種類の記号であると判定する。
【００６０】
なお、記号の、特徴部分が存在する個別領域に対して所定位置にある別の個別領域の位置関係については、必ずしも対角位置であるわけではなく、他の位置関係の場合もあり、記号の形状等によって異なる。また、上記実施形態では、個別領域ａ１１、Ｓａ１１における対象記号Ｍ１及び特定記号ＳＭ１の像の画素の面積が、他の個別領域に対して最小であることに基づき記号Ｍ１が特定記号ＳＭ１と同じ種類の記号であると判定されるが、記号の形状等によっては、画素の面積が最大であることに基づき判定される場合もある。さらに、画素の面積が所定の判定値に近いことに基づき判定される場合もある。
【００６１】
さらに、対象記号Ｍ１及び特定記号ＳＭ１の、複数の個別領域それぞれにおける記号の像の画素の面積を比較することに関してより詳細に言えば、判定部１２６は、個別領域を回転させ、対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積の差を導出する。また、判定部１２６は、個別領域の縮尺変更を行い、対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積の差を導出する。これらの個別領域の回転及び縮尺変更によれば、対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積の差が最小になり、比較が容易になる。
【００６２】
記憶部１３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、例えばファームウェアとしてのプログラム、画像生成部１１が仮想視点画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部１３は、画像取得部１２１、画像制御部１２２、画像検出部１２３、特徴検出部１２４、領域分割部１２５及び判定部１２６それぞれが処理を実行するために必要となる各種のデータを記憶する。
【実施例１】
【００６３】
＜３．実施例１の画像処理装置における処理＞
図１２は、実施例１の駐車スペースの対象記号の認識に係る処理フローの例を示すフローチャートである。図１３は、実施例１の駐車スペースの対象記号の認識に係る処理フローの例を示すフローチャート（図１２の続き）である。実施例１の画像処理装置１における駐車スペースの対象記号の認識に係る処理フローについて、図１２及び図１３を参照しつつ説明する。なお、図１２及び図１３は、連続する一体の処理フローである。
【００６４】
画像処理装置１は、例えばユーザーによって表示装置６等が操作され、認識開始の指示信号を受信することで、駐車スペースの対象記号の認識に係る処理を開始する（図１２の「開始」）。
【００６５】
次に、画像処理装置１は、車載カメラ２１〜２４それぞれから車両８の周辺の、複数の画像を取得する（ステップＳ１０１）。画像処理装置１は、車載カメラ２１〜２４それぞれで撮像された画像を画像取得部１２１を介して取得し、記憶部１３に記憶する。また、画像処理装置１は、これらの画像に対して、例えば２値化、ノイズ除去などといった処理を適宜実施する。
【００６６】
次に、仮想視点画像が生成される（ステップＳ１０２）。画像生成部１１は、ステップＳ１０１で取得し、記憶部１３に記憶した車両８の周辺の、複数の画像に基づき、仮想視点から見た車両８の周辺の様子を示す仮想視点画像を生成する。
【００６７】
次に、画像処理装置１は、画像検出部１２３を用いて、画像生成部１１が生成した画像から駐車スペースを検出する（ステップＳ１０３）。具体的には、画像検出部１２３は、駐車スペースの区画線及び駐車スペースの領域全体を画像から検出する。
【００６８】
次に、画像検出部１２３は、駐車スペースの対象記号及び対象記号の存在領域を画像から検出する（ステップＳ１０４）。続いて、対象記号の位置及び縮尺が調整される（ステップＳ１０５）。
【００６９】
次に、画像処理装置１は、対象記号を有する駐車スペースに、過去に駐車したか否かを判定する（ステップＳ１０６）。ここで、画像処理装置１は、画像処理装置１を搭載する車両８が駐車した駐車スペースを、当該駐車スペースが有する記号と関係付けて、逐次、駐車履歴を記憶部１３等に記憶させる。この駐車履歴に基づき、画像処理装置１は、対象記号を有する駐車スペースに、過去に駐車したか否かを判定する。
【００７０】
車両８が過去に駐車スペースに駐車していない場合（ステップＳ１０６のＮｏ）、対象記号の存在領域における対象記号の像の画素の面積と、特定記号の存在領域における特定記号の像の画素の面積と、を比較する（ステップＳ１０７）。
【００７１】
次に、画像処理装置１は、対象記号の像の画素の面積と、特定記号の像の画素の面積との差が所定値ｄ１未満であるか否かを判定する（ステップＳ１０８）。これらの面積差が所定値ｄ１以上である場合（ステップＳ１０８のＮｏ）、当該面積比較の試行回数が所定値ｎ１未満であるか否かが判定される（ステップＳ１０９）。当該面積比較の試行回数が所定値ｎ１未満である場合（ステップＳ１０９のＹｅｓ）、対象記号の像の階調が反転され（ステップＳ１１０）、ステップＳ１０７に戻って再度、面積の比較が実施される。
【００７２】
対象記号の像の画素の面積と、特定記号の像の画素の面積との差が所定値ｄ１未満である場合（ステップＳ１０８のＹｅｓ）、対象記号に特徴部分として、例えば円弧状部分が存在するか否か判定される（ステップＳ１１１）。
【００７３】
対象記号に円弧状部分が存在する場合（ステップＳ１１１のＹｅｓ）、領域分割部１２５が、対象記号の存在領域を複数（例えば４つ）の個別領域に分割する（ステップＳ１１２）。
【００７４】
次に、判定部１２６は、対象記号の存在領域を予め定められた所定角度（例えば９０度）ずつ回転させる（ステップＳ１１３）。例えば、図１０に示す対象記号Ｍ４の場合、判定部１２６は、対象記号Ｍ４の存在領域ａ４を予め定められた所定角度（例えば９０度）ずつ回転させ、対象記号Ｍ４の特徴部分である円弧状部分Ｍ４ｃの位置を、特定記号ＳＭ１の特徴部分である円弧状部分ＳＭ１ｃの位置に接近させる（図１１参照）。なお、図９に示す対象記号Ｍ１のように、対象記号Ｍ１の円弧状部分Ｍ１ｃの位置が、特定記号ＳＭ１の円弧状部分ＳＭ１ｃの位置と同じ場合、ステップＳ１１３は実施されない。
【００７５】
次に、判定部１２６は、円弧状部分が存在する個別領域に対して所定位置（例えば図９に示す対象記号Ｍ１では対角位置である右上）にある個別領域における記号の像の画素の面積が、他の個別領域に対して最小であるか否かを判定する（ステップＳ１１４）。
【００７６】
所定位置にある個別領域における対象記号の像の画素の面積が、他の個別領域に対して最小である場合（ステップＳ１１４のＹｅｓ）、判定部１２６は、対象記号の４つの個別領域それぞれについて、個別領域を回転させ、対象記号の像と特定記号の像との画素の面積の差を導出する（図１３のステップＳ１１５）。さらに、判定部１２６は、対象記号の４つの個別領域それぞれについて、個別領域の縮尺変更を行い、対象記号の像と特定記号の像との画素の面積の差を導出する（ステップＳ１１６）。
【００７７】
次に、画像処理装置１は、対象記号の個別領域それぞれの像の画素の面積と、特定記号の個別領域それぞれの像の画素の面積との差が所定値ｄ２未満であるか否かを判定する（ステップＳ１１７）。これらの面積差が所定値ｄ２未満である場合（ステップＳ１１７のＹｅｓ）、すなわち対象記号の像の画素の面積と、特定記号の画素の面積との差が小さい場合、判定部１２６は、対象記号が所定の記号を表す特定記号と同じ種類の記号であると判定する。そして、表示装置６等を介して、対象記号の認識の、ユーザーによる承諾が判定される（ステップＳ１１８）。
【００７８】
対象記号の個別領域それぞれの像の画素の面積と、特定記号の個別領域それぞれの像の画素の面積との差が所定値ｄ２以上である場合（ステップＳ１１７のＮｏ）、さらに画像処理装置１は、これらの面積差が所定値ｄ３未満であるか否かを判定する（ステップＳ１１９）。これらの面積差が所定値ｄ３未満である場合（ステップＳ１１９のＹｅｓ）、すなわち対象記号の像の画素の面積と、特定記号の画素の面積との差がやや大きい場合、画像処理装置１は、表示装置６等を介して、ユーザーに対して確認を実施する（ステップＳ１２０）。表示装置６に、例えば「記号認識がやや困難です。確認してください。」などといった表示を行うことが望ましい。そして、表示装置６等を介して、対象記号の認識の、ユーザーによる承諾が判定される（ステップＳ１１８）。
【００７９】
対象記号の個別領域それぞれの像の画素の面積と、特定記号の個別領域それぞれの像の画素の面積との差が所定値ｄ３以上である場合（ステップＳ１１９のＮｏ）、当該面積比較の試行回数が所定値ｎ２未満であるか否かが判定される（ステップＳ１２１）。当該面積比較の試行回数が所定値ｎ２未満である場合（ステップＳ１２１のＹｅｓ）、対象記号の像の鏡面反転が実施され（ステップＳ１２２）、ステップＳ１１１５に戻って再度、面積の比較が実施される。
【００８０】
対象記号の個別領域それぞれの像の画素の面積と、特定記号の個別領域それぞれの像の画素の面積との比較の試行回数が所定値ｎ２以上である場合（ステップＳ１２１のＮｏ）、すなわち対象記号の像の画素の面積と、特定記号の画素の面積との差が大きい場合、画像処理装置１は、対象記号を有する駐車スペースＰＳ１に、過去に駐車したか否かを判定する（ステップＳ１２３）。車両８が過去に駐車スペースＰＳ１に駐車していた場合（ステップＳ１２３のＹｅｓ）、画像処理装置１は、表示装置６等を介して、ユーザーに対して確認を実施する（ステップＳ１２４）。表示装置６に、例えば「記号認識が困難です。確認してください。」などといった表示を行うことが望ましい。そして、表示装置６等を介して、対象記号の認識の、ユーザーによる承諾が判定される（ステップＳ１１８）。
【００８１】
一方、車両８が過去に駐車スペースＰＳ１に駐車していた場合（ステップＳ１０６のＹｅｓ）、また対象記号の像の画素の面積と、特定記号の像の画素の面積との比較の試行回数が所定値ｎ１以上である場合（ステップＳ１０９のＮｏ）、また対象記号に特徴部分である円弧状部分が存在しない場合（ステップＳ１１１のＮｏ）、また所定位置の個別領域における対象記号の像の画素の面積が、他の個別領域に対して最小ではない場合（ステップＳ１１４のＮｏ）、画像処理装置１は、対象記号がユーザーテンプレートとして既に記憶部１３等に登録（記憶）された記号であるか否かを判定する（ステップＳ１２２）。対象記号がユーザーテンプレートとして既に記憶部１３等に登録（記憶）された記号である場合（ステップＳ１２５のＹｅｓ）、画像処理装置１は、表示装置６等を介して、ユーザーに対して確認を実施する（ステップＳ１２６）。表示装置６に、例えば「利用可能な記号です。確認してください。」などといった表示を行うことが望ましい。
【００８２】
図１４は、駐車スペースとして利用しても良い記号のユーザーテンプレートを例示する図である。図１４によれば、例えば歩行困難者用駐車スペースの記号Ｍ６、高齢運転者用駐車スペースの記号Ｍ７、国際シンボルマークに類似するが差異が大きい記号Ｍ８などが、駐車スペースとして利用しても良い記号のユーザーテンプレートに含まれる。そして、表示装置６等を介して、対象記号の認識の、ユーザーによる承諾が判定される（ステップＳ１１８）。
【００８３】
ステップＳ１１８において、対象記号の認識が、ユーザーよって承諾された場合（ステップＳ１１８のＹｅｓ）、対象記号は駐車スペースとして利用しても良い記号としてユーザーテンプレートに登録される（ステップＳ１２７）。そして、画像処理装置１は、駐車スペースの対象記号の認識に係る処理を終了する（図１３の「終了」）。
【００８４】
このあと、車両８が対象記号を有する当該駐車スペースに駐車された場合、対象記号と関係付けて、駐車履歴が記憶部１３等に記憶される。さらに、対象記号を有する当該駐車スペースを、ＧＰＳ５から取得した位置情報と関連付けて、記憶部１３等に記憶させても良い。
【００８５】
また、対象記号がユーザーテンプレートとして既に記憶部１３等に登録（記憶）された記号ではない場合（ステップＳ１２５のＮｏ）、画像処理装置１は、対象記号を有する当該駐車スペースに、過去に駐車したか否かを判定する（ステップＳ１２３）。
【００８６】
ステップＳ１１８において、対象記号の認識が、ユーザーよって承諾されなかった場合（ステップＳ１１８のＮｏ）、またステップＳ１２３において、車両８が過去に当該駐車スペースに駐車していない場合（ステップＳ１２３のＮｏ）、対象記号は駐車スペースとして利用すべきではない記号としてユーザーテンプレートに登録される（ステップＳ１２８）。
【００８７】
図１５は、駐車スペースとして利用すべきではない記号のユーザーテンプレートを例示する図である。図１５によれば、例えばタクシーの待機所の記号Ｍ９、駐輪所の記号Ｍ１０、駐車禁止の記号Ｍ１１などが、駐車スペースとして利用すべきではない記号のユーザーテンプレートに含まれる。そして、画像処理装置１は、駐車スペースの対象記号の認識に係る処理を終了する（図１３の「終了」）。駐車スペースとして利用すべきではない対象記号を有する当該駐車スペースを、ＧＰＳ５から取得した位置情報と関連付けて、記憶部１３等に記憶させても良い。
【００８８】
上記実施形態のように、画像処理装置１は、画像検出部１２３と、特徴検出部１２４と、領域分割部１２５と、判定部１２６と、を備える。画像検出部１２３は、対象記号Ｍ１及び対象記号Ｍ１の存在領域ａ１を画像ＣＰ１から検出する。特徴検出部１２４は、所定の記号を表す特定記号ＳＭ１の特徴部分である円弧状部分ＳＭ１ｃと同じ形状の特徴部分である円弧状部分Ｍ１ｃを対象記号Ｍ１から検出する。領域分割部１２５は、特定記号ＳＭ１及び対象記号Ｍ１の存在領域を複数の個別領域に分割する。判定部１２６は、複数の個別領域それぞれにおける対象記号Ｍ１の像の画素の面積と、同じ位置の領域における特定記号ＳＭ１の像の画素の面積との差が予め定められた所定値以下であることに基づき対象記号Ｍ１が所定の記号を表す特定記号ＳＭ１と同じ種類の記号であると判定する。
【００８９】
この構成によれば、駐車スペースＰＳ１の対象記号Ｍ１の特徴部分である円弧状部分Ｍ１ｃを利用することで、対象記号Ｍ１と特定記号ＳＭ１とを比較することができる。さらに、対象記号Ｍ１の存在領域ａ１を複数の個別領域ａ１１、ａ１２、ａ１３、ａ１４に分割することで、対象記号Ｍ１と特定記号ＳＭ１とを比較することができる。これらにより、対象記号Ｍ１の認識速度及び認識精度を向上させることが可能になる。
【００９０】
また、例えば図１０に示す対象記号Ｍ４において、判定部１２６は、対象記号Ｍ４の存在領域ａ４を予め定められた所定角度（例えば９０度）ずつ回転させ、対象記号Ｍ４の特徴部分である円弧状部分Ｍ４ｃの位置を、特定記号ＳＭ１の特徴部分である円弧状部分ＳＭ１ｃの位置に接近させる。
【００９１】
この構成によれば、対象記号Ｍ４と特定記号ＳＭ１とを比較する際、対象記号Ｍ４の形状等に基づいて定めた比較的大きな角度ずつ、対象記号Ｍ４を回転させることができる。したがって、対象記号Ｍ４の認識速度を向上させることが可能になる。さらに、この回転角度は、対象記号Ｍ４の形状等に基づいて定められるので、比較的大きな回転角度であっても、対象記号Ｍ４の認識精度を向上させることが可能になる。
【００９２】
また、判定部１２６は、特徴部分が存在する個別領域ａ１３、Ｓａ１３に対して所定位置にある個別領域ａ１１、Ｓａ１１における対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積が、他の個別領域に対して最小であることに基づき対象記号Ｍ１が所定の記号を表す特定記号ＳＭ１と同じ種類の記号であると判定する。
【００９３】
この構成によれば、特徴部分である円弧状部分が存在する個別領域に加えて、像の画素の面積が最小である別の個別領域を利用して、対象記号Ｍ１と特定記号ＳＭ１とを比較することができる。したがって、対象記号Ｍ１の認識速度及び認識精度をより一層向上させることが可能になる。
【００９４】
また、判定部１２６は、個別領域を回転させ、対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積の差を導出する。また、判定部１２６は、個別領域の縮尺変更を行い、対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積の差を導出する。
【００９５】
これらの構成によれば、対象記号Ｍ１の像と特定記号ＳＭ１の像との画素の面積の差を最小にすることができる。対象記号Ｍ１と特定記号ＳＭ１との比較を容易に実施することが可能になる。
【実施例２】
【００９６】
＜４．実施例２の画像処理装置における処理＞
図１６は、実施例２の特定記号を例示する図である。図１７は、実施例２の対象記号を個別領域に分割した状態を例示する図である。
【００９７】
実施例２の画像処理装置１は、例えば図１６に示す円弧状部分ＳＭ２ｃの像を含む画像が、所定の記号の特徴部分を表す特定記号ＳＭ２として記憶部１３に予め登録（記憶）される。なお、ここで言う所定の記号は、特徴部分として特定記号ＳＭ２を含む、実施例１の特定記号に相当する。特徴検出部１２４は、特定記号ＳＭ２と同じ形状の特徴部分である円弧状部分Ｍ２１ｃを対象記号Ｍ２１（図１７参照）から検出する。
【００９８】
領域分割部１２５は、対象記号Ｍ２１の存在領域を複数の個別領域に分割する。図１７によれば、領域分割部１２５は、対象記号Ｍ２１の存在領域ａ２１を例えば４つの矩形の個別領域ａ２１１、ａ２１２、ａ２１３、ａ２１４に分割する。なお、領域分割部１２５は、特定記号の種類（形状、大きさ等）に基づき、個別領域の分割の仕方を変更する。例えば図１７に示すように、領域分割部１２５は、特定記号ＳＭ２に基づいて円弧状部分Ｍ２１ｃを概ね含む個別領域ａ２１３が構成される状態で、対象記号Ｍ２１の存在領域ａ２１を４つの矩形の個別領域ａ２１１、ａ２１２、ａ２１３、ａ２１４に分割する。個別領域ａ２１１、ａ２１２、ａ２１４は、個別領域ａ２１３の分割線を直線状に延長して分割することで形成される。
【００９９】
判定部１２６は、対象記号Ｍ２１が、特定記号ＳＭ２を含む所定の記号と同じ種類の記号であるか否かを判別する。判定部１２６による判定の仕方としては、例えば次の３通りの判定の仕方を用いることができる。
【０１００】
＜４−１．判定部による判定の仕方の具体例１＞
判定部１２６は、４つの個別領域ａ２１１、ａ２１２、ａ２１３、ａ２１４それぞれにおける対象記号Ｍ２１の像の画素の面積と、予め定められた面積との差が予め定められた所定値以下であることに基づき対象記号Ｍ２１が特定記号ＳＭ２を含む所定の記号と同じ種類の記号であると判定する。
【０１０１】
例えば、図１７に示す対象記号Ｍ２１を比較対象とする所定の記号において、個別領域ａ２１１における像の面積は０％であり、個別領域ａ２１２における像の面積は２０％であり、個別領域ａ２１３における像の面積は３０％であり、個別領域ａ２１４における像の面積は１５％である。画像処理装置１では、所定の画像におけるこれらの４つの個別領域の面積が、予め定められた面積として記憶部１３に予め記憶される。そして、判定部１２６は、４つの個別領域ａ２１１、ａ２１２、ａ２１３、ａ２１４それぞれにおける対象記号Ｍ２１の像の画素の面積と、予め定められた面積との差が予め定められた所定値以下であるか否かを判別する。
【０１０２】
＜４−２．判定部による判定の仕方の具体例２＞
判定部１２６は、４つの個別領域ａ２１１、ａ２１２、ａ２１３、ａ２１４それぞれにおける対象記号Ｍ２１の像の画素の面積の大小関係が、予め定められた関係であることに基づき対象記号Ｍ２１が特定記号ＳＭ２を含む所定の記号と同じ種類の記号であると判定する。
【０１０３】
例えば、図１７に示す対象記号Ｍ２１を比較対象とする所定の記号において、個別領域ａ２１３における像の面積の大きさが第１位であり、個別領域ａ２１２における像の面積の大きさが第２位であり、個別領域ａ２１４における像の面積の大きさが第３位であり、個別領域ａ２１１における像の面積の大きさが第４位である。画像処理装置１では、所定の画像におけるこれらの４つの個別領域の面積の大小関係が、予め定められた関係として記憶部１３に予め記憶される。そして、判定部１２６は、４つの個別領域ａ２１１、ａ２１２、ａ２１３、ａ２１４それぞれにおける対象記号Ｍ２１の像の画素の面積の大小関係が、予め定められた関係であるか否かを判別する。
【０１０４】
＜４−３．判定部による判定の仕方の具体例３＞
判定部１２６は、特徴部分が存在する個別領域に対して所定位置にある個別領域における対象記号Ｍ２１の像の画素の面積が、他の個別領域に対して最小または最大であることに基づき対象記号Ｍ２１が特定記号ＳＭ２を含む所定の記号と同じ種類の記号であると判定する。
【０１０５】
例えば、図１７に示す対象記号Ｍ２１を比較対象とする所定の記号において、特徴部分である円弧状部分Ｍ２１ｃが存在する個別領域ａ２１３に対して対角位置にある個別領域ａ２１１が、４つの個別領域の中で像の面積の大きさが最小である。画像処理装置１では、所定の画像におけるこれらの２つの個別領域の位置関係及び像の面積の大小関係が、記憶部１３に予め記憶される。そして、判定部１２６は、４つの個別領域ａ２１１、ａ２１２、ａ２１３、ａ２１４それぞれにおける対象記号Ｍ２１の像の画素の面積に関して、個別領域ａ２１１における像の面積が、他の個別領域に対して最小であるか否かを判別する。
【０１０６】
なお、上記３通りの判定の仕方において、４つの個別領域それぞれにおける対象記号Ｍ２１の像の画素の面積は、画素のピクセル数を面積としても良いし、個別領域自体の画素数に対する像の画素数の割合である面積比としても良い。また、対象記号Ｍ２１が所定の記号と同じ種類の記号であるか否かの判別は、４つの個別領域すべてを用いて実施しても良いし、４つの個別領域のうち少なくとも一つを用いて実施しても良い。また、特定記号ＳＭ２自体についても像の面積を導出し、判別に用いても良い。
【０１０７】
実施例２の構成によれば、図記号などの全体を含む画像を、特定記号として記憶部１３に予め登録（記憶）しておく必要がない。特定記号としては、図記号などの一部で良い。比較する情報量が少なくなるため、対象記号Ｍ２１と、特定記号ＳＭ２とを比較するにあたって、その速度及び精度を向上させることができる。したがって、対象記号Ｍ２１の認識速度及び認識精度をより一層向上させることが可能になる。
【０１０８】
ここで、前述のように、領域分割部１２５は、特定記号の種類（形状、大きさ等）に基づき、個別領域の分割の仕方を変更する。図１８は、個別領域の分割の仕方を説明するための特定記号を例示する図である。図１９は、図１８の特定記号の場合の、対象記号の個別領域の分割状態を例示する図である。
【０１０９】
例示した特定記号ＳＭ３は、図１８に示すように５角形の形状の像を含む。これに対して例示した対象記号Ｍ２２は、図１９に示すように５角形の特徴部分Ｍ２２ｃを含む星形の形状の像を含む。
【０１１０】
この特定記号ＳＭ３の場合、領域分割部１２５は、特定記号ＳＭ３に基づいて５角形の形状を含む個別領域ａ２２８が構成される状態で、対象記号Ｍ２２の存在領域ａ２２を８つの個別領域ａ２２１、ａ２２２、ａ２２３、ａ２２４、ａ２２５、ａ２２６、ａ２２７、ａ２２８に分割する。個別領域ａ２２１、ａ２２２、ａ２２３、ａ２２４、ａ２２５、ａ２２６、ａ２２７は、５角形の個別領域ａ２２８の各頂点から、対象記号Ｍ２２の外形の四辺に向けて、少なくとも１本の垂線を延ばして分割することで形成される。
【０１１１】
例えば、図１９に示す対象記号Ｍ２２を比較対象とする所定の記号において、個別領域ａ２２１における像の面積は０％であり、個別領域ａ２２２における像の面積は２０％であり、個別領域ａ２２３における像の面積は０％であり、個別領域ａ２２４における像の面積は１５％であり、個別領域ａ２２５における像の面積は１０％であり、個別領域ａ２２６における像の面積は１０％であり、個別領域ａ２２７における像の面積は１５％であり、個別領域ａ２２８における像の面積は３０％である。特定記号ＳＭ３は、個別領域ａ２２８に含まれる。
【０１１２】
このようにして、個別領域の分割の仕方は、特定記号の種類（形状、大きさ等）に基づき、像の面積の差異に特徴が表れ易い仕方を、任意に設定することが可能である。
【０１１３】
＜５．変形例＞
変形例の画像処理装置１は、ユーザーが利用したい駐車スペースと、当該駐車スペースと関係付ける記号とを、表示装置６から受け付ける。
【０１１４】
表示装置６は、例えば液晶表示パネルであって、タッチパネル方式等の入力部を備え、外部から情報を入力できる表示部を有する。表示装置６は、例えばスマートフォン等の携帯端末である。表示装置６は、撮像部２で撮像された画像自体に基づく表示用画像や、仮想視点画像に基づく表示用画像を画像処理装置１から受信する。ユーザーは、表示装置６に表示された画像に対して、指でタッチする、或いは指でなぞるなどの操作により、ユーザーが利用したい駐車スペースと、当該駐車スペースと関係付ける記号とを指示する。
【０１１５】
制御部１２は、表示装置６を介して、画像に対するタッチ位置、なぞった軌跡などを検出する。さらに、制御部１２は、画像に対するタッチ位置、なぞった軌跡などのタッチ操作に基づき、画像中の駐車スペースの像と、記号の像とを検出する。なお、これらの検出は、制御部１２の画像検出部１２３等に実施させても良い。
【０１１６】
図２１は、変形例の画像処理装置１が取得した車載カメラの画像の第１例を示す模式図である。図２１は、例えば郵便局の前で撮像された画像ＣＰ３である。画像ＣＰ３には、郵便局の建物ｓｔ３１と、駐車スペースＰＳ３１、ＰＳ３２と、駐車スペースの標識Ｍ３１、Ｍ３２と、ポストｓｔ３２などの像が含まれる。
【０１１７】
ユーザーは、画像ＣＰ３に対して、例えば駐車スペースＰＳ３１の枠を、図２１の破線のように指Ｆでなぞる。また例えば、ユーザーは、駐車スペースＰＳ３１の枠内の領域を指Ｆでタッチしても良い。これらのタッチ操作に基づき、制御部１２は、画像ＣＰ３中の駐車スペースＰＳ３１の像を検出する。さらに、制御部１２は、駐車スペースＰＳ３１の枠線や全体領域等を、例えば色彩を変更し、候補として表示装置６に表示させる。この表示を見たユーザーは、表示装置６を介して、駐車スペースＰＳ３１を利用したい駐車スペースとして承諾することができる。
【０１１８】
続いてユーザーは、画像ＣＰ３に対して、例えば駐車スペースＰＳ３１と関係付ける対象記号を指Ｆでタッチする。例えばここでは、対象記号としてポストｓｔ３２がタッチされ、選択されたこととする。また例えば、ユーザーは、ポストｓｔ３２の外形部分を指Ｆでなぞっても良い。これらのタッチ操作に基づき、制御部１２は、画像ＣＰ３中のポストｓｔ３２の像を検出する。さらに、制御部１２は、ポストｓｔ３２の外形全体等を、例えば色彩を変更し、候補として表示装置６に表示させる。この表示を見たユーザーは、表示装置６を介して、ポストｓｔ３２を利用したい駐車スペースＰＳ３１と関係付ける対象記号として承諾することができる。
【０１１９】
図２１は、変形例の画像処理装置１が取得した車載カメラの画像の第２例を示す模式図である。図２１は、例えば自宅マンションの前で撮像された画像ＣＰ４である。画像ＣＰ４には、マンションの建物ｓｔ４１と、駐車スペースＰＳ４１、ＰＳ４２などの像が含まれる。マンションの建物ｓｔ４１の像にはドアｓｔ４２の像が含まれる。
【０１２０】
ユーザーは、画像ＣＰ４に対して、例えば駐車スペースＰＳ４１の枠を、図２１の破線のように指Ｆでなぞる。また例えば、ユーザーは、駐車スペースＰＳ４１の枠内の領域を指Ｆでタッチしても良い。これらのタッチ操作に基づき、制御部１２は、画像ＣＰ４中の駐車スペースＰＳ４１の像を検出する。さらに、制御部１２は、駐車スペースＰＳ４１の枠線や全体領域等を、例えば色彩を変更し、候補として表示装置６に表示させる。この表示を見たユーザーは、表示装置６を介して、駐車スペースＰＳ４１を利用したい駐車スペースとして承諾することができる。
【０１２１】
続いてユーザーは、画像ＣＰ４に対して、例えば駐車スペースＰＳ４１と関係付ける対象記号を指Ｆでタッチする。例えばここでは、対象記号としてドアｓｔ４２がタッチされ、選択されたこととする。また例えば、ユーザーは、ドアｓｔ４２の外形部分を指Ｆでなぞっても良い。これらのタッチ操作に基づき、制御部１２は、画像ＣＰ４中のドアｓｔ４２の像を検出する。さらに、制御部１２は、ドアｓｔ４２の外形全体等を、例えば色彩を変更し、候補として表示装置６に表示させる。この表示を見たユーザーは、表示装置６を介して、ドアｓｔ４２を利用したい駐車スペースＰＳ４１と関係付ける対象記号として承諾することができる。
【０１２２】
このようにして、画像処理装置１は、駐車スペースの対象記号を認識することができる。対象記号を有する当該駐車スペースを、ＧＰＳ５から取得した位置情報と関連付けて、記憶部１３等に記憶させても良い。この対象記号は、位置情報を有する当該駐車スペースと関連付けて、記憶部１３等に記憶される。
【０１２３】
これらの構成によれば、ユーザーが任意に記号を登録することができる。したがって、「国際シンボルマーク」や駐車スペースであることを表す「Ｐ」の文字標示などといった所定の記号が存在しない駐車スペースであっても、任意の構造物等を駐車スペースの対象記号として認識させることが可能である。さらに、所定の記号が存在する駐車スペースであっても、所定の記号に代えて、任意の構造物等を駐車スペースの対象記号として認識させることが可能である。
【０１２４】
＜５．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態、実施例及び変形例は可能な範囲で組み合わせて実施しても良い。
【０１２５】
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
【符号の説明】
【０１２６】
１      画像処理装置
２      撮像部
５      ＧＰＳ
６      表示装置
１１      画像生成部
１２      制御部
１３      記憶部
２１、２２、２３、２４  車載カメラ
１２１      画像取得部
１２２      画像制御部
１２３      画像検出部
１２４      特徴検出部
１２５      領域分割部
１２６      判定部
Ｍ１、Ｍ４      対象記号
Ｍ１ｃ、Ｍ１ｃ      円弧状部分
ａ１      存在領域
ａ１１、ａ１２、ａ１３、ａ１４  個別領域
Ｍ２１      対象記号
Ｍ２１ｃ      円弧状部分
ａ２１      存在領域
ａ２１１、ａ２１２、ａ２１３、ａ２１４  個別領域
Ｍ２２      対象記号
Ｍ２２ｃ      特徴部分
ａ２２      存在領域
ａ２２１、ａ２２２、ａ２２３、ａ２２４、ａ２２５、ａ２２６、ａ２２７、ａ２２８  個別領域
ＳＭ１      特定記号
ＳＭ１ｃ      円弧状部分
Ｓａ１      存在領域
Ｓａ１１、Ｓａ１２、Ｓａ１３、Ｓａ１４  個別領域
ＳＭ２      特定記号
ＳＭ２ｃ      円弧状部分
ＳＭ３      特定記号
【図１】
2019128607.tif 000003
【図２】
2019128607.tif 000004
【図３】
2019128607.tif 000005
【図４】
2019128607.tif 000006
【図５】
2019128607.tif 000007
【図６】
2019128607.tif 000008
【図７】
2019128607.tif 000009
【図８】
2019128607.tif 000010
【図９】
2019128607.tif 000011
【図１０】
2019128607.tif 000012
【図１１】
2019128607.tif 000013
【図１２】
2019128607.tif 000014
【図１３】
2019128607.tif 000015
【図１４】
2019128607.tif 000016
【図１５】
2019128607.tif 000017
【図１６】
2019128607.tif 000018
【図１７】
2019128607.tif 000019
【図１８】
2019128607.tif 000020
【図１９】
2019128607.tif 000021
【図２０】
2019128607.tif 000022
【図２１】
2019128607.tif 000023