(57)【要約】【課題】隣接する駐車領域の駐車状況に影響を受けずに駐車状況の判定を行うことを可能とするための技術を提供する。【解決手段】画像処理装置であって、複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得手段と、前記画像について、前記複数の駐車領域のそれぞれについて、他の駐車領域に自動車が駐車されている場合に該自動車により遮蔽される遮蔽領域を除外するように、判定対象領域を決定する決定手段と、前記画像から、それぞれの前記判定対象領域において自動車を検出し、前記検出の結果に基づいて前記複数の駐車領域のそれぞれにおける自動車の駐車の有無を判定する判定手段とを備える。【選択図】  図１
2019091169.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得手段と、
前記画像について、前記複数の駐車領域のそれぞれについて、他の駐車領域に自動車が駐車されている場合に該自動車により遮蔽される遮蔽領域を除外するように、判定対象領域を決定する決定手段と、
前記画像から、それぞれの前記判定対象領域において自動車を検出し、前記検出の結果に基づいて前記複数の駐車領域のそれぞれにおける自動車の駐車の有無を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記複数の駐車領域のそれぞれについて、他の駐車領域に自動車が駐車されている場合であっても該自動車により遮蔽されない非遮蔽領域を前記判定対象領域に決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記画像において、前記自動車の駐車の有無を判定する対象の駐車領域よりも手前側に位置する駐車領域に前記自動車が駐車されているか否かに応じて、前記判定対象領域の大きさを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記決定手段は、前記画像において、前記手前側に位置する駐車領域に前記自動車が駐車されている場合に、前記自動車により遮蔽されない非遮蔽領域を前記判定する対象の駐車領域の前記判定対象領域に決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、前記画像において、前記手前側に位置する駐車領域に前記自動車が駐車されていない場合に、前記判定する対象の駐車領域について、該駐車領域の全体を前記判定対象領域に決定する
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記判定手段は、前記判定対象領域におけるエッジ成分の検出結果に基づき、前記自動車の検出を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記判定手段は、前記判定対象領域の大きさに応じた閾値と、前記エッジ成分の検出結果とを比較し、検出されたエッジ成分量が前記閾値よりも大きい場合に前記自動車が有ると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段が前記複数の駐車領域のそれぞれについて決定した前記判定対象領域を、前記駐車場を撮影した画像において識別可能に示す情報を生成する生成手段を更に備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段が生成した情報を修正する修正手段を更に備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記画像は、前記複数の駐車領域を斜めの位置から撮像した画像であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記取得手段は、前記画像を撮像する撮像手段を含むことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記取得手段は、前記画像を記憶する記憶手段から前記画像を取得することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
画像処理装置の制御方法であって、
複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得工程と、
前記画像について、前記複数の駐車領域のそれぞれについて、他の駐車領域に自動車が駐車されている場合に該自動車により遮蔽される遮蔽領域を除外するように、判定対象領域を決定する決定工程と、
前記画像から、それぞれの前記判定対象領域において自動車を検出し、前記検出の結果に基づいて前記複数の駐車領域のそれぞれにおける自動車の駐車の有無を判定する判定工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項１４】
コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、駐車場の混雑度や空車状況を知る目的で、駐車場の個々の駐車領域に車両（例えば、自動車）が駐車されているか否かを検出するニーズが存在する。個々の駐車領域における車両の有無を検出する方法として、赤外センサなどの車両検出用装置を設置して物体を検出する方法がある。しかし、一般的にこれらの車両検出用装置は検出範囲が限定的であり、大規模な駐車場においては車両検出用装置の設置数が膨大になってしまうおそれがある。一方、個々の駐車領域における車両の有無を検出する他の方法として、駐車領域をカメラで撮影し、撮影画像に画像処理を施して車両が駐車されているか検出する方法がある。この方法においては、複数の駐車領域を撮影することで、一台のカメラによる画像で複数台分の駐車領域における車両の有無を検出できるという利点がある。
【０００３】
ここで、特許文献１は画像処理を利用した車両の検出方法を開示する。図９は、当該検出方法を説明するための図である。図９（Ａ）において画像９００は４台の車両が駐車された駐車枠９０１を撮影した画像を示している。画像処理で車両を検出する場合、処理対象の領域を設定する。駐車枠９０１の場合、対象領域９０２、９０３のようにそれぞれの駐車枠を対象領域として設定し、設定した処理対象領域に対して画像処理を行い車両の有無を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５-３２４９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の車両検出方法により図９に示すような隣接する対象領域９０２、９０３について車両の有無を判定する場合、以下のように誤判定を生ずる場合がある。
【０００６】
まず、図９（Ｂ）のように対象領域９０３に車両が停まっていなければ対象領域９０３は「空車」と判定される。また、図９（Ｃ）のように対象領域９０３に車両９０４が停車している場合、対象領域９０３は「停車中」と判定される。その一方、対象領域９０２に関して、対象領域９０３が空車であれば対象領域９０２も「空車」と正しく判定されるが、対象領域９０３が停車中と判定される場合、対象領域９０３に停車している車両９０４が対象領域９０２上に重なって撮影される。このような場合、重なった部分がノイズとなり、対象領域９０２の駐車状況を正しく判定できず、誤って「停車中」と判定される場合がある。
【０００７】
このように、従来の車両検出方法では、隣接する駐車領域における車両の有無の影響で誤判定が生ずるおそれがある。そこで本発明は、隣接する駐車領域の駐車状況に影響を受けずに駐車状況の判定を行うことを可能とするための技術を提供する。
【課題を解決するための手段】
【０００８】
上述の課題を解決する本発明は、画像処理装置であって、
複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得手段と、
前記画像について、前記複数の駐車領域のそれぞれについて、他の駐車領域に自動車が駐車されている場合に該自動車により遮蔽される遮蔽領域を除外するように、判定対象領域を決定する決定手段と、
前記画像から、それぞれの前記判定対象領域において自動車を検出し、前記検出の結果に基づいて前記複数の駐車領域のそれぞれにおける自動車の駐車の有無を判定する判定手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、隣接する駐車領域の駐車状況に影響を受けずに駐車状況の判定を行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】発明の実施形態に対応する駐車状況判定システムの構成の一例、及び、ネットワークカメラ１０１の配置例を示す図。
【図２】判定方法の一例を説明するための図。
【図３】判定対象領域の決定方法の一例を説明するための図。
【図４】判定対象領域の設定方法の一例を示すフローチャート。
【図５】判定対象領域を示す情報の一例を説明するための図。
【図６】判定対象領域を用いた判定処理の一例を説明するための図。
【図７】判定対象領域の決定方法の一例を説明するための図。
【図８】判定対象領域の設定方法の一例を示すフローチャート。
【図９】従来方法の説明図。
【図１０】図１０（Ａ）は駐車領域の正面にネットワークカメラを配置していることを示す模式図、図１０（Ｂ）は撮影画像の一例を示す図。
【図１１】図１１（Ａ）は、５つの隣接する駐車領域を示す模式図、図１１（Ｂ）は判定対象領域の決定方法の一例を説明するための図。
【図１２】図１２（Ａ）は隣接する５つの駐車領域の各々に自動車が停車している状態を示す模式図、図１２（Ｂ）は、右から２番目の駐車領域にだけ自動車が停車していない状態を示し、図１２（Ｃ）はそれぞれの駐車領域に対する判定対象領域を示す模式図。
【図１３】発明の実施形態に対応する駐車状況判定システムを構成する装置のハードウェア構成の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、発明の実施形態を、添付の図面に基づいて詳細に説明する。
【００１２】
［実施形態１］
図１（Ａ）は、発明の第１の実施形態に係る駐車状況判定システムの構成の一例を示す図である。図１（Ａ）に示す駐車状況判定システム１００は、例えば、撮像装置であるネットワークカメラ１０１と、画像処理により駐車状況の判定を行う画像処理装置１０２と、ディスプレイやキーボードなどの入出力装置１０３と、LANなどのネットワーク１０４とを含むように構成される。
【００１３】
ネットワークカメラ１０１は、撮像した画像データをネットワーク１０４で配信する。また、画像処理装置１０２は、ネットワークカメラ１０１が配信した画像データをネットワーク１０４を介して受信する。また、受信した画像データを解析して駐車状況を判定し、入出力装置１０３に備わったディスプレイなどに判定結果を表示する。本実施形態では、ネットワークカメラ１０１から配信された画像データを解析して駐車状況を判定する構成を説明するが、判定対象の画像データの取得方法はこれに限定されない。例えば、ネットワークカメラ１０１内のストレージ装置や、画像処理装置１０２に接続されたストレージ装置や、ネットワーク１０４に別途接続されたストレージ装置に保存された画像データを画像処理装置１０２が取得し、これらを判定対象としてもよい。
【００１４】
入出力装置１０３は、入力装置として、キーボード、マウス、タッチパネル、ボタン、スイッチ等を含むことができる。また、出力装置として、ディスプレイ、スピーカを含むことができる。入出力装置１０３は、画像処理装置１０２と表示情報転送用ケーブル（たとえばDVIケーブルやHDMI（登録商標）ケーブル）や入力情報転送用ケーブル（たとえばUSB接続用ケーブル）によって有線接続されてもよいし、Bluetooth（登録商標）やWLANのような無線通信プロトコルに従って無線接続されてもよい。あるいは、入出力用の装置を別途準備し、ネットワーク１０４を介して接続する構成としてもよい。
【００１５】
ネットワーク１０４は、ネットワークカメラ１０１と、画像処理装置１０２とを相互に通信可能に接続する。また、ネットワーク１０４は例えばLANとして構成することができるが、無線あるいは専用ケーブルを使用したネットワークを構築しても良い。
【００１６】
以上のネットワークカメラ１０１と、画像処理装置１０２と、入出力装置１０３と、ネットワーク１０４は、図中ではそれぞれ一つのブロックとして図示したが、それぞれが複数のハードウェアから構成されていてもよい。また、図１（Ａ）では、ネットワークカメラ１０１と画像処理装置１０２とがネットワーク１０４を介して接続される構成を示したが、画像処理装置１０２で実行する駐車状況判定処理をネットワークカメラ１０１内で実行できるように、画像処理装置１０２の機能の一部をネットワークカメラ１０１側に持たせてもよい。さらには、図１（Ａ）では、ネットワークカメラ１０１、画像処理装置１０２及び入出力装置１０３を独立した構成として示したが、これらの機能を包含するネットワークカメラとして一体的に構成してもよい。
【００１７】
次に、図１（Ａ）に示した各装置の構成及び動作を説明する。ネットワークカメラ１０１は、通信制御部１０５、データ処理部１０６、画像入力部１０７及び撮像部１０８を含むように構成することができる。通信制御部１０５が、画像処理装置１０２から画像データ要求を受信すると、ネットワークカメラ１０１で生成した画像データをネットワーク１０４を介して配信する。このとき、撮像部１０８は、複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影して動画又は静止画の撮像画像データを画像入力部１０７に出力する。画像入力部１０７は撮像部１０８から入力された撮影画像データに対してA/D変換処理及び所定の現像処理を行ってデータ処理部１０６に出力する。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの処理を含むことができる。データ処理部１０６は、画像入力部１０７から取得した撮像画像データをＭｏｔｉｏｎＪＰＥＧなどのフォーマットに圧縮処理して画像データを生成し、通信制御部１０５に出力する。通信制御部１０５は、当該画像データをネットワーク１０４に送出する。
【００１８】
画像処理装置１０２は、通信制御部１０９、データ処理部１１０、判定部１１１、領域決定部１１２、I/O制御部１１３を含むように構成することができる。画像処理装置１０２がネットワークカメラ１０１から画像データを取得しようとする場合、データ処理部１１０が画像データ取得のための要求コマンドを生成する。データ処理部１１０が生成したコマンドは通信制御部１０９からネットワーク１０４を介してネットワークカメラ１０１に送信される。通信制御部１０９が要求コマンドの応答としてネットワークカメラ１０１から画像データを受信すると、当該画像データはデータ処理部１１０に渡されて処理される。データ処理部１１０は、画像データを判定部１１１において処理することが可能な形式に変換する。本実施形態では、図２を参照して後述するようにエッジ検出処理に基づき画像を２値化データに変換する。判定部１１１は、領域決定部１１２によって決定された判定対象領域において、自動車が停車されているか否かを判定する。判定部１１１における判定結果はI/O制御部１１３を介して入出力装置１０３に出力される。例えば、入出力装置１０３は受信した判定結果をディスプレイ表示することができる。本実施形態では、判定結果を入出力装置１０３のディスプレイに表示出力する場合を説明するが、さまざまなファイル形式別途記録しておく構成を採用することができる。
【００１９】
図１（Ａ）のネットワークカメラ１０１、画像処理装置１０２及び入出力装置１０３において、撮像素子、表示素子、キーボード、タッチパネルのような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
【００２０】
次に、図１（Ｂ）を参照して、ネットワークカメラ１０１による駐車場の撮影状況について説明する。図１（Ｂ）は、本実施形態における、駐車場でのネットワークカメラ１０１の配置例を示す図である。
【００２１】
図１（Ｂ）において、ネットワークカメラ１０１は、監視対象の駐車場１２０を斜めの方向から撮影するような位置に設置される。このとき、駐車場１２０は複数台の自動車を駐車できるように、複数の駐車領域１２１から１２４に区画されている。ネットワークカメラ１０１は、例えば、駐車領域１２１から１２４で構成される矩形の対角線の延長線上、或いは、その付近に配置することができる。本実施形態において「駐車領域」の語は、１台の自動車を駐車するための領域を意味する語として説明する。本実施形態では、自動車４台分の駐車領域が隣接して構成された駐車場を例として説明するが、駐車領域の数を４つとしたのはあくまで例示的目的であって、本発明を適用可能な駐車場に含まれる駐車領域の数は、より多くても、或いは、少なくてもよい。また、図１（Ｂ）では、例示目的により、１台の自動車１２５のみが駐車されている場合を示している。本実施形態では、各駐車領域が線により区画され、かつ、直接に隣接している場合を示しているが、線による区画が成されていなくてもよい。また、所定の間隔をおいて駐車領域が配置されていてもよい。
【００２２】
本実施形態では、図１（Ｂ）のようなネットワークカメラ１０１、駐車領域１２１から１２４、自動車１２５の位置関係において、ネットワークカメラ１０１により近い側で、かつ、自動車１２５のフロント側になるほど、手前側に位置するものとして説明する。例えば、駐車領域１２４は、４つの駐車領域の中で最もネットワークカメラ１０１の近くに位置するので、もっとも手前に存在していることになる。また、駐車領域１２３と駐車領域１２４との関係では、駐車領域１２４は駐車領域１２３の手前に隣接している駐車領域となる。また、駐車領域を規定する矩形形状の４辺や、４頂点のうち、自動車１２５のフロント側に位置する辺、頂点ほど、手前側に位置していることになる。
【００２３】
次に、画像処理装置１０２における駐車状況判定処理の詳細を説明する。まず、図２を参照して、本実施形態において処理対象となる、複数の自動車を駐車可能な複数の駐車領域を有する駐車場の画像について説明する。図２（Ａ）に示す画像２０１は、図１（Ｂ）に示すような位置関係において駐車場１２０をネットワークカメラ１０１で撮像した場合の撮像画像の一例である。本実施形態において、画像は、画像の左上を原点として水平方向にX軸、垂直方向にY軸が設定され、各画素には、当該座標系における位置を示す（ｘ、ｙ）の座標情報が与えられる。
【００２４】
図２（Ａ）の例では、画像２０１には、駐車領域１２１から１２４に対応する領域として、枠線２０２により区切られた４つの駐車領域２０３から２０６が含まれている。ここではまだ自動車は駐車されていない。図２（Ｂ）は、画像２０１について、前述の駐車領域２０３から２０６のうち、駐車領域２０５の枠線の内側に判定対象領域２０７を設定した様子を示している。また、図２（Ｃ）は、設定した判定対象領域２０７上に自動車２０９が停車している状態の一例を示す画像２０８を示している。
【００２５】
次に、図２（Ｄ）及び（Ｅ）は、画像２０１及び画像２０８からエッジ情報を抽出するエッジ検出処理を行ったエッジ検出結果の画像の例を示す。ここでは、エッジ検出結果を２値画像として示している。エッジ画像２１０および２１１において、白色で示された部分は画像２０１及び２０８においてエッジを構成すると判定された画素に該当し、黒色で示された部分はエッジを構成しないと判定された画素に相当する。図２（Ｄ）は、図２（Ｂ）で示したように、自動車が１台も駐車されていない場合のエッジ検出結果を示す一方、図２（Ｅ）は、図２（Ｃ）で示したような判定対象領域２０７に自動車２０９が駐車されている場合のエッジ検出結果を示す。
【００２６】
本実施形態では、判定対象領域内に存在するエッジ成分の多寡によって車の有無を判定する場合を説明する。具体的には、エッジ成分量に関する閾値をあらかじめ定めておき、判定対象領域内に含まれるエッジ成分量が閾値より少なければ「空車」と判定し、閾値以上であれば「駐車中」と判定する。図２（Ｄ）に示す例では、画像２１０は、図２（Ｂ）の画像２０１における判定対象領域２０７に対応する領域内にエッジ成分が存在していないので「空車」と判定される。一方、画像２１１は、判定対象領域２０７に対応する領域内に車のボディやタイヤ等に起因するエッジが含まれており、これらのエッジ成分量が閾値を超える場合には「駐車中」と判定される。
【００２７】
本実施形態では、上述の方法により駐車中の自動車の有無を判定する構成について説明するが、特定の領域内における自動車の有無を判定する方法は、上述の方法に限ったものではなく、種々の方法が利用可能である。
【００２８】
次に、本実施形態に対応する判定対象領域の設定方法について説明する。本実施形態における判定対象領域は、判定対象となる駐車領域に隣接する駐車領域に自動車が停車している場合でも、当該停車中の自動車により影響を受けない範囲を含むように設定することができる。判定対象領域の詳細について、以下では図３を参照して説明する。図３は、本実施形態に対応する、判定対象領域の設定方法を説明するための図である。
【００２９】
図３（Ａ）は、判定対象領域の設定方法の一例を示す図である。ここで、４つの隣接する駐車領域２０３から２０６のうち手前から２番目の太線で示す駐車領域２０５について判定対象領域を設定する場合を説明する。図３（Ａ）において、破線３０１及び３０２は、駐車領域２０５を構成する矩形状の４頂点のうち前面に位置する２つの頂点に設定した垂線を示す。駐車領域２０５の内側において、垂線３０２の右側の領域３０３は、駐車領域２０５に隣接する駐車領域２０６に自動車が停車したときにその自動車が重なって遮蔽されてしまう可能性が高い。一方、垂線３０１と３０２で挟まれた領域３０４は、判定対象となる駐車領域２０５に隣接する駐車領域２０６に自動車が停車していても当該自動車により遮蔽されることはない。このような領域のことを本実施形態では、非遮蔽領域と呼ぶ。一方、自動車により遮蔽されてしまう領域、或いは、駐車領域における非遮蔽領域以外の領域を遮蔽領域と呼ぶ。そして、本実施形態では、駐車領域２０５の判定対象領域を、遮蔽領域を除外して非遮蔽領域である領域３０４に設定することで、手前に隣接する他の駐車領域２０６における自動車の停車の有無にかかわらず、駐車領域２０５における自動車の停車の有無を的確に判定することが可能となる。
【００３０】
次に、図３（Ｂ）及び（Ｃ）を参照して説明する。図３（Ｂ）及び（Ｃ）は、判定対象領域の設定方法の他の一例として、直方体モデルを用いる方法を説明するための図である。この例において、直方体モデルは、駐車される個々の自動車の形状を模式的に示したモデルであって、図３（Ｂ）は隣接する４つの駐車領域２０３から２０６の各々に自動車が停車している状態を直方体モデル３１１から３１４により示している。各直方体モデルの高さは、自動車の一般的な高さからあらかじめ決定しておくことができる。或いは、停車可能な最大のサイズの自動車の高さから決定してもよい。
【００３１】
図３（Ｃ）は、隣接する４つの駐車領域２０３から２０６のうち、手前から２番目の駐車領域２０５にだけ自動車が停車していない状態を示している。この状態において駐車領域２０５における自動車の駐車の有無を判定しようとする場合、手前に隣接する駐車領域２０６に駐車している自動車（直方体モデル３１４）により、駐車領域２０５内の領域のうち領域３２１は遮蔽されてしまう。このように、領域３２１は手前に隣接する駐車領域２０６に自動車が停車した際に当該自動車による影響を受ける遮蔽領域である。その一方、駐車領域２０５内の領域３２２は、手前に隣接する駐車領域２０６に自動車が停車した場合でも当該自動車により遮蔽されない非遮蔽領域である。そこで、非遮蔽領域である領域３２２を駐車領域２０５の判定対象領域に設定することができる。
【００３２】
なお、図３（Ｂ）、（Ｃ）で示した方法では、自動車のモデルとして所定の高さを持った直方体モデルを使用しているが、実際の自動車を模したモデルを使用しても良いし、無限大の高さを持つ四角柱を使用してもよい。
【００３３】
本実施形態では、以上の２通りの手法により、複数の駐車領域２０３から２０６のそれぞれについて、判定対象領域を設定することができる。図３（Ｄ）は、駐車領域２０３から２０６のそれぞれに対して設定された判定対象領域の一例を示している。領域３３１から３３４は、それぞれ設定された判定対象領域である。ここで、一番手前の判定対象領域３３４は、手前側に隣接する駐車領域がないため、駐車領域２０６全面が非遮蔽領域となる。そこで、図３（Ｄ）では駐車領域２０６の全面を判定対象領域としているが、他の領域について設定したのと同様の形状としてもよい。この場合、判定対象の領域が狭くなる分だけ演算負荷を軽減することができる。
【００３４】
図３（Ｅ）は、以上のようにして設定された判定対象領域をネットワークカメラ１０１が撮像した画像に重畳することで、識別可能に表示した場合の表示の一例を示す図である。これにより、ネットワークカメラ１０１のユーザは、駐車場のどの位置において検出を行うのかを視覚的に認識することができる。また、この表示に基づいて、判定対象領域の大きさや形状を調整することもできる。
【００３５】
次に、本実施形態における処理の流れを図４を参照して説明する。本実施形態では、まず判定対象領域の設定を行った後、ネットワークカメラ１０１から受信した画像について自動車の駐車状況を判定する。図４は、画像処理装置１０２における処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、データ処理部１１０、判定部１１１及び領域決定部１１２として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００３６】
まず、Ｓ４０１では、領域決定部１１２はネットワークカメラ１０１から受信した処理対象の画像を処理して、複数の駐車領域を設定する。本実施形態の場合、図２を参照して説明したように、画像２０１から駐車領域２０３から２０６を設定する。例えば、図２（Ａ）に示すような駐車場では、駐車領域２０３から順に選択していくことができる。或いは、駐車領域２０６から逆順であってもよい。続くＳ４０２では、領域決定部１１２は判定対象領域を設定する駐車領域を複数の駐車領域の中から選択する。続くＳ４０３では、領域決定部１１２は選択した駐車領域について、手前に隣接する駐車領域の有無を判定する。例えば、図２（Ａ）の場合、駐車領域２０３から２０５までは、手前に隣接する駐車領域が存在すると判定される。このような場合、処理はＳ４０５に進む。一方、駐車領域２０６は手前に隣接する駐車領域が存在しないと判定される。このような場合、処理はＳ４０４に進む。
【００３７】
手前に隣接する駐車領域が存在するか否かは、各駐車領域を構成する画素の座標情報に基づいて判定することができる。例えば、駐車領域は基本的に矩形形状であり、一定方向に並んでいるので、図１（Ｂ）に示す撮像条件であれば、駐車領域を構成する画素で最大の座標値を有するものを比較すれば、互いの相対的な位置関係を特定することができる。具体的に図２（Ａ）に示す領域２０３から２０６では、各領域を構成する頂点のうち最大の座標値を有するものが、もっとも手前側に位置する。従って、これらの座標値の大きさを比較することにより駐車領域の間において相対的な位置関係を特定することが可能となる。同時に、ある駐車領域に対してどの駐車領域が手前に位置するか、また、手前に隣接しているかを決定することができる。
【００３８】
続くＳ４０４では、領域決定部１１２は選択された駐車領域について判定対象領域を駐車領域全面に設定する。このとき、例えば、領域決定部１１２は当該駐車領域全面に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。また、Ｓ４０５では、領域決定部１１２は選択された駐車領域について判定対象領域を、当該駐車領域における非遮蔽領域に設定する。非遮蔽領域の決定方法は図２を参照して説明した通りである。このとき、例えば、領域決定部１１２は当該非遮蔽領域に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。図５（Ａ）から（Ｄ）は、順に駐車領域２０３から２０６の各駐車領域について生成された、判定対象領域を設定するためのマスクの一例を示す。領域決定部１１２は、各駐車領域について生成したマスク情報を、判定対象領域を特定するための情報として判定部１１１に提供する。
【００３９】
Ｓ４０７では、判定部１１１が、領域決定部１１２から提供されたマスク情報と、データ処理部１１０から提供されたエッジ情報とに基づき、複数の駐車領域のそれぞれについて自動車の駐車の有無を判定する。当該判定は、例えば以下のように行うことができる。まず、エッジ情報と、マスク情報とをそれぞれ構成する画素値について、対応する位置の画素値の間で論理積をとる。このとき、エッジ情報においては、エッジ成分に相当する画素は１の画素値を有し、マスク情報において判定対象領域に含まれる画素は１の画素値を有している。よって、判定対象領域内のエッジ成分については当該論理積により１の値が得られる。一方、判定対象領域外のエッジ成分はマスク情報の画素値が０であるために値は０となる。これにより、判定対象領域内のエッジ成分のみを抽出することが可能になる。そして、判定部１１１は、論理演算結果から、判定対象領域内のエッジ成分について、エッジ成分量（例えば、エッジを構成する画素数）を算出し、閾値と比較することにより、対応する駐車領域に自動車が駐車されているか否かを判定する。当該判定を図５（Ａ）から（Ｄ）に示すような各マスク情報５０１から５０４を用いて行うことにより、判定部１１１は、駐車領域２０３から２０６のそれぞれについて自動車の駐車の有無を判定することができる。
【００４０】
判定部１１１は、判定対象領域の大きさに応じて閾値の大きさを変更することができる。閾値は、判定対象領域毎に設定されてもよい。例えば、判定対象領域を構成する画素数に所定の係数をかけた値を閾値としてもよい。また、判定対象領域の大きさをいくつかのグループに分類し、グループ毎の閾値を設定してもよい。この場合、同一グループに属する大きさを有する判定対象領域には共通の閾値が用いられる。また、エッジ成分量は、判定対象領域におけるエッジ成分の割合（エッジ成分を構成する画素数／判定対象領域を構成する画素数）として求めてもよい。この場合、閾値は割合に対応するものであるので、複数の判定対象領域について共通に設定してもよい。
【００４１】
図６は、駐車領域２０４、２０５についての判定処理の一例を示す図である。図２のエッジ画像２１１が判定部１１１に入力された場合に、マスク情報５０２とマスク情報５０３とを利用した論理演算結果は画像６０１及び６０２のようになる。画像６０１では駐車領域２０４の輪郭を構成するエッジのみが含まれており、駐車領域２０５に駐車されている自動車のエッジ情報は含まれない。よって、判定対象領域内で検出されたエッジ成分量は閾値を下回り、駐車領域２０４には自動車は駐車されていないと判定される。一方、画像６０２では駐車領域２０５に停車されている自動車の輪郭を構成するエッジが含まれる。よって、判定対象領域内で検出されたエッジ成分量は閾値以上となり、駐車領域２０５には自動車は駐車されていないと判定される。
【００４２】
なお、図６では、判定対象となる駐車領域に自動車が止まっていない場合には、駐車領域の輪郭線のエッジ情報が判定対象領域内で検出されているが、当該輪郭線のエッジ情報が判定対象領域内に含まれないように判定対象領域の大きさを調整してもよい。この場合、自動車の有無によるエッジ成分量の差分がより大きくなるので、検出精度をより高めることができる。
【００４３】
続くＳ４０８では、判定部１１１は、得られた判定結果をI/O制御部１１３を介して入出力装置１０３に出力する。例えば、入出力装置１０３は、受信した判定結果に基づいて駐車領域毎の自動車の駐車の有無をディスプレイに表示することができる。
【００４４】
上述した図４のフローチャートでは、まず領域決定部１１２が判定対象領域の設定を行ってから、判定部１１１が駐車領域毎の自動車の駐車の有無を判定する流れとなっている。ここで、領域決定部１１２における領域設定処理は事前に行っておくことで、判定部１１１による判定処理の度に毎回実行しなくてもよい。特に、駐車場の監視のようにネットワークカメラ１０１が固定的に設置される場合、設置時に判定対象領域を設定すればよく、その後は設置場所や角度が変更された場合に判定対象領域を設定し直せばよい。
【００４５】
また、Ｓ４０７における判定処理は、ネットワークカメラ１０１が画像データを出力する度にリアルタイムに実行してもよい。また、ネットワークカメラ１０１が出力した画像データを画像処理装置１０２に接続されたストレージ装置や、ネットワーク１０４に別途接続されたストレージ装置に保存しておき、Ｓ４０７における判定処理を所定のタイミングで実行してもよい。
【００４６】
また、Ｓ４０６の判定処理において全ての駐車領域に判定対象領域が設定されたと判定された後、領域決定部１１２は、設定した判定対象領域を、ネットワークカメラ１０１で撮像した駐車場の実際の画像に重畳して入出力装置１０３で表示することができる。当該表示は、判定対象領域を設定する過程で行ってもよい。当該表示により、駐車領域におけるどの領域が判定対象領域となっているかをユーザが確認することができる。このときの表示結果の一例は図３（Ｅ）に示すようになる。また、当該確認表示の際に、ユーザから入出力装置１０３の所定の入力装置を介して判定対象領域の大きさや形状を変更するための入力を受付け、受付けた指示に応じて領域決定部１１２が判定対象領域を修正してもよい。
【００４７】
また、ここまでは図１（Ｂ）のような配置例における実施形態を説明したが、適用可能な配置はこれに限定されない。たとえば図１０（Ａ）は駐車領域１００１を正面に設置したネットワークカメラ１００２から撮影している配置を示しており、図１０（Ｂ）は図１０（Ａ）のネットワークカメラ１００２で撮影された撮影画像の一例を示している。このような配置における判定対象領域の設定について図１１および図１２を用いて説明する。
【００４８】
図１１（Ａ）は、５つの隣接する駐車領域１１０１から１１０５を示しており、これらの駐車領域に対して判定対象領域を設定する場合を説明する。図１１（Ｂ）において、破線１１０６から１１１１は、駐車領域１１０１から１１０５を構成する矩形状の４頂点のうち前面に位置する頂点に設定した垂線を示す。ここで例えば駐車領域１１０４の内側において、垂線１１０９の左側の領域１１１２は、駐車領域１１０４に隣接する駐車領域１１０３に自動車が停車したときにその自動車が重なって遮蔽されてしまう可能性が高い。一方、垂線１１０９と１１１０で挟まれた領域１１１３は、判定対象となる駐車領域１１０４に隣接する駐車領域１１０３に自動車が停車していても当該自動車により遮蔽されることはない。このようにして、図１１（Ｃ）に示すように駐車領域１１０１から１１０５の判定対象領域１１１４から１１１８を設定することが可能である。
【００４９】
次に、直方体モデルを用いる方法で判定対象領域を設定する場合について図１２を参照して説明する。図１２（Ａ）は隣接する５つの駐車領域の各々に自動車が停車している状態を直方体モデル１２０１から１２０５により示している。図１２（Ｂ）は、隣接する５つの駐車領域のうち、右から２番目の駐車領域にだけ自動車が停車していない状態を示している。この状態において、この駐車領域における自動車の駐車の有無を判定しようとする場合、左に隣接する駐車領域１２０６に駐車している自動車（直方体モデル１２０３）により、領域１２０７は遮蔽されてしまう。その一方、領域１２０８は、左に隣接する駐車領域１２０６に自動車が停車した場合でも当該自動車により遮蔽されないため、領域１２０８を判定対象領域に設定することができる。このようにして、図１２（Ｃ）に示すようにそれぞれの駐車領域に対する判定対象領域１２０９から１２１３を設定することが可能である。
【００５０】
以上のように、図１０（Ａ）のような配置であっても判定対象領域を設定可能である。また、複数台のネットワークカメラを設置して、複数列から成る駐車領域に対して判定を行っても良い。
【００５１】
以上で説明した発明の実施形態によれば、複数の隣接する駐車領域における駐車自動車の有無を１方向から撮影した画像に基づき判定する場合に、他の駐車領域における自動車の有無に影響を受けることなく、個々の駐車領域における自動車の有無を精度良く判定することができる。また、発明によれば、駐車場の混雑度を測定可能になる他、駐車領域毎の駐車有無が判定可能になるため、混雑した駐車場内で空車になっている場所を提示するような駐車状況判定システム１００を構築するうえで好適である。
【００５２】
［実施形態２］
次に、発明の第２の実施形態における判定対象領域の決定方法について説明する。上述の実施形態１では、個々の駐車領域について設定する判定対象領域の大きさは、隣接する駐車領域における自動車の有無にかかわらず固定的であった。これに対し、本実施形態では隣接する駐車領域における自動車の有無に応じて、設定する判定対象領域の大きさを可変とする。
【００５３】
本実施形態における駐車状況判定システム１００の構成及びネットワークカメラ１０１の配置は図１に示した実施形態１におけるものと同様とすることができる。また、画像処理装置１０２における判定対象領域内の自動車の有無を判定する方法についても、図２および図３との関連で説明した方法と同様とすることができる。
【００５４】
以下、本実施形態における判定対象領域の決定方法について、図７を参照して説明する。図７は、本実施形態における判定対象領域の決定方法を説明するための図である。本実施形態においても、判定対象領域を設定する対象となる駐車場の構成は図２に示したものと同様である。図２（Ａ）に示すように、駐車場は複数の駐車領域２０３から２０６を含むように構成されている。これらの駐車領域の各頂点に図３（Ａ）に示した垂線を設定して、これにより各駐車領域を分割すると、図７に示すように駐車領域２０３は、領域７０１、７０５、領域２０４は領域７０２、７０６、領域２０５は領域７０３、７０６にそれぞれ分割されるが、駐車領域２０６は分割されず、全体として領域７０４となる。
【００５５】
実施形態１では、隣接する駐車領域の影響を受けないようにするため、領域７０１から７０４を判定対象領域としていたが、本実施形態では、隣接する駐車領域の駐車有無に応じて判定対象領域を随時変更する。
【００５６】
本実施形態では、画像において一番手前側に位置する駐車領域２０６に対して駐車有無を判定する。このとき、駐車領域２０６は一番手前なので隣接する他の駐車領域における自動車の影響を受けない。そこで駐車領域２０６の判定対象領域７０４は駐車領域全体に設定する。次に、手前から二番目の駐車領域２０５の判定対象領域を決定するが、このとき、駐車領域２０６の判定結果によって判定対象領域を変更する。駐車領域２０６の判定結果が「駐車中」の場合、領域７０６は駐車領域２０６に駐車中の自動車の影響により、少なくとも一部が遮蔽されて遮蔽領域となってしまうため、駐車領域２０５の判定対象領域は７０３のみとする。一方、駐車領域２０６の判定結果が「空車」の場合、領域７０６は影響を受けることがないため、駐車領域２０５の判定対象領域は領域７０３と７０６とを合わせた領域とする。このようにして決定した判定対象領域に基づいて、駐車領域２０５の駐車有無を判定する。以降、駐車領域２０４及び２０３も同じように手前の駐車領域の駐車有無の判定結果に応じて判定対象領域を変更する。
【００５７】
このように本実施形態では、一番手前の駐車領域から順に駐車有無の判定を行っていくが、同様の考え方で、一番後方の駐車領域から順に駐車有無を判定して、判定結果によってその手前の駐車領域の判定対象領域を変更するようにしてもよい。
【００５８】
次に、本実施形態における処理の流れを図８を参照して説明する。図８は、画像処理装置１０２における処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、データ処理部１１０、判定部１１１及び領域決定部１１２として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００５９】
まず、Ｓ８０１では、領域決定部１１２はネットワークカメラ１０１から受信した処理対象の画像を処理して、複数の駐車領域を設定する。本実施形態の場合も、図２を参照して説明したように、画像２０１から駐車領域２０３から２０６を設定する。続くＳ８０２では、領域決定部１１２は判定対象領域を設定する駐車領域を複数の駐車領域の中から選択する。このとき、図２（Ａ）に示すような駐車場では、画像において手前側に位置する駐車領域２０６から順に選択していく。
【００６０】
続くＳ８０３では、領域決定部１１２は選択した駐車領域について、それよりも手前に隣接する駐車領域における駐車有無（「駐車中」または「空車」）の判定結果を参照する。手前に隣接する駐車領域について「駐車中」と判定されている場合には処理はＳ８０５に進み、「空車」と判定されている場合には処理はＳ８０４に進む。なお、選択された駐車領域が駐車領域２０６の場合には、手前に隣接する駐車領域が存在しないので、処理はＳ８０４に進む。
【００６１】
Ｓ８０４では、領域決定部１１２は選択された駐車領域について判定対象領域を駐車領域全面に設定する。このとき、例えば、領域決定部１１２は当該駐車領域全面に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。また、Ｓ８０５では、領域決定部１１２は選択された駐車領域について判定対象領域を、当該駐車領域における非遮蔽領域に設定する。図７に示す例であれば、領域７０１、７０２、７０３のいずれかが判定対象領域となる。非遮蔽領域の決定方法は図２や図７を参照して説明した通りである。このとき、例えば、領域決定部１１２は当該非遮蔽領域に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。図５（Ａ）から（Ｃ）は、順に領域７０１から７０３について生成された、判定対象領域を設定するためのマスクの一例を示す。領域決定部１１２は、生成したマスク情報を、判定対象領域を特定するための情報として判定部１１１に提供する。
【００６２】
続くＳ８０６において、判定部１１１が、領域決定部１１２から提供されたマスク情報と、データ処理部１１０から提供されたエッジ情報とに基づき、選択された駐車領域について自動車の駐車の有無を判定する。ここでの判定方法は実施形態１の図４のフローチャートのＳ４０７について説明した方法と同様であるので記載は省略する。
【００６３】
次に、Ｓ８０７において、領域決定部１１２は、駐車中の自動車の有無を判定していない未判定の駐車領域があるかどうかを判定し、未判定の駐車領域がある場合にはＳ８０２に戻り、上記処理を繰り返す。一方、未判定の駐車領域がない場合には処理はＳ８０８に進む。続くＳ８０８では、判定部１１１は、得られた判定結果をI/O制御部１１３を介して入出力装置１０３に出力する。入出力装置１０３は、受信した判定結果に基づいて駐車領域毎の自動車の駐車の有無を表示することができる。
【００６４】
以上で説明した発明の実施形態によれば、隣接する駐車領域における駐車中の自動車の有無に応じた判定対象領域を設定して、判定をおこなうことが可能となる。
【００６５】
次に、以上の実施形態１及び実施形態２の駐車状況判定システム１００を構成する装置のハードウェア構成について説明する。図１３（A）は、駐車状況判定システム１００を構成する画像処理装置１０２のハードウェア構成の一例を示すブロック図である。
【００６６】
図１３（Ａ）において、ＣＰＵ１３００は、ハードディスク装置（以下、ＨＤと呼ぶ）１３０５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ１３０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。CPU１３００は、対応するプログラムを実行することによりデータ処理部１１０、判定部１１１、領域決定部１１２として機能し、上述した図４及び図８における処理を実行することができる。
【００６７】
ＲＯＭ１３０１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ１３０２は各種データを一時記憶し、ＣＰＵ１３００の主メモリ、ワークエリア等として機能する。また、ネットワークカメラ１０１から受信した情報を一時的に記憶する。
【００６８】
外部記憶ドライブ１３０３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）１３０４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア１３０４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。
【００６９】
外部記憶装置１３０５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ１３０５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。
【００７０】
指示入力装置１３０６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置１３０７は、指示入力装置２１６から入力されたコマンドや、それに対する画像処理装置１０２の応答出力等を出力する。出力装置１３０７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス１３０９は、装置内のデータの流れを司る。
【００７１】
インタフェース（以下、Ｉ／Ｆという）１３０８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ１３０８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００７２】
本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ１３０５からＲＡＭ１３０２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ１３０１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ１３００で実行することも可能である。さらに、メディア１３０４から対応プログラム及び関連データを直接ＲＡＭ１３０２にロードして実行させることもできる。
【００７３】
次に、図１３（B）は、駐車状況判定システム１００を構成するネットワークカメラ１０１のハードウェア構成の一例を示すブロック図である。CPU１３１０、ROM１３１１、RAM１３１２、HD１３１５、指示入力装置１３１６、Ｉ／Ｆ１３１８、システムバス１３１９は、図１３（Ａ）で説明したCPU１３００、ROM１３０１、RAM１３０２、HD１３０５、指示入力装置１３０６、Ｉ／Ｆ１３０８、システムバス１３０９と同様の機能を有するので説明を省略する。なお、ＣＰＵ１３１０は、対応するプログラムを実行することによりデータ処理部１０６として機能することができる。カメラ部１３２０は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するCMOS等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するA/D変換器、現像処理部を含んで構成される。カメラ部１３２０は、図１（Ａ）の撮像部１０８及び画像入力部１０７に対応する構成である。
【００７４】
（その他の実施形態）
以上、第１および第２の実施形態として発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
１００：駐車状況判定システム、１０１：ネットワークカメラ、１０２：画像処理装置、１０３：入出力装置
【図１】
2019091169.tif 000003
【図２】
2019091169.tif 000004
【図３】
2019091169.tif 000005
【図４】
2019091169.tif 000006
【図５】
2019091169.tif 000007
【図６】
2019091169.tif 000008
【図７】
2019091169.tif 000009
【図８】
2019091169.tif 000010
【図９】
2019091169.tif 000011
【図１０】
2019091169.tif 000012
【図１１】
2019091169.tif 000013
【図１２】
2019091169.tif 000014
【図１３】
2019091169.tif 000015