(57)【要約】  【課題】  曖昧かつ不確定な情報に基づいて、特定の車両画像を容易にかつ効率的に検索することが可能な車両検索システムを提供する。  【解決手段】  路上に設置された定点カメラ１０により撮影された車両画像を、少なくとも撮影日時情報および撮影場所情報と関連付けて蓄積する画像データベース２２と、車両画像から特徴情報（車体色、形状等）を抽出する画像認識部３２と、撮影日時情報、撮影場所情報、および特徴情報の少なくともいずれか一つに基づいて、画像データベース２２から車両画像を選択する画像データ管理部２１と、選択された車両画像を、撮影日時情報、撮影場所情報、および特徴情報の少なくともいずれかの類似度に応じた配置で、ディスプレイ３４上の二次元空間または疑似三次元空間に表示する表示処理部３３とを備えた車両検索システム。【選択図】  図１
2010176706.tif 000002
【特許請求の範囲】
【請求項１】
路上に設置された定点カメラにより撮影された車両画像を、少なくとも当該車両画像の撮影日時情報および撮影場所情報と関連付けて蓄積する画像データベースと、
前記車両画像から、車両の特徴を表す特徴情報を抽出する画像認識部と、
前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくともいずれか一つに基づいて、前記画像データベースから車両画像を選択する画像検索部と、
前記画像検索部により選択された車両画像を、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくともいずれか一つの類似度に応じた配置で、ディスプレイ上の二次元空間または疑似三次元空間に表示する表示処理部とを備えたことを特徴とする車両検索システム。
【請求項２】
前記表示処理部が、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の全てに基づいて車両画像の類似度を判定し、類似する車両画像同士を近隣に配置する、請求項１に記載の車両検索システム。
【請求項３】
前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくとも一つについて、絞り込み条件を入力させる条件指定部をさらに備え、
前記表示処理部が、前記二次元空間または疑似三次元空間に表示された車両画像のうち、前記条件指定部により入力された絞り込み条件に合致する車両画像のみを表示する、請求項２に記載の車両検索システム。
【請求項４】
前記表示処理部において表示する車両画像の数の上限値を指定させる表示制限指定部をさらに備え、
前記表示処理部が、前記条件指定部により入力された絞り込み条件に合致する車両画像を、前記上限値を超えない数の車両画像からなる車両画像群に分割し、分割された車両画像群を一群ずつ表示する、請求項３に記載の車両検索システム。
【請求項５】
前記二次元空間または疑似三次元空間に表示された車両画像のいずれかが選択されると、前記表示処理部が、選択された車両画像を基準画像として、当該基準画像に対する類似度順または時間順に車両画像を再配置して表示する、請求項２に記載の車両検索システム。
【請求項６】
前記表示処理部において表示する車両画像の数の上限値を指定させる表示制限指定部をさらに備え、
前記表示処理部が、車両画像を、基準画像に対する類似度が高い順に、前記上限値を超えない数の車両画像からなる車両画像群に分割し、分割された車両画像群を一群ずつ表示する、請求項４に記載の車両検索システム。
【請求項７】
路上に設置された定点カメラにより撮影された車両画像を、少なくとも当該車両画像の撮影日時情報および撮影場所情報と関連付けて蓄積する画像データベースに対し、少なくとも前記日時情報および前記撮影場所情報のいずれかに基づいた検索要求を出す処理と、
前記画像データベースから前記検索要求に応じて抽出された車両画像を受け取り、メモリに格納する処理と、
前記メモリに格納された車両画像を、前記撮影日時情報、前記撮影場所情報、および、車両画像の特徴を表す特徴情報の少なくともいずれか一つの類似度に応じた配置で、ディスプレイ上の二次元空間または疑似三次元空間に表示する処理とをコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路上に設置した定点カメラによって撮像された車両の画像を利用して車両を追跡するためのシステムに関し、特に、車両の車体色等の曖昧な情報を手掛かりとして、対象車両を効率的に検索することが可能な車両検索システムおよび車両検索方法並びにこれを実現するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、道路を走行する車両を撮像する技術が提案されている。例えば、特許文献１（特開２００１−２１１３８３号公報）には、環境光を考慮し、道路を走行する車両を撮像する装置が開示されている。
【０００３】
また、車両の画像から車番を認識する技術も、従来提案されている。例えば、特許文献２（特開２００１−２７３４６１号公報）には、道路上で撮影した車両の画像より、ナンバープレートの文字を高精度で読み取り認識する装置が開示されている。
【０００４】
また、車番以外に、車両の画像から車色や車種等の特徴を認識する技術も、従来提案されている。例えば、特許文献３（特開２０００−２２２６７３号公報）には、車両の画像データから、ボンネット等の車両の塗色を判定するための判別エリアを抽出し、判別エリアの色名を判定する装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２１１３８３号公報
【特許文献２】特開２００１−２７３４６１号公報
【特許文献３】特開２０００−２２２６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、検索対象となる車両情報を、検索条件として正確に指定できることはあまり多くない。車番はもちろんのこと、車種や車体色についても、例えば「白っぽいセダン」というように、曖昧にしか表現できないことがほとんどである。
【０００７】
また、特定の車両の車体色や車種を検索条件として与えたとしても、撮影され蓄積された膨大な量の画像から、検索条件に一致する車両を検索することは容易ではない。例えば、通行量の多い地点のカメラでは、通過車両の画像が数千枚にも及ぶことがある。たとえ、上記の特許文献３に記載の装置のように車両の画像を色別に分類できたとしても、該当する車体色の画像を１枚ずつ（あるいは画面に表示できる範囲で数枚ずつ）表示させて特定の車両を目視で検索するためには、かなりの時間を要する。従って、定点カメラによる撮影画像の中に特定の車両の画像を発見できたときには、当該車両は既にどこかへ移動してしまっており、移動した方向も特定不可能という状況に陥ることが予想される。すなわち、従来は、不確定な情報に基づいた検索によって車両を特定することは、非常に困難であった。
【０００８】
本発明は、上記問題点を解決するために、曖昧かつ不確定な情報に基づいて、特定の車両画像を容易にかつ効率的に検索することが可能な車両検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明にかかる車両検索システムは、路上に設置された定点カメラにより撮影された車両画像を、少なくとも当該車両画像の撮影日時情報および
撮影場所情報と関連付けて蓄積する画像データベースと、前記車両画像から、車両の特徴を表す特徴情報を抽出する画像認識部と、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくともいずれか一つに基づいて、前記画像データベースから車両画像を選択する画像検索部と、前記画像検索部により選択された車両画像を、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくともいずれか一つの類似度に応じた配置で、ディスプレイ上の二次元空間または疑似三次元空間に表示する表示処理部とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明にかかる車両検索システムによれば、多数の車両画像を、撮影日時情報、撮影場所情報、および特徴情報の少なくともいずれか一つの類似度に応じた配置で、ディスプレイ上の二次元空間または疑似三次元空間に表示することにより、特徴情報が曖昧であったとしても、類似する車両画像の検索が容易である。これにより、曖昧かつ不確定な情報に基づいて、特定の車両画像を容易にかつ効率的に検索することが可能な車両検索システムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態にかかる車両検索システムの概略構成を示すブロック図である。
【図２】（ａ）は、本発明の一実施形態にかかる車両検索システムにおける車両画像の一例を示す説明図である。（ｂ）は、（ａ）に示す車両画像の垂直方向の輝度分布を示すグラフである。
【図３】本発明の一実施形態にかかる車両検索システムにおける車両情報のデータ構造の一例を示す説明図である。
【図４】本発明の一実施形態にかかる車両検索システムにおける二次元空間表示の一例を示す説明図である。
【図５】本発明の一実施形態にかかる車両検索システムにおける疑似三次元空間表示の一例を示す説明図である。
【図６】本発明の一実施形態にかかる車両検索システムを利用した車両検索方法の手順を示すフローチャートである。
【図７】本発明の他の実施形態にかかる車両検索システムの概略構成を示すブロック図である。
【図８】本発明のさらに他の実施形態にかかる車両検索システムの概略構成を示すブロック図である。
【図９】本発明のさらに他の実施形態にかかる車両検索システムにおける二次元空間表示の一例を示す説明図である。
【図１０】本発明のさらに他の実施形態にかかる車両検索システムを利用した車両検索方法の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
本発明にかかる車両検索システムは、路上に設置された定点カメラにより撮影された車両画像を、少なくとも当該車両画像の撮影日時情報および撮影場所情報と関連付けて蓄積する画像データベースと、前記車両画像から、車両の特徴を表す特徴情報を抽出する画像認識部と、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくともいずれか一つに基づいて、前記画像データベースから車両画像を選択する画像検索部と、前記画像検索部により選択された車両画像を、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくともいずれか一つの類似度に応じた配置で、ディスプレイ上の二次元空間または疑似三次元空間に表示する表示処理部とを備えた構成である。
【００１３】
上記の構成において、前記表示処理部が、前記車両画像を二次元空間または疑似三次元空間に表示する場合は、前記車両画像、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の全てに基づいて車両画像の類似度を判定し、類似する車両画像同士を近隣に配置することが好ましい。ＸＹ平面上で、類似する車両画像が近隣に配置されることにより、多数の車両画像があったとしても、類似画像を効率的に検索することができるからである。
【００１４】
さらに、上記の構成において、前記撮影日時情報、前記撮影場所情報、および前記特徴情報の少なくとも一つについて、絞り込み条件を入力させる条件指定部をさらに備え、前記表示処理部が、前記二次元空間または疑似三次元空間に表示された車両画像のうち、前記条件指定部により入力された絞り込み条件に合致する車両画像のみを表示することが好ましい。操作者が条件を指定して表示する車両画像の数を絞り込むことにより、検索スピードを向上させることができるからである。
【００１５】
さらに、上記の構成において、前記表示処理部において表示する車両画像の数の上限値を指定させる表示制限指定部をさらに備え、前記表示処理部が、前記条件指定部により入力された絞り込み条件に合致する車両画像を、前記上限値を超えない数の車両画像からなる車両画像群に分割し、分割された車両画像群を一群ずつ表示することが好ましい。絞り込み条件に合致する車両画像の数が多い場合に、表示する車両画像数を制限することにより、視認性を損なうことなく、効率的な画像検索が可能となるからである。
【００１６】
さらに、上記の構成において、前記二次元空間または疑似三次元空間に表示された車両画像のいずれかが選択されると、前記表示処理部が、選択された車両画像を基準画像として、当該基準画像に対する類似度順または時間順に車両画像を再配置して表示することが
好ましい。これにより、二次元空間または疑似三次元空間に表示された車両画像から目的の車両画像をより効率的に検索することが可能となるからである。
【００１７】
さらに、上記の構成において、前記表示処理部において表示する車両画像の数の上限値を指定させる表示制限指定部をさらに備え、前記表示処理部が、車両画像を、基準画像に対する類似度が高い順に、前記上限値を超えない数の車両画像からなる車両画像群に分割し、分割された車両画像群を一群ずつ表示することが好ましい。絞り込み条件に合致する車両画像の数が多い場合に、表示する車両画像数を制限することにより視認性を損なうことがなく、かつ、基準画像に対する類似度が高い順に車両画像群を分割することにより、より効率的な画像検索が可能となるからである。
【００１８】
また、上記の目的を達成するために、本発明にかかるコンピュータプログラムは、路上に設置された定点カメラにより撮影された車両画像を、少なくとも当該車両画像の撮影日時情報および撮影場所情報と関連付けて蓄積する画像データベースに対し、少なくとも前記日時情報および前記撮影場所情報のいずれかに基づいた検索要求を出す処理と、前記画像データベースから前記検索要求に応じて抽出された車両画像を受け取り、メモリに格納する処理と、前記メモリに格納された車両画像を、前記撮影日時情報、前記撮影場所情報、および、車両画像の特徴を表す特徴情報の少なくともいずれか一つの類似度に応じた配置で、ディスプレイ上の二次元空間または疑似三次元空間に表示する処理とをコンピュータに実行させることを特徴とする。
【００１９】
このコンピュータプログラムを、コンピュータで実行させることにより、当該コンピュータで、曖昧かつ不確定な情報に基づいて、特定の車両画像を容易にかつ効率的に検索することが可能となる。
【００２０】
以下、本発明にかかる車両検索システムのより具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが、発明にかかる「車両」とは、自動車に限定されず、路上を走行するあらゆる種類の乗り物を含む。
【００２１】
（実施の形態１）
図１は、本発明の一実施形態にかかる車両検索システムの概略構成を示すブロック図である。
【００２２】
図１に示すように、本実施形態の車両検索システムは、路上に設置された複数のカメラ（定点カメラ）１０と接続されるコンピュータシステムであって、画像蓄積サーバ２０と、クライアント３０とを備えている。なお、図１では図示を省略しているが、カメラ１０と画像蓄積サーバ２０との間、および、画像蓄積サーバ２０とクライアント３０との間には、通信ネットワークが介在している。この通信ネットワークは、セキュリティの観点からは専用線であることが好ましいが、公衆網を利用したネットワークであっても良く、無線ネットワークであっても良い。さらに、図１には、クライアント３０を１つのみ図示したが、画像蓄積サーバ２０に複数のクライアント３０が接続された構成であっても良い。
【００２３】
カメラ１０は、路上に設置されており、撮影領域内を車両が通行する毎にこれを認識し、当該車両の画像を自動的に撮影するようになっている。定点カメラ１０の数および設置場所は任意である。定点カメラ１０で撮影された各々の車両画像は、撮影日時情報および撮影場所情報と共に、前述の通信ネットワークを介して、車両検索システムの画像蓄積サーバ２０へ送られる。撮影場所情報は、各定点カメラ１０の設置された場所を表すコード等である。
【００２４】
画像蓄積サーバ２０は、画像データ管理部２１と、画像データベース２２とを備えている。画像データ管理部２１は、画像データベース２２に対する画像の格納、検索、および読み出しを管理する。画像データ管理部２１は、カメラ１０から送られた車両画像を受け取り、受け取った車両画像を、その撮影日時情報および撮影場所情報と関連付けて、画像データベース２２へ格納する。画像データ管理部２１は、必要に応じて、画像データベース２２への蓄積前に、車両画像のデータ圧縮処理等を行うようにしても良い。
【００２５】
クライアント３０は、例えばパーソナルコンピュータ等で実現可能であり、例えば車両検索を行う業者（警備会社等）の本部センター等に設置される。クライアント３０は、検索条件指定部３１と、画像認識部３２と、表示処理部３３とを有する。クライアント３０には、ディスプレイ３４および図示しないプリンタ等の周辺機器が接続されている。
【００２６】
検索条件指定部３１は、例えばキーボードやマウス等の入力デバイス（図示せず）を用いて操作者が入力した検索条件を、画像蓄積サーバ２０へ送る。本実施形態の車両検索システムでは、例えば特定の車両を検索する場合、操作者は、検索開始時に検索対象車両が居た地点や検索対象車両が移動した方向等から、例えば、検索対象車両を撮影している可能性があるカメラ１０の設置場所や、検索対象車両が撮影されたと推定される時間帯を推定し、検索条件として入力すれば良い。なお、設置場所と時間帯との両方を検索条件としても良いし、いずれか一方のみを検索条件としても良い。
【００２７】
検索条件指定部３１から検索条件が送信されると、画像蓄積サーバ２０の画像データ管理部２１は、与えられた検索条件に基づいて画像データベース２２を検索する。このとき、画像データ管理部２１は、画像データベース２２において車両画像に関連づけて記憶されている撮影日時情報および撮影場所情報と、検索条件として与えられた情報とを比較することにより、与えられた検索条件に合致する車両画像を抽出する。そして、抽出された車両画像は、画像データ管理部２１によりクライアント３０へ送信される。この時、抽出された車両画像に関連付けられている撮影日時情報および撮影場所情報も、車両画像と共にクライアント３０へ送られる。
【００２８】
クライアント３０では、前述のように画像データベース２２から抽出された車両画像を受信し、受信した車両画像およびそれに対応する撮影日時情報および撮影場所情報をメモリ３５へ格納する。そして、画像認識部３２が、メモリ３５から車両画像を一つずつ取り出し、特徴情報の抽出を行う。特徴情報としては、画像自身の特徴（例えばＨＳＩヒストグラム特徴量等）、車両の色、車両の形状等が用いられる。
【００２９】
例えば、車両画像から車体色を認識する方法を、図２（ａ）および図２（ｂ）を参照しながら説明する。なお、この方法は、車両画像から特徴情報としての車体色を認識する例の一つに過ぎず、本発明をこの具体例にのみ限定するものではない。車体色の認識方法については、前述した特許文献３（特開２０００−２２２６７３号公報）に記載された方法を含めて様々な公知技術が存在しており、それらの任意の方法を本発明に適用することが可能である。
【００３０】
図２（ａ）は、カメラ１０により前方斜め上方から撮影された車両画像の一例である。この車両画像の垂直方向に画素の輝度信号をスキャンすると、図２（ｂ）のようになる。図２（ａ）と図２（ｂ）とを比較することから分かるように、図２（ａ）における領域ａは、車両の前端部の下の地面に車両の影ができていることから、図２（ｂ）のａの範囲に表れているように画素の輝度が小さい。また、図２（ａ）における領域ｂは、車両の前面のグリル部分であって、凹凸構造が多いため、図２（ｂ）のｂの範囲に表れているように画素の輝度変化が激しい部分である。図２（ａ）における領域ｃは、ボンネット部分であって、図２（ｂ）のａの範囲に表れているように輝度がほぼ一定である。また、図２（ａ
）における領域ｄはフロントガラス部分であってカメラ１０で撮影すると黒く写るので、図２（ｂ）のｄの範囲に表れているように輝度が小さい。従って、輝度がほぼ一定となるｃの領域の輝度レベルによって、車体色を認識することが可能である。本実施形態では、車体色を、白、黒、シルバー、赤、黄、青、緑等の７色のいずれかに判定する。なお、判定可能な車体色の種類および数はこの具体例にのみ限定されるものではなく、任意である。
【００３１】
本実施形態の車両検索システムでは、画像認識部３２は、車体色の候補を第三位まで決定する。光の加減等で、本来の車体色と異なった色で撮影される場合があるからである。これにより、車体がシルバーの車両の画像から、例えば、第一位がシルバー、第二位が白、第三位が黒、のように車体色が認識されることとなる。
【００３２】
また、画像認識部３２が、車体色の他に、車体の形状等も特徴情報として抽出するようにしても良い。車体の形状は、例えば、車両画像内で車体部分が占める面積の大きさ等で判断することができる。あるいは、例えば速度灯があれば、大型トラックであると判断することができる。なお、形状についても、車体色と同様に、複数候補を判定しても良い。
【００３３】
画像認識部３２は、以上のように抽出した特徴情報を、車両画像と関連付けてメモリ３５に格納する。ここで、メモリ３５に格納されている情報（車両情報）の構造例を、図３に示す。
【００３４】
図３に示すように、車両情報は、車両画像と、そのメタ情報として、撮影日時情報、撮影場所情報、車体色（第一位）、車体色（第二位）、車体色（第三位）、形状（第一位）、形状（第二位）、形状（第三位）等を含む。ここには図示されていないが、カメラ１０または画像認識部３２によってナンバープレートから車番を認識可能であれば、メタ情報として、車番情報をさらに含んでも良い。
【００３５】
画像認識部３２により、メモリ３５の全ての車両画像について特徴情報の抽出およびメモリ３５への格納が完了すると、表示処理部３３は、メモリ３５に格納された全ての車両画像を、例えば図４に示すような態様で二次元空間（ＸＹ平面）に配置して、ディスプレイ３４に表示する。このとき、表示処理部３３は、類似する車両画像同士がＸＹ平面上において近くに配置されるよう、各車両画像の表示位置を決定する。このように、類似する車両画像同士が近くに配置されるように表示することにより、特徴情報に合致する車両画像を探しやすくなる。なお、車両画像の類似度を、車両情報のどの項目に基づいて判断するかは、以下に説明するように、操作者が指定することができる。
【００３６】
また、操作者は、この表示画面上で、特徴情報に合致すると思われる車両画像を発見した場合は、その車両画像をクリックすることにより、クリックされた車両画像を、参照画像ウィンドウ５６（後述）に拡大表示させることができる。さらに、参照画像ウィンドウ５６に表示させた車両画像に類似する車両画像を、より分かりやすい状態で、疑似三次元空間に表示させることもできる（詳細は後述）。
【００３７】
なお、図４に示すように、表示画面の右側には、表示画面をスクロールさせるためのスクロールキー５１、表示させたい車両画像の数を指定する件数指定欄５２、表示方法を指定する表示方法指定欄５３、注目する特徴情報の要素を指定する注目要素欄５４、絞り込み条件を指定する絞り込み条件欄５５、参照画像が表示される参照画像ウィンドウ５６、検索キーワードを入力して検索を実行するための検索ウィンドウ５７等が表示される。
【００３８】
例えば、操作者がスクロールキー５１を操作すれば、表示処理部３３が、表示画面を上下左右にスクロールさせたり、拡大／縮小させたりする。また、操作者が件数指定欄５２
に件数を入力すれば、表示処理部３３が、一画面に表示させる車両画像の数を増減させる。また、表示方法指定欄５３では、「平面に配置」、「似ている順」、「時間順」等の表示方法を選択することができる。図４の表示例は、「平面に配置」が選択されている場合の例である。「似ている順」、「時間順」が選択された場合の表示例については後述する。
【００３９】
注目要素欄５４では、図３に示したような車両情報のどの項目を利用して配置の順序付けを行うかを選択できる。例えば、「全データ」、「画像のみ」、「車体色」、「形状」、「車体色および形状」等を選択できる。「全データ」を選択すると、表示処理部３３は、図３に示した車両情報の全ての項目に基づいて車両画像の類似度を判断し、表示画面上での配置順序を決定する。「画像のみ」を選択すると、車両画像自身の情報（例えばＨＳＩヒストグラム特徴量等）に基づいて類似度が判断される。「車体色」または「形状」あるいは「車体色および形状」が選択された場合は、車両情報中のこれらの項目に従って車両画像の類似度が判断される。
【００４０】
さらに、操作者は、絞り込み条件欄５５において、車体色または形状について、条件を指定することができる。この欄に条件が指定されると、表示処理部３３は、指定された条件に合致する車両画像のみをメモリ３５から抽出し、ディスプレイ３４に表示する。絞り込み条件欄５５には、複数条件を指定することができ、その条件をＡＮＤ条件とするか、ＯＲ条件とするかを指定することもできる。
【００４１】
また、前述したとおり、本実施形態の車両検索システムでは、画像認識部３２が車両画像から車体色を認識する際に、第一位から第三位までの候補色を判定するようになっている。そこで、例えば、車体色が白であることが分かっている場合は、「車体色（第一位）＝白」という条件を設定すれば良い。一方、例えば、検索条件として与えられた特徴情報が「白っぽい車」のように曖昧であった場合は、「車体色（第一位）＝白」という条件と、「車体色（第二位）＝白」という条件をＯＲ条件として指定することにより、曖昧な特徴情報に対応した検索が可能である。さらに、車体色と形状の両方が分かっている場合は、例えば「車体色（第一位）＝白」、「形状＝セダン」という二つの条件をＡＮＤ条件として指定すれば良い。このように、特徴情報に応じて絞り込みを行うことで、不要な車両画像を除外することができるので、検索のスピード向上に繋がる。
【００４２】
参照画像ウィンドウ５６には、操作者がカーソルでポイントした車両画像が拡大して表示される。検索ウィンドウ５７では、車両情報に含まれる車両画像以外の情報について、テキスト検索が可能である。例えば、車両情報として車番も格納されており、検索対象車両の車番が分かっている場合には、車番をキーとして検索を行うことができる。また、撮影場所情報や、車体色、形状を検索キーとして検索することもできる。
【００４３】
また、図４に示す画面の左下には、ファイルのアイコンが表示されている。操作者が、注目する車両画像をこのアイコン上へドラッグしてドロップすることにより、注目する車両画像だけをまとめて保管することができる。
【００４４】
ここで、表示方法指定欄５３において「似ている順」または「時間順」を選択した場合の表示例について説明する。操作者が、図４に示した二次元空間表示画面において、いずれかの車両画像をクリックした後に、表示方法指定欄５３で「似ている順」を選択すると、表示処理部３３は、ディスプレイ３４の画面を、図５に示すような疑似三次元空間表示に切り替える。この疑似三次元空間は、ディスプレイ３４の表示面がＸＹ平面であり、奥行き方向がＺ軸方向となる。そして、表示処理部３３は、先ほどクリックされた車両画像を、参照画像（基準画像）として参照画像ウィンドウ５６に表示すると共に、疑似三次元空間においてＺ軸上で最も手前に表示する。さらに、他の車両画像を、前記基準画像に類
似度が高いものほどＺ軸上で手前になるように、並べて配置して表示する。なお、Ｚ軸上での座標は、遠近法により、画像の大きさによって表現する。
【００４５】
また、この疑似三次元空間表示画面で、基準画像とは異なる車両画像（奥に表示されている車両画像）をドラッグして参照画像ウィンドウ５６へドロップすれば、表示処理部３３は、参照ウィンドウ５６へドロップされた車両画像を新たな基準画像として、他の車両画像を、新たな基準画像に類似度が高い順に並べ替えて再表示する。
【００４６】
このように、基準画像を最も手前に表示すると共に、基準画像と類似度が高いものほど手前になるように車両画像を奥行き方向に並べて表示することにより、例えば、検索対象車両に近いと思われる車両画像を基準画像として選択すれば、その画像に似ている車両画像が近くに表示されることとなる。これにより、基準画像として選択した車両が検索対象車両と一致しなかったとしても、その近くに検索対象車両の画像が表示されている可能性が高いので、車両の検索効率を向上させることができる。
【００４７】
また、表示方法指定欄５３において「時間順」が選択されると、表示処理部３３は、車両情報に含まれる撮影日時情報に従い、撮影された時間の順に、車両画像を疑似三次元空間のＺ軸上に並べて表示する。
【００４８】
なお、疑似三次元空間表示の状態からも、上述のように、絞り込み条件欄５５に車体色または形状に関する条件を指定することによって、表示される車両画像の絞り込みを行うことができる。
【００４９】
さらに、疑似三次元空間に表示されたいずれかの車両画像を操作者が左クリックすると、表示処理部３３が、クリックされた車両画像をＺ軸上の最前面に異動させて拡大表示すると共に、その車両画像のメタ情報（撮影日時、撮影場所、車体色、形状、車番等）を、例えばポップアップウィンドウのような態様で車両画像に並べて表示することも好ましい。このように、注目画像を拡大表示することにより、例えば交通事故を起こした車両を検索対象車両とした場合に、車体の凹みやフロントガラスの破損等の異常を発見しやすくなり、不審車の迅速な特定に効果を奏する。また、メタ情報を並べて表示することにより、操作者は、車両画像とメタ情報とを対照して特定の車両を検索することができる。
【００５０】
以上のように、本実施形態にかかる車両検索システムでは、カメラ１０で撮影された車両画像を画像蓄積サーバ２０に蓄積しておく。そして、クライアント３０から撮影日時情報または撮影場所情報が検索条件として入力されると、検索条件に合致する車両画像を抽出し、クライアント３０へ送る。さらに、クライアント３０において、車両画像そのものの類似度や、車体色、形状等の特徴情報に基づいて、車両画像の類似度を決定し、決定された類似度に応じて二次元空間または疑似三次元空間に車両画像を表示する。これにより、本実施形態にかかる車両検索システムでは、曖昧な特徴情報に基づいた車両画像の検索を、効率的に実行することが可能である。
【００５１】
ここで、本実施形態にかかる車両検索システムを利用して、例えば交通事故を起こした車両を検索する方法の手順を、図６を参照しながら説明する。
【００５２】
まず、特徴情報等により、検索対象車両の固有情報（例えば車番）が明らかである場合は（ステップＳ１においてＮｏ）、検索ウィンドウ５７にその車番を入力することにより、当該車両の車両画像がシステム内に蓄積されているかどうかを検索する（ステップＳ２）。
【００５３】
検索対象車両の固有情報が不明である場合は（ステップＳ１においてＹｅｓ）、クライ
アント３０の検索条件指定部３１より、場所または時間を指定することにより、画像データベース２２から該当する車両画像を抽出し、ディスプレイ３４に二次元空間表示する（ステップＳ３）。
【００５４】
さらに、検索対象車両の車体色または形状に関する特徴情報（不確定情報）がない場合は（ステップＳ４においてＮｏ）、例えば疑似三次元空間表示において表示方法を時間順とすること等により、例えば車体に凹みがあったりフロントガラスが破損していたりする不審車がないかを操作者が目視で検索する（ステップＳ５）。
【００５５】
一方、検索対象車両の車体色または形状に関する特徴情報（不確定情報）がある場合は（ステップＳ４においてＹｅｓ）、絞り込み条件欄５５にそれらの情報を入力することにより、車体色や形状が特徴情報に合致する車両を絞り込んで表示させ、それらの中に不審車がないかを操作者が目視で検索する（ステップＳ７）。
【００５６】
ステップＳ２，Ｓ５，またはＳ７の結果、不審車の画像を発見できた場合は、当該不審車のメタ情報（撮影日時、撮影場所、車体色、形状、車番等）に基づいて、本部センターから各方面へ、当該車両の確保のために必要な連絡をする（ステップＳ８）。なお、クライアント３０が、ステップＳ８の連絡も行えるようにしても良い。この場合は、クライアント３０から、巡回警備車両等の車載コンピュータや要員の携帯電話等へ、当該車両画像とメタ情報を含むテキストメッセージ等を送信すれば良い。  一方、ステップＳ７において不審者の画像を発見できなかった場合は、別の車両画像を参照画像としたり、検索条件として他の条件を指定する等して、再検索を行う（ステップＳ９）。
【００５７】
（実施の形態３）
本発明のさらに他の実施形態について、以下に説明する。
【００５８】
実施の形態１にかかる車両検索システムは、車両画像からの特徴情報の抽出を、クライアントの画像認識部３２において行う構成であった。これに対して、本実施形態にかかる車両検索システムは、車両画像からの特徴情報の抽出を、画像蓄積サーバ２０において行う。このため、本実施形態にかかる車両検索システムは、図７に示すように、画像蓄積サーバ２０に画像認識部２３を備え、クライアント３０には画像認識部がない。
【００５９】
本実施形態の車両検索システムにおいて、画像蓄積サーバ２０は、カメラ１０から送信される車両画像を画像データベース２２に登録する前に、画像認識部２３により車両画像から特徴情報（車体色、形状等）の抽出を行う。そして、カメラ１０から受け取った撮影日時、撮影場所の他に、画像認識部２３により抽出した特徴情報を、車両画像のメタ情報として画像データベース２２に登録する。
【００６０】
そして、クライアント３０の検索条件指定部３１から、撮影日時や撮影場所等の検索条件が与えられると、画像データ管理部２１は、画像データベース２２から検索条件に合致する車両画像を抽出し、クライアント３０へ送信する。なお、このとき、検索条件指定部３１より、撮影日時や撮影場所等の他のメタ情報（車体色、形状等の特徴情報）に関する検索条件を与えても良い。
【００６１】
クライアント３０では、画像データ管理部２１より送信された車両情報を、メモリ３５へ格納する。その後は、表示処理部３３が、メモリ３５に格納された車両情報に基づき、操作者の指定に従って、二次元空間表示または疑似三次元空間表示を行う。この表示処理については、実施の形態１と同様であるため、詳しい説明は省略する。
【００６２】
以上のように、本実施形態にかかる車両検索システムにおいても、実施の形態１と同様
に、曖昧な特徴情報に基づいた車両画像の検索を、効率的に実行することが可能である。
【００６３】
（実施の形態３）
本発明の他の実施形態について、以下に説明する。
【００６４】
図８は、本実施形態にかかる車両検索システムの概略構成を示すブロック図である。図８と図１とを比較することから分かるように、本実施形態の車両検索システムは、実施の形態１にかかる車両検索システムのクライアント３０に、表示制限指定部３８がさらに設けられた構成である。なお、他の点においては、本実施形態にかかる車両検索システムは、実施の形態１にかかる車両検索システムと同様であるため、以下では必要に応じて実施の形態１で参照した図面を援用し、実施の形態１と共通する部分についての重複した説明は省略する。
【００６５】
表示制限指定部３８は、表示処理部３３において表示する車両画像の数の上限値を、クライアント３０の操作者に指定させる。この上限値は、図９に示すようにディスプレイ３４に表示される上限値指定欄５８に数値を入力することにより、操作者が指定できる。表示処理部３３は、検索条件指定部３１により入力された絞り込み条件に合致するとして画像蓄積サーバ２０から抽出された車両画像を、表示制限指定部３８において指定された上限値を超えない数の車両画像からなる車両画像群に分割し、分割された車両画像群を一群ずつ表示する。
【００６６】
最初の車両画像群（第１群）を表示した後、操作者は、目視によりこの第１群の中に検索対象の車両画像があるかどうかを検索し、検索対象の車両画像を発見できなかった場合は、ディスプレイ３４に表示される「次へ」ボタン６１をクリックすれば、次の車両画像群（第２群）が表示される。また、第２群を表示している状態では、初期表示状態の第１群を再表示するための「戻る」ボタン６２が有効となり、「戻る」ボタン６２をクリックすると、第１群が再表示される。一方、第２群を表示している状態で「次へ」ボタン６１をクリックすれば、第２群の次の車両画像群（第３群）が表示される。なお、複数の車両画像群のどれが表示されているかは、表示処理部３３により、ディスプレイ３４の状況表示欄６３に表示される。このように、操作者は、「次へ」ボタン６１と「戻る」ボタン６２とを適宜操作することにより、所望の車両画像群をディスプレイ３４へ表示させることができる。
【００６７】
例えば、画像データベース２２に蓄積されている車両画像が１０００枚であり、絞り込み条件欄５５に「車体色＝白色」という絞り込み条件を設定し、その条件に合致する車両画像が５００枚である場合を想定する。この場合に、ディスプレイ３４へ５００枚の車両画像を全て表示しようとすると、一つの画像が小さくなりすぎて、視認性が極めて悪くなる。
【００６８】
そこで、操作者が、あらかじめ、表示制限指定部３８より、表示画像数の上限値として「５０」を指定しておけば、表示処理部３３は、「車体色＝白色」という絞り込み条件に合致する上記の５００枚の車両画像を、５０枚ずつの第１群から第１０群までの車両画像群に分けて、ディスプレイ３４へ一群ずつ表示する。
【００６９】
ここで、図１０を参照し、本発明にかかる車両検索システムの動作を説明する。
【００７０】
まず、特徴情報等により、検索対象車両の固有情報（例えば車番）が明らかである場合は（ステップＳ１１においてＮｏ）、検索ウィンドウ５７にその車番を入力することにより、当該車両の車両画像がシステム内に蓄積されているかどうかを検索する（ステップＳ１２）。
【００７１】
検索対象車両の固有情報が不明である場合は（ステップＳ１１においてＹｅｓ）、クライアント３０の検索条件指定部３１より、場所または時間を指定することにより、画像データベース２２から該当する車両画像を抽出し、ディスプレイ３４に二次元空間表示する（ステップＳ１３）。
【００７２】
さらに、検索対象車両の車体色または形状に関する特徴情報（不確定情報）がない場合は（ステップＳ１４においてＮｏ）、例えば疑似三次元空間表示において表示方法を時間順とすること等により、操作者が目視で検索対象車両を探す（ステップＳ１５）。
【００７３】
一方、検索対象車両の車体色または形状に関する特徴情報（不確定情報）がある場合は（ステップＳ１４においてＹｅｓ）、絞り込み条件欄５５にそれらの情報を入力することにより、車体色や形状が特徴情報に合致する車両を絞り込んで表示させる。ここで、表示件数の上限値が操作者により指定されている場合は、その上限値を超えない範囲の数の車両画像（第１群）がディスプレイ３４に表示されるので、操作者は、それらの中に検索対象車両がないかを目視で探す（ステップＳ１７）。
【００７４】
ステップＳ１２，Ｓ１５，またはＳ１７の結果、第１群の中から検索対象車両の画像を発見できた場合は、当該車両のメタ情報（撮影日時、撮影場所、車体色、形状、車番等）に基づいて、当該車両の確保のために必要な連絡をする（ステップＳ１８）。なお、クライアント３０が、ステップＳ１８の連絡も行えるようにしても良い。
【００７５】
一方、ステップＳ１７の結果、第１群の中から検索対象車両の画像を発見できなかった場合は、操作者が「次へ」ボタン６１をクリックすることにより、表示処理部３３が、次候補の車両画像群があるか否かを判断する（ステップＳ１９）。次候補の車両画像群（第１群の次は第２群）がある場合は、表示処理部３３は、次候補の車両画像群をディスプレイ３４に表示する（ステップＳ２０）。その後、ステップＳ１７に戻って、表示された車両画像群について、操作者が再度目視で検索を行う。一方、ステップＳ１９において次候補群がないと判断した場合は、表示処理部３３は、別の車両画像を参照画像としたり、検索条件として他の条件を指定する等して、再検索を行う（ステップＳ２１））。
【００７６】
また、操作者が、表示方法指定欄５３で「似ている順」を選択している場合は、参照画像（参照画像欄５６にドラッグ＆ドロップされた車両画像）に対する類似度の高い順に車両画像群を構成し、類似度の高い車両画像が含まれる群から優先的にディスプレイ３４へ表示することが好ましい。すなわち、例えば上述のように表示画像数の上限値が「５０」である場合は、参照画像に対する類似度が最も高いものから順に５０枚の車両画像が第１群となり、最初に表示される。そして、操作者が「次へ」ボタン６１をクリックすると、これらの車両画像の次に、参照画像に対する類似度が高い５０枚の車両画像が、第２群として表示される。
【００７７】
なお、実施の形態１では、表示方法指定欄５３で「似ている順」が選択された場合、図５に示したように、疑似三次元空間表示により、参照画像に最も類似度が高い車両画像をＺ軸上で手前に表示し、類似度が低い車両画像はＺ軸上の奥に表示するものとしたが、本実施形態の場合では、参照画像に対する類似度が高い順に、車両画像の群が構成されるので、各群を表示する際は、図４に示したような二次元空間における表示でも良い。
【００７８】
また、表示方法として「似ている順」が選択されている場合、実施の形態１と同様に、注目要素欄５４では、図３に示した車両情報のどの項目を利用して配置の順序付けを行うかを選択できる。例えば、「全データ」、「画像のみ」、「車体色」、「形状」、「車体色および形状」等を選択できる。「全データ」を選択すると、表示処理部３３は、図３に
示した車両情報の全ての項目に基づいて車両画像の類似度を判断し、表示画面上での配置順序を決定する。「画像のみ」を選択すると、車両画像自身の情報（例えばＨＳＩヒストグラム特徴量等）に基づいて類似度が判断される。「車体色」または「形状」あるいは「車体色および形状」が選択された場合は、車両情報中のこれらの項目に従って車両画像の類似度が判断される。
【００７９】
以上のように、本実施形態にかかる車両検索システムは、絞り込み条件欄５５に絞り込み条件を指定して検索を行った場合、その絞り込み条件に合致する車両画像の数が多くても、それらの車両画像を複数の群に分けて表示する。これにより、クライアント３０の操作者は、目的の車両画像を効率良く発見することが可能となる。
【００８０】
また、参照画像に「似ている順」に車両画像を表示する場合は、基準画像に対する類似度が高い順に、前記上限値を超えない数の車両画像からなる車両画像群に分割し、分割された車両画像群を一群ずつ表示することが好ましい。絞り込み条件に合致する車両画像の数が多い場合に、表示する車両画像数を制限することにより視認性を損なうことがなく、かつ、基準画像に対する類似度が高い順に車両画像群を分割することにより、より効率的な画像検索が可能となるからである。
【００８１】
なお、上述した各実施形態は、本発明を限定するものではなく、発明の技術的範囲内で種々の変更が可能である。特に、図１、図７、および図８に示した各種の機能ブロックとハードウェアとの関係は、あくまでも一例であって、本発明を限定するものではない。例えば、前記の各実施形態では、表示処理部がクライアントに存在する構成を例示したが、表示処理部を画像蓄積サーバ２０に設けた構成とすることも可能である。さらに、車両画像からの特徴情報（車体色、形状等）の抽出を、カメラ１０で行うことも可能である。さらに、図３に示した二次元空間表示や、図５に示した疑似三次元空間表示の態様も一具体例に過ぎず、任意のレイアウトを採用することができる。
【産業上の利用可能性】
【００８２】
以上のように、本発明は、不確定な特徴情報に基づいて車両の検索が可能な車両検索システムとして有用である。
【符号の説明】
【００８３】
１０  カメラ
２０  画像蓄積サーバ
２１  画像データ管理部
２２  画像データベース
２３  画像認識部
３０  クライアント
３１  検索条件指定部
３２  画像認識部
３３  表示処理部
３４  ディスプレイ
３８  表示制限指定部
５１  スクロールキー
５２  件数指定欄
５３  表示方法指定欄
５４  注目要素欄
５５  絞り込み条件欄
５６  参照画像ウィンドウ
５７  検索ウィンドウ
５８  上限値指定欄
６１  「次へ」ボタン
６２  「戻る」ボタン
【図１】
2010176706.tif 000003
【図２】
2010176706.tif 000004
【図３】
2010176706.tif 000005
【図４】
2010176706.tif 000006
【図５】
2010176706.tif 000007
【図６】
2010176706.tif 000008
【図７】
2010176706.tif 000009
【図８】
2010176706.tif 000010
【図９】
2010176706.tif 000011
【図１０】
2010176706.tif 000012
【手続補正書】
【提出日】平成22年6月3日(2010.6.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラにて撮影された画像データを撮影日時及び撮影場所を示す情報と共に格納する画像データベースと、
クライアントから受信した、撮影日時と撮影場所とを含む検索条件に基づいて前記画像データベースに格納された画像データを検索し、検索された画像データを、前記画像データの撮影日時及び撮影場所を示す情報とともにクライアントに送信する画像データ管理部と、
を有するサーバと、
前記サーバに撮影日時と撮影場所とを含む検索条件を送信する検索条件指定部と、
前記サーバから受信した画像データを、前記画像データの撮影時間及び撮影場所と対応付けて格納するメモリと、
前記メモリに格納された画像データの特徴情報を抽出し、特徴情報の抽出元の該画像データと対応付けて該メモリに格納する画像認識部と、
ユーザにより入力された、撮影日時、撮影場所、特徴情報のうち少なくとも１つの条件に基づきメモリに格納された複数の画像データの類似度を決定し、類似する画像同士が近くに配置されるように表示する表示処理部と、
を有する前記クライアントと、
を含むことを特徴とする車両検索システム。
【請求項２】
前記クライアントの表示処理部は、表示された画像データのうちユーザが指定した画像データを基準画像データとし、前記基準画像データに対して類似度が高い順に、前記類似する画像同士を並び替えることを特徴とする請求項１に記載の車両検索システム。
【請求項３】
コンピュータにおいて実行されたときに、該コンピュータに次のプロセスを実行させるプログラムであって、
複数のカメラから取得した画像データを撮影日時及び撮影場所と対応づけて格納する画像データベースを有するサーバに、検索条件を送信する送信プロセスと、
前記サーバから受信した画像データと撮影日時及び撮影場所とを対応付けてメモリに格納する第１格納プロセスと、
前記メモリに格納された画像データの特徴情報を抽出する特徴抽出プロセスと、
前記特徴抽出プロセスで抽出された特徴情報を前記特徴情報抽出元の画像データと対応付けて前記メモリに格納する第２の格納プロセスと、
ユーザから入力された、撮影日時、撮影場所、特徴情報の少なくとも１つの条件に基づきメモリに格納された複数の画像データの類似度を決定する類似度決定プロセスと、
類似する画像同士が近くに配置されるように表示する表示処理プロセスと、
を有することを特徴とする車両検索プログラム。
【請求項４】
前記表示処理プロセスは、表示された画像データのうちユーザが指定した画像データを基準画像データとし、前記基準画像データに対して類似度が高い順に、前記類似する画像同士を並び替えるプロセスを含むことを特徴とする請求項３記載の車両検索プログラム。