(57)【要約】【課題】処理能力の高い計算機に拠らず半導体でも実現でき、カメラにも組み込み可能な簡易な処理で、様々な角度から撮影された車両や人物等の対象物の識別処理に使用できる近似的な正面画像を得ることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】通行路等に設置されたカメラ等で撮影された画像から車両及び人物等の対象物を検出しその領域を抽出する対象物抽出部１０１と、カメラの設置位置及び対象物の傾きによる画像の歪みを補正する画像補正部１０２と、画像補正部１０２で補正された画像に対し特徴画像を生成する特徴画像生成部１０３と、特徴画像生成部１０３で生成された特徴画像中の対象物領域に対し各高さでの左右の相関が最も高くなる中央位置を検出し該中央位置を縦に揃える中央位置補正部１０４と、中央位置補正部１０４により得られた画像中の識別処理に使用可能な領域を決定する照合領域抽出部１０５とを備える。【選択図】図１
2010267257.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された画像から車両や人物等の対象物を検出し、対象物領域を抽出する対象物抽出部と、
前記カメラの設置位置及び前記対象物の傾きによる画像の歪みを補正する画像補正部と、
前記画像補正部で補正された画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、該中央位置を縦に揃える中央位置補正部と、
前記中央位置補正部により得られた画像中の識別処理に使用可能な領域を決定する照合領域抽出部と、
を備えた画像処理装置。
【請求項２】
カメラで撮影された画像から車両や人物等の対象物を検出し、対象物領域を抽出する対象物抽出部と、
前記カメラの設置位置及び前記対象物の傾きによる画像の歪みを補正する画像補正部と、
前記画像補正部で補正された画像に対し、特徴画像を生成する特徴画像生成部と、
前記特徴画像生成部で生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、該中央位置を縦に揃える中央位置補正部と、
前記中央位置補正部により得られた画像中の識別処理に使用可能な領域を決定する照合領域抽出部と、
を備えた画像処理装置。
【請求項３】
前記中央位置補正部は、前記特徴画像生成部で生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、検出した中央位置を平滑化した後、中央位置を縦に揃える請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記中央位置補正部は、前記特徴画像生成部で生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出した後、画像を水平方向に分割した各小領域で領域ごとに中央位置を決定し、各小領域の中央位置を縦に揃える請求項１又は請求項２に記載の画像処理装置。
【請求項５】
前記照合領域抽出部は、前記中央位置補正部で生成された中央位置補正画像中の対象物領域に対し、中央位置を挟む左右領域の領域幅を所定の範囲で変動させたときの左右領域の相関値の変化を調べ、相関値が急激に低下する領域幅を照合範囲の幅とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記照合領域抽出部は、前記中央位置補正部で生成された中央位置補正画像中の対象物領域に対し、中央位置を挟む左右領域の領域幅を所定の範囲で変動させたときの左右領域の相関値の変化を調べ、相関が最も高い領域幅での値が所定の値より小さい場合、照合画像の左右いずれかの半分を他方の反転コピーで置き換えた画像を生成し、それを照合画像とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項７】
カメラで撮影された画像から、車両や人物等の対象物を検出し、対象物領域を抽出する対象物抽出ステップと、
前記カメラの設置位置及び前記対象物の傾きによる画像の歪みを補正する画像補正ステップと、
前記画像補正ステップで補正された画像に対し、特徴画像を生成する特徴画像生成ステップと、
前記特徴画像生成ステップで生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、中央位置を縦に揃える中央位置補正ステップと、
前記中央位置補正ステップにより得られた画像中の識別処理に使用可能な領域を決定する照合領域抽出ステップと、
を備えた画像処理方法。
【請求項８】
処理対象物の画像を入力する画像入力部と、
前記画像入力部で入力された画像を表示すると共に操作者の指示を表示する表示部と、
操作者の指示に従って前記画像入力部で入力された画像内の処理対象物の対称位置と中央位置を指示する指示部と、
前記画像入力部で入力された画像を前記指示部で指示された対称位置と中央位置を用いて画像変形する画像変形部と、
前記画像変形部で画像変形された画像を出力する画像出力部と、
を備えた画像処理装置。
【請求項９】
処理対象物の画像を入力する画像入力部と、
前記画像入力部で入力された画像を表示すると共に操作者の指示を表示する表示部と、
前記処理対象物の既成値を記録する条件記録部と、
前記画像入力部で入力された画像内の前記処理対象物の対称位置と中央位置及びサイズ指標を指示する指示部と、
前記画像入力部で入力された画像を前記指示部で指示された対称位置と中央位置を用いて画像変形し、さらに前記条件記録部に記録されている既成値と前記指示部で指示されたサイズ指標を用いて画像変形する画像変形部と、
前記画像変形部で画像変形された画像を出力する画像出力部と、
を備えた画像処理装置。
【請求項１０】
処理対象物の画像を入力する画像入力部と、
前記画像入力部で入力された画像を表示すると共に操作者の指示を表示する表示部と、
前記処理対象物の既成値を記録する条件記録部と、
前記画像入力部で入力された画像内の前記処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を指示する指示部と、
前記画像入力部で入力された画像を前記指示部で指示された対称位置と中央位置を用いて画像変形し、これにより得られた画像に対し、前記条件記録部に記録されている既成値と前記指示部で指示されたサイズ指標を用いて画像変形し、さらに前記指示部で指示された非利用部分を対称部分の画像で補充する画像変形部と、
前記画像変形部で画像変形された画像を出力する画像出力部と、
を備えた画像処理装置。
【請求項１１】
前記画像出力部は、前記指示部で指示された非利用部分情報を補充前画像と共に出力する請求項１０に記載の画像処理装置。
【請求項１２】
前記画像変形部は、前記指示部で指示された対称位置と中央位置の組が複数ある場合に、対称位置と中央位置を結ぶ線分で区切られた領域ごとに画像変形する請求項８乃至請求項１１のいずれかに記載の画像処理装置。
【請求項１３】
処理対象物の画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像を表示すると共に操作者の指示を表示する表示ステップと、
操作者の指示に従って前記画像入力ステップで入力された画像内の処理対象物の対称位置と中央位置を指示する指示ステップと、
前記画像入力ステップで入力された画像を前記指示ステップで指示された対称位置と中央位置を用いて画像変形する画像変形ステップと、
前記画像変形ステップで画像変形された画像を出力する画像出力ステップと、
を備えた画像処理方法。
【請求項１４】
処理対象物の画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像を表示すると共に操作者の指示を表示する表示ステップと、
前記処理対象物の既成値を記録する条件記録ステップと、
前記画像入力ステップで入力された画像内の前記処理対象物の対称位置と中央位置及びサイズ指標を指示する指示ステップと、
前記画像入力ステップで入力された画像を前記指示ステップで指示された対称位置と中央位置を用いて画像変形し、さらに前記条件記録ステップで記録された既成値と前記指示ステップで指示されたサイズ指標を用いて画像変形する画像変形ステップと、
前記画像変形ステップで画像変形された画像を出力する画像出力ステップと、
を備えた画像処理方法。
【請求項１５】
処理対象物の画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像を表示すると共に操作者の指示を表示する表示ステップと、
前記処理対象物の既成値を記録する条件記録ステップと、
前記画像入力ステップで入力された画像内の前記処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を指示する指示ステップと、
前記画像入力ステップで入力された画像を前記指示ステップで指示された対称位置と中央位置を用いて画像変形し、これにより得られた画像に対し、前記条件記録ステップで記録された既成値と前記指示ステップで指示されたサイズ指標を用いて画像変形し、さらに前記指示ステップで指示された非利用部分を対称部分の画像で補充する画像変形ステップと、
前記画像変形ステップで画像変形された画像を出力する画像出力ステップと、
を備えた画像処理方法。
【請求項１６】
前記画像出力ステップでは、前記指示ステップで指示された非利用部分情報を補充前画像と共に出力する請求項１５に記載の画像処理方法。
【請求項１７】
前記画像変形ステップでは、前記指示ステップで指示された対称位置と中央位置の組が複数ある場合に、対称位置と中央位置を結ぶ線分で区切られた領域ごとに画像変形する請求項１３乃至請求項１６のいずれかに記載の画像処理方法。
【請求項１８】
コンピュータを、請求項８乃至請求項１２のいずれかに記載の画像処理装置として機能させるための画像処理プログラム。
【請求項１９】
請求項１８に記載の画像処理プログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両識別システムや顔認証を用いた入出門システムや、さまざまな角度から撮影された車両や人物の画像の格納されたデータベースから特定の対象物の画像を選び出す検索システム等に用いて好適な画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、カメラの普及とともに、通行路等に設置されたカメラで撮影された車両又は人物等を識別する技術が実用化されてきている。識別技術では、画像から対象となる顔の領域や車両の領域を抽出し、その抽出した領域の画像と、予めデータベースに登録された画像とを照合し、類似性を判定する。そして、判定した類似性に基づき、登録画像中の類似した画像を選び出す場合は検索、選び出した登録顔画像から人物を特定する場合は顔認証、また、選び出した車両画像から車種を特定する場合が車種識別である。
【０００３】
識別技術においては、対象物の画像が登録画像とは異なる角度で撮影した場合は識別精度が著しく低下する。この問題を解決するための方法として、例えば、顔画像の場合、特許文献１では、カメラを複数台用いて、同一の顔を複数の方向から撮影し、撮影した複数の顔画像の中から正面向きの画像を選択して照合に用いる。特許文献２では、登録顔画像とワイヤフレームの基準モデルを用いてカメラの撮影方向から見た場合の擬似的な登録顔画像を合成し照合に用いる。特許文献３では、複数の方向から撮影した顔画像を予め登録することによって、正面顔以外の画像に対しても認証する。
【０００４】
また、車両にも適用可能な方法として、特許文献４では、予め複数のワイヤフレームモデルを用意しておき、それぞれのワイヤフレームモデルに対し、さまざまな撮影方向を仮定して入力画像をマッピングし、そのモデルを正面に向けたときに得られる画像の内、左右対称度の最も高いものを正面画像として、照合を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３０４９７９号公報
【特許文献２】特開２００３−２６３６３９号公報
【特許文献３】特開２００２−０９２６０１号公報
【特許文献４】特開２００８−２１７２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の複数のカメラで同時に単一の対象を撮影する方法では、専用のカメラが必要となり、通常のカメラでの実施は困難である。特許文献２に記載の複数方向から撮影した画像を予め登録する方法では、複数のカメラで同時に単一の対象を撮影する方法の場合と同様、登録画像の撮影の際に、複数カメラを備えた装置が必要であったり、あるいは、単一カメラで同一対象物を異なる方向から何度も撮影することによる多大な作業が発生したりする。また、登録画像の枚数が正面画像のみの場合に比べて数倍必要となる。このことは、識別装置により大きな記憶媒体が必要であるのみならず、照合処理時間の増大をももたらす。
【０００７】
特許文献３に記載のワイヤフレームの基準モデルを用いる方法では、バスやワゴン車のような箱型のものから、セダンタイプのような凸凹の有る形状のものやスポーツカーのように流線型のものまで、さまざまな形状のものが存在する車両の場合には、基準モデルを決めることができないため、適用することができない。特許文献４に記載の方法では、それぞれのワイヤフレームモデルに対し、さまざまな撮影方向を仮定して入力画像をマッピングするため、特許文献３に記載の方法に比べ、モデル数×撮影方向の処理が必要であり、非常に処理能力の高い計算機が必須である。
【０００８】
本発明は、係る事情に鑑みてなされたものであり、処理能力の高い計算機に拠らず半導体でも実現でき、カメラにも組み込み可能な簡易な処理で、さまざまな角度から撮影された車両や人物等の対象物の識別処理に使用できる近似的な正面画像を得ることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、カメラで撮影された画像から車両や人物等の対象物を検出し、対象物領域を抽出する対象物抽出部と、前記カメラの設置位置及び前記対象物の傾きによる画像の歪みを補正する画像補正部と、前記画像補正部で補正された画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、該中央位置を縦に揃える中央位置補正部と、前記中央位置補正部により得られた画像中の識別処理に使用可能な領域を決定する照合領域抽出部と、を備えた。
【００１０】
この構成によれば、カメラで撮影された画像から車両や人物等の対象物を検出して対象物領域を抽出し、またカメラの設置位置及び対象物の傾きによる画像の歪みを補正する。そして、補正した画像中の対象物領域に対して各高さでの左右の相関が最も高くなる中央位置を検出し、検出した中央位置を縦に揃え、この中央位置を縦に揃えた画像中の識別処理に使用可能な領域を決定するので、処理能力の高い計算機に拠らず半導体でも実現でき、カメラにも組み込み可能な簡易な処理で、さまざまな角度から撮影された車両や人物等の対象物の識別処理に使用できる近似的な正面画像を得ることができる。
【００１１】
本発明の画像処理装置は、カメラで撮影された画像から車両や人物等の対象物を検出し、対象物領域を抽出する対象物抽出部と、前記カメラの設置位置及び前記対象物の傾きによる画像の歪みを補正する画像補正部と、前記画像補正部で補正された画像に対し、特徴画像を生成する特徴画像生成部と、前記特徴画像生成部で生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、該中央位置を縦に揃える中央位置補正部と、前記中央位置補正部により得られた画像中の識別処理に使用可能な領域を決定する照合領域抽出部と、を備えた。
【００１２】
この構成によれば、カメラで撮影された画像から車両や人物等の対象物を検出して対象物領域を抽出し、またカメラの設置位置及び対象物の傾きによる画像の歪みを補正する。そして、補正した画像に対して特徴画像を生成し、生成した特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、この中央位置を縦に揃えた画像中の識別処理に使用可能な領域を決定するので、処理能力の高い計算機に拠らず半導体でも実現でき、カメラにも組み込み可能な簡易な処理で、さまざまな角度から撮影された車両や人物等の対象物の識別処理に使用できる近似的な正面画像を得ることができる。
【００１３】
上記構成において、前記中央位置補正部は、前記特徴画像生成部で生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、検出した中央位置を平滑化した後、中央位置を縦に揃える。
【００１４】
上記構成において、前記中央位置補正部は、前記特徴画像生成部で生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出した後、画像を水平方向に分割した各小領域で領域ごとに中央位置を決定し、各小領域の中央位置を縦に揃える。
【００１５】
上記構成において、前記照合領域抽出部は、前記中央位置補正部で生成された中央位置補正画像中の対象物領域に対し、中央位置を挟む左右領域の領域幅を所定の範囲で変動させたときの左右領域の相関値の変化を調べ、相関値が急激に低下する領域幅を照合範囲の幅とする。
【００１６】
上記構成において、前記照合領域抽出部は、前記中央位置補正部で生成された中央位置補正画像中の対象物領域に対し、中央位置を挟む左右領域の領域幅を所定の範囲で変動させたときの左右領域の相関値の変化を調べ、相関が最も高い領域幅での値が所定の値より小さい場合、照合画像の左右いずれかの半分を他方の反転コピーで置き換えた画像を生成し、それを照合画像とする。
【００１７】
本発明の画像処理方法は、カメラで撮影された画像から、車両や人物等の対象物を検出し、対象物領域を抽出する対象物抽出ステップと、前記カメラの設置位置及び前記対象物の傾きによる画像の歪みを補正する画像補正ステップと、前記画像補正ステップで補正された画像に対し、特徴画像を生成する特徴画像生成ステップと、前記特徴画像生成ステップで生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、中央位置を縦に揃える中央位置補正ステップと、前記中央位置補正ステップにより得られた画像中の識別処理に使用可能な領域を決定する照合領域抽出ステップと、を備えた。
【００１８】
この方法によれば、カメラで撮影された画像から車両や人物等の対象物を検出して対象物領域を抽出し、またカメラの設置位置及び対象物の傾きによる画像の歪みを補正する。そして、補正した画像に対して特徴画像を生成し、生成した特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、この中央位置を縦に揃えた画像中の識別処理に使用可能な領域を決定するので、処理能力の高い計算機に拠らず半導体でも実現でき、カメラにも組み込み可能な簡易な処理で、さまざまな角度から撮影された車両や人物等の対象物の識別処理に使用できる近似的な正面画像を得ることができる。
【００１９】
本発明の画像処理装置は、処理対象物の画像を入力する画像入力部と、前記画像入力部で入力された画像を表示すると共に操作者の指示を表示する表示部と、操作者の指示に従って前記画像入力部で入力された画像内の処理対象物の対称位置と中央位置を指示する指示部と、前記画像入力部で入力された画像を前記指示部で指示された対称位置と中央位置を用いて画像変形する画像変形部と、前記画像変形部で画像変形された画像を出力する画像出力部と、を備えた。
【００２０】
この構成によれば、入力画像内の処理対象物の対称位置と中央位置を操作者が自由に設定することができ、操作者が設定した処理対象物の対称位置と中央位置を用いて入力画像の画像変形が行われる。
【００２１】
本発明の画像処理装置は、処理対象物の画像を入力する画像入力部と、前記画像入力部で入力された画像を表示すると共に操作者の指示を表示する表示部と、前記処理対象物の既成値を記録する条件記録部と、前記画像入力部で入力された画像内の前記処理対象物の対称位置と中央位置及びサイズ指標を指示する指示部と、前記画像入力部で入力された画像を前記指示部で指示された対称位置と中央位置を用いて画像変形し、さらに前記条件記録部に記録されている既成値と前記指示部で指示されたサイズ指標を用いて画像変形する画像変形部と、前記画像変形部で画像変形された画像を出力する画像出力部と、を備えた。
【００２２】
この構成によれば、入力画像内の処理対象物の対称位置と中央位置及びサイズ指標を操作者が自由に設定することができ、操作者が設定した処理対象物の対称位置と中央位置及びサイズ指標を用いて入力画像の画像変形が行われる。
【００２３】
本発明の画像処理装置は、処理対象物の画像を入力する画像入力部と、前記画像入力部で入力された画像を表示すると共に操作者の指示を表示する表示部と、前記処理対象物の既成値を記録する条件記録部と、前記画像入力部で入力された画像内の前記処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を指示する指示部と、前記画像入力部で入力された画像を前記指示部で指示された対称位置と中央位置を用いて画像変形し、これにより得られた画像に対し、前記条件記録部に記録されている既成値と前記指示部で指示されたサイズ指標を用いて画像変形し、さらに前記指示部で指示された非利用部分を対称部分の画像で補充する画像変形部と、前記画像変形部で画像変形された画像を出力する画像出力部と、を備えた。
【００２４】
この構成によれば、入力画像内の処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を操作者が自由に設定することができ、操作者が設定した処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を用いて入力画像の画像変形が行われる。
【００２５】
上記構成において、前記画像出力部は、前記指示部で指示された非利用部分情報を補充前画像と共に出力する。
【００２６】
上記構成において、前記画像変形部は、前記指示部で指示された対称位置と中央位置の組が複数ある場合に、対称位置と中央位置を結ぶ線分で区切られた領域ごとに画像変形する。
【００２７】
本発明の画像処理方法は、処理対象物の画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像を表示すると共に操作者の指示を表示する表示ステップと、操作者の指示に従って前記画像入力ステップで入力された画像内の処理対象物の対称位置と中央位置を指示する指示ステップと、前記画像入力ステップで入力された画像を前記指示ステップで指示された対称位置と中央位置を用いて画像変形する画像変形ステップと、前記画像変形ステップで画像変形された画像を出力する画像出力ステップと、を備えた。
【００２８】
この方法によれば、入力画像内の処理対象物の対称位置と中央位置を操作者が自由に設定することができ、操作者が設定した処理対象物の対称位置と中央位置を用いて入力画像の画像変形が行われる。
【００２９】
本発明の画像処理方法は、処理対象物の画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像を表示すると共に操作者の指示を表示する表示ステップと、前記処理対象物の既成値を記録する条件記録ステップと、前記画像入力ステップで入力された画像内の前記処理対象物の対称位置と中央位置及びサイズ指標を指示する指示ステップと、前記画像入力ステップで入力された画像を前記指示ステップで指示された対称位置と中央位置を用いて画像変形し、さらに前記条件記録ステップで記録された既成値と前記指示ステップで指示されたサイズ指標を用いて画像変形する画像変形ステップと、前記画像変形ステップで画像変形された画像を出力する画像出力ステップと、を備えた。
【００３０】
この方法によれば、入力画像内の処理対象物の対称位置と中央位置及びサイズ指標を操作者が自由に設定することができ、操作者が設定した処理対象物の対称位置と中央位置及びサイズ指標を用いて入力画像の画像変形が行われる。
【００３１】
本発明の画像処理方法は、処理対象物の画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像を表示すると共に操作者の指示を表示する表示ステップと、前記処理対象物の既成値を記録する条件記録ステップと、前記画像入力ステップで入力された画像内の前記処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を指示する指示ステップと、前記画像入力ステップで入力された画像を前記指示ステップで指示された対称位置と中央位置を用いて画像変形し、これにより得られた画像に対し、前記条件記録ステップで記録された既成値と前記指示ステップで指示されたサイズ指標を用いて画像変形し、さらに前記指示ステップで指示された非利用部分を対称部分の画像で補充する画像変形ステップと、前記画像変形ステップで画像変形された画像を出力する画像出力ステップと、を備えた。
【００３２】
この方法によれば、入力画像内の処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を操作者が自由に設定することができ、操作者が設定した処理対象物の対称位置と中央位置、サイズ指標及び非利用部分を用いて入力画像の画像変形が行われる。
【００３３】
上記方法において、前記画像出力ステップでは、前記指示ステップで指示された非利用部分情報を補充前画像と共に出力する。
【００３４】
上記方法において、前記画像変形ステップでは、前記指示ステップで指示された対称位置と中央位置の組が複数ある場合に、対称位置と中央位置を結ぶ線分で区切られた領域ごとに画像変形する。
【００３５】
本発明の画像処理プログラムは、コンピュータを、前記画像処理装置として機能させるためのものである。
【００３６】
このプログラムによれば、入力画像内の処理対象物の対称位置と中央位置、サイズ指標、非利用部分の夫々を操作者が自由に設定することができ、操作者が設定した処理対象物の対称位置と中央位置、サイズ指標又は非利用部分を用いて入力画像の画像変形が行われる。
【００３７】
本発明の記録媒体は、前記画像処理プログラムを格納したものである。
【００３８】
この記録媒体によれば、格納中の画像処理プログラムを様々なコンピュータに読み込ませて実行させることができる。
【発明の効果】
【００３９】
本発明は、カメラで撮影された車両や人物等の対象物を識別する際に、処理能力の高い計算機に拠らず半導体でも実現でき、カメラにも組み込み可能な簡易な処理で、さまざまな角度から撮影された車両や人物等の対象物の識別処理に使用できる近似的な正面画像を得ることができる。特に、処理対象物の画像に対して、対称位置と中央位置、サイズ指標又は非利用部分の設定を自動又は手動で行うことができ、利便性の向上が図れる。また、処理対象物の画像に対して、簡易な操作で、対称位置と中央位置、サイズ指標又は非利用部分の設定を行うことにより、補正画像の精度の向上を図ることができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図
【図２】本発明の実施の形態１に係る画像処理装置の対象物抽出部の処理を示すフローチャート
【図３】本発明の実施の形態１に係る画像処理装置の対象物抽出部での処理において、（ａ）は入力画像を示す図、（ｂ）は抽出された対象領域を示す図
【図４】本発明の実施の形態１に係る画像処理装置の画像補正部の処理を示すフローチャート
【図５】本発明の実施の形態１に係る画像処理装置の画像補正部での処理を説明するための図
【図６】本発明の実施の形態１に係る画像処理装置の中央位置補正部での処理において、（ａ）は中央位置検出処理を説明するための図、（ｂ）は処理領域の連結を説明するための図、（ｃ）は中央位置補正を説明するための図
【図７】本発明の実施の形態１に係る画像処理装置の中央位置補正部の処理を示すフローチャート
【図８】本発明の実施の形態１に係る画像処理装置の注目矩形内中央位置算出ステップを詳細に示すフローチャート
【図９】本発明の実施の形態１に係る画像処理装置の照合領域抽出部での処理において、（ａ）は照合範囲抽出処理を説明するための図、（ｂ）は相関評価値を説明するための図、（ｃ）は照合範囲を説明するための図
【図１０】本発明の実施の形態１に係る画像処理装置の照合領域抽出部での処理において、（ａ）は左半面反転コピー画像を説明するための図、（ｂ）は右半面反転コピー画像を説明するための図
【図１１】本発明の実施の形態１に係る画像処理装置の照合領域抽出部の処理を示すフローチャート
【図１２】本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図
【図１３】本発明の実施の形態２に係る画像処理装置の対象物抽出部の処理を示すフローチャート
【図１４】本発明の実施の形態２に係る画像処理装置の対象物抽出部での処理において、（ａ）は入力画像を示す図、（ｂ）は抽出された対象物領域を示す図
【図１５】本発明の実施の形態２に係る画像処理装置の画像補正部での処理において、（ａ）は対象物領域を説明するための図、（ｂ）は傾き補正を説明するための図、（ｃ）は逆透視変換を説明するための図
【図１６】本発明の実施の形態２に係る画像処理装置の画像補正部の処理を示すフローチャート
【図１７】本発明の実施の形態２に係る画像処理装置の中央位置補正部の処理を示すフローチャート
【図１８】本発明の実施の形態２に係る画像処理装置の中央位置補正部の処理において、（ａ）は中央位置算出を説明するための図、（ｂ）は中央位置補正を説明するための図
【図１９】本発明の実施の形態２に係る画像処理装置の中央位置補正部の処理において、（ａ）は左半面反転コピー画像を説明するための図、（ｂ）は右半面反転コピー画像を説明するための図
【図２０】本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図
【図２１】本発明の実施の形態３に係る画像処理装置の画像処理を説明するためのフローチャート
【図２２】本発明の実施の形態３に係る画像処理装置において、入力画像の一例を示す図
【図２３】図２２の入力画像において、操作者が対称２点を指定した例を示す図
【図２４】図２３の画像において、操作者によって指定された対称２点を結ぶ線分を示す図
【図２５】図２４の画像において、操作者が指定した対称２点を結ぶ線分に操作者が中点を指定した例を示す図
【図２６】図２４の画像において、操作者が対称２点を必要とする数分指定した例を示す図
【図２７】図２６の画像を複数の台形領域に分割した例を示す図
【図２８】図２７の画像において、台形領域ごとに長方形に変形し、左右縮尺を統一した例を示す図
【図２９】図２８の画像において、長方形を中央位置で合わせる例を示す図
【図３０】図２９における処理が終了した後の画像を示す図
【図３１】図３０の画像に対するサイズ補正の例を示す図
【図３２】図３１におけるサイズ補正処理が終了した後の画像を示す図
【図３３】図３０の画像に対するサイズ補正の他の例を示す図
【図３４】図３２のサイズ補正処理の画像に中央位置で線対称な枠を表示し、縦横の縮尺を合せてサイズ補正画像に変形した例を示す図
【図３５】図３４の画像に対して部分領域枠を表示した例を示す図
【図３６】図３５の画像に対して操作者が利用しない部分領域を指定した例を示す図
【図３７】図３６の画像において、指定部分領域の画像を反対側から転写複写した例を示す図
【図３８】図３７における転写複写後の画像を示す図
【図３９】本発明の実施の形態３に係る画像処理装置の応用例における画像処理を説明するためのフローチャート
【発明を実施するための形態】
【００４１】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００４２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。本実施の形態の画像処理装置は、車両識別のための近似的正面画像を生成できるものであり、図１に示すように、対象物抽出部１０１と、画像補正部１０２と、特徴画像生成部１０３と、中央位置補正部１０４と、照合領域抽出部１０５とを備えている。
【００４３】
対象物抽出部１０１は、通行路に設置されたカメラ（図示略）で撮影された画像から車両や人物等の対象物を検出し、対象物領域を抽出する。図２は、対象物抽出部１０１の処理を示すフローチャートである。図２において、まずステップＳ１０１で画像中のナンバープレートを検出し、ステップＳ１０２でナンバープレートを検出したか否かを判断する。ナンバープレートを検出した場合には車両が有ると判断した場合、ステップＳ１０３でナンバープレート４隅座標を検出する。次いで、ステップＳ１０４で、検出したナンバープレート位置と大きさに基づき対象物領域を決定する。
【００４４】
図３において、（ａ）は入力画像、（ｂ）は検出されたナンバープレート４隅座標Ｐと対象物領域Ｒ１を示す。図２のステップＳ１０１のナンバープレート検出ステップでは、例えばハフ変換等を用いた画像からナンバープレートの枠の直線を検出するなどの公知の方法（例えば、特開２００８−２１７３４７号公報参照）を用いてナンバープレートを検出する。なお、対象物抽出部１０１では、ナンバープレートを検出する方式のみでなく、車両形状のテンプレートを利用したパターンマッチングによる手法を用いることもできる。また、連続画像が入力される場合は、連続する画像間の変化から移動物体を検出し、対象物とする方法を用いることもできる。
【００４５】
画像補正部１０２は、カメラの設置位置及び対象物の傾きによる画像の歪みを補正する。即ち、画像補正部１０２は、対象物抽出部１０１で、車両が写っていると判定された画像について、カメラの設置位置による画像の補正を行う。図４は、画像補正部１０２の処理を示すフローチャートである。図４において、ステップＳ２０１で補正パラメータの計算を行う。この場合、カメラが固定されていれば、該カメラと対象物上の基準点との距離、角度（振れ角および俯角）およびカメラ自身の回転角度から逆透視変換のための補正パラメータを決定できる。次いで、ステップＳ２０２において、ステップＳ２０１で得られたパラメータを用いて画像を逆透視変換する。逆透視変換は、斜め方向を向いた垂直平面を視線方向に向ける変換である。この場合、車両正面向きの面を視線方向に向ける変換を行う。その際、同一奥行き面内の点は正しく正面を向いた画像に補正されるが、奥行きが異なる面同士の位置は画像上で左右にずれるため、車両画像全体としては、よりゆがんだ画像となる。図５にその一例を示す。
【００４６】
なお、カメラが可動式であったり、設置角度が不明であったりしても、対象物抽出部１０１で検出したナンバープレート４隅座標に基づき、補正パラメータを決定することもできる。また、カメラ位置による補正を行っても、車両自身の傾き等の理由により、車両の垂直軸が画像の垂直軸に一致しない場合には、傾き補正により両者を一致させる（ステップＳ２０３）。その際、車両の垂直軸の方向としては、ナンバープレートの左右辺が利用できる。
【００４７】
以上の補正により、車両前面の左右方向が画像の水平方向に、垂直（上下）方向が画像の垂直方向に一致している。
【００４８】
次に、特徴画像生成部１０３は、画像補正部１０２で補正された画像に対し、以後の処理で使用する特徴画像を生成する。例えば、濃淡画像化、２値画像化、あるいは、ハフ変換やソーベルフィルタ等のフィルタ処理を施したエッジ画像等を生成する。なお、特徴画像生成処理を行わず、元の画像の画素値をそのまま利用しても構わない。
【００４９】
次に、中央位置補正部１０４は、特徴画像生成部１０３で生成された特徴画像中の対象物領域に対し、各高さでの左右の相関が最も高くなる中央位置を検出し、該中央位置を縦に揃える。中央位置補正部１０４の処理について図６を用いて説明する。図６の（ａ）は、特徴画像生成部１０３で得られた特徴画像中での対象物領域Ｒ”１を示す。ここでは、画像の水平方向をｘ方向、垂直方向をｙ方向とし、矩形領域Ｒ”１の４角の座標は（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ２，ｙ２）、（ｘ１，ｙ２）である。座標（ｘ，ｙ）における画素値をＧ（ｘ，ｙ）とすると、座標（ｘ，ｙ）における左右の差異は、式（１）で求まる。ここで、Ｋはナンバープレートの大きさに基づき決められる定数である。
【００５０】
Ｋ
Ｄ（ｘ，ｙ）＝Σ｜Ｇ（ｘ−ｋ，ｙ）−Ｇ（ｘ＋ｋ，ｙ）｜  …（１）
ｋ＝１
【００５１】
矩形領域Ｒ”１内の各ｙ座標において、ｘ１＋Ｋからｘ２−Ｋの範囲のすべてのｘについて左右の差異Ｄ（ｘ，ｙ）を求め、その値が最小となるｘを、高さｙ座標における中央位置ｘ０（ｙ）とする（差異が小さいほうが、相関値が高いためである）。各ｙ座標で求まった中央位置（ｘ０（ｙ），ｙ）を結んだ曲線が図６の（ｂ）に示すＬ１である。
【００５２】
矩形領域内のすべてのｙ座標での中央位置が求まると、その上辺および下辺に隣接する同じ大きさの矩形領域Ｒ”２に対しても同様の処理を行い、中央位置を結ぶ線Ｌ１を延長する。但し、矩形領域Ｒ”１との接続ｙ座標（下辺の場合ｙ１、上辺の場合ｙ２）で、中央値が矩形領域の中央に来るよう第２の矩形領域Ｒ”２を配置する。この際、領域が画像外にはみ出す場合には領域外の部分は処理対象としない。
【００５３】
図６の（ｃ）は、上記のようにして求まった中央位置を縦に揃えた図である。実画像においては、中央位置は滑らかに連続するとは限らないため、揃える前に、求まった中央位置に対し、平滑化を行うとより自然な補正画像が得られる。平滑化は、例えば移動平均を用いる等、公知の方法で行う。あるいは平滑化に代えて、画像を水平方向の小領域に分割し、小領域内では、全ｙ座標で同一の中央位置ｘ座標（例えば、区間平均値）を取るようにしても構わない。この場合には、小領域に分割する境界は、カラー画像での色の変わり目や、予め濃淡画像での濃淡値の変わり目、あるいはハフ変換やソーベルフィルタ等の各種フィルタ処理により得られる水平エッジ位置を利用することができる。
【００５４】
図７は、中央位置補正部１０４の処理を示すフローチャートである。図７において、まずステップＳ３０１で、特徴画像生成部１０３で得られた特徴画像中での対象物領域Ｒ”１内の各ｙ座標について中央位置ｘ座標を求める。次いで、ステップＳ３０２で、Ｒ”１上辺に隣接する矩形領域Ｒ”２の位置を前記アルゴリズムにより決定する。次いで、ステップＳ３０３で、決定した矩形領域が画像内に含まれるか否かを判断し、画像内に含まれる場合には、ステップＳ３０４で、注目矩形内の各ｙ座標について中央位置ｘ座標を求める。ステップＳ３０３で、決定した矩形領域が画像内に含まれなかった場合（すなわち、上側の処理が完了した場合）には、ステップＳ３０５〜Ｓ３０７で、当初の対象物領域Ｒ”１の下側についてステップＳ３０２〜Ｓ３０４と同様の処理を行う。ステップＳ３０６で、下側の注目矩形領域が画像内ではなくなったら（すなわち、下側の処理も完了したら）、ステップＳ３０８で、各ｙ座標について得られた中央位置ｘ座標の平滑化を行う。次いで、ステップＳ３０９で、各ｙ座標ごとの平滑化後の中央位置ｘ座標の平均値Ｘ０を求める。そして、ステップＳ３１０で、各ｙ座標ごとの中央位置をステップＳ３０９で求めた平均値Ｘ０に一致させるよう各ｙ座標の横方向の画素を左右にずらす。
【００５５】
図８は、注目矩形内中央位置算出ステップ（ステップＳ３０１、Ｓ３０４、Ｓ３０７）の詳細な処理を示すフローチャートである。図８において、まずステップＳ３１１で、ｙ＝ｙ１とする。次いで、ステップＳ３１２でｙ１≦ｙかつｙ≦ｙ２かどうかを判断し、該当しない場合は本処理を終了し、該当する場合は、ステップＳ３１３でｘ＝ｘ１＋Ｋとする。ステップＳ３１３の処理を行った後、ステップＳ３１４で、ｘ１＋Ｋ≦ｘかつｘ≦ｘ２＋Ｋかどうかを判断し、該当しない場合は、ステップＳ３１９で、ｘ０をｙでの中央位置として保存し、その後、ｙ＋＋としてステップＳ３１２に戻る。一方、ステップＳ３１４において、該当する場合は、ステップＳ３１５で、（ｘ，ｙ）を中央点とした時の左右差異Ｄ（ｘ，ｙ）を計算する。そして、ステップＳ３１６で、Ｄ（ｘ，ｙ）＜Ｄｍｉｎかどうかを判断し、該当しない場合は、ステップＳ３１７で、Ｄｍｉｎ＝Ｄ（ｘ，ｙ）、ｘ０＝ｘとする。ステップＳ３１６で該当しないと判断した場合又はステップＳ３１７の処理を行った後、ｘ＋＋としてステップＳ３１４に戻る。
【００５６】
なお、ここでは左右の対象度の指標として、左右値の差の総和を用いて説明したが、２乗誤差の総和を用いてもかまわない、また、類似度や相関値での代替も可能である。但し、類似度や相関値で評価する場合には、左右値の差の総和を用いた場合とは、大小関係が逆転する。
【００５７】
また、ここでは、各ｙ座標ごとに中央位置ｘ座標を平滑化する例を説明したが、フロントガラス、ボンネット、グリル、バンパー等の各領域毎に中央位置を決めてもよい。各領域は、色や明るさが大きく変化する位置で分割される。
【００５８】
次に、照合領域抽出部１０５の処理について図９を用いて説明する。照合領域抽出部１０５は、中央位置補正部１０４により得られた画像中の識別処理に使用可能な領域を決定する。図９の（ａ）は、中央位置補正の施された特徴画像中での対象物領域を示すものである。図６の（ａ）と同様に、画像の水平方向をｘ方向、垂直方向をｙ方向とし、座標（ｘ，ｙ）における画素値をＧ（ｘ，ｙ）とする。中央位置のｘ座標をｘ０としたとき、座標（ｘ０，ｙ）における左右の差異を（ｘ０−ｔ，ｙ）から（ｘ０＋ｔ，ｙ）の範囲で求めるとき、以下に示す式（２）で求まる。ｔは、所定の定数ｔｍｉｎからｔｍａｘ＝Ｍｉｎ（ｘ０−ｘ１，ｘ２−ｘ０）までの範囲をとる。
【００５９】
ｔ
Ｄ’（ｙ，ｔ）＝Σ｜Ｇ（ｘ０−ｋ，ｙ）−Ｇ（ｘ０＋ｋ，ｙ）｜  …（２）
ｋ＝１
【００６０】
各ｙ座標について求めた範囲ｔの左右の差異Ｄ’（ｙ，ｔ）をｙ１からｙ２の範囲で加算し、左右領域の相関評価値Ｓ（ｔ）を求める。以下に相関評価値Ｓ（ｔ）を求める式（３）に示す。
【００６１】
ｙ２
Ｓ（ｔ）＝ΣＤ’（ｙ，ｔ）／ｔ  …（３）
ｙ＝ｙ１
【００６２】
相関が高いほどこの値は小さい。図９の（ｂ）に示すように、相関評価値Ｓ（ｔ）はｔ０を境に大きくなる。このｔ０を元に、ｘ０−ｔ０からｘ０＋ｔ０の範囲を照合領域（〈Ｒ〉）とする（図９の（ｃ））。なお、Ｓ（ｔ）の最小値Ｓｍｉｎが所定の値Ｔｈより小さい場合には、ｘ０≦ｘ≦ｘ０＋ｔ０の範囲の右半面画像の代わりに、ｘ０−ｔ０≦ｘ≦ｘ０の範囲の左半面画像を左右反転しはめ込んだ左半面反転コピー画像（図１０の（ａ））と、ｘ０−ｔ０≦ｘ≦ｘ０の範囲の左半面画像の代わりに、ｘ０≦ｘ≦ｘ０＋ｔ０の範囲の右半面画像を左右反転しはめ込んだ、右半面反転コピー画像（図１０の（ｂ））との２画像を生成し、中央位置補正部１０４で生成された中央位置補正画像に代えて照合画像とする。照合の範囲は、中央位置補正画像の場合と同様、ｘ０−ｔ０≦ｘ≦ｘ０＋ｔ０の範囲を用いる。
【００６３】
図１１は、照合領域抽出部１０５の処理を示すフローチャートである。図１１において、ステップＳ４１１でｔ＝ｔｍｉｎ、Ｓ（ｔ）＝０とし、ステップＳ４１２で、ｔｍｉｎ≦ｔかつｔ≦ｔｍａｘかどうかを判断する。該当する場合は、ステップＳ４１３で、ｙ＝ｙ１とし、ステップＳ４１４で、ｙ１≦ｙかつｙ≦ｙ２かどうかを判断し、該当する場合は、ステップＳ４１５で、（ｘ０，ｙ）を中央点とした時の左右範囲ｔの差異Ｄ’（ｙ、ｔ）を計算する。そして、ステップＳ４１６で、Ｓ（ｔ）＋＝Ｄ’（ｙ、ｔ）、ｙ＋＋として、ステップＳ４１４に戻る。ステップＳ４１４の判定で、ｙ１≦ｙかつｙ≦ｙ２が該当しない場合は、ステップＳ４１７で、相関評価値Ｓ（ｔ）を保存し、その後、ｙ＋＋としてステップＳ４１２に戻る。一方、ステップＳ４１２の判定で、ｔｍｉｎ≦ｔかつｔ≦ｔｍａｘに該当しない場合、ステップＳ４１９で、Ｓ（ｔ）を解析し、値が急増するｔ＝ｔ０を決定し、ｘ０−ｔ０≦ｘ≦ｘ０＋ｔ０を照合範囲とする。そして、ステップＳ４２０で、Ｓｍｉｎ＞Ｔｈかどうか判断し、該当しない場合は本処理を終了し、Ｓｍｉｎ＞Ｔｈに該当する場合は、ステップＳ４２１で、左反面反転コピー画像、右反面反転コピー画像を生成する。ステップＳ４２１の処理を終えた後、本処理を終了する。
【００６４】
このように、ステップＳ４１１〜ステップＳ４１８で、ｔｍｉｎ≦ｔ≦ｔｍａｘのｔについての相関評価値Ｓ（ｔ）を求め、ステップＳ４１９で、相関評価値Ｓ（ｔ）の急激に大きくなるｔ値ｔ０を求める（差異が大きいということは、相関が崩れたことを意味する）。そして、その値を元に、中央位置補正の施された画像のｘ０−ｔ０≦ｘ≦ｘ０＋ｔ０の範囲を照合範囲とする。ここでも、中央位置補正部１０４と同様、左右の対象度の指標として、左右値の差の総和を用いて説明したが、２乗誤差の総和を用いてもかまわない。また、類似度や相関値での代替も可能である。但し、類似度や相関値で評価する場合には、左右値の差の総和を用いた場合とは、大小関係が逆転する。
【００６５】
このように、通行路に設置されたカメラで撮影された車両等の対象物を識別する際に、処理能力の高い計算機に拠らず、カメラに組み込み可能な半導体でも実現できる簡易な処理で、左右対称な特性を持つ対象物の近似的な正面画像を得ることができる。そして、これにより、さまざまな角度から撮影された人物等の対象物の識別処理を行うことが可能となる。
【００６６】
（実施の形態２）
本発明の実施の形態２に係る画像処理装置は、人物の顔認証のための近似的正面画像を生成できるものであり、図１２に示すように、対象物抽出部１０１１と、画像補正部１０２１と、特徴画像生成部１０３１と、中央位置補正部１０４１と、照合領域抽出部１０５１とを備えている。
【００６７】
図１３は、対象物抽出部１０１１の処理を示すフローチャートである。図１３において、まずステップＳ５０１で画像中の人の顔の検出を行い、次いでステップＳ５０２で、顔が検出された否かを判断し、顔を検出した場合は対象物が有ると判断してステップＳ５０３で目口位置座標を検出する。次いでステップＳ５０４で、検出した目口位置に基づき対象物領域を決定する。
【００６８】
図１４において、（ａ）は入力画像、（ｂ）は抽出された目口位置座標Ｐと対象物領域Ｒ１を示す。ステップＳ５０１の顔検出ステップは、例えばテンプレートを利用したパターンマッチングによる方法（例えば特開２００４−３１８２０４号公報参照）といった公知の顔検出方法を用いて実行される。また、連続画像が入力される場合には、連続する画像間の変化から移動物体を検出し、対象物とする方法を用いることもできる。
【００６９】
画像補正部１０２１では、対象物抽出部１０１１で、顔が写っていると判定された画像についてカメラ位置による画像の補正を行う。図１５は画像補正部１０２における処理を示す図である。また、図１６は画像補正部１０２の処理を示すフローチャートである。対象物が顔の場合、まずステップＳ６０１で、顔の垂直軸を画像の垂直軸に一致させる傾き補正を行う。このとき、両目位置Ｐ１，Ｐ２を結んだ直線（Ｐ１Ｐ２）に口位置（Ｐ３）から降ろした垂線Ｐ３Ｈを顔の垂直軸とし（図１５の（ａ））、この垂線Ｐ３Ｈを画像の垂直方向に向ける回転補正を行う（図１５の（ｂ））。次いで、ステップＳ６０２で、左右の目位置座標と前記垂線の足Ｈとの距離の比（Ｐ１Ｈ：Ｐ２Ｈ）に基づき、逆透視変換のための補正パラメータを決定する。そして、ステップＳ６０３で、ステップＳ６０２で得られたパラメータを用いて画像を逆透視変換する。以上の補正により、顔前面の左右方向が画像の水平方向に、垂直（上下）方向が画像の垂直方向に一致する（図１５の（ｃ））。
【００７０】
次に、特徴画像生成部１０３１では、画像補正部１０２１で画像補正の施された画像に対し、以後の処理で使用する特徴画像を生成する。例えば、濃淡画像化、２値画像化、あるいは、ハフ変換やソーベルフィルタ等のフィルタ処理を施したエッジ画像等を生成する。あるいは、特徴画像生成処理を行わず、元の画像の画素値をそのまま利用しても構わない。
【００７１】
図１７は、中央位置補正部１０４１における処理を示すフローチャートである。図１７において、ステップＳ７０１で、特徴画像生成部１０３１で得られた特徴画像中での対象物領域Ｒ”１内の各ｙ座標について中央位置ｘ座標を求める（図１８の（ａ））。次いで、ステップＳ７０２で、各ｙ座標について得られた中央位置ｘ座標の平滑化を行う。次いで、ステップＳ７０３で、平滑化された各ｙ座標ごとの中央位置ｘ座標の平均値Ｘ０を求める。次いで、ステップＳ７０４で、各ｙ座標ごとの中央位置をステップＳ７０３で求めた平均値Ｘ０に一致させるよう各ｙ座標の横方向の画素を左右にずらす（図１８（ｂ））。なお、中央位置を算出するステップＳ７０１の処理は、車両を対象とする場合の注目矩形内中央位置算出ステップ（ステップＳ３０１、Ｓ３０４、Ｓ３０７）と同一である。また、照合領域抽出部１０５１における処理も車両を対象とする場合と同一でよい。
【００７２】
このように、通行路に設置されたカメラで撮影された車両等の対象物を識別する際に、処理能力の高い計算機に拠らず、カメラに組み込み可能な半導体でも実現できる簡易な処理で、左右対称な特性を持つ対象物の近似的な正面画像を得ることができる。そして、これにより、さまざまな角度から撮影された車両や人物等の対象物の識別処理を行うことが可能となる。
【００７３】
なお、上記実施の形態１、２で説明した対象物抽出部１０１及び１０１１、画像補正部１０２及び１０２１、特徴画像生成部１０３及び１０３１、中央位置補正部１０４及び１０４１及び照合領域抽出部１０５及び１０５１の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは、個別に１チップ化されてもよいし、一部又は全部等のように１チップ化されてもよい。
【００７４】
集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。
【００７５】
また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００７６】
さらには、半導体技術の進歩又は派生する別の技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
【００７７】
（実施の形態３）
図２０は、本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図である。図２０において、本実施の形態の画像処理装置は、画像入力部１１０と、表示部１１１と、画像出力部１１２と、条件記録部１１３と、画像変形部１１４と、対称位置指示部１１５と、サイズ指示部１１６と、利用部分指示部１１７とを備える。
【００７８】
画像入力部１１０は、図示せぬカメラで撮影された処理対象物の画像を入力する。表示部１１１は、処理対象物の画像、各種指示及び各種指示による処理対象物の処理画像を表示する。ここで、各種指示は、対象位置指示、サイズ指標指示及び利用部分指示である。画像出力部１１２は、画像変形部１１４で処理された処理対象物の処理画像を出力する。条件記録部１１３は、処理対象物のサイズ等の既成値を記録する。対称位置指示部１１５は、画像変形部１１４に対して画像内の対象物の対称位置と中央位置を指示する。対称位置と中央位置の指示は操作者が行う。すなわち、操作者は、表示部１１１に表示された処理対象物の画像を見ながら対象位置指示部１１５を操作して処理対象物の画像の対称位置と中央位置を指定する。この指定により、対称位置指示部１１５は、操作者が指定した対象物の対称位置と中央位置を画像変形部１１４に指示する。
【００７９】
サイズ指示部１１６は、画像変形部１１４に対して画像内の対象物のサイズ指標を指示する。サイズ指標の指示は操作者が行う。すなわち、操作者は、表示部１１１に表示された処理対象物の画像を見ながらサイズ指示部１１６を操作して処理対象物の画像のサイズ指標を指定する。この指定により、サイズ指示部１１６は、操作者が指定した処理対象物の画像のサイズ指標を画像変形部１１４に指示する。
【００８０】
利用部分指示部１１７は、画像変形部１１４に対して画像内の処理対象物の非利用部分を指示する。非利用部分の指示は操作者が行う。すなわち、操作者は、表示部１１１に表示された処理対象物の画像を見ながら利用部分指示部１１７を操作して処理対象物の非利用部分を指定する。この指定により、利用部分指示部１１７は、操作者が指定した対象物の非利用部分を画像変形部１１４に指示する。
【００８１】
画像変形部１１４は、画像入力部１１０で入力された画像を対称位置指示部１１５で指示された対称位置と中央位置を用いて画像変形（“第１の画像変形”）する。また、第１の画像変形を行った後、条件記録部１１３に記録されているサイズの既成値とサイズ指示部１１６で指示されたサイズ指標を用いて画像変形（“第２の画像変形”）する。また、第２の画像変形を行った後、利用部分指示部１１７で指示された非利用部分を対称部分の画像で補充する（“第３の画像変形”）。そして、第３の画像変形により得られた画像を画像出力部１１２に出力する。
【００８２】
次に、本実施の形態の画像処理装置の動作を説明する。
図２１は、本実施の形態の画像処理装置の画像処理を説明するためのフローチャートである。図２１において、まずステップＳ１００１で、画像入力部１１０が処理対象の画像を入力し、画像変形部１１４に出力する。画像変形部１１４に出力された処理対象の画像は表示部１１１に表示される。
【００８３】
表示部１１１に処理対象の画像が表示されている状態で、操作者が処理対象物の対称位置と中央位置を指定する操作を行うと、ステップＳ１００２で、対称位置指示部１１５が画像内の処理対象物の対称位置と中央位置を画像変形部１１４に指示する。画像変形部１１４は、対称位置指示部１１５からの指示を受けると、ステップＳ１００３で、画像内の処理対象物の対称位置と中央位置を用いて処理対象物を正面画像に変形する（第１の画像変形処理）。正面画像に変形された処理対象物の画像は表示部１１１に表示される。
【００８４】
処理対象物が正面画像に変形された後、ステップＳ１００４で、画像変形部１１４が、引き続き対称位置指示があるかどうか判定し、引き続き対称位置指示があると判断するとステップＳ１００２に戻り、引き続き対称位置指示部１１５からの指示を受け付ける。これに対して対称位置指示がないと判断すると次の指示を待つ。このとき表示部１１１には正面画像が表示されている。
【００８５】
第１の画像変形処理が行われた後、表示部１１１に正面画像が表示されている状態で操作者が処理対象物のサイズ指標を指示する操作を行うと、ステップＳ１００５で、サイズ指示部１１６が操作者にて指示されたサイズ指標を画像変形部１１４に指示する。画像変形部１１４は、サイズ指示部１１６からの指示を受けると、ステップＳ１００６で、指示されたサイズ指標と、条件記録部１１３に予め記録されているサイズの既成値とを用いて対象物のサイズを補正する（第２の画像変形処理）。サイズ補正された処理対象物の画像は表示部１１１に表示される。
【００８６】
次いで、ステップＳ１００７で、画像変形部１１４が、引き続きサイズ指標の指示があるかどうか判定し、引き続きサイズ指標の指示があると判断するとステップＳ１００５に戻り、引き続きサイズ指示部１１６からの指示を受け付ける。これに対してサイズ指標の指示がないと判断すると、次の指示を待つ。このとき表示部１１１にはサイズ補正された正面画像が表示されている。
【００８７】
第２の画像変形処理が行われた後、表示部１１１に正面画像が表示されている状態で操作者が処理対象物の非利用部分を指示する操作を行うと、ステップＳ１００８で、利用部分指示部１１７が操作者にて指定された非利用部分を画像変形部１１４に指示する。画像変形部１１４は、利用部分指示部１１７からの指示を受けると、ステップＳ１００９で、指示された画像の非利用部分を対称部分の画像で補充する（第３の画像変形処理）。非利用部分が補充された処理対象物の画像は表示部１１１に表示される。
【００８８】
次いで、ステップＳ１０１０で、画像変形部１１４が、引き続き非利用部分の補充の指示があるかどうか判定し、引き続き非利用部分の補充の指示があると判断するとステップＳ１００８に戻り、利用部分指示部１１７からの指示を受け付ける。これに対して非利用部分の補充の指示がないと判断すると、次の指示を待つ。このとき表示部１１１には非利用部分が補充された正面画像が表示されている。
【００８９】
以上、画像変形部１１４は、対称位置指示による第１の画像変形処理、サイズ指標指示による第２の画像変形処理、非利用部分指示による第３の画像変形処理を行った後、ステップＳ１０１１で、前記各変形処理後の画像を出力し、さらにステップＳ１０１２で変形処理条件を出力して本処理を終了する。ここで、変形条件は、ステップＳ１００２で指示された対象物の対称位置と中央位置、ステップＳ１００５で指示されたサイズ指標、ステップＳ１００８で指示された画像の非利用部分の指示条件である。画像出力部１１２は、入力画像及び最終変形画像と変形条件とを出力する。上記ステップＳ１００１〜Ｓ１０１２は、コンピュータで実行可能なプラグラムで記述してもよい。
【００９０】
次に、具体例を挙げて本実施の形態の画像処理装置の動作を説明する。
図２２は、入力画像の一例を示す図である。同図に示す入力画像には車両の正面画像Ｉａが含まれている。図２３〜図２６は第１の画像変形処理における各過程を示す図である。第１の画像変形処理は対称位置指示部１１５と画像変形部１１４で行われる。まず操作者が車両の正面画像Ｉａに対して対称位置Ｐ１，Ｐ２を指示する操作を行う。この操作が行われると、図２３に示すように、画像変形部１１４が対称位置指示部１１５からの指示に従って表示部１１１に対称位置Ｐ１，Ｐ２を表示する。さらに、図２４に示すように対称位置Ｐ１，Ｐ２を結ぶ線分Ｌ１を表示する。
【００９１】
次いで、操作者が線分Ｌ１上の中央位置Ｐｃ１を指示する操作を行うと、図２５に示すように、画像変形部１１４が対称位置指示部１１５からの指示に従って線分Ｌ１上に中央位置Ｐｃ１を表示する。操作者が同様の操作（対称位置の指示及び中央位置の指示）を必要な数分について行うことで、図２６に示すような結果が得られる。なお、操作者が指示した位置が外れていた場合は位置を修正したり削除したりすることも可能である。
【００９２】
次に、第２の画像変形処理について説明する。第２の画像変形処理はサイズ指示部１１６と画像変形部１１４で行われる。第１の画像変形処理が終了している状態で、操作者が図示せぬ「変換」ボタンを押すと、図２７に示すように、画像変形部１１４が正面画像Ｉａを複数の台形領域（一例を符号Ｓ１，Ｓ２で示している）に分割する。次いで、画像変形部１１４は、図２８に示すように、台形領域ごとに長方形領域に変形し、さらに対称位置が中央位置から同じ長さになるように左右の縮尺を合せる（一例を符号Ｓ１’，Ｓ２’で示している）。次いで、図２９に示すように、各長方形領域の中央位置を合せて正面画像Ｉｂに変形する。図３０にその正面画像Ｉｂを示す。操作者は、その正面画像Ｉｂを確認し、補正未完了であれば対称位置指示の操作をやり直す。
【００９３】
次に、操作者が正面画像Ｉｂのサイズ指標であるプレート位置を指示する操作を行うと、サイズ指示部１１６は、図３１に示すように、指示されたプレート位置Ｐ５０〜Ｐ５３を表示部１１１に表示する。操作者が図示せぬ「変換」ボタンを押すと、画像変形部１１４が、条件記録部１１３に記録されているプレートサイズを参照し、縦横の縮尺を合せて図３２に示すサイズ補正画像Ｉｃ１に変形し、表示部１１１に表示する。
【００９４】
また、サイズ補正方法は、プレートの四隅を指定して、プレート公称値でサイズ調整する以外に、図３３に示すように、車幅（Ｗ）及び車高（Ｈ）を指定し、カタログ値でサイズ調整することも可能である。サイズ指示部１１６は、図３４に示すように表示部１１１に表示された正面画像Ｉｂに中央位置で線対称な枠ＦＲ１を表示する。操作者は、枠ＦＲ１の幅及び上下位置を移動させて、サイズ指標である車幅・車高を指示する操作を行う。車幅・車高を指示する操作を行った後、操作者が図示せぬ「変換」ボタンを押すと、画像変形部１１４が、条件記録部１１３に記録されている車幅・車高のカタログ値を参照し、縦横の縮尺を合せて図３４に示すサイズ補正画像Ｉｃ２に変形する。操作者はサイズ補正画像Ｉｃ１あるいはＩｃ２を確認し、補正未完了であればサイズ指示の操作をやり直す。
【００９５】
次に、第３の画像変形処理について説明する。第３の画像変形処理は利用部分指示部１１７と画像変形部１１４で行われる。図３５に示すように、画像変形部１１４は利用部分指示部１１７からの指示に従い、サイズ補正画像Ｉｃ２に部分領域枠ＦＲ２を表示する。操作者はこの表示を見て、図３６に示すように、非利用部分Ｇを指示する操作を行うと、画像変形部１１４は利用部分指示部１１７からの指示に従い、指示された非利用部分Ｇに対応する部分領域枠を対象外表示する。この状態で操作者が図示せぬ「変換」ボタンを押すと、図３７に示すように、画像変形部１１４は非利用部分Ｇを対称部分の画像で補充して、図３８に示すように、非利用部分補充画像Ｉｄに変形して表示する。操作者は非利用部分補充画像Ｉｄを確認し、補正未完了であれば利用部分指示の操作をやり直す。
【００９６】
このように、カメラで撮影された車両等の対象物を識別する際に、左右対称の中心や両端等の設定を人間が自由に設定することができるインタフェースを持つことにより、使用における自由度が高まる。無論、これらの設定を行った後の処理は前述した実施の形態１及び２の画像処理装置と同様に行われる。
【００９７】
なお、本実施の形態の画像処理装置において、画像内の対象物の対称位置と中央位置を指示したが、画像が既に正面補正されている場合は中央の指示のみでもかまわない。
【００９８】
また、本実施の形態の画像処理装置において、対称位置指示部１１５、サイズ指示部１１６及び利用部分指示部１１７の各指示部の処理結果が思わしくない場合、指示を修正入力するようにしてもかまわない。
【００９９】
また、本実施の形態の画像処理装置において、画像変形部１１４が利用部分指示部１１７で指示された非利用部分を対称部分の画像で補充し、その結果を画像出力部１１２に出力したが、画像の補充を行わないで、利用部分指示部１１７で指示された非利用部分情報を補充前画像と共に出力し、以降の認識等の処理で、処理に用いる特徴量に変換した後、対称部分の特徴量で補充するようにしてもかまわない。
【０１００】
また、本実施の形態の画像処理装置は、各指示ごとに処理を行うものであるが、全ての指示を一度に与えて一括して処理するようにしてもかまわない。このようにした場合の動作は図３９のフローチャートに示すようになる。図３９に示すように、ステップＳ１１０１で画像入力部１１０が画像入力を行った後、ステップＳ１１０２で対称位置指示部１１５が画像内の処理対象物の対称位置と中央位置を画像変形部１１４に指示し、次いで、ステップＳ１１０３でサイズ指示部１１６が操作者にて指示されたサイズ指標を画像変形部１１４に指示する。そして、ステップＳ１１０４で利用部分指示部１１７が操作者にて指定された非利用部分を画像変形部１１４に指示する。
【０１０１】
利用部分指示部１１７が画像変形部１１４に指示した後、ステップＳ１１０５で画像変形部１１４が画像内の処理対象物の対称位置と中央位置を用いて処理対象物を正面画像に変形し（第１の画像変形処理）、変形した正面画像を表示部１１１に表示する。次いで、画像変形部１１４は、サイズ指示部１１６から指示されたサイズ指標と、条件記録部１１３に予め記録されているサイズの既成値とを用いて対象物のサイズを補正し（第２の画像変形処理）、サイズ補正した画像を表示部１１１に表示する。次いで、画像変形部１１４は、利用部分指示部１１７から指示された画像の非利用部分を対称部分の画像で補充し（第３の画像変形処理）、非利用部分を補充した画像を表示部１１１に表示する。
【０１０２】
次いで、ステップＳ１１０６で、画像変形部１１４は、引き続き対称位置の指定、サイズ指定又は利用部分の指定のいずれか１つでも指示があるかどうか判定し、いずれか１つでも指示があると判断するとステップＳ１１０２に戻り、指示があった処理を繰り返し行う。そして、対称位置の指定、サイズ指定及び利用部分の指定のいずれかからも指示がなければ、ステップＳ１１０７で、処理済みの変形画像を出力し、さらにステップＳ１１０８で変形条件を出力する。変形条件の指示と入力画像の変形及び表示の処理順序を入れ替えてもかまわない。上記ステップＳ１１０１〜Ｓ１１０８は、コンピュータで実行可能なプラグラムで記述してもよい。
【０１０３】
なお、実施の形態３で説明した画像入力部１１０、画像出力部１１２、条件記録部１１３、画像変形部１１４、対称位置指示部１１５、サイズ指示部１１６及び利用部分指示部１１７の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは、個別に１チップ化されてもよいし、一部又は全部等のように１チップ化されてもよい。
【０１０４】
集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。
【０１０５】
また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１０６】
さらには、半導体技術の進歩又は派生する別の技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
【０１０７】
以上、本発明を車両と人物の顔に適用した実施形態を説明したが、本発明の画像処理装置は、上記各実施の形態に限られるものではなく、何らかの計測方法により、物体の向きを特定できれば、左右対称の任意の物体に本発明を適用できる。
【産業上の利用可能性】
【０１０８】
本発明にかかる画像処理装置は、通行路等に設置された監視カメラ等で撮影された画像から、簡易な処理で、車両又は人物等の対象物の近似的な正面画像を得ることができるといった効果を有し、車両識別システムや顔認証を用いた入出門システム等に応用できる。
【０１０９】
また、さまざまな角度から撮影された車両や人物の画像の格納されたデータベースから特定の対象物の画像を選び出す検索システム等の用途にも応用可能である。
【符号の説明】
【０１１０】
１０１、１０１１  対象物抽出部
１０２、１０２１  画像補正部
１０３、１０３１  特徴画像生成部
１０４、１０４１  中央位置補正部
１０５、１０５１  照合領域抽出部
１１０  画像入力部
１１１  表示部
１１２  画像出力部
１１３  条件記録部
１１４  画像変形部
１１５  対称位置指示部
１１６  サイズ指示部
１１７  利用部分指示部
【図１】
2010267257.tif 000003
【図２】
2010267257.tif 000004
【図３】
2010267257.tif 000005
【図４】
2010267257.tif 000006
【図５】
2010267257.tif 000007
【図６】
2010267257.tif 000008
【図７】
2010267257.tif 000009
【図８】
2010267257.tif 000010
【図９】
2010267257.tif 000011
【図１０】
2010267257.tif 000012
【図１１】
2010267257.tif 000013
【図１２】
2010267257.tif 000014
【図１３】
2010267257.tif 000015
【図１４】
2010267257.tif 000016
【図１５】
2010267257.tif 000017
【図１６】
2010267257.tif 000018
【図１７】
2010267257.tif 000019
【図１８】
2010267257.tif 000020
【図１９】
2010267257.tif 000021
【図２０】
2010267257.tif 000022
【図２１】
2010267257.tif 000023
【図２２】
2010267257.tif 000024
【図２３】
2010267257.tif 000025
【図２４】
2010267257.tif 000026
【図２５】
2010267257.tif 000027
【図２６】
2010267257.tif 000028
【図２７】
2010267257.tif 000029
【図２８】
2010267257.tif 000030
【図２９】
2010267257.tif 000031
【図３０】
2010267257.tif 000032
【図３１】
2010267257.tif 000033
【図３２】
2010267257.tif 000034
【図３３】
2010267257.tif 000035
【図３４】
2010267257.tif 000036
【図３５】
2010267257.tif 000037
【図３６】
2010267257.tif 000038
【図３７】
2010267257.tif 000039
【図３８】
2010267257.tif 000040
【図３９】
2010267257.tif 000041