(57)【要約】【課題】画像中のナンバープレートの大きさおよび傾きにバラツキがあっても文字認識精度を極力確保できるようにする。【解決手段】車両のナンバープレートを撮像する撮像手段１１と、撮像手段１１が撮像した画像から４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標を検出する検出手段Ｓ１６０、Ｓ１７０と、検出手段Ｓ１６０、Ｓ１７０が検出した４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標に基づいて透視変換を行う透視変換手段Ｓ１８０と、透視変換手段Ｓ１８０が透視変換した画像に対して文字認識を行う文字認識手段Ｓ１９０とを備え、検出手段Ｓ１６０、Ｓ１７０が検出する４点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、２つのプレート止めＰ２、Ｐ３、ナンバープレートに表示された１つの区切り記号Ｐ４、およびナンバープレートに表示された数字のうち最も右側に位置している数字の重心Ｐ１である。【選択図】図９
2015032087.tif 000002
【特許請求の範囲】
【請求項１】
車両のナンバープレートを撮像する撮像手段（１１）と、
前記撮像手段（１１）が撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出手段（Ｓ１６０、Ｓ１７０）と、
前記検出手段（Ｓ１６０、Ｓ１７０）が検出した前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換手段（Ｓ１８０）と、
前記透視変換手段（Ｓ１８０）が透視変換した画像に対して文字認識を行う文字認識手段（Ｓ１９０）とを備え、
前記検出手段（Ｓ１６０、Ｓ１７０）が検出する前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、１つの区切り記号（Ｐ４）、および最も右側に位置している数字候補の重心（Ｐ１）であることを特徴とするナンバープレート認識装置。
【請求項２】
前記検出手段（Ｓ１６０）は、前記撮像手段（１１）が撮像した画像に対して各ブロブの重心の座標を求め、前記各ブロブの重心のうち最も右側に位置しているブロブを前記数字候補の重心（Ｐ１）として選択することを特徴とする請求項１に記載のナンバープレート認識装置。
【請求項３】
前記検出手段（Ｓ１７０）は、
前記撮像手段（１１）が撮像した画像から特徴点を全て抽出し、
前記ナンバープレートの下部で抽出された前記特徴点の個数が２つ以上であるか否かを判定し、
前記ナンバープレートの下部で抽出された前記特徴点の個数が２つ以上であると判定した場合、前記ナンバープレートの下部で抽出された前記特徴点のうち最も左側に位置している特徴点を前記１つの区切り記号（Ｐ４）として選択し、
前記ナンバープレートの下部で抽出された前記特徴点の個数が２つ以上でないと判定した場合、前記ナンバープレートの下部で抽出された前記特徴点を前記１つの区切り記号（Ｐ４）として選択することを特徴とする請求項１または２に記載のナンバープレート認識装置。
【請求項４】
車両のナンバープレートを撮像する撮像手段（１１）と、
前記撮像手段（１１）が撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出手段（Ｓ２００）と、
前記検出手段（Ｓ２００）が検出した前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換手段（Ｓ１８０）と、
前記透視変換手段（Ｓ１８０）が透視変換した画像に対して文字認識を行う文字認識手段（Ｓ１９０）とを備え、
前記検出手段（Ｓ２００）が検出する前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、最も右側に位置している数字候補の重心（Ｐ１）、および最も左側に位置している英字候補の重心（Ｐ４）であることを特徴とするナンバープレート認識装置。
【請求項５】
前記検出手段（Ｓ２００）は、
前記ナンバープレートの文字列が１行であるか否かを判定し、
前記ナンバープレートの文字列が１行であると判定した場合、前記撮像手段（１１）が撮像した画像から英数字候補を抽出し、抽出した前記英数字候補のうち最も右側に位置している英数字候補の重心を前記数字候補の重心（Ｐ１）として選択し、抽出した前記英数字候補のうち最も左側に位置している英数字候補の重心を前記英字候補の重心（Ｐ４）として選択し、
前記ナンバープレートの文字列が１行でないと判定した場合、前記撮像手段（１１）が撮像した画像において最も右側に位置している文字候補の重心を前記数字候補の重心（Ｐ１）として選択し、前記撮像手段（１１）が撮像した画像において最も左側に位置している文字候補の重心を前記英字候補の重心（Ｐ４）として選択することを特徴とする請求項４に記載のナンバープレート認識装置。
【請求項６】
前記検出手段（Ｓ２００）は、
前記ナンバープレートの文字列が１行であると判定した場合、抽出した前記英数字候補を構成する各ブロブの重心の座標を求め、前記各ブロブの重心のうち最も右側に位置しているブロブの重心を前記数字候補の重心（Ｐ１）として選択し、前記各ブロブの重心のうち最も左側に位置しているブロブの重心を前記英字候補の重心（Ｐ４）として選択し、
前記ナンバープレートの文字列が１行でないと判定した場合、前記撮像手段（１１）が撮像した画像に対して各ブロブの重心の座標を求め、前記各ブロブの重心のうち最も右側に位置しているブロブの重心を前記数字候補の重心（Ｐ１）として選択し、前記各ブロブの重心のうち最も左側に位置しているブロブの重心を前記英字候補の重心（Ｐ４）として選択することを特徴とする請求項５に記載のナンバープレート認識装置。
【請求項７】
車両のナンバープレートを撮像する撮像行程と、
前記撮像行程で撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出行程（Ｓ１６０、Ｓ１７０）と、
前記検出行程（Ｓ１６０、Ｓ１７０）で検出した前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換行程（Ｓ１８０）と、
前記透視変換行程（Ｓ１８０）で透視変換した画像に対して文字認識を行う文字認識行程（Ｓ１９０）とを含み、
前記検出行程（Ｓ１６０、Ｓ１７０）で検出する前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、１つの区切り記号（Ｐ４）、および最も右側に位置している数字候補の重心（Ｐ１）であることを特徴とするナンバープレート認識方法。
【請求項８】
前記検出行程（Ｓ１６０）では、前記撮像手段（１１）が撮像した画像に対して各ブロブの重心の座標を求め、前記各ブロブの重心のうち最も右側に位置しているブロブを前記数字候補の重心（Ｐ１）として選択することを特徴とする請求項７に記載のナンバープレート認識方法。
【請求項９】
前記検出行程（Ｓ１７０）では、
前記撮像手段（１１）が撮像した画像から特徴点を全て抽出し、
前記ナンバープレートの下部で抽出された前記特徴点の個数が２つ以上であるか否かを判定し、
前記ナンバープレートの下部で抽出された前記特徴点の個数が２つ以上であると判定した場合、前記ナンバープレートの下部で抽出された前記特徴点のうち最も左側に位置している特徴点を前記１つの区切り記号（Ｐ４）として選択し、
前記ナンバープレートの下部で抽出された前記特徴点の個数が２つ以上でないと判定した場合、前記ナンバープレートの下部で抽出された前記特徴点を前記１つの区切り記号（Ｐ４）として選択することを特徴とする請求項７または８に記載のナンバープレート認識方法。
【請求項１０】
車両のナンバープレートを撮像する撮像行程と、
前記撮像行程で撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出行程（Ｓ２００）と、
前記検出行程（Ｓ２００）で検出した前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換行程（Ｓ１８０）と、
前記透視変換行程（Ｓ１８０）で透視変換した画像に対して文字認識を行う文字認識行程（Ｓ１９０）とを含み、
前記検出行程（Ｓ２００）で検出する前記４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、最も右側に位置している数字候補の重心（Ｐ１）、および最も左側に位置している英数字候補の重心（Ｐ４）であることを特徴とするナンバープレート認識方法。
【請求項１１】
前記検出行程（Ｓ２００）では、
前記ナンバープレートの文字列が１行であるか否かを判定し、
前記ナンバープレートの文字列が１行であると判定した場合、前記撮像手段（１１）が撮像した画像から英数字候補を抽出し、抽出した前記英数字候補のうち最も右側に位置している英数字候補の重心を前記数字候補の重心（Ｐ１）として選択し、抽出した前記英数字候補のうち最も左側に位置している英数字候補の重心を前記英字候補の重心（Ｐ４）として選択し、
前記ナンバープレートの文字列が１行でないと判定した場合、前記撮像手段（１１）が撮像した画像において最も右側に位置している文字候補の重心を前記数字候補の重心（Ｐ１）として選択し、前記撮像手段（１１）が撮像した画像において最も左側に位置している文字候補の重心を前記英字候補の重心（Ｐ４）として選択することを特徴とする請求項１０に記載のナンバープレート認識方法。
【請求項１２】
前記検出行程（Ｓ２００）では、
前記ナンバープレートの文字列が１行であると判定した場合、抽出した前記英数字候補を構成する各ブロブの重心の座標を求め、前記各ブロブの重心のうち最も右側に位置しているブロブの重心を前記数字候補の重心（Ｐ１）として選択し、前記各ブロブの重心のうち最も左側に位置しているブロブの重心を前記英字候補の重心（Ｐ４）として選択し、
前記ナンバープレートの文字列が１行でないと判定した場合、前記撮像手段（１１）が撮像した画像に対して各ブロブの重心の座標を求め、前記各ブロブの重心のうち最も右側に位置しているブロブの重心を前記数字候補の重心（Ｐ１）として選択し、前記各ブロブの重心のうち最も左側に位置しているブロブの重心を前記英字候補の重心（Ｐ４）として選択することを特徴とする請求項１１に記載のナンバープレート認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のナンバープレートに表示された文字を認識するナンバープレート認識装置およびナンバープレート認識方法に関する。
【背景技術】
【０００２】
従来、車両のナンバープレートをカメラで撮像し、撮像した画像からナンバープレート上の各文字を認識するナンバープレート認識装置およびナンバープレート認識方法が特許文献１等に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１１３４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、カメラで撮像する際に車両の位置が必ずしも一定にならない。そのため、画像中のナンバープレートの大きさおよび傾きにバラツキが生じてしまい、文字認識の精度が低下してしまうという問題がある。この対策として文字認識学習を用いる場合、文字認識学習の負荷が過大になってしまう。
【０００５】
本発明は上記点に鑑みて、画像中のナンバープレートの大きさおよび傾きにバラツキがあっても文字認識精度を極力確保できるナンバープレート認識装置およびナンバープレート認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の発明では、
車両のナンバープレートを撮像する撮像手段（１１）と、
撮像手段（１１）が撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出手段（Ｓ１６０、Ｓ１７０）と、
検出手段（Ｓ１６０、Ｓ１７０）が検出した４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換手段（Ｓ１８０）と、
透視変換手段（Ｓ１８０）が透視変換した画像に対して文字認識を行う文字認識手段（Ｓ１９０）とを備え、
検出手段（Ｓ１６０、Ｓ１７０）が検出する４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、ナンバープレートに表示された１つの区切り記号（Ｐ４）、およびナンバープレートに表示された数字のうち最も右側に位置している数字の重心（Ｐ１）であることを特徴とする。
【０００７】
これによると、撮像手段（１１）が撮像した画像を、検出手段（Ｓ１６０、Ｓ１７０）が検出した４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて、透視変換手段（Ｓ１８０）が透視変換を行うので、画像中のナンバープレートを一定の大きさと傾きに近づけることができる。
【０００８】
しかも、検出手段（Ｓ１６０、Ｓ１７０）が検出する４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、１つの区切り記号（Ｐ４）、およびナンバープレートに表示された数字のうち最も右側に位置している数字の重心（Ｐ１）であるので、検出手段（Ｓ１６０、Ｓ１７０）による４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の検出が容易であり、透視変換手段（Ｓ１８０）による透視変換を精度良く行うことができる。
【０００９】
すなわち、プレート止め（Ｐ２、Ｐ３）および区切り記号（Ｐ４）は、円形に近い形状であるので、検出手段（Ｓ１６０、Ｓ１７０）による検出が容易である。数字は、数字以外の文字（漢字等）と比較して形状が単純であるので、検出手段（Ｓ１６０、Ｓ１７０）による検出が容易である。最も右側に位置している数字は、周りに空白の領域が比較的多いので、検出手段（Ｓ１６０、Ｓ１７０）による検出が容易である。
【００１０】
プレート止め（Ｐ２、Ｐ３）、区切り記号（Ｐ４）、および最も右側に位置している数字は、互いに比較的離れているので、透視変換手段（Ｓ１８０）による透視変換を精度良く行うことができる。
【００１１】
したがって、画像中のナンバープレートの大きさおよび傾きにバラツキがあっても、認識精度を極力確保できる。
【００１２】
上記目的を達成するため、請求項４に記載の発明では、
車両のナンバープレートを撮像する撮像手段（１１）と、
撮像手段（１１）が撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出手段（Ｓ２００）と、
検出手段（Ｓ２００）が検出した４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換手段（Ｓ１８０）と、
透視変換手段（Ｓ１８０）が透視変換した画像に対して文字認識を行う文字認識手段（Ｓ１９０）とを備え、
検出手段（Ｓ２００）が検出する４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、ナンバープレートに表示された数字のうち最も右側に位置している数字の重心（Ｐ１）、およびナンバープレートに表示された数字および英字のうち最も左側に位置している文字の重心（Ｐ４）であることを特徴とする。
【００１３】
これによると、請求項１に記載の発明と同様に、撮像手段（１１）が撮像した画像を、検出手段（Ｓ２００）が検出した４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて、透視変換手段（Ｓ１８０）が透視変換を行うので、画像中のナンバープレートを一定の大きさと傾きに近づけることができる。
【００１４】
しかも、検出手段（Ｓ２００）が検出する４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、ナンバープレートに表示された数字のうち最も右側に位置している数字の重心（Ｐ１）、およびナンバープレートに表示された数字および英字のうち最も左側に位置している文字の重心（Ｐ４）であるので、検出手段（Ｓ２００）による４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の検出が容易であり、透視変換手段（Ｓ１８０）による透視変換を精度良く行うことができる。
【００１５】
すなわち、プレート止め（Ｐ２、Ｐ３）は、円形に近い形状であるので、検出手段（Ｓ２００）による検出が容易である。数字は、数字以外の文字（漢字等）と比較して形状が単純であるので、検出手段（Ｓ２００）による検出が容易である。最も右側に位置している数字、および最も左側に位置している文字（数字または英字）は、周りに空白の領域が比較的多いので、検出手段（Ｓ２００）による検出が容易である。
【００１６】
プレート止め（Ｐ２、Ｐ３）、最も右側に位置している数字、および最も左側に位置している文字（数字または英字）は、互いに比較的離れているので、透視変換手段（Ｓ１８０）による透視変換を精度良く行うことができる。
【００１７】
したがって、画像中のナンバープレートの大きさおよび傾きにバラツキがあっても、認識精度を極力確保できる。
【００１８】
上記目的を達成するため、請求項７に記載の発明では、
車両のナンバープレートを撮像する撮像行程と、
撮像行程で撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出行程（Ｓ１６０、Ｓ１７０）と、
検出行程（Ｓ１６０、Ｓ１７０）で検出した４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換行程（Ｓ１８０）と、
透視変換行程（Ｓ１８０）で透視変換した画像に対して文字認識を行う文字認識行程（Ｓ１９０）とを含み、
検出行程（Ｓ１６０、Ｓ１７０）で検出する４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、ナンバープレートに表示された１つの区切り記号（Ｐ４）、およびナンバープレートに表示された数字のうち最も右側に位置している数字の重心（Ｐ１）であることを特徴とする。
【００１９】
これにより、請求項１に記載の発明と同様の作用効果を奏することができる。
【００２０】
上記目的を達成するため、請求項１０に記載の発明では、
車両のナンバープレートを撮像する撮像行程と、
撮像行程で撮像した画像から４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標を検出する検出行程（Ｓ２００）と、
検出行程（Ｓ２００）で検出した４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の座標に基づいて透視変換を行う透視変換行程（Ｓ１８０）と、
透視変換行程（Ｓ１８０）で透視変換した画像に対して文字認識を行う文字認識行程（Ｓ１９０）とを含み、
検出行程（Ｓ２００）で検出する４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）は、２つのプレート止め（Ｐ２、Ｐ３）、ナンバープレートに表示された数字のうち最も右側に位置している数字の重心（Ｐ１）、およびナンバープレートに表示された数字および英字のうち最も左側に位置している文字の重心（Ｐ４）であることを特徴とする。
【００２１】
これにより、請求項４に記載の発明と同様の作用効果を奏することができる。
【００２２】
なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【図面の簡単な説明】
【００２３】
【図１】第１実施形態におけるナンバープレート認識装置の全体構成図である。
【図２】第１実施形態におけるナンバープレート認識装置が実行する処理を示すフローチャートである。
【図３】第１実施形態におけるカメラが撮像した画像の例を示す図である。
【図４】第１実施形態におけるＨＳＶ変換後の画像の例を示す図である。
【図５】第１実施形態における２値化後の画像の例を示す図である。
【図６】第１実施形態における膨張後の画像の例を示す図である。
【図７】第１実施形態におけるラベリング後の画像の例を示す図である。
【図８】第１実施形態における右端の数字を抽出した画像の例を示す図である。
【図９】第１実施形態における３つの特徴点を抽出した画像の例を示す図である。
【図１０】第１実施形態における透視変換後の画像の例を示す図である。
【図１１】第１実施形態におけるナンバープレート認識装置が実行する文字認識処理を示すフローチャートである。
【図１２】第１実施形態の文字認識処理における２値化後の画像の例を示す図である。
【図１３】第１実施形態の文字認識処理における連結成分抽出後の画像の例を示す図である。
【図１４】第１実施形態の文字認識処理における領域選択後の画像の例を示す図である。
【図１５】第１実施形態の変形例において抽出する４点を示す図である。
【図１６】第１実施形態におけるナンバープレート認識装置が実行する特徴点抽出処理を示すフローチャートである。
【図１７】第２実施形態の第１実施例において抽出する４点を示す図である。
【図１８】第２実施形態の第２実施例において抽出する４点を示す図である。
【図１９】第２実施形態の第３実施例において抽出する４点を示す図である。
【図２０】第２実施形態の第４実施例において抽出する４点を示す図である。
【図２１】第２実施形態におけるナンバープレート認識装置が実行する４点抽出処理を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。
【００２５】
（第１実施形態）
図１に示すナンバープレート認識装置１０は、車両のナンバープレートに表示された車両番号等の文字（本例では、アラビア数字、漢字、平仮名）を認識する。
【００２６】
ナンバープレート認識装置１０は、カメラ１１およびパーソナルコンピュータ１２を備えている。カメラ１１は、車両のナンバープレートを撮像する撮像手段である。カメラ１１は、撮像素子で撮像した画像のデジタルデータをパーソナルコンピュータ１２へ送信するデジタルカメラである。カメラ１１によって、車両のナンバープレートを撮像する撮像行程が行われる。
【００２７】
本例では、カメラ１１は、駐車場の入退場ゲートの近傍に設けられており、車両の有無に関わらず、所定の時間間隔で撮像を行うようになっている。カメラ１１は、車両が所定の位置に来たときに、車両のナンバープレートを撮像できるように設けられている。
【００２８】
パーソナルコンピュータ１２は、カメラ１１から受信した画像のデジタルデータに対して種々の処理を行う処理手段である。パーソナルコンピュータ１２は、中央演算装置（ＣＰＵ）、およびその周辺回路などで構成され、ＣＰＵに読み込まれたプログラムにしたがって動作する。パーソナルコンピュータ１２とカメラ１１との間の情報通信は、例えば有線または無線のＬＡＮ（Local Area Network）を用いて行われる。
【００２９】
パーソナルコンピュータ１２は、ナンバープレートのデータベース１３を有している。データベース１３は、多数のナンバープレートに表示された文字情報によって構築されている。
【００３０】
ナンバープレート認識装置１０は、車両のナンバープレートを照明する照明光源を備えていてもよい。
【００３１】
パーソナルコンピュータ１２は、車両が所定の位置に来たときに図２のフローチャートに示す処理を実行する。車両が所定の位置に来たか否かの判定は、カメラ１１が撮像した画像に基づいて判定したり、車両の位置を検出するセンサからの出力信号に基づいて判定したりすればよい。
【００３２】
まずステップＳ１００では、カメラ１１が撮像した画像（例えば図３）のデジタルデータを入力させる。図３に示すように、ステップＳ１００で入力される画像にはナンバープレート１が含まれている。
【００３３】
日本の車両の場合、ナンバープレート１には、上段左側に１文字から４文字の地名が表示され、地名の右側に「分類番号」とよばれる１桁から３桁の数字が表示され、下段には「一連指定番号」とよばれる１〜４桁の数字が表示されている。「一連指定番号」の右側に１文字のひらがなが表示されている。
【００３４】
「一連指定番号」は、右揃えで番号が刻印され、３桁以下の場合は、空白になる桁が「・」（ドット）の記号で埋められ、４桁の場合は２桁目と３桁目の間に「−」（ハイフン）が付加される。以下では、「・」の記号および「−」を区切り記号と言う。
【００３５】
ナンバープレートの上部には、２つのプレート止め１ａが左右に所定の間隔で設けられている。プレート止め１ａは、ナンバープレート１を車両に固定するために用いられている。一方のプレート止め１ａは地名の左側に配置され、他方のプレート止め１ａは分類番号の右側に配置されている。
【００３６】
ステップＳ１１０では、図４に示すように、ステップＳ１００で入力された画像に対してＨＳＶ変換を行う。これにより、画像中のナンバープレートが顕在化される。ＨＳＶ変換とは、ＲＧＢ値（赤、緑、青の各色を表す値）をＨＳＶ値（色相、彩度、明度を表す値）に変換する処理のことである。
【００３７】
ステップＳ１２０では、図５に示すように、ステップＳ１１０でＨＳＶ変換された画像のＨ値（色相を表す値）を用いて２値化する。２値化とは、濃淡のある画像を白と黒の２階調に変換する処理のことである。図５の例では、２値化した後に白黒反転している。
【００３８】
ステップＳ１３０では、図６に示すように、ステップＳ１２０で２値化された画像のうち文字部分と同色の部分（図６の例では黒部分）を膨張させる。これにより、ナンバープレート上の多数の文字のうち分断文字が結合される。
【００３９】
分断文字とは、１つの文字中の各構成部位同士が互いに繋がっておらず分断されている文字のことである。例えば、平仮名の「い」は、右側の部位と左側の部位とが互いに繋がっておらず分断されているので分断文字に該当する。このような分断文字に対してステップＳ１３０の処理を行うことによって、分断されている各部位同士が繋げられて結合される。
【００４０】
ステップＳ１４０では、図７に示すように、ステップ１３０で黒部分が膨張された画像に対してラベリングを行って文字部分を抽出する。ラベリングとは、２値化画像処理された画像において、黒の部分または白の部分が連続した画素に同じ番号を割り振る処理のことである。ステップＳ１４０において、ブロブ解析を行い、ブロブの面積の大きさに基づいて文字部分を抽出するようにしてもよい。
【００４１】
ステップＳ１５０では、ステップＳ１４０で抽出された文字部分に基づいて、カメラ１１が撮像した元画像（例えば図３）からナンバープレート部分を切り抜く。
【００４２】
ステップＳ１６０では、図８に示すように、ステップ１３０で文字部分が抽出された画像（図７）から最も右側に位置している数字候補（ブロブ）の重心Ｐ１の座標を求める。図８の例では右端の数字「０」の部分の重心Ｐ１の座標を求める。
【００４３】
具体的には、ステップ１３０で文字部分が抽出された画像（図７）中の各ブロブ（ナンバープレートの各文字に対応）について重心の座標をブロブ解析によって求め、求めた重心の座標のうち最も右下にある座標を、最も右側に位置している数字候補の重心Ｐ１の座標として選択する。
【００４４】
ナンバープレートの最も右側に位置している数字は、ナンバープレートの他の数字・文字と比較して周りに空白の領域が多いのでブロブの検出が容易である。そのため、重心Ｐ１の座標を確実に検出できる。
【００４５】
ステップＳ１７０では、図９に示すように、ステップＳ１５０でナンバープレート部分を切り抜いた画像から、３つの特徴点Ｐ２〜Ｐ４を抽出するとともに、３つの特徴点Ｐ２〜Ｐ４の座標を求める。
【００４６】
例えば、３つの特徴点Ｐ２〜Ｐ４は、ＯｐｅｎＣＶでサポートしている特徴検出器（ＳｉｍｐｌｅＢｌｏｂ検出器）で検出することができる。３つの特徴点Ｐ２〜Ｐ４は、ブロブの面積および円形度から検出することもできる。
【００４７】
３つの特徴点Ｐ２〜Ｐ４は、２つのナンバープレート止めＰ２、Ｐ３、および１つの区切り記号Ｐ４（ハイフン）であり、いずれも円形に近い形状である。このため、３つの特徴点Ｐ２〜Ｐ４を容易に検出できる。
【００４８】
ステップＳ１６０、Ｓ１７０は、検出行程を行う検出ステップ（検出手段）である。検出行程は、カメラ１１が撮像した画像から４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標を検出する行程である。
【００４９】
ステップＳ１８０では、図１０に示すように、ステップＳ１５０でナンバープレート部分を切り抜いた画像に対して透視変換を行って、ナンバープレートを正面から見た画像を得る。透視変換とは、斜めからの画像を正面からの画像へ幾何学変換することである。
【００５０】
透視変換は、ステップＳ１６０で求めた数字の重心Ｐ１、およびステップＳ１７０で求めた３つの特徴点Ｐ２〜Ｐ４の４点の座標を用いて行われる。４点Ｐ１、Ｐ２、Ｐ３、Ｐ４は互いにある程度離れているので、透視変換を精度良く行うことができる。
【００５１】
ステップＳ１８０は、透視変換行程を行う透視変換ステップ（透視変換手段）である。透視変換行程は、ステップＳ１６０、Ｓ１７０が検出した４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標に基づいて透視変換を行う行程である。
【００５２】
ステップＳ１９０では、文字認識行程を行う。文字認識行程は、ステップＳ１８０が透視変換した画像に対して文字認識を行う行程である。ステップＳ１９０は、文字認識行程を行う文字認識ステップ（文字認識手段）である。
【００５３】
ステップＳ１９０の詳細を図１１に示す。ステップＳ１９１では、図１２に示すように、ステップＳ１８０で透視変換を行った画像を２値化する。ステップＳ１９２では、ステップＳ１９１で２値化した画像のノイズを除去する。
【００５４】
ステップＳ１９３では、図１３に示すように、ステップＳ１９２でノイズを除去した画像の連結成分を抽出する。具体的には、所定範囲の長さを有するエッジを抽出する。
【００５５】
ステップＳ１９４では、図１４に示すように、ステップＳ１９３で抽出した画像に対して領域選択を行う。具体的には、ステップＳ１９３で抽出した画像に対して、所定範囲の大きさを有する成分だけを残す。
【００５６】
ステップＳ１９５〜Ｓ１９８では、ステップＳ１９４で領域選択が行われた画像から、各種文字候補を抽出する。
【００５７】
まずステップＳ１９５では、ステップＳ１９４で領域選択を行った画像から、大きい数字の領域Ａ１を抽出する。具体的には、右端の数字候補の重心Ｐ１を基準にして、大きい数字の領域Ａ１を切り出す。
【００５８】
ステップＳ１９６では、ステップＳ１９４で領域選択を行った画像から漢字の領域Ａ２を抽出する。具体的には、右端の数字候補の重心Ｐ１を基準にして、漢字の領域Ａ２を切り出す。
【００５９】
ステップＳ１９７では、ステップＳ１９４で領域選択を行った画像から、小さい数字の領域Ａ３を抽出する。具体的には、右端の数字候補の重心Ｐ１を基準にして、小さい数字の領域Ａ３を切り出す。
【００６０】
ステップＳ１９８では、ステップＳ１９４で領域選択を行った画像から平仮名の領域Ａ４を抽出する。具体的には、右端の数字候補の重心Ｐ１を基準にして、平仮名の領域Ａ４を切り出す。
【００６１】
ステップＳ１９９では、ステップＳ１９５〜Ｓ１９８で抽出した各領域Ａ１〜Ａ４を連結して文字認識を行う。文字認識の方法としては、パターンマッチングやＯＣＲ（Optical Character Recognition ）等の方法を用いればよい。以上により、ナンバープレートに表示された文字を認識できる。本例では、認識された文字は、駐車場の入退場管理に用いられる。
【００６２】
以上では、理解を容易にするために、ナンバープレートの種類が図３に示すものである場合（すなわち、ナンバープレートの下段にある「一連指定番号」の桁数が４桁である場合）について説明した。
【００６３】
ナンバープレートの種類が図１５に示すものである場合、すなわち、ナンバープレートの下段にある「一連指定番号」の桁数が４桁未満であるため区切り記号「・」（ドット）が複数ある場合、ステップＳ１７０において、最も左側の区切り記号を特徴点Ｐ４として抽出するのが好ましい。右端の数字の重心Ｐ１から極力離れた点を抽出できるので、透視変換の精度を向上できるからである。
【００６４】
図３に示すナンバープレートと、図１５に示すナンバープレートとを見分けて特徴点Ｐ４を抽出する処理を図１６に基づいて説明する。図１６は、ステップＳ１７０の詳細を示すフローチャートである。
【００６５】
ステップＳ１７１では、ステップＳ１５０でナンバープレート部分を切り抜いた画像から特徴点を全て抽出する。これにより、プレート止めおよび区切り記号の全てが特徴点として抽出される。図３に示すナンバープレートの場合、２つのプレート止め、および１つの区切り記号「−」（ハイフン）が特徴点として抽出される。図１５に示すナンバープレートの場合、２つのプレート止め、および２つ以上の区切り記号「・」（ドット）が特徴点として抽出される。
【００６６】
ステップＳ１７２では、ナンバープレートの下部で抽出された特徴点（区切り記号と推定される特徴点）の個数が２つ以上であるか否かを判定する。
【００６７】
区切り記号として抽出された特徴点の個数が２つ以上であると判定した場合、図１５のように区切り記号「・」が２つ以上あるナンバープレートであると判断してステップＳ１７３へ進み、ナンバープレートの下部で抽出された特徴点のうち最も左側の特徴点を区切り記号の特徴点Ｐ４として選択する。
【００６８】
一方、区切り記号として抽出された特徴点の個数が２つ以上でないと判定した場合、図３のように区切り記号が１つのナンバープレートであると判断してステップＳ１７４へ進み、ナンバープレートの下部で抽出された特徴点を区切り記号の特徴点Ｐ４として選択する。
【００６９】
このようにして、図３に示すナンバープレートと、図１５に示すナンバープレートとを見分けて特徴点Ｐ４を抽出できる。
【００７０】
本実施形態におけるナンバープレート認識装置およびナンバープレート認識方法によると、カメラ１１が撮像した画像を、ステップＳ１６０、Ｓ１７０が検出した４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標に基づいて、ステップＳ１８０が透視変換を行うので、画像中のナンバープレートを一定の大きさと傾きに近づけることができる。
【００７１】
しかも、ステップＳ１６０、Ｓ１７０が検出する４点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、２つのプレート止めＰ２、Ｐ３、１つの区切り記号Ｐ４、および最も右側に位置している数字候補の重心Ｐ１であるので、ステップＳ１６０、Ｓ１７０による４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の検出が容易であり、ステップＳ１８０による透視変換を精度良く行うことができる。
【００７２】
すなわち、プレート止めＰ２、Ｐ３および区切り記号Ｐ４は、円形に近い形状であるので、ステップＳ１６０、Ｓ１７０による検出が容易である。数字は、数字以外の文字（漢字等）と比較して形状が単純であるので、ステップＳ１６０、Ｓ１７０による検出が容易である。最も右側に位置している数字候補は、周りに空白の領域が比較的多いので、ステップＳ１６０、Ｓ１７０による検出が容易である。
【００７３】
プレート止めＰ２、Ｐ３、区切り記号Ｐ４、および最も右側に位置している数字候補は、互いに比較的離れているので、ステップＳ１８０による透視変換を精度良く行うことができる。
【００７４】
したがって、画像中のナンバープレートの大きさおよび傾きにバラツキがあっても、認識精度を極力確保できる。
【００７５】
本実施形態のステップＳ１６０では、カメラ１１が撮像した画像に対して各ブロブの重心の座標を求め、各ブロブの重心のうち最も右側に位置しているブロブを数字候補の重心Ｐ１として選択する。
【００７６】
これにより、最も右側に位置している数字候補（ブロブ）の重心Ｐ１を確実に求めることができる。
【００７７】
本実施形態のステップＳ１７０では、カメラ１１が撮像した画像から特徴点を全て抽出し、ナンバープレートの下部で抽出された特徴点の個数が２つ以上であるか否かを判定し、ナンバープレートの下部で抽出された特徴点の個数が２つ以上であると判定した場合、ナンバープレートの下部で抽出された特徴点のうち最も左側に位置している特徴点を１つの区切り記号Ｐ４として選択し、ナンバープレートの下部で抽出された特徴点の個数が２つ以上でないと判定した場合、ナンバープレートの下部で抽出された特徴点を１つの区切り記号Ｐ４として選択する。
【００７８】
これにより、区切り記号が１つのみのナンバープレートと、区切り記号が複数あるナンバープレートとを見分けて、透視変換で用いる特徴点Ｐ４を抽出できる。
【００７９】
（第２実施形態）
上記第１実施形態では、日本の車両のナンバープレートに対して文字認識を行う例を示したが、本実施形態では、中国の車両のナンバープレートに対して文字認識を行う場合について説明する。
【００８０】
図１７〜図２０は、上記第１実施形態の図９に対応する図であり、ステップＳ１８０の透視変換で用いる４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を示している。
【００８１】
図１７、図１８に示すナンバープレートの場合、日本の車両のナンバープレートとは異なり、区切り記号がない。そこで、特徴点Ｐ４として、区切り記号の代わりに、最も左側に位置している英字の重心を抽出する。
【００８２】
図１９に示すナンバープレートの場合、日本のナンバープレートとは異なり、下段に区切り記号がなく、さらに図１７、図１８に示すナンバープレートとは異なり、下段に英字がない。そこで、特徴点Ｐ４として、区切り記号の代わりに、最も左側に位置している数字の重心を抽出する。
【００８３】
図２０に示すナンバープレートの場合、図１７、図１８に示すナンバープレートとは異なり、最も右側に位置している文字が数字ではなく漢字であり、その左側に数字が位置している。そこで、最も右側の漢字の左側に位置している数字の重心Ｐ１（右から２番目の文字の重心）を抽出する。
【００８４】
図１７〜図２０に示すナンバープレートの種類を見分けて４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を抽出する処理を図２１に基づいて説明する。
【００８５】
図２１のフローチャートに示すステップＳ２００は、上記第１実施形態のステップＳ１６０、Ｓ１７０の代わりに実行される。ステップＳ２００は、検出行程を行う検出ステップ（検出手段）である。
【００８６】
ステップＳ２０１では、ナンバープレートの文字列が１行であるか否かを判定する。すなわち、図１７、図１８、図２０に示すナンバープレートは文字列が１行であるのに対し、図１９に示すナンバープレートは文字列が２行であるので、これらを判別する。
【００８７】
具体的には、ステップＳ１５０でナンバープレート部分を切り抜いた画像の各ブロブの重心を求め、各重心に基づいて近似直線を算出し、全ての重心が近似直線の任意幅内に収まる場合、文字列が１行であると判定し、全ての重心が近似直線の任意幅内に収まらない場合、文字列が２行であると判定する。
【００８８】
ステップＳ２０１でナンバープレートの文字列が１行であると判定した場合、図１７、図１８、図２０に示すナンバープレートであると判断してステップＳ２０２へ進み、英数字候補を抽出する。
【００８９】
具体的には、ステップＳ１５０でナンバープレート部分を切り抜いた画像に対して、各ブロブの面積でフィルタリングして英数字候補を抽出する。すなわち、漢字は複数の小さなブロブで構成されているので、各ブロブの面積でフィルタリングすることによって、漢字候補を除外して英数字候補を抽出できる。
【００９０】
これにより、図１７、図１８に示すナンバープレートの場合、最も左側に位置する漢字候補が除外されて英数字候補が抽出される。図２０に示すナンバープレートの場合、最も左側に位置する漢字候補、および最も右側に位置する漢字候補が除外されて英数字候補が抽出される。
【００９１】
続くステップＳ２０３では、ステップＳ１８０の透視変換で用いる４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を抽出する。具体的には、ステップＳ１５０でナンバープレート部分を切り抜いた画像に対して、２つのナンバープレート止めＰ２、Ｐ３を抽出し、ステップＳ２０２で英数字候補を抽出した画像に対して、最も右側に位置している英数字候補（数字候補）の重心Ｐ１、および最も左側に位置している英数字候補（英字候補）の重心Ｐ４を抽出する。
【００９２】
例えば、ステップＳ１５０でナンバープレート部分を切り抜いた画像に対して特徴点を抽出することによって、２つのナンバープレート止めＰ２、Ｐ３を抽出する。
【００９３】
例えば、ステップＳ２０２で英数字候補を抽出した画像に対して各ブロブの重心の座標を求め、各ブロブの重心のうち最も右側に位置しているブロブの重心を数字候補の重心Ｐ１として選択し、各ブロブの重心のうち最も左側に位置しているブロブの重心を英字候補の重心Ｐ４として選択する。
【００９４】
ステップＳ２０１でナンバープレートの文字列が１行でないと判定した場合、図１９に示すナンバープレートと判断してステップＳ２０４へ進み、ステップＳ１８０の透視変換で用いる４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を抽出する。
【００９５】
具体的には、最も右側に位置している文字候補（数字候補）の重心Ｐ１、２つのナンバープレート止めＰ２、Ｐ３、および最も左側に位置している文字候補（数字候補）の重心Ｐ４を抽出する。
【００９６】
例えば、ステップＳ１５０でナンバープレート部分を切り抜いた画像に対して特徴点を抽出することによって、２つのナンバープレート止めＰ２、Ｐ３を抽出する。
【００９７】
例えば、ステップＳ１５０でナンバープレート部分を切り抜いた画像に対して各ブロブの重心の座標を求め、各ブロブの重心のうち最も右側に位置しているブロブの重心を数字候補の重心Ｐ１として選択し、各ブロブの重心のうち最も左側に位置しているブロブの重心を英字候補の重心Ｐ４として選択する。
【００９８】
本実施形態におけるナンバープレート認識装置およびナンバープレート認識方法によると、上記第１実施形態と同様に、カメラ１１が撮像した画像を、ステップＳ１６０、Ｓ１７０が検出した４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標に基づいて、ステップＳ１８０が透視変換を行うので、画像中のナンバープレートを一定の大きさと傾きに近づけることができる。
【００９９】
しかも、ステップＳ１６０、Ｓ１７０が検出する４点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、２つのプレート止めＰ２、Ｐ３、最も右側に位置している数字候補の重心Ｐ１、および最も左側に位置している英数字候補の重心Ｐ４であるので、ステップＳ１６０、Ｓ１７０による４点Ｐ１、Ｐ２、Ｐ３、Ｐ４の検出が容易であり、ステップＳ１８０による透視変換を精度良く行うことができる。
【０１００】
すなわち、最も右側に位置している数字候補、および最も左側に位置している英数字候補は、周りに空白の領域が比較的多いので、ステップＳ１６０、Ｓ１７０による検出が容易である。
【０１０１】
プレート止めＰ２、Ｐ３、最も右側に位置している数字候補、および最も左側に位置している英数字候補は、互いに比較的離れているので、ステップＳ１８０による透視変換を精度良く行うことができる。
【０１０２】
したがって、上記第１実施形態と同様に、画像中のナンバープレートの大きさおよび傾きにバラツキがあっても、認識精度を極力確保できる。
【０１０３】
本実施形態のステップＳ２００では、ナンバープレートの文字列が１行であるか否かを判定し、ナンバープレートの文字列が１行であると判定した場合、カメラ１１が撮像した画像から英数字候補を抽出し、抽出した英数字候補のうち最も右側に位置している英数字候補の重心を数字候補の重心Ｐ１として選択し、抽出した英数字候補のうち最も左側に位置している英数字候補の重心を英字候補の重心Ｐ４として選択し、ナンバープレートの文字列が１行でないと判定した場合、カメラ１１が撮像した画像において最も右側に位置している文字候補の重心を数字候補の重心Ｐ１として選択し、カメラ１１が撮像した画像において最も左側に位置している文字候補の重心を英字候補の重心Ｐ４として選択する。
【０１０４】
これにより、ナンバープレートの種類を見分けて、透視変換で用いる４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を抽出できる。
【０１０５】
本実施形態のステップＳ２００では、ナンバープレートの文字列が１行であると判定した場合、抽出した英数字候補を構成する各ブロブの重心の座標を求め、各ブロブの重心のうち最も右側に位置しているブロブを数字候補の重心Ｐ１として選択し、各ブロブの重心のうち最も左側に位置しているブロブを英字候補の重心Ｐ４として選択し、ナンバープレートの文字列が１行でないと判定した場合、カメラ１１が撮像した画像に対して各ブロブの重心の座標を求め、各ブロブの重心のうち最も右側に位置しているブロブを数字候補の重心Ｐ１として選択し、各ブロブの重心のうち最も左側に位置しているブロブを英字候補の重心Ｐ４として選択する。
【０１０６】
これにより、ナンバープレートの種類に応じて、最も右側に位置している数字候補の重心Ｐ１、および最も左側に位置している英字候補の重心Ｐ４を確実に求めることができる。
【０１０７】
（他の実施形態）
上記実施形態を適宜組み合わせ可能である。上記実施形態を例えば以下のように種々変形可能である。
【０１０８】
（１）上記実施形態では、ステップＳ１１０〜Ｓ１４０において、ＨＳＶ変換を行った画像に対して２値化した後にラベリングを行うが、ＨＳＶ変換の代わりにＬａｂ変換を行ってもよい。Ｌａｂ変換とは、ＲＧＢ値（赤、緑、青の各色を表す値）をＬａｂ値（明度、赤から緑への色度、青から黄色への色度を表す値）に変換する処理のことである。
【０１０９】
さらに、Ｌａｂ変換後のａ値の画像を２値化した画像Ｂｉｎ（ａ）と、Ｌａｂ変換後のｂ値の画像を２値化した画像Ｂｉｎ（ｂ）との論理積(ＡＮＤ)を取り、さらに否定（ＮＯＴ）を行ってもよい。すなわち、両画像Ｂｉｎ（ａ）、Ｂｉｎ（ｂ）に対してＮＯＴ（ＡＮＤ（Ｂｉｎ（ａ），Ｂｉｎ（ｂ）））の演算を行ってもよい。これにより、ナンバープレート上の文字を顕在化した画像を得ることができる。
【０１１０】
（２）上記実施形態では、日本および中国のナンバープレートに対する文字認識に適用した例を示したが、日本、中国以外の種々の国のナンバープレートに対する文字認識に適用可能である。
【０１１１】
（３）上記実施形態では、駐車場に入退場する車両のナンバープレートに対する文字認識に適用した例を示したが、これに限定されることなく、例えば、高速道路の料金所を通過する車両のナンバープレートに対する文字認識に適用可能である。
【符号の説明】
【０１１２】
１１                カメラ（撮像手段）
Ｓ１６０、Ｓ１７０  検出ステップ（検出手段）
Ｓ１８０            透視変換ステップ（透視変換手段）
Ｓ１９０            文字認識ステップ（文字認識手段）
Ｐ１                最も右側に位置している数字の重心
Ｐ２、Ｐ３          プレート止め
Ｐ４                区切り記号
【図１】
2015032087.tif 000003
【図２】
2015032087.tif 000004
【図１１】
2015032087.tif 000005
【図１６】
2015032087.tif 000006
【図２１】
2015032087.tif 000007
【図３】
2015032087.tif 000008
【図４】
2015032087.tif 000009
【図５】
2015032087.tif 000010
【図６】
2015032087.tif 000011
【図７】
2015032087.tif 000012
【図８】
2015032087.tif 000013
【図９】
2015032087.tif 000014
【図１０】
2015032087.tif 000015
【図１２】
2015032087.tif 000016
【図１３】
2015032087.tif 000017
【図１４】
2015032087.tif 000018
【図１５】
2015032087.tif 000019
【図１７】
2015032087.tif 000020
【図１８】
2015032087.tif 000021
【図１９】
2015032087.tif 000022
【図２０】
2015032087.tif 000023