(57)【要約】【課題】効率的かつ高精度にナンバープレートを認識する技術を提供することを目的とする。【解決手段】複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段と、所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段と、前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段と、を備える情報処理装置を提供する。【選択図】図３
2020067669.tif 000002
【特許請求の範囲】
【請求項１】
複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段と、
所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段と、
前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段と、
を備える情報処理装置。
【請求項２】
前記アルゴリズム取得手段は、前記文字を隆起させるバンプ加工手段、前記文字にノイズを加えるノイズ加工手段、前記文字に陰影を加える陰影加工手段、前記文字に歪みを加える歪み加工手段のうちの少なくとも１つの加工手段により加工された画像を含む前記学習用画像を使用して得られた前記所定のアルゴリズムを取得する、
請求項１に記載の情報処理装置。
【請求項３】
前記複数のナンバープレート画像は、全部または一部を、ナンバープレートの四隅の一座標のデータに基づいて取得された、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記アルゴリズム取得手段は、前記学習用画像を前記ナンバープレートの地域名に係る領域、前記ナンバープレートの分類番号に係る領域、前記ナンバープレートのひらがなに係る領域、前記ナンバープレートの番号に係る領域の少なくとも４つの領域に分割され、夫々の領域に機械学習に関する手法が適用され、決定された前記所定のアルゴリズムを取得する、
請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
情報処理装置が実行するプログラムであって、
複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得ステップと、
所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得ステップと、
前記ユーザ情報取得ステップにより取得された前記データに対して、前記アルゴリズム取得ステップより取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用ステップ、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、マーケティングや安全管理などの目的において、画像から自動車のナンバープレートを認識する装置が用いられている。その認識方法には様々なものがあるが、機械学習を利用した方法が一般化してきている（例えば特許文献１参照）。
この特許文献１には、機械学習の一種であるディープラーニングを用いて、ナンバープレートを認識する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１２０４４５公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１を含む従来技術のみでは、学習を行うために大量のナンバープレート画像等を用意する必要があり、精度やコスト等の問題が指摘されていた。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、効率的かつ高精度にナンバープレートを認識する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の情報処理装置は、
複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段と、
所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段と、
前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段と、
を備える。
【０００７】
本発明の一態様のプログラムは、上述の本発明の一態様の情報処理装置に対応するプログラムである。
【発明の効果】
【０００８】
本発明によれば、効率的かつ高精度にナンバープレートを認識する技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る情報処理システムの一例を示す図である。
【図２】図１の情報処理システムのうち、推論サーバのハードウェア構成を示すブロック図である。
【図３】図１の情報処理システムのうちの推論サーバ、ユーザ端末、及び学習サーバの機能的構成の一例を示す機能ブロック図である。
【図４】図３の学習サーバにより実行されるナンバープレート学習処理の流れを説明するフローチャートである。
【図５】図３の推論サーバにより実行されるナンバープレート識別処理の流れを説明するフローチャートである。
【図６】図３の学習サーバにおいて、利用されるナンバープレート文字データの具体例を示す図である。
【図７】図３の学習サーバにおいて、実行されるナンバープレート画像の加工の具体例を示す図である。
【図８】図３の学習サーバにおいて、生成されるナンバープレート画像と背景画像とを合成した学習用画像の具体例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を用いて説明する。そこで、まずは図１を参照して本発明の一実施形態に係る情報処理システムの概要について説明する。
ここで、本発明の一実施形態に係る情報処理システムの適用対象となるナンバープレートの認識サービスを、以降の説明では、本サービスと呼ぶ。
【００１１】
図１に示す情報処理システムは、推論サーバ１と、ユーザ端末２と、学習サーバ３とを含むように構成されている。
推論サーバ１と、ユーザ端末２と、学習サーバ３との夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）等のネットワークＮを介して相互に接続されている。
推論サーバ１は、本サービスの管理者等により、管理される。推論サーバ１は、例えば、ユーザ端末２から送信されてきたナンバープレートが撮像された画像（以下、「ナンバープレート画像」と呼ぶ）に対して、所定のアルゴリズムを適用して、ナンバープレートの認識を行うために利用される。
ユーザ端末２は、本サービスの提供を希望するユーザにより使用される。ユーザ端末２は、例えば、ユーザ等により撮像されたナンバープレートが撮像された画像を、推論サーバ１に送信するために利用される。
学習サーバ３は、本サービス管理者又は学習を担当するベンダ等により、管理される。学習サーバ３は、例えば、複数のナンバープレートが撮像された画像のデータに基づいて学習を行うために利用される。
【００１２】
図２は、図１の情報処理システムのうち、推論サーバ１のハードウェア構成を示すブロック図である。
【００１３】
推論サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。
【００１４】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１５】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。
【００１６】
出力部１６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。
【００１７】
記憶部１８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置（図１の例ではユーザ端末２及び学習サーバ３）との間で通信を行う。
【００１８】
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされてもよい。
また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【００１９】
なお、図示はしないが、図１の情報処理システムのうち、ユーザ端末２と学習サーバ３のハードウェア構成は、推論サーバ１のハードウェア構成と、基本的に同様とすることができるため、ここでは説明を省略する。
【００２０】
次に、このようなハードウェア構成を持つ推論サーバ１、ユーザ端末２、及び学習サーバ３の機能的構成について、図３を参照して説明する。
図３は、図１の情報処理システムのうちの推論サーバ１、ユーザ端末２、及び学習サーバ３の機能的構成の一例を示す機能ブロック図である。
ここで、本サービスに係る各種処理は、後述する学習処理及びナンバープレート識別処理に大別される。そこで、まずは、主として推論サーバ１及びユーザ端末２において、実行される学習処理について説明する。
【００２１】
図３に示すように、学習サーバ３のＣＰＵ３１においては、データ取得部６１と、データ加工部６２と、学習用画像生成部６３と、位置座標データ生成部６４と、学習部６５とが機能する。
データ加工部６２では、ナンバープレート画像生成部７１と、バンプ加工部７２と、ノイズ加工部７３と、陰影加工部７４と、歪み加工部７５とが機能する。
なお、記憶部３８の一領域には、ナンバープレートＤＢ１００と、学習処理ＤＢ２００とが設けられている。
【００２２】
学習サーバ３のデータ取得部６１は、図示せぬデータベース等から、複数のナンバープレートが撮像された画像のデータ（以下、「ナンバープレートデータ」と呼ぶ）を取得して、その情報をナンバープレートＤＢ１００に格納する。
また、ナンバープレートＤＢ１００には、ナンバープレートデータ以外にも、ナンバープレートの構成要素である文字領域と、色領域と、背景に関するデータも格納されているものとする。
【００２３】
データ加工部６２は、ナンバープレートＤＢ１００に格納されたナンバープレートデータを適宜抽出し、それらのデータを加工する。具体的な加工は、以下のとおりである。
【００２４】
ナンバープレート画像生成部７１は、文字及び色を加工して、新たな学習用画像を生成する。
即ち、ナンバープレート画像には、地域名、分類番号、ひらがな、及び番号の４種類の文字領域が含まれる。ナンバープレート画像生成部７１は、例えば、ナンバープレートＤＢ１００に格納されているナンバープレート画像に含まれる文字領域の内容を、任意に選出、組み合わせることで、ナンバープレート画像に含まれる文字領域部分を決定し、学習用の新たなナンバープレートデータ（以下、「加工ナンバープレートデータ」と呼ぶ）を生成することができる。
【００２５】
ここで、ナンバープレート画像に含まれる文字領域部分の決定方法は、特に制限されないが、例えば、地域名は、すべての地域の中から１つの地域名をランダムに１つ選び、ひらがなも同様に一文字をランダムに選び、分類番号は、２桁又は３桁のどちらかにするかをランダムに選び、桁数毎にランダムに０〜９の数字を一文字選び、番号は、０〜９９９９までの整数を１つ選び、４桁ある場合には２桁目と３桁目の間にハイフンを挿入し、４桁より桁数が少ない場合には、右詰めで「・」でパディングを行う、というルールで決定することができる。
また、ナンバープレート画像生成部７１は、ナンバープレート画像のうちプレートの色を変更して加工ナンバープレートデータを生成してもよい。
即ち、ナンバープレート画像生成部７１は、自動車の用途・軽自動車かどうかの別によって白地に緑文字、緑地に白文字、黄色地に黒文字、黒地に黄色文字の４種類がある。ナンバープレート画像生成部７１は、決定したナンバープレート画像の文字部分に対して、上記の４種類の色をランダムに選択して合成し、加工ナンバープレートデータを生成してもよい。
【００２６】
バンプ加工部７２は、ナンバープレート画像の文字領域部分に対して、文字部分を立体的に隆起させるバンプ加工を行うことで、加工ナンバープレートデータを生成する。
具体的に例えば、バンプ加工部７２は、ナンバープレート画像の真上を１２時とした場合に、４時から８時の方向の間で陰影の方向をランダムに決定してバンプ加工を行う。
このバンプ加工により、文字部分は立体的になり、文字部分の周りにハイライト及び陰影が生じる。このバンプ加工により、バンプ加工部７２は、ナンバープレートの文字部分の輪郭の濃淡が異なる複数の加工ナンバープレートデータを生成することができる。
【００２７】
ノイズ加工部７３は、ナンバープレート画像の文字領域部分に汚れやテカリなどのノイズ加工を行うことで、加工ナンバープレートデータを生成する。
この汚れやテカリなどのノイズにより、実際のナンバープレートは文字の輪郭に影響がある場合がある。このノイズ加工により、ノイズ加工部７３は、ナンバープレート画像の文字部分の輪郭が異なる複数の加工ナンバープレートデータを生成することができる。
なお、画像の保存系力によっては、その保存形式の特性によりノイズが自然に発生する場合もある（例えば、ＪＰＥＧのブロックノイズ等）。
【００２８】
陰影加工部７４は、ナンバープレート画像に対して、陽の光や自動車のボディの形状などの影響による陰影を加える陰影加工を行うことで、加工ナンバープレートデータを生成する。
陰影加工部７４は、ナンバープレート画像の真上を１２時とした場合に、３時から９時の方向の間で上からランダムに影が落ちる様に陰影加工を行う。下から上に影が入るシチュエーションは少ないため、バンプ加工と比較して、陰影方向の角度の幅は狭くてよい。
この陰影加工により、陰影加工部７４は、ナンバープレートの文字部分の輪郭の濃淡が異なる複数の加工ナンバープレートデータを生成することができる。
【００２９】
歪み加工部７５は、ナンバープレート画像を３次元方向に動かした時の歪みを加える歪み加工を行うことで、加工ナンバープレートデータを生成する。
具体的に例えば、歪み加工部７５は、ナンバープレート画像が真正面を向いた状態から、ナンバープレート画像のＸ軸、Ｙ軸、Ｚ軸それぞれに対して±３０度までの傾きをランダムに行う。
この歪み加工により、歪み加工部７５は、ナンバープレートの文字領域部分の見え方が異なる複数の加工ナンバープレートデータを生成することができる。
【００３０】
学習用画像生成部６３は、ナンバープレートＤＢ１００に格納されたナンバープレートデータ又は上述の加工ナンバープレートデータに対して、ナンバープレートＤＢ１００に格納されている背景画像を合成することで、学習用の学習用画像を生成する。なお、合成に利用される背景画像は、例えば、ランダムに決定されてもよい。また、ここで言う背景画像とは、ナンバープレートが含まれていない画像であれば、どのようなものでも任意である。
【００３１】
位置座標データ生成部６４は、上記学習用画像の中で、ナンバープレート部分の四隅の位置の座標データを生成する。この位置座標データは、後述する学習部での処理の際に、学習用画像と共に学習されるデータである。
このようにナンバープレートの四隅の位置の座標データを生成することで、ナンバープレートが設置されている周囲環境とナンバープレートとのなんらかの位置関係など、ナンバープレートの外部情報からナンバープレートの四隅を識別するアルゴリズムが生成されることを防ぐことができる。
【００３２】
学習部６５は、ナンバープレートＤＢ１００に格納されているナンバープレートデータ及び学習用画像生成部６３が生成された学習用画像、ナンバープレートの文字、色、並びにナンバープレートの四隅の位置座標データ等に基づいて、機械学習に関する手法が適用して学習することで、ナンバープレートの識別アルゴリズム（以下、「識別アルゴリズム」と呼ぶ）を出力する。
ここで、学習部６５が採用する機械学習に関する手法とは、特に限定されず、任意である。
さらに、学習部６５は、出力した識別アルゴリズムを、学習処理ＤＢ２００に格納すると共に、通信部３９を介して推論サーバ１に送信する。
以上、本サービスに係る学習処理及びナンバープレート識別処理のうち、学習処理において、機能し得る各種機能的構成を簡単に説明した。続いて、ナンバープレート識別処理において、機能し得る各種機能的構成を簡単に説明する。
【００３３】
図３に示すように、推論サーバ１のＣＰＵ１１においては、データ管理部５１と、アルゴリズム取得部５２と、識別部５３と、結果出力部５４とが機能する。
なお、後述するナンバープレート識別処理においては、前提としてユーザ端末２等から推論サーバ１に対して、ユーザが識別を希望するナンバープレートを含む画像のデータ（以下、「識別希望画像データ」と呼ぶ）が送信されているものとする。
【００３４】
推論サーバ１のデータ管理部５１は、ユーザ端末２等から送信されてきた識別希望画像データを、通信部１９を介して、取得する。
ここで、上述の識別希望画像データには、ナンバープレートの構成要素である文字の領域、色の領域、背景に関する各種データも含んでいる。
【００３５】
アルゴリズム取得部５２は、ナンバープレートの識別アルゴリズムを学習サーバ３から通信部１９を介して取得する。
【００３６】
識別部５３は、データ管理部５１が取得した識別希望画像データに対して、学習サーバ３から取得したナンバープレートの識別アルゴリズムを適用して、識別希望画像データの識別を行う。
ここで、識別希望画像データの識別とは、識別希望画像データに含まれるナンバープレート画像の文字認識を行ってもよく、ナンバープレート画像の文字情報の正誤を識別してもよい。
結果出力部５４は、識別部５３が識別した結果を、通信部１９を介してユーザ端末２に送信する。
【００３７】
次に、図４を参照して、図２の機能的構成を有する学習サーバ３が実行するナンバープレート学習処理について説明する。
図４は、学習サーバ３により実行されるナンバープレート学習処理の流れを説明するフローチャートである。
【００３８】
図４に示すように、学習サーバ３では次のような一連の処理が実行される。
ステップＳ１において、ナンバープレートＤＢ１００に格納されたナンバープレートデータを適宜抽出し、それらのデータを加工する。
【００３９】
ステップＳ２において、ナンバープレート画像生成部７１は、ナンバープレートＤＢ１００に格納されているナンバープレートの構成要素である文字領域と、色領域とに関するデータを加工して、ナンバープレート画像を生成する。
【００４０】
ステップＳ３において、バンプ加工部７２は、ナンバープレート画像の文字部分を立体的に隆起させるバンプ加工を行い、加工ナンバープレートデータを生成する。
【００４１】
ステップＳ４において、ノイズ加工部７３は、ナンバープレート画像の文字部分に汚れやテカリなどのノイズ加工を行い、加工ナンバープレートデータを生成する。
【００４２】
ステップＳ５において、陰影加工部７４は、陽の光や自動車のボディの形状などの影響による陰影を加える陰影加工を行い、加工ナンバープレートデータを生成する。
【００４３】
ステップＳ６において、歪み加工部７５は、ナンバープレート画像を３次元方向に動かした時の歪みを加える歪み加工を行い、加工ナンバープレートデータを生成する。
【００４４】
ステップＳ７において、学習用画像生成部６３は、ナンバープレートＤＢ１００に格納されたナンバープレートデータ又は上述の加工ナンバープレートデータに対して、ナンバープレートＤＢ１００に格納されている背景画像を合成することで、学習用の学習用画像を生成する。
【００４５】
ステップＳ８において、位置座標データ生成部６４は、上記学習用画像の中で、ナンバープレート部分の四隅の位置の座標データを生成する。
【００４６】
ステップＳ９において、学習部６５は、データ取得部６１が取得したナンバープレートデータ及び学習用画像生成部６３が生成した学習用画像、ナンバープレートの文字データ、色データ、並びにナンバープレートの四隅の位置座標データに対して、機械学習に関する手法を適用し、ナンバープレートの識別アルゴリズムを生成する。
【００４７】
ステップＳ１０において、学習部６５は、出力した識別アルゴリズムを、学習処理ＤＢ２００に格納すると共に、通信部３９を介して推論サーバ１に送信する。
以上の処理を経ることで、ナンバープレート学習処理は終了する。
【００４８】
このように、ナンバープレートの処理を行うことで、大量のナンバープレートを学習し、精度の高いナンバープレートの識別アルゴリズムを生成することができる。
【００４９】
次に、図５を参照して、図２の機能的構成を有する推論サーバ１が実行するナンバープレート識別処理について説明する。
図５は、推論サーバ１により実行されるナンバープレート識別処理の流れを説明するフローチャートである。
【００５０】
図５に示すように、推論サーバ１では次のような一連の処理が実行される。
ステップＳ２１において、データ管理部５１は、通信部１９を介してユーザ端末２から識別希望画像データを取得する。
【００５１】
ステップＳ２２において、アルゴリズム取得部５２は、学習サーバ３から送られてきた識別アルゴリズムを取得する。
ステップＳ２３において、識別部５３は、データ管理部５１が取得した識別希望画像データに対して、識別アルゴリズムを適用して、識別希望画像データの識別を行う。
【００５２】
ステップＳ２４において、結果出力部５４は、識別希望画像データの識別結果を、通信部１９を介してユーザ端末２に送信する。
ステップＳ２５において、データ管理部５１は、新たな識別希望画像データが送信されてきたかどうかを確認する。その確認の結果、新たな識別希望画像データを取得していればステップＳＳ２１に戻り、ナンバープレート識別処理を再度行う。ここで、新たな識別希望画像データを取得していなければナンバープレート識別処理は終了する。
【００５３】
このように、新たな識別希望画像データを取得する度に、ナンバープレート識別処理を行うことにより、常に最新のアルゴリズムでナンバープレートを精度の高く識別することができる。
【００５４】
次に、図６を用いて、学習サーバ３において、ナンバープレート画像に含まれる文字について簡単に説明する。
図６は、学習サーバ３において、ナンバープレートにおいて利用される文字の一例を示す図である。
【００５５】
図６（ａ）の例では、地域名Ｍ１の一例として「なにわ」という文字が表示されている。図６（ｂ）の例では、分類番号Ｍ２の一例として「５３０」という文字が表示されている。図６（ｃ）の例では、ひらがなＭ３の一例として「あ」という文字が表示されている。図６（ｄ）の例では、番号Ｍ４の一例として「００−００」という文字が記載されている。なお、実際には日本国では０から始まるナンバープレートは存在しないが、ここでは説明の便宜上、「００−００」が存在するものとする。
ここで、本実施形態における、「地域名」、「分類番号」、「ひらがな」、「番号」について説明する。「地域名」、「分類番号」、「ひらがな」、「番号」とは、日本国のナンバープレートにおける独自の表示形式である。
「地域名」とは、表示されているナンバープレートが登録されている地域名が表示されている。即ち、図６（ａ）の例では、例えば、「なにわ」の文字が表示されているナンバープレートＰ１の登録地域がなにわ（なにわ自動車検査登録事務所）であることを示している。
「分類番号」とは、ナンバープレートが設置された自動車の種類や用途等を区分するために用いられる番号である。具体的に例えば、図６（ｂ）の例では、分類番号「５３０」の文字が表示されているナンバープレートＰ２の用途は、例えば、「小型乗用」であることを示している。
「ひらがな」とは、上述の「分類番号」と同様に、ナンバープレートが設置された自動車の用途等を区分するために用いられる。ただし、分類の内容が多少異なっている。
「番号」とは、表示されているナンバープレートを一意に特定するための番号である。
このようにナンバープレートには、予め道路交通法等で定められた所定のルールに従って表示される文字が決定される場合がある。
【００５６】
つまり、ナンバープレートの分類番号等には、道路交通法等に基づく所定のルールが存在するため、学習サーバ３は、これらのルールを含んで学習を行えば、学習の精度が向上する可能性がある。
他方、これらのルールは、変更する可能性も十分にあるため、上述のナンバープレート画像生成部７１がランダムに文字を選択して、加工ナンバープレートデータを生成したように、敢えて、これらのルールを学習に含まなくともよい。
換言すれば、学習サーバ３は、ナンバープレートに関する各種ルールのうち任意のルールのみを採用して、学習に利用してもよい。
【００５７】
また、学習サーバ３の学習部６５は、学習用画像のうち、図６の（ａ）〜（ｄ）で示した構成要素の夫々を含む画像を、夫々、別々に機械学習の手法を適用して、学習を行うこともできる。
さらに、学習部６５は、ナンバープレートの識別アルゴリズムを、ナンバープレート全体の識別アルゴリズムを生成するのみではなく、ナンバープレートの各構成要素毎に判別アルゴリズムを生成することができる。
【００５８】
このように、構成要素の夫々に対して、別々に学習を行うことは、新たな学習用画像が追加され、再学習を行う際に特に有用である。
即ち、ナンバープレートの構成は、法律や規則の変更によって変更がある場合がある。上記のように、ナンバープレートの各構成要素毎に機械学習を行えば、仮にナンバープレートの構成に変更があった場合でも、変更があった箇所のみに再学習を行えば、識別の制度を十分に保つことができることが期待される。
【００５９】
次に、図７を用いて、学習サーバ３において、実行されるナンバープレート画像の加工を説明する。
図７は、学習サーバ３において、実行されるナンバープレート画像の加工の具体例を示す図である。
【００６０】
図７（ａ）は、「な」の文字を立体的に隆起させてバンプ加工をした結果、陰影が生じている加工後のナンバープレートＫ１を示している。図７（ｂ）は、ナンバープレートの上部を汚してノイズ加工をした加工後のナンバープレートＫ２を示している。図７（ｃ）は、ナンバープレートを右側から見たように動かして歪み加工を加えた加工後のナンバープレートＫ３と、ナンバープレートを上部から見たように動かして歪み加工を加えた加工後のナンバープレートＫ４を示している。
このように、データ加工部６２では、ナンバープレートに様々な加工を施すことで、学習用画像の元になる数多くのナンバープレート画像を生成することができる。
【００６１】
次に、図８を用いて、学習サーバ３において、ナンバープレート画像と背景画像とを合成した学習用画像を説明する。
図８は、学習サーバ３において、生成されるナンバープレート画像と背景画像とを合成した学習用画像の具体例を示す図である。
【００６２】
図８は、背景画像内にナンバープレートＰ５が合成された学習用画像Ｇを示している。
このように、学習用画像生成部６３は、生成して各種の加工を施されたナンバープレート画像に、ランダムに選択した背景画像を合成することで、多量の学習用画像を生成することができる。
【００６３】
以上、本発明の実施の形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【００６４】
また、ナンバープレート文字データは、推論サーバから取得したもの以外にも、所定のアルゴリズムによって、学習サーバ３で生成したものを用いてもよい。学習サーバ３が、ナンバープレートに表示する文字を生成する場合、ランダムに生成してもよいし、上述のルールを加味して、一定の制限のもとで、ナンバープレートに表示する文字を生成してもよい。
また、ナンバープレート画像の生成においては、データ加工部６２は、本明細書に示した以外の各種の加工が施されていてもよい。例えば、ナンバープレートの周辺に枠を合成する枠加工をしてもよい。
【００６５】
また例えば、上述の実施形態において、学習部６５が機械学習する画像は、特に制限されず、データ取得部６１が取得した画像をそのまま学習してもよい。学習用画像は、データ加工部内のすべての加工が施される必要はなく、一部の加工のみが施されていてもよく、全く加工が施されていなくてもよい。
さらに言えば、学習部６５が機械学習を実行する際に、ナンバープレートの四隅の位置座標データは必ずしも必要ではなく、このデータがないデータを学習することもできる。
【００６６】
また例えば、上述の実施形態において、推論サーバ１や学習サーバ３で各種処理を実行する場合、必要な部分のみを切り取る、不要な部分の画質を低画質にする、等を行ってもよい。
これにより、推論サーバ１又は学習サーバ３は、各種処理に必要な演算量を低減し、各種処理を短時間で行うことができる。
【００６７】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００６８】
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭや、記憶部に含まれるハードディスク等で構成される。
【００６９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップ及びセールスステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【００７０】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００７１】
また例えば、図３に示す各ハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【００７２】
また例えば、図３に示す機能ブロック図及び図４図５に示すフローチャートは、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行出来る機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図３の例に限定されない。
また、機能ブロックの存在場所も、図３に特に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
さらに言えば、これらの機能ブロックは、上述の推論サーバ１、ユーザ端末２及び学習サーバ３の夫々に存在する必要はなく、任意である。
具体的に例えば、ユーザ端末２や学習サーバ３が推論サーバ１の機能含んで構成されても良いし、その逆でもよい。
【００７３】
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置（例えば、図３の推論サーバ１）は、
複数のナンバープレートを被写体に含む画像及び当該画像を加工して作成された画像を含む学習用画像に関するデータに対して、機械学習に関する手法が適用させて学習がなされた結果として得られる、所定のアルゴリズムを取得するアルゴリズム取得手段（例えば、図３のアルゴリズム取得部５２）と、
所定のナンバープレートに加えて、文字と、色の領域と、背景とを被写体に含む画像に関するデータを取得するユーザ情報取得手段（例えば、図３のデータ管理部５１）と、
前記ユーザ情報取得手段により取得された前記データに対して、前記アルゴリズム取得手段により取得された前記所定のアルゴリズムを適用して得られる結果を出力するアルゴリズム適用手段（例えば、図３の識別部５３）と、
を備える。
これにより、ナンバープレートに関する学習データを大量に用意して、精度の高いナンバープレート認識をすることができる。
【００７４】
また、アルゴリズム取得手段は、前記ナンバープレート画像の文字部分を立体的に隆起させるバンプ加工手段（例えば、図３のバンプ加工部７２）、前記ナンバープレート画像の文字部分に汚れやテカリなどのノイズを加えるノイズ加工手段（例えば、図３のノイズ加工部７３）、前記ナンバープレート画像の文字部分に陽の光や自動車のボディの形状などの影響による陰影を加える陰影加工手段（例えば、図３の陰影加工部７４）、及び前記ナンバープレート画像を３次元方向に動かした時の歪みを加える歪み加工手段（例えば、図３の歪み加工部７５）からなる群から選ばれる少なくとも１つの加工手段を用いて加工して作成された画像を少なくとも含む、前記学習用画像に関するデータを使用して決定された前記所定のアルゴリズムを取得することができる。
これにより、ナンバープレートに関する学習データをより大量に用意して、精度の高いナンバープレート認識をすることができる。
【００７５】
また、情報処理装置（例えば、図３の推論サーバ１）は、
前記複数のナンバープレート画像及び前記学習用画像に関するデータの全部又は一部について、ナンバープレートの四隅の位置座標のデータに基づいて取得されることができる。
これにより、ナンバープレートの四隅の位置の座標データを生成することで、ナンバープレートが設置されている周囲環境とナンバープレートとのなんらかの位置関係など、ナンバープレートの外部情報からナンバープレートの四隅を識別するアルゴリズムが生成されることを防ぐことができる。
【００７６】
また、情報処理装置（例えば、図３の推論サーバ１）は、
前記アルゴリズム取得手段は、前記学習用画像に関するデータに対して、前記ナンバープレートの地域名部分と、前記ナンバープレートの分類番号部分と、前記ナンバープレートのひらがな部分と、前記ナンバープレートの番号部分とのそれぞれ別々に機械学習に関する手法を適用し、決定された所定のアルゴリズムを取得することができる。
これにより、仮にナンバープレートの構成に変更があった場合でも、変更があった部分のみの再学習を行うことができる。
【符号の説明】
【００７７】
１・・・推論サーバ、２・・・ユーザ端末、３・・・学習サーバ、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・表示部、１７・・・入力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、２１・・・リムーバブルメディア、３１・・・ＣＰＵ、３８・・・記憶部、３９・・・通信部、５１・・・データ管理部、５２・・・アルゴリズム取得部、５３・・・識別部、５４・・・結果出力部、６１・・・データ取得部、６２・・・データ加工部、６３・・・学習用画像生成部、６４・・・位置座標データ生成部、６５・・・学習部、７１・・・ナンバープレート画像生成部、７２・・・バンプ加工部、７３・・・ノイズ加工部、７４・・・陰影加工部、７５・・・歪み加工部、１００・・・ナンバープレートＤＢ、２００・・・学習処理ＤＢ
【図１】
2020067669.tif 000003
【図２】
2020067669.tif 000004
【図３】
2020067669.tif 000005
【図４】
2020067669.tif 000006
【図５】
2020067669.tif 000007
【図６】
2020067669.tif 000008
【図７】
2020067669.tif 000009
【図８】
2020067669.tif 000010