(57)【要約】【課題】最適な文字列モデルを定められないような場合でも、文字認識を可能にすることを目的とする。【解決手段】撮像画像をピクセルごとに走査し、検索枠内の文字を推定する推定手段と、同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置する配置手段と、配置手段により配置された文字の組み合わせを表示する表示手段と、を有する。【選択図】図３
2019179437.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像をピクセルごとに走査し、検索枠内の文字を推定する推定手段と、
同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置する配置手段と、
前記配置手段により配置された文字の組み合わせを表示する表示手段と、
を有する情報処理装置。
【請求項２】
前記推定手段は、前記撮像画像の読取領域内をピクセルごとに走査し、検索枠内の文字を推定し、
前記配置手段は、前記読取領域内で同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を前記読取領域内に配置し、
前記表示手段は、前記配置手段により配置された文字の組み合わせを表示する請求項１記載の情報処理装置。
【請求項３】
前記推定手段は、前記撮像画像の読取領域を自動推定し、自動推定した読取領域内をピクセルごとに走査し、検索枠内の文字を推定する請求項２記載の情報処理装置。
【請求項４】
前記推定手段は、操作者の設定操作に応じて前記撮像画像の読取領域を特定し、特定した読取領域内をピクセルごとに走査し、検索枠内の文字を推定する請求項２記載の情報処理装置。
【請求項５】
前記推定手段は、前記撮像画像を複数の方向からピクセルごとに走査し、検索枠内の文字を推定する請求項１乃至４何れか１項記載の情報処理装置。
【請求項６】
前記配置手段により配置された文字の組み合わせのうち、目的関数と制約条件とを満たす文字の組み合わせを決定する決定手段を更に有し、
前記表示手段は、前記決定手段により決定された文字の組み合わせを表示する請求項１乃至５何れか１項記載の情報処理装置。
【請求項７】
前記推定手段により推定された文字のうち、目的関数と制約条件とを満たす文字を決定する決定手段を更に有し、
前記配置手段は、同一文字であると推定され、決定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置する請求項１乃至５何れか１項記載の情報処理装置。
【請求項８】
前記表示手段により表示された文字の組み合わせと前記撮像画像とを関連付けてメモリに記憶する記憶制御手段を更に有する請求項１乃至７何れか１項記載の情報処理装置。
【請求項９】
前記記憶制御手段は、前記撮像画像の撮像位置情報も更に関連付けて前記メモリに記憶する請求項８記載の情報処理装置。
【請求項１０】
前記撮像画像を取得する取得手段を更に有し、
前記撮像画像は、鉄鋼製品のそれぞれに印字された文字を含む画像である請求項１乃至９何れか１項記載の情報処理装置。
【請求項１１】
情報処理装置が実行する情報処理方法であって、
撮像画像をピクセルごとに走査し、検索枠内の文字を推定する推定工程と、
同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置する配置工程と、
前記配置工程により配置された文字の組み合わせを表示する表示工程と、
を含む情報処理方法。
【請求項１２】
コンピュータを、請求項１乃至１０何れか１項記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
撮影された画像を基に、画像に写っている文字列を認識する技術が多く提案されている。例えば、特許文献１では、自動車のナンバープレートの文字を認識する技術が開示されている。特許文献１の技術では、認識しようとする文字群のなかに比較的安定して読み取れる文字列を最適な文字列モデルとして定義し、この最適な文字列モデルからの相対的位置を用いて他の文字列を抽出、認識している。より具体的には、特許文献１の技術では、自動車のナンバープレートの場合、一連番号と呼ばれる大きな４つの数字がある領域を最適な文字列モデルと定義し、最初に抽出し、その他の小さな数字や漢字の文字を認識している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５５３７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、文字認識を行いたい対象物の中には、必ずしも比較的安定して読み取れる文字列が存在するとは限らない。例えば、全ての文字サイズが同じであったり、文字種が同じであったりして最適な文字列モデルを定められないことがある。
本発明は、最適な文字列モデルを定められないような場合でも、文字認識を可能にすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、撮像画像をピクセルごとに走査し、検索枠内の文字を推定する推定手段と、同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置する配置手段と、前記配置手段により配置された文字の組み合わせを表示する表示手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、最適な文字列モデルを定められないような場合でも、文字認識を可能にすることができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、情報処理システムのシステム構成の一例を示す図である。
【図２】図２は、端末装置のハードウェア構成の一例を示す図である。
【図３】図３は、実施形態１の端末装置のソフトウェア構成の一例を示す図である。
【図４Ａ】図４Ａは、検索枠の一例を示す図である。
【図４Ｂ】図４Ｂは、撮像画像の全ピクセルを走査する一例を示す図である。
【図４Ｃ】図４Ｃは、表示入力部に表示された文字列候補の一例を示す図である。
【図５】図５は、端末装置の情報処理の一例を示すフローチャートである。
【図６Ａ】図６Ａは、検索枠を設定した一例を示す図である。
【図６Ｂ】図６Ｂは、検索枠を１ピクセルずつずらしながら走査を行っている一例を示す図である。
【図７】図７は、確からしさを説明するための図である。
【図８】図８は、特定された重心位置に推定された文字が配置された一例を示す図である。
【図９】図９は、実施形態２の処理の概要を示す図である。
【図１０】図１０は、撮像画像を４方向から操作し、文字や数字の推定を行う一例を示す図である。
【図１１】図１１は、実施形態４の処理の概要を示す図である。
【図１２】図１２は、実施形態５の端末装置のソフトウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
図１は、情報処理システムのシステム構成の一例を示す図である。図１に示されるように、情報処理システムは、端末装置１００と、サーバー装置２００と、がネットワークを介して接続されている。端末装置１００は、操作者の撮像操作に基づき、情報が印字されたラベルが付されている、又は情報が印字された複数の鉄鋼製品を撮像する。以下では、説明の簡略化のため、鉄鋼製品に文字等が直接印字されているものとして説明を行うが、このことは以下の示す実施の形態を制限するものではない。鉄鋼製品に印字された文字等は、例えば、鉄鋼製品を識別する識別番号等である。端末装置１００は、コンピュータの一例である。
端末装置１００は、撮像した撮像画像について所定サイズの検索枠を設定してピクセルごとに走査し、検索枠内の文字等を推定し、同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置し、配置した文字の組み合わせを表示する。端末装置１００は、文字の組み合わせと撮像画像とを関連付けてデータとしてメモリ等に記憶し、記憶したデータをサーバー装置２００に送信する。また、端末装置１００は、文字の組み合わせと撮像画像と撮像画像の位置情報とを関連付けてデータとしてメモリ等に記憶し、記憶したデータをサーバー装置２００に送信してもよい。サーバー装置２００は、端末装置１００から送られてきたデータと鉄鋼製品の出荷予定製品番号の一覧とを比較し、照合結果を、サーバー装置２００のメモリに記憶したり、サーバー装置２００の表示装置に表示したりする。また、サーバー装置２００は、データに含まれる位置情報に基づき、各鉄鋼製品のロケーション情報をサーバー装置２００の表示装置に表示するようにしてもよい。
【００１０】
図２は、端末装置１００のハードウェア構成の一例を示す図である。図２に示されるように、端末装置１００は、ハードウェア構成として、ＣＰＵ１０１と、メモリ１０２と、表示入力部１０３と、通信Ｉ／Ｆ１０４と、撮像部１０５と、を含む。
ＣＰＵ１０１は、端末装置１００の全体を制御する。メモリ１０２は、プログラムや、撮像部１０５が撮像した撮像画像、ＣＰＵ１０１が処理を実行する際に利用するデータ等を記憶する。表示入力部１０３は、タッチパネル等のディスプレイであって、ＣＰＵ１０１からの制御に基づき、情報をディスプレイに表示したり、ディスプレイを介した操作者の操作情報をＣＰＵ１０１に入力したりする。通信Ｉ／Ｆ１０４は、端末装置１００とサーバー装置２００との通信を制御する通信インターフェースである。撮像部１０５は、ＣＰＵ１０１の制御に基づき、現実空間を撮像するカメラ等である。
ＣＰＵ１０１が、メモリ１０２に記憶されたプログラムに基づき処理を実行することによって、後述する図３に示す端末装置１００のソフトウェア機能及び後述する図５に示すフローチャートの処理が実現される。メモリ１０２は、記憶媒体の一例である。
サーバー装置２００も端末装置１００と同様に少なくとも、ハードウェア構成として、ＣＰＵ、メモリ、通信Ｉ／Ｆを有し、サーバー装置２００のＣＰＵがサーバー装置２００のメモリに記憶されたプログラムに基づき処理を実行することによって、サーバー装置２００の機能が実現される。
【００１１】
図３は、実施形態１の端末装置１００のソフトウェア構成の一例を示す図である。図３に示されるように、端末装置１００は、ソフトウェア構成として、撮像画像取得部２０１と、推定部２０２と、配置部２０３と、表示部２０４と、記憶制御部２０５と、送信部２０６と、を含む。
撮像画像取得部２０１は、表示入力部１０３又は他のハードウェア構成を介した操作者の撮像操作に基づき、撮像部１０５に対して撮像を指示し、撮像部１０５より撮像画像を取得する。
推定部２０２は、撮像画像取得部２０１によって取得された撮像画像を対象として、検索枠を設定し、この検索枠のサイズで撮像画像をピクセルごとに走査し、検索枠内の文字等を推定する。図４Ａは、検索枠の一例を示す図である。図４Ａの例では、推定部２０２は、横Ｘピクセル、縦Ｙピクセルの検索枠を設定している。検索枠は、鉄鋼製品に印字された文字等の大きさを示す。推定部２０２は、メモリ１０２に記憶されている設定ファイルの検索枠の設定値に基づき、検索枠の大きさを設定してもよいし、機械学習等で学習した結果に基づき、検索枠の大きさを設定してもよい。
【００１２】
推定部２０２は、設定した検索枠で撮像画像を、例えば左上を基準として、順に全ピクセル走査し、検索枠内の文字等を推定する。より具体的に説明すると、推定部２０２は、ＤｅｅｐＬｅａｒｎｉｎｇで学習した結果を利用する文字判定のエンジンを有し、検索枠内の画像（部分画像）を文字判定のエンジンに渡し、文字判定のエンジンより部分画像に含まれる文字の種別（文字種）とその文字の確からしさ（その文字である確率）とを受け取る。例えば、推定部２０２は、部分画像に含まれる文字の種別として「５」、その確からしさ「８０％」、文字の種別として「６」、その確からしさは「２０％」等を文字判定のエンジンより受け取る。推定部２０２は、このような処理を撮像画像全体に対して全ピクセル走査し、各検索枠内の文字の文字種とその文字の確からしさとを取得する。図４Ｂは、撮像画像に対して、左上を基準として、順に全ピクセル走査する一例を示す図である。推定部２０２は、撮像画像の左上を始点として検索枠を順次、１ピクセルごと右側に移動し、右端に達した場合に、検索枠を左端に戻し、１ピクセル下に移動し、また順次右側に移動する走査を、撮像画像の右下の終点にくるまで繰り返す。
ここで、本実施形態では、推定部２０２は、文字判定のエンジンとしてＤｅｅｐＬｅａｒｎｉｎｇで学習した結果を利用する例を用いて説明を行っているが、このことは本実施の形態を制限するものではない。推定部２０２は、例えば、パターンマッチングを利用して文字判定を行うエンジンを使用してもよい。但し、文字判定のエンジンとしてＤｅｅｐＬｅａｒｎｉｎｇで学習した結果を利用するエンジンを用いた方が、線や角が消えているような場合でも、適切な文字の判定を行い、答えを返してくれるため、野外等に置かれる場合もある鉄鋼製品等に印字されている情報を読み取る場合に適している。推定部２０２は、確からしさの閾値に基づき、閾値以上の確からしさを有する文字種をその検索枠の推定結果の文字とする。推定部２０２は、メモリ１０２に記憶されている設定ファイルに記述されている確からしさの閾値を用いてもよいし、撮像画像の汚れ具合等に応じて、確からしさの閾値を決定してもよい。
【００１３】
配置部２０３は、推定部２０２によって、同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置する。
表示部２０４は、配置部２０３によって配置された文字の組み合わせを文字列候補として表示入力部１０３に表示する。図４Ｃは、表示入力部１０３に表示された文字列候補の一例を示す図である。表示部２０４は、表示入力部１０３を介した操作者の選択操作に応じて、文字の確からしさ等に基づき、次に可能性が高い文字列候補を表示入力部１０３に表示するようにしてもよい。また、表示部２０４は、表示入力部１０３を介した操作者の決定操作に応じて、文字列候補の中から文字列を決定する。
記憶制御部２０５は、表示部２０４によって表示され、決定された文字列をメモリ１０２に記憶する。また、記憶制御部２０５は、文字列と文字列を推定した対象の撮像画像とを関連付けてメモリ１０２に記憶するようにしてもよい。また、記憶制御部２０５は、文字列と文字列を推定した対象の撮像画像と撮像画像の撮像位置情報とを関連付けてメモリ１０２に記憶するようにしてもよい。
送信部２０６は、記憶制御部２０５がメモリ１０２に記憶したデータをサーバー装置２００に送信する。
サーバー装置２００は、端末装置１００から送られてきたデータとサーバー装置２００のメモリに記憶されている鉄鋼製品の出荷予定製品番号の一覧とを比較し、照合結果を、サーバー装置２００のメモリに記憶したり、サーバー装置２００の表示装置に表示したりする。また、サーバー装置２００は、端末装置１００から送られてきたデータに含まれる位置情報に基づき、各鉄鋼製品のロケーション情報をサーバー装置２００のメモリに記憶したり、サーバー装置２００の表示装置に表示したりするようにしてもよい。
【００１４】
図５は、端末装置１００の情報処理の一例を示すフローチャートである。
Ｓ１０において、推定部２０２は、撮像画像を対象として、検索枠を設定する。推定部２０２は、メモリ１０２に記憶されている設定ファイルの検索枠の設定値に基づき、検索枠の大きさを設定してもよいし、機械学習等で学習した結果に基づき、検索枠の大きさを設定してもよい。図６Ａは、撮像画像に対して、基準点である左上座標（０，０）に検索枠を設定した一例を示す図である。なお、便宜上検索枠の左上座標をこの検索枠の位置座標として説明するが、検索枠の位置座標は、左上でなくても、その中心座標等でも良い。
Ｓ１１において、推定部２０２は、撮像画像のうち検索枠内の画像（部分画像）を文字判定のエンジンに渡し、文字判定のエンジンより部分画像に含まれる文字の種別（文字種）とその文字の確からしさ（その文字である確率）とを例えば図７のように、座標（３，４）においては、文字の種別として「５」、その確からしさ「８０％」、同じ座標（３，４）において文字の種別として「６」、その確からしさは「２０％」等を受け取る。
Ｓ１２において、推定部２０２は、撮像画像の全ピクセル、検索枠で走査を行ったか否かを判定する。推定部２０２は、撮像画像の全ピクセル、検索枠を動かし、走査を行ったと判定した場合（Ｓ１２において、ＹＥＳ）、Ｓ１３に進み、撮像画像の全ピクセル、検索枠を動かし、走査を行っていないと判定した場合（Ｓ１２において、ＮＯ）、Ｓ１１に戻り、検索枠をずらしてＳ１１の処理を繰り返す。図６Ｂは、検索枠を１ピクセルずつずらしながら走査を行っている一例を示す図である。
Ｓ１３において、推定部２０２によって、同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置する。例えば図６Ｂの例では、検索枠を１ピクセルずつ横（Ｘ軸）方向にずらして文字判定を行ったとしても、図７の表に示すように、座標（３，４）から座標（６，４）では、連続して文字の種別として「５」が候補文字１と判定されている。このように同一文字が横（Ｘ軸）方向と縦（Ｙ軸）方向に連続しているピクセル群について、その重心を特定する。図８は、特定された重心位置に推定された文字が配置された一例を示す概念図である。この例では、検索枠が座標（２，２）から（７，７）の範囲で文字種別「５」が連続して判定されており、その重心は座標（４，４）であることを示している。つまり、検索枠が座標（４，４）に位置しているときに判別された「５」が文字種別「５」の位置している可能性が最も高い配置と推定される。なお、図８は説明を簡単にするために連続するピクセル群は座標（２，２）から（７，７）の矩形である例で示したが、連続するピクセル群は必ずしも矩形に現れるものではない。また、重心の求め方は一般的に画像処理技術などで用いられる方法等を使えばよく、ここでは説明を省略する。このようにして推定された文字として図８（或いは図４Ｃ）では「５」、「８」、「４」が示されている。
Ｓ１４において、表示部２０４は、配置部２０３によって配置された文字の組み合わせを文字列候補として表示入力部１０３に表示する。表示部２０４は、表示入力部１０３を介した操作者の選択操作に応じて、文字の確からしさ等に基づき、次に可能性が高い文字列候補を表示入力部１０３に表示するようにしてもよい。また、表示部２０４は、表示入力部１０３を介した操作者の決定操作に応じて、文字列候補の中から文字列を決定する。
【００１５】
本実施形態の処理によれば、最適な文字列モデルを定められないような場合でも、鉄鋼製品に印字等された文字等を認識することができる。また、本実施形態の処理によれば、撮像画像に何文字、どのような文字、数字等が存在するか不明であっても、文字を認識することができる。また、本実施形態の処理によれば、サーバー装置２００において、端末装置１００から送られてきたデータとサーバー装置２００のメモリに記憶されている鉄鋼製品の出荷予定製品番号の一覧とを比較し、照合結果を、サーバー装置２００のメモリに記憶したり、サーバー装置２００の表示装置に表示したりすることができる。また、本実施形態の処理によれば、サーバー装置２００は、端末装置１００から送られてきたデータに含まれる位置情報に基づき、各鉄鋼製品のロケーション情報をサーバー装置２００の表示装置に表示することもできる。
【００１６】
＜実施形態２＞
図９は、実施形態２の処理の概要を示す図である。本実施形態では、図９に示されるように、例えば、四角で括られる等、撮像画像中に複数単位のまとまった文字等が記載されていた場合、推定部２０２は、ＤｅｅｐＬｅａｒｎｉｎｇ等の学習により四角等の枠を推定の対象から外し、四角内の文字、数字等を推定する。ここで、四角等はまとまりを示す一例であって、丸や、所定の形であってもよい。
本実施形態の処理によれば、端末装置１００は、最適な文字列モデルを定められないような場合でも、鉄鋼製品に印字等された単位内の文字等を認識することができる。
【００１７】
＜実施形態３＞
図１に示したように、資材置き場等に置かれた鉄鋼製品の山において、鉄鋼製品の向きは様々であるため、必ずしも、実施形態１の図４Ｂに示したように向きだけで撮像画像の走査を行っても適切に文字や数字の推定を行えない場合もある。したがって、本実施形態の推定部２０２は、撮像画像を複数の方向から走査し、文字や数字の推定を行う。図１０は、推定部２０２が、撮像画像を４方向から操作し、文字や数字の推定を行う一例を示す図である。配置部２０３は、推定部２０２が複数の方向から推定を行った結果、同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置するようにしてもよいし、推定部２０２がある方向から推定を行うごとに、同一文字であると推定された連続するピクセル群の重心を特定し、特定した重心位置に基づき推定された文字を配置するようにしてもよい。表示部２０４は、配置部２０３によって配置された文字の組み合わせを文字列候補として表示入力部１０３に表示する。
本実施形態の処理によれば、図１に示されるように、様々な方向で置かれた鉄鋼製品に印字された文字や数字等の情報を、最適な文字列モデルを定められないような場合でも、認識することができる。
【００１８】
＜実施形態４＞
図１１は、実施形態４の処理の概要を示す図である。本実施形態では、図１１に示されるように、推定部２０２は、機械学習等で学習した結果に基づき、撮像画像中の読取領域を自動推定（Ｈａａｒ−ｌｉｋｅ、又はＤｅｅｐＬｅａｒｎｉｎｇで学習した結果を使用）し、又は表示入力部１０３を介した操作者の読取領域の設定操作に基づき、撮像画像中の読取領域を特定し、読取領域内をピクセルごとに走査し、検索枠内の文字等を推定する。操作者の読取領域の設定操作としては、例えば、横幅と傾きとの２点を指定して設定する操作や、大きさを設定し、１点をタップする操作等がある。
本実施形態の処理によれば、撮影された撮像画像の全ピクセルではなく、走査すべきピクセル範囲のみについて判断を行えばよいため処理負荷を軽減させながら、最適な文字列モデルを定められないような場合でも、鉄鋼製品に印字等された単位内の文字等を認識することができる。
【００１９】
＜実施形態５＞
図１２は、実施形態５の端末装置１００のソフトウェア構成の一例を示す図である。実施形態５の端末装置１００のソフトウェア構成は、実施形態１の端末装置１００のソフトウェア構成に比べて、決定部２０７が更に追加されている。
決定部２０７は、推定部２０２が推定した文字等、又は配置部２０３が配置した結果の文字列等を、制約条件と目的関数とに基づき、選択し、表示部２０４を介して表示する文字等を決定する。
例えば、決定部２０７は、各位置での文字種（数字、英字、特殊記号等）、チェックディジット、一定の傾きの範囲内の配置、文字列間の距離、出荷予定製品番号との照合等を制約条件として用いる。また、決定部２０７は、文字間隔のばらつき、文字らしさ（黒地の周辺に白地等）等を目的関数に用いる。
決定部２０７は、制約条件及び目的関数として予め設定されたものを使用してもよいし、表示入力部１０３等を介したユーザの選択操作によって選択されたものを使用してもよい。
本実施形態の表示部２０４は、決定部２０７によって決定され、配置部２０３によって配置された文字列、又は決定部２０７によって決定された文字列を表示入力部１０３に表示する。
本実施形態の処理によれば、最適な文字列モデルを定められないような場合でも、鉄鋼製品に印字等された文字等をより適切に認識することができる。
【００２０】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
また、上述した各実施形態を任意に組み合わせて実施してもよい。
【符号の説明】
【００２１】
１００  端末装置
１０１  ＣＰＵ
１０２  メモリ
【図１】
2019179437.tif 000003
【図２】
2019179437.tif 000004
【図３】
2019179437.tif 000005
【図４Ａ】
2019179437.tif 000006
【図４Ｂ】
2019179437.tif 000007
【図４Ｃ】
2019179437.tif 000008
【図５】
2019179437.tif 000009
【図６Ａ】
2019179437.tif 000010
【図６Ｂ】
2019179437.tif 000011
【図７】
2019179437.tif 000012
【図８】
2019179437.tif 000013
【図９】
2019179437.tif 000014
【図１０】
2019179437.tif 000015
【図１１】
2019179437.tif 000016
【図１２】
2019179437.tif 000017