(57)【要約】【課題】撮影画像から予め背景などの不要な情報をユーザによる補助なしに削除し、必要な情報のみを残す。【解決手段】入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得て、二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出して、二値化画素のうち黒画素でもなく周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出して、枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出して、除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出して、枠内空白部候補画素群に含まれる画素でもなく除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する。【選択図】図６
2010102376.tif 000002
【特許請求の範囲】
【請求項１】
入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化ステップと、
前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出ステップと、
前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出ステップと、
前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出ステップと、
前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出ステップと、
前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出ステップと、
を備えることを特徴とする情報表示画素群抽出方法。
【請求項２】
入力したカラー画像を前記グレースケール画像に変換する変換ステップを更に備えることを特徴とする
請求項１に記載の情報表示画素群抽出方法。
【請求項３】
前記二値化ステップでは、入力したグレースケール画像を複数のエリアに分割し、エリア毎にエリア毎の閾値を用いて画像を白黒に二値化することを特徴とする
請求項１又は２に記載の情報表示画素群抽出方法。
【請求項４】
前記情報表示画素群抽出ステップにより抽出された情報表示画素群に対し、メディアンフィルタの適用、面積が所定値以下の画素の削除又は中心から一定距離以上離れている画素の削除のうちの少なくとも１つの処理を施す後処理ステップを更に備えることを特徴とする
請求項１乃至３の何れか１項に記載の情報表示画素群抽出方法。
【請求項５】
入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化手段と、
前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出手段と、
前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出手段と、
前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出手段と、
前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出手段と、
前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出手段と、
を備えることを特徴とする情報表示画素群抽出装置。
【請求項６】
入力したカラー画像を前記グレースケール画像に変換する変換手段を更に備えることを特徴とする
請求項５に記載の情報表示画素群抽出装置。
【請求項７】
前記二値化手段では、入力したグレースケール画像を複数のエリアに分割し、エリア毎にエリア毎の閾値を用いて画像を白黒に二値化することを特徴とする
請求項５又は６に記載の情報表示画素群抽出装置。
【請求項８】
前記情報表示画素群抽出手段により抽出された情報表示画素群に対し、メディアンフィルタの適用、面積が所定値以下の画素の削除又は中心から一定距離以上離れている画素の削除のうちの少なくとも１つの処理を施す後処理手段を更に備えることを特徴とする
請求項５乃至７の何れか１項に記載の情報表示画素群抽出装置。
【請求項９】
コンピュータに請求項１乃至４の何れか１項に記載の情報表示画素群抽出方法を実行させるための情報表示画素群抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどで撮影された画像から情報を表示する画素群（例えば、文字列を表す画素群）を抽出するための情報表示画素群抽出方法、情報表示画素群抽出装置及び情報表示画素群抽出プログラムに関する。
【背景技術】
【０００２】
従来、カメラで撮影された画像データの不要箇所を削除する方法として、撮影時にユーザに不要箇所を取り込まないように指示を出す方法や、枠を被写体に設け、枠に収めて撮影するように指示を出す方法（図１（ａ）、（ｂ）参照）があった。
【０００３】
また、カメラで撮影された画像データの不要箇所を削除する別の方法として、被写体の撮影後に撮影画像データの不要箇所をユーザが切り取る方法があった（図１（ｃ）参照）。
【０００４】
更に、カメラで撮影された画像データの不要箇所を削除する別の方法として、不要箇所をそのままノイズとして処理して画像認識を行い、複数の認識結果からユーザに正解を選択して貰う方法があった（図１（ｄ）参照）。
【０００５】
特許文献１には、車両のナンバープレート文字の抽出に際し、ヒストグラム処理を行うことにより、不要箇所を削除する発明が記載されているが、この方法は、数字の「１」のような直線を持つ文字を不要箇所であると誤判断する可能性がある。
【特許文献１】特開２００５−３５２７０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、携帯電話機などのカメラで、ユーザが様々な条件下で撮影したデジタル画像を利用する画像認識などの画像処理システムにおいて、撮影画像から予め背景などの不要な情報をユーザによる補助なしに削除し、必要な情報のみを残すことにより、後工程システムにおける処理精度を高めることを可能とする情報表示画素群抽出方法、情報表示画素群抽出装置及び情報表示画素群抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化ステップと、前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出ステップと、前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出ステップと、前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出ステップと、前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出ステップと、前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出ステップと、を備えることを特徴とする情報表示画素群抽出方法が提供される。
【０００８】
また、本発明によれば、入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化手段と、前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出手段と、前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出手段と、前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出手段と、前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出手段と、前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出手段と、を備えることを特徴とする情報表示画素群抽出装置が提供される。
【発明の効果】
【０００９】
本発明によれば、撮影画像から予め背景などの不要な情報をユーザによる補助なしに削除し、必要な情報のみを残すことが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１１】
本実施形態では、不要部分と必要部分とを画像処理により切り分ける必要があるため、必要情報を含む部分を黒枠などの暗い色の枠で囲むこととする。同じ画像に複数の必要情報部分がある場合には、認識の優先度を決定するために撮影画像の中心部に近い方の必要情報部分を選択することとする（図２参照）。
【００１２】
図３に本実施形態による情報表示画素群抽出方法のフローチャートを示す。図３に示すように、本発明の実施形態による情報表示画素群抽出方法は、グレースケール化のステップ（ステップＳ２０１）、エリア別二値化のステップ（ステップＳ２０３）、情報表示画素群抽出のステップ（ステップＳ２０５）及び後処理のステップ（ステップＳ２０７）を含む。
【００１３】
グレースケール化のステップ（ステップＳ２０１）では、黒枠を特定するため、色情報を排除する（グレースケール化）。また、次工程にてエリア別二値化（領域を区切ったエリア毎に、濃度分布から２値化閾値を決定する処理）を行うため、０〜２５５の２５６階調のグレースケールに変換した後、エリア別に区切るために画像サイズの調整を行う。図４の例では、左側の画像は撮影画像を示すが、この画像は、サイズが横３５２画素×縦２８８画素のカラー画像（紙面の都合上、グレースケールで示している。）である。これが、ステップ２０１の処理が施されると、図４の右側の画像に変換される。この画像は、サイズが横２４０画素×縦２４０画素のグレースケール画像である。ここで、横２４０画素×縦２４０画素の正方形としたのは、文字列を縦に撮影した場合にも、横に撮影した場合も対応するためであり、一辺の長さを２４０画素としたのは、１ブロックあたりの一辺の長さが２０画素であり、この整数倍を選択したためである。
【００１４】
エリア別二値化のステップ（ステップＳ２０３）では、画像を特定のサイズのブロック（例えば、上述したように横２０画素×縦２０画素のブロック）に区切り、ブロック毎の濃度分布により二値化の閾値を求め二値化する（図５参照）。閾値としては、例えば、最大値と最小値との平均値、全画素の平均値、中央値などを選択する。
【００１５】
この結果、例えば、図５（ｂ）又は図６（ａ）に示すような二値化画像を得ることができる。図６（ａ）に示す例では、黒枠が欠落部なく抽出されている。仮に、画像全体を１つの閾値を用いて二値化すると、図７に示すような二値化画像が得られてしまい、黒枠の一部が白くなってしまう場合が生ずる。
【００１６】
情報表示画素群抽出処理では、下記の処理を行う（図６参照）。
【００１７】
まず、二値化画像のうち端部の何れかの白画素及びその白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する（周辺白色部抽出ステップ。図６（ｂ））。図６（ｂ）において、右下ハッチング部が周辺白色部である。
【００１８】
次に、二値化画素のうち黒画素でもなく周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する（枠内空白部候補画素群抽出ステップ。図６（ｃ））。図６（ｃ）において左下ハッチング部が枠内空白部候補画素である。
【００１９】
次に、枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する（除外候補画素群抽出ステップ。図６（ｄ））。図６（ｄ）において白色部が除外候補画素群である。
【００２０】
次に、除外候補画素群のうち端部の何れかの画素及びその画素に連続している画素よりなる画素群を除外画素群として抽出する（除外画素群抽出ステップ。図６（ｅ））。図６（ｅ）において右下ハッチング部が除外画素群である。
【００２１】
次に、枠内空白部候補画素群に含まれる画素でもなく除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する（情報表示画素群抽出ステップ。図６（ｆ））。図６（ｆ）において、黒色部が情報表示画素群である。
【００２２】
最後に、情報表示画素群に含まれる画素以外の画素を削除する（図６（ｇ））。
【００２３】
後処理では、情報表示画素群に含まれる細かく残っている画素を下記のような次に述べる手法などを利用して削除する。すなわち、例えば、メディアンフィルタを利用して削除する。また、例えば、画素群に含まれる個々の島の面積を見て、所定の面積以下の島に含まれる画素を削除する。更に、例えば、中心からの距離が一定距離以上である画素を削除する。
【００２４】
上記の実施形態では、黒枠として矩形の黒枠を利用したが、他の形状の黒枠を利用しても良い。例えば、図８に示すような楕円の黒枠を利用しても良い。
【００２５】
上述した方法は、ハードウェアのみによっても実現することができる。例えば、図９に示すように、グレースケール化のステップ（ステップＳ２０１）をグレースケール化部１０１が行い、エリア別二値化のステップ（ステップＳ２０３）をエリア別二値化部１０３が行い、情報表示画素群抽出ステップ（ステップＳ２０５）を情報表示画素群抽出部１０５が行い、後処理ステップ（ステップＳ２０７）を後処理部１０７が行うようにしても良い。
【００２６】
ただし、上述した方法をコンピュータによって実現することもできる。この場合、コンピュータを上述の各部として機能させるためのプログラムをコンピュータが読み込んで実行することによって、上述した方法を実現することができる。
【図面の簡単な説明】
【００２７】
【図１】従来例による方法を説明するための図である。
【図２】本発明の実施形態による、情報表示画素群を黒枠で囲んだ印刷紙面の例を示す図である。
【図３】本発明の実施形態による情報表示画素群抽出方法のフローチャートを示す図である。
【図４】本発明の実施形態による、撮影画像をグレースケール化して、サイズ調整する方法を説明するための図である。
【図５】本発明の実施形態による、エリア別二値化を説明するための図である。
【図６】本発明の実施形態による情報表示画素群抽出処理を説明するための図である。
【図７】画像全体を１つの閾値を用いて二値化して得られる二値化画像の例を示す図である。
【図８】本発明の実施形態による黒枠の他の例を示す図である。
【図９】本発明の実施形態による情報表示画素群抽出装置の構成を示す図である。
【符号の説明】
【００２８】
１０１  グレースケール化部
１０３  エリア別二値化部
１０５  情報表示画素群抽出部
１０７  後処理部
【図１】
2010102376.tif 000003
【図３】
2010102376.tif 000004
【図６】
2010102376.tif 000005
【図７】
2010102376.tif 000006
【図９】
2010102376.tif 000007
【図２】
2010102376.tif 000008
【図４】
2010102376.tif 000009
【図５】
2010102376.tif 000010
【図８】
2010102376.tif 000011