(57)【要約】      （修正有）【課題】撮影画像に部分的に表出した環境光ノイズを排除可能な画像処理プログラム及び画像処理システムを提供する。【解決手段】撮影画像からグレースケール画像を生成し（Ｓ６０１）、このグレースケール画像を構成した画素の色データを検出して、隣接する各画素の境界色の強さに応じて認識対象のエッジ画素を抽出する（Ｓ６０３）。次いで、エッジ抽出画像から白色及び黒色の二値化画像を生成し、この二値化画像から撮影画像に部分的に表出した粒状の環境光ノイズを排除して認識対象特定画像を生成する（Ｓ６０６）。この環境光ノイズを排除する手順は、二値化画像のうち白色を有したエッジ画素の面積を測定する手順と、測定した面積が、認識対象の構成要素であると擬制可能な所定値に達しないエッジ画素を環境光ノイズと擬制して除去する一方、この所定値に達したエッジ画素を認識対象の輪郭と擬制して保持する手順とを含む。【選択図】図６
2010211498.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像の特徴を抽出して該画像を処理する電子機器の画像処理プログラムであって、
該プログラムは、該電子機器のコンピュータに備えられており、該コンピュータに、
前記撮影された画像からグレースケール画像を生成する手順と、
該グレースケール画像を構成した画素の色データを検出し、これら隣接する各画素の境界色の強さに応じて認識対象のエッジ画素を抽出する手順と、
該エッジ画素を抽出して生成されたエッジ抽出画像から白色及び黒色の二値化画像を生成する手順と、
該二値化画像から前記撮影された画像に部分的に表出する撮影環境による粒状のノイズを排除して認識対象特定画像を生成する手順と
を実行させ、
該環境によるノイズを排除する手順は、
前記二値化画像のうち白色を有したエッジ画素の面積を測定する手順と、
該測定した面積が、前記認識対象の構成要素であると擬制可能な所定値に達しないエッジ画素を該環境によるノイズと擬制して除去する一方、該所定値に達したエッジ画素を前記認識対象の輪郭と擬制して保持する手順と
を含む画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムであって、
前記環境によるノイズを排除する手順は、前記二値化画像のうち白色を有したエッジ画素の形状をさらに解析しており、
該白色を有したエッジ画素を膨張させる手順と、
該膨張によって連なって閉じたエッジ画素の内側を白色で塗り潰す手順と、
該塗り潰したエッジ画素の領域を前記二値化画像の大きさに縮小させる手順と、
該縮小されたエッジ画素の塗り潰し領域の面積を測定する手順と、
該測定した面積が前記認識対象の構成要素であると擬制可能な所定値を超えているが、円形から遠い形状のエッジ画素を前記環境によるノイズと擬制して除去する手順と
をさらに含むことを特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムであって、
前記撮影された画像は、ブロック単位で圧縮された静止画像であり、
前記グレースケール画像を生成する手順に続いて、前記圧縮によるノイズを排除する手順を実行しており、
該圧縮によるノイズを排除する手順は、
前記グレースケール画像を前記ブロック単位で区画し、複数個のブロックで構成された囲繞範囲において、１つの注目ブロックを常に含んだ複数通りの小領域が複数個のブロックで構成されており、該注目ブロックを含む複数個のブロックの各画素値をそれぞれ測定する手順と、
前記注目ブロックを含む複数個のブロックで構成され、該測定した各画素値のばらつきが最も少ない小領域を前記圧縮によるノイズと擬制して除去する一方、この除去する小領域には該当しない小領域を前記認識対象の輪郭と擬制して保持する手順と
をさらに含むことを特徴とする画像処理プログラム。
【請求項４】
請求項３に記載の画像処理プログラムであって、
前記圧縮によるノイズを排除する手順は、前記二値化画像のうち白色を有したエッジ画素の形状をさらに解析しており、
該白色を有したエッジ画素を膨張させる手順と、
該膨張によって連なって閉じたエッジ画素の内側を白色で塗り潰す手順と、
該塗り潰したエッジ画素の領域を前記二値化画像の大きさに縮小させる手順と、
該縮小されたエッジ画素の塗り潰し領域の面積を測定する手順と、
該測定した面積が圧縮によるノイズであると擬制可能な所定値には達しないが、円形から遠い形状であって、該縮小されたエッジ画素の外接形状が矩形から遠い形状のエッジ画素を前記圧縮によるノイズと擬制して除去する手順と
をさらに含むことを特徴とする画像処理プログラム。
【請求項５】
請求項２又は４に記載の画像処理プログラムであって、
前記測定した面積が環境によるノイズとして存在し難い大きさには至っていないが、その測定したエッジ画素の周囲長及び面積からみて単調な形状のエッジ画素を他種のノイズと擬制して除去する手順をさらに含むことを特徴とする画像処理プログラム。
【請求項６】
請求項１から５のいずれか一項に記載の画像処理プログラムであって、
前記撮影された画像は、携帯機器で撮影した画像であることを特徴とする画像処理プログラム。
【請求項７】
携帯機器で撮影した画像の特徴を抽出して該画像を処理する画像処理システムであって、
前記撮影した画像の認識対象を特定する前処理部と、
前記撮影した画像の画像特徴量を抽出し、該撮影した画像のパラメータを決定する特徴抽出部と、
該決定したパラメータとデータベースに格納されているマスタデータのパラメータとを比較し、前記撮影した画像に略一致したマスタデータを前記データベースから検索する認識・判断部と、
該検索したマスタデータの属するＵＲＬを前記データベースから前記携帯機器に返信する出力部とを具備し、
上述した前処理部は、
前記撮影した画像からグレースケール画像を生成し、該グレースケール画像を構成した画素の色データを検出しており、これら隣接する各画素の境界色の強さに応じて前記認識対象のエッジ画素を抽出し、該エッジ画素を抽出して生成されたエッジ抽出画像から白色及び黒色の二値化画像を生成し、該二値化画像から前記撮影した画像に部分的に表出する撮影環境による粒状のノイズを排除して認識対象特定画像を生成しており、
前記二値化画像のうち白色を有したエッジ画素の面積を測定し、該測定した面積が、前記認識対象の構成要素であると擬制可能な所定値に達しないエッジ画素を該環境によるノイズと擬制して除去する一方、該所定値に達したエッジ画素を前記認識対象の輪郭と擬制して保持することにより、前記認識対象特定画像を生成することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の特徴を抽出して処理する画像処理プログラム及び画像処理システムに関するものである。
【背景技術】
【０００２】
この撮影画像は、種々のサービスの提供に利用されている。詳しくは、昨今のカメラ機能を内蔵した携帯型電話やデジタルカメラの普及に伴い、撮影画像は、人物や風景などの記録や、時刻表の如くこれまで用紙に記録していた内容の記録のみならず、インターネットへの接続も可能にするなど、その利用範囲が広がっている。
【０００３】
これは画像処理技術、つまり、撮影画像を認識し、この画像が有する特徴量を抽出して画像を処理する技術によって達成可能になる。そして、この認識対象のパラメータが決定されると、このパラメータとデータベースに格納されているマスタデータのパラメータとが比較され、この認識対象に略一致したマスタデータがデータベースから検索可能になる。
【０００４】
一方、当該データベースから検索する際に、フルカラーの認識対象のままでは情報量が多くなるため、この認識対象を他の画像に加工する技術が開示されている（例えば、特許文献１参照）。詳しくは、当該技術は撮影画像ではないものの、フルカラーの文字画像からグレースケール画像を生成し、当該画像でエッジ画素を抽出する。そして、文字画像の輝度を考慮してノイズを排除している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９１９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術を撮影画像に適用しても、認識対象を正確に特定できないとの問題がある。
なぜならば、撮影画像には、上記携帯型電話のカメラ機能による印刷物の撮影時や、デジタルカメラによる光沢紙などの印刷物の撮影時に、陰や反射光等が写り込む環境光による粒状のノイズが部分的に含まれてしまい、当該撮影画像の一部分に表出したノイズは、仮に文字画像全体の輝度を考慮しても、排除できないからである。
【０００７】
また、この問題の解決の際には、画像処理の利便性も考慮しなければならない。
具体的には、認識対象が印刷物に付されたロゴマークであった場合を想定すると、当該マークの向きや大きさを特定すべく透かしを印刷物に配置するのでは、印刷物の品質が低下する。さらに、このロゴマークの形状などは、マークの所有者が決定すべきものである。すなわち、本来、外枠を有していなかったロゴマークに、外枠や点などを画像認識時に生成することは、マークのデザイン性や自他識別機能に大きな影響を与えるので、望ましくないし、また、画像認識の度に外枠などを生成するのは不便である。
【０００８】
そこで、本発明の目的は、上記課題を解消し、撮影画像に部分的に表出した環境光によるノイズを排除可能な画像処理プログラム及び画像処理システムを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するための第１の発明は、撮影された画像の特徴を抽出して画像を処理する電子機器の画像処理プログラムである。
そして、このプログラムは、電子機器のコンピュータに備えられており、コンピュータに、撮影された画像からグレースケール画像を生成する手順と、グレースケール画像を構成した画素の色データを検出し、これら隣接する各画素の境界色の強さに応じて認識対象のエッジ画素を抽出する手順と、エッジ画素を抽出して生成されたエッジ抽出画像から白色及び黒色の二値化画像を生成する手順と、二値化画像から撮影された画像に部分的に表出する撮影環境による粒状のノイズを排除して認識対象特定画像を生成する手順とを実行させる。
【００１０】
この環境によるノイズを排除する手順は、二値化画像のうち白色を有したエッジ画素の面積を測定する手順と、測定した面積が、認識対象の構成要素であると擬制可能な所定値に達しないエッジ画素を環境によるノイズと擬制して除去する一方、この所定値に達したエッジ画素を認識対象の輪郭と擬制して保持する手順とを含んでいる。
【００１１】
第１の発明によれば、画像処理プログラムは、撮影された画像の特徴を抽出して画像を処理するにあたり、コンピュータが果たす手順を特定している。
詳しくは、撮影された画像からグレースケール画像を生成しており、フルカラー画像からエッジ画素を抽出する場合に比して、少ない情報量でエッジ画素を抽出できる。
【００１２】
次に、このグレースケール画像を構成した画素の色データを検出し、これら隣接する各画素の境界色の強さに応じて認識対象のエッジ画素を抽出しているが、このエッジ画素には、認識対象の輪郭の他、ノイズも含まれており、当該ノイズを排除しつつ、輪郭を残す必要がある。
そこで、エッジ画素を抽出して生成されたエッジ抽出画像から白色及び黒色の二値化画像を生成し、撮影された画像に部分的に表出する撮影環境による粒状のノイズを排除して認識対象特定画像を生成する。
【００１３】
このように、撮影された画像をグレースケール画像にしてからエッジ画素を境界色の差に応じて抽出し、その後、エッジ画素を強調可能な二値化画像にすれば、フルカラー画像から直接に二値化画像を生成した場合に比して、仮に撮影した画像のうち認識対象とその背景との濃淡度合が常に同じではなくても、この認識対象を確実に特定可能になる。
【００１４】
そして、この二値化画像のうち白色を有したエッジ画素の大きさから環境によるノイズを排除している。詳しくは、当該エッジ画素の面積を測定し、この面積が、認識対象の構成要素であると擬制可能な所定値に達しないエッジ画素を環境によるノイズと擬制して除去するのに対し、この所定値に達したエッジ画素を認識対象の輪郭と擬制して保持しており、例えば携帯機器のカメラ機能による印刷物の撮影時や、デジタルカメラによる光沢紙など特殊紙の印刷物の撮影時において、陰や反射光等の環境によるノイズが撮影した画像に含まれていても、認識対象特定画像では当該ノイズを排除でき、認識対象を正確、且つ、速やかに特定できる。この結果、撮影された画像の認識率が高くなり、この画像を正確に検索可能になる。
【００１５】
また、上記印刷物に透かしを配置しなくて済むことから、その品質が低下しないし、さらに、この印刷物に付された認識対象の近傍に外枠や点を配置しなくて済むため、仮に認識対象がロゴマークの場合にも、このマークのデザイン性や自他識別機能に影響を与えることもないし、利便性の向上にも寄与する。
第２の発明は、第１の発明の構成において、環境によるノイズを排除する手順は、二値化画像のうち白色を有したエッジ画素の形状をさらに解析しており、白色を有したエッジ画素を膨張させる手順と、膨張によって連なって閉じたエッジ画素の内側を白色で塗り潰す手順と、塗り潰したエッジ画素の領域を二値化画像の大きさに縮小させる手順と、縮小されたエッジ画素の塗り潰し領域の面積を測定する手順と、測定した面積が認識対象の構成要素であると擬制可能な所定値を超えているが、円形から遠い形状のエッジ画素を環境によるノイズと擬制して除去する手順とをさらに含むことを特徴とする。
【００１６】
第２の発明によれば、第１の発明の作用に加えてさらに、二値化画像のうち白色を有したエッジ画素の形状を解析し、上述したエッジ画素の面積の他、その円形度を考慮すると、認識対象特定画像では、面積の解析のみでは取りきれなかった種々の形状の環境によるノイズも除去可能になる。
第３の発明は、第２の発明の構成において、撮影された画像は、ブロック単位で圧縮された静止画像であり、グレースケール画像を生成する手順に続き、圧縮によるノイズを排除する手順を実行しており、この圧縮によるノイズを排除する手順は、グレースケール画像をブロック単位で区画し、複数個のブロックで構成された囲繞範囲において、１つの注目ブロックを常に含んだ複数通りの小領域が複数個のブロックで構成されており、この注目ブロックを含む複数個のブロックの各画素値をそれぞれ測定する手順と、注目ブロックを含む複数個のブロックで構成され、測定した各画素値のばらつきが最も少ない小領域を圧縮によるノイズと擬制して除去する一方、この除去する小領域には該当しない小領域を認識対象の輪郭と擬制して保持する手順とをさらに含むことを特徴とする。
【００１７】
第３の発明によれば、第２の発明の作用に加えてさらに、撮影された画像がブロック単位で圧縮された静止画像である場合には、圧縮によるノイズがブロックの境界に生じ易くなる。しかし、ブロック単位で区画したグレースケール画像を用い、複数個のブロックで構成された囲繞範囲について、１つの注目ブロックを常に含んだ複数通りの小領域が複数個のブロックで構成されており、この注目ブロックを含む複数個のブロックの各画素値をそれぞれ測定し、その各画素値のばらつきが最も少ない小領域は、各ブロックの画素値が同じ値になり得るため、圧縮によるノイズと擬制して除去される。これに対し、この除去する小領域には該当しない残りの小領域を認識対象の輪郭と擬制して保持すれば、圧縮によるノイズが含まれていても、認識対象特定画像では認識対象を正確、且つ、速やかに特定できる。この結果、撮影された画像の認識率がより高くなり、この画像をより正確に検索可能になる。
【００１８】
第４の発明は、第３の発明の構成において、圧縮によるノイズを排除する手順は、二値化画像のうち白色を有したエッジ画素の形状をさらに解析しており、白色を有したエッジ画素を膨張させる手順と、膨張によって連なって閉じたエッジ画素の内側を白色で塗り潰す手順と、塗り潰したエッジ画素の領域を二値化画像の大きさに縮小させる手順と、縮小されたエッジ画素の塗り潰し領域の面積を測定する手順と、測定した面積が圧縮によるノイズであると擬制可能な所定値には達しないが、円形から遠い形状であって、縮小されたエッジ画素の外接形状が矩形から遠い形状のエッジ画素を前記圧縮によるノイズと擬制して除去する手順とをさらに含むことを特徴とする。
【００１９】
第４の発明によれば、第３の発明の作用に加えてさらに、二値化画像のうち白色を有したエッジ画素の形状を解析し、上述したエッジ画素の面積の他、その円形度や外接矩形の状態を考慮すると、認識対象特定画像では、ばらつきを考慮しても平滑化しきれなかった種々の形状の圧縮によるノイズも除去可能になる。
【００２０】
第５の発明は、第２や第４の発明の構成において、測定した面積が環境によるノイズとして存在し難い大きさには至っていないが、その測定したエッジ画素の周囲長及び面積からみて単調な形状のエッジ画素を他種のノイズと擬制して除去する手順をさらに含むことを特徴とする。
第５の発明によれば、第２や第４の発明の作用に加えてさらに、二値化画像のうち白色を有したエッジ画素の形状を解析し、上述したエッジ画素の面積の他、そのエッジ画素の周囲長及び面積の測定値からみて複雑ではない形状をも考慮すると、認識対象特定画像では、種々のノイズも除去できる。
【００２１】
第６の発明は、第１から第５の発明の構成において、撮影された画像は、携帯機器で撮影した画像であることを特徴とする。
第６の発明によれば、第１から第５の発明の作用に加えてさらに、携帯機器のカメラ機能では環境光の影響を取り除くことが困難であるが、上述の構成によれば、当該カメラ機能で撮影した画像であっても、認識対象特定画像では認識対象を正確、且つ、速やかに特定できる。
【００２２】
第７の発明は、携帯機器で撮影した画像の特徴を抽出して画像を処理する画像処理システムである。
そして、撮影した画像の認識対象を特定する前処理部と、撮影した画像の画像特徴量を抽出し、撮影した画像のパラメータを決定する特徴抽出部と、決定したパラメータとデータベースに格納されているマスタデータのパラメータとを比較し、撮影した画像に略一致したマスタデータをデータベースから検索する認識・判断部と、検索したマスタデータの属するＵＲＬをデータベースから携帯機器に返信する出力部とを具備する。
【００２３】
上述した前処理部は、撮影した画像からグレースケール画像を生成し、グレースケール画像を構成した画素の色データを検出しており、これら隣接する各画素の境界色の強さに応じて認識対象のエッジ画素を抽出し、エッジ画素を抽出して生成されたエッジ抽出画像から白色及び黒色の二値化画像を生成し、二値化画像から撮影した画像に部分的に表出する撮影環境による粒状のノイズを排除して認識対象特定画像を生成しており、二値化画像のうち白色を有したエッジ画素の面積を測定し、測定した面積が、認識対象の構成要素であると擬制可能な所定値に達しないエッジ画素を該環境によるノイズと擬制して除去する一方、この所定値に達したエッジ画素を認識対象の輪郭と擬制して保持することにより、認識対象特定画像を生成する。
【００２４】
第７の発明によれば、画像処理システムは、前処理部が、撮影した画像をグレースケール画像にしてからエッジ画素を境界色の強さに応じて抽出し、その後、エッジ画素を強調可能な二値化画像にしており、フルカラー画像から直接に二値化画像を生成した場合に比して、認識対象を確実に特定可能になる。
そして、この前処理部は、二値化画像のうち白色を有したエッジ画素の面積を測定し、当該面積が、認識対象の構成要素であると擬制可能な所定値に達しないエッジ画素を環境による粒状のノイズと擬制して除去する一方、この所定値に達したエッジ画素を認識対象の輪郭と擬制して保持しており、認識対象に陰や反射光等の環境によるノイズが含まれていても、認識対象特定画像では当該認識対象を正確、且つ、速やかに特定できる。
【００２５】
これにより、認識・判断部は撮影した画像を正確、且つ、速やかに検索でき、出力部はマスタデータの属するＵＲＬを携帯機器に正確、且つ、速やかに返信できるので、システム利用者の利便性の向上にも寄与する。
【発明の効果】
【００２６】
本発明によれば、撮影された画像に部分的に表出した撮影環境によるノイズを排除しており、認識対象を正確、且つ、速やかに特定できる画像処理プログラム及び画像処理システムを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施例の画像処理システムを示す図である。
【図２】図１の検索サーバの概略構成図である。
【図３】図１のシステムによるロゴマーク検索のフローチャートである。
【図４】図３の撮影工程の説明図である。
【図５】図３の前処理工程の制御ブロック図である。
【図６】図３の前処理工程による認識対象領域特定のフローチャートである。
【図７】図４の撮影画像の説明図である。
【図８】図６のグレースケール加工工程の説明図である。
【図９】図６のエッジ保存画像平滑化工程の説明図である。
【図１０】（ａ）は図８のグレースケール加工工程における状態を示し、（ｂ）は図９のエッジ保存画像平滑化工程を経た状態を示す図である。
【図１１】図６のエッジ抽出工程の説明図である。
【図１２】図６のラベリング対象領域決定工程やラベリング工程の説明図である。
【図１３】図６のノイズ除去工程の説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
図１は、本実施例に係る画像処理システムの全体構成図であり、当該システム１はネットワーク６を用いて構成され、このネットワーク６には、基地局４や、データベース１０を備えた検索サーバ（電子機器）８がそれぞれ接続されている。
【００２９】
このサーバ８は、携帯機器（例えば携帯型電話）２で撮影した撮影画像の特徴をプログラムの命令にしたがって抽出し、この画像を処理する機能を有している。なお、本実施例の携帯機器２はカメラ機能を内蔵したものとして説明するが、この携帯機器２は、印刷物を撮影できる限り、携帯情報端末（ＰＤＡ）やノートパソコンの他、デジタルカメラなどであっても良い。
【００３０】
また、本実施例のサーバ８の各種動作はコントローラ９で制御される（図２）。このコントローラ９はコンピュータとして機能する要素であり、ＣＰＵやプログラムを格納したメモリ等のハードウエア資源を有している。そして、コントローラ９は、このハードウエア資源を用いて所定のプログラムを実行する。
【００３１】
より具体的には、このコントローラ９は、同図に示されるように、入力部１２、認識対象特定処理部（前処理部）１４、特徴抽出部１６、認識・判断部１８、及び出力部２０で構成される。入力部１２は携帯機器２からの撮影画像を入力しており、認識対象特定処理部１４は、この撮影画像を後述の二値化画像に変換して認識対象を特定する如く、特徴を抽出する前の所定の処理を実行して特徴抽出部１６に出力する。
【００３２】
特徴抽出部１６は、上記二値化画像に対する画像特徴量の抽出範囲を規定し、続いて、色の情報を加味して抽出範囲に対する撮影画像のパラメータを決定しており、その結果を認識・判断部１８に出力する。
認識・判断部１８は、撮影画像に略一致したマスタデータをデータベース１０から検索して出力部２０に出力する。この出力部２０は検索したマスタデータの属するＵＲＬ（Ｕｎｉｖｅｒｓａｌ
Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を携帯機器２に返信する。これにより、携帯機器２は、その撮影画像に関するホームページを閲覧、具体的には、このＵＲＬが動画を指していた場合には当該動画を、音楽を指していた場合には当該音楽を、また、Ｆｌａｓｈアニメーションを指していた場合には当該アニメーションをそれぞれ再生できる。
【００３３】
より詳しくは、図３は、プログラムがコントローラ９に実行させる処理を示しており、以下、上記の如く構成された画像処理システム１の本発明に係る作用について説明する。
まず、同図のステップＳ３０１では、携帯機器２がそのカメラ機能でロゴマーク（認識対象）７２を撮影する（図４）。本実施例のロゴマーク７２は、ｋ，ｙ，ｏ，ｄ，ｏの順に並べられた白色で小文字のアルファベット、その２つのｏの文字中に配置された白色の点模様、上記ｄの文字の下側に配置された濃い赤色の湾曲模様、そして、濃い青色の背景で構成されており、印刷物７０に広告として印刷されている。
【００３４】
ここで、携帯機器２がその画面内にロゴマーク７２を表示して撮影する。本実施例の携帯機器２は３０×４０ｍｍのディスプレイを有し、その撮影画像７４は２４０×３２０ピクセルの画像であり、各ピクセルにＲ値（赤色）、Ｇ値（緑色）、Ｂ値（青色）のそれぞれ２５６階調からなる２４ビットの色情報を有している。また、この撮影画像７４はブロック単位で圧縮された静止画像（例えばＪＰＥＧ形式）である。
【００３５】
一方、携帯機器２は、この撮影画像７４を基地局４に向けて送信し、ネットワーク６を経由して検索サーバ８に送る。なお、このサーバ８のＵＲＬは上記プログラムに、若しくは、印刷物７０に予め記載されている。
ステップＳ３０２では、入力部１２が撮影画像７４を受け取ってメモリに記憶してステップＳ３０３に進む。
【００３６】
このステップＳ３０３では、認識対象特定処理部１４が、ドットマトリクス状に区画された図７の撮影画像７４の色を識別し、その後、この撮影画像７４を図８のグレースケール画像７５、図１１のエッジ抽出画像７６、図１２の二値化画像７７、そして、図１３の認識対象特定画像７８に順次変換してロゴマーク７２を特定する。
【００３７】
具体的には、本実施例の認識対象特定処理部１４は、エッジ抽出機能やノイズ除去機能を具備し、図５に示されるように、エッジ抽出処理部３０及びラベリング処理部４０を備えている。
まず、エッジ抽出処理部３０は、グレースケール加工処理部３２、平滑化フィルタ加工処理部３４、及び抽出フィルタ加工処理部３６で構成されている。
【００３８】
このグレースケール加工処理部３２は、ロゴマーク７２のエッジ画素を容易に抽出するための処理を実行しており、撮影画像７４からグレースケール画像７５を生成する（図６のステップＳ６０１）。本実施例のグレースケール画像７５は、上述したＲ値、Ｇ値、Ｂ値の合計を３で除した中間値を用い、各ピクセルに２５６階調からなる８ビットの色情報を有し、その結果を平滑化フィルタ加工処理部３４に出力する。なお、このグレースケール画像７５は、上記中間値に替えて、特定の値（例えばＢ値のみ）を用いる、若しくは、Ｒ値、Ｇ値、Ｂ値にそれぞれに係数を付与した値を用いて求めても良い。
【００３９】
ここで、撮影画像７４は、図７で見て画面の左上の隅部分及び右側の中央部分が薄い青色で表示されており、周囲の照明等による粒状の環境光ノイズが濃い青色の背景上に写り込んでいる。これにより、グレースケール画像７５もまた、図８に示されるように、この環境光が写り込んだ箇所は薄い灰色で表示されることになる。
【００４０】
また、このグレースケール画像７５を見ると、ＪＰＥＧ形式による圧縮の影響を受けており、撮影画像７４で濃い青色に相当した部分にブロックノイズが特に生じ、ザラザラして見える画像になっている（図１０（ａ））。なお、撮影画像７４で赤色に相当した部分にもブロックノイズが生じている。
次に、平滑化フィルタ加工処理部３４もまた、ロゴマーク７２のエッジ画素を容易に抽出するための処理を実行しているが、グレースケール画像７５を平滑させ、ブロックの境界部分に表出した上記ブロックノイズを可能な限り排除する（図６のステップＳ６０２）。
【００４１】
当該処理部３４では、まず、グレースケール画像７５を上記ブロックノイズに多く見られる代表的な大きさの画素に区画する。具体的には、当該大きさの画素は、例えば図９の１個のブロック８０が該当し、このブロック８０がグレースケール画像７５の全体に亘って配置される。
次いで、エッジ保存・平滑化フィルタを用い、この図９に示されるように、例えば５×５の計２５個のブロック８０で構成された囲繞範囲８２をグレースケール画像７５の一部分に適用する。
【００４２】
詳しくは、この範囲８２において、１つの注目ブロック（注目画素）８４を常に含んだ例えば計９通りの小領域８５，８６，８７・・・を考える。小領域８５，８６は例えば７個のブロック８０，８４で構成され、小領域８７は例えば９個のブロック８０，８４で構成されている。
この図９に点線で示された小領域８５は、注目ブロック８４を含む下側に関する領域であり、７個のブロック８０，８４の各画素値をそれぞれ測定する。なお、当該小領域８５の画素値は上記各画素値を平均して求められる。
【００４３】
また、当該形状の小領域８５を上側、右側、左側にも形成し、計４領域に亘るブロック８０，８４の各画素値も同じく測定する。
次に、図９に一点鎖線で示された小領域８６は、注目ブロック８４を含む右斜め上側に関する領域であり、７個のブロック８０，８４の各画素値をそれぞれ測定し、さらに、当該形状の小領域８６についても右斜め下側、左斜め上側、左斜め下側に形成し、計４領域に亘るブロック８０，８４の各画素値も測定する。
【００４４】
続いて、図９に実線で示された小領域８７は、注目ブロック８４を中心に据えた領域である。この場合には、９個のブロック８０，８４の各画素値をそれぞれ測定する。
そして、これら測定した各画素値のばらつきが最も少ない小領域の画素の平均値を注目画素の値として置き換える。
【００４５】
例えば、図９で見て囲繞範囲８２の最上段に位置する５個のブロック８０のうち、最も左端から中央位置までの３個のブロック８０の範囲にロゴマーク７２の輪郭の一部分が入っていた場合を想定すると、上述した下側、右側、及び左側の小領域８５、右斜め上側、右斜め下側、及び左斜め下側の小領域８６や、中央の小領域８７には輪郭の一部分が入っていないため、平坦な画像になり、各画素値のばらつきはいずれも少なくなる。これに対し、上側の小領域８５や左斜め上側の小領域８６の各画素値は、上述した下側の小領域８５等に比してばらつきがいずれも多くなる。
【００４６】
したがって、この例の場合には、分散値が最も小さくなる下側、右側、及び左側の小領域８５、右斜め上側、右斜め下側、及び左斜め下側の小領域８６や、中央の小領域８７をブロックノイズと擬制して除去する一方、上側の小領域８５や左斜め上側の小領域８６をロゴマーク７２の輪郭と擬制して保持している。
これにより、図１０（ａ）の上記ｋの文字５１の一部分に示したグレースケール画像７５では、当該文字５１の輪郭と背景５３との境界もザラザラしているように見えるが、同図（ｂ）に示したグレースケール画像７５では、同色の背景５３が滑らかに加え、当該文字５１の輪郭と背景５３との境界もより際立っており、輪郭を強調しつつ、ブロックノイズを排除できる。そして、当該処理部３４は、その結果を抽出フィルタ加工処理部３６に出力する。
【００４７】
この抽出フィルタ加工処理部３６は、平滑化されたグレースケール画像７５からエッジ画素を抽出しており、エッジ抽出画像７６を生成する（図６のステップＳ６０３）。
詳しくは、このグレースケール画像７５を構成した画素、つまり、ロゴマーク７２のエッジ画素、輪郭の内側の中身画素や、背景画素の色データをそれぞれ検出し、互いに隣接する各画素の境界色の強さをみている。
【００４８】
本実施例では、上記囲繞範囲８２に２次微分を施してエッジ画素を抽出しており、色の強い境界部分は白色に近い色になるのに対し、色の起伏のない境界部分は黒色に近い色になる。つまり、エッジ画素と背景画素との境界部分、エッジ画素と中身画素との境界部分は白色に近い色に変わる。一方、隣り合うエッジ画素の境界部分、隣り合う中身画素の境界部分、隣り合う背景画素の境界部分は黒色に近い色に変わる。そして、この白色に近い色の箇所は、ロゴマーク７２のエッジ画素と擬制され、ロゴマーク７２が白色の輪郭を残して灰色になるエッジ抽出画像７６が生成される（図１１）。その結果はラベリング処理部４０に出力される。
【００４９】
ここで、このエッジ抽出画像７６においても、上述の環境光が写り込んだ箇所は、エッジ画素と背景画素との境界部分であると擬制されてしまうので、白色に近い色のゴマ粒の如く表示され、抽出したエッジ画素にはロゴマーク７２の輪郭の他、環境光ノイズなどが未だ含まれることが分かる。
再び図５に戻り、このラベリング処理部４０は、対象領域決定処理部４２、ラベル化処理部４４、及びノイズ除去処理部４６で構成されている。
【００５０】
この対象領域決定処理部４２は、抽出されたエッジ画素の閾値処理（２値化）を実行しており、エッジ抽出画像７６から白色及び黒色の二値化画像７７を生成する（図６のステップＳ６０４）。本実施例では判別分析法を用い、撮影画像７４の本来の色に応じた判別基準を境にして、この基準よりも白色寄りの色を白色（２５５）、黒色寄りの色を黒色（０）の２通りに分ける。
【００５１】
これにより、図１２に示されるように、白色のエッジ画素が強調された二値化画像７７になり、後述のラベルの対象領域が明らかになる。この場合にも、上述の環境光が写り込んだ箇所は特に大きな白色になっている。そして、この対象領域決定処理部４２はその結果をラベル化処理部４４に出力する。
このラベル化処理部４４は、図１２の二値化画像７７のうち、白色の大小・長短のエッジ画素の総てに番号を付し（図６のステップＳ６０５）、これら白色のエッジ画素が絵柄であるかノイズであるかの判別を容易にし、その結果をノイズ除去処理部４６に出力する。
【００５２】
このノイズ除去処理部４６では、面積解析、形状解析及び位置解析の３種の処理を実行しており（図６のステップＳ６０６）、上述したブロックノイズや環境光ノイズを確実に排除している。
まず、この面積解析では主として環境光ノイズを排除しており、上述の番号を付した白色のエッジ画素の総てについて面積を測定し、当該測定した白色のエッジ画素の面積が例えば１００ドットに達しない白色のエッジ画素を環境光ノイズと擬制して図１２の二値化画像７７から除去し、黒色にする。当該１００ドットはロゴマーク７２の構成要素にも満たない大きさだからである。
【００５３】
一方、この１００ドットを超える白色のエッジ画素はロゴマーク７２の輪郭である可能性があるため、保持する。
次に、形状解析では、面積解析を経て残った白色のエッジ画素に拡散・収縮処理を施し、ロゴマーク７２の形状とは似ていない白色のエッジ画素を排除する。具体的には、まず、この残った白色のエッジ画素を膨張させ、当該膨張によって連なって閉じた大きな白色のエッジ画素の内側を白色で塗り潰す。次いで、この塗り潰された大きな白色のエッジ画素を縮小させ、二値化画像７７で用いられた元の白色のエッジ画素の大きさに戻す。続いて、この縮小した白色のエッジ画素の塗り潰し領域の面積を測定し、以下の３つの観点からブロックノイズや環境光ノイズ等のノイズを排除している。
【００５４】
第１の観点では、当該縮小後に測定した白色の塗り潰し領域の面積が環境光ノイズとして存在し難い大きさ（例えば１５０ドット）には至っていないが、その白色のエッジ画素の複雑度が１以下である場合には、環境光ノイズやブロックノイズを含む総合的なノイズと擬制して除去している。複雑度とは図形の複雑さを測る指標であり、本実施例では、当該白色のエッジ画素の周囲長を面積で除して求めている。これにより、１５０ドット未満、且つ、単調な形状（複雑度は０に近くなる）である白色のエッジ画素が図１２の二値化画像７７から除去されて黒色になる。一方、当該条件に該当しない白色の塗り潰し領域は保持される。
【００５５】
第２の観点では、上記縮小後に測定した白色の塗り潰し領域の面積がブロックノイズである擬制可能な例えば１００ドット未満であるが、その白色のエッジ画素の円形度が０．３未満であって、且つ、外接矩形面積が０．５未満である場合には、ブロックノイズと擬制して図１２の二値化画像７７から除去して黒色にする。円形度１．０が真円に該当し、円形度が０．３未満とは円形から遠い形状になる。また、外接矩形面積とは、白色のエッジ画素に外接する線で囲まれた内側の面積であり、その値が０．５未満とは矩形から遠い形状になる。なお、当該条件に該当しない白色の塗り潰し領域もそのまま保持される。
【００５６】
第３の観点では、上記縮小後に測定した白色の塗り潰し領域の面積が上述したロゴマーク７２の構成要素であると擬制可能な大きさ（例えば１００ドット）を超えているが、上述の環境光ノイズとして存在し難い大きさ（例えば１５０ドット）には至っておらず、且つ、その白色のエッジ画素の円形度が０．１未満である場合にも環境光ノイズと擬制して図１２の二値化画像７７から除去して黒色になるし、当該条件に該当しない白色の塗り潰し領域はそのまま保持される。
【００５７】
続いて、位置解析では、面積解析・形状解析を経て残った白色のエッジ画素の位置に基づいて、ロゴマーク７２の位置から離れた白色のエッジ画素を排除する。
詳しくは、図１２の二値化画像７７を例えば１０×１０の１００個のブロックに分割すると、同図で見て画面の左上の隅部分及び右側の中央部分には、白色のエッジ画素がやはり多く分布しており、この隅部分のブロック内に位置する白色のエッジ画素や、ロゴマーク７２の文字等の白色の群とは孤立しているブロック内に位置する白色のエッジ画素についてもノイズと擬制して除去され、黒色になる。
【００５８】
これらの結果、ロゴマーク７２の輪郭よりも外側が黒色で総て塗り潰される一方、この輪郭の内側が白色で塗り潰された認識対象特定画像７８が生成される（図１３）。
当該結果はノイズ除去処理部４６から特徴抽出部１６に出力され、図３のステップＳ３０４に進む。
【００５９】
このステップＳ３０４では、特徴抽出部１６が、この認識対象特定画像７８による白色の塗り潰し領域の特徴を抽出し、これに識別された色の情報を加えて撮影画像７４のパラメータを決定する。
そして、ステップＳ３０５に進み、認識・判断部１８は、撮影画像７４について決定したパラメータとデータベース１０に格納されているマスタデータのパラメータとを比較し、撮影画像７４の特徴量に最も近い値を有したマスタデータをデータベース１０から検索する（マッチング処理）。
【００６０】
その後、この決定したパラメータからロゴマーク７２を取得できたときにはステップＳ３０６に進み、出力部２０が、当該ロゴマーク７２の属するＵＲＬを携帯機器２に返信してステップＳ３０７に進んで一連のルーチンを抜ける。この結果、携帯機器２は、このＵＲＬから広告の詳細情報を閲覧することができる。
【００６１】
以上のように、本実施例によれば、画像処理プログラムは、撮影画像７４の特徴を抽出して画像を処理するにあたり、コントローラ９が果たす手順を特定している。
詳しくは、撮影画像７４からグレースケール画像７５を生成しており、フルカラー画像からエッジ画素を抽出する場合に比して、少ない情報量でエッジ画素を抽出できる。
【００６２】
次に、このグレースケール画像７５を構成したエッジ画素、中身画素や背景画素の色データを検出し、これら隣接する各画素の色の強い境界部分はエッジ画素と擬制して白色になるため、ロゴマーク７２のエッジ画素を抽出可能になるが、この擬制されたエッジ画素には、ロゴマーク７２の輪郭の他、ノイズも含まれており、当該ノイズを排除しつつ、輪郭を残す必要がある。
【００６３】
そこで、エッジ画素を抽出して生成されたグレースケールのエッジ抽出画像７６から白色及び黒色の二値化画像７７を生成し、撮影画像７４に部分的に表出する撮影時の粒状の環境光ノイズを排除して認識対象特定画像７８を生成する。
このように、撮影画像７４をグレースケール画像７５にしてからエッジ画素を境界色の差に応じて抽出し、その後、エッジ画素を強調可能な二値化画像７７にすれば、フルカラー画像から直接に二値化画像を生成した場合、つまり、閾値処理のみを実施した場合に比して、仮に撮影画像７４のうちロゴマーク７２の文字や模様とその背景との濃淡度合が常に同じではなくても、このロゴマーク７２の文字や模様を確実に特定可能になる。
【００６４】
そして、この二値化画像７７のうち白色を有したエッジ画素の大きさから環境光ノイズを排除している。詳しくは、当該エッジ画素の面積を測定し、この面積のうち、ロゴマーク７２の一部分であると擬制可能な所定値に達しないエッジ画素を環境光ノイズと擬制して除去するのに対し、この所定値に達したエッジ画素をロゴマーク７２の輪郭と擬制して保持しており、例えば上述した携帯機器２のカメラ機能による普通紙の印刷物の撮影時や、例えばデジタルカメラによる光沢紙など特殊紙の印刷物の撮影時において、陰や反射光等の環境光ノイズが撮影画像７４に含まれていても、認識対象特定画像７８では当該ノイズを排除でき、ロゴマーク７２を正確、且つ、速やかに特定できる。この結果、撮影画像７４の認識率が高くなり、この画像７４を正確に検索可能になる。
【００６５】
また、従来の如く印刷物に透かしを配置しなくて済むことから、その品質が低下しないし、さらに、この印刷物に付されたロゴマークの近傍に外枠や点を配置しなくて済むため、このマークのデザイン性や自他識別機能に影響を与えることもないし、利便性の向上にも寄与する。
さらに、二値化画像７７のうち白色を有したエッジ画素の形状を解析し、上述したエッジ画素の面積の他、その円形度を考慮すると、認識対象特定画像７８では、例えば１００ドット以上の大きな面積であるが円形ではない大きめの環境光ノイズの如く、面積解析のみでは取りきれなかった種々の形状の環境光ノイズも除去可能になる。
【００６６】
さらにまた、撮影画像７４が例えばＪＰＥＧ形式である場合には、ブロックノイズが生じ易くなる。しかし、このブロックノイズの１つの大きさに相当するブロック８０で区画したグレースケール画像７５を用い、例えば２５個のブロック８０で構成された囲繞範囲８２に対し、１つの注目ブロック８４を常に含んだ９通りの小領域が、７個分のブロック８０，８４に関する上下左右斜めの８通り領域８５，８６や、９個分のブロック８０，８４に関する中央の１通りの領域８７で構成されており、この注目ブロック８４を含む７個或いは９個のブロック８０，８４の各画素値をそれぞれ測定し、その各画素値のばらつきが最も少ない小領域（上記例で云えば、下側、右側、及び左側の小領域８５、右斜め上側、右斜め下側、及び左斜め下側の小領域８６や、中央の小領域８７）は、各ブロック８０の画素値が同じ値になるため、ブロックノイズと擬制して除去される。
【００６７】
これに対し、この除去する小領域には該当しない小領域（上記例で云えば、残った上側の小領域８５や左斜め上側の小領域８６）をロゴマーク７２の輪郭と擬制して保持すれば、輪郭を強調しつつ、平滑な画像にすることができ、ブロックノイズが含まれていても、認識対象特定画像７８ではロゴマーク７２を正確、且つ、速やかに特定できる。この結果、撮影画像７４の認識率がより高くなり、この画像７４をより正確に検索可能になる。
【００６８】
また、二値化画像７７のうち白色を有したエッジ画素の形状をさらに解析し、上述したエッジ画素の面積の他、その円形度や外接矩形の状態を考慮すると、認識対象特定画像７８では、例えば１００ドット未満の小さな面積であるが円形ではなく、しかも、矩形ではない小さめのブロックノイズの如く、ばらつきを考慮しても平滑化しきれなかった種々の形状のブロックノイズも除去可能になる。
【００６９】
さらに、そのエッジ画素の周囲長及び面積の測定値からみて複雑ではない形状をも考慮すると、認識対象特定画像７８では、例えば１５０ドット以上の大きな面積であるが複雑ではない大きめのノイズの如く、種々のノイズも除去できる。
また、二値化画像７７のうち白色を有したエッジ画素の位置についても解析すれば、白色を有したエッジ画素のうち、撮影画像７４の隅部分に位置するエッジ画素や、他の白色の群とは孤立して位置するエッジ画素をノイズと擬制して除去できるため、この点も、ロゴマーク７２の正確、且つ、速やかな特定に寄与する。
【００７０】
さらに、二値化画像７７のうち白色を有した大小・長短のエッジ画素の総てに番号を付せば、このエッジ画素の面積の測定や、その形状及び位置の解析を正確に、且つ、速やかに実行可能になる。
さらにまた、携帯機器２のカメラ機能では環境光の影響を取り除くことが困難であるが、上述の構成によれば、当該カメラ機能による撮影画像７４であっても、認識対象特定画像７８ではロゴマーク７２を正確、且つ、速やかに特定できる。
【００７１】
また、上述した画像処理システム１によれば、認識対象特定画像７８にて当該ロゴマーク７２を正確、且つ、速やかに特定できるため、認識・判断部１８は撮影した画像を正確、且つ、速やかに検索でき、出力部２０はマスタデータの属するＵＲＬを携帯機器２に正確、且つ、速やかに返信できるので、システム利用者の利便性の向上にも寄与する。
【００７２】
本発明は、上記実施例に限定されず、特許請求の範囲を逸脱しない範囲で種々の変更を行うことができる。例えば上記実施例の各構成は、その一部を省略したり、上記とは異なるように任意に組み合わせることができる。
また、本発明のプログラムは、検索サーバ８のコントローラ９に備えられる他、上述した携帯機器２に備えられていても良い。
【００７３】
そして、これらいずれの場合にも上記と同様に、撮影画像７４に部分的に表出した環境光ノイズを排除できるとの効果を奏する。
さらに、上記実施例は、ロゴマークを検索するシステムに具現化した例で説明されているが、必ずしもこの形態に限定されるものではなく、エッジ抽出処理部３０やラベリング処理部４０、特にノイズ除去処理部４６の形状解析を用いれば、撮影画像７４内の対象物の集計（例えばロゴマークの個数の集計）に利用できる。
【００７４】
また、エッジ抽出処理部３０やラベリング処理部４０、特に、対象領域決定処理部４２及びラベル化処理部４４を用いれば、撮影画像７４とマスタデータの画像との比較から対象物の汚点も測定できる。詳しくは、この場合は携帯機器２の撮影に限らないが、対象物の通常状態をカメラ機器などで撮影してマスタデータに保存しておき、次に、汚点を測定する際に対象物を再び撮影し、これら通常状態の画像と改めて撮影した画像とのノイズの発生数やラベリング数を比較すれば、この改めて撮影した画像が通常状態に比してどの程度汚れているかに利用できる。
【符号の説明】
【００７５】
１  画像処理システム
２  携帯機器（電子機器）
８  検索サーバ（電子機器）
９  コントローラ（コンピュータ）
１０  データベース
１４  認識対象特定処理部（前処理部）
１６  特徴抽出部
１８  認識・判断部
２０  出力部
３０  エッジ抽出処理部
３２  グレースケール加工処理部
３４  平滑化フィルタ加工処理部
３６  抽出フィルタ加工処理部
４０  ラベリング処理部
４２  対象領域決定処理部
４４  ラベル化処理部
４６  ノイズ除去処理部
７２  ロゴマーク（認識対象）
７４  撮影画像
７５  グレースケール画像
７６  エッジ抽出画像
７７  二値化画像
７８  認識対象特定画像
８０  ブロック
８２  囲繞範囲
８４  注目ブロック（注目画素）
【図１】
2010211498.tif 000003
【図２】
2010211498.tif 000004
【図３】
2010211498.tif 000005
【図４】
2010211498.tif 000006
【図５】
2010211498.tif 000007
【図６】
2010211498.tif 000008
【図７】
2010211498.tif 000009
【図８】
2010211498.tif 000010
【図９】
2010211498.tif 000011
【図１０】
2010211498.tif 000012
【図１１】
2010211498.tif 000013
【図１２】
2010211498.tif 000014
【図１３】
2010211498.tif 000015