(57)【要約】【課題】撮影された画像の状態に拘わらず、画像特徴量の抽出範囲を正確、且つ、速やかに規定でき、利便性も向上する画像処理プログラム及び画像処理システムを提供する。【解決手段】撮影された画像(74,76)の特徴を抽出して画像を処理する電子機器(8)の画像処理プログラムである。そして、このプログラムは、電子機器のコンピュータ(9)に備えられており、コンピュータに、この画像のうち所定の濃度を有した画素を複数検出する手順と、各画素の配置から画像の重心位置(G)を決定する手順と、重心位置に基づいて画像に対する画像特徴量の抽出範囲(80,82,83)を規定する手順とを実行させる。【選択図】図８
2010061409.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像の特徴を抽出して該画像を処理する電子機器の画像処理プログラムであって、
該プログラムは、該電子機器のコンピュータに備えられており、該コンピュータに、
前記画像のうち所定の濃度を有した画素を複数検出する手順と、
該各画素の配置から前記画像の重心位置を決定する手順と、
該重心位置に基づいて前記画像に対する画像特徴量の抽出範囲を規定する手順と
を実行させるための画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムであって、
前記画像に対する画像特徴量の抽出範囲を規定する手順は、
前記各画素のうち前記重心位置から最も離間した画素の位置を検出する手順と、
前記重心位置と該最も離間した画素の位置との距離を、前記画像を囲繞する外接円の半径に決定する手順と、
前記重心位置を中心とし、該半径による前記外接円を前記画像に生成する手順と、
前記重心位置を中心とした同心円を前記外接円の内側に生成する手順とを含み、
該画像に対する画像特徴量の抽出範囲を規定する手順に続き、前記外接円の内側及び前記同心円の外側で規定された環状部分、並びに、前記同心円の内側で規定された円板状部分の各画像特徴量をそれぞれ抽出する手順を実行しており、
該環状部分及び該円板状部分の各画像特徴量をそれぞれ抽出する手順は、
前記画像の全体画素値を求める手順と、
前記環状部分及び前記円板状部分毎に前記画像の部分画素値をそれぞれ求め、該各部分画素値と前記全体画素値との比率を決定する手順と、
該環状部分及び該円板状部分の各面積をそれぞれ求め、前記各部分画素値と該対応した各面積との比率を決定する手順と
を含むことを特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムであって、
前記同心円は、前記半径を略等分割することにより、前記外接円の内側にて略等間隔で複数生成されていることを特徴とする画像処理プログラム。
【請求項４】
請求項１から３のいずれか一項に記載の画像処理プログラムであって、
前記画像の重心位置を決定する手順の前に、該画像を白色及び黒色の二値化画像に変換する手順を少なくとも実行し、次いで、前記所定の濃度を有した画素を複数検出する手順では、前記画像を配置したｘｙ平面で構成された撮影エリアにて、該画像のうち黒色を有した画素を複数検出しており、
該画像の重心位置を決定する手順では、該黒色を有した各画素のｘ座標の平均値及びｙ座標の平均値から前記画像の重心位置を決定していることを特徴とする画像処理プログラム。
【請求項５】
請求項１から３のいずれか一項に記載の画像処理プログラムであって、
前記画像の重心位置を決定する手順の前に、該画像を白色及び黒色の二値化画像に変換する手順と、該画像に外枠が存在していた場合には該外枠を削除する手順とを少なくとも実行しており、
該外枠を削除する手順では、該画像を配置したｘｙ平面で構成された撮影エリアにて、該画像のうち前記外枠に相当する黒色を有した画素を複数検出し、該外枠を白色に反転させて削除しており、
次いで、前記所定の濃度を有した画素を複数検出する手順では、前記ｘｙ平面にて前記外枠を除いた画像のうち黒色を有した画素を複数検出し、
続いて、該画像の重心位置を決定する手順では、前記外枠を除いた画像の左右端にそれぞれ位置した２つのｘ座標と、該外枠を除いた画像の上下端にそれぞれ位置した２つのｙ座標とによる４つの頂点を求め、これら４つの頂点を結んだ対角線の交点から前記画像の重心位置を決定していることを特徴とする画像処理プログラム。
【請求項６】
携帯機器で撮影した画像の特徴を抽出して該画像を処理する画像処理システムであって、
前記画像のうち所定の濃度を有した画素を複数検出し、該各画素の配置から前記画像の重心位置を決定するとともに、該重心位置に基づいて前記画像に対する画像特徴量の抽出範囲を規定し、該各抽出範囲のパラメータを決定する特徴抽出部と、
該決定したパラメータとデータベースに格納されているマスタデータのパラメータとを比較し、前記画像に略一致したマスタデータを前記データベースから検索する認識・判断部と、
該検索したマスタデータの属するＵＲＬを前記データベースから前記携帯機器に返信する出力部とを具備し、
前記特徴抽出部は、
前記検出した各画素のうち前記重心位置から最も離間した画素の位置を検出し、該重心位置を中心として前記最も離間した画素の位置を通り、前記画像を囲繞する外接円を該画像に生成する一方、該重心位置を中心とした同心円を前記外接円の内側に生成しており、
さらに、前記外接円の内側及び前記同心円の外側で規定された環状部分、並びに、前記同心円の内側で規定された円板状部分の各画像特徴量を抽出し、そして、前記環状部分及び前記円板状部分毎の前記画像の部分画素値と該画像の全体画素値との比率を決定するとともに、前記各部分画素値と該環状部分及び該円板状部分の対応した各面積との比率を決定し、前記パラメータを決定していることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の特徴を抽出して処理する画像処理プログラム及び画像処理システムに関するものである。
【背景技術】
【０００２】
この撮影画像は、種々のサービスの提供に利用されている。詳しくは、昨今のカメラ機能を内蔵した携帯型電話やデジタルカメラの普及に伴い、撮影画像は、人物や風景などの記録や、時刻表の如くこれまで用紙に記録していた内容の記録のみならず、インターネットへの接続も可能にするなど、その利用範囲が広がっている。
【０００３】
これは画像処理技術、つまり、撮影画像を認識し、この画像が有する特徴量を抽出して画像を処理する技術によって達成可能になる。
一方、この画像の向きや大きさは、撮影者の体勢や撮影距離によって容易に変化し、画像の認識率に影響を及ぼす。このため、仮に撮影画像が傾いた状態であっても、この画像を認識可能な技術が開示されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平１１−２９６６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、当該従来の技術では、画像を認識するにあたり、この画像の中心位置を基準として画像特徴量の抽出範囲を規定しており、当該中心位置に基づいた外接円や同心円を画像に生成している。
しかしながら、これでは、画像特徴量の抽出範囲を規定し難くなり、やはり画像の認識率に影響を及ぼすとの問題がある。
【０００６】
なぜならば、上記従来の技術では、その中心位置の求め方について何等示されておらず、仮に被写体をカメラ機能のフレーム内に表示して撮影し、撮影エリアの隅（例えば左上）から撮影画像の各頂点を検出し、次いで、これら各頂点を結んで直径を求め、その中間位置を画像の中心位置に決定する手法では、この画像が非対称形状の場合には、画像の向きが撮影時に変わる度にその中心位置も変わり得るので、この中心位置を一義的に決定できず、しかも、この撮影エリアの中心位置と撮影画像の中心位置とが一致にしなければ外接円を生成するのは難しいからである。
【０００７】
また、この問題の解決の際には、画像処理の利便性も考慮しなければならない。
具体的には、例えばＡと示されたロゴマークが拡大又は縮小した状態で印刷物に付されており、人が印刷物を上下逆さまの状態で手にした場合を想定すると、人はＡとのロゴマークであることを間違えることはないが、この人が当該マークを上下逆さまの状態で撮影した場合には、前処理として、回転に対応したアルゴリズムと、拡大縮小に対応したアルゴリズムとの双方を用い、撮影画像の向きに変化があるか否か、及びその大きさに変化があるか否かの分析をいずれも経なければ画像特徴量を抽出できず、不便だからである。
【０００８】
さらに、このロゴマークの形状などは、マークの所有者が決定すべきものである。すなわち、本来、外枠を有していなかったロゴマークに、外枠や点などを画像認識時に生成することは、マークのデザイン性や自他識別機能に大きな影響を与えるので、望ましくないし、また、画像認識の度に外枠などを生成するのは不便である。
【０００９】
そこで、本発明の目的は、上記課題を解消し、撮影画像の状態に拘わらず、画像特徴量の抽出範囲を正確、且つ、速やかに規定でき、利便性も向上する画像処理プログラム及び画像処理システムを提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するための第１の発明は、撮影された画像の特徴を抽出して画像を処理する電子機器の画像処理プログラムである。
そして、このプログラムは、電子機器のコンピュータに備えられており、コンピュータに、撮影された画像のうち所定の濃度を有した画素を複数検出する手順と、各画素の配置から画像の重心位置を決定する手順と、重心位置に基づいて画像に対する画像特徴量の抽出範囲を規定する手順とを実行させる。
【００１１】
第１の発明によれば、画像処理プログラムは、撮影された画像の特徴を抽出して画像を処理するにあたり、コンピュータが果たす手順を特定している。
詳しくは、撮影された画像のうち所定の濃度を有した画素を複数検出し、この検出した各画素の配置から画像の重心位置を決定しており、この決定した重心位置に基づいて画像に対する画像特徴量の抽出範囲を規定している。
【００１２】
このように、画像特徴量の抽出範囲が重心位置を基準として規定されていれば、撮影された画像が仮に回転した状態であったとしても、この重心位置は不変である。よって、従来の如く、画像特徴量の抽出範囲が単に画像の中心位置を基準として規定されるのみであり、撮影された画像が非対称形状の場合には特にその中心位置を求めるのが難しい構成に比して、画像に対する画像特徴量の抽出範囲を正確、且つ、速やかに規定できる。この結果、撮影された画像の認識率が高くなり、この画像を正確に検索可能になる。
【００１３】
また、撮影された画像の重心位置を基準として画像特徴量の抽出範囲を規定すれば、回転アルゴリズムによる分析が不要になる。しかも、被写体の近傍に外枠や点を配置しなくて済むことから、仮に被写体がロゴマークの場合にも、このマークのデザイン性や自他識別機能に影響を与えることもないし、利便性の向上にも寄与する。
【００１４】
第２の発明は、第１の発明の構成において、撮影された画像に対する画像特徴量の抽出範囲を規定する手順は、各画素のうち重心位置から最も離間した画素の位置を検出する手順と、重心位置と最も離間した画素の位置との距離を、画像を囲繞する外接円の半径に決定する手順と、重心位置を中心とし、半径による外接円を画像に生成する手順と、重心位置を中心とした同心円を外接円の内側に生成する手順とを含み、この画像に対する画像特徴量の抽出範囲を規定する手順に続き、外接円の内側及び同心円の外側で規定された環状部分、並びに、同心円の内側で規定された円板状部分の各画像特徴量をそれぞれ抽出する手順を実行している。
【００１５】
そして、環状部分及び該円板状部分の各画像特徴量をそれぞれ抽出する手順は、撮影された画像の全体画素値を求める手順と、環状部分及び円板状部分毎に画像の部分画素値をそれぞれ求め、各部分画素値と全体画素値との比率を決定する手順と、環状部分及び円板状部分の各面積をそれぞれ求め、各部分画素値と該対応した各面積との比率を決定する手順とを含むことを特徴とする。
第２の発明によれば、第１の発明の作用に加えてさらに、この画像処理プログラムは、重心位置を基準とした外接円や同心円によって撮影された画像を円分割しており、これら外接円や同心円にて規定された環状部分及び円板状部分の各画像特徴量を抽出して数値化する。
【００１６】
具体的には、当該プログラムは、環状部分及び円板状部分毎に求めた画像の部分画素値の他、これら環状部分及び円板状部分の各面積や、この画像の全体画素値を求め、これらの比率を用いて撮影された画像の特徴を抽出している。したがって、撮影された画像が仮に拡大した状態又は縮小した状態であったとしても、環状部分及び円板状部分の各面積に対する部分画素値の割合や、全体画素値に対する部分画素値の割合は不変であるため、拡大縮小アルゴリズムによる分析が不要になる。
よって、撮影された画像が、上述の回転した状態の他、拡大縮小した状態であっても、本発明の如くの１つのプログラムで処理可能になり、利便性が大幅に向上する。
【００１７】
第３の発明は、第２の発明の構成において、同心円は、半径を略等分割することにより、外接円の内側にて略等間隔で複数生成されていることを特徴とする。
第３の発明によれば、第２の発明の作用に加えてさらに、同心円を略等間隔で複数生成すれば、環状部分及び円板状部分の各面積を小さく設定でき、画像の特徴をより正確に抽出可能になる。
【００１８】
第４の発明は、第１から第３の発明の構成において、撮影された画像の重心位置を決定する手順の前に、この画像を白色及び黒色の二値化画像に変換する手順を少なくとも実行し、次いで、所定の濃度を有した画素を複数検出する手順では、この画像を配置したｘｙ平面で構成された撮影エリアにて、画像のうち黒色を有した画素を複数検出している。
そして、画像の重心位置を決定する手順では、黒色を有した各画素のｘ座標の平均値及びｙ座標の平均値から撮影された画像の重心位置を決定していることを特徴とする。
【００１９】
第４の発明によれば、第１から第３の発明の作用に加えてさらに、撮影された画像を複数の画素に分けると、これら各々にはその画像特徴量に比例した仮想力が作用するものと擬制できる。これら各仮想力は同一方向を向き、この合力の大きさは、画像全体に作用する全仮想力に等しく、その作用線は、画像が姿勢を替えても常にこの画像内の決まった一点を通る。この点が画像の重心である。
【００２０】
つまり、本発明の画像の重心とは、画像の幾何学的な形状だけで決定される図心とは異なり、二値化による黒色部分に質量があるものと擬制して決定されており、単に画像の中心位置を基準として画像特徴量の抽出範囲を規定していた従来に比して、撮影された画像に対する画像特徴量の抽出範囲をより一層正確に規定できる。
【００２１】
第５の発明は、第１から第３の発明の構成において、撮影された画像の重心位置を決定する手順の前に、この画像を白色及び黒色の二値化画像に変換する手順と、この画像に外枠が存在していた場合には外枠を削除する手順とを少なくとも実行しており、この外枠を削除する手順は、この画像を配置したｘｙ平面で構成された撮影エリアにて、画像のうち外枠に相当する黒色を有した画素を複数検出し、外枠を白色に反転させて削除している。
【００２２】
次いで、所定の濃度を有した画素を複数検出する手順では、ｘｙ平面にて外枠を除いた画像のうち黒色を有した画素を複数検出し、続いて、画像の重心位置を決定する手順では、外枠を除いた撮影画像の左右端にそれぞれ位置した２つのｘ座標と、外枠を除いた画像の上下端にそれぞれ位置した２つのｙ座標とによる４つの頂点を求め、これら４つの頂点を結んだ対角線の交点から画像の重心位置を決定していることを特徴とする。
【００２３】
第５の発明によれば、第１から第３の発明の作用に加えてさらに、撮影された画像に形成されていた外枠は、その線の太さに応じて画像特徴量が大きく変わり、拡大・縮小の影響を受け易い。しかし、外枠を削除してから画像特徴量の抽出範囲を規定すれば、拡大・縮小の影響を受けなくて済む。また、黒色部分に質量があるものと擬制して画像の重心を決定しているので、従来に比して、この抽出範囲をより一層正確に規定できる。
【００２４】
第６の発明は、携帯機器で撮影した画像の特徴を抽出して画像を処理する画像処理システムである。そして、この画像のうち所定の濃度を有した画素を複数検出し、各画素の配置から画像の重心位置を決定するとともに、重心位置に基づいて画像に対する画像特徴量の抽出範囲を規定し、各抽出範囲のパラメータを決定する特徴抽出部と、決定したパラメータとデータベースに格納されているマスタデータのパラメータとを比較し、撮影した画像に略一致したマスタデータをデータベースから検索する認識・判断部と、検索したマスタデータの属するＵＲＬをデータベースから携帯機器に返信する出力部とを具備する。
【００２５】
そして、特徴抽出部は、検出した各画素のうち重心位置から最も離間した画素の位置を検出し、重心位置を中心として最も離間した画素の位置を通り、撮影した画像を囲繞する外接円を画像に生成する一方、重心位置を中心とした同心円を外接円の内側に生成しており、さらに、外接円の内側及び同心円の外側で規定された環状部分、並びに、同心円の内側で規定された円板状部分の各画像特徴量を抽出し、そして、環状部分及び円板状部分毎の撮影した画像の部分画素値と撮影した画像の全体画素値との比率を決定するとともに、各部分画素値と環状部分及び円板状部分の対応した各面積との比率を決定し、パラメータを決定している。
【００２６】
第６の発明によれば、画像処理システムは、特徴抽出部が撮影した画像の重心位置を基準として画像特徴量の抽出範囲を規定しているので、この画像が、仮に撮影時の手ブレや撮影時の体勢に起因して、データベースに格納されているマスタデータに対して回転した状態であったとしても、この重心位置は不変であることから、回転アルゴリズムによる分析が不要になる。
【００２７】
また、この特徴抽出部が重心位置を基準とする外接円や同心円によって撮影した画像を円分割し、これら外接円や同心円によって規定された環状部分及び円板状部分の各部分画素値と、各面積や画像の全体画素値との比率を用いて撮影した画像の特徴を抽出している。よって、この画像が、仮に撮影時の距離に起因して、マスタデータに対して拡大した状態若しくは縮小した状態であったとしても、環状部分及び円板状部分の各面積に対する部分画素値の割合や、全体画素値に対する部分画素値の割合はいずれも不変であるので、拡大縮小アルゴリズムによる分析が不要になる。
【００２８】
これにより、認識・判断部は撮影した画像を正確、且つ、速やかに検索でき、出力部はマスタデータの属するＵＲＬを携帯機器に正確、且つ、速やかに返信できるので、システム利用者の利便性の向上にも寄与する。
【発明の効果】
【００２９】
本発明によれば、画像特徴量の抽出範囲が重心位置を基準として規定されており、その画像特徴量を正確、且つ、速やかに抽出可能になり、また、１つのプログラムで処理可能になるし、画像認識時の外枠等も不要になるので、利便性も向上する画像処理プログラム及び画像処理システムを提供することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
図１は、第１実施例に係る画像処理システムの全体構成図であり、当該システム１はネットワーク６を用いて構成され、このネットワーク６には、基地局４や、データベース１０を備えた検索サーバ（電子機器）８がそれぞれ接続されている。
【００３１】
このサーバ８は、携帯機器（例えば携帯型電話）２で撮影した撮影画像の特徴をプログラムの命令にしたがって抽出し、この画像を処理する機能を有している。なお、本実施例の携帯機器２はカメラ機能を内蔵したものとして説明するが、この携帯機器２は、被写体を撮影できる限り、携帯情報端末（ＰＤＡ）やノートパソコンの他、デジタルカメラなどであっても良い。
【００３２】
また、本実施例のサーバ８の各種動作はコントローラ９で制御される（図２）。このコントローラ９はコンピュータとして機能する要素であり、ＣＰＵやプログラムを格納したメモリ等のハードウエア資源を有している。そして、コントローラ９は、このハードウエア資源を用いて所定のプログラムを実行する。
【００３３】
より具体的には、このコントローラ９は、同図に示されるように、入力部１２、前処理部１４、特徴抽出部１６、認識・判断部１８、及び出力部２０で構成される。入力部１２は携帯機器２からの撮影画像を入力しており、前処理部１４は、この撮影画像の背景を削除するなど、特徴を抽出する前の所定の処理を実行して特徴抽出部１６に出力する。
【００３４】
本実施例の特徴抽出部１６は、撮影画像を変換した二値化画像に対する画像特徴量の抽出範囲を規定し、続いて、色の情報を加味して抽出範囲に対する撮影画像のパラメータを決定しており、その結果を認識・判断部１８に出力する。
認識・判断部１８は、撮影画像に略一致したマスタデータをデータベース１０から検索して出力部２０に出力しており、この出力部２０は検索したマスタデータの属するＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を携帯機器２に返信する。これにより、携帯機器２は、その撮影画像に関するホームページを閲覧、具体的には、ＵＲＬが動画を指していた場合には当該動画を、音楽を指していた場合には当該音楽を、また、Ｆｌａｓｈアニメーションを指していた場合には当該アニメーションをそれぞれ再生できる。
【００３５】
より詳しくは、図３は、プログラムがコントローラ９に実行させる処理を示しており、以下、上記の如く構成された画像処理システム１の本発明に係る作用について説明する。
まず、同図のステップＳ３０１では、携帯機器２がそのカメラ機能でロゴ画像（被写体）７２を撮影する（図４）。本実施例のロゴ画像７２は、飲料に関する文字、内容物の図形及び色の組み合わせで構成されており、印刷物７０に広告としてカラーで印刷されている。
【００３６】
ここで、携帯機器２がその画面内にロゴ画像７２を表示して撮影する。本実施例の撮影画像７４は、ロゴ画像７２を拡大・縮小した状態ではないが、左側に回転した状態で撮影されている。一方、携帯機器２は、この撮影画像７４を基地局４に向けて送信し、ネットワーク６を経由して検索サーバ８に送る。なお、このサーバ８のＵＲＬは上記プログラムに予め記載されている。若しくは、印刷物７０に予め記載、或いは、電子透かしを用いて印刷物７０等に埋め込まれていても良い。
【００３７】
ステップＳ３０２では、入力部１２が撮影画像７４を受け取ってメモリに記憶してステップＳ３０３に進む。
このステップＳ３０３では、前処理部１４が撮影画像７４の背景を削除しており、図５に示される如く、撮影画像７４はその周縁を残して表示される。また、この前処理部１４は、撮影画像７４の色を識別し、その後、この撮影画像７４を基準値に基づいて白色及び黒色の二値化画像７６に変換する（同図）。ただし、本実施例のステップＳ３０３では、回転や拡大・縮小に関する分析は行われない。
【００３８】
続いて、ステップＳ３０４では、特徴抽出部１６が、二値化画像７６の特徴を抽出し、これに予め識別された色の情報を加えて撮影画像７４のパラメータを決定している。
詳しくは、この二値化画像７６はドットマトリクス状に区画されており、ｘｙ平面で構成された撮影エリア７３に配置される（図６）。そして、本実施例の特徴抽出部１６は、まず、二値化画像７６のうち所定の濃度、例えば零である黒色を有した画素を検出する。
【００３９】
より具体的には、図６（ａ）に示される如く、二値化画像７６の濃度が零となる画素を、撮影エリア７３の左上から右下、つまり、ｘｙ平面の原点から順にｘ軸に平行方向で検出し、検出した各画素のｘ座標をメモリに格納する。そして、座標（ｘ，ｙ）に至るまで略等間隔で走査し、これら各ｘ座標の平均値Ｘを求める（同図（ｂ））。この平均値Ｘを二値化画像７６の重心位置のｘ座標とする。
【００４０】
また、この重心位置のｙ座標についても同様に、濃度が零となる画素を原点から順にｙ軸に平行方向で、座標（ｘ，ｙ）に至るまで略等間隔で走査し、これら各ｙ座標の平均値Ｙを求める（同図（ｃ））。そして、本実施例では、この座標（Ｘ，Ｙ）を二値化画像７６の重心Ｇと決定する（同図（ｄ））。
次に、特徴抽出部１６は、この決定した重心位置を基準として二値化画像７６に対する画像特徴量の抽出範囲を規定する。
【００４１】
詳しくは、図７に示されるように、まず、検出した濃度が零となる画素のうち重心Ｇからの距離をそれぞれ求め、この重心Ｇから最も離間した画素の位置を検出し、これらの距離を半径Ｒに決定する（同図（ａ））。続いて、同図（ｂ）に示されるように、重心Ｇを中心とした半径Ｒの外接円８０を二値化画像７６に生成する。
【００４２】
続いて、特徴抽出部１６は、外接円８０を基準としたｎ個の円分割処理を二値化画像７６に施し、画像特徴量の抽出範囲を規定する。
より具体的には、本実施例では、外接円８０の半径Ｒを３つに略等分割しており、この外接円８０の内側に２つの同心円８２，８３を二値化画像７６に生成する（図８）。これにより、本実施例の二値化画像７６は、外接円８０の内側と同心円８２の外側とで区画された第１環状部分、この同心円８２の内側と同心円８３の外側とで区画された第２環状部分、及び、この同心円８３の内側のみで区画された円板状部分の各抽出範囲に規定される。
【００４３】
その後、特徴抽出部１６は、二値化画像７６の画像特徴量を抽出範囲毎に抽出する。
なお、本実施例では二値化画像７６の画像特徴量を抽出しているが、上述の円分割処理を施した後に識別された色を加味すれば、撮影画像７４の画像特徴量についても抽出可能である。
【００４４】
そして、特徴抽出部１６は、まず、図９（ａ）に示された二値化画像７６の全体画素値を求める。
また、同図（ｂ）に示されるように、上述の第１環状部分で規定された抽出範囲の面積や、この抽出範囲における二値化画像７６の部分画素値を求め、さらに、第２環状部分の面積や当該範囲の部分画素値（同図（ｃ））、円板状部分の面積や当該範囲の部分画素値（同図（ｄ））についても求める。
【００４５】
次に、特徴抽出部１６は、各部分画素値と対応した各面積との比率を、面積に対する各環状部分や円板状部分の画像特徴量に決定し、さらに、各部分画素値と全体画素値との比率を、全体に対する各環状部分や円板状部分の画像特徴量に決定する。
その後、本実施例の特徴抽出部１６は、予め識別された色を加えて各抽出範囲のパラメータを決定してステップＳ３０５に進む。
【００４６】
具体的には、上述した面積に関するパラメータＰ１ｎ、全体画素値に関するパラメータＰ２ｎとする（ｎ＝１，２，３）。
そして、図１０（ｂ）に示された撮影画像７４は、第１環状部分（ｎ＝１）につき、色を加味した部分画素値Ｗ１１、当該範囲の面積π（Ｒ１２−Ｒ２２）とすると、この面積に関するパラメータＰ１１＝Ｗ１１／π（Ｒ１２−Ｒ２２）となり、また、全体画素値Ｈとすれば、全体画素値に関するパラメータＰ２１＝Ｗ１１／Ｈとなる。
【００４７】
次に、撮影画像７４の第２環状部分（ｎ＝２）についても同様に、部分画素値Ｗ１２、この範囲の面積π（Ｒ２２−Ｒ３２）とすると、この面積に関するパラメータＰ１２＝Ｗ１２／π（Ｒ２２−Ｒ３２）と表され、また、全体画素値Ｈは同じであるので、全体画素値に関するパラメータＰ２２＝Ｗ１２／Ｈと表される。
さらに、撮影画像７４の円板状部分（ｎ＝３）については、部分画素値Ｗ１３、当該範囲の面積πＲ３２とすると、この面積に関するパラメータＰ１３＝Ｗ１３／πＲ３２、全体画素値に関するパラメータＰ２３＝Ｗ１３／Ｈとなる。
【００４８】
そして、ステップＳ３０５に進み、認識・判断部１８は、撮影画像７４について決定したパラメータ（Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３）とデータベース１０に格納されているマスタデータのパラメータとを比較し、撮影画像７４の特徴量に最も近い値を有したマスタデータをデータベース１０から検索する（マッチング処理）。
【００４９】
例えば、図１１に示される如く、この決定したパラメータの各値からＡ００１で特定されるロゴ画像を取得できたときにはステップＳ３０６に進み、出力部２０が、当該ロゴ画像Ａ００１の属するＵＲＬ（例えばｈｔｔｐ：／／Ａ００１）を携帯機器２に返信してステップＳ３０７に進んで一連のルーチンを抜ける。この結果、携帯機器２は、このＵＲＬから広告の詳細情報を閲覧することができる。
【００５０】
ところで、上述の被写体は文字、図形及び色の組み合わせによるロゴ画像であるが、文字のみ、図形のみ、或いは文字、図形、記号や色の組み合わせで構成された画像であっても良い。
例えば、外枠内に示された色付きの文字画像を左側に回転した状態で撮影した場合を想定する。
【００５１】
つまり、上記第１実施例との差異点を中心に説明すると、この場合の前処理部１４は、この文字画像には外枠が存在していることから、まず、図１２に示されるように、二値化画像７６Ａの外枠９０を削除する。なお、この二値化画像７６Ａに至るまでには、外枠９０を有した撮影画像の背景を削除し、二値化画像に変換している。
【００５２】
そして、前処理部１４は、この外枠９０の４つの頂点を検出すべく、外枠９０の濃度が零となる画素を、上記第１実施例と同様に、ｘｙ平面の原点から順にｘ軸に平行方向で、座標（ｗ，ｈ）に向けて走査しており（同図（ａ））、最初に検出した画素のｙ座標を上端値ｙ１とする。また、座標（ｗ，ｈ）から順にｘ軸に平行方向で、原点に向けて走査し（同図（ｂ））、最初に検出した画素のｙ座標を下端値ｙ２とする（同図（ｃ））。
【００５３】
また、外枠９０のｘ座標についても同様に、座標（０，ｙ１）から順にｙ軸に平行方向で、座標（ｗ，ｙ２）に向けて走査し、最初に検出した画素のｘ座標を左端値ｘ１とし、さらに、座標（ｗ，ｙ２）から順にｙ軸に平行方向で、座標（０，ｙ１）に向けて走査し（同図（ｄ））、最初に検出した画素のｘ座標を右端値ｘ２とする。
【００５４】
これにより、これら上下端値及び左右端値から４つの頂点（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ１，ｙ２）、（ｘ２，ｙ２）が求められるので（図１３（ａ））、外枠９０を有した文字エリアを切り出し、続いて、前処理部１４は、同図（ｂ）に示されるように、この文字エリアの左右から濃度が零となる画素を検出し、この検出した画素を白色に反転させて外枠９０を削除する。
【００５５】
次に、この外枠９０を削除した二値化画像７６Ａの４つの頂点を検出すべく、同図（ｃ）に示される如く外枠９０の場合を同様に、濃度が零となる画素を原点からｘ軸に平行方向で、座標（ｗ，ｈ）に向けて走査し、最初に検出した画素のｙ座標を上端値Ｙ１、座標（ｗ，ｈ）から順にｘ軸に平行方向で、原点に向けて走査し、最初に検出した画素のｙ座標を下端値Ｙ２とし、さらに、座標（０，Ｙ１）から順にｙ軸に平行方向で、座標（ｗ，Ｙ２）に向けて走査し、最初に検出した画素のｘ座標を左端値Ｘ１、座標（ｗ，Ｙ２）から順にｙ軸に平行方向で、座標（０，Ｙ１）に向けて走査し、最初に検出した画素のｘ座標を右端値Ｘ２とする。
【００５６】
この結果、これら上下端値及び左右端値から４つの頂点（Ｘ１，Ｙ１）、（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ２）が求められることから（同図（ｄ））、これら４つの頂点Ｐを基準に文字を切り出す。
続いて、特徴抽出部１６は、図１４（ａ）に示されるように、各頂点Ｐを結んだ対角線の交点を二値化画像７６Ａの重心Ｇと決定する。
【００５７】
そして、特徴抽出部１６は、重心Ｇと頂点Ｐとの距離を半径Ｒに決定し、この重心Ｇを中心とした半径Ｒの外接円８０を二値化画像７６Ａに生成する（同図（ｂ））。さらに、この外接円８０の半径Ｒを３つに略等分割し、この外接円８０の内側に２つの同心円８２，８３を二値化画像７６Ａに生成する（同図（ｃ））。これにより、この二値化画像７６Ａは、上記二値化画像７６と同様に、第１環状部分、第２環状部分、及び円板状部分の各抽出範囲に規定される。
【００５８】
続いて、特徴抽出部１６は、図１５（ａ）に示された二値化画像７６Ａの全体画素値を求め、同図（ｂ）に示されるように、上述の第１環状部分で規定された抽出範囲の面積や、この抽出範囲における二値化画像７６Ａの部分画素値を求めるし、さらに、第２環状部分の面積や当該範囲の部分画素値（同図（ｃ））、円板状部分の面積や当該範囲の部分画素値（同図（ｄ））についても、上記実施例と同様に求めることになる。
【００５９】
以上のように、本実施例によれば、画像処理プログラムは、撮影画像７４の特徴を抽出して画像を処理するにあたり、サーバ８のコントローラ９が果たす手順を特定している。
詳しくは、二値化画像７６，７６Ａのうち濃度が零である黒色を有した画素を複数検出し、この検出した各画素の配置から二値化画像７６，７６Ａの重心Ｇを決定しており、この決定した重心Ｇの位置に基づいて二値化画像７６，７６Ａに対する画像特徴量の抽出範囲を規定している。
【００６０】
このように、画像特徴量の抽出範囲が重心Ｇを基準として規定されていれば、二値化画像７６，７６Ａが仮にマスタデータに対して回転した状態であったとしても、この重心Ｇの位置は不変である。
よって、従来の如く、画像特徴量の抽出範囲が単に画像の中心位置を基準として規定されるのみであり、撮影画像が特に非対称形状の場合には、その中心位置を求めるのが難しく、しかも、撮影エリアの中心位置と撮影画像の中心位置とが一致にしなければ外接円を生成困難になり得る構成に比して、画像特徴量の抽出範囲を正確、且つ、速やかに規定できる。この結果、撮影画像７４の認識率が高くなり、その画像特徴量も正確、且つ、速やかに抽出できるので、撮影画像７４に略一致するマスタデータをデータベース１０から正確に検索可能になる。
【００６１】
また、二値化画像７６，７６Ａの重心Ｇの位置を基準として画像特徴量の抽出範囲を規定すれば、回転アルゴリズムによる分析が不要になる。しかも、被写体の近傍に外枠や点を配置しなくて済むことから、仮に被写体がロゴマークの場合にも、このマークのデザイン性や自他識別機能に影響を与えることもないし、利便性の向上にも寄与する。
【００６２】
さらに、このプログラムは、重心Ｇの位置を基準とした外接円８０や同心円８２，８３によって二値化画像７６，７６Ａを円分割しており、これら外接円８０や同心円８２，８３にて規定された第１・第２環状部分及び円板状部分の各画像特徴量を抽出して数値化している。
【００６３】
具体的には、当該プログラムは、第１・第２環状部分及び円板状部分毎に求めた撮影した画像の部分画素値の他、これら環状部分及び円板状部分の各面積や、撮影した画像の全体画素値を求め、これらの比率を用いて撮影した画像の特徴を抽出している。したがって、二値化画像７６，７６Ａが仮にマスタデータに対して拡大した状態又は縮小した状態であったとしても、拡大縮小アルゴリズムによる分析が不要になる。
【００６４】
この点について詳述すると、まず、上述した図１０（ａ）は、ロゴ画像７２に比して回転や拡大・縮小した状態にない撮影画像９２であり、これはマスタデータにも相当する。この画像９２も、撮影画像７４と同様に、外接円８０の半径Ｒ１が３つに略等分割されており、この画像９２の面積に関するパラメータＰ１ｎ、及び全体画素値に関するパラメータＰ２ｎは、撮影画像７４の各パラメータＰ１ｎ，Ｐ２ｎと同じ値になる。これら画像９２と撮影画像７４とは同じ大きさだからである。
【００６５】
一方、仮に、図１０（ｃ）に示される如く、画像９２の約６０％に縮小された撮影画像７５の場合には、第１環状部分については、部分画素値Ｗ２１、当該範囲の面積π（ｒ１２−ｒ２２）とすると、面積に関するパラメータｐ１１＝Ｗ２１／π（ｒ１２−ｒ２２）となり、また、全体画素値ｈとすれば、全体画素値に関するパラメータｐ２１＝Ｗ２１／ｈとなる。
【００６６】
また、この第２環状部分については、部分画素値Ｗ２２、この範囲の面積π（ｒ２２−ｒ３２）とすると、この面積に関するパラメータｐ１２＝Ｗ２２／π（ｒ２２−ｒ３２）、全体画素値に関するパラメータｐ２２＝Ｗ２２／ｈと表され、さらに、円板状部分については、部分画素値Ｗ２３、当該範囲の面積πｒ３２とすると、この面積に関するパラメータｐ１３＝Ｗ２３／πｒ３２、全体画素値に関するパラメータｐ２３＝Ｗ２３／ｈとなる。
【００６７】
すなわち、撮影画像７４，７５，９２は、いずれも同様の円分割処理が施されているが、これら画像７４，９２と画像７５とは、大きさが異なる故、部分画素値、面積、及び全体画素値が異なるものの、これらの比率、つまり、面積に関するパラメータや全体画素値に関するパラメータを求めれば、第１環状部分については、Ｐ１１＝ｐ１１、Ｐ２１＝ｐ２１、第２環状部分については、Ｐ１２＝ｐ１２、Ｐ２２＝ｐ２２、そして、円板状部分については、Ｐ１３＝ｐ１３、Ｐ２３＝ｐ２３となる。
【００６８】
よって、第１・２環状部分及び円板状部分の各面積に対する部分画素値の割合や、全体画素値に対する部分画素値の割合は不変であるため、撮影画像が、上述の回転した状態の他、拡大縮小した状態であっても、本実施例の如くの１つのプログラムで処理可能になり、利便性が大幅に向上する。
さらに、同心円８２，８３を略等間隔で複数生成すれば、第１・第２環状部分及び円板状部分の各面積を小さく設定でき、二値化画像７６，７６Ａの特徴をより正確に抽出可能になる。
【００６９】
さらにまた、本実施例の重心Ｇとは、画像の幾何学的な形状だけで決定される図心とは異なり、二値化による黒色部分に質量があるものと擬制して決定されており、単に画像の中心位置を基準として画像特徴量の抽出範囲を規定していた従来に比して、画像特徴量の抽出範囲をより一層正確に規定できる。
また、図１２〜図１５の第２実施例の如く、二値化画像７６Ａに形成されていた外枠９０は、その線の太さに応じて画像特徴量が大きく変わり、拡大・縮小の影響を受け易い。しかし、外枠９０を削除してから画像特徴量の抽出範囲を規定すれば、拡大・縮小の影響を受けなくて済む。
【００７０】
さらに、上述したプログラムを用いた画像処理システム１は、上記作用効果に加えて、認識・判断部１８は撮影画像７４を正確、且つ、速やかに検索でき、出力部２０はマスタデータの属するＵＲＬを携帯機器２に正確、且つ、速やかに返信できるので、システム利用者の利便性の向上にも寄与する。
本発明は、上記実施例に限定されず、特許請求の範囲を逸脱しない範囲で種々の変更を行うことができる。例えば上記実施例の各構成は、その一部を省略したり、上記とは異なるように任意に組み合わせることができる。
【００７１】
また、上記各実施例では、二値化画像７６，７６Ａの重心位置を決定して画像特徴量の抽出範囲を規定しているが、必ずしもこの形態に限定されるものではなく、本発明の撮影された画像には色付きの撮影画像７４も含まれるし、白色と黒色の撮影画像も含まれる。
さらに、上記プログラムは、検索サーバ８のコントローラ９に備えられる他、上述した携帯機器２に備えられていても良く、これらいずれの場合にも上記と同様に、撮影した画像の状態に拘わらず、画像特徴量の抽出範囲を正確、且つ、速やかに規定でき、利便性も向上するとの効果を奏する。
【図面の簡単な説明】
【００７２】
【図１】第１実施例の画像処理システムを示す図である。
【図２】図１の検索サーバの概略構成図である。
【図３】図１のシステムによるロゴマーク検索のフローチャートである。
【図４】図３の撮影工程の説明図である。
【図５】図３の前処理工程の説明図である。
【図６】図３の特徴抽出工程の説明図である。
【図７】図３の特徴抽出工程の説明図である。
【図８】図３の特徴抽出工程の説明図である。
【図９】図３の特徴抽出工程の説明図である。
【図１０】図３の認識・判断工程の説明図である。
【図１１】図３の認識・判断工程、ＵＲＬ出力工程、及び閲覧工程の説明図である。
【図１２】第２実施例による前処理工程の説明図である。
【図１３】第２実施例による前処理工程の説明図である。
【図１４】第２実施例による特徴抽出工程の説明図である。
【図１５】第２実施例による特徴抽出工程の説明図である。
【符号の説明】
【００７３】
１  画像処理システム
２  携帯機器（電子機器）
８  検索サーバ（電子機器）
９  コントローラ（コンピュータ）
１０  データベース
１６  特徴抽出部
１８  認識・判断部
２０  出力部
７０  印刷物
７２  ロゴ画像（被写体）
７４，７４Ａ  撮影画像
７６，７６Ａ  二値化画像
８０  外接円
８２，８３  同心円
９０  外枠
【図１】
2010061409.tif 000003
【図２】
2010061409.tif 000004
【図３】
2010061409.tif 000005
【図９】
2010061409.tif 000006
【図１０】
2010061409.tif 000007
【図１２】
2010061409.tif 000008
【図１３】
2010061409.tif 000009
【図１４】
2010061409.tif 000010
【図１５】
2010061409.tif 000011
【図４】
2010061409.tif 000012
【図５】
2010061409.tif 000013
【図６】
2010061409.tif 000014
【図７】
2010061409.tif 000015
【図８】
2010061409.tif 000016
【図１１】
2010061409.tif 000017