(57)【特許請求の範囲】
【請求項１】
移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出方法において、
前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、
前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、
前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、
ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除するステップと、
前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求めるステップと
を備えることを特徴とする特徴領域抽出方法。
【請求項２】
前記移動端末のズーム機能を用いて切り出された特定画像から、前記特徴領域を求めることを特徴とする請求項１に記載の特徴領域抽出方法。
【請求項３】
前記移動端末の表示装置において形状を指定することにより切り出された特定画像から、前記特徴領域を求めることを特徴とする請求項１に記載の特徴領域抽出方法。
【請求項４】
前記移動端末は身体装着型であり、前記移動端末の表示装置において、仮想的な視界の中で切り出された特定画像から、前記特徴領域を求めることを特徴とする請求項１に記載の特徴領域抽出方法。
【請求項５】
移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、情報提供サーバがデータベースから検索して提供する情報提供方法において、
前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出ステップと、
該特徴領域算出ステップで求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出ステップと、
該特徴量算出ステップで算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索ステップと、
該検索ステップで検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信ステップと
を備え、前記特徴領域算出ステップは、
前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、
前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、
前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、
ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除するステップと、
前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求めるステップと
を含むことを特徴とする情報提供方法。
【請求項６】
前記広告物の領域は、前記移動端末のズーム機能を用いて切り出されたことを特徴とする請求項５に記載の情報提供方法。
【請求項７】
前記広告物の領域は、前記移動端末の表示装置において形状を指定することにより切り出されたことを特徴とする請求項５に記載の情報提供方法。
【請求項８】
前記広告物の領域は、身体装着型の前記移動端末の表示装置において、仮想的な視界の中で切り出されたことを特徴とする請求項５に記載の情報提供方法。
【請求項９】
前記検索ステップは、前記画像特徴量に基づいて、前記データベースの各特徴空間において、予め定めた評価関数の小さな提供情報を検索することを特徴とする請求項５ないし８のいずれかに記載の情報提供方法。
【請求項１０】
前記画像特徴量は、色に関する高彩色領域比と色相平均値と、外形に関する領域アスペクト比のいずれかであることを特徴とする請求項５ないし９のいずれかに記載の情報提供方法。
【請求項１１】
移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出装置において、
前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得る手段と、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得る手段と、
前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択する手段と、
前記クラスに属する領域が選択された後、前記領域分割画像の各領域についてラベリングを行う手段と、
ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除する手段と、
前記周辺領域が削除された後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求める手段と
を備えたことを特徴とする特徴領域抽出装置。
【請求項１２】
前記移動端末のズーム機能を用いて切り出された特定画像から、前記特徴領域を求めることを特徴とする請求項１１に記載の特徴領域抽出装置。
【請求項１３】
前記移動端末の表示装置において形状を指定することにより切り出された特定画像から、前記特徴領域を求めることを特徴とする請求項１１に記載の特徴領域抽出装置。
【請求項１４】
前記移動端末は身体装着型であり、前記移動端末の表示装置において、仮想的な視界の中で切り出された特定画像から、前記特徴領域を求めることを特徴とする請求項１１に記載の特徴領域抽出装置。
【請求項１５】
移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、データベースから検索して提供する情報提供装置において、
前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出手段と、
該特徴領域算出手段で求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出手段と、
該特徴量算出手段で算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索手段と、
該検索手段で検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信手段と
を備え、前記特徴領域算出手段は、
前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得る手段と、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得る手段と、
前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択する手段と、
前記クラスに属する領域が選択された後、前記領域分割画像の各領域についてラベリングを行う手段と、
ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除する手段と、
前記周辺領域が削除された後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求める手段と
を含むことを特徴とする情報提供装置。
【請求項１６】
前記広告物の領域は、前記移動端末のズーム機能を用いて切り出されたことを特徴とする請求項１５に記載の情報提供装置。
【請求項１７】
前記広告物の領域は、前記移動端末の表示装置において形状を指定することにより切り出されたことを特徴とする請求項１５に記載の情報提供装置。
【請求項１８】
前記広告物の領域は、身体装着型の前記移動端末の表示装置において、仮想的な視界の中で切り出されたことを特徴とする請求項１５に記載の情報提供装置。
【請求項１９】
前記検索手段は、前記画像特徴量に基づいて、前記データベースの各特徴空間において、予め定めた評価関数が所定の値より小さい提供情報を検索することを特徴とする請求項１５ないし１８のいずれかに記載の情報提供装置。
【請求項２０】
前記送信手段は、前記移動端末から受信した位置情報に基づいて、前記広告物に関連する提供情報を、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする請求項１５ないし１８のいずれかに記載の情報提供装置。
【請求項２１】
前記移動端末から受信した前記画像情報を、前記画像特徴量とともに、前記データベースに格納する格納手段を備えたことを特徴とする請求項１５ないし２０のいずれかに記載の情報提供装置。
【請求項２２】
前記画像特徴量は、色に関する高彩色領域比と色相平均値と、外形に関する領域アスペクト比のいずれかであることを特徴とする請求項１５ないし２１のいずれかに記載の情報提供装置。
【請求項２３】
移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出装置を制御するプログラムを記録した記録媒体であって、
前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、
前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、
前記クラスに属する領域が選択された後、前記領域分割画像の各領域についてラベリングを行うステップと、
ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除するステップと、
前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求めるステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２４】
移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、データベースから検索して提供する情報提供装置を制御するプログラムを記録した記録媒体であって、
前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出ステップであって、
前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、
前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、
前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、
ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除するステップと、
前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求めるステップと
を含む、前記特徴領域算出ステップと、
該特徴領域算出ステップで求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出ステップと、
該特徴量算出ステップで算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索ステップと、
該検索ステップで検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信ステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２５】
移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出装置を制御するプログラムであって、
前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、
前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、
前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、
ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除するステップと、
前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求めるステップと
をコンピュータに実行させるためのプログラム。
【請求項２６】
移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、データベースから検索して提供する情報提供装置プログラムであって、
前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出ステップであって、
前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、
前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、
前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、
前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、
ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除するステップと、
前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求めるステップと
を含む、前記特徴領域算出ステップと、
該特徴領域算出ステップで求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出ステップと、
該特徴量算出ステップで算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索ステップと、
該検索ステップで検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特徴領域抽出方法およびその装置ならびに情報提供方法およびその装置に関し、より詳細には、特定の画像の画像特徴量を算出するための特徴領域を求める特徴領域抽出方法およびその装置、ならびに、移動機から送られた画像情報に関連する情報を画像特徴量から選択して提供する情報提供方法およびその装置に関する。
【０００２】
【従来の技術】
近年、移動端末を使用してインターネットに接続し、外出先で様々な情報を、ＷＷＷ（World Wide Web）などの情報提供システムから入手することができる。一方、ＧＰＳ（Global Positioning System）を利用して、位置情報を取得することのできる機器が普及している。そこで、移動端末から情報提供システムに対して、移動端末の位置情報を通知することにより、位置情報に関連付けられた情報を迅速に入手することができる。
【０００３】
また、ＣＣＤ（Charge Coupled Device）カメラの普及により、移動端末のような小型の機器にも、画像情報を取りこみ、記憶することが可能となった。さらに、デジタル画像処理によって、取りこんだ画像を画像データとして、通信ネットワークを介して送ることが容易に行える。
【０００４】
【発明が解決しようとする課題】
しかしながら、移動端末の位置情報に関連付けられた情報を入手することができても、ユーザが必要とする目標の情報、例えば、移動端末の位置から見える店舗の情報などの限定された情報を入手するには、さらに、情報の選定または目標の設定といった操作が必要であるという問題があった。
【０００５】
特に、目標の設定においては、具体的な店舗の名称が不明で、抽象的な施設名称、例えば広告物などによって特定する場合には、情報の関連付けが難しい。移動機から送られた画像情報の中から特定の画像を抽出するのみでは、情報を選択することが難しいという問題もあった。
【０００６】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、特定の画像の画像特徴量を算出するための特徴領域を求める特徴領域抽出方法およびその装置、ならびに、移動機から送られた画像情報に関連する情報を画像特徴量から選択して提供する情報提供方法およびその装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、このような目的を達成するために、請求項１に記載の発明は、移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出方法において、前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除するステップと、前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求めるステップとを備えることを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１において、前記移動端末のズーム機能を用いて切り出された特定画像から、前記特徴領域を求めることを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１において、前記移動端末の表示装置において形状を指定することにより切り出された特定画像から、前記特徴領域を求めることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１において、前記移動端末は身体装着型であり、前記移動端末の表示装置において、仮想的な視界の中で切り出された特定画像から、前記特徴領域を求めることを特徴とする。
【００１１】
請求項５に記載の発明は、移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、情報提供サーバがデータベースから検索して提供する情報提供方法において、前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出ステップと、該特徴領域算出ステップで求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出ステップと、該特徴量算出ステップで算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索ステップと、該検索ステップで検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信ステップとを備え、前記特徴領域算出ステップは、前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除するステップと、前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求めるステップとを含むことを特徴とする。
【００１２】
請求項６に記載の発明は、請求項５に記載の前記広告物の領域は、前記移動端末のズーム機能を用いて切り出されたことを特徴とする。
【００１３】
請求項７に記載の発明は、請求項５に記載の前記広告物の領域は、前記移動端末の表示装置において形状を指定することにより切り出されたことを特徴とする。
【００１４】
請求項８に記載の発明は、請求項５に記載の前記広告物の領域は、身体装着型の前記移動端末の表示装置において、仮想的な視界の中で切り出されたことを特徴とする。
【００１６】
請求項９に記載の発明は、請求項５ないし８のいずれかに記載の前記検索ステップは、前記画像特徴量に基づいて、前記データベースの各特徴空間において、予め定めた評価関数の小さな提供情報を検索することを特徴とする。
【００１７】
請求項１０に記載の発明は、請求項５ないし９のいずれかに記載の前記画像特徴量は、色に関する高彩色領域比と色相平均値と、外形に関する領域アスペクト比のいずれかであることを特徴とする。
【００１８】
請求項１１に記載の発明は、移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出装置において、前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得る手段と、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得る手段と、前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択する手段と、前記クラスに属する領域が選択された後、前記領域分割画像の各領域についてラベリングを行う手段と、ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除する手段と、前記周辺領域が削除された後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求める手段とを備えたことを特徴とする。
【００１９】
請求項１２に記載の発明は、請求項１１において、前記移動端末のズーム機能を用いて切り出された特定画像から、前記特徴領域を求めることを特徴とする。
【００２０】
請求項１３に記載の発明は、請求項１１において、移動端末の表示装置において形状を指定することにより切り出された特定画像から、前記特徴領域を求めることを特徴とする。
【００２１】
請求項１４に記載の発明は、請求項１１において、身体装着型の移動端末の表示装置において、仮想的な視界の中で切り出された特定画像から、前記特徴領域を求めることを特徴とする。
【００２２】
請求項１５に記載の発明は、移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、データベースから検索して提供する情報提供装置において、前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出手段と、該特徴領域算出手段で求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出手段と、該特徴量算出手段で算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索手段と、該検索手段で検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信手段とを備え、前記特徴領域算出手段は、前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得る手段と、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得る手段と、前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択する手段と、前記クラスに属する領域が選択された後、前記領域分割画像の各領域についてラベリングを行う手段と、ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除する手段と、前記周辺領域が削除された後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求める手段とを含むことを特徴とする。
【００２３】
請求項１６に記載の発明は、請求項１５に記載の前記広告物の領域は、前記移動端末のズーム機能を用いて切り出されたことを特徴とする。
【００２４】
請求項１７に記載の発明は、請求項１５に記載の前記広告物の領域は、前記移動端末の表示装置において形状を指定することにより切り出されたことを特徴とする。
【００２５】
請求項１８に記載の発明は、請求項１５に記載の前記広告物の領域は、身体装着型の前記移動端末の表示装置において、仮想的な視界の中で切り出されたことを特徴とする。
【００２７】
請求項１９に記載の発明は、請求項１５ないし１８のいずれかに記載の前記検索手段は、前記画像特徴量に基づいて、前記データベースの各特徴空間において、予め定めた評価関数が所定の値より小さい提供情報を検索することを特徴とする。
【００２８】
請求項２０に記載の発明は、請求項１５ないし１８のいずれかに記載の前記送信手段は、前記移動端末から受信した位置情報に基づいて、前記広告物に関連する提供情報を、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする。
【００２９】
請求項２１に記載の発明は、請求項１５ないし２０のいずれかにおいて、前記移動端末から受信した前記画像情報を、前記画像特徴量とともに、前記データベースに格納する格納手段を備えたことを特徴とする。
【００３０】
請求項２２に記載の発明は、請求項１５ないし２１のいずれかにおいて、前記画像特徴量は、色に関する高彩色領域比と色相平均値と、外形に関する領域アスペクト比のいずれかであることを特徴とする。
【００３１】
請求項２３に記載の発明は、移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出装置を制御するプログラムを記録した記録媒体であって、前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、前記クラスに属する領域が選択された後、前記領域分割画像の各領域についてラベリングを行うステップと、ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除するステップと、前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求めるステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００３２】
請求項２４に記載の発明は、移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、データベースから検索して提供する情報提供装置を制御するプログラムを記録した記録媒体であって、前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出ステップであって、前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除するステップと、前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求めるステップとを含む、前記特徴領域算出ステップと、該特徴領域算出ステップで求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出ステップと、該特徴量算出ステップで算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索ステップと、該検索ステップで検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００３３】
請求項２５に記載の発明は、移動端末の撮像部によって撮影された画像情報の中から特定画像を抽出して、画像特徴量を算出するための特徴領域を求める特徴領域抽出装置を制御するプログラムであって、前記特定画像の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、前記領域分割画像全体の中から前記特定画像の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、ラベリングされた前記各領域について、前記特定画像の領域面積比により微小領域を削除し、かつ前記特定画像の領域の周辺領域を削除するステップと、前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記特徴領域を求めるステップとをコンピュータに実行させるためのプログラムであることを特徴とする。
【００３４】
請求項２６に記載の発明は、移動端末から受信した画像情報の中から広告物を抽出して、該広告物に関連する提供情報を、データベースから検索して提供する情報提供装置プログラムであって、前記画像情報の中から切り出された前記広告物の領域において、画像特徴量を算出するための広告物特徴領域を求める特徴領域算出ステップであって、前記広告物の領域を平滑化して雑音を除去し、かつ各画素値の濃度を正規化した正規化画像を得るステップと、前記正規化画像をＨＶＣ空間に写像してクラスタリングを行い領域分割画像を得るステップと、前記領域分割画像全体の中から前記広告物の領域の中心付近が属するクラスを選択することにより、該クラスに属する領域を選択するステップと、前記クラスに属する領域を選択した後、前記領域分割画像の各領域についてラベリングを行うステップと、ラベリングされた前記各領域について、前記広告物の領域面積比により微小領域を削除し、かつ前記広告物の領域の周辺領域を削除するステップと、前記削除するステップの後、残された有効領域を含む最小外接凸多角形を求めることにより、前記広告物特徴領域を求めるステップとを含む、前記特徴領域算出ステップと、該特徴領域算出ステップで求められた前記広告物特徴領域から、前記広告物に関連する提供情報を検索するための、前記画像特徴量を算出する特徴量算出ステップと、該特徴量算出ステップで算出された前記画像特徴量に基づいて、前記広告物に関連する提供情報を前記データベースから検索する検索ステップと、該検索ステップで検索された前記広告物に関連する提供情報を、前記移動端末に送信する送信ステップとをコンピュータに実行させるためのプログラムであることを特徴とする。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００３６】
図１は、本発明の一実施形態にかかる情報提供システムの構成を示したブロック図である。情報提供システムは、移動機２０と処理センタ３０とを接続する無線通信網１０と、処理センタ３０と無線通信網１０とを接続するデータ中継装置１１とから構成されている。無線通信網１０は、例えば、ＰＤＣ（Personal Digital Cellular）網、無線パケット交換網またはIMT-2000（International Mobile Telecommunication - 2000）などの呼称で知られる通信網である。
【００３７】
移動機２０は、無線通信網１０と接続され、無線リンクの確立を行う無線通信部２９と、画像などのデータの送受信を行うためのデータ送受信部２１が、無線通信部２９に接続されている。データ送受信部２１には、画像を送信するための撮像部２４および画像変換部２３と、受信した画像を表示する表示部２８とが接続されている。さらに、位置情報を取得する測位部２５が、データ送受信部２１と無線通信部２９とに接続されている。
【００３８】
本実施形態では、移動機２０の内部に撮像部２４を有するが、移動機２０と撮像部２４とを別の筐体とし、撮像部２４として移動機２０の画像変換部２３と通信可能なカメラを用いた構成としてもよい。
【００３９】
このような構成により、撮像部２４で撮影された画像は、画像変換部２３で伝送に適したフォーマットに変換される。変換された画像データは、データ送受信部２１と、無線通信部２９と、データ中継装置１１とを介して処理センタ３０に送られる。
【００４０】
一方、処理センタ３０は、データ中継装置１１を介して無線通信網１０と接続され、画像などのデータの送受信を行うためのデータ送受信部３１を有している。また、受信した画像データの変換を行う画像変換部３３と、変換された画像から広告物データの照合を行う広告物データ照合部３５と、受信したデータから、広告物データの検索を行う広告物データ検索部３４とを有している。
【００４１】
また、処理センタ３０は、広告物データが格納された広告物データベース３６と、広告物データベース３６に広告物を登録する広告物データ登録部３７とを備えている。
【００４２】
このような構成により、移動機２０で取得された画像データは、無線通信網１０とデータ中継装置１１とを介して、データ送受信部３１により受信し、画像変換部３３で元のフォーマットに変換される。変換された画像データは、広告物データ照合部３５において、広告物データ検索部３４で検索された広告物データと照合される。
【００４３】
また、移動機２０によって取得された測位データを、データ送受信部３１により受信する。広告物データ検索部３４は、測位データに基づいて、広告物データベース３６から移動機２０の位置に近辺の広告物データを検索する。移動機２０より、目標データが入力されている場合には、目標データに基づいて、広告物データベース３６を検索する。
【００４４】
さらに、広告物データ登録部３７は、移動機２０によって撮影された画像を、無線通信網１０を介して、広告物データベース３６に格納することもできる。このようにして、ユーザから提供される画像データを登録し、さらにユーザから入力される文字や音声の情報を付加情報として活用することもできる。
【００４５】
広告物データベース３６には、画像データのほか位置情報と付加情報とを格納する。位置情報は、画像データを取得した位置を、ＧＰＳなどで測位したデータや住所として、広告物データベース３６に入力される。付加情報は、利用者のほか広告主などが提供する情報である。
【００４６】
ここで、広告物とは、常時または一定の期間継続し、かつ、公衆に表示されるものである。本発明における広告は、宣伝以外の目的で掲示されている標識や名称表示も含めて考えることができる。
【００４７】
図２は、本発明の一実施形態にかかる情報提供方法を示したフローチャートである。ユーザが移動機の位置と撮影した広告物から情報を得る場合について説明する。最初に、移動機２０は、測位部２５で測位処理を行って位置情報を得て（Ｓ２１）、処理センタ３０へ送信する（Ｓ２６）。測位処理は、例えば、ＧＰＳを利用する方法、IMT-2000において基地局から送信される時刻コードを利用する方法、または、ＰＨＳ（Personal Handy-phone System）における位置情報サービスを利用する方法などを利用することができる。
【００４８】
また、移動機２０は、撮像部２４で撮影された（Ｓ２２）画像を、画像変換部２３で伝送に適したフォーマットに変換し（Ｓ２３）、処理センタ３０へ送信する（Ｓ２６）。画像は、動画であっても静止画であってもよく、例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）などのデジタル画像圧縮技術を利用して変換される。なお、測位と画像取込みの順序は問わず、移動機２０により実行される。
【００４９】
処理センタ３０は、移動機２０から画像データを受信すると（Ｓ２７）、画像変換部３３で元のフォーマットに変換する（Ｓ２８）。移動機２０から測位データを受信すると（Ｓ２７）、広告物データ検索部３４における広告物の検索に用いられる。
【００５０】
処理センタ３０は、測位データを用いることにより、広告物データベース３６から、移動機２０付近の、ユーザが求める情報や目標に沿う広告物を検索する（Ｓ２９）。処理センタ３０は、検索された広告物と、ユーザが撮影した画像データとを照合する（Ｓ３３）。
【００５１】
最初に、移動機２０の撮像部２４で撮影された画像から、広告物の領域を切り出す方法について説明する。
【００５２】
図３は、本発明の一実施形態にかかる対象判別方法におけるズームによる広告物の指定方法を示した図である。図３（ａ）は、ユーザ３０１が移動機３０２のファインダにおいて、検索対象となる広告物３０３を捉える様子を示している。図３（ｂ）は、ファインダ３０４上で広告物３０３の画像の中心を捉えながら、ズームの比率を変化させている様子を示している。ズームは、例えば、カメラのレンズを駆動させて、焦点距離を変化させることによる光学ズームや、画像処理のスケーリング処理によるデジタルズームなどのいずれを用いてもよい。また、ユーザ３０１自身が検索対象となる広告物３０３に対して遠近方向に移動してもよい。
【００５３】
ユーザ３０１が、移動機３０２のファインダ３０４のフレーム一杯に、目標となる広告物を収めるようにして、広告物を含む領域を切り出す。移動機のファインダ３０４は、光学的に実現されていたり、ディスプレイ画面であっても良い。
【００５４】
図４は、本発明の一実施形態にかかる対象判別方法における形状指定による広告物の指定方法を示した図である。検索対象となる広告物を含む領域を数点指示することにより、広告物を含むおよその領域を切り出す。
【００５５】
図４（ａ）は、四辺形の形状で切り出す方法を示している。このとき、カーソル４０１をファインダ３０４の中央に位置したまま、フレームを移動させているが、カーソル４０１を移動させてもよい。本実施形態では、フレームの左上と右下を指示することにより、広告物の領域を切り出している。
【００５６】
図４（ｂ）は、円形の形状で切り出す方法を示している。このとき、フレームをファインダ３０４の中央に位置したまま、カーソル４０１を移動させているが、フレームを移動させてもよい。本実施形態では、フレームの中心と半径を指示することにより、広告物の領域を切り出している。
【００５７】
図５は、ＨＭＤを使用した移動機における広告物の指定方法を示した図である。ＨＭＤ（Head Mounted Display）など、ユーザ３０１の身体に装着する形態の移動機を使用して、仮想的な視界の中で広告物を指定する方法について述べる。図５（ａ）は、ユーザ３０１がＨＭＤ５０１を使用した移動機により、検索対象となる広告物３０３を捉える様子を示している。図５（ｂ）は、ＨＭＤ５０１の中の仮想的な視界の中で、ユーザ３０１が仮想的なカッター５０３を操作して広告物３０３を切り出す方法を示している。また、実空間上で、ユーザ３０１が小型のレーザポインタ５０２を操作して、広告物を輪郭を囲む軌跡を描くことによって、切り出す方法を適用することもできる。
【００５８】
図５（ｃ）は、ユーザ３０１が広告物３０３の領域内の数点を、仮想的なブラシ５０４で指示することにより、塗り絵を行うように切り出す方法を示している。このとき、塗り絵の基となる輪郭画像は、画像の領域分割処理やエッジ抽出処理によって作成することができる。
【００５９】
このようにして、切り出す広告物の領域は、１つのみならず複数であっても良く、広告物以外の特定の画像であっても構わない。また、ユーザが実地で行う例を示したが、遠隔地のコンピュータ上で行っても構わない。
【００６０】
次に、上述した方法によって切り出した広告物の領域から、後述する画像特徴量を算出するための広告物特徴領域を求める方法について順次説明する。なお、この方法により、任意の画像情報から特定画像を抽出して、画像特徴量を算出するための特徴領域を求めることができることは言うまでもない。
【００６１】
（１）雑音除去および濃度正規化
適当なパラメータのガウシアンフィルタを用いて画像を平滑化し、画像の各画素値の濃度を正規化する。
【００６２】
（２）均等知覚空間におけるクラスタリング
撮像部から得られるＲＧＢ信号を、人間の色知覚が均等な修正マンセル色空間（以下、ＨＶＣ空間という。）に写像する。その後、ＨＶＣ空間をクラスタリングして領域分割画像を得る。クラスタリングの手法は、既知のfuzzy c-meansクラスタリング法またはk-meansクラスタリング法を用いることができる。
【００６３】
（３）画像中心付近が属するクラスの選択
適当なパラメータCx,Cy（１以上の整数）で、W は画像の横サイズ、H は画像の縦サイズとすると、
W(1-1/Cx)/2 ≦ x ≦ W(1+1/Cx)/2
H(1-1/Cy)/2 ≦ y ≦ H(1+1/Cy)/2
を満たす (x,y) の画像領域は、画像の縦横をCx,Cyで各々等分割したサイズを有する中心部分の領域に当たるが、これに含まれるクラスを、画像全体の中から選択する。画像中心領域およびそれ以外の領域でも、同じクラスに属する領域が選択される。
【００６４】
（４）空間的ラベリング処理
画像全体の各々の領域についてラベルを振る。
【００６５】
（５）領域面積比による画像周辺および微小領域の削除
ラベリングされた各領域において、画像全面積からみて、画像が非常に微小な領域を除去する。適当なパラメータbx,by（１以上の整数）で、W は画像の横サイズ、H は画像の縦サイズとすると、
0 ≦ x ＜ W/bx  or  W(1-1/bx) ＜ x ＜ W
0 ≦ y ＜ H/by  or  H(1-1/by) ＜ x ＜ H
を満たす (x,y) の画像領域は、画像の縦横をbx,byで各々等分割した周辺部分の領域に当たるが、これを含む領域を削除する。
【００６６】
（６）外接多角形計算による単一領域抽出
残った全ての領域を含む最小外接凸多角形を求める。これは、２次元凸包問題で解くことが可能である。
【００６７】
次に、自動的に切り出した広告物特徴領域から、画像特徴量を算出するための処理について説明する。処理センタ３０の広告物データベース３６には、取得した画像データとともに、上述した画像特徴量を求めた結果も合わせて格納されている。
【００６８】
（１）色に関する画像特徴量
色に関する画像特徴量は、高彩色領域比と色相平均値とがある。ＨＶＣ空間において、色みの量を明度と彩度の積で定義し、色みの量が適当なしきい値を超えた領域を高彩色領域とする。すなわち、明度または彩度が高く、色相の値が十分な意味をなす領域を示す。高彩色領域が、すべての単一領域内に占める比率を高彩色領域比とする。また、色相平均値は、単一領域内すべての高彩色領域における色相の平均値である。
【００６９】
図６は、撮影位置ごとにプロットされた高彩色領域比と色相平均値の分布の例を示した図である。撮影位置は、Ｌ１からＬ５の５箇所であり、各撮影位置での画像の色に関する画像特徴量の分布を表している。ｒ軸を高彩色領域比とし、θ軸を色相平均値として、英小文字で示した各画像ごとにプロットしている。Ａｌｌは、５箇所の画像特徴量を重畳した結果を示している。
【００７０】
各円グラフの左下の数値は、特徴空間における各標本点で最近接点までの平均距離を表している。各撮影位置における特徴量分布が全体よりも広がりを有していることが分かり、判別率の向上が見込まれる。
【００７１】
（２）外形に関する画像特徴量
外形に関する画像特徴量は、領域アスペクト比がある。外接凸多角形に外接する最小の外接四辺形を求める。簡易な方法として、最小外接凸多角形の輪郭で、座標値 (x,y) から最大値と最小値とを求めることで、外接四辺形を求めることもできる。求められた外接四辺形において、領域アスペクト比（ＡＲ）は、
ＡＲ＝(横幅)２／(面積)
で表される。
【００７２】
図７は、撮影位置ごとにプロットされた領域アスペクト比の分布の例を示した図である。撮影位置は、Ｌ１からＬ５の５箇所であり、各撮影位置での領域アスペクト比の分布を表している。横軸を領域アスペクト比として、英小文字で示した各画像ごとにプロットしている。Ａｌｌは、５箇所の領域アスペクト比を重畳した結果を示している。
【００７３】
特徴空間において、任意の画像間の距離が最も小さな最近接点同士における距離を最近接点距離という。図６に示した特徴量を用いて、最近接点距離の平均を求めた場合には、平均値以下であった画像であっても、図７に示した特徴量を用いて、最近接点距離の平均を求めた場合には、平均値以上の場合があり、色情報だけでは判別が難しい場合でも、外形情報では判別できる場合がある。
【００７４】
次に、図２に示したフローチャートにおける取得画像と広告物データとの照合（Ｓ３３）について説明する。
【００７５】
処理センタ３０では、取得した画像についても、上述した方法で画像特徴量を求める。広告物データベース３６の各特徴空間において、取得画像の画像特徴量から広告物データベース３６に登録された画像データの特徴点までの距離を、Dfi とする。ここで、1 ≦ f ≦ N で、N は特徴空間の数であり、1 ≦ i ≦ Fn で、Fn は特徴空間 f における登録画像の数とする。このとき、評価関数
【００７６】
【数１】
0004077608.tif 000002
【００７７】
の小さな画像データが類似広告物として移動機２０の表示部２８に提示される。または、
【００７８】
【数２】
0004077608.tif 000003
【００７９】
のように、全ての特徴空間において、近隣の特徴点を有する画像を類似広告物として扱うことも考えられる。
【００８０】
図８は、本発明の一実施形態にかかる情報提供システムの利用方法を説明するための図である。ユーザが街角の情景を撮影することによって得られる画像データと、広告物データベース３６に格納された情報とを照合して、その情景に含まれる広告物を検出し、検出した広告に関する情報を広告物データベース３６から移動機２０に送信する。移動機２０の表示部２８に表示されている画像データには、検出した広告に関する情報が重畳して表示され、ユーザは、容易に店舗や場所の情報を確認することができる。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、移動機から送られた画像情報に関連する情報を画像特徴量から選択して提供することにより、ユーザが必要とする目標の情報を容易に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる情報提供システムの構成を示したブロック図である。
【図２】本発明の一実施形態にかかる情報提供方法を示したフローチャートである。
【図３】本発明の一実施形態にかかる対象判別方法におけるズームによる広告物の指定方法を示した図である。
【図４】本発明の一実施形態にかかる対象判別方法における形状指定による広告物の指定方法を示した図である。
【図５】ＨＭＤを使用した移動機における広告物の指定方法を示した図である。
【図６】撮影位置ごとにプロットされた高彩色領域比と色相平均値の分布の例を示した図である。
【図７】撮影位置ごとにプロットされた領域アスペクト比の分布の例を示した図である。
【図８】本発明の一実施形態にかかる情報提供システムの利用方法を説明するための図である。
【符号の説明】
１０    無線通信網
１１    データ中継装置
２０，３０２    移動機
２１，３１    データ送受信部
２２    音声送信部
２３，３３    画像変換部
２４    撮像部
２５    測位部
２８    表示部
２９    無線通信部
３０    処理センタ
３４    広告物データ検索部
３５    広告物データ照合部
３６    広告物データベース
３７    広告物データ登録部
３０１    ユーザ
３０３    広告物
３０４    ファインダ
４０１    カーソル
５０１    ＨＭＤ（Head Mounted Display）
５０２    レーザポインタ
５０３    仮想的なカッター
５０４    仮想的なブラシ
【図１】
0004077608.tif 000004
【図２】
0004077608.tif 000005
【図３】
0004077608.tif 000006
【図４】
0004077608.tif 000007
【図５】
0004077608.tif 000008
【図６】
0004077608.tif 000009
【図７】
0004077608.tif 000010
【図８】
0004077608.tif 000011