(57)【要約】携帯アプリケーション（１３）及びマッチング処理部（２１）は、分類ＴＰデータ管理ＤＢ（２２）に登録されたマーカの分類情報に対応した分類テンプレート（５１）を用いて、画像入力部（１１）で入力された画像に対してテンプレートマッチングを行い、更に、個別ＴＰデータ管理ＤＢ（２３）に登録された、上記分類テンプレートマッチングでマッチした分類テンプレートに対応するテンプレートであり、マーカの詳細情報に対応した個別テンプレート（５２）を用いて、上記画像入力部１１で入力された画像に対してテンプレートマッチングを行う。
2007004521.tif 000002
【特許請求の範囲】
【請求項１】
画像中に含まれるマーカ（４１；４２；４３）を特定する装置であり、
画像を入力する画像入力手段（１１）と、
マーカの分類情報に対応した分類テンプレート（５１）を用いて、上記画像入力手段で入力された画像に対してテンプレートマッチングを行う分類テンプレートマッチング手段（１３，２１）と、
上記分類テンプレートマッチングでマッチした分類テンプレートに対応するテンプレートであり、マーカの詳細情報に対応した個別テンプレート（５２）を用いて、上記画像入力手段で入力された画像に対してテンプレートマッチングを行う個別テンプレートマッチング手段（１３，２１）と、
を具備することを特徴とするマーカ特定装置。
【請求項２】
上記分類テンプレート及び個別テンプレートは、１つの分類テンプレートに対して複数の個別テンプレートが対応するように管理されていることを特徴とする請求項１に記載のマーカ特定装置。
【請求項３】
上記分類テンプレートは、上記マーカ上で分類情報が表示される領域に当てはまるテンプレートであり、
上記個別テンプレートは、上記マーカ上で詳細情報が表示される領域に当てはまるテンプレートである、
ことを特徴とする請求項１に記載のマーカ特定装置。
【請求項４】
画像中に含まれるマーカ（４１；４２；４３）を特定する方法であり、
画像を入力し、
マーカの分類情報に対応した分類テンプレート（５１）を用いて、上記入力された画像に対してテンプレートマッチングを行い、
上記テンプレートマッチングでマッチした分類テンプレートに対応するテンプレートであり、マーカの詳細情報に対応した個別テンプレート（５２）を用いて、上記入力された画像に対してテンプレートマッチングを行う、
ことを特徴とするマーカ特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像中に含まれるマーカを特定するマーカ特定装置及びマーカ特定方法に関する。
【背景技術】
【０００２】  従来より、入力された画像中に含まれるマーカを特定するする手法として、所謂テンプレートマッチングが広く知られている。これは、データベースに蓄積されたマーカ画像を予め所定の粗い解像度に落としたテンプレートを作成して、それらテンプレートをデータベースに登録しておき、同様の解像度に落とした入力マーカ画像とそれらテンプレートとのマッチングを取るというものである。【０００３】  しかし、そのようなテンプレートマッチングでは、似たマーカ画像をミスマッチングしてしまう可能性がある。そこで、ミスマッチングを低減させるために、類似度テーブルによってテンプレート間の類似度を管理し、類似したマーカ画像の登録を防止するなどの対応を行っている。しかしながら、登録テンプレート数が多くなればなるほど、ミスマッチングの可能性は増大してしまう。【０００４】  また、類似度を決定する特徴量を特徴点の配置から決める方法も知られている。そして、そのような方法においては、例えば、特開２００４−３６２１８６号公報に開示されているように、多数のマッチング用データベースを保持し参照する場合、マッチングサーバを並列化し、多数の参照データを分割してマッチングすることで時間短縮を図ろうとする手法が考えられている。
【発明の開示】
【０００５】  しかしながら、上記特開２００４−３６２１８６号公報に開示されているようなマッチングの並列処理については、確率的に高速化する効果はあるものの、認識（成功）率を向上させる効果はないことが発明者らの実験で確認されている。
【０００６】  また、並列処理を行ったとしても、登録テンプレート数が多くなればなるほど、マッチング処理に時間がかかる。
【０００７】  本発明は、上記の点に鑑みてなされたもので、画像中に含まれるマーカの特定を高速化且つ精度良く行うことが可能なマーカ特定装置及びマーカ特定方法を提供することを目的とする。
【０００８】  本発明のマーカ特定装置の一態様は、画像中に含まれるマーカを特定する装置であり、画像を入力する画像入力手段と、マーカの分類情報に対応した分類テンプレートを用いて、上記画像入力手段で入力された画像に対してテンプレートマッチングを行う分類テンプレートマッチング手段と、上記分類テンプレートマッチングでマッチした分類テンプレートに対応するテンプレートであり、マーカの詳細情報に対応した個別テンプレートを用いて、上記画像入力手段で入力された画像に対してテンプレートマッチングを行う個別テンプレートマッチング手段と、を具備することを特徴とする。
【０００９】  また、本発明のマーカ特定方法の一態様は、画像中に含まれるマーカを特定する方法であり、画像を入力し、マーカの分類情報に対応した分類テンプレートを用いて、上記入力された画像に対してテンプレートマッチングを行い、上記テンプレートマッチングでマッチした分類テンプレートに対応するテンプレートであり、マーカの詳細情報に対応した個別テンプレートを用いて、上記入力された画像に対してテンプレートマッチングを行う、ことを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の一実施例に係るマーカ特定装置の構成を示す図である。
【図２】図２は、対象画像とそれを配置した紙面の例を示す図である。
【図３】図３は、対象画像の例を示す図である。
【図４】図４は、分類テンプレートの例を示す図である。
【図５】図５は、個別テンプレートの例を示す図である。
【図６】図６は、複数の対象画像とそれぞれに対応する分類テンプレート及び個別テンプレートの例を示す図である。
【図７】図７は、ＴＰ作成部での分類テンプレート作成処理のフローチャートを示す図である。
【図８】図８は、従来のテンプレートマッチングの問題点を説明するための図である。
【図９】図９は、分類テンプレートを使用する効果を説明するための図である。
【図１０】図１０は、ＴＰ作成部での個別テンプレート作成処理のフローチャートを示す図である。
【図１１】図１１は、カメラ付携帯端末の携帯アプリケーションでの端末側動作処理のフローチャートを示す図である。
【図１２】図１２は、サーバのマッチング処理部でのマッチング処理のフローチャートを示す図である。
【図１３】図１３は、第１具体例におけるテンプレート領域分割レイアウトを示す図である。
【図１４】図１４は、第１具体例の動作を説明するためのフローチャートを示す図である。
【図１５】図１５は、第２具体例におけるテンプレート領域分割レイアウトを示す図である。
【図１６】図１６は、第２具体例の動作を説明するためのフローチャートを示す図である。
【図１７】図１７は、第３具体例の動作を説明するためのフローチャートを示す図である。
【図１８】図１８は、１次マーカ及び２次マーカの例を示す図である。
【図１９】図１９は、１次マーカ及び２次マーカの別の例を示す図である。
【図２０】図２０は、第４具体例におけるマーカ特定装置の構成を示す図である。
【図２１】図２１は、第４具体例の動作を説明するためのフローチャートを示す図である。
【図２２】図２２は、第５具体例における表示例を示す図である。
【図２３】図２３は、第５具体例における別の表示例を示す図である。
【図２４】図２４は、第６具体例の動作を説明するための図である。
【図２５】図２５は、第６具体例の効果を説明するための図である。
【発明を実施するための最良の形態】
【００１１】  以下、本発明を実施するための最良の形態を図面を参照して説明する。【００１２】  本発明の一実施例に係るマーカ特定装置は、図１に示すように、カメラ付携帯端末１０とテンプレートマッチング手段とから構成される。カメラ付携帯端末１０は、画像を入力する画像入力手段としての画像入力部（カメラ）１１と、特定結果を出力する出力手段としてのディスプレイ１２とを含む。テンプレートマッチング手段は、データベースに登録されたテンプレートを用いて、上記画像入力部１１で入力した画像に対してテンプレートマッチングを行うものである。このテンプレートマッチング手段は、カメラ付携帯端末１０の携帯アプリケーション１３と、上記カメラ付携帯端末１０と通信可能なサーバ２０に構成されたマッチング処理部２１とによって実現される。【００１３】  ここで、上記サーバ２０は更に、分類テンプレート（ＴＰ）データ管理データベース（ＤＢ）２２と個別ＴＰデータ管理ＤＢ２３とを有している。分類テンプレートとは、マーカの分類情報から作成されたテンプレートである。また、個別テンプレートとは、各分類テンプレートに対応するもので、マーカの詳細情報から作成されたテンプレートである。マッチング処理部２１は、まず、上記分類ＴＰデータ管理ＤＢ２２に登録された分類テンプレートを用いて、携帯アプリケーション１３から送られてくる上記画像入力部１１で入力された画像に対してテンプレートマッチングを行う。そしてその後、その分類テンプレートマッチングでマッチした分類テンプレートに対応する上記個別ＴＰデータ管理ＤＢ２３に登録された個別テンプレートを用いて、上記入力された画像に対してテンプレートマッチングを行う。【００１４】  上記分類ＴＰデータ管理ＤＢ２２に登録される分類テンプレート及び上記個別ＴＰデータ管理ＤＢ２３に登録される個別テンプレートは、デスクトップパブリッシング（ＤＴＰ）３０で紙面４０に配置した対象画像４１から、ＴＰ作成部５０によって作成されたものである。即ち、本一実施例に係る検索システムでは、予め、ＤＴＰ３０によって、図２に示すように、紙面４０にマーカとしての対象画像４１を印刷する。それと共に、ＴＰ作成部５０で、その対象画像４１の分類テンプレート及び個別テンプレートを作成する。そして、その作成したテンプレートをサーバ２０の分類ＴＰデータ管理ＤＢ２２及び個別ＴＰデータ管理ＤＢ２３に登録しておく。なお、登録する対象画像４１（マーカ）が多数あれば、そのようなテンプレートの作成と登録を繰り返す。【００１５】  つまり、本実施例においては、図３に示すような１つの対象画像４１に対し、図４に示すような分類テンプレート５１と図５に示すような個別テンプレート５２とを作成し、登録しておく。【００１６】  ここで、複数の対象画像４１があった場合、同じ分類であれば、分類テンプレート５１は共通とする。即ち、分類テンプレート５１と個別テンプレート５２は１：ｎで対応させることができる。また、図６に示すように、別個の対象画像４１から作成した個別テンプレート５２が同一となる場合であっても、分類テンプレート５１が異なれば、分類テンプレート５１と個別テンプレート５２はｎ：ｎの対応となる。【００１７】  而して、ユーザが、紙面４０からカメラ付携帯端末１０等の画像入力部１１を使ってマーカとしての対象画像４１を取り込むと、携帯アプリケーション１３は、その入力画像から画像の特徴抽出を行い、抽出した特徴データをサーバ２０のマッチング処理部２１に送る。この特徴データを受けたマッチング処理部２１は、その特徴データと分類ＴＰデータ管理ＤＢ２２に登録されている分類テンプレート５１とのパターンマッチングを行う。そして、上記個別ＴＰデータ管理ＤＢ２３に登録された個別テンプレート５２の内、上記マッチした分類テンプレート５１に対応する個別テンプレート５２を用いたテンプレートマッチングを更に行って、撮影されたマーカである対象画像４１を特定する。【００１８】  なお、上記個別ＴＰデータ管理ＤＢ２３に登録された各個別テンプレート５２には、例えば、特定の画像や特定のＵＲＬといった、マッチしたときに出力すべき結果情報が対応付けて登録されている。従って、上記のようにして対象画像４１が特定されたならば、マッチング処理部２１は、その個別テンプレート５２に対応する結果情報をカメラ付携帯端末１０の携帯アプリケーション１３に送る。そして、携帯アプリケーション１３は、ディスプレイ１２にその結果情報を表示する。【００１９】  以下、各部の動作を、図７を参照して、より詳細に説明する。【００２０】  即ち、ＴＰ作成部５０においては、まず、分類テンプレートレイアウトを定義する（ステップＳ１１）。この分類テンプレートレイアウトとは、分類テンプレート５１及び個別テンプレート５２を作成すべき元画像（対象画像４１）からの、分類テンプレート５１として使用する画像の切り出し位置を示すものである。あるいは、そのような切り出し位置とその分類テンプレート５１の解像度とを組み合わせたものであっても良い。【００２１】  例えば、テンプレートマッチングでは、図８に示すような似た画像をミスマッチングしてしまう可能性がある。このような場合、図９に示すように、四角形の枠部の領域のみ解像度の高いテンプレートである分類テンプレートを使用すれば、ミスマッチングの可能性を減少させることができる。また、このような分類テンプレート５１を使用することで、個別テンプレート５２が同一のものであっても、違う結果情報に対応付けすることが可能となる。【００２２】  なお、分類テンプレートレイアウトを「定義する」とは、新たに「作成する」場合と既にあるものを「選択する」場合との何れをも含むものである。【００２３】  而して、上記のような分類テンプレートレイアウトが定義されたならば、その定義した分類テンプレートレイアウトに従って、元画像を入力する（ステップＳ１２）。この場合、入力される元画像は、対象画像４１における上記分類テンプレートレイアウトにより示される画像切り出し位置の画像データである。そして、上記定義した分類テンプレートレイアウトに従って、その入力された元画像から特徴データを作成、つまり分類ｎの分類テンプレート５１を作成し（ステップＳ１３）、それを上記サーバ２０の分類ＴＰデータ管理ＤＢ２２に登録する（ステップＳ１４）。なお、上記特徴データとは、例えば特徴点の分布や濃度などのデータである。【００２４】  ��の後、上記サーバ２０の個別ＴＰデータ管理ＤＢ２３内に、その新規に登録した分類ｍの分類テンプレート５１に対応した個別ＴＰデータ管理ＤＢセット２３ｍを新規に作成する（ステップＳ１５）。なお、図７では、分類１，２，３，…，ｍに対応した個別ＴＰデータ管理ＤＢセット２３１，２３２，２３３，…，２３ｍを示している。【００２５】  次に、上記ＴＰ作成部５０での個別テンプレート作成処理の詳細を、図１０を参照して説明する。【００２６】  即ち、ＴＰ作成部５０においては、まず、個別ＴＰデータ管理ＤＢ２３が持つ複数の個別ＴＰデータ管理ＤＢセット２３ｎの内、分類テンプレートに対応した個別ＴＰデータ管理ＤＢセット２３ｍを選択する（ステップＳ２１）。また、更に、個別テンプレートを作成しようとする対象画像４１から、その分類テンプレートに従った位置及び解像度で元画像を入力する（ステップＳ２２）。【００２７】  そして、その入力された元画像から特徴データを作成する（ステップＳ２３）。次に、例えばテンプレートマッチングによってＯＫとなったときに出力すべき結果情報、例えば特定のＷｅｂサイトのＵＲＬ等を入力する（ステップＳ２４）。そして、それら作成された特徴データ及び入力された結果情報を、上記選択した個別ＴＰデータ管理ＤＢセット２３ｍに登録する（ステップＳ２５）。【００２８】  次に、図１１及び図１２を参照して、上記カメラ付携帯端末１０の携帯アプリケーション１３での端末側動作処理及び上記サーバ２０のマッチング処理部２１でのマッチング処理の詳細を説明する。なお、図１では、携帯アプリケーション１３は一つしか図示していないが、実際にはカメラ付携帯端末１０には複数の携帯アプリケーション１３が存在する。即ち、一つのテンプレートレイアウトに対して一つの携帯アプリケーション１３が存在し、元の対象画像４１の種類に応じて起動される携帯アプリケーション１３が異なる。【００２９】  ある対象画像４１に対応する携帯アプリケーション１３が起動されると、その携帯アプリケーション１３は、画像入力部１１により紙面４０上の対象画像４１を撮影して得られた画像を入力する（ステップＳ３１）。次に、当該携帯アプリケーション１３のテンプレートレイアウトに従って、その画像に対して、分類特徴データと個別特徴データとを抽出する（ステップＳ３２）。そして、その抽出した分類特徴データと個別特徴データとをサーバ２０のマッチング処理部２１に対して送信する（ステップＳ３４）。その後、そのマッチング処理部２１からの結果情報の受信待ちとなる（ステップＳ３５）。【００３０】  サーバ２０のマッチング処理部２１においては、まず、携帯アプリケーション１３から送信されてきた分類特徴データを取得する（ステップＳ４１）。なおここで、分類特徴データを取得するとは、送信されてきた分類特徴データを受信するということを意味するだけでなく、送信されてきた分類特徴データと個別特徴データを一旦メモリ等に記憶し、その記憶した分類特徴データを読み出すということであっても良い。マッチング処理部２１は、次に、その取得した分類特徴データと分類ＴＰデータ管理ＤＢ２２に登録されている分類テンプレート５１とのパターンマッチングを行う（ステ��プＳ４２）。そして、そのパターンマッチングにより、対象データ候補が無ければ（ステップＳ４３）、処理を終了する。【００３１】  これに対して、対象データ候補が有った場合には（ステップＳ４３）、結果情報として、個別ＴＰデータ管理ＤＢ２３の当該分類テンプレート５１に対応する個別ＴＰデータ管理ＤＢセット２３ｍを選択する（ステップＳ４４）。そして、個別特徴データを携帯アプリケーション１３から取得する（ステップＳ４５）。ここで、個別特徴データを取得するとは、送信されてきた個別特徴データを受信するということを意味するだけでなく、送信されてきた分類特徴データと個別特徴データを一旦メモリ等に記憶し、その記憶した個別特徴データを読み出すということであっても良い。マッチング処理部２１は、次に、その取得した個別特徴データと上記選択した個別ＴＰデータ管理ＤＢセット２３ｍに登録されている個別テンプレート５２とのパターンマッチングを行う（ステップＳ４６）。そして、そのパターンマッチングにより、対象データ候補が無ければ（ステップＳ４７）、処理を終了する。【００３２】  これに対して、対象データ候補が有った場合には、その対象データ候補の特徴データに対応して上記個別ＴＰデータ管理ＤＢセット２３ｍに登録されている結果情報を、上記カメラ付携帯端末１０に対して返信して（ステップＳ４８）、処理を終了する。【００３３】  而して、携帯アプリケーション１３は、所定時間が経過しても上記サーバ２０のマッチング処理部２１から結果情報が返信されてこない場合には（ステップＳ３５）、エラーメッセージ等をディスプレイ１２に表示する等してユーザに続行するか否かを問い合わせる。そして、終了する旨の指示があった場合には（ステップＳ３６）、処理を終了する。【００３４】  これに対して、再実施する旨の指示があった場合には（ステップＳ３６）、上記ステップＳ３１に戻り、再度対象画像４１の撮影から繰り返す。【００３５】  一方、上記サーバ２０のマッチング処理部２１から結果情報が返信されてきた場合には（ステップＳ３５）、それをディスプレイ１２に表示して（ステップＳ３７）、処理を終了する。【００３６】  以上のような、本実施例に係るマーカ特定装置及びマーカ特定方法によれば、枠領域のテンプレート（分類テンプレート５１）に対するマッチングで絞り込まれた枠内部テンプレート（個別テンプレート５２）に対してマッチングを行うので、以下の効果が得られる。【００３７】  即ち、登録可能テンプレート数が分類テンプレート数倍（数百倍）に増大する。【００３８】  また、マッチング速度が向上する。【００３９】  更に、ミスマッチングが低減する。【００４０】  以下、本実施例に係るマーカ特定装置及びマーカ特定方法の具体例を図面を参照して説明する。【００４１】  ［第１具体例］
本具体例は、分類テンプレート５１と検索ＤＢを関連付けた例である。【００４２】  この場合、分類テンプレート５１は、図１３に示すように、マーカとしての対象画像４１上で分類情報が表示される分類領域４１Ａに当てはまるテンプレート、個別テンプレート５２は、上記対象画像４１上で詳細情報が表示される個別領域４１Ｂに当てはまるテンプレートとなっている。そして、図１４に示すように、読み取った分類テンプレート５１に応じて、検索先ＤＢを切り替える。【００４３】  本具体例は、カメラ付携帯端末１０としてカメラ付き携帯電話機を利用して、通販雑誌／カタログ誌にてスムーズな通販を進める場合の例である。【００４４】  通販雑誌／カタログ誌で商品を販売する場合、対象画像４１の分類領域４１Ａに検索ＤＢの種類を特定する情報を記載しておき、対象画像４１の個別領域４１Ｂに商品画像を記載しておく。なお、このような記載とすることで、マーカの各領域（分類情報が表示される分類領域４１Ａ、詳細情報が表示される個別領域４１Ｂ）の位置・形状・サイズ等に応じて、テンプレートの位置・形状・サイズ等が規定される。このため、マッチングにおいて、マーカとテンプレートの位置合わせが容易であり、処理効率が良い。【００４５】  カメラ付き携帯電話機の画像入力部１１によって対象画像４１を入力したとき、携帯アプリケーション１３で、その分類領域４１Ａの特徴データ及び個別領域４１Ｂの特徴データを抽出する（ステップＳ５１）。サーバ２０のマッチング処理部２１では、その抽出された分類領域４１Ａの特徴データに対して分類ＴＰデータ管理ＤＢ２２に登録された分類テンプレートを用いてマッチング処理を行う（ステップＳ５２）。そして、その結果に応じて、個別ＴＰデータ管理ＤＢ２３の個別ＴＰデータ管理ＤＢセット２３ｎを選択する。この場合、個別ＴＰデータ管理ＤＢセット２３ｎは、検索先ＤＢとして、各個別テンプレート５２と、それに対応する商品情報を記憶しているものである。図１４に示す例では、カメラカタログＤＢ２３ａとバックカタログＤＢ２３ｂとの２種類の検索ＤＢが存在する。マッチング処理部２１では、上記分類テンプレート５１を用いたマッチング結果に従って選択された個別ＴＰデータ管理ＤＢセット２３ｎの個別テンプレート５２を用いて、携帯アプリケーション１３で抽出された個別領域４１Ｂの特徴データのテンプレートマッチング処理を行い、対象画像４１の個別領域４１Ｂに記載された商品画像を特定する（ステップＳ５３ａ，Ｓ５３ｂ）。そして、それに対応して登録されている商品情報を結果情報として携帯アプリケーション１３に返すことで、携帯アプリケーション１３はその商品情報をディスプレイ１２に表示することができる。【００４６】  このように、分類テンプレート５１によってＤＢを分けることが可能となり、個別テンプレート５２の数が増大しても検索時間の増大を抑えることが可能となる。【００４７】  ［第２具体例］
本具体例は、分類テンプレート５１とアプリケーションを関連付けた例である。【００４８】  この場合、分類テンプレート５１は、図１５に示すように、マーカとしての対象画像４１上で分類情報が表示される分類領域４１Ａに当てはまるテンプレート、個別テンプレート５２は、上記対象画像４１上で詳細情報が表示される個別領域４１Ｂに当てはまるテンプレートとなっている。但し、本具体例では、分類領域４１Ａに表示される分類情報は、アプリケーションの分類を示すものとなっている。【００４９】  そして、本具体例においては、図１６に示すように、カメラ付き携帯電話機の画像入力部１１によって対象画像４１を入力したとき、携帯アプリケーション１３でその分類領域４１Ａの特徴データ及び個別領域４１Ｂの特徴データを抽出する（ステップＳ６１）。サーバ２０のマッチング処理部２１では、その抽出された分類領域４１Ａの特徴データに対して分類ＴＰデータ管理ＤＢ２２に登録された分類テンプレートを用いてマッチング処理を行う（ステップＳ６２）。そして、マッチング処理部２１は、その結果得られた結果情報として、アプリケーション分類を示すアプリケーション名を携帯アプリケーション１３に返信する。【００５０】  携帯アプリケーション１３では、分類テンプレートマッチングで得られた結果情報（アプリケーション名）と自分を比較する（ステップＳ６３）。そして、自分であれば（ステップＳ６４）、上記マッチング処理部２１にて、上記分類テンプレート５１を用いたマッチング結果に従って選択された個別ＴＰデータ管理ＤＢセット２３ｎ（この例では個別ＴＰデータ管理ＤＢセット２３Ａ）の個別テンプレート５２を用いて、携帯アプリケーション１３で抽出された個別領域４１Ｂの特徴データのテンプレートマッチング処理を行い、対象画像４１の個別領域４１Ｂに記載された例えば商品画像を特定する（ステップＳ６５）。そして、それに対応して登録されている商品情報を結果情報として携帯アプリケーション１３に返すことで、携帯アプリケーション１３はその商品情報をディスプレイ１２に表示することができる。【００５１】  一方、上記ステップＳ６３で比較した結果、携帯アプリケーション１３は、分類テンプレートマッチングで得られた結果情報（アプリケーション名）が自分でないと判別した場合には（ステップＳ６４）、サーバ２０より、その結果情報（アプリケーション名）に相当するアプリケーションをダウンロードする（ステップＳ６６）。そして、自分を終了し、そのダウンロードしたアプリケーションを起動する（ステップＳ６７）。【００５２】  その後、その起動したアプリケーションは、自分が確かにその結果情報（アプリケーション名）に相当するアプリケーションであるのかを確認し（ステップＳ６８）、もしそうでなければ処理を終了する。これに対して、確認がとれた場合には、上記マッチング処理部２１にて、上記分類テンプレート５１を用いたマッチング結果に従って選択された個別ＴＰデータ管理ＤＢセット２３ｎ（この例では個別ＴＰデータ管理ＤＢセット２３Ｂ）の個別テンプレート５２を用いて、携帯アプリケーション１３で抽出された個別領域４１Ｂの特徴データのテンプレートマッチング処理を行い、対象��像４１の個別領域４１Ｂに記載された例えば商品画像を特定する（ステップＳ６９）。そして、それに対応して登録されている商品情報を結果情報として携帯アプリケーション１３に返すことで、携帯アプリケーション１３はその商品情報をディスプレイ１２に表示することができる。【００５３】  このように、分類テンプレート５１をアプリケーションに関連付けておき、読み取った分類テンプレートに応じてアプリケーションを切り替え、また、分類テンプレートに対応するアプリケーションが端末上にない場合には、ダウンロード後、実行することで、分類テンプレート５１に関連付けられたアプリケーションは、それぞれ専用のＤＢに検索に行くことが可能となる。【００５４】  ［第３具体例］
次に、第３具体例について説明する。【００５５】  本具体例は、カメラ付携帯電話や通信機能付ＰＤＡ等のカメラ付携帯端末１０を使う例であり、予め登録した画像を撮影することにより、その画像を認識し、認識結果に応じて所定の動作（例えば音声出力や所定のプログラムの起動、或いは所定のＵＲＬの表示、所定位置での３Ｄオブジェクトの重畳表示、等）をさせる場合に適用するものである。【００５６】  画像を認識する場合、参照するデータベース（いわゆる辞書データ）として画像データは登録するが、画像をそのまま比較するのではなく、画像の特徴量を比較するのが効率が良く実際的である為、画像から抽出した特徴量データベースを使う。またこのデータベースは内蔵でも携帯通信を介したサーバ上に存在するものでも構わない。【００５７】  本具体例では、画像の特徴点（濃淡差の大きい点）の配置関係をベクトル量の組み合わせとして算出しその多数組を特徴量とする方法と、テンプレートマッチングとして対応する分割面の濃淡を比較することで特徴量とする方法とを併用して利用する。分類テンプレート５１と称するうち、枠形状の認識を特徴点方式で認識する。このとき枠の形状は四角や丸に限らず星形、或いはハート型等、任意である。また場合によっては枠ではなく、特定の意匠を特徴点方式で認識すれば、高速であることや、通信速度が速い等のメリットがある。【００５８】  本具体例においては、極めて多数のマーカ画像（クエリ画像）が存在した場合、マッチングサーバを分散処理する場合の現実的処理法である。対象の画像の一部又は別体で存在する画像を、参照データのマッチングサーバを指定する情報につながるものとして登録しておき、それを１次（マッチング）サーバと称している。この１次サーバでは通常、２次サーバの所在（アドレス）を指定するのが主な機能であるが、本具体例ではこれに加えて、２次マーカ画像の所在指定なども加えている。【００５９】  即ち、図１７に示すように、カメラ付携帯端末１０側で、対象マーカ（１次マーカ）を撮像し（ステップＳ７１）、１次特徴量を抽出する（ステップＳ７２）。この抽出した１次特徴量はサーバ２０（１次サーバ）側に送信され、分類ＴＰデータ管理ＤＢ２２に相当する１次情報ＤＢ２４に登録された１次特徴量とのマッチング処理が実施される（ステップＳ７３）。そして、その１次マッチング結果による情報がサーバ２０側からカメラ付携帯端末１０側に送信される。【００６０】  カメラ付携帯端末１０側では、その１次マッチング結果による情報を表示し、その表示に応じてユーザが、カメラ付携帯端末１０により対象マーカ（２次マーカ）を撮像する（ステップＳ７４）。これにより、２次特徴量の抽出が行われ（ステップＳ７５）、サーバ２０（２次サーバ）側に送信される。サーバ２０では、個別ＴＰデータ管理ＤＢ２３に相当する２次情報ＤＢ２５に登録された２次特徴量とのマッチング処理が実施され（ステップＳ７６）、その２次マッチング結果による結果動作指定がカメラ付携帯端末１０側に送信される（ステップＳ７７）。【００６１】  そして、カメラ付携帯端末１０側では、例えば３Ｄオブジェクト取得と表示等の、その結果動作指定に従った動作を遂行する（ステップＳ７８）���【００６２】  即ち、１次サーバにより、２次サーバのアドレス指定が行われ、同時に２次マーカ４３（図１８の場合は１次マーカ４２（アイコン）の上方）のおおよそのエリア指定が行われる。２次マーカ４３の撮像時に同じく１次マーカ４２を含めて撮像が行われたとしても、２次特微量の抽出時にはその指定されたエリア以外の撮影画像部分についてはマスクし、読み出さないことで誤認識を減らせる。【００６３】  また、１次サーバで指定された２次サーバは既に或るカテゴリーに限定されたものであるため、それぞれの２次データベースからマッチングされる画像特徴量自体、確率的に正答性が高い。例えば、図１９の場合、ラーメンのアイコンを１次マーカ４２とすることで、２次マーカ４３に関与する２次サーバはラーメン店に関する情報に限定されたものとなっているため、他の情報を検索することが無い。即ち、撮影画像中に複数の店舗画像が２次マーカ４３として存在したとしても、予め１次マーカ４２によりカテゴリーが限定されているため、その内のラーメン店の店舗画像である特定の２次マーカ４３Ａに対してしか２次情報ＤＢ２５とのマッチング処理を実行しない。【００６４】  このようなマッチング処理系を準備した上で、カメラ付携帯端末１０から既に登録されている意匠を撮影し、上記カメラ付携帯端末１０に内蔵される携帯アプリケーション１３により特徴点の配置関係から特徴量を算出する。このときの画像入力部１１の解像度が比較的低いものであっても、本具体例の様に２段階に渡ってマッチング処理をする事は結果的に誤認識率の低減と高速性を実現する。実際には１回のマッチングで認識性を高めようとすると、２０ｋＢから７０ｋＢの特徴量容量が必要となるが、本具体例の様に簡単なアイコンを１次マーカ４２に採用した場合、５ｋＢから１０ｋＢの特徴量となる。更に、２次マーカ４３をテンプレート方式で認識させれば、こちらも５ｋＢ以下で特徴量を扱うことが可能である。即ち、１次マーカ４２は実際に有用な情報を引き出す２次マッチングサーバの指定のみがその目的であり、例えば１０００程度の２次サーバの指定には上記の特徴量容量で十分である。２次マッチングも同様で、２次マッチングサーバのデータ数が１０００程度に限定されていて、更にテンプレート方式で特徴量を算出することにより、５ｋＢ以下１ｋＢ程度の極めて軽いデータ容量で通信が可能であり、結果的に処理が高速化される。【００６５】  特に、予めデータベース登録した画像が極めて多数（１０００以上）の場合に効果がある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有する。【００６６】  ［第４具体例］
次に、第４具体例について説明する。【００６７】  上述した第１具体例では、通販雑誌／カタログ誌を例に、対象画像４１を分類領域４１Ａおよび個別領域４１Ｂから構成し、分類領域４１Ａにより検索先ＤＢを切り替えることの効果を示した。【００６８】  しかし、上記効果は通販雑誌／カタログ誌に限定されるものではなく、例えばユーザが画像を自由に登録するシステムであっても有効である。【００６９】  分類領域４１Ａとして、道路標識や建造物、看板を指定し、これらを含む風景を撮影したときに、上記第１具体例と同様の処理によって、検索先ＤＢを切り替え、撮影画像から個別領域４１Ｂを認識することで関連するコンテンツを利用者に提示できる。なお、分類領域４１Ａとして、特定の対象物を指定しない場合であっても、これは特定の分類情報がないことを意味しており、この意味に対応する検索先ＤＢへと切り替えられることは勿論である。【００７０】  この際、分類領域４１Ａは認識できたが、個別領域４１Ｂについては、認識できないことがある。つまり、撮影画像に登録済みの個別領域４１Ｂが含まれていない場合である。例えば、ある企業が提供する通販システムのように、システムによって提供されるコンテンツの提供者側と利用者側とが明確に分かれている場合には、登録されていない画像に対するリクエストであるので問題にはならない。一方、例えば、画像から関連するキーワード・タグを特定し、該キーワード・タグから情報を検索するシステム、画像から関連する掲示板情報、口コミ情報を提供するシステム、等を想定すると、本システムに対するコンテンツ（画像に対応するキーワード・タグ）提供者が明確でないため、画像が何者かによって登録されるまで検索対象として利用できないということは、利用者に不便な環境となってしまう。【００７１】  こういった場合、図２０に示すように、分類領域４１Ａに対応するデータベースへ新規に登録するシステムが有効である。本システムの利用者自身により登録対象を増大可能であり、自身が撮影した画像と、それに期待するキーワード・タグを登録するのみであるので、利用者の操作も大変簡易である。【００７２】  この登録は、図２１に示すようにして行われる。即ち、まず、カメラ付携帯電話等のカメラ付携帯端末１０の画像入力部１１によって撮影を行い、マッチング処理部２１へデータを送信する（ステップＳ８１）。マッチング処理部２１では、対象画像４１に対して分類領域４１Ａのマッチングを行い、検索先ＤＢ（分類ＴＰデータ管理ＤＢ２２）を特定する。分類領域として特定のものが存在しない場合には、存在しないという状態に対応した検索先ＤＢを特定すれば良いことは勿論である。次に、マッチング処理部２１は、対象画像４１から個別領域４１Ｂのマッチングを行い、利用者に提示する情報を特定する（ステップＳ８３）。【００７３】  ここで、マッチング処理部２１は、利用者に提示する情報を特定できたか否かを判断する（ステップＳ８４）。情報を特定できた場合は、その特定できた情報を提示する（ステップＳ８５）。このとき、複数の情報を特定した場合は、それらの簡略情報をリスト状に提示しても良い。また、特定した情報が一つの場合は、リストを表示しても良いし、特定し���情報の詳細を直接表示しても良い。【００７４】  これに対して、利用者に提示する情報を特定できなかった場合には（ステップＳ８４）、情報を登録するか否かを判断するよう利用者から指示情報を取得する（ステップＳ８５）。情報登録を行わない場合には、終了する。【００７５】  一方、情報登録を行う指示があった場合には、撮影した対象画像４１に対して利用者が任意の情報を登録することができる。例えば、特定の携帯電話用サイトのＵＲＬ、撮影対象画像４１に関連するキーワードやコメントといったものを登録することができる。【００７６】  ［第５具体例］
次に、第５具体例について説明する。【００７７】  上述した第１具体例のように対象画像４１を分類領域４１Ａと個別領域４１Ｂという２つの領域に分けるだけでなく、より多くの領域に分割することは、ユーザの利便性を向上させるために有効である。例えば、一つの分類領域に対して複数の個別領域が存在しても良いし、個々の領域が分類領域、個別領域両方の役割を果たすようにしても良い。【００７８】  例えば、通販雑誌／カタログ誌において、商品として食器を対象とした場合を考える。対象画像４１である食器の商品写真は、テーブル上に並べられた大皿、小皿、カップ、ナイフ、フォークを写したものである。この場合、例えば各食器の柄の部分を分類領域４１Ａとし、個々の食器全体を個別領域４１Ｂとして登録すると、特定の柄における具体的な商品を精度良く認識できる。【００７９】  更に、個別の要素は、必ずしも同じ写真に写っている必要はなく、それぞれ独立な写真であっても構わない。【００８０】  テンプレート登録時には、個別の要素それぞれを登録すると共に、これらをグループとしても登録する。このとき、個々の要素間の相対的な位置および／または姿勢情報を伴なっていても良い。【００８１】  グループとして登録されている要素のうち、少なくとも一つが認識されるとき、認識結果としては、グループに含まれる全ての情報を提示する。【００８２】  このようにすることで、柄が同じシリーズを簡単にまとめて提示できる。【００８３】  また、図２２に示すように、一つの大きな写真に食器セットが写っているとき、これを撮影した状態の位置を反映するように、認識結果の情報を提供するようにしても良い。例えば、左から“フォーク大皿、小皿、カップ”と並んでいる場合には、認識結果も同じ順に並べることによって、撮影された画像との対応を容易に理解できる。なお、撮影された画像にはナイフが映ってない場合であっても、認識結果としてはグループ情報に基づいて一番右にナイフの情報を提示できる。【００８４】  あるいは、図２３に示すように、撮影画像上に重ねて表示することも、対象物と認識結果との関係を容易に把握させる上で効果的である。【００８５】  なお、認識結果の表示順位は上記方法に限らず、例えば、撮影された画像の中心に近いものをリストの最も上位に表示しても良い。あるいは、撮影された画像の上下方向と、登録された画像の上下方向とのずれが最も小さいものを、最も信頼性の高い結果としてリストの最上位に表示しても良い。【００８６】  また、撮影された対象画像４１に含まれていた要素についてはリスト状に表示するが、撮影された対象画像４１に含まれていなかった要素については、該リストに「その他」として追加し、同一階層のグループでありながら、表示上は、一つ下の階層として表示することは、ユーザが必要以上の情報を目にすることがなくなるので、効率的な操作につながる。【００８７】  なお、グループ構成は単一階層に限定されるものではなく、グループがグループを含むように階層的であっても良い。このとき、認識結果として提示する内容をどのレベルの階層までとするかについては、ディスプレイ１２の表示画面の大きさを考慮する必要がある。大きな画面の場合は、階層構造全体の情報を��示しつつ、認識した最小単位の要素が属するグループを詳細情報レベルまで表示することが効果的である。一方、携帯電話のように、小さな画面の場合は、認識した最小単位の要素が属するグループのみを表示することが効果的である。【００８８】  また、商品写真付近に分類領域４１Ａとして割引クーポンアイコンを配置し、以下のルールで運用することは、印刷媒体の配布を負担するものと負担しないものとのコスト配分に対して効果的である。【００８９】  即ち、図２４に示すように、クライアントＡが通販雑誌／カタログ誌の発行を行なっており、クライアントＡとクライアントＢがその紙面４０に掲載されている商品の通信販売業者として登録されている。これら通信販売業者は、各商品毎に異なっても構わないことは勿論である。【００９０】  （１）カメラ付携帯電話等のカメラ付携帯端末１０の画像入力部１１によって紙面４０に掲載されている商品の撮影を行う。【００９１】  （２）カメラ付携帯端末１０からサーバ２０（のマッチング処理部２１）へデータを送信する。【００９２】  （３）サーバ２０で、ユーザの撮影画像内から分類領域４１Ａを認識した場合は、サーバ２０からカメラ付携帯端末１０へ割引情報を伴なった商品情報を返信する。このとき、分類領域４１Ａから、どの紙面を撮影したものかを特定することができることは、上記第１具体例で述べているとおりである。【００９３】  （４）ユーザが上記商品情報から特定のクライアント（例えば、クライアントＢ）へ接続する。【００９４】  （５）接続先クライアント（クライアントＢ）は、本システム運用者へ紹介料を支払う。【００９５】  （６）本システム運用者は、クライアントから受領した紹介料の一部を上記（３）で特定した紙面の提供者（この場合はクライアントＡ）に支払う。【００９６】  この結果、クライアントＡは通販雑誌／カタログ誌の発行にかかる費用の一部を回収できる。一方、通販雑誌／カタログ誌を発行していないクライアントＢは、通販雑誌／カタログ誌の発行コストの一部負担という合理的な関係に基づいてクライアントＡの通販雑誌／カタログ誌を利用できる。【００９７】  また、通信販売等、複数の対象物をまとめて取り扱いたい場合には、携帯アプリケーションで対象物を撮影する操作を連続して複数回行い、これら複数の撮影画像をサーバ２０のマッチング処理部２１へ送信する形態であっても良い。この場合、撮影のたびに通信販売サイト上での操作（買物かごに追加など）とアプリケーションでの撮影を繰り返す必要がなく、まとめて複数のアイテムを購入する場合にユーザの利便性が向上する。【００９８】  また、複数の対象を連続して撮影する場合に、撮影後に自動的にサーバ２０のマッチング処理部２１にデータを送信し、その結果をサーバ２０上に蓄えていっても良い。この場合、最終的に通信販売サイトへアクセスしたときには、それまでに行ったマッチング結果である複数のアイテムが購入対象として指定された状態にすることが容易であり、ユーザの利便性が向上する。【００９９】  さらに、撮影後に自動的にマッチング処理部２１で処理を行う場合、ユーザのこれまでのマッチング結果を利用し、次回のマッチング処理における同定処理の信頼性を向上させるこ��も可能である。つまり、同定処理において、最終的な候補が複数あった場合には、これまでのマッチング結果から当該ユーザが撮影対象としているもののカテゴリーや属性等を推定し、この情報を使って更に絞り込みを行うことができる。【０１００】  ［第６具体例］
次に、第６具体例について説明する。【０１０１】  上記第５具体例では、複数の部位に分けて登録することを述べたが、これは動画を認識対象とした場合には、更に効果的な手法である。【０１０２】  動画を認識対象とする場合、動画の中の一部のフレームのみを登録すれば十分である。例えば、第１フレームでは、タレントＡと車Ｂが映っているときに、タレントＡと車Ｂとをグループとして第１フレームを登録する。第２フレームは車Ｂしか映っておらず、且つ本システムに第２フレームは登録もされていない。こういった状態でユーザが第２フレームを撮影した場合、第１フレームとして登録された車Ｂを認識でき、さらにグループとして登録されているタレントＡの情報も一緒に登録することができる。こういった効果を出すにあたって、情報登録者は、タレントＡが映っていない第２フレームについては、何の作業もする必要がないので、登録作業の効率が向上する。なお、第１フレームと第２フレームは連続したフレームに限定するものではなく、第２フレームは動画中において第１フレームから所定時間経過後のフレームであっても構わない。【０１０３】  このように、タレントＡと車Ｂとをそれぞれ登録対象として、かつグループとして登録しているので、例えば、タレントＡや車Ｂの情報として提供する内容を、各々独立に時間軸に沿って変化させることも容易である。図２５に示すように、認識すべき情報の組み合わせは多数あるが、これらを総当たり的に全て登録する必要はなく、個別の対象ごとに情報を変化させられるので、自動的に全ての組み合わせを最小の労力で網羅することが可能である。
【図１】
2007004521.tif 000003
【図２】
2007004521.tif 000004
【図３】
2007004521.tif 000005
【図４】
2007004521.tif 000006
【図５】
2007004521.tif 000007
【図６】
2007004521.tif 000008
【図７】
2007004521.tif 000009
【図８】
2007004521.tif 000010
【図９】
2007004521.tif 000011
【図１０】
2007004521.tif 000012
【図１１】
2007004521.tif 000013
【図１２】
2007004521.tif 000014
【図１３】
2007004521.tif 000015
【図１４】
2007004521.tif 000016
【図１５】
2007004521.tif 000017
【図１６】
2007004521.tif 000018
【図１７】
2007004521.tif 000019
【図１８】
2007004521.tif 000020
【図１９】
2007004521.tif 000021
【図２０】
2007004521.tif 000022
【図２１】
2007004521.tif 000023
【図２２】
2007004521.tif 000024
【図２３】
2007004521.tif 000025
【図２４】
2007004521.tif 000026
【図２５】
2007004521.tif 000027
【国際調査報告】
2007004521.tif 000028
2007004521.tif 000029