(57)【要約】【課題】印刷物の媒体を変えることなく、既に印刷された印刷物に対しても、印刷物の媒体の画像を読み取ることによって、印刷物の媒体に関連する情報をユーザに提供することが可能なサーバ装置等を提供する。【解決手段】通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データに基づいて算出した媒体の画像に対する複数の特徴点の局所不変特徴量を含む撮影画像特徴量データを通信端末装置から受信する。そして、データベースに記録されている各媒体の画像特徴量データに基づいて、受信した撮影画像特徴量データを有する媒体の画像特徴量データがデータベースに存在するか否かを判定する。その結果、媒体の画像特徴量データがデータベースに存在すると判定した場合に、媒体の画像特徴量データに関連付けてデータベースに記録されている媒体関連情報を通信端末装置に送信し、ユーザに提供する。【選択図】図１
2015197758.tif 000002
【特許請求の範囲】
【請求項１】
通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データに基づいて、検出された前記媒体の画像における複数の特徴点から算出された複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、前記通信端末装置から受信する受信手段と、
データベースに記録されている各媒体の画像特徴量データに基づいて、前記受信手段が受信した前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定手段と、
前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信手段と、
を備えることを特徴とするサーバ装置。
【請求項２】
請求項１に記載のサーバ装置において、
前記受信手段が、前記撮像画像特徴量データとともに、該撮像画像特徴量データに関連付ける媒体に関する媒体関連情報を前記通信端末装置から受信した場合に、前記撮像画像特徴量データを前記媒体の画像特徴量データとして、媒体関連情報と関連付けて記録する記録手段をさらに備える、サーバ装置。
【請求項３】
通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データを前記通信端末装置から受信する受信手段と、
前記画像データに基づいて、前記媒体の画像における複数の特徴点を検出し、検出した前記複数の特徴点の局所不変特徴量を算出する算出手段と、
データベースに記録されている各媒体の画像特徴量データに基づいて、算出した前記複数の特徴点の局所不変特徴量の一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定手段と、
前記複数の特徴点の局所不変特徴量の一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記複数の特徴点の局所不変特徴量の一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信手段と、
を備えることを特徴とするサーバ装置。
【請求項４】
請求項３に記載のサーバ装置において、
前記受信手段が、前記画像データとともに、該画像データに関連付ける媒体に関する媒体関連情報を前記通信端末装置から受信した場合に、前記算出手段が、前記画像データに基づいて、前記媒体の画像における複数の特徴点を検出し、検出した前記複数の特徴点の局所不変特徴量を算出し、
前記サーバ装置は、算出した前記複数の特徴点の局所不変特徴量を含むデータを媒体の画像特徴量データとして、前記媒体関連情報と関連付けて記録する記録手段をさらに備える、サーバ装置。
【請求項５】
請求項１〜４のいずれか１項に記載のサーバ装置において、
前記複数の特徴点の局所不変特徴量が、媒体の一部を撮影することによって生成された画像データに基づいて、検出された媒体の一部の画像における複数の特徴点から算出された局所不変特徴量を含む、サーバ装置。
【請求項６】
通信端末装置に情報を提供するサーバ装置を、
通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データに基づいて、検出された前記媒体の画像における複数の特徴点から算出された複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、前記通信端末装置から受信する受信手段、
データベースに記録されている各媒体の画像特徴量データに基づいて、前記受信手段が受信した前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定手段、
前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信手段、
として機能させることを特徴とするプログラム。
【請求項７】
通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データに基づいて、検出された前記媒体の画像における複数の特徴点から算出された複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、前記通信端末装置から受信する受信工程と、
データベースに記録されている各媒体の画像特徴量データに基づいて、前記受信手段が受信した前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定工程と、
前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信工程と、
を含むことを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末装置によって撮影された、書籍等の印刷物の媒体の画像データに基づいて、媒体に関する情報を提供するサーバ装置及びそのプログラム、並びに通信方法に関する。
【背景技術】
【０００２】
近年、インターネットなどのネットワーク及びパーソナルコンピュータなどの通信端末装置の発達に伴って、書籍等の印刷物の電子化が行われ、印刷物をネットワークまたは記録媒体を介して電子的に閲覧することが一般化している。最近では、通信機能を有する携帯ゲーム機器、タブレット型携帯端末装置、携帯用電話機などの携帯可能な携帯用通信端末装置を介してコンテンツを閲覧させることも多く行われている。また、電子書籍に関連する情報を、通信端末装置を介してユーザに提供することも行われている。
【０００３】
一方、書籍等の印刷物に関連する関連書籍情報を、通信端末装置を介してユーザに提供するシステムが知られている（例えば、特許文献１）。特許文献１には、印刷又は貼付等によって書籍に付されたバーコードに記録された、書籍を特定する書籍コードと、関連書籍情報とを予め関連付けておくことで、バーコードの読み取り時にバーコードに記録された書籍コードに関連する関連書籍情報をユーザに提供する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１０７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１で提案された技術では、書籍等の印刷物にバーコード等を付す必要があり、印刷物の媒体のデザイン性を損ねるという問題がある。また、電子透かしや符号化画像等によって印刷物の媒体に情報を埋め込む技術が一般的に知られているが、書籍等を印刷する際に情報を埋め込む必要があるため、既に印刷された印刷物の媒体に情報を付すことができないという問題がある。
【０００６】
本発明は、上記課題を解決するためになされたものであり、その目的は、印刷物の媒体を変えることなく、既に印刷された印刷物に対しても、印刷物の媒体の画像を読み取ることによって、印刷物の媒体に関連する情報をユーザに提供することが可能なサーバ装置等を提供することにある。
【課題を解決するための手段】
【０００７】
（１）上述した課題を解決するため、本発明のサーバ装置は、通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データに基づいて、検出された前記媒体の画像における複数の特徴点から算出された複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、前記通信端末装置から受信する受信手段と、データベースに記録されている各媒体の画像特徴量データに基づいて、前記受信手段が受信した前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定手段と、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信手段と、を備える構成を有している。
【０００８】
この構成により、本発明のサーバ装置は、通信端末装置が備えるカメラでユーザが撮影した画像に対する撮影画像特徴量データを受信することにより、撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体関連情報を、媒体に埋め込まれた情報として取得し、媒体関連情報をユーザに提供することができる。
【０００９】
したがって、本発明のサーバ装置は、書籍、新聞、パンフレット、雑誌、単行本、チケット等の印刷物に対してユーザが印刷物の媒体に関する情報を調べたいときに、通信端末装置が備えるカメラで印刷物の媒体の画像を読み取るだけで、通信端末装置を介して印刷物の媒体に関する情報を媒体に埋め込まれた情報としてユーザに提供することができる。その結果、印刷物の媒体を変えることなく、また、既に印刷された印刷物に対しても、印刷物の媒体に関連するＵＲＬ、テキスト、画像、動画、音声等の情報に興味があるユーザに対して該情報を提供することができ、ユーザはその情報を閲覧することができる。
【００１０】
（２）また、本発明のサーバ装置は、前記受信手段が、前記撮像画像特徴量データとともに、該撮像画像特徴量データに関連付ける媒体に関する媒体関連情報を前記通信端末装置から受信した場合に、前記撮像画像特徴量データを前記媒体の画像特徴量データとして、媒体関連情報と関連付けて記録する記録手段をさらに備える構成を有している。
【００１１】
この構成により、本発明のサーバ装置は、通信端末装置が備えるカメラでユーザが撮影した媒体の画像に対する撮影画像特徴量データとともに、その媒体にユーザが埋め込みたい情報（関連付けたい情報）として媒体に関する媒体関連情報を受信することにより、撮影画像特徴量データを媒体の画像特徴量データとして、媒体関連情報と関連付けてデータベースに記録することができる。したがって、他のユーザが同一の媒体の画像を通信端末装置が備えるカメラで撮影した場合に、その媒体の画像特徴量データに関連付けてデータベースに記録された媒体関連情報を他のユーザに提供することができ、他のユーザがその情報を閲覧することができる。
【００１２】
（３）また、本発明のサーバ装置は、通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データを前記通信端末装置から受信する受信手段と、前記画像データに基づいて、前記媒体の画像における複数の特徴点を検出し、検出した前記複数の特徴点の局所不変特徴量を算出する算出手段と、データベースに記録されている各媒体の画像特徴量データに基づいて、算出した前記複数の特徴点の局所不変特徴量の一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定手段と、前記複数の特徴点の局所不変特徴量の一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記複数の特徴点の局所不変特徴量の一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信手段と、を備える構成を有している。
【００１３】
この構成により、本発明のサーバ装置は、通信端末装置が備えるカメラでユーザが撮影することによって生成された媒体の画像データを受信することにより、該画像データに基づいて複数の特徴点の局所不変特徴量を算出し、複数の特徴点の局所不変特徴量の一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体関連情報を、媒体に埋め込まれた情報として取得し、媒体関連情報をユーザに提供することができる。
【００１４】
したがって、本発明のサーバ装置は、書籍、新聞、パンフレット、雑誌、単行本、チケット等の印刷物に対してユーザが印刷物の媒体に関する情報を調べたいときに、通信端末装置が備えるカメラで印刷物の媒体の画像を読み取るだけで、通信端末装置を介して印刷物の媒体に関する情報を媒体に埋め込まれた情報としてユーザに提供することができる。その結果、印刷物の媒体を変えることなく、また、既に印刷された印刷物に対しても、印刷物の媒体に関連するＵＲＬ、テキスト、画像、動画、音声等の情報に興味があるユーザに対して該情報を提供することができ、ユーザはその情報を閲覧することができる。
【００１５】
（４）また、本発明のサーバ装置は、前記受信手段が、前記画像データとともに、該画像データに関連付ける媒体に関する媒体関連情報を前記通信端末装置から受信した場合に、前記算出手段が、前記画像データに基づいて、前記媒体の画像における複数の特徴点を検出し、検出した前記複数の特徴点の局所不変特徴量を算出し、前記サーバ装置は、算出した前記複数の特徴点の局所不変特徴量を含むデータを媒体の画像特徴量データとして、前記媒体関連情報と関連付けて記録する記録手段をさらに備える構成を有している。
【００１６】
この構成により、本発明のサーバ装置は、通信端末装置が備えるカメラでユーザが撮影することによって生成された媒体の画像データとともに、その媒体にユーザが埋め込みたい情報（関連付けたい情報）として媒体に関する媒体関連情報を受信することにより、媒体の画像データに基づいて媒体の画像に対する複数の特徴点の局所不変特徴量を算出し、複数の特徴点の局所不変特徴量を含むデータを媒体の画像特徴量データとして、媒体関連情報と関連付けてデータベースに記録することができる。したがって、他のユーザが同一の媒体の画像を通信端末装置が備えるカメラで撮影した場合に、その媒体の画像特徴量データに関連付けてデータベースに記録された媒体関連情報を他のユーザに提供することができ、他のユーザがその情報を閲覧することができる。
【００１７】
（５）また、本発明のサーバ装置は、前記複数の特徴点の局所不変特徴量が、媒体の一部を撮影することによって生成された画像データに基づいて、検出された媒体の一部の画像における複数の特徴点から算出された局所不変特徴量を含む構成を有している。
【００１８】
この構成により、本発明のサーバ装置は、通信端末装置が備えるカメラでユーザが撮影した画像が印刷物の媒体の一部であっても、それに基づいて通信端末装置が算出した撮影画像特徴量データの一部又は全部を有する１又は２以上の媒体の画像特徴量データに関連付けられた１又は２以上の媒体に関する情報の全てを、通信端末装置を介してユーザに提供することができる。したがって、ユーザは、カメラによって媒体の全体画像を撮影できるようにカメラの位置を調整したり、媒体の全体をカメラでなぞりながら媒体全体の動画撮影を行ったりするといった煩雑な作業が必要なくなり、利便性を向上させることができる。また、ユーザに対して撮影した印刷物の媒体に関する情報を迅速に提供することができる。
【００１９】
（６）また、上述した課題を解決するため、本発明のプログラムは、通信端末装置に情報を提供するサーバ装置を、通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データに基づいて、検出された前記媒体の画像における複数の特徴点から算出された複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、前記通信端末装置から受信する受信手段、データベースに記録されている各媒体の画像特徴量データに基づいて、前記受信手段が受信した前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定手段、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信手段、として機能させる構成を有している。
【００２０】
この構成により、本発明のプログラムは、サーバ装置によって、通信端末装置が備えるカメラでユーザが撮影した画像に対する撮影画像特徴量データを受信し、撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体関連情報を、媒体に埋め込まれた情報として取得し、媒体関連情報をユーザに提供することができる。
【００２１】
したがって、本発明のプログラムは、サーバ装置によって、書籍、新聞、パンフレット、雑誌、単行本、チケット等の印刷物に対してユーザが印刷物の媒体に関する情報を調べたいときに、通信端末装置が備えるカメラで印刷物の媒体の画像を読み取るだけで、通信端末装置を介して印刷物の媒体に関する情報を媒体に埋め込まれた情報としてユーザに提供することができる。その結果、印刷物の媒体を変えることなく、また、既に印刷された印刷物に対しても、印刷物の媒体に関連するＵＲＬ、テキスト、画像、動画、音声等の情報に興味があるユーザに対して該情報を提供することができ、ユーザはその情報を閲覧することができる。
【００２２】
（７）また、上述した課題を解決するため、本発明の通信方法は、通信端末装置が備えるカメラでユーザが媒体を撮影することによって生成された画像データに基づいて、検出された前記媒体の画像における複数の特徴点から算出された複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、前記通信端末装置から受信する受信工程と、データベースに記録されている各媒体の画像特徴量データに基づいて、前記受信手段が受信した前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在するか否かを判定する判定工程と、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データが前記データベースに存在すると判定した場合に、前記撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベースに記録されている媒体に関する媒体関連情報を前記通信端末装置に送信する送信工程と、を含む構成を有している。
【００２３】
この構成により、本発明の通信方法は、サーバ装置３０が、通信端末装置１０が備えるカメラでユーザが撮影した画像に対する撮影画像特徴量データを受信することにより、撮影画像特徴量データの一部又は全部を有する媒体の画像特徴量データに関連付けてデータベース３３０に記録されている媒体関連情報を、媒体に埋め込まれた情報として取得し、媒体関連情報をユーザに提供することができる。
【００２４】
したがって、本発明の通信方法は、書籍、新聞、パンフレット、雑誌、単行本、チケット等の印刷物に対してユーザが印刷物の媒体に関する情報を調べたいときに、通信端末装置が備えるカメラで印刷物の媒体の画像を読み取るだけで、通信端末装置を介して印刷物の媒体に関する情報を媒体に埋め込まれた情報としてユーザに提供することができる。その結果、印刷物の媒体を変えることなく、また、既に印刷された印刷物に対しても、印刷物の媒体に関連するＵＲＬ、テキスト、画像、動画、音声等の情報に興味があるユーザに対して該情報を提供することができ、ユーザはその情報を閲覧することができる。
【発明の効果】
【００２５】
本発明に係るサーバ装置、プログラム及び通信方法は、印刷物の媒体を変えることなく、既に印刷された印刷物に対しても、印刷物の媒体の画像を読み取ることによって、印刷物の媒体に関連する情報をユーザに提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態における通信システムの構成を示すシステム構成図である。
【図２】一実施形態における通信端末装置の構成を示すブロック図である。
【図３】一実施形態におけるサーバ装置の構成を示すブロック図である。
【図４】一実施形態におけるサーバ装置内の特徴量データＤＢに記録される各紙面の画像特徴量データと該紙面に関する紙面関連情報を関連付けた情報の一例を示す図である。
【図５】一実施形態におけるサーバ装置内の特徴量データＤＢに記録される各紙面の画像特徴量データの一例を示す図である。
【図６】一実施形態の通信システムにおいて実行される紙面関連情報表示処理を示すフローチャート（その１）である。
【図７】一実施形態の通信システムにおいて実行される紙面関連情報表示処理を示すフローチャート（その２）である。
【図８】一実施形態の通信システムにおいて実行される、紙面の撮影画像特徴量データとその紙面に関する情報とを関連付けて記録する処理を示すフローチャートである。
【図９】一変形例におけるサーバ装置内のデータベースに記録される印刷物関連情報の一例を示す図である。
【図１０】一変形例におけるサーバ装置内のデータベースに記録される画像特徴量データの階層化情報の一例を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、通信端末装置と、当該通信端末装置とネットワークを介して接続されるサーバ装置と、を有する通信システムに対し、本発明に係る、サーバ装置、プログラム及び通信方法を適用した場合の実施形態である。また、以下の実施形態においては、媒体が紙媒体である場合について説明するが、媒体は、例えば、プラスチック、布、不織布、金属、木材、ガラス、陶器、石材等の文字や図形等が記された媒体であれば特に制限されるものではない。
【００２８】
［１］通信システムの構成及び概要
まず、図１を用いて本実施形態における通信システム１の構成及び概要について説明する。なお、図１は、本実施形態における通信システム１の構成を示すシステム構成図である。また、図が煩雑になることを防止するために、図１においては、一部のユーザとそのユーザが所有する通信端末装置のみを示している。すなわち、実際の通信システム１においては、表示するよりも多数のユーザ及び通信端末装置１０が存在している。
【００２９】
本実施形態の通信システム１は、書籍、単行本、パンフレット、チケット等の印刷物の紙面に関連する紙面関連情報の閲覧を希望するユーザが、通信端末装置１０が備えるカメラで紙面を撮影することにより、紙面関連情報をユーザに提供することができるシステムである。
【００３０】
特に、通信システム１は、印刷物の紙面に情報を埋め込むことなく、既に印刷された印刷物に対しても、印刷物の紙面の画像を読み取ることによって紙面関連情報をユーザに提供することが可能なシステムである。
【００３１】
また、本実施形態の通信システム１は、ＳＮＳその他のネットワークサービスによって紙面関連情報を会員であるユーザに閲覧可能に提供するシステムである。なお、以下においては、通信システム１が、会員であるユーザに対して紙面関連情報を閲覧可能に提供するシステムについて説明するが、通信システム１は、非会員のユーザに対して紙面関連情報を閲覧させるようにしてもよい。
【００３２】
具体的には、本実施形態の通信システム１は、図１に示すように、各ユーザによってそれぞれ所持される、複数の通信端末装置１０と、ネットワーク２０と、サーバ装置３０と、ネットワーク２０に接続された基地局ＢＳと、を有している。
【００３３】
なお、ネットワーク２０は、例えば、携帯電話網を含む公衆電話網と、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークが相互接続されて構成される。ただし、当該ネットワーク２０の構成は、これに限られない。
【００３４】
通信端末装置１０は、通信機能及び撮影機能を有する装置、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、携帯用電話機、タブレット型情報端末装置、携帯型ゲーム機などである。
【００３５】
また、通信端末装置１０は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等のマークアップ言語によって記述されているＷＷＷシステム用のリソースデータと、当該リソースデータのネットワークアドレスを示す固有のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）とを用いつつ、サーバ装置３０とのデータ通信を行うブラウジング機能を有している。
【００３６】
そして、通信端末装置１０は、ＳＮＳの種々の機能を利用するために、または、サーバ装置３０との間で通信を行うために、予め定められた通信端末装置１０毎の固有の識別情報（以下、単に「端末ＩＤ」という。）を用いる。また、通信端末装置１０は、ブラウジング機能を用いて、サーバ装置３０から受信したＸＭＬデータに基づいて各種情報を表示するとともに、基地局ＢＳ及びネットワーク２０を介してサーバ装置３０と通信接続しつつ、サーバ装置３０からＳＮＳなどの各種サービスの提供を受けるようになっている。なお、サーバ装置３０との通信接続は、予め定められた条件、例えば、ログイン条件を具備し、ログインされた通信端末装置１０に対して認められるようになっている。
【００３７】
一方、通信端末装置１０は、レンズ等を含む光学系及び撮像素子を有する撮像部（カメラ）を備え、撮影を実行可能に構成されている。具体的には、通信端末装置１０は、印刷物の紙面を静止画又は動画で撮影するためのアプリケーション（以下、「撮影アプリケーション」という。）を用いて、ユーザが印刷物の撮影を行うことにより、撮像部の出力に基づいて、静止画像のデータ、又は、動画を構成する各フレームを個々の画像データとして生成して、メモリなどの記憶領域に記録する構成を有している。
【００３８】
通信端末装置１０は、静止画像データ、又は動画を構成する各フレームの画像データにおいて、画像に写っている対象物の位置を決定できる複数の特徴点を検出し、検出された複数の特徴点に対して特徴点を中心とする局所領域の不変な画像特徴量（局所不変特徴量）を算出する構成を有している。
【００３９】
また、通信端末装置１０は、印刷物の紙面の画像における複数の特徴点の局所不変特徴量を算出すると、複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、サーバ装置３０に送信する処理を実行する。そして、通信端末装置１０は、サーバ装置３０への撮影画像特徴量データの送信に応じて、サーバ装置３０から受信した印刷物の紙面に関する情報（以下、「紙面関連情報」ともいう。）をユーザに閲覧可能に表示する処理（以下、「紙面関連情報表示処理」という。）を実行する。なお、紙面関連情報は、例えば、ＵＲＬ、テキスト、画像、動画、音声等の情報である。
【００４０】
その他、通信端末装置１０は、ユーザが撮影した紙面の画像に対する撮影画像特徴量データとともに、該紙面の画像に対してユーザが関連付けたい紙面関連情報をサーバ装置３０に送信する処理を実行する。紙面関連情報は、例えば、ＵＲＬ、テキスト、画像、動画、音声等の情報である。
【００４１】
なお、紙面関連情報としては、印刷物や印刷物の紙面に記載された内容によって異なるが、例えば、印刷物が書籍や単行本等であって紙面が表表紙、裏表紙、背表紙、書籍や単行本の題名を明示した扉ページ、奥付等である場合、書籍や単行本の内容に関する情報、書籍や単行本の最新版の情報、書籍や単行本の著者の異なる書籍情報等を挙げることができ、紙面が書籍や単行本の部／章／話を明示した扉ページである場合、各部／各章／各話の内容に関する情報、各部／各章／各話に含まれる各ページの内容に関する情報等を挙げることができる。印刷物がパンフレットである場合、パンフレットに記載の内容に関する情報、パンフレットの発行者が発行している他のパンフレット情報等を挙げることができる。印刷物がチケットである場合、イベントに関する情報、イベント会場までの地図情報、イベント会場周辺の宿泊施設情報や駐車場情報、イベント会場で購入できる商品の詳細情報、イベントに出演する出演者の他のイベント情報等を挙げることができる。
【００４２】
サーバ装置３０は、ＳＮＳ等の各種ネットワークサービスを提供しつつ、通信端末装置１０を介したユーザの指示に基づき、通信端末装置１０と連携しつつ、各種処理を実行する。
【００４３】
特に、サーバ装置３０は、通信端末装置１０から撮影画像特徴量データを受信すると、データベース３３０に記録されている各印刷物の各紙面の画像特徴量データに基づいて、撮影画像特徴量データを有する紙面の画像特徴量データがデータベース３３０に存在するか否かを判定する処理を実行する。
【００４４】
また、サーバ装置３０は、撮影画像特徴量データを有する紙面の画像特徴量データがデータベース３３０に存在すると判定した場合には、撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を通信端末装置１０に送信する処理を実行する。
【００４５】
一方、サーバ装置３０は、撮影画像特徴量データと、それに関連付ける紙面関連情報とを通信端末装置１０から受信すると、撮影画像特徴量データを紙面の画像特徴量データとして、紙面関連情報と関連付けてデータベース３３０に記録する処理を実行する。
【００４６】
本実施形態では、各印刷物の各紙面の画像特徴量データ及びそれらに関連付けられた紙面関連情報を記録するデータベース３３０をサーバ装置３０内に設けているが、サーバ装置３０とはネットワーク上において別個独立に構成してもよい。
【００４７】
また、サーバ装置３０は、データベース３３０に紙面の画像特徴量データと紙面関連情報とを関連付けて記録した場合に、サーバ装置３０は通信端末装置１０にその旨の通知を送信する。
【００４８】
このような構成を有することによって、本実施形態の通信システム１は、印刷物の紙面に関連する紙面関連情報の閲覧を希望するユーザが、通信端末装置１０が備えるカメラで撮影することによって生成された紙面の画像データに基づいて、通信端末装置１０が算出した複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとしてサーバ装置３０が受信することにより、撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面に関する情報を取得することができるようになっている。
【００４９】
すなわち、本実施形態の通信システム１は、サーバ装置３０が、通信端末装置１０が備えるカメラでユーザが撮影した画像に対する撮影画像特徴量データを受信することにより、撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を、紙面に埋め込まれた情報として取得し、紙面関連情報をユーザに提供することができる。
【００５０】
したがって、本実施形態の通信システム１は、書籍、新聞、パンフレット、雑誌、単行本、チケット等の印刷物に対してユーザが印刷物の紙面に関する情報を調べたいときに、通信端末装置が備えるカメラで印刷物の紙面の画像を読み取るだけで、通信端末装置を介して印刷物の紙面に関する情報を紙面に埋め込まれた情報としてユーザに提供することができる。その結果、印刷物の紙面を変えることなく、また、既に印刷された印刷物に対しても、印刷物の紙面に関連するＵＲＬ、テキスト、画像、動画、音声等の情報に興味があるユーザに対して該情報を提供することができ、ユーザはその情報を閲覧することができる。
【００５１】
また、通信システム１は、サーバ装置３０が、通信端末装置１０が備えるカメラでユーザが撮影した紙面の画像に対する撮影画像特徴量データとともに、その紙面にユーザが埋め込みたい情報（関連付けたい情報）として紙面に関する紙面関連情報を受信することにより、撮影画像特徴量データを紙面の画像特徴量データとして、紙面関連情報と関連付けてデータベースに記録することができる。したがって、通信システム１は、他のユーザが同一の紙面の画像を通信端末装置１０が備えるカメラで撮影した場合に、その紙面の画像特徴量データに関連付けてデータベース３３０に記録された紙面関連情報を他のユーザに提供することができるので、他のユーザがその情報を閲覧することができるようになる。
【００５２】
［２］通信端末装置
図２を用いて本実施形態の各通信端末装置１０の構成について説明する。なお、図２は、本実施形態の通信端末装置１０の構成を示す構成図である。
【００５３】
本実施形態の通信端末装置１０は、図２に示すように、記録部１００と、ネットワーク通信部１１０と、撮像部１３０と、端末データ処理部１４０と、表示部１５０と、表示制御部１６０と、操作部１７０と、端末管理制御部１８０と、を有している。なお、上記の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。
【００５４】
記録部１００は、例えば、ハードディスクドライブ（以下、「ＨＤＤ」と略す。）、又は、ＮＡＮＤ型、ＮＯＲ型等の不揮発性フラッシュメモリによって構成される。また、記録部１００は、ネットワーク通信部１１０、及び、端末管理制御部１８０のワークエリアとしてＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）も含まれる。
【００５５】
また、記録部１００は、アプリケーション記録部１０１と、画像データ記録部１０２と、紙面関連情報記録部１０３と、を少なくとも含む。
【００５６】
アプリケーション記録部１０１には、撮影アプリケーションなど端末データ処理部１４０、及び、端末管理制御部１８０によって実行される様々なアプリケーションプログラム（以下、「アプリケーション」という。）が記録されている他に、上記ブラウジング機能を実現するためのブラウザ用のプログラムも記録されている。また、アプリケーション記録部１０１には、ユーザ名、サーバ装置３０が提供する各種のネットワークサービス（例えばＳＮＳなど）を享受するためのユーザＩＤ、当該通信端末装置１０を一意に識別するための端末ＩＤ、当該ユーザに関するユーザ登録情報が記録されている。
【００５７】
画像データ記録部１０２には、撮影アプリケーションの起動中に撮影された印刷物の紙面の画像データなどが記録される。なお、画像データ記録部１０２は、ユーザがアクセス可能なアクセス領域であってもよいし、ユーザがアクセス不可能なアクセス不可領域であってもよい。
【００５８】
紙面関連情報記録部１０３には、撮影アプリケーションの起動中に撮影された印刷物の紙面の画像の一部又は全体に対する撮影画像特徴量データに関連付ける、印刷物の紙面に関する紙面関連情報や、サーバ装置３０から受信した、該撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報などが記録される。
【００５９】
ネットワーク通信部１１０は、基地局ＢＳの準拠する通信規格により、基地局ＢＳと無線通信チャネルを構築し、ネットワーク２０を経由して、サーバ装置３０と、各種データの授受を行う。特に、ネットワーク通信部１１０は、撮影アプリケーションの起動中に撮影された印刷物の紙面の画像の一部又は全体に対する撮影画像特徴量データ、該撮影画像特徴量データに関連付ける、印刷物の紙面に関する紙面関連情報等をサーバ装置３０へ送信する。
【００６０】
ネットワーク通信部１１０は、撮影画像特徴量データとして、例えば、印刷物の紙面の静止画像データ、又は印刷物の紙面を撮影した動画を構成する各フレームの画像データにおいて、画像に写っている対象物の位置を決定できる複数の特徴点に対して、特徴点を中心とする局所領域の不変な画像特徴量（局所不変特徴量）を含むデータをサーバ装置３０へ送信する。
【００６１】
また、ネットワーク通信部１１０は、サーバ装置３０への撮影画像特徴量データを送信した後、サーバ装置３０から撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を受信する。ネットワーク通信部１１０は、受信した紙面関連情報を表示部１５０で表示させるために、紙面関連情報記録部１０３に供給する。
【００６２】
なお、基地局ＢＳの準拠する通信規格はネットワーク２０の構成により変化する。例えば、ネットワーク２０が携帯電話網を含む場合に、３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐｅｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）又は３ＧＰＰ２、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）などの通信規格に準拠することになる。
【００６３】
撮像部１３０は、被写体を撮像するためのレンズ等の光学系及び撮像素子を有する。撮像素子の出力信号は端末データ処理部１４０へ送信される。
【００６４】
端末データ処理部１４０は、アプリケーション記録部１０１に記録されているアプリケーションに応じて各種データ処理を実行する。特に、端末データ処理部１４０は、撮影アプリケーションの起動中にユーザが印刷物の紙面を撮影すると、
（１）印刷物の紙面の静止画の画像データ、又は印刷物の紙面を撮影した動画を構成する各フレームの画像データを生成する生成処理、
（２）（１）で生成した画像データを画像データ記録部１０２に記録する記録処理、
（３）画像データに基づいて、画像に写っている対象物の位置を決定できる複数の特徴点を検出し、検出された複数の特徴点に対して特徴点を中心とする局所領域の不変な画像特徴量（局所不変特徴量）を算出する算出処理、
（４）（３）で算出した印刷物の紙面の画像に対する複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとしてサーバ装置３０へ送信する送信処理、
（５）サーバ装置３０から撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を受信する受信処理、
（６）受信した紙面関連情報を表示制御部１６０に供給し、紙面関連情報を示す表示データの生成を指示する指示処理、
を実行する。
【００６５】
その他、端末データ処理部１４０は、撮影アプリケーションの起動中にユーザが印刷物の紙面を撮影する前後に、該紙面に関する紙面関連情報を入力した場合には、上記（１）の生成処理、上記（２）の記録処理、及び上記（３）の算出処理が行われる間、あるいは前後に、紙面関連情報を記録する処理を実行し、上記（４）の撮影画像特徴量データに関連付ける紙面関連情報として、該撮影画像特徴量データとともにサーバ装置３０へ送信する処理を実行する。また、端末データ処理部１４０は、サーバ装置３０から撮影画像特徴量データを紙面の画像特徴量データとして、紙面関連情報と関連付けて記録した旨の通知を受信する受信処理、及び、該通知を表示制御部１６０に供給し、該通知を示す表示データの生成を指示する指示処理を実行する。
【００６６】
また、端末データ処理部１４０は、画像データ生成部１４１と、算出部１４２と、データ処理部１４３と、を少なくとも含む。
【００６７】
画像データ生成部１４１は、例えば、撮像部１３０から受信した撮像素子の出力信号をＡＤ変換して画像データを生成する。特に、画像データ生成部１４１は、撮像部１３０が印刷物の紙面を静止画又は動画で撮影した場合、撮影した静止画像又は撮影した動画を構成する各フレームの画像データを生成する。画像データ生成部１４１が生成した画像データは画像データ記録部１０２に供給され、記録される。
【００６８】
算出部１４２は、画像データ生成部１４１が画像データを生成した場合、当該画像データが示す印刷物の紙面の画像から、画像に写っている対象物の位置を決定できる複数の特徴点を検出し、検出された複数の特徴点に対して特徴点を中心とする局所領域の不変な画像特徴量（局所不変特徴量）を算出する。具体的には、算出部１４２は、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）等のアルゴリズムによって印刷物の紙面の画像における複数の特徴点を検出し、複数の特徴点の局所不変特徴量を算出する。その他、算出部１４２は、Ｈａｒｒｉｓコーナ検出、ＬｏＧ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）等のアルゴリズムによって印刷物の紙面の画像における複数の特徴点を検出し、ＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）、ＧＬＯＨ（Ｇｒａｄｉｅｎｔ  Ｌｏｃａｔｉｏｎ  ａｎｄ  Ｏｒｉｅｎｔａｔｉｏｎ  Ｈｉｓｔｏｇｒａｍ）等のアルゴリズムによって局所不変特徴量を算出してもよい。
【００６９】
データ処理部１４３は、算出部１４２が算出した印刷物の紙面の画像に対する複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとして、ネットワーク通信制御部１１０を介してサーバ装置３０に送信されるように送信処理を実行する。また、データ処理部１４３は、サーバ装置３０から、撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を受信すると、紙面関連情報記録部１０３に記録する処理を行うとともに、受信した紙面関連情報を表示制御部１６０に供給し、紙面関連情報を示す表示データの生成を指示する処理を実行する。その他、データ処理部１４３は、撮影アプリケーションの起動中にユーザが印刷物の紙面を撮影する前後に、該紙面に関する紙面関連情報を入力したことを検出した場合には、紙面関連情報を紙面関連情報記録部１０３に記録する処理を行い、撮影画像特徴量データに関連付ける紙面関連情報として、該撮影画像特徴量データとともにサーバ装置３０へ送信する処理を行なう。
【００７０】
表示部１５０は、例えば、液晶素子又は有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部１６０において生成された表示データに基づいて所定の画像を表示する。
【００７１】
表示制御部１６０は、表示部１５０に表示させるために必要な表示データを生成するように構成されており、生成された表示データを当該表示部１５０に出力する。特に、表示制御部１６０は、印刷物の紙面に関する紙面関連情報を取得したいのか、あるいは、印刷物の紙面に対して該紙面に関する紙面関連情報を埋め込み（関連付け）、他人に共有したいのかを選択するための画面データ、ネットワーク通信部１１０を介してサーバ装置３０から受信した紙面関連情報を示す表示データ、ユーザが撮影アプリケーションの起動中に撮影した印刷物の紙面の画像の一部又は全体に対する撮影画像特徴量データに埋め込みたい（関連付けたい）該紙面に関する紙面関連情報を設定するための画面データ等を生成する。
【００７２】
操作部１７０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキーなどの多数のキー及びタッチパネルにより構成され、各操作を行う際に用いられるようになっている。
【００７３】
端末管理制御部１８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、記録部１００に記録された各種のアプリケーションを実行することにより、通信端末装置１０の全般的な機能を総括的に制御する。
【００７４】
特に、端末管理制御部１８０は、アプリケーション記録部１０１に記憶された各種アプリケーションに基づいて、全体の制御及び各処理の実行を監視する。例えば、端末管理制御部１８０は、操作部１７０に対するユーザの入力操作を認識すると、アプリケーション記録部１０１からユーザＩＤを読み出してＳＮＳへのログインを行う。
【００７５】
［３］サーバ装置
次に、図３〜図５の各図を用いて本実施形態のサーバ装置３０の構成について説明する。なお、図３は、本実施形態のサーバ装置３０の構成を示すブロック図であり、図４は、本実施形態のサーバ装置３０内の特徴量データＤＢ３３２に記録される各紙面の画像特徴量データと該紙面に関する紙面関連情報を関連付けた情報の一例を示す図であり、図５は、本実施形態のサーバ装置３０内の特徴量データＤＢ３３２に記録される各紙面の画像特徴量データの一例を示す図である。
【００７６】
本実施形態のサーバ装置３０は、図３に示すように、通信制御部３１０と、ＲＯＭ／ＲＡＭ３２０と、記録装置３３０と、サーバデータ処理部３４０と、サーバ管理制御部３５０と、を有する。なお、上記の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。
【００７７】
なお、例えば、通信制御部３１０は、本発明に係るサーバ装置３０の受信手段及び送信（提供）手段を構成し、記録装置３３０は、本発明に係るサーバ装置３０のデータベースを構成し、さらに、本発明に係るサーバ装置３０の記録手段を構成する。また、例えば、サーバデータ処理部３４０は、本発明に係るサーバ装置３０の判定手段を構成する。
【００７８】
通信制御部３１０は、所定のネットワークインターフェースであり、通信端末装置１０と通信チャネルを構築し、各種のデータの授受を行う。特に、通信制御部３１０は、撮影画像特徴量データや、その撮影画像特徴量データとともに紙面関連特徴量データ等を通信端末装置１０から受信する。また、通信制御部３１０は、撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を通信端末装置１０に送信する。
【００７９】
ＲＯＭ／ＲＡＭ３２０には、サーバ装置３０の駆動に必要な各種のプログラムが記録されている。また、ＲＯＭ／ＲＡＭ３２０には、サーバデータ処理部３４０、及び、サーバ管理制御部３５０によって実行される様々なアプリケーションが記録されている。そして、ＲＯＭ／ＲＡＭ３２０は、各種の処理が実行される際のワークエリアとして用いられる。
【００８０】
サーバ管理制御部３５０は、主に中央演算処理装置（ＣＰＵ）によって構成され、プログラムを実行することによって、サーバ装置３０の各部を統合制御する。例えば、サーバ管理制御部３５０は、記録装置３３０と連動し、ユーザの操作による通信端末装置１０からのログイン要求に基づいて各ユーザの各種のネットワークサービス（例えばＳＮＳなど）へのログイン処理を行う。
【００８１】
記録装置３３０は、ＨＤＤまたはＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）により構成され、その記録領域内に、少なくとも会員ＤＢ３３１と、特徴量データＤＢ３３２と、紙面関連情報ＤＢ３３３とを有している。
【００８２】
会員ＤＢ３３１は、ＳＮＳの各ユーザの情報を管理するための各種情報が格納されるデータベースである。例えば、会員ＤＢ３３１には、ユーザＩＤ、端末ＩＤ、ユーザ登録情報等が対応付けて登録（記録）される。
【００８３】
特徴量データＤＢ３３２は、印刷物の各紙面の一部又は全部の画像に対する画像特徴量データと、各紙面に関する紙面関連情報とを関連付けた情報の一例として、図４に示すように、各画像特徴量データと紙面関連情報とが対応付けて登録（記録）される。
【００８４】
また、特徴量データＤＢは、印刷物の各紙面の一部又は全部の画像に対する画像特徴量データの一例として、図５に示すように、印刷物の紙面の一部又は全部の画像に基づいて抽出された、画像に写っている対象物の位置を決定できる複数の特徴点に対して、
（１）画像に写っている対象物の位置を決定できる特徴点のｘ座標及びｙ座標
（２）特徴点を中心とする局所領域の拡大／縮小の倍率（スケール）
（３）局所領域の回転角度
（４）局所領域を一辺４ブロックの１６ブロックに分割し、ブロックごとに８方向（４５度ずつ）の勾配方向のヒストグラムを算出することで得られた１２８次元のＳＩＦＴ特徴量
等の局所不変特徴量がそれぞれ対応付けて登録（記録）される。
【００８５】
なお、各紙面の画像特徴量データは、印刷物の紙面の一部又は全部の画像に基づいて、画像に写っている対象物の位置を決定できる複数の特徴点を抽出し、その抽出された複数の特徴点に対して特徴点を中心とする局所領域の不変な画像特徴量（局所不変特徴量）を算出することによって得られた複数の特徴点の局所不変特徴量のデータを含む。印刷物の紙面の一部又は全部の画像に対する複数の特徴点の局所不変特徴量は、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）等のアルゴリズムによって得ることができる。その他、Ｈａｒｒｉｓコーナ検出、ＬｏＧ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎ）等のアルゴリズムによって印刷物の紙面の画像における複数の特徴点を検出し、ＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）、ＧＬＯＨ（Ｇｒａｄｉｅｎｔ  Ｌｏｃａｔｉｏｎ  ａｎｄ  Ｏｒｉｅｎｔａｔｉｏｎ  Ｈｉｓｔｏｇｒａｍ）等のアルゴリズムによっても得ることができる。
【００８６】
紙面関連情報ＤＢ３３３は、印刷物の各紙面の一部又は全部の画像に対する画像特徴量データに関連付けられた紙面関連情報が格納されるデータベースである。例えば、紙面関連情報ＤＢ３３３には、紙面に関する情報が開示されたサイトのＵＲＬ、紙面に関する情報が記載されたテキストデータ、紙面に関する情報が画像化された画像データ、紙面に関する情報が録画された動画データ、紙面に関する情報が録音された音声データ等が登録（記録）される。
【００８７】
なお、記録装置３３０の各ＤＢに格納される上述の情報の項目は一例であり、ネットワークサービス等の状況にあわせて、上述の項目と別の項目がＤＢに追加されたり、上述の項目のうちのいくつかの項目が削除されたりしてもよい。
【００８８】
サーバデータ処理部３４０は、ＲＯＭ／ＲＡＭ３２０に記録されているアプリケーションに応じて各種データ処理を実行する。特に、サーバデータ処理部３４０は、判定部３４１と、記録部３４２と、を含む。なお、例えば、本実施形態の判定部３４１及び記録部３４２は、それぞれ本発明の記録手段及び判定手段を構成する。
【００８９】
判定部３４１は、例えば、通信制御部３１０を介して通信端末装置１０から受信したデータが、撮影画像特徴量データ以外にその撮影画像特徴量データに関連付ける紙面関連情報を含んでいないと判断した場合には、特徴量データＤＢ３３２に記録されている印刷物の各紙面の一部又は全部の画像に対する画像特徴量データに基づいて、受信した撮影画像特徴量データを有する紙面の画像特徴量データが特徴量データＤＢ３３２に存在するか否かを判定する。具体的には、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を取得するとともに、各紙面の画像特徴量データに含まれる複数の特徴点の局所不変特徴量を特徴量データＤＢ３３２から読み出し、撮影画像特徴量データと各紙面の画像特徴量データに含まれる複数の特徴点の局所不変特徴量を比較して、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を全て有する紙面の画像特徴量データが存在するか否かを判定する。
【００９０】
なお、撮影画像特徴量データが印刷物の紙面全体の画像に対するものである場合には、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量と一致する紙面の画像特徴量データが存在するか否かを判定してもよい。
【００９１】
また、判定部３４１は、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を全て有する紙面の画像特徴量データが存在すると判定した場合には、各紙面の画像特徴量データと各紙面関連情報とを関連付けた情報を参照して、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を全て有する紙面の画像特徴量データに関連付けられた紙面関連情報を紙面関連情報ＤＢ３３３から読み出し、通信制御部３１０に供給する。なお、紙面関連情報を受領した通信制御部３１０は、撮影画像特徴量データを送信してきた通信端末装置１０に対して紙面関連情報を紙面に埋め込まれた情報として送信する。
【００９２】
その他、記録部３４２は、判定部３４１が、例えば、通信制御部３１０を介して通信端末装置１０から受信したデータが、撮影画像特徴量データ以外にその撮影画像特徴量データに関連付ける紙面関連情報を含んでいると判断した場合に、撮影画像特徴量データを紙面の画像特徴量データとして、紙面関連情報と関連付けてデータベース３３０に記録する。具体的には、撮影画像特徴量データを紙面の画像特徴量データとして特徴量データＤＢ３３２に記録するとともに、該紙面の画像特徴量データと紙面関連情報とを関連付けた情報を特徴量データＤＢ３３２に記録し、紙面関連情報を紙面関連情報ＤＢ３３３に記録する。このように、ユーザが撮影した紙面の画像に対する撮影画像特徴量データと、該紙面の画像に対してユーザが埋め込みたい（関連付けたい）紙面関連情報を関連付けてデータベース３３０に記録することにより、他のユーザが同一の紙面の画像を通信端末装置１０が備えるカメラで撮影した場合に、ユーザによってデータベースに記録された紙面関連情報を他のユーザに提供することができるようになる。
【００９３】
なお、記録部３４２は、同一の紙面の撮影画像特徴量データに対して同一の紙面関連情報がデータベース３３０に既に記録されていても、同一の情報をデータベース３３０に別途記録してもよいが、予め特徴量データＤＢ３３２に記録されている紙面の画像特徴量データと紙面関連情報とを関連付けた情報を参照して、通信端末装置１０から受信した撮影画像特徴量データと紙面関連情報との組合せが一致する情報が既に存在するか否かを判定し、存在すると判定した場合には、その情報を記録したと仮定して記録処理を終了してもよいし、その情報を同一の情報に更新する処理を行なってもよい。
【００９４】
また、記録部３４２は、予め特徴量データＤＢ３３２に記録されている紙面の画像特徴量データと紙面関連情報とを関連付けた情報を参照して、通信端末装置１０から受信した撮影画像特徴量データと紙面関連情報が一致する情報がそれぞれ存在するか否かを判定し、撮影画像特徴量データとは一致するが、その撮影画像特徴量データに関連付けた紙面関連情報とは一致しない情報が存在すると判定した場合には、撮影画像特徴量データと一致する紙面の画像特徴量データに関連付けて特徴量データＤＢ３３２に記録されている紙面関連情報に、通信端末装置１０から受信した紙面関連情報を付加する処理を行なってもよい。
【００９５】
［４］通信システムの動作
次に、図６〜図８を用いて本実施形態の通信システム１において実行される具体的な処理について説明する。なお、図６及び７は、本実施形態の通信システム１において実行される紙面関連情報表示処理を示すフローチャートである。また、図８は、本実施形態の通信システム１において実行される、紙面の撮影画像特徴量データとその紙面に関する情報とを関連付けて記録する処理を示すフローチャートである。
【００９６】
なお、これらの処理に先立って、各ユーザは、ＳＮＳの利用登録済みの状態、すなわち、会員ＤＢ３３１に各種の情報が登録済みの状態になっているものとする。ＳＮＳへの利用登録方法は、従来のＳＮＳと何ら変わらないので、説明を省略する。また、これらの処理に先立って、ユーザの通信端末装置１０は、ＳＮＳへのログインしているものとする。
【００９７】
まず、本実施形態の通信システム１において実行される紙面関連情報の表示処理について説明する。この処理に先立って、ユーザは、表示部１５０に表示された、印刷物の紙面に関する紙面関連情報を取得したいのか、あるいは、印刷物の紙面に対して該紙面に関する紙面関連情報を埋め込み（設定し）、他人に共有したいのかを選択する画面において、操作部１７０を操作することにより、印刷物の紙面に関する紙面関連情報を取得したいとの選択肢を選択したものとし、サーバ装置３０は、撮影画像特徴量データを受信する状態で待機する。
【００９８】
本動作において、通信端末装置１０の端末データ処理部１４０は、ユーザによる撮影指示の入力が操作部１７０に対してなされるのを待機しているものとする。
【００９９】
まず、ユーザによる撮影指示の入力待機状態において、画像データ生成部１４１は、操作部１７０に対するユーザ操作に基づいて撮影指示を検出すると（ステップＳ１００）、撮像部１３０を制御して印刷部の紙面の一部又は全部の撮影を実行し、撮影された紙面の画像データを生成する（ステップＳ１０１）。
【０１００】
次いで、画像データ生成部１４１は、生成した画像データを画像データ記録部１０２に記録する（ステップＳ１０２）。
【０１０１】
次いで、算出部１４２は、画像データに基づいて、画像に写っている対象物の位置を決定できる複数の特徴点を検出し、検出された複数の特徴点に対して特徴点を中心とする局所領域の不変な画像特徴量（局所不変特徴量）を算出する（ステップＳ１０３）。
【０１０２】
なお、複数の特徴点の局所不変特徴量には、上述のように、画像に写っている対象物の位置を決定できる特徴点のｘ座標及びｙ座標、特徴点を中心とする局所領域の拡大／縮小の倍率、局所領域の回転角度、局所領域を一辺４ブロックの１６ブロックに分割し、ブロックごとに８方向（４５度ずつ）の勾配方向のヒストグラムを算出することで得られた１２８次元のＳＩＦＴ特徴量が含まれる。
【０１０３】
次いで、データ処理部１４３は、ネットワーク通信部１１０を制御して、撮影された紙面の画像に対する複数の特徴点の局所不変特徴量を含むデータを撮影画像特徴量データとしてサーバ装置３０へ送信する（ステップＳ１０４）。このとき、端末データ処理部１４０は、サーバ装置３０からのデータ受信を待機する状態に移行する。
【０１０４】
次いで、サーバ装置３０において、通信制御部３１０が撮影画像特徴量データを受信すると（ステップＳ２００）、判定部３４１は、特徴量データＤＢ３３２に記録されている印刷物の各紙面の一部又は全部の画像に対する画像特徴量データを参照し、受信した撮影画像特徴量データを有する紙面の画像特徴量データが特徴量データＤＢ３３２に存在するか否かを判定する（ステップＳ２０１）。
【０１０５】
判定部３４１が、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を全て有する紙面の画像特徴量データが存在すると判定した場合には（ステップＳ２０１；Ｙｅｓ）、特徴量データＤＢ３３２に記録されている各紙面の画像特徴量データと各紙面関連情報とを関連付けた情報を参照して、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を全て有する紙面の画像特徴量データに関連付けられた紙面関連情報を紙面関連情報ＤＢ３３３から読み出す（ステップＳ２０２）。そして、通信制御部３１０は、判定部３４１が読み出した紙面関連情報を紙面に埋め込まれた情報として通信端末装置１０に送信し（ステップＳ２０３）、サーバ管理制御部３５０は、本動作を終了させる。
【０１０６】
一方、判定部３４１が、撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を全て有する紙面の画像特徴量データが存在しないと判定した場合には（ステップＳ２０１；Ｎｏ）、通信制御部３１０は、紙面関連情報が存在しない旨を通信端末装置１０に通知し（ステップＳ２０４）、サーバ管理制御部３５０は、本動作を終了させる。
【０１０７】
次いで、通信端末装置１０において、端末データ処理部１４０が、ネットワーク通信部１１０を介してサーバ装置３０から、紙面関連情報、又は紙面関連情報が存在しない旨の通知を受信すると（ステップＳ１０５）、表示制御部１６０は、紙面関連情報の表示データ、又は紙面関連情報が存在しないことを示す表示データを作成し、その表示データを表示部１５０に表示させる（ステップＳ１０６）。そして、端末管理制御部１８０は、本動作を終了させる。
【０１０８】
次に、本実施形態の通信システム１において実行される、紙面の撮影画像特徴量データとその紙面に関する情報とを関連付けて記録する処理について説明する。この処理に先立って、ユーザは、表示部１５０に表示された、印刷物の紙面に関する紙面関連情報を取得したいのか、あるいは、印刷物の紙面に対して該紙面に関する紙面関連情報を埋め込み（設定し）、他人に共有したいのかを選択する画面において、操作部１７０を操作することにより、印刷物の紙面に対して該紙面に関する紙面関連情報を埋め込み（設定し）、他人に共有したいとの選択肢を選択したものとし、サーバ装置３０は、撮影画像特徴量データと、それに関連付けたい紙面関連情報を受信する状態で待機する。
【０１０９】
本動作においても、通信端末装置１０の端末データ処理部１４０は、ユーザによる撮影指示の入力が操作部１７０に対してなされるのを待機しているものとする。
【０１１０】
まず、ユーザによる撮影指示の入力待機状態において、画像データ生成部１４１は、操作部１７０に対するユーザ操作に基づいて撮影指示を検出すると（ステップＳ１１０）、撮像部１３０を制御して印刷部の紙面の一部又は全部の撮影を実行し、撮影された紙面の画像データを生成する（ステップＳ１１１）。
【０１１１】
次いで、画像データ生成部１４１は、生成した画像データを画像データ記録部１０２に記録する（ステップＳ１１２）。
【０１１２】
次いで、算出部１４２は、画像データに基づいて、画像に写っている対象物の位置を決定できる複数の特徴点を検出し、検出された複数の特徴点に対して特徴点を中心とする局所領域の不変な画像特徴量（局所不変特徴量）を算出する（ステップＳ１１３）。
【０１１３】
次いで、データ処理部１４３は、ネットワーク通信部１１０を制御して、撮影された紙面の画像に対する複数の特徴点の局所不変特徴量を含む撮影画像特徴量データと、印刷物の紙面に対してユーザが埋め込みたい（関連付けて登録したい）として設定された該紙面に関する紙面関連情報とをサーバ装置３０へ送信する（ステップＳ１１４）。このとき、端末データ処理部１４０は、サーバ装置３０からの、撮影画像特徴量データと紙面関連情報とを関連付けて記録した旨の通知の受信を待機する状態に移行する。
【０１１４】
次いで、サーバ装置３０において、通信制御部３１０が撮影画像特徴量データと紙面関連情報とを受信すると（ステップＳ２１０）、判定部３４１は、撮影画像特徴量データを紙面の画像特徴量データとして特徴量データＤＢ３３２に記録するとともに、該紙面の画像特徴量データと紙面関連情報とを関連付けた情報を特徴量データＤＢ３３２に記録し、紙面関連情報を紙面関連情報ＤＢ３３３に記録する（ステップＳ２１１）。
【０１１５】
次いで、通信制御部３１０は、撮影画像特徴量データと紙面関連情報とを関連付けて記録した旨（記録完了）を通信端末装置１０に通知し（ステップＳ２１２）、サーバ管理制御部３５０は、本動作を終了させる。
【０１１６】
次いで、通信端末装置１０において、端末データ処理部１４０が、ネットワーク通信部１１０を介してサーバ装置３０から撮影画像特徴量データと紙面関連情報とを関連付けて記録した旨の通知を受信すると、表示制御部１６０は、その通知を示す表示データを作成し、その表示データを表示部１５０に表示させる。そして、端末管理制御部１８０は、本動作を終了させる。
【０１１７】
以上、本実施形態において、通信システム１及びサーバ装置３０は、通信端末装置１０が備えるカメラでユーザが撮影した画像に対する撮影画像特徴量データを受信することにより、撮影画像特徴量データを有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を、紙面に埋め込まれた情報として取得し、紙面関連情報をユーザに提供することができる。
【０１１８】
したがって、通信システム１及びサーバ装置３０は、書籍、新聞、パンフレット、雑誌、単行本、チケット等の印刷物に対してユーザが印刷物の紙面に関する情報を調べたいときに、通信端末装置が備えるカメラで印刷物の紙面の画像を読み取るだけで、通信端末装置を介して印刷物の紙面に関する情報を紙面に埋め込まれた情報としてユーザに提供することができる。その結果、印刷物の紙面を変えることなく、また、既に印刷された印刷物に対しても、印刷物の紙面に関連するＵＲＬ、テキスト、画像、動画、音声等の情報に興味があるユーザに対して該情報を提供することができ、ユーザはその情報を閲覧することができる。
【０１１９】
また、通信システム１及びサーバ装置３０は、通信端末装置１０が備えるカメラでユーザが撮影した紙面の画像に対する撮影画像特徴量データとともに、その紙面にユーザが埋め込みたい情報（関連付けたい情報）として紙面に関する紙面関連情報を受信することにより、撮影画像特徴量データを紙面の画像特徴量データとして、紙面関連情報と関連付けてデータベースに記録することができる。したがって、通信システム１は、他のユーザが同一の紙面の画像を通信端末装置１０が備えるカメラで撮影した場合に、その紙面の画像特徴量データに関連付けてデータベース３３０に記録された紙面関連情報を他のユーザに提供することができるので、他のユーザがその情報を閲覧することができるようになる。
【０１２０】
［５］変形例
［５．１］変形例１
上記実施形態においては、サーバ装置３０内に各ＤＢを設け、管理及び制御する構成としたが、各ＤＢの管理、制御主体となるコンピュータシステムは、各々、別個なコンピュータシステムによって稼働するようにしてもよい。また、各ＤＢの管理、制御主体となるコンピュータシステムは、ネットワーク２０を介して外部に設置されていてもよい。
【０１２１】
［５．２］変形例２
上記実施形態においては、撮影画像特徴量データと紙面関連情報とを関連付けて記録した場合に、サーバ装置３０から通信端末装置１０にその旨の通知を送信しているが、該通知をＳＮＳで掲示板に通知してユーザに提供してもよい。
【０１２２】
［５．３］変形例３
上記実施形態においては、版が異なる印刷物や同一の著者の異なる作品の印刷物は紙面（書影）が異なるため、各版の印刷物又は同一の著者による異なる各作品の印刷物の紙面の画像特徴量データにそれぞれ関連付けられた紙面関連情報をユーザに提供することはできない。そこで、図９に示すように、各版の印刷物又は同一の著者による異なる各作品の印刷物の紙面（例えば、表表紙、裏表紙、背表紙、奥付等）の画像特徴量データをそれぞれ同一とみなして関連付けた印刷物関連情報をデータベース３３０に記録しておき、各版の印刷物又は同一の著者による異なる各作品の印刷物の紙面の画像特徴量データに関連付けられた紙面関連情報をユーザに提供することができるようにしてもよい。具体的には、サーバ装置３０が、通信端末装置１０から、ある版又はある著者の印刷物の紙面の撮影画像特徴量データを受信した場合に、撮影画像特徴量データを有する紙面の画像特徴量データに関連付けられた紙面関連情報と、印刷物関連情報を参照して、撮影画像特徴量データと同一とみなされた画像特徴量データに関連付けられた紙面関連情報をデータベース３３０から読み出し、それらの紙面関連情報を通信端末装置１０に送信してもよい。
【０１２３】
［５．４］変形例４
上記実施形態においては、印刷物の各紙面、例えば、表紙、各部、各章、各話、各ページの各紙面に対する画像特徴量データを別個独立に管理することとしているが、これらの画像特徴量データを階層化させて管理してもよい。具体的には、図１０に示すように、書籍や単行本等の印刷物の表紙の画像特徴量データと、該印刷物の各話の画像特徴量データと、該印刷物の各ページの画像特徴量データとを階層化させて、それぞれの画像特徴量データを関連付けた画像特徴量データの階層化情報をデータベース３３０に記録して管理してもよい。このような画像特徴量データの階層化情報をデータベース３３０に記録して管理することにより、サーバ装置３０は、通信端末装置１０から、印刷物の表紙の撮影画像特徴量データを受信した場合に、撮影画像特徴量データを有する印刷物の表紙の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報だけでなく、該印刷物の表紙の画像特徴量データの下階層全ての画像特徴量データ、すなわち、該印刷物の表紙の画像特徴量データに関連付けた、該印刷物の各話の画像特徴量データ及び該印刷物の各ページの画像特徴量データに、データベース３３０に関連付けて記録されている紙面関連情報を読み出して、これらの紙面関連情報を通信端末装置１０に送信できるようになる。したがって、サーバ装置３０は、印刷物の表紙だけでなく、各話や各ページの紙面関連情報をユーザに提供できるようになる。なお、サーバ装置３０が、通信端末装置１０から、印刷物の各話の扉ページの撮影画像特徴量データを受信した場合には、撮影画像特徴量データを有する印刷物の各話の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報だけでなく、該印刷物の各話の画像特徴量データに関連付けた該印刷物の各ページの画像特徴量データに、データベース３３０に関連付けて記録されている紙面関連情報もユーザに提供できるようになる。
【０１２４】
［５．５］変形例５
上記実施形態においては、通信端末装置１０が備えるカメラでユーザが紙面を撮影することによって生成された画像データに基づいて、通信端末装置１０の算出部１４２が、複数の特徴点を検出し、複数の特徴点の局所不変特徴量を算出しているが、サーバ装置３０のサーバデータ処理部３４０に算出部を設けてもよい。これにより、通信端末装置１０の端末データ処理部１４０は、ユーザが紙面を撮影することによって生成された画像データをそのままネットワーク通信部１１０を介してサーバ装置３０に送信することができる。そして、サーバ装置３０の通信制御部３１０が画像データを受信すると、サーバデータ処理部３４０の算出部が、画像データに基づいて、紙面の画像における複数の特徴点を検出し、検出した前記複数の特徴点の局所不変特徴量を算出することができる。また、通信端末装置１０の端末データ処理部１４０は、紙面の画像データとともに、ユーザが紙面に埋め込みたい情報（関連付けたい情報）として紙面に関する紙面関連情報を、ネットワーク通信部１１０を介してサーバ装置３０に送信することができる。そして、サーバ装置３０の通信制御部３１０が画像データを受信すると、サーバデータ処理部３４０の算出部が、画像データに基づいて、紙面の画像における複数の特徴点を検出し、検出した前記複数の特徴点の局所不変特徴量を算出し、サーバデータ処理部３４０の記録部３４２が、算出した複数の特徴点の局所不変特徴量を含むデータを紙面の画像特徴量データとして、紙面関連情報と関連付けて記録することができる。
【０１２５】
［５．６］変形例６
上記実施形態においては、サーバ装置３０は、通信端末装置１０から受信した撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量を全て有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を通信端末装置１０に送信することとしているが、サーバ装置３０は、通信端末装置１０から受信した撮影画像特徴量データに含まれる複数の特徴点の局所不変特徴量の一部を有する紙面の画像特徴量データに関連付けてデータベース３３０に記録されている紙面関連情報を通信端末装置１０に送信してもよい。
【符号の説明】
【０１２６】
１  …  通信システム
１０  …  通信端末装置
２０  …  ネットワーク
３０  …  サーバ装置
１００  …  記録部
１０１  …  アプリケーション記録部
１０２  …  画像データ記録部
１１０  …  ネットワーク通信部
１３０  …  撮像部
１４０  …  端末データ処理部
１４１  …  画像データ生成部
１４２  …  算出部
１４３  …  データ処理部
１５０  …  表示部
１６０  …  表示制御部
１７０  …  操作部
１８０  …  端末管理制御部
３１０  …  通信制御部
３２０  …  ＲＯＭ／ＲＡＭ
３３０  …  記録装置
３３１  …  会員ＤＢ
３３２  …  特徴量データＤＢ
３３３  …  紙面関連情報ＤＢ
３４０  …  サーバデータ処理部
３４１  …  判定部
３４２  …  記録部
３５０  …  サーバ管理制御部
【図１】
2015197758.tif 000003
【図２】
2015197758.tif 000004
【図３】
2015197758.tif 000005
【図４】
2015197758.tif 000006
【図５】
2015197758.tif 000007
【図６】
2015197758.tif 000008
【図７】
2015197758.tif 000009
【図８】
2015197758.tif 000010
【図９】
2015197758.tif 000011
【図１０】
2015197758.tif 000012