(57)【要約】【課題】情報提供者に対する負担を軽減し、より容易かつ確実に情報を収集することができる情報処理装置、情報処理方法、プログラム、システム及び撮像対象生成装置を提供すること。【解決手段】この情報処理装置４０は、上下及び左右の少なくとも一方が非対称な撮像対象２２Ｂを撮像して得られた撮像データを取得する撮像データ取得部４１１と、上記撮像データ取得部４１１が取得した撮像データの上下及び左右に対する上記撮像対象２２Ｂの向きを検出する方向検出部４１２と、上記方向検出部４１２が検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択部４１４と、を有する。【選択図】図１
2010176326.tif 000002
【特許請求の範囲】
【請求項１】
上下及び左右の少なくとも一方が非対称な撮像対象を撮像して得られた撮像データを取得する撮像データ取得部と、
前記撮像データ取得部が取得した撮像データの上下及び左右に対する前記撮像対象の向きを検出する方向検出部と、
前記方向検出部が検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択部と、
を有する、情報処理装置。
【請求項２】
前記情報処理装置は、前記撮像対象の少なくとも一部を含む画像データが予め記録された画像データ記憶部を有しており、
前記方向検出部は、前記撮像データ取得部が取得した撮像データに含まれる撮像対象と、前記画像データ記憶部に記録された画像データに含まれる撮像対象の少なくとも一部とを比較することにより、前記撮像対象の向きを検出する、請求項１に記載の情報処理装置。
【請求項３】
前記方向検出部は、前記撮像対象の向きとして、前記撮像データ取得部が取得した撮像データの上下及び左右に対する、前記撮像対象の上下及び左右の少なくとも一方の角度を検出し、
前記関連情報選択部は、前記方向検出部が検出した前記撮像対象の角度に応じて、前記関連情報を選択する、請求項１に記載の情報処理装置。
【請求項４】
前記撮像データ取得部は、撮像装置を有する外部の端末により撮像されて該端末より送信された撮像データを取得し、
前記情報処理装置は、更に、前記関連情報選択部による前記関連情報の選択履歴を蓄積する選択履歴記憶部を有する、請求項１〜３のいずれかに記載の情報処理装置。
【請求項５】
前記撮像データ取得部は、前記撮像対象を撮像する撮像装置であり、
前記情報処理装置は、更に、前記関連情報選択部による関連情報の選択結果を、外部の記憶装置に送信する通信部を有する、請求項１〜３のいずれかに記載の情報処理装置。
【請求項６】
前記関連情報選択部が選択した関連情報を前記端末に送信する関連情報送信部を更に有する、請求項４に記載の情報処理装置。
【請求項７】
前記画像は、所定のコード情報が記録された１次元又は２次元のコードであり、
前記情報処理装置は、前記撮像データ取得部が取得した撮像データに含まれる前記コードから、該コードに記録された所定のコード情報を抽出する情報抽出部を有し、
前記関連情報選択部は、前記情報抽出部が抽出した所定のコード情報と、前記方向検出部が検出した撮像対象の向きとに基づいて、前記所定のコード情報に関連付けられた複数の前記関連情報から、前記撮像対象の向きに対応付けられた関連情報を選択する、請求項６に記載の情報処理装置。
【請求項８】
前記撮像対象には、撮像される向きと、前記関連情報選択部が選択する関連情報との関連性を表した指示情報が含まれることを特徴とする、請求項１に記載の情報処理装置。
【請求項９】
前記予め用意された複数の関連情報は、前記撮像対象と関連した商品又はサービスに対するユーザの満足度をそれぞれ表す複数の評価情報であり、
前記関連情報選択部は、前記撮像対象の向きに応じて１の前記評価情報を選択する、請求項１に記載の情報処理装置。
【請求項１０】
上下及び左右の少なくとも一方が非対称な撮像対象を撮像して得られた撮像データを取得する撮像データ取得ステップと、
前記撮像データ取得ステップで取得した撮像データの上下及び左右に対する前記撮像対象の向きを検出する方向検出ステップと、
前記方向検出ステップで検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択ステップと、
を有する、情報処理方法。
【請求項１１】
コンピュータに、
上下及び左右の少なくとも一方が非対称な撮像対象を撮像して得られた撮像データを取得する撮像データ取得機能と、
前記撮像データ取得機能が取得した撮像データの上下及び左右に対する前記撮像対象の向きを検出する方向検出機能と、
前記方向検出機能が検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択機能と、
を実現させるためのプログラム。
【請求項１２】
上下及び左右の少なくとも一方が非対称な撮像対象を撮像する端末と、
前記端末より、前記撮像データを取得するサーバと、
を有し、
前記端末及び前記サーバの少なくとも一方は、
前記撮像対象を撮像して得られた撮像データを取得する撮像データ取得部と、
前記撮像データ取得部が取得した撮像データの上下及び左右に対する前記撮像対象の向きを検出する方向検出部と、
前記方向検出部が検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択部と、
を有する、システム。
【請求項１３】
上下及び左右の少なくとも一方が非対称であり予め用意された撮像対象を含む画像データが記録された画像データ記憶部と、
前記撮像対象が撮像された撮像データを取得する外部の情報処理装置により、前記撮像データの上下及び左右に対する前記撮像対象の向きに応じて予め用意された複数の関連情報から選択される１又は２以上の関連情報と、該撮像対象の向きとの関連性を表した指示情報を、前記画像データに付加する指示情報付加部と、
を有する、撮像対象生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム、システム及び撮像対象生成装置に関する。
【背景技術】
【０００２】
近年、携帯電話やインターネットの発達により、消費者の様々なニーズを収集する方法が開発されている。このようなニーズは、例えば商品開発の方向性や販売戦略を練る際に使用するなど、様々な用途に活用されうる。
【０００３】
この際、携帯電話やインターネットによる情報収集は、例えば、ユーザが商品やサービスに対する意見を、ホームページ上でキーボード入力したり、マウス操作で入力することにより行われることが多い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４５６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方、撮像装置（以下「カメラ」とも言う。）付きの携帯電話の普及により、その撮像装置で撮像した撮像データ（画像データ）を携帯電話から送信して、その撮像データに対応した関連情報を取得することが可能な携帯電話が開発されている。この関連情報の携帯電話による取得履歴は、インターネットのホームページの閲覧履歴などと同様に、ユーザのニーズを知る上で非常に有益な情報となりうる。
【０００６】
しかしながら、このように撮像される被写体や閲覧されるホームページは、予め固定されていることが多い。よって、関連情報の取得やホームページの閲覧履歴から、その商品又はサービスなどに対するユーザの是非とは無関係な関心度合を知ることはできても、実際の嗜好を反映した評価度合を取得することは難しい。
【０００７】
このような評価度合を収集するためには、上述のホームページ上の意見収集の場合と同様に、ユーザがキー操作でその評価度合を入力する必要があり、このような操作を負担と感じるユーザも少なくない。負担と感じるユーザは、商品又はサービスに対する評価度合の収集に協力的であったとしても、そのようなキー操作を行わない可能性が多く、十分な情報収集が成され難いという実情がある。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、情報提供者に対する負担を軽減し、より容易かつ確実に情報を収集することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム、システム及び撮像対象生成装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、上下及び左右の少なくとも一方が非対称な撮像対象を撮像して得られた撮像データを取得する撮像データ取得部と、
上記撮像データ取得部が取得した撮像データの上下及び左右に対する上記撮像対象の向きを検出する方向検出部と、
上記方向検出部が検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択部と、
を有する、情報処理装置が提供される。
【００１０】
また、上記情報処理装置は、上記撮像対象の少なくとも一部を含む画像データが予め記録された画像データ記憶部を有しており、
上記方向検出部は、上記撮像データ取得部が取得した撮像データに含まれる撮像対象と、上記画像データ記憶部に記録された画像データに含まれる撮像対象の少なくとも一部とを比較することにより、上記撮像対象の向きを検出してもよい。
【００１１】
また、上記方向検出部は、上記撮像対象の向きとして、上記撮像データ取得部が取得した撮像データの上下及び左右に対する、上記撮像対象の上下及び左右の少なくとも一方の角度を検出し、
上記関連情報選択部は、上記方向検出部が検出した上記撮像対象の角度に応じて、上記関連情報を選択してもよい。
【００１２】
また、上記撮像データ取得部は、撮像装置を有する外部の端末により撮像されて該端末より送信された撮像データを取得し、
上記情報処理装置は、更に、上記関連情報選択部による上記関連情報の選択履歴を蓄積する選択履歴記憶部を有してもよい。
【００１３】
また、上記撮像データ取得部は、上記撮像対象を撮像する撮像装置であり、
上記情報処理装置は、更に、上記関連情報選択部による関連情報の選択結果を、外部の記憶装置に送信する通信部を有してもよい。
【００１４】
また、上記関連情報選択部が選択した関連情報を上記端末に送信する関連情報送信部を更に有してもよい。
【００１５】
また、上記画像は、所定のコード情報が記録された１次元又は２次元のコードであり、
上記情報処理装置は、上記撮像データ取得部が取得した撮像データに含まれる上記コードから、該コードに記録された所定のコード情報を抽出する情報抽出部を有し、
上記関連情報選択部は、上記情報抽出部が抽出した所定のコード情報と、上記方向検出部が検出した撮像対象の向きとに基づいて、上記所定のコード情報に関連付けられた複数の上記関連情報から、上記撮像対象の向きに対応付けられた関連情報を選択してもよい。
【００１６】
また、上記撮像対象には、撮像される向きと、上記関連情報選択部が選択する関連情報との関連性を表した指示情報が含まれてもよい。
【００１７】
また、上記予め用意された複数の関連情報は、上記撮像対象と関連した商品又はサービスに対するユーザの満足度をそれぞれ表す複数の評価情報であり、
上記関連情報選択部は、上記撮像対象の向きに応じて１の上記評価情報を選択してもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、上下及び左右の少なくとも一方が非対称な撮像対象を撮像して得られた撮像データを取得する撮像データ取得ステップと、
上記撮像データ取得ステップで取得した撮像データの上下及び左右に対する上記撮像対象の向きを検出する方向検出ステップと、
上記方向検出ステップで検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択ステップと、
を有する、情報処理方法が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、
上下及び左右の少なくとも一方が非対称な撮像対象を撮像して得られた撮像データを取得する撮像データ取得機能と、
上記撮像データ取得機能が取得した撮像データの上下及び左右に対する上記撮像対象の向きを検出する方向検出機能と、
上記方向検出機能が検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択機能と、
を実現させるためのプログラムが提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、上下及び左右の少なくとも一方が非対称な撮像対象を撮像する端末と、
上記端末より、上記撮像データを取得するサーバと、
を有し、
上記端末及び上記サーバの少なくとも一方は、
上記撮像対象を撮像して得られた撮像データを取得する撮像データ取得部と、
上記撮像データ取得部が取得した撮像データの上下及び左右に対する上記撮像対象の向きを検出する方向検出部と、
上記方向検出部が検出した撮像対象の向きに応じて、予め用意された複数の関連情報から１又は２以上の関連情報を選択する関連情報選択部と、
を有する、システムが提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、上下及び左右の少なくとも一方が非対称であり予め用意された撮像対象を含む画像データが記録された画像データ記憶部と、
上記撮像対象が撮像された撮像データを取得する外部の情報処理装置により、上記撮像データの上下及び左右に対する上記撮像対象の向きに応じて予め用意された複数の関連情報から選択される１又は２以上の関連情報と、該撮像対象の向きとの関連性を表した指示情報を、上記画像データに付加する指示情報付加部と、
を有する、撮像対象生成装置が提供される。
【発明の効果】
【００２２】
以上説明したように本発明によれば、情報提供者に対する負担を軽減し、より容易かつ確実に情報を収集することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係るシステムの概要について説明するための説明図である。
【図２Ａ】同実施形態に係り、画像データに含まれる撮像対象の第１例について説明するための説明図である。
【図２Ｂ】同実施形態に係り、画像データに含まれる撮像対象の第２例について説明するための説明図である。
【図３Ａ】同実施形態に係り、撮像対象を含み指示情報が付加された画像データの第１例について説明するための説明図である。
【図３Ｂ】同実施形態に係り、撮像対象を含み指示情報が付加された画像データの第２例について説明するための説明図である。
【図３Ｃ】同実施形態に係り、撮像対象を含み指示情報が付加された画像データの第３例について説明するための説明図である。
【図３Ｄ】同実施形態に係り、撮像対象を含み指示情報が付加された画像データの第４例について説明するための説明図である。
【図３Ｅ】同実施形態に係り、撮像対象を含み指示情報が付加された画像データの第５例について説明するための説明図である。
【図３Ｆ】同実施形態に係り、撮像対象を含み指示情報が付加された画像データの第６例について説明するための説明図である。
【図４Ａ】同実施形態に係り、撮像対象の一例が含まれる媒体の第１例について説明するための説明図である。
【図４Ｂ】同実施形態に係り、撮像対象の一例が含まれる媒体の第２例について説明するための説明図である。
【図４Ｃ】同実施形態に係り、撮像対象の一例が含まれる媒体の第３例について説明するための説明図である。
【図４Ｄ】同実施形態に係り、撮像対象の一例が含まれる媒体の第４例について説明するための説明図である。
【図５】同実施形態に係る撮像対象生成装置の構成について説明するための説明図である。
【図６】同実施形態に係る撮像対象生成装置の動作について説明するための説明図である。
【図７】同実施形態に係る携帯電話の構成について説明するための説明図である。
【図８】同実施形態に係るサーバの構成について説明するための説明図である。
【図９】同実施形態に係るシステムの動作について説明するための説明図である。
【図１０】本発明の第２実施形態に係るシステムの概要について説明するための説明図である。
【図１１】同実施形態に係る携帯電話の構成について説明するための説明図である。
【図１２】同実施形態に係るサーバの構成について説明するための説明図である。
【図１３】同実施形態に係るシステムの動作について説明するための説明図である。
【図１４】本発明の各実施形態に係る撮像対象の第１変更例について説明するための説明図である。
【図１５】本発明の各実施形態に係る撮像対象の第２変更例について説明するための説明図である。
【図１６】プログラムを実行することにより一連の処理を実現するコンピュータの構成例を説明するための説明図である。
【発明を実施するための最良の形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
本発明の各実施形態に係る情報処理装置は、「撮像対象の向き」に応じて所定の関連情報を選択的に付加することができる。このような情報処理装置は、情報収集システムの一部として構成することができる。例えば、情報収集システムは、複数のユーザがそれぞれ所持して情報を入力する端末と、その情報を蓄積するためのサーバと、を少なくとも有する。一方、撮像対象の向きに応じて所定の関連情報を付加する情報処理装置は、この情報収集システムの構成のうち、例えば、端末として実現されてもよく、また、サーバとして実現されてもよい。そこで、以下では、本発明の各実施形態に係る情報処理装置の特徴等が容易に理解できるように、まず、第１実施形態において、この情報処理装置がサーバとして形成された場合について説明する。その後、第１実施形態における情報処理装置を前提として、第２実施形態において、情報処理装置が端末として形成された場合について説明する。この際、第１実施形態と同様な点は省略して、第１実施形態と異なる第２実施形態の特徴等について説明する。なお、ここでは「撮像対象の向き」に着目して説明しているが、本発明の各実施形態に係る情報処理装置は、その他各実施形態で説明する様々な特徴等をも有することは言うまでもない。
【００２６】
また、上述のように、情報収集システムの構成の一つとして、ユーザが有する端末が含まれるが、この端末としては、様々な端末を使用することができる。あえて例示するならば、端末は、例えば、ノート型又はデスクトップ型のコンピュータ・ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄａｔａ  Ａｓｓｉｓｔａｎｃｅ）・携帯電話（ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）を含む。）等が挙げられる。しかし、端末は、この例に限定されるものではない。端末としては、個々のユーザが所持するか、少なくとも接することができ、サーバとの通信機能と、撮像対象を撮像する撮像機能とを少なくとも備えていれば、様々な端末を使用することができる。ただし、撮像機能は、撮像機能を有する撮像装置から、撮像データを取得することにより実現されてもよい。ここでは、本発明の各実施形態の特徴等の理解が容易になるように、近年広く普及した端末の一例である「携帯電話」を例に挙げて説明する。しかし、情報収集システムを構成する端末が携帯電話に限定されないことは言うまでもない。
【００２７】
以上の点を前提に、以下では次の順序で本発明の各実施形態について説明する。
＜１．第１実施形態＞  …サーバとしての実現
（１−１．システム概要）
（１−２．撮像対象等について）
（１−３．撮像対象生成装置）
（１−４．撮像対象生成装置の動作）
（１−５．携帯電話）
（１−６．サーバ）
（１−７．システムの動作）
（１−８．第１実施形態による効果の例）
＜２．第２実施形態＞  …携帯電話としての実現
（２−１．システム概要）
（２−２．携帯電話）
（２−３．サーバ）
（２−４．システムの動作）
（２−５．第１実施形態による効果の例）
【００２８】
＜１．第１実施形態＞  …サーバとしての実現
まず、図１を参照しつつ、本発明の第１実施形態に係るシステムの概要について説明する。図１は、本発明の第１実施形態に係るシステムの概要について説明するための説明図である。
【００２９】
（１−１．システム概要）
図１に示すように、本発明の第１実施形態に係るシステム１は、主として撮像対象生成装置１０と、携帯電話３０と、サーバ４０とを有する。
【００３０】
撮像対象生成装置１０は、撮像対象を含み、媒体２０（「メディア」とも言う。）に表示（印刷等、光学的に撮像可能な形態での表示）される画像データ２１を生成する。携帯電話３０は、ユーザ４により操作され、媒体２０に表示された撮像対象を撮像する。図１では、携帯電話３０を１つだけ例示しているが、この携帯電話３０の個数は特に限定されるものではなく、複数（統計的なデータを取るのに十分な個数）であることが望ましい。この撮像対象を撮像する際、ユーザは、撮像対象を撮像する向き（「撮像対象の向き」ともいう。）を決定し、携帯電話３０は、その向きで撮像対象を撮像する。従って、携帯電話３０の撮像により得られる撮像画像のデータ（「撮像データ」ともいう。）には、撮像対象の向きが含まれることになる。この撮像対象の向きについては、詳しく後述する。一方、携帯電話３０は、インターネットやローカルエリアネットワーク（ＬＡＮ）等のネットワーク２、又は、電磁波を中継する電波中継アンテナ３等を介して、サーバ４０と通信可能である。そこで、携帯電話３０は、このネットワーク２又は電波中継アンテナ３を介して、撮像データをサーバ４０に送信する。サーバ４０は、この撮像データから、撮像対象の向きを抽出し、その抽出結果に応じた関連情報を、予め用意された複数の関連情報の中から選択することができる。この際、サーバ４０は、撮像対象の向きに応じた関連情報の選択履歴を蓄積することができる。そして、この関連情報としては、例えば、ユーザによるサービスや商品に対するユーザによる評価（良い・普通・悪いなどの満足度）等、サービスや商品の提供者やリサーチを行う者が収集することを所望する様々な情報が挙げられる。従って、ユーザ４は、単に撮像対象を撮像する向き、つまり撮像データ（撮像画像）における撮像対象の向きを選択するだけで、このような関連情報を付加することができ、システム１は、その関連情報をサーバ４０に収集蓄積することができる。
【００３１】
一方、サーバ４０は、場合によっては、この撮像対象の向き等に応じた関連情報を、携帯電話３０に返信する。ここでは、携帯電話３０に返信される関連情報と返信されない関連情報とを区別するために、前者を「応答情報」という。しかし、関連情報と応答情報とは必ずしも区別される必要はない。この応答情報も、関連情報の一例であるため、上述のように、撮像対象の向きに応じて選択することができる。つまり、ユーザ４は、単に撮像対象を撮像する向きを選択するだけで、所望の応答情報を選択的に取得することが可能となる。
【００３２】
以上、本発明の第１実施形態に係るシステム１の概要について説明した。
以下、このシステム１の各構成について具体的に説明するが、各構成の理解が容易になるように、上記撮像対象、及び、撮像対象が表示された媒体２０等について、図２Ａ〜図４Ｄを参照しつつ説明する。
【００３３】
（１−２．撮像対象等について）
図２Ａ及び図２Ｂは、本実施形態に係り、画像データに含まれる撮像対象の第１例及び第２例について説明するための説明図である。図３Ａ〜図３Ｆは、本実施形態に係り、撮像対象を含み指示情報が付加された画像データの第１例〜第６例について説明するための説明図である。図４Ａ〜図４Ｄは、撮像対象の一例が含まれる媒体の第１例〜第４例について説明するための説明図である。
【００３４】
（撮像対象）
撮像対象は、ユーザ４が携帯電話３０等を使用して撮像することが予想される様々な対象を使用することができる。この際、撮像対象は、上下及び左右の少なくとも一方が非対称であり予め用意される。このように上下及び左右の少なくとも一方が非対称であることは、撮像対象が方向性を有するとも言える。つまり、撮像対象は、例えば、円・楕円・球などのように等方的な対象ではなく、その撮像対象から、撮像対象の上下及び左右の少なくとも一方を特定することが可能な対象であればよい。
【００３５】
このような撮像対象は、平面的である必要すら無いが、ここでは説明の便宜上、撮像対象として、携帯電話３０で撮像されることが多い「１次元又は２次元のコード」を例に挙げて説明する。
【００３６】
図２Ａには、撮像対象の第１例として、例えばバーコードなどの１次元コード２２Ａを示している。これに対して、図２Ｂには、撮像対象の第２例として、例えばＱＲコードＱｕｉｃｋ  Ｒｅｓｐｏｎｓｅ  Ｃｏｄｅ、登録商標）などの２次元コード２２Ｂを示している。ここでは、広く普及しているバーコード及びＱＲコードを例示しているが、１次元又は２次元のコードを撮像対象にする場合も、これらのコードに限定されるものではない。例えば、２次元コード２２Ｂであれば、他にもＰＤＦ４１７、Ｄａｔａ  Ｍａｔｒｉｘ、Ｍａｘｉ  Ｃｏｄｅなどを使用することができ、１次元コード２２Ａも、同様に他のコードであってもよい。このような１次元コード２２Ａや２次元コード２２Ｂは、上下方向及び左右方向の少なくとも一方が非対称であり、また、ユーザ４が携帯電話３０を使用して撮像することが予想されるため、撮像対象として使用することに適している。しかし、上述の通り、撮像対象は、これらの例に限定されるものではない。
【００３７】
（指示情報）
一方、ここでは、このような撮像対象を含むデータを「画像データ２１」とも言う。この画像データ２１は、図１に示すように媒体２０に表示されることになる。しかしながら、本実施形態に係るシステム１では、この撮像対象が撮像される向きと、予め用意された複数の関連情報とが相互に関連付けられる。そこで、このような関連性をユーザに認識させるために、撮像対象の向きと関連情報との関連性を表した「指示情報」をも、媒体２０に表示される画像データ２１に含めることができる。この指示情報について、図３Ａ〜図３Ｆを参照しつつ説明する。
【００３８】
図３Ａには、画像データ２１の第１例を示している。
この画像データ２１には、撮像対象として１次元コード２２Ａが含まれており、更に、指示情報２３Ａとして、上方を表す「矢印（↑）」が付加されている。このような画像データを参照したユーザ４は、上方がどちらであるか認識することが可能である。
【００３９】
図３Ｂには、画像データ２１の第２例を示している。
図３Ａに示した画像データ２１の第１例では、指示情報２３Ａが１次元コード２２Ａの領域外に付加されているが、この図３Ｂに示す画像データ２１の第２例では、指示情報２３Ａが１次元コード２２Ａの一部を構成している。つまり、指示情報の付加位置は、特に限定されるものではない。
【００４０】
図３Ｃには、画像データ２１の第３例を示している。
図３Ｃに示すように、画像データ２１の第３例では、指示情報２３Ｂが１次元コード２２Ａの上下に付加される。上方に付加された指示情報２３Ｂは、「ＧＯＯＤ（良い）」というユーザ４による評価（満足度）の一例を表した関連情報との関連性を示している。一方、下方に付加された指示情報２３Ｂは、「ＢＡＤ（悪い）」というユーザ４による評価の一例を表した関連情報との関連性を示している。ここで、上方の指示情報２３Ｂと、下方の指示情報２３Ｂとは、上下逆さ、つまり天地が逆に表示されている。この指示情報２３Ｂと天地の向きを揃えて撮像対象を撮像することにより、それぞれ対応する関連情報が選択される旨を、このような上下逆さな表示により示している。
【００４１】
図３Ｄには、画像データ２１の第４例を示している。
図３Ｄに示すように、画像データ２１の第４例では、指示情報２３Ｂに加えて、更に１次元コード２２Ａの左方に、指示情報２３Ｃが付加される。指示情報２３Ｃは、「ＡＶＥＲＡＧＥ（普通）」というユーザ４による評価の一例を表した関連情報との関連性を示している。この指示情報２３Ｃも、天地方向が左方に９０°回転されて表示されおり、この指示情報２３Ｃと天地の向きを揃えて撮像対象を撮像することにより、その関連情報が選択される旨を、このような横倒しされた天地方向により示している。
【００４２】
図３Ｅには、画像データ２１の第５例を示している。
図３Ｅに示すように、上記の指示情報２３Ｂ，２３Ｃ等は、撮像対象の第２例である２次元コード２２Ｂに付加することもできる。なお、矢印で表された指示情報２３Ａを２次元コード２２Ｂに付加することももちろん可能である。
【００４３】
図３Ｆには、画像データ２１の第６例を示している。
図３Ｆに示すように、画像データ２１の第６例では、指示情報２３Ｂ，２３Ｃに加えて、指示情報２３Ｄ，２３Ｅが付加される。指示情報２３Ｄは、指示情報２３Ｃとは逆の２次元コード２２Ｂの右方に付加され、やはり天地の方法により、撮像対象の向きと、それにより選択される関連情報との関連性を示している。この指示情報２３Ｄは、「ＳＨＯＰ  ＭＡＰ（店の地図情報）」というユーザ４が取得することを望む関連情報（この場合応答情報とも言う。）の一例との関連性を示している。一方、指示情報２３Ｅのように、この撮像対象の向きにより、選択される関連情報に対する説明文を、画像データ２１に付加することも可能である。このような説明文を付加する場合には、文章により上記の関連性を説明することが可能であるため、撮像対象の近傍に配置される必要は必ずしもない。なお、この画像データ２１の第６例では、後述するように、指示情報２３Ｂ，２３Ｃに従いユーザ４の評価の一例である関連情報を選択させる方向で撮像対象を撮像した場合、上記指示情報２３Ｄと同様に、ユーザ４が取得することを望む関連情報（応答情報）として、「クーポン券」を選択させることも可能である。
【００４４】
このように、画像データ２１に含まれる撮像対象の上下又は左右等のいずれを天地方向として撮像するかという、撮像画像中の「撮像対象の向き」には、少なくとも１以上の関連情報が関連付けられる。そして、このような撮像対象の向きと、それにより選択される関連情報との関連性が、指示情報に表され、その指示情報が、画像データ２１には含まれる。また、画像データ２１の第１例〜第６例で説明した通り、この指示情報は、上記のような関連性をユーザ４に認識させることが可能な様々な情報を使用することができる。なお、このような関連性を既にユーザ４が認識している場合には、この指示情報を省略することも可能である。一方、上述の通り、撮像対象は、上下及び／又は左右が非対称であるが、例えば、非対称な指示情報が付加された結果、上下及び／又は左右が非対称となった撮像対象をも使用することができる。この場合、指示情報は撮像対象に含まれることとなる。以下では、これらの指示情報を総称して「指示情報２３」ともいう。
【００４５】
（関連情報）
なお、撮像対象の向きに関連付けられる１又は２以上の関連情報としては、上述の通り、例えば、所定の商品やサービス等に対するユーザ４による評価（例えば、良い・普通・悪い、５段階評価等）、クイズに対するユーザ４による回答（例えば、Ａ・Ｂ・Ｃなどの選択肢）、及び、ユーザ４が取得することを希望する所定の情報が挙げられる。このようにユーザ４が取得することを希望する所定の情報としては、例えば、所定の商品やサービスに対するホームページ等の情報や、地図情報、評価情報などが挙げられる。このユーザ４に所望される所定の情報は、ユーザ４による評価と同様に統計的なデータとして、販売戦略や開発戦略等に使用されてもよい。しかし、自らが下した評価をユーザ４が取得を希望することは少ないという意味で、所望される情報は、評価を表す情報とは異なる。そこで、ここでは、説明の便宜上、自らが下した評価情報をユーザ４は所望しないと仮定して、これを単に「関連情報」と言い、ユーザが取得することを希望する情報を「応答情報」と言う。しかし、応答情報は、上記狭義での関連情報と同様に、撮像対象の方向に関連付けられ、撮像対象の向きに応じて選択される関連情報（広義の関連情報）の一例である。なお、撮像対象として、ここで例示した関連情報に含まれた所定の商品及びサービス等に対応する対象（例えば１次元コード２２Ａ又は２次元コード２２Ｂ）を使用することが望ましい。
【００４６】
（媒体）
このように関連情報が方向に関連付けられた撮像対象と、その関連性を表す指示情報とが含まれる画像データ２１は、上述の通り、媒体２０上に表示される。この媒体２０としても、光学的に撮像可能な媒体であれば、様々な媒体を使用することが可能である。媒体２０を例示すれば、例えば、インターネット上などに公開されたホームページ・メール・ＲＳＳ（Ｒｅｓｏｕｒｃｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｆｒａｍｅｗｏｒｋ  Ｓｉｔｅ  Ｓｕｍｍａｒｙ等）等の電子情報、その電子情報を印刷した紙・本・雑誌・広告・新聞等の印刷物、店舗のディスプレイ、商品の包装、サービス提供時に使用されるもの、等が挙げられる。これら以外にも、例えば、有線又は無線の放送波により視聴される視聴画像（以下「テレビ画像」という。ビデオやＤＶＤなどの録画画像も含む。）なども、媒体２０として使用することができる。
【００４７】
なお、上記撮像対象を含む画像データ２１は、撮像対象生成装置１０により生成される。一方、本実施形態に係るシステム１は、図１には図示していないが、この画像データ２１を撮像可能な形態として具現（例えば表示・印刷等）する別途の構成を有してもよい。また、撮像対象生成装置１０自体がこの画像データ２１を具現することも可能である。このような構成としては、例えば、コンピュータ・プリンタ・印刷装置・テレビ等の表示装置・携帯電話・ＰＤＡなど、様々な構成を使用することができる。
【００４８】
図４Ａには、媒体２０の第１例を示している。
図４Ａに示す媒体２０の第１例は、例えば、インターネット上で公開されたホームページを印刷した印刷物を示している。この印刷物である媒体２０には、画像データ２１が印刷されている。この際、画像データ２１には、上述の通り、撮像対象である２次元コード２２Ｂ以外にも、他の情報を表す文字・図・絵等の画像が含まれる。更に、画像データ２１には、指示情報２３が付加されている。
【００４９】
図４Ｂ及び図４Ｃには、媒体２０の第２例及び第３例を示している。
図４Ｂに示す媒体２０の第２例及び第３例も、インターネット上で公開されたホームページを印刷した印刷物を示している。近年、インターネットの普及に伴いサービスや商品の提供を受けようとするユーザ４が、その提供場所を調べて地図を印刷し、その印刷物を参考に提供場所を訪れる機会が増えている。更に、近年やはり急速に普及した撮像機能付き携帯電話３０が、ユーザ４に常時携帯されている。そこで、地図のような印刷物には、その携帯電話３０で容易に提供場所に関する情報をインターネット経由で取得可能なように２次元コード２２Ｂが含まれる機会も増えている。このような事情に媒体２０や撮像対象が限定される訳ではないが、このような事情を踏まえると、地図等を含む画像データ２１に含まれる２次元コード２２Ｂを撮像対象として利用することが、ユーザの利便性等にとって適している。
【００５０】
図４Ｄには、媒体２０の第４例を示している。
図４Ｄに示す媒体２０の第４例は、例えば、テレビ画像が媒体２０として使用される場合を示している。近年、ユーザ４が常時携帯している携帯電話３０を使用して、ユーザ４にアンケートや投票をリアルタイムで行わせる番組が増えている。そこで、このような番組によるテレビ画像を媒体２０として使用することは、情報収集者だけでなくユーザ４にテレビ番組に参加しているような間隔を与えることができるため、非常に有益である。この場合、アンケートや投票の内容を、上記撮像対象の向きに関連付けられる関連情報に設定することが望ましい。そして、この関連情報と撮像対象の向きとの関連性を表す指示情報として、テレビ画像の字幕等の文字情報を使用することが望ましい。
【００５１】
以上、撮像対象、画像データ２１、指示情報２３、関連情報、媒体２０等について説明した。次に、本発明の第１実施形態に係るシステム１が有する各構成について具体的に説明する。
【００５２】
（１−３．撮像対象生成装置）
撮像対象等を含む画像データ２１は、上述の通り、撮像対象生成装置１０により生成される。この撮像対象生成装置１０について、図５を参照しつつ説明する。図５は、本実施形態に係る撮像対象生成装置の構成について説明するための説明図である。
【００５３】
図５に示すように、撮像対象生成装置１０は、画像データ記憶部１１と、指示情報記憶部１２と、指示情報付加部１３とを有する。
【００５４】
上記撮像対象としては、新たに撮像対象生成装置１０が画像データ２１に付加することも可能であるが、ここでは、撮像対象が含まれる画像データが、画像データ記憶部１１に記録されているものとして説明する。ただし、撮像対象を画像データ２１に撮像対象生成装置１０が付加する場合、この撮像対象生成装置１０は、上記構成に加えて、元画像データが記録される記憶部と、撮像対象が記録される記憶部と、画像データ生成部とを有することが望ましい。この場合、画像データ生成部は、両記憶部から元画像データと撮像対象とを取得して、元画像データに撮像対象を付加して画像データ２１を生成し、その画像データ２１を画像データ記憶部１１に記録することが望ましい。
【００５５】
一方、指示情報記憶部１２には、上記指示情報２３が記録されており、指示情報付加部１３は、この指示情報２３を画像データ２１に付加する。その結果、この撮像対象生成装置１０は、図４Ａ〜図４Ｄに例示したような媒体２０上に具現される画像データ２１を生成することができる。なお、画像データ２１の媒体２０上への具現は、上述の通り、撮像対象生成装置１０が行ってもよく、他の構成が行ってもよい。ただし、以下で説明する撮像対象生成装置１０の動作では、この具現を撮像対象生成装置１０が行う場合について説明する。
【００５６】
（１−４．撮像対象生成装置の動作）
次に、図６を参照しつつ、この撮像対象生成装置１０の動作について説明する。図６は、本実施形態に係る撮像対象生成装置の動作について説明するための説明図である。
【００５７】
図６に示すように、まず、ステップＳ１０１が処理されて、指示情報付加部１３が画像データ記憶部１１から画像データ２１を取得する。そして、ステップＳ１０３に進む。
【００５８】
ステップＳ１０３では、指示情報付加部１３が指示情報記憶部１２から指示情報２３を取得する。この際、指示情報記憶部１２には複数の指示情報２３が記録されており、指示情報付加部１３は、ステップＳ１０１で取得した画像データ２１や画像データ２１に含まれる撮像対象に応じて、１又は２以上の指示情報２３を選択することが望ましい。このステップＳ１０３の処理後は、ステップＳ１０５に進む。
【００５９】
ステップＳ１０５では、指示情報付加部１３が、ステップＳ１０１で取得した画像データ２１に、ステップＳ１０３で取得した指示情報２３を付加する。そして、ステップＳ１０７に進む。
【００６０】
ステップＳ１０７では、撮像対象生成装置１０が、撮像対象等を含む画像データ２１を媒体２０として具現（例えば表示・印刷等）する。なお、媒体２０としては、上述の通り、撮像可能な媒体であれば様々な媒体を使用することが可能であり、その媒体の種類に寄って、具現方法は異なることになる。更に、このステップＳ１０７は、画像データ２１を媒体２０として具現する構成が、撮像対象生成装置１０以外の他の構成である場合には、その構成により処理されることになる。
【００６１】
（１−５．携帯電話）
次に、本発明の第１実施形態に係るシステム１の構成の１つである携帯電話３０について、図７を参照しつつ説明する。図７は、本実施形態に係る携帯電話の構成について説明するための説明図である。
【００６２】
図７に示すように、携帯電話３０は、カメラ３１と、通信部３２と、端末制御部３３と、表示部３４と、を有する。
【００６３】
カメラ３１は、撮像装置の一例であって、端末制御部３３により制御されて、媒体２０に表示された画像データ２１のうち、少なくとも撮像対象を撮像する。この撮像対象を撮像した結果、得られる撮像画像を「撮像データ」とも言う。そして、この撮像データは、カメラ３１から通信部３２に送られる。通信部３２は、取得した撮像データを、ネットワーク２又は電波中継アンテナ３を介してサーバ４０に送信する。
【００６４】
この際、携帯電話３０の各構成は、端末制御部３３により制御される。一方、端末制御部３３は、入力装置（図示せず）がユーザ４の操作を受けて入力する入力信号に応じて、上記カメラ３１及び通信部３２等を制御する。また、端末制御部３３は、表示部３４をも制御し、通信部３２が外部から取得する情報（例えば、関連情報の一例である応答情報等）を表示部３４の表示画面に表示させて、その情報をユーザ４に通知する。
【００６５】
また、この携帯電話３０は、更に通話機能、メール送受信機能、アプリケーション実行機能、指紋検出機能等、通常の携帯電話が有するような構成を有する。しかしながら、このような機能は特に限定されるものではなく、他の通常の携帯電話と同様に構成することが可能であるため、ここでの詳しい説明は省略する。
【００６６】
（撮像データ）
ここで、上記「撮像データ」について更に詳しく説明する。
携帯電話３０のカメラ３１で撮像される撮像対象は、上述の通り、上下又は左右の少なくとも一方が非対称で方向性を有する。一方、カメラ３１の撮像素子にも上下左右の区別があり、そのカメラ３１が撮像することにより得られる撮像データにも上下左右の区別がある。例えば、図３Ｆに例示した撮像対象である２次元コード２２Ｂを撮像する場合、撮像対象の上方とカメラ３１の上方とを揃えて、その撮像対象を撮像したと仮定する。この場合、撮像データに含まれる撮像対象の上・下・左・右は、それぞれ、その撮像データの上・下・左・右と一致する。このカメラ３１と撮像対象との位置関係から、カメラ３１（つまり携帯電話３０）を右に９０°回転させるか、撮像対象（つまり媒体２０）を左に９０°回転させた後、その撮像対象を撮像する。すると、撮像データに含まれる撮像対象の上・下・左・右は、９０°回転して、それぞれ撮像データの左・右・下・上と一致する。このように、カメラ３１の撮像範囲に撮像対象を収め、かつ、カメラ３１と撮像対象とを正対させた状態で、カメラ３１又は撮像対象を回転させると、撮像データに含まれ、その撮像データの上下及び左右に対する撮像対象の向きも回転する。つまり、撮像データには、「撮像対象の向き」が、撮像対象の撮像データ内での位置、姿勢、回転量などとして含まれることになる。この撮像対象の向きは、撮像対象の上方、下方、左方又は右方の、撮像データの上方、下方、左方又は右方に対する「回転角度」と言い換えることもできる。しかし、ここでは、撮像対象の向きとして、撮像対象の上方が、撮像データの上・下・左・右のいずれかに一致するものとして説明する。つまり、上記回転角度が９０°刻みであるとして説明するが、この回転角度は、適宜設定可能である。そして、以下では、説明の便宜上、撮像対象の向きとして「撮像データの上方に、撮像対象の上下左右のいずれが一致するのか」という表現も使用することにする。つまり、上記のカメラ３１を右に９０°回転させた例で言えば、この場合、撮像対象の向きは、撮像データの上方に撮像対象の左方が一致する向きとなる。更に、カメラ３１を右に９０°回転させれば、撮像対象の向きは、撮像データの上方に撮像対象の下方が一致する向きとなる。更にまた、カメラ３１を右に９０°回転させれば、撮像対象の向きは、撮像データの上方に撮像対象の左方が一致する向きとなる。そして、更にカメラ３１を右に９０°回転させれば、撮像対象の向きは、一周して、撮像データの上方に撮像対象の上方が一致する向きとなる。
【００６７】
なお、以下では、撮像対象が図３Ｆに示す２次元コード２２Ｂである場合について説明する。そして、撮像対象の向きに、関連情報として、ユーザ４による評価情報（狭義の関連情報）と、ユーザ４が所望する応答情報（広義の関連情報に含まれる。）とが関連付けられる場合について説明する。つまり、２次元コード２２Ｂの周囲に配置された指示情報のうち正立して読める指示情報に対応する関連情報が、その正立した状態で撮像された撮像対象の上方に対応付けられる場合について説明する。
【００６８】
（１−６．サーバ）
次に、本発明の第１実施形態に係るシステム１の残りの構成であるサーバ４０について、図７を参照しつつ説明する。図７は、本実施形態に係るサーバの構成について説明するための説明図である。
【００６９】
図７に示すように、サーバ４０は、画像データ取得部４０１と、画像データ記憶部４０２と、撮像データ取得部４１１と、方向検出部４１２と、情報抽出部４１３と、関連情報選択部４１４と、関連情報記憶部４１５と、応答情報取得部４１６と、選択履歴記憶部４１７と、応答情報送信部４１８とを有する。
【００７０】
画像データ取得部４０１は、撮像対象生成装置１０の画像データ記憶部１１から、撮像対象の少なくとも一部を含む画像データを取得する。この際、例えば図４Ａ〜図４Ｄに例示したように画像データ２１には撮像対象以外の画像も含まれるが、画像データ取得部４０１は、少なくとも撮像データの一部を含む画像データを取得する。更に言えば、画像データ取得部４０１は、撮像対象の全てを含み、画像データ２１内の他の画像（指示情報は除く。）を含まない画像データを取得することが望ましい。なお、この画像データにも上下左右の区別があり、この画像データの上下左右のそれぞれが、撮像対象の上下左右を規定することになる。そして、画像データ取得部４０１は、取得した画像データを画像データ記憶部４０２に記録する。
【００７１】
撮像データ取得部４１１は、ネットワーク２又は電波中継アンテナ３を介して携帯電話３０から送られてくる撮像データを取得する。
【００７２】
方向検出部４１２は、撮像データ取得部４１１が取得した撮像データの上下及び左右に対する撮像対象の向きを検出する。この際、撮像対象の向き検出の一例として、方向検出部４１２は、画像データ記憶部４０２から撮像対象の少なくとも一部を含む画像データを取得する。そして、方向検出部４１２は、その画像データに含まれる撮像対象の一部と、撮像データに表された撮像対象とを比較することにより、撮像対象の向きを検出する。例えば、図３Ｆに示す２次元コード２２Ｂが撮像対象である場合、画像データには、指示情報２３Ｂ「ＧＯＯＤ（良い）」が上方となった撮像対象の少なくとも一部が含まれる。一方、撮像データに含まれる撮像対象は、撮像を行った際のカメラ３１の回転角度に対応した方向が、撮像データの上方と一致する。この撮像データの上方と一致する方向は、例えば、上記撮像対象の指示情報２３Ｂ「ＧＯＯＤ（良い）」側（上方側）となったり、指示情報２３Ｃ「ＡＶＥＲＡＧＥ（普通）」側（左方側）となる。更に、この方向は、上記撮像対象の指示情報２３Ｂ「ＢＡＤ（悪い）」側（下方側）となったり、指示情報２３Ｄ「ＳＨＯＰ  ＭＡＰ（店舗地図）」側（右方側）となることもある。そこで、方向検出部４１２は、撮像データに含まれた撮像対象の、撮像対象の上下及び左右に対する向きを検出する。
【００７３】
なお、ここでは、方向検出部４１２が画像データの撮像対象と撮像データの撮像対象との比較することにより、撮像対象の向きを検出する場合について説明しているが、画像データとの比較は必ずしも必要ではない。例えば、図３Ｆに示す２次元コード２２Ｂが撮像対象である場合、２次元コード２２Ｂの形式により、その２次元コード２２Ｂの向きを特定することが可能である。このような形式として、図３Ｆに示す２次元コード２２Ｂの場合、四隅の一個所が他の３個所と異なるパターンを有していることにより、この一個所を特定すれば、撮像対象の向きを特定することが可能である。この場合、方向検出部４１２は、画像データの撮像対象と撮像データの撮像対象との比較せずに、撮像対象の向きを検出することが可能である。なお、この場合、画像データ取得部４０１及び画像データ記憶部４０２は必ずしも必要ではない。
【００７４】
情報抽出部４１３は、撮像データ取得部４１１が取得した撮像データに含まれるコード（この場合２次元コード２２Ｂ）から、そのコードに記録された所定のコード情報を抽出する。この抽出されるコード情報としては、例えば、商品又はサービスのＨｏｍｅ  Ｐａｇｅを表すＵＲＩ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）などのような、商品又はサービスを特定するための情報が挙げられる。なお、この情報抽出部４１３は、本実施形態及び以下で説明する第２実施形態共にサーバ４０（又はサーバ６０）が有するが、この情報抽出部４１３は、携帯電話３０（又は携帯電話５０）が有してもよい。
【００７５】
関連情報選択部４１４は、方向検出部４１２が検出した撮像対象の向きに応じて、関連情報記憶部４１５に予め用意されて記録された複数の関連情報から１又は２以上の関連情報を選択する。図３Ｆに示す２次元コード２２Ｂが撮像対象である場合、撮像対象の向き（上・下・左・右）には、関連情報として、例えば、所定の商品やサービス等に対するユーザ４による評価（例えば、良い・悪い・普通の３段階評価等。評価情報とも言う。）が関連付けられている。そこで、関連情報選択部４１４は、この予め用意された評価から、方向検出部４１２が検出した撮像対象の向きに関連付けられた関連情報を選択する。この関連情報選択部４１４による選択履歴は、選択履歴記憶部４１７に記録されて蓄積される。なお、コード情報が上述のように商品又はサービスを特定するための情報（例えばＵＲＩ）である場合、選択履歴は、その商品又はサービスに対応付けられて、選択履歴記憶部４１７に記録されることが望ましい。
【００７６】
一方、撮像対象の向きに関連付けられた複数の関連情報が記録される関連情報記憶部４１５には、上記ユーザ４による評価情報（狭義の関連情報）以外にも、ユーザ４が所望する応答情報（広義の関連情報に含まれる）が記録されている。そして、この応答情報も撮像対象の向きに関連付けられており、関連情報選択部４１４は、方向検出部４１２が検出した撮像対象の向きに関連付けられた応答情報をも、選択することができる。そして、この応答情報の選択履歴も、選択履歴記憶部４１７に記録されて蓄積されることが望ましい。この応答情報としては、例えば、商品又はサービスのホームページ、クーポン券情報、地図情報、メールアドレス、電話番号などが挙げられる。図３Ｆに示す２次元コード２２Ｂが撮像対象である場合、撮像対象の向きとして上・左・下には、クーポン券情報が関連付けられており、右には、地図情報が関連付けられる。
【００７７】
なお、評価情報等の関連情報は、予め用意されて関連情報記憶部４１５に記録されていることが望ましいが、広義の関連情報である応答情報は、必ずしも予め関連情報記憶部４１５に記録されている必要はない。例えば、この応答情報が２次元コード２２Ｂにコード情報として含まれる場合、情報抽出部４１３が抽出した応答情報が関連情報記憶部４１５に記録されてもよい。そしてこの場合、関連情報選択部４１４は、その記録された応答情報から、撮像対象の向きに応じた応答情報を選択することができる。
一方、例えば、情報抽出部４１３が抽出したコード情報が上述のように商品又はサービスを特定するための情報（例えばＵＲＩ）である場合、関連情報選択部４１４は、応答情報取得部４１６に、このコード情報を出力する。そして、応答情報取得部４１６は、コード情報に基づいて、例えばネットワーク２を介して他の記憶装置（他のサーバ）から、その情報が特定する商品又はサービスに関する情報を取得して関連情報記憶部４１５に応答情報として記録してもよい。この場合、関連情報選択部４１４は、コード情報に関連付けられ応答情報取得部４１６が取得して関連情報記憶部４１５に記録させた応答情報から、撮像対象の向きに対応付けられた応答情報を選択することも可能である。
【００７８】
応答情報送信部４１８は、関連情報送信部の一例であって、関連情報選択部が選択した広義の関連情報である応答情報を、ネットワーク２又は電波中継アンテナ３等を介して、携帯電話３０に送信する。その結果、携帯電話３０の通信部３２は、この応答情報を取得して、端末制御部３３は、表示部３４の表示画面に応答情報を表示してユーザ４に通知することができる。
【００７９】
（１−７．システムの動作）
以上、本発明の第１実施形態に係るシステム１の構成等について説明した。
次に、図９を参照しつつ、本実施形態に係るシステム１の動作等について説明する。
【００８０】
図９は、本実施形態に係るシステムの動作について説明するための説明図である。
図９に示すように、まず、ステップＳ２０１において、ユーザ４が、画像データ２１を撮像可能な形態として具現（例えば表示・印刷等）する構成等を操作して、画像データ２１を撮像対象生成装置１０等から取得する。なお、この際、ユーザ４は、画像データ２１を撮像対象生成装置１０から直接取得する必要はなく、撮像対象生成装置１０が生成した画像データ２１を記録した別途の記憶装置から取得することも可能である。ステップＳ２０１の処理後は、ステップＳ２０３に進む。
【００８１】
ステップＳ２０３では、ユーザ４が、画像データ２１を撮像可能な形態として具現（例えば表示・印刷等）する構成等を操作して、当該構成に画像データ２１を媒体２０上に具現させる。なお、このステップＳ２０１とステップＳ２０３とは、例えば媒体２０が、商品の包装などのように、ユーザ４自信が用意する必要がない場合には省略されてもよい。ステップＳ２０３の処理後は、ステップＳ２０５に進む。
【００８２】
ステップＳ２０５では、ユーザ４が、商品を取得したりサービスの提供を受けるなど、商品又はサービスを受領する。そして、ステップＳ２０７に進む。
【００８３】
ステップＳ２０７では、ユーザ４が、ステップＳ２０５で受領した商品又はサービスについて、評価を決定したり、それらについて取得したいと望む応答情報を選択する。なお、この際、ユーザ４は、図３Ｆに例示した画像データ２１に含まれる指示情報２３等を参照することにより、どのような評価を下すことが可能であるのか、また、どのような応答情報を取得することが可能でるのかを知ることができる。このステップＳ２０７の処理後は、ステップＳ２０９に進む。
【００８４】
ステップＳ２０９では、ユーザ４が、ステップＳ２０７で決定した評価情報や応答情報に対応する、撮像対象を撮像する際の方向（つまり撮像対象の向き）を決定する。この際、やはり媒体２０には指示情報２３が含まれるため、ユーザ４は、この撮像対象の向きを容易に判断して決定することができる。そして、ステップＳ２１１に進む。
【００８５】
ステップＳ２１１では、携帯電話３０のカメラ３１が、ユーザ４による操作に応じて、撮像対象を撮像する。そして、ステップＳ２１３に進む。
【００８６】
ステップＳ２１３では、携帯電話３０の通信部３２が、ステップＳ２１１の撮像により得られた撮像データを、サーバ４０に送信する。そして、ステップＳ２２１に進む。
【００８７】
ステップＳ２２１（撮像データ取得ステップの一例）では、撮像データ取得部４１１が、携帯電話３０から撮像データを取得する。そして、ステップＳ２２３に進む。
【００８８】
ステップＳ２２３（方向検出ステップの一例）では、方向検出部４１２が、撮像データと、場合によっては画像データ記憶部４０２に記録された画像データとの基づいて、撮像対象の向きを検出する。そして、ステップＳ２２５に進む。
【００８９】
ステップＳ２２５（関連情報選択ステップの一例）では、関連情報選択部４１４が、予め用意された関連情報記憶部４１５に記録された複数の関連情報（例えば評価情報）から、撮像対象の向きに対応する１又は２以上の関連情報を選択する。そして、ステップＳ２２７に進む。
【００９０】
ステップＳ２２７では、情報抽出部４１３が、ステップＳ２２１で取得した撮像データに含まれる撮像対象である２次元コード２２Ｂから、そのコードが表すコード情報を抽出する。そして、ステップＳ２２９に進む。
【００９１】
ステップＳ２２９（関連情報選択ステップの一例）では、関連情報選択部４１４が、ステップＳ２２７で抽出したコード情報に関連付けられた複数の応答情報から、撮像対象の向きに対応する１又は２以上の応答情報を選択する。そして、ステップＳ２３１に進む。
【００９２】
ステップＳ２３１では、関連情報選択部４１４が、上記ステップＳ２２５及びステップＳ２２９における関連情報の選択履歴を、選択履歴記憶部４１７に記録する。そして、ステップＳ２３３に進む。
【００９３】
ステップＳ２３３では、応答情報送信部４１８が、上記ステップＳ２２９で選択した応答情報を、携帯電話３０に送信する。そして、ステップＳ２４１に進む。
【００９４】
ステップＳ２４１では、携帯電話３０の通信部３２が、上記ステップＳ２３３で送信された応答情報を取得する。そして、ステップＳ２４３が処理され、端末制御部３３が、ステップＳ２４１で取得した応答情報を、表示部３４の表示画面に表示させる。その結果、ステップＳ２４５が処理されて、ユーザ４は、その表示画面を参照することにより、応答情報を取得することができる。
【００９５】
（１−８．第１実施形態による効果の例）
以上、本発明の第１実施形態に係るシステム１の構成及び動作等について説明した。このシステム１によれば、ユーザ４は、携帯電話３０を使用して撮像対象を撮像する際に、その撮像対象の向きを選択して撮像するだけで、サーバ４０が、その撮像対象の向きに応じた関連情報を選択することができる。従って、例えば、関連情報としてユーザ４による商品又はサービスに対する評価（満足度）を設定するなど、商品開発の方向性や販売戦略を練る際に使用することが可能なユーザ４のニーズを反映した統計的な情報を、容易に収集することができる。この際、上述の通り、ユーザ４は撮像対象を撮像する向きを選択するだけで済み、別途キー入力をするなどの操作をする必要はなく、ユーザ４に過度が負担をかけずに情報を収集することが可能である。このようにユーザ４に対して過度の負担をかけずに済むため、情報収集に協力的なユーザ４が増え、より確実な情報収集を行うことが可能である。また、本実施形態のように撮像対象の向き等の検出をサーバ４０が行う場合、新たな構成を追加せずに既存の携帯電話３０を使用することが可能であるため、システム１を容易に構成することも可能である。
【００９６】
更に、このシステム１によれば、撮像対象の向きに応じた関連情報として、応答情報をユーザ４に提供することも可能である。従って、ユーザ４は、所望の応答情報を、撮像対象の向きを選択するだけで、取得することが可能であり、ユーザ４の利便性は大きく向上する。
【００９７】
また、撮像対象を含む画像データ２１には、本実施形態に係る撮像対象生成装置１０により、撮像対象の向きと関連情報との関連性を表す指示情報を付加することができる。従って、撮像対象を撮像する携帯電話３０を操作するユーザ４は、指示情報を参照することにより、上記関連性を認識することができ、撮像対象を撮像する際のカメラ３１の向きを適切に選択することが可能である。
【００９８】
以上、本発明の第１実施形態に係るシステム１について説明した。
次に、本発明の第２実施形態に係るシステム５について説明する。なお、本発明の第２実施形態に係るシステム５は、上記第１実施形態に係るシステム１と同様の動作をするために同様の構成を有するが、一部の構成がサーバではなく、携帯電話に配置され、そのために、新たな構成が追加される。そこで、以下では、第１実施形態に係るシステム１との相違点を中心に説明し、同様の構成については詳しい説明を適宜省略する。
【００９９】
＜２．第２実施形態＞  …携帯電話としての実現
まず、図１０を参照しつつ、本発明の第２実施形態に係るシステム５の概要について説明する。図１０は、本発明の第２実施形態に係るシステムの概要について説明するための説明図である。
【０１００】
（２−１．システム概要）
図１０に示すように、本発明の第１実施形態に係るシステム１は、主として撮像対象生成装置１０と、携帯電話５０と、サーバ６０とを有する。なお、携帯電話５０及びサーバ６０は、上記第１実施形態に係る携帯電話３０及びサーバ４０と対応する。
【０１０１】
携帯電話５０は、ユーザ４により操作され、媒体２０に表示された撮像対象を撮像する。図１では、携帯電話５０を１つだけ例示しているが、この携帯電話５０の個数は特に限定されるものではなく、複数（統計的なデータを取るのに十分な個数）であることが望ましい。この撮像対象を撮像する際、ユーザは、撮像対象を撮像する向き（「撮像対象の向き」ともいう。）を決定し、携帯電話５０は、その向きで撮像対象を撮像する。従って、携帯電話５０の撮像により得られる撮像画像のデータ（「撮像データ」ともいう。）には、撮像対象の向きが含まれることになる。更に、携帯電話５０は、携帯電話３０とは異なり、上記第１実施形態ではサーバ４０が行う動作をも行う。より具体的には、携帯電話５０は、撮像データから、撮像対象の向きを抽出し、その抽出結果に応じた関連情報を、予め用意された複数の関連情報の中から選択することができる。そして、携帯電話５０は、ネットワーク２又は電波中継アンテナ３を介して、サーバ６０（外部の記憶装置の一例）に、選択した関連情報を送信する。一方、サーバ６０は、携帯電話５０による撮像対象の向きに応じた関連情報の選択履歴を蓄積することができる。なお、この関連情報としては、上記第１実施形態と同様に、例えば、ユーザによるサービスや商品に対するユーザによる評価（良い・普通・悪いなどの満足度）等、サービスや商品の提供者やリサーチを行う者が収集することを所望する様々な情報が挙げられる。従って、ユーザ４は、単に撮像対象を撮像する向き、つまり撮像データ（撮像画像）における撮像対象の向きを選択するだけで、このような関連情報を付加することができ、システム５は、その関連情報をサーバ６０に収集蓄積することができる。
【０１０２】
一方、サーバ６０は、上記第１実施形態のサーバ４０と同様に、場合によっては、この撮像対象の向き等に応じた関連情報（つまり応答情報）を、携帯電話５０に返信する。そのために、携帯電話５０は、抽出した撮像対象の向きをもサーバ６０に送信する。その結果、ユーザ４は、上記第１実施形態と同様に、単に撮像対象を撮像する向きを選択するだけで、所望の応答情報を選択的に取得することが可能となる。一方、撮像対象が図３Ｆに示したような２次元コード２２Ｂ等である場合、サーバ６０は、そのコードからコード情報を抽出して応答情報の選択に使用する。そのために、携帯電話５０は、サーバ６０に撮像した撮像データをも送信する。
【０１０３】
以上、本発明の第２実施形態に係るシステム５の概要について説明した。
以下、このシステム５の各構成について具体的に説明する。なお、撮像対象、撮像対象が表示された媒体２０及び撮像対象生成装置１０等については、上記第１実施形態で詳しく説明したため、ここでの説明は省略する。
【０１０４】
（２−２．携帯電話）
本発明の第２実施形態に係るシステム５の構成の１つである携帯電話５０について、図１１を参照しつつ説明する。図１１は、本実施形態に係る携帯電話の構成について説明するための説明図である。
【０１０５】
上述の通り、本実施形態に係る携帯電話５０は、上記第１実施形態と比べて、携帯電話３０が行った動作に加えて、更に、撮像対象の方向検出と、関連情報（狭義の意味の関連情報）選択とをも行う。そのために、携帯電話５０は、上記第１実施形態と比べて、携帯電話３０が有していた構成（図７参照）に加えて、サーバ４０が有していた一部の構成（図８参照）をも有する。
【０１０６】
つまり、携帯電話５０は、上記携帯電話３０が有していたカメラ３１，通信部３２，端末制御部３３及び表示部３４に加えて、上記サーバ４０が有していた画像データ取得部４０１，画像データ記憶部４０２，方向検出部４１２，関連情報選択部４１４及び関連情報記憶部４１５を有する。なお、携帯電話３０が有していた構成だけでなく、サーバ４０が有していた構成も、携帯電話５０においても、上記第１実施形態と同様に動作する。従って、ここでの詳しい説明は省略する。ただし、主な相違点について説明すれば、以下の通りである。
【０１０７】
方向検出部４１２は、第１実施形態とは異なり、カメラ３１から直接撮像データを取得する。従って、本実施形態ではカメラ３１が、撮像データ取得部の一例となる。また、本実施形態でも、応答情報は、サーバ６０側で選択されるため、関連情報記憶部４１５には狭義の意味での関連情報（例えば評価情報）のみが記録され、関連情報選択部４１４は、狭義の意味での関連情報を選択することになる。そして、通信部３２は、第１実施形態で送信していた撮像データだけでなく、関連情報選択部４１４による選択結果、及び、方向検出部４１２が検出した撮像対象の向きを表した情報をも、サーバ４０に送信する。
【０１０８】
なお、ここで例示しなかった第１実施形態に対する相違点については、上記第１実施形態で説明した各構成とほぼ同様に構成することが可能である。
【０１０９】
（２−３．サーバ）
次に、本発明の第２実施形態に係るシステム５の残りの構成であるサーバ６０について、図１２を参照しつつ説明する。図１２は、本実施形態に係るサーバの構成について説明するための説明図である。
【０１１０】
上述の通り、本実施形態に係るシステム５では、関連情報の選択等を携帯電話５０で行うため、第１実施形態に係るサーバ４０と比べて、本実施形態に係るサーバ６０は、構成が少なくなっている。しかしながら、上述の通り、応答情報を選択するために、サーバ６０は、新たに、応答情報選択部６１４と、応答情報記憶部６１５とを有する。サーバ６０が有する他の構成については、上記第１実施形態と同様に動作する。ただし、主な相違点について、上記新たな構成と共に説明すれば、以下の通りである。
【０１１１】
撮像データ取得部４１１は、第１実施形態とは異なり、携帯電話５０から、撮像データだけでなく、検出した撮像対象の向きを表した情報と、関連情報の選択結果を表した情報も取得する。そして、撮像データ取得部４１１は、選択結果を表した情報を選択履歴記憶部４１７に記録・蓄積させる。一方、応答情報記憶部６１５は、応答情報が広義の関連情報の一例であると言う意味で、関連情報記憶部の一例であり、応答情報選択部６１４も、同様に、関連情報選択部の一例である。
【０１１２】
応答情報記憶部６１５は、第１実施形態でサーバ４０に配置されていた関連情報記憶部４１５と同様に、応答情報が記録される。そして、この応答情報は、第１実施形態と同様に、予め用意された情報であってもよいが、応答情報取得部４１６により取得されて、関連情報記憶部４１５に記録されてもよい。
【０１１３】
応答情報選択部６１４は、第１実施形態でサーバ４０に配置されていた関連情報選択部４１４と同様に、携帯電話５０から取得した撮像対象の向きに関連付けられた応答情報を選択することができる。そして、この応答情報の選択履歴も、選択履歴記憶部４１７に記録されて蓄積されることになる。つまり、上記第１実施形態と同様に、例えば、情報抽出部４１３が抽出したコード情報が上述のように商品又はサービスを特定するための情報（例えばＵＲＩ）である場合、応答情報選択部６１４は、応答情報取得部４１６に、このコード情報を出力する。そして、応答情報取得部４１６は、コード情報に基づいて、例えばネットワーク２を介して他の記憶装置（他のサーバ）から、その情報が特定する商品又はサービスに関する情報を取得して応答情報記憶部６１５に応答情報として記録してもよい。この場合、応答情報選択部６１４は、コード情報に関連付けられ応答情報取得部４１６が取得して応答情報記憶部６１５に記録させた応答情報から、撮像対象の向きに対応付けられた応答情報を選択することになる。
【０１１４】
なお、ここで例示しなかった第１実施形態に対する相違点については、上記第１実施形態で説明した各構成とほぼ同様に構成することが可能である。
【０１１５】
（２−４．システムの動作）
以上、本発明の第２実施形態に係るシステム５の構成等について説明した。
次に、図１３を参照しつつ、本実施形態に係るシステム１の動作等について説明する。
【０１１６】
図１３は、本実施形態に係るシステムの動作について説明するための説明図である。
図１３に示すように、本実施形態に係るシステム５は、図９を参照すれば判るように、基本的には第１実施形態に係るシステム１と同様の動作をする。しかしながら、第１実施形態では、サーバ４０で行われていたステップＳ２２３及びステップＳ２２５を、携帯電話５０が行うことになる。そして、ステップＳ２２５の処理後、ステップＳ３０１が処理され、このステップＳ３０１で、携帯電話５０の通信部３２が、上記撮像データ等をサーバ６０に送信する。そして、ステップＳ３０３が処理されて、サーバ６０が、この撮像データ等を取得し、ステップＳ２２７へと進むことになる。なお、この第２実施形態では、ステップＳ２１１が、撮像データ取得ステップの一例となる。他のステップにおける処理は、基本的には上記第１実施形態と同様であるため、ここでの詳しい説明は省略する。
【０１１７】
（２−５．第２実施形態による効果の例）
以上、本発明の第２実施形態に係るシステム５の構成及び動作等について説明した。このシステム５によれば、上記第１実施形態に係るシステム１と同様の作用効果を奏することが可能である。また、このシステム５は、更に、撮像対象の向き検出等の処理を携帯電話５０で行うため、複数の携帯電話５０から情報を収集するサーバ６０側の負荷を軽減することができ、より容易に情報を収集することができる。
【０１１８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されないことは言うまでもない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。
【０１１９】
例えば、上記実施形態では、情報抽出部４１３が、サーバ４０又はサーバ６０に配置される場合について説明した。しかしながら、この情報抽出部４１３は、サーバ４０又はサーバ６０と共にか、それに代えて、携帯電話３０又は携帯電話５０に配置されてもよい。この場合、情報抽出部４１３は、カメラ３１が撮像した撮像データを取得して、その撮像データに含まれるコード（例えば図３Ｆに示す２次元コード２２Ｂ）から、コード情報を抽出する。そして、通信部３２は、このコード情報を、サーバ４０又はサーバ６０に送信することになる。なお、この際、通信部３２は、コード情報に含まれるサーバ４０又はサーバ６０を特定する情報（例えばＵＲＩ等）に基づいて、サーバ４０又はサーバ６０を特定し、コード情報をそのサーバ４０又は６０に送信することも可能である。なお、上記第１実施形態に係るシステム１の場合、通信部３２は、コード情報と共に撮像データを送信することになる。一方、第２実施形態に係るシステム５の場合、通信部３２は、撮像対象の向きを表す情報、選択履歴を表す情報と共にコード情報を送信することとになるが、撮像データは送信しなくてもよい。
【０１２０】
また、例えば、上記実施形態では、関連情報選択部４１４（及び応答情報選択部６１４）により、関連情報として、評価情報（狭義の関連情報の一例）だけでなく応答情報（広義の関連情報の一例）をも選択される場合について説明した。しかしながら、この関連情報選択部４１４等で選択される関連情報は、評価情報等の狭義の関連情報、及び、広義の関連情報に含まれる応答情報の少なくとも一方であってもよい。例えば、狭義の関連情報（評価情報等）のみが選択される場合、第１実施形態であれば、サーバ４０の応答情報取得部４１６及び応答情報送信部４１８は必ずしも必要ではない。また、第２実施形態であれば、サーバ６０の応答情報選択部６１４、応答情報記憶部６１５、応答情報取得部４１６、応答情報送信部４１８は必ずしも必要ではない。一方、広義の関連情報に含まれる応答情報のみが選択される場合、第２実施形態であれば、携帯電話５０の関連情報選択部４１４、関連情報記憶部４１５、応答情報取得部４１６は必ずしも必要ではない。
【０１２１】
また、例えば、上記実施形態では、関連情報選択部４１４（及び応答情報選択部６１４）による関連情報の選択履歴が、選択履歴記憶部４１７に記録される場合について説明した。しかしながら、例えば、上記第１実施形態に係るシステム１の場合、選択履歴記憶部４１７には、選択履歴の代りにか、選択履歴と共に、撮像データ取得部４１１が取得した撮像データを選択履歴記憶部４１７に記録することも可能である。
【０１２２】
また、例えば、上記実施形態では、撮像対象の例として、１次元コード２２Ａ及び２次元コード２２Ｂとを例示して説明した。しかしながら、撮像対象は、上述の通り、この例に限定されるものではなく、上下及び左右の少なくとも一方が非対称であり予め用意され、かつ、撮像装置により撮像可能な撮像対象であれば、様々な撮像対象を使用することが可能である。例えば、図１４には、本発明の各実施形態に係る撮像対象の第１変更例を示す。この第１変更例では、撮像対象が表示される媒体２０として、テレビ画像（動画像であっても静止画像であってもよい。）が使用された場合を例示している。この場合、図１４に示すように、表示装置（図示せず）等に表示されたテレビ画像２２Ｃ自体を、撮像対象として使用することが可能である。なお、この場合、サーバ４０の画像データ記憶部４０２には、撮像対象であるテレビ画像２２Ｃの少なくとも一部を含む画像データ２１が予め記録される。そして、方向検出部４１２が、その画像データ２１と撮像データとを比較することにより、撮像データにおける撮像対象の向きを検出することになる。また、この例の場合、撮像対象生成装置１０は、撮像対象の向きと、それに応じて付加される関連情報（例えば「面白かった・普通・つまらなかった」等のユーザ４による評価）との関連性について、指示情報２３Ｆに示すような説明文を、テレビ画像の字幕等として画像データ２１に付加することが望ましい。
【０１２３】
また、例えば、上記実施形態では、撮像対象の上下及び左右のそれぞれに、１又は２以上の関連情報が関連付けられた場合について説明した。つまり、撮像データにおける撮像対象の向きの９０°毎に、関連情報が関連付けている場合について説明した。しかしながら、このような関連情報を関連付ける撮像対象の向きの分解能は、９０°（この場合最大で４通り）に限定されるものではない。つまり、撮像対象の向きの分解能は、適宜設定することが可能である。例えば、図１５には、本発明の各実施形態に係る撮像対象の第２変更例を示す。この第２変更例では、撮像対象の一例である２次元コード２２Ｂの周囲に付加された指示情報２３Ｇ，２３Ｈに示すように、上下左右以外の方向に対しても、関連情報が関連付けられる。例えば、この第２変更例では、関連情報として、撮像対象の向き（傾き度合）に対して、０〜５段階の評価を表す関連情報が４５°又は９０°の角度分解能により関連付けられている。この場合、方向検出部４１２は、撮像データに含まれる撮像対象と、画像データ２１に含まれる撮像対象の少なくとも一部とを比較することにより、撮像対象の向きとして、その撮像対象が何度傾けて撮像されたか（撮像対象の「回転角度」とも言う。）を検出する。そして、関連情報選択部４１４は、その回転角度に対応付けられた１又は２以上の関連情報を、関連情報記憶部４１５に記憶された複数の関連情報から選択することが可能である。
【０１２４】
また、撮像対象は、２次元の対象に限定されるものではなく、１次元の対象や３次元の対象であってもよい。１次元の対象である場合、その１次元の対象が撮像データの上下左右に対してどの方向に延びて撮像されているかにより、撮像対象の向きが検出される。一方、３次元の対象である場合、撮像対象の向きは、３次元の対象を一方から見た画像の、撮像データにおける回転角度だけでなく、３次元の対象をどの方向から見た画像が撮像されたのか、という情報で表されてもよい。この場合、画像データ記憶部４０２には、撮像対象を上下左右前後の複数の方向から見た画像データが記録される。そして、方向検出部４１２は、この画像データを取得して、画像データと撮像データとを基に、撮像対象が撮像された向きを特定することになる。
【０１２５】
また、上記実施形態では、方向検出部４１２が、撮像データに含まれる撮像対象から、撮像対象の向きを検出する場合について説明したが、方向検出部４１２による撮像対象の向きの検出方法は、この例に限定されるものではない。この撮像対象の向きの検出には、例えば、重力検出装置や加速度検出装置（ジャイロなど）を利用することも可能である。このような重力検出装置や加速度検出装置を使用する場合、例えば、上記第１実施形態に係るシステム１であれば、携帯電話３０が更に重力検出装置又は加速度検出装置を有することになる。この場合、重力検出装置又は加速度検出装置は、カメラ３１が撮像対象を撮像した際の重力の方向、又は、加速度の方向を、方向信号として、撮像データに重畳し、サーバ４０へと送信させる。そして、方向検出部４１２は、この方向信号を取得して、撮像対象の向きを特定してもよい。また、上記第２実施形態に係るシステム５であれば、携帯電話５０の方向検出部４１２がこの重力検出装置又は加速度検出装置を有し、これらから出力される方向信号を基に、撮像対象の向きを検出してもよい。
【０１２６】
また、上記各実施形態で説明した一連の処理（システム１，２における処理）は、専用のハードウエアにより実行させてもよいが、ソフトウエアにより実行させてもよい。一連の処理をソフトウエアにより行う場合、図１６に示すような汎用又は専用のコンピュータ９００にプログラムを実行させることにより、上記の一連の処理を実現することができる。
【０１２７】
図１６は、プログラムを実行することにより一連の処理を実現するコンピュータ９００の構成例を説明するための説明図である。一連の処理を行うプログラムのコンピュータ９００による実行について説明すれば、以下のようになる。
【０１２８】
図１６に示すように、コンピュータは、例えば、バス９０１及びバス９０２と、ブリッジ９０３と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０４と、記録装置と、入出力インターフェイス９０７と、入力装置９０８と、出力装置９０９と、接続ポート９１０と、ドライブ９１２と、通信装置９１４となどを有する。これらの各構成は、ブリッジ９０３により接続されたバス９０１及びバス９０２や、入出力インターフェイス９０７等を介して相互に情報を伝達可能に接続されている。
【０１２９】
プログラムは、例えば、記録装置の一例である、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などのストレージ装置９１１・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０５・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０６等に記録しておくことがきる。
【０１３０】
また、プログラムは、例えば、フレキシブルディスクなどの磁気ディスク、各種のＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）・ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）ディスク・ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の光ディスク、半導体メモリ等のリムーバブル記憶媒体９１３に、一時的又は永続的に記録しておくこともできる。このようなリムーバブル記憶媒体９１３は、いわゆるパッケージソフトウエアとして提供することもできる。これらのリムーバブル記憶媒体９１３に記録されたプログラムは、ドライブ９１２により読み出されて、入出力インターフェイス９０７・バス９０１，９０２等を介して上記の記録装置に記録されてもよい。
【０１３１】
更に、プログラムは、例えば、ダウンロードサイト・他のコンピュータ・他の記録装置等（図示せず）に記録しておくこともできる。この場合、プログラムは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）・インターネット等のネットワーク９１５を介して転送され、通信装置９１４がこのプログラムを受信する。また、このプログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等の接続ポート９２３に接続された他の記録装置や通信装置等から転送されてもよい。そして、通信装置９１４又は接続ポート９２３が受信したプログラムは、入出力インターフェイス９０７・バス９０１，９０２等を介して上記の記録装置に記録されてもよい。なお、この際通信装置９１４は、携帯電話３０の通信部３２のように無線通信によりプログラムを取得することも可能である。
【０１３２】
そして、ＣＰＵ９０４が、上記の記録装置に記録されたプログラムに従い各種の処理を実行することにより、上記の一連の処理が、実現される。この際、ＣＰＵ９０４は、例えば、上記の記録装置からプログラムを、直接読み出して実行してもよく、ＲＡＭ９０５に一旦ロードした上で実行してもよい。更にＣＰＵ９０４は、例えば、プログラムを通信装置９１４やドライブ９１２を介して受信する場合、受信したプログラムを記録装置に記録せずに直接実行してもよい。
【０１３３】
更に、ＣＰＵ９０４は、必要に応じて、例えばマウス・キーボード・マイク（図示せず）等の入力装置９０８や、接続ポート９１０に接続された他の入力装置から入力する信号や情報に基づいて各種の処理を行ってもよい。コンピュータ９００により携帯電話３０が実現される場合には、この入力装置９０８がカメラ３１を有してもよく、カメラ３１が接続ポート９１０に接続されてもよい。
【０１３４】
そして、ＣＰＵ９０４は、上記の一連の処理を実行した結果を、例えばモニタなどの表示装置・スピーカやヘッドホンなどの音声出力装置等の出力装置９０９から出力してもよい。更にＣＰＵ９０４は、必要に応じてこの処理結果を通信装置９１４や接続ポート９１０から送信してもよく、上記の記録装置やリムーバブル記憶媒体９１３に記録させてもよい。
【０１３５】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１３６】
１，５      システム
２      ネットワーク
３      電波中継アンテナ
４      ユーザ
１０    撮像対象生成装置
１１    画像データ記憶部
１２    指示情報記憶部
１３    指示情報付加部
２０    媒体
２１    画像データ
２２Ａ    １次元コード
２２Ｂ    ２次元コード
２２Ｃ    テレビ画像
２３，２３Ａ，２３Ｂ，２３Ｃ，２３Ｄ      指示情報
２３Ｅ，２３Ｆ，２３Ｇ，２３Ｈ            指示情報
３０，５０    携帯電話
３１    カメラ
３２    通信部
３３    端末制御部
３４    表示部
４０，６０    サーバ
４０１    画像データ取得部
４０２    画像データ記憶部
４１１    撮像データ取得部
４１２    方向検出部
４１３    情報抽出部
４１４    関連情報選択部
４１５    関連情報記憶部
４１６    応答情報取得部
４１７    選択履歴記憶部
４１８    応答情報送信部
６１４    応答情報選択部
６１５    応答情報記憶部
【図１】
2010176326.tif 000003
【図２Ａ】
2010176326.tif 000004
【図２Ｂ】
2010176326.tif 000005
【図３Ａ】
2010176326.tif 000006
【図３Ｂ】
2010176326.tif 000007
【図３Ｃ】
2010176326.tif 000008
【図３Ｄ】
2010176326.tif 000009
【図３Ｅ】
2010176326.tif 000010
【図３Ｆ】
2010176326.tif 000011
【図４Ａ】
2010176326.tif 000012
【図４Ｂ】
2010176326.tif 000013
【図４Ｃ】
2010176326.tif 000014
【図４Ｄ】
2010176326.tif 000015
【図５】
2010176326.tif 000016
【図６】
2010176326.tif 000017
【図７】
2010176326.tif 000018
【図８】
2010176326.tif 000019
【図９】
2010176326.tif 000020
【図１０】
2010176326.tif 000021
【図１１】
2010176326.tif 000022
【図１２】
2010176326.tif 000023
【図１３】
2010176326.tif 000024
【図１４】
2010176326.tif 000025
【図１５】
2010176326.tif 000026
【図１６】
2010176326.tif 000027