(57)【要約】  ユーザが撮像した任意の画像に対してユーザの嗜好に沿った情報を重畳して提示することが可能な重畳情報提示装置等を提供する。  重畳情報提示装置（１０１）の画像取得部（２０５）は、例えばデジタルカメラであり、撮影した画像を画像データに変換して記録部（２０１）に格納する。解析部（２０６）は、画像取得部（２０５）によって取得された画像を解析し、重畳させる情報に関する関連情報を抽出する。重畳データ選択部（３０３）は、抽出された関連情報に基づいて、重畳させる情報を特定する。重畳部（２０７）は、画像取得部（２０５）において取得された画像に、重畳データ選択部（３０３）において特定された情報を重畳して、液晶表示装置等の出力部（２０８）に提示する。
2008016083.tif 000002
【特許請求の範囲】
【請求項１】
画像に対応させて、情報を重畳して提示する重畳情報提示装置であって、
画像を取得する画像取得手段と、
取得された前記画像を解析し、重畳させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択手段と、
取得された前記画像に、特定された前記情報を重畳して提示する重畳手段と
を備えることを特徴とする重畳情報提示装置。
【請求項２】
前記画像取得手段は、さらに、取得された前記画像に対応する動画又は音声を取得し、
前記解析手段は、さらに、取得された前記動画又は前記音声を表わす波形に基づいて、予め定められた動画又は音声を表わす基準波形の中から一の基準波形を特定し、特定された基準波形に基づいて前記関連情報を抽出する
ことを特徴とする請求項１記載の重畳情報提示装置。
【請求項３】
前記重畳情報提示装置は、さらに、
当該重畳情報提示装置に係るユーザに関する情報を格納するローカル情報保持手段を備え、
前記重畳データ選択手段は、さらに、
前記情報が複数特定された場合に、前記ローカル情報に基づいて、前記特定された情報に優先順位を付与し、
前記重畳手段は、取得された前記画像に、優先順位が最も高い前記情報を重畳して提示する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項４】
前記重畳情報提示装置は、さらに、
ＵＲＬ情報に対応するサーバ装置にアクセスして前記重畳させる情報の候補を取得する通信制御手段を備え、
取得された前記画像には、２次元コード又は文字列が含まれており、
前記解析手段は、
取得された前記画像における２次元コード又は文字列を解析することによって、特定のサーバにアクセスするためのＵＲＬ情報を抽出し、
前記通信制御手段は、抽出された前記ＵＲＬ情報を用いて当該サーバ装置から前記重畳させる情報の候補を取得し、
前記重畳データ選択手段は、取得された前記重畳させる情報候補の中から、前記ローカル情報に基づいて、一の重畳させる情報を選択する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項５】
前記ローカル情報は、
当該重畳情報提示装置のユーザに係る年齢、性別及び国籍、並びに前記画像の取得時の天候、時間及び場所を示す情報のうち、少なくとも１つを含む
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項６】
前記重畳情報提示装置は、さらに、
前記画像を取得した場所を特定する撮影場所特定手段を備え、
前記重畳データ選択手段は、さらに、
特定された前記場所に基づいて、重畳する情報を特定する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項７】
前記重畳情報提示装置は、さらに、
前記重畳データ選択手段において特定された情報を音声データに変換する音声変換手段を備え、
前記重畳手段は、さらに、
変換された前記音声データを用いて、前記画像に対応させた音声を出力する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項８】
画像に対応して提示させる情報を端末装置に提供するサーバ装置であって、
前記端末装置から画像データを受信する通信制御手段と、
受信された前記画像データを解析し、提示させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択手段とを備え、
前記通信制御手段は、さらに、
特定された前記情報を前記端末装置に送信する
ことを特徴とするサーバ装置。
【請求項９】
端末装置とサーバ装置とを有する重畳情報提示システムであって、
前記端末装置は、
画像を取得する画像取得手段と、
取得された前記画像を表す画像データを前記サーバ装置に送信する第１通信制御手段とを備え、
前記サーバ装置は、
前記端末装置から画像データを受信する第２通信制御手段と、
受信された前記画像データを解析し、重畳させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択手段とを備え、
前記第２通信制御手段は、さらに、特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報提示システム。
【請求項１０】
画像に対応させて、情報を重畳して提示する重畳情報提示方法であって、
画像を取得する画像取得ステップと、
取得された前記画像を解析し、重畳させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択ステップと、
取得された前記画像に、特定された前記情報を重畳して提示する重畳ステップと
を含むことを特徴とする重畳情報提示方法。
【請求項１１】
画像に対応して提示させる情報を端末装置に提供するサーバ装置における重畳情報提供方法であって、
前記端末装置から画像データを受信する通信制御ステップと、
受信された前記画像データを解析し、提示させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択ステップとを含み、
前記通信制御ステップでは、さらに、
特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報提供方法。
【請求項１２】
端末装置とサーバ装置とを有する重畳情報提示システムにおける重畳情報利用方法であって、
前記端末装置では、
画像を取得する画像取得ステップと、
取得された前記画像を表す画像データを前記サーバ装置に送信する第１通信制御ステップとを含み、
前記サーバ装置では、
前記端末装置から画像データを受信する第２通信制御ステップと、
受信された前記画像データを解析し、重畳させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択ステップを含み、
前記第２通信制御ステップでは、さらに、特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報利用方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ等によって撮影された動画又は静止画に、広告等のための画像や情報を重畳してユーザに提示する技術に関するものである。
【背景技術】
【０００２】
近年、デジタルビデオカメラ（「デジタルカメラ」ともいう。）やカメラ機能付き携帯電話機等の普及により、風景や建造物等を撮影する機会が増加してきている。それに伴い、撮影された風景や建造物等に関連する情報を画像に重畳して表示することによって、ユーザに広告情報やサービス情報を提供する技術が提案されている。【０００３】
例えば、鉄道や旅客機の先頭にカメラを設置し、撮影された画像に、その画像に適合する広告情報等を重畳して表示するシステムが提案されている（例えば、特許文献１参照）。上記のシステムでは、撮影された画像に、既定のサーバから取得した情報を重畳して表示する方法が開示されている。
【特許文献１】特開２００５−１４７８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムでは、鉄道や旅客機の先頭において撮影された画像（原則、これらの公共交通機関のルートは予め決められているため、ほぼパターン化された画像となる。）に対しては、予め各画像に対応付けられた情報が重畳されるに過ぎず、必ずしもユーザの嗜好に沿った情報が表示されるとは限らない。したがって、ユーザが、ユーザのカメラで任意に撮影した画像に対して情報を重畳することはできず、広告対象が制限されてしまうという問題がある。【０００５】
本発明は、上記課題に鑑みてなされたものであり、ユーザが撮像した任意の画像に、ユーザの嗜好に沿った情報を重畳して提示することが可能な重畳情報提示装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る重畳情報提示装置は、画像に対応させて、情報を重畳して提示する重畳情報提示装置であって、画像を取得する画像取得手段と、取得された前記画像を解析し、重畳させる情報に関する関連情報を抽出する解析手段と、抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択手段と、取得された前記画像に、特定された前記情報を重畳して提示する重畳手段とを備えることを特徴とする。【０００７】
本構成により、ユーザが任意に撮像した画像にユーザの嗜好に沿った情報を重畳して提示することが可能となる。【０００８】
なお、本発明は、上記重畳情報提示装置における特徴的な構成手段をステップとする重畳情報提示方法として実現することもできる。さらに、上記方法の各々のステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。【０００９】
さらに、本発明は、上記重畳情報提示装置における特徴的な構成手段を備えるサーバ装置として実現することもでき、当該サーバ装置と、カメラ機能及び通信機能を備える端末装置とを有する重畳情報提示システムとして実現することもできる。さらに、本発明は、上記サーバ装置又は重畳情報提示システムにおける特徴的な構成手段をステップとする重畳情報提供方法又は重畳情報利用方法として実現することもできる。
【発明の効果】
【００１０】
本発明の重畳情報提示装置によれば、ユーザが任意に撮像した画像上にユーザの嗜好に沿った情報を重畳して提示することができる。さらに、ユーザは、任意の風景等を撮像することで、嗜好に沿った情報が自動的に重畳された撮像画像を見ることが可能となる。また、画像に重畳させる情報を提供する企業（広告主）は、自動的にユーザの嗜好に沿った広告を提供することが可能になる。さらにまた、当該重畳情報提示装置を提供する企業は、広告主から広告情報を提供したことに対する対価を得ることもできる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明に係る重畳情報提示システムの概略図である。
【図２】図２は、本発明に係る重畳情報提示装置の機能構成の概略を示すブロック図である。
【図３】図３は、実施の形態１に係る重畳情報提示装置のより詳細な機能構成を示すブロック図である。
【図４】図４は、実施の形態１に係る重畳データ管理情報の具体例を表す図である。
【図５】図５は、実施の形態１に係るローカル情報を表す図である。
【図６】図６は、実施の形態１に係る重畳情報提示装置の動作の流れを示すフローチャートである。
【図７】図７（ａ）、（ｂ）は、実施の形態１に係る重畳情報提示装置における表示例である。
【図８】図８は、重畳データの選択可否を確認するためのメッセージの一例である。
【図９】図９は、実施の形態２に係る重畳情報提示装置の機能構成を示すブロック図である。
【図１０】図１０は、ローカルデータの選択可否を確認するためのメッセージの一例である。
【図１１】図１１は、実施の形態３に係る重畳情報提示装置の機能構成を示すブロック図である。
【図１２】図１２は、実施の形態３に係る重畳情報提示装置の動作の流れを示すフローチャートである。
【図１３】図１３（ａ）、（ｂ）は、実施の形態４に係る解析部３０５における、撮影した光の点滅や取得した音声に基づいて、画像に重畳する情報を取得するサーバを特定する情報等を決定する方法を説明するための図である。
【図１４】図１４は、実施の形態４に係る解析部を用いた場合の重畳情報提示装置の処理の流れを示すフローチャートである。
【符号の説明】
【００１２】
１０              重畳情報提示システム
１０１、１１１      重畳情報提示装置
１０２、１２２      サーバ
１０３              重畳情報
２０１              記録部
２０２              操作入力部
２０３              インタフェース部
２０４              制御部
２０５              画像取得部
２０６              解析部
２０７              重畳部
２０８              出力部
２０９              通信制御部
２１０              センサ部
３０１              サーバ情報保持部
３０２              ローカル情報保持部
３０３              重畳データ選択部
３０４              ローカル情報変更部
３０５              解析部
３０６              重畳部
３０７              通信制御部
３０８              重畳データ保持部
８０１、８０４      インタフェース部
８０２              重畳データ選択部
８０３              可搬媒体
８０５              ローカル情報保持部
１００３              情報登録部
１００４              ローカル情報保持部
１００５              解析部
１００６              重畳データ選択部
１００７              重畳データ保持部
１００８              重畳部
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行なうが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。【００１４】
図１は、本発明に係る重畳情報提示システム１０の概略図である。重畳情報提示システム１０は、重畳情報（「重畳データ」ともいう。）１０３を保持するサーバ１０２と、ユーザの嗜好に沿った重畳情報１０３を取得（又は受信）し、ユーザが撮影した動画又は静止画（以下、単に「画像」という。）に重畳情報１０３を重畳して提示することが可能な重畳情報提示装置１０１とを備える。なお、サーバ１０２は、複数備えることとしてもよく、重畳情報提示装置１０１は、何れかのサーバ１０２からユーザの嗜好に沿った重畳情報１０３を取得（又は受信）する。なお、上記重畳情報１０３の具体例としては、製品やイベントに関する広告情報やユーザに便宜を提供するサービス情報などがある。【００１５】
図２は、本発明に係る重畳情報提示装置１０１の機能構成の概略を示すブロック図である。重畳情報提示装置１０１は、記録部２０１、操作入力部２０２、インタフェース部２０３、制御部２０４、画像取得部２０５、解析部２０６、重畳部２０７、出力部２０８、通信制御部２０９及びセンサ部２１０を備えており、各構成要素がバス２１１によって相互に接続されている。【００１６】
記録部２０１は、例えば、ハードディスク装置であり、当該重畳情報提示装置１０１が使用する情報を記録する。具体的には、記録部２０１は、撮影された画像の画像データ、重畳する情報（若しくはデータ）、又はユーザが入力した情報等を記録する。これらのデータ又は情報は、画像取得部２０５、サーバ１０２、可搬媒体２１３又はユーザからの入力等によって取得する。なお、重畳する情報としては、視覚に訴えるもの（画像やテキストなど）以外に、聴覚に訴えるもの（音声）であってもよい。【００１７】
操作入力部２０２は、例えば、キーボード、マウス又はリモコン等であり、ユーザからの操作を受け付ける。【００１８】
インタフェース部２０３は、可搬媒体２１３の検出及び重畳情報提示装置１０１−可搬媒体２１３間でやりとりされるデータの変換等を行なうユニットである。【００１９】
制御部２０４は、例えば制御プログラムを格納するＲＯＭ及びＲＡＭ等を備えるマイクロコンピュータであり、重畳情報提示装置１０１における各構成要素の動作を制御する。さらに、制御部２０４は、記録部２０１に格納されているローカル情報に基づいて、画像に重畳する情報を選択する。ここで、「ローカル情報」とは、ユーザの嗜好及びユーザの特質等が定義された情報であり、重畳データＩＤに対応付けられて登録されている。【００２０】
画像取得部２０５は、例えば、ＣＣＤ（Charge Coupled Device）を備えるデジタルカメラであり、風景等を撮影し、撮影した画像を画像データに変換して記録部２０１に格納する。【００２１】
解析部２０６は、画像取得部２０５において取得された画像データを解析して、当該画像の中の特徴部分（例えば、２次元コード、文字列又は建造物など）を抽出し、抽出した特徴部分に基づいて重畳する情報に関連する関連情報を特定する。関連情報の具体例としては、特定のサイトを示す（即ち、特定のサーバ１０２を特定し得る）ＵＲＬ情報がある。【００２２】
重畳部２０７は、画像取得部２０５において取得された画像に、制御部２０４で選択された情報を重畳する。【００２３】
出力部２０８は、例えば、スピーカを備える液晶表示装置であり、情報が重畳された画像（さらに、当該画像に対応する音声）をユーザに提示する。【００２４】
通信制御部２０９は、（ネットワークを介して又は直接アクセスされる）サーバ１０２−重畳情報提示装置１０１間の通信を制御する部分である。具体的には、サーバ１０２から重畳する情報を取得する。【００２５】
センサ部２１０は、例えばクロックやＧＰＳ等を備え、時間情報や当該重畳情報提示装置１０１の位置情報、天候情報等の情報を取得する。さらに、センサ部２１０は、マイクロホンを備え、上記画像取得部２０５における画像撮影時の音声を取り込んで音声データに変換し、記録部２０１に格納する。なお、上記の画像取得部２０５がマイクロホンも備えて、音声を取り込むこととしてもよい。【００２６】
上記のような構成にすることにより、重畳情報提示装置１０１は、画像取得部２０５から取得した画像・音声の適切な位置に通信制御部２０９から取得した重畳するための情報を重畳してユーザに提示することを可能にする。【００２７】
なお、画像取得部及びセンサ部は、取得手段の一例である。【００２８】
（実施の形態１）
本実施の形態では、重畳情報提示装置１０１内に保持するローカル情報を用いて、ユーザの嗜好に沿った情報を画像に重畳する（さらに、重畳する情報の候補に優先度を付与する）実施例について説明する。本実施の形態に係る重畳情報提示装置１０１は、画像取得部２０５から画像を取得すると、記録部２０１（具体的には、図３のローカル情報保持部３０２）からユーザの嗜好等が記載されているローカル情報を読み出し、このローカル情報に基づいて特定されたサーバ１０２から重畳する情報を取得する。【００２９】
図３は、上記図２に示した重畳情報提示装置１０１における各構成要素のより詳細な機能構成を示すブロック図である。なお、上記図２と同じ構成要素については同じ符号を用い、その説明は省略する。【００３０】
図２及び図３に示すように、記録部２０１（図３では破線で囲った部分）は、サーバ情報保持部３０１及びローカル情報保持部３０２を備える。また、制御部２０４（図３では破線で囲った部分）は、重畳データ選択部３０３及びローカル情報更新部３０４を備える。【００３１】
サーバ情報保持部３０１は、通信制御部２０９を介してサーバ１０２から取得された重畳データα１と、重畳データα１を管理するための重畳データ管理情報α２とを格納する。重畳データα１は、画像取得部２０５から取得した画像に重畳する情報自体である。また、重畳データ管理情報α２は、重畳データα１に関する情報を定義したものであり、具体的には図４のようなテーブル形式で、重畳データＩＤ毎にジャンル及びメーカー等が定義されている。この重畳データ管理情報α２は、通信制御部２０９を介して取得される重畳データα１と共に取得される重畳データ特徴情報に基づいて作成される。なお、重畳データ特徴情報は、通信制御部２０９を通して取得してもよいし、重畳データα１自体を解析することによって作成してもよい。【００３２】
ローカル情報保持部３０２は、当該重畳情報提示装置１０１のユーザに関する情報（ローカル情報）を保持する部分であり、当該重畳情報提示装置１０１特有の情報や、操作入力部２０２を介して取得されたユーザの特徴、嗜好情報、時間情報、位置情報、及びセンサ部２１０から取得された情報などを保持する。ここで、ローカル情報は、例えば図５に示すような構造の情報である。【００３３】
重畳データ選択部３０３は、ユーザの嗜好や撮影時の状況に応じて、重畳する情報を特定する部分である。重畳データ選択部３０３は、解析部３０５によって特定された、重畳する情報を保持するサーバ１０２を１つ以上特定し、通信制御部２０９から重畳データα１を取得する。取得された重畳データα１が複数存在する場合には、サーバ情報保持部３０１から重畳データ管理情報α２と、ローカル情報保持部３０２及びセンサ部２１０からセンサ情報を取得する。取得されたこれらの情報を用いて重畳データα１に優先度を付与し、最終的には重畳する情報を一意に特定する。例えば、図４に示されるような重畳データ管理情報α２があり、図５のユーザ１が撮影した画像がある場合、図４の重畳データのうち重畳データＩＤが「７」のデータがユーザ１の嗜好に一番近いものであると判定できる。重畳データα１が特定されると重畳データ選択部３０３は、重畳データ管理情報α２を更新し、特定された重畳データα１のみを利用可能にする。【００３４】
ローカル情報更新部３０４は、操作入力部２０２を介してローカル情報を更新するための操作を受け付けると、ローカル情報保持部３０２が保持するローカル情報を更新する。【００３５】
解析部３０５は、上記図２の解析部２０６に相当する部分である。画像取得部２０５において取得された画像を解析して、その特徴部分から、重畳する情報の候補を保持するサーバ１０２を特定する。例えば、画像に埋め込まれている２次元バーコード情報を抜き出すことでＵＲＬ情報を取得してサーバ１０２を特定したり、画像上の文字列又は模様からサーバを特定する情報を取得する。さらに、静止画だけでなく、動画における光の点滅や光の強弱を抽出し、このような光の波形を解析することで上記のサーバを特定する情報を決定したり、重畳する情報を特定してもよい。さらにまた、画像に限らず、撮影時に一緒に取得した音声の波形を解析することで、上記のサーバを特定する情報を決定したり、重畳する情報を特定してもよい。【００３６】
重畳部３０６は、上記図２の重畳部２０７に相当する部分である。重畳部３０６は、画像取得部２０５から入力された画像に重畳データ選択部３０３によって特定された重畳データα１を重畳する。重畳する位置は解析部３０５によって解析された特徴部分から取得してもよいし、重畳データ管理情報α２に記載されている内容を用いてもよい。【００３７】
サーバ１０２は、通信制御部３０７と重畳データ保持部３０８とを備える。【００３８】
通信制御部３０７は、解析部３０５によって取得されたＵＲＬ情報を用いて該当するサーバ装置にアクセスし、重畳情報１０３の候補を取得する。【００３９】
さらに、通信制御部３０７は、重畳データ選択部３０３から問い合わせのあった重畳データα１を重畳データ保持部３０６から検索し、検索された重畳データα１と重畳データの関連情報を重畳情報提示装置１０１に転送するユニットである。例えば、同じ問い合わせに対して複数の重畳データα１が候補に挙がった場合には、全ての重畳データα１を転送する。なお、通信制御部３０７は、予め複数のＵＲＬ情報を保持しておき、それらのＵＲＬ情報に対応する複数のサーバ装置にアクセスして（即ち、ブロードキャストすることによって）重畳情報１０３の候補を取得してもよい。【００４０】
重畳データ保持部３０８は、複数の重畳データα１を保持している部分であり、通信制御部３０７からの重畳データ検索要求に応じ、対応する重畳データα１を送信する。【００４１】
図６は、本実施の形態における重畳情報提示装置１０１の処理の流れを示すフローチャートである。【００４２】
まず、重畳データ選択部３０３は、解析部３０５が画像取得部２０５から取得した画像を解析するまで待つ（ステップＳ６０１）。解析部３０５から解析結果を示すデータが入力されると、重畳データ選択部３０３は、このデータから重畳する情報を取得するサーバ１０２を特定し、通信制御部２０９に重畳データ取得要求を送信する。このとき、重畳データ取得要求は、１つである必要はなく、複数であってもよい。通信制御部２０９は、重畳データ取得要求に基づいて外部のサーバ１０２と通信を行ない、取得した重畳データα１と重畳データ管理情報α２をサーバ情報保持部３０１に格納する（ステップＳ６０２）。【００４３】
重畳データ選択部３０３は、通信制御部２０９から重畳データα１の取得が完了した通知を受けると、サーバ情報保持部３０１から重畳データ管理情報α２を取得し、その内容を解析する（ステップＳ６０３）。その結果、複数の重畳データα１が存在する場合（ステップＳ６０３：ＹＥＳ）、重畳データ選択部３０３は、ローカル情報保持部３０２からローカル情報を取得すると共に、センサ部２１０から時刻情報や位置情報等を取得し（ステップＳ６０４）、取得したローカル情報と重畳データ管理情報α２から、重畳データα１に優先度をつけることで重畳する情報を選択する（ステップＳ６０５）。【００４４】
また、重畳データα１が１つしか存在しない場合（ステップＳ６０３：ＮＯ）、重畳データ選択部３０３は、重畳部３０６に対して、選択した重畳データα１を通知する。【００４５】
重畳データ選択部３０３における優先度に基づいて重畳する情報を選択する処理は、図８に示すように、出力部２０８に表示してユーザから指示を受け付けながら実行してもよい（ステップＳ６０５）。【００４６】
重畳データα１が選択されると、重畳データ選択部３０３は、重畳部３０６に対して重畳データの選択が完了したことを通知する。重畳部３０６は、この通知を受けると、画像取得部２０５から解析部３０５を経由して入力される画像にサーバ情報保持部３０１から取得した重畳データα１を重畳する（ステップＳ６０６）。重畳する位置は解析部３０５から入力される情報に従ってもよいし、重畳データα１に存在する情報に従ってもよい。【００４７】
図７（ａ）、（ｂ）は、本実施の形態に係る重畳情報提示装置１０１の出力部２０８における表示例である。図７（ａ）は、ユーザによって撮影された画像の一例である。また、図７（ｂ）は、当該重畳情報提示装置１０１によって情報が重畳された様子を示す一例である。解析部３０５は、領域４０１の文字列の画像及び領域４０２の２次元コードを表すレンガの画像を解析し、その解析結果からサーバ１０２を特定する情報を抽出したり、サーバ情報保持部３０１に格納されている重畳する情報を特定して重畳データ選択部３０３に通知する。重畳データ選択部３０３は、上記特定されたサーバ１０２から取得し、又はサーバ情報保持部３０１に格納されている重畳データα１を特定して重畳部３０６に通知する。重畳部３０６は、重畳データ選択部３０３から通知された重畳データα１を領域４０１の文字列の画像又は領域４０２の２次元コードを表わすレンガの画像に代えて、広告情報５０１及び広告情報５０２を表示するように出力部２０８における表示を制御する。【００４８】
以上の処理を通して、画像取得部２０５において取得された画像に対してユーザの嗜好にあった情報を重畳することが可能となる。【００４９】
（実施の形態２）
本実施の形態では、ユーザの嗜好に応じて、画像に重畳する情報をする重畳情報提示装置１１１について説明する。重畳情報提示装置１１１と上記実施の形態１に係る重畳情報提示装置１０１との相違点は、ローカル情報の保持場所であり、実施の形態１では重畳情報提示装置１０１中に保持していたのに対し、実施の形態２では可搬媒体２１３中に保持している点である。【００５０】
図９は、本実施の形態における重畳情報提示装置１１１と可搬媒体８０３の機能構成を示すブロック図である。なお、上記図２又は図３と同じ構成要素については同じ符号を用い、その説明は省略する。【００５１】
重畳情報提示装置１１１は、さらにインタフェース部８０１を備え、制御部２０４は重畳データ選択部８０２を備える。【００５２】
インタフェース部８０１は、上記図２におけるインタフェース部２０３に相当する部分である。インタフェース部８０１は、重畳データ選択部８０２に可搬媒体８０３から取得したローカル情報を転送する。【００５３】
重畳データ選択部８０２は、上記図３における重畳データ選択部３０３とほぼ同じ機能であるが、ローカル情報の取得先が異なる。本実施の形態では、インタフェース部８０１を介して可搬媒体８０３からローカル情報を取得する。【００５４】
可搬媒体８０３は、インタフェース部８０４とローカル情報保持部８０５とを備える。インタフェース部８０４は、重畳情報提示装置１１１におけるインタフェース部８０１とのデータのやりとりを制御するユニットである。具体的には、インタフェース部８０１からローカル情報取得要求を受信した際にローカル情報保持部８０５に保持しているローカル情報を返信する。インタフェース部８０１からインタフェース部８０４に送信されるローカル情報取得要求は、可搬媒体８０３に登録されている全てのローカル情報を取得する要求又は一部のみを取得する要求など、様々な要求が可能である。【００５５】
ローカル情報保持部８０５は、ユーザの特徴や嗜好情報を保持する。可搬媒体８０３中のローカル情報はＰＣ（Personal Computer）等の外部機器によって編集可能であり、また、操作入力部２０２から操作することによっても編集可能である。【００５６】
次に、本実施の形態における、重畳データα１の選択及び重畳を行なう際の処理の流れについて説明する。基本的には上記図６のフローチャートと同じである。異なる部分は、ローカル情報を取得する処理（ステップＳ６０４）である。【００５７】
本実施の形態の場合、ローカル情報は、インタフェース部８０１を介して可搬媒体８０３から取得する。【００５８】
また、可搬媒体８０３と重畳情報提示装置１１１の両方ともローカル情報保持部３０２及びローカル情報保持部８０５を備える場合には、登録されている全てのローカル情報を使用してもよいし、図１０に示すような表示を行なって、ユーザにどちらのローカル情報を使用するのかを選択させてもよいし、ローカル情報に優先度をつけて自動的にローカル情報を特定してもよい。【００５９】
（実施の形態３）
上記実施の形態１又は実施の形態２では、重畳情報提示装置１０１又は重畳情報提示装置１１１の中で画像データの解析、重畳データの選択及び重畳処理を行なっていたが、本実施の形態３ではサーバ１２２でこれらの処理を行なう。【００６０】
図１１は、本実施の形態３における、重畳情報提示装置１２１とサーバ１２２の構成要素を示す図である。上記図２又は図３と同じ構成要素については同じ符号を用い、その説明は省略する。【００６１】
重畳情報提示装置１２１は、通信制御部１００１を備える。【００６２】
通信制御部１００１は、画像取得部２０５から入力される画像、センサ部２１０から取得されるセンサ情報、当該重畳情報提示装置１２１固有の情報及びユーザに関する情報をサーバ１２２内の通信制御部１００２に送信する。上記実施の形態１及び実施の形態２とは異なり、入力された画像を解析することなく、そのままサーバ１２２に送信する。【００６３】
サーバ１２２は、通信制御部１００２、情報登録部１００３、ローカル情報保持部１００４、解析部１００５、重畳データ選択部１００６、重畳データ保持部１００７及び重畳部１００８を備える。【００６４】
通信制御部１００２は、重畳情報提示装置１２１とのデータのやりとりを制御するユニットである。具体的には重畳情報提示装置１２１から画像データやユーザ情報を取得する部分である。また、サーバ１２２内で重畳したデータを重畳情報提示装置１２１へ転送する部分である。【００６５】
情報登録部１００３は、サーバのローカル情報保持部１００４にユーザの情報を登録する部分である。ユーザはＰＣなどの外部登録装置から個人情報や嗜好等のユーザ毎の情報を設定する。【００６６】
ローカル情報保持部１００４は、ユーザ毎の情報を保持する部分である。具体的には上記図５に示すローカル情報を保持するローカル情報保持部３０２と同様に、ユーザとユーザ毎の嗜好を対応づけたテーブルを保持する。【００６７】
解析部１００５は、通信制御部１００２を解して取得した画像を解析する部分である。画像取得部２０５から入力された画像を解析し、重畳する情報の候補となる特徴を抽出する部分である。【００６８】
重畳データ選択部１００６は、解析部１００５から入力される重畳データ候補の特徴情報と、重畳データ管理部１００７が保持する重畳データ管理情報α２及びローカル情報保持部１００４から取得するユーザ毎のローカル情報から重畳する情報を選択する。【００６９】
重畳データ保持部１００７は、重畳するデータα１とその特徴情報である重畳データ管理情報α２を保持する。【００７０】
重畳部１００８は、重畳データ選択部１００６から、重畳データ選択処理の完了通知を受けて、解析部１００５から入力される画像データに選択された重畳データα１を重畳する部分である。【００７１】
図１２は、本実施の形態における重畳データ選択処理及び重畳処理の流れを示すフローチャートである。【００７２】
まず、通信制御部１００２は、通信制御部１００１からデータが入力されるまで待つ（ステップＳ１１０１）。【００７３】
データが入力されると、解析部１００５は、ステップＳ１１０１で入力されたデータを解析し、重畳データを特定するための特徴情報の候補を入力データから解析する（ステップＳ１１０２）。【００７４】
重畳データ選択部１００６は、ステップＳ１１０２で特定された重畳データ候補の特徴情報と重畳データ管理情報α２から重畳すべき重畳データα１を特定する。ここで、複数の重畳データα１が存在する場合（ステップＳ１１０３：ＹＥＳ）には、ローカル情報保持部１００４からローカル情報を取得する（ステップＳ１１０４）。【００７５】
また、重畳データα１が１つ以下しか存在しない場合には、重畳データ選択部１００８に対して重畳データ選択が完了したことを通知する（ステップＳ１１０３：ＮＯ）。【００７６】
重畳データが複数取得された場合には、取得したローカル情報と重畳データ管理情報α２から重畳データに優先度を付与することで重畳する情報を選択する。また、この処理は自動的に行なわず、上記図８に示すように出力部２０８に表示を行なって、ユーザに選択させてもよい（ステップＳ１１０５）。【００７７】
重畳データが選択されたら、重畳部１００８に対して重畳データ選択が完了したことを通知する。重畳部１００８は、通知を受けると解析部１００４入力されるカメラデータに重畳データ保持部１００７から取得した重畳データα１を重畳させる処理を行なう（ステップＳ１１０６）。重畳させる位置は、解析部１００５から入力される情報に従ってもよいし、重畳データに存在する情報に従ってもよい。【００７８】
（実施の形態４）
図１３（ａ）、（ｂ）は、上記重畳情報提示装置１０１の解析部３０５における、撮影した光の点滅や取得した音声に基づいて、画像に重畳する情報を取得するサーバを特定する情報等を決定する方法を説明するための図である。図１３（ａ）は、記録部２０１に格納されている、撮影した画像に含まれる光の強弱を示す波形や音声の波形に関する基準波形の一例である。一方、図１３（ｂ）は、実際に撮影した画像の中の光の点滅や録音した音声を解析することによって抽出された波形の一例である。解析部３０５は、実際に抽出された波形（図１３（ｂ））と一致する（又は類似度の高い）基準波形を特定し、この基準波形に対応付けられている重畳データコード（例えば、ＣＡ００１１）を取得し、この重畳データコードに対応するサーバのアドレス情報を重畳データ選択部３０３に通知する。【００７９】
図１４は、本実施の形態に係る解析部３０５を用いた場合の重畳情報提示装置１０１の処理の流れを示すフローチャートである。【００８０】
最初に、画像取得部２０５及びセンサ部２１０を介して、情報が重畳される対象画像と、音声又は光の映像が取得されると（ステップＳ１４０１：ＹＥＳ）、解析部３０５は、取得した音声又は光の映像を解析して信号波形に変換し（ステップＳ１４０２）、記録部２０１内の基準波形と照合する（ステップＳ１４０３）。この際、一致する（又は類似度が高い）波形がある場合は（ステップＳ１４０４：ＹＥＳ）、その基準波形に対応付けられている重畳データコードを特定し（ステップＳ１２０５）、この重畳データコードに対応するサーバにアクセスして重畳データを取得する（ステップＳ１４０６）。重畳部３０６は、取得された重畳データを対象画像に重畳する（ステップＳ１４０７）。【００８１】
以上の処理を通して、画像取得部２０５から入力された画像に対してユーザの嗜好に沿った情報を重畳することが可能となる。【００８２】
なお、上記の実施の形態１及び実施の形態２では、画像取得部２０５を介して入力された画像データを解析することで、重畳する情報を入手するサーバをネットワーク内から特定していたが、もちろんローカルサーバから取得してもよい。例えば、アミューズメントパーク等でのみ接続可能なサーバから重畳する情報を取得することで、その場でしか取得できない情報を取得することが可能となる。このように、画像を撮影した場所を特定し、その場所に対応する情報を提供するサイトにアクセスして重畳する情報を入手するようにしてもよい。【００８３】
また、上記実施の形態１〜３では、解析したデータとサーバに登録してあるデータとのマッチングを取ることでその情報をユーザ等に通知してもよい。例えば、ユーザが任意の風景を撮影している画像を解析した結果、指名手配中の容疑者が確認された場合は、ユーザが保持する機器にその旨を通知する表示を行なってもよいし、最寄りの警察等の施設に自動的に通報するようにしてもよい。【００８４】
また、上記の実施の形態１〜３では、ローカル情報はユーザが登録することとしたが、もちろんこれに限られるのものではない。サイト等からダウンロードしてもよいし、他のユーザから取得してもよい。【００８５】
また、上記実施の形態１〜３では、常に情報を重畳していたが、情報を重畳するかどうかについて、ユーザに選択させることとしてもよい。【００８６】
また、本発明は、重畳する情報を表示しないで音声データに変換する音声変換手段を備えると共に、変換した音声データを可搬媒体等に記録させ、画像を再生する際に、画像に対応させて音声を再生（又は画像とは関係なく再生）させることも可能である。
【産業上の利用可能性】
【００８７】
本発明の重畳情報提示装置によれば、ユーザが任意に撮像した画像上にユーザの嗜好に沿った情報を重畳することができるという点で有用である。また、監視システム等の用途にも応用できる。
【図１】
2008016083.tif 000003
【図２】
2008016083.tif 000004
【図３】
2008016083.tif 000005
【図４】
2008016083.tif 000006
【図５】
2008016083.tif 000007
【図６】
2008016083.tif 000008
【図７】
2008016083.tif 000009
【図８】
2008016083.tif 000010
【図９】
2008016083.tif 000011
【図１０】
2008016083.tif 000012
【図１１】
2008016083.tif 000013
【図１２】
2008016083.tif 000014
【図１３】
2008016083.tif 000015
【図１４】
2008016083.tif 000016
【手続補正書】
【提出日】平成20年1月15日(2008.1.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に対応させて、情報を重畳して提示する重畳情報提示装置であって、
画像を取得する画像取得手段と、
取得された前記画像を解析し、重畳させる情報に関する関連情報を抽出する解析手段と、
画像に対応させて、情報を重畳して提示する重畳情報提示装置であって、
光の点滅を含む画像を取得する画像取得手段と、
取得された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、重畳させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択手段と、
取得された前記画像に、特定された前記情報を重畳して提示する重畳手段と
を備えることを特徴とする重畳情報提示装置。
【請求項２】
（削除）
【請求項３】
前記重畳情報提示装置は、さらに、
当該重畳情報提示装置に係るユーザに関する情報を格納するローカル情報保持手段を備え、
前記重畳データ選択手段は、さらに、
前記情報が複数特定された場合に、前記ローカル情報に基づいて、前記特定された情報に優先順位を付与し、
前記重畳手段は、取得された前記画像に、優先順位が最も高い前記情報を重畳して提示する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項４】
前記重畳情報提示装置は、さらに、
ＵＲＬ情報に対応するサーバ装置にアクセスして前記重畳させる情報の候補を取得する通信制御手段を備え、
取得された前記画像には、２次元コード又は文字列が含まれており、
前記解析手段は、
取得された前記画像における２次元コード又は文字列を解析することによって、特定のサーバにアクセスするためのＵＲＬ情報を抽出し、
前記通信制御手段は、抽出された前記ＵＲＬ情報を用いて当該サーバ装置から前記重畳させる情報の候補を取得し、
前記重畳データ選択手段は、取得された前記重畳させる情報候補の中から、前記ローカル情報に基づいて、一の重畳させる情報を選択する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項５】
前記ローカル情報は、
当該重畳情報提示装置のユーザに係る年齢、性別及び国籍、並びに前記画像の取得時の天候、時間及び場所を示す情報のうち、少なくとも１つを含む
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項６】
前記重畳情報提示装置は、さらに、
前記画像を取得した場所を特定する撮影場所特定手段を備え、
前記重畳データ選択手段は、さらに、
特定された前記場所に基づいて、重畳する情報を特定する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項７】
前記重畳情報提示装置は、さらに、
前記重畳データ選択手段において特定された情報を音声データに変換する音声変換手段を備え、
前記重畳手段は、さらに、
変換された前記音声データを用いて、前記画像に対応させた音声を出力する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項８】
画像に対応して提示させる情報を端末装置に提供するサーバ装置であって、
前記端末装置から光の点滅を含む画像の画像データを受信する通信制御手段と、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択手段とを備え、
前記通信制御手段は、さらに、
特定された前記情報を前記端末装置に送信する
ことを特徴とするサーバ装置。
【請求項９】
端末装置とサーバ装置とを有する重畳情報提示システムであって、
前記端末装置は、
光の点滅を含む画像を取得する画像取得手段と、
取得された前記画像を表す画像データを前記サーバ装置に送信する第１通信制御手段とを備え、
前記サーバ装置は、
前記端末装置から光の点滅を含む画像の画像データを受信する第２通信制御手段と、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択手段とを備え、
前記第２通信制御手段は、さらに、特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報提示システム。
【請求項１０】
画像に対応させて、情報を重畳して提示する重畳情報提示方法であって、
光の点滅を含む画像を取得する画像取得ステップと、
取得された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、重畳させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択ステップと、
取得された前記画像に、特定された前記情報を重畳して提示する重畳ステップと
を含むことを特徴とする重畳情報提示方法。
【請求項１１】
画像に対応して提示させる情報を端末装置に提供するサーバ装置における重畳情報提供方法であって、
前記端末装置から光の点滅を含む画像の画像データを受信する通信制御ステップと、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択ステップとを含み、
前記通信制御ステップでは、さらに、
特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報提供方法。
【請求項１２】
端末装置とサーバ装置とを有する重畳情報提示システムにおける重畳情報利用方法であって、
前記端末装置では、
光の点滅を含む画像を取得する画像取得ステップと、
取得された前記画像を表す画像データを前記サーバ装置に送信する第１通信制御ステップとを含み、
前記サーバ装置では、
前記端末装置から光の点滅を含む画像の画像データを受信する第２通信制御ステップと、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択ステップを含み、
前記第２通信制御ステップでは、さらに、特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報利用方法。
【手続補正書】
【提出日】平成20年12月9日(2008.12.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に対応させて、情報を重畳して提示する重畳情報提示装置であって、  
画像を取得する画像取得手段と、
取得された前記画像を解析し、重畳させる情報に関する関連情報を抽出する解析手段と、
画像に対応させて、情報を重畳して提示する重畳情報提示装置であって、
光の点滅を含む画像を取得する画像取得手段と、
取得された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、重畳させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択手段と、
取得された前記画像に、特定された前記情報を重畳して提示する重畳手段と
を備えることを特徴とする重畳情報提示装置。
【請求項２】
前記重畳情報提示装置は、さらに、
当該重畳情報提示装置に係るユーザに関する情報を格納するローカル情報保持手段を備え、
前記重畳データ選択手段は、さらに、
前記情報が複数特定された場合に、前記ローカル情報に基づいて、前記特定された情報に優先順位を付与し、
前記重畳手段は、取得された前記画像に、優先順位が最も高い前記情報を重畳して提示する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項３】
前記重畳情報提示装置は、さらに、
ＵＲＬ情報に対応するサーバ装置にアクセスして前記重畳させる情報の候補を取得する通信制御手段を備え、
取得された前記画像には、２次元コード又は文字列が含まれており、
前記解析手段は、
取得された前記画像における２次元コード又は文字列を解析することによって、特定のサーバにアクセスするためのＵＲＬ情報を抽出し、
前記通信制御手段は、抽出された前記ＵＲＬ情報を用いて当該サーバ装置から前記重畳させる情報の候補を取得し、
前記重畳データ選択手段は、取得された前記重畳させる情報候補の中から、前記ローカル情報に基づいて、一の重畳させる情報を選択する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項４】
前記ローカル情報は、
当該重畳情報提示装置のユーザに係る年齢、性別及び国籍、並びに前記画像の取得時の天候、時間及び場所を示す情報のうち、少なくとも１つを含む
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項５】
前記重畳情報提示装置は、さらに、
前記画像を取得した場所を特定する撮影場所特定手段を備え、
前記重畳データ選択手段は、さらに、
特定された前記場所に基づいて、重畳する情報を特定する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項６】
前記重畳情報提示装置は、さらに、
前記重畳データ選択手段において特定された情報を音声データに変換する音声変換手段を備え、
前記重畳手段は、さらに、
変換された前記音声データを用いて、前記画像に対応させた音声を出力する
ことを特徴とする請求項１に記載の重畳情報提示装置。
【請求項７】
画像に対応して提示させる情報を端末装置に提供するサーバ装置であって、
前記端末装置から光の点滅を含む画像の画像データを受信する通信制御手段と、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択手段とを備え、
前記通信制御手段は、さらに、
特定された前記情報を前記端末装置に送信する
ことを特徴とするサーバ装置。
【請求項８】
端末装置とサーバ装置とを有する重畳情報提示システムであって、
前記端末装置は、
光の点滅を含む画像を取得する画像取得手段と、
取得された前記画像を表す画像データを前記サーバ装置に送信する第１通信制御手段とを備え、
前記サーバ装置は、
前記端末装置から光の点滅を含む画像の画像データを受信する第２通信制御手段と、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析手段と、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択手段とを備え、
前記第２通信制御手段は、さらに、特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報提示システム。
【請求項９】
画像に対応させて、情報を重畳して提示する重畳情報提示方法であって、
光の点滅を含む画像を取得する画像取得ステップと、
取得された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、重畳させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択ステップと、
取得された前記画像に、特定された前記情報を重畳して提示する重畳ステップと
を含むことを特徴とする重畳情報提示方法。
【請求項１０】
画像に対応して提示させる情報を端末装置に提供するサーバ装置における重畳情報提供方法であって、
前記端末装置から光の点滅を含む画像の画像データを受信する通信制御ステップと、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択ステップとを含み、
前記通信制御ステップでは、さらに、
特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報提供方法。
【請求項１１】
端末装置とサーバ装置とを有する重畳情報提示システムにおける重畳情報利用方法であって、
前記端末装置では、
光の点滅を含む画像を取得する画像取得ステップと、
取得された前記画像を表す画像データを前記サーバ装置に送信する第１通信制御ステップとを含み、
前記サーバ装置では、
前記端末装置から光の点滅を含む画像の画像データを受信する第２通信制御ステップと、
受信された前記画像における光の点滅を表わす波形に基づいて、予め定められた画像を表わす基準波形の中から一の基準波形を特定し、特定された当該基準波形に基づいて、提示させる情報に関する関連情報を抽出する解析ステップと、
抽出された前記関連情報に基づいて、提示させる情報を特定する重畳データ選択ステップを含み、
前記第２通信制御ステップでは、さらに、特定された前記情報を前記端末装置に送信する
ことを特徴とする重畳情報利用方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ等によって撮影された動画又は静止画に、広告等のための画像や情報を重畳してユーザに提示する技術に関するものである。
【背景技術】
【０００２】
近年、デジタルビデオカメラ（「デジタルカメラ」ともいう。）やカメラ機能付き携帯電話機等の普及により、風景や建造物等を撮影する機会が増加してきている。それに伴い、撮影された風景や建造物等に関連する情報を画像に重畳して表示することによって、ユーザに広告情報やサービス情報を提供する技術が提案されている。
【０００３】
例えば、鉄道や旅客機の先頭にカメラを設置し、撮影された画像に、その画像に適合する広告情報等を重畳して表示するシステムが提案されている（例えば、特許文献１参照）。上記のシステムでは、撮影された画像に、既定のサーバから取得した情報を重畳して表示する方法が開示されている。
【特許文献１】特開２００５−１４７８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムでは、鉄道や旅客機の先頭において撮影された画像（原則、これらの公共交通機関のルートは予め決められているため、ほぼパターン化された画像となる。）に対しては、予め各画像に対応付けられた情報が重畳されるに過ぎず、必ずしもユーザの嗜好に沿った情報が表示されるとは限らない。したがって、ユーザが、ユーザのカメラで任意に撮影した画像に対して情報を重畳することはできず、広告対象が制限されてしまうという問題がある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、ユーザが撮像した任意の画像に、ユーザの嗜好に沿った情報を重畳して提示することが可能な重畳情報提示装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る重畳情報提示装置は、画像に対応させて、情報を重畳して提示する重畳情報提示装置であって、画像を取得する画像取得手段と、取得された前記画像を解析し、重畳させる情報に関する関連情報を抽出する解析手段と、抽出された前記関連情報に基づいて、重畳させる情報を特定する重畳データ選択手段と、取得された前記画像に、特定された前記情報を重畳して提示する重畳手段とを備えることを特徴とする。
【０００７】
本構成により、ユーザが任意に撮像した画像にユーザの嗜好に沿った情報を重畳して提示することが可能となる。
【０００８】
なお、本発明は、上記重畳情報提示装置における特徴的な構成手段をステップとする重畳情報提示方法として実現することもできる。さらに、上記方法の各々のステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
【０００９】
さらに、本発明は、上記重畳情報提示装置における特徴的な構成手段を備えるサーバ装置として実現することもでき、当該サーバ装置と、カメラ機能及び通信機能を備える端末装置とを有する重畳情報提示システムとして実現することもできる。さらに、本発明は、上記サーバ装置又は重畳情報提示システムにおける特徴的な構成手段をステップとする重畳情報提供方法又は重畳情報利用方法として実現することもできる。
【発明の効果】
【００１０】
本発明の重畳情報提示装置によれば、ユーザが任意に撮像した画像上にユーザの嗜好に沿った情報を重畳して提示することができる。さらに、ユーザは、任意の風景等を撮像することで、嗜好に沿った情報が自動的に重畳された撮像画像を見ることが可能となる。また、画像に重畳させる情報を提供する企業（広告主）は、自動的にユーザの嗜好に沿った広告を提供することが可能になる。さらにまた、当該重畳情報提示装置を提供する企業は、広告主から広告情報を提供したことに対する対価を得ることもできる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行なうが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
【００１２】
図１は、本発明に係る重畳情報提示システム１０の概略図である。重畳情報提示システム１０は、重畳情報（「重畳データ」ともいう。）１０３を保持するサーバ１０２と、ユーザの嗜好に沿った重畳情報１０３を取得（又は受信）し、ユーザが撮影した動画又は静止画（以下、単に「画像」という。）に重畳情報１０３を重畳して提示することが可能な重畳情報提示装置１０１とを備える。なお、サーバ１０２は、複数備えることとしてもよく、重畳情報提示装置１０１は、何れかのサーバ１０２からユーザの嗜好に沿った重畳情報１０３を取得（又は受信）する。なお、上記重畳情報１０３の具体例としては、製品やイベントに関する広告情報やユーザに便宜を提供するサービス情報などがある。
【００１３】
図２は、本発明に係る重畳情報提示装置１０１の機能構成の概略を示すブロック図である。重畳情報提示装置１０１は、記録部２０１、操作入力部２０２、インタフェース部２０３、制御部２０４、画像取得部２０５、解析部２０６、重畳部２０７、出力部２０８、通信制御部２０９及びセンサ部２１０を備えており、各構成要素がバス２１１によって相互に接続されている。
【００１４】
記録部２０１は、例えば、ハードディスク装置であり、当該重畳情報提示装置１０１が使用する情報を記録する。具体的には、記録部２０１は、撮影された画像の画像データ、重畳する情報（若しくはデータ）、又はユーザが入力した情報等を記録する。これらのデータ又は情報は、画像取得部２０５、サーバ１０２、可搬媒体２１３又はユーザからの入力等によって取得する。なお、重畳する情報としては、視覚に訴えるもの（画像やテキストなど）以外に、聴覚に訴えるもの（音声）であってもよい。
【００１５】
操作入力部２０２は、例えば、キーボード、マウス又はリモコン等であり、ユーザからの操作を受け付ける。
【００１６】
インタフェース部２０３は、可搬媒体２１３の検出及び重畳情報提示装置１０１−可搬媒体２１３間でやりとりされるデータの変換等を行なうユニットである。
【００１７】
制御部２０４は、例えば制御プログラムを格納するＲＯＭ及びＲＡＭ等を備えるマイクロコンピュータであり、重畳情報提示装置１０１における各構成要素の動作を制御する。さらに、制御部２０４は、記録部２０１に格納されているローカル情報に基づいて、画像に重畳する情報を選択する。ここで、「ローカル情報」とは、ユーザの嗜好及びユーザの特質等が定義された情報であり、重畳データＩＤに対応付けられて登録されている。
【００１８】
画像取得部２０５は、例えば、ＣＣＤ（Charge Coupled Device）を備えるデジタルカメラであり、風景等を撮影し、撮影した画像を画像データに変換して記録部２０１に格納する。
【００１９】
解析部２０６は、画像取得部２０５において取得された画像データを解析して、当該画像の中の特徴部分（例えば、２次元コード、文字列又は建造物など）を抽出し、抽出した特徴部分に基づいて重畳する情報に関連する関連情報を特定する。関連情報の具体例としては、特定のサイトを示す（即ち、特定のサーバ１０２を特定し得る）ＵＲＬ情報がある。
【００２０】
重畳部２０７は、画像取得部２０５において取得された画像に、制御部２０４で選択された情報を重畳する。
【００２１】
出力部２０８は、例えば、スピーカを備える液晶表示装置であり、情報が重畳された画像（さらに、当該画像に対応する音声）をユーザに提示する。
【００２２】
通信制御部２０９は、（ネットワークを介して又は直接アクセスされる）サーバ１０２−重畳情報提示装置１０１間の通信を制御する部分である。具体的には、サーバ１０２から重畳する情報を取得する。
【００２３】
センサ部２１０は、例えばクロックやＧＰＳ等を備え、時間情報や当該重畳情報提示装置１０１の位置情報、天候情報等の情報を取得する。さらに、センサ部２１０は、マイクロホンを備え、上記画像取得部２０５における画像撮影時の音声を取り込んで音声データに変換し、記録部２０１に格納する。なお、上記の画像取得部２０５がマイクロホンも備えて、音声を取り込むこととしてもよい。
【００２４】
上記のような構成にすることにより、重畳情報提示装置１０１は、画像取得部２０５から取得した画像・音声の適切な位置に通信制御部２０９から取得した重畳するための情報を重畳してユーザに提示することを可能にする。
【００２５】
なお、画像取得部及びセンサ部は、取得手段の一例である。
【００２６】
（実施の形態１）
本実施の形態では、重畳情報提示装置１０１内に保持するローカル情報を用いて、ユーザの嗜好に沿った情報を画像に重畳する（さらに、重畳する情報の候補に優先度を付与する）実施例について説明する。本実施の形態に係る重畳情報提示装置１０１は、画像取得部２０５から画像を取得すると、記録部２０１（具体的には、図３のローカル情報保持部３０２）からユーザの嗜好等が記載されているローカル情報を読み出し、このローカル情報に基づいて特定されたサーバ１０２から重畳する情報を取得する。
【００２７】
図３は、上記図２に示した重畳情報提示装置１０１における各構成要素のより詳細な機能構成を示すブロック図である。なお、上記図２と同じ構成要素については同じ符号を用い、その説明は省略する。
【００２８】
図２及び図３に示すように、記録部２０１（図３では破線で囲った部分）は、サーバ情報保持部３０１及びローカル情報保持部３０２を備える。また、制御部２０４（図３では破線で囲った部分）は、重畳データ選択部３０３及びローカル情報更新部３０４を備える。
【００２９】
サーバ情報保持部３０１は、通信制御部２０９を介してサーバ１０２から取得された重畳データα１と、重畳データα１を管理するための重畳データ管理情報α２とを格納する。重畳データα１は、画像取得部２０５から取得した画像に重畳する情報自体である。また、重畳データ管理情報α２は、重畳データα１に関する情報を定義したものであり、具体的には図４のようなテーブル形式で、重畳データＩＤ毎にジャンル及びメーカー等が定義されている。この重畳データ管理情報α２は、通信制御部２０９を介して取得される重畳データα１と共に取得される重畳データ特徴情報に基づいて作成される。なお、重畳データ特徴情報は、通信制御部２０９を通して取得してもよいし、重畳データα１自体を解析することによって作成してもよい。
【００３０】
ローカル情報保持部３０２は、当該重畳情報提示装置１０１のユーザに関する情報（ローカル情報）を保持する部分であり、当該重畳情報提示装置１０１特有の情報や、操作入力部２０２を介して取得されたユーザの特徴、嗜好情報、時間情報、位置情報、及びセンサ部２１０から取得された情報などを保持する。ここで、ローカル情報は、例えば図５に示すような構造の情報である。
【００３１】
重畳データ選択部３０３は、ユーザの嗜好や撮影時の状況に応じて、重畳する情報を特定する部分である。重畳データ選択部３０３は、解析部３０５によって特定された、重畳する情報を保持するサーバ１０２を１つ以上特定し、通信制御部２０９から重畳データα１を取得する。取得された重畳データα１が複数存在する場合には、サーバ情報保持部３０１から重畳データ管理情報α２と、ローカル情報保持部３０２及びセンサ部２１０からセンサ情報を取得する。取得されたこれらの情報を用いて重畳データα１に優先度を付与し、最終的には重畳する情報を一意に特定する。例えば、図４に示されるような重畳データ管理情報α２があり、図５のユーザ１が撮影した画像がある場合、図４の重畳データのうち重畳データＩＤが「７」のデータがユーザ１の嗜好に一番近いものであると判定できる。重畳データα１が特定されると重畳データ選択部３０３は、重畳データ管理情報α２を更新し、特定された重畳データα１のみを利用可能にする。
【００３２】
ローカル情報更新部３０４は、操作入力部２０２を介してローカル情報を更新するための操作を受け付けると、ローカル情報保持部３０２が保持するローカル情報を更新する。
【００３３】
解析部３０５は、上記図２の解析部２０６に相当する部分である。画像取得部２０５において取得された画像を解析して、その特徴部分から、重畳する情報の候補を保持するサーバ１０２を特定する。例えば、画像に埋め込まれている２次元バーコード情報を抜き出すことでＵＲＬ情報を取得してサーバ１０２を特定したり、画像上の文字列又は模様からサーバを特定する情報を取得する。さらに、静止画だけでなく、動画における光の点滅や光の強弱を抽出し、このような光の波形を解析することで上記のサーバを特定する情報を決定したり、重畳する情報を特定してもよい。さらにまた、画像に限らず、撮影時に一緒に取得した音声の波形を解析することで、上記のサーバを特定する情報を決定したり、重畳する情報を特定してもよい。
【００３４】
重畳部３０６は、上記図２の重畳部２０７に相当する部分である。重畳部３０６は、画像取得部２０５から入力された画像に重畳データ選択部３０３によって特定された重畳データα１を重畳する。重畳する位置は解析部３０５によって解析された特徴部分から取得してもよいし、重畳データ管理情報α２に記載されている内容を用いてもよい。
【００３５】
サーバ１０２は、通信制御部３０７と重畳データ保持部３０８とを備える。
【００３６】
通信制御部３０７は、解析部３０５によって取得されたＵＲＬ情報を用いて該当するサーバ装置にアクセスし、重畳情報１０３の候補を取得する。
【００３７】
さらに、通信制御部３０７は、重畳データ選択部３０３から問い合わせのあった重畳データα１を重畳データ保持部３０８から検索し、検索された重畳データα１と重畳データの関連情報を重畳情報提示装置１０１に転送するユニットである。例えば、同じ問い合わせに対して複数の重畳データα１が候補に挙がった場合には、全ての重畳データα１を転送する。なお、通信制御部３０７は、予め複数のＵＲＬ情報を保持しておき、それらのＵＲＬ情報に対応する複数のサーバ装置にアクセスして（即ち、ブロードキャストすることによって）重畳情報１０３の候補を取得してもよい。
【００３８】
重畳データ保持部３０８は、複数の重畳データα１を保持している部分であり、通信制御部３０７からの重畳データ検索要求に応じ、対応する重畳データα１を送信する。
【００３９】
図６は、本実施の形態における重畳情報提示装置１０１の処理の流れを示すフローチャートである。
【００４０】
まず、重畳データ選択部３０３は、解析部３０５が画像取得部２０５から取得した画像を解析するまで待つ（ステップＳ６０１）。解析部３０５から解析結果を示すデータが入力されると、重畳データ選択部３０３は、このデータから重畳する情報を取得するサーバ１０２を特定し、通信制御部２０９に重畳データ取得要求を送信する。このとき、重畳データ取得要求は、１つである必要はなく、複数であってもよい。通信制御部２０９は、重畳データ取得要求に基づいて外部のサーバ１０２と通信を行ない、取得した重畳データα１と重畳データ管理情報α２をサーバ情報保持部３０１に格納する（ステップＳ６０２）。
【００４１】
重畳データ選択部３０３は、通信制御部２０９から重畳データα１の取得が完了した通知を受けると、サーバ情報保持部３０１から重畳データ管理情報α２を取得し、その内容を解析する（ステップＳ６０３）。その結果、複数の重畳データα１が存在する場合（ステップＳ６０３：ＹＥＳ）、重畳データ選択部３０３は、ローカル情報保持部３０２からローカル情報を取得すると共に、センサ部２１０から時刻情報や位置情報等を取得し（ステップＳ６０４）、取得したローカル情報と重畳データ管理情報α２から、重畳データα１に優先度をつけることで重畳する情報を選択する（ステップＳ６０５）。
【００４２】
また、重畳データα１が１つしか存在しない場合（ステップＳ６０３：ＮＯ）、重畳データ選択部３０３は、重畳部３０６に対して、選択した重畳データα１を通知する。
【００４３】
重畳データ選択部３０３における優先度に基づいて重畳する情報を選択する処理は、図８に示すように、出力部２０８に表示してユーザから指示を受け付けながら実行してもよい（ステップＳ６０５）。
【００４４】
重畳データα１が選択されると、重畳データ選択部３０３は、重畳部３０６に対して重畳データの選択が完了したことを通知する。重畳部３０６は、この通知を受けると、画像取得部２０５から解析部３０５を経由して入力される画像にサーバ情報保持部３０１から取得した重畳データα１を重畳する（ステップＳ６０６）。重畳する位置は解析部３０５から入力される情報に従ってもよいし、重畳データα１に存在する情報に従ってもよい。
【００４５】
図７（ａ）、（ｂ）は、本実施の形態に係る重畳情報提示装置１０１の出力部２０８における表示例である。図７（ａ）は、ユーザによって撮影された画像の一例である。また、図７（ｂ）は、当該重畳情報提示装置１０１によって情報が重畳された様子を示す一例である。解析部３０５は、領域４０１の文字列の画像及び領域４０２の２次元コードを表すレンガの画像を解析し、その解析結果からサーバ１０２を特定する情報を抽出したり、サーバ情報保持部３０１に格納されている重畳する情報を特定して重畳データ選択部３０３に通知する。重畳データ選択部３０３は、上記特定されたサーバ１０２から取得し、又はサーバ情報保持部３０１に格納されている重畳データα１を特定して重畳部３０６に通知する。重畳部３０６は、重畳データ選択部３０３から通知された重畳データα１を領域４０１の文字列の画像又は領域４０２の２次元コードを表わすレンガの画像に代えて、広告情報５０１及び広告情報５０２を表示するように出力部２０８における表示を制御する。
【００４６】
以上の処理を通して、画像取得部２０５において取得された画像に対してユーザの嗜好にあった情報を重畳することが可能となる。
【００４７】
（実施の形態２）
本実施の形態では、ユーザの嗜好に応じて、画像に重畳する情報をする重畳情報提示装置１１１について説明する。重畳情報提示装置１１１と上記実施の形態１に係る重畳情報提示装置１０１との相違点は、ローカル情報の保持場所であり、実施の形態１では重畳情報提示装置１０１中に保持していたのに対し、実施の形態２では可搬媒体２１３中に保持している点である。
【００４８】
図９は、本実施の形態における重畳情報提示装置１１１と可搬媒体８０３の機能構成を示すブロック図である。なお、上記図２又は図３と同じ構成要素については同じ符号を用い、その説明は省略する。
【００４９】
重畳情報提示装置１１１は、さらにインタフェース部８０１を備え、制御部２０４は重畳データ選択部８０２を備える。
【００５０】
インタフェース部８０１は、上記図２におけるインタフェース部２０３に相当する部分である。インタフェース部８０１は、重畳データ選択部８０２に可搬媒体８０３から取得したローカル情報を転送する。
【００５１】
重畳データ選択部８０２は、上記図３における重畳データ選択部３０３とほぼ同じ機能であるが、ローカル情報の取得先が異なる。本実施の形態では、インタフェース部８０１を介して可搬媒体８０３からローカル情報を取得する。
【００５２】
可搬媒体８０３は、インタフェース部８０４とローカル情報保持部８０５とを備える。インタフェース部８０４は、重畳情報提示装置１１１におけるインタフェース部８０１とのデータのやりとりを制御するユニットである。具体的には、インタフェース部８０１からローカル情報取得要求を受信した際にローカル情報保持部８０５に保持しているローカル情報を返信する。インタフェース部８０１からインタフェース部８０４に送信されるローカル情報取得要求は、可搬媒体８０３に登録されている全てのローカル情報を取得する要求又は一部のみを取得する要求など、様々な要求が可能である。
【００５３】
ローカル情報保持部８０５は、ユーザの特徴や嗜好情報を保持する。可搬媒体８０３中のローカル情報はＰＣ（Personal Computer）等の外部機器によって編集可能であり、また、操作入力部２０２から操作することによっても編集可能である。
【００５４】
次に、本実施の形態における、重畳データα１の選択及び重畳を行なう際の処理の流れについて説明する。基本的には上記図６のフローチャートと同じである。異なる部分は、ローカル情報を取得する処理（ステップＳ６０４）である。
【００５５】
本実施の形態の場合、ローカル情報は、インタフェース部８０１を介して可搬媒体８０３から取得する。
【００５６】
また、可搬媒体８０３と重畳情報提示装置１１１の両方ともローカル情報保持部３０２及びローカル情報保持部８０５を備える場合には、登録されている全てのローカル情報を使用してもよいし、図１０に示すような表示を行なって、ユーザにどちらのローカル情報を使用するのかを選択させてもよいし、ローカル情報に優先度をつけて自動的にローカル情報を特定してもよい。
【００５７】
（実施の形態３）
上記実施の形態１又は実施の形態２では、重畳情報提示装置１０１又は重畳情報提示装置１１１の中で画像データの解析、重畳データの選択及び重畳処理を行なっていたが、本実施の形態３ではサーバ１２２でこれらの処理を行なう。
【００５８】
図１１は、本実施の形態３における、重畳情報提示装置１２１とサーバ１２２の構成要素を示す図である。上記図２又は図３と同じ構成要素については同じ符号を用い、その説明は省略する。
【００５９】
重畳情報提示装置１２１は、通信制御部１００１を備える。
【００６０】
通信制御部１００１は、画像取得部２０５から入力される画像、センサ部２１０から取得されるセンサ情報、当該重畳情報提示装置１２１固有の情報及びユーザに関する情報をサーバ１２２内の通信制御部１００２に送信する。上記実施の形態１及び実施の形態２とは異なり、入力された画像を解析することなく、そのままサーバ１２２に送信する。
【００６１】
サーバ１２２は、通信制御部１００２、情報登録部１００３、ローカル情報保持部１００４、解析部１００５、重畳データ選択部１００６、重畳データ保持部１００７及び重畳部１００８を備える。
【００６２】
通信制御部１００２は、重畳情報提示装置１２１とのデータのやりとりを制御するユニットである。具体的には重畳情報提示装置１２１から画像データやユーザ情報を取得する部分である。また、サーバ１２２内で重畳したデータを重畳情報提示装置１２１へ転送する部分である。
【００６３】
情報登録部１００３は、サーバのローカル情報保持部１００４にユーザの情報を登録する部分である。ユーザはＰＣなどの外部登録装置から個人情報や嗜好等のユーザ毎の情報を設定する。
【００６４】
ローカル情報保持部１００４は、ユーザ毎の情報を保持する部分である。具体的には上記図５に示すローカル情報を保持するローカル情報保持部３０２と同様に、ユーザとユーザ毎の嗜好を対応づけたテーブルを保持する。
【００６５】
解析部１００５は、通信制御部１００２を解して取得した画像を解析する部分である。画像取得部２０５から入力された画像を解析し、重畳する情報の候補となる特徴を抽出する部分である。
【００６６】
重畳データ選択部１００６は、解析部１００５から入力される重畳データ候補の特徴情報と、重畳データ保持部１００７が保持する重畳データ管理情報α２及びローカル情報保持部１００４から取得するユーザ毎のローカル情報から重畳する情報を選択する。
【００６７】
重畳データ保持部１００７は、重畳するデータα１とその特徴情報である重畳データ管理情報α２を保持する。
【００６８】
重畳部１００８は、重畳データ選択部１００６から、重畳データ選択処理の完了通知を受けて、解析部１００５から入力される画像データに選択された重畳データα１を重畳する部分である。
【００６９】
図１２は、本実施の形態における重畳データ選択処理及び重畳処理の流れを示すフローチャートである。
【００７０】
まず、通信制御部１００２は、通信制御部１００１からデータが入力されるまで待つ（ステップＳ１１０１）。
【００７１】
データが入力されると、解析部１００５は、ステップＳ１１０１で入力されたデータを解析し、重畳データを特定するための特徴情報の候補を入力データから解析する（ステップＳ１１０２）。
【００７２】
重畳データ選択部１００６は、ステップＳ１１０２で特定された重畳データ候補の特徴情報と重畳データ管理情報α２から重畳すべき重畳データα１を特定する。ここで、複数の重畳データα１が存在する場合（ステップＳ１１０３：ＹＥＳ）には、ローカル情報保持部１００４からローカル情報を取得する（ステップＳ１１０４）。
【００７３】
また、重畳データα１が１つ以下しか存在しない場合には、重畳部１００８に対して重畳データ選択が完了したことを通知する（ステップＳ１１０３：ＮＯ）。
【００７４】
重畳データが複数取得された場合には、取得したローカル情報と重畳データ管理情報α２から重畳データに優先度を付与することで重畳する情報を選択する。また、この処理は自動的に行なわず、上記図８に示すように出力部２０８に表示を行なって、ユーザに選択させてもよい（ステップＳ１１０５）。
【００７５】
重畳データが選択されたら、重畳部１００８に対して重畳データ選択が完了したことを通知する。重畳部１００８は、通知を受けると解析部１００５に入力されるカメラデータに重畳データ保持部１００７から取得した重畳データα１を重畳させる処理を行なう（ステップＳ１１０６）。重畳させる位置は、解析部１００５から入力される情報に従ってもよいし、重畳データに存在する情報に従ってもよい。
【００７６】
（実施の形態４）
図１３（ａ）、（ｂ）は、上記重畳情報提示装置１０１の解析部３０５における、撮影した光の点滅や取得した音声に基づいて、画像に重畳する情報を取得するサーバを特定する情報等を決定する方法を説明するための図である。図１３（ａ）は、記録部２０１に格納されている、撮影した画像に含まれる光の強弱を示す波形や音声の波形に関する基準波形の一例である。一方、図１３（ｂ）は、実際に撮影した画像の中の光の点滅や録音した音声を解析することによって抽出された波形の一例である。解析部３０５は、実際に抽出された波形（図１３（ｂ））と一致する（又は類似度の高い）基準波形を特定し、この基準波形に対応付けられている重畳データコード（例えば、ＣＡ００１１）を取得し、この重畳データコードに対応するサーバのアドレス情報を重畳データ選択部３０３に通知する。
【００７７】
図１４は、本実施の形態に係る解析部３０５を用いた場合の重畳情報提示装置１０１の処理の流れを示すフローチャートである。
【００７８】
最初に、画像取得部２０５及びセンサ部２１０を介して、情報が重畳される対象画像と、音声又は光の映像が取得されると（ステップＳ１４０１：ＹＥＳ）、解析部３０５は、取得した音声又は光の映像を解析して信号波形に変換し（ステップＳ１４０２）、記録部２０１内の基準波形と照合する（ステップＳ１４０３）。この際、一致する（又は類似度が高い）波形がある場合は（ステップＳ１４０４：ＹＥＳ）、その基準波形に対応付けられている重畳データコードを特定し（ステップＳ１２０５）、この重畳データコードに対応するサーバにアクセスして重畳データを取得する（ステップＳ１４０６）。重畳部３０６は、取得された重畳データを対象画像に重畳する（ステップＳ１４０７）。
【００７９】
以上の処理を通して、画像取得部２０５から入力された画像に対してユーザの嗜好に沿った情報を重畳することが可能となる。
【００８０】
なお、上記の実施の形態１及び実施の形態２では、画像取得部２０５を介して入力された画像データを解析することで、重畳する情報を入手するサーバをネットワーク内から特定していたが、もちろんローカルサーバから取得してもよい。例えば、アミューズメントパーク等でのみ接続可能なサーバから重畳する情報を取得することで、その場でしか取得できない情報を取得することが可能となる。このように、画像を撮影した場所を特定し、その場所に対応する情報を提供するサイトにアクセスして重畳する情報を入手するようにしてもよい。
【００８１】
また、上記実施の形態１〜３では、解析したデータとサーバに登録してあるデータとのマッチングを取ることでその情報をユーザ等に通知してもよい。例えば、ユーザが任意の風景を撮影している画像を解析した結果、指名手配中の容疑者が確認された場合は、ユーザが保持する機器にその旨を通知する表示を行なってもよいし、最寄りの警察等の施設に自動的に通報するようにしてもよい。
【００８２】
また、上記の実施の形態１〜３では、ローカル情報はユーザが登録することとしたが、もちろんこれに限られるのものではない。サイト等からダウンロードしてもよいし、他のユーザから取得してもよい。
【００８３】
また、上記実施の形態１〜３では、常に情報を重畳していたが、情報を重畳するかどうかについて、ユーザに選択させることとしてもよい。
【００８４】
また、本発明は、重畳する情報を表示しないで音声データに変換する音声変換手段を備えると共に、変換した音声データを可搬媒体等に記録させ、画像を再生する際に、画像に対応させて音声を再生（又は画像とは関係なく再生）させることも可能である。
【産業上の利用可能性】
【００８５】
本発明の重畳情報提示装置によれば、ユーザが任意に撮像した画像上にユーザの嗜好に沿った情報を重畳することができるという点で有用である。また、監視システム等の用途にも応用できる。
【図面の簡単な説明】
【００８６】
【図１】図１は、本発明に係る重畳情報提示システムの概略図である。
【図２】図２は、本発明に係る重畳情報提示装置の機能構成の概略を示すブロック図である。
【図３】図３は、実施の形態１に係る重畳情報提示装置のより詳細な機能構成を示すブロック図である。
【図４】図４は、実施の形態１に係る重畳データ管理情報の具体例を表す図である。
【図５】図５は、実施の形態１に係るローカル情報を表す図である。
【図６】図６は、実施の形態１に係る重畳情報提示装置の動作の流れを示すフローチャートである。
【図７】図７（ａ）、（ｂ）は、実施の形態１に係る重畳情報提示装置における表示例である。
【図８】図８は、重畳データの選択可否を確認するためのメッセージの一例である。
【図９】図９は、実施の形態２に係る重畳情報提示装置の機能構成を示すブロック図である。
【図１０】図１０は、ローカルデータの選択可否を確認するためのメッセージの一例である。
【図１１】図１１は、実施の形態３に係る重畳情報提示装置の機能構成を示すブロック図である。
【図１２】図１２は、実施の形態３に係る重畳情報提示装置の動作の流れを示すフローチャートである。
【図１３】図１３（ａ）、（ｂ）は、実施の形態４に係る解析部３０５における、撮影した光の点滅や取得した音声に基づいて、画像に重畳する情報を取得するサーバを特定する情報等を決定する方法を説明するための図である。
【図１４】図１４は、実施の形態４に係る解析部を用いた場合の重畳情報提示装置の処理の流れを示すフローチャートである。
【符号の説明】
【００８７】
１０              重畳情報提示システム
１０１、１１１      重畳情報提示装置
１０２、１２２      サーバ
１０３              重畳情報
２０１              記録部
２０２              操作入力部
２０３              インタフェース部
２０４              制御部
２０５              画像取得部
２０６              解析部
２０７              重畳部
２０８              出力部
２０９              通信制御部
２１０              センサ部
３０１              サーバ情報保持部
３０２              ローカル情報保持部
３０３              重畳データ選択部
３０４              ローカル情報更新部
３０５              解析部
３０６              重畳部
３０７              通信制御部
３０８              重畳データ保持部
８０１、８０４      インタフェース部
８０２              重畳データ選択部
８０３              可搬媒体
８０５              ローカル情報保持部
１００３              情報登録部
１００４              ローカル情報保持部
１００５              解析部
１００６              重畳データ選択部
１００７              重畳データ保持部
１００８              重畳部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008016083.tif 000017
【図２】
2008016083.tif 000018
【図３】
2008016083.tif 000019
【図４】
2008016083.tif 000020
【図５】
2008016083.tif 000021
【図６】
2008016083.tif 000022
【図７】
2008016083.tif 000023
【図８】
2008016083.tif 000024
【図９】
2008016083.tif 000025
【図１０】
2008016083.tif 000026
【図１１】
2008016083.tif 000027
【図１２】
2008016083.tif 000028
【図１３】
2008016083.tif 000029
【図１４】
2008016083.tif 000030
【国際調査報告】
2008016083.tif 000031
2008016083.tif 000032
2008016083.tif 000033
2008016083.tif 000034