(57)【要約】      （修正有）【課題】画像の正当性を適切に判断できるようにする。【解決手段】サーバ２は、携帯端末１−１からの送信画像Ｇ１の推定撮影状況を推測する。この場合、その推定撮影状況下で情報表示装置３−３に実際に表示されていた表示画像は、送信画像Ｇ１に対応する画像となる。従って、このような場合、サーバ２は、送信画像Ｇ１は正当な画像であると認識する。これに対して、携帯端末１−２からの送信画像Ｇ２の推定撮影状況が推測された場合、その推定撮影状況は、携帯端末１−１が表示装置３−３を撮影した状況とは異なる状況となる。従って、このような場合、その推定撮影状況下で情報表示装置３−３に実際に表示されていた表示画像は、送信画像Ｇ２に対応する画像とは異なる画像となっているので、サーバ２は、送信画像Ｇ２は不正な画像であると認識する。広告画像の関連情報を配信するサーバに適用可能である。【選択図】図１
2008047015.tif 000002
【特許請求の範囲】
【請求項１】
端末からの送信画像が、表示装置の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断を行う情報処理装置であって、
前記送信画像を受信する受信手段と、
前記受信手段に受信された前記送信画像に関する情報を取得する取得手段と、
前記取得手段により取得された前記情報に基づいて前記送信画像の推定撮影状況を推測し、前記推定撮影状況下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識し、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識する画像認識手段と
を備える情報処理装置。
【請求項２】
前記画像認識手段は、前記送信画像が、それを送信してきた前記端末によって撮影されたと仮定した場合の推定撮影時間帯を、前記推定撮影状況のひとつとして推測する
請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記送信画像に関する前記情報のひとつとして、前記受信手段における前記送信画像の受信時刻を取得し、
前記画像認識手段は、前記取得手段により取得された前記受信時刻以前の一定時間帯を、前記推定撮影時間帯として推測する
請求項２に記載の情報処理装置。
【請求項４】
前記画像認識手段は、前記送信画像が、それを送信してきた前記端末によって撮影されたと仮定した場合の推定撮影場所を、前記推定撮影状況のひとつとして推測する
請求項１に記載の情報処理装置。
【請求項５】
前記表示装置の前記表示画像となり得る複数の蓄積画像を蓄積する画像蓄積手段をさらに備え、
前記画像認識手段は、前記推定撮影状況の下で前記表示装置に実際に表示されていた前記表示画像であると判断できる前記蓄積画像を前記画像蓄積手段から１以上抽出し、抽出された１以上の前記蓄積画像の中に前記送信画像に対応する画像が含まれている場合、前記送信画像は正当な画像であると認識し、抽出された１以上の前記蓄積画像の中に前記送信画像に対応する画像が含まれていない場合または前記蓄積画像が抽出されなかった場合、前記送信画像は不正な画像であると認識する
請求項１に記載の情報処理装置。
【請求項６】
前記表示画像の関連情報を前記端末に送信する送信手段と、
前記画像認識手段により前記送信画像は正当な画像であると認識された場合、前記送信手段からの前記関連情報の送信を許可し、前記画像認識手段により前記送信画像は不正な画像であると認識された場合、前記送信手段からの前記関連情報の送信を禁止する送信許可判断手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項７】
端末からの送信画像が、表示装置の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断を行う情報処理装置の情報処理方法であって、
前記送信画像を受信し、
受信された前記送信画像に関する情報を取得し、
取得された前記情報に基づいて前記送信画像の推定撮影状況を推測し、
前記推定撮影状況下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識し、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識する
ステップを含む情報処理方法。
【請求項８】
端末からの送信画像が、表示装置の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断を行うサーバを制御するコンピュータに実行させるプログラムであって、
前記サーバに受信された前記送信画像に関する情報を取得し、
取得された前記情報に基づいて前記送信画像の推定撮影状況を推測し、
前記推定撮影状況下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識し、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法並びにプログラムに関し、特に、画像表示装置に表示された画像を撮影して送信してきた携帯端末に対して、サービスの提供等を行う情報処理装置において、その携帯端末からの送信画像の正当性判断をより一段と正確に行えるようになった、情報処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
街頭に貼るポスターや看板等の広告画像（動画等の映像含）は、その製作期間が長く、広告画像の変更に要する労力が非常に大きい。このため、近年では、種々の画像を表示可能な比較的大きな画像表示装置を街頭に設置し、この画像表示装置に異なる広告画像を表示できるようにし、広告画像の変更に要する労力を大幅に軽減するとともにこれら広告画像の製作期間も大幅に短縮できるようにした広告システムが実用化されている（例えば特許文献１参照）
【０００３】
さらに、画像認識の機能を利用して、街角の画像表示装置に表示された広告画像を、ユーザの携帯端末等のカメラで撮影してサーバへ送るだけで、その広告画像のクライアントのURL（Uniform Resource Locator）やクーポン券などの関連情報をダウンロードさせるサービスが存在する（例えば特許文献２，３参照）。また、そのような画像認識装置として、照明変化やオクルジョンに強い画像認識装置も開発されている（特許文献４参照）。
【特許文献１】特開２００２−２３０４１０号公報
【特許文献２】特開２００４−１４５４１６号公報
【特許文献３】特開２００５−２１５９２２号公報
【特許文献４】特開２００４−３２６６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１乃至４を含む従来の認識技術では、画像表示装置に表示された広告画像を撮影して送信してきた携帯端末に対してサービスの提供等を行うサーバにおいて、その携帯端末からの送信画像の正当性判断、即ち、その送信画像は、画像表示装置に表示されていた画像を直接撮影した結果得られた正当な画像であるのか否かの判断を行うことは困難であった。
【０００５】
具体的には例えば、広告は、大勢の人に見てもらってこそ価値がある。そこで例えば、ある商店街の入り口に設置された画像表示装置に表示された広告画像を、携帯端末等で撮影してサーバに送信することで、その携帯端末に対して、サーバが特別割引のクーポン券を送信するというサービスを行うことが考えられる。そうすれば、消費者に画像表示装置の前、即ち、商店街まで実際に足を運ばせることが可能となる。
【０００６】
しかしながら、例えば、その画像表示装置に表示された広告画像が高解像度の撮影機能を有する携帯端末等により撮影され、その撮影画像がネットワーク上で配信され、その撮影画像が他人の表示装置に表示され、その他人の表示装置に表示された画像が、他人の携帯端末等で撮影されてサーバ等に送信されたとしても、かかる他人の携帯端末から送信されてきた画像は、従来の認識技術のみでは、正当な画像であると認識されてしまう。その結果、画像表示装置に足を運んでいない他人の携帯端末に対しても、クーポン券は送信されてしまうことになる。即ち、画像表示装置に実際に足を運んでくれた人だけにクーポン券を配信することが必要であるが、従来の認識技術のみでは、そのことの実現が困難であった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、画像表示装置に表示された画像を撮影して送信してきた携帯端末に対して、サービスの提供等を行うサーバにおいて、その携帯端末からの送信画像の正当性判断をより一段と正確に行えるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の情報処理装置は、端末からの送信画像が、表示装置の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断を行う情報処理装置であって、前記送信画像を受信する受信手段と、前記受信手段に受信された前記送信画像に関する情報を取得する取得手段と、前記取得手段により取得された前記情報に基づいて前記送信画像の推定撮影状況を推測し、前記推定撮影状況下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識し、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識する画像認識手段とを備える。
【０００９】
前記画像認識手段は、前記送信画像が、それを送信してきた前記端末によって撮影されたと仮定した場合の推定撮影時間帯を、前記推定撮影状況のひとつとして推測する。
【００１０】
前記取得手段は、前記送信画像に関する前記情報のひとつとして、前記受信手段における前記送信画像の受信時刻を取得し、前記画像認識手段は、前記取得手段により取得された前記受信時刻以前の一定時間帯を、前記推定撮影時間帯として推測する。
【００１１】
前記画像認識手段は、前記送信画像が、それを送信してきた前記端末によって撮影されたと仮定した場合の推定撮影場所を、前記推定撮影状況のひとつとして推測する。
【００１２】
前記表示装置の前記表示画像となり得る複数の蓄積画像を蓄積する画像蓄積手段をさらに備え前記画像認識手段は、前記推定撮影状況の下で前記表示装置に実際に表示されていた前記表示画像であると判断できる前記蓄積画像を前記画像蓄積手段から１以上抽出し、抽出された１以上の前記蓄積画像の中に前記送信画像に対応する画像が含まれている場合、前記送信画像は正当な画像であると認識し、抽出された１以上の前記蓄積画像の中に前記送信画像に対応する画像が含まれていない場合または前記蓄積画像が抽出されなかった場合、前記送信画像は不正な画像であると認識する。
【００１３】
前記表示画像の関連情報を前記端末に送信する送信手段と、前記画像認識手段により前記送信画像は正当な画像であると認識された場合、前記送信手段からの前記関連情報の送信を許可し、前記画像認識手段により前記送信画像は不正な画像であると認識された場合、前記送信手段からの前記関連情報の送信を禁止する送信許可判断手段とをさらに備える。
【００１４】
本発明の一側面の情報処理方法は、端末からの送信画像が、表示装置の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断を行う情報処理装置の情報処理方法であって、前記送信画像を受信し、受信された前記送信画像に関する情報を取得し、取得された前記情報に基づいて前記送信画像の推定撮影状況を推測し、前記推定撮影状況の下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識し、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識するステップを含む。
【００１５】
本発明の一側面のプログラムは、上述した本発明の一側面の情報処理方法に対応するプログラムである。
【００１６】
本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、端末からの送信画像が、表示装置の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断が次のようにして行われる。受信された前記送信画像に関する情報が取得され、取得された前記情報に基づいて前記送信画像の推定撮影状況が推測され、前記推定撮影状況下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識され、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識される。
【発明の効果】
【００１７】
以上のごとく、本発明によれば、画像表示装置に表示された画像を撮影して送信してきた端末に対して、サービスの提供等を行う情報処理装置を提供できる。特に、その情報処理装置において、端末からの送信画像の正当性判断をより一段と正確に行えるようになった。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２０】
本発明の一側面の情報処理装置（例えば図３のサーバ２）は、
端末（例えば図３の携帯端末１）から送信されてきた送信画像（例えば図３の送信画像Ｇ）が、表示装置（例えば図３の情報表示装置３）の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断を行う情報処理装置であって、
前記送信画像を受信する受信手段（例えば図３の受信部２４）と、
前記受信手段に受信された前記送信画像に関する情報を取得する取得手段（例えば図３の送信画像情報取得部２５）と、
前記取得手段により取得された前記情報に基づいて前記送信画像の推定撮影状況を推測し、前記推定撮影状況下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識し、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識する画像認識手段（例えば図３の画像認識部２６）と
を備える。
【００２１】
前記画像認識手段は、前記送信画像が、それを送信してきた前記端末によって撮影されたと仮定した場合の推定撮影時間帯を、前記推定撮影状況のひとつとして推測する。
前記取得手段は、前記送信画像に関する前記情報のひとつとして、前記受信手段における前記送信画像の受信時刻（例えば図２の例では、送信画像Ｇ１の受信時刻は時刻tbである。一方、送信画像Ｇ２の受信時刻は時刻tcである）を取得し、
前記画像認識手段は、前記取得手段により取得された前記受信時刻以前の一定時間帯を、前記推定撮影時間帯として推測する（例えば図２の例では、送信画像Ｇ１の推定時間帯は、時刻tb以前の時間ＴＣ分の時間帯である。一方、送信画像Ｇ２の推定時間帯は、時刻tc以前の時間ＴＣ分の時間帯である）。
【００２２】
前記画像認識手段は、前記送信画像が、それを送信してきた前記端末によって撮影されたと仮定した場合の推定撮影場所（例えば図１の例では、情報表示装置３−１乃至３−３のうちの何れかの設置場所）を、前記推定撮影状況のひとつとして推測する。
【００２３】
前記表示装置の前記表示画像となり得る複数の蓄積画像を蓄積する画像蓄積手段（例えば図３の画像蓄積部２１）をさらに備え、
前記画像認識手段は、前記推定撮影状況の下で前記表示装置に実際に表示されていた前記表示画像であると判断できる前記蓄積画像を前記画像蓄積手段から１以上抽出し、抽出された１以上の前記蓄積画像の中に前記送信画像に対応する画像が含まれている場合、前記送信画像は正当な画像であると認識し、抽出された１以上の前記蓄積画像の中に前記送信画像に対応する画像が含まれていない場合または前記蓄積画像が抽出されなかった場合、前記送信画像は不正な画像であると認識する。
【００２４】
前記表示画像の関連情報（例えば図３の関連情報蓄積部２８に蓄積されている関連情報）を前記端末に送信する送信手段（例えば図３の送信部２９）と、
前記画像認識手段により前記送信画像は正当な画像であると認識された場合、前記送信手段からの前記関連情報の送信を許可し、前記画像認識手段により前記送信画像は不正な画像であると認識された場合、前記送信手段からの前記関連情報の送信を禁止する送信許可判断手段（例えば図３の送信情報判断部２７）と
をさらに備える。
【００２５】
本発明の一側面の情報処理方法（例えば図５や図６のサーバ側の関連情報提供処理に対応する方法）は、
端末（例えば図３の携帯端末１）から送信されてきた送信画像（例えば図３の送信画像Ｇ）が、表示装置（例えば図３の情報表示装置３）の表示画像を被写体として前記端末が直接撮影した結果得られた正当な画像であるか否かの正当性判断を行う情報処理装置（例えば図３のサーバ２）の情報処理方法であって、
前記送信画像を受信し（例えば図５のステップＳ２２や図６のステップＳ４２）、
受信された前記送信画像に関する情報を取得し、
取得された前記情報に基づいて前記送信画像の推定撮影状況を推測し（例えば図５のステップＳ２５でいう「過去一定時間」の特定や、図６のステップＳ４３）、
前記推定撮影状況下で前記表示装置に実際に表示されていた表示画像が、前記送信画像に対応する画像である場合、前記送信画像は正当な画像であると認識し、前記送信画像に対応する画像ではない場合、前記送信画像は不正な画像であると認識する（例えば図５のステップＳ２３乃至Ｓ２５や、図６のステップＳ４４乃至Ｓ４６）。
【００２６】
本発明の一側面のプログラムは、上述した本発明の一側面の情報処理方法に対応するプログラムであって、例えば図９のコンピュータにより実行される。
【００２７】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２８】
図１は、本発明が適用される情報処理システムの構成例を示している。
【００２９】
図１の例では、情報処理システムは、ユーザＵ１の携帯端末１−１およびユーザＵ２の携帯端末１−２、サーバ２、並びに、情報表示装置３−１乃至３−３から構成されている。
【００３０】
なお、情報処理システムを構成する携帯端末１の台数は、図１の２台に限定されず、１台以上であれば任意の台数でよい。同様に、情報処理システムを構成する情報表示装置３の台数は、図１の３台に限定されず、１台以上であれば任意の台数でよい。また、情報処理システムを構成するサーバ２の台数も、図１の１台に限定されず、複数台でもよい。
【００３１】
また、以下、携帯端末１−１，１−２を個々に区別する必要がない場合には、携帯端末１と称する。これに伴い、携帯端末１と称している場合には、ユーザＵ１，Ｕ２を区別せずに、単にユーザＵと称する。同様に、情報表示装置３−１乃至３−３を個々に区別する必要がない場合、単に情報表示装置３と称する。
【００３２】
情報表示装置３は、サーバ２からネットワーク４を介して提供された画像信号に対応する画像を表示する。
【００３３】
なお、以下、画像信号とは、画像が伝送される際にその形態を変化させたものであると捉え、単に、サーバ２から情報表示装置３に画像が提供されると称する。即ち、情報処理システムを構成する複数の装置のうちの所定の１台から他の１台に対して、画像等の各種情報が伝送される場合、その情報が所定の形態の信号に変換されて伝送されると捉え、そのことを、単に情報が伝送されると称する。同様の趣旨で、以下単に、情報が所定の記録媒体に記録される、と称する。換言すると、ここでは、情報の伝送／記録の形態は特に問わないため、その形態には特に言及せず、単に情報の伝送／記録と称する。
【００３４】
また、情報表示装置３が表示する画像は、特に限定されないが、例えば本実施の形態では、上述した［背景技術］における従来例との比較を容易なものとするために、広告画像であるとする。また、ここでいう画像とは、静止画像と動画像との両者を含む広義な概念の画像である。さらにまた、情報表示装置３−１乃至３−３の各表示内容は、基本的には他とは独立している。即ち、詳細については後述するが、情報表示装置３−１乃至３−３のそれぞれにおいて、同一時間帯に同一の広告画像が表示される場合もあるし、別々の広告画像がそれぞれ表示される場合もある。
【００３５】
サーバ２は、複数の広告画像を保持しており、それらの複数の広告画像を情報表示装置３に表示させるべく、表示先管理と時間管理とを少なくとも行っている。各広告画像の表示先の候補としては、図１の例では、情報表示装置３−１乃至３−３が存在する。即ち、所定の広告画像の表示先として、情報表示装置３−１乃至３−３の中から１台以上を指定する処理が、表示先管理のひとつとして実行される。また、表示先として指定された情報表示装置３に対して、その所定の広告画像を表示させる時間帯を指定する処理が、時間管理のひとつとして実行される。
【００３６】
即ち、サーバ２による時間管理と表示先管理により、所定の広告画像は、指定時間帯に指定表示先に表示されることになる。
【００３７】
ここで注意すべき点は、所定の広告画像の指定表示先は、１台の情報表示装置３に限定されない点である。即ち、表示先管理の仕方によって、所定の広告画像は、情報表示装置３−１乃至３−３のうちの所定の1台のみに表示されることもあるし、所定の２台のみに表示されることもあるし、或いは、全３台に表示されることもある。さらに、所定の広告画像は、複数台の情報表示装置３に表示される場合であっても、時間管理との組み合わせ方によっては、同一時間帯に表示されるときもあるし、別々の時間帯に表示されるときもある。
【００３８】
さらにまた、サーバ２による時間管理と表示先管理の仕方自身は、特に限定されず、サーバ２が自立的に判断して管理してもよいし、予め定義されたルールに従って管理してもよい。なお、前者の管理の例が、後述する図３のリアルタイム画像配信部２２によりなされる管理である。一方、後者の管理の例が、後述する図７の表示テーブル保持部３２に保持されている表示テーブルに従って行われる管理である。
【００３９】
このようにして、サーバ２に保持された複数の広告画像のそれぞれは、指定された時間帯に、指定された情報表示装置３に表示されるように管理されている。さらに、これらの複数の広告画像の中には、所定の情報と関連付けられているものもあり、かかる広告画像に関連付けられた情報（以下、関連情報と称する）もサーバ２に保持されている。この関連情報については、その内容や、関連付けの方法は特に限定されない。
【００４０】
例えば本実施の形態では、上述した［背景技術］における従来の例との比較を容易なものとするために、所定の広告画像を見たユーザＵに対してのみ配布するクーポン券が、その所定の広告画像の関連情報のひとつとしてサーバ２に保持されているとする。
【００４１】
この場合、ユーザＵは、広告画像を実際に見たことの証明として、携帯端末１を用いて、情報表示装置３に表示された広告画像を被写体として撮影し、その撮影画像を送信画像としてサーバ２に送信する。すると、サーバ２は、その送信画像の正当性判断を行う。即ち、サーバ２は、その送信画像は、広告画像を直接撮影した結果得られたものであるのか否かの判断を行う。そして、サーバ２は、送信画像は正当な画像であると判断した場合、即ち、その送信画像は広告画像を直接撮影した結果得られたものであると判断した場合、その送信元の携帯端末１に対してクーポン券を送信する。これに対して、サーバ２は、送信画像は不正な画像であると判断した場合、即ち、その送信画像は広告画像を直接撮影した結果得られたものではないと判断した場合、その送信元の携帯端末１に対して、クーポン券の送信を禁止する。即ち、クーポン券は、正当な画像を送信した携帯端末１に対してのみ配信され、不正な画像を送信した携帯端末１に対しては配信されない。
【００４２】
ここで、携帯端末１を、図１の例に従って携帯端末１−１，１−２にそれぞれ区別して考える。この場合、携帯端末１−１は、情報表示装置３−３に表示された広告画像を実際に見たユーザＵ１により操作されている。即ち、携帯端末１−１は、情報表示装置３−３に表示された広告画像を直接撮影し、その撮影画像を送信画像Ｇ１としてサーバ２に直接送信している。
【００４３】
これに対して、携帯端末１−２は、情報表示装置３−３に表示された広告画像を見ていないユーザＵ２により操作されている。しかしながら、携帯端末１−２は、携帯端末１−１から転送されてきた送信画像Ｇ１を一旦受信した上で、その送信画像Ｇ１に対応する送信画像Ｇ２をサーバ２に送信している。
【００４４】
即ち、携帯端末１−１からの送信画像Ｇ１は正当な画像であるのに対して、携帯端末１−２からの送信画像Ｇ２は不正な画像である。従って、クーポン券は、本来、携帯端末１−１に対してのみ配信が許可され、携帯端末１−２に対しては配信が禁止されなければならない。
【００４５】
ところが、従来の画像特徴に基づく正当性判断のみが行われる場合には、クーポン券は、携帯端末１−２に対しても配信されてしまうことになる。即ち、かかる従来の正当性判断によれば、送信画像Ｇ１と送信画像Ｇ２とは画像特徴上ほぼ差異は無いことから、送信画像Ｇ１のみならず、送信画像Ｇ２も正当な画像であると判断される。その結果、クーポン券としての関連情報Ｉは、携帯端末１−１のみならず、携帯端末１−２に対しても配信されてしまうことになる。
【００４６】
そこで、携帯端末１−１からの送信画像Ｇ１は正当であるが、携帯端末１−２からの送信画像Ｇ２は不当であると正しく判断すべく、即ち、送信画像の正当性判断の正確性を図るべく、次のような手法が本発明人により発明された。なお、以下、携帯端末１−１と携帯端末１−２とを区別せずに、携帯端末１と称する場合、送信画像Ｇ１，Ｇ２もまた区別せずに、単に送信画像Ｇと称する。この場合、送信画像Ｇは、サーバ２の受信時点では、情報表示装置３の表示画像を携帯端末１が直接撮影した結果得られた画像であると一旦仮定する。そして、この仮定の下、サーバ２は、送信画像Ｇの撮影状況を推測する。そして、サーバ２は、送信画像Ｇが、その推定撮影状況下で情報表示装置３に実際に表示されていた広告画像とマッチするか否か、即ちその広告画像に対応する画像であるか否かの確認処理を行うことで、送信画像Ｇの正当性判断を行う。即ち、送信画像Ｇと、推定撮影状況下で情報表示装置３に実際に表示されていた広告画像とがマッチする場合、送信画像Ｇは正当な画像であると判断される。そうでない場合、送信画像Ｇは不正な画像であると判断される。以上の一連の処理を実現させる手法が、本発明人により発明された手法である。
【００４７】
なお、推定撮影状況とは、送信画像Ｇからサーバ２が直接取得可能な情報や、送信画像Ｇの受信状況等から間接的に取得可能な情報を利用して推定可能な状況であれば足りる。例えば、送信画像Ｇが、それを送信してきた携帯端末１によって撮影されたと仮定した場合の推定撮影時刻を、推定撮影状況として採用できる。ただし、推定撮影時刻の特定は困難であることを考慮して、本実施の形態では、一定の時間幅を有する推定撮影時間帯が、推定撮影状況の一例として採用されているとする。
【００４８】
そこで、図２を参照して、推定撮影状況として推定撮影時間帯が採用された場合における、図１の携帯端末１−１からの送信画像Ｇ１と、携帯端末１−２からの送信画像Ｇ２とのそれぞれに対するサーバ２の正当性判断の処理例について説明する。
【００４９】
図２において、上から順に、携帯端末１−１、携帯端末１−２、サーバ２、および、情報表示装置３−３の各タイミングチャートの概略が示されている。即ち、携帯端末１−１、携帯端末１−２、サーバ２、および、情報表示装置３−３のそれぞれを示す各ブロックから右方に引かれた各矢印は、同一の時間軸を示し、各矢印上の四角は、その時間帯において実行される所定の処理を示している。
【００５０】
例えば、携帯端末１が画像を撮影してから送信するまでに要する処理時間と、携帯端末１からサーバ２への画像の伝送時間とのそれぞれの概略時間が把握できていれば、その処理時間と伝送時間とに猶予時間を加えた一定時間ＴＣを定義しておき、送信画像Ｇのサーバ２における受信時刻以前の一定時間ＴＣ分の時間帯を、推定撮影時間帯として採用することができる。
【００５１】
この場合、例えば、時刻ｔａに、情報表示装置３−３に広告画像が表示され、その広告画像が携帯端末１−１により直接撮影され、その撮影画像が送信画像Ｇ１として送信され、時刻ｔｂに、サーバ２に受信されたとする。すると、サーバ２は、送信画像Ｇ１の受信時刻ｔｂ以前の一定時間ＴＣ分の時間帯を、送信画像Ｇ１の推定撮影時間帯として決定する。
【００５２】
この場合、上述した一定時間ＴＣが適切に設定されていれば、図２に示されるように、送信画像Ｇ１の推定撮影時間帯内に、実際の撮影時刻ｔａが含まれることになる。従って、送信画像Ｇ１の推定撮影時間帯内に情報表示装置３−３に実際に表示されていた１つ以上の広告画像の中には、時刻ｔａに情報表示装置３−３に実際に表示されていた広告画像が当然に含まれることになる。従って、かかる広告画像と送信画像Ｇ１とがマッチし、その結果、送信画像Ｇ１は正当であると判断されることになる。
【００５３】
これに対して、時刻ｔａに情報表示装置３−３に表示されていた広告画像が携帯端末１−１により撮影され、その撮影画像が送信画像Ｇ１として携帯端末１−１から携帯端末１−２に一旦転送され、その後、その送信画像Ｇ１に対応する送信画像Ｇ２が携帯端末１−２から送信されて、時刻ｔｃにサーバ２に受信されたとする。また、この時刻ｔａから時刻ｔｃまでの時間をＴＦと記述するとする。
【００５４】
この場合、サーバ２は、送信画像Ｇ２の受信時刻ｔｃ以前の一定時間ＴＣ分の時間帯を推定撮影時間帯として決定することになる。
【００５５】
しかしながら、図２に示されているように、時間ＴＦには、携帯端末１−１から携帯端末１−２に送信画像Ｇ１を転送させるためにユーザＵ１が行った転送操作に要した時間と、その送信画像Ｇ１に対応する送信画像Ｇ２を携帯端末１−２からサーバ２に転送させるためにユーザＵ２が行った転送操作に要した時間とが含まれている。かかるユーザＵ１，Ｕ２の各転送操作に要した時間は、時間ＴＣに比較して一般的に遥かに長時間であるので、時間ＴＦもまた時間ＴＣに比較して遥かに長時間となる。
【００５６】
従って、図２に示されるように、送信画像Ｇ２の推定撮影時間帯内に、即ち、送信画像Ｇ２の受信時刻ｔｃから過去一定時間ＴＣ分の時間帯内に、時刻ｔａは含まれないことになる。即ち、送信画像Ｇ２とマッチする画像は、送信画像Ｇ１と同様に、時刻ｔａに情報表示装置３−３に表示されていた広告画像であるが、かかる広告画像は、送信画像Ｇ２の推定撮影時間帯内には情報表示装置３−３には表示されていない。このため、送信画像Ｇ２は、その推定撮影時間帯内に情報表示装置３に実際に表示されていた何れの広告画像ともマッチせず、その結果、送信画像Ｇ２は不正であると判断されることになる。
【００５７】
なお、送信画像Ｇの推定撮影時間帯は、図２の例では、送信画像Ｇの受信時刻に基づいて推測されたが、特に図２の例に限定されない。例えば、送信画像Ｇ自身またはそのメタ情報等の付随情報の中に、撮影時刻を特定可能な情報が含まれていれば、かかる情報を利用して、送信画像Ｇの推定撮影時間帯を推測することもできる。
【００５８】
また、図２の例は、推定撮影状況として推定撮影時間帯が採用された場合の例であるので、図１の携帯端末１−１からの送信画像Ｇ１とのマッチング処理の相手は、時刻ｔｂから過去一定時間ＴＣ分の間に、即ち、送信画像Ｇ１の推定撮影時間帯内に情報表示装置３−３に表示されていた広告画像のみならず、かかる推定撮影時間帯内に情報表示装置３−１，３−２のそれぞれに表示されていた広告画像も含まれる。このことは、携帯端末１−２からの送信画像Ｇ２についても同様である。
【００５９】
この場合、時刻ｔａにおいて、関連情報Ｉと対応付けられた広告画像が情報表示装置３−３のみに表示されていたときには、情報表示装置３−１，３−２のそれぞれに表示さていれた広告画像と送信画像Ｇとの間のマッチング処理は本来不要である。従って、このような本来不要であるマッチング処理を省略するためには、推定撮影状況として、送信画像Ｇの推定撮影時間帯に加えてさらに、その送信画像Ｇの推定撮影場所を採用するとよい。即ち、送信画像Ｇ１やＧ２の推定撮影場所として情報表示装置３−３が特定できれば、送信画像Ｇ１やＧ２とのマッチング処理の相手として、推定撮影時間帯内に情報表示装置３−３に表示されていた広告画像のみに限定し、推定撮影時間帯内に情報表示装置３−１，３−２のそれぞれに表示されていた広告画像については除外することができる。
【００６０】
なお、推定撮影場所の推測手法は、特に限定されない。例えば、撮影場所を特定可能な情報、具体的には例えば表示場所を示すテキスト情報等（以下、かかる情報を特定情報と称する）を広告画像に含め、携帯端末１が、その広告画像を撮影して送信画像Ｇとして送信し、サーバ２が、その送信画像Ｇから特定情報を抽出し、その特定情報から推定撮影場所を推測する、といった手法を採用できる。また例えば、ＧＰＳ（Global Positioning System）等により自身の位置情報を出力する機能を携帯端末１が有していれば、携帯端末１が、かかる位置情報を、送信画像Ｇとともにサーバ２に送信し、サーバ２が、その位置情報から推定撮影場所を推測する、といった手法を採用できる。
【００６１】
以上説明した本発明の手法、即ち、送信画像Ｇの画像特徴のみならず送信画像Ｇの推定撮影状況も考慮して、その送信画像Ｇの正当性を判断する手法が、図１の情報処理システムに適用された場合は、携帯端末１とサーバ２とは、例えば図３の各機能的構成を有するように実現できる。即ち、図３は、本発明が適用される携帯端末１とサーバ２との各機能的構成の一例を示している。
【００６２】
携帯端末１は、画像取得部１１乃至関連情報処理部１５を含むように構成されている。
【００６３】
画像取得部１１は、被写体を撮影することで、その撮影画像を取得する。取得された撮影画像は、送信部１２に提供される。即ち、画像取得部１１は、情報表示装置３に表示された広告画像を被写体として撮影し、その撮影画像を送信部１２に提供することができる。
【００６４】
送信部１２は、画像取得部１１からの撮影画像を、送信画像Ｇとしてサーバ２に送信する。なお、送信画像Ｇの送信タイミングは、特に限定されないが、上述した推定撮影時間帯が送信画像Ｇの正当性判断に利用される場合には、画像取得部１１の撮影タイミングから可能な限り早いタイミングとするとよい。そこで、例えば本実施の形態では、送信部１２は、画像取得部１１から撮影画像が提供されると、ユーザＵの操作を待たずに自身の判断で直ちに、換言すると自動的に、その撮影画像を送信画像Ｇとして送信するとする。
【００６５】
これに対して、図示はしないが、送信部１２は、画像取得部１１からの撮影画像以外の情報を送信する場合、その送信タイミングは、ユーザから特定の操作があったタイミングであるとする。例えば図１の携帯端末１−２の送信部１２は、携帯端末１−１から転送されてきた送信画像Ｇ１を一旦受信した後、ユーザＵ２による転送操作があったときに、送信画像Ｇ２を送信するとする。
【００６６】
このようにして、所定の広告画像が情報表示装置３に表示されている状態で、その情報表示装置３を被写体として画像取得部１１により撮影された結果得られる撮影画像は、送信部１２から送信画像Ｇとして送信され、サーバ２に受信される。すると、上述したように、送信画像Ｇが正当な画像であるとサーバ２により判断されて、その送信画像Ｇに対応する所定の広告画像、即ち、情報表示装置３に表示されていた所定の広告画像の関連情報Ｉがサーバ２から送信されてくる。
【００６７】
そこで、受信部１３は、かかる関連情報Ｉを受信し、関連情報記録部１４に記録させる。関連情報処理部１５は、関連情報記録部１４に記録された関連情報Ｉに関する処理を実行する。
【００６８】
ここで、関連情報Ｉに関する処理の具体例について、幾つか説明する。
【００６９】
例えば上述した例のようにクーポン券が関連情報Ｉとして送信されてきた場合には、そのクーポン券を、携帯端末１の図示せぬディスプレイ等に表示させる処理が、関連情報Ｉに関する処理の一例である。
【００７０】
また例えば、図１の店舗が、来店者数を増やす目的で、実際に来店した者に対してポイントを付与する会員サービスを行っているとする。この場合、送信画像Ｇの正当性判断を、その送信画像Ｇの送信操作を行ったユーザＵとは、実際に来店した者であるのか否かの判断として利用することもできる。そして、この場合、関連情報Ｉとして、ポイント付加許可フラグを採用することができる。即ち、サーバ２は、送信画像Ｇが正当な画像であると判断した場合、その送信画像Ｇの送信操作を行ったユーザＵは実際に来店した者であると判断し、ポイント付加許可フラグを関連情報Ｉとして、ユーザＵの操作対象の携帯端末１に対して送信することができる。なお、ポイント付加許可フラグは、クーポン券とは基本的に独立した情報であるため、クーポン券と共に送信してもよいし、或いは別途送信してもよい。
【００７１】
このようなポイント付加許可フラグが関連情報Ｉとして送信されてきた場合、関連情報処理部１５は、関連情報Ｉに関する処理として、ユーザＵのポイント情報に規定のポイントを付加する、といった処理を実行することができる。ただし、かかる処理は、1日1回だけ実行可能であるという制限がなされる場合もある。
【００７２】
なお、このような来店ポイント付加システムの概念自体は従来から存在する。ただし、従来の来店ポイント付加システムは、磁気カードや非接触通信のような媒体で実現されていた。従って、従来の来店ポイント付加システムでは奏することができなかった次のような各種効果を、本発明が適用される情報処理システムを利用した来店ポイント付加システム（以下、本発明の来店ポイント付加システムと称する）では奏することができるようになる。
【００７３】
即ち、従来の来店ポイント付加システムでは、ポイント付加操作として、磁気カードや非接触通信のような媒体を受付可能な専用端末を利用する操作が必要であった。このため、複数のユーザＵが存在するときには、その専用端末を利用するために順番待ちをすることが多々ある、といった問題があった。
【００７４】
本発明の来店ポイント付加システムは、かかる問題を解決できる、という効果を奏することが可能になる。本発明の来店ポイント付加システムでは、ポイント付加操作として、携帯端末１を用いて離れたところから情報表示装置３を撮影する操作だけで済むからである。即ち、かかるポイント付加操作は同時に何人ものユーザＵにより実行可能であるので、特に順番待ちは発生しないからである。
【００７５】
また、本発明の来店ポイント付加システムでは、ユーザＵは皆、ポイント付加操作を行う際に、必然的に情報表示装置３の広告画像を見ることになり、その広告画像の広告効果が高くなる、といった効果を奏することができる。
【００７６】
さらにまた、本発明の来店ポイント付加システムでは、ユーザＵは、ポイント付加許可フラグに加えて、様々な関連情報を得ることができる、という効果を奏することが可能になる。ここでいう関連情報としては、例えば、上述したクーポン券の他、ユーザＵが所望する広告や告知等の情報が挙げられる。また、例えば、サーバ２は、送信画像Ｇの正当性判断を行うことで、結果として、その送信画像Ｇとマッチした広告画像の表示先、即ち、ユーザＵの存在場所もわかることになる。従って、関連情報のひとつとして、例えば、そのユーザＵの存在場所から別の場所までの道筋を示す情報を採用することができる。これにより、ユーザの携帯端末１上に、その道筋を提示できるようになる。
【００７７】
このような機能的構成を有する携帯端末１に対して、サーバ２は、画像蓄積部２１乃至送信部２９を含むように構成されている。
【００７８】
画像蓄積部２１には、１以上の広告画像（静止画／動画）が蓄積されている。
【００７９】
リアルタイム画像配信部２２は、画像蓄積部２１に蓄積されている所定の広告画像を適宜読み出して、ネットワーク４を介して情報表示装置３にリアルタイムで配信する。即ち、リアルタイム画像配信部２２は、画像蓄積部２１に蓄積されている１以上の広告画像のそれぞれについて、表示先管理と時間管理とをリアルタイムに自律して行っている。
【００８０】
リアルタイム画像配信部２２から配信された広告画像は、ネットワーク４を介して情報表示装置３に提供され、その情報表示装置３により表示される。
【００８１】
表示情報取得部２３は、この情報表示装置３における広告画像の表示に関する情報（以下、表示情報と称する）を、ネットワーク４を介して情報表示装置３から取得したり、リアルタイム画像配信部２２から取得する。
【００８２】
表示情報として、例えば、リアルタイム画像配信部２２の管理情報、即ち、画像蓄積部２１に蓄積されている１以上の広告画像の各配信時間帯や各配信場所が、表示情報取得部２３により取得される。
【００８３】
また例えば、所定の広告画像が、リアルタイム画像配信部２２から配信されて、ネットワーク４を介して情報表示装置３に提供されて、その情報表示装置３に表示されるまでに要する時間（以下、表示遅延時間と称する）が、表示情報として表示情報取得部２３により取得される。
【００８４】
この場合、所定の広告画像が情報表示装置３に実際に表示された時間帯（以下、表示時間帯と称する）については、その配信時間帯に表示遅延時間を加算することで算出可能である。また、所定の広告画像の表示場所、即ち、所定の広告画像を表示した情報表示装置３は、配信場所から特定可能である。
【００８５】
従って、表示情報取得部２３は、画像蓄積部２１に蓄積されている１以上の広告画像のそれぞれについての各表示時間帯と各表示場所を、取得した表示情報から特定し、画像認識部２６に提供する。
【００８６】
一方、情報表示装置３に表示された広告画像は、携帯端末１により撮影され、その撮影画像が送信画像Ｇとして携帯端末１から送信されてくる。そこで、サーバ２の受信部２４は、この送信画像Ｇを受信して、画像認識部２６に提供する。
【００８７】
その際、送信画像情報取得部２５は、受信部２４に受信された送信画像Ｇに関する情報（以下、送信画像情報と称する）を取得して、適当な形態で画像認識部２６に提供する。
【００８８】
ここに、送信画像情報とは、送信画像Ｇから直接取得可能な情報（以下、直接取得情報と称する）の他、送信画像Ｇの受信部２４における受信状態に基づいて間接的に取得可能な情報（以下、間接取得情報と称する）を含む情報をいう。
【００８９】
例えば、送信画像Ｇを構成する各画素情報や、送信画像Ｇのメタデータ、或いはそれらに基づいて生成される情報等が、直接取得情報の一例である。
【００９０】
具体的には例えば、上述したように、撮影場所を特定可能な特定情報が広告画像に含められている場合、送信画像Ｇに含まれる特定情報を示す画像領域についての各画素情報が、直接取得情報として送信画像情報取得部２５により取得される。そして、送信画像情報取得部２５は、かかる各画素情報から特定情報を認識し、その特定情報を画像認識部２６に提供する。
【００９１】
また例えば、GPS情報等の位置情報がメタデータに含まれている場合、送信画像情報取得部２５は、かかる位置情報を直接取得情報として取得し、画像認識部２６に提供する。
【００９２】
一方、送信画像Ｇの受信部２４における受信時刻が、間接取得情報の一例であり、かかる受信時刻も画像認識部２６に提供される。
【００９３】
画像認識部２６は、送信画像情報取得部２５から提供された送信画像情報や、表示情報取得部２３から提供された表示情報に基づいて、受信部２４から提供された送信画像Ｇの推定撮影状況を特定する。画像認識部２６は、送信画像Ｇが、その推定撮影状況下で情報表示装置３に実際に表示されていた広告画像とマッチするか否かの確認処理を行うことで、送信画像Ｇの正当性判断を行う。その判断結果は、送信情報判断部２７に提供される。
【００９４】
この場合、推定撮影状況として、例えば本実施の形態では上述したように、推定撮影時間帯と推定撮影場所とが採用されている。推定撮影時間帯については、例えば、図２を用いて説明したように、送信画像情報取得部２５から提供される送信画像情報のうちの、送信画像Ｇの受信部２４における受信時刻から推定可能である。また、推定撮影場所については、例えば、上述したように、送信画像情報取得部２５から提供される送信画像情報のうちの、送信画像Ｇから認識された特定情報や、メタデータから抽出された位置情報等から推定可能である。
【００９５】
また、推定撮影場所（所定の情報表示装置３）で推定撮影時間帯に実際に表示されていた広告画像を特定する場合には、上述したように、表示情報取得部２３から提供される表示情報を利用することができる。
【００９６】
このようにして、送信画像Ｇの正当性判断が画像認識部２６によりなされると、送信情報判断部２７は、その判断結果に基づいて、広告画像に関連付けられた関連情報Ｉの送信を制限するか否かを判断する。
【００９７】
送信情報判断部２７は、送信画像Ｇが正当な画像であると認められた場合には、関連情報Ｉの送信の制限を行わないと判断して、その関連情報Ｉを関連情報蓄積部２８から読み出して、送信部２９に提供する。すると、送信部２９は、その関連情報Ｉを、送信画像Ｇを送信してきた携帯端末１に対して送信する。
【００９８】
これに対して、送信情報判断部２７は、送信画像Ｇが不正画像であると認められた場合には、関連情報Ｉの送信の制限を行うと判断する。即ち、送信部２９からの関連情報Ｉの送信は禁止される。
【００９９】
以下、かかる機能的構成を有する携帯端末１とサーバ２との間で行われる処理のうちの、ユーザＵが携帯端末１を操作して関連情報を取得するまでに行われる一連の処理の一例について説明する。なお、以下、かかる一連の処理のうちの、携帯端末１側で実行される処理例を「携帯端末側の関連情報取得処理」と称し、サーバ２側で実行される処理例を「サーバ側の関連情報提供処理」と称する。
【０１００】
はじめに、図４のフローチャートを参照して、「携帯端末側の関連情報取得処理」について説明する。
【０１０１】
ステップＳ１において、携帯端末１は、関連情報の取得が指示されたか否かを判定する。
【０１０２】
ステップＳ１において、関連情報の取得が指示されていないと判定された場合、処理は再びステップＳ１に戻される。即ち、関連情報の取得が指示されるまでの間、ステップＳ１のループ処理が繰り返し実行される。
【０１０３】
その後、ユーザＵにより図示せぬボタン等が押下されて、関連情報の取得が指示されると、ステップＳ１の処理でＹＥＳであると判定されて、処理はステップＳ２に進む。
【０１０４】
ステップＳ２において、携帯端末１は、関連情報取得用のアプリケーションソフトウエアの立ち上げ処理を実行する。かかるアプリケーションソフトウエアが立ち上がると、処理はステップＳ３に進む。
【０１０５】
ステップＳ３において、携帯端末１は、カメラ撮影モードが選択されたか否かを判定する。
【０１０６】
ステップＳ３において、カメラ撮影モードが選択されていないと判定された場合、処理は再びステップＳ３に戻される。即ち、カメラ撮影モードが選択されるまでの間、ステップＳ３のループ処理が繰り返し実行される。
【０１０７】
その後、ユーザＵにより図示せぬボタン等が押下されて、カメラ撮影モードが選択されると、ステップＳ３の処理でＹＥＳであると判定されて、処理はステップＳ４に進む。
【０１０８】
ステップＳ４において、携帯端末１は、画像取得部１１（図３）により画像が撮影されたか否かを判定する。
【０１０９】
ステップＳ４において、画像が撮影されていないと判定された場合、処理は再びステップＳ４に戻される。即ち、画像が撮影されるまでの間、ステップＳ４のループ処理が繰り返し実行される。
【０１１０】
その後、ユーザＵにより図示せぬシャッタボタン等が押下されて、画像取得部１１が被写体を撮影し、その撮影画像を送信部１２に提供すると、ステップＳ４の処理でＹＥＳであると判定されて、処理はステップＳ５に進む。
【０１１１】
ステップＳ５において、携帯端末１は、その撮影画像を送信画像Ｇとして、送信部１２からサーバ２に送信する。
【０１１２】
ステップＳ６において、携帯端末１は、サーバ２から関連情報Ｉが送信されてきたか否かを判定する。
【０１１３】
ステップＳ４の処理の結果得られた撮影画像、即ち、ステップＳ５の処理でサーバ２に送信された送信画像Ｇが、情報表示装置３に表示された広告画像を直接撮影した結果得られた画像であった場合、後述する「サーバ側の関連情報提供処理」のステップＳ２６（図５）またはＳ４７（図６）の処理により、広告画像の関連情報Ｉが携帯端末１に送信されてくる。
【０１１４】
このような場合、携帯端末１は、ステップＳ６においてＹＥＳであると判定して、ステップＳ７において、その関連情報Ｉを受信部１３（図３）において受信する。
【０１１５】
かかる関連情報が関連情報記録部１４に記録されると、処理はステップＳ８に進む。即ち、ステップＳ８において、携帯端末１の関連情報処理部１５（図３）は、関連情報Ｉに関する処理を実行する。なお、関連情報Ｉに関する処理の具体例については、上述したので、ここではその説明については省略する。
【０１１６】
ステップＳ８の処理が終了すると、即ち、関連情報に関する処理が終了すると、「携帯端末側の関連情報取得処理」全体も終了となる。
【０１１７】
これに対して、ステップＳ４の処理の結果得られた撮影画像、即ち、ステップＳ５の処理でサーバ２に送信された送信画像Ｇが、情報表示装置３に表示された広告画像とは別のものを被写体として得られた画像であった場合、後述する「サーバ側の関連情報提供処理」のステップＳ２７（図５）またはＳ４８（図６）の処理により、関連情報Ｉの携帯端末１への送信が禁止される。ここに、関連情報Ｉの携帯端末１への送信が禁止とは、サーバ２から携帯端末１に対して情報が何も送信されてこないことの他、関連情報Ｉの代わりにエラー情報等の別の情報がサーバ２から携帯端末１に送信されてくることも含む広義な概念である。
【０１１８】
このような場合、携帯端末１は、ステップＳ６においてＮＯであると判定して、所定のエラー処理を実行する。なお、エラー処理の内容は特に限定されない。例えば、携帯端末１は、所定のエラー表示を、ステップＳ９の処理として行ってもよい。
【０１１９】
また、フローチャートには図示はしないが、図１の携帯端末１−２の送信画像Ｇ２のように、不正の手段で取得した画像が送信画像Ｇとしてサーバ２に送信された場合にも、後述する「サーバ側の関連情報提供処理」のステップＳ２７（図５）またはＳ４８（図６）の処理により、関連情報Ｉの携帯端末１への送信が禁止される。従って、このような場合にも、ステップＳ９と同様のエラー処理が実行される。
【０１２０】
このような図４の「携帯端末側の関連情報取得処理」に対して、「サーバ側の関連情報提供処理」の２つの例が、図５と図６のフローチャートのそれぞれに示されている。
【０１２１】
はじめに、図５の例の「サーバ側の関連情報提供処理」について説明する。
【０１２２】
ステップＳ２１において、図３のサーバ２の受信部２４は、携帯端末１から画像が送信されてきたか否かを判定する。
【０１２３】
ステップＳ２１において、携帯端末１から画像が送信されてきていないと判定された場合、処理は再びステップＳ２１に戻される。即ち、携帯端末１から画像が送信されてくるまでの間、ステップＳ２１のループ処理が繰り返し実行される。
【０１２４】
なお、ここで注意すべき点は、図３の例では、携帯端末１は１台のみ図示されているが、実際には複数台の携帯端末１が存在し得る点である。即ち、複数の携帯端末１の何れからも画像が送信されてこない場合にはじめて、ステップＳ２１のループ処理が繰り返し実行される。
【０１２５】
これに対して、複数の携帯端末１の１台以上から送信画像Ｇがそれぞれ送信されてきた場合には、ステップＳ２１の処理でＹＥＳであると判定されて、各送信画像Ｇを送信してきた１以上の各携帯端末１のそれぞれに対して、次のステップＳ２２以降の処理がそれぞれ独立かつ並列に実行される。ただし、以下、説明の簡略上、１台の携帯端末１から送信画像Ｇが送信されてきたとして、ステップＳ２２以降の説明を行う。
【０１２６】
ステップＳ２２において、受信部２４は、携帯端末１からの送信画像Ｇを受信し、画像認識部２６に提供する。
【０１２７】
ステップＳ２３において、画像認識部２６は、送信画像Ｇと、画像蓄積部２１の全蓄積画像のそれぞれとの間でマッチング処理を実行する。なお、ここでいう蓄積画像とは、上述した例でいう広告画像を指す。ただし、上述したように広告画像は、情報表示装置３に表示させる画像の例示に過ぎないため、図５や図６の例では、単に蓄積画像という語句を使用している。
【０１２８】
ステップＳ２４において、画像認識部２６は、送信画像とマッチした蓄積画像が存在するか否かを判定する。
【０１２９】
送信画像とマッチした蓄積画像が存在する場合には、ステップＳ２４の処理でＹＥＳであると判定されて、処理はステップＳ２５に進む。ステップＳ２５において、画像認識部２６は、その蓄積画像は、過去一定時間内に情報表示装置３に表示された画像であるか否かを判定する。
【０１３０】
即ち、ステップＳ２５の処理でいう「過去一定時間」とは、ステップＳ２２の処理で取得された送信画像Ｇについての推定撮影時間帯を指す。具体的には例えば、ステップＳ２２の処理タイミングが、図２の例の時刻tbであった場合には、その時刻tb以前の時間帯ＴＣが、「過去一定時間」である。このように、「過去一定時間」は、ステップＳ２２の処理タイミング、即ち、送信画像Ｇの受信部２４における受信時刻により特定可能である。また、「過去一定時間内に情報表示装置３に表示された画像」については、上述したように、表示情報取得部２３からの表示情報により特定可能である。
【０１３１】
また、ステップＳ２５の処理でいう「情報表示装置３」とは、推定撮影場所が特定されている場合には、推定撮影場所として特定された情報表示装置３をいい、推定撮影場所が特定されていない場合には、リアルタイム画像配信部２２により表示先候補として管理されている1以上の情報表示装置３の全てをいう。
【０１３２】
即ち、推定撮影場所が特定されていない場合には、過去一定時間内に1以上の情報表示装置３のそれぞれに表示されていた１以上の各画像の中に、蓄積画像が存在するか否か、といった処理がステップＳ２５の処理として実行される。
【０１３３】
送信画像とマッチした蓄積画像が、過去一定時間内に情報表示装置３に表示された画像であった場合とは、送信画像Ｇが正当な画像である場合を意味する。従って、このような場合、ステップＳ２５の処理におけるＹＥＳであるという判断結果が、送信画像Ｇは正当な画像であるという判断結果として、画像認識部２６から送信情報判断部２７に提供される。これにより、処理はステップＳ２６に進む。
【０１３４】
即ち、ステップＳ２６において、送信情報判断部２７は、関連情報蓄積部２８から関連情報Ｉを読み出し、その関連情報Ｉを送信部２９から携帯端末１に送信する。これにより、「サーバ側の関連情報提供処理」が終了する。
【０１３５】
具体的には例えば、上述した図４のステップＳ４の処理の結果得られた撮影画像、即ち、ステップＳ５の処理でサーバ２に送信された送信画像Ｇが、情報表示装置３に表示された広告画像を直接撮影した結果得られた画像であった場合、ステップＳ２４，Ｓ２５の各処理でＹＥＳであると判定されて、ステップＳ２６の処理で、関連情報Ｉが携帯端末１に送信されることになる。
【０１３６】
これに対して、図４のステップＳ４の処理の結果得られた撮影画像、即ち、ステップＳ５の処理でサーバ２に送信された送信画像Ｇが、情報表示装置３に表示された広告画像とは別のものを被写体として得られた画像であった場合、または、図１の携帯端末１−２のように不正の手段で取得された画像が送信画像Ｇとしてサーバ２に送信されてきた場合、ステップＳ２４またはＳ２５の処理でＮＯであると判定されて、処理はステップＳ２７に進む。
【０１３７】
即ち、ステップＳ２４またはＳ２５の処理でＮＯであると判定された場合とは、送信画像Ｇが不正な画像である場合を意味する。従って、このような場合、ステップＳ２４またはＳ２５の処理におけるＮＯであるという判断結果が、送信画像Ｇは不正な画像であるという判断結果として、画像認識部２６から送信情報判断部２７に提供される。これにより、処理はステップＳ２７に進む。
【０１３８】
ステップＳ２７において、送信情報判断部２７は、関連情報Ｉの送信を禁止する。なお、上述したように、ステップＳ２７の処理は、関連情報Ｉの送信を禁止する処理であり、エラー情報等の別の情報までの送信を禁止する処理ではない。従って、ステップＳ２７の処理の結果として、送信部２９から携帯端末１に何の情報も送信されない場合もあるし、エラー情報等の別の情報が、送信部２９から携帯端末１に送信される場合もある。
【０１３９】
このようにして、ステップＳ２７の処理が終了した場合にも、「サーバ側の関連情報提供処理」は終了となる。
【０１４０】
なお、図５の例の「サーバ側の関連情報提供処理」では、送信画像Ｇに対するマッチング処理の相手は、画像蓄積部２１の全蓄積画像となっている。従って、画像蓄積部２１に多数の蓄積画像が蓄積されている場合には、そのマッチング処理、即ち、ステップＳ２３の処理は、高負荷の長時間を要する処理となってしまう。
【０１４１】
そこで、マッチング処理をより一段と軽負荷の短時間の処理としたい場合、サーバ２は、「サーバ側の関連情報提供処理」として、図５の例の代わりに、例えば図６の例の処理を実行することができる。
【０１４２】
なお、図６のステップＳ４１とＳ４２のそれぞれの処理は、上述した図５のステップＳ２１とＳ２２のそれぞれの処理と基本的に同様の処理である。従って、以下、ステップＳ４３以降の処理について説明する。
【０１４３】
ステップＳ４３において、図３の画像認識部２６は、送信画像取得部２５からの送信画像情報に基づいて、ステップＳ４３の処理で受信された送信画像Ｇの推定撮影状況（推定撮影時間帯や推定撮影場所等）を特定する。
【０１４４】
なお、推定撮影状況（推定撮影時間帯や推定撮影場所等）の特定手法の具体例については、上述したので、ここではその説明を省略する。
【０１４５】
ステップＳ４４において、画像認識部２６は、画像蓄積部２１の全蓄積画像の中から、推定撮影状況の下で情報表示装置３に実際に表示されていた１以上の蓄積画像を抽出する。なお、「推定撮影状況の下で情報表示装置３に実際に表示されていた１以上の蓄積画像」については、上述したように、表示情報取得部２３からの表示情報により特定可能である。
【０１４６】
ステップＳ４５において、画像認識部２６は、送信画像Ｇと、ステップＳ４４の処理で抽出された１以上の蓄積画像のそれぞれとの間でマッチング処理を実行する。
【０１４７】
ステップＳ４６の処理で、画像認識部２６は、送信画像とマッチした蓄積画像が存在するか否かを判定する。
【０１４８】
ステップＳ４６の処理でＹＥＳであると判断される場合とは、送信画像Ｇが正当な画像である場合を意味する。従って、このような場合、ステップＳ４６の処理におけるＹＥＳであるという判断結果が、送信画像Ｇは正当な画像であるという判断結果として、画像認識部２６から送信情報判断部２７に提供する。これにより、処理はステップＳ４７に進む。
【０１４９】
即ち、ステップＳ４７において、送信情報判断部２７は、関連情報蓄積部２８から関連情報Ｉを読み出し、その関連情報Ｉを送信部２９から携帯端末１に送信する。これにより、「サーバ側の関連情報提供処理」が終了する。
【０１５０】
具体的には例えば、上述した図４のステップＳ４の処理の結果得られた撮影画像、即ち、ステップＳ５の処理でサーバ２に送信された送信画像Ｇが、情報表示装置３に表示された広告画像を直接撮影した結果得られた画像であった場合、ステップＳ４６の処理でＹＥＳであると判定されて、ステップＳ４７の処理で、関連情報Ｉが携帯端末１に送信されることになる。
【０１５１】
これに対して、図４のステップＳ４の処理の結果得られた撮影画像、即ち、ステップＳ５の処理でサーバ２に送信された送信画像Ｇが、情報表示装置３に表示された広告画像とは別のものを被写体として得られた画像であった場合、または、図１の携帯端末１−２のように不正の手段で取得された画像が送信画像Ｇとしてサーバ２に送信されてきた場合、ステップＳ４６の処理でＮＯであると判定されて、処理はステップＳ４８に進む。
【０１５２】
即ち、ステップＳ４６の処理でＮＯであると判定された場合とは、送信画像Ｇが不正な画像である場合を意味する。従って、このような場合、ステップＳ４６の処理におけるＮＯであるという判断結果が、送信画像Ｇは不正な画像であるという判断結果として、画像認識部２６から送信情報判断部２７に提供される。これにより、処理はステップＳ４８に進む。
【０１５３】
ステップＳ４８において、送信情報判断部２７は、関連情報Ｉの送信を禁止する。なお、ステップＳ４８の処理は、上述した図５のステップＳ２７の処理と同様に、関連情報Ｉの送信を禁止する処理であり、エラー情報等の別の情報までの送信を禁止する処理ではない。従って、ステップＳ４８の処理の結果として、送信部２９から携帯端末１に何の情報も送信されない場合もあるし、エラー情報等の別の情報が、送信部２９から携帯端末１に送信される場合もある。
【０１５４】
このようにして、ステップＳ４８の処理が終了した場合にも、「サーバ側の関連情報提供処理」は終了となる。
【０１５５】
以上説明したように、図６の例の「サーバ側の関連情報提供処理」では、ステップＳ４３とＳ４４の処理により、送信画像Ｇに対するマッチング処理の相手が、「推定撮影状況の下で情報表示装置３に実際に表示されていた１以上の蓄積画像」にまで絞られる。従って、画像蓄積部２１に多数の蓄積画像が蓄積されている場合であっても、そのマッチング処理、即ち、ステップＳ４５の処理は、図５のステップＳ２３の処理と比較して、より一段と軽負荷の短時間の処理とすることができる、という効果を奏することが可能になる。
【０１５６】
かかる効果は、ステップＳ４３の処理において特定する推定撮影状況の範囲を狭めれば狭める程、その分だけ顕著なものとなる。「推定撮影状況の下で情報表示装置３に実際に表示されていた1以上の蓄積画像」の数がその分だけ減少するからである。従って、究極的には、推定撮影状況として、推定撮影時間帯ではなく推定撮影時刻まで限定し、かつ、推定撮影場所としてユーザＵがまさにいた場所まで限定できれば、送信画像Ｇに対するマッチング処理の相手、即ち、「推定撮影状況の下で情報表示装置３に実際に表示されていた1以上の蓄積画像」を、その推定撮影場所の情報表示装置３に推定撮影時刻のタイミングで表示されていた蓄積画像唯一とすることが可能になる。
【０１５７】
以上、本発明が適用される情報処理システムとして、図３の機能的構成の情報処理システムについて説明してきた。ただし、本発明は、図３の例以外にも、様々な実施の形態を取ることが可能である。
【０１５８】
具体的には例えば、図７は、本発明が適用される情報処理システムの機能的構成例であって、図３の例とは別の例を示している。
【０１５９】
図７において、図３と対応する箇所には対応する符号を付してあり、かかる箇所の説明については適宜省略する。
【０１６０】
図７の例の携帯端末１は、図３の例と同様の機能的構成を有している。
【０１６１】
図７の例のサーバ２においては、図３の例の機能的構成に対して、リアルタイム画像配信部２２と表示情報取得部２３とが省略され、その代わりに、表示情報配信部３１と表示テーブル保持部３２とが設けられている。
【０１６２】
即ち、上述したように、画像蓄積部２１に蓄積されている各蓄積画像（上述した例では広告画像）の時間管理と表示先管理の仕方は、特に限定されず、サーバ２が自立的に判断して管理してもよいし、予め定義されたルールに従って管理してもよい。
【０１６３】
この場合、前者の管理を行っている例が、図３のサーバ２である。即ち、上述したように、かかる前者の管理は、図３のリアルタイム画像配信部２２によりなされている。
【０１６４】
一方、後者の管理を行っている例が、この図７のサーバ２である。即ち、図７の例では、各蓄積画像の表示時間帯と表示先（特定の情報表示装置３）とがそれぞれ予め設定されており、かかる各設定内容が記述された表示テーブルが、表示テーブル保持部３２に保持されている。表示情報配信部３１は、この表示テーブル保持部３２に保持されている表示テーブルと、画像蓄積部２１に蓄積されている各蓄積画像とを、ネットワーク４を介して情報表示装置３に予め配信する。
【０１６５】
即ち、図７の例では、情報表示装置３には、ネットワーク４を介してサーバ２上の各蓄積画像と表示テーブルとが予めダウンロードされる。このため、図７の例の情報表示装置３は、画像蓄積部４１乃至情報表示部４４を含むように構成されている。即ち、ネットワーク４を介してサーバ２から予め配信されてきた各蓄積画像は、画像蓄積部４１に蓄積される。一方、ネットワーク４を介してサーバ２から予め配信されてきた表示テーブルは、表示テーブル保持部４２に保持される。表示内容管理部４３は、表示テーブル保持部４２に保持された表示テーブルの内容に従って、各蓄積画像のそれぞれを画像蓄積部４１から適宜読み出して、情報表示部４４に表示させる。
【０１６６】
従って、図７の例では、画像認識部２６は、受信部２４に受信された送信画像Ｇとのマッチング処理の相手を特定する際、即ち、その送信画像Ｇの推定撮影状況下で情報表示装置３に実際に表示されていた１以上の画像を特定する際、表示テーブル保持部３２に保持されている表示テーブルの内容を参照する。
【０１６７】
以上説明した図３と図７の例の情報処理システムにおいては、サーバ２の画像認識部２６の処理結果、即ち、推定撮影状況を考慮した送信画像Ｇの正当性判断結果は、関連情報Ｉの送信の制限有無の判断の用途で使用された。しかしながら、推定撮影状況を考慮した送信画像Ｇの正当性判断結果は、図３と図７の例に特に限定されない。
【０１６８】
具体的には例えば、図８は、本発明が適用される情報処理システムであって、推定撮影状況を考慮した送信画像Ｇの正当性判断結果を、図３や図７の例の用途に加えてさらに別の用途で利用する情報処理システムの機能的構成例を示している。
【０１６９】
図８において、図３と対応する箇所には対応する符号を付してあり、かかる箇所の説明については適宜省略する。
【０１７０】
図８の例の携帯端末１と情報表示装置３とのそれぞれは、図３の例のそれぞれと同様の機能的構成を有している。
【０１７１】
図８の例のサーバ２においては、図３の例の機能的構成に対してさらに、表示内容変更部５１とマーケティングデータ蓄積部５２とが設けられている。
【０１７２】
表示内容変更部５１は、画像認識部２６により送信画像Ｇの正当性が判断された場合、その送信画像Ｇとマッチした蓄積画像を表示していた情報表示装置３に対して、その表示内容を変更させる制御を行う。なお、表示の変更内容は、特に限定されず、例えば、送信画像Ｇの正当性判断の正確性をより一段と図るために、改めて情報表示装置３にフィードバックをかけるような変更、具体的には例えば、ユーザＵの携帯端末１に改めて撮影してもらうための特定画像への表示変更等を、表示名用変更部５１は実行できる。即ち、この場合、携帯端末１から１回目の送信画像Ｇが送信されてきた段階では、サーバ２は、関連情報を送付せずに、表示内容変更部５１を用いて、上述した特定画像を情報表示装置３に表示させる制御を行う。そして、ユーザＵは、携帯端末１を操作して、かかる特定画像を撮影し、その撮影画像を２回目の送信画像Ｇとしてサーバ２に送信する。サーバ２は、かかる２枚目の送信画像Ｇが特定画像とマッチしたときにはじめて、関連情報Ｉを携帯端末１に送信する。
【０１７３】
なお、この場合のフィードバックをかける対象は、図８の例では特定画像とされたが、このような画像に限定されず、例えば音声等でもよい。具体的には例えば図示はしないが、情報表示装置３にスピーカが設けられており、携帯端末１にマイクロフォンが設けられている場合には、携帯端末１から１回目の送信画像Ｇが送信されてきた段階では、サーバ２は、関連情報を送付せずに、情報表示装置３のスピーカから特定音を出力させる制御を行う。そして、ユーザＵは、携帯端末１を操作して、かかる特定音をマイクロフォンで取得し、その特定音を送信音としてサーバ２に送信する。サーバ２は、かかる送信音が特定音とマッチしたときにはじめて、関連情報Ｉを携帯端末１に送信する。
【０１７４】
また、マーケティングデータ蓄積部５２は、画像認識部２６の処理結果を、マーケティングデータとして蓄積する。例えばマーケティングデータとして、情報表示装置３に表示された広告画像を見たユーザＵの部分集合の数が採用されている場合には、送信画像Ｇが正当な画像であると判断されたときには、かかる部分集合の数を１だけインクリメントする一方、送信画像Ｇが不正な画像であると判断されたときには、かかる部分集合の数を変化させないこととして、かかる部分集合の数をマーケティングデータ蓄積部５２に蓄積させることができる。
【０１７５】
以上説明したように、本発明が適用されるサーバ２により、携帯端末１からの送信画像Ｇとは、情報表示装置３に実際に表示された画像が直接撮影されたものであるか否かの正確な判断ができる。さらに、サーバ２は、かかる判断結果に基づいて、関連情報Ｉのダウンロードを制限することができるようになり、その結果、情報表示装置３の設置場所への消費者（携帯端末１のユーザＵ）の行動を促し、情報表示装置３およびその周辺の価値を上げることが可能となる。また、かかる判断結果は、その他様々な用途に利用することが可能になる。具体的には例えば、上述したように、マーケティングデータとして、情報表示装置３の前に来て広告を見た人（ユーザＵ）の部分集合の数のカウントの用途に利用することができる。また例えば、消費者（ユーザＵ）の目の前の画面（情報表示装置３の表示面）にフィードバックをかける用途に利用することができる。
【０１７６】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１７７】
この場合、上述したサーバ２等の少なくとも一部として、例えば、図９に示されるパーソナルコンピュータを採用してもよい。
【０１７８】
図９において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７９】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１８０】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１８１】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１８２】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１８３】
このようなプログラムを含む記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１８４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８５】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１８６】
【図１】本発明が適用される情報処理システムの構成例を示す図である。
【図２】図１の情報処理システムの一動作の概略を説明するタイミングチャートである。
【図３】本発明が適用される情報処理システムの各装置の機能的構成例を示す機能ブロック図である。
【図４】図３の携帯端末側の関連情報取得処理例を説明するフローチャートである。
【図５】図３のサーバ側の関連情報提供処理例を説明するフローチャートである。
【図６】図３のサーバ側の関連情報提供処理例であって、図５とは別の例を説明するフローチャートである。
【図７】本発明が適用される情報処理システムの各装置の機能的構成例であって、図３の例とは別の例を示す機能ブロック図である。
【図８】本発明が適用される情報処理システムの各装置の機能的構成例であって、図３や図７の例とは別の例を示す機能ブロック図である。
【図９】本発明が適用される情報処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１８７】
１  携帯端末，  ２  サーバ，  ３  情報表示装置，  ４  ネットワーク，  １１  画像取得部，  １２  送信部，  １３  受信部，  １４  関連情報記録部，  １５  関連情報処理部，  ２１  画像蓄積部，  ２２  リアルタイム画像配信部，  ２３  表示情報取得部，  ２４  受信部，  ２５  送信画像情報取得部，  ２６  画像認識部，  ２７  送信情報判断部，  ２８  関連情報蓄積部，  ２９  送信部，  ３１  表示情報配信部，  ３２  表示テーブル保持部，  ４１  画像蓄積部，  ４２  表示テーブル保持部，  ４３  表示内容管理部，  ４４  情報表示部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０８  記憶部，  １１１  リムーバブルメディア
【図１】
2008047015.tif 000003
【図２】
2008047015.tif 000004
【図３】
2008047015.tif 000005
【図４】
2008047015.tif 000006
【図５】
2008047015.tif 000007
【図６】
2008047015.tif 000008
【図７】
2008047015.tif 000009
【図８】
2008047015.tif 000010
【図９】
2008047015.tif 000011