(57)【要約】【課題】表示装置に明示される識別子を用いることなく、ユーザによって視認されている表示装置を特定するデジタルサイネージシステム及び方法を提供する。【解決手段】携帯端末は、表示装置に表示されているコンテンツの撮影画像と、撮影時点における位置及び時刻を含む要求メッセージを、コンテンツ配信サーバへ送信する。コンテンツ配信サーバは、受信した位置を中心とした一定範囲に存在する１つ以上の表示装置を検索する表示装置候補検索手段と、検索された１つ以上の表示装置について、受信した時刻に、当該サーバから配信されていた表示コンテンツを検索するコンテンツ候補検索手段と、１つ以上の表示コンテンツの中から、受信した画像に最も類似する１つの表示コンテンツを検出する画像照合手段と、検出された１つの表示コンテンツを表示していた表示装置の前面に、ユーザが存在していることを特定する表示装置特定手段とを有する。【選択図】図２
2011076336.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによって視認されるコンテンツを表示する表示装置と、前記コンテンツをネットワークを介して前記表示装置へ配信するコンテンツ配信サーバとを有するデジタルサイネージシステムにおいて、
前記システムは、前記ユーザによって操作される携帯端末を更に有し、
前記携帯端末は、
前記ユーザの操作に応じて、前記表示装置に表示されているコンテンツの画像を撮影する画像撮影手段と、
前記画像の撮影時点における当該携帯端末の位置を取得する位置取得手段と、
前記画像の撮影時点における時刻を取得する時刻取得手段と、
前記画像、前記位置及び前記時刻を含む要求メッセージを、前記コンテンツ配信サーバへ送信する要求メッセージ送信手段と
を有し、
前記コンテンツ配信サーバは、
複数の前記表示装置の位置を予め記憶した表示装置位置記憶手段と、
前記表示装置毎に、配信した複数のコンテンツのコンテンツ識別子と、その配信時刻とを記憶した配信時刻記憶手段と、
前記携帯端末から前記要求メッセージを受信し、前記画像、前記位置及び前記時刻を取得する要求メッセージ受信手段と、
前記表示装置位置記憶手段を用いて、受信した前記位置を中心とした一定範囲に存在する１つ以上の表示装置を検索する表示装置候補検索手段と、
検索された１つ以上の前記表示装置について、前記配信時刻記憶手段を用いて、受信した前記時刻に、当該サーバから配信されていた表示コンテンツを検索するコンテンツ候補検索手段と、
１つ以上の前記表示コンテンツの中から、受信した前記画像に最も類似する１つの表示コンテンツを検出する画像照合手段と、
検出された１つの前記表示コンテンツを表示していた前記表示装置の前面に、前記ユーザが存在していることを特定する表示装置特定手段と
を有することを特徴とするデジタルサイネージシステム。
【請求項２】
前記携帯端末は、前記ユーザの操作に応じて、前記表示装置に表示させるべき表示指示情報を取得する表示指示取得手段を更に有し、
前記携帯端末の前記要求メッセージ送信手段は、前記表示指示情報を更に含む前記要求メッセージを、前記コンテンツ配信サーバへ送信し、
前記コンテンツ配信サーバの前記要求メッセージ受信手段は、前記要求メッセージから前記表示指示情報を更に取得し、
前記コンテンツ配信サーバは、前記表示指示情報を表示内容情報として、前記表示装置特定手段によって特定された前記表示装置へ送信する表示内容情報送信手段を更に有することを特徴とする請求項１に記載のデジタルサイネージシステム。
【請求項３】
前記表示内容情報は、テキスト、音声、画像、振動情報、触感情報及び香り情報であり、
前記表示装置は、前記コンテンツ配信サーバから受信した前記表示内容情報を、ディスプレイに表示し及び／又はスピーカから発声し、前記ユーザに視聴させることを特徴とする請求項２に記載のデジタルサイネージシステム。
【請求項４】
前記コンテンツ配信サーバは、前記表示指示情報がＵＲＬ(Uniform Resource Locator)である場合、当該ＵＲＬのＷｅｂサーバへリクエストを送信し、そのレスポンスによってページコンテンツを取得するＷｅｂサーバアクセス手段を更に有し、
前記コンテンツ配信サーバの前記表示内容情報送信手段は、前記ページコンテンツを表示内容情報として、前記表示装置特定手段によって特定された前記表示装置へ送信し、
前記表示装置は、前記コンテンツ配信サーバから受信した前記ページコンテンツを、ディスプレイに表示し及び／又はスピーカから発声し、前記ユーザに視聴させることを特徴とする請求項２に記載のデジタルサイネージシステム。
【請求項５】
前記コンテンツ配信サーバの前記Ｗｅｂサーバアクセス手段は、前記Ｗｅｂサーバから受信した前記ページコンテンツに対して、所定の有害コンテンツをフィルタリングすることを特徴とする請求項４に記載のデジタルサイネージシステム。
【請求項６】
前記表示指示情報は、テキスト、音声又は画像を更に含み、
前記コンテンツ配信サーバの前記Ｗｅｂサーバアクセス手段は、前記ＵＲＬのＷｅｂサーバへリクエストを送信する際に、当該リクエストに前記テキスト、音声又は画像を含め、
前記テキスト、音声又は画像に応じて、前記Ｗｅｂサーバから受信される前記ページコンテンツが異なることを特徴とする請求項４又は５に記載のデジタルサイネージシステム。
【請求項７】
前記画像は、静止画像又は動画像であり、
前記画像照合手段は、
１つ以上の前記表示コンテンツと、受信した前記画像とについて、各フレームにおける特徴量を算出し、
１つ以上の前記表示コンテンツの特徴量と、前記画像の特徴量とを照合することを特徴とする請求項１から６のいずれか１項に記載のデジタルサイネージシステム。
【請求項８】
前記画像照合手段は、
ハフ変換を用いて、前記表示コンテンツ及び前記画像における各フレームから、複数の矩形領域候補を抽出し、
各矩形領域候補を、既定サイズに縮小し、
縮小画像における輝度値と既定ベクトルとの内積から、矩形領域の特徴量を抽出する
ことを特徴とする請求項７に記載のデジタルサイネージシステム。
【請求項９】
前記携帯端末について、
前記画像撮影手段は、当該携帯端末に搭載されたカメラであり、
前記位置取得手段は、当該携帯端末に搭載されたＧＰＳ(Global Positioning System)に基づく測位機能であり、
前記時刻取得手段は、当該携帯端末に搭載されたタイマの現時刻を取得するものであり、
前記要求メッセージ送信手段は、前記要求メッセージとして電子メールを用いたものであることを特徴とする請求項１から８のいずれか１項に記載のデジタルサイネージシステム。
【請求項１０】
ユーザによって視認されるコンテンツを表示する表示装置と、前記コンテンツをネットワークを介して前記表示装置へ配信するコンテンツ配信サーバとを有するシステムについて、ユーザによって視認されている表示装置を特定する方法において、
前記システムは、前記ユーザによって操作される携帯端末を更に有し、
前記コンテンツ配信サーバは、複数の前記表示装置の位置を予め記憶すると共に、前記表示装置毎に、配信した複数のコンテンツとその配信時刻とを記憶しており、
前記携帯端末が、前記ユーザの操作に応じて、前記表示装置に表示されているコンテンツの画像を撮影する第１のステップと、
前記携帯端末が、前記画像の撮影時点における当該携帯端末の位置を取得すると共に、時刻を取得する第２のステップと、
前記携帯端末が、前記画像、前記位置及び前記時刻を含む要求メッセージを、前記コンテンツ配信サーバへ送信する第３のステップと、
前記コンテンツ配信サーバが、前記携帯端末から前記メッセージを受信し、前記画像、前記位置及び前記時刻を取得する第４のステップと、
前記コンテンツ配信サーバが、予め記憶された前記表示装置の位置を用いて、受信した前記位置を中心とした一定範囲に存在する１つ以上の表示装置を検索する第５のステップと、
前記コンテンツ配信サーバが、検索された１つ以上の前記表示装置について、予め記憶された配信時刻を用いて、受信した前記時刻に、当該サーバから配信されていた表示コンテンツを検索する第６のステップと、
前記コンテンツ配信サーバが、１つ以上の前記表示コンテンツの中から、受信した前記画像に最も類似する１つの表示コンテンツを検出する第７のステップと、
前記コンテンツ配信サーバが、検出された１つの前記表示コンテンツを表示していた前記表示装置の前面に、前記ユーザが存在していることを特定する第８のステップと
を有することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザによって視認されている表示装置に広告コンテンツを表示するデジタルサイネージの技術に関する。
【背景技術】
【０００２】
デジタルサイネージとは、公共の場所に設置された、例えば平面ディスプレイやプロジェクタのような電子的なディスプレイに、画像情報（静止画像又は動画像）を表示する広告媒体技術をいう。デジタルサイネージは、ディスプレイに広告用の画像情報を表示させることによって、ポスターや看板のように用いることができる。
【０００３】
図１は、従来技術におけるデジタルサイネージのシステム構成図である。
【０００４】
図１によれば、例えば、複数の表示装置３が設置されているイベントの展示会場を想定している。複数の表示装置３は、ローカルネットワークを介して、コンテンツ配信サーバ２に接続されている。広告提供者によって運用されているコンテンツ配信サーバ２は、表示装置３に、広告用コンテンツを配信する。コンテンツ配信サーバ２は、閉域のローカルネットワークに接続されていてもよいし、広域のインターネットに接続されていてもよい。
【０００５】
一方で、ユーザは、携帯端末１を所持しており、特定の表示装置３の前面で、そのディスプレイに表示されているコンテンツを視聴している。携帯端末１は、携帯電話網を介して、インターネットに接続することもできる。
【０００６】
デジタルサイネージシステムによれば、コンテンツ配信サーバ２は、表示装置３毎に、その設置場所及び時刻に応じて、異なるコンテンツを配信することができる。また、コンテンツ配信サーバ２は、その表示装置３のディスプレイを視聴しているユーザが特定される場合、その視聴者属性に応じて、異なるコンテンツを配信することもできる。これにより、広告提供者は、視聴者属性に応じた異なる広告コンテンツを、そのユーザが視聴しているディスプレイに表示することができる。
【０００７】
従来、ユーザ所望の広告コンテンツを、ユーザ所望の表示装置に表示させる技術がある（例えば特許文献１参照）。この技術によれば、ユーザによって所持される端末が、表示装置の識別子とその広告内容とを記述した電子メールを、サーバへ送信する。そのサーバは、その識別子の表示装置へ、その広告内容に基づく広告コンテンツを配信する。これにより、ユーザ所望の広告コンテンツを、そのユーザの前面に位置する表示装置に「表示させることができる。
【０００８】
また、表示装置のディスプレイにおける特定領域に、ユーザによって生成されたコンテンツを表示させる技術もある（例えば特許文献２参照）。この技術によれば、表示する特定領域もユーザが指定することができる。ユーザは、携帯端末によって撮影した動画像を、表示装置のディスプレイにおける特定領域に表示させることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００２−１５２７０５号公報
【特許文献２】特開２００５−２４２６０３号公報
【非特許文献】
【００１０】
【非特許文献１】「Robust Content-Based Video Copy Identification in a Large Reference Database」、Proc. of CIVR、pp.414-424、2003.
【非特許文献２】Eiji KASUTANI、Akio YAMADA、「THE MPEG-7 COLORLAYOUT DESCRIPTOR: A COMPACT IMAGE FEATURE DESCRIPTION FOR HIGH-SPEEDIMAGE/VIDEO SEGMENT RETRIEVAL」、Multimedia Research Laboratories、NEC Corporation、0-7803-6725-1/01/、2001IEEE
【非特許文献３】H. Jegou, M. Douze, and C. Schmid、「Hamming embedding and weak geometric consistency for large scale image search」、Proc. of ECCV、pp.304-317、2008.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
特許文献１に記載された技術によれば、表示装置の識別子を予め取得する必要がある。ユーザは、例えば表示装置に明示される識別子を認識し、携帯端末にその識別子を入力する必要がある。そうしなければ、ユーザ所望の表示装置を特定することができない。また、特許文献２に記載された技術によれば、ユーザは、任意の表示装置にコンテンツを表示させることができず、ユーザの前面に位置する表示装置を特定することもできない。
【００１２】
そこで、本発明は、表示装置に明示される識別子を用いることなく、ユーザによって視認されている表示装置を特定するデジタルサイネージシステム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、ユーザによって視認されるコンテンツを表示する表示装置と、コンテンツをネットワークを介して表示装置へ配信するコンテンツ配信サーバとを有するデジタルサイネージシステムにおいて、
システムは、ユーザによって操作される携帯端末を更に有し、
携帯端末は、
ユーザの操作に応じて、表示装置に表示されているコンテンツの画像を撮影する画像撮影手段と、
画像の撮影時点における当該携帯端末の位置を取得する位置取得手段と、
画像の撮影時点における時刻を取得する時刻取得手段と、
画像、位置及び時刻を含む要求メッセージを、コンテンツ配信サーバへ送信する要求メッセージ送信手段と
を有し、
コンテンツ配信サーバは、
複数の表示装置の位置を予め記憶した表示装置位置記憶手段と、
表示装置毎に、配信した複数のコンテンツのコンテンツ識別子と、その配信時刻とを記憶した配信時刻記憶手段と、
携帯端末から要求メッセージを受信し、画像、位置及び時刻を取得する要求メッセージ受信手段と、
表示装置位置記憶手段を用いて、受信した位置を中心とした一定範囲に存在する１つ以上の表示装置を検索する表示装置候補検索手段と、
検索された１つ以上の表示装置について、配信時刻記憶手段を用いて、受信した時刻に、当該サーバから配信されていた表示コンテンツを検索するコンテンツ候補検索手段と、
１つ以上の表示コンテンツの中から、受信した画像に最も類似する１つの表示コンテンツを検出する画像照合手段と、
検出された１つの表示コンテンツを表示していた表示装置の前面に、ユーザが存在していることを特定する表示装置特定手段と
を有することを特徴とする。
【００１４】
本発明のデジタルサイネージシステムにおける他の実施形態によれば、
携帯端末は、ユーザの操作に応じて、表示装置に表示させるべき表示指示情報を取得する表示指示取得手段を更に有し、
携帯端末の要求メッセージ送信手段は、表示指示情報を更に含む要求メッセージを、コンテンツ配信サーバへ送信し、
コンテンツ配信サーバの要求メッセージ受信手段は、要求メッセージから表示指示情報を更に取得し、
コンテンツ配信サーバは、表示指示情報を表示内容情報として、表示装置特定手段によって特定された表示装置へ送信する表示内容情報送信手段を更に有することも好ましい。
【００１５】
本発明のデジタルサイネージシステムにおける他の実施形態によれば、
表示内容情報は、テキスト、音声又は画像であり、
表示装置は、コンテンツ配信サーバから受信した表示内容情報を、ディスプレイに表示し及び／又はスピーカから発声し、ユーザに視聴させることも好ましい。
【００１６】
本発明のデジタルサイネージシステムにおける他の実施形態によれば、
コンテンツ配信サーバは、表示指示情報がＵＲＬ(Uniform Resource Locator)である場合、当該ＵＲＬのＷｅｂサーバへリクエストを送信し、そのレスポンスによってページコンテンツを取得するＷｅｂサーバアクセス手段を更に有し、
コンテンツ配信サーバの表示内容情報送信手段は、ページコンテンツを表示内容情報として、表示装置特定手段によって特定された表示装置へ送信し、
表示装置は、コンテンツ配信サーバから受信したページコンテンツを、ディスプレイに表示し及び／又はスピーカから発声し、ユーザに視聴させることも好ましい。
【００１７】
本発明のデジタルサイネージシステムにおける他の実施形態によれば、
表示指示情報は、テキスト、音声又は画像を更に含み、
コンテンツ配信サーバのＷｅｂサーバアクセス手段は、ＵＲＬのＷｅｂサーバへリクエストを送信する際に、当該リクエストにテキスト、音声又は画像を含め、
テキスト、音声又は画像に応じて、Ｗｅｂサーバから受信されるページコンテンツが異なることも好ましい。
【００１８】
本発明のデジタルサイネージシステムにおける他の実施形態によれば、
画像は、静止画像又は動画像であり、
画像照合手段は、
１つ以上の表示コンテンツと、受信した画像とについて、各フレームにおける特徴量を算出し、
１つ以上の表示コンテンツの特徴量と、画像の特徴量とを照合することを特徴とすることも好ましい。
【００１９】
本発明のデジタルサイネージシステムにおける他の実施形態によれば、
画像照合手段は、
ハフ変換を用いて、表示コンテンツ及び画像における各フレームから、複数の矩形領域候補を抽出し、
各矩形領域候補を、既定サイズに縮小し、
縮小画像における輝度値と既定ベクトルとの内積から、矩形領域の特徴量を抽出する
ことも好ましい。
【００２０】
本発明のデジタルサイネージシステムにおける他の実施形態によれば、
携帯端末について、
画像撮影手段は、当該携帯端末に搭載されたカメラであり、
位置取得手段は、当該携帯端末に搭載されたＧＰＳ(Global Positioning System)に基づく測位機能であり、
時刻取得手段は、当該携帯端末に搭載されたタイマの現時刻を取得するものであり、
要求メッセージ送信手段は、要求メッセージとして電子メールを用いたものであることも好ましい。
【００２１】
本発明によれば、ユーザによって視認されるコンテンツを表示する表示装置と、コンテンツをネットワークを介して表示装置へ配信するコンテンツ配信サーバとを有するシステムについて、ユーザによって視認されている表示装置を特定する方法において、
システムは、ユーザによって操作される携帯端末を更に有し、
コンテンツ配信サーバは、複数の表示装置の位置を予め記憶すると共に、表示装置毎に、配信した複数のコンテンツとその配信時刻とを記憶しており、
携帯端末が、ユーザの操作に応じて、表示装置に表示されているコンテンツの画像を撮影する第１のステップと、
携帯端末が、画像の撮影時点における当該携帯端末の位置を取得すると共に、時刻を取得する第２のステップと、
携帯端末が、画像、位置及び時刻を含む要求メッセージを、コンテンツ配信サーバへ送信する第３のステップと、
コンテンツ配信サーバが、携帯端末からメッセージを受信し、画像、位置及び時刻を取得する第４のステップと、
コンテンツ配信サーバが、予め記憶された表示装置の位置を用いて、受信した位置を中心とした一定範囲に存在する１つ以上の表示装置を検索する第５のステップと、
コンテンツ配信サーバが、検索された１つ以上の表示装置について、予め記憶された配信時刻を用いて、受信した時刻に、当該サーバから配信されていた表示コンテンツを検索する第６のステップと、
コンテンツ配信サーバが、１つ以上の表示コンテンツの中から、受信した画像に最も類似する１つの表示コンテンツを検出する第７のステップと、
コンテンツ配信サーバが、検出された１つの表示コンテンツを表示していた表示装置の前面に、ユーザが存在していることを特定する第８のステップと
を有することを特徴とする。
【発明の効果】
【００２２】
本発明のデジタルサイネージシステム及び方法によれば、表示装置に明示される識別子を用いることなく、ユーザによって視認されている表示装置を特定することができる。
【図面の簡単な説明】
【００２３】
【図１】従来技術におけるデジタルサイネージのシステム構成図である。
【図２】本発明におけるデジタルサイネージのシステム構成図である。
【図３】本発明における基本シーケンス図である。
【図４】携帯端末と表示装置との位置関係を表す説明図である。
【図５】携帯端末からの表示指示情報に対応する表示内容情報を、表示装置に表示するためのシーケンス図である。
【図６】本発明における各装置の機能構成図である。
【図７】画像の特徴量を抽出するための説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２５】
図２は、本発明におけるデジタルサイネージのシステム構成図である。
【００２６】
図２によれば、携帯端末１を所持したユーザが、表示装置３に表示されているコンテンツを視聴しているとする。図１と同様に、表示装置３に表示されるコンテンツは、ローカルネットワークを介して、コンテンツ配信サーバ２から配信される。また、コンテンツ配信サーバ２は、ローカルネットワーク及びインターネットを介して、既存のＷｅｂサーバ５と通信することもできる。コンテンツ配信サーバ２は、表示装置３へ配信するコンテンツを、既存のＷｅｂサーバ５から取得することもできる。
【００２７】
ユーザによって所持される携帯端末１は、ＧＰＳ(Global Positioning System、全地球的測位システム)機能を有する。携帯端末１は、ＧＰＳ衛星４からの電波を受信して、現在位置を測定することができる。３つのＧＰＳ衛星が見える場所では「緯度・経度」を測位することができ、４つのＧＰＳ衛星が見える場所では、「緯度・経度・高度」を測位することができる。
【００２８】
また、携帯端末１は、カメラ機能も有している。携帯端末が携帯電話機である場合、一般的に、カメラ機能を搭載し、ユーザの操作によって画像情報を取得することができる。尚、以下では、携帯電話機１を代表的な携帯端末として説明するが、勿論、携帯端末、ＰＤＡ(Personal Digital Assistant)又はパーソナルコンピュータであってもよい。
【００２９】
ここで、図２によれば、携帯電話機１は、カメラ機能を用いて、そのユーザが視聴している表示装置３のディスプレイを、ユーザの操作に基づいて撮影する。また、携帯電話機１は、画像情報の撮影と同時に、時刻及び現在位置も取得する。時刻は、携帯電話機に搭載されたタイマによって取得され、現在位置は、携帯電話機に搭載されたＧＰＳ機能によって取得される。
【００３０】
そして、携帯電話機１は、撮影した画像、時刻及び位置を含む要求メッセージを、コンテンツ配信サーバ２へ送信する。
【００３１】
コンテンツ配信サーバ２は、要求メッセージに含まれる情報に基づいて、そのユーザが視聴している表示装置を特定することができる。
【００３２】
図３は、本発明における基本シーケンス図である。また、図４は、携帯端末と表示装置との位置関係を表す説明図である。
【００３３】
図３によれば、表示装置３毎に、固有の識別子（表示装置ＩＤ）が対応付けられている。一方、携帯端末１には、ＳＩＭ(Subscriber IdentityModule Card)の固有番号である固有の端末識別子が対応付けられている。
【００３４】
コンテンツ配信サーバ２は、表示装置ＩＤ毎に、その位置情報を対応付けて記憶する。この位置情報のデータ構造は、例えばＧＰＳによって測位されるデータ構造と同一であって、「緯度・経度」（及び高度）からなる。
【００３５】
また、コンテンツ配信サーバ２は、表示装置ＩＤ毎に、時刻経過に伴って配信されるコンテンツのコンテンツ識別子を対応付けて記憶している。
【００３６】
更に、コンテンツ配信サーバ２は、コンテンツ識別子に対応するコンテンツ自体を、コンテンツデータベースに蓄積する。また、蓄積されているコンテンツの各フレームについて、その特徴量も蓄積している。例えば動画像の各フレームに対して矩形領域の特徴量が蓄積されている。
【００３７】
（Ｓ３０１）携帯電話機１は、ユーザの操作に応じて、表示装置３に表示されているコンテンツの画像を撮影する。ユーザは、視聴している表示装置３のディスプレイに表示されている画像を撮影する。撮影される画像情報は、静止画像であってもよいし、動画像であってもよい。
【００３８】
（Ｓ３０２）次に、携帯電話機１は、ＧＰＳ機能によって、画像の撮影時点における当該携帯端末の位置を取得する。また、携帯端末１は、タイマ機能によって、画像の撮影時点における時刻を取得する。
【００３９】
（Ｓ３０３）携帯端末１は、画像、位置及び時刻を含む要求メッセージを、コンテンツ配信サーバへ送信する。要求メッセージは、コンテンツ配信サーバ２のアドレスを宛先アドレスとする電子メールであってもよい。携帯端末１は、その電子メールを、携帯電話網を介してメールサーバへ送信する。メールサーバは、インターネットを介して、コンテンツ配信サーバ２へ転送される。
【００４０】
ここで、要求メッセージとしての電子メールが、テキストメールである場合、位置及び時刻をテキストで記述し、画像を添付ファイルとして付加するものであってもよい。また、電子メールは、携帯電話事業会社によって運用されているショートメールタイプのものであってもよい。
【００４１】
更に、ＨＴＭＬ(Hyper Text Transfer Protocol)タイプの要求メッセージであってもよい。この場合、画像、位置及び時刻がページとして組み込まれる。また、ｃＨＴＭＬ(compact HTML)タイプの要求メッセージであってもよい。ｃＨＴＭＬとは、携帯端末で閲覧されるＷｅｂサイトのコンテンツ記述言語である。既存のＨＴＭＬの仕様に基づくサブセット（部分集合）として定義される。
【００４２】
（Ｓ３０４）コンテンツ配信サーバ２は、携帯電話機１から要求メッセージを受信し、画像、位置及び時刻を取得する。
【００４３】
（Ｓ３０５）コンテンツ配信サーバ２は、要求メッセージによって受信した位置（携帯電話機の位置）を中心として、一定範囲に存在する表示装置３の候補を検索する。コンテンツ配信サーバ２は、予め記憶されている複数の表示装置の位置を用いて、携帯電話機の位置を中心とした所定半径Ｒ内に存在する１つ以上の表示装置３を検索する。図４によれば、表示装置Ａ、Ｂ及びＤが、候補として絞り込まれる。
【００４４】
（Ｓ３０６）コンテンツ配信サーバ２は、Ｓ３０５で検索された１つ以上の表示装置３について、予め記憶された配信時刻を用いて、受信した画像撮影時の時刻に、コンテンツ配信サーバ２から配信されていた表示コンテンツの候補を検索する。
【００４５】
図４によれば、時刻[19:01:15]に撮影画像に対して、以下のコンテンツ識別子の表示コンテンツが、候補として絞り込まれる。
表示装置Ａ：コンテンツ識別子９８
表示装置Ｂ：コンテンツ識別子６３
表示装置Ｄ：コンテンツ識別子８８
【００４６】
（Ｓ３０７）コンテンツ配信サーバ２は、Ｓ３０６で検索された１つ以上の表示コンテンツの中から、コンテンツ特徴量に基づいて、受信した画像に最も類似する１つの表示コンテンツを検出する。受信した画像（動画像又は静止画像）の各フレームに対して、矩形領域の特徴量を算出する。受信した画像の特徴量に基づいて、Ｓ３０６によって候補とされた表示コンテンツの特徴量とを比較する。これによって、１つの表示コンテンツを特定する。
【００４７】
（Ｓ３０８）コンテンツ配信サーバ２は、Ｓ３０７で検出された１つの表示コンテンツを表示していた表示装置３の識別子と携帯端末１の端末識別子を対応付けることにより、その表示装置３の前にその携帯端末１が存在していることを特定する。
【００４８】
図５は、携帯端末からの表示指示情報に対応する表示内容情報を、表示装置に表示するためのシーケンス図である。
【００４９】
図５によれば、図３と比較して、Ｓ５０１〜Ｓ５０３が更に表示されている。
【００５０】
（Ｓ５０１）携帯端末１は、ユーザの操作に応じて、表示指示情報を更に取得する。表示指示情報とは、ユーザが表示装置に表示を所望するコンテンツ自体を指示するテキスト、音声又は画像であってもよい。この場合、そのテキスト、音声又は画像が、ユーザが視聴している表示装置のディスプレイに表示される。また、表示指示情報とは、ユーザが表示装置に表示を所望するＷｅｂページを指示するＵＲＬ(Uniform Resource Locator)であってもよい。例えば、ユーザが予め画像（静止画像又は動画像）を投稿したＷｅｂサイトのＵＲＬであってもよい。例えば、Youtube（登録商標）のような動画共有サイトのＵＲＬであってもよい。
【００５１】
また、表示指示情報は、例えば、ブラウザ操作に基づくＣＭ(commercial message)作成サイト、ＰＶ(Promotion video)作成サイト又は予告コンテンツ作成サイトのような、ブラウザ上で簡易に動画を作成できるＷｅｂサイトで予め作成したコンテンツのＵＲＬ又はＩＤであってもよい。このようなＷｅｂサイトとして、例えば、写真、動画、キーワード、音楽を入力することによって、ビデオクリップを作成することができるANIMOTO（http://animoto.com/）がある。また、写真やキーワードを入力することによって、オリジナルＣＭを作成することができるコマーシャライザ（http://cmizer.com/）もある。
【００５２】
表示指示情報は、Ｓ５０３によって、携帯端末１からコンテンツ配信サーバ２へ、要求メッセージに含まれて送信される。
【００５３】
（Ｓ５０２）コンテンツ配信サーバ２は、表示指示情報がＵＲＬである場合、そのＵＲＬのＷｅｂサーバ５へＨＴＴＰ(Hyper Text Transfer Protocol)リクエストを送信する。コンテンツ配信サーバ２は、ローカルネットワーク及びインターネットを介してＷｅｂサーバ５にアクセスする。これに対し、Ｗｅｂサーバ５は、コンテンツ配信サーバ２へＨＴＴＰレスポンスを送信する。コンテンツ配信サーバ２は、ＨＴＴＰレスポンスに含まれる表示内容情報（ページコンテンツ）を取得する。
【００５４】
また、コンテンツ配信サーバ２は、表示指示情報のＵＲＬのＷｅｂサーバ５へＨＴＴＰリクエストを送信する際に、そのリクエストにテキスト、音声又は画像を含めてもよい。これにより、コンテンツ配信サーバ２は、ＨＴＴＰレスポンスによって、そのテキスト、音声又は画像にデコレーションを施した表示内容情報を取得することができる。
【００５５】
（Ｓ５０３）コンテンツ配信サーバ２は、表示内容情報を、Ｓ３０８によって特定した表示装置３へ送信する。ここで、コンテンツ配信サーバ２は、表示指示情報がＵＲＬでない場合、表示指示情報と同一の内容をそのまま表示内容情報として、表示装置３へ送信する。一方、表示指示情報がＵＲＬである場合、Ｓ５０２によってＷｅｂサーバ５から取得した表示内容情報を、表示装置３へ送信する。
【００５６】
表示装置３は、コンテンツ配信サーバ２から受信した表示内容情報を、再生し、ユーザに視聴させる。表示装置３は、表示内容情報に含まれるページコンテンツ、テキスト又は画像をディスプレイに表示し、音声をスピーカから発声する。
【００５７】
図６は、本発明における各装置の機能構成図である。
【００５８】
図６によれば、携帯端末１は、例えば携帯電話機であって、通信インタフェース部１０と、画像撮影部（カメラ）１１と、位置取得部１２と、時刻取得部１３と、表示内容情報送信部１４と、表示指示情報取得部１５とを有する。
【００５９】
画像撮影部１１は、ユーザの操作に応じて、ユーザが視聴している表示装置３のディスプレイの画像を撮影する。撮影画像は、表示内容情報送信部１４へ出力される。
【００６０】
位置取得部１２は、ＧＰＳ衛星４からの電波によって、画像の撮影時点における当該携帯端末１の位置を測位する。測位された位置は、表示内容情報送信部１４へ出力される。
【００６１】
時刻取得部１３は、携帯端末１に内蔵されているタイマによって、画像の撮影時点における時刻を取得する。取得された時刻は、表示内容情報送信部１４へ出力される。
【００６２】
表示内容情報送信部１４は、画像、位置及び時刻を入力し、それら画像、位置及び時刻を含む要求メッセージを、通信インタフェース部１０を介して、コンテンツ配信サーバ２へ送信する。
【００６３】
表示指示情報取得部１５は、ユーザの操作に応じて、表示装置に表示させるべき表示指示情報を取得する。ユーザの操作に応じて、表示装置に表示を所望するコンテンツ自体、又は、所望するＷｅｂページを指示するＵＲＬが取得される。取得された表示指示情報は、要求メッセージ送信部１４へ出力される。
【００６４】
コンテンツ配信サーバ２は、通信インタフェース部２００と、要求メッセージ受信部２０１と、表示装置候補検索部２０２と、コンテンツ候補検索部２０３と、画像照合部２０４と、表示装置特定部２０５と、表示内容情報送信部２０６と、Ｗｅｂサーバアクセス部２０７と、表示装置位置記憶部２１１と、配信時刻記憶部２１２と、コンテンツデータベース２１３とを有する。
【００６５】
要求メッセージ受信部２０１は、通信インタフェース部２００を介して、携帯端末１から要求メッセージを受信し、「画像」「位置」及び「時刻」を取得する。要求メッセージ受信部２０１は、「位置」を表示装置候補検索部２０２へ出力し、「時刻」をコンテンツ候補検索部２０３へ出力し、「画像」を画像照合部２０４へ出力する。
【００６６】
要求メッセージの表示指示情報にＵＲＬが含まれていない場合、要求メッセージ受信部２０１は、表示指示情報をそのまま、表示内容情報送信部２０６へ出力する。一方で、要求メッセージの表示指示情報にＵＲＬが含まれている場合、表示指示情報を、Ｗｅｂサーバアクセス部２０７へ出力する。
【００６７】
表示装置位置記憶部２１１は、表示装置ＩＤ毎に、その位置情報を対応付けて記憶する。
【００６８】
表示装置候補検索部２０２は、表示装置位置記憶部２１１を用いて、要求メッセージ受信部２０１から入力した位置を中心とした一定範囲に存在する１つ以上の表示装置を検索する。検索された１つ以上の表示装置における表示装置ＩＤは、コンテンツ候補検索部２０３へ出力される。
【００６９】
配信時刻記憶部２１２は、表示装置ＩＤ毎に、時刻経過に伴って配信されるコンテンツのコンテンツ識別子を対応付けて記憶している。コンテンツ識別子に対応するコンテンツ自体は、コンテンツデータベース２１３に蓄積されている。
【００７０】
コンテンツ候補検索部２０３は、表示装置候補検索部２０２から候補となる表示装置ＩＤを入力し、要求メッセージ受信部２０１から時刻を入力する。コンテンツ候補検索部２０３は、配信時刻記憶部２１２を用いて、１つ以上の表示装置ＩＤに対応する表示装置の中で、要求メッセージ受信部２０１からの時刻に配信されていた表示コンテンツのコンテンツ識別子を検索する。検索されたコンテンツ識別子は、画像照合部２０４へ出力される。
【００７１】
コンテンツデータベース２１３は、配信されるコンテンツを蓄積している。また、蓄積されているコンテンツ毎に、その特徴量も蓄積している。
【００７２】
画像照合部２０４は、コンテンツ候補検索部２０３から候補となるコンテンツＩＤを入力し、要求メッセージ受信部２０１から画像を入力する。画像照合部２０４は、コンテンツデータベース２１３を用いて、１つ以上のコンテンツＩＤに対応するコンテンツの中で、要求メッセージ受信部２０１からの画像に最も類似する１つの表示コンテンツを検出する。検出された１つの表示コンテンツは、表示装置特定部２０５へ出力される。
【００７３】
ここで、画像照合部２０４は、各フレームにおける１つ以上の表示コンテンツの特徴量と、画像の特徴量とを照合することで表示コンテンツを検出するものであってもよい。また、画像照合部２０４は、ハフ変換を用いて、表示コンテンツ及び画像における各フレームから、複数の矩形領域候補を抽出し、各矩形領域候補を、既定サイズに縮小し、縮小画像における輝度値と既定ベクトルとの内積から、矩形領域の特徴量を抽出することで表示コンテンツを検出するものであってもよい。
【００７４】
表示装置特定部２０５は、１つの表示コンテンツを入力する。表示装置特定部２０５は、検出された１つの表示コンテンツを表示していた表示装置３を、携帯端末１を所持するユーザが視聴していることを特定する。特定された表示装置の表示装置ＩＤを、表示内容情報送信部２０６へ出力する。
【００７５】
Ｗｅｂサーバアクセス部２０７は、要求メッセージ受信部２０１から、表示指示情報としてのＵＲＬを入力する。Ｗｅｂサーバアクセス部２０７は、そのＵＲＬのＷｅｂサーバへＨＴＴＰリクエストを送信し、ＨＴＴＰレスポンスによってページコンテンツを取得する。Ｗｅｂサーバアクセス部２０７は、そのページコンテンツを表示内容情報として、表示内容情報送信部２０６へ出力する。
【００７６】
また、Ｗｅｂサーバアクセス部２０７は、Ｗｅｂサーバから受信したページコンテンツに対して、所定の有害コンテンツをフィルタリングすることも好ましい。これによって、有害コンテンツが、公衆によって視聴される表示装置のディスプレイに表示されることを防ぐことができる。
【００７７】
更に、Ｗｅｂサーバアクセス部２０７は、そのＨＴＴＰリクエストに、表示指示情報に含まれるテキスト、音声又は画像を含めてもよい。これによって、ＨＴＴＰレスポンスによって受信されるページコンテンツは、そのテキスト、音声又は画像に応じて加工されたものとなる。
【００７８】
表示内容情報送信部２０６は、表示内容情報と、特定した携帯端末１の情報とを入力する。表示内容情報送信部２０６は、表示内容情報を、通信インタフェース部２００を介して、表示装置３へ送信する。
【００７９】
図７は、画像の特徴量を抽出するための説明図である。
【００８０】
最初に、表示コンテンツの各フレームに対してＸ×Ｙ画素に縮小し、Ｘ×Ｙ個の輝度成分に対して主成分分析を実行する。固有値の大きい輝度成分から順に、Ｆ個の固有ベクトルを「ｘ１、ｘ２，・・・，ｘＦ」とする。そして、例えば、Ｆ個の各ベクトルについて、平均以上であれば「１」として、平均よりも小さければ「０」として、ビット列を作成する。これによって、表示コンテンツのフレーム毎に作成されたビット列を、その特徴量とする。
【００８１】
次に、撮影画像（映像）と表示コンテンツとを比較するために、撮影画像（映像）からディスプレイ領域候補の矩形を抽出する。これは例えば、以下のように実現することができる。画像の各フレームに対して、ハフ変換を用いて直線を検出する（図７（ａ）参照）。その後、傾きが０〜４５度又は１３５〜１８０度の直線から２本と、４５〜１３５度の直線からそれぞれ２本とを選択する。そして、それぞれ投票数の合計が多い直線ペア順に、合計４本の直線からなる矩形を抽出する。ここでは、４本の直線への投票数の合計が一定以上の矩形全てか、又は、４本の直線への投票数の合計が多い順から一定個の矩形を抽出するものとする（図７（ｂ）参照）。
【００８２】
このように各フレームから抽出された矩形をＸ×Ｙ画素に変換し、前述した方法で特徴量を抽出する。ここで、撮影された映像のt番目のフレームから、以下の特徴量が検出されたとする。
Nt個の矩形    Fビットの特徴量
Rt[1]          bt[1]
Rt[2]          bt[2]
・・・         ・・・
Rt[Nt]         bt[Nt]
【００８３】
まず、表示コンテンツから、同じフレーム数分の矩形を切り出し、特徴量b1*,…bN*を抽出する。表示コンテンツと、矩形との類似度を、例えば以下の式で算出する。
Σt=1Nｍｉｎ1<i<Ntham（b1*，bt[i]）
ham（α,β）：αとβのハミング距離
そして、矩形を切り出す位置を変えた際に、類似度が最小となる位置を含む表示コンテンツが、最終的に、撮影画像（映像）を含むと特定される（図７（ｃ）参照）。このように、撮影画像と最も類似するコンテンツが特定されることによって、そのコンテンツが表示されていた表示装置を特定することができる。尚、特徴点に基づいて、撮影画像（映像）と表示コンテンツとを比較する技術を用いることもできる（例えば非特許文献３参照）。
【００８４】
以上、詳細に説明したように、本発明のデジタルサイネージシステム及び方法によれば、表示装置に明示される識別子を用いることなく、ユーザによって視認されている表示装置を特定することができる。
【００８５】
前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００８６】
１  携帯端末、携帯電話機
１０  通信インタフェース部
１１  画像撮影部（カメラ）
１２  位置取得部
１３  時刻取得部
１４  表示内容情報送信部
１５  表示指示情報取得部
２  コンテンツ配信サーバ
２００  通信インタフェース部
２０１  要求メッセージ受信部
２０２  表示装置候補検索部
２０３  コンテンツ候補検索部
２０４  画像照合部
２０５  表示装置特定部
２０６  表示内容情報送信部
２０７  Ｗｅｂサーバアクセス部
２１１  表示装置位置記憶部
２１２  配信時刻記憶部
２１３  コンテンツデータベース
３  表示装置
４  ＧＰＳ衛星
５  Ｗｅｂサーバ
【図１】
2011076336.tif 000003
【図２】
2011076336.tif 000004
【図３】
2011076336.tif 000005
【図４】
2011076336.tif 000006
【図５】
2011076336.tif 000007
【図６】
2011076336.tif 000008
【図７】
2011076336.tif 000009