(57)【要約】印刷物に印刷された印刷コンテンツの特徴量を記憶する特徴量記憶部（１１）と、印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶部（１２）、撮像手段が撮像した撮像画像を取得する撮像画像取得部（１３）と、特徴量記憶部（１１）が記憶する印刷コンテンツの特徴量を利用して、撮像画像の中に含まれる印刷コンテンツを特定する特定部（１４）と、特定部（１４）が特定した印刷コンテンツに対応付けられている関連情報を関連情報記憶部（１２）から取得し、出力する関連情報出力部（１５）と、を有する情報提供装置（１０）。
2014027433.tif 000002
【特許請求の範囲】
【請求項１】
印刷物に印刷された印刷コンテンツの特徴量を記憶する特徴量記憶手段と、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段と、
撮像手段が撮像した撮像画像を取得する撮像画像取得手段と、
前記印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定手段と、
前記特定手段が特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得し、出力する関連情報出力手段と、
を有する情報提供装置。
【請求項２】
請求項１に記載の情報提供装置において、
前記特定手段は、前記撮像画像を利用して前記印刷物の位置を特定し、
前記関連情報出力手段はプロジェクタを含み、前記関連情報を前記印刷物に投影する情報提供装置。
【請求項３】
請求項２に記載の情報提供装置において、
前記関連情報記憶手段は、前記関連情報を投影する前記印刷物上の位置を示す投影位置情報を前記関連情報毎に記憶しており、
前記関連情報出力手段は、前記投影位置情報で特定される前記印刷物上の位置に前記関連情報を投影する情報提供装置。
【請求項４】
請求項２または３に記載の情報提供装置において、
前記特定手段は、前記撮像画像を利用して前記印刷物の角度をさらに特定し、
前記関連情報出力手段は、前記印刷物の位置及び角度に基づいて、前記関連情報を表示する画像のサイズ、形状及び位置の少なくとも１つを調整して出力する情報提供装置。
【請求項５】
請求項１から４のいずれか１項に記載の情報提供装置において、
前記特徴量記憶手段は、複数のページを含む前記印刷物に印刷された前記印刷コンテンツの特徴量を、ページ単位または見開き単位で複数記憶する情報提供装置。
【請求項６】
請求項１から５のいずれか１項に記載の情報提供装置において、
同じ前記印刷コンテンツを印刷された複数の前記印刷物に、前記複数の印刷物各々を識別できる識別情報が印刷されており、
前記特定手段は、前記撮像画像の中に含まれる前記識別情報を読み取る情報提供装置。
【請求項７】
請求項６に記載の情報提供装置において、
前記特定手段が特定した結果を、前記撮像手段が前記印刷コンテンツを撮像した時刻と対応付けて蓄積し、蓄積された情報を利用して前記印刷物を閲覧するユーザの動向を分析する分析手段をさらに有する情報提供装置。
【請求項８】
請求項７に記載の情報提供装置において、
前記分析手段による分析結果を外部装置に送信する送信手段をさらに有する情報提供装置。
【請求項９】
コンピュータを、
印刷物に印刷された印刷コンテンツの特徴量を記憶する特徴量記憶手段、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段、
撮像手段が撮像した撮像画像を取得する撮像画像取得手段、
前記印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定手段、
前記特定手段が特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得し、出力する関連情報出力手段、
として機能させるためのプログラム。
【請求項１０】
コンピュータが、
撮像手段が撮像した撮像画像を取得する撮像画像取得ステップと、
特徴量記憶手段が記憶する印刷物に印刷された印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定ステップと、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段を参照し、前記特定ステップで特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得して、出力する関連情報出力ステップと、
を実行する情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供装置、情報提供方法、及び、プログラムに関する。
【背景技術】
【０００２】
公共施設や商業施設において、タブレットやスマートフォンなどの携帯端末を用い、ユーザの興味に合わせた双方向の情報提供が試みられている。【０００３】
特許文献１には、ユーザの手や持ち物など特定部位に情報を投影するインタフェイスが記載されている。【０００４】
特許文献２には、ユーザのジェスチャを読み取りバーチャルな情報をプリンタ印刷し、ユーザに情報を提示する外部機器連携装置が記載されている。【０００５】
特許文献３には、印刷物に印刷されたマーカを撮像手段で検出し、そのマーカをユーザがタッチ操作で指示することで対応する情報を床などに投影する表示制御システムが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４２５６８５０号公報
【特許文献２】特許第４８５２６３４号公報
【特許文献３】特開２０１２−０１４６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、ユーザが所有する携帯端末を用いてインタラクティブな情報を提供する場合、携帯端末を用いて二次元コードを撮影したり、ＮＦＣタグを読み取らせたり、もしくはＵＲＬを手入力したりと、ユーザが所定の作業を行う必要がある。かかる場合、ユーザの利便性を損ねてしまうため利用率が低くなるという課題があった。【０００８】
また、特許文献１に記載の技術の場合、手の凹凸やコントラストの低さから豊富な情報量を提示することが困難だった。【０００９】
また、特許文献２に記載の技術の場合、印刷物による簡易な情報提供方法で情報量を増やすことができたが、ジェスチャにより印刷を指示するユーザへの負担と、印刷が完了するまで待たなければいけないという課題があった。【００１０】
また、特許文献３に記載の技術の場合、（１）マーカをユーザが指示しないと情報が表示されない、（２）床などのコンテンツ投影エリアを別途用意する必要がある、（３）ユーザにとって本質的には不要なマーカが紙面の多くを占める、（４）紙媒体の一覧性・美しさを生かせていないという課題があった。【００１１】
さらに、特許文献１及び３に記載の技術は、ユーザの操作により所望の情報が得られる技術である。このような技術の場合、ユーザに所定の操作を覚えてもらう必要があり、ユーザに負荷がかかる。【００１２】
本発明は、新たな情報提供手段を提供することを課題とする。
【課題を解決するための手段】
【００１３】
本発明によれば、
印刷物に印刷された印刷コンテンツの特徴量を記憶する特徴量記憶手段と、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段と、
撮像手段が撮像した撮像画像を取得する撮像画像取得手段と、
前記印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定手段と、
前記特定手段が特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得し、出力する関連情報出力手段と、
を有する情報提供装置が提供される。【００１４】
また、本発明によれば、
コンピュータを、
印刷物に印刷された印刷コンテンツの特徴量を記憶する特徴量記憶手段、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段、
撮像手段が撮像した撮像画像を取得する撮像画像取得手段、
前記印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定手段、
前記特定手段が特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得し、出力する関連情報出力手段、
として機能させるためのプログラムが提供される。【００１５】
また、本発明によれば、
コンピュータが、
撮像手段が撮像した撮像画像を取得する撮像画像取得ステップと、
特徴量記憶手段が記憶する印刷物に印刷された印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定ステップと、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段を参照し、前記特定ステップで特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得して、出力する関連情報出力ステップと、
を実行する情報提供方法が提供される。
【発明の効果】
【００１６】
本発明によれば、新たな情報提供手段が実現される。
【図面の簡単な説明】
【００１７】
上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
【図１】本実施形態の情報提供装置の適用例を説明するための図である。
【図２】印刷コンテンツの一例を示す図である。
【図３】本実施形態の情報提供装置の機能ブロック図の一例である。
【図４】本実施形態の特徴量記憶部が記憶する情報の一例を模式的に示した図である。
【図５】本実施形態の特徴量記憶部が記憶する情報の一例を模式的に示した図である。
【図６】本実施形態の情報提供方法の処理の流れの一例を示すフローチャートである。
【図７】本実施形態の作用効果を説明するための図である。
【図８】本実施形態の作用効果を説明するための図である。
【図９】本実施形態の作用効果を説明するための図である。
【図１０】本実施形態の特徴量記憶部が記憶する情報の一例を模式的に示した図である。
【図１１】本実施形態の作用効果を説明するための図である。
【図１２】本実施形態の作用効果を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を用いて説明する。
【００１９】
なお、本実施形態の装置は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェイスを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【００２０】
また、本実施形態の説明において利用する機能ブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。
【００２１】
＜第１の実施形態＞
まず、本実施形態の概要について説明する。
【００２２】
本実施形態の情報提供装置は、印刷物を閲覧しているユーザが閲覧中の印刷コンテンツを特定し、当該ユーザに対して、閲覧中の印刷コンテンツに関連した関連情報を提供するよう構成されている。
【００２３】
ここで、一例を示す。図１に示すように、所定のエリア２０１内でユーザ５が印刷物１を閲覧していると、印刷物１に印刷されており、かつ、その時ユーザ５が閲覧中である印刷コンテンツを撮像装置２が撮像する。
【００２４】
所定のエリア２０１は、駅、空港等の公共施設の一画であってもよいし、デパート、ショッピングモール等の商業施設の一画であってもよい。印刷物１は、例えば駅、空港等の案内パンフレットやその周辺施設の案内パンフレット、または、商業施設内の案内パンフレットであってもよい。印刷物１には、図２に示すように、画像、文字などを様々なレイアウトで配置した印刷コンテンツが印刷されている。印刷物１は複数のページに渡って印刷コンテンツが印刷されていてもよい。また、印刷物１の表裏に印刷コンテンツが印刷されていてもよい。また、印刷物１は異なる印刷コンテンツが印刷された複数の印刷物１を含んでもよい。このような印刷物１を閲覧用又は配布用として、所定のエリア２０１の周辺に配置しておいてもよい。
【００２５】
情報提供装置３は、予め印刷物１に印刷されている印刷コンテンツの特徴量を記憶しておく。そして、ユーザ５が閲覧中の印刷コンテンツを撮像装置２が撮像すると、予め記憶している印刷コンテンツの特徴量を利用して、ユーザ５が閲覧中の印刷コンテンツを特定する。その後、情報提供装置３は例えば投影装置４を制御し、特定した印刷コンテンツに関連する関連情報を印刷物１上に投影する。
【００２６】
なお、投影装置４は情報提供装置３の一部とみなすことができる。また、撮像装置２は情報提供装置３とは異なる装置とみなすこともできるし、情報提供装置３の一部とみなすこともできる。
【００２７】
以下、本実施形態の構成について詳細に説明する。図３に、本実施形態の情報提供装置１０の機能ブロック図の一例を示す。図３に示すように、本実施形態の情報提供装置１０は、特徴量記憶部１１と、関連情報記憶部１２と、撮像画像取得部１３と、特定部１４と、関連情報出力部１５とを有する。以下、各部について説明する。
【００２８】
特徴量記憶部１１は、印刷物１に印刷された印刷コンテンツの特徴量を記憶する。印刷物１の表裏に印刷コンテンツが印刷されている場合、特徴量記憶部１１は、印刷物１の表側に印刷された印刷コンテンツの特徴量と、印刷物１の裏側に印刷された印刷コンテンツの特徴量を別々に記憶しておくことができる。また、印刷物１が複数のページを有し、複数のページに渡って印刷コンテンツが印刷されている場合、特徴量記憶部１１は、ページ単位又は見開き単位で印刷コンテンツの特徴量を記憶しておくことができる。このように、１つの印刷物１に多数の印刷コンテンツが印刷されている場合、特徴量記憶部１１はユーザ５に一度に閲覧される閲覧単位で、印刷コンテンツの特徴量を記憶しておくことができる。
【００２９】
図４に、特徴量記憶部１１が記憶する情報の一例を模式的に示す。図示するように、特徴量記憶部１１は、印刷コンテンツＩＤに特徴量を対応付けて記憶する。なお、図示する例のように、印刷コンテンツＩＤに、さらに、印刷コンテンツに関連する情報である関連情報のＩＤ（関連情報ＩＤ）を対応付けて記憶しておくことができる。
【００３０】
図３に戻り、関連情報記憶部１２は、印刷コンテンツに関連する情報であって、印刷コンテンツ（印刷コンテンツＩＤ）に対応付けられている関連情報を記憶する。関連情報は、静止画、動画、文字列、音声などを組み合わせたものとすることができる。関連情報の内容は設計的事項であるが、図２に示すようなあるレストランを紹介する印刷コンテンツの関連情報は、例えば、そのレストランのメニューであってもよいし、その日のお薦めメニューであってもよいし、そのレストランの位置情報であってもよいし、そのレストランの店内を撮像した動画であってもよい。
【００３１】
図３に戻り、撮像画像取得部１３は、撮像手段（撮像装置２）が撮像した撮像画像を取得する。撮像手段は、可視光カメラ、赤外線カメラ、距離センサなどを組み合わせて構成される。撮像手段は、ユーザ５の上方から画像を撮像するよう構成されるのが好ましい。ユーザ５が閲覧中の印刷コンテンツは、ユーザ５の閲覧姿勢にもよるが、高い確率で上方を向く。このため、ユーザ５の上方から画像を撮像することで、ユーザ５が閲覧中の印刷コンテンツを高い確率で撮像できる。撮像手段は、例えば、天井や壁に取り付けられてもよい。
【００３２】
撮像手段は、所定のエリア２０１（図１参照）を連続的に撮像し続けてもよいし、又は、温度センサ等のセンサでユーザ５が所定のエリア２０１に存在することを検知し続けている間のみ、所定のエリア２０１を連続的に撮像し続けてもよい。
【００３３】
特定部１４は、特徴量記憶部１１に記憶されている印刷コンテンツの特徴量を利用して、撮像画像の中に含まれる印刷コンテンツを特定する。特定部１４は、撮像画像取得部１３が取得した複数の撮像画像をフレーム毎に処理することができる。
【００３４】
特定部１４は、例えば印刷物１自体の特徴量（形状、大きさ、色等）を保持しておき、まず、撮像画像の中から印刷物１を抽出する。その後、抽出した印刷物１に印刷されている印刷コンテンツの特徴量を抽出する。特徴量を抽出する手段は特段制限されないが、例えば米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110に開示されている、スケール変化や傾き・回転（アフィン変換）および画像の一部欠損にも頑強な方式を利用してもよい。当該方式を利用すれば、ユーザ５の手により印刷物１のページの一部（印刷コンテンツの一部）が隠れていたり、また、印刷物１の紙面と撮像手段による撮像方向との傾きの関係で、撮像画像中の印刷コンテンツが実際の印刷コンテンツから多少変形したものとなっていても、十分な精度でパターン認識を行うことができる。
【００３５】
印刷コンテンツの特徴量を抽出した後、特定部１４は、抽出した特徴量と、特徴量記憶部１１に記憶されている特徴量（図４参照）とのマッチング処理を行う。そして、抽出した特徴量と一定の精度（設計的事項）でマッチングする特徴量を対応付けられている印刷コンテンツＩＤを特定する。その後、特定部１４は、特定した印刷コンテンツＩＤに対応付けられている関連情報ＩＤを特定する。
【００３６】
なお、特定部１４は、撮像手段が撮像した撮像画像を利用して、印刷物１の位置情報を算出してもよい。印刷物１の位置情報は、実空間に原点及びｘ、ｙ、ｚ軸を設定した３次元空間の座標で表されたものであってもよいし、撮像手段の位置を基準とした印刷物１までの距離及び方向で表されたものであってもよいし、その他の手段で表されたものであってもよい。このような位置情報を算出する手段は従来技術に準じて実現できるので、ここでの説明は省略する。
【００３７】
関連情報出力部１５は、特定部１４が特定した印刷コンテンツ（印刷コンテンツＩＤ）に対応付けられている関連情報を関連情報記憶部１２から取得し、出力する。
【００３８】
なお、関連情報出力部１５が関連情報を出力する手段としては、例えば以下のような手段が考えられる。関連情報出力部１５はプロジェクタを含んで構成され、印刷物１上に関連情報を投影してもよい。印刷物１の位置は、特定部１４が算出した印刷物１の位置情報を利用して特定することができる。その他、所定のエリア２０１内にいるユーザ５が閲覧可能な位置にスクリーンを設置しておき、関連情報出力部１５は当該スクリーンに関連情報を投影してもよい。また、所定のエリア２０１内にいるユーザ５が視聴可能なようにスピーカを設置しておき、関連情報出力部１５は当該スピーカを利用して音声（関連情報）を出力してもよい。また、所定のエリア２０１内にいるユーザ５が閲覧可能な位置にディスプレイを設置しておき、関連情報出力部１５は当該ディスプレイに関連情報を表示してもよい。
【００３９】
本実施形態の変形例として、関連情報記憶部１２は、関連情報を投影する印刷物上の位置を示す投影位置情報を関連情報毎に予め記憶しておいてもよい（図５参照）。投影位置情報は、例えば印刷物１の所定の位置（角部、中心等）を原点とした２次元座標で表されたものであってもよい。そして、当該変形例における関連情報出力部１５は、投影位置情報で特定される印刷物１上の位置に関連情報を投影してもよい。
【００４０】
当該変形例によれば、例えば印刷コンテンツの閲覧の邪魔にならない位置に関連情報を投影したり、印刷コンテンツに含まれる複数の情報の中のより関連が強い情報の近くに所望の関連情報を投影したりすることができる。例えば、図２に示す印刷コンテンツの場合、上方側にスペースがある。このため、このスペースを投影位置とすることができる。このようにすれば、図７に示すように、印刷コンテンツと重なることなく、関連情報６を投影することができる。
【００４１】
その他の変形例として、特定部１４は、撮像画像を利用して印刷物１の角度、すなわち印刷コンテンツを印刷した紙面の角度を特定してもよい。紙面の角度の算出は、従来技術に準じて実現することができる。そして、当該変形例における関連情報出力部１５は、印刷物１の位置及び角度に基づいて、関連情報６の画像（印刷物１上に投影される画像）のサイズ、形状及び位置の少なくとも１つを調整して出力してもよい。
【００４２】
当該変形例によれば、ユーザに応じて印刷物１の角度や位置が異なっても、その角度や位置に応じた適切な態様に関連情報６の画像を編集し、印刷物１上に投影することができる。このため、印刷物１上の関連情報６が視認しがたい、また、内容を認識できないなどの不都合を軽減することが可能となる。
【００４３】
ここで、図６のフローチャートを用いて、本実施形態の情報提供方法の処理の流れの一例を説明する。
【００４４】
当該例においては、撮像装置２（図１参照）は所定のエリア２０１を連続的に撮像する。そして、撮像画像取得部１３は、撮像装置２が撮像した撮像画像をリアルタイムに取得する（Ｓ１０）。また、以下のＳ２０乃至Ｓ６０もリアルタイムに実行される。
【００４５】
Ｓ１０の後、特定部１４は、撮像画像取得部１３が取得した撮像画像をフレームごとに処理する。まず、特定部１４は、１フレーム分の撮像画像の中から印刷物１を抽出する（Ｓ２０）。ここで印刷物１が抽出されなかった場合、特定部１４は当該フレームに対する処理を終了し、次のフレームの処理に移る。すなわち、印刷物１が抽出されるまで、Ｓ３０に進むことなくＳ２０を繰返す。
【００４６】
撮像画像の中から印刷物１が抽出された場合、特定部１４は、印刷物１に印刷されている印刷コンテンツの特徴量を抽出する（Ｓ３０）。そして、抽出した特徴量と、特徴量記憶部１１に記憶されている特徴量（図４参照）を照合していき、一定の精度（設計的事項）でマッチングする特徴量を対応付けられている印刷コンテンツＩＤを特定する（Ｓ４０）。ここで一定の精度でマッチングする特徴量が特徴量記憶部１１に記憶されていなかった場合、特定部１４は当該フレームに対する処理を終了し、次のフレームの処理に移る。すなわち、Ｓ５０に進むことなくＳ２０に戻る。
【００４７】
また、Ｓ４０で特定部１４が特定した印刷コンテンツＩＤが、その直前の他のフレームに対する処理で特定した印刷コンテンツＩＤと一致する場合、Ｓ５０に進むことなくＳ２０に戻ってもよい。
【００４８】
Ｓ４０で特定部１４が印刷コンテンツＩＤを特定した場合、その後、関連情報出力部１５は、Ｓ４０で特定された印刷コンテンツＩＤに対応付けられている関連情報６を関連情報記憶部１２から取得し（Ｓ５０）、取得した関連情報６を出力する（Ｓ６０）。
【００４９】
例えば、Ｓ４０で特定部１４が図２に示すような印刷コンテンツの印刷コンテンツＩＤを特定したとする。すると、関連情報出力部１５は当該印刷コンテンツＩＤに対応付けられている関連情報６を関連情報記憶部１２から取得し、例えば印刷物１上の所定の位置に投影する。結果、図７に示すように、印刷物１上に関連情報６が投影され、ユーザ５は、印刷コンテンツと共に関連情報６を閲覧することができる。
【００５０】
Ｓ１０で撮像画像取得部１３が撮像画像を取得し続けている間、以上の処理を継続する。なお、関連情報出力部１５は、Ｓ４０で特定部１４が新たな印刷コンテンツＩＤを特定するまで、その前に特定部１４が特定した印刷コンテンツＩＤに対応付けられている関連情報６を出力し続けてもよい。そして、Ｓ４０で特定部１４が新たな印刷コンテンツＩＤを特定すると、出力する関連情報６を新たに特定された印刷コンテンツＩＤに対応付けられている関連情報６に変更してもよい。
【００５１】
例えば、ユーザ５が図７の印刷コンテンツを閲覧し続けている間、当該印刷コンテンツが複数のフレーム（撮像画像）に連続的に現れる。このような複数のフレームを処理している間、特定部１４は図７の印刷コンテンツのＩＤを連続的に特定し続けることとなる。かかる場合、撮像画像取得部１３は、図７の印刷コンテンツに関連する関連情報６を出力し続けることができる。そして、図８に示すようにユーザ５がページをめくり、閲覧する印刷コンテンツを変更する動作を行ったとする。すると、撮像手段により新たな印刷コンテンツが撮像される。次いで、特定部１４により新たな印刷コンテンツの印刷コンテンツＩＤが特定される。そして、関連情報出力部１５は、出力する関連情報６を、特定部１４が特定した新たな印刷コンテンツＩＤに対応付けられている関連情報６に変更する。結果、図８に示すように、出力される関連情報６の内容が変更される。
【００５２】
次に、本実施形態の作用効果について説明する。
【００５３】
本実施形態の情報提供装置は、ユーザが閲覧中の印刷コンテンツを撮像し、当該撮像画像を利用してユーザが閲覧中の印刷コンテンツを特定すると、特定した印刷コンテンツに関連する情報をユーザに提供する。ユーザに関連情報が提供されるまでの間、ユーザは閲覧したい印刷物を手に取り、閲覧したい印刷コンテンツを開いて、それを閲覧するという動作のみを行えばよく、印刷コンテンツに関連する情報を取得するためのコンピュータ操作等を行う必要はない。
【００５４】
また、ユーザがページをめくったり、印刷物の表裏をひっくり返すなどして閲覧する印刷コンテンツを切替えると、本実施形態の情報提供装置は、閲覧中の印刷コンテンツが切り替わったことを検知し、新たに閲覧されている印刷コンテンツに関連する情報を新たにユーザに提供することができる。
【００５５】
このように、本実施形態によれば、所定の情報を取得するためのコンピュータ操作等をユーザに要求することなく、ユーザに所定の情報を提供することが可能となる。すなわち、ユーザは所定の情報を取得するためにあらかじめ操作方法を学ぶ必要も、その場で考える必要も無い。また、所定のエリア２０１内またはその近傍に、ユーザに向けた操作方法の説明などを用意しておく必要も、操作方法を説明するための説明員を配置する必要も無い。
【００５６】
また、ユーザに提供する情報は、その時点でユーザが閲覧中の印刷コンテンツに関連する情報である。このような情報は、ユーザがその時点で真に欲している情報である可能性が極めて高い。本実施形態はユーザがその時点で真に欲している情報を、リアルタイムに提供することができる。このような本実施形態によれば、高い広告宣伝効果等を得ることが期待できる。
【００５７】
例えば、大型商業施設において本実施形態の情報提供装置を適用した場合、ユーザが映画館の場所や上映中の映画の案内等の印刷コンテンツを閲覧中であれば、関連情報として、最新映画の予告編などを提供することができる。またユーザがレストランフロアの案内の印刷コンテンツを閲覧中であれば、関連情報として、季節のオススメ料理の写真や、フロアの人気店ランキング情報、また割安なランチメニューなどを提供することができる。また、ユーザがアパレルのフロアの案内の印刷コンテンツを閲覧中であれば、関連情報として、当日のセール情報や人気ブランド情報を提供することができる。
【００５８】
一般的に、紙の印刷物単体ではコンテンツ作成や印刷および配置が必要で情報更新のリードタイムが長い。また動画という視覚に訴えるコンテンツを配信できなかった。本実施形態によれば、ユーザに対する印刷物の一覧性・親和性の高さと、投影情報のリアルタイム性の高さを組み合わせた情報提供装置が実現される。
【００５９】
また、本実施形態の場合、顔認証や個人情報の登録が不要なので、プライバシーが守られる利点がある。
【００６０】
さらに、本実施形態の場合、印刷コンテンツの特徴量を用いてユーザが閲覧中の印刷コンテンツを特定しているので、印刷コンテンツ（ページなど）を識別するためのマーカ等を印刷物に印刷する必要がない。すなわち、マーカ等のためのスペースを印刷物上に設ける必要がない。このため、写真や文字情報など本質的にユーザが欲する情報のみを印刷物上に印刷することができる。また、マーカなどが印刷されていない既存の印刷物コンテンツなどにも対応でき、コンテンツを新たに作り直す手間も不要となるメリットがある。ただし複数のページが非常に似通ったページ構成（色使い、配置）の場合は、認識精度が下がるので紙面の構成を変えて対応することが好ましい。
【００６１】
また、印刷物上に関連情報を投影するよう構成した場合、スクリーンやディスプレイを新たに設ける必要がないので、店の外観や雰囲気が重視される高級アパレルや高級飲食店などでも、その場の雰囲気を壊さず本実施形態を利用して、ユーザに情報提供を行うことができる。
【００６２】
＜第２の実施形態＞
本実施形態は第１の実施形態の構成を基本とし、さらに複数の印刷物各々を識別する手段、ユーザの動向を分析する分析手段を備えている点で第１の実施形態と異なる。また、本実施形態は、さらに、分析結果を外部装置に送信する送信手段を備えてもよい。
【００６３】
以下、第１の実施形態と異なる点を説明する。第１の実施形態と同じ構成については、ここでの説明を省略する。
【００６４】
本実施形態においては、同じ印刷コンテンツを印刷された複数の印刷物１に、複数の印刷物１各々を識別できる識別情報が印刷されている。識別情報は特段制限されず、文字列、ＱＲコード（登録商標）、バーコード、ＡＲタグ等とすることができる。図９に一例を示す。図示する例の場合、印刷物１上に、印刷コンテンツと共に、文字列からなる識別情報７が印刷されている。
【００６５】
本実施形態の特定部１４は、撮像画像取得部１３が取得した撮像画像の中に含まれる識別情報７を読み取るよう構成されている。特定部１４は、識別情報７の種類に応じたリーダーを備えて構成される。
【００６６】
分析部は、特定部１４が特定した結果（印刷コンテンツＩＤ、識別情報７等）を、撮像手段が印刷コンテンツを撮像した時刻と対応付けて蓄積する。そして、蓄積された情報を利用して、印刷物１を閲覧するユーザ５の動向を分析する。例えば、印刷物１が複数のページを有し、図１０に示すように、印刷コンテンツＩＤ毎に印刷物１のページを対応付けた情報を特徴量記憶部１１が記憶している場合、当該情報を利用して、ユーザ５がどのような順番で複数のページを閲覧しているか把握することができる。また、各ページの閲覧時間を算出し、どのページの閲覧時間が長いかを把握することができる。そして、これらの結果を利用して、ユーザ５がどのページに興味を持っているかを把握することもできる。
【００６７】
送信部は、インターネット、ＬＡＮ、ＷＡＮ等のネットワークを利用して、分析部による分析結果を外部装置に送信する。
【００６８】
本実施形態のように印刷物１各々をユニークに識別できると、印刷物１を持ったユーザ５の動線を検知でき、一貫したサービスを提供することが可能となる。
【００６９】
例えば、大型商業施設内の複数のスポットに本実施形態の情報提供装置１０を備えておく。かかる場合、ユーザ５が１つの印刷物１を最初に手に取った後、それを持ったまま大型商業施設内を移動し、様々なスポットでその印刷物１を閲覧して関連情報６を取得するという利用形態が想定される。例えばこのような使用形態で本実施形態の情報提供装置１０を利用すれば、識別情報７で識別される印刷物１単位で追跡することで、その印刷物１を所持するユーザ５の時系列な傾向（移動軌跡等）を特定することができる。
【００７０】
さらに、本実施形態の情報提供装置１０を店舗内にも設けておくことで、ユーザ５が入店した店舗を特定することもできる。かかる場合、関連情報６としてクーポンを提供した後、その店舗にユーザ５が入店したか否かを確認することが可能となり、その結果に基づいて関連情報６の効果（クーポン効果等）を判断することが可能となる。
【００７１】
＜第３の実施形態＞
本実施形態は第１及び第２の実施形態の構成を基本とし、以下に示すような新たな構成を備える。以下、この構成について説明する。
【００７２】
本実施形態の関連情報出力部１５は、図１１及び１２に示すように、関連情報６を印刷物１上に投影する。そして、投影する関連情報６の中には、ユーザ５による選択入力が可能な画像（入力画像）が含まれる。
【００７３】
本実施形態の撮像手段は、三次元形状を読み取るデプスカメラを含んで構成される。そして、特定部１４は、ユーザ５の手の形を認識して紙面へのタッチを検出可能に構成される。すなわち、特定部１４は、ユーザ５が入力画像をタッチしたことを検出可能に構成される。
【００７４】
デプスカメラを用いて手のタッチを検出する手法については非特許文献Kinectfusion: real-time dynamic 3d surface reconstruction and interactionS Izadi, RA Newcombe, D Kim, O Hilliges... - ACM SIGGRAPH 2011などに記載されている。
【００７５】
例えば図１１に示すようなあるレストランを紹介する印刷コンテンツの関連情報６として、レストランの待ち時間や価格情報、予約のための入力画像（予約ボタン）を表示しておく。なお、本実施形態の情報提供装置１０をネットワークに接続し、関連情報記憶部１２に記憶されている関連情報６を更新可能に構成しておくことで、レストランの待ち時間等、タイムリーな情報を関連情報６として提供することが可能となる。
【００７６】
そして、ユーザ５が予約のための入力画像（予約ボタン）をタッチしたことを特定部１４が検知すると、送信部は、その旨を示す情報（予約申込み情報）を、その印刷物１の識別情報７と共にその印刷コンテンツで紹介されているレストランに送信する。例えば、特徴量記憶部１１は、印刷コンテンツＩＤ各々に対応付けて、予約情報等を送信する送信アドレス（各店舗のコンピュータ、ＰＯＳ等）を記憶しておいてもよい。そして、送信部は、当該送信アドレスを利用して所定のコンピュータまたはＰＯＳに所定の情報（予約申込み情報、印刷物１の識別情報７等）を送信してもよい。
【００７７】
このような本実施形態によれば、印刷物１各々を識別できる識別情報７を用いて座席の予約、商品の購入予約、順番待ちなどインタラクティブなサービスを実現できる。
【００７８】
なお、図１１に示す関連情報６において、ユーザ５が予約のための入力画像（予約ボタン）をタッチしたことを検知し（特定部１４）、予約情報を所定の送信アドレスに送信し終えると（送信部）、図１２に示すように、関連情報出力部１５は出力する関連情報６の内容を変更してもよい。図１２においては、予約が完了したことを示す文字情報の他、ユーザ５が予約をキャンセルするための入力画像（キャンセルボタン）が表示されている。
【００７９】
ユーザ５が予約したレストランに到着すると、ＰＯＳ等が受信した識別情報７とユーザ５が保持する印刷物１に印刷された識別情報７を照合することでユーザ５を識別し、座席へ案内することが出来る。このように、印刷物１にタッチ検出手段を組み込むことで、ユーザ５に対するサービスを向上させ、顧客満足を高めることができる。
【００８０】
＜＜付記＞＞
上記説明によれば、以下の発明の説明がなされている。
＜発明１＞
印刷物に印刷された印刷コンテンツの特徴量を記憶する特徴量記憶手段と、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段と、
撮像手段が撮像した撮像画像を取得する撮像画像取得手段と、
前記印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定手段と、
前記特定手段が特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得し、出力する関連情報出力手段と、
を有する情報提供装置。
＜発明２＞
発明１に記載の情報提供装置において、
前記特定手段は、前記撮像画像を利用して前記印刷物の位置を特定し、
前記関連情報出力手段はプロジェクタを含み、前記関連情報を前記印刷物に投影する情報提供装置。
＜発明３＞
発明２に記載の情報提供装置において、
前記関連情報記憶手段は、前記関連情報を投影する前記印刷物上の位置を示す投影位置情報を前記関連情報毎に記憶しており、
前記関連情報出力手段は、前記投影位置情報で特定される前記印刷物上の位置に前記関連情報を投影する情報提供装置。
＜発明４＞
発明２または３に記載の情報提供装置において、
前記特定手段は、前記撮像画像を利用して前記印刷物の角度をさらに特定し、
前記関連情報出力手段は、前記印刷物の位置及び角度に基づいて、前記関連情報を表示する画像のサイズ、形状及び位置の少なくとも１つを調整して出力する情報提供装置。
＜発明５＞
発明１から４のいずれかに記載の情報提供装置において、
前記特徴量記憶手段は、複数のページを含む前記印刷物に印刷された前記印刷コンテンツの特徴量を、ページ単位または見開き単位で複数記憶する情報提供装置。
＜発明６＞
発明１から５のいずれかに記載の情報提供装置において、
同じ前記印刷コンテンツを印刷された複数の前記印刷物に、前記複数の印刷物各々を識別できる識別情報が印刷されており、
前記特定手段は、前記撮像画像の中に含まれる前記識別情報を読み取る情報提供装置。
＜発明７＞
発明６に記載の情報提供装置において、
前記特定手段が特定した結果を、前記撮像手段が前記印刷コンテンツを撮像した時刻と対応付けて蓄積し、蓄積された情報を利用して前記印刷物を閲覧するユーザの動向を分析する分析手段をさらに有する情報提供装置。
＜発明８＞
発明７に記載の情報提供装置において、
前記分析手段による分析結果を外部装置に送信する送信手段をさらに有する情報提供装置。
＜発明９＞
コンピュータを、
印刷物に印刷された印刷コンテンツの特徴量を記憶する特徴量記憶手段、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段、
撮像手段が撮像した撮像画像を取得する撮像画像取得手段、
前記印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定手段、
前記特定手段が特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得し、出力する関連情報出力手段、
として機能させるためのプログラム。
＜発明９−２＞
発明９に記載のプログラムにおいて、
前記特定手段に、前記撮像画像を利用して前記印刷物の位置を特定させ、
前記関連情報出力手段にプロジェクタを制御させ、前記関連情報を前記印刷物に投影させるプログラム。
＜発明９−３＞
発明９−２に記載のプログラムにおいて、
前記関連情報記憶手段に、前記関連情報を投影する前記印刷物上の位置を示す投影位置情報を前記関連情報毎に記憶させ、
前記関連情報出力手段に、前記投影位置情報で特定される前記印刷物上の位置に前記関連情報を投影させるプログラム。
＜発明９−４＞
発明９−２または９−３に記載のプログラムにおいて、
前記特定手段に、前記撮像画像を利用して前記印刷物の角度をさらに特定させ、
前記関連情報出力手段に、前記印刷物の位置及び角度に基づいて、前記関連情報を表示する画像のサイズ、形状及び位置の少なくとも１つを調整して出力させるプログラム。
＜発明９−５＞
発明９から９−４のいずれかに記載のプログラムにおいて、
前記特徴量記憶手段に、複数のページを含む前記印刷物に印刷された前記印刷コンテンツの特徴量を、ページ単位または見開き単位で複数記憶させるプログラム。
＜発明９−６＞
発明９から９−５のいずれかに記載のプログラムにおいて、
同じ前記印刷コンテンツを印刷された複数の前記印刷物に、前記複数の印刷物各々を識別できる識別情報が印刷されており、
前記特定手段に、前記撮像画像の中に含まれる前記識別情報を読み取らせるプログラム。
＜発明９−７＞
発明９−６に記載のプログラムにおいて、
前記コンピュータを、
前記特定手段が特定した結果を、前記撮像手段が前記印刷コンテンツを撮像した時刻と対応付けて蓄積し、蓄積された情報を利用して前記印刷物を閲覧するユーザの動向を分析する分析手段として機能させるプログラム。
＜発明９−８＞
発明９−７に記載のプログラムにおいて、
前記コンピュータを、前記分析手段による分析結果を外部装置に送信する送信手段として機能させるプログラム。
＜発明１０＞
コンピュータが、
撮像手段が撮像した撮像画像を取得する撮像画像取得ステップと、
特徴量記憶手段が記憶する印刷物に印刷された印刷コンテンツの特徴量を利用して、前記撮像画像の中に含まれる前記印刷コンテンツを特定する特定ステップと、
前記印刷コンテンツに対応付けられている関連情報を記憶する関連情報記憶手段を参照し、前記特定ステップで特定した前記印刷コンテンツに対応付けられている前記関連情報を前記関連情報記憶手段から取得して、出力する関連情報出力ステップと、
を実行する情報提供方法。
＜発明１０−２＞
発明１０に記載の情報提供方法において、
前記特定ステップでは、前記撮像画像を利用して前記印刷物の位置を特定し、
前記関連情報出力ステップでは、プロジェクタを用い、前記関連情報を前記印刷物に投影する情報提供方法。
＜発明１０−３＞
発明１０−２に記載の情報提供方法において、
前記関連情報記憶手段は、前記関連情報を投影する前記印刷物上の位置を示す投影位置情報を前記関連情報毎に記憶しており、
前記関連情報出力ステップでは、前記投影位置情報で特定される前記印刷物上の位置に前記関連情報を投影する情報提供方法。
＜発明１０−４＞
発明１０−２または１０−３に記載の情報提供方法において、
前記特定ステップでは、前記撮像画像を利用して前記印刷物の角度をさらに特定し、
前記関連情報出力ステップでは、前記印刷物の位置及び角度に基づいて、前記関連情報を表示する画像のサイズ、形状及び位置の少なくとも１つを調整して出力する情報提供方法。
＜発明１０−５＞
発明１０から１０−４のいずれかに記載の情報提供方法において、
前記特徴量記憶手段は、複数のページを含む前記印刷物に印刷された前記印刷コンテンツの特徴量を、ページ単位または見開き単位で複数記憶する情報提供方法。
＜発明１０−６＞
発明１０から１０−５のいずれかに記載の情報提供方法において、
同じ前記印刷コンテンツを印刷された複数の前記印刷物に、前記複数の印刷物各々を識別できる識別情報が印刷されており、
前記特定ステップでは、前記撮像画像の中に含まれる前記識別情報を読み取る情報提供方法。
＜発明１０−７＞
発明１０−６に記載の情報提供方法において、
前記コンピュータが、
前記特定ステップで特定した結果を、前記撮像ステップで前記印刷コンテンツを撮像した時刻と対応付けて蓄積し、蓄積された情報を利用して前記印刷物を閲覧するユーザの動向を分析する分析ステップをさらに実行する情報提供方法。
＜発明１０−８＞
発明１０−７に記載の情報提供方法において、
前記コンピュータが、前記分析ステップでの分析結果を外部装置に送信する送信ステップをさらに実行する情報提供方法。
【００８１】
この出願は、２０１２年８月１５日に出願された日本特許出願特願２０１２−１８０２０８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2014027433.tif 000003
【図２】
2014027433.tif 000004
【図３】
2014027433.tif 000005
【図４】
2014027433.tif 000006
【図５】
2014027433.tif 000007
【図６】
2014027433.tif 000008
【図７】
2014027433.tif 000009
【図８】
2014027433.tif 000010
【図９】
2014027433.tif 000011
【図１０】
2014027433.tif 000012
【図１１】
2014027433.tif 000013
【図１２】
2014027433.tif 000014
【手続補正書】
【提出日】平成26年11月18日(2014.11.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像手段が撮像した撮像画像を取得する撮像画像取得手段と、
前記撮像画像の中に含まれる印刷物および当該印刷物に印刷されている印刷コンテンツを特定する特定手段と、
前記特定手段が特定した前記印刷物および前記印刷コンテンツに対応付けられている関連情報を前記印刷物に投影する関連情報出力手段と、を有する情報提供装置。
【請求項２】
請求項１に記載の情報提供装置であって、
前記特定手段が特定した結果を、前記撮像手段が前記印刷コンテンツを撮像した時刻及び場所と対応付けて蓄積し、蓄積された情報を利用して前記印刷物を閲覧するユーザの動向を分析する分析手段を有する情報提供装置。
【請求項３】
請求項２に記載の情報提供装置であって、
前記蓄積された情報を利用して、前記印刷物および前記印刷コンテンツに対応付けられている関連情報の効果を判断する情報提供装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の情報提供装置であって、
前記特定手段は、前記投影された関連情報をユーザがタッチしたことを検出し、
前記特定手段がタッチを検出した際に前記印刷物、前記印刷コンテンツ及び前記関連情報に対応する情報を、当該印刷コンテンツに対応する出力先に出力する送信手段をさらに備える情報提供装置。
【請求項５】
請求項１から４のいずれか１項に記載の情報提供装置において、
前記関連情報を投影する前記印刷物上の位置を示す投影位置情報を前記関連情報毎に記憶している関連情報記憶手段をさらに有し、
前記関連情報出力手段は、前記投影位置情報で特定される前記印刷物上の位置に前記関連情報を投影する情報提供装置。
【請求項６】
請求項１から５のいずれか１項に記載の情報提供装置において、
前記特定手段は、前記撮像画像を利用して前記印刷物の角度をさらに特定し、
前記関連情報出力手段は、前記印刷物の位置及び角度に基づいて、前記関連情報を表示する画像のサイズ、形状及び位置の少なくとも１つを調整して出力する情報提供装置。
【請求項７】
請求項１から４のいずれか１項に記載の情報提供装置において、
複数のページを含む前記印刷物に印刷された前記印刷コンテンツの特徴量を、ページ単位または見開き単位で複数記憶する特徴量記憶手段をさらに有し、
前記特定手段は、前記特徴量記憶手段に記憶されている前記印刷コンテンツの特徴量に基づいて、前記印刷コンテンツを特定する情報提供装置。
【請求項８】
請求項１から７のいずれか１項に記載の情報提供装置において、
同じ前記印刷コンテンツを印刷された複数の前記印刷物に、前記複数の印刷物各々を識別できる識別情報が印刷されており、
前記特定手段は、前記撮像画像の中に含まれる前記識別情報を読み取る情報提供装置。
【請求項９】
コンピュータを、
撮像手段が撮像した撮像画像を取得する撮像画像取得手段、
前記撮像画像の中に含まれる印刷物および当該印刷物に印刷されている印刷コンテンツを特定する特定手段、
前記特定手段が特定した前記印刷物および前記印刷コンテンツに対応付けられている関連情報を前記印刷物に投影する関連情報出力手段、
として機能させるためのプログラム。
【請求項１０】
コンピュータが、
撮像手段が撮像した撮像画像を取得する撮像画像取得工程と、
前記撮像画像の中に含まれる印刷物および当該印刷物に印刷されている印刷コンテンツを特定する特定工程と、
前記特定工程で特定した前記印刷物および前記印刷コンテンツに対応付けられている関連情報を前記印刷物に投影する関連情報出力工程と、
を実行する情報提供方法。
【国際調査報告】
2014027433.tif 000015
2014027433.tif 000016
2014027433.tif 000017
2014027433.tif 000018