(57)【要約】【課題】新聞等の印刷物において、携帯端末装置を利用して老眼等の読者に記事を拡大・縮小し提示するとともに、その記事に関する付加情報を簡単に提示できるようにする。【解決手段】携帯端末装置２０は、撮像部２５２で撮影により取得され、制御部２５４で画像認識された記事１１に対応付けて用意された付加情報リンクを生成し、生成された付加情報リンクを前景とし、撮像部２５２が取得した記事１１の画像を拡大または縮小し背景とし、重ね合わせて表示部２５３に表示する。【選択図】図１
2016200852.tif 000002
【特許請求の範囲】
【請求項１】
サーバーと、
少なくとも、撮像部と、表示部とを有する携帯端末装置と、
前記携帯端末装置とともに用いられる携帯端末装置設置用台座とを備え、
前記サーバーは、付加情報リンク用拡張現実感タグと、前記タグに関連する付加情報リンクデータを登録し、
前記携帯端末装置は、前記撮像部にて撮像した画像を拡大または縮小して表示部に提示するとともに、前記タグを付加した記事の画像を撮像し、撮像した前記画像から前記タグを抽出し、前記タグに関連付けられている前記データを前記サーバーから取得し、前記データに含まれる付加情報リンクを、撮像した前記画像に重畳させて表示すること、
を特徴とする拡張現実感システム。
【請求項２】
少なくとも、撮像部と、表示部と、を有し、前記撮像部により新聞等の印刷物を撮影して付加情報リンク用拡張現実感タグを取得し、前記タグに関連する付加情報リンクを前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピューターによって制御されるコンピュータープログラムであって
前記コンピューターに、
前記撮像部により前記印刷物の記事を撮影して得た画像を取得するステップと、
印刷物の記事から付加情報リンク用拡張現実感タグを検出するステップと、
前記タグに関連付いている付加情報リンクデータをサーバーに要求するステップと、
サーバーから前記データを取得するステップと、
前記データから取り出された付加情報リンクを拡大または縮小した前記画像の上に重ね合わせて前記表示部に表示するステップと、
を実行させるコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、新聞等に代表される印刷物に記載された記事に関連した付加情報へのリンクが可能な、拡張現実感システム、およびコンピュータープログラムに関する。
【背景技術】
【０００２】
インターネット上のウエブサイトでは、大量のニュース記事が配信され、そのニュース記事のページでは、ニュース記事に関連する別な記事へのリンクや、関連はないが似たような記事などのリンクが近傍に付与され、読者がその記事に関連する付加情報を得ることができる。
一方で、携帯端末装置の多機能化が進み、最近では、撮影機能は勿論のこと、インターネット接続を行うネットワーク通信環境を強化したスマートフォンが普及してきた。
【０００３】
ところで、従来、人間が知覚する現実環境をコンピューターによって拡張するＡＲ（Augmented Reality）技術が知られている。
例えば、特許文献１には、拡張現実画像において、現実世界の様子を表す画像に合成（重ね合わせ）されるオブジェクト画像を適切に変化させる技術が紹介されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０４０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に開示されているように、ＡＲ技術は、マーカと呼ばれる所定形状の図形を現実世界の中に配置し、撮影機器がそのマーカを含む現実世界を撮影し、このマーカに対応付けられたオブジェクトに透視変換技術が適用され、撮影された画像を背景にして適用されたオブジェクト画像が合成され、拡張現実画像が生成される。
このＡＲ技術により動画やＣＧ（Computer Graphics）画像の再生が可能になる。
【０００６】
ところで、上記したスマートフォンと、新聞等の印刷されたニュース記事とインターネットで提供されているそのニュースに関連する付加情報を連携させることにより、消費者が印刷された新聞等の記事を閲覧する際に、その記事に関連するインターネットで提供されている付加情報を提供できれば、消費者が購入した新聞等の印刷物に付加価値を与えることができ、より広範かつ最新の情報を提供できると共に販売促進効果も得られるはずである。
しかしながら、従来のＡＲ技術によれば、特殊なマーカやマーカの代わりとなる画像を必要とするため、記事ごとにマーカが必要となる場合、複数の記事が掲載された印刷物の場合、複数のマーカが印刷される必要があるため、紙面の煩雑さが増大してしまう。かつ、携帯端末装置を手に持ってマーカを識別する場合、その携帯端末装置のカメラと印刷物紙面との距離および角度が相対的に定まらないため、マーカの識別が困難となり、消費者自身が携帯端末の角度を変えたり、紙面との距離を近づけたり離したりなど、うまく認識されるように調整しなければならないといった制約がある。
【０００７】
本発明は、上記した課題を解決するためになされたものであり、簡易にAR技術を利用し消費者が購入した新聞等の印刷物の記事と関連した付加情報へのリンクを提供することによって広範かつ最新の情報を提供でき、新聞等の印刷物の販売促進効果を得ることができる、拡張現実感システム、およびコンピュータープログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の携帯端末装置は、少なくとも、撮像部と、表示部とを有する携帯端末装置であって、前記撮像部が新聞等の印刷物の記事を撮影して得た画像を画像認識し、付加情報リンク用拡張現実感タグを認識し、そのタグ情報をサーバーへ送信し、サーバーから送り返されてきた前記記事に対応付けて用意された付加情報へのリンクを、拡大または縮小された前記画像取得部が取得した画像の上に重ね合わせて前記表示部に表示する制御部と、を備える。
【０００９】
本発明のサーバー装置は、携帯端末装置から送信された付加情報リンク用拡張現実感タグ情報を受信する通信部と、その付加情報リンク用拡張現実感タグ情報を記憶部に照会して得られた付加情報リンクデータを通信部を介して携帯端末装置に送信する制御部と、を備える。
【００１０】
本発明のコンピュータープログラムは、少なくとも、撮像部と、表示部と、を有し、前記撮像部により新聞等の印刷物の記事を撮影して付加情報リンクを前記表示部に表示する携帯端末装置と、携帯端末装置設置用台座とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピューターによって制御されるコンピュータープログラムであって、前記コンピューターに、前記撮像部により前記記事を撮影して得た画像を取得する処理と、前記画像認識された前記記事に対応付けて用意された付加情報リンクをサーバーと通信することにより取得する処理と、前記付加情報リンクを前記取得した画像の上に重ね合わせて前記表示部に表示する処理と、を実行させる。
【発明の効果】
【００１１】
本発明によれば、新聞等の印刷物に記載された記事に関連する情報を、簡易に取得することができ、新聞等の印刷物の販売促進効果を得ることができる、携帯端末装置、コンピュータープログラム、拡張現実感システム、および携帯端末装置設置用台座を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る拡張現実感システムを示す図である。
【図２】本発明の実施の形態に係る携帯端末装置およびサーバーの内部構成を示すブロック図である。
【図３】本発明の実施の形態に係る携帯端末装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための実施の形態（以下、単に本実施形態という）について詳細に説明する。
【００１４】
図１に、本実施形態に係る拡張現実感システム１００が示されている。
図１に示されるように、本実施形態に係る拡張現実感システム１００は、新聞等の印刷物１０の記事１１と、この記事１１を撮影して得た画像を取得してその画像を画像認識し、画像認識された記事１１に対応付けて用意された付加情報リンクを前景に、同じく取得した記事１１の画像を背景に重ね合わせることにより生成された拡張現実感画像を表示する携帯端末装置２０と、その携帯端末装置２０を設置するための台座３０とを有する。
【００１５】
本実施の形態において、表示される付加情報リンクは、必要に応じてインターネット経由でサーバー装置２４０から、ダウンロードにより取得するものとする。
【００１６】
また、本実施形態に係る携帯端末装置設置用台座３０は、その台座に携帯端末装置２０を載せた場合、その携帯端末装置の高さおよび角度が一意に固定される。そのため、その台座に設置された携帯端末装置２０が、その一意に固定された高さ及び角度にて認識しやすいように、あらかじめ付加情報リンク用拡張現実感タグを生成しておく事ができる。
したがって、消費者が携帯端末装置２０を利用した際に、その携帯端末装置２０が記事１１に付された付加情報リンク用拡張現実感タグを認識することが容易となり、その記事１１に関連する付加情報を容易に得ることができる。
【００１７】
また、本実施形態に係る携帯端末装置設置用台座３０は、底面に滑走性を有する滑走体を備えるため、印刷物の上に台座を置いた場合、滑らかに台座を移動させる事ができる。この滑走体の一例としては、パーソナルコンピューターにて使用されるマウスの底面に設置されている滑性ソールがある。
これにより、携帯端末装置２０を台座３０上に固定的に設置した際に、携帯端末装置２０と台座３０を一体的に印刷物１０の上を滑らかに移動させる事ができる。
これにより、記事１１をその携帯端末の表示部に拡大表示しつつ、記事に沿い移動させながら読むことができる。
したがって、消費者が携帯端末装置２０と携帯端末装置設置用台座３０を利用した際に、消費者が老眼等で細かい文字の識別性が低下し、新聞等に代表される印刷物の記事が読みづらい場合において、文字を拡大して認識することが容易となり、その記事１１を容易に読むことができる。
【００１８】
図２は本実施形態に係るシステムの構成を示すブロック図である。
図２に示されるように、サーバー装置２４０がネットワーク２００に接続されており、携帯端末装置２５０が、そのネットワーク２００に接続可能となっている。
サーバー装置２４０は、通信部２４１と、記憶部２４２と、制御部２４３と、を含み構成される。
携帯端末装置２５０は、通信部２５１と、撮像部２５２と、表示部２５３と、制御部２５４と、を含み構成される。
【００１９】
撮像部２５２は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子と、その制御回路等により構成されるカメラである。
表示部２５３は、多数の画素（複数色の発光素子の組み合わせ）を縦横に配して構成される、例えばＬＣＤ（Liquid Crystal Display Device）や有機ＥＬ（Electro-Luminescence）を用いて構成されており、制御部２５４により生成された拡張現実感画像を含む表示情報を表示する。
【００２０】
通信部２５１は、無線通信システムを捕捉し、通信ネットワークに接続される不図示の基地局との間で無線通信を行い、各種データの送受信を行う。
ここで、各種データとは、音声通話時の音声データ、メール送受信時のメールデータ、Ｗｅｂ（World Wide Web）閲覧時のＷｅｂページデータ等である。
本発明と関係するところでは、制御部２５４は、通信部２５１を介し、記事１１に対応した付加情報リンク生成のために必要なデータをサーバー装置２４０からダウンロードにより取得する。
このとき、通信部２５１は、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）に準拠したプロトコルにしたがいサーバ装置２４０との接続を行う。
【００２１】
制御部２５４は、記事１１を撮影して得た画像を取得し、取得した記事１１の画像を画像認識して、当該画像認識された記事１１に対応付けて用意された付加情報リンクを前景に、記事１１の画像を拡大または縮小し背景として重ね合わせて表示する機能を有する。
この機能は、例えば、マイクロプロセッサによって実現される。
【００２２】
なお、本実施の形態において、記事１１に特定の付加情報リンク用拡張現実感タグを割り当てているがこれに限られるものではなく、記事１１に特定のマークを設けてもよい。
その場合、記事１１に設けられた特定のマークを特定の付加情報リンク用拡張現実感タグとして認識するものでもよい。
【実施例】
【００２３】
以下、本実施形態の携帯端末装置２０の動作について、図２のブロック図と図３のフローチャートに基づき、詳細に説明する。
【００２４】
まず、消費者は、携帯端末装置２０を使用して上述の印刷物の記事１１を撮像する。
携帯端末装置２０では、制御部２５４は、撮像部２５２から出力される画像を取得し（ステップＳ３１１）、その画像に基づき、撮像した画像をリアルタイムで表示装置２５３に表示させる。
また、制御部２５４は、その撮像した画像内で付加情報リンク用拡張現実感タグの画像を検索する。
【００２５】
制御部２５４は、付加情報リンク用拡張現実感タグが付与された記事１１を検出すると（ステップＳ３１２）、通信装置２５１を使用して、その付加情報リンク用拡張現実感タグに対応する付加情報リンクのデータの送信要求を、その付加情報リンク用拡張現実感タグのタグ識別子とともに、サーバー装置２４０へ送信する（ステップＳ３１３）。
サーバー装置２４０では、通信部２４１によりその送信要求などが受信されると、制御部２４３は、そのタグ識別子に関連付けられている付加情報リンクデータを記憶装置２４２から読み出し、通信部２４１を使用して、その送信要求の応答として送信する。
携帯端末装置２０の制御部２５４は、通信部２５１を使用して、その付加情報リンクデータを受信する（ステップＳ３１４）。
そして、制御部２５４は、その付加情報リンクデータから生成した付加情報リンクを重畳させて表示装置２５３に表示させる（ステップＳ３１５）。
【符号の説明】
【００２６】
１０  新聞等の印刷物
１１  印刷物に記載された記事
２０  携帯端末装置
３０  携帯端末装置設置用台座
１００  拡張現実感システム
２００  ネットワーク
２４０  サーバー装置（サーバーの一例）
２４１  通信部
２４２  記憶部
２４３  制御部
２５０  携帯端末装置
２５１  通信部
２５２  撮像部
２５３  表示部
２５４  制御部
【図１】
2016200852.tif 000003
【図２】
2016200852.tif 000004
【図３】
2016200852.tif 000005