(57)【要約】【課題】簡単な操作で、紙面に表示された内容の一部を、即座に識別できる。【解決手段】送受信部１０、紙面に表示された内容の外観上の特徴量を抽出した特徴データ及び内容の識別情報を記憶する特徴データ記憶部２０、紙面に表示された内容を撮像する撮像部１１、撮像されたライブビュー画像を表示する表示部１３、ライブビュー画像から特徴データを抽出する特徴抽出部２２ａ、抽出した特徴データと、特徴データ記憶部２０の特徴データとのマッチングにより、紙面に表示された内容を特定するマッチング部２３、特定された内容の識別情報に基づいて、内容の一部を識別する識別表示をさせる識別表示データの要求を、送受信部１０に送信させる識別表示データ要求部２４ａ、送受信部１０が受信した識別表示データを、ライブビュー画像とともに、表示部１３に表示させる識別表示制御部２８ｂを有する。【選択図】図２
2014017791.tif 000002
【特許請求の範囲】
【請求項１】
送受信部、撮像部、表示部に接続されたコンピュータに、
紙面に表示された内容の外観上の特徴量を抽出した特徴データ及びその内容の識別情報を記憶する特徴データ記憶処理と、
撮像部に前記紙面に表示された内容を撮像させる撮像処理と、
前記撮像部により撮像されたライブビュー画像を表示部に表示させる表示制御処理と、
前記ライブビュー画像から、前記紙面に表示された内容の外観上の特徴データを抽出する特徴抽出処理と、
前記特徴データ記憶処理により記憶された特徴データと、前記特徴抽出処理により抽出された特徴データとのマッチングにより、撮像された前記紙面に表示された内容を特定するマッチング処理と、
前記マッチング処理により特定された前記内容の識別情報に基づいて、前記内容の一部を識別する識別表示をさせる識別表示データの要求を、前記送受信部に送信させる識別表示データ要求処理と、
前記識別表示データ要求処理による要求に応じて送受信部が受信した識別表示データを、前記ライブビュー画像とともに、前記表示部に表示させる識別表示制御処理と、
を実行させることを特徴とする情報通信プログラム。
【請求項２】
前記コンピュータに、
前記内容の一部であって、前記識別表示がなされた部分に関する情報の要求を、前記送受信部に送信させる情報要求処理と、
前記情報要求処理による要求に応じて、前記送受信部が受信した情報を、前記表示部に表示させる情報表示処理と、
を実行させることを特徴とする請求項１記載の情報通信プログラム。
【請求項３】
前記コンピュータに、
前記識別表示がなされた部分について、前記送受信部に、外部の機器への動作要求を送信させる動作要求処理を実行させることを特徴とする請求項１又は請求項２記載の情報通信プログラム。
【請求項４】
前記紙面は、放送番組の番組表であり、
前記識別表示は、前記ライブビュー画像に含まれる番組表のうち、各番組を識別する表示であることを特徴とする請求項１〜３のいずれか１項に記載の情報通信プログラム。
【請求項５】
前記コンピュータに、
前記ライブビュー画像に含まれる番組表のうち、いずれの番組欄について識別表示するかの条件を設定する条件設定処理を実行させることを特徴とする請求項４記載の情報通信プログラム。
【請求項６】
前記コンピュータに、
前記識別表示がなされた領域を、情報の入力用のユーザインタフェースとするユーザインタフェース制御処理を実行させることを特徴とする請求項１〜５のいずれか１項に記載の情報通信プログラム。
【請求項７】
前記コンピュータに、
前記情報要求処理を行うためのユーザインタフェースを含むモード表示を行うモード表示制御処理を実行させることを特徴とする請求項２記載の情報通信プログラム。
【請求項８】
前記コンピュータに、
前記動作要求処理を行うためのユーザインタフェースを含むモード表示を行うモード表示制御処理を実行させることを特徴とする請求項３記載の情報通信プログラム。
【請求項９】
前記識別表示データは、撮像された画像の全体の大きさに対する前記内容の一部の比率、若しくはその比率から割り出される前記内容の一部の位置座標を含むことを特徴とする請求項１〜８のいずれか１項に記載の情報通信プログラム。
【請求項１０】
ネットワークを介して情報を送受信する送受信部と、
紙面に表示された内容の外観上の特徴量を抽出した特徴データ及びその内容の識別情報を記憶する特徴データ記憶部と、
前記紙面に表示された内容を撮像する撮像部と、
前記撮像部により撮像されたライブビュー画像を表示する表示部と、
前記ライブビュー画像から、前記紙面に表示された内容の外観上の特徴データを抽出する特徴抽出部と、
前記特徴データ記憶部により記憶された特徴データと、前記特徴抽出部により抽出された特徴データとのマッチングにより、撮像された前記紙面に表示された内容を特定するマッチング部と、
前記マッチング部により特定された前記内容の識別情報に基づいて、前記内容の一部を識別する識別表示をさせる識別表示データの要求を、前記送受信部に送信させる識別表示データ要求部と、
前記識別表示データ要求部による要求に応じて送受信部が受信した識別表示データを、前記ライブビュー画像とともに、前記表示部に表示させる識別表示制御部と、
を有することを特徴とする情報通信装置。
【請求項１１】
請求項１０記載の情報通信装置に、ネットワークを介して接続された送受信部と、
前記送受信部に、前記特徴データを送信させる特徴データ配信部と、
前記識別表示データ要求部の要求に応じて、前記送受信部に、識別表示データを送信させる識別表示データ送信部と、
を有することを特徴とする配信サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば放送の番組表など、紙面に掲載された内容に関連する情報を知得するための情報通信プログラム、情報通信装置及び配信サーバに関する。
【背景技術】
【０００２】
現在、テレビに電子番組表を画面表示させて、番組欄を閲覧したり、リモコン操作により番組の録画予約をすることは、一般的に行われている。しかし、テレビの表示領域には限りがあるため、全てのチャンネルの番組を一覧できない場合がある。また、表示させている番組表の日時から、所望の番組の放送日時までの期間が長い場合には、画面を長時間スクロールさせる必要がある。さらに、キーワードにより検索する方法もあるが、キーワードを入力して、検索ボタンを操作する等の手間がかかる。
【０００３】
一方、スマートフォン等の携帯電話によっても、電子番組表の閲覧、番組の録画予約等を行うことができる。しかし、この場合、携帯電話の画面は非常に小さいため、一画面で表示できる範囲が限定されてしまう。このため、所望の番組を探し出すことは、さらに困難となる。また、キーワード検索した場合に手間がかかることは、テレビによる電子番組表の場合と同様である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１１００２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、番組表の閲覧に関しては、旧来から、新聞、雑誌、ケーブルテレビの月刊誌等、紙面に印刷された番組表を利用することができる。特に、テレビ放送に特化した雑誌やケーブルテレビの月刊誌の場合、見開き２ページで一日の番組を一覧できる。また、所望の日のページを開けばその日の番組表を即座に見ることができる。つまり、紙面の番組表は、電子番組表よりも全体の閲覧がしやすく、所望の番組にアクセスしやすいという利点がある。
【０００６】
しかし、紙媒体では、ユーザの所望の番組を、自動的にピックアップすることはできない。また、録画予約をする場合には、あらためてテレビのリモコンを操作しなければならない。特に、録画予約に関しては、リモコン等によって、紙面に印刷されたＧコードやバーコードを読み取って、予約する方法があった。しかし、紙面における各番組欄の面積は非常に小さいため、各番組欄にＧコードやバーコードを印刷すると、番組欄に表示できる情報量が制約を受ける。
【０００７】
ここで、Ｇコードやバーコード以外の情報を用いる手法が、特許文献１（段落００４０〜００４５）に開示されている。この手法は、以下の通りである。
(1) 携帯電話等の情報処理装置の撮像部により、番組欄の画像を取得する。
(2) ユーザのキー操作により画像の領域を特定する。
(3) 情報解析部が、特定された領域の画像情報に対して２値化処理を施し、文字画像の輪郭を識別する。
【０００８】
(4) 文字画像を文字識別のためのデータベースと比較処理し、文字情報としてタイトル情報を識別する。
(5)識別したタイトル情報と、保存されている電子番組情報のＥＩＴ中のタイトル情報とを、逐一、比較処理する。
(6) 電子番組情報のＥＩＴ中から、同一又は一定値以上の類似性を持つタイトル情報を検出できた場合、その番組ＩＤを表示する。
(7)番組ＩＤに基づいて、番組受信、録画予約を行う。
【０００９】
かかる手法では、番組欄を撮影した後、ユーザによる画像領域の特定、２値化処理、文字認識、タイトル情報との比較処理、番組ＩＤの表示、番組ＩＤに基づく番組受信、録画予約という手順が必要となる。
【００１０】
この場合、ユーザは、撮影した画像を見ながら、必要な画像領域を特定するという非常に面倒な作業が必要となる。また、表示された番組ＩＤに基づく番組受信、録画予約では、本当に所望の番組を選択しているかどうか、直感的に判断できない。さらに、一旦、文字情報に変換した後に、比較処理を行うため、情報解析部の処理負担が大きく、処理時間もかかる。
【００１１】
本発明は、上記のような従来技術の問題点を解決するもので、その目的は、簡単な操作で、紙面に表示された内容の一部を、即座に識別することができる情報通信プログラム、情報通信装置、配信サーバを提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明の情報通信プログラムは、送受信部、撮像部、表示部に接続されたコンピュータに、紙面に表示された内容の外観上の特徴量を抽出した特徴データ及びその内容の識別情報を記憶する特徴データ記憶処理と、撮像部に前記紙面に表示された内容を撮像させる撮像処理と、前記撮像部により撮像されたライブビュー画像を表示部に表示させる表示制御処理と、前記ライブビュー画像から、前記紙面に表示された内容の外観上の特徴データを抽出する特徴抽出処理と、前記特徴データ記憶処理により記憶された特徴データと、前記特徴抽出処理により抽出された特徴データとのマッチングにより、撮像された前記紙面に表示された内容を特定するマッチング処理と、前記マッチング処理により特定された前記内容の識別情報に基づいて、前記内容の一部を識別する識別表示をさせる識別表示データの要求を、前記送受信部に送信させる識別表示データ要求処理と、前記識別表示データ要求処理による要求に応じて送受信部が受信した識別表示データを、前記ライブビュー画像とともに、前記表示部に表示させる識別表示制御処理と、を実行させることを特徴とする。
【００１３】
この発明は、上記の各処理の機能を実現する情報通信装置として捉えることもできる。
【００１４】
他の態様は、前記コンピュータに、前記内容の一部であって、前記識別表示がなされた部分に関する情報の要求を、前記送受信部に送信させる情報要求処理と、前記情報要求処理による要求に応じて、送受信部が受信した情報を、前記表示部に表示させる情報表示処理と、を実行させることを特徴とする。
【００１５】
他の態様は、前記コンピュータに、前記識別表示がなされた部分について、前記送受信部に、外部の機器への動作要求を送信させる動作要求処理を実行させることを特徴とする。
【００１６】
他の態様は、前記紙面は、放送番組の番組表であり、前記識別表示は、前記ライブビュー画像に含まれる番組表のうち、各番組を識別する表示であることを特徴とする。
【００１７】
他の態様は、前記コンピュータに、前記ライブビュー画像に含まれる番組表のうち、いずれの番組欄について識別表示するかの条件を設定する条件設定処理を実行させることを特徴とする。
【００１８】
他の態様は、前記コンピュータに、前記識別表示がなされた領域を、情報の入力用のユーザインタフェースとするユーザインタフェース制御処理を実行させることを特徴とする。
【００１９】
他の態様は、前記コンピュータに、前記情報要求処理を行うためのユーザインタフェースを含むモード表示を行うモード表示制御処理を実行させることを特徴とする。
【００２０】
他の態様は、前記コンピュータに、前記動作要求処理を行うためのユーザインタフェースを含むモード表示を行うモード表示制御処理を実行させることを特徴とする。
【００２１】
他の態様は、前記識別表示データは、撮像された画像の全体の大きさに対する前記内容の一部の比率、若しくはその比率から割り出される前記内容の一部の位置座標を含むことを特徴とする。
【発明の効果】
【００２２】
以上のような本発明によれば、簡単な操作で、紙面に表示された内容の一部を、即座に識別することが可能な情報通信プログラム、情報通信装置及び配信サーバを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】実施形態における情報通信システムを示す全体構成図
【図２】実施形態における情報通信装置を示すブロック図
【図３】実施形態における配信サーバを示すブロック図
【図４】情報通信システムの処理手順を示すシーケンス図
【図５】情報通信装置のサーチモードの処理手順を示すフローチャート
【図６】情報通信装置の機器モードの処理手順を示すフローチャート
【図７】情報通信装置のネットモードの処理手順を示すフローチャート
【図８】情報通信装置のライブビュー画像と識別表示の画面例を示す図
【図９】図８の例に更新情報ボタンを表示した画面例を示す図
【図１０】サーチモードにおけるジャンルボタンを選択した画面例を示す図
【図１１】サーチモードにおけるジャンルボタンを選択した画面例を示す図
【図１２】サーチモードにおけるキーワード検索の画面例を示す図
【図１３】サーチモードにおける情報アイコンを表示した画面例を示す図
【図１４】サーチモードにおける情報アイコンを選択した画面例を示す図
【図１５】サーチモードにおける番組情報を表示した画面例を示す図
【図１６】機器モードの画面例を示す図
【図１７】機器モードにおける録画予約画面例を示す図
【図１８】機器モードにおける録画予約済の画面例を示す図
【図１９】機器モードにおける録画済の画面例を示す図
【図２０】機器モードにおける録画・選局画面例を示す図
【図２１】機器モードにおける番組選択例を示す図
【図２２】機器モードにおける機器再生・転送画面例を示す図
【図２３】ネットモードにおける画面例を示す図
【図２４】ネットモードにおける人気情報の表示例を示す図
【図２５】ネットモードにおけるレビューの表示例を示す図
【発明を実施するための形態】
【００２４】
本発明を実施するための形態（以下「本実施形態」と呼ぶ）について、図面を参照して具体的に説明する。なお、本実施形態は、コンピュータとしてのスマートフォンやタブレット端末等の情報通信装置を、プログラムで制御することで実現できる。この場合のハードウェアやプログラムの実現態様は各種変更可能である。
【００２５】
また、本発明は、上記のようなプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体としても把握できる。以下の説明では、本実施形態の各機能をブロックで図示した仮想的ブロック図を用いる。
【００２６】
［１．構成］
［１−１．概要］
まず、本実施形態は、図１に示すように、ネットワークＮを介して、配信サーバＳ、録画再生機器Ｖと情報の送受信が可能な情報通信装置Ｐによって構成される。ユーザは、情報通信装置Ｐを用いて、雑誌や新聞等の番組表が印刷された紙面Ｍを撮像する。
【００２７】
情報通信装置Ｐは、ネットワークＮを介して配信サーバＳから識別表示データを受信して、あらかじめ設定された条件に適合する番組欄を識別する識別表示を、撮像した番組欄に重ねて表示する。
【００２８】
情報通信装置Ｐは、ユーザの選択により、識別表示がなされた番組について、録画予約等のコマンドを録画再生機器Ｖに送信することにより、録画再生機器Ｖを操作する。
【００２９】
［１−２．情報通信装置］
情報通信装置Ｐは、図２に示すように、一般的なスマートフォン等の携帯電話が備える送受信部１０、撮像部１１、音声出力部１２、表示部１３、入力部１４を有する。送受信部１０は、ネットワークＮを介して、配信サーバＳとの間で情報を送受信する処理部である。たとえば、送受信部１０は、ＷｉＦｉ等の無線ＬＡＮ及びインターネットへの接続機能を有する。ネットワークＮは、家庭内のローカルネットワークでもよい。
【００３０】
撮像部１１は、番組表が印刷された紙面Ｍを撮像する処理部である。たとえば、この撮像部１１は、レンズ等の光学部１１ａ、ＣＭＯＳやＣＣＤ等の受光素子であるイメージセンサ部１１ｂを有するカメラである。本実施形態は、以下に述べるように、撮像部１１により撮像したライブビュー画像を用いる。
【００３１】
このライブビュー画像とは、イメージセンサ部１１ｂが受光した光を変換した電気信号を、後述する表示部１３にリアルタイムで表示する画像データである。この画像データは、ＤＲＡＭ等の揮発性メモリに一時的に保持され、イメージプロセッサにより画像処理される画像データも含む。
【００３２】
ライブビュー画像は、逐次上書きされ、プログラムを終了させる、電源を切る等の処理により消失する。つまり、ライブビュー画像には、カメラのシャッターを切る処理等により、不揮発性メモリに記憶される画像データは含まれない。
【００３３】
音声出力部１２は、ユーザが聴取する音声を出力するヘッドホン、イヤホン、スピーカ等の出力装置である。無線により、ヘッドホン、イヤホン、スピーカ等に音声データを送信する送信装置も、音声出力部１２に含まれる。表示部１３は、ユーザが視覚的に認識する画像を表示するディスプレイ等の出力装置である。
【００３４】
入力部１４は、ユーザが、本実施形態の処理、操作に必要な情報を入力する入力装置である。この入力部１４は、表示部１３に構成されたタッチパネル、情報通信装置Ｐの筐体に構成されたスイッチを含む。ユーザは、表示部１３に構成されたタッチパネルを用いて、タップ、スワイプ等のスマートフォンによる入力操作が可能となる。さらに、マイクと音声認識部を備えた音声入力装置も、入力部１４に含まれる。つまり、本実施形態は、音声による操作も可能である。
【００３５】
また、情報通信装置Ｐは、特徴データ記憶部２０、解析部２２、マッチング部２３、要求部２４、条件設定部２５、モード選択部２６、再生制御部２７、表示制御部２８を有する。
【００３６】
特徴データ記憶部２０は、特徴データ及び識別情報を記憶する処理部である。この特徴データは、紙面Ｍに表示された内容の外観上の特徴量を、あらかじめ抽出したデータである。紙面Ｍに表示された内容とは、本実施形態では、番組表である。特徴量としては、番組表全体及びこれを構成する各番組欄を識別する文字、図形、色彩等の形状、寸法、位置に関する情報を含む。図形には、線、枠が含まれる。文字については、テキスト変換したものではなく、文字及びその配列が構成する外観上の特徴が、特徴量である。識別情報は、特徴データを識別するために、特徴データに関連付けられた情報である。たとえば、各番組表の放送日の日付を識別情報とする。
【００３７】
特徴データは、後述する配信サーバＳが、識別情報と関連付けて、あらかじめ記憶している。そして、送受信部１０は、特徴データ及び識別情報を、定期的に配信サーバＳからダウンロードする。ユーザによる装置若しくはプログラムの起動、入力部１４からの入力等に応じて、送受信部１０が特徴データをダウンロードしてもよい。
【００３８】
解析部２２は、撮像部１１により撮像されたライブビュー画像を解析する処理部である。この解析部２２は、特徴抽出部２２ａを有する。特徴抽出部２２ａは、ライブビュー画像から、紙面Ｍの特徴データを抽出する処理部である。各番組欄の境界抽出等の手法は、公知の技術を適用可能である。なお、図示はしないが、解析部２２は、３次元空間上での撮像部１１と紙面Ｍとの距離や方向といった位置関係を検出する処理を行う処理部を有している。たとえば、実際の紙面Ｍにおける特徴部分の外形や寸法と、撮像された画像における特徴部分の外形や寸法とを対比することにより、距離や方向といった位置関係を求めることができる。
【００３９】
マッチング部２３は、特徴データ記憶部２０に記憶された特徴データと、特徴抽出部２２ａにより抽出された特徴データとをマッチングすることにより、撮像された紙面Ｍの番組表の日付、各番組欄を特定する処理部である。
【００４０】
なお、特徴抽出部２２ａが抽出する特徴データは、特徴データ記憶部２０に記憶された特徴データとの照合により、番組表及び番組欄を特定できればよい。このため、番組表及び番組欄についての特徴データの全部であっても一部であってもよい。したがって、必ずしも番組表若しくは番組欄の全体がライブビュー画像内に収まっている必要はない。また、紙面Ｍの歪みや方向の相違があっても、番組表全体における位置等も含めて照合することにより、番組欄の特定は可能となる。
【００４１】
要求部２４は、配信サーバＳ、録画再生機器Ｖ等に、各種の要求を出力する処理部である。要求部２４が要求する情報は、識別表示データ、番組情報、機器動作、共有情報が含まれる。これらの情報の要求を行う処理部が、それぞれ識別表示データ要求部２４ａ、番組情報要求部２４ｂ、機器動作要求部２４ｃ、共有情報要求部２４ｄを構成する。
【００４２】
識別表示データ要求部２４ａは、配信サーバＳに対して、表示部１３に番組欄の識別表示をするための識別表示データを要求する処理部である。この要求は、マッチング部２３により特定された番組表の日付、後述するいずれのモードであるかを示すパラメータを含む。
【００４３】
識別表示データは、撮像された画像の全体の大きさに対する番組表における各番組欄の比率若しくはその比率から割り出される各番組欄の位置座標、モードに応じて番組欄を示す図形や文字、その色及び大きさなどを含む。なお、撮像された画像の全体の大きさを、撮像された紙面Ｍ全体の大きさとする場合、撮像された画面領域内の画像、その特徴データ、位置関係に基づいて、紙面全体の大きさ、位置関係を求める場合も含む。アプリケーションプログラムに設定された各種のアイコンに付与されたアイコンＩＤも、識別表示データに含まれる。
【００４４】
番組情報要求部２４ｂは、配信サーバＳに対して、識別表示された番組若しくは選択された番組のタイトル、出演者、その他の番組に関連する情報を紹介、広告する番組情報を要求する処理部である。番組情報には、当該番組を紹介するテキスト、画像、動画も含まれる。また、番組情報には、紙面Ｍを含む雑誌、新聞内の番組の紹介ページを含めることもできる。
【００４５】
機器動作要求部２４ｃは、録画再生機器Ｖに対して、動作要求を送信する処理部である。この動作要求には、選択された番組の録画予約、録画、選局、再生、転送を要求するコマンドが含まれる。コマンドは、録画再生機器Ｖの設定に従う。
【００４６】
共有情報要求部２４ｄは、選択された番組について、配信サーバＳに対して、人気、レビュー、お薦め情報などを集計した共有情報の要求を送信する処理部である。共有情報としては、配信サーバＳが収集した予約録画や選局などの統計データ、本システム上で行った投票により得られたデータを利用することが可能である。また、映画などの場合、通販やレンタルのＤＶＤのサイトにおけるレビュー結果等から得たデータを利用することもできる。なお、番組情報要求部２４ｂ、共有情報要求部２４ｄによる処理は、請求項の情報要求処理に含まれる。
【００４７】
条件設定部２５は、どの番組欄を識別表示するかについての条件を設定する処理部である。条件には、ユーザが、あらかじめ入力部１４を用いて入力したキーワードが含まれる。また、あらかじめ設定された「ドラマ」、「ニュース」、「新番組」などのジャンルも、条件に含まれる。
【００４８】
モード選択部２６は、表示部１３へ表示するモードを選択する処理部である。モードには、たとえば、サーチモード、機器モード、ネットモードが含まれる。サーチモードは、条件設定部２５に設定された条件に基づいて、番組欄に識別表示させるとともに、番組情報を表示させるモードである（図８〜図１２参照）。
【００４９】
機器モードは、識別表示された番組について、録画予約、録画、選局、再生、転送等の動作要求を入力するモードである（図１６〜図２０参照）。ネットモードは、識別表示された番組について、ネットワークを介して、共有情報を取得するモードである（図２１、図２２参照）。
【００５０】
たとえば、デフォルトでは、モード選択部２６は、サーチモードを選択している。そして、入力部１４からの入力に応じて、モード選択部２６は、機器モード、ネットモードへの切り替えを行う。モードを選択させる入力部１４からの入力としては、それぞれのモードを表示するタブの選択がある（図１０参照）。
【００５１】
再生制御部２７は、受信した音声データ、動画データに基づいて、音声出力部１２への音声出力、表示制御部２８を介した表示部１３による動画表示をさせる処理部である。
【００５２】
表示制御部２８は、表示部１３に表示させる情報を制御する処理部である。この情報は、ライブビュー画像、識別表示、モード表示、番組情報、共有情報などを含む。これらの情報の表示を制御する処理部が、それぞれライブビュー画像制御部２８ａ、識別表示制御部２８ｂ、モード表示制御部２８ｃ、番組情報制御部２８ｄ、共有情報制御部２８ｅを構成する。
【００５３】
ライブビュー画像制御部２８ａは、撮像部１１から入力された情報に基づいて、ライブビュー画像の表示を制御する。被写体に対する撮像部１１の位置や方向が変化すると、ライブビュー画像も変化する。
【００５４】
識別表示制御部２８ｂは、上記の識別表示データに基づいて、番組欄の識別表示を制御する。たとえば、識別表示の表示位置は、撮像された紙面Ｍ全体の大きさ（縦横）に対する番組欄の比率若しくはその比率から割り出される各番組欄の位置座標から、求めることができる。識別表示は、マッチング部２３により特定された番組表における番組欄を識別する表示である。この識別表示としては、たとえば、番組欄の囲みに重ねた枠を、所定の色の線で表示したもの、番組欄を矢印等のアイコンで示した表示が例示できる（図８参照）。
【００５５】
識別表示制御部２８ｂは、撮像部１１の位置や角度の変化によりライブビュー画像中の番組欄が移動した場合、当該番組欄の特徴データと、紙面Ｍにおける当該番組欄の位置座標に基づいて、これに追従する。
【００５６】
モード表示制御部２８ｃは、モード選択部２６の選択に応じて、モード表示を切り替える。なお、各モードにおけるタブやボタン等のインタフェースは、ライブビュー画像とは別のレイヤーで、表示画面の特定位置に表示させる。
【００５７】
番組情報制御部２８ｄは、番組情報要求部２４ｂからの要求に応じて、配信サーバＳから取得した番組情報を、表示部１３に表示させる処理部である。この番組表示も、ライブビュー画像とは別のレイヤーで、表示画面の特定位置に表示させてもよい。
【００５８】
また、ライブビュー画像における番組欄の特定箇所に、番組情報を含むポップアップ画像を表示させて、撮像部１１の角度や位置が変動すると、番組欄の移動とともに、ポップアップ画像を追従させてもよい。ポップアップ画像とは、文字や図形を、色分けした背景とともに区別表示するものである。
【００５９】
また、番組情報には動画像も含まれる。動画像を表示させる場合、動画像のみを表示させてもよいし、ライブビュー画像と動画像を分割若しくはウィンドウにより同時に表示させてもよい。
【００６０】
共有情報制御部２８ｅは、共有情報要求部２４ｄからの要求に応じて、配信サーバＳから取得した共有情報を、表示部１３に表示させる処理部である。この共有情報も、上記と同様に、ライブビュー画像とは別のレイヤーで表示させても、ポップアップ画像で表示させてもよい。番組情報制御部２８ｄ、共有情報制御部２８ｅの処理は、請求項の情報表示処理に含まれる。
【００６１】
さらに、表示制御部２８は、ユーザインタフェース（ＵＩ）制御部２８ｆを有する。このＵＩ制御部２８ｆは、表示部１３に表示された画像のうち、所望の操作を入力するためのＵＩの領域を特定する処理部である。つまり、ＵＩ制御部２８ｆは、タッチパネルにより操作可能な領域として、表示画面に含まれる番組欄、タブ、ボタン、アイコン等の領域を特定する。これにより、ユーザは、その領域に対してスワイプやタッチを行うことで、操作入力できる。
【００６２】
また、本実施形態は、番組表のライブビュー画像に基づいて、番組の情報へアクセスできる他、録画再生機器Ｖを操作できるという機能から、いわゆる拡張現実、ＡＲ（Augmented Reality）の新たな態様ということができる。
【００６３】
なお、情報通信装置Ｐは、典型的には、スマートフォンにアプリケーションプログラム（以下、単に、アプリと呼ぶ）をインストールすることにより構成できる。このため、上記の各部の処理に必要な設定、演算式、パラメータ等は、アプリに含まれ、これらをあらかじめ内蔵の若しくはリムーバブルなメモリが記憶している。
【００６４】
［１−３．配信サーバ］
配信サーバＳは、図３に示すように、番組表を掲載する雑誌の出版社、番組表を配布するケーブルテレビ会社等において管理されるサーバである。この配信サーバＳは、記憶部１１０、配信制御部１２０を有する。
【００６５】
記憶部１１０は、配信用の情報を記憶する処理部である。この記憶部１１０は、上記のアプリ、特徴データ、識別表示データ、番組情報、共有情報等を記憶する。アプリのバージョン、特徴データ、識別表示データ、番組情報、共有情報は、適宜、更新される。記憶部１１０は、特徴データを、放送日ごとの番組表のＩＤに関連付けて記憶する。
【００６６】
配信制御部１２０は、送受信部１２１、アプリ配信部１２２、特徴データ配信部１２３、要求取得部１２４、識別表示データ配信部１２５、番組情報送信部１２６、共有情報収集部１２７、共有情報送信部１２８、検索部１２９を有する。
【００６７】
送受信部１２１は、ネットワークＮを介して、情報通信装置Ｐ及び他のサーバとの間で情報を送受信する処理部である。たとえば、送受信部１２１は、インターネットへの接続機能を有する。
【００６８】
アプリ配信部１２２は、情報通信装置Ｐからの本実施形態のアプリのダウンロード要求に応じて、当該アプリを配信する処理部である。
【００６９】
特徴データ配信部１２３は、所定のタイミングで、上記の特徴データを情報通信装置Ｐに配信する処理部である。このタイミングは、自由に設定可能である。たとえば、まず、特徴データ配信部１２３は、アプリの配信と同時に、特徴データも含めて配信する。
【００７０】
その後、特徴データ配信部１２３は、情報通信装置Ｐの起動時、情報通信装置Ｐにおけるアプリの起動時、情報通信装置Ｐにおけるアプリの更新時、あらかじめ設定された所定の期間等に、特徴データを配信する。
【００７１】
番組の情報が更新されるごとに特徴データも更新されるので、これに応じて、特徴データ配信部１２３が、特徴データを配信してもよい。特徴データ配信部１２３が、情報通信装置Ｐ側から送信されたアプリのバージョン、特徴データの識別情報をチェックして、最新でない場合にのみ、配信してもよい。
【００７２】
要求取得部１２４は、情報通信装置Ｐからの送信要求を取得する処理部である。識別表示データ送信部１２５は、要求取得部１２４が取得した送信要求に応じて、識別表示データを送信する処理部である。番組情報送信部１２６は、要求取得部１２４が取得した送信要求に応じて、番組情報を送信する処理部である。
【００７３】
共有情報収集部１２７は、他のサーバ等から、共有情報を収集する処理部である。共有情報送信部１２８は、要求取得部１２４が取得した送信要求に応じて、共有情報を送信する処理部である。検索部１２９は、受信した送信要求に応じて、記憶部１１０から必要な情報を検索する処理部である。
【００７４】
なお、配信サーバＳに、紙面Ｍを解析する解析部を設定してもよい。この解析部は、紙面Ｍの画像データを受信すると、その画像から、紙面Ｍの特徴データを抽出する。記憶部１１０は、番組表の特徴データを、番組の放送日付に関連付けて、日付ごとに記憶する。
【００７５】
［１−４．録画再生機器］
録画再生機器Ｖは、チューナー及び記録装置を備え、テレビに接続されたレコーダーである。たとえば、録画再生機器Ｖは、ＤＶＤレコーダー、ブルーレイレコーダー、ハードディスクレコーダーを含む。チューナー及び記録装置を備えたパーソナルコンピュータ、録画再生機能を備えたテレビも、録画再生機器Ｖとして機能する。
【００７６】
この録画再生機器Ｖは、チューナーにより受信した情報を記録し、録画した情報を再生する。録画再生機器Ｖは、情報通信装置Ｐからのコマンドに応じて動作するように、ネットワークＮとの接続設定がなされている。
【００７７】
［２．作用］
以上のような本実施形態の処理の一例を、図４のシーケンス図及び図５〜図７のフローチャートに従って説明する。なお、以下のような手順による処理方法も、本発明の一態様である。
【００７８】
［２−１．番組表の認識］
まず、情報通信装置Ｐは、あらかじめアプリのダウンロード及びインストールを完了しているものとする。また、配信サーバＳには、定期的に、番組表の特徴データがアップロードされ、これを記憶部１１０が、番組の放送日に関連付けて、日付ごとに記憶している。
【００７９】
そして、ユーザがアプリの起動操作を行うと、アプリが起動して設定の初期化を行うとともに、送受信部１０がネットワークＮへの接続を行い、撮像部１１が起動する（ステップ１０１）。
【００８０】
なお、配信サーバＳは、上記のようなタイミングで、特徴データを情報通信装置Ｐに配信する。たとえば、図４に示すように、起動したアプリが配信サーバＳに特徴データを要求すると、配信サーバＳが特徴データを送信する。この特徴データを、情報通信装置Ｐの送受信部が受信して、特徴データ記憶部２０が記憶する（ステップ１０２）。
【００８１】
ユーザは、雑誌、新聞等の番組表が掲載された紙面Ｍに、撮像部１１の光学部１１ａを向ける。すると、イメージセンサ部１１ｂが受光した光に基づいて、ライブビュー画像制御部２８ａが、紙面Ｍのライブビュー画像を、表示部１３に表示させる（ステップ１０３）。
【００８２】
特徴抽出部２２ａは、ライブビュー画像から、紙面Ｍの特徴データを抽出する（ステップ１０４）。マッチング部２３は、特徴データ記憶部２０に記憶された特徴データと、特徴抽出部２２ａにより抽出された特徴データとをマッチングすることにより、撮像された紙面Ｍの番組表、その日付及び各番組欄を特定する（ステップ１０５）。特徴データ記憶部２０に該当する特徴データが存在しない場合には、マッチング部２３は、番組表の特定はできない（ステップ１０６のＮＯ）。なお、番組表の特定ができるまで若しくはアプリ終了まで、この処理は繰り返される。
【００８３】
マッチング部２３が日付及び各番組欄を特定できた場合（ステップ１０６のＹＥＳ）、要求部２４は、特定された番組表の日付により、配信サーバＳへ識別表示データの要求を出力する（ステップ１０７）。
【００８４】
送受信部１０は、図４に示すように、識別表示データの要求を配信サーバＳへ送信する。配信サーバＳにおいては、送受信部１２１が受信した認識表示データの要求を、要求取得部１２４が取得する。検索部１２９は、要求された日付の番組表に対応する識別表示データを、記憶部１１０から検索する。識別表示データ送信部１２５は、検索された識別表示データを送受信部１２１に送信させる。
【００８５】
［２−２．サーチモード表示］
情報通信装置Ｐにおける送受信部１０は、識別表示データを受信する（ステップ１０８）。そして、モード表示制御部２８ｃは、モード選択部２６の選択に応じて、表示部１３にモード表示をさせる（ステップ１０９）。ここでは、デフォルトでサーチモードとなっているため、モード表示制御部２８ｃは、表示部１３にサーチモード表示をさせる。
【００８６】
つまり、識別表示制御部２８ｂが、条件設定部２５に設定された条件に適合する番組欄に、表示部１３のライブビュー画像に重ねて、識別表示を表示させる。なお、このように識別表示される番組のタイトルも、番組情報要求部２４ｂの要求に応じて、番組情報送信部１２６が送信したものを、送受信部１０が受信する。そして、モード表示制御部２８ｃは、表示部１３のライブビュー画像とは別レイヤーで、タイトルを表示する。
【００８７】
このような表示例を、図８及び図９に示す。この例は、ライブビュー画像に含まれる紙面Ｍ上において、条件に合う２つの番組欄を、色分けされた枠で囲み、これを指し示す矢印を表示したものである。また、表示画面内の上部に、識別表示された番組のタイトルを表示している。
【００８８】
識別表示制御部２８ｂは、情報通信装置Ｐの位置や方向が変わって、ライブビュー画像内の番組欄が移動しても、当該番組欄の特徴データと、紙面Ｍにおける当該番組欄の位置座標に基づいて、識別表示を番組欄に追従させる。
【００８９】
なお、図９では、番組の更新情報を要求するボタンを表示している。このボタンを選択すると（ステップ１１１のＹＥＳ）、番組情報要求部２４ｂは、更新された番組情報の要求を送受信部１０を介して配信サーバＳに送信させる（ステップ１１２）。
【００９０】
そして、配信サーバＳの番組情報送信部１２６から更新情報が送信され、これを送受信部１０が受信して（ステップ１１３）、番組情報制御部２８ｄが表示部１３に表示させる（ステップ１１４）。ボタン表示の有無にかかわらず、識別表示された番組欄をタップすると、上記と同様に、当該番組の番組情報を表示してもよい。
【００９１】
また、図８及び図９の例では、当初の認識時にサーチモード表示をしない場合の例を示した。しかし、図１０に示すように、当初のサーチモードにおいて、モード表示部１３が、モード選択タブ等のインタフェースを表示させる設定でもよい。
【００９２】
図１０の例では、画面の上部に、モードを選択するタブが表示される。また、画面の下部には、条件設定部２５による条件設定を、あらかじめ設定されたジャンルに変更するためのジャンル選択ボタンが表示されている。
【００９３】
たとえば、図１１に示すように、ニュースのボタンを選択すると、識別表示制御部２８ｂは、ニュース番組を識別表示させる。このジャンル選択ボタンは、スクロールにより、他のジャンルを表示させることもできる。また、図１２に示すように、入力部１４により入力可能なキーワードで検索するためのインタフェースに変更することもできる。
【００９４】
さらに、番組情報の要求、表示の態様も、図１３〜図１５のようにすることもできる。すなわち、図１３に示すように、更新された番組情報がある場合に、番組情報制御部２８ｄは、画面にアイコンを表示させる。図１３の例では、「！」のアイコンが、画面の左上に表示される。
【００９５】
図１４に示すように、このアイコンがタップされると、番組情報要求部２４ｂの要求に応じて、配信サーバＳの番組情報送信部１２６から更新情報が送信される。そして、これを送受信部１０が受信して、番組情報制御部２８ｄが表示部１３に表示させる。
【００９６】
たとえば、図１５に示すように、番組情報がダイアログで表示される。番組情報が複数存在する場合には、ライブビュー画像上にスクロール画面で表示される。複数の番組に関する情報がある場合には、番組に番号を付して、表示している番組情報に対応する番組欄に、対応する番号を合わせて表示する。
【００９７】
上記のように、番組情報を表示した後、若しくは番組情報の要求がなく（ステップ１１０のＮＯ）、ユーザが撮像対象を、異なる日付の番組表に変更した場合（ステップ１１５のＹＥＳ）、上記のステップ１０４〜１１４の処理が行われる。
【００９８】
ユーザが撮像対象を変えず（ステップ１１５のＮＯ）、モード変更タブの操作もなく（ステップ１１６のＮＯ）、終了操作がない場合には（ステップ１１７のＮＯ）、ステップ１１１の処理に戻る。終了操作があった場合には（ステップ１１７のＹＥＳ）、送受信部１０は、ネットワークを切断し（ステップ１１８）、処理を終了する。
【００９９】
［２−３．機器操作モード表示］
モード変更のタブ操作がなされ（ステップ１１６のＹＥＳ）、機器モードの場合（ステップ１１９）、モード表示制御部２８ｃは、表示部１３の表示を機器モードとする（図６のステップ２０１）。この機器モードでも、たとえば、図１６に示すように、ライブビュー表示を含む画面表示となる。
【０１００】
ＵＩ制御部２８ｆは、ライブビュー表示された番組表のいずれかの番組欄が、タップにより選択されるのを待つ（ステップ２０２のＮＯ）。ＵＩ制御部２８ｆが、いずれかの番組欄が選択されたことを検出した場合（ステップ２０２のＹＥＳ）、情報通信装置Ｐは、上記のように、番組情報要求部２４ｂの要求に応じた当該番組の番組情報を取得する（ステップ２０３）。
【０１０１】
モード表示制御部２８ｃは、番組情報に含まれる当該番組の放送日時と、現在の日時との比較により、未放送の番組であると判断した場合には（ステップ２０４のＹＥＳ）、表示部１３に録画予約ボタンを表示させる（ステップ２０５）。たとえば、図１７に示すように、番組名、チャンネル、時間の表示とともに、録画予約ボタンが含まれた画面表示となる。
【０１０２】
なお、図１７の画面例では、詳細設定ボタン、次の番組ボタンが含まれている。詳細設定ボタンは、毎週連続して予約する、複数のハードディスクのうちのいずれかを指定する等、詳細な設定をする場合の選択をする。また、次の番組ボタンは、以下の場合に使用する。つまり、大きな枠の番組欄の前後にある時間の短い番組の場合、番組欄が狭くてタップによる選択がし難い。そこで、現在選択している番組の次の番組を、次の番組ボタンを選択すれば、当該次の番組の識別表示や選択が容易にできるようになる。
【０１０３】
ＵＩ制御部２８ｆは、表示された録画予約ボタンが選択されるのを待つ（ステップ２０６のＮＯ）。ＵＩ制御部２８ｆが録画予約ボタンが選択されたことを検出した場合（ステップ２０６のＹＥＳ）、機器動作要求部２４ｃは、当該番組の録画予約コマンドを、送受信部１０により送信させる（ステップ２０７）。これを受信した録画再生機器Ｖは、当該番組の録画予約設定を行う。
【０１０４】
なお、図１８に示すように、識別表示制御部２８ｂは、録画予約が設定された番組欄について、枠とともに、録画予約済みアイコンとして、時計のマークを表示させる。これにより、ユーザは、録画予約済みの番組を、確実に認識できる。
【０１０５】
また、図１９に示すように、録画が終了し、録画済みとなった場合には、識別表示制御部２８ｂは、当該番組欄について、録画済みを示すマークとして、▲を表示する。また、図１９に示すように、録画したデータを転送可能な場合には、転送可能を示すマークとして、矢印を表示する。
【０１０６】
なお、録画済が否かの判定は、たとえば、情報通信装置Ｐのメモリに記憶された録画履歴若しくは送受信部１０が録画再生機器Ｖとの通信時に受信する録画済番組のデータに基づいて行う。転送可能か否かは、録画再生機器Ｖ及び情報通信装置Ｐの設定による。
【０１０７】
モード表示制御部２８ｃは、選択された番組が未放送ではなく（ステップ２０４のＮＯ）、放送中の番組であると判断した場合には（ステップ２２０のＹＥＳ）、表示部１３に録画ボタン及び選局ボタンを表示させる（ステップ２２１）。たとえば、図２０に示すように、番組名、チャンネル、時間の表示とともに、録画ボタン、選局ボタンが含まれた画面表示となる。
【０１０８】
ＵＩ制御部２８ｆは、表示された録画ボタン若しくは選局ボタンが選択されるのを待つ（ステップ２２２のＮＯ）。ＵＩ制御部２８ｆが録画ボタン若しくは選局ボタンが選択されたことを検出した場合（ステップ２２２のＹＥＳ）、機器動作要求部２４ｃは、当該番組の録画コマンド若しくは選局コマンドを、送受信部１０により送信させる（ステップ２２３）。
【０１０９】
これを受信した録画再生機器Ｖは、録画コマンドの場合、放送中の当該番組の録画を行い、選局コマンドの場合、録画再生機器Ｖによる放送中の当該番組の表示を行う。
【０１１０】
図２１に示すように、録画済みの番組及びそれが転送可能な場合には、その番組にマークが表示されている。モード表示制御部２８ｃは、選択された番組が放送中でなく（ステップ２２０のＮＯ）、放送済で且つ録画済であると判断した場合（ステップ２３０のＹＥＳ）、表示部１３に機器再生ボタン及び転送ボタンを表示させる（ステップ２３１）。
【０１１１】
たとえば、図２２に示すように、番組名、チャンネル、時間の表示とともに、機器再生ボタン、転送ボタンが含まれた画面表示となる。
【０１１２】
ＵＩ制御部２８ｆは、表示された機器再生ボタン若しくは転送ボタンが選択されるのを待つ（ステップ２３２のＮＯ）。ＵＩ制御部２８ｆが機器再生ボタン若しくは転送ボタンが選択されたことを検出した場合（ステップ２３２のＹＥＳ）、機器動作要求部２４ｃは、当該番組の録画コマンド若しくは転送コマンドを、送受信部１０により送信させる（ステップ２３３）。
【０１１３】
これを受信した録画再生機器Ｖは、当該録画データの再生若しくは情報通信装置Ｐへの転送を行う。送受信部１０が転送された録画データを受信した場合、再生制御部２７は、音声出力部１２と、表示制御部２８により制御される表示部１３によって、録画データを再生させる。これにより、情報通信装置Ｐにおいて、録画した番組を視聴できる。
【０１１４】
上記の処理後若しくは選択された番組が録画済の番組でなく（ステップ２３０のＮＯ）、ユーザが撮像対象を変えた場合（ステップ２０８のＹＥＳ）、図５のステップ１０４の処理に戻る。ユーザが撮像対象を変えず（ステップ２０８のＮＯ）、モード変更タブの操作もなく（ステップ２０９のＮＯ）、終了操作がない場合には（ステップ２１０のＮＯ）、ステップ２０２の処理に戻る。終了操作があった場合には（ステップ２１０のＹＥＳ）、送受信部１０は、ネットワークを切断し（ステップ２１１）、処理を終了する。
【０１１５】
［２−４．ネットモード表示］
モード変更のタブ操作がなされ（ステップ１１６若しくはステップ２０９のＹＥＳ）、ネットモードが選択された場合（ステップ１１９若しくはステップ２１２））、モード表示制御部２８ｃは、表示部１３の表示をネットモードとする（図７のステップ３０１）。たとえば、図２３に示すような画面表示となる。
【０１１６】
図２３の例では、サーチモードと同様に、ライブビュー画像に含まれる紙面Ｍ上において、設定された条件に合う番組欄若しくはユーザが選択した番組欄に、枠が色分け表示される。また、画面の下部に、表示する共有情報を選択するための情報選択ボタンが表示される。たとえば、人気、レビュー、オススメ等のボタンが表示される。
【０１１７】
ＵＩ制御部２８ｆは、情報選択ボタンが選択されるのを待つ（ステップ３０２のＮＯ）。情報選択ボタンが選択されると（ステップ３０２のＹＥＳ）、共有情報要求部２４ｄは、更新情報の要求を、送受信部１０により、配信サーバＳに送信させる（ステップ３０３）。そして、配信サーバＳの共有情報送信部１２６から共有情報が送信され、これを送受信部１０が受信して（ステップ３０４）、識別表示制御部２８ｂが、共有情報を表示部１３に表示させる（ステップ３０５）。
【０１１８】
この共有情報の表示は、たとえば、人気ボタンが選択された場合、図２４に示すように、識別表示された番組毎に、Ｎｏ．１、Ｎｏ．２などのアイコンを表示する。また、図２５に示すように、レビューボタンが選択された場合、満点を５とするスター表示をする。オススメボタンが選択された場合、番組のオススメ情報をポップアップ表示する。
【０１１９】
上記の処理後、ユーザが撮像対象を変えた場合には（ステップ３０６のＹＥＳ）、図５のステップ１０４の処理に戻る。ユーザが撮像対象を変えず（ステップ３０６のＮＯ）、モード変更タブの操作もなく（ステップ３０７のＮＯ）、終了操作がない場合には（ステップ３０８のＮＯ）、ステップ３０２の処理に戻る。終了操作があった場合には（ステップ３０８のＹＥＳ）、送受信部１０は、ネットワークを切断し（ステップ３０９）、処理を終了する。
【０１２０】
モード変更のタブ操作がなされ（ステップ３０７のＹＥＳ）、機器モードが選択された場合（ステップ３１０）、モード表示制御部２８ｃは、表示部１３の表示を機器モードとする（図６のステップ２０１）。サーチモードが選択された場合、ステップ１１０の処理に戻る。
【０１２１】
なお、表示制御部２８による各種の情報の表示は、上記のように、２つの態様が設定可能である。まず、ライブビュー画像における番組表の番組の特定箇所に表示させて、撮像部１１が移動すると、特定箇所の位置に、情報の表示を追従させる態様がある。
【０１２２】
一方、ライブビュー画像とは別のレイヤーで、表示画面の特定位置に、各種の情報を表示させる態様である。この態様では、撮像部１１の移動によっても情報の表示は移動しない。このため、情報の内容を、ユーザに確実に見せることができ、ユーザも読み易いという利点がある。
【０１２３】
さらに、表示制御部２８は、上記のように、表示部１３に動画像を表示させることもできる。この場合、動画像のみを表示させてもよい。ただし、ライブビュー画像と、動画像を分割若しくはウィンドウ表示により、同時に表示させることにより、何の動画を再生しているのが、確認できる。ネットワークを介してやり取りされる情報、ソーシャルネットワークサービス（ＳＮＳ）などによるユーザ同士のコミュニティに関する情報、紙面において関連する他のページ番号を示すなど、他の情報をライブビュー画像とともに表示することで、関連情報の確認や操作を一画面に統合することができる。
【０１２４】
［３．効果］
以上のような本実施形態の効果は、以下の通りである。
［ユーザ側］
ユーザは、情報通信装置Ｐの撮像部１１を番組表に向けるだけで、即座に所望の番組を識別することができる。このため、領域の特定等の手間がかからず、非常に簡単でわかりやすい方法で、所望の番組を素早く認識できる。番組の特定に必要な情報等、操作に必要な情報の入力を、撮像部１１による画像認識で行うため、ＧＵＩのみによる複雑化、煩雑化しやすい操作を簡略化できる。つまり、あらかじめ設定された手順に従って文字入力を行う等の場合に比べて、撮像されて映し出された対象を、そのまま選択対象として用いることができるので、入力の手間を大幅に省くことができる。
【０１２５】
ＧＵＩを用いる場合にも、上記のように、要求する関連情報や機器動作に応じて、最適なモード表示に切り替えることで、いわばアナログ的な紙面の特定と、タッチパネルによる操作の良い部分を合わせたマンマシンインタフェースを利用できる。
【０１２６】
また、ユーザは、識別表示と同時に、当該番組の情報についても得ることができる。さらに、ユーザは、ライブビュー画像における番組欄を選択することにより、番組情報を簡単に得ることができる。
【０１２７】
また、ユーザは、機器モードにおいて、ライブビュー画像の番組欄を選択することにより、録画再生機器Ｖに、所望の番組の録画、再生等をさせることができる。このため、Ｇコードやバーコードの認識、文字識別等を行う手間がかからない。ユーザは、ライブビュー画像の番組表を見ながら、番組欄を選択できるので、どの番組を選択しているかが、わかり易い。さらに、Ｇコードやバーコードの印刷スペースが不要となるので、より多くの番組情報を得られる。
【０１２８】
また、番組表のように、ユーザが見てレイアウトに意味をなす情報を表示した紙面を認識の対象とすることにより、認識で得られる紙面の大きさに対する比率からの座標の特定で、プログラムにより動的な位置を合わせた対象に応じた関連情報の表示が可能となる。
【０１２９】
［番組表の提供者側］
雑誌や新聞等の紙媒体における番組表は、電子番組表に比べて、上記のように、一日の全ての番組を一覧することに適している。この利点に加えて、本実施形態を利用することにより、所望の番組の検索、番組の録画予約等を簡単に行うことができる。このため、提供者側は、雑誌や新聞等の紙媒体の購買意欲を高めることができる。電子番組表に比べた紙媒体の価値の再認識にも繋がる。
【０１３０】
［４．他の実施形態］
なお、本発明は上記実施形態に限定されるものではない。番組表としては、あらゆる放送番組の番組表が含まれる。したがって、地上波デジタル、ＢＳ、ＣＳ、ケーブルテレビ、インターネットテレビの番組表も含まれる。ラジオ放送の番組表も含まれる。
【０１３１】
また、紙面に表示された内容は、番組表には限定されない。たとえば、外部機器を、電子レンジ等の調理機器とし、料理のレシピ本を撮像すると、レシピの内容に応じて調理機器を設定するコマンドを送信するようにしてもよい。この場合も、撮像されて映しだされた映像を、選択の対象とすることにより、調理モードや時間等、操作に必要な情報の入力の手間を省くことができる。
【０１３２】
また、取扱説明書の内容を撮像すると、その取扱説明書の対象機器に対して、設定を行うコマンドを送信するようにしてもよい。たとえば、エアコンの故障を点検するコマンド、デジタルカメラの設定を切り替えるコマンドを送信することもできる。この場合も、撮像されて映しだされた映像を、選択の対象とすることにより、頁に記載されている調整設定等、操作に必要な情報の入力の手間を省くことができる。
【０１３３】
識別表示としてのアイコンの態様については、上記の態様には限定されない。たとえば、立体的な表示態様としたり、大きさや位置が変化する動きのある表示態様とすることもできる。さらに、検索結界の一致度の度合い、たとえば、俳優であれば主演か、脇役かなどによって、アイコンの大きさ、動きを変えることもできる。番組欄等を識別する枠自体を動かしたり、色を変えたりすることもできる。
【符号の説明】
【０１３４】
Ｍ…紙面
Ｎ…ネットワーク
Ｐ…情報通信装置
Ｓ…配信サーバ
Ｖ…録画再生機器
１０…送受信部
１１…撮像部
１１ａ…光学部
１１ｂ…イメージセンサ部
１２…音声出力部
１３…表示部
１４…入力部
２０…特徴データ記憶部
２２…解析部
２２ａ…特徴抽出部
２３…マッチング部
２４…要求部
２４ａ…識別表示データ要求部
２４ｂ…番組情報要求部
２４ｃ…機器動作要求部
２４ｄ…共有情報要求部
２５…条件設定部
２６…モード選択部
２７…再生制御部
２８…表示制御部
２８ａ…ライブビュー画像制御部
２８ｂ…識別表示制御部
２８ｃ…モード表示制御部
２８ｄ…番組情報制御部
２８ｅ…共有情報制御部
２８ｆ…ＵＩ制御部
１１０…記憶部
１２０…配信制御部
１２１…送受信部
１２２…アプリ配信部
１２３…特徴データ配信部
１２４…要求取得部
１２５…識別表示データ送信部
１２６…番組情報送信部
１２７…共有情報収集部
１２８…共有情報送信部
１２９…検索部
【図１】
2014017791.tif 000003
【図２】
2014017791.tif 000004
【図３】
2014017791.tif 000005
【図４】
2014017791.tif 000006
【図５】
2014017791.tif 000007
【図６】
2014017791.tif 000008
【図７】
2014017791.tif 000009
【図８】
2014017791.tif 000010
【図９】
2014017791.tif 000011
【図１０】
2014017791.tif 000012
【図１１】
2014017791.tif 000013
【図１２】
2014017791.tif 000014
【図１３】
2014017791.tif 000015
【図１４】
2014017791.tif 000016
【図１５】
2014017791.tif 000017
【図１６】
2014017791.tif 000018
【図１７】
2014017791.tif 000019
【図１８】
2014017791.tif 000020
【図１９】
2014017791.tif 000021
【図２０】
2014017791.tif 000022
【図２１】
2014017791.tif 000023
【図２２】
2014017791.tif 000024
【図２３】
2014017791.tif 000025
【図２４】
2014017791.tif 000026
【図２５】
2014017791.tif 000027