(57)【要約】【課題】コンテンツに基づいて表示された静止画群対して、ユーザが所定の指示を行うことにより、適切にコンテンツを活用することを可能にするコンテンツ表示装置等を提供すること。【解決手段】入力されたトリガのタイミングの表示コンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出して表示する静止画群表示手段と、表示された静止画群の表示位置を指定することが可能な表示位置指定手段と、前記指定された表示位置から認識される情報素材に基づいてレコメンドを表示可能なレコメンド表示手段と、を備えることを特徴とする。【選択図】図２
2013219447.tif 000002
【特許請求の範囲】
【請求項１】
映像データを含むコンテンツを表示可能なコンテンツ表示装置において、
入力されたトリガのタイミングの表示コンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出して表示する静止画群表示手段と、
表示された静止画群の表示位置を指定することが可能な表示位置指定手段と、
前記指定された表示位置から認識される情報素材に基づいてレコメンドを表示可能なレコメンド表示手段と、
を備えることを特徴とするコンテンツ表示装置。
【請求項２】
前記レコメンド表示手段は、前記指定された表示位置に含まれる文字列を情報素材として認識することを特徴とする請求項１に記載のコンテンツ表示装置。
【請求項３】
前記レコメンド表示手段は、前記指定された表示位置に含まれる画像を情報素材として認識することを特徴とする請求項１に記載のコンテンツ表示装置。
【請求項４】
前記コンテンツには、付随情報が更に含まれており、
前記レコメンド表示手段は、前記付随情報を利用して情報素材を認識することを特徴とする請求項１から３の何れか一項に記載のコンテンツ表示装置。
【請求項５】
請求項１から４の何れか一項に記載のコンテンツ表示装置が接続され、映像データを含むコンテンツを受信するコンテンツ受信装置において、
前記コンテンツ受信装置又は前記コンテンツ表示装置に入力されたトリガのタイミングのコンテンツを、前記コンテンツ表示装置へ送信するコンテンツ送信手段を備えることを特徴とするコンテンツ受信装置。
【請求項６】
映像データを含むコンテンツを受信するコンテンツ受信装置に接続され、前記コンテンツ受信装置から転送されるコンテンツを表示可能なコンテンツ表示装置において、
入力されたトリガのタイミングに基づいてコンテンツを前記コンテンツ受信装置から取得するコンテンツ取得手段と、
前記取得されたコンテンツに含まれる映像データから、入力されたトリガのタイミングの表示コンテンツに対応する静止画群を生成又は抽出して表示する静止画群表示手段と、
表示された静止画群の表示位置を指定することが可能な表示位置指定手段と、
前記指定された表示位置から認識される情報素材に基づいてレコメンドを表示可能なレコメンド表示手段と、
を備えることを特徴とするコンテンツ表示装置。
【請求項７】
映像データを含むコンテンツを表示可能なコンピュータにおいて、
入力されたトリガのタイミングの表示コンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出して表示する静止画群表示機能と、
表示された静止画群の表示位置を指定することが可能な表示位置指定機能と、
前記指定された表示位置から認識される情報素材に基づいてレコメンドを表示可能なレコメンド表示機能と、
を実現させるためのプログラム。
【請求項８】
映像データを含むコンテンツを再生可能なコンテンツ再生装置において、
入力されたトリガのタイミングのコンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出する静止画群生成手段と、
前記静止画群における指定位置の入力を受け付ける指定位置受付手段と、
前記静止画群における指定位置に基づいて、ユーザへのレコメンドを生成するための処理を、決定して実行するレコメンド実行手段と、
を備えることを特徴とするコンテンツ再生装置。
【請求項９】
前記レコメンド実行手段は、前記静止画群における指定位置に基づいてコンテンツから抽出した情報素材に基づいて決定されることを特徴とする請求項８に記載のコンテンツ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを含むコンテンツを表示可能なコンテンツ表示装置等に関する。
【背景技術】
【０００２】
各種コンテンツを利用することにより、複数のコンテンツやサービスを活用するニーズが高まっている。各種コンテンツのうち、放送コンテンツを例にあげると、テレビの放送通信融合に向けた様々な取り組みが模索されている。すなわち、放送コンテンツをトリガにした関連情報へのアクセスに対してユーザのニーズが高まっている。
【０００３】
この場合、ＴＶ等において表示されている放送番組自体に含まれる情報のうち、興味ある対象物や必要と感じる画面領域等に対して、直接働きかけ、検索・保存・外部機器での活用を、直感的に行う手段が望まれている。
【０００４】
例えば、ユーザが映像中の表示物をタッチパネル等で指示した場合に、当該指示に対応する指示座標情報及び指示タイミング情報を検索サーバに送信し、当該検索サーバから対応する表示物のデータを取得して画面に表示することにより、映像データを配信する際の配信データ量を増大させることもなく、映像中の所望の表示物に関する詳細な情報を画面に表示させることができる発明が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００９／１４５２３３号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、表示されている放送コンテンツに対して、直接操作指示することにより、ユーザは様々な情報を活用することができる。しかし、放送コンテンツに含まれる情報を、ユーザが活用したい場合、現状は、放送局等の配信側があらかじめデータ放送等を用いたリンク情報等のメタデータを付与しておく必要があった。
【０００７】
一方、ユーザニーズは非常に多様化しているため、情報付与作業が膨大で、配信側に多大な手間とコストが発生してしまうという問題点があった。更に、これらの作業は本質的には、予測不能なライブ映像等への対応は困難という問題点もあった。
【０００８】
また、コンテンツからユーザが情報を取得したい場合、現状は、詳細なメタデータ付与がなければ、多様な文字やモノや人等の対象を、簡単に適切に指し示す手段が存在しない。それらの対象に関連する情報も、映像やブログ、つぶやき等、多種にわたることが一般的なため、たとえ対象を適切に指し示すことができたとしても、情報活用やアクションへ適切にユーザを導くことが難しいという問題点があった。
【０００９】
また、上述した特許文献１では、適切にユーザの所望する情報を表示させるため、指示座標情報及び指示タイミングの他にサービス識別子と呼ばれる情報を検索キーとしている。このサービス識別子は、映像データ供給側が予め対象物となるデータを準備しておく必要があり、必ずしも適切に利用できるとは限らなかった。
【００１０】
また、表示されている映像データに対して指示入力を行うため、動きの早い映像や細かい領域の指示を行うことは難しかった。特に、ユーザが所望する情報に対して、指示入力を行う前に場面が切り替わってしまうという問題点も生じていた。
【００１１】
上述した課題に鑑み、本発明の目的は、コンテンツに基づいて表示された静止画群に対して、ユーザが所定の指示を行うことにより、適切にコンテンツを活用することを可能にするコンテンツ表示装置等を提供することである。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明のコンテンツ表示装置は、
映像データを含むコンテンツを表示可能なコンテンツ表示装置であって、
入力されたトリガのタイミングの表示コンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出して表示する静止画群表示手段と、
表示された静止画群の表示位置を指定することが可能な表示位置指定手段と、
前記指定された表示位置から認識される情報素材に基づいてレコメンドを表示可能なレコメンド表示手段と、
を備えることを特徴とする。
【００１３】
また、本発明のコンテンツ受信装置は、
本発明のコンテンツ表示装置が接続されており、映像データを含むコンテンツを受信するコンテンツ受信装置において、
前記コンテンツ受信装置又は前記コンテンツ表示装置に入力されたトリガのタイミングのコンテンツを、前記コンテンツ表示装置へ送信するコンテンツ送信手段と、
を備えることを特徴とする。
【００１４】
また、本発明のコンテンツ表示装置は、
映像データを含むコンテンツを受信するコンテンツ受信装置に接続され、前記コンテンツ受信装置から転送されるコンテンツを表示可能なコンテンツ表示装置において、
入力されたトリガのタイミングに基づいてコンテンツを前記コンテンツ受信装置から取得するコンテンツ取得手段と、
前記取得されたコンテンツに含まれる映像データから、入力されたトリガのタイミングの表示コンテンツに対応する静止画群を生成又は抽出して表示する静止画群表示手段と、
表示された静止画群の表示位置を指定することが可能な表示位置指定手段と、
前記指定された表示位置から認識される情報素材に基づいてレコメンドを表示可能なレコメンド表示手段と、
を備えることを特徴とする。
【００１５】
また、本発明のプログラムは、
映像データを含むコンテンツを表示可能なコンピュータにおいて、
入力されたトリガのタイミングの表示コンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出して表示する静止画群表示機能と、
表示された静止画群の表示位置を指定することが可能な表示位置指定機能と、
前記指定された表示位置から認識される情報素材に基づいてレコメンドを表示可能なレコメンド表示機能と、
を実現させることを特徴とする。
【００１６】
また、本発明のコンテンツ再生装置は、
映像データを含むコンテンツを再生可能なコンテンツ再生装置において、
入力されたトリガのタイミングのコンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出する静止画群生成手段と、
前記静止画群における指定位置の入力を受け付ける指定位置受付手段と、
前記静止画群における指定位置に基づいて、ユーザへのレコメンドを生成するための処理を、決定して実行するレコメンド実行手段と、
を備えることを特徴とする。
【発明の効果】
【００１７】
本発明のコンテンツ表示装置によれば、入力されたトリガのタイミングの表示コンテンツに対応する静止画群を、コンテンツに含まれる映像データから生成又は抽出して表示し、表示された静止画群の表示位置を指定する。そして、指定された表示位置から認識される情報素材に基づいてレコメンドが表示可能となる。これにより、コンテンツに含まれる映像データから生成された静止画群に基づいて領域が選択されると、選択された領域に基づいて情報素材が認識され、情報素材に応じた処理が適切に実行できるようになる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態における全体を説明するための図である。
【図２】第１実施形態におけるコンテンツ表示装置の機能構成を説明するための図である。
【図３】第１実施形態におけるキャプチャ処理について説明をするための図である。
【図４】第１実施形態における解析処理について説明をするための図である。
【図５】第１実施形態におけるタッチ入力の動作について説明するための図である。
【図６】第１実施形態における静止画群に対する文字情報処理について説明するための図である。
【図７】第１実施形態における静止画群に対する文字情報処理について説明するための図である。
【図８】第１実施形態における静止画群に対する文字情報処理について説明するための図である。
【図９】第１実施形態における第１実施例を説明するための図である。
【図１０】第１実施形態における第２実施例を説明するための図である。
【図１１】第２実施形態における全体を説明するための図である。
【図１２】第２実施形態における機能構成を説明するための図である。
【図１３】第２実施形態における実施例を説明するための図である。
【図１４】第２実施形態における実施例を説明するための図である。
【図１５】第２実施形態における実施例を説明するための図である。
【図１６】第２実施形態における実施例を説明するための図である。
【図１７】第２実施形態における実施例を説明するための図である。
【図１８】第３実施形態について説明するための図である。
【発明を実施するための形態】
【００１９】
続いて、本発明のコンテンツ表示装置を適用した場合における実施形態について、図を使って説明する。本実施形態におけるコンテンツ表示装置は、放送局等の発信元より配信されている放送コンテンツ（番組）を受信して表示する装置を例にとって説明する。
【００２０】
［１．第１実施形態］
［１．１  全体説明］
まず、全体説明について図１を用いて説明する。図１は、第１実施形態におけるコンテンツ表示装置１０の外観図である。コンテンツ表示装置１０は、種々のコンテンツを表示可能であり、また、可搬型でも据え置き型であっても良い。また、詳細は後述するが、例えばＬＣＤ（Liquid Crystal Display）により構成されている表示部と、音声出力部とを有しており、ユーザはコンテンツ（例えば、放送局から受信される放送コンテンツ、ネットワークから受信される通信コンテンツ等）の視聴が行える装置である。
【００２１】
［１．２  機能構成］
続いて、コンテンツ表示装置１０の機能構成について、図２を用いて説明する。コンテンツ表示装置１０は、制御部１００と、コンテンツ受信部１１０と、逆多重化部１１５と、キャプチャ制御部１２０と、情報解析部１３０と、記憶部１４０と、トリガ入力部１５０と、ネットワーク通信部１６０と、出力制御部１７０と、音声出力部１７５と、表示部１８０と、操作部１８５とを備えて構成されている。
【００２２】
制御部１００は、コンテンツ表示装置１０の全体を制御するための機能部である。制御部１００は、記憶部１４０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Process Unit）等により構成されている。
【００２３】
コンテンツ受信部１１０は、コンテンツ表示装置１０が、コンテンツを受信するための機能部である。ここで、本実施形態において取得されるコンテンツは、外部の放送局から、例えば、地上波デジタル放送や、デジタル衛星放送、ケーブルテレビ等を介して受信される放送コンテンツである。
【００２４】
なお、コンテンツ受信部１１０が受信するコンテンツは、放送コンテンツ以外にも、例えば記憶部１４０や、外部の記録媒体に記録されているマルチメディアコンテンツや、ネットワークを介して受信されるＩＰマルチキャスト放送や、ＷＥＢ等の通信コンテンツであっても良い。
【００２５】
逆多重化部１１５は、コンテンツ（例えば、受信された放送コンテンツ）から、映像データ、音声データ、文字データ等といった多重化されているデータ（ストリーム）を逆多重化するための機能部である。逆多重化部１１５により、分離された各種データ（ストリーム）は、各機能部にそれぞれ出力されることとなる。
【００２６】
キャプチャ制御部１２０は、後述するキャプチャ処理を実行する場合に利用される機能部である。キャプチャ制御部１２０が、キャプチャ処理を実行することにより、コンテンツから抽出（分離）される映像データから静止画（群）をキャプチャすることとなる。
【００２７】
情報解析部１３０は、後述する解析処理を実行するための機能部である。例えば、静止画（群）の画像を解析することにより文字列を情報素材として認識したり、オブジェクトを情報素材として認識したりする。また、当該文字列のカテゴリを判定し、当該識別された文字列及びカテゴリに基づいて適切な処理を実行できるように、制御を行うことが可能である。すなわち、ユーザからの入力や、指示入力された座標等を解析し、情報素材に対応したレコメンド処理を決定する。具体的な情報解析部１３０の仕組みについて、以下例をあげて説明する。
【００２８】
（１）操作部１８５のタップ入力を基に、その座標周辺にある画像を文字、ＵＲＬであると判断をした場合、当該文字等を情報素材として認識する。そして、ネットワーク通信部１６０を通して、ＵＲＬの示すウェブページのタイトルを取得した後、ユーザにそこへジャンプするレコメンド処理を示す。
【００２９】
（２）操作部１８５のスライド入力を基に、そのライン上の画像が文字列と判断された場合、当該文字列を情報素材として認識する。その情報素材が住所である場合は、旅行情報、地図情報等へのジャンプ、その情報素材が住所ではない場合は、その文字による検索結果へジャンプ等のレコメンド処理を示す。
【００３０】
（３）レコメンド処理として「保存する」という処理を示し、利用者がその処理を選らんだ場合、テキストか画像か映像等の形式を、更にレコメンド処理として示す。
【００３１】
（４）１つの静止画に対して、円形や矩形で領域指定が入力された場合、そこに含まれる画像を、宅内ネットワークに属しているプリンタへ送信する等のレコメンド処理を追加する。
【００３２】
（５）１つの静止画に対して、タップや領域指定が行われ、かつ、そこに文字が含まれないと判断された場合、類似画像検索へのジャンプを、レコメンド処理として示す。また、その類似画像検索等の検索を行う際、時間的に隣接する静止画の同一座標上の画像データも一緒に検索のためのデータとして活用する。
【００３３】
（６）時刻の異なる複数の静止画に対して、例えば領域指定が行われた場合に、そこに含まれる画像を比較して、同一対象物だと判断した際、複数の静止画の間の時刻の静止画における対象物の「動き」を解析して、例えば、「猫のジャンプ」等を情報素材（検索キー）として活用するレコメンド処理を追加する。
【００３４】
（７）長タップ、フリック、フリップ等の動作が行われた際、その動作が行われた画像の一部に文字等の情報が含まれるかどうかの解析を行った上で、特に情報素材が抽出されなかった場合等は、その映像データ全体や、コンテンツ全体が指定されたと判断し、コンテンツ全体に関連する通信コンテンツを含むＶＯＤコンテンツの有無を調べてレコメンド処理として示す。
【００３５】
記憶部１４０は、コンテンツ表示装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１４０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。
【００３６】
また、記憶部１４０には、記憶領域として、コンテンツデータ記憶領域１４２と、コンテンツ作業領域１４４と、静止画群記憶領域１４６が確保されている。
【００３７】
コンテンツデータ記憶領域１４２は、コンテンツ受信部１１０により受信されたコンテンツが記憶される領域である。記憶されるコンテンツには、コンテンツに関するデータ、例えば、放送コンテンツであれば、映像データ、音声データ、番組情報、メタデータ等が含まれている。
【００３８】
コンテンツ作業領域１４４は、表示されているコンテンツ又は記憶されているコンテンツのうち、必要に応じてキャプチャされたコンテンツが作業用（一時記憶用）に記憶される領域である。例えば、受信されているコンテンツから１０秒間分のコンテンツが記憶される。
【００３９】
静止画群記憶領域１４６は、コンテンツ作業領域１４４に記憶されたコンテンツから生成される静止画群が記憶される領域である。具体的には、コンテンツ作業領域１４４に記憶されている作業用のコンテンツに含まれる映像データから静止画群が生成されることとなる。
【００４０】
ここで、静止画群は、原則として映像データの複数フレーム画像をキャプチャした複数の静止画から構成されているが、１枚の静止画から構成されていても良い。この場合、静止画群として複数の静止画から構成されている場合は、より認識処理の精度が高まることとなる。
【００４１】
トリガ入力部１５０は、ユーザの動作に応じて、後述するキャプチャ処理を実行するトリガを検知するための機能部である。例えば、コンテンツ表示装置１０に内蔵された加速度センサや、照度センサを利用することにより、コンテンツ表示装置１０の動きをトリガとして検知しても良い。また、光センサや温度センサ、赤外センサ等により、利用者の動きを検知し、利用者の動きに応じてトリガが入力されることとしても良い。
【００４２】
ネットワーク通信部１６０は、他の装置等と通信を行うための機能部である。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）や、ＵＳＢといった有線接続するためのインタフェースや、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎといった無線ＬＡＮのインタフェースにより構成されている。
【００４３】
出力制御部１７０は、各種機能部の出力を制御するための機能部である。例えば、音声出力部１７５の音声出力や、表示部１８０の表示制御、操作部１８５の操作入力を検出したりしている。
【００４４】
音声出力部１７５は、音声出力を行うための機能部である。例えば、スピーカやヘッドホン等により構成されている。また、表示部１８０は、各種表示を行うための機能部であり、例えばＬＣＤ、有機ＥＬパネル等により構成されている。
【００４５】
操作部１８５は、ユーザからの操作入力を受け付けるための機能部である。本実施形態においては、表示部１８０の一体に構成されたタッチパネルを想定している。なお、マウスや、音声、動きセンサといった他の種類のものであっても良い。
【００４６】
［１．３  処理の流れ］
続いて、本実施形態における処理の流れについて図を用いて説明する。
【００４７】
［１．３．１  キャプチャ処理］
まず、キャプチャ処理について図３を用いて説明する。キャプチャ処理は、コンテンツ表示装置１０において、コンテンツが表示されている間（例えば、放送局からコンテンツ受信部１１０を介して放送コンテンツを受信し、表示されている間）、実行されている処理である。
【００４８】
トリガ入力部１５０により、トリガ入力が検知されると（ステップＳ１０２；Ｙｅｓ）、コンテンツを取得し（ステップＳ１０４）、コンテンツ作業領域１４４に一時記憶する（ステップＳ１０６）。なお、トリガ入力検知以降の各処理の間、表示部の一部に受信コンテンツが継続して表示されるようにしてもよい。
【００４９】
この場合、例えば、表示部内の隅等の、静止画群の表示をできるだけ妨げない領域に、受信コンテンツを引き続き表示したり、ボタンやタブ等により、受信コンテンツ表示と静止画群表示を切り替えられるようにしたりすることもできる。また、それらを含む方法に基づく表示の際、トリガ入力のタイミングで受信コンテンツの記録を開始させたり、ユーザの表示内容に基づいて、表示させていない時間のみ受信コンテンツを自動的に記憶しておくようにしたりすることもできる。
【００５０】
ここで、コンテンツの一例として、放送コンテンツの場合、放送コンテンツの番組に付随する情報として番組情報が含まれている。番組情報には、当該番組のタイトル、放送時間、放送局、番組内容、出演者、キーワードといった種々の情報が含まれている。また、放送コンテンツの付随情報として、各種文字情報や、メタデータ等が含まれていても良い。
【００５１】
そして、利用者から現在取得されたコンテンツに基づいてレコメンド処理を実行する要求であるレコメンド要求を検知する（ステップＳ１０８）。レコメンド要求が所定時間検知されない場合は（ステップＳ１０８；Ｎｏ→ステップＳ１１６；Ｙｅｓ）、コンテンツ作業領域１４４に一時記憶されたコンテンツを消去し（ステップＳ１１８）、ステップＳ１０２から処理を繰り返し実行する。
【００５２】
この場合、レコメンド要求検知の方法としては、例えば、明示的にレコメンド要求をボタンで画面に表示する方法や、取得されたコンテンツの有無を、前記所定時間の間、表示部の一部にリスト形式等で表示しておいて、その表示領域に対する利用者のアクションをレコメンド要求として判断することもできる。
【００５３】
すなわち、トリガ入力により自動的にコンテンツが取得され、記憶されるが、利用者にとって意図しないトリガが検知されて記憶される場合がある。この場合は、利用者から関連コンテンツ要求が入力されないため、一時記憶したコンテンツを削除（消去）することにより、利便性を向上させている。
【００５４】
他方、利用者からレコメンド要求があった場合には（ステップＳ１０８；Ｙｅｓ）、コンテンツ作業領域１４４に一時記憶されたコンテンツから映像データを抽出する（ステップＳ１１０）。そして、抽出された映像データから静止画群が生成される（ステップＳ１１２）。当該生成された静止画群は、静止画群記憶領域１４６に記憶され、表示部１８０に所定の静止画が表示される（ステップＳ１１４）。この場合、例えば静止画群の中で最初の静止画を表示することとしても良いし、記録された複数の静止画群の中央、最後といった何れかの静止画が表示されたり、もちろん、静止画群のうちの複数の画像が時間順に並べて表示されたりしてもよい。
【００５５】
なお、このユーザからのレコメンド要求により、ステップＳ１０４及びＳ１０６において自動的に取得されたコンテンツが、次の解析処理で利用可能な様に記憶されることとなる。
【００５６】
なお、トリガ入力の方法（例えば利用者が画面をタップするといった意図的なトリガ入力の方法）によっては、ステップＳ１０６から直接ステップＳ１１０に処理を遷移させても良い。
【００５７】
［１．３．２  解析処理］
続いて解析処理について説明する。解析処理は、図３のキャプチャ処理のあと、表示されている静止画（静止画群）に対して、ユーザからの入力検知が行われた場合に実行される処理である。
【００５８】
ユーザからの入力の検知が行われると（ステップＳ２０２；Ｙｅｓ）、入力検知が指示操作か否かを判定する（ステップＳ２０４）。すなわち、ユーザが、コンテンツ表示装置１０に対して、例えばコンテンツの切り替えや、表示方法の切り替え、コンテンツの出力といった、種々の操作の指示を行うことができる。この、ユーザからの入力検知が、所定の指示操作であると判定された場合には（ステップＳ２０４；Ｙｅｓ）、対応する指示操作処理が実行される（ステップＳ２０６）。
【００５９】
他方、検知された入力が指示操作ではない場合（ステップＳ２０４；Ｎｏ）、すなわちコンテンツに対する指示の場合、入力検知から対象となっている静止画群と、アクション種と、座標とを判定する（ステップＳ２０８）。
【００６０】
ここで、入力検知から対象となっている静止画群とは、現在入力検知された（すなわちユーザが表示している）静止画に対応する静止画群を特定するための情報である。また、アクション種は、ユーザの入力方法により、「指定部」か「指定領域」が入力されたかを示す情報である。また、「指定部」又は「指定領域」に対応する「座標」についても入力検知から取得される。
【００６１】
ここで、入力検知からアクション種や座標を判定する方法の概略について、図５を用いて説明する。図５は、タッチパネルを用いてユーザから入力された場合の入力検知について説明するための図である。
【００６２】
例えば、図５（ａ）に示すように、所定の点がタップされた場合、当該タップされた座標を指定部として検知する。図５（ａ）の場合、（ｘ１，ｙ１）がタップされていることから、当該（ｘ１，ｙ１）が指定部として検知され、その周辺を指定部周辺として検知する。例えば、（ｘ１−１０、ｙ−１０）から（ｘ１＋１０、ｙ１＋１０）で囲まれた領域が指定部周辺として認識される。ここで、（ｘ、ｙ）の各軸の数値は、例えば、ミリメートル等の距離の単位でもよいし、画素数、もしくはそれに相当する値であってもよい。
【００６３】
他方、図５（ｂ）の用に、所定の範囲にわたって入力が検知された場合には、指定領域が入力されたと検知する。図５（ｂ）は、円を描くようにタップ入力されており、当該入力された領域（ｘ２，ｙ２）から（ｘ３，ｙ３）で囲まれた領域が指定領域として認識される。
【００６４】
更に、上記のような単純に座標範囲だけではなく、より精度の高い検出を行うようにしてもよい。例えば、画素の色度情報を活用する。具体的には、タップされた座標を中心に所定の範囲（３０×３０画素や５０×５０画素等）の領域を決め、その領域内の画素色度を平均し、領域を拡大していき色度が略一定の領域を検出。検出した領域を内接する長方形等で指定領域を確定する。
【００６５】
また、静止画全体の輪郭抽出を行い、タップされた時点で、静止画全体に対して、まず、画素の色情報（ＲＧＢ値）から明るさ情報（０〜２５５）を算出する。そして、あらかじめ決めておいた閾値で画像データを２値化する。閾値としては、例えば、最大値の半分として１２７にしておいてもよいし、静止画全体の明るさの平均値を算出した後、その中央としてもよい。その後、２値画像からエッジ部分を検出し、タップされた座標を囲むようなエッジを見つけるといった方法も可能である。そして、見つけたエッジに囲まれた領域を内接する長方形等で指定領域を確定する。更に、輪郭抽出の後、得られた形状からコンテンツのオブジェクト（情報素材）を類推することも可能である。
【００６６】
また、顔認識技術を活用してもよい。一般的には、静止画全体に対して、パターン照合等による顔認識処理を行い、顔領域を検出しておき、タップされた座標が顔領域内又はその近傍であれば顔領域を内接する長方形等で指定領域を確定する。また、パターン照合の場合、両目―鼻―口等の顔のパーツで認識処理を行うため、一般的に、検出される顔領域は頭部全体に比べて小さくなってしまうため、例えば、顔領域結果を内接する円形をまず決めた後、更に、その円形を内接する長方形を抽出するといった方法であっても良い。
【００６７】
なお、本実施形態においては、入力検知をする装置（手段）としては、タッチパネルを利用することとしても説明するが、他の方法を利用しても良い。例えば、マウスであったり、リモートコントローラであったり、ユーザの動きを装置本体に内蔵されたセンサで検出することとしても良い。
【００６８】
続いて、アクション種が「領域指定」であるか否かを判定する（ステップＳ２１０）。アクション種が「領域指定」の場合（ステップＳ２１０；Ｙｅｓ）、指定領域内に文字情報が含まれているのか否かを判定する（ステップＳ２２０）。ここで、指定領域内に文字情報が含まれている場合には、当該文字情報に基づいて文字情報処理を実行する（ステップＳ２１６）。他方、文字情報が含まれていない場合には、画像情報処理を実行する（ステップＳ２２２）。ここで、画像情報処理を実行したが、認識結果を取得できなかった場合には、コンテンツ情報処理を実行する（ステップＳ２２４；Ｎｏ→ステップＳ２３０）。
【００６９】
他方、ステップＳ２１０において、アクション種が「指定部」である場合（ステップＳ２１０；Ｎｏ）、指定部周辺に文字情報が含まれているか否かを判定する（ステップＳ２１２）。ここで、指定部周辺に文字情報が含まれている場合は（ステップＳ２１２；Ｙｅｓ）、文字情報処理が実行される（ステップＳ２１６）。
【００７０】
ここで、文字情報処理を実行することにより、文字情報を情報素材の認識結果として取得できなかった場合は（ステップＳ２１８；Ｎｏ）、コンテンツ情報処理を実行する（ステップＳ２３０）。
【００７１】
他方、ステップＳ２１２において、指定部周辺に文字情報が含まれていない場合、指定部周辺に顔や動物、物品等のオブジェクトが含まれているか否かを判定する（ステップＳ２１２；Ｎｏ→ステップＳ２１４）。
【００７２】
ここで、指定部周辺にオブジェクトが含まれている場合は、ステップＳ２２２（画像情報処理）から処理を進める（ステップＳ２１４；Ｙｅｓ→ステップＳ２２２）。しかし、指定部周辺にオブジェクトも含まれていない場合は（ステップＳ２１４；Ｎｏ）、コンテンツ情報処理が実行される（ステップＳ２３０）。
【００７３】
文字情報処理を実行して情報素材の認識結果がある場合（ステップＳ２１８；Ｙｅｓ）、画像情報処理を実行して情報素材の認識結果がある場合（ステップＳ２２４；Ｙｅｓ）又はコンテンツ情報処理を実行した場合（ステップ２３０）、当該情報素材に基づいてレコメンド処理が実行される（ステップＳ２３２）。
【００７４】
レコメンド処理とは、情報素材に基づいて判断され、利用者にとって適切な動作と思われる処理のことである。レコメンド処理としては、種々の方法が考えられるが、例えば、検索サイトにおいて、情報素材に基づいた検索結果を表示したり、情報素材に基づいたサイトを表示させたり、情報素材に基づいた電話番号に発信したりと、種々の処理を実行することが可能となる。この情報素材に対するレコメンド処理については、各処理から情報素材と併せて指示されることになる。以下、各処理について具体的に説明する。
【００７５】
（１）文字情報処理
文字情報処理は、画像から文字（列）を情報素材として認識する処理である。例えば、所定の領域の画像から、パターン認識により文字を認識する、いわゆるＯＣＲを実行することにより実現する処理である。
【００７６】
また、本実施形態の場合、文字列に例えば「http://」や「〒１２３」等が含まれる場合、「ウェブアドレス名」「住所」等のカテゴリ分けを、情報解析部１３０で行い、レコメンド処理として、「ウェブページへジャンプ処理」や「地図表示処理」等が決定される。この際、例えば対象となる文字列に対して、リンク情報やmailto、phoneto等のメタデータがあらかじめ付与されている場合には、それらのメタデータに基づく処理が、優先的にレコメンド処理として決定される。
【００７７】
また、特に、長い文字列の場合は、一度、ネットワーク通信部１６０から外部ネットワークを活用して、文字列そのままを検索し、検索結果ページ内でハイライトされた単語を抽出して、検索キー（語句）を取得してもよい。そして、当該検索キーを情報素材として「○○○を検索」等をレコメンド処理とすることも可能である。
【００７８】
文字列のカテゴリがわからない場合も、一度、通信部からその文字列を検索し、結果ページからその語が「人名」や「施設名」等の判断をすることができるため、その判断結果に基づいて、例えば「人名」なら「プロフィール」や「画像」の検索語を追加してレコメンド処理とする。
【００７９】
更に、長文やカテゴリ不明の文字列の場合や、指定された画像近傍に文字情報が含まれないと判断された場合には、キャプチャしたコンテンツに番組情報やメタデータ、字幕等が含まれていれば（コンテンツの付随情報が記憶されていれば）、それらのコンテンツ由来情報の文字列も情報素材として検索処理の精度を高めたり、あらかじめ、コンテンツ由来情報だけで検索処理を行っておき、その結果を文字認識の際、優先的にマッチングを確認したりすることも可能である。
【００８０】
更に、画像から文字認識を行う際、指定された静止画の前後数枚の静止画群に対して、同じ指定領域の画像部分で同様の文字認識処理を行うことで、認識精度を高めることができる。静止画群に対する処理についての詳細は後述する。
【００８１】
（２）画像情報処理
画像情報処理は、利用者が選択された領域に含まれる画像を情報素材として処理が実行される。すなわち、ユーザ入力が丸や四角等で囲むような領域指定の場合、「類似画像検索処理」をレコメンド処理とする。
【００８２】
また、囲まれた画像領域内に特定のオブジェクトが情報素材として認識された場合、オブジェクトによって、例えば、顔等が検出されたら「人物検索」等、家具や衣服等を検出されたら「商品検索」や「価格検索」等、食物や料理が検出されたら「レシピ検索」や「レストラン検索」等の処理をレコメンド処理とする。
【００８３】
例えば、情報解析部１３０で、画像認識を行い、顔だと判断したり、その形状や色等を認識することも可能であるため、その場合は、情報素材に「顔」や「○○色」等を追加し、検索処理をレコメンド処理とする（「類似顔検索」、「類似色画像検索」等）。
【００８４】
また、文字情報処理例と同様、コンテンツに含まれる付随情報（番組情報、放送由来情報の文字列）や、前後数枚の静止画群の活用等により、画像解析、オブジェクト認識、検索処理等の精度や効率を向上させることができる。
【００８５】
（３）コンテンツ情報処理
コンテンツ情報処理は、指定部周辺や、指定領域内に特定の文字列や、画像等を検出できなかった場合に実行される処理である。特にユーザ指示領域の画像解析、オブジェクト認識で特別な情報が含まれていない場合は、ユーザ指示がコンテンツ全体に対するものである可能性が高いと判断し、コンテンツの付随情報（例えば、ＥＰＧ等の情報）を基に、「関連動画検索（ジャンル、出演者、番組タイトル等）」や「番組検索（シリーズ番組の過去放送ＶＯＤコンテンツ、今後放送予定の同タイトル番組、同じジャンル番組等）」等といった処理をレコメンド処理とする。
【００８６】
特に、特別な情報が含まれないユーザの領域指定が、時刻の異なる複数の静止画群に対して存在する場合、コンテンツ全体だけでなく、シーンや詳細な場面単位でのユーザ指示である可能性が高いと判断し、当該画像の時刻情報から、情報解析部１３０でその時間領域の音声や字幕、メタデータ等の情報を抽出し、文字列を取りだす等の処理を行うことで、「シーン検索（ジャンルや出演者を限定した動画検索等）」や「BGM検索（音楽の一部から楽曲名検索等）」、「ロケーション検索（地名や建物名等を活用）」といった処理をレコメンド処理とする。
【００８７】
ここで、レコメンド処理として、レコメンドが一つの場合について説明したが、例えば複数ある場合を想定しても良い。例えば、画像情報処理において、複数のオブジェクトが認識された場合は、レコメンドリストを表示し、利用者に選択させることとしても良い。
【００８８】
また、上述した処理においては、説明の都合上、文字情報処理、画像情報処理、コンテンツ情報処理をそれぞれ説明したが、複数実行されることとしても良い。例えば、文字情報処理が実行された後に、画像情報処理が実行され、当該結果に基づいたレコメンドリストを表示することとしても良い。
【００８９】
［１．４  静止画群の利用］
［１．４．１  処理の説明］
ここで、本実施形態における静止画群の利用について、説明する。上述した通り、静止画群は、コンテンツから抽出された映像データからキャプチャ（取得）された静止画から構成されているものである。例えば、映像データからフレーム単位で静止画像をキャプチャし、それを複数まとめることにより静止画群となる。静止画群は、１枚しか含まれていない場合（この場合、静止画群は通常の静止画像である）もあるし、複数枚含まれている場合もある。これは、仕様によって決定しても良いし、ユーザが予め設定しても良い。また、コンテンツの受信状況、シーン切り替えの状況に応じて可変するような構成であっても良い。
【００９０】
具体的には、受信状況が悪い場合は、コンテンツが正しく取得できていない場合があるため、映像データから多くの静止画をキャプチャして静止画群を生成する。また、シーン切り替えが激しいコンテンツの場合は、画像が流れる（ぶれる）ため、映像データから多くの静止画をキャプチャして静止画群を生成する。逆に、風景映像のように、あまりシーンが切り替わらないコンテンツの場合は、キャプチャする静止画の枚数を減らして静止画群を生成する。これにより、静止画群の記憶量を調整することができる。
【００９１】
静止画群に基づいた処理について例えば文字情報処理を例にとって説明する。図６は、静止画群に対する文字情報処理について説明するための図である。
【００９２】
まず、指示入力画像をＮｏ．Ａとし、ユーザにより指示された座標領域（指定座標）として検出する（ステップＳ３０２）。すなわち、指定座標としては、指定部周辺領域の座標か、指定領域の座標が記憶されることとなる。
【００９３】
続いて、画像文字変換処理を行う（ステップＳ３０４）。画像文字変換処理は、例えばパターン認識を利用することにより、画像から文字を認識する処理である。従来から行われる例えばＯＣＲといった処理を実行することにより、文字（列）を認識することができる。
【００９４】
続いて、文字列が認識されたか否かを判定する（ステップＳ３０６）。ここで、何らかの文字列が認識された場合は、認識された文字列を画像Ｎｏに対応づけてリスト化する（ステップＳ３０８）。
【００９５】
続いて、リスト化された文字列が複数ある場合、各文字列の文字を比較し、共通文字と、相違文字を判別する。そして、共通する文字を抽出することにより、静止画群から共通の文字列を認識する（ステップＳ３１０）。例えば、１枚目「Ａ」、２枚目「Λ」、３枚目「Ａ」と認識された場合は、当該文字は「Ａ」と認識される。
【００９６】
続いて、認識されている文字列が、カテゴライズ処理で分類可能か否か判定する（ステップＳ３１２）。ここで、カテゴライズ処理とは、認識された文字列がどのようなカテゴリに分類されるかを判定する処理である。
【００９７】
一例として、例えばカテゴリとして「http://」から始まるＵＲＬ、「〒」「東京都」「○○県」等から始まる住所、「電話」「ＴＥＬ」から始まる電話番号といったカテゴリに分類することができる。更に、認識された文字列を辞書データ（辞書データは、予め記憶されていても良いし、ネットワークを介して照会しても良い）と比較し、一般の言葉であるか否かを比較する。そして、何れかのカテゴリに分類可能であれば、認識された文字列に決定し（ステップＳ３１２；Ｙｅｓ→ステップＳ３１４）、処理を終了する。
【００９８】
また、カテゴライズ処理については、カテゴリに応じて認識文字列が正しいか否かを判定することとしても良い。例えば「http://」で始まる場合には、ＵＲＬとして必要な長さを認識していない場合は、分類不可としたり、電話場号のカテゴリの場合には、電話番号の桁数の認識がされていない場合は分類不可としたりすることが可能である。
【００９９】
他方、文字列が認識されない場合（ステップＳ３０６；Ｎｏ）又はカテゴライズ処理で分類できない文字列の場合（ステップＳ３１２；Ｎｏ）、静止画群から異なる静止画を対象画像として指定する（ステップＳ３１６）。具体的には、現在のＮｏ．Ａから前後にｎ枚利用する。例えば、現在の指示入力画像（又は処理している画像）から１枚前、１枚後をそれぞれループして処理していくこととなる。
【０１００】
このとき、静止画群から選択される画像は、最初の画像（画像Ｎｏ．Ａ）において設定された指定座標領域と同じ領域の文字列を認識することとなる（ステップＳ３１６→ステップＳ３１８；Ｎｏ→ステップＳ３２０）。
【０１０１】
また、文字列を決定できずに静止画群に含まれている静止画総ての処理を終了してしまった場合には、文字列を決定（認識）できなかったとして、本処理は終了となる（ステップＳ３１８；Ｙｅｓ）。
【０１０２】
［１．４．２  処理例］
具体的な処理の例について、図を用いて説明する。図７は、５枚の静止画から構成されている静止画群を模式的に示す図である。本図では、図７（ｃ）が指示入力画像である。そして、図７（ｂ）（ｄ）が、前後１枚（フレーム）の静止画であり、図７（ａ）（ｅ）が前後２枚の静止画である。
【０１０３】
まず、図７（ｃ）の静止画で画像文字変換処理（図６のステップＳ３０４）を実行すると、文字列が認識されない（ステップＳ３０６；Ｎｏ）。したがって、対象画像を、Ａ−１（図７（ｂ））、Ａ＋１（図７（ｄ））について、同様に画像文字変換処理を実行する。
【０１０４】
そうすると、図７（ｂ）において、文字列「http://○△×.jp/」が認識される（ステップＳ３０６；Ｙｅｓ）。また、当該文字列は「ＵＲＬ」として認識され、認識された文字列はＵＲＬとして正しく文字列が表されている。したがって、「http://○△×.jp/」という文字列が情報素材として決定されることとなる（ステップＳ３１２；Ｙｅｓ→ステップＳ３１４）。
【０１０５】
次に、図８について説明する。図８も、図７と同様に５枚の静止画が含まれている静止画群を模式的に示した図である。
【０１０６】
まず、図８（ｃ）において、文字列が認識されないため、図８（ｂ）（ｄ）を用いて認識を行う。図８（ｂ）からは「http://○△」が認識される。また、図８（ｄ）からは「△×.jp/」が認識される。ここで、文字抽出結果リストには、「http://○△」と「△×.jp/」とが記憶されている。
【０１０７】
同様に、図８（ａ）（ｅ）について、画像文字変換処理を実行すると、「http://○△」と「△×.jp/」とが認識される。ここで、文字抽出結果のリストに記憶されるが、５枚の静止画から共通する文字列を抽出すると「http://○△×.jp/」となる。したがって、「http://○△×.jp/」という文字列が情報素材として決定されることとなる。
【０１０８】
このように、静止画群を利用することにより、適切に文字列を認識することができる。特に、映像コンテンツの様な動画をキャプチャした静止画の場合、適切に文字列を認識できない場合もあるため、極めて有効である。
【０１０９】
［１．５  実施例］
続いて実施例について、図を用いて説明する。
【０１１０】
［１．５．１  第１実施例］
まず第１実施例として、コンテンツにおいて表示されている文字を選択（タップ）することによって、関連する他のコンテンツ（例えばＷＥＢの通信コンテンツ）を表示する実施例について説明する。
【０１１１】
図９（ａ）は、現在受信されているコンテンツから抽出される映像データをキャプチャしたときの動作を説明するための図である。すなわち、図３のキャプチャ処理が実行された結果、映像データの一部がキャプチャされた状態を示す図である。例えば、領域Ｒ１００には、キャプチャがされたことをユーザに報知する文字表示が行われている。
【０１１２】
図９（ｂ）は、画面上にキャプチャした映像データに対応する静止画（静止画群）が表示されている。ここで、ユーザは、領域Ｒ１０２に表示されている文字を選択するため、領域Ｒ１０２の一部分をタップしている。
【０１１３】
これにより、アクション種は「指定部」であり、指定部周辺に文字情報を含んでいるため文字情報処理が実行される。そして、認識結果として「http://○△×.jp」が情報素材として認識され、カテゴリとして「ＵＲＬ」が検出される。
【０１１４】
そして、当該情報素材及びカテゴリに基づいてレコメンド処理により表示されたのが図９（ｃ）である。図９では、カテゴリが「ＵＲＬ」であるため、認識結果のＷＥＢページを自動的に表示している。
【０１１５】
このように、ユーザが画面上に表示されている文字（列）をタップすることで、当該タップされた文字列を情報素材として認識し、当該情報素材に基づく適切な処理（レコメンド処理）が実行されることとなる。そして、ユーザが所望する他のコンテンツが表示されることとなる。
【０１１６】
［１．５．２  第２実施例］
つづいて、第２実施例について説明する。図１０（ａ）は、現在受信されているコンテンツから抽出される映像データをキャプチャしたときの動作を説明するための図である。
【０１１７】
ここで、図１０（ｂ）に示すように、ユーザから円を描くようにタップ（スライド操作）が入力される。これにより、アクション種が「領域指定」と認識され、当該領域指定に含まれる画像や、オブジェクトが検出され、情報素材として処理されることとなる。
【０１１８】
例えば、図１０（ｃ）は、図１０（ａ）において、キャプチャされた静止画群に対応するコンテンツの付随情報（例えば、番組情報）である。当該番組情報を参照すると、「Ａ店」のコンテンツ（放送コンテンツ）が受信されて、キャプチャされたことが解る。
【０１１９】
したがって、コンテンツ情報処理（又は画像情報処理）において、「Ａ店」が情報素材として抽出され、レコメンド処理として「Ａ店」について検索され、検索結果が表示される。
【０１２０】
［２．第２実施形態］
続いて第２実施形態について説明する。第２実施形態は、コンテンツ表示装置と、コンテンツを受信するコンテンツ受信装置とが別装置で構成されており、接続されている場合について説明する。
【０１２１】
［２．１  全体説明］
図１１は、コンテンツ表示装置２０と、コンテンツ受信装置３０とが接続されている図である。コンテンツ受信装置３０により、コンテンツが受信される。受信されたコンテンツは、有線又は無線で接続されるコンテンツ表示装置２０に転送され、表示される。
【０１２２】
［２．２  機能構成］
続いて、コンテンツ表示装置２０及びコンテンツ受信装置３０の機能構成について図１２を用いて説明する。なお、第１実施形態における図２のコンテンツ表示装置１０のうち、コンテンツを受信するのに利用する機能部がコンテンツ受信装置３０に含まれており、他の機能部は同様である。ここで、コンテンツ表示装置１０と、コンテンツ表示装置２０と同一の機能部には同一の符号を付し、詳細な説明を省略する。
【０１２３】
コンテンツ表示装置２０は、制御部１００と、キャプチャ制御部１２０と、情報解析部１３０と、記憶部１４０と、トリガ入力部１５０と、ネットワーク通信部１６０と、出力制御部１７０と、音声出力部１７５と、表示部１８０と、操作部１８５と、機器通信部１９０とを備えて構成されている。
【０１２４】
機器通信部１９０は、コンテンツ受信装置３０と通信を行うための機能部である。コンテンツ受信装置３０の機器通信部３９０と接続され、コンテンツが転送される。ここで、機器通信部１９０は、無線接続又は有線接続で、コンテンツ受信装置３０と接続される。
【０１２５】
無線接続方式としては、例えば、赤外線方式（ＩｒＤＡ：Infrared Data Association）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＮＦＣ（Near Field Communication）といった近距離無線通信、ＵＷＢ（Ultra Wide Band）を利用した通信（ワイヤレスＵＳＢ、ワイヤレスＩＥＥＥ１３９４等）、無線化されたＨＤＭＩ等を利用可能である。また、有線接続方式としては、例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、ＨＤＭＩ（High-Definition Multimedia Interface）等を利用可能である。
【０１２６】
また、ネットワーク通信部１６０を利用することにより、例えば、無線ＬＡＮ等によって接続されることとしても良い。この場合、例えばＩＰネットワークであれば、お互いのＩＰアドレスが解ればよく、機器通信部１９０を有していなくても良い。
【０１２７】
コンテンツ受信装置３０は、制御部３００と、コンテンツ受信部３１０と、逆多重化部３１５と、音声出力部３７５と、表示部３８０と、操作部３８５と、機器通信部３９０とを備えて構成されている。ここで、コンテンツ受信部３１０は図２のコンテンツ受信部１１０と、逆多重化部３１５は図２の逆多重化部１１５と、音声出力部３７５は図２の音声出力部１７５と、表示部３８０は図２の表示部１８０と、操作部３８５は図２の操作部１８５と略同一の機能部であり、その詳細な説明を省略する。
【０１２８】
制御部３００は、コンテンツ受信装置３０の全体を制御するための機能部である。また、機器通信部３９０は、コンテンツ表示装置２０と通信を行う機能部であり、機器通信部１９０と略同一である。なお、コンテンツ表示装置２０において、ネットワーク通信部１６０を介してコンテンツ受信装置３０と通信を行う場合、コンテンツ受信装置３０は機器通信部３９０の代わりにネットワーク通信部１６０に対応するネットワーク通信部が必要となる。
【０１２９】
［２．３  処理の流れ］
続いて、第２実施形態の流れについて説明する。第２実施形態においても、第１実施形態と基本的な処理は同じである。
【０１３０】
第２実施形態は、キャプチャ処理の流れが第１実施形態とは異なる。すなわち、通常コンテンツは、コンテンツ受信装置３０において受信され、コンテンツ受信装置３０で表示されている。
【０１３１】
その状態で、コンテンツ表示装置２０において、トリガ入力を検知すると、コンテンツ表示装置２０から、コンテンツ受信装置３０へ、コンテンツを送信するように要求信号を送信する。
【０１３２】
コンテンツを送信する要求信号を受信したコンテンツ受信装置３０は、コンテンツ表示装置２０に対してコンテンツを送信（転送）する。コンテンツ表示装置２０は、その後コンテンツ（少なくとも映像データを含み、また、必要に応じて付随情報を含む）を受信する（図３のステップＳ１０６）。すなわち、ステップＳ１０４において、コンテンツを取得する先がコンテンツ受信装置３０である。
【０１３３】
このように、第２実施形態に基づけば、コンテンツ受信装置３０において受信しているコンテンツに基づいてキャプチャ処理、解析処理を実行する場合、例えば手元にある操作用のコンテンツ表示装置２０を利用することにより、容易にキャプチャ処理を実行することができる。
【０１３４】
［２．４  実施例］
続いて、第２実施形態に関する実施例について説明する。先ず、図１３は、コンテンツ受信装置３０においてコンテンツから抽出された映像データが表示され（図１３（ａ））、コンテンツ表示装置２０においてトリガが検出された状態を示す図（図１３（ｂ））である。この場合、コンテンツ受信装置３０にはコンテンツが表示され、コンテンツ表示装置２０においては、キャプチャを開始したことを報知する画面が表示されている。
【０１３５】
図１４は、キャプチャ処理が終わった状態を示す図である。この場合、図１４（ｂ）のコンテンツ表示装置２０の領域Ｒ２００には、キャプチャしたコンテンツに基づく静止画（群）が表示されている。そして、当該静止画（群）に表示されている人物の顔部分をタップした場合、当該人物を情報素材とし、情報素材に対応してレコメンド処理が実行される。なお、人物部分をタップすることにより、人物の情報を選択することになるが、例えば静止画を長タップすることにより、静止画全体を選択する指示を行うといった操作方法を取り入れても良い。
【０１３６】
続いて、タップされた領域から検出されるオブジェクトに基づいて、各種選択項目が表示されているのが、図１５（ｂ）である。この場合、図１４（ｂ）においてタップした周辺領域に含まれるオブジェクトの情報、画像認識から検出される内容、付随情報から検出される内容に基づいて、レコメンドリストが表示されている。ここで、例えばユーザにより「「本人○山△子」について」が選択された場合が図１６（ｂ）である。そして、図１６（ｂ）において、今度は「○山△子で検索」がタップ（選択）された状態が図１７（ｂ）である。
【０１３７】
このように、ユーザが最初にタップした（選択した）部分から関連のある項目を適切に検索し、関連する情報をレコメンド処理（リスト）として決定し、表示することができる。また、本実施形態の場合、コンテンツ受信装置３０は、コンテンツをそのまま表示し続けている（図１４（ａ）、図１５（ａ）、図１６（ａ）、図１７（ａ））。しかし、例えばコンテンツをコンテンツ表示装置２０に送信している間は表示しないこととしても良い。
【０１３８】
［３．第３実施形態］
続いて第３実施形態について説明する。第３実施形態は、更に外部機器が接続されている場合についての実施形態である。
【０１３９】
ここで、コンテンツ表示装置は、第１実施形態又は第２実施形態と略同一の構成である。第１実施形態又は第２実施形態と異なる点は、コンテンツ表示装置と、外部装置との連携が可能な点である。
【０１４０】
第３実施形態の機能構成について、図１８に示す。なお、図１８は、一例として第２実施形態のコンテンツ表示装置２０に、外部装置４０とが接続されている図を示している。ここで、本図ではコンテンツ表示装置２０を示しているが、機器通信部１９０を備えれば第１実施形態のコンテンツ表示装置１０でも同様なことが実現できる。また、外部装置４０は、コンテンツ表示装置２０と連携する種々の装置が想定されるが、以下、プリンタと冷蔵庫の場合を例にとって説明する。
【０１４１】
［３．１  プリンタの場合］
例えば、上述の実施形態で説明したように、キャプチャ静止画全体をユーザが指示した場合、コンテンツ表示装置２０の機器通信部１９０がプリンタへデータリクエストして、機器情報記憶部４２０にあるプリンタの状態（電源オン・オフ、紙量等）をデータ取得する。そして、印刷可能な場合は、レコメンド処理として「この画像を印刷する」を表示するといった連携が可能である。
【０１４２】
［３．２  冷蔵庫の場合］
タップ入力が検知された領域又は静止画全体で文字認識処理を行った場合、食材名やカップ数・重量等が記載されていれば、料理レシピの情報であると認識する。
【０１４３】
その場合に、コンテンツ表示装置２０の機器通信部１９０が外部装置４０（冷蔵庫）へデータリクエストして、機器情報記憶部４２０にある冷蔵庫の状態（在庫情報等）をデータ取得する。
【０１４４】
そして、コンテンツ表示装置２０側の情報解析部１３０で、画像内容と冷蔵庫在庫を比較する。不足な食材があった場合には、レコメンド処理として「冷蔵庫在庫の不足分表示」を提示し、選択するとレシピと不足分を表示する。更に、不足な食材に関しては、「その食材の価格情報を検索する」をレコメンド処理としたり、在庫だけでも作ることのできる「代替レシピを検索」をレコメンド処理としたりすることもできる。
【０１４５】
このように、外部装置と連携することにより、コンテンツに表示された内容をきっかけに様々な処理を実現できることとなる。
【０１４６】
［４．効果］
上述した各実施形態のコンテンツ表示装置を利用することにより、以下の様な効果が得られる。
【０１４７】
放送局側、配信側による、放送コンテンツへの詳細なメタデータ等を付与する手間やコストを削減しつつ、コンテンツ取得・情報活用等の多様なユーザニーズに対応できる。
【０１４８】
また、キャプチャ処理をユーザニーズ発生のタイミングでのみ動作するため、無駄な処理や記録容量の削減ができる。
【０１４９】
また、ユーザは、静止画群に対して指示入力を行うため、慌てずに適切な領域指定等が可能である。また、連続静止画群の複数静止画に対して領域指定等を行うことで、コンテンツ内の対象物を指示するだけでなく、その動作やアクションも指定することができる。
【０１５０】
また、静止画に対するユーザ入力に対して、画像解析によるオブジェクト認識等を行う際、「連続する前後の静止画群の近傍画像領域情報」、「放送コンテンツに含まれるＥＰＧ情報、メタデータ、字幕等」「ＥＰＧ情報やハッシュタグ等を経由したクラウド上の統計データ」等の情報を活用することができ、認識の精度や効率を向上することができ、より的確なユーザニーズへの対応が可能である。
【０１５１】
受信側でコンテンツ解析とその結果活用やアクション誘導を行うため、受信時のユーザ周囲の環境情報も取得し活用することができる。例えば、近くにプリンタがあれば印刷出力へ誘導したり、コンテンツ内のレシピ情報とユーザの冷蔵庫内の在庫とを対比したり等が可能となる。
【０１５２】
［５．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【０１５３】
また、第２実施形態におけるコンテンツ受信装置３０が、コンテンツ表示装置の機能のうち、一部又は全部の機能を実行できるように構成しても良い。例えば、第１実施形態におけるコンテンツ表示装置１０と同じ機能構成を第２実施形態のコンテンツ受信装置３０に含めることとしても良い。
【０１５４】
また、上述した実施形態では、コンテンツ表示装置の一例として放送コンテンツを受信して表示する装置を例にとって説明した。しかし、当該装置以外について、コンテンツが表示できるような装置であれば適用可能なことは勿論である。
【０１５５】
例えば、コンテンツとして、ＤＶＤやＢｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃといったメディアに記録されているマルチメディアコンテンツを対象としても良いし、ＩＰマルチキャスト放送等のようにネットワーク上で受信可能な通信コンテンツを対象としてもよい。これらの場合、コンテンツ受信部１１０を有していなくても、コンテンツデータ記憶領域１４２や、前記メディアに記録されているコンテンツに対して適用可能である。
【０１５６】
更に、上述した実施形態では液晶テレビを例にとって説明したが、例えばコンピュータ、ＨＤＤレコーダ、カーナビゲーション、携帯電話、スマートフォンといった、他のコンテンツ表示装置であれば適用可能なことは勿論である。
【０１５７】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。
【０１５８】
ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（(Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【０１５９】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【０１６０】
また、上述した実施形態における各装置の一部又は全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現してもよい。各装置の各機能ブロックは個別にチップ化してもよいし、一部又は全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路又は汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能であることは勿論である。
【符号の説明】
【０１６１】
１０  コンテンツ表示装置
１００  制御部
１１０  コンテンツ受信部
１１５  逆多重化部
１２０  キャプチャ制御部
１３０  情報解析部
１４０  記憶部
１４２  コンテンツ記憶領域
１４４  コンテンツ付加情報記憶領域
１４６  静止画群記憶領域
１５０  トリガ入力部
１６０  ネットワーク通信部
１７０  出力制御部
１７５  音声出力部
１８０  表示部
１８５  操作部
【図１】
2013219447.tif 000003
【図２】
2013219447.tif 000004
【図３】
2013219447.tif 000005
【図４】
2013219447.tif 000006
【図５】
2013219447.tif 000007
【図６】
2013219447.tif 000008
【図７】
2013219447.tif 000009
【図８】
2013219447.tif 000010
【図１１】
2013219447.tif 000011
【図１２】
2013219447.tif 000012
【図１３】
2013219447.tif 000013
【図１７】
2013219447.tif 000014
【図１８】
2013219447.tif 000015
【図９】
2013219447.tif 000016
【図１０】
2013219447.tif 000017
【図１４】
2013219447.tif 000018
【図１５】
2013219447.tif 000019
【図１６】
2013219447.tif 000020