(57)【要約】【課題】ディスプレイ装置及びその制御方法を提供する。【解決手段】本発明のディスプレイ装置は、ディスプレイ部と、信号受信部と、ユーザ入力部と、処理部と、を備え、処理部は、信号受信部から受信された映像信号を処理して映像をディスプレイ部に表示するように制御し、映像を表示中にユーザ入力部からユーザ入力が受信されると、受信されたユーザ入力情報に基づいて映像の少なくとも一部を含む映像情報から探索対象を決定し、探索対象に関する関連情報を収集して、関連情報をディスプレイ部に表示するように制御する。これによって、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができる。【選択図】図１
2021503107.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ装置であって、
ディスプレイ部と、
信号受信部と、
ユーザ入力部と、
通信部と、
処理部と、を備え、
前記処理部は、
前記信号受信部から受信された映像信号を処理して映像を前記ディスプレイ部に表示するように制御し、
前記映像を表示中に前記ユーザ入力部からユーザ入力が受信されると、前記映像の少なくとも一部を含む映像情報及び前記ユーザ入力に関するユーザ入力情報を、前記通信部を通じて外部装置に伝送し、
前記映像情報及び前記ユーザ入力情報に基づく情報として前記外部装置から受信された関連情報を前記ディスプレイ部に表示するように制御することを特徴とするディスプレイ装置。
【請求項２】
前記処理部は、ユーザに関する個人情報、前記映像のコンテンツに関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を前記外部装置に伝送することを特徴とする請求項１に記載のディスプレイ装置。
【請求項３】
前記信号受信部は、オーディオ信号を更に受信し、
前記映像情報は、前記オーディオ信号を処理して得られたオーディオの少なくとも一部を含むことを特徴とする請求項１に記載のディスプレイ装置。
【請求項４】
記憶部を更に備え、
前記処理部は、
第１ユーザ入力に基づく第１関連情報を前記外部装置から受信して前記記憶部に保存し、
第２ユーザ入力が入力されると、前記保存された第１関連情報を前記ディスプレイ部に表示するように制御することを特徴とする請求項１に記載のディスプレイ装置。
【請求項５】
サーバーであって、
通信部と、
処理部と、を備え、
前記処理部は、
前記通信部を通じて映像情報及びユーザ入力情報を外部装置から受信し、
前記受信されたユーザ入力情報に基づいて前記映像情報から探索対象を決定し、
前記探索対象に関する関連情報を収集して前記外部装置に伝送することを特徴とするサーバー。
【請求項６】
前記処理部は、
前記受信されたユーザ入力情報からキーワードを抽出し、
前記映像情報から前記キーワードに対応する探索対象を決定することを特徴とする請求項５に記載のサーバー。
【請求項７】
前記処理部は、
ユーザに関する個人情報、映像に関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を受信し、
前記ユーザ入力情報及び前記受信された追加情報に基づいて前記映像情報から探索対象を決定することを特徴とする請求項５に記載のサーバー。
【請求項８】
前記処理部は、
ユーザに関する個人情報、映像に関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を受信し、
前記受信された追加情報に基づいて前記探索対象に関する関連情報を収集することを特徴とする請求項５に記載のサーバー。
【請求項９】
前記処理部は、自動推薦モードを設定するユーザ入力が受信されると、ユーザに対する関連情報提供履歴に基づいて前記受信された映像情報から前記探索対象を決定することを特徴とする請求項５に記載のサーバー。
【請求項１０】
前記処理部は、所定区間の映像に対して関連情報の提供を要請するユーザ入力が受信されると、前記受信された映像情報のうちの前記所定区間に対応する映像情報から前記探索対象を決定することを特徴とする請求項５に記載のサーバー。
【請求項１１】
ディスプレイ装置であって、
ディスプレイ部と、
信号受信部と、
ユーザ入力部と、
処理部と、を備え、
前記処理部は、
前記信号受信部から受信された映像信号を処理して映像を前記ディスプレイ部に表示するように制御し、
前記映像を表示中に前記ユーザ入力部からユーザ入力が受信されると、前記受信されたユーザ入力情報に基づいて前記映像の少なくとも一部を含む映像情報から探索対象を決定し、
前記探索対象に関する関連情報を収集して、前記関連情報を前記ディスプレイ部に表示するように制御することを特徴とするディスプレイ装置。
【請求項１２】
ディスプレイ装置の制御方法であって、
映像信号を受信する段階と、
前記受信された映像信号を処理して映像を表示する段階と、
前記映像を表示中にユーザ入力が受信されると、前記映像の少なくとも一部を含む映像情報及び前記ユーザ入力に関するユーザ入力情報を外部装置に伝送する段階と、
前記映像情報及び前記ユーザ入力情報に基づく情報として前記外部装置から受信された関連情報を表示する段階と、を有することを特徴とするディスプレイ装置の制御方法。
【請求項１３】
前記伝送する段階では、ユーザに関する個人情報、前記映像のコンテンツに関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を前記外部装置に更に伝送することを特徴とする請求項１２に記載のディスプレイ装置の制御方法。
【請求項１４】
前記受信する段階では、オーディオ信号を更に受信し、
前記映像情報は、前記オーディオ信号を処理して得られたオーディオの少なくとも一部を含むことを特徴とする請求項１２に記載のディスプレイ装置の制御方法。
【請求項１５】
前記関連情報を表示する段階では、
第１ユーザ入力に基づく第１関連情報を前記外部装置から受信して保存し、
第２ユーザ入力が入力されると、前記保存された第１関連情報を表示することを特徴とする請求項１２に記載のディスプレイ装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ装置及びその制御方法に関し、より詳細には、映像に関する関連情報を提供するディスプレイ装置及びその制御方法に関する。
【背景技術】
【０００２】
ディスプレイ装置のユーザにとっては、ディスプレイ装置で再生される映像に関する関連情報を受けようとする欲求がある。例えば、ＴＶ視聴者たちはＴＶ視聴中に画面に表示される商品や画面上の場所、流れてくる音楽などが何であるか知りたがっている。この欲求を満たすために、関連情報を提供するサービスが提供されている。
【０００３】
このような関連情報を提供するために、映像製作者や提供者が該当の映像に関連するデータを予めＤＢ（データベース）の形態で提供したり映像に含めたりして提供する方法が用いられている。
【０００４】
しかしながら、このようなＤＢが予め構築されていない映像に対しては上述のサービスを提供することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができるディスプレイ装置及びその制御方法並びにサーバーを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の一態様によるディスプレイ装置は、ディスプレイ部と、信号受信部と、ユーザ入力部と、通信部と、処理部と、を備え、前記処理部は、前記信号受信部から受信された映像信号を処理して映像を前記ディスプレイ部に表示するように制御し、前記映像を表示中に前記ユーザ入力部からユーザ入力が受信されると、前記映像の少なくとも一部を含む映像情報及び前記ユーザ入力に関するユーザ入力情報を、前記通信部を通じて外部装置に伝送し、前記映像情報及び前記ユーザ入力情報に基づく情報として前記外部装置から受信された関連情報を前記ディスプレイ部に表示するように制御する。これによれば、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができる。
【０００７】
前記処理部は、ユーザに関する個人情報、前記映像のコンテンツに関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を前記外部装置に伝送し得る。これによれば、より一層ユーザの意図に合う関連情報を提供することができる。
前記信号受信部は、オーディオ信号を更に受信し、前記映像情報は、前記オーディオ信号を処理して得られたオーディオの少なくとも一部を含み得る。
前記ディスプレイ装置は、記憶部を更に備え、前記処理部は、第１ユーザ入力に基づく第１関連情報を前記外部装置から受信して前記記憶部に保存し、第２ユーザ入力が入力されると、前記保存された第１関連情報を前記ディスプレイ部に表示するように制御し得る。これによれば、関連情報を更に多様な方法で受け取ることができる。
【０００８】
上記目的を達成するためになされた本発明の一態様によるサーバーは、通信部と、処理部と、を備え、前記処理部は、前記通信部を通じて映像情報及びユーザ入力情報を外部装置から受信し、前記受信されたユーザ入力情報に基づいて前記映像情報から探索対象を決定し、前記探索対象に関する関連情報を収集して前記外部装置に伝送する。これによれば、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができる。
【０００９】
前記処理部は、前記受信されたユーザ入力情報からキーワードを抽出し、前記映像情報から前記キーワードに対応する探索対象を決定し得る。
前記処理部は、ユーザに関する個人情報、映像に関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を受信し、前記ユーザ入力情報及び前記受信された追加情報に基づいて前記映像情報から探索対象を決定し得る。また、前記処理部は、前記受信された追加情報に基づいて前記探索対象に関する関連情報を収集し得る。これによれば、より一層ユーザの意図に合う関連情報を提供することができる。
前記処理部は、自動推薦モードを設定するユーザ入力が受信されると、ユーザに対する関連情報提供履歴に基づいて前記受信された映像情報から前記探索対象を決定し得る。これによれば、映像を視聴するユーザが関連情報の提供を要請する入力をいちいちしなくても、ユーザに対する関連情報提供履歴に基づいて関連情報を自動で提供することができる。
前記処理部は、所定区間の映像に対して関連情報の提供を要請するユーザ入力が受信されると、前記受信された映像情報のうちの前記所定区間に対応する映像情報から前記探索対象を決定し得る。これによれば、所定区間の映像に対して一度のユーザ入力だけでも同じ類型の関連情報を続けて提供することができ、ユーザの便宜性が向上する。
【００１０】
上記目的を達成するためになされた本発明の他の態様によるディスプレイ装置は、ディスプレイ部と、信号受信部と、ユーザ入力部と、処理部と、を備え、前記処理部は、前記信号受信部から受信された映像信号を処理して映像を前記ディスプレイ部に表示するように制御し、前記映像を表示中に前記ユーザ入力部からユーザ入力が受信されると、前記受信されたユーザ入力情報に基づいて前記映像の少なくとも一部を含む映像情報から探索対象を決定し、前記探索対象に関する関連情報を収集して、前記関連情報を前記ディスプレイ部に表示するように制御する。
【００１１】
上記目的を達成するためになされた本発明の一態様によるディスプレイ装置の制御方法は、映像信号を受信する段階と、前記受信された映像信号を処理して映像を表示する段階と、前記映像を表示中にユーザ入力が受信されると、前記映像の少なくとも一部を含む映像情報及び前記ユーザ入力に関するユーザ入力情報を外部装置に伝送する段階と、前記映像情報及び前記ユーザ入力情報に基づく情報として前記外部装置から受信された関連情報を表示する段階と、を有する。
【００１２】
前記伝送する段階では、ユーザに関する個人情報、前記映像のコンテンツに関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を前記外部装置に更に伝送し得る。
前記受信する段階では、オーディオ信号を更に受信し、前記映像情報は、前記オーディオ信号を処理して得られたオーディオの少なくとも一部を含み得る。
前記関連情報を表示する段階では、第１ユーザ入力に基づく第１関連情報を前記外部装置から受信して保存し、第２ユーザ入力が入力されると、前記保存された第１関連情報を表示し得る。
【００１３】
一実施形態によるサーバーの制御方法は、映像情報及びユーザ入力情報を外部装置から受信する段階と、前記受信されたユーザ入力情報に基づいて前記映像情報から探索対象を決定する段階と、前記探索対象に関する関連情報を収集して前記外部装置に伝送する段階と、を有する。
【００１４】
前記決定する段階では、前記受信されたユーザ入力情報からキーワードを抽出し、前記映像情報から前記キーワードに対応する探索対象を決定し得る。
前記受信する段階では、ユーザに関する個人情報、映像に関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む追加情報を更に受信し、前記決定する段階では、前記ユーザ入力情報及び前記受信された追加情報に基づいて前記映像情報から探索対象を決定し得る。或いは、前記受信する段階では、追加情報を更に受信し、前記伝送する段階では、前記受信された追加情報に基づいて前記探索対象に関する関連情報を収集して前記外部装置に伝送し得る。
【００１５】
他の実施形態によるディスプレイ装置の制御方法は、映像信号を受信する段階と、前記受信された映像信号を処理して映像を表示する段階と、前記映像を表示中にユーザ入力が受信されると、前記受信されたユーザ入力情報に基づいて映像情報から探索対象を決定する段階と、前記探索対象に関する関連情報を収集する段階と、前記関連情報を表示する段階と、を有する。これによれば、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができる。
【００１６】
一実施形態によるコンピュータプログラムは、ディスプレイ装置と結合して上記の制御方法を実行させるために記録媒体に格納されたコンピュータプログラムである。
前記コンピュータプログラムは、サーバー内の媒体に格納され、ネットワークを介して前記ディスプレイ装置にダウンロードされ得る。
【発明の効果】
【００１７】
本発明によれば、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができる。
また、本発明によれば、関連情報を提供する際に、ユーザの意図によく合う関連情報を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態によるディスプレイ装置及びサーバーのシステムを示す図である。
【図２】本発明の一実施形態によるディスプレイ装置及びサーバーの構成を示すブロック図である。
【図３】本発明の一実施形態によるディスプレイ装置の制御方法を示す図である。
【図４】本発明の一実施形態によるサーバーの制御方法を示す図である。
【図５】本発明の第１実施例によるディスプレイ装置及びサーバーの作動例を示す図である。
【図６】本発明の第２実施例によるディスプレイ装置及びサーバーの作動例を示す図である。
【図７】本発明の第３実施例によるディスプレイ装置及びサーバーの作動例を示す図である。
【図８】本発明の第４実施例によるディスプレイ装置及びサーバーの作動例を示す図である。
【図９】本発明の第５実施例によるディスプレイ装置及びサーバーの作動例を示す図である。
【図１０】本発明の第６実施例によるディスプレイ装置及びサーバーの動作の流れを示す図である。
【図１１】本発明の第７実施例によるディスプレイ装置及びサーバーの動作の流れを示す図である。
【図１２】本発明の第８実施例によるディスプレイ装置及びサーバーの動作の流れを示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。図面中、同一の参照番号又は符号は実質的に同一の機能を行う構成要素を示し、各構成要素の大きさは説明の明瞭性及び便宜のために誇張され得る。但し、本発明の技術的思想とその核心構成及び作用が以下の実施形態で説明する構成又は作用に限定されるわけではない。本発明を説明する上で本発明に関連する公知技術又は構成に関する具体的な説明が却って本発明の要旨を曖昧にさせ得ると判断される場合にはその詳細な説明を省略するものとする。
【００２０】
本発明の実施形態において、第１、第２などのように序数を含む用語は一つの構成要素を他の構成要素から区別する目的にのみ使われ、単数の表現は、文脈上特別に言及しない限り、複数の表現も含む。また、本発明の実施形態において、‘構成される’、‘含む’、‘有する’などの用語は、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品、又はそれらを組み合わせたものの存在又は付加の可能性を予め排除しないものとして理解すべきである。また、本発明の実施形態において‘モジュール’或いは‘部’は、少なくとも一つの機能や動作を行うものであり、ハードウェア又はソフトウェアによって具現されるか、又はハードウェアとソフトウェアとの結合によって具現され、少なくとも一つのモジュールとして一体化されて少なくとも一つのプロセッサによって具現され得る。
【００２１】
図１は、本発明の一実施形態によるディスプレイ装置１００及び外部装置２００のシステムを示す図である。本実施形態によるディスプレイ装置１００は、例えばＴＶである。また、本発明の他の実施形態によるディスプレイ装置１００は、例えば、スマートフォン、タブレット、モバイルフォン、スマートウォッチ、ヘッドマウント型ディスプレイ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）などのウェアラブルデバイス、コンピュータ、マルチメディア再生機、電子額縁、デジタル広告板、ＬＦＤ（Ｌａｒｇｅ  Ｆｏｒｍａｔ  Ｄｉｓｐｌａｙ）、デジタルサイネージ、セットトップボックス、冷蔵庫などの装置である。しかし、本実施形態によるディスプレイ装置１００がこれに限定されるものではない。
【００２２】
本実施形態による外部装置２００は、例えばサーバーである。しかし、本実施形態による外部装置２００がこれに限定されるものではない。外部装置２００は、その名称や形態に拘わらず、ディスプレイ装置１００から情報を受信してそれを処理し、処理した情報をディスプレイ装置１００に伝送できるいずれの装置も可能である。以下では本発明の一実施形態による外部装置がサーバー２００である場合を挙げて説明する。
【００２３】
図１を参照して本実施形態によるディスプレイ装置１００及びサーバー２００の動作を概括すると、ディスプレイ装置１００は、１）映像を表示し、２）ユーザ入力が受信されると、３）映像情報及びユーザ入力情報をサーバー２００に伝送する。ディスプレイ装置１００から映像情報及びユーザ入力情報を受信したサーバー２００は、それに基づいて、４）探索対象を決定し、５）探索対象関連情報を収集し、６）収集した関連情報をディスプレイ装置１００に伝送する。ディスプレイ装置１００は、７）サーバー２００から受信した関連情報を表示する。それぞれの作動に関する詳細な説明を、以下の関連図面を参照して述べる。
【００２４】
図２は、本発明の一実施形態によるディスプレイ装置１００及びサーバー２００の構成を示す図である。本実施形態によるディスプレイ装置１００は、信号受信部１０１、ユーザ入力部１０２、処理部１０３、ディスプレイ部１０４を備える。但し、図２に示すディスプレイ装置１００の構成は一例示に過ぎず、本実施形態によるディスプレイ装置は他の構成にしてもよい。即ち、本実施形態によるディスプレイ装置は、図２に示す構成以外の構成を付加するか、或いは図２に示す構成の一部を排除して具現してもよい。
【００２５】
信号受信部１０１は映像信号を受信する。信号受信部１０１が受信する映像信号は有線信号又は無線信号であり、デジタル信号又はアナログ信号であってもよい。信号受信部１０１は放送信号を受信する。放送信号は、地上波信号、ケーブル信号、衛星信号、又はネットワーク信号である。なお、信号受信部１０１は、無線通信のためのワイファイ通信モジュール、別個の有線接続のためのイーサネット（登録商標）モジュール、ＵＳＢメモリの接続のためのＵＳＢポートなどを更に有してもよい。
【００２６】
信号受信部１０１は処理部１０３の制御によって複数のチャネルのいずれか一つのチャネルの放送信号を受信する。放送信号には放送局から提供される放送コンテンツが含まれる。放送コンテンツは、ドラマ、映画、ニュース、スポーツ、音楽、ＶＯＤなどの様々な放送プログラムを含み、その内容の制限はない。
【００２７】
ユーザ入力部１０２はユーザ入力を受信して処理部１０３に伝達する。ユーザ入力部１０２はユーザ入力の方式によって様々な形態にすることができる。例えば、リモコンから入力されるユーザ入力のリモコン信号を受信するリモコン信号受信部、ディスプレイ装置１００の外側に設置されたメニューボタン、ディスプレイ部に設けられてユーザのタッチ入力を受信するタッチスクリーン（Ｔｏｕｃｈ−Ｓｃｒｅｅｎ）、ユーザのジェスチャー入力を感知するカメラ、ユーザの音声入力を認識するマイク、ユーザのキー入力を認識するキーボードなどによって具現される。
【００２８】
処理部１０３は信号受信部１０１で受信した映像信号を処理する。例えば、映像信号が放送信号の場合、処理部１０３は受信した放送信号の規格に対応する信号処理を行って放送コンテンツのデータを取り出す。
【００２９】
処理部１０３が行う映像処理プロセスの種類は限定されない。処理部１０３で行う映像処理として、例えば、入力されるストリームを映像、音声、付加データの各下位ストリームに区分するデマルチプレクシング（ｄｅ−ｍｕｌｔｉｐｌｅｘｉｎｇ）、映像ストリームの映像フォーマットに対応するデコーディング（ｄｅｃｏｄｉｎｇ）、インターレース（ｉｎｔｅｒｌａｃｅ）方式の映像ストリームをプログレッシブ（ｐｒｏｇｒｅｓｓｉｖｅ）方式に変換するデインターレーシング（ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ）、映像ストリームを既に設定された解像度に調整するスケーリング（ｓｃａｌｉｎｇ）、映像画質改善のためのノイズ減少（ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ）、ディテール強化（ｄｅｔａｉｌ  ｅｎｈａｎｃｅｍｅｎｔ）、フレームリフレッシュレート（ｆｒａｍｅ  ｒｅｆｒｅｓｈ  ｒａｔｅ）変換などを含む。
【００３０】
処理部１０３はユーザ入力部１０２から受信されるユーザ入力に応じた処理を行うこともできる。
【００３１】
処理部１０３は、ディスプレイ装置１００の諸般構成が動作するための制御を行う。処理部１０３は、このような制御動作を行わせる制御プログラム（或いは、インストラクション）と、制御プログラムが設置される不揮発性のメモリ、設置された制御プログラムの少なくとも一部がロードされる揮発性のメモリ、及びロードされた制御プログラムを実行する少なくとも一つのプロセッサ或いはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備える。また、このような制御プログラムは、ディスプレイ装置１００以外の電子機器に格納されてもよい。
【００３２】
制御プログラムは、ＢＩＯＳ、デバイスドライバ、オペレーティングシステム（ＯＳ）、ファームウェア、プラットホーム、及び応用（アプリケーション）プログラムのうちの少なくとも一つの形態で具現されるプログラムを含む。一実施例として、応用プログラムは、ディスプレイ装置１００の製造に当たって、ディスプレイ装置１００に予めインストール又は格納されるか、或いは将来の使用時に、外部から応用プログラムのデータを受信し、受信されたデータに基づいてディスプレイ装置１００にインストールされてもよい。応用プログラムのデータは、例えばアプリケーションマーケットのような外部サーバーからディスプレイ装置１００にダウンロードされるが、これに限定されるものではない。一方、処理部１０３は、デバイス（ｄｅｖｉｃｅ）、Ｓ／Ｗモジュール、回路（ｃｉｒｃｕｉｔ）、チップ（ｃｈｉｐ）などの形態、又はその組み合わせによって具現される。
【００３３】
処理部１０３は、例えばユーザ入力を受信するようにユーザ入力部１０２を制御する。また、処理部１０３は、映像信号に対して映像処理を行った後、処理された映像が出力されるようにディスプレイ部１０４を制御する。図２に示すディスプレイ装置１００は、一つの処理部１０３で処理及び制御の両方を行う構成としているが、これは一つの例示に過ぎず、本発明の他の実施形態によるディスプレイ装置１００は、処理部に加えて別の制御部を有する構成にしてもよい。
【００３４】
ディスプレイ部１０４は、処理部１０３で処理された映像を表示する。ディスプレイ部１０４の具現方式は、限定されず、例えば、液晶（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）、プラズマ（Ｐｌａｓｍａ）、発光ダイオード（Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、有機発光ダイオード（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、面伝導電子銃（Ｓｕｒｆａｃｅ−Ｃｏｎｄｕｃｔｉｏｎ  Ｅｌｅｃｔｒｏｎ−Ｅｍｉｔｔｅｒ）、炭素ナノチューブ（Ｃａｒｂｏｎ  Ｎａｎｏ−Ｔｕｂｅ）、ナノクリスタル（Ｎａｎｏ−Ｃｒｙｓｔｒａｌ）などの様々なディスプレイ方式で具現される。ディスプレイ部１０４は、液晶方式の場合、液晶ディスプレイパネルと、液晶ディスプレイパネルに光を供給するバックライトユニットと、液晶ディスプレイパネルを駆動させるパネル駆動部などを備える。ディスプレイ部１０４は、バックライトユニット無しで、自発光素子であるＯＬＥＤパネルによって具現することもできる。
【００３５】
本実施形態によるディスプレイ装置１００は通信部１０５又は記憶部を更に備えることができる。
【００３６】
通信部１０５は、外部装置、例えばサーバー２００と通信する。通信部１０５は有線又は無線で通信する。従って、有線接続のためのコネクタ又は端子を含む接続部の他にも様々な通信方式によって具現することができる。例えば、Ｗｉ−Ｆｉ、ブルトゥース（登録商標）、ジグビー（登録商標）（Ｚｉｇｂｅｅ（登録商標））、赤外線通信、ラジオコントロール（Ｒａｄｉｏ  Ｃｏｎｔｒｏｌ）、ＵＷＭ（Ｕｌｔｒａ−Ｗｉｄｅ  Ｂａｎｄ）、Ｗｉｒｅｌｅｓｓ  ＵＳＢ、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）のいずれか一つ以上の通信を行うように構成される。通信部１０５は、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙ）、ＳＰＰ（Ｓｅｒｉａｌ  Ｐｏｒｔ  Ｐｒｏｆｉｌｅ）、ワイファイダイレクト（ＷｉＦｉ  Ｄｉｒｅｃｔ）、赤外線通信、ジグビー（登録商標）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの通信モジュールを含むことができる。通信部１０５は、デバイス、ソフトウェアモジュール、回路、チップなどの形態で具現される。
【００３７】
記憶部は処理部１０３の処理及び制御に応じて様々なデータを記憶する。記憶部は、処理部１０３によってアクセスされて、データの読み取り、書き込み、修正、削除、更新などを行う。記憶部は、ディスプレイ装置１００へのシステム電源の提供の有無に関係なくデータを保持できるように、フラッシュメモリ（ｆｌａｓｈ−ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ−ｄｉｓｃ  ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ−ｓｔａｔｅ  ｄｒｉｖｅ）などのような不揮発性メモリを有する。また、記憶部は、処理部１０３によって処理されるデータが臨時にローディングされるためのバッファ、ＲＡＭなどのような揮発性メモリを有する。
【００３８】
本実施形態によるサーバー２００は、処理部２０１及び通信部２０２を備える。但し、図２に示したサーバー２００の構成は一つの例示に過ぎず、本実施形態によるサーバー２００は他の構成にしてもよい。即ち、本実施形態によるサーバー２００は、図２に示す構成以外の構成を付加するか、或いは図２に示す構成の一部を排除して具現されてもよい。サーバー２００の処理部２０１及び通信部２０２に関する説明は、ディスプレイ装置１００における処理部１０３及び通信部１０５に関する説明をそのまま適用すればよいため省略する。
【００３９】
図３は、本発明の一実施形態によるディスプレイ装置１００の制御方法を示す図である。
【００４０】
本実施形態によるディスプレイ装置１００の処理部１０３は、信号受信部１０１から受信した映像信号を処理して映像をディスプレイ部１０４に表示する（Ｓ３０１）。
【００４１】
処理部１０３は、映像を処理して表示する間に、ユーザ入力部１０２からユーザ入力が受信されるか否か感知する（Ｓ３０２）。ユーザ入力は映像に関する関連情報の提供を要請するユーザの入力を含む。ここで、映像に関する関連情報とは、直接的又は間接的に映像に関連する情報のいずれをも意味し、映像に基づいて収集可能な情報であればその範囲に限定はない。例えば、映像のコンテンツ内に登場する人物や物事、関連商品、商品の広告、映像の背景音楽、映像のロケ地、映像に出る場所などが映像に関する関連情報に該当する。従って、映像に関する関連情報の提供を要請するユーザの入力は、例えば、ユーザがディスプレイ装置１００からドラマを視聴している場合、ユーザ入力は、ドラマの主人公は誰か、主人公の着ている服はどんなものか、現在出ている音楽は何か、ドラマのロケ地はどこか、などを発話するユーザの音声入力である。但し、関連情報の提供を要請するユーザ命令の内容がこれに限定されるものではない。また、ユーザ入力の形態も音声入力に限定されるものではない。例えば、ユーザ入力は、タッチ入力、リモコン入力、ジェスチャー入力の形態で入力される。
【００４２】
ユーザ入力の受信が感知された場合、処理部１０３は、映像の少なくとも一部を含む映像情報及びユーザ入力に関するユーザ入力情報を、通信部１０５を介して外部装置、例えばサーバー２００に伝送する（Ｓ３０３）。ここで、映像情報とは、映像そのものに関する情報を意味し、その形態やフォーマットは特別に限定されない。例えば、信号受信部１０１で受信した映像信号であってもよく、処理部１０３によって処理された映像信号であってもよい。映像情報に含まれる映像の範囲にも特別な限定はない。例えば、映像が動画の場合、映像情報は、動画の一部のフレームであってもよく、一つのフレーム内の一部の領域であってもよく、動画全体であってもよい。
【００４３】
ユーザ入力情報も、同様に、ユーザ入力そのものに関する情報であればその形態やフォーマットにおいて特別に限定されない。例えば、ユーザ入力が音声入力の場合、ユーザ入力情報は音声信号であり、ユーザ入力がタッチ入力の場合、タッチ入力の座標である。ユーザ入力情報の範囲にも特別な限定はない。例えば、ユーザ入力が音声入力の場合、ユーザ入力情報は、当該音声入力の全体であってもよく、全音声入力の一部に該当する音声入力であってもよい。
【００４４】
処理部１０３は、映像情報及びユーザ入力情報を外部装置２００に伝送し、外部装置２００から当該映像情報及びユーザ入力情報に基づいて関連情報を収集して伝送することで、受信した関連情報を表示する（Ｓ３０４）。
【００４５】
これによると、ユーザ入力情報と共に映像情報を外部装置に伝送し、外部装置から伝送された関連情報を表示することによって、本発明のディスプレイ装置１００は、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができる。
【００４６】
図４は、本発明の一実施形態によるサーバー２００の制御方法を示す図である。
【００４７】
本実施形態によるサーバー２００の処理部２０１は、ディスプレイ装置１００から映像情報及びユーザ入力情報を受信する（Ｓ４０１）。処理部２０１はユーザ入力情報に基づいて映像情報から探索対象を決定する（Ｓ４０２）。ここで、探索対象とは、ユーザが関連情報の提供を要請したものと把握される対象客体（オブジェクト）を意味し、以降、関連情報の収集においてベースとなる客体を意味する。探索対象は、映像内に存在する客体であってもよく、映像内に直接存在しなくても映像と関連がある客体であってもよい。例えば、探索対象は、映像のコンテンツ内に登場する人物や物事であってもよく、映像と共に再生されるオーディオであってもよい。
【００４８】
処理部２０１は探索対象に関する関連情報を収集する（Ｓ４０３）。ここで、探索対象に関する関連情報は、映像に関する関連情報と同様に、直接的又は間接的に探索対象に関連する情報であればいずれもそれに該当し、探索対象に基づいて収集可能な情報であればその範囲に限定はない。例えば、探索対象が映像に出てくる場所の場合、それに関する関連情報は、その場所そのものに関する情報、雰囲気がその場所に似ているおすすめの旅行先、旅行先の有名なレストランなどを含む。
【００４９】
処理部２０１は収集した関連情報を外部装置、例えばディスプレイ装置１００に伝送する（Ｓ４０４）。
【００５０】
これによれば、本発明のサーバー２００は、受信したユーザ入力情報に基づいて、受信した映像情報から探索対象を決定し、探索対象に関する関連情報を直接に収集してディスプレイ装置１００に伝送することによって、映像に関する関連情報が事前にＤＢとして設けられていない映像に対してもユーザに関連情報を提供することを可能にする。
【００５１】
以下、図５を参照して本発明の一実施形態によるディスプレイ装置１００及びサーバー２００の動作をより具体的に説明する。
【００５２】
図５は、本発明の第１実施例によるディスプレイ装置及びサーバーの作動例を示す図であり、ユーザがＴＶで生放送を視聴している間に関連情報の提供を要請する場合を示す。例えば、ユーザがＴＶでドラマを見ている場合（５０１）、ディスプレイ装置１００であるＴＶの処理部１０３は、信号受信部１０１から受信した映像信号を処理して映像をディスプレイ部１０４に表示する。この時、ドラマを視聴していたユーザは、例えばドラマの登場人物達が着ている服のうちから女主人公の着ているワンピースを知りたい場合、ＴＶに対して“あのワンピースはどのメーカーのものなの？”という音声入力を発話する（５０２）。処理部１０３は、映像を処理して表示する間にユーザ入力部１０２からユーザ入力が受信されるか否か感知するため、上記のようなユーザの発話を感知することができる。
【００５３】
映像表示中にユーザ入力が受信されると、処理部１０３は映像の少なくとも一部を含む映像情報及びユーザ入力に関するユーザ入力情報をサーバー２００に伝送する。図５では、映像情報として映像の１つのフレーム、即ちユーザの音声入力が発話された時点で再生されていた映像をキャプチャーしたキャプチャー画面５０３をサーバー２００に伝送する例を示す。ユーザ入力情報としてユーザの入力した音声をそのままサーバー２００に伝送する例を示す。しかし、映像情報及びユーザ入力情報がこれに限定されるものではない。
【００５４】
ディスプレイ装置１００から映像のキャプチャー画面５０３及びユーザ入力音声５０４を受信したサーバー２００の処理部２０１は、ユーザ入力情報に基づいて映像情報から探索対象を決定する。ユーザ入力情報に基づいて映像情報から探索対象を決定する方法の一例として、処理部２０１は、ユーザ入力情報からキーワードを抽出して、映像情報からキーワードに対応する探索対象を決定する。例えば、処理部２０１は、“あのワンピースはどのメーカーのものなの？”という音声入力から“ワンピース”というキーワードを抽出する。音声入力を認識してそれからキーワードを抽出することは、例えば、ＤＴＷ（Ｄｙｎａｍｉｃ  Ｔｉｍｅ  Ｗａｒｐｉｎｇ）ベースの音声認識技術、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）ベースの音声認識技術、規則接近法（Ｒｕｌｅ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ）ベースの音声認識技術、深層神経網（ＤＮＮ；Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いたディープラーニングベースの音声認識技術などを活用して具現される。
【００５５】
ユーザ入力情報から“ワンピース”というキーワードを抽出した後、処理部２０１は、映像情報であるキャプチャー画面５０３からワンピースに該当する客体を認識し、それを探索対象として決定する。映像情報からユーザ入力情報又はキーワードに対応する客体を認識して探索対象として決定する方法は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎ）アルゴリズムなどを用いたマシンラーニング（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）技術を利用してもよく、ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）、中でもＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いたディープラーニング技術などを活用して具現してもよい。但し、具現方法はこれに限定されず、その他の様々な映像及び客体認識技術を用いて具現してもよい。図５を再び参照すると、図５のキャプチャー画面５０３においてワンピースに該当する客体は右から２番目に位置する主人公が着ている黒色ワンピースであるため、処理部２０１は当該黒色ワンピースを探索対象として決定する。
【００５６】
探索対象を決定した後、処理部２０１は探索対象に関する関連情報を収集する。図５で探索対象は右から２番目に位置する主人公が着ている黒色ワンピースであり、これに関する関連情報は、色及びスタイルが当該ワンピースに一致するか又は類似するワンピース製品の目録を含む。探索対象に対応するイメージに一致又は類似するイメージを持つ関連情報を検索する方法は、例えば特徴量ベクトルクラスタリングに基づいて高速類似ベクトル検索技法などを用いて具現される。但し、具現方法がこれに限定されるものではない。探索対象に関する関連情報収集時に収集の対象となる情報源（ｉｎｆｏｒｍａｔｉｏｎ  ｓｏｕｒｃｅ）においても特別な限定はない。即ち、処理部２０１は、インターネットなどの公開ネットワークから関連情報を収集してもよく、予め構築されたデータベースから関連情報を収集してもよい。
【００５７】
検索された関連情報の量が多い場合、処理部２０１は検索された関連情報からユーザに推薦すべき一部を選別する。選別は、無作為に行ってもよく、一定の基準によって行ってもよい。後者の場合、使用可能な基準としては、例えば、ユーザの個人情報、検索履歴などを含む。
【００５８】
以上の過程によって関連情報が収集されると、サーバー２００の処理部２０１は上記の関連情報をディスプレイ装置１００に伝送する。
【００５９】
ディスプレイ装置１００の処理部１０３は、サーバー２００から関連情報を受信すると、それをディスプレイ部１０４に表示する。表示する方法は、関連情報が受信されると直ぐに関連情報５０７をディスプレイ部１０４に表示してもよく、図５に示すように、関連情報が受信されたというお知らせ５０５を先ず表示した後、ユーザから関連情報の表示を要請する追加入力を受けて関連情報５０７を表示してもよい。関連情報が受信されたというお知らせは、ディスプレイ装置１００のオーディオ出力、又は別のスピーカーのオーディオ出力５０６の形態であってもよい。
【００６０】
以上のように、本発明によれば、映像に関する関連情報の提供を要請するユーザの入力に対応して、ユーザの意図を把握して映像に関する関連情報を提供することができ、特に、映像に関する関連情報が事前にＤＢとして設けられていない映像に対しても関連情報を提供することができる。
【００６１】
図６は、本発明の第２実施例によるディスプレイ装置１００及びサーバー２００の作動例を示す図である。
【００６２】
本発明の第２実施例によるディスプレイ装置１００は、映像情報及びユーザ入力情報の他にも、追加情報をサーバー２００に更に伝送する。ここで、追加情報とは、ユーザに関する個人情報、映像のコンテンツに関するコンテンツ情報、又は視聴環境に関する状況情報のうちの少なくとも一つを含む。ユーザに関する個人情報とは、ユーザを識別したりユーザの好みを把握したりする上で役立つ情報を含むユーザ個人に関する情報であり、例えば、ユーザの年齢、性別、住所、関心事、好みなどを含む。映像のコンテンツに関するコンテンツ情報は、コンテンツのタイトル、種類、類型、ジャンル、放送社、放送時間などを含む。視聴環境に関する状況情報とは、ユーザ個人及びコンテンツ自体に関する情報を除いて、映像視聴状況又は環境に関連する情報を包括する情報であり、例えば、映像視聴時間帯、視聴時の周辺照明、周辺騒音、映像を視聴するユーザの数などを含む。
【００６３】
図６を参照して追加情報を活用する具体的な例を説明する。ユーザがＴＶでドラマ６０１を視聴する途中でユーザが“あの服は何なの？”という音声入力を発話する場合（６０２）、処理部１０３は、映像を処理して表示しながら、ユーザ入力部１０２からユーザ入力が受信されるか否かを感知し、上記のようなユーザの発話を感知する。
【００６４】
ユーザ入力を感知した処理部１０３は、映像の少なくとも一部を含む映像情報６０３及びユーザ入力に関するユーザ入力情報６０４と共に、追加情報６０５をサーバー２００に伝送する。図６は、追加情報６０５の一例として、ユーザに関する個人情報の“２０代”、“女性”、“黒色好き”の情報が伝送された例を示す。
【００６５】
受信された追加情報６０５は、サーバー２００で探索対象を決定するために活用される。即ち、サーバー２００の処理部２０１は、ユーザ入力情報及び追加情報に基づいて映像情報から探索対象を決定することができる。例えば、処理部２０１がユーザ入力情報である“あの服は何なの？”という音声入力から“服”というキーワードを抽出し、それに基づいて映像情報であるキャプチャー画面６０３から探索対象を直接に決定する場合、図６のキャプチャー画面６０３には合計４人の登場人物に対応する服があることから、ユーザの意図した服が何なのか、どんな服を探索対象として決定すべきかを判断することが処理部２０１にとって難しい。このとき、処理部２０１は、ユーザ入力情報から抽出した“服”というキーワードの他にも、追加情報である“２０代”、“女性”、“黒色好き”を更に参照することによって、映像情報における“服”のうちの右から２番目に位置する主人公が着ている黒色ワンピースを探索対象として決定することができる（６０６）。
【００６６】
受信された追加情報６０５は、またサーバー２００で探索対象に関する関連情報を収集するためにも活用される。例えば、探索対象がキャプチャー画面６０３のうちの右から２番目に位置する主人公が着ている黒色ワンピースとして決定された場合、図５では直ちにそれに関する関連情報を検索したが、図６では、関連情報を検索するに当たって追加情報を更に考慮することができる。例えば、色相及びスタイルが上記のワンピースに一致又は類似するワンピース製品を検索する際に、これまでのユーザのワンピース又は服の検索履歴などを参照してユーザの好みを更に考慮してもよく、現在の季節に合うワンピースに限定して検索してもよく、当該ワンピースを着ている女主人公が広告している他の服を検索してもよい。但し、追加情報を更に考慮した関連情報検索の例がこれに限定されるものではない。
【００６７】
以上の過程によって収集された関連情報をディスプレイ装置１００に送って表示する方法は、図５における説明をそのまま適用することができる。
【００６８】
これによれば、より一層ユーザの意図に合う関連情報を提供することができる。
【００６９】
図７は、本発明の第３実施例によるディスプレイ装置１００及びサーバー２００の作動例を示す図である。本発明の第３実施例によると、本発明の映像情報は、オーディオ信号を処理したオーディオの少なくとも一部であってもよく、上記のような映像のキャプチャー画面に加えて、オーディオ情報を更に含んでもよい。
【００７０】
図７に示すように、ユーザがＴＶでドラマ７０１を視聴する途中でユーザが“この歌は何なの？”という音声入力７０２を発話する場合、処理部１０３は、映像を処理して表示する間に、ユーザ入力部１０２からユーザ入力が受信されるか否かを感知するため、上記のようなユーザの発話を感知することができる。
【００７１】
この場合、処理部１０３は、ユーザの入力音声が歌に関することを認識し、図５及び図６と違い、上記の音声入力時点で再生されているオーディオの一部を含むオーディオ情報７０３を映像情報としてサーバー２００に伝送する。或いは、図５及び図６におけるキャプチャー画面に加えて、オーディオ情報７０３をサーバー２００に伝送することもできる。
【００７２】
この場合、サーバー２００の処理部２０１は、ユーザ入力情報に基づいて上記のオーディオ情報７０３を探索対象として決定し、該オーディオ情報７０３がどんな歌に該当するかを認識し、これに基づいて関連情報を検索して、例えば当該歌がどのアルバムに収録されているか（７０４）、当該歌を提供している音楽ストリーミング配信サービス会社は何か（７０５）などに関する情報を関連情報として収集する。
【００７３】
図８は、本発明の第４実施例によるディスプレイ装置１００及びサーバー２００の作動例を示す図である。本発明の第４実施例は、ユーザが映像に関する情報のうち、映像の背景となる場所に関する情報の提供を要請する場合に関する。この場合、上記の図５〜図７の実施例と比較して、ユーザ入力情報が場所に関するという点８０１と、収集された関連情報が、当該場所がどこなのか８０２又は当該場所に似ている景色や地理的特徴を持つ旅先がどこなのか８０３などを含むという点が異なる。しかし、それ以外には上述の実施例における説明がいずれも適用可能である。
【００７４】
一方、以上では関連情報の提供を要請するユーザの入力が感知される時点と、それに対応して収集された関連情報を表示して提供する時点とが互いに近接している実施例を説明したが、本発明の実施例がこれに限定されるものではない。即ち、関連情報の提供を要請するユーザの入力が感知される時点とそれに対応して収集された関連情報を表示して提供する時点とが相互に関連無しに個別に動作してもよく、複数の要請を受け取って各関連情報を収集した後、収集された関連情報を後で一度に表示してもよい。図９を参照して後者の一例を説明する。
【００７５】
図９は、本発明の第５実施例によるディスプレイ装置１００及びサーバー２００の作動例を示す図である。本発明の第５実施例によるディスプレイ装置１００は記憶部を更に備え、処理部１０３は第１ユーザ入力に基づく第１関連情報を外部装置から受信して記憶部に保存し、第２ユーザ入力が入力されると、保存された第１関連情報をディスプレイ部に表示する。
【００７６】
例えば、ＴＶでドラマを視聴中にｔ１時点でユーザが“女主人公は誰なの？”という音声入力を発話した場合（９０１）、処理部１０３は、映像情報及びユーザ入力情報をサーバー２００に伝送して対象客体を決定して関連情報を収集できるようにした後、関連情報を受信する。この場合、ディスプレイ装置１００は、記憶部を更に備え、受信された関連情報を直ちにディスプレイ部１０４に表示せずに、先ず記憶部に保存する。
【００７７】
ｔ２時点でユーザが“この歌は何なの？”という音声入力を発話した場合（９０２）、そしてｔ３時点でユーザが“あそこはどこなの？”という音声入力を発話した場合（９０３）にも同様の説明が適用可能である。
【００７８】
その後、ｔ４時点でユーザが“探した情報を見せて”と音声入力を発話すると、処理部１０３はこれまで保存しておいた関連情報を取り集めて一度に表示する。但し、関連情報の表示を要請するユーザの音声入力内容がこれに限定されるものではない。
【００７９】
これによれば、関連情報の提供を要請するユーザの入力が感知される時点とそれに対応して収集された関連情報を表示して提供する時点とを別々にすることができ、更には複数の要請を受け取り、先ずは各関連情報を収集した後、収集された関連情報を後で一度に表示することもでき、関連情報をより多様な方法で提供することができる。
【００８０】
図１０は、本発明の第６実施例によるディスプレイ装置１００及びサーバー２００の動作の流れを示す図である。本発明の第６実施例によると、ユーザから映像に関する関連情報の提供要請がなくても、ユーザに対する関連情報提供履歴に基づいて関連情報を提供することができる。
【００８１】
本発明の第６実施例は、いわゆる自動推薦モードであり、自動推薦モードを設定するユーザの入力を受信することによってその作動を始める。但し、自動推薦モードの始動方法は必ずしもこれに限定されず、自動推薦モードが基本値として設定されていてもよい。
【００８２】
ディスプレイ装置１００の処理部１０３が自動推薦モードを設定するユーザ入力を受信すると（Ｓ１００１）、処理部１０３は当該ユーザ入力をサーバー２００に伝送し（Ｓ１００２）、その後に映像表示中に映像情報を続けてサーバー２００に伝送する（Ｓ１００３）。一方、サーバー２００の処理部２０１は自動推薦モードを設定するユーザ入力を受信すると（Ｓ１０１１）、ユーザに対する関連情報提供履歴に基づいて映像情報から探索対象を決定する（Ｓ１０１２）。探索対象を決定したサーバー２００の処理部２０１は、探索対象に関する関連情報を収集してディスプレイ装置１００に伝送する（Ｓ１０１３）。サーバー２００から関連情報を受信したディスプレイ装置１００の処理部１０３は、それに対応して受信に関するお知らせを表示する（Ｓ１００４）。これによって、ユーザは自動で関連情報が収集されて提供される状態にあるということが分かる。ユーザから関連情報の表示を要請する入力が受信されると、処理部１０３は受信された関連情報を表示する。但し、関連情報のお知らせ及び表示方法は、これに限定されず、例えば自動推薦モードでは別のお知らせ無しで直ちに関連情報を表示するように予め設定することも可能である。
【００８３】
これによれば、映像を視聴するユーザが関連情報提供の要請をその都度入力しなくても、ユーザに対する関連情報提供履歴に基づいて関連情報を自動で提供することができる。
【００８４】
図１１は、本発明の第７実施例によるディスプレイ装置１００及びサーバー２００の動作の流れを示す図である。本発明の第７実施例によると、所定区間の映像に対して一度のユーザ入力だけでも同じ類型の関連情報を続けて提供することができる。
【００８５】
ディスプレイ装置１００の処理部１０３が所定区間の映像に対して関連情報の提供を要請するユーザ入力を受信すると（Ｓ１１０１）、処理部１０３は、当該ユーザ入力をサーバー２００に伝送し（Ｓ１１０２）、その後に映像表示中に所定区間の映像に対応する映像情報を続けてサーバー２００に伝送する（Ｓ１１０３）。ここで、所定区間の映像に対して関連情報の提供を要請するユーザ入力は、例えば“今見ているドラマに可愛いワンピースが出たら知らせて”のように、所定区間を指定する入力及び関連情報の提供を要請する入力を共に含む。
【００８６】
サーバー２００の処理部２０１は、所定区間の映像に対して関連情報の提供を要請するユーザ入力を受信すると（Ｓ１１１１）、所定区間に対応する映像情報から探索対象を決定する（Ｓ１１１２）。探索対象を決定したサーバー２００の処理部２０１は、探索対象に関する関連情報を収集してディスプレイ装置１００に伝送する（Ｓ１１１３）。サーバー２００から関連情報を受信したディスプレイ装置１００の処理部１０３は、それに対応して受信に関するお知らせを表示する（Ｓ１１０４）。これによって、ユーザは自動で関連情報が収集されて提供される状態にあるということが分かる。ユーザから関連情報の表示を要請する入力が受信されると、処理部１０３は受信された関連情報を表示する。但し、関連情報のお知らせ及び表示方法はこれに限定されず、例えば、別のお知らせ無しで直ちに関連情報を表示するように予め設定することも可能である。
【００８７】
これによれば、所定区間の映像に対して一度のユーザ入力だけでも同じ類型の関連情報を続けて提供することができ、ユーザの便宜性が向上する。
【００８８】
図１２は、本発明の第８実施例によるディスプレイ装置１００及びサーバー２００の動作の流れを示す図である。上述の図１０を参照して説明した自動推薦モードに関する実施例では、ユーザの入力がなくても関連情報を提供できることを示した。但し、図１０の実施例ではユーザに対する関連情報提供履歴に基づいて関連情報を提供した。
【００８９】
しかし、自動推薦モードで関連情報を提供する方法が、上記のようにユーザに対する関連情報提供履歴に基づく方法に限定されるものではない。その他にも、ユーザの入力がない場合に関連情報を提供する方法には様々なものがある。
【００９０】
図１２に示す本発明の第８実施例がその一例であり、本発明の第８実施例によると、ユーザの入力がなくても、受信した映像を独自に分析して探索対象を決定し、それに関する関連情報を提供することができる。
【００９１】
本発明の第８実施例によると、ディスプレイ装置１００の処理部１０３は、受信した映像信号を処理して映像を表示する間に、映像情報を続けてサーバー２００に伝送する（Ｓ１２０１）。一例として、処理部１０３は所定の時間間隔で映像情報をサーバー２００に伝送する。他の例として、処理部１０３は、受信した映像信号に対して場面認識（Ｓｃｅｎｅ  Ｄｅｔｅｃｔｉｏｎ）技術を適用し、各場面を区分して認識した後、該当の場面毎に映像情報をサーバー２００に伝送する。但し、映像情報を続けてサーバー２００に伝送する方法がこれに限定されるものではない。
【００９２】
一方、ディスプレイ装置１００から映像情報を受信したサーバー２００は、映像情報を分析した結果に基づいて映像情報から探索対象を決定し（Ｓ１２０２）、探索対象に関する関連情報を収集してディスプレイ装置１００に伝送する（Ｓ１２０３）。本実施例では、探索対象を特定し得る別のユーザ入力情報がない状況であるため、サーバー２００の処理部２０１は映像情報から認識可能な全ての対象を探索対象として決定し、それに関する関連情報を提供する。例えば、処理部２０１は、映像に含まれる人物、客体、商品、背景、場所、映像と共に再生される音楽などを認識してそれを探索対象として決定し、それに関する関連情報、例えば、主人公プロファイル、商品情報、ロケ場所情報及び関連旅行情報、背景音楽情報などをディスプレイ装置１００に伝送する。伝送する関連情報の種類が多い場合、サーバー２００の処理部２０１は、それを種類別にカテゴリー化及び／又は順位化して伝送する。この場合、関連情報のカテゴリー化及び／又は順位化はディスプレイ装置１００の処理部１０３が行ってもよい。
【００９３】
サーバー２００から関連情報を受信したディスプレイ装置１００の処理部１０３は、受信した関連情報を表示する（Ｓ１２０５）。ディスプレイ装置１００の処理部１０３が受信した関連情報を表示する方法の一例として、処理部１０３は、図１０及び図１１に示したように、受信に関するお知らせを表示した後、それに対するユーザの入力に応じて関連情報を表示する。他の例として、図１２に示すように、処理部１０３は、映像の表示が終了したか否かを判断し（Ｓ１２０４）、終了した場合、受信した関連情報を表示する（Ｓ１２０５）。一方、処理部１０３は、受信した関連情報を表示する際に、受信した関連情報を全て表示してもよく、ユーザの個人情報を用いて、受信した関連情報の一部を選別して表示してもよい。
【００９４】
これによれば、映像を視聴するユーザが関連情報の提供を要請する入力をしなくても、関連情報を自動で提供することができる。
【００９５】
一方、以上において、ディスプレイ装置１００の処理部１０３とサーバー２００の処理部２０１で処理する内容に関連して、サーバー２００の処理部２０１における処理作業の一部をディスプレイ装置１００の処理部１０３が処理することも可能である。例えば、ディスプレイ装置１００の処理部１０３は、ユーザ入力情報からキーワードを抽出する処理を行うことができ、ユーザ入力情報に基づいて映像情報から探索対象を決定する処理も行うことができる。更には、サーバー２００の処理部２０１で行う処理を全てディスプレイ装置１００の処理部１０３で処理することも可能である。この場合、映像情報及びユーザ入力情報をディスプレイ装置１００からサーバー２００に送ったり、関連情報をディスプレイ装置１００がサーバー２００から受信したりする必要がなく、ディスプレイ装置１００において通信部の構成を省略しても構わない。
【００９６】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【００９７】
１００    ディスプレイ装置
１０１    信号受信部
１０２    ユーザ入力部
１０３、２０１    処理部
１０４    ディスプレイ部
１０５、２０２    通信部
２００    サーバー
【図１】
2021503107.tif 000003
【図２】
2021503107.tif 000004
【図３】
2021503107.tif 000005
【図４】
2021503107.tif 000006
【図５】
2021503107.tif 000007
【図６】
2021503107.tif 000008
【図７】
2021503107.tif 000009
【図８】
2021503107.tif 000010
【図９】
2021503107.tif 000011
【図１０】
2021503107.tif 000012
【図１１】
2021503107.tif 000013
【図１２】
2021503107.tif 000014
【国際調査報告】
2021503107.tif 000015
2021503107.tif 000016
2021503107.tif 000017
2021503107.tif 000018