(57)【要約】【課題】  本発明の目的とするところは、ディスプレイ装置、遠隔制御装置およびその検索方法において、コンテンツを視聴する視聴者が便利かつ直観的に検索をすることができ、検索語が分からない場合でも検索が可能なディスプレイ装置、遠隔制御装置およびその検索方法を提供することにある。【解決手段】  ディスプレイ装置が開示される。本ディスプレイ装置は、コンテンツのイメージフレームをディスプレイするディスプレイ部と、客体選択のためのユーザ命令を受信するインターフェース部と、イメージフレーム内でユーザ命令に対応する客体を検索対象として選択する選択部と、外部検索サーバと通信する通信部と、検索対象として選択された客体を検索サーバに伝送し、検索サーバから選択された客体に対する検索結果を受信してディスプレイするように制御する制御部とを含む。【選択図】図２
2013143141.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ装置の検索方法において、
コンテンツのイメージフレームをディスプレイするステップと、
客体選択のためのユーザ命令が受信されると、前記イメージフレーム内で前記ユーザ命令に対応する客体を検索対象として選択するステップと、
前記検索対象として選択された客体を検索サーバに伝送するステップと、
前記検索サーバから前記選択された客体に対する検索結果を受信してディスプレイするステップと
を含む検索方法。
【請求項２】
前記客体を検索対象として選択するステップは、
前記コンテンツのイメージフレームの中で前記ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）するステップと、
前記ユーザ命令に対応する検索カテゴリを決定するステップと、
前記キャプチャされたイメージフレーム内で前記決定された検索カテゴリに属する客体を検出し、その検索対象として選択するステップと
を含むことを特徴とする請求項１に記載の検索方法。
【請求項３】
前記ユーザ命令は予め設定されたパターンのタッチ入力であり、
前記検索カテゴリを決定するステップは、
前記タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することを特徴とする請求項２に記載の検索方法。
【請求項４】
前記客体を検出して前記検索対象として選択するステップは、
前記検出された客体が表示されたイメージフレームを前記ディスプレイ装置を制御するための遠隔制御装置に伝送するステップと、
前記検出された客体のうちの一つが前記遠隔制御装置上で選択されると、前記選択された客体を前記検索対象として選択するステップと
を含むことを特徴とする請求項２または３に記載の検索方法。
【請求項５】
前記コンテンツのメタデータから前記検索カテゴリに関連するキーワード情報を抽出するステップを更に含み、
前記検索対象として選択された客体を検索サーバに伝送するステップは、
前記検索対象として選択された客体および前記抽出されたキーワード情報を検索サーバに伝送することを特徴とする請求項２ないし４の何れか一項に記載の検索方法。
【請求項６】
前記客体を検索対象として選択するステップは、
前記コンテンツのイメージフレームの中で前記ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）するステップと、
前記ディスプレイ装置を制御するための遠隔制御装置に前記キャプチャされたイメージフレームを伝送するステップと、
前記遠隔制御装置上で客体が選択されると、前記選択された客体を前記検索対象として選択するステップと
を含むことを特徴とする請求項１に記載の検索方法。
【請求項７】
前記遠隔制御装置上で決定された検索カテゴリに対する情報を受信するステップと、
前記受信された検索カテゴリに対する情報を用いて前記コンテンツのメタデータから検索カテゴリに関連するキーワード情報を抽出するステップとを更に含み、
前記検索対象として選択された客体を検索サーバに伝送するステップは、
前記検索対象として選択された客体および前記抽出されたキーワード情報を検索サーバに伝送することを特徴とする請求項６に記載の検索方法。
【請求項８】
ディスプレイ装置を制御する遠隔制御装置の検索方法において、
前記ディスプレイ装置にディスプレイされるイメージフレーム内の客体を選択するためのユーザ命令が入力されるステップと、
前記選択された客体に対する検索結果をディスプレイするように前記ユーザ命令を前記ディスプレイ装置に伝送するステップと
を含む検索方法。
【請求項９】
前記ディスプレイ装置から、前記ユーザ命令が伝送された時点でキャプチャされ、前記ユーザ命令に従って検出された客体が表示されたイメージフレームを受信するステップと、
前記受信されたイメージフレームをディスプレイするステップと、
前記ディスプレイされたイメージフレーム上に表示された客体のうちの一つが選択されると、選択された客体を検索対象として選択する客体選択命令を前記ディスプレイ装置に伝送するステップと
を更に含むことを特徴とする請求項８に記載の検索方法。
【請求項１０】
前記ディスプレイ装置から、前記ユーザ命令が伝送された時点でキャプチャされたイメージフレームを受信するステップと、
前記キャプチャされたイメージフレームをディスプレイするステップと、
前記受信されたイメージフレーム内で前記ユーザ命令に対応する客体を選択するステップと、
前記選択された客体を検索対象として選択する客体選択命令を前記ディスプレイ装置に伝送するステップと
を更に含むことを特徴とする請求項８に記載の検索方法。
【請求項１１】
前記客体を選択するステップは、
前記ユーザ命令に対応する検索カテゴリを決定するステップと、
前記ディスプレイされたイメージフレーム内で前記決定された検索カテゴリに属する客体を検出するステップと、
前記検出された客体のうちの一つを選択するステップと
を含むことを特徴とする請求項１０に記載の検索方法。
【請求項１２】
前記ユーザ命令は予め設定されたパターンのタッチ入力であり、
前記検索カテゴリを決定するステップは、
前記タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することを特徴とする請求項１１に記載の検索方法。
【請求項１３】
コンテンツのイメージフレームをディスプレイするディスプレイ部と、
客体選択のためのユーザ命令を受信するインターフェース部と、
前記イメージフレーム内で前記ユーザ命令に対応する客体を検索対象として選択する選択部と、
外部検索サーバと通信する通信部と、
前記検索対象として選択された客体を前記検索サーバに伝送し、前記検索サーバから前記選択された客体に対する検索結果を受信してディスプレイするように制御する制御部と
を含むことを特徴とするディスプレイ装置。
【請求項１４】
前記選択部は、
前記コンテンツのイメージフレームの中で前記ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）するキャプチャ部と、
前記ユーザ命令に対応する検索カテゴリを決定するカテゴリ決定部と、
前記キャプチャされたイメージフレーム内で前記決定された検索カテゴリに属する客体を検出し、その検索対象として選択する客体選択部と
を含むことを特徴とする請求項１３に記載のディスプレイ装置。
【請求項１５】
ディスプレイ装置を制御する遠隔制御装置において、
前記ディスプレイ装置にディスプレイされるイメージフレーム内の客体を選択するためのユーザ命令を受信する入力部と、
前記ディスプレイ装置と通信するインターフェース部と、
前記選択された客体に対する検索結果をディスプレイするように前記ユーザ命令を前記ディスプレイ装置に伝送するように前記インターフェース部を制御する制御部と
を含む遠隔制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ装置、遠隔制御装置およびその検索方法に関し、より詳細には、外部検索サーバを通じて検索を行うディスプレイ装置、遠隔制御装置およびその検索方法に関する。
【背景技術】
【０００２】
電子技術の発達により、多様な電子製品が開発および普及されている。特に、テレビや携帯電話、パソコン、ノートパソコン、ＰＤＡ等のような各種ディスプレイ装置は、ほとんど一般家庭でも使用されている。
【０００３】
ディスプレイ装置に対する需要が増加するにつれ、より便利かつ多様な機能を提供することができるディスプレイ装置が開発されている。なお、最近では、ディスプレイ装置をインターネットネットワーク等と接続してネットサーフィンおよび検索等のサービスを提供する商品も登場しつつある。
【０００４】
一方、このようなディスプレイ装置を通じて視聴者がコンテンツを視聴する途中、視聴者が登場人物または提供商品等に対する情報を得ようとする場合、別途のウェブ検索画面を用いて検索しなければならず、登場人物または提供商品等に対する検索語が分からない場合には、検索そのものができないという問題点があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国特開第２００８−０９００１６号公報
【特許文献２】韓国特開第２０１０−０７６４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ディスプレイ装置、遠隔制御装置およびその検索方法において、コンテンツを視聴する視聴者が便利かつ直観的に検索をすることができ、検索語が分からない場合でも検索が可能なディスプレイ装置、遠隔制御装置およびその検索方法を提供することにある。
【課題を解決するための手段】
【０００７】
以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置の検索方法は、コンテンツのイメージフレームをディスプレイするステップと、客体選択のためのユーザ命令が受信されると、前記イメージフレーム内で前記ユーザ命令に対応する客体を検索対象として選択するステップと、前記検索対象として選択された客体を検索サーバに伝送するステップと、前記検索サーバから前記選択された客体に対する検索結果を受信してディスプレイするステップとを含む。
【０００８】
ここで、前記客体を検索対象として選択するステップは、前記コンテンツのイメージフレームの中で前記ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）するステップと、前記ユーザ命令に対応する検索カテゴリを決定するステップと、前記キャプチャされたイメージフレーム内で前記決定された検索カテゴリに属する客体を検出し、その検索対象として選択するステップとを含んでよい。
【０００９】
そして、前記ユーザ命令は予め設定されたパターンのタッチ入力であり、前記検索カテゴリを決定するステップは、前記タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定するものであってよい。
【００１０】
なお、前記客体を検出して前記検索対象として選択するステップは、前記検出された客体が表示されたイメージフレームを前記ディスプレイ装置を制御するための遠隔制御装置に伝送するステップと、前記検出された客体のうちの一つが前記遠隔制御装置上で選択されると、前記選択された客体を前記検索対象として選択するステップとを含んでよい。
【００１１】
一方、ディスプレイ装置の検索方法は、前記コンテンツのメタデータから前記検索カテゴリに関連するキーワード情報を抽出するステップを更に含んでよく、前記検索対象として選択された客体を検索サーバに伝送するステップは、前記検索対象として選択された客体および前記抽出されたキーワード情報を検索サーバに伝送することを特徴としてよい。
【００１２】
一方、前記客体を検索対象として選択するステップは、前記コンテンツのイメージフレームの中で前記ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）するステップと、前記ディスプレイ装置を制御するための遠隔制御装置に前記キャプチャされたイメージフレームを伝送するステップと、前記遠隔制御装置上で客体が選択されると、前記選択された客体を前記検索対象として選択するステップとを含んでよい。
【００１３】
ここで、前記遠隔制御装置上で決定された検索カテゴリに対する情報を受信するステップと、前記受信された検索カテゴリに対する情報を用いて前記コンテンツのメタデータから検索カテゴリに関連するキーワード情報を抽出するステップとを更に含んでよく、前記検索対象として選択された客体を検索サーバに伝送するステップは、前記検索対象として選択された客体および前記抽出されたキーワード情報を検索サーバに伝送することを特徴としてよい。
【００１４】
一方、本発明の一実施形態に係るディスプレイ装置を制御する遠隔制御装置の検索方法は、前記ディスプレイ装置にディスプレイされるイメージフレーム内の客体を選択するためのユーザ命令が入力されるステップと、前記選択された客体に対する検索結果をディスプレイするように前記ユーザ命令を前記ディスプレイ装置に伝送するステップとを含む。
【００１５】
ここで、遠隔制御装置の検索方法は、前記ディスプレイ装置から、前記ユーザ命令が伝送された時点でキャプチャされ、前記ユーザ命令に従って検出された客体が表示されたイメージフレームを受信するステップと、前記受信されたイメージフレームをディスプレイするステップと、前記ディスプレイされたイメージフレーム上に表示された客体のうちの一つが選択されると、選択された客体を検索対象として選択する客体選択命令を前記ディスプレイ装置に伝送するステップとを更に含んでよい。
【００１６】
または、前記ディスプレイ装置から、前記ユーザ命令が伝送された時点でキャプチャされたイメージフレームを受信するステップと、前記キャプチャされたイメージフレームをディスプレイするステップと、前記受信されたイメージフレーム内で前記ユーザ命令に対応する客体を選択するステップと、前記選択された客体を検索対象として選択する客体選択命令を前記ディスプレイ装置に伝送するステップとを更に含んでよい。
【００１７】
ここで、前記客体を選択するステップは、前記ユーザ命令に対応する検索カテゴリを決定するステップと、前記ディスプレイされたイメージフレーム内で前記決定された検索カテゴリに属する客体を検出するステップと、前記検出された客体のうちの一つを選択するステップとを含んでよい。
【００１８】
そして、前記ユーザ命令は予め設定されたパターンのタッチ入力であり、前記検索カテゴリを決定するステップは、前記タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することを特徴としてよい。
【００１９】
一方、本発明の一実施形態に係るディスプレイ装置は、コンテンツのイメージフレームをディスプレイするディスプレイ部と、客体選択のためのユーザ命令を受信するインターフェース部と、前記イメージフレーム内で前記ユーザ命令に対応する客体を検索対象として選択する選択部と、外部検索サーバと通信する通信部と、前記検索対象として選択された客体を前記検索サーバに伝送し、前記検索サーバから前記選択された客体に対する検索結果を受信してディスプレイするように制御する制御部とを含む。
【００２０】
ここで、前記選択部は、前記コンテンツのイメージフレームの中で前記ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）するキャプチャ部と、前記ユーザ命令に対応する検索カテゴリを決定するカテゴリ決定部と、前記キャプチャされたイメージフレーム内で前記決定された検索カテゴリに属する客体を検出し、その検索対象として選択する客体選択部とを含んでよい。
【００２１】
そして、前記ユーザ命令は予め設定されたパターンのタッチ入力であってよく、前記カテゴリ決定部は、前記タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定してよい。
【００２２】
なお、前記インターフェース部は、前記検出された客体が表示されたイメージフレームを前記ディスプレイ装置を制御するための遠隔制御装置に伝送し、前記客体選択部は、前記検出された客体のうちの一つが前記遠隔制御装置上で選択されると、前記選択された客体を前記検索対象として選択してよい。
【００２３】
そして、ディスプレイ装置は、前記コンテンツのメタデータから前記検索カテゴリに関連するキーワード情報を抽出するキーワード抽出部を更に含んでよく、前記制御部は、前記検索対象として選択された客体および前記抽出されたキーワード情報を検索サーバに伝送するように前記通信部を制御してよい。
【００２４】
一方、前記選択部は、前記コンテンツのイメージフレームの中で前記ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）するキャプチャ部と、前記ディスプレイ装置を制御するための遠隔制御装置に前記キャプチャされたイメージフレームが伝送され、前記遠隔制御装置上で客体が選択されると、前記選択された客体を前記検索対象として選択する客体選択部とを含んでよい。
【００２５】
前記遠隔制御装置上で決定された検索カテゴリに対する情報が受信されると、前記受信された検索カテゴリに対する情報を用いて前記コンテンツのメタデータから検索カテゴリに関連するキーワード情報を抽出するキーワード抽出部を更に含み、前記制御部は、前記検索対象として選択された客体および前記抽出されたキーワード情報を検索サーバに伝送するように制御してよい。
【００２６】
一方、本発明の一実施形態に係るディスプレイ装置を制御する遠隔制御装置は、前記ディスプレイ装置にディスプレイされるイメージフレーム内の客体を選択するためのユーザ命令を受信する入力部と、前記ディスプレイ装置と通信するインターフェース部と、前記選択された客体に対する検索結果をディスプレイするように前記ユーザ命令を前記ディスプレイ装置に伝送するように前記インターフェース部を制御する制御部とを含む。
【００２７】
一方、前記遠隔制御装置は、ディスプレイ部を更に含んでよく、前記インターフェース部は、前記ディスプレイ装置から、前記ユーザ命令が伝送された時点でキャプチャされ、前記ユーザ命令に従って検出された客体が表示されたイメージフレームを受信し、前記制御部は、前記受信されたイメージフレームをディスプレイし、前記ディスプレイされたイメージフレーム上に表示された客体のうちの一つが選択されると、選択された客体を検索対象として選択する客体選択命令を前記ディスプレイ装置に伝送するように制御してよい。
【００２８】
または、前記遠隔制御装置は、ディスプレイ部を更に含んでよく、前記インターフェース部は、前記ディスプレイ装置から、前記ユーザ命令が伝送された時点でキャプチャされたイメージフレームを受信し、前記制御部は、前記キャプチャされたイメージフレームをディスプレイし、前記受信されたイメージフレーム内で前記ユーザ命令に対応する客体を選択し、前記選択された客体を検索対象として選択する客体選択命令を前記ディスプレイ装置に伝送するように制御してよい。
【００２９】
そして、前記制御部は、前記ユーザ命令に対応する検索カテゴリを決定し、前記受信されたイメージフレーム内で前記決定された検索カテゴリに属する客体を検出し、前記検出された客体のうちの一つを選択してよい。
【００３０】
なお、前記ユーザ命令は予め設定されたパターンのタッチ入力であり、前記制御部は、前記タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定してよい。
【発明の効果】
【００３１】
以上説明したように、本発明によれば、ユーザはコンテンツを視聴する途中、便利かつ直観的に検索を行うことができ、検索語が分からない場合でもイメージフレームを用いて検索を行うことができるようになる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係る検索システムの構成を示す模式図である。
【図２】本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。
【図３】本発明の一実施形態に係る選択部の具体的な構成を説明するためのブロック図である。
【図４】本発明の別の実施形態に係る選択部１３０の具体的な構成を示すブロック図である。
【図５】本発明の更に別の実施形態に係るディスプレイ装置の構成を示すブロック図である。
【図６】本発明の一実施形態に係る遠隔制御装置の構成を示すブロック図である。
【図７】本発明の別の実施形態に係る遠隔制御装置の構成を示すブロック図である。
【図８】本発明の一実施形態によって客体を検索対象として選択する過程を説明するための図である。
【図９】本発明の別の実施形態によって客体を検索対象として選択する過程を説明するための図である。
【図１０】本発明の一実施形態に係るディスプレイ装置の検索方法を示すフローチャートである。
【図１１】本発明の一実施形態に係る遠隔制御装置の検索方法を示すフローチャートである。
【図１２】本発明の別の実施形態に係る遠隔制御装置の検索方法を示すフローチャートである。
【図１３】本発明の更に別の実施形態に係る遠隔制御装置の検索方法を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００３４】
図１は、本発明の一実施形態に係る検索システムの構成を示す模式図である。
【００３５】
図１に示すように、本検索システムは、ディスプレイ装置１００と、遠隔制御装置２００および検索サーバ３００を含む。
【００３６】
ディスプレイ装置１００は、コンテンツを受信してディスプレイする。ディスプレイ装置は、放送ネットワークを用いて放送番組コンテンツを伝送する放送局またはインターネットを用いてコンテンツファイルを伝送するウェブサーバからコンテンツを受信してディスプレイすることができる。なお、ディスプレイ装置１００内に設けられたり、ディスプレイ装置と接続された記録媒体再生装置からコンテンツを受信してディスプレイすることができる。記録媒体再生装置とは、ＤＶＤやハードディスク、ブルーレイディスク、メモリカード、ＵＳＢメモリ等のような多様な記録媒体に保存されたコンテンツを再生する装置を意味する。
【００３７】
一方、視聴者がディスプレイ装置１００でディスプレイされる映像コンテンツを視聴する途中、映像に含まれた客体、すなわち、人物や、場所または物等に対する情報を得ようとする場合、遠隔制御装置２００を介してユーザ命令を入力することができる。ディスプレイ装置１００は、ユーザ命令に従ってイメージフレーム内の客体を検索対象として選択することができる。ディスプレイ装置１００は、検索対象として選択された客体を検索サーバ３００に伝送し、検索サーバ３００は選択された客体に対する検索を行う。そして、ディスプレイ装置１００は、検索サーバ３００から検索結果を受信してディスプレイしてよい。
【００３８】
検索サーバ３００から受信した検索結果は、ディスプレイ装置１００のディスプレイ画面の一部または遠隔制御装置２００にディスプレイ画面が備えられた場合、遠隔制御装置２００のディスプレイ画面を通じてディスプレイしてよい。
【００３９】
一方、ディスプレイ装置１００でディスプレイされるコンテンツには当該コンテンツに対するメタデータ（Ｍｅｔａｄａｔａ）が含まれており、ディスプレイ装置１００はこのようなメタデータからキーワード情報を抽出して検索対象として選択された客体とともに検索サーバ３００に伝送してよい。
【００４０】
検索サーバ３００は、検索対象として選択された客体に対する検索を行う際、メタデータから抽出されたキーワード情報とともに利用することができ、検索の正確度を向上させることができる。
【００４１】
一方、ディスプレイ装置１００と遠隔制御装置２００とは、Ｗｉ−Ｆｉ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＩＲＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、ＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）、ＩＥＥＥ  ８０２．１１、ＷＬＡＮ、ＨＲ  ＷＰＡＮ、ＵＷＢ、ＬＲ  ＷＰＡＮ等のような無線通信技術で通信することができ、ディスプレイ装置１００と検索サーバ３００とは、インターネット等のような通信ネットワークを通じて通信することができる。
【００４２】
一方、本発明の一部構成および動作は、ディスプレイ装置１００で行われてよく、遠隔制御装置２００で行われてもよい。具体的に、検索カテゴリを決定する過程およびイメージフレームから客体を検出する過程とは、ディスプレイ装置１００および遠隔制御装置２００の何れか一つの装置で行われてよい。したがって、実施形態によって各装置の細部構成および動作が異なってよく、各実施形態に係るディスプレイ装置１００および遠隔制御装置２００の具体的な構成および動作は、当該部分で区分して説明する。
【００４３】
図２は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。
【００４４】
図２に示すように、ディスプレイ装置１００は、ディスプレイ部１１０と、インターフェース部１２０と、選択部１３０と、通信部１４０および制御部１５０を含む。このようなディスプレイ装置１００は、テレビや、携帯電話、ＰＤＡ、ノートパソコン、モニタ、タブレットパソコン、電子書籍、キヨスク端末等のようにディスプレイユニットを備えた多様な装置で実現されてよい。
【００４５】
ディスプレイ部１１０は、コンテンツをディスプレイする。具体的に、コンテンツのイメージフレームをディスプレイして視聴者に提供することができる。ディスプレイ部１１０は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）等のような多様な装置で実現されてよい。
【００４６】
インターフェース部１２０は、ユーザ命令を受信する。すなわち、遠隔制御装置２００を介して入力された客体選択のためのユーザ命令を受信することができる。具体的には、遠隔制御装置２００のインターフェース部（図３の２２０）と通信してユーザ命令を受信することができ、上述のように、多様な無線通信技術で通信することができる。
【００４７】
選択部１３０は、ディスプレイ部１１０にディスプレイされるイメージフレーム内でインターフェース部１２０から受信したユーザ命令に対応する客体を検索対象として選択する。選択部１３０の具体的な構成は、実施形態に応じて異なるため、実施形態別に説明を進める。
【００４８】
＜第１実施形態＞
図３は、本発明の一実施形態に係る選択部の具体的な構成を説明するためのブロック図である。
【００４９】
図３によると、選択部１３０は、キャプチャ部１３１と、カテゴリ決定部１３２および客体選択部１３３を含む。
【００５０】
キャプチャ部１３１は、ディスプレイ部１１０でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）する。インターフェース部１２０でユーザ命令を受信すると、キャプチャ部１３１は、コンテンツのイメージフレームの中でユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャする。
【００５１】
カテゴリ決定部１３２は、ユーザ命令に対応する検索カテゴリを決定する。ここで、遠隔制御装置２００から受信されたユーザ命令は、予め設定されたパターンのタッチ入力であってよく、カテゴリ決定部１３２は、タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することができる。
【００５２】
例えば、検索カテゴリの種類が、人物や場所、物に設定されており、人物に対応するタッチパターンは円、場所に対応するタッチパターンは三角、物に対応するタッチパターンは直線に設定されている場合、ユーザが円に該当するタッチパターンを入力すると、カテゴリ決定部１３２は検索カテゴリを人物に決定し、直線を入力した場合、検索カテゴリを物に決定することができる。
【００５３】
一方、検索カテゴリの種類および対応するタッチパターンは、予め設定されて保存されてよく、各々ユーザによって変更されてよい。
【００５４】
客体選択部１３３は、キャプチャ部１３１でキャプチャされたイメージフレーム内で、カテゴリ決定部１３２で決定された検索カテゴリに属する客体を検出して検索対象として選択する。
【００５５】
キャプチャされたイメージフレーム内から客体を検出するために、様々な方法が使われてよい。例えば、Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、Ｈｉｇｈｅｒ  Ｄｅｇｒｅｅ  Ｐｏｌｙｎｏｍｉａｌ  Ｃｌａｓｓｉｆｉｅｒｓ、確率基盤客体認識方法、特徴点抽出基盤客体認識方法、階層構造方法およびリアルタイム客体認識が可能なＡｄａＢｏｏｓｔ基盤認識方法、３Ｄ幾何学モデル基盤客体認識方法、Ｈｏｕｇｈ変換基盤客体認識方法等があった。
【００５６】
リアルタイム客体認識方法ではない場合には、客体種類別のイメージから各客体の特徴と思われる部分を判別し、類似する部分同士を分類した後、これらの特徴を抽出して学習する前処理過程が必要である。
【００５７】
そして、客体を検出するためのイメージフレームに対して特徴点を抽出して客体の領域を検出するためのイメージ分割を行い、特徴点抽出過程において特徴点の位置および方向情報等が同時に抽出される。イメージフレームから特徴点を抽出する過程、学習する過程およびイメージを分割する過程で様々なアルゴリズムが使われてよい。例えば、特徴点を抽出する過程では、Ｋａｄｉｒ＆Ｂｒａｄｙ方法、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）アルゴリズム等が使われてよく、イメージを分割するためにＪＳＥＧ（Ｊ−Ｓｅｇｍｅｎｔ）アルゴリズム、Ｗａｔｅｒｓｈｅｄアルゴリズム等が使われてよい。なお、学習アルゴリズムとしては、ＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ  Ｂｏｏｓｔｉｎｇ）アルゴリズム等が使われてよい。一方、このような方法は、広く知られた技術として、それに対する具体的な説明は省略する。
【００５８】
一方、客体選択部１３３は、検出された客体が区分できるようにイメージフレーム上に表示してよい。例えば、検出された客体が含まれた領域を四角で表示したり、検出された客体そのものを他の部分と区分できるように表示することができる。
【００５９】
なお、検出された客体のうちの一つが遠隔制御装置２００上で選択されると、選択された客体の検索対象として選択することができる。すなわち、インターフェース部１２０は、検出された客体が表示されたイメージフレームを遠隔制御装置２００に伝送し、遠隔制御装置２００から検出された客体のうち何れか一つが選択されると、遠隔制御装置２００から客体選択命令を受信し、選択された客体を検索対象として選択してよい。
【００６０】
＜第２実施形態＞
図４は、本発明の別の実施形態に係る選択部１３０の具体的な構成を示すブロック図である。
【００６１】
図４に示すように、選択部１３０は、キャプチャ部１３４および客体選択部１３５を含む。
【００６２】
キャプチャ部１３４は、ディスプレイ部１１０でディスプレイされるイメージフレームをキャプチャ（Ｃａｐｔｕｒｅ）する。インターフェース部１２０でユーザ命令を受信すると、キャプチャ部１３４は、コンテンツのイメージフレームの中でユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャする。
【００６３】
客体選択部１３５は、遠隔制御装置上で客体が選択されると、選択された客体を検索対象として選択する。具体的には、キャプチャ部１３４でキャプチャされたイメージフレームが遠隔制御装置２００に伝送されると、遠隔制御装置２００はユーザ命令に対応する客体を検出する。検出された客体のうち一つが選択されると、選択された客体を検索対象として選択する客体選択命令をインターフェース部１２０に伝送する。客体選択部１３５は、客体選択命令に従って選択された客体を検索対象として選択することができる。
【００６４】
一方、このような客体選択命令は、遠隔制御装置２００で選択された客体の位置および領域が表示されたピクセル座標のような形態であってよく、客体選択部１３５は、ピクセル座標を用いてキャプチャされたイメージ上で客体を検索対象として選択してよい。または、客体選択命令は、選択された客体のイメージそのものであってよく、この場合に、客体選択部１３５は受信した客体のイメージそのものを検索対象として選択することができる。
【００６５】
通信部１４０は、外部検索サーバ３００と通信する。上述のように、通信部１４０は、インターネット等のような通信ネットワークを通じて検索サーバ３００と通信することができる。
【００６６】
制御部１５０は、選択部１３０で選択された客体を検索サーバ３００に伝送し、検索サーバから検索結果を受信してディスプレイするように制御する。なお、制御部１５０は、ディスプレイ装置１００の動作全般を制御する。具体的に、制御部１５０は、ディスプレイ部１１０と、インターフェース部１２０と、選択部１３０および通信部１４０の各々を制御し、対応する動作を行うようにすることができる。
【００６７】
図５は、本発明の更に別の実施形態に係るディスプレイ装置の構成を示すブロック図である。
【００６８】
図５に示すように、ディスプレイ装置１００は、ディスプレイ部１１０と、インターフェース部１２０と、選択部１３０と、通信部１４０および制御部１５０だけでなく、キーワード抽出部１６０を更に含んでよい。
【００６９】
キーワード抽出部１６０は、メタデータ（Ｍｅｔａｄａｔａ）から検索カテゴリに関連するキーワード情報を抽出する。具体的に、ディスプレイ装置１００はコンテンツを受信する際、コンテンツに関連する情報を含むメタデータを同時に受信することができる。例えば、コンテンツが映画である場合、メタデータには、タイトルやあらすじ、セリフ、ジャンル、ホームページ、撮影スタッフ、製作会社、配給会社、投資会社、キャスト情報、提供スポンサー情報、ロケ地情報等が含まれてよい。キーワード抽出部１６０はこのようなメタデータから検索カテゴリに関連するキーワード情報を抽出することができる。
【００７０】
例えば、視聴者が映画“ミッションインポッシブル：ゴースト・プロトコル”を視聴しているとすると、検索カテゴリが「人物」に決定された場合、人物に関連するキャスト情報に関するメタデータから“トム・クルーズ”、“ジェレミー・レナー”、“サイモン・ペグ”、“ポーラ・パットン”、“ジョシュ・ホロウェイ”等のキーワード情報を抽出することができる。
【００７１】
なお、検索カテゴリが「物」に決定された場合、物に関連する提供スポンサー情報に関するメタデータから提供スポンサー会社、ブランド名、提供された物のモデル名等のキーワード情報を抽出することができる。
【００７２】
ここで、第１実施形態によると、検索カテゴリはディスプレイ装置１００のカテゴリ決定部１３２で決定されてよく、キーワード抽出部１６０はカテゴリ決定部１３２で決定された検索カテゴリを用いてキーワード情報を抽出することができる。
【００７３】
そして、第２実施形態によると、検索カテゴリは遠隔制御装置２００で決定されるため、遠隔制御装置２００から受信された検索カテゴリに対する情報を用いてキーワード情報を抽出することができる。
【００７４】
一方、通信部１３０は、キーワード抽出部１６０で抽出されたキーワード情報および選択部１３０で検索対象として選択された客体とともに検索サーバ３００に伝送することができる。
【００７５】
図６は、本発明の一実施形態に係る遠隔制御装置の構成を示すブロック図である。
【００７６】
図６に示すように、遠隔制御装置２００は、入力部２１０と、インターフェース部２２０および制御部２３０を含む。このような遠隔制御装置２００は、ディスプレイ装置１００を制御することができるリモコンやスマートフォン、タブレットパソコン、ノートパソコン、ＰＤＡ等のような多様な装置で実現されてよい。
【００７７】
入力部２１０は、ユーザ命令を受信する。ユーザ命令は、ディスプレイ装置にディスプレイされるイメージフレーム内の客体を選択するためのユーザ命令である。このようなユーザ命令は、予め設定されたパターンのタッチ入力または検索カテゴリを選択することができるユーザインターフェースを通じて入力されるタッチ入力であってよい。
【００７８】
一方、入力部２１０は、タッチ入力のためのタッチパネル（Ｔｏｕｃｈ  Ｐａｎｅｌ）を備えてよい。タッチパネルは、静電容量を検出できる膜を使ってユーザの手または静電電荷を有する物の接触位置を把握するパネルまたは抵抗膜を使って人の指またはその他の物体の接触位置を把握するパネルまたは上下左右に目に見えない赤外線を流して画面に数多くの四角の格子が生じるようにすることにより、指先やその他の物体でその格子に接触すると、その位置を把握することができるようにする等のパネルを意味する。
【００７９】
インターフェース部２２０は、ディスプレイ装置１００と通信する。すなわち、ディスプレイ装置１００のインターフェース部１２０と通信することができる。インターフェース部２２０は、入力部２１０に入力されたユーザ命令および検索カテゴリに対する情報をディスプレイ装置１００に伝送することができ、ディスプレイ装置１００からキャプチャされたイメージフレームおよび検出された客体が表示されたイメージフレームを受信することができる。
【００８０】
制御部２３０は、遠隔制御装置２００の動作全般を制御する。具体的に、制御部２３０は、入力部２１０およびインターフェース部２２０の各々を制御し、対応する動作を行うようにすることができる。
【００８１】
なお、制御部２３０は、入力部２１０に入力されたユーザ命令をディスプレイ装置１００に伝送するようにインターフェース部２２０を制御する。ユーザ命令をディスプレイ装置１００に伝送してディスプレイ装置で客体を選択し、選択された客体に対する検索結果をディスプレイすることができる。
【００８２】
なお、制御部２３０は、入力部２１０に予め設定されたタッチパターンが入力された場合、タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することができる。
【００８３】
図７は、本発明の別の実施形態に係る遠隔制御装置の構成を示すブロック図である。
【００８４】
図７に示すように、遠隔制御装置２００は、入力部２１０と、インターフェース部２２０および制御部２３０だけでなく、ディスプレイ部２４０を更に含んでよい。
【００８５】
遠隔制御装置２００に対する更に具体的な説明は、実施形態別に区分して説明する。
【００８６】
＜第１実施形態＞
制御部２３０は、ディスプレイ装置１００でユーザ命令に従って検出された客体が表示されたイメージフレームをディスプレイし、ディスプレイされたイメージフレーム上に表示された客体のうち一つが選択されると、選択された客体を検索対象として選択する客体選択命令をディスプレイ装置１００に伝送するように制御することができる。
【００８７】
すなわち、インターフェース部２２０は、ユーザ命令が伝送された時点でキャプチャされてユーザ命令に従って検出された客体が表示されたイメージフレームをディスプレイ装置１００から受信し、ディスプレイ部２４０はインターフェース部２２０を介して受信されて検出された客体の表示されたイメージフレームをディスプレイすることができる。ここで、ユーザの選択命令に従ってディスプレイされたイメージフレーム上に表示された客体のうちの一つを選択することができる。そして、インターフェース部２２０は、ディスプレイ装置１００が選択された客体を検索対象として選択することができるように客体選択命令をディスプレイ装置１００に伝送することができる。
【００８８】
＜第２実施形態＞
制御部２３０は、ディスプレイ装置でキャプチャされたイメージフレーム内でユーザ命令に対応する客体を選択し、選択された客体を検索対象として選択する客体選択命令をディスプレイ装置１００に伝送するように制御することができる。
【００８９】
すなわち、インターフェース部２２０は、ユーザ命令が伝送された時点でキャプチャされたイメージフレームをディスプレイ装置１００から受信する。ディスプレイ部２４０はキャプチャされたイメージフレームをディスプレイし、制御部２３０は受信されたイメージフレーム内でユーザ命令に対応する客体を選択することができる。そして、インターフェース部２２０は、ディスプレイ装置１００が選択された客体を検索対象として選択することができるように客体選択命令をディスプレイ装置１００に伝送することができる。
【００９０】
ここで、制御部２３０が受信されたイメージフレーム内でユーザ命令に対応する客体を選択する過程を具体的に説明する。
【００９１】
制御部２３０は、入力部２１０に入力された客体を選択するためのユーザ命令に対応する検索カテゴリを決定する。ユーザ命令が予め設定されたパターンのタッチ入力である場合、タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することができる。検索カテゴリの決定に対する詳細な説明は、図３のカテゴリ決定部１３２に関連して説明しているため、省略する。
【００９２】
検索カテゴリが決定されると、制御部２３０は受信されたイメージフレーム内で決定されたカテゴリに属する客体を検出することができ、イメージフレーム上に表示することができる。客体を検出して表示する方法は、図３の客体選択部１３３に関連して説明しているため、省略する。
【００９３】
そして、制御部２３０は、ユーザの選択命令によって検出された客体のうち一つを選択することができる。
【００９４】
一方、遠隔制御装置２００の入力部２１０およびディスプレイ部２４０は、別途の構成であるとして説明したが、入力部２１０およびディスプレイ部２４０は、一つの構成で実現されてよい。すなわち、入力部２１０がタッチパネルを備える場合には、入力部２１０およびディスプレイ部２４０は、タッチスクリーン（Ｔｏｕｃｈ  Ｓｃｒｅｅｎ）のような一つの構成で実現されてよい。
【００９５】
検索サーバ３００は、ディスプレイ装置１００から検索対象として選択された客体を受信して検索された客体に対する検索を行う。検索サーバ３００は、Ｇｏｏｇｌｅ等の検索サイトで検索を行う際、使われる通常の方法によって検索を行い、それは当該技術分野で自明な技術として具体的な説明は省略する。
【００９６】
ここで、選択された客体がイメージデータである場合には、イメージ検索を行うことができる。イメージ検索とは、検索しようとするイメージを特定領域に分割して各領域に含まれたピクセルの色相、彩度、輝度等の特徴値および位置を検出して他のイメージと比較することにより類似イメージを検索し、検索されたイメージ関連の情報等を検索することができる検索方法である。
【００９７】
なお、検索サーバ３００が検索対象として選択された客体とキーワード情報とを同時に受信した場合、検索対象として選択された客体だけでなく、キーワードを用いて同時に検索することができ、キーワード情報を用いることにより、検索の正確度を向上させることができる。
【００９８】
例えば、“ミッションインポッシブル：ゴースト・プロトコル”を視聴してした視聴者が出演者のうち、“ジェレミー・レナー”に対する情報を得るために、ユーザ命令を入力してジェレミー・レナーのイメージが客体として選択され、キーワード情報として“トム・クルーズ”、“ジェレミー・レナー”、“サイモン・ペグ”、“ポーラ・パットン”、“ジョシュ・ホロウェイ”等のキーワードが抽出されたと仮定する。検索サーバ３００は優先キーワード情報であるトム・クルーズ、ジェレミー・レナー、サイモン・ペグ、ポーラ・パットン等に関連するイメージを検索し、客体として選択されたジェレミー・レナーのイメージと比較してイメージ検索を行うことができる。または、イメージ検索を先に行いイメージ検索結果でキーワード情報を用いて再度検索することもできる。
【００９９】
そして、検索が完了すると、検索サーバ３００は検索結果をディスプレイ装置１００に伝送する。
【０１００】
以下で、本発明の全体的な理解を促すため、図８および図９を用いて客体を検索対象として選択する過程について、各実施形態別に説明する。
【０１０１】
図８は、本発明の一実施形態によって、客体を検索対象として選択する過程を説明するための図である。
【０１０２】
遠隔制御装置２００にユーザ命令が入力されると、ディスプレイ装置１００にユーザ命令を伝送する（ａ）。ディスプレイ装置１００は、ユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャする（ｂ）。そして、ユーザ命令に対応する検索カテゴリを決定する（ｃ）。その後、キャプチャされたイメージフレーム内で決定された検索カテゴリに属する客体を検出して表示し、検出された客体が表示されたイメージフレームを遠隔制御装置２００に伝送する（ｄ）。遠隔制御装置２００は、受信された客体が表示されたイメージフレームを受信してディスプレイし（ｅ）、ユーザから何れか一つの客体を選択されてディスプレイ装置１００に客体選択命令を伝送し（ｆ）、ディスプレイ装置は客体選択命令に従って客体を検索対象として選択する（ｇ）。
【０１０３】
図９は、本発明の別の実施形態によって客体を検索対象として選択する過程を説明するための図である。
【０１０４】
遠隔制御装置２００にユーザ命令が入力されると、ディスプレイ装置１００にユーザ命令を伝送する（ａ）。ディスプレイ装置１００はユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャして遠隔制御装置２００に伝送する（ｂ）。遠隔制御装置２００は、受信されたイメージフレームをディスプレイし（ｃ）、ユーザ命令に対応する検索カテゴリを決定する（ｄ）。そして、イメージフレーム内で検索カテゴリに属する客体を検出して表示し（ｅ）、ユーザから何れか一つの客体を選択されてディスプレイ装置１００に客体選択命令を伝送する（ｆ）。ディスプレイ装置１００は、客体選択命令に従って客体を検索対象として選択する（ｇ）。
【０１０５】
図１０は、本発明の一実施形態に係るディスプレイ装置の検索方法を示すフローチャートである。
【０１０６】
ディスプレイ装置はイメージフレームをディスプレイする（Ｓ１０１０）。すなわち、コンテンツのイメージフレームをディスプレイして視聴者に提供する。
【０１０７】
そして、客体選択のためのユーザ命令が受信されたか否かを判断する（Ｓ１０２０）。ここで、客体選択のためのユーザ命令は、遠隔制御装置の入力部を介して入力された予め設定されたパターンのタッチ入力であってよい。
【０１０８】
客体選択のためのユーザ命令が受信されると（Ｓ１０２０−Ｙ）、客体を検索対象として選択する（Ｓ１０３０）。具体的には、イメージフレーム内で受信されたユーザ命令に対応する客体を検索対象として選択することができる。客体を検索対象として選択するステップ（Ｓ１０３０）の具体的な過程は、実施形態によって異なるため、各実施形態別に説明する。
【０１０９】
＜第１実施形態＞
客体を検索対象として選択するステップ（Ｓ１０３０）は、コンテンツのイメージフレームの中でユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャするステップと、ユーザ命令に対応する検索カテゴリを決定するステップと、キャプチャされたイメージフレーム内で決定された検索カテゴリに属する客体を検出して検索対象として選択するステップとを含んでよい。
【０１１０】
検索カテゴリを決定するステップは、ユーザ命令が予め設定されたパターンのタッチ入力である場合、タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することができる。
【０１１１】
なお、客体を検出して検索対象として選択するステップは、検出された客体が表示されたイメージフレームをディスプレイ装置を制御するための遠隔制御装置に伝送するステップと、検出された客体のうちの一つが遠隔制御装置上で選択されると、選択された客体を検索対象として選択するステップとを含んでよい。
【０１１２】
一方、第１実施形態に係るディスプレイ装置の検索方法は、キーワード情報を抽出するステップを更に含んでよい。具体的に、コンテンツのメタデータから検索カテゴリに関連するキーワード情報を抽出することができる。
【０１１３】
＜第２実施形態＞
客体を検索対象として選択するステップ（Ｓ１０３０）は、コンテンツのイメージフレームの中でユーザ命令が受信された時点でディスプレイされるイメージフレームをキャプチャするステップと、ディスプレイ装置を制御するための遠隔制御装置にキャプチャされたイメージフレームを伝送するステップと、遠隔制御装置上で客体が選択されると、選択された客体を検索対象として選択するステップとを含んでよい。
【０１１４】
一方、第２実施形態の係るディスプレイ装置の検索方法は、遠隔制御装置上で決定された検索カテゴリに対する情報を受信するステップと、受信された検索カテゴリに対する情報を用いてコンテンツのメタデータから検索カテゴリに関連するキーワード情報を抽出するステップとを更に含んでよい。
【０１１５】
客体が検索対象として選択されると、検索対象として選択された客体を検索サーバに伝送し（Ｓ１０４０）、検索結果を受信してディスプレイする（Ｓ１０５０）。ここで、キーワード情報が抽出された場合には、選択された客体およびキーワード情報を併せて検索サーバに伝送し、それに対する検索結果を受信してディスプレイすることができる。
【０１１６】
図１１は、本発明の一実施形態に係る遠隔制御装置の検索方法を示すフローチャートである。
【０１１７】
図１１によると、遠隔制御装置は、客体を選択するためのユーザ命令が入力される（Ｓ１１１０）。具体的には、ディスプレイ装置にディスプレイされるイメージフレーム内の客体を選択するためのユーザ命令が入力される。そして、ユーザ命令をディスプレイ装置に伝送する（Ｓ１１２０）。すなわち、選択された客体に対する検索結果をディスプレイするように、ユーザ命令をディスプレイ装置に伝送する。
【０１１８】
図１２は、本発明の別の実施形態に係る遠隔制御装置の検索方法を示すフローチャートである。
【０１１９】
図１２によると、遠隔制御装置は客体を選択するためのユーザ命令が入力される（Ｓ１２１０）。そして、ユーザ命令をディスプレイ装置に伝送する（Ｓ１２２０）。その後、検出された客体が表示されたイメージフレームを受信する（Ｓ１２３０）。具体的には、ユーザ命令が伝送された時点でキャプチャされ、ユーザ命令に従って検出された客体が表示されたイメージフレームを受信する。そして、受信されたイメージフレームをディスプレイする（Ｓ１２４０）。
【０１２０】
その後、ディスプレイされたイメージフレーム上に表示された客体のうちの一つが選択されると（Ｓ１２５０−Ｙ）、客体選択命令をディスプレイ装置に伝送する（Ｓ１２６０）。客体は、ユーザの選択命令に従って選択されてよい。
【０１２１】
図１３は、本発明の更に別の実施形態に係る遠隔制御装置の検索方法を示すフローチャートである。
【０１２２】
図１３によると、遠隔制御装置は客体を選択するためのユーザ命令が入力される（Ｓ１３１０）。そして、ユーザ命令をディスプレイ装置に伝送する（Ｓ１３２０）。その後、キャプチャイメージフレームを受信する（Ｓ１２３０）。すなわち、ディスプレイ装置から、ユーザ命令が伝送された時点でキャプチャされたイメージフレームを受信する。キャプチャされたイメージフレームをディスプレイし（Ｓ１３４０）、受信されたイメージフレーム内でユーザ命令に対応する客体を選択する（Ｓ１３５０）。
【０１２３】
客体を選択するステップ（Ｓ１３５０）は、ユーザ命令に対応する検索カテゴリを決定するステップと、受信されたイメージフレーム内で検索カテゴリに属する客体を検出するステップと、検出された客体のうちの一つを選択するステップとを含んでよい。検出された客体のうちの一つを選択するステップは、ユーザの選択命令に従って行われてよい。
【０１２４】
そして、ユーザ命令が予め設定されたパターンのタッチ入力である場合、検索カテゴリを決定するステップは、タッチ入力のパターンを分析してタッチパターンに対応する検索カテゴリを決定することができる。
【０１２５】
その後、遠隔制御装置は、選択された客体を検索対象として選択する客体選択命令をディスプレイ装置に伝送することができる（Ｓ１３６０）。
【０１２６】
上述の本発明の多様な実施形態に係る方法は、多様な記録媒体に保存されて使用されてよい。
【０１２７】
具体的に、上述の方法を行うためのプログラムコードは、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読み取り可能な多様な類型の記録媒体に保存されていてよい。
【０１２８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１２９】
１１０  ディスプレイ部
１２０  インターフェース部
１３０  選択部
１３１  キャプチャ部
１３２  カテゴリ決定部
１３３  客体選択部
１３４  キャプチャ部
１３５  客体選択部
１４０  通信部
１５０  制御部
１６０  キーワード抽出部
２１０  入力部
２２０  インターフェース部
２３０  制御部
２４０  ディスプレイ部
【図１】
2013143141.tif 000003
【図２】
2013143141.tif 000004
【図３】
2013143141.tif 000005
【図４】
2013143141.tif 000006
【図５】
2013143141.tif 000007
【図６】
2013143141.tif 000008
【図７】
2013143141.tif 000009
【図８】
2013143141.tif 000010
【図９】
2013143141.tif 000011
【図１０】
2013143141.tif 000012
【図１１】
2013143141.tif 000013
【図１２】
2013143141.tif 000014
【図１３】
2013143141.tif 000015