(57)【要約】【課題】検索をしたい対象物の名称をユーザが知らない場合でも、検索を容易に実行できる映像装置を提供する。【解決手段】データに基づいて映像を出力する映像装置であって、前記データに基づいて画像及びこれに対応する検索用のキーワードを検出する画像／キーワード検出部と、前記検出された画像とキーワードを表示するための表示データを出力する表示制御部と、前記表示されたキーワードを用いた検索を実行する検索部と、を備えている。【選択図】図１
2014016689.tif 000002
【特許請求の範囲】
【請求項１】
データに基づいて映像を出力する映像装置であって、
前記データに基づいて画像及びこれに対応する検索用のキーワードを検出する画像／キーワード検出部と、
前記検出された画像とキーワードを表示するための表示データを出力する表示制御部と、
前記表示されたキーワードを用いた検索を実行する検索部と、
を備えた映像装置。
【請求項２】
前記画像／キーワード検出部は、前記データに含まれる映像データに基づいて顔検出処理を実行し、画像とキーワードとが対応付けられたデータベースと前記顔検出処理による顔検出画像とに基づいて前記キーワードを検出することを特徴とする請求項１に記載の映像装置。
【請求項３】
画像とキーワードとが対応付けられた第１のデータベースと、ネットワークインタフェースと、を更に備えており、
前記画像／キーワード検出部は、前記データに含まれる映像データに基づいて顔検出処理を実行し、前記第１のデータベースと前記顔検出処理による顔検出画像とに基づいて前記キーワードを検出し、
もし前記キーワードの検出が不可能であった場合は、
前記ネットワークインタフェースを介して、画像とキーワードとが対応付けられた第２のデータベースを有する外部のデータベースサーバに前記顔検出処理による顔検出画像を送り、
送られた前記顔検出画像と前記第２のデータベースに基づいて前記データベースサーバにより検出された前記キーワードを前記ネットワークインタフェースを介して取得することを特徴とする請求項１又は請求項２に記載の映像装置。
【請求項４】
前記顔検出処理により複数検出された顔検出画像のうち、面積の最大のものを対象として前記キーワードを検出することを特徴とする請求項２又は請求項３に記載の映像装置。
【請求項５】
前記画像／キーワード検出部は、前記顔検出処理により検出された顔検出画像に基づいてその人物の種別を特定し、特定した種別を前記キーワードの検出に利用することを特徴とする請求項２〜請求項４のいずれか１項に記載の映像装置。
【請求項６】
前記画像／キーワード検出部は、前記データに含まれる音声データ又はテキストデータに基づいて前記キーワードを検出し、画像とキーワードとが対応付けられたデータベースと前記検出されたキーワードとに基づいて前記画像を検出することを特徴とする請求項１に記載の映像装置。
【請求項７】
画像とキーワードとが対応付けられた第３のデータベースと、ネットワークインタフェースと、を更に備えており、
前記画像／キーワード検出部は、前記データに含まれる音声データ又はテキストデータに基づいて前記キーワードを検出し、前記第３のデータベースと前記検出されたキーワードとに基づいて前記画像を検出し、
もし前記第３のデータベースに前記検出されたキーワードがない場合は、
前記ネットワークインタフェースを介して、画像とキーワードとが対応付けられた第４のデータベースを有する外部のデータベースサーバに前記検出されたキーワードを送り、
送られた前記キーワードと前記第４のデータベースに基づいて前記データベースサーバにより検出された前記画像を前記ネットワークインタフェースを介して取得することを特徴とする請求項１又は請求項６に記載の映像装置。
【請求項８】
前記テキストデータは、字幕データ、又はＥＰＧデータ中のテキストデータであることを特徴とする請求項６又は請求項７に記載の映像装置。
【請求項９】
表示された前記検出されたキーワードが選択された後、検索サイトの一覧を表示させる検索サイト表示処理部を更に備え、
前記検索部は、前記表示された検索サイトでの前記選択されたキーワードによるネットワーク検索を実行する、ことを特徴とする請求項１〜請求項８のいずれか１項に記載の映像装置。
【請求項１０】
前記検索部は、前記選択されたキーワードと、検索サイトでの第２キーワード、又はユーザ定義の第２キーワードとを用いたネットワーク検索を実行することを特徴とする請求項１〜請求項９のいずれか１項に記載の映像装置。
【請求項１１】
前記検索部は、表示された前記検出されたキーワードが選択されると、ＥＰＧデータから前記選択されたキーワードに関連する番組を検索することを特徴とする請求項１〜請求項８のいずれか１項に記載の映像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像装置に関する。
【背景技術】
【０００２】
従来、インターネット等のネットワーク接続に対応したテレビ装置、及び光ディスク装置（例えばブルーレイディスク装置やＤＶＤ装置）等の映像装置が存在している。
【０００３】
このような従来の映像装置では、ネットワークを介して検索サイトに接続してキーワードによる検索を実行する際に、リモコン装置のキー操作等によるキーワードの入力が必要であり、ユーザにとって煩わしいという問題があった。
【０００４】
また、例えば映像装置がネットワーク対応テレビ装置である場合、テレビ装置に表示された放送映像にユーザがネットワーク検索をしたい対象物（例えば人物や建築物等）が存在した場合に、ユーザがその対象物の名称を知らない場合はキーワードを入力することができず、ネットワーク検索を実行できないという問題もあった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２７８４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１には、ＥＰＧ（Electronic Program Guide；電子番組ガイド）データからキーワードを抽出して画面上に表示し、その中から所望のキーワードをユーザが選択して登録できるようにすることで、キーワードの入力負担を軽減するテレビ装置が開示されている。
【０００７】
しかしながら、上記特許文献１の上記キーワードはＥＰＧデータによる番組検索のためのものであり、ネットワーク検索のためのものではない。
【０００８】
また、仮に上記特許文献１の上記キーワードをネットワーク検索に用いることとしたとしても、キーワードの表示だけでは、放送映像上のネットワーク検索をしたい対象物の名称をユーザが知らない場合は表示されたキーワードがその対象物の名称であるかが不明であるので、ネットワーク検索を実行しがたいこととなる。
【０００９】
上記問題点に鑑み、本発明は、検索をしたい対象物の名称をユーザが知らない場合でも、検索を容易に実行できる映像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は、
データに基づいて映像を出力する映像装置であって、
前記データに基づいて画像及びこれに対応する検索用のキーワードを検出する画像／キーワード検出部と、
前記検出された画像とキーワードを表示するための表示データを出力する表示制御部と、
前記表示されたキーワードを用いた検索を実行する検索部と、
を備えた構成としている。
【００１１】
このような構成によれば、ユーザが映像を見ていて検索をしたい対象物が表示されていた場合、対象物を示す画像とキーワードとが対応付けられて表示されるので、ユーザが対象物の名称を知らない場合でも画像の表示によってキーワードを選択できる。そして、キーワードが選択されると、キーワードによる検索が実行される。従って、容易に対象物についての検索を実行することができる。
【００１２】
また、上記構成において、前記画像／キーワード検出部は、前記データに含まれる映像データに基づいて顔検出処理を実行し、画像とキーワードとが対応付けられたデータベースと前記顔検出処理による顔検出画像とに基づいて前記キーワードを検出する構成としてもよい。
【００１３】
このような構成によれば、キーワードとして人物の名称を検出できる。
【００１４】
また、上記いずれかの構成において、画像とキーワードとが対応付けられた第１のデータベースと、ネットワークインタフェースと、を更に備えており、
前記画像／キーワード検出部は、前記データに含まれる映像データに基づいて顔検出処理を実行し、前記第１のデータベースと前記顔検出処理による顔検出画像とに基づいて前記キーワードを検出し、
もし前記キーワードの検出が不可能であった場合は、
前記ネットワークインタフェースを介して、画像とキーワードとが対応付けられた第２のデータベースを有する外部のデータベースサーバに前記顔検出処理による顔検出画像を送り、
送られた前記顔検出画像と前記第２のデータベースに基づいて前記データベースサーバにより検出された前記キーワードを前記ネットワークインタフェースを介して取得する構成としてもよい。
【００１５】
このような構成によれば、まず映像装置に備えられた第１のデータベースによりキーワード検出を行うのでキーワード検出を迅速に行える。また、第１のデータベースによってはキーワード検出が不可能であった場合でも、外部の第２のデータベースによりキーワード検出を行えるので、より確実にキーワード検出を行える。
【００１６】
また、上記いずれかの構成において、前記顔検出処理により複数検出された顔検出画像のうち、面積の最大のものを対象として前記キーワードを検出することとしてもよい。面積が最大となる顔検出画像の人物は重要である可能性が高いからである。
【００１７】
また、上記いずれかの構成において、前記画像／キーワード検出部は、前記顔検出処理により検出された顔検出画像に基づいてその人物の種別を特定し、特定した種別を前記キーワードの検出に利用する構成としてもよい。
【００１８】
このような構成によれば、データベースを用いてキーワードを検出する際に、特定された人物の種別に限定して検索することが可能となり、検索効率を向上させることができる。
【００１９】
また、上記構成において、前記画像／キーワード検出部は、前記データに含まれる音声データ又はテキストデータに基づいて前記キーワードを検出し、画像とキーワードとが対応付けられたデータベースと前記検出されたキーワードとに基づいて前記画像を検出する構成としてもよい。
【００２０】
また、上記いずれかの構成において、画像とキーワードとが対応付けられた第３のデータベースと、ネットワークインタフェースと、を更に備えており、
前記画像／キーワード検出部は、前記データに含まれる音声データ又はテキストデータに基づいて前記キーワードを検出し、前記第３のデータベースと前記検出されたキーワードとに基づいて前記画像を検出し、
もし前記第３のデータベースに前記検出されたキーワードがない場合は、
前記ネットワークインタフェースを介して、画像とキーワードとが対応付けられた第４のデータベースを有する外部のデータベースサーバに前記検出されたキーワードを送り、
送られた前記キーワードと前記第４のデータベースに基づいて前記データベースサーバにより検出された前記画像を前記ネットワークインタフェースを介して取得する構成としてもよい。
【００２１】
このような構成によれば、まず映像装置に備えられた第３のデータベースにより画像検出を行うので画像検出を迅速に行える。また、第３のデータベースによっては画像検出が不可能であった場合でも、外部の第４のデータベースにより画像検出を行えるので、より確実に画像検出を行える。
【００２２】
また、上記いずれかの構成において、前記テキストデータは、字幕データ、又はＥＰＧデータ中のテキストデータであることとしてもよい。
【００２３】
また、上記いずれかの構成において、表示された前記検出されたキーワードが選択された後、検索サイトの一覧を表示させる検索サイト表示処理部を更に備え、
前記検索部は、前記表示された検索サイトでの前記選択されたキーワードによるネットワーク検索を実行する構成としてもよい。
【００２４】
このような構成によれば、ユーザ所望の検索サイトでのキーワードによる検索を行うことができ、ユーザにとって有意義な検索結果を得ることができる。
【００２５】
また、上記いずれかの構成において、前記検索部は、前記選択されたキーワードと、検索サイトでの第２キーワード、又はユーザ定義の第２キーワードとを用いたネットワーク検索を実行する構成としてもよい。
【００２６】
このような構成によれば、よりユーザにとって有意義な検索結果を得ることができる。
【００２７】
また、上記いずれかの構成において、前記検索部は、表示された前記検出されたキーワードが選択されると、ＥＰＧデータから前記選択されたキーワードに関連する番組を検索する構成としてもよい。
【００２８】
このような構成によれば、検索したい対象物に関連する番組を確認できるので利便性が高い。
【発明の効果】
【００２９】
本発明によると、検索をしたい対象物の名称をユーザが知らない場合でも、検索を容易に実行できる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１実施形態に係るテレビ装置の概略構成図である。
【図２】本発明の第１実施形態に係る映像データ処理部による画像／キーワード検出に関するフローチャートである。
【図３】本発明の第１実施形態に係る音声データ処理部による画像／キーワード検出に関するフローチャートである。
【図４】本発明の第１実施形態に係る字幕データ処理部による画像／キーワード検出に関するフローチャートである。
【図５】本発明の第１実施形態に係るＥＰＧデータ処理部による画像／キーワード検出に関するフローチャートである。
【図６】本発明の第１実施形態に係る検出されたキーワードを用いたネットワーク検索に関するフローチャートである。
【図７Ａ】本発明の第１実施形態に係るキーワード及び画像の表示例を示す図である。
【図７Ｂ】本発明の第１実施形態に係る検索サイトの一覧表示例を示す図である。
【図７Ｃ】本発明の第１実施形態に係るネットワーク検索結果の表示例を示す図である。
【図８】本発明の第２実施形態に係るテレビ装置の概略構成図である。
【図９】本発明の第２実施形態に係るキーワードを用いたネットワーク検索に関するフローチャートである。
【図１０Ａ】本発明の第２実施形態に係る第２キーワードの表示例を示す図である。
【図１０Ｂ】本発明の第２実施形態に係る検索サイトの表示例を示す図である。
【図１０Ｃ】本発明の第２実施形態に係るネットワーク検索結果の表示例を示す図である。
【図１１】本発明の第３実施形態に係るテレビ装置の概略構成図である。
【図１２】本発明の第３実施形態に係るキーワードによる番組検索に関するフローチャートである。
【図１３Ａ】本発明の第３実施形態に係るキーワード及び画像の表示例を示す図である。
【図１３Ｂ】本発明の第３実施形態に係る番組検索結果の表示例を示す図である。
【発明を実施するための形態】
【００３１】
＜第１実施形態＞
（全体構成について）
以下に本発明の一実施形態について図面を参照して説明する。本発明の第１実施形態に係るテレビ装置の概略構成を図１に示す。図１に示す本発明の第１実施形態に係るテレビ装置１５は、インターネット２５に接続することが可能なネットワーク対応テレビ装置となっている。また、テレビ装置１５は、デジタル放送を受信可能となっている。なお、テレビ装置１５と、大容量データベースサーバ３０により映像装置システムが構成される。
【００３２】
図１に示すように、テレビ装置１５は、映像／音声／データ分離部１と、映像データ処理部２と、音声データ処理部３と、字幕データ処理部４と、ＥＰＧ（Electronic Program Guide；電子番組ガイド）データ処理部５と、データ処理部６と、画像処理部７と、バックエンド部８と、ネットワークインタフェース９と、リモコン受信部１０と、ネットワーク検索部１１を備えている。
【００３３】
なお、図１では、本発明の特徴に特に関連する構成を抽出して表記しており、映像／音声／データ分離部１の前段側にはチューナやデジタル復調部等（不図示）を、バックエンド部８の後段側にはディスプレイ（表示部）やスピーカ等（不図示）をテレビ装置１５は備えている。
【００３４】
映像／音声／データ分離部１は前段側の構成からトランスポートストリーム（以下、ＴＳ）を受信し、受信されたＴＳを映像データ、音声データ、字幕データ、及びＥＰＧデータ等に分離する（ＴＳはコンテンツデータに相当）。また、映像／音声／データ分離部１は、映像データ、音声データ、字幕データ、及びＥＰＧデータの各データ用のデコーダ（不図示）を有しており、各データをデコーダによってデコードした後、出力する。
【００３５】
映像データ処理部２、音声データ処理部３、字幕データ処理部４、及びＥＰＧデータ処理部５は、ＴＳ（コンテンツデータ）に基づいて画像及びこれに対応するネットワーク検索用のキーワードを検出する画像／キーワード検出部として機能する。
【００３６】
映像データ処理部２は、映像／音声／データ分離部１から出力される映像データに対して顔検出処理を行い、顔検出画像に基づきキーワードを検出し、検出されたキーワードとこれに対応する画像データをデータ処理部６へ送る。また、映像データ処理部２は、キーワード検出用の画像データベース２Ａを格納している。画像データベース２Ａは、人物名であるキーワードと人物の画像とを対応付けたデータベースである。
【００３７】
音声データ処理部３は、映像／音声／データ分離部１から出力される音声データからキーワードを検出し、検出されたキーワードとこれに対応する画像データをデータ処理部６へ送る。また、音声データ処理部３は、検出されたキーワードから画像データを抽出するための画像データベース３Ａを格納している。画像データベース３Ａは、人物名であるキーワードと人物の画像とを対応付けたデータベースである。
【００３８】
字幕データ処理部４は、映像／音声／データ分離部１から出力されるテキスト情報である字幕データからキーワードを検出し、検出されたキーワードとこれに対応する画像データをデータ処理部６へ送る。また、字幕データ処理部４は、検出されたキーワードから画像データを抽出するための画像データベース４Ａを格納している。画像データベース４Ａは、人物名であるキーワードと人物の画像とを対応付けたデータベースである。
【００３９】
ＥＰＧデータ処理部５は、映像／音声／データ分離部１から出力されるＥＰＧデータに含まれるテキスト情報からキーワードを検出し、検出されたキーワードとこれに対応する画像データをデータ処理部６へ送る。また、ＥＰＧデータ処理部５は、検出されたキーワードから画像データを抽出するための画像データベース５Ａを格納している。画像データベース５Ａは、人物名であるキーワードと人物の画像とを対応付けたデータベースである。
【００４０】
なお、画像データベース２Ａ、３Ａ、４Ａ、及び５Ａは、別個ではなく一つに共通化してもよい。また、画像データベースには、キーワードとして人物名に限らず、例えば建築物の名称等、種々の固有名詞を格納し、その固有名詞に対応した画像を格納するようにしてもよい。
【００４１】
また、画像データベースは、例えばファームウェアの更新の際に更新できるようにしてもよい。ファームウェアの更新は、例えば放送波に含められたファームウェアの受信によるもの、ファームウェアが格納されたＵＳＢメモリをＵＳＢインタフェースに装着することによるもの、インターネットを介してファームウェアをダウンロードすることによるもの等が採用できる。
【００４２】
データ処理部６（表示制御部）は、映像データ処理部２、音声データ処理部３、字幕データ処理部４、及びＥＰＧデータ処理部５から出力される検出キーワードと対応する画像データに基づき、キーワードと対応する画像の表示形式を決定し、その表示データを生成して出力する。
【００４３】
画像処理部７は、データ処理部６から出力される表示データに基づいてＯＳＤ（On Screen Display）データを生成して出力する。
【００４４】
バックエンド部８は、映像／音声／データ分離部１から出力される放送の映像データに対して画像処理部７から出力されるＯＳＤデータを重畳することにより重畳映像データを生成し、生成された重畳映像データを後段側に設けられるディスプレイ（不図示）に適した映像信号に変換してディスプレイに出力する。これにより、放送映像にＯＳＤ画像が重畳された画面がディスプレイに表示される。
【００４５】
また、バックエンド部８は、映像／音声／データ分離部１から出力される放送の音声データを後段側に設けられるスピーカ（不図示）に適した音声信号に変換してスピーカに出力する。これにより、スピーカより放送音声が発生される。
【００４６】
ネットワークインタフェース９は、インターネット２５に接続するためのインタフェースである。リモコン受信部１０は、テレビ装置１５外部のリモコン装置２０から操作に応じたリモコン信号を受信し、受信したリモコン信号をリモコンコードに変換する。このリモコンコードに応じてテレビ装置１５の各部が制御される。
【００４７】
ネットワーク検索部１１は、ネットワークインタフェース９を用いて検索サイトの検索を実行する。
【００４８】
（キーワードと画像の検出について）
次に、テレビ装置１５における、ネットワーク検索用のキーワードの検出とキーワードに対応する画像の検出に関する処理について、図２〜図５に示すフローチャートを用いて説明する。
【００４９】
なお、図２〜図５に示すフローチャートの処理は、放送映像が表示されているときに例えばリモコン装置２０の所定のキーワード表示用キーが操作された場合に開始される（ネットワーク検索モードへの移行）。また、図２〜図５に示すフローチャートの処理は、一旦開始されると繰り返し行われる。
【００５０】
映像データ処理部２により行われるキーワード及び画像検出処理についてのフローチャートを図２に示す。
【００５１】
ステップＳ２１で、映像データ処理部２が映像／音声／データ分離部１から映像データを受信すると、ステップ２２に進み、映像データ処理部２は、受信された映像データに対して顔検出処理を実施する。そして、もし顔検出が不可能であった場合は（ステップＳ２３のＮ）、ステップＳ２１に戻る。
【００５２】
一方、顔検出が可能であった場合は（ステップＳ２３のＹ）、ステップＳ２４に進む。なお、顔検出により生成される顔検出画像は一つのみであってもよいし、複数であってもよい（即ち、１画面中における複数の人物の顔を検出してもよい）。更に、複数検出された顔検出画像のうち、面積が最も大きな画像のみを抽出してもよい。そのような画像の人物は重要である可能性が高いからである。
【００５３】
ステップＳ２４では、映像データ処理部２は、画像データベース２Ａを用いて顔検出画像のキーワード化を実施する。具体的には、顔検出画像に類似度の高い画像（人物画像）を画像データベース２Ａから検索し、検索された画像に対応した画像データベース２Ａのキーワード（人物名）をキーワードとして検出する。
【００５４】
顔検出画像のキーワード化がもし可能であった場合は（ステップＳ２５のＹ）、ステップＳ２９に進み、映像データ処理部２は、検出されたキーワードとこれに対応する画像データをデータ処理部６に送る。なお、ここで送る画像データは、顔検出画像であってもよいし、画像データベース２Ａの画像としてもよい。
【００５５】
一方、顔検出画像のキーワード化がもし不可能であった場合は（ステップＳ２５のＮ）、ステップＳ２６に進み、映像データ処理部２は、ネットワークインタフェース９を用いてインターネット２５を介して大容量データベースサーバ３０に顔検出画像を送る。
【００５６】
ここで、大容量データベースサーバ３０は、キーワードとこれに対応した画像データを格納した大容量のデータベース（不図示）を備えたサーバ装置である。大容量データベースのキーワードは、人物の名称の他にも、様々な固有名詞を含めることが可能である。テレビ装置１５に内蔵された画像データベースに比べて大容量のデータベースを利用できるので、キーワードが検出される可能性を高めることができる。
【００５７】
更に、ステップＳ２６では、大容量データベースサーバ３０は、送られてきた顔検出画像に類似度の高い画像（人物画像）を大容量データベースから検索し、検索された画像に対応した大容量データベースのキーワード（人物名）をキーワードとして検出する。
【００５８】
そして、もしキーワードの検出が可能であった場合は（ステップＳ２７のＹ）、ステップＳ２８に進み、大容量データベースサーバ３０からインターネット２５及びネットワークインタフェース９を介して映像データ処理部２に検出されたキーワードが送られる。
【００５９】
ステップＳ２８の後、ステップＳ２９で、映像データ処理部２は、検出されたキーワードとこれに対応する画像データをデータ処理部６に送る。ここで送る画像データは、顔検出画像であってもよいし、大容量データベースの画像としてもよい（この場合はキーワードと共に画像データを大容量データベースサーバ３０から送る必要がある）。
【００６０】
一方、ステップＳ２７でキーワードの検出が不可能であった場合は（ステップＳ２７のＮ）、ステップＳ２１に戻る。
【００６１】
以上のような処理により、放送映像における人物の名称であるキーワードとこれに対応する画像を検出することができる。
【００６２】
次に、音声データ処理部３により行われるキーワード及び画像検出処理についてのフローチャートを図３に示す。
【００６３】
ステップＳ３１で、音声データ処理部３が音声データを受信すると、ステップＳ３２に進み、音声データ処理部３は、受信された音声データからキーワードを抽出する。キーワードの抽出は、例えば人物の名称のみでもよいし、建築物の名称等の他の固有名詞を含めてもよい。また、抽出するキーワードは一つのみとしてもよいし、複数でもよい。
【００６４】
そして、ステップＳ３３で、音声データ処理部３は、抽出されたキーワードを画像データベース３Ａから検索し、もし抽出されたキーワードが画像データベース３Ａにあれば（ステップＳ３３のＹ）、ステップＳ３７に進む。ステップＳ３７で、音声データ処理部３は、抽出されたキーワードとこれに対応する画像データベース３Ａの画像データをデータ処理部６に送る。
【００６５】
一方、もし抽出されたキーワードが画像データベース３Ａにない場合は（ステップＳ３３のＮ）、ステップＳ３４に進み、音声データ処理部３は、ネットワークインタフェース９を用いてインターネット２５を介して大容量データベースサーバ３０にキーワードを送る。
【００６６】
そして、ステップＳ３５に進み、大容量データベースサーバ３０は、送られてきたキーワードが大容量データベースにあるかを検索し、もしあれば（ステップＳ３５のＹ）、ステップＳ３６に進む。ステップＳ３６で、大容量データベースサーバ３０は、検索されたキーワードに対応する大容量データベースの画像データを音声データ処理部３に送る。そして、ステップＳ３７に進み、音声データ処理部３は、抽出されたキーワードと大容量データベースサーバ３０から送られてきた画像データをデータ処理部６に送る。なお、送られてきたキーワードが大容量データベースになければ（ステップＳ３５のＮ）、ステップＳ３１に戻る。
【００６７】
このような処理により、放送映像における人物等の名称であるキーワードとこれに対応する画像を検出できる。
【００６８】
次に、字幕データ処理部４により行われるキーワード及び画像検出処理についてのフローチャートを図４に示す。
【００６９】
図４に示す処理は、先述した図３に示す音声データ処理部３が行う処理と類似するので詳述は省くが、ステップＳ４２で、テキスト情報である字幕データからキーワードを抽出し、画像データベース４Ａにキーワードがない場合は大容量データベースサーバ３０にキーワードを送って検索する。
【００７０】
次に、ＥＰＧデータ処理部５により行われるキーワード及び画像検出処理についてのフローチャートを図５に示す。
【００７１】
ステップＳ５１で、ＥＰＧデータ処理部５は、映像／音声／データ分離部１から取得したＥＰＧデータの有無を確認し、もしＥＰＧデータがあれば（ステップＳ５２のＹ）、ステップＳ５４に進む。ステップＳ５４で、ＥＰＧデータ処理部５は、ＥＰＧデータ中のテキスト情報からキーワードを抽出する。ここでのキーワードの抽出については、人物の名称に限らず様々な固有名詞を含めてもよいことや、一つのみでも複数であってもよいことは先述した通りである。
【００７２】
一方、ＥＰＧデータがない場合は（ステップＳ５２のＮ）、ステップＳ５３に進み、ＥＰＧデータ処理部５は、ネットワークインタフェース９を用いてインターネット２５を介してＥＰＧサーバ３５にＥＰＧデータを要求し、ＥＰＧサーバ３５からインターネット２５を介してＥＰＧデータを取得する。その後、ステップＳ５４に進んで、ＥＰＧデータ処理部５は、取得したＥＰＧデータ中のテキスト情報からキーワードを抽出する。
【００７３】
そして、抽出されたキーワードを画像データベース５Ａから検索し、もしキーワードがない場合は大容量データベースサーバ３０にキーワードを送って検索する処理（ステップＳ５５〜Ｓ５８）、抽出されたキーワードとこれに対応する画像データをデータ処理部６に送る処理（ステップＳ５９）は、先述した図３と同様であるので詳述を省く。
【００７４】
（データ処理部の処理について）
データ処理部６は、先述のような処理により映像データ処理部２、音声データ処理部３、字幕データ処理部４、及びＥＰＧデータ処理部５から出力される検出キーワードと対応する画像データに基づき、キーワードと対応する画像の表示形式を決定し、その表示データを生成して出力する。このときの表示形式の決定方法は様々な手法を採用できる。
【００７５】
例えば、データ処理部６は、映像データ処理部２、音声データ処理部３、字幕データ処理部４、及びＥＰＧデータ処理部５の各処理部からキーワード及び画像が出力されるたびに、検出されたキーワード及び対応する画像を対応付けつつ累積してリスト表示を更新する。このとき、同じキーワードの検出頻度をカウントし、検出頻度の高低に応じてリスト表示における表示位置を決定してもよい（なお、同じキーワードは重複して表示させない）。
【００７６】
例えば、キーワードの検出頻度が高いほど、そのようなキーワードは一般的な名称であり重要でないとして、画面上下に並ぶリスト表示における下方に表示させることとしてもよい。また、逆に、キーワードの検出頻度が高いほど、そのようなキーワードは重要であるとして、画面上下に並ぶリスト表示における上方に表示させてもよい。更に、これらの２つの方式をユーザ設定により切り替えてもよい。
【００７７】
なお、キーワードの検出頻度のカウントは、番組の終了ごとにリセットするようにすることが好ましい（番組の終了は例えばＥＰＧデータと現在時刻より検出可能）。
【００７８】
また、キーワード及び対応する画像の表示形式は、リスト表示の他、例えば、画面内にキーワード及び対応する画像からなる組より構成される奥行きのあるリングが回転するような表示としてもよい。
【００７９】
データ処理部６により表示形式が決定されて生成された表示データは画像処理部７に出力され、画像処理部７によりＯＳＤデータに変換され、バックエンド部８により放送の映像データ（映像／音声／データ分離部１から出力される映像データ）と重畳される。これにより、放送映像にキーワード及び対応する画像が重畳された映像がディスプレイ（不図示）に表示される。
【００８０】
この重畳の形式としては、例えば画面全体領域に表示される放送映像に対してＯＳＤ画像を重畳してもよい。また、例えば画面を２つの領域に分割して、一方の領域に放送映像を表示し、片方の領域にＯＳＤ画像を表示するようにし、ＯＳＤ画像が放送映像を見るのに妨げとなることを防いでもよい。
【００８１】
（ネットワーク検索について）
次に、上述のようにして検出されたキーワードを用いたネットワーク検索の処理について図６に示すフローチャートを用いて説明する。
【００８２】
先述したように、放送映像が表示されているときに例えばリモコン装置２０の所定のキーワード表示用キーが操作された場合、ネットワーク検索モードへ移行し、ディスプレイ（不図示）において放送映像に重畳されてキーワード及びこれに対応する画像の表示が開始される。
【００８３】
図７Ａは、キーワードと対応する画像の表示例を示す。図７Ａに示す例では、キーワード７１（人物名、建築物名等）と、キーワード７１に対応する画像７２（人物画像、建築物画像等）とが対応付けられて上下方向にリスト表示される。このとき、キーワード７１及び画像７２の組を選択するためのカーソル７３も表示される。
【００８４】
カーソル７３は例えばリモコン装置２０の上下キー操作により上下方向に移動可能であり、所望のキーワード７１と画像７２の組の位置にカーソル７３を合わせて例えばリモコン装置２０の決定キーが操作されると、その組が選択される（ステップＳ６１）。
【００８５】
すると、画像処理部７によるＯＳＤデータ作成により、選択されたキーワード及び画像と共に、検索サイトの一覧がディスプレイに表示される（即ち、画像処理部７は検索サイト表示処理部として機能する）。その表示例を図７Ｂに示す。図７Ｂに示す例では、上方に選択されたキーワード及び画像７４が表示されると共に、その下方に検索サイト７５の一覧が表示される。このとき、検索サイト７５を選択するためのカーソル７６も表示される。なお、ユーザにより登録された検索サイトも含めて表示するようにしてもよい。
【００８６】
カーソル７６は例えばリモコン装置２０の上下キー操作により上下方向に移動可能であり、所望の検索サイト７５の位置にカーソル７６を合わせて例えばリモコン装置２０の決定キーが操作されると、その検索サイト７５が指定される（ステップＳ６２）。
【００８７】
すると、ネットワーク検索部１１が、ネットワークインタフェース９を用いてインターネット２５を介して指定された検索サイトに接続する（ステップＳ６３）。そして、選択されたキーワードによる検索サイトの検索結果をネットワーク検索部１１がインターネット２５を介して取得し、ディスプレイに検索結果が表示される（ステップＳ６４）。その表示例を図７Ｃに示す。
【００８８】
このような本実施形態によれば、放送映像中にユーザがネットワーク検索したい対象物（人物等）が表示されている場合、ネットワーク検索モードに移行すれば、その対象物の名称がキーワードとして表示されると共に、対応する画像も表示される。ユーザが対象物の名称を知らない場合でも、画像を確認することによりキーワードを選択することが可能となる。そして、検索サイトを指定すれば、選択したキーワードによるネットワーク検索が可能となる。従って、ユーザが対象物の名称を知らない場合でも、容易にネットワーク検索を実行できる。
【００８９】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態は、キーワードとこれに対応する画像の表示までの処理は第１実施形態と同様であるが、表示されて選択されたキーワードのみでなく第２キーワードも考慮したネットワーク検索（即ち、ＡＮＤ条件での検索）としていることが第１実施形態と異なる。
【００９０】
本実施形態に係るテレビ装置４０の概略構成を図８に示す。図８に示すように、第１実施形態（図１）との構成の相違点は、第２キーワード処理部４１をテレビ装置４０が備えていることである。
【００９１】
本実施形態に係るネットワーク検索の処理について、図９に示すフローチャートを用いて説明する。
【００９２】
ステップＳ９１で、ディスプレイ（不図示）に表示されたキーワードとこれに対応する画像との組が例えばリモコン装置２０のキー操作により選択されると、ステップＳ９２に進み、ネットワークインタフェース９がインターネット２５を介して一般的な検索サイトのサーバに接続する。そして、第２キーワード処理部４１は、当該サーバからインターネット２５を介して第２キーワードを取得する。そして、ステップＳ９３に進み、第２キーワード処理部４１は画像処理部７に第２キーワードを送り、画像処理部７によるＯＳＤデータの作成により、第２キーワードがディスプレイに表示される。
【００９３】
先述したキーワードと対応する画像の表示例である図７Ａにおいてキーワードが選択された場合の第２キーワードの表示例を図１０Ａに示す。図１０Ａに示す例では、一般的な検索サイトでの第２キーワード１０１として、「ニュース」、「グルメ」、「掲示板」、「ブログ」が表示されている。また、最も下方に「ユーザ定義」という選択項目１０２が表示されている。この選択項目１０２は、ユーザにより登録済の第２キーワードを表示させるためのものである。
【００９４】
そして、一般的な検索サイトでの第２キーワード１０１及び選択項目１０２を選択するためのカーソル１０３も表示される。カーソル１０３は例えばリモコン装置２０の上下キー操作により上下方向に移動可能であり、カーソル１０３を所望の位置に合わせて例えばリモコン装置２０の決定キーが操作されるとその位置の項目が選択される。
【００９５】
表示された一般的な検索サイトでの第２キーワードの中から選択された場合は（ステップＳ９４のＹ）、画像処理部７によるＯＳＤデータの作成により、検索サイトの一覧が表示される。この表示例を図１０Ｂに示す。図１０Ｂに示す例では、選択されたキーワードとこれに対応する画像、及び選択された第２キーワード１０４が上方に表示されると共に、下方に検索サイト１０５の一覧が表示される。このとき、検索サイトを選択するためのカーソル１０６も表示される。
【００９６】
カーソル１０６は例えばリモコン装置２０の上下キー操作により上下方向に移動可能であり、所望の検索サイト１０５の位置にカーソル１０６を合わせて例えばリモコン装置２０の決定キーが操作されると、その検索サイト１０５が指定される（ステップＳ９７）。
【００９７】
すると、ネットワーク検索部１１は、ネットワークインタフェース９を用いてインターネット２５を介して指定された検索サイトに接続する（ステップＳ９８）。そして、選択されたキーワードと選択された第２キーワードによる検索サイトの検索結果（ＡＮＤ検索結果）をネットワーク検索部１１がインターネット２５を介して取得し、ディスプレイに検索結果が表示される（ステップＳ９９）。その表示例を図１０Ｃに示す。
【００９８】
一方、第２キーワードの表示において（例えば図１０Ａ）、ユーザ定義の第２キーワードを表示するための選択項目（図１０Ａでは選択項目１０２Ａ）が選択された場合は（ステップＳ９４のＮ）、画像処理部７によるＯＳＤデータの作成により、ユーザ定義の第２キーワードの一覧が表示される（ステップＳ９５）。
【００９９】
ここで、ユーザ定義の第２キーワードが例えばリモコン装置２０のキー操作により選択されると（ステップＳ９６）、例えば図１０Ｂのような検索サイトの一覧表示がされる。ここでは、選択されたキーワードとそれに対応する画像、及び選択されたユーザ定義の第２キーワード１０４が表示される。以降は先述と同様に、ネットワーク検索部１１によって指定された検索サイトに接続され、選択されたキーワードと選択されたユーザ定義の第２キーワードによる検索サイトの検索結果（ＡＮＤ検索結果）がディスプレイに表示される（ステップＳ９７〜Ｓ９９）。
【０１００】
このような本実施形態によれば、画像と共に表示されて選択されたキーワードのみならず、一般的な検索サイトでの第２キーワード又はユーザ定義の第２キーワードを考慮したネットワーク検索を容易に行えるので、よりユーザにとって有意義な検索結果を得ることができる。
【０１０１】
＜第３実施形態＞
次に、本発明の第３実施形態について説明する。本実施形態は、キーワードとこれに対応する画像の表示までの処理は第１実施形態と同様であるが、表示されて選択されたキーワードは、ネットワーク検索ではなく、ＥＰＧデータによる番組の検索に用いることが第１実施形態と異なる。
【０１０２】
本実施形態に係るテレビ装置４５の概略構成を図１１に示す。図１１に示すように、第１実施形態（図１）との構成の相違点は、ＥＰＧデータ編集処理部４６をテレビ装置４５が備えていることである。
【０１０３】
本実施形態に係るＥＰＧデータによる番組検索の処理について、図１２に示すフローチャートを用いて説明する。
【０１０４】
まず、ステップＳ１２１で、ディスプレイ（不図示）に表示されたキーワードとこれに対応する画像との組が例えばリモコン装置２０のキー操作により選択される。この表示例を図１３Ａに示す。図１３Ａに示す例では、キーワード１３１とこれに対応する画像１３２の組がリスト表示され、カーソル１３３が所望の組の位置に合わせられ決定操作がされると、その組が選択される。
【０１０５】
すると、ステップＳ１２２で、ＥＰＧデータ編集処理部４６は、ネットワークインタフェース９を用いてインターネット２５を介してＥＰＧサーバ３５に接続する。そして、ステップＳ１２３で、ＥＰＧデータ編集処理部４６は、ＥＰＧサーバ３５からインターネット２５を介してＥＰＧデータを取得する。
【０１０６】
そして、ステップＳ１２４に進み、ＥＰＧデータ編集処理部４６は、選択されたキーワードに関連する番組を抽出して表示するようＥＰＧデータを編集する。例えば、ＥＰＧデータの番組詳細情報に選択されたキーワードが含まれる番組を抽出する。即ち、ＥＰＧデータ編集処理部４６は、ＥＰＧデータから選択されたキーワードに関連する番組を検索する検索部として機能する。
【０１０７】
そして、ステップＳ１２５に進み、画像処理部７は編集されたＥＰＧデータに基づいてＯＳＤデータを生成し、編集された番組表がディスプレイに表示される。
【０１０８】
図１３Ａでキーワードが選択された場合の番組表表示の一例を図１３Ｂに示す。図１３Ｂに示す例では、選択された日付１３４における抽出された番組１３６が表示される。ここでは、図１３Ａで選択されたキーワードの人物（「田中○×」）が出演する番組１３６が表示されている。
【０１０９】
また、選択されたキーワードに関連する番組が、選択された日付１３４以外の日付においてもある場合は、その日付１３５は、選択されたキーワードに関連する番組があることを示す色等を付されて表示される。選択された日付１３４は例えばリモコン装置２０の左右キーの操作により変更することが可能であり、日付１３５を選択した場合は、その日付における選択されたキーワードに関連する番組が抽出されて表示される。
【０１１０】
このような本実施形態によれば、ユーザが興味を持った対象物に関連する番組をユーザが容易に確認することができ、利便性が高い。
【０１１１】
なお、抽出されて表示された番組を選択して視聴予約又は録画予約が行えるようにしてもよい。
【０１１２】
＜その他＞
以上、本発明の実施形態について説明したが、本発明の趣旨の範囲内であれば、実施形態は種々変形が可能である。
【０１１３】
例えば、映像データ処理部２において顔検出処理を実施した後、顔検出画像の身体的特徴を検出することでその人物の種別（例えば性別、日本人と外国人の別など）を特定してもよい。これにより、画像データベース２Ａ及び大容量データベースサーバ３０のデータベースに人物の種別情報も含めれば、顔検出画像をキーワード化する際に、特定された種別のみについて検索すればよいこととなる。従って、データベースの検索効率を向上できる。
【０１１４】
また、例えば、画像データベース２Ａ及び大容量データベースサーバ３０のデータベースに例えば音声特徴データも含める構成として、ＴＳから分離される音声データを解析して得られた音声特徴を利用してキーワード検出を行ってもよい。これにより、顔検出画像のみならず音声特徴も利用してキーワード検出を行うので、検出精度を高めることができる。また、顔検出画像に加えて字幕データ等のテキストデータも利用してキーワード検出を行って、検出精度を高めることもできる。
【０１１５】
また、例えば、表示されたキーワードの選択される頻度をカウントし、頻度が高いキーワードは別途記憶部に記憶しておき、ネットワーク検索に利用できるようにしてもよい。
【０１１６】
また、例えば、映像データ処理部２、音声データ処理部３、字幕データ処理部４、及びＥＰＧデータ処理部５は必ずしも全部備えておく必要はなく、少なくともいずれかを備えればよい。
【０１１７】
また、本発明は、ネットワーク対応テレビ装置に限らず、例えば光ディスク装置（ブルーレイディスク装置、ＤＶＤ装置等）に適用することも可能である（この場合は当然に、画像及びキーワードを表示させる表示部は装置外部に配される）。この場合は、例えば図１等の映像／音声／データ分離部１に光ディスクから再生されたデータストリーム（コンテンツデータ）が入力されるようにすればよい。
【符号の説明】
【０１１８】
１  映像／音声／データ分離部
２  映像データ処理部
３  音声データ処理部
４  字幕データ処理部
５  ＥＰＧデータ処理部
６  データ処理部
７  画像処理部
８  バックエンド部
９  ネットワークインタフェース
１０  リモコン受信部
１１  ネットワーク検索部
１５  テレビ装置
２０  リモコン装置
２５  インターネット
３０  大容量データベースサーバ
３５  ＥＰＧサーバ
４０  テレビ装置
４１  第２キーワード処理部
４５  テレビ装置
４６  ＥＰＧデータ編集処理部
【図１】
2014016689.tif 000003
【図２】
2014016689.tif 000004
【図３】
2014016689.tif 000005
【図４】
2014016689.tif 000006
【図５】
2014016689.tif 000007
【図６】
2014016689.tif 000008
【図７Ａ】
2014016689.tif 000009
【図７Ｂ】
2014016689.tif 000010
【図７Ｃ】
2014016689.tif 000011
【図８】
2014016689.tif 000012
【図９】
2014016689.tif 000013
【図１０Ａ】
2014016689.tif 000014
【図１０Ｂ】
2014016689.tif 000015
【図１０Ｃ】
2014016689.tif 000016
【図１１】
2014016689.tif 000017
【図１２】
2014016689.tif 000018
【図１３Ａ】
2014016689.tif 000019
【図１３Ｂ】
2014016689.tif 000020