(57)【要約】【課題】ユーザが映像の視聴中もしくは視聴後にテロップとして出現したキーワードを過去に遡って画面上で直感的かつ容易に選択できるようにする。【解決手段】映像の再生を行う映像再生手段と、映像の再生中に出現したテロップの出現位置及び出現区間を判定するテロップ出現位置／区間判定手段と、テロップを含む画面を蓄積する画面蓄積手段と、テロップの出現位置及び出現区間を組にして、テロップ識別子を有するテロップインデクスを作成するインデクス作成手段と、テロップインデクスを蓄積するインデクス蓄積手段と、テロップの出現位置及び出現区間に基づく一部のテロップを優先して優先テロップのテロップインデクスを選択するインデクス選択手段と、選択された優先テロップのテロップインデクスを元にテロップインデクスの選択画面を生成して表示するインデクス表示手段と、を備える。【選択図】  図１
2010081382.tif 000002
【特許請求の範囲】
【請求項１】
映像の再生を行う映像再生手段と、
前記映像の再生中に出現したテロップの出現位置及び出現区間を判定するテロップ出現位置／区間判定手段と、
前記テロップを含む画面を蓄積する画面蓄積手段と、
前記テロップの出現位置及び出現区間を組にして、テロップ識別子を有するテロップインデクスを作成するインデクス作成手段と、
前記テロップインデクスを蓄積するインデクス蓄積手段と、
前記テロップの出現位置及び出現区間に基づく一部のテロップを優先して、前記インデクス蓄積手段に蓄積されたテロップインデクスの中から優先テロップのテロップインデクスを選択するインデクス選択手段と、
前記優先テロップのテロップインデクス及び前記画面蓄積手段に蓄積された画面を元に前記優先テロップのテロップインデクスの選択画面を生成して表示するインデクス表示手段と、を備えることを特徴とする映像テロップ選択装置。
【請求項２】
前記優先テロップのテロップインデクスに対応する複数のテロップ領域からいずれかのテロップ領域をユーザに選択操作させるためのテロップ選択操作手段と、
前記テロップ領域に対して文字認識を行う文字認識手段と、
文字認識された結果の文字情報から複数のキーワードを抽出するキーワード抽出手段と、
抽出された複数のキーワードからいずれかのキーワードをユーザに選択操作させるためのキーワード選択操作手段と、
前記いずれかのキーワードを元にクエリを生成して検索を行う検索手段と、をさらに備えることを特徴とする請求項１記載の映像テロップ選択装置。
【請求項３】
前記インデクス選択手段は、
テロップの大きさ、色、映像の変化度合からテロップインデクスにスコアを付加するインデクススコア付加手段と、
前記インデクススコア付加手段によって付加されたスコアに従いテロップインデクス画面の重畳を行うインデクスマージ手段と、を有することを特徴とする請求項１記載の映像テロップ選択装置。
【請求項４】
前記インデクススコア付加手段は、文字認識手段及びキーワード抽出手段を有し、抽出されたキーワードに応じてテロップインデクスにスコアを付加することを特徴とする請求項３に記載の映像テロップ選択装置。
【請求項５】
前記テロップの出現位置及び出現区間、及び前記映像に関する情報からテロップの種類を判定するテロップ種類判定手段と、
前記優先テロップのテロップインデクスに対応する複数のテロップ領域からいずれかのテロップ領域をユーザに選択操作させるためのテロップ選択操作手段と、
前記テロップ領域に対して文字認識を行う文字認識手段と、
前記テロップの種類に応じたキーワードを抽出するためのルールを蓄積するテロップ種類別抽出ルール蓄積手段と、
文字認識された結果の文字情報から前記ルールに従い複数のキーワードを抽出するキーワード抽出手段と、
抽出された複数のキーワードからいずれかのキーワードをユーザに選択操作させるためのキーワード選択操作手段と、
前記いずれかのキーワードを元にクエリを生成して検索を行う検索手段と、をさらに備えることを特徴とする請求項１記載の映像テロップ選択装置。
【請求項６】
映像の再生を行う映像再生ステップと、
前記映像の再生中に出現したテロップの出現位置及び出現区間を判定するテロップ出現位置／区間判定ステップと、
前記テロップを含む画面を画面蓄積手段に蓄積する画面蓄積ステップと、
前記テロップの出現位置及び出現区間を組にして、テロップ識別子を有するテロップインデクスを作成するインデクス作成ステップと、
前記テロップインデクスをインデクス蓄積手段に蓄積するインデクス蓄積ステップと、
前記テロップの出現位置及び出現区間に基づく一部のテロップを優先して、前記インデクス蓄積手段に蓄積されたテロップインデクスの中から優先テロップのテロップインデクスを選択するインデクス選択ステップと、
前記優先テロップのテロップインデクス及び前記画面蓄積手段に蓄積された画面を元に前記優先テロップのテロップインデクスの選択画面を生成して表示するインデクス表示ステップと、を備えることを特徴とする映像テロップ選択方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像中のテロップを選択するための映像テロップ選択装置に関する。
【背景技術】
【０００２】
映像を視聴中に気になったキーワードについてＷｅｂなどで検索をしたいという視聴者の要求がある。映像の再生中に画面上に表示されるテロップ内に含まれたキーワードについては、特に視聴者の印象に残りやすくなる。現在、このような要求を満たすためには、視聴中にＷｅｂブラウザを起動し、テロップに出現したキーワードをキーボードで打ち込み検索を行う、という作業が必要である。
【０００３】
検索をするためにキーボードなどを使用してＷｅｂブラウザにキーワードの入力を行うのは煩わしい作業である。ＴＶなどのように入力装置が貧弱な映像機器ではそれが顕著である。また時間と共にテロップは切り替わっていくため、テロップが消えてしまうと正確な表現を視聴者が思い出せず、関連情報を検索できない。録画されていない映像の場合にはテロップが切り替わってしまうと検索することができなくなってしまう。録画された映像の場合においても、一時停止を行いテロップを読んで検索を行うという作業が必要である。
【０００４】
これに対して今までに取られてきた解決方法として、テロップ認識を行って視聴者にキーワードのリストを提示し、視聴者はその中から気になったキーワードを選ぶことでキーワード入力を支援する方法が知られている（例えば非特許文献１を参照）。
【非特許文献１】インターネットＵＲＬ「ｈｔｔｐ：／／ｗｗｗ．ｈｉｔａｃｈｉ．ｃｏ．ｊｐ／ｒｄ／ｐｄｆ／ｔｏｐｉｃｓ／ｈｉｔａｃ２００８＿０７＿ｃｒｌ．ｐｄｆ」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
テロップ認識を行ってキーワードをリストで提示する方法では、テロップの出現位置の情報が失われているために、一度見たキーワードを再度リストの中から探し出して選びなおさなければならず手間がかかるという問題点がある。
【０００６】
本発明は上記に鑑みてなされたものであって、ユーザが映像視聴中に気になったキーワードを、過去に遡って画面上で選択することができる映像テロップ選択装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一観点に係る映像テロップ選択装置は、映像の再生を行う映像再生手段と、前記映像の再生中に出現したテロップの出現位置及び出現区間を判定するテロップ出現位置／区間判定手段と、前記テロップを含む画面を蓄積する画面蓄積手段と、前記テロップの出現位置及び出現区間を組にして、テロップ識別子を有するテロップインデクスを作成するインデクス作成手段と、前記テロップインデクスを蓄積するインデクス蓄積手段と、前記テロップの出現位置及び出現区間に基づく一部のテロップを優先して、前記インデクス蓄積手段に蓄積されたテロップインデクスの中から優先テロップのテロップインデクスを選択するインデクス選択手段と、前記優先テロップのテロップインデクス及び前記画面蓄積手段に蓄積された画面を元に前記優先テロップのテロップインデクスの選択画面を生成して表示するインデクス表示手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、映像テロップ選択装置はユーザが画面上でテロップを選択することのできるテロップインデクス選択画面を生成して表示することができる。ユーザは過去に遡って所望のテロップを直感的かつ容易に選択することができる。また、映像テロップ選択装置はユーザにより選択されやすいと想定されるテロップを優先して表示することから、ユーザによるテロップ選択は効果的に支援されることになる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しながら本発明の実施形態に係る映像テロップ選択装置を詳細に説明する。ここでは、映像テロップ選択装置を映像録画機器でのキーワード検索機能に適用した実施形態について説明する。なお、映像テロップ選択装置は、キーワード検索機能以外の様々な機能に対して適用することができる。
【００１０】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。この第１の実施形態は、映像中のテロップからユーザがキーワード選択をするのに最低限必要なテロップを含む画面を抽出し、ユーザが過去に遡り画面上でテロップ中のキーワードを簡単に選択できるようにした映像テロップ選択装置について説明したものである。
【００１１】
図１は本発明の第１の実施形態に係る映像テロップ選択装置の構成を示すブロック図である。図１において、映像テロップ選択装置は、映像の再生を行う映像再生手段１と、映像中に出現したテロップの位置と区間を判定するテロップ出現位置／区間判定手段２と、テロップを含む画面を蓄積する画面蓄積手段３と、得られたテロップ情報を元にテロップインデクスを作成するインデクス作成手段４と、テロップインデクスを蓄積するインデクス蓄積手段５と、インデクス蓄積手段５に蓄積されたインデクスの中からユーザがキーワードを選択するために必要最低限なインデクスを選択し更に優先するテロップを選択するインデクス選択手段６と、インデクス選択手段６によって選択されたテロップインデクスを元にテロップインデクスの選択画面を生成しユーザがインデクスを選択できるようにするインデクス表示手段７と、インデクス選択後にユーザがインデクス画面上でテロップを選択できるようにするテロップ選択操作手段８と、ユーザが選択したテロップ領域に対して文字認識を行う文字認識手段９と、文字認識された結果の文字情報からキーワードを抽出するキーワード抽出手段１０と、テロップを選択した画面上で抽出されたキーワードのうち１つ以上を選択できるようにするキーワード選択操作手段１１と、ユーザが最終的に選択したキーワードを元にクエリを生成し検索を行う検索手段１２と、を備えることを特徴としている。
【００１２】
本実施の形態に係る映像テロップ選択装置は、ＴＶ放送番組の視聴中に視聴者が映像中のテロップからキーワードを選択してＷｅｂ検索や番組検索を行えるように構成されている。映像テロップ選択装置は、映像視聴可能なＰＣ（パーソナルコンピュータ）に映像の内容を参照するためのアプリケーションプログラムとして搭載することで実現できる。また、映像テロップ選択装置に用いられるＰＣは例えばノート型ＰＣなど、どのような形態でも良く、また、ＰＣ以外のＴＶ等の映像視聴機器、ＨＤＤレコーダー等の映像録画機器を用いて実現しても良い。映像テロップを選択するための入力手段としては、ＰＣを用いる場合はマウスやキーボード等を利用できる。ＴＶなどの映像視聴機器の場合は、図２に示すリモコン等のように、最低限、上下左右への移動（ボタン２０）、決定（ボタン２１）、キャンセル（ボタン２２）等の入力が行えれば良い。なお本実施形態では、ＴＶ画面に向ってリモコンで操作するシステムを想定して説明する。
【００１３】
映像テロップ選択装置がその処理を行うタイミングとしては、ユーザが対象番組を視聴するのと並行して行っても良いし、あるいはユーザがあらかじめ録画しておいた番組を視聴する際に機器を使用する場合では、対象番組の録画終了後に行うなど、どのようなタイミングで行っても良い。インデクス生成までの処理を自動で行っておき、それ以降の処理についてはユーザ入力のタイミングで行うなど、処理を分けて実行することも考えられる。
【００１４】
図１に示した映像テロップ選択装置の動作について説明する。
【００１５】
（テロップ情報の抽出）
テロップ出現位置／区間判定手段２は、映像中にテロップが出現した場合にその表示位置と表示区間を判定する。映像中のいつどこにテロップが出現したかを判定するには、例えば特開２００５−３３９５３７号公報に記載されている技術を利用することができる。この技術によって映像のｎフレーム目、矩形（ｘ：ｘ座標，ｙ：ｙ座標，ｗ：幅，ｈ：高さ）にテロップがあるという情報と、画像としてのテロップの輪郭情報を得ることができる。テロップらしさの確信度も同時に得られる場合には、ある閾値を決めてそれ以上の確信度の場合はテロップとするなどすればよい。また、検出されたフレーム間の類似度などを比較することにより、映像のｎフレーム目ではなくｍ〜ｎフレームの間もしくはｍ秒目〜ｎ秒目というようにテロップが出現している区間を検出してもよい。以下では出現区間（秒）が検出できたものとして説明する。
【００１６】
テロップ出現位置／区間判定手段２により、映像から例えば図３のようなデータを得ることができる。
【００１７】
（テロップを含む画面の蓄積）
画面蓄積手段３は、テロップを含む画面を蓄積する。ここでいう「テロップを含む画面」とは映像そのものでも良いし、それとは別にテロップが出現した静止画面、テロップが表示されている最後のフレームを保存しておくのでもよい。映像を蓄積する場合は後に静止画面が必要となった際、蓄積された映像からフレームを指定して静止画面を得ることができる。静止画面を蓄積する場合には、後に静止画面が必要となった際、静止画面ＩＤを指定して必要な画面を得るようにする。
【００１８】
（テロップインデクス生成）
インデクス作成手段４は、テロップ出現位置／区間判定手段２で判定された各テロップにテロップＩＤ（テロップ識別子）を付与し、テロップ出現位置及び出現区間を組にしてテロップインデクスを作成する。またこのほかに、テロップの輪郭情報や、出現開始時点での静止画面と出現終了時点での静止画面へのポインタをテロップインデクスに含めても良い。このようなポインタは画面蓄積手段３が映像を蓄積する場合にはフレーム情報、静止画面を蓄積する場合には画面ＩＤを用いればよい。インデクス蓄積手段５にはインデクス作成手段４が生成したテロップインデクスをそのまま蓄積する選択前インデクス蓄積手段５０と、次に述べるインデクス選択手段６の処理結果を蓄積する選択後インデクス蓄積手段５１とが含まれる。インデクス作成手段４は、生成したテロップインデクスを選択前インデクス蓄積手段５０に蓄積する。
【００１９】
図４は選択前インデクス蓄積手段５０に蓄積されたテロップインデクスの例を示した図である。各テロップにインデクスＩＤが付与されており、出現区間の最初と最後の秒数及び出現位置の矩形を表すテーブルとなっている。
【００２０】
（テロップインデクスの選択）
インデクス選択手段６は、選択前インデクス蓄積手段５０に蓄積されているテロップの表示区間を参照し、表示されるテロップが一番多い区間を全てのテロップが含まれるように選択し、それ以外は削除する。
【００２１】
以下、図５〜図１１を用いてインデクス選択の方法について述べる。特に図９は、インデクス選択の処理を示すフローチャートである。以下の説明の中の（ステップ○）は、フローチャート内のステップを示す。
【００２２】
先ず各テロップ（Ｔ１，Ｔ２，．．．）の開始時刻／終了時刻で区切られる区間をリストとして得る（Ｓ０，Ｓ１，Ｓ２，．．．）。選択前インデクス蓄積手段５０に蓄積されているテロップの表示区間が図５のようになっていたとすると、各区間の開始時点と終了時点で区切られる区間は、図６のＳ０〜Ｓ１１のようになる（ステップ０）。
【００２３】
区間／テロップ対応表と使用区間表を初期化（空リストにする）した後、区間Ｓ０〜Ｓ１１を順に見ていき、それぞれの区間で表示されているテロップ集合とその個数を計上し、区間／テロップ対応表を作成する（ステップ１）。図７（ａ）に作成された区間／テロップ対応表を示す。具体的には、ステップ１において、区間リストから区間（Ｓｉ）を取り出し、Ｓｉに含まれるテロップを数えて区間／テロップ対応表にセットするという処理を全ての区間を処理し終えるまで繰り返す。
【００２４】
次にテロップＩＤ  Ｔ０〜Ｔ７について、区間／テロップ対応表を参照し、そのテロップがＩＤリストに含まれる区間の中からテロップの個数が一番多いものを使用する区間として選択する（ステップ２）。結果は図７（ｂ）に示される使用区間表のようになる。例えば図７（ａ）の中でＴ１が含まれる区間を見てみると、Ｔ１が含まれる区間はＳ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４であることがわかる。Ｓ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４の中で一番テロップ個数が多いものはＳ２であるので、Ｔ１について使用する区間はＳ２となる。同じように見てみるとＴ４についてはＳ６，Ｓ１０ともテロップの個数が２個であるので、両方を使用する区間とする。具体的には、ステップ２において、テロップ（Ｔｉ）を取り出し、Ｔｉが含まれる区間を参照してテロップ個数が一番大きなものを使用区間表にセットするという処理を全てのテロップを処理し終えるまで繰り返す。
【００２５】
図７（ｂ）から重複を除いて使用する区間を取り出せば、図７（ｃ）のようにＳ２，Ｓ６，Ｓ８，Ｓ１０を得ることができる（ステップ３）。これを先のテロップ区間リストの図で表すと、図８のようになる。選択されたそれぞれの区間の最初と最後の静止画は、各テロップの最初と最後の内のいずれかになっている。例えば区間Ｓ２の最初の静止画はテロップＴ３の出現開始静止画（ｉ３）であり、最後の静止画はテロップＴ２の出現終了静止画（ｉ’２）となっている。ここで、区間Ｓ２の「時刻」をＴ３開始時刻、「静止画」をＴ３開始時点の静止画ｉ３とする（ステップ４）。
【００２６】
（優先テロップ選択処理）
区間Ｓ２の中にはテロップＩＤがＴ１〜Ｔ３である３種類のテロップが含まれている。これら複数のテロップから、テロップの大きさや出現区間などに基づいて、優先するテロップを決定する（ステップ５）。テロップの大きさから決定する場合は、Ｔ１，Ｔ２，Ｔ３の出現位置を参照し、一番大きなものを選べばよい。テロップの出現区間から決定する場合は、例えば一番出現時間が長いものを選んだり、逆に短いものを選ぶことが考えられる。一番望ましいのは、当該区間以外では出現しにくいテロップを優先テロップとすることである。
【００２７】
以下では、選択後のインデクスでの出現回数が少ないものを選ぶことで当該区間以外で出現しにくいテロップを選ぶ方法について、区間Ｓ６を例にとって説明する。またこのような優先テロップ選択処理のフローチャートを図１０に示す。図７（ａ）の区間／テロップ対応表を参照すると、Ｓ６に含まれるテロップはＴ４とＴ５である。Ｔ４，Ｔ５について図７（ｂ）の使用区間表を参照すると、Ｔ４が含まれる区間はＳ６，Ｓ１０の２つ、Ｔ５が含まれる区間はＳ６のみである。このようにそれぞれのテロップが含まれる区間を参照し、一番その個数が小さいもの、ここではＴ５を優先テロップとして選択する。具体的には図１０に示すように、区間のリストから区間（Ｓｉ）を１つ取り出し、区間／テロップ対応表からＳｉが含む複数のテロップ（Ｔｓ）を取り出す。そして、テロップＴｓから使用区間表で最も使用区間が少ないテロップを選択し、Ｓｉの優先テロップとする。このような処理を全ての区間を処理し終えるまで繰り返す。このようにして区間Ｓ６以外では出現しにくいテロップを優先テロップとして選択することができる。
【００２８】
以上のように、インデクス選択手段６によりインデクス蓄積手段５が蓄積している複数のテロップインデクスのなかから、まずユーザの選択に必要なテロップ区間のみが選択される。これらの情報から、選択後のテロップインデクスが作成され、選択後インデクス蓄積手段５１に蓄積される。蓄積される選択後のテロップインデクスの例を図１１に示す。同図に示すように、選択後のテロップインデクスは、区間Ｓ２，Ｓ６，Ｓ８，Ｓ１０をそれぞれインデクスＩＤとし、ステップ４で定めた時刻、静止画フレーム、表示するテロップＩＤ（区間内に含まれるテロップＩＤ群）、優先テロップＩＤを項目とする表として蓄積される。ここで静止画フレームの項に蓄積される情報は、当該画面のフレーム、もしくは画面蓄積手段３に蓄積された画面のＩＤである。 
次に、インデクス選択画面生成及びキーワード選択について説明する。
【００２９】
（テロップインデクス選択操作画面）
インデクス表示手段７は、インデクス選択手段６によって選ばれたインデクス画面を時系列順に並べ、ユーザが特定の場面を選択できるようにする。例えば図１２（ａ）に示したテロップインデクスからは、図１２（ｂ）のようなインデクス画面が得られる。
【００３０】
ＴＶ放送番組の視聴中にユーザ（視聴者）がリモコンのボタン（図２：決定ボタン２１）を押すと図１３（ａ）のようなインデクス画面１３０に切り替わる。現在視聴している番組の映像１３１は左上に小さく表示され、インデクス選択処理後のインデクス群の中の最も時間が新しいインデクスの静止画面１３２が画面全体に表示される。このとき、テロップとして認識されている領域は強調された状態（図の例では点線で囲まれた状態）で表示される。また、静止画面は画面蓄積手段３から取得されたものである。この状態でユーザが左ボタン（図２：左ボタン２０）を押せば、図１３（ｂ）のような１つ前のインデクス画面１３３が表示される。ユーザがさらに左ボタン（図２：左ボタン２０）を押せば、図１３（ｃ）のような２つ前のインデクス画面１３４が表示される。ユーザが決定ボタン（図２：決定ボタン２１）を押せば、その画面が選択され、テロップ選択画面に遷移する。このようにしてユーザは左右ボタンを押すことでインデクス画面を選択できる。
【００３１】
（テロップ選択操作画面）
テロップ選択操作手段８は、ユーザによって選択されたインデクス画面上のテロップを、ユーザが画面上で選択できるようにするためのものである。このときデフォルトではインデクス選択手段６で判定した優先テロップが選択された状態にする。図１４にテロップ選択画面の例を示す。図の上段がデフォルト画面１４０であり、この状態で上ボタン２０を押すと下段の図のように上方に位置するテロップ１４１が選択される。決定ボタン２１を押すと選択が決定（確定）される。
【００３２】
（文字認識）
文字認識手段９は、テロップ選択画面でユーザが選択したテロップ領域の文字認識を行い、テロップ文字列を取り出す。テロップ出現位置／区間判定手段２によりテロップ画像の輪郭情報まで得られているため、文字認識には従来のさまざまなＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）技術を使用することができる。
【００３３】
（キーワード抽出）
キーワード抽出手段１０は、文字認識手段９で取り出されたテロップ文字列中のキーワードを取り出す。キーワードを抽出する手段としては、既存の形態素解析などの技術を利用して名詞句を取り出す方法が考えられる。また、公知の固有表現抽出手法（参考文献「質問応答と日本語固有表現抽出および固有表現体系の関係についての考察、市村由美他、情報処理学会研究報告、ＮＬ−１６１−３，２００４」）を用いることにより、キーワードの意味属性を判定することができる。例えば、図１５（ａ）のテロップからは図１５（ｂ）に示すようなキーワードとその意味属性を抽出することができる。
【００３４】
（キーワード選択操作画面）
キーワード選択操作手段１１は、テロップ選択画面上でユーザが選択したテロップの中で、キーワード抽出手段１０が抽出したキーワードを画面上で選択できるようにする。図１６に示すようにキーワード選択画面１６０の初期状態では、ユーザが選択したテロップ中のキーワード１つに該当する部分が反転した状態で表示される。これはカーソルを表しており、ユーザが上下左右ボタン２０を押すことで選択キーワードを切り替えることができる。また、画像をそのまま反転させるのではなく、文字認識をした結果を該当する部分に重畳して表示し、その文字を反転させるなどしても良い。
【００３５】
（検索）
検索手段１２では、キーワード選択画面でユーザが選択したキーワードを元に、Ｗｅｂ検索や番組検索を行う。これは従来のＷｅｂサービスや機器内の番組検索機能へキーワードを渡す形で実現することができる。図１７に検索を行うときの画面の例を示す。ユーザが望みのキーワード選択画面で特定のキーワード１７０にカーソルを合わせて決定ボタン２１を押すと、可能なアクションメニュー１７１がキーワード１７０の近辺に提示される。
【００３６】
（Ｗｅｂ検索の場合）
意味属性に対応する検索メニューの辞書を持っておけば、指定されたキーワードの意味属性に応じた検索メニューを表示することができる。例えば図１７では「仙台駅」がキーワード１７０として指定されたため、「仙台駅」の意味属性「駅名」に応じたメニューアイテム「行き方を調べる」１７２等が表示されている。図１７（ａ）はユーザが上下ボタン２０を押し「地図を見る」１７３にカーソルを合わせた状態の画面例である。この状態でユーザが決定ボタン２１を押すと図１７（ｂ）のように検索結果が表示される。
【００３７】
図１８に意味属性と対応する検索メニュー及び実際のサービスＵＲＬの辞書を示す。選択されたキーワードの意味属性が辞書の「意味属性」の項に合致した場合、検索メニューには「メニュー名」項を表示する。実際にユーザが「地図を見る」を選んだ場合、該当する「サービスＵＲＬ」の“｛ｋｗ｝”部分を、選択されたキーワード「仙台駅」をエンコードしたものに置き換えてＷｅｂアクセスを行う。このようにしてＷｅｂ検索機能が実現できる。
【００３８】
（機器内検索の場合（番組表検索／録画済み番組検索等））
また図１７（ａ）のアクションメニュー１７１下部には「番組検索」のアイテム１７４が表示されている。これを選択することで番組表と録画済み番組の中から指定したキーワードがＥＰＧに含まれる番組を探し出すことができる。録画済み番組については番組中のテロップのキーワードを蓄積しておき、指定キーワードがテロップに含まれる番組を探せるようにしてもよい。
【００３９】
以上説明した第１の実施形態によれば、必要最低限のテロップのみをインデクスとし、更にユーザが選択しやすいテロップが選択された状態で提示するため、ユーザは過去に遡って画面上でキーワードを直感的かつ容易に選択することができ、キーワード選択の時間が短縮される。
【００４０】
（第２の実施形態）
以下、本発明の第２の実施形態について、第１の実施形態との差異を中心に説明する。この第２の実施形態は、インデクスの選択処理時にインデクスにスコアを付加し、ある時間幅毎にスコアの最も高いインデクス画面を選択し、それ以外のテロップは重ねて表示することによって、第１の実施形態よりもさらにユーザのテロップ選択の手間を省くことができる映像テロップ選択装置について説明したものである。
【００４１】
図１９は、本発明の第２の実施形態に係る映像テロップ選択装置の構成を示すブロック図である。図１９に示す映像テロップ選択装置は、第１の実施形態の構成に加え、テロップの大きさ／色／映像の変化度合等からテロップインデクスにスコアを付加するインデクススコア付加手段１３と、インデクス選択手段６の代わりにインデクスのマージを行うインデクスマージ手段１４と、をさらに備えることを特徴とする。
【００４２】
（テロップインデクスへのスコア付加）
インデクススコア付加手段１３は、インデクス蓄積手段５に蓄積されているテロップインデクスを取り出し、テロップの大きさや位置に従ってテロップインデクスにスコアを付ける。図２０は、スコアを付加する前のテロップインデクスの例を示したものである。スコア付加処理ではインデクス蓄積手段５中のテロップインデクス全てのスコアの項にｆ（ｘ，ｙ，ｗ，ｈ）の値をセットする。例えば、大きなテロップはユーザの印象に残りやすい。また、画面の中央付近に表示されるテロップもユーザの印象に残りやすい。尚、テロップの大きさは、テロップが横書き１行の場合ｈから決まる。従って、ｆ（ｘ，ｙ，ｗ，ｈ）＝α／（テロップ矩形の中心点とスクリーン中心点の距離）＋β＊ｈなどとすることができる。ただし、ｆ（ｘ，ｙ，ｗ，ｈ）はこの式のみに限定されない。１行のテロップでｗ＜ｈとなっている場合、テロップが縦書きであることが予想される。その際はｗとｈを交換した計算値を使うなどすればよい。またテロップが何行からなるかは、出現矩形中の色のヒストグラムなどから判断することができる。
【００４３】
スコアを決定するための情報としては、テロップの大きさや位置に限らない。例えばテロップの行数、テロップの色、テロップ背景の平均色との差などもテロップ出現位置／区間判定手段２で判定しテロップインデクスとして蓄積しておけば、判定に使用することが可能となる。図２１は、図２０のテロップインデクスにスコアが付加された状態を示した図である。
【００４４】
（インデクスのマージ）
インデクスマージ手段１４は、スコアが付加されたテロップインデクスの中で時間の近いものをマージする。以下、インデクスのマージ方法について述べる。
【００４５】
（グループ化処理）
まずインデクスマージ手段１４は、インデクスを時間の近いもの毎にグループ化する。この処理の結果は、グループリストとして得られる。グループリストの例と、それを区間として図示したものを図２４に示す。
【００４６】
以下、図２２に示すフローチャートに沿ってグループ化処理を説明する。
【００４７】
最初にグループリストを初期化（グループＩＤ  ｉ＝０）する。テロップインデクス（Ｔｊ）を１つずつ取り出し、以下の処理を行う。
【００４８】
現在注目しているグループ（Ｇｉ）に既にテロップインデクスがある場合は、グループの先頭インデクスＴＧｉとの開始時間の差がある閾値（ｍａｘ＿ｔｉｍｅ）よりも小さい場合、同じグループ（Ｇｉ）に入れる。閾値よりも大きい場合、新しいグループを作りそのグループ（Ｇｉ＋１）に入れる。このようにしてテロップインデクス群はグループ化される。このとき、出現位置に重なりがあるテロップインデクスは後でテロップ画面を重畳するときにテロップが重ならない様、別のグループにしても良い。この場合は図２３のフローチャートに示すように、グループ内のテロップインデクスと重なりがあるかどうかのチェック処理を入れれば良い。
【００４９】
（重畳処理）
次にインデクスマージ手段１４は、１グループ内の中で最もスコアの高いテロップインデクスの静止画に、それ以外のテロップインデクスの静止画の、テロップ領域のみを重畳する。以下、図２５に示すテロップインデクスの例を用いてその処理方法を説明する。
【００５０】
図２５の各グループ毎に第１の実施形態で述べたインデクス選択処理を行うと、Ｓ０〜Ｓ５のような区間が得られる。グループＧ０について見てみると、区間Ｓ０によってＧ０に含まれるテロップＴ１〜Ｔ３の全てがカバーされるため、Ｇ０についてはＳ０の先頭静止画（Ｔ３の開始時刻の静止画）を選択後のテロップインデクスとして利用すれば良い。
【００５１】
グループＧ１について見てみると、区間Ｓ１によってカバーされるのはＧ１に含まれるテロップＴ４〜Ｔ６のうち、Ｔ４，Ｔ５のみであり、区間Ｓ２によってカバーされるのはＴ６のみである。Ｓ１に含まれるテロップインデクスのスコアの合計とＳ２に含まれるテロップインデクスのスコアの合計を比較してＳ１のスコア合計の方が高い場合、Ｓ２に含まれるテロップインデクスＴ６の開始時刻の静止画のうち出現領域のみを、Ｓ１の先頭静止画（Ｔ５の開始時刻の静止画）に重ね合わせる。このようにして、グループ内に複数の区間がある場合、そのスコアを比較しスコアが一番高い区間の先頭静止画に、それ以外の区間の先頭静止画のテロップ領域のみを重ね合わせていく。
【００５２】
図２６に、２つのテロップインデクスを重ね合わせる例を示す。この例の場合、Ｔ１とＴ２はそれぞれ区間Ｓ１とＳ２に割り当てられたとする。また、Ｔ１のスコアｖ１は、テロップの表示時間が短く表示位置が画面端のため低く、Ｔ２のスコアｖ２はテロップの表示時間が長く表示位置が画面下部中央であるため高かったとする。これらをマージすると、Ｔ２の開始時刻静止画に、Ｔ１の開始時刻静止画のＴ１表示領域（画面右上）のみを重ね合わせた図２６（ｂ）のようになる。もしくは、各テロップインデクスはテロップの輪郭情報を保持しているため、画像を重畳する際、輪郭線で切り取ったものを重畳してもよい。
【００５３】
以上のようにインデクス選択手段６は、選択前インデクス蓄積手段５０中のテロップインデクスを元に、ユーザの印象に残りやすいテロップを残し、それ以外のテロップは印象に残りやすいテロップの画面に重畳された形で選択後インデクスを生成する。このように生成された選択後インデクスは、第１の実施形態と同様、選択後インデクス蓄積手段５１に蓄積される。なお、選択前のテロップインデクスに付加されているスコアは、テロップ選択操作手段８において、デフォルトの選択対象の決定にも使用できる。即ち、最もスコアの高いテロップをデフォルトの選択対象とする。また、テロップ選択操作手段８における選択順序（ユーザが上下左右ボタン２０を押すことでカーソルがテロップを移動する順序）にもこのスコア情報を使用することができる。
【００５４】
以上説明した第２の実施形態によれば、インデクスの選択処理時にインデクスにスコアを付加し、スコアの高いインデクス画面を選択してそれ以外のテロップは重ねて表示することによって、さらにユーザのテロップ選択の手間を省くことができる。
【００５５】
（第３の実施形態）
以下、本発明の第３の実施形態について、第２の実施形態との差異を中心に説明する。この第３の実施形態は、第２の実施形態においてユーザがテロップ領域を選択した後に行っていた文字認識及びキーワード抽出を、インデクス選択処理の際に行うことで、文字情報の内容まで考慮したスコア付加を行うことができる映像テロップ選択装置について説明したものである。
【００５６】
（テロップインデクスへのスコア付加）
第３の実施形態においては、第２の実施形態におけるスコア付加の処理の前に、文字認識処理及びキーワード抽出処理を行う。それぞれの処理の内容については第１の実施形態で説明したものと同様である。
【００５７】
キーワード抽出処理の結果、キーワード及びその意味属性が取得できたとする。図２７にその例を示す。左側の画面のそれぞれのテロップから「奥州（地名）」「東芝太郎（人名）」が取得でき、右側の画面のテロップからはキーワードが何も取得できなかったことを示している。図２８に示すような、意味属性に対応するスコアの辞書を持っておき、テロップインデクスへのスコア付加には抽出されたキーワードの意味属性によるスコアを加味する。例えばキーワード「東芝太郎（人名）」によるスコアへの加算は１０となる。
【００５８】
第３の実施形態によれば、テロップの文字認識を行い、文字情報内容によるスコア付加を行うので、ユーザは多数のテロップの中から必要なものを探す手間が削減される。
【００５９】
（第４の実施形態）
以下、本発明の第４の実施形態について、第１の実施形態との差異を中心に説明する。この第４の実施形態は、テロップ出現位置／区間判定を行うと同時にテロップの種類まで判定することで、後にキーワード抽出をする際、テロップの種類に応じて適切な抽出ルールを使用することができる映像テロップ選択装置について説明したものである。
【００６０】
図２９は、本発明の第４の実施形態に係る映像テロップ装置の構成を示すブロック図である。図２９に示す映像テロップ選択装置は、第１の実施形態の構成に加え、テロップの出現位置／区間及び映像情報からテロップの種類を判定するテロップ種類判定手段１５と、キーワード抽出時にテロップの種類に応じたキーワードを抽出するためのルールを蓄積するテロップ種類別抽出ルール蓄積手段１６と、を備えることを特徴とする。
【００６１】
（テロップ種類判定手段１５）
テロップ種類判定手段１５は、映像に付加されたメタデータと、テロップの出現位置や区間、テロップの動きなどからテロップの種類を判別する。映像のメタデータには、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）やＣｌｏｓｅｄ  Ｃａｐｔｉｏｎなどが使用できる。またこれ以外のどのようなメタデータを利用しても良い。
【００６２】
以下テロップの種類を判別する方法について一例を述べる。以下で説明するテロップ種類判定手段１５は、内部に映像ジャンル毎のテロップ種類判定ルールを持つとする。映像ジャンルはＥＰＧから容易に判断できる。
【００６３】
図３０に、映像ジャンルが「ニュース」だった場合の判定ルール例を示す。まず、テロップを時間幅毎にグループ化する。グループ化処理については第２の実施形態で述べた通りである。次に、グループ毎に、映像ジャンルに合致したテロップ種類判定ルールを参照し、メタデータ条件および出現パターン条件を満たすかどうかを順番にチェックする。条件をすべて満たすグループについては、該当するテロップ種類であると判定する。どの条件も満たさない場合は「その他のテロップ」としておけばよい。この判定結果は、テロップインデクスに「テロップ種類」の項を作りそこに保持しておけばよい。
【００６４】
例えば、映像開始直後に登場するテロップグループについて、テロップの出現区間が短かったとする。このグループの時刻におけるクローズドキャプションについて、キーワード抽出を行った結果出現したキーワードの集合が、ＥＰＧから抽出されるキーワードを包含している場合には、この時刻の中にＥＰＧで説明されている番組の概要全てが含まれているということになる。つまりこの時刻でのテロップは、ニュース番組オープニング中に見られる、番組中で説明する全ニュースのヘッドラインと考えられる。
【００６５】
また例えば、番組終盤に登場するテロップで上下もしくは左右に流れるようなテロップは、「スタッフロール」であると考えられる。
【００６６】
（テロップ選択画面）
テロップ種類を判別したことにより、テロップ選択操作手段８においてテロップ選択画面を生成する際、テロップの種類に応じた選択方法を提供することができる。例えばテロップ種類がスタッフロールの場合、流れる方向のボタンを押すことによってテロップをスムーズにスクロールさせて欲しい個所を選べるようにする、などの例が考えられる。
【００６７】
（テロップ種類別抽出ルールによるキーワード抽出）
テロップ種類別抽出ルール蓄積手段１６は、キーワード抽出時にどのようなキーワードを優先して抽出するかのルールを蓄積している。 
図３１に、映像ジャンルが「ニュース」である場合の抽出ルール例を示す。例えばスタッフロールの場合は、そこに出現するキーワードは人名や職業名、企業名などであることが予想できるため、それらを優先して抽出するようにする。テロップ種類判定手段１５によって判定された種類に従って抽出ルールを適用する。「その他のテロップ」の場合には特にキーワードを優先せず通常のキーワード抽出をすればよい。
【００６８】
第４の実施形態によれば、テロップの種類に応じてキーワード抽出のためのルールを切り替えるため、キーワードのノイズを減らすことができる。
【００６９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１の実施形態に係る映像テロップ選択装置の構成を示すブロック図
【図２】ユーザの操作入力装置として使用するリモコンの例を示す図
【図３】映像とテロップ出現位置及び出現区間の例を示す図
【図４】インデクス選択／削除処理前のテロップインデクスの例を示す図
【図５】テロップインデクスを区間として図示したものを示す図
【図６】テロップインデクスの区間をテロップの開始／終了時刻で区切った区間の例を示す図
【図７】インデクス選択／削除処理の各段階の結果を示したものを示す図
【図８】インデクス選択／削除処理の結果、選択されたテロップインデクスの区間を示したものを示す図
【図９】インデクス選択／削除処理のフローチャート
【図１０】インデクス選択／削除処理中の優先テロップ選択処理のフローチャート
【図１１】インデクス選択／削除処理の結果、選択後のテロップインデクスの例を示す図
【図１２】選択後のテロップインデクスからインデクス画面を取り出す例を示す図
【図１３】インデクス選択画面の例を示す図
【図１４】テロップ選択画面の例を示す図
【図１５】テロップとそこから抽出できるキーワードの例を示す図
【図１６】キーワード選択画面の例を示す図
【図１７】キーワード選択後に行える検索画面の例を示す図
【図１８】検索時に利用可能な意味属性とサービスの対応辞書の例を示す図
【図１９】本発明の第２の実施形態に係る映像テロップ選択装置の構成を示すブロック図
【図２０】スコアの項があるテロップインデクスの例を示す図
【図２１】テロップインデクスにスコアを付加した結果の例を示す図
【図２２】テロップインデクスを時間幅毎にグループ化する処理のフローチャート
【図２３】テロップ位置の重なりを考慮してグループ化する処理のフローチャート
【図２４】グループ化処理結果のグループリスト例とその区間を図示したものを示す図
【図２５】グループ毎にテロップインデクスをマージする処理を示したものを示す図
【図２６】２つのテロップインデクスのマージ前、マージ後の画像例を示す図
【図２７】テロップから抽出できるキーワード及び意味属性の例を示す図
【図２８】意味属性に対応した加算スコアの辞書例を示す図
【図２９】本発明の第４の実施形態に係る映像テロップ選択装置の構成を示すブロック図
【図３０】ニュース番組におけるテロップ種類判定ルールの例を示す図
【図３１】ニュース番組におけるテロップ種類別抽出ルールの例を示す図
【符号の説明】
【００７１】
１…映像再生手段；
２…テロップ出現位置／区間判定手段；
３…画面蓄積手段；
４…インデクス作成手段；
５…インデクス蓄積手段；
６…インデクス選択手段；
７…インデクス表示手段；
８…テロップ選択操作手段；
９…文字認識手段；
１０…キーワード抽出手段；
１１…キーワード選択操作手段；
１２…検索手段
【図１】
2010081382.tif 000003
【図２】
2010081382.tif 000004
【図３】
2010081382.tif 000005
【図４】
2010081382.tif 000006
【図５】
2010081382.tif 000007
【図６】
2010081382.tif 000008
【図７】
2010081382.tif 000009
【図８】
2010081382.tif 000010
【図９】
2010081382.tif 000011
【図１０】
2010081382.tif 000012
【図１１】
2010081382.tif 000013
【図１２】
2010081382.tif 000014
【図１３】
2010081382.tif 000015
【図１４】
2010081382.tif 000016
【図１５】
2010081382.tif 000017
【図１６】
2010081382.tif 000018
【図１７】
2010081382.tif 000019
【図１８】
2010081382.tif 000020
【図１９】
2010081382.tif 000021
【図２０】
2010081382.tif 000022
【図２１】
2010081382.tif 000023
【図２２】
2010081382.tif 000024
【図２３】
2010081382.tif 000025
【図２４】
2010081382.tif 000026
【図２５】
2010081382.tif 000027
【図２６】
2010081382.tif 000028
【図２７】
2010081382.tif 000029
【図２８】
2010081382.tif 000030
【図２９】
2010081382.tif 000031
【図３０】
2010081382.tif 000032
【図３１】
2010081382.tif 000033