(57)【要約】【課題】録画したコンテンツの検索を容易かつ効率よく実行できるようにする。【解決手段】コンテンツ検索装置は、チューナ部６を通してデコードされたコンテンツを、コンテンツ蓄積部５に蓄積しておく。蓄積されたコンテンツと、そのコンテンツに付随する字幕情報とを字幕解析部８で解析し、コンテンツを所定の単位に分割して、字幕情報を用いた検索用インデックスを付与しておく。そして入力装置から送信された単語からなる検索キーをコンテンツ検索装置の受信部１で受信すると、検索部２は、受信した単語を検索クエリーとして、コンテンツ蓄積部５に蓄積されたコンテンツを検索する。検索結果は送信部３から表示装置４へ転送される。【選択図】図１
2006115052.tif 000002
【特許請求の範囲】
【請求項１】
録画したコンテンツを蓄積するコンテンツ蓄積部と、ユーザによる指示入力に基づいて、前記コンテンツ蓄積部に蓄積されたコンテンツのなかから、コンテンツに含まれる所定のシーンを検索する検索部とを備えたコンテンツ検索装置であって、前記検索部は、前記コンテンツ蓄積部に蓄積されたコンテンツに付与されている字幕情報に基づいて前記シーンの検索を行うことを特徴とするコンテンツ検索装置。
【請求項２】
請求項１に記載のコンテンツ検索装置において、該コンテンツ検索装置は、前記コンテンツ蓄積部に対する録画コンテンツの蓄積を制御する録画制御部と、コンテンツに付与されている字幕情報を解析する字幕解析部とを備え、該字幕解析部は、前記字幕情報に含まれる表示色、表示タイミング、表示時間、及び語彙のうち１つ以上を使って検索用インデックスを作成し、前記検索部は、前記検索用インデックスを用いてコンテンツの検索を行うことを特徴とするコンテンツ検索装置。
【請求項３】
請求項２に記載のコンテンツ検索装置において、前記録画制御部は、前記コンテンツ蓄積部に蓄積するコンテンツを、１以上のシーンに区切り、前記字幕解析部は、区切られた各シーンごとに前記検索用インデックスを生成し、前記録画制御部は、前記字幕解析部が生成した検索用インデックスを前記コンテンツ蓄積部にコンテンツとともに蓄積させておくことを特徴とするコンテンツ検索装置。
【請求項４】
請求項１ないし３のいずれか１に記載のコンテンツ検索装置に検索条件を入力するためのコンテンツ検索用入力装置であって、該コンテンツ検索用入力装置は、画像を取り込む撮像部と、該撮像部で取り込んだ画像からコンテンツ検索に用いる情報を抽出する検索用情報抽出部と、該検索用情報抽出部により抽出された情報を前記コンテンツ検索装置に送信する送信部とを備えたことを特徴とするコンテンツ検索用入力装置。
【請求項５】
請求項４に記載のコンテンツ検索用入力装置において、前記検索用情報抽出部は、取り込んだ画像に含まれる文字情報を認識し、認識した文字情報を前記検索用情報として抽出する文字認識部よりなることを特徴とするコンテンツ検索用入力装置。
【請求項６】
請求項４に記載のコンテンツ検索用入力装置において、前記検索用情報抽出部は、取り込んだ画像に含まれる文字情報を認識する文字認識部と、該文字認識部で認識された文字情報をさらに解析して前記検索用情報として再構成する言語解析部とよりなることを特徴とするコンテンツ検索用入力装置。
【請求項７】
請求項４に記載のコンテンツ検索用入力装置において、前記検索用情報抽出部は、取り込んだ画像に含まれるバーコードを解析することにより、前記検索用情報を抽出することを特徴とするコンテンツ検索用入力装置。
【請求項８】
請求項１ないし３のいずれか１に記載のコンテンツ検索装置と、請求項４ないし７のいずれか１に記載のコンテンツ検索用入力装置とからなることを特徴とするコンテンツ検索システム。
【請求項９】
ひとつ以上のコンテンツを蓄積するコンテンツ蓄積ステップと、該コンテンツ蓄積ステップで蓄積されたコンテンツまたはその一部を検索する検索ステップと、該検索ステップで検索されたコンテンツまたはその一部を表示装置に表示する表示ステップとを有し、ユーザの指示に基づいてコンテンツを検索するコンテンツ検索方法であって、前記検索ステップは、前記コンテンツ蓄積ステップで蓄積されたコンテンツに含まれる字幕情報に基づいて検索を行うことを特徴とするコンテンツ検索方法。
【請求項１０】
請求項９に記載のコンテンツ検索方法において、予めコンテンツに付与されている字幕情報を解析し、該字幕情報に含まれる表示色情報、表示タイミング情報、表示時間情報、テキスト情報のうち、少なくとも１つ以上を用いて検索用インデックスを作成する字幕情報解析ステップを有し、前記検索ステップは、前記字幕情報解析ステップで作成された検索用インデックスを用いて検索を行うことを特徴とするコンテンツ検索方法。
【請求項１１】
請求項１０に記載のコンテンツ検索方法において、前記字幕情報解析ステップは、前記蓄積するコンテンツを、１以上のシーンに区切り、区切られた各シーンごとに前記検索用インデックスを生成することを特徴とするコンテンツ検索方法。
【請求項１２】
請求項１０または１１に記載のコンテンツ検索方法において、コンテンツを蓄積する装置に対して検索用情報を入力する入力装置により画像を取り込む撮像ステップと、該撮像ステップで取り込んだ画像からコンテンツ検索に用いる情報を抽出する検索用情報抽出ステップと、該検索用情報抽出ステップで抽出された情報を前記コンテンツを蓄積する装置に送信する送信ステップとを有することを特徴とするコンテンツ検索方法。
【請求項１３】
請求項１２に記載のコンテンツ検索方法において、前記検索用情報抽出ステップは、前記撮像ステップで取り込んだ画像に含まれる文字情報を認識し、認識した文字情報を前記検索用情報として抽出することを特徴とするコンテンツ検索方法。
【請求項１４】
請求項１２に記載のコンテンツ検索方法において、前記検索用情報抽出ステップは、前記撮像ステップで取り込んだ画像に含まれる文字情報を認識し、該認識された文字情報をさらに言語解析して前記検索用情報として再構成することを特徴とするコンテンツ検索方法。
【請求項１５】
請求項１２に記載のコンテンツ検索方法において、前記検索用情報抽出ステップは、前記撮像ステップで取り込んだ画像から抽出したバーコードを解析し、前記検索用情報を抽出することを特徴とするコンテンツ検索用方法。
【請求項１６】
請求項１または２に記載のコンテンツ検索装置の機能を実現するためのプログラム。
【請求項１７】
請求項４ないし７のいずれか１に記載のコンテンツ検索用入力装置の機能を実現するプログラム。
【請求項１８】
請求項８に記載のコンテンツ検索システムの機能を実現するプログラム。
【請求項１９】
請求項１６ないし１８のいずれか１のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体に関し、より具体的には、蓄積した放送番組等のコンテンツを検索して提示することができるコンテンツ検索装置と、そのコンテンツ検索装置に対して検索情報を入力することができる入力装置を用いたコンテンツ検索技術に関する。
【背景技術】
【０００２】
放送番組等のコンテンツをＶＴＲ等に録画して利用する形態が広く普及している。このような録画コンテンツをユーザが視聴するためには、ＶＴＲ等で各自がコンテンツを選択し、必要であればＶＴＲの頭だし機能や早送り機能などを使用して、コンテンツに含まれるシーンを選択する形で視聴を行っていた。
【０００３】
このようなコンテンツを録画して利用するための機器として、近年、ハードディスクレコーダ（ＨＤＤレコーダ）やＤＶＤレコーダなどの記録装置が普及しつつある。また複数のチューナを搭載し、複数の番組等のコンテンツを同時に録画可能なＨＤＤレコーダも登場している。
【０００４】
このような記録装置において、ユーザが所望のコンテンツを検索して視聴する場合には、記録装置の検索システムを使用し、ＧＵＩ等の入力手段を用いて検索クエリー（キーワード）を入力して検索を行うことが一般的である。
【０００５】
例えば、特許文献１には、コンテンツの集合に対してキーワード検索をかけ、その結果として得られるコンテンツを、キーワードに適する順に並べて出力できるようにしたコンテンツ検索装置が開示されている。
【特許文献１】特開２００４−２３４１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数のチューナを搭載し、同時に複数の番組を視聴できるような記録再生装置では、ユーザは、記録装置にどのような番組（コンテンツ）が録画されていて、どのような話題があったのかを把握できなくなる。そこで、何らかの検索エンジンを利用してコンテンツを検索することが考えられるが、ユーザには、どのようなキーワードを入力すべきかがわからなくなる、という問題が発生する。また、検索キーワードを入力できるようにするために、ソフトウェアキーボードを用意するか、その他入力デバイスを用意する必要があった。
【０００７】
同様に、上記特許文献１のコンテンツ検索装置においても、ユーザがキーワードを設定する際に、キーワードの選択に関する操作性を改善して効率よくコンテンツの検索を行うことができるようにする技術は開示されていない。
【０００８】
本発明は、斯かる事情に鑑みてなされたもので、検索用のキーワードを自動生成することによって、録画したコンテンツの検索を容易かつ効率よく実行できるようにしたコンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の技術手段は、録画したコンテンツを蓄積するコンテンツ蓄積部と、ユーザによる指示入力に基づいて、コンテンツ蓄積部に蓄積されたコンテンツのなかから、コンテンツに含まれる所定のシーンを検索する検索部とを備えたコンテンツ検索装置であって、検索部は、コンテンツ蓄積部に蓄積されたコンテンツに付与されている字幕情報に基づいてシーンの検索を行うことを特徴としたものである。
【００１０】
第２の技術手段は、第１の技術手段において、コンテンツ検索装置は、コンテンツ蓄積部に対する録画コンテンツの蓄積を制御する録画制御部と、コンテンツに付与されている字幕情報を解析する字幕解析部とを備え、字幕解析部は、字幕情報に含まれる表示色、表示タイミング、表示時間、及び語彙のうち１つ以上を使って検索用インデックスを作成し、検索部は、検索用インデックスを用いてコンテンツの検索を行うことを特徴としたものである。
【００１１】
第３の技術手段は、第２の技術手段において、録画制御部は、コンテンツ蓄積部に蓄積するコンテンツを、１以上のシーンに区切り、字幕解析部は、区切られた各シーンごとに検索用インデックスを生成し、録画制御部は、字幕解析部が生成した検索用インデックスをコンテンツ蓄積部にコンテンツとともに蓄積させておくことを特徴としたものである。
【００１２】
第４の技術手段は、第１ないし第３のいずれか１の技術手段に検索条件を入力するためのコンテンツ検索用入力装置であって、コンテンツ検索用入力装置は、画像を取り込む撮像部と、撮像部で取り込んだ画像からコンテンツ検索に用いる情報を抽出する検索用情報抽出部と、検索用情報抽出部により抽出された情報をコンテンツ検索装置に送信する送信部とを備えたことを特徴としたものである。
【００１３】
第５の技術手段は、第４の技術手段において、検索用情報抽出部は、取り込んだ画像に含まれる文字情報を認識し、認識した文字情報を検索用情報として抽出する文字認識部よりなることを特徴としたものである。
【００１４】
第６の技術手段は、第４の技術手段において、検索用情報抽出部は、取り込んだ画像に含まれる文字情報を認識する文字認識部と、文字認識部で認識された文字情報をさらに解析して検索用情報として再構成する言語解析部とよりなることを特徴としたものである。
【００１５】
第７の技術手段は、第４の技術手段において、検索用情報抽出部は、取り込んだ画像に含まれるバーコードを解析することにより、検索用情報を抽出することを特徴としたものである。
【００１６】
第８の技術手段は、第１ないし第３のいずれか１のコンテンツ検索装置と、第４ないし第７のいずれか１のコンテンツ検索用入力装置とからなることを特徴としたものである。
【００１７】
第９の技術手段は、ひとつ以上のコンテンツを蓄積するコンテンツ蓄積ステップと、コンテンツ蓄積ステップで蓄積されたコンテンツまたはその一部を検索する検索ステップと、検索ステップで検索されたコンテンツまたはその一部を表示装置に表示する表示ステップとを有し、ユーザの指示に基づいてコンテンツを検索するコンテンツ検索方法であって、検索ステップは、コンテンツ蓄積ステップで蓄積されたコンテンツに含まれる字幕情報に基づいて検索を行うことを特徴としたものである。
【００１８】
第１０の技術手段は、第９の技術手段において、予めコンテンツに付与されている字幕情報を解析し、字幕情報に含まれる表示色情報、表示タイミング情報、表示時間情報、テキスト情報のうち、少なくとも１つ以上を用いて検索用インデックスを作成する字幕情報解析ステップを有し、検索ステップは、字幕情報解析ステップで作成された検索用インデックスを用いて検索を行うことを特徴としたものである。
【００１９】
第１１の技術手段は、第１０の技術手段において、字幕情報解析ステップは、蓄積するコンテンツを、１以上のシーンに区切り、区切られた各シーンごとに検索用インデックスを生成することを特徴としたものである。
【００２０】
第１２の技術手段は、第１０または第１１の技術手段において、コンテンツを蓄積する装置に対して検索用情報を入力する入力装置により画像を取り込む撮像ステップと、撮像ステップで取り込んだ画像からコンテンツ検索に用いる情報を抽出する検索用情報抽出ステップと、検索用情報抽出ステップで抽出された情報をコンテンツを蓄積する装置に送信する送信ステップとを有することを特徴としたものである。
【００２１】
第１３の技術手段は、第１２の技術手段において、検索用情報抽出ステップは、撮像ステップで取り込んだ画像に含まれる文字情報を認識し、認識した文字情報を検索用情報として抽出することを特徴としたものである。
【００２２】
第１４の技術手段は、第１２の技術手段において、検索用情報抽出ステップは、撮像ステップで取り込んだ画像に含まれる文字情報を認識し、認識された文字情報をさらに言語解析して検索用情報として再構成することを特徴としたものである。
【００２３】
第１５の技術手段は、第１２の技術手段において、検索情報抽出ステップは、撮像ステップで取り込んだ画像から抽出したバーコードを解析し、検索用情報を抽出することを特徴としたものである。
【００２４】
第１６の技術手段は、第１または第２の技術手段のコンテンツ検索装置の機能を実現するためのプログラムである。
【００２５】
第１７の技術手段は、第４ないし第７のいずれか１の技術手段のコンテンツ検索用入力装置の機能を実現するプログラムである。
【００２６】
第１８の技術手段は、第８の技術手段のコンテンツ検索システムの機能を実現するプログラムである。
【００２７】
第１９の技術手段は、第１６ないし第１８の技術手段のいずれか１のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２８】
本発明によれば、検索用のキーワードを自動生成することによって、録画したコンテンツの検索を容易かつ効率よく実行できる。例えば、ユーザが新聞や雑誌の気になる記事や広告などを、入力装置の一実施形態であるカメラつきリモコンで撮影し、撮影した画像に含まれるキーワードを抽出することで、ＨＤＤレコーダなどに記録されているコンテンツの中から、該キーワードに関連するコンテンツまたはその一部を検索することができ、コンテンツの検索を効率よく行うことができるようになるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２９】
本発明の一実施形態において、コンテンツ検索装置は、コンテンツ検索用入力装置からの信号を受信する受信部と、予め蓄積したコンテンツから、コンテンツ検索用入力装置からの検索要求に応じてコンテンツを検索する検索部と、検索されたコンテンツまたはその一部を表示装置に送信する送信部を備える。このコンテンツ検索装置は、放送を受信してデコードするチューナと、チューナでデコードしたコンテンツを記録する制御部と、コンテンツに含まれる字幕多重放送情報を解析して所定の単位ごとにキーワードを付与する字幕解析部とを備える。
【００３０】
字幕解析部では、録画した複数のコンテンツに対し、字幕情報を利用してコンテンツまたはその一部であるトピックスに対して検索用キーワードを付与しておく。
リモコン装置から受信したキーワードと該録画されたコンテンツに付与されたキーワードの類似度を演算し、類似度のもっとも高いコンテンツを選択する。選択されたコンテンツは表示装置に送信され、視聴できるようになる。
【００３１】
以下に本発明の実施の形態を、添付図面を参照して更に具体的に説明する。なお、実施形態を説明するための全図において、同様の機能を有する部分には同じ符号を付し、その繰り返しの説明は省略する。
【００３２】
本発明のコンテンツ検索装置は、放送番組等のコンテンツを録画して蓄積することができる録画検索再生装置として実施することができ、また、本発明のコンテンツ検索用入力装置は、上記の録画検索再生装置に対して情報入力することができるカメラ付リモコン装置として実施することができる。以下は、録画検索再生装置と、カメラ付リモコン装置の実施形態を例として説明する。
【００３３】
図１は、本発明のコンテンツ検索装置を実現する録画検索再生装置の一実施形態を説明するためのブロック図である。この録画検索再生装置は、放送番組が受信可能で、受信した放送番組を録画してコンテンツとして蓄積し、必要に応じて蓄積したコンテンツを再生できるように構成されたものである。
【００３４】
図１において、録画検索再生装置は、放送を受信するチューナ部６と、番組（コンテンツ）を蓄積するコンテンツ蓄積部５と、チューナ部６で受信した放送番組をコンテンツ蓄積部５に蓄積させる録画制御部７と、コンテンツに付随する字幕情報を解析する字幕解析部８と、前述のカメラ付リモコン装置からの信号を受信する受信部１と、受信部１で受信した信号に基づいてコンテンツ蓄積部５からコンテンツまたはその一部を抽出する検索部２と、抽出されたコンテンツまたはその一部を表示装置４へ送信する送信部３と、検索したコンテンツや各種情報を表示する表示装置４と、を備えている。
【００３５】
２００７年までに、字幕付与可能な番組にはできる限り字幕を付与するよう総務省より義務付けられている。現在も一部のドラマにはクローズドキャプションとして字幕情報が付与されている。また、ニュースやスポーツ中継といった生放送番組においても字幕を付与しようとする動きがある。本実施形態では、このような字幕情報が付与されたコンテンツを蓄積し、そのコンテンツの字幕情報を用いてコンテンツの検索を可能とする。
【００３６】
録画検索再生装置では、予め録画制御部７からの命令に基づいて、チューナ部６を通してデコードされたコンテンツを、コンテンツ蓄積部５に蓄積しておく。そして蓄積されたコンテンツと、そのコンテンツに付随する字幕情報とを字幕解析部８で解析し、コンテンツを所定の単位に分割しておく。分割する単位は、例えばトピックス（話題）単位であり、映像・音声と字幕情報は対応している。
【００３７】
前述のように、カメラ付リモコン装置から送信された１つ以上の単語を録画検索再生装置の受信部１で受信すると、検索部２は、受信した単語を検索クエリーとして、コンテンツ蓄積部５に蓄積されたコンテンツを検索する。検索結果は送信部３から表示機能をもつ表示装置４へ転送される。表示装置４は録画検索再生装置の一部であってもよく、また他の装置であってもよい。
【００３８】
以下に、録画検索再生装置におけるコンテンツの録画時の処理例について具体的に説明する。ここでは、ニュースやドラマ、スポーツ、音楽など放送されているテレビ番組を録画してショット分割し、検索用インデックスを付与した個人用ライブラリーを作成する方法を例に説明する。
【００３９】
（コンテンツの録画）
放送番組のコンテンツは、ユーザの選択に従って録画され、録画検索再生装置のコンテンツ蓄積部５に蓄積される。
番組を録画する場合、例えば番組表を録画検索再生装置の表示装置４に表示し、ユーザに番組を選択させるようにする。ここでは例えば、カメラ付リモコン装置または録画検索再生装置にＥＰＧ（Electro Program Guide：電子番組表）表示ボタンを設け、ユーザがそのＥＰＧ表示ボタンを押すことにより、録画検索再生装置の表示装置４にＥＰＧを表示させるようにする。
【００４０】
ユーザは、表示装置４に表示されたＥＰＧを参照し、カメラ付リモコン装置もしくは録画検索再生装置が備えるカーソルキーまたはジョイスティックのような操作器を使って所望の番組を指定し、録画予約を実行する。このときに、録画に必要な情報、例えば、番組の開始時刻、終了時刻、及びチャンネルなどの情報は、ユーザが選択した番組のＥＰＧから抽出される。
【００４１】
録画検索再生装置は、所定の録画条件を充たしたときに録画を開始／終了する。ここで所定の録画条件とは、例えば現在の時刻が、録画対象の番組の開始時刻または終了時刻に一致したときで、かつ予約された番組が受信可能な状態にあるときである。
なお、ここではユーザが番組を選択して録画する方法について述べたが、予めユーザに興味があるキーワードを入力してもらい、そのキーワードに関連する番組を全て録画するようにしてもよい。
【００４２】
また、受信可能なチャンネル分のチューナを持つように録画検索再生装置を設計しておけば、例えばユーザが指定したチャンネルの全ての番組を録画することも可能である。
【００４３】
（インデックスファイル作成処理）
録画した番組コンテンツには、番組検索を高速に実行できるように、検索用インデックスを作成して記録しておく。この検索用インデックスは、番組の録画と同時に作成してもよく、または番組の録画後に作成してもよい。
検索用インデックスは、少なくともＥＰＧから得た番組情報と、録画した番組を１つ以上のシーンに区切り、そのシーンの始まりと終わりの情報とを含む必要がある。ＥＰＧから得た番組情報は、番組名、サブタイトル、放送局、放送日時、出演者、及びジャンルなど、ＥＰＧで提供される情報のうちの少なくとも１つを含んでいる。
【００４４】
録画検索再生装置に番組が録画されると、録画検索再生装置は、録画した番組ごとに上記の検索用インデックスを作成してインデックスファイルに追加記録する。このインデックスファイルは、録画した全ての番組のインデックスを統合してなるものである。  
【００４５】
また、上述のように、録画検索再生装置が、複数のチャンネル分のチューナを持つように設計されている場合、例えばユーザが指定したチャンネルの全ての番組を録画することも可能である。このときに、録画した番組全てに対して検索用インデックスを作成しておくことにより、ユーザが番組を選択して録画した場合と同様に、各番組の検索用インデックスを検索処理に使用することができる。
【００４６】
（ショットへの分割）
録画した番組コンテンツは、ショットに分割して蓄積する。ショットとは、画像的に連続したフレーム群のことで、内部にパン・チルトといったカメラワークを含んでもよい。番組コンテンツが録画された際、録画検索再生装置の録画制御部７は、録画されたコンテンツの映像を解析し、ショットに分割する。ここでは、例えば番組コンテンツにおいて、フレーム間差分をとり、差分が大きい部分をショットの切れ目と判断してもよい。この他ショットに分割する方法は各種の手法が公知であるため、これら公知技術を適宜適用してショット分割を行うことができる。
【００４７】
（シーンの生成）
上記ショットを検索対象のシーンとして、ショットごとに検索用インデックスを付与してもよいが、ショット単位では短くなりすぎる可能性がある。そこで関連があり、かつ時間的に連続する複数のショットをシーンとして扱う。録画制御部７は、シーンを生成するために、隣り合ったショットの関連度を算出し、これらショットが互いに関連しているかどうかを判断する。
【００４８】
ショット間の関連度は、例えばあるショットの特定のフレーム（例えばショットを代表するフレーム）とこれに連続するショットの特定のフレームとの間において、画像特徴の類似度を演算することにより判断する。例えばそれぞれのフレームの画像の平均色、代表色、画像のサイズ（バストショット、ロングショットなど）を用いて類似しているかどうか判断することにより、ショット間の関連度を得ることができる。
【００４９】
また、ショット間の関連度の判断において、ショット間の音声の連続性を用いるようにしてもよい。すなわち、連続する２つのショットの切れ目で音声が連続している場合には、これらショットに関連があるものと判断することができる。また字幕が付与された番組では、２つのショットの間で字幕表示が連続しているか否かによって関連度を判断してもよい。
以上個別に関連度の判断方法について述べたが、これらの組み合わせにより関連度を判断してもよいことは言うまでもない。
上記のごとくの処理によって、ショット間の関連度を判断し、関連度の低い部分をシーンの切れ目とする。
【００５０】
（検索用キーワードの決定）
録画検索再生装置の録画制御部７は、生成したシーンに対して、検索用キーワードを付与する。
ユーザが特定のシーンを検索する際、ユーザはテキストで検索キーを入力する。また検索キーを音声で入力する場合でも、実際は録画検索再生装置で音声認識を行い、テキストに変換して使用する。映像・音声からなる番組コンテンツをテキストによる検索キーで検索しようとする場合、映像・音声とテキストという異なったメディア間で検索処理を行うことは非常に効率が悪い。そこで、本実施形態では、映像・音声で構成されるシーンに対して、テキストで検索用キーワードを付与することにより、テキストによる検索用キーワードをテキストによる検索キーで検索できるようにしておく。検索用キーワードは、シーンごとの検索用インデックスに含めて記録しておく。
【００５１】
上記のシーンに付与しておく検索用キーワードには、字幕情報を利用する。現在のデジタル放送の多くには字幕情報が付与されており、字幕情報は映像などとは別に送信され、受信機にてこれらが合成される仕組みになっている。そこで、字幕解析部８は、映像に付与されてきた字幕情報からテキスト（以下、字幕テキスト）を抽出し、抽出した字幕テキストまたはその一部を検索用キーワードとして抽出する。字幕解析部８では、映像に付与されてきた字幕情報に含まれる表示色、表示タイミング、表示時間、及び語彙のうち一つ以上を使用して検索用キーワードを抽出することができる。
字幕テキストが付与されていない番組の場合は、音声認識を組み合わせるなどの手段が必要となるが、前述したように２００７年以降は、付与可能な番組には字幕情報を付与することが義務付けられており、ここでは番組に字幕情報が付与されているものとする。
【００５２】
検索用キーワードをシーンに付与する場合、字幕テキストをそのままシーンに付与すると、字幕情報には不要語が多く含まれているので、不要語が検索の際にノイズになることが考えられる。そこで、本実施形態では、字幕解析部８にてシーンの形態素解析を行い、抽出した字幕テキストを名詞、動詞、形容詞など品詞ごとに分け、さらに表記ゆれを防ぐために標準形に修正する。ここでは、さらにＴＦ／ＩＤＦなどの方法を用いて、重要語判定を行ってもよい。
以上のようにして、各シーンに対して付与する検索用キーワードを決定し、決定した検索用キーワードをシーンごとの検索用インデックスに含めて記録しておく。これにより、検索用キーワードを用いたシーンの検索が可能となる。
【００５３】
次に、上記録画検索再生装置に蓄積したコンテンツの検索に使用するカメラ付リモコン装置の構成を説明する。図２は、本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の一実施形態を説明するための図である。カメラ付リモコン装置は、図１に示す録画検索再生装置に対して、コンテンツ検索を行うためのキーワード情報等のデータ送信が可能に構成されている。
【００５４】
図２において、カメラ付リモコン装置は、ユーザによる情報入力が可能な入力部１１と、装置の各要素を制御する制御部１２と、カメラ機能により被写体の撮像を行うことができる撮像部１３と、撮像部１３で撮像した画像情報や他の情報を表示する表示部１４と、撮像部で撮像した画像情報に含まれる文字情報を認識する文字認識部１５と、文字認識部１５で認識した文字情報を検索キーとして送信する送信部１７とを有している。
【００５５】
カメラ付リモコン装置の動作例について説明する。カメラ付リモコン装置では、入力部１１からの入力指示に基づいて制御部１２から撮像部１３に撮影命令が送られる。例えば、新聞や雑誌等にユーザが気になる記事や広告などの注目記事がある場合、カメラ付リモコン装置の入力部１１に用意されたシャッター（画像取り込みボタン）をユーザが押すことにより注目記事の撮像を行うことができる。このときに、入力部１１から入力指示を受けた制御部１２が、撮像部１３に撮影命令を送ることにより撮像部１３が動作し、ユーザのフレーミングに応じて注目記事の画像を取り込むことができる。そして、撮像部１３によって取り込んだ注目記事の画像をカメラ付リモコン装置の図示しないメモリー上に記録する。このとき、メモリーに記録した注目記事の画像を表示部１４に表示するようにしてもよい。
【００５６】
文字認識部１５は、メモリーに記録された注目記事の画像をもとに、画像に含まれる文字情報の文字認識を行う。ここでは、例えば、画像の構造（レイアウト）を解析し、文字の大きさ情報、縦書き／横書きの区別情報（テキスト向き情報）等を得る。そして文字認識部１５は、得られた文字の大きさ情報を使用して、注目記事の画像から文字を抽出し、抽出した文字とその位置及びテキスト向き情報を使用して、抽出した文字をテキスト（文章）化する。このとき、画像のレイアウト情報を使用して文字の認識結果を補正するようにしてもよい。
【００５７】
このようにして、ユーザの注目記事を画像として入力し、テキスト化した結果は、検索キーとして送信部１７を介して録画検索再生装置に送信される。また、このときに文字認識部１５にて認識されたテキストをカメラ付リモコン装置の表示部１４に提示し、ユーザが誤認識部分を修正できるようにしてもよい。
【００５８】
また、注目記事としてバーコードを含む画像を撮影し、そのバーコードから検索キーとなる文字列を生成するようにしてもよい。この場合、文字認識部１５では、撮像部１３にて撮影された画像データに含まれるバーコードを解析し、そのバーコードから文字列情報を生成して、検索キーとして用いる。バーコードには、予め検索キーとなる文字列情報をエンコードしておく。
【００５９】
図３は、本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の他の実施形態を説明するための図である。図３の構成は、図２の構成に加えて、文字認識部１５で認識した結果を言語解析する言語解析部１６を備えている。上記図２に示す構成において、文字認識部１５で認識されるのは個々の文字であり、それら単独では意味を成さないため、本実施形態では、文字認識部１５の認識結果を言語解析部１６に送り、言語解析部１６にて単語として意味のある単位に再構成することにより、１つ以上の単語または文章の一部または全てをキーワード化して制御部１２に送る。制御部１２は、言語解析部１６で再構成されたキーワードを検索キーとして録画検索再生装置に送信する。
なお、撮像部１３で取り込んだ画像からコンテンツ検索に用いる情報（検索キー）を抽出する本発明の検索用情報抽出部は、図２の例では、文字認識部１５が該当し、図３の例では、文字認識部１５及び言語解析部１６が該当する。
【００６０】
図４は、本発明のコンテンツ検索装置を実現する録画検索再生装置の他の実施形態を説明するためのブロック図である。上述した各例では、録画検索再生装置に蓄積されているコンテンツを検索するための検索キーは、カメラ付リモコン装置の文字認識部１５で認識したテキスト、または言語解析部１６により形態素解析を行って生成したキーワードである。
これらの例では、入力装置であるカメラ付リモコン装置内で画像処理やテキスト変換等の処理を行って検索キーを生成しているが、他の構成例として、撮像部１３で撮影した画像自体を録画検索再生装置に送信し、録画検索再生装置において画像からテキストを抽出して検索キーとして用いるようにしてもよい。
【００６１】
図４に示す録画検索再生装置は、カメラ付リモコン装置の撮像部で撮影した画像データを受信部１で受信する。受信した画像データは、文字認識部１５で文字認識され、画像データからテキストが抽出される。抽出されたテキストは、さらに言語解析部１６解析され、キーワードを生成して検索部２に送る。このときに、録画検索再生装置では、文字認識の結果の確認と、誤認識部分の修正とを求めるために、録画検索再生装置の表示装置４に認識結果を表示するようにしてもよい。これら文字認識部１５と言語解析部１６の機能については、上記図３で説明したカメラ付リモコン装置の文字認識部１５及び言語解析部１６と同様である。
【００６２】
検索部２は、言語解析部１６で得られたキーワードを用いて、コンテンツ蓄積部５に蓄積されたコンテンツを検索する。
また、ここでは、言語解析部１６を設けずに、文字認識部１５で抽出されたテキストを検索キーとして、検索部２に入力させるように構成してもよい。また、カメラ付きリモコン装置に対して、認識結果であるテキストまたは言語解析語のキーワードを送信（返信）するように構成してもよい。
図４のその他の構成については、図１と同様であるため、繰り返しの説明は省略する。
【００６３】
図５は、本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の更に他の実施形態を説明するための図で、図４の録画検索再生装置に対して検索キーを送信するための構成例を示すものである。上述したように、撮影した画像の画像処理及び検索キーの抽出処理は、録画再生検索装置側で実行するため、カメラ付リモコン装置は、画像データを送信できるように構成されている。
すなわち、本実施形態のカメラ付リモコン装置は、ユーザによる情報入力が可能な入力部１１と、装置の各要素を制御する制御部１２と、カメラ機能により被写体の撮像を行うことができる撮像部１３と、撮像部１３で撮像した画像情報や他の情報を送信する送信部１７とを有している。
【００６４】
図６は、本発明のコンテンツ検索装置を実現する録画検索再生装置の更に他の実施形態を説明するためのブロック図である。本実施形態の録画検索再生装置は、コンテンツ蓄積部５に蓄積されたコンテンツを例えばＭＰＥＧ−４等の方式でエンコードして送信するエンコード部９を備えている。送信先の装置では、受信したコンテンツをＭＰＥＧ−４方式でデコードして、映像出力／音声出力を行うことができる。
また、検索部２で検索した結果得られた検索リスト情報を、エンコード部９でエンコードしてカメラ付リモコン装置に送信することができる。
図６の他の要素については、上述した各実施形態と同様の機能を有するため、その繰り返しの説明は省略する。
【００６５】
図７は、本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の更に他の実施形態を説明するための図で、図６の録画検索再生装置に対して検索キーを送信するための構成例を示すものである。
カメラ付リモコン装置は、受信部１８と、デコード部１９とを備えている。受信部１８は、録画検索再生装置から送信された検索リスト情報を受信し、制御部１２に転送する。制御部１２は、検索リスト情報をデコード部１９に送ってデコードさせ、表示部１４に表示させる。さらに表示部１４に表示した検索リストのなかから、特定のコンテンツを指定する情報を入力部１１から受け付けて、その指定情報を送信部１７から送信することにより、録画再生装置側で指定コンテンツを表示装置４に表示させるようにすることができる。
【００６６】
次に、上述の各実施形態で説明したごとくの録画検索再生装置と、カメラ付リモコン装置とを用いて録画検索再生装置に記録した番組を検索し、視聴するときの処理例について説明する。
【００６７】
録画検索再生装置に蓄積されている番組を検索する場合、上述のようにカメラ付リモコン装置の撮像部で撮像した画像を用いて抽出したテキストまたはキーワードからなる検索キーと、録画検索再生装置に蓄積されている番組のインデックスファイルに含まれるキーワードとを比較して検索を行う。ここでは、例えば、撮像画像から抽出した検索キーと、インデックスファイルに含まれるキーワードとを比較して、これらの類似度を算出し、類似度が所定の閾値よりも高いシーンを検索結果の候補とする。
【００６８】
録画検索再生装置は、検索結果候補となるシーンが多数存在するときには、類似度の高い順に検索結果候補を並べ替え、上位のものを提示してもよいし、データの新しい順に並べてもよい。例えば、ニュースなど情報番組の場合には、その内容の新しさ（情報の新しさ）に価値がある場合があるため、新しいデータの方が重要である場合がある。
【００６９】
また、検索結果候補をユーザの好みに応じてさらに検索しなおしてもよい。ここでは、予めユーザが興味を持っているキーワード等を入力しておき、検索された検索結果候補のなかでそのキーワードを使ってさらに絞込みをかけるようにする。
以上のようにして、録画検索再生装置では、カメラ付リモコン装置から送信された検索キーもしくは、画像から抽出された検索キーを使用して、提示すべき検索結果候補を抽出することができる。
【００７０】
上記の検索処理において、検索結果候補が多数存在する場合には、表示可能な数に絞り込む必要がある。その際の基準として、番組コンテンツの新しさやシーンの長さなどの情報を用いてもよいし、シーンに付与されたキーワードの類似性を考慮し、極端に類似性の高いものは内容が同じであるとして１つだけを表示するようにしてもよい。
このようにして得られた検索結果を、録画検索再生装置の表示装置４（もしくは録画再生装置に接続された表示装置４）に表示する。表示装置４には、シーンの代表画像を表示してもよいし、画像だけを同時に再生できるようにしてもよい。このほか、検索されたシーンを含む番組の番組情報（タイトル、放映日、出演者など）を表示するようにしてもよい。
【００７１】
そしてユーザは、表示された検索候補のなかから視聴したいシーンを選択することができる。録画検索再生装置は、ユーザにより選択されたシーンについて、そのインデックスファイルから再生すべきファイル名、再生開始点／終了点等の情報を抽出し、当該ファイルの該当部分を再生する。
そしてユーザによる視聴が終了した後は、再度検索結果を表示する画面に戻るようにしておけば、ユーザは自分が検索した別のシーンも続けて視聴することができる。
【００７２】
図８は、カメラ付リモコン装置において、検索キーを生成して録画検索再生装置に送信するときの処理の流れを説明するための図である。
まず、撮影を指示する入力を待ち（ステップＳ１）、入力があった場合に注目画像等の対象をカメラ付リモコン装置のカメラ機能（撮像部１３）を用いて撮影する（ステップＳ２）。
【００７３】
そして、撮影した画像に対して画像解析を行って、文字を抽出し（ステップＳ３）、抽出した文字とその位置及びテキスト向き情報を使用して、抽出した文字をテキスト（文章）化して文字列を生成する（ステップＳ４）。そして生成した文字列から単語を切り出し（ステップＳ５）、文字列から削除する（ステップＳ６）。その結果文字列が空になったかどうかを判別し（ステップＳ７）、空でなければ再度単語の切り出しを行い（ステップＳ５）、空であれば、切り出した単語を録画検索再生装置に送信する（ステップＳ８）。
【００７４】
図９は、カメラ付リモコン装置において、注目画像としてバーコードを撮影したときの検索キーの生成・送信処理の一例について説明するためのフローチャートである。まず、撮影を指示する入力を待ち（ステップＳ１１）、入力があった場合に注目画像等の対象をカメラ付リモコン装置のカメラ機能（撮像部１３）を用いて撮影する（ステップＳ１２）。このときの注目画像は、検索キー情報がバーコードとしてエンコードされたバーコード画像を含むものである。
【００７５】
そして、撮影した画像を解析してバーコードを抽出し（ステップＳ１３）、そのバーコードをさらに解析して、バーコードにエンコードされた文字列情報を生成する（ステップＳ１４）。そして生成した文字列をキーワード（検索キー）として録画検索再生装置に送信する（ステップＳ１５）。
【００７６】
図１０は、録画検索再生装置において検索処理を行って検索結果を提示するまでの処理の一例を説明するためのフローチャートである。まず、蓄積したコンテンツの検索を指示する入力を待ち（ステップＳ２１）、入力があった場合に、撮影画像から抽出された検索キーを用いて、蓄積されたコンテンツのインデックスファイルを検索する（ステップＳ２２）。そして、ヒットした検索結果なければ処理を終了し（ステップＳ２３）、検索結果があればその提示順を演算して（ステップＳ２４）、演算結果に従って検索結果を表示装置等に提示する（ステップＳ２５）。
【００７７】
本発明に関わるプログラムは、上述する実施例の機能を実現する各手段（或いは各手段の一部）としてコンピュータのＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、コンテンツ検索装置及びコンテンツ検索用入力装置で取り扱われる情報は、その処理時に一時的にＲＡＭ等に蓄積され、その後、各種ＲＯＭやハードディスクに格納され、必要に応じて、ＣＰＵによって読み出し、修正・書き込みが行われる。
【００７８】
これら上述した機能を実現するプログラムは、予め例えば、ＣＤ−ＲＯＭ等の記録媒体に記憶しておき、コンピュータ等に搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置に当該記録媒体を装着して、これらのプログラムをコンピュータのメモリあるいは記録装置に格納し、それを実行することにより、本発明の機能を実現することができる。この場合、記録媒体から読み出されたプログラム自体が上述した実施例の機能を実現することになり、そのプログラム及びプログラムを記録した記録媒体も本発明を構成する。
【００７９】
なお、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭ，不揮発性メモリカード等）、光記録媒体（例えば、ＤＶＤ，ＭＯ，ＭＤ，ＣＤ等）、磁気記録媒体（例えば、磁気テープ，フレキシブルディスク等）等のいずれであってもよい。
【００８０】
また、ロードしたプログラムを実行することにより、上述した実施例の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、上述した実施例の機能が実現される場合もある。
【００８１】
市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送することができる。この場合、サーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
なお、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施例の機能が実現される。
【００８２】
以上、本発明の実施形態について説明したが、本発明は上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることはいうまでもない。
【図面の簡単な説明】
【００８３】
【図１】本発明のコンテンツ検索装置を実現する録画検索再生装置の一実施形態を説明するためのブロック図である。
【図２】本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の一実施形態を説明するための図である。
【図３】本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の他の実施形態を説明するための図である。
【図４】本発明のコンテンツ検索装置を実現する録画検索再生装置の他の実施形態を説明するためのブロック図である。
【図５】本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の更に他の実施形態を説明するための図である。
【図６】本発明のコンテンツ検索装置を実現する録画検索再生装置の更に他の実施形態を説明するためのブロック図である。
【図７】本発明のコンテンツ検索用入力装置を実現するカメラ付リモコン装置の更に他の実施形態を説明するための図である。
【図８】カメラ付リモコン装置において、検索キーを生成して録画検索再生装置に送信するときの処理の流れを説明するための図である。
【図９】カメラ付リモコン装置において、注目画像としてバーコードを撮影したときの検索キーの生成・送信処理の一例について説明するためのフローチャートである。
【図１０】録画検索再生装置において検索処理を行って検索結果を提示するまでの処理の一例を説明するためのフローチャートである。
【符号の説明】
【００８４】
１…受信部、２…検索部、３…送信部、４…表示装置、５…コンテンツ蓄積部、６…チューナ部、７…録画制御部、８…字幕解析部、９…エンコード部、１１…入力部、１２…制御部、１３…撮像部、１４…表示部、１５…文字認識部、１６…言語解析部、１７…送信部、１８…受信部、１９…デコード部。
【図１】
2006115052.tif 000003
【図２】
2006115052.tif 000004
【図３】
2006115052.tif 000005
【図４】
2006115052.tif 000006
【図５】
2006115052.tif 000007
【図６】
2006115052.tif 000008
【図７】
2006115052.tif 000009
【図８】
2006115052.tif 000010
【図９】
2006115052.tif 000011
【図１０】
2006115052.tif 000012