(57)【要約】【課題】任意のキーワードを含む字幕文を検索する機能を備えて、特定の字幕文へのアクセスを容易にする字幕付映像再生装置を提供する。【解決手段】コンテンツ録画データ１２１を記憶する記憶手段と、任意の文字列を入力するキーワード入力モジュール１４３と、入力された文字列を含む字幕文（以下、候補字幕文という）を、コンテンツ録画データ１２１の中から抽出する字幕文抽出モジュール１４４と、候補字幕文を表示するリスト表示モジュール１４５と、リスト表示モジュール１４５により表示された字幕文の中から任意の字幕文を使用者に選択させる手段字幕文選択モジュール１４７と、選択された字幕文を再生表示する字幕再生モジュール１４９と、選択された字幕文に対応する映像を再生表示する映像再生モジュール１４９を備える【選択図】図１３
2009130469.tif 000002
【特許請求の範囲】
【請求項１】
複数の字幕文と複数の映像を記憶する記憶手段と、
使用者に任意の文字列を入力させるキーワード入力手段と、
前記キーワード入力手段により入力された文字列を含む字幕文（以下、候補字幕文という）を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出手段と、
当該候補字幕文を表示するリスト表示手段と、
当該候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択手段と、
前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示手段と、
前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生手段を備える
ことを特徴とする字幕付映像再生装置。
【請求項２】
前記候補字幕文の再生タイミングと前記記憶手段に記憶された全映像の再生時間に対する割合を示す図形を表示するタイミング表示手段を備える
ことを特徴とする請求項１に記載の字幕付映像再生装置。
【請求項３】
前記字幕文選択手段により選択された字幕文の再生タイミングを判別する字幕文再生タイミング判別手段と
前記字幕文選択手段により選択された字幕文の再生タイミングの直前のタイミングで再生される映像（以下、直前映像という）を判別する映像再生タイミング判別手段を有し、
当該直前映像を前記映像再生表示手段で再生表示する映像の先頭とする
ことを特徴とする請求項１又は請求項２に記載の字幕付映像再生装置。
【請求項４】
前記記憶手段は、
字幕文と当該字幕文の再生タイミングを対応付ける字幕管理データと、
映像フレームの位置を示すインデックスと当該映像フレームの再生タイミングを対応付けるシークポイント管理情報を記憶するとともに、
前記字幕文再生タイミング判別手段は、前記字幕文選択手段により選択された字幕文と前記字幕管理データを照合して、当該字幕文の再生タイミングを判別し、
前記映像再生タイミング判別手段は、当該字幕文の再生タイミングと前記シークポイント管理情報を照合して、直前映像のインデックスを判別する
ことを特徴とする請求項３に記載の字幕付映像再生装置。
【請求項５】
前記記憶手段に記憶された字幕文に関する情報を解析して、前記字幕管理データを作成する字幕管理データ作成手段と、
前記記憶手段に記憶された画像に関する情報を解析して、前記シークポイント管理情報を作成するシークポイント管理情報作成手段を備える
ことを特徴とする請求項４に記載の字幕付映像再生装置。
【請求項６】
一面の表示画面を備えるとともに、
前記一面の表示画面に、前記前記キーワード入力手段によって表示されて、使用者にキーワードの入力を促すキーワード入力画面を表示するキーワード入力モード；
前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文、前記映像再生表示手段によって表示される映像及び前記リスト表示手段が表示する候補字幕文を同時に表示する検索結果表示モード；
及び、前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文と前記映像再生表示手段によって表示される映像を同時に表示する通常画面再生モードを相互に切り替えるモード切替手段を有する
ことを特徴とする請求項1ないし請求項５のいずれかに記載の字幕付映像再生装置。
【請求項７】
複数の字幕文と複数の映像を記憶する記憶手段を備えるコンピュータに、
使用者に任意の文字列を入力させるキーワード入力処理と、
前記キーワード入力手段により入力された文字列を含む字幕文（以下、候補字幕文という）を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出処理と、
前記候補字幕文を表示するリスト表示処理と、
前記候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択処理と、
前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示処理と、
前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生処理
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕文及び映像を処理する字幕付映像再生装置と、コンピュータを字幕付映像再生装置として機能させるプログラムに関する。
【背景技術】
【０００２】
表示時刻が付与された字幕文をストリームから抽出し、ユーザが字幕文を選択したときに、当該字幕文と当該字幕文の表示時刻に対応する映像とを合成して表示する字幕表示装置が知られている（特許文献１  ３頁右欄５０行〜４頁左欄３９行）。
【特許文献１】特開２００３−１８４９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１の字幕表示装置は、ストリームから抽出された複数の字幕文から、任意の字幕文を選択して、当該字幕文と当該字幕文の表示開始時間情報に応じた映像とを同時に表示する装置であるが、使用者が膨大な字幕文の中から特定の字幕文にアクセスするのは容易ではないという問題がある。しかしながら、特許文献１は、特定の字幕文へのアクセスを容易にする手段については何も示唆していない。
【０００４】
本発明は、上記実情に鑑みてなされたものであり、任意のキーワードを含む字幕文を検索する機能を備えて、特定の字幕文へのアクセスを容易にする字幕付映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の字幕付映像再生装置は、複数の字幕文と複数の映像を記憶する記憶手段と、使用者に任意の文字列を入力させるキーワード入力手段と、前記キーワード入力手段により入力された文字列を含む字幕文（以下、候補字幕文という）を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出手段と、当該候補字幕文を表示するリスト表示手段と、当該候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択手段と、前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示手段と、前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生手段を備えることを特徴とする。
【０００６】
あるいは、前記候補字幕文の再生タイミングと前記記憶手段に記憶された全映像の再生時間に対する割合を示す図形を表示するタイミング表示手段を備えるようにしてもよい。
【０００７】
また、前記字幕文選択手段により選択された字幕文の再生タイミングを判別する字幕文再生タイミング判別手段と前記字幕文選択手段により選択された字幕文の再生タイミングの直前のタイミングで再生される映像（以下、直前映像という）を判別する映像再生タイミング判別手段を有し、当該直前映像を前記映像再生表示手段で再生表示する映像の先頭とするようにしてもよい。
【０００８】
また、前記記憶手段は、字幕文と当該字幕文の再生タイミングを対応付ける字幕管理データと、映像フレームの位置を示すインデックスと当該映像フレームの再生タイミングを対応付けるシークポイント管理情報を記憶するとともに、前記字幕文再生タイミング判別手段は、前記字幕文選択手段により選択された字幕文と前記字幕管理データを照合して、当該字幕文の再生タイミングを判別し、前記映像再生タイミング判別手段は、当該字幕文の再生タイミングと前記シークポイント管理情報を照合して、直前映像のインデックスを判別するようにしてもよい。
【０００９】
また、前記記憶手段に記憶された字幕文に関する情報を解析して、前記字幕管理データを作成する字幕管理データ作成手段と、前記記憶手段に記憶された画像に関する情報を解析して、前記シークポイント管理情報を作成するシークポイント管理情報作成手段を備えるようにしてもよい。
【００１０】
また、一面の表示画面を備えるとともに、前記一面の表示画面に、前記前記キーワード入力手段によって表示されて、使用者にキーワードの入力を促すキーワード入力画面を表示するキーワード入力モード；前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文、前記映像再生表示手段によって表示される映像及び前記リスト表示手段が表示する候補字幕文を同時に表示する検索結果表示モード；及び、前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文と前記映像再生表示手段によって表示される映像を同時に表示する通常画面再生モードを相互に切り替えるモード切替手段を備えてもよい。
【００１１】
また、本発明のプログラムは、複数の字幕文と複数の映像を記憶する記憶手段を備えるコンピュータに、使用者に任意の文字列を入力させるキーワード入力処理と、前記キーワード入力手段により入力された文字列を含む字幕文（以下、候補字幕文という）を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出処理と、前記候補字幕文を表示するリスト表示処理と、前記候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択処理と、前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示処理と、前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生処理を実行させるものである。
【発明の効果】
【００１２】
本発明の字幕付映像再生装置は、キーワード入力手段と字幕文抽出手段を備えて、任意のキーワードを含む字幕文を抽出して使用者に提示するので、所望の字幕文及び当該字幕文に対応する映像に容易にアクセスすることができるようになる。そのため字幕付映像再生装置の操作性及び利便性が向上する。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。本実施形態は、本発明の字幕付映像再生装置をコンテンツ受信機能を備える携帯電話に適用した例である。一般に携帯電話は各種のデータ転送方式に則ったコンテンツを受信可能であるが、ここでは、ワンセグ放送におけるコンテンツを受信する場合について説明する。
【００１４】
図１は、本発明の実施の形態に係る携帯電話の外観図である。図１に示すように、携帯電話１は、キーボード２、表示パネル５、通話用マイク６、通話用スピーカ７およびスピーカ８を備えている。
【００１５】
キーボード２は、カーソルキー３と表示切替ボタン４及びその他各種のボタンを備えて、様々なデータや指示（例えば、字幕付映像の再生開始及び終了、表示パネル５のモードの切り替えの指示）の入力に使用される。
【００１６】
表示パネル５は、ドットマトリクスタイプのＬＣＤ（液晶表示）パネル等から構成され、画像、図形、文字等を表示することができる。
【００１７】
通話用マイク６は、通話音声を入力するマイクロフォンである。また、通話用スピーカ７は、受話音声を出力するスピーカである。また、スピーカ８はコンテンツ再生時に当該コンテンツの音声を出力するスピーカである。
【００１８】
図２は、携帯電話１の概念的な回路構成を示す構成図である。図２に示すように、携帯電話１の回路は、制御部１１、記憶部１２、操作部１３、表示部１４、チューナ１５、デコード部１６、音声出力部１７、音声入力部１８及び通信部１９の各モジュールから構成され、各モジュールはバス２０で接続されて相互にデータの伝送がされる。
【００１９】
制御部１１は、マイクロプロセッサユニット等から構成され、携帯電話１全体の動作を制御する。例えば、記憶部１２に録画したコンテンツの再生の開始・終了は制御部１１によって行われる。また制御部１１は、各種のデータ（字幕文、映像等）を記憶部１２から読み出して、表示部１４を介して、表示パネル５に表示する。
【００２０】
記憶部１２は、各種のデータ及びプログラム（例えば、制御部１１の動作制御用プログラム）を記憶するメモリである。なお、記憶部１２は、携帯電話１の内蔵メモリ、取り外し可能な外部メモリ、のいずれであってもよい。
【００２１】
操作部１３は、前述のキーボード２、カーソルキー３、表示切替ボタン４等を備えて、使用者による操作を受け付けて操作信号を発生するモジュールであり、発生した操作信号は制御部１１に伝達される。
【００２２】
表示部１４は、前述の表示パネル５と表示パネル５を駆動するドライバ回路等から構成され、制御部１１の制御下にて画像等を表示パネル５に表示するモジュールである。
【００２３】
チューナ１５は、図示しないアンテナを介して受信したワンセグ放送の信号を復調し、復調信号をデコード部１６に出力するモジュールであり、デコード部１６は、チューナ１５が出力した復調信号を復号・出力するモジュールである。
【００２４】
音声出力部１７は、前述の通話用スピーカ７、スピーカ８及びＤＡＣ（Digital Analog Converter）等を備えて、各種音声の出力を行うモジュールである。例えば、制御部１１が再生したコンテンツの音声信号は前記ＤＡＣでＤＡ変換をされて、スピーカ８から放音される。
【００２５】
音声入力部１８は、前述の通話用マイク６を備えて、通話時等に音声信号を収集して通信部１９に供給するモジュールである。また、通信部１９は、図示しない基地局を介して、通話音声あるいは各種のデータを送受信するモジュールである。
【００２６】
図３は、前述の記憶部１２に記憶されるデータの構成図である。図３（ａ）に示すように、記憶部１２にはコンテンツ録画データ１２１、字幕管理データ１２２及びシークポイント管理情報１２３が記憶される。
【００２７】
ここで、ワンセグ放送のテレビ信号について簡単に説明する。ワンセグ放送のテレビ信号は図３（ｂ）に示すようなＴＳＰ（Transport Stream Packet、トランスポートストリームパケット）で構成される。ＴＳＰとは、映像データを格納する映像パケットＶ、音声データを格納する音声パケットＡ、字幕データを格納する字幕パケットＣに分けて、各パケットを一本のストリームに混在させて伝送する伝送方式である。
【００２８】
さて、携帯電話１はワンセグ放送のテレビ信号を受信すると、テレビ信号を構成する各パケットを制御部１１でデータの種類に応じて分類するとともに、各パケットに付与されているパケット番号などに基づいて再配置して、図３（ｃ）に示すような、ビデオＰＥＳ（Packetized Elementary Stream）１３１、音声ＰＥＳ１３２及び字幕ＰＥＳ１３３を生成し、これらを、コンテンツ録画データ１２１として、記憶部１２に格納する。
【００２９】
ビデオＰＥＳ１３１は、パケット化された映像フレームの圧縮符号化データであり、各映像フレーム（映像）を定義するデータと、各映像フレームの再生タイミングを示すデータを含んでいる。なお、ワンセグ放送は予測符号化方式を採用しているので、ビデオＰＥＳ１３１は、他の映像フレームを参照しないＩＤＲ（Instantaneous Decoder Refresh）フレーム（独立映像パケットＶＩに対応する）と、自己の再生タイミングよりも先に再生されるＩＤＲフレームを参照するＰフレーム（参照映像パケットＶＰに対応する）から構成される。ちなみに、ワンセグ放送における、映像フレームのフレームレートは１５フレーム／秒である。
【００３０】
音声ＰＥＳ１３２は、パケット化された音声の圧縮符号化データである。
【００３１】
字幕ＰＥＳ１３３は、パケット化された字幕文の圧縮符号化データであり、字幕文Ｍｎ（ｎ：１〜Ｎ）と、字幕再生タイミングｔｍｎ（ｎ：１〜Ｎ）と、を示す情報を有する。ここで、字幕文Ｍｎは映像と共に表示される字幕文（文字列）であり、字幕再生タイミングｔｍｎは、字幕文Ｍｎを再生するタイミングであり、ＰＴＳ（Presentation Time Stamp）単位で表されている。
【００３２】
図４は、字幕管理データ１２２のデータ構造を示す図である。図４から明らかなように、字幕管理データ１２２は字幕表示時刻ＴＭｎと字幕文Ｍｎとを対応付けるテーブルである。ここで、字幕表示時刻ＴＭｎは、字幕文Ｍｎが表示される時刻であり、本実施形態では、コンテンツ録画データ１２１の再生開始時を基準としたオフセット時刻（時分秒単位）で表示される。
【００３３】
字幕管理データ１２２は、字幕ＰＥＳ１３３に基づいて制御部１１で作成する。すなわち、制御部１１は字幕ＰＥＳ１３３から字幕文Ｍｎと字幕再生タイミングｔｍｎを順に読み出し、ＰＴＳ単位で表現された字幕再生タイミングｔｍｎを時分秒単位に換算して、字幕表示時刻ＴＭｎを求め、字幕文Ｍｎと字幕表示時刻ＴＭｎを記憶部１２に書き込んで字幕管理データ１２２を作成する。
【００３４】
図５は、シークポイント管理情報１２３のデータ構造を示す図である。図５から明らかなように、シークポイント管理情報１２３は、映像フレームの映像表示時刻ＴＲｎ（ｎ：１〜Ｌ）と、映像位置ＰＲｎ（ｎ：１〜Ｌ）を対応付けるテーブルである。ここで、映像表示時刻ＴＲｎは、映像フレームが表示される時刻である。映像位置ＰＲｎは、ワンセグ録画データ１２１における映像フレームの位置を示すインデックスであり、本実施形態では、ＩＤＲフレームの先頭を含むＴＳＰの番号を用いる。
【００３５】
シークポイント管理情報１２３は、ビデオＰＥＳ１３１に基づいて制御部１１で作成する。すなわち、制御部１１はビデオＰＥＳ１３１から映像表示時刻ＴＲｎ、映像位置ＰＲｎ、字幕文Ｍｎ及び字幕再生タイミングｔｍｎを順に読み出して記憶部１２に書き込んでシークポイント管理情報１２３を作成する。
【００３６】
図６、図７及び図８は表示パネル５に表示される画面の例であり、図６は通常画面再生モードを選択した場合の画面、図７はキーワード入力モードを選択した場合の画面、図８は検索結果表示モードを選択した場合の画面を、それぞれ示している。
【００３７】
通常画面再生モードとは、記憶部１２から読み出したコンテンツ録画データ１２１を順に再生して、映像とその映像に対応する字幕を同時に表示するモードである。通常画面再生モードを選択すると、図６に示すように、表示パネル５には映像領域ＤＡ、字幕領域ＳＡ、ソフトキー領域ＦＡの３つの領域が設定される。この時、映像領域ＤＡには記憶部１２から読み出したコンテンツ録画データ１２１の映像が順に表示され、字幕領域ＳＡには映像領域ＤＡに表示される映像に対応する字幕が順に表示される。また、ソフトキー領域ＦＡには「ｓｏｆｔ１」、「ｃｅｎｔｅｒ」及び「ｓｏｆｔ２」の３種のソフトキーが表示される。
【００３８】
通常画面再生モードを選択すると、映像領域ＤＡ、字幕領域ＳＡ、ソフトキー領域ＦＡの３つの領域だけが設定されるので、映像領域ＤＡおよび字幕領域ＳＡを広く設定することができる。このため、映像と字幕を明瞭に視認することができる。なお、通常画面再生モードにおいて、「ｓｏｆｔ１」を押下すると、表示パネル５の表示モードは検索結果表示モードに切り替わり、「ｓｏｆｔ２」を押下すると、表示パネル５の表示モードはキーワード入力モードに切り替わる。
【００３９】
キーワード入力モードとは、使用者が求める字幕文を検索するためのキーワードを入力するモードである。キーワード入力モードを選択すると、図７に示すように、表示パネル５にはキーワード入力領域ＫＡとソフトキー領域ＦＡが設定される。キーワード入力領域ＫＡは、使用者が入力したキーワードが表示される領域である。つまり、使用者がキーボード２を使用してキーワードを入力すると、その内容がキーワード入力領域ＫＡに表示される。また、ソフトキー領域ＦＡの「ｓｏｆｔ１」を押下すると、表示パネル５の表示モードは検索結果表示モードに切り替わり、「ｓｏｆｔ２」を押下すると、表示モードは通常画面再生モードに切り替わる。なお、キーワード検索の具体的な手順については後述する。
【００４０】
検索結果表示モードとは、キーワード検索によって抽出された字幕文のリストを使用者に提示するとともに、そのリストの中から、使用者が望む字幕文を選択させるモードである。図８に示すように、検索結果表示モードでは、表示パネル５には、映像領域ＤＡ、タイムバー領域ＴＡ、字幕領域ＳＡ、字幕リスト領域ＬＡ及びソフトキー領域ＦＡが設定される。
【００４１】
字幕リスト領域ＬＡには、キーワード検索によって抽出された複数の字幕文をリスト形式に並べた字幕リストが表示される。また、字幕リスト領域ＬＡは５個の字幕リスト枝領域ＬＡ１〜ＬＡ５に分割され、各字幕リスト枝領域ＬＡ１〜ＬＡ５にはそれぞれ１個の字幕文が表示される。従って、字幕リスト領域ＬＡには５個の字幕文が同時に表示される。
【００４２】
使用者は、カーソルキー３を使用して、５個の字幕文の中から任意の字幕文を選択することができる。また、使用者が字幕リスト領域ＬＡから字幕文を選択すると、選択中の字幕文は字幕リスト領域ＬＡの中央（字幕リスト枝領域ＬＡ３）に位置するようにスクロール表示される。
【００４３】
字幕領域ＳＡには、字幕リスト領域ＬＡに表示された字幕リストの中から使用者が選択した字幕文が表示される。
【００４４】
映像領域ＤＡには、使用者が選択した字幕文（つまり、字幕領域ＳＡに表示中の字幕文）の再生タイミングに対応する再生タイミングを有する映像が表示される。
【００４５】
タイムバー領域ＴＡは、字幕リスト領域ＬＡに表示された字幕文の映像内における時間的位置を映像の再生時間に対する比率で表示する領域である。バーの長さはコンテンツ録画データの全再生時間を示し、縦線の位置は字幕文の前記全再生時間に対する相対的時間的位置を示す。例えば、コンテンツ録画データ１２１の再生時間が３０分で、字幕再生タイミングｔｍｎが１０分、１５分の位置にあった場合、１０／３０＝０．３３、１５／３０＝０．５０の位置に縦線を表示する。
【００４６】
タイムバー領域ＴＡを備えると、キーワード検索によって抽出した字幕文（候補字幕文）は、映像の前再生時間に対する概略の相対的時間的位置を、使用者が視覚的直感的に把握できるので、候補字幕文の中から所望の字幕文を選び出すのがさらに容易になる。
【００４７】
さて、ここでキーワード検索の具体的な手順について説明する。キーワード検索は字幕管理データ１２２内の全ての字幕文をサーチして、キーワードと同一の文字列を含む字幕文のインデックスを拾い出してインデックステーブルを作成することによって行われる。
【００４８】
図９はインデックステーブルの構成と機能を示す説明図である。インデックステーブル１２４は、制御部１１がキーワード検索を行って記憶部１２に作成するテーブルであって、キーワードと同一の文字列を含むＭ個の字幕文のインデックス値ＩＤＸｍ（ｍは１からＭまでの正の整数）を格納するテーブルである。ここでは、字幕管理データ１２２内での字幕文の行番号（先頭行を１とする）を当該字幕文のインデックス値としている。
【００４９】
キーワード検索の完了後に、検索結果表示モードを選択すると、制御部１１はインデックステーブル１２４からインデックス値を読み込み、読み込んだインデックス値に対応する字幕文Ｍｎを字幕管理データ１２２から読み出して、字幕リスト領域ＬＡに表示する。
【００５０】
図１０は、キーワード検索の処理手順を示すフローチャートである。以下、図中に付した符号を引用して処理手順を説明する。
（ステップ５１１）ｎを１、ｍを１とする。
（ステップ５１２）字幕文Ｍｎの中に、キーワード入力領域ＫＡに入力されたキーワードと同じ文字列が含まれているか否かを判定する。含まれていればステップ５１３に進み、含まれていなければ、ステップ５１４にジャンプする。
（ステップ５１３）字幕文Ｍｎの字幕管理データ１２２内での行番号ｎを、インデックステーブル１２４のｍ番目の要素として登録し、ｍ＝ｍ＋１とする。
（ステップ５１４）。次に、字幕文Ｍｎが最後の字幕文ＭＮであるかを判定する（つまり、ｎ＝Ｎを判定する）。ｎ＝Ｎならば処理を終了し、ｎ≠Ｎならば、ステップ５１５に進む。
（ステップ５１５）ｎ＝ｎ＋１として、ステップ５１１にもどる。
以上の手順によって、字幕管理データ１２２内の全ての字幕文Ｍｎについてキーワードと同一の文字列の有無を判別するとともに、キーワードと同一の文字列を含む字幕文Ｍｎの行番号（インデックス値）ｎをインデックステーブル１２４に書き込むことができる。
【００５１】
図１１は、キーワード検索の結果を表示パネル５に表示する手順を示すフローチャートである。以下、図中に付した符号を引用して処理手順を説明する。
（ステップ５２１）字幕リスト枝領域ＬＡ３に表示すべき字幕文を特定する。ここでは、字幕リスト枝領域ＬＡ３に字幕文Ｍｘを表示する場合を示す（図９参照）。
【００５２】
なお、通常画面再生モードから検索結果表示モードに切り替えた時に、字幕リスト枝領域ＬＡ３に表示する字幕文Ｍｘの特定は次のような手順で行う。すなわち、通常画面再生モードから検索結果表示モードに切り替える時には、映像の再生を停止するが、まず、その映像の再生を停止したときの再生時刻Ｔを求める。次に、再生時刻ＴとインデックスＩＤＸ１の指し示す字幕文Ｍｎの字幕再生タイミングｔｍｎとＴを比較する。この比較をインデックスＩＤＸ１から順番にＩＤＸ２、ＩＤＸ３、…ＩＤＸｍ、…について行い、ｔｍｎ≦Ｔとなる最大のｎを特定する。この時の字幕文Ｍｎが字幕リスト枝領域ＬＡ３に表示される。
【００５３】
また、キーワード入力モードでキーワード入力及び検索を行って、インデックステーブル１２４を作成した後で、最初に検索結果表示モードを選択した時は、インデックスＩＤＸ１からインデックスＩＤＸ５の指し示す５個の字幕文が字幕リスト枝領域ＬＡ１から字幕リスト枝領域ＬＡ５に表示される。
【００５４】
（ステップ５２２）タイムバー領域ＴＡの表示を行う。なお、タイムバー領域ＴＡの表示処理の概要については後述する。
（ステップ５２３）字幕リストの表示を行う。ステップ５２１で字幕リスト枝領域ＬＡ３に、ＩＤＸｍに対応する字幕文Ｍｘを表示することを選択しているから、字幕リスト枝領域ＬＡ１には、インデックスＩＤＸｍ−２に対応する字幕文Ｍｓが、字幕リスト枝領域ＬＡ２には、インデックスＩＤＸｍ−１に対応する字幕文Ｍｔが表示される。また、字幕リスト枝領域ＬＡ４、ＬＡ５には、インデックスＩＤＸｍに後続するインデックスＩＤＸｍ＋１、ＩＤＸｍ＋２に対応する字幕文Ｍｙ、Ｍｚが表示される。これにより、検索するキーワードを含む字幕文が、字幕リスト枝領域ＬＡ１〜ＬＡ５に表示される。
（ステップ５２４）字幕文Ｍｘに対応する字幕表示時刻ＴＭｘとシークポイント管理情報１２３の映像表示時刻ＴＲｎとを比較し、字幕表示時刻ＴＭｘの直前の映像位置ＰＲｎが示す映像を表示する。
【００５５】
その後、カーソルキー３を操作して、字幕リスト枝領域ＬＡ１〜ＬＡ５に表示される字幕文（候補字幕文）の中から所望の字幕文を選択して、字幕リスト枝領域ＬＡ３及び字幕領域ＳＡに当該字幕文を表示するとともに、当該字幕文に対応する映像を映像領域ＤＡに表示する。
【００５６】
このように、使用者が選択した字幕文の直前直近の映像を先頭に再生表示するので、使用者は当該字幕文の対応する画像の（途中からではなく）最初から全て視ることができる。また、字幕文管理情報とシークポイント管理情報を備えるので、字幕文及び映像の再生タイミングの判別が容易であり、高速処理が可能になる。また、制御部１１で、映像コンテンツを解析して字幕文管理情報とシークポイント管理情報を作成するので、映像コンテンツの送信側での特殊な処理を必要としない。
【００５７】
以上の手順により、使用者が入力したキーワードと同一の文字列を含む複数又は単数の字幕文（候補字幕文）をリスト表示するとともに、候補字幕文から使用者が選択した字幕文に対応する映像が表示パネル５に表示される。表示された字幕文と映像が所望する字幕文と映像であることを使用者が確認したら、ソフトキー領域ＦＡの「ｓｏｆｔ１」を押下げて、表示パネル５の表示モードを検索結果表示モードから通常画面再生モードに切り替えて、以後の字幕文と映像を続けて視聴することができる。
【００５８】
このように、ソフトキー領域ＦＡの「ｓｏｆｔ１」又は「ｓｏｆｔ２」の操作によって、表示部５の表示モードを自由に切り替えることが出来るので、キーワードの入力から、字幕文の選択を経て通常の視聴に至る一連の操作を素早く行うことができる。
【００５９】
図１２は、検索結果表示モードにおけるタイムバー領域ＴＡの表示処理の概要を示す図である。図１２に示すように、タイムバー領域ＴＡは、コンテンツ録画データ１２１の全再生時間を表すバー表示領域３０１に、インデックスＩＤＸｍに対応する字幕文の再生タイミングｔｍｎを表示するバー３０２ｍ（ｍは１からＭまでの正の整数）を配置して、全再生時間に対する字幕文の相対的な再生タイミング（時間的位置）を表示する領域である。例えば、コンテンツ録画データ１２１の全再生時間が３０分、バー表示領域の長さが横２００ピクセルで、インデックスＩＤＸｍに対応する字幕文の再生タイミングが、１５分であった場合、１５／３０＊２００＝１００ピクセルの位置に、バー３０２ｍを表示する。
【００６０】
さて、ここまで説明した携帯電話１の機能は、制御部１１にインストールされた制御プログラムを実行することによって実現される。ここで、制御部１１にインストールされる制御プログラムについて簡単に説明する。
【００６１】
図１３は、制御部１１にインストールされる制御プログラムの概念的な構成図である。図１３に示すように制御プログラム１４０は、字幕管理データ作成モジュール１４１、シークポイント管理情報作成モジュール１４２、キーワード入力モジュール１４３、字幕文抽出モジュール１４４、リスト表示モジュール１４５、タイミング表示モジュール１４６、字幕文選択モジュール１４７、字幕文再生タイミング判別モジュール１４８、映像再生タイミング判別モジュール１４９、映像再生モジュール１５０、字幕再生モジュール１５１、モード切替モジュール１５２を備える。
【００６２】
字幕管理データ作成モジュール１４１は、コンテンツ録画データ１２１から必要なデータを読み出して字幕管理データ１２２を作成するプログラムモジュールであり、コンテンツ録画データ１２１の録画（書き込み）完了の時点で起動される。
【００６３】
シークポイント管理情報作成モジュール１４２は、コンテンツ録画データ１２１から必要なデータを読み出してシークポイント管理情報１２３を作成するプログラムモジュールであり、やはり、コンテンツ録画データ１２１の録画（書き込み）完了の時点で起動される。
【００６４】
キーワード入力モジュール１４３は、使用者による検索用のキーワードの入力を行うプログラムモジュールであり、キーワード入力モードが選択された時に起動される。
【００６５】
字幕文抽出モジュール１４４は、キーワード入力モジュール１４３の実行によって得られたキーワードと同一の文字列を含む字幕文を字幕管理データ１２２から抽出して、インデックステーブル１２４を作成するプログラムモジュールである。
【００６６】
リスト表示モジュール１４５は、インデックステーブル１２４に登録されているインデックスを持つ字幕文を字幕管理データ１２２から読み出して、表示パネル５に表示するプログラムモジュールであり、検索結果表示モードが選択された時に起動される。
【００６７】
タイミング表示モジュール１４６は、リスト表示モジュール１４５が表示パネル５に表示する字幕文の映像内における時間的位置を映像の再生時間に対する比率で表示パネル５に表示するプログラムモジュールであり、リスト表示モジュール１４５と同時に実行される。
【００６８】
字幕文選択モジュール１４７は、リスト表示モジュール１４５が表示パネル５に表示する字幕文のリストの中から、任意の字幕文を使用者に選択させるプログラムモジュールであり、リスト表示モジュール１４５と同時に実行される。
【００６９】
字幕文選択モジュール１４７で字幕文の選択が行われると、字幕文再生タイミング判別モジュール１４８が実行される。字幕文再生タイミング判別モジュール１４８は字幕管理データ１２２を参照して、当該字幕文の再生タイミングを求めて、その結果を映像再生タイミング判別モジュール１４９に出力する。
【００７０】
映像再生タイミング判別モジュール１４９は、字幕文の再生タイミングの入力を受けると、シークポイント管理情報１２３を参照して、字幕文の再生タイミングの直前に再生される映像のインデックスを求めて、その結果を映像再生モジュール１５０に出力する。
【００７１】
映像再生モジュール１５０は、映像再生タイミング判別モジュール１４９で判別されたインデックスで指定される映像を先頭にして、コンテンツ録画データ１２１から映像を順に読み出し、表示パネル５に表示する。
【００７２】
字幕再生モジュール１５１は、字幕文選択モジュール１４７で選択された字幕文を先頭にして、コンテンツ録画データ１２１から字幕を順に読み出し、表示パネル５に表示する。
【００７３】
モード切替モジュール１５２は、使用者の選択によって、表示パネル５の表示モード（キーワード入力モード、検索結果表示モード、通常画面再生モード）を切り替えるとともに、表示モードに応じて、リスト表示モジュール１４５、キーワード入力モジュール１４３、映像再生モジュール１５０、字幕再生モジュール１５１等の起動停止を行う。
【００７４】
このように、本発明に係る携帯電話１は制御部１１に所定のソフトウェアを書き込むだけで実現できる。つまり特別なハードウェアを必要としないので、容易に製造することができる。また、ソフトウェアで実現した機能の一部又は全部を専用のハードウェアに置き換えてもよい。例えば、映像再生モジュール１５０あるいは字幕再生モジュール１５１を専用のチップに置き換えてもよい。
【００７５】
以上説明したように、本発明の字幕付映像再生装置は、キーワード入力手段と字幕文抽出手段を備えて、任意のキーワードを含む字幕文を抽出して使用者に提示するので、使用者は所望の字幕文及び当該字幕文に対応する映像に容易にアクセスすることができる。
【００７６】
また、本発明は携帯電話装置にのみ適用されるものではない。本発明は映像と字幕を同時に再生表示する装置一般に広く応用することができる。また、本発明の字幕付映像再生装置は映像及び字幕のデータを放送や通信によって受信する装置に限定されない。媒体に記録された映像及び字幕のデータを読み取って再生する装置であってもよい。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施の形態に係る携帯電話の外観図である。
【図２】前記携帯電話の概念的な回路構成を示す構成図である。
【図３】前記携帯電話の記憶部に記憶されるデータの構成図である。
【図４】字幕管理データのデータ構造を示す図である。
【図５】シークポイント管理情報のデータ構造を示す図である。
【図６】通常画面再生モードを選択した場合に表示される画面の例である。
【図７】キーワード入力モードを選択した場合に表示される画面の例である。
【図８】検索結果表示モードを選択した場合に表示される画面の例である。
【図９】インデックステーブルの構成と機能を示す説明図である。
【図１０】キーワード検索の処理手順を示すフローチャートである。
【図１１】キーワード検索の結果を表示パネルに表示する手順を示すフローチャートである。
【図１２】検索結果表示モードにおけるタイムバー領域ＴＡの表示処理の概要を示す図である。
【図１３】制御部にインストールされる制御プログラムの概念的な構成図である。
【符号の説明】
【００７８】
１…携帯電話、２…キーボード、３…カーソルキー、４…表示切替ボタン、５…表示パネル、６…通話用マイク、７…通話用スピーカ、８…スピーカ、１１…制御部、１２…記憶部、１３…操作部、１４…表示部、１５…チューナ、１６…デコード部、１７…音声出力部、１８…音声入力部、１９…通信部、２０…バス、１２１…コンテンツ録画データ、１２２…字幕管理データ、１２３…シークポイント管理情報、１３１…映像ＰＥＳ、１３２…音声ＰＥＳ、１３３…字幕ＰＥＳ、１４０…制御プログラム、１４１…字幕管理データ作成モジュール、１４２…シークポイント管理情報作成モジュール、１４３…キーワード入力モジュール、１４４…字幕文抽出モジュール、１４５…リスト表示モジュール、１４６…タイミング表示モジュール、１４７…字幕文選択モジュール、１４８…字幕文再生タイミング判別モジュール、１４９…画像再生タイミング判別モジュール、１５０…映像再生モジュール、１５１…字幕再生モジュール、１５２…モード切替モジュール
【図１】
2009130469.tif 000003
【図２】
2009130469.tif 000004
【図３】
2009130469.tif 000005
【図４】
2009130469.tif 000006
【図５】
2009130469.tif 000007
【図１３】
2009130469.tif 000008
【図６】
2009130469.tif 000009
【図７】
2009130469.tif 000010
【図８】
2009130469.tif 000011
【図９】
2009130469.tif 000012
【図１０】
2009130469.tif 000013
【図１１】
2009130469.tif 000014
【図１２】
2009130469.tif 000015