(57)【要約】【課題】  コンテンツを再生する際に、コンテンツの視聴者固有の有意なテキストを再生するコンテンツ再生方法及びコンテンツ再生装置を提供する。【解決手段】  コンテンツ作成の際、符号化部１５が画像音声コンテンツ２１ａを作成した後、テキスト付加部１７は、画像音声コンテンツ２１ａの再生と同期をとって表示されるテキストコンテンツ２１ｂを作成する。次に、コンテンツ再生の際、先ず、テキストインデックス作成部３１は、テキストコンテンツ２１ｂの中からコンテンツの視聴者固有の有意なテキストのインデックスであるテキストコンテンツインデックス２１ｃを作成する。次に、復号再生部３２は、画像音声コンテンツ２１ａを復号し、表示部３３ａとスピーカ３３ｂから再生し、かつ、テキストコンテンツインデックス２１ｃに記憶されたテキストインデックスが示すテキストコンテンツ２１ｂを表示部３３ａに表示する。【選択図】  図２
2005341000.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも動画像情報とテキスト情報とを含むコンテンツを、前記動画像情報と前記テキスト情報との同期をとって再生するコンテンツ再生方法であって、
コンテンツ再生を行う装置に依存する所定の条件を満たす前記テキスト情報を再生する
ことを特徴とするコンテンツ再生方法。
【請求項２】
前記テキスト情報には前記コンテンツ再生を行う装置の識別子が付加され、
前記所定の条件は、前記コンテンツ再生を行う装置が前記付加された識別子で識別される装置である
ことを特徴とする請求項１に記載のコンテンツ再生方法。
【請求項３】
キーワードを受信し、
前記所定の条件は、前記受信したキーワードが前記テキスト情報に含まれていること、または、含まれていないことである
ことを特徴とする請求項１に記載のコンテンツ再生方法。
【請求項４】
特殊再生の場合、前記テキスト情報が再生される時間帯と、前記テキスト情報が再生されない時間帯とで異なる再生速度で再生する
ことを特徴とする請求項１に記載のコンテンツ再生方法。
【請求項５】
前記特殊再生は、早送り再生、または、早戻し再生である
ことを特徴とする請求項４に記載のコンテンツ再生方法。
【請求項６】
前記テキスト情報が再生される時間帯は、文章をなす１つまたは複数のテキスト情報の再生が開始されてから前記文章をなす１つまたは複数のテキスト情報の再生が終了するまでの時間帯である
ことを特徴とする請求項４に記載のコンテンツ再生方法。
【請求項７】
前記テキスト情報が再生される時間帯は、文頭であるテキスト情報の再生が開始されてから終了するまでの時間帯である
ことを特徴とする請求項４に記載のコンテンツ再生方法。
【請求項８】
少なくとも動画像情報とテキスト情報とを含むコンテンツを、前記動画像情報と前記テキスト情報との同期をとって再生するコンテンツ再生方法であって、
前記コンテンツを作成した装置に依存する所定の条件を満たす前記テキスト情報を再生する
ことを特徴とするコンテンツ再生方法。
【請求項９】
少なくとも動画像情報とテキスト情報とを含むコンテンツを、前記動画像情報と前記テキスト情報との同期をとって再生するコンテンツ再生装置であって、
前記コンテンツ再生装置に依存する所定の条件を満たす前記テキスト情報を再生する再生制御手段を
有することを特徴とするコンテンツ再生装置。
【請求項１０】
少なくとも動画像情報とテキスト情報とを含むコンテンツを、前記動画像情報と前記テキスト情報との同期をとって再生するコンテンツ再生装置であって、
前記コンテンツを作成した装置に依存する所定の条件を満たす前記テキスト情報を再生する再生制御手段を
有することを特徴とするコンテンツ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ再生方法及びコンテンツ再生装置に係り、特に、テキスト情報を含むコンテンツを再生する処理に関する。
【背景技術】
【０００２】
ＭＰＥＧ方式などによって符号化された動画像情報及び符号化された音声情報からなるコンテンツを復号再生する、即ち、復号された動画を構成する１フレーム（以下、単にフレームと呼ぶ。）を表示し、復号された音声情報を出力するシステムが知られている。
【０００３】
上記コンテンツにテキスト情報を加えて再生する、即ち、テキスト情報を動画像情報と同期を取って表示する技術が、例えば、「スリージーピーピー（３ＧＰＰ）ＴＳ２６．２３４、Ｖ５．６．０版、ｐ．６４−６５、２００３年９月、スリージーピーピー（３ＧＰＰ）、［平成１６年２月２５日検索］、インターネット＜ＵＲＬ：http://www.3gpp.org/ftp/Specs/archive/26_series/26.234/＞」に開示されている。一方、映画などでは、動画像情報にテロップ（字幕）としてテキスト情報を加える技術が用いられている。
【０００４】
これらのテキスト情報は、例えば、外国語での音声情報の翻訳文であり、また、コンテンツのタイトルであり、コンテンツを再生する際にコンテンツを理解するのに役立つだけでなく、コンテンツのどの部分であるかを示す情報として役立つ。そこで、コンテンツの特殊再生、例えば、コンテンツを早送り再生する際に、所定のテキスト情報が表示される時点であるか否かを用いてその時点の動画像情報を表示し、または、表示しない技術が知られている（例えば、特許文献１参照。）。
【特許文献１】特開２００２−１２５１９９号公報（第１５頁、図４０）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示されている方法では、コンテンツを再生する際に、コンテンツの視聴者固有の有意なテキストを再生することができない可能性がある問題点があった。
【０００６】
本発明は、上記問題点を解決するためになされたもので、コンテンツを再生する際に、コンテンツの視聴者固有の有意なテキストを再生するコンテンツ再生方法及びコンテンツ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のコンテンツ再生方法は、少なくとも動画像情報とテキスト情報とを含むコンテンツを、前記動画像情報と前記テキスト情報との同期をとって再生するコンテンツ再生方法であって、コンテンツ再生を行う装置に依存する所定の条件を満たす前記テキスト情報を再生することを特徴とする。
【０００８】
また、本発明のコンテンツ再生方法は、少なくとも動画像情報とテキスト情報とを含むコンテンツを、前記動画像情報と前記テキスト情報との同期をとって再生するコンテンツ再生方法であって、前記コンテンツを作成した装置に依存する所定の条件を満たす前記テキスト情報を再生することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、コンテンツを再生する際に、コンテンツの視聴者固有の有意なテキストを再生することができる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明によるコンテンツ再生方法及びコンテンツ再生装置の実施の形態を、図面を参照して説明する。図１は、本発明の実施の形態に係るコンテンツ再生方法が適用され、また、本発明の実施の形態に係るコンテンツ再生装置が内蔵された複数台の移動通信端末装置が無線通信網を介して接続された通信システムの構成を示すブロック図である。この通信システムは、複数の移動通信端末装置１と、それらの移動通信端末装置１の間を接続する無線通信網２とからなる。
【００１１】
図２は、移動通信端末装置１の構成を示すブロック図である。この移動通信端末装置１は、装置全体の制御を行う制御部１１と、無線通信網２との間で電波の送受信を行うアンテナ１２ａと、通信部１２ｂと、送受信部１３と、利用者からの操作指示を入力する入力装置１４と、符号化部１５と、符号化部１５に接続されたカメラ１６ａと、符号化部１５に接続されたマイク１６ｂと、テキスト付加部１７と、コンテンツ記憶部２１と、テキストインデックス作成部３１と、復号再生部３２と、復号再生部３２に接続された表示部３３ａと、復号再生部３２に接続されたスピーカ３３ｂとにより構成される。
【００１２】
コンテンツ記憶部２１には、画像音声コンテンツ２１ａと、テキストコンテンツ２１ｂと、テキストコンテンツインデックス２１ｃとが記憶される。画像音声コンテンツ２１ａは、動画像を所定時間間隔で切り出された静止画が符号化された情報と、所定時間幅で切り出された音声が符号化された情報と、それらの符号化された情報を表示、または、出力するコンテンツの開始時点からの相対時刻とからなり、それらの符号化された情報は、その相対時刻の昇順に記憶される。
【００１３】
図３は、テキストコンテンツ２１ｂの一例を示す。テキストコンテンツ２１ｂは、テキスト番号２１ｄと、表示開始時刻２１ｅと、表示持続時間２１ｆと、表示テキスト２１ｇと、表示可能端末装置識別子２１ｈとの情報の組によって表現された第１のテキスト２１ｉ〜第１１のテキスト２１ｔからなる。テキスト番号２１ｄは、テキストの番号であり、「０」または自然数である。表示開始時刻２１ｅは、そのテキストの表示テキスト２１ｇの表示を開始するコンテンツの開始時点からの相対時刻である。
【００１４】
また、表示持続時間２１ｆは、そのテキストの表示テキスト２１ｇの表示を開始してから表示を継続する時間である。表示テキスト２１ｇは、表示するテキスト情報である。表示可能端末装置識別子２１ｈは、表示テキスト２１ｇを表示することが可能な１台、または、複数台の端末装置の識別子であって、図３に示す例では、その端末装置の電話番号であるがこれに限るものではない。その端末装置の利用者の識別子であっても良い。
【００１５】
テキストコンテンツ２１ｂに記憶されるテキストは、表示開始時刻２１ｅの昇順に記憶される。そして、表示開始時刻２１ｅが最も小さいテキストのテキスト番号２１ｄには「０」が記憶され、以降、テキスト番号２１ｄには表示開始時刻２１ｅの昇順に「１」から始まる自然数が記憶される。
【００１６】
図３に示すテキストコンテンツ２１ｂの一例には、１１のテキストが記憶されている。第１のテキスト２１ｉは、テキスト番号２１ｄ「０」と、表示開始時刻２１ｅ「０」と、表示持続時間２１ｆ「２」と、表示テキスト２１ｇ「テキストサンプルです。」とからなり、表示可能端末装置識別子２１ｈには情報が記憶されていない。第２のテキスト２１ｊは、テキスト番号２１ｄ「１」と、表示開始時刻２１ｅ「５」と、表示持続時間２１ｆ「１」とからなり、表示テキスト２１ｇと、表示可能端末装置識別子２１ｈとには情報が記憶されていない。
【００１７】
第３のテキスト２１ｋは、テキスト番号２１ｄ「２」と、表示開始時刻２１ｅ「１０」と、表示持続時間２１ｆ「３」と、表示テキスト２１ｇ「特殊再生時は、」と、表示可能端末装置識別子２１ｈ「０１２−３４５−６７８」とからなる。第４のテキスト２１ｍは、テキスト番号２１ｄ「３」と、表示開始時刻２１ｅ「１５」と、表示持続時間２１ｆ「３」と、表示テキスト２１ｇ「テキストが」と、表示可能端末装置識別子２１ｈ「０１２−３４５−６７８」とからなる。第５のテキスト２１ｎは、テキスト番号２１ｄ「４」と、表示開始時刻２１ｅ「２０」と、表示持続時間２１ｆ「３」と、表示テキスト２１ｇ「表示されます。」と、表示可能端末装置識別子２１ｈ「０１２−３４５−６７８」とからなる。
【００１８】
第６のテキスト２１ｏは、テキスト番号２１ｄ「５」と、表示開始時刻２１ｅ「２５」と、表示持続時間２１ｆ「１」とからなり、表示テキスト２１ｇと、表示可能端末装置識別子２１ｈとには情報が記憶されていない。第７のテキスト２１ｐは、テキスト番号２１ｄ「６」と、表示開始時刻２１ｅ「３０」と、表示持続時間２１ｆ「４」と、表示テキスト２１ｇ「空のテキスト部分は」と、表示可能端末装置識別子２１ｈ「０２３−４５６−７８９」とからなる。第８のテキスト２１ｑは、テキスト番号２１ｄ「７」と、表示開始時刻２１ｅ「３５」と、表示持続時間２１ｆ「３」と、表示テキスト２１ｇ「スキップされます。」と、表示可能端末装置識別子２１ｈ「０２３−４５６−７８９」とからなる。
【００１９】
第９のテキスト２１ｒは、テキスト番号２１ｄ「８」と、表示開始時刻２１ｅ「４０」と、表示持続時間２１ｆ「１」と、表示可能端末装置識別子２１ｈ「０１２−３４５−６７８」とからなり、表示テキスト２１ｇには情報が記憶されていない。第１０のテキスト２１ｓは、テキスト番号２１ｄ「９」と、表示開始時刻２１ｅ「４５」と、表示持続時間２１ｆ「１」と、表示可能端末装置識別子２１ｈ「０２３−４５６−７８９」とからなり、表示テキスト２１ｇには情報が記憶されていない。第１１のテキスト２１ｔは、テキスト番号２１ｄ「１０」と、表示開始時刻２１ｅ「５０」と、表示持続時間２１ｆ「４」と、表示テキスト２１ｇ「コンテンツの終わりです。」とからなり、表示可能端末装置識別子２１ｈには情報が記憶されていない。
【００２０】
図４は、テキストコンテンツインデックス２１ｃの一例を示す。テキストコンテンツインデックス２１ｃは、テキストインデックス番号２１ｕと、表示開始時刻２１ｖと、テキスト番号２１ｗとの情報の組によって表された第１のテキストインデックス２１ｘ〜第３のテキストインデックス２１ｚからなる。テキストインデックスは、テキストコンテンツ２１ｂに記憶されたテキストの中の１つ、または、複数のテキストを示すインデックスである。
【００２１】
テキストインデックス番号２１ｕは、そのテキストインデックスの番号であり、「０」または自然数である。表示開始時刻２１ｖは、そのテキストインデックスのテキスト番号２１ｗで示されるテキストの表示を開始するコンテンツの開始からの相対時刻である。テキスト番号２１ｗは、１つ、または、複数のテキスト番号２１ｄであり、複数のテキスト番号２１ｄである場合は、そのテキスト番号２１ｄを昇順に列挙した情報である。
【００２２】
ここで、表示開始時刻２１ｖは、テキスト番号２１ｗの先頭に記憶されたテキスト番号２１ｄで識別されるテキストコンテンツ２１ｂに記憶されたテキストの表示開始時刻２１ｅに記憶された時刻である。また、テキストインデックスは、表示開始時刻２１ｖの昇順に記憶され、最も表示開始時刻２１ｖが小さいテキストインデックスのテキストインデックス番号２１ｕには「０」が記憶され、以後、表示開始時刻２１ｖの昇順に「１」から始まる自然数が記憶される。
【００２３】
図４に示すテキストコンテンツインデックス２１ｃの一例には、３つのテキストインデックスが記憶されている。第１のテキストインデックス２１ｘは、テキストインデックス番号２１ｕ「０」と、表示開始時刻２１ｖ「０」と、テキスト番号２１ｗ「０」とからなる。第２のテキストインデックス２１ｙは、テキストインデックス番号２１ｕ「１」と、表示開始時刻２１ｖ「１０」と、テキスト番号２１ｗ「２、３、４」とからなる。第３のテキストインデックス２１ｚは、テキストインデックス番号２１ｕ「２」と、表示開始時刻２１ｖ「５０」と、テキスト番号２１ｗ「１０」とからなる。
【００２４】
上記のように構成された、本発明の実施形態に係わる通信システムの移動通信端末装置１各部の動作を、図２を参照して説明する。通信部１２ｂは、アンテナ１２ａが受信した高周波信号を送受信部１３へ出力し、また、送受信部１３から出力される高周波信号をアンテナ１２ａより送信する。
【００２５】
また、送受信部１３は、通信部１２ｂからの高周波信号を増幅、周波数変換及び復調し、それによって得た符号化された動画像及び音声信号を画像音声コンテンツ２１ａに格納し、テキスト情報をテキストコンテンツ２１ｂに格納し、また、制御信号を制御部１１に送る。送受信部１３は、更に、画像音声コンテンツ２１ａに記憶された符号化された動画像及び音声信号、テキストコンテンツ２１ｂに記憶されたテキスト情報、及び、制御部１１から出力される制御信号を変調、周波数変換及び増幅し、高周波信号を得てそれを通信部１２ｂに送る。
【００２６】
入力装置１４は、通話相手の電話番号を指定するための数字キーを含む複数のキーからなり、入力装置１４のキーが操作されると、このキーに対応した識別子が制御部１１に通知され、表示部３３ａに文字や数字として表示され、また画像の表示切替などが行われる。
【００２７】
符号化部１５は、ＭＰＥＧ方式に従って、動画像及び音声を符号化し、符号化された動画像及び音声情報を多重化して画像音声コンテンツ２１ａに格納する装置である。まず、符号化部１５の動画像を符号化する動作を説明する。符号化部１５は、カメラ１６ａから出力される動画像信号から画像フレーム信号、即ち、時間的に連続する静止画を作成する。そして、得られた画像フレーム信号ごとに、その信号を離散コサイン変換し、得られた離散コサイン変換係数を量子化し、得られた量子化離散コサイン変換係数をキーに可変長符号化テーブルを検索して符号化する。
【００２８】
また、符号化部１５は、マイク１６ｂから出力される音声信号から音声フレーム信号、即ち、一定時間間隔に分割した音声信号を作成する。そして、得られた音声フレーム信号ごとに、それをＡＡＣ（Advanced Audio Coding）方式によって時間周波数変換する。続いて、得られたＭＤＣＴ（Modified Discrete Cosine Transform）係数を量子化して符号化する。そして、符号化された動画像と符号化された音声とコンテンツ開始からの相対時刻とを画像音声コンテンツ２１ａに格納する。この際、符号化された動画像と符号化された音声を多重化し、多重化された情報を画像音声コンテンツ２１ａに格納しても良い。
【００２９】
次に、テキスト付加部１７の動作を説明する。テキスト付加部１７は、画像音声コンテンツ２１ａに対応するテキスト情報を作成し、作成されたテキスト情報をテキストコンテンツ２１ｂに格納する装置である。図５は、テキスト付加部１７の動作のフローチャートを示す。テキスト付加部１７は、制御部１１に起動されて動作を開始し（ステップＳ１７ａ）、復号再生部３２に画像音声コンテンツ２１ａの通常速度による復号と再生を指示する（ステップＳ１７ｂ）。
【００３０】
そして、テキスト付加部１７は、入力装置１４の所定のキー操作が行われることによって、画像音声コンテンツ２１ａにテキストを付加する指示がされたか否かを調べる（ステップＳ１７ｃ）。もし、その指示がされていなければ、ステップＳ１７ｂに戻って、画像音声コンテンツ２１ａの復号と再生を続ける。
【００３１】
一方、その指示がされていれば、テキスト付加部１７は、復号再生部３２に画像音声コンテンツ２１ａの復号と再生の一時停止を指示する（ステップＳ１７ｄ）。そして、付加するテキストと、そのテキストを表示する持続時間と、そのテキストの表示が可能な端末装置の識別子の入力を促す表示を表示部３３ａに表示して、付加するテキストと、そのテキストを表示する持続時間と、そのテキストの表示が可能な端末装置の識別子とを入力装置１４から入力する（ステップＳ１７ｅ）。
【００３２】
続いて、テキスト付加部１７は、ステップＳ１７ｅで入力したテキストを表示テキスト２１ｇに、ステップＳ１７ｅで入力した持続時間を表示持続時間２１ｆに、ステップＳ１７ｅで入力した端末装置の識別子を表示可能端末装置識別子２１ｈに、ステップＳ１７ｃでテキストを付加する指示がされた時点で表示されていた情報を表示する、画像音声コンテンツ２１ａの開始時点からの相対時刻を表示開始時刻２１ｅに、そして、既に説明した所定の「０」または自然数をテキスト番号２１ｄに設定する（ステップＳ１７ｆ）。
【００３３】
そして、テキスト付加部１７は、上記設定された情報の組をテキストコンテンツ２１ｂに追加格納して（ステップＳ１７ｇ）、ステップＳ１７ｂに戻って、画像音声コンテンツ２１ａの復号と再生を再開する。テキスト付加部１７は、画像音声コンテンツ２１ａの最後まで復号と再生が行われた場合と、入力装置１４から所定のキー操作があった場合とに動作を終了する（図５のフローチャートには図示せず）。
【００３４】
次に、テキストインデックス作成部３１の動作を説明する。テキストインデックス作成部３１は、テキストコンテンツ２１ｂに記憶された情報に基づいて、テキストインデックスを作成し、作成されたテキストインデックスをテキストコンテンツインデックス２１ｃに格納する装置である。図６は、テキストインデックス作成部３１の動作のフローチャートを示す。テキストインデックス作成部３１は、制御部１１に起動されて動作を開始し（ステップＳ３１ａ）、テキストコンテンツ２１ｂの全ての組の情報を調べるための制御変数「ｉ」に０を代入する（ステップＳ３１ｂ）。
【００３５】
続いて、テキストインデックス作成部３１は、テキスト番号２１ｄが制御変数「ｉ」の値である組のテキスト情報をテキストコンテンツ２１ｂから検索し、検索された表示テキスト２１ｇを表示するか否かを調べる（ステップＳ３１ｃ）。ここで、表示するか否かは、以下の４つの基準の１つ、または、組み合わせた基準によって判断する。
【００３６】
第１の基準は、表示可能端末装置識別子２１ｈに自装置の電話番号が記憶されている場合に表示すると判断し、それ以外の電話番号が記憶されている場合に表示しないと判断する。電話番号が記憶されていない場合、表示すると判断するが、これに限るものではない。表示しないと判断しても良い。第２の基準は、検索された表示テキスト２１ｇの文字数による判断であって、例えば、その文字数が「１」以上である文字列である場合に表示すると判断し、その表示テキスト２１ｇに情報が記憶されていない場合に表示しないと判断する。
【００３７】
第３の基準は、検索された表示テキスト２１ｇが所定の第１のキーワードを含む場合に表示すると判断し、その表示テキスト２１ｇが所定の第１のキーワードを含まない場合に表示しないと判断する。第４の基準は、検索された表示テキスト２１ｇが所定の第２のキーワードを含まない場合に表示すると判断し、その表示テキスト２１ｇが所定の第２のキーワードを含む場合に表示しないと判断する。ここで、テキストコンテンツ２１ｂは、各テキストに更にキーワード情報を付加して記憶し、その付加されたキーワード情報が上記所定のキーワードを含むか否かによって表示するか否かを判断しても良い。
【００３８】
これらの基準の中のどの基準、または、どのように組み合わせた基準によって判断するかは、更には、上記キーワードは、事前にテキストインデックス作成部３１に記憶されていても良く、また、入力装置１４から入力されても良い。
【００３９】
これらの基準を用いることにより、テキスト付加部１７を用いてテキストコンテンツ２１ｂを付加させた利用者は、復号再生部３２を用いてテキストコンテンツ２１ｂを表示させる利用者毎に、テキストコンテンツ２１ｂに記憶されるテキストの表示の有無を制御することができる。
【００４０】
即ち、テキストコンテンツ２１ｂに記憶されるテキスト毎に、例えば、特定の移動通信端末装置１でのみ表示させ、また、所定の第１のキーワードを知っている者がテキスト付加部１７を動作させた場合に表示させ、また、所定の第２のキーワードを知っている者がテキスト付加部１７を動作させた場合に表示させないことができる。
【００４１】
ステップＳ３１ｃで、検索された表示テキスト２１ｇは表示すると判断された場合、テキストインデックス作成部３１は、その時点での制御変数「ｉ」の値をテキストインデックス作成部３１内の所定の記憶部に仮記憶する（ステップＳ３１ｄ）。
【００４２】
そして、検索された表示テキスト２１ｇは文章の終わりであるか否かを調べる（ステップＳ３１ｅ）。ここで、検索された表示テキスト２１ｇは文章の終わりであると判断する基準には、以下の３つの基準が単独で、または、組み合わせて用いられる。第１の基準は、検索された表示テキスト２１ｇの最後の文字が句点、感嘆符、疑問符、ピリオド、「etc」などの文章の最後に用いられる１つ、または、複数の文字であることである。
【００４３】
第２の基準は、検索された表示テキスト２１ｇは、テキストコンテンツ２１ｂの最後の、即ち、テキストコンテンツ２１ｂに記憶されたテキスト番号２１ｄが最大である組の情報の表示テキスト２１ｇであることである。第３の基準は、検索された表示テキスト２１ｇの表示開始時刻２１ｅと表示持続時間２１ｆとの和と、検索された表示テキスト２１ｇの次にステップＳ３１ｃで表示すると判断される表示テキスト２１ｇの表示開始時刻２１ｅとの差が所定数以上であることである。言い換えると、検索された表示テキスト２１ｇが表示された後、所定数以上の時間間隔の間、テキストが表示されない場合である。
【００４４】
ステップＳ３１ｅで、検索された表示テキスト２１ｇは文章の終わりであると判断された場合、テキストインデックス作成部３１は、テキスト番号２１ｗにテキストインデックス作成部３１内の所定の記憶部に仮記憶された１つ、または、複数の制御変数「ｉ」の値を昇順に列挙した値を設定し、表示開始時刻２１ｖにそれらの制御変数「ｉ」の値の中で最小の値を検索キーにテキストコンテンツ２１ｂを検索して得られた表示開始時刻２１ｅを設定し、そして、既に説明した所定の「０」または自然数をテキストインデックス番号２１ｕに設定した情報の組を作成する。
【００４５】
そして、テキストインデックス作成部３１は、作成された情報の組、即ち、テキストインデックスをテキストコンテンツインデックス２１ｃに追加格納する。更に、テキストインデックス作成部３１内の所定の記憶部に仮記憶された１つ、または、複数の制御変数「ｉ」の値を削除する（ステップＳ３１ｆ）。なお、テキストインデックス作成部３１内の所定の記憶部に制御変数「ｉ」の値が記憶されていない場合、テキストインデックス作成部３１は、ステップＳ３１ｆで情報をテキストコンテンツインデックス２１ｃに格納する動作を行わない。
【００４６】
続いて、テキストインデックス作成部３１は、全てのテキストコンテンツ２１ｂの組の情報の処理を終えたかを調べる（ステップＳ３１ｇ）。即ち、その時点での制御変数「ｉ」の値が、テキストコンテンツ２１ｂに記憶されたテキスト番号２１ｄの最大値であるかを調べる。終了していない場合、制御変数「ｉ」の値に「１」を加えて（ステップＳ３１ｈ）、ステップＳ３１ｃに戻って動作を繰り返す。一方、終了した場合、動作を終了する（ステップＳ３１ｉ）。
【００４７】
ステップＳ３１ｅで、検索された表示テキスト２１ｇは文章の終わりでないと判断された場合、テキストインデックス作成部３１は、ステップＳ３１ｆの情報をテキストコンテンツインデックス２１ｃに格納する動作を行わずに、ステップＳ３１ｆの全てのテキストコンテンツ２１ｂの組の情報の処理を終えたかを調べる動作に移る。
【００４８】
また、ステップＳ３１ｃで、検索された表示テキスト２１ｇは表示しないと判断された場合、テキストインデックス作成部３１は、ステップＳ３１ｄの制御変数「ｉ」の値を仮記憶する動作を行わずに、ステップＳ３１ｅの検索された表示テキスト２１ｇは文章の終わりであるか否かを調べる動作に移る。
【００４９】
以上説明した動作により、自装置の電話番号が０１２−３４５−６７８であるとして、テキストインデックス作成部３１によって、例えば、ステップＳ３１ｃで表示する表示テキスト２１ｇは、表示可能端末装置識別子２１ｈに自装置の電話番号が記憶されているか電話番号が記憶されていない場合、かつ、表示テキスト２１ｇは、文字数が１以上であるテキストである場合とすると、図３に示すテキストコンテンツ２１ｂから、図４に示すテキストコンテンツインデックス２１ｃが作成される。
【００５０】
即ち、テキストコンテンツ２１ｂに記憶された表示テキスト２１ｇを文章単位にまとめ、かつ、自装置の利用者にとって有意な文章をなすテキストのテキスト番号２１ｗがテキストコンテンツインデックス２１ｃに記憶される。
【００５１】
次に、復号再生部３２の動作を説明する。復号再生部３２は、画像音声コンテンツ２１ａを復号し、復号された画像を表示部３３ａに表示し、また、復号された音声をスピーカ３３ｂから出力し、かつ、テキストコンテンツインデックス２１ｃを参照しつつテキストコンテンツ２１ｂに記憶された表示テキスト２１ｇを表示部３３ａに表示する装置である。復号再生部３２の動作には、通常再生と特殊再生の２通りがある。特殊再生には、早送り再生と早戻し再生との２通りがある。
【００５２】
まず、復号再生部３２の通常再生の動作を説明する。図７は、復号再生部３２の通常再生の動作のフローチャートを示す。復号再生部３２は、画像音声コンテンツ２１ａの開始時点からの相対時刻を引数に制御部１１に起動されて通常再生の動作を開始し（ステップＳ３２ａ）、画像音声コンテンツ２１ａから引数として指定された相対時刻に再生される情報を検索して、検索された情報を復号し、再生する（ステップＳ３２ｂ）。即ち、フレームを表示部３３ａに表示し、復号された音声をスピーカ３３ｂから出力する。
【００５３】
なお、指定された相対時刻に再生される情報が存在しない場合、上記相対時刻より小さい相対時刻であって、上記相対時刻に最も近い相対時刻をもって指定された相対時刻を更新し、更新された相対時刻に再生される情報を検索して、検索された情報を復号し、再生する。また、指定された相対時刻に表示されるフレームがフレーム間符号化された情報である場合、上記相対時刻より小さい相対時刻であって、上記相対時刻に最も近い相対時刻をもって指定された相対時刻を更新し、更新された相対時刻に表示されるフレーム内符号化されたフレームを復号し、表示しても良い。
【００５４】
続いて、復号再生部３２は、上記指定された相対時刻、または、上記更新された相対時刻に表示される可能性があるテキストの有無を判断する（ステップＳ３２ｃ）。即ち、表示される可能性があるテキストを（表示開始時刻２１ｅ）＜（指定された、または、上記更新された相対時刻）＜（表示開始時刻２１ｅ）＋（表示持続時間２１ｆ）を満たすテキスト情報として、テキストコンテンツ２１ｂから検索する。
【００５５】
検索の結果、表示される可能性があるテキストがない場合、上記いずれかの相対時刻を次の相対時刻に進めて（ステップＳ３２ｄ）、ステップＳ３２ｂに戻って、進めた相対時刻に再生される情報を検索して、検索された情報を復号し、再生する動作を繰り返す。ここで、次の相対時刻は、符号化部１５がカメラ１６ａから出力される動画像信号から画像フレーム信号を作成した時間間隔と、符号化部１５がマイク１６ｂから出力される音声信号から音声フレーム信号を作成した時間間隔とによって算出する。
【００５６】
一方、ステップＳ３２ｃで表示される可能性があるテキストがある場合、復号再生部３２は、そのテキストは表示するテキストであるか否かを判断する（ステップＳ３２ｅ）。即ち、ステップＳ３２ｃでテキストコンテンツ２１ｂから検索されたテキスト情報のテキスト番号２１ｄが、テキストコンテンツインデックス２１ｃのテキスト番号２１ｗに含まれているか否かを検索する。含まれていない場合、既に説明したステップＳ３２ｄの相対時刻を進める動作を経て、ステップＳ３２ｂに戻って、進めた相対時刻に再生される情報を検索して、検索された情報を復号し、再生する動作を繰り返す。
【００５７】
一方、ステップＳ３２ｅでテキストコンテンツ２１ｂから検索されたテキスト情報のテキスト番号２１ｄが、テキストコンテンツインデックス２１ｃのテキスト番号２１ｗに含まれている場合、復号再生部３２は、ステップＳ３２ｃでテキストコンテンツ２１ｂから検索されたテキスト情報の表示テキスト２１ｇを表示部３３ａに表示する（ステップＳ３２ｆ）。
【００５８】
この際、復号再生部３２は、上記表示テキスト２１ｇを音声合成部（図示せず）によって音声に変換し、変換された音声をスピーカ３３ｂから出力しても良い。変換された音声を出力することによって、視覚に障害がある利用者がコンテンツを理解することを助けることができる。そして、既に説明したステップＳ３２ｄの相対時刻を進める動作を経て、ステップＳ３２ｂに戻って、進めた相対時刻に再生される情報を検索して、検索された情報を復号し、再生する動作を繰り返す。
【００５９】
復号再生部３２の通常再生の動作は、画像音声コンテンツ２１ａが尽きた際と、制御部１１から動作終了の指示を受信した際に終了して、その時表示した情報を表示する、画像音声コンテンツ２１ａの開始時点からの相対時刻を戻り値として制御部１１に通知する（図７のフローチャートには図示せず）。
【００６０】
次に、復号再生部３２の早送り再生の動作を説明する。図８は、復号再生部３２の早送り再生の動作のフローチャートを示す。復号再生部３２は、画像音声コンテンツ２１ａの開始時点からの相対時刻を引数に制御部１１に起動されて早送り再生の動作を開始する（ステップＳ３２ｈ）。
【００６１】
そして、復号再生部３２は、テキストコンテンツインデックス２１ｃに記憶されたテキストインデックスの中で、引数として与えられた相対時刻以降に表示されるテキスト番号２１ｗを含むテキストインデックスのテキストインデックス番号２１ｕの最小値を求めて、制御変数「ｉ」の初期値として制御変数「ｉ」に代入する（ステップＳ３２ｉ）。
【００６２】
上記初期値は、テキストインデックス番号２１ｕが上記初期値であるテキストインデックスの表示開始時刻２１ｖは与えられた相対時刻以上であり、テキストインデックス番号２１ｕが上記初期値から「１」を減じた値であるテキストインデックスの表示開始時刻２１ｖは与えられた相対時刻未満である値として算出する。
【００６３】
続いて、復号再生部３２は、テキストインデックス番号２１ｕが制御変数「ｉ」の値に等しいテキストインデックスをテキストコンテンツインデックス２１ｃから検索し、そのインデックスのテキスト番号２１ｗを得る（ステップＳ３２ｊ）。そして、そのテキスト番号２１ｗに記憶されたテキスト番号２１ｄで示される表示テキスト２１ｇを表示する開始時刻と終了時刻を算出する（ステップＳ３２ｋ）。
【００６４】
即ち、上記開始時刻は、上記テキスト番号２１ｗの最初に記憶されたテキスト番号２１ｄのテキストの表示開始時刻２１ｅとして求める。また、上記終了時刻は、上記テキスト番号２１ｗの最後に記憶されたテキスト番号２１ｄのテキストの表示開始時刻２１ｅと表示持続時間２１ｆとの和として求める。
【００６５】
そして、復号再生部３２は、画像音声コンテンツ２１ａの開始時点からの相対時刻が上記開始時刻から上記終了時刻までに再生される情報を通常再生する（ステップＳ３２ｍ）。即ち、上記開始時刻から上記終了時刻までに再生される画像情報及び音声情報を画像音声コンテンツ２１ａから検索して、復号し、再生する。
【００６６】
更に、上記開始時刻から上記終了時刻までに表示するテキスト、即ち、テキストインデックス番号２１ｕが制御変数「ｉ」であるテキストインデックスのテキスト番号２１ｗに記憶された１つ、または、複数のテキスト番号２１ｄを検索キーにテキストコンテンツ２１ｂから表示テキスト２１ｇを検索して、表示する。これによって、例えば、自装置の利用者にとって有意な文章が表示される時間帯に渡る再生をすることができる。
【００６７】
続いて、復号再生部３２は、制御変数「ｉ」が最後の番号であるか否かを調べる（ステップＳ３２ｎ）。即ち、テキストインデックス番号２１ｕが「ｉ＋１」であるテキストインデックスがテキストコンテンツインデックス２１ｃに記憶されているか否かを調べ、記憶されている場合、制御変数「ｉ」が最後の番号でないので、制御変数「ｉ」に「１」を加えて（ステップＳ３２ｏ）、ステップＳ３２ｊのテキストコンテンツインデックス２１ｃからの検索の動作に戻る。一方、上記テキストインデックスが記憶されていない場合、制御変数「ｉ」が最後の番号なので、動作を終了する（ステップＳ３２ｐ）。
【００６８】
復号再生部３２は、制御変数「ｉ」が最後の番号である場合に早送り再生の動作を終了する場合の他に、入力装置１４からの入力に基づいて制御部１１が動作の終了を指示した場合、早送り再生の動作を終了する（図８のフローチャートには図示せず）。復号再生部３２は、動作の終了の際に表示した画像を表示する、画像音声コンテンツ２１ａの開始時刻からの相対時刻を戻り値として制御部１１に通知する。
【００６９】
ここで、復号再生部３２は、ステップＳ３２ｍで、上記開始時刻から上記終了時刻までに再生される画像情報と音声情報と表示テキスト２１ｇとを通常再生するとしたが、これに限るものではない。通常再生より高速に再生しても良い。その高速に再生する速度は、利用者が表示テキスト２１ｇを読み得る範囲としても良い。また、上記開始時刻から上記終了時刻までの中で、表示テキスト２１ｇが表示されない時間帯を通常速度より高速に再生しても良い。更には、表示テキスト２１ｇが表示されない時間帯は再生を行わなくても良い。
【００７０】
また、復号再生部３２は、ステップＳ３２ｍで、ステップＳ３２ｋで検索して得られたテキスト番号２１ｗに記憶されたテキスト番号２１ｄで示される全ての表示テキスト２１ｇを表示するとしたが、これに限るものではない。テキスト番号２１ｗの冒頭に記憶されたテキスト番号２１ｄで示される表示テキスト２１ｇを表示しても良い。この動作によって、例えば、文章の冒頭の表示テキスト２１ｇのみを表示することによって、高速に早送り再生させることができる。
【００７１】
また、復号再生部３２は、ステップＳ３２ｍで、画像音声コンテンツ２１ａとテキストコンテンツ２１ｂとを再生するとしたが、画像音声コンテンツ２１ａを再生せず、テキストコンテンツ２１ｂを表示するとしても良い。この動作によって、装置の処理量は減少し、かつ、利用者は、画像音声コンテンツ２１ａに影響されることなく、テキストコンテンツ２１ｂによってコンテンツの内容を理解しつつ早送り再生を行わせることができる。
【００７２】
更に、復号再生部３２は、ステップＳ３２ｍで、上記開始時刻から上記終了時刻まで以外の時間帯の画像音声コンテンツ２１ａを再生しないとしたが、高速な再生をしても良い。また、音声情報を再生せず、画像情報を高速に再生しても良い。この動作によって、利用者は、全ての画像音声コンテンツ２１ａの概要を知ることができる。
【００７３】
次に、復号再生部３２の早戻し再生の動作を説明する。図９は、復号再生部３２の早戻し再生の動作のフローチャートを示す。復号再生部３２の早戻し再生の動作は、図８にフローチャートを示した、早送り再生の動作と殆ど同じであり、同じ動作のステップには同じ符号を付し、説明を省略する。
【００７４】
復号再生部３２は、画像音声コンテンツ２１ａの開始時点からの相対時刻を引数に制御部１１に起動されて早戻し再生の動作を開始する（ステップＳ３２ｒ）。
【００７５】
そして、復号再生部３２は、テキストコンテンツインデックス２１ｃに記憶されたテキストインデックスの中で、引数として与えられた相対時刻以前に表示されるテキスト番号２１ｗを含むテキストインデックスのテキストインデックス番号２１ｕの最大値を求めて、制御変数「ｉ」の初期値として制御変数「ｉ」に代入する（ステップＳ３２ｓ）。
【００７６】
上記初期値は、テキストインデックス番号２１ｕが上記初期値であるテキストインデックスの表示開始時刻２１ｖは与えられた相対時刻以下であり、テキストインデックス番号２１ｕが上記初期値に「１」を加えた和であるテキストインデックスの表示開始時刻２１ｖは与えられた相対時刻を越える値として算出する。続いて、復号再生部３２は、ステップＳ３２ｊのテキストコンテンツインデックス２１ｃからテキスト番号２１ｗを検索する動作以降の動作を行う。
【００７７】
復号再生部３２は、ステップＳ３２ｍの画像情報と音声情報と表示テキスト２１ｇを再生する動作の後、制御変数「ｉ」が最初のテキストインデックス番号２１ｕであるか否かを調べる（ステップＳ３２ｔ）。即ち、制御変数「ｉ」の値が「０」でなければ、制御変数「ｉ」が最初の番号でないので、制御変数「ｉ」から「１」を減じて（ステップＳ３２ｕ）、ステップＳ３２ｊのテキストコンテンツインデックス２１ｃからの検索の動作に戻る。一方、制御変数「ｉ」の値が「０」であれば、制御変数「ｉ」が最初の番号なので、ステップＳ３２ｐで動作を終了する。
【００７８】
上記のように構成された、本発明の実施形態に係わる通信システムの動作を説明する。図１０は、本発明の実施形態に係わる通信システムの動作のシーケンスを示す。この動作は、テキストコンテンツ２１ｂを作成する移動通信端末装置１（以後、情報作成装置と称する。）の制御部１１の起動により、その装置の符号化部１５が画像音声コンテンツ２１ａを作成することにより開始される（ステップＳ４１ａ）。続いて、情報作成装置の制御部１１の起動により、その装置のテキスト付加部１７が図５に示すフローチャートの動作を行って、テキストコンテンツ２１ｂを作成する（ステップＳ４１ｂ）。
【００７９】
続いて、情報作成装置の制御部１１は、その装置の送受信部１３を制御して、ステップＳ４１ａで作成された画像音声コンテンツ２１ａと、ステップＳ４１ｂで作成されたテキストコンテンツ２１ｂとを、これらのコンテンツを再生する移動通信端末装置１（以後、情報再生装置と称する。）に送信する（ステップＳ４１ｃ）。ここで、これらのコンテンツの送信は、情報作成装置の電子メール送受信部（図示せず）によって電子メールの送信として行われても良い。
【００８０】
一方、情報再生装置は、ステップＳ４１ｃで送信された画像音声コンテンツ２１ａとテキストコンテンツ２１ｂとをその装置の送受信部１３が受信して、それらのコンテンツをコンテンツ記憶部２１に格納する（ステップＳ４１ｄ）。ここで、これらのコンテンツの受信は、その装置の電子メール送受信部によって電子メールの受信として行われても良い。
【００８１】
そして、情報再生装置の制御部１１の起動により、その装置のテキストインデックス作成部３１が図６に示すフローチャートの動作を行って、テキストコンテンツインデックス２１ｃを作成する（ステップＳ４１ｅ）。
【００８２】
続いて、情報再生装置の制御部１１の起動により、その装置の復号再生部３２が図７〜図９に示すフローチャートの動作を行って、画像音声コンテンツ２１ａの復号再生及びテキストコンテンツインデックス２１ｃに基づいたテキストコンテンツ２１ｂの表示を行う（ステップＳ４１ｆ）。ここで、上記復号再生及び表示は、通常再生、早送り再生、及び、早戻し再生のいずれかであっても良く、また、これらの再生を組み合わせた再生であっても良い。
【００８３】
ここで、ステップＳ４１ｅのテキストコンテンツインデックス２１ｃの作成は、情報再生装置が行うとしたが、情報作成装置が行っても良い。その場合、情報作成装置は、作成されたテキストコンテンツインデックス２１ｃを画像音声コンテンツ２１ａとテキストコンテンツ２１ｂとに併せてステップＳ４１ｃで情報再生装置に送信する。また、テキストコンテンツインデックス２１ｃの作成は、複数の移動通信端末装置１によって行われても良い。
【００８４】
以上の説明では、テキストコンテンツ２１ｂには、テキスト番号２１ｄと、表示開始時刻２１ｅと、表示持続時間２１ｆと、表示テキスト２１ｇと、表示可能端末装置識別子２１ｈの組の情報が記憶されるとしたが、これに限るものではない。
【００８５】
例えば、表示テキスト２１ｇの表示が行われる表示部３３ａ上の位置や、表示テキスト２１ｇの表示が行われる際のフォントの種類や、文字の大きさや、文字の色や、更に、テキストを付加した移動通信端末装置１の識別子などが記憶されても良い。これらの情報は、テキスト付加部１７がテキストコンテンツ２１ｂを作成する際に、所定の値が、または、入力装置１４から入力された値が格納される。
【００８６】
この場合、テキストインデックス作成部３１は、これらの情報を用いてテキストコンテンツインデックス２１ｃを作成するため、コンテンツの視聴者にとって有意なテキストコンテンツ２１ｂをより細かく検索することができる。そして、復号再生部３２は、コンテンツの視聴者にとって意味の無いテキストコンテンツ２１ｂを表示しないことができる。
【００８７】
また、以上の説明では、復号再生部３２は、コンテンツの通常再生と、早送り再生と、早戻し再生を行うとしたが、これらの再生に限るものではない。これらの再生以外の特殊再生、例えば、コマ送り再生を行っても良い。
【００８８】
本実施形態では、画像音声コンテンツ２１ａは、ＭＰＥＧ方式によって符号化されたコンテンツであるとしたが、これに限るものはない。その他の方式によって符号化されていても良いし、また、符号化されないコンテンツであっても良い。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【００８９】
また、以上の説明は、本発明を移動通信端末装置に適用した形態を例にとって行ったが、本発明は、パソコンに適用することも当然に可能である。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施形態に係る通信システムの構成を示すブロック図。
【図２】本発明の実施形態に係る移動通信端末装置の構成を示すブロック図。
【図３】本発明の実施形態に係るテキストコンテンツの一例を示す図。
【図４】本発明の実施形態に係るテキストコンテンツインデックスの一例を示す図。
【図５】本発明の実施形態に係るテキスト付加部の動作を示すフローチャート。
【図６】本発明の実施形態に係るテキストインデックス作成部の動作を示すフローチャート。
【図７】本発明の実施形態に係る復号再生部の通常再生の動作を示すフローチャート。
【図８】本発明の実施形態に係る復号再生部の早送り再生の動作を示すフローチャート。
【図９】本発明の実施形態に係る復号再生部の早戻し再生の動作を示すフローチャート。
【図１０】本発明の実施形態に係る通信システムの動作を示すシーケンス図。
【符号の説明】
【００９１】
１  移動通信端末装置
１１  制御部
１５  符号化部
１６ａ  カメラ
１６ｂ  マイク
１７  テキスト付加部
２１  コンテンツ記憶部
２１ａ  画像音声コンテンツ
２１ｂ  テキストコンテンツ
２１ｃ  テキストコンテンツインデックス
２１ｄ  テキスト番号
２１ｅ  表示開始時刻
２１ｆ  表示持続時間
２１ｇ  表示テキスト
２１ｈ  表示可能端末装置識別子
２１ｉ〜２１ｔ  第１のテキスト〜第１１のテキスト
２１ｕ  テキストインデックス番号
２１ｖ  表示開始時刻
２１ｗ  テキスト番号
２１ｘ〜２１ｚ  第１のテキストインデックス〜第３のテキストインデックス
３１  テキストインデックス作成部
３２  復号再生部
３３ａ  表示部
３３ｂ  スピーカ
【図１】
2005341000.tif 000003
【図２】
2005341000.tif 000004
【図３】
2005341000.tif 000005
【図４】
2005341000.tif 000006
【図５】
2005341000.tif 000007
【図６】
2005341000.tif 000008
【図７】
2005341000.tif 000009
【図８】
2005341000.tif 000010
【図９】
2005341000.tif 000011
【図１０】
2005341000.tif 000012