(57)【要約】テロップ表示を含む映像ファイルの切り出しを行うと、切り出された映像のテロップ表示がスクロールする場合、元のテロップ表示と異なってしまう。そこで、元の映像ファイルからの切り出し区間の境界時刻を含むテロップデータに対し、スクロール表示の時間変化を予測して、元のテロップ表示と同等となるようにテロップ文字列と動的属性を編集する。
2005002231.tif 000002
【特許請求の範囲】
【請求項１】
映像データと文字データとを少なくとも含む映像ファイルを編集するための映像編集装置において、ユーザが映像ファイルを切り出す区間を指定するための編集インタフェース部と、映像ファイルを解析するファイル解析部と、テロップデータを編集するテキストサンプル編集部と、映像データを編集するビデオサンプル編集部と、前記テキストサンプル編集部と、前記ビデオサンプル編集部からそれぞれのサンプルを取得して新たな映像ファイルを生成するファイル生成部とを有し、
上記テキストサンプル編集部は、切り出し区間の境界時刻に表示されるテキストサンプルの、少なくとも文字数と改行情報と表示時間と動的表示属性情報の何れかを参照して元の映像ファイルのテロップ表示を予測し、元の映像ファイルのテロップ表示と同様なテロップ表示になるように、前記テキストサンプルの文字数と表示時間と動的表示属性情報の少なくとも何れか一つを必要に応じて修正することを特徴とする映像編集装置。
【請求項２】
映像データと文字データとを少なくとも含む映像ファイルを編集するための映像編集装置において、ユーザが映像ファイルを切り出す区間を指定するための編集インタフェース部と、映像ファイルを解析するファイル解析部と、テロップデータを編集するテキストサンプル編集部と、映像データを編集するビデオサンプル編集部と、前記テキストサンプル編集部と、前記ビデオサンプル編集部からそれぞれのサンプルを取得して新たな映像ファイルを生成するファイル生成部とを有し、
上記テキストサンプル編集部は、切り出し区間の境界時刻に表示されるテキストサンプルを削除することを特徴とする映像編集装置。
【請求項３】
映像データと文字データとを少なくとも含む映像ファイルを編集するための映像編集装置において、ユーザが映像ファイルを切り出す区間を指定するための編集インタフェース部と、映像ファイルを解析するファイル解析部と、テロップデータを編集するテキストサンプル編集部と、映像データを編集するビデオサンプル編集部と、前記テキストサンプル編集部と、前記ビデオサンプル編集部からそれぞれのサンプルを取得して新たな映像ファイルを生成するファイル生成部とを有し、
上記テキストサンプル編集部は、全てのテキストサンプルを削除することを特徴とする映像編集装置。
【請求項４】
上記編集インタフェース部は、ユーザが編集モードを指定する手段を提供し、上記テキストサンプル編集部は、上記編集モードに応じてテキストサンプル編集することを特徴とする、請求項１乃至３の何れかに記載の映像編集装置。
【請求項５】
上記テキストサンプル編集部は、切り出し区間の境界時刻に表示されるテキストサンプルの、切り出し区間内の時間とテキストサンプル表示時間を基に、該テキストサンプルを新たな映像ファイルに含めるか削除するかを判定することを特徴とする請求項１乃至４の何れかに記載の映像編集装置。
【請求項６】
さらに上記映像ファイルをストリーミングパケットとして送出することを特徴とする請求項１記載の映像編集装置。
【請求項７】
さらに上記映像ファイルをストリーミングパケットとして送出することを特徴とする請求項２記載の映像編集装置。
【請求項８】
さらに上記映像ファイルをストリーミングパケットとして送出することを特徴とする請求項３記載の映像編集装置。
【請求項９】
上記メッセージ処理部は、クライアントからの編集モードを指定するメッセージを解釈する手段を提供し、上記テキストサンプル編集部は、上記編集モードに応じてテキストサンプル編集することを特徴とする、請求項６乃至８の何れかに記載の映像配信装置。
【請求項１０】
上記テキストサンプル編集部は、切り出し区間の境界時刻に表示されるテキストサンプルの、切り出し区間内の時間とテキストサンプル表示時間を基に、該テキストサンプルを新たな映像ファイルに含めるか削除するかを判定することを特徴とする請求項６乃至９の何れかに記載の映像配信装置。
【発明の詳細な説明】
【技術分野】  本発明は、映像編集装置に関するものであり、特にＭＰ４ファイル形式の映像ファイルにおけるテロップデータの編集に関するものである。
【背景技術】  近年の携帯端末の処理能力の進展に伴い、携帯端末では映像や音楽、音声、文字などの多様なメディアデータを含むコンテンツの作成、再生、編集、他携帯端末への転送などが可能となってきている。
携帯電話の通信方式やアプリケーションの国際標準を定める業界団体であるスリージーピーピー（３ＧＰＰ：Ｔｈｅ  ３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）では、携帯電話向けのコンテンツの蓄積や配信のためのファイルフォーマットとして、「ＭＰ４ファイルフォーマット」を採用している。ＭＰ４ファイルフォーマットは、アイエスオー／アイイーシー（ＩＳＯ／ＩＥＣ）１４４９６−１２で定められる蓄積用ファイルフォーマットであり、メディアデータ（以降、映像や音響、文字などの符号化表現データを総称してメディアデータと呼ぶことにする）の再生、交換、管理、編集を容易に行うことを目的に設計されている。
３ＧＰＰでは、上記ＭＰ４ファイルフォーマットによるテロップデータの方式を定義しており、３ＧＰＰ標準を実装する携帯端末は、個々のテロップデータを映像や音響フレームデータと同等に処理することが可能となってきている。
【発明の開示】
しかし上記従来の携帯端末において、ＭＰ４ファイル形式のテロップデータを含む映像ファイルから、その映像の一部を切り出して新たな映像ファイルを生成する場合、元のファイルと同じ表示でテロップデータを再現することができないという問題があった。
すなわちエムペグ（ＭＰＥＧ）など現在広く普及している映像符号化方式では、一般的にフレーム間の動き補償が行われており、その映像フレームの種類は、そのフレーム単独で復号が可能なフレーム内符号化画像（以降、Ｉフレーム）、フレーム間順方向予測符号化画像（以降、Ｂフレーム）、フレーム間双方向予測符号化画像（以降、Ｂフレーム）に大別される。このうちＰフレームとＢフレームとはそれ単独で復号を行うことができないため、映像ファイルの一部を切り出す場合、切り出しが区間の先頭は、Ｉフレームとなるのが一般的である。
個々の映像フレームの持続時間は通常は０．０３秒（３０ｆｐｓ）〜１秒（１ｆｐｓ）程度であるのに対し、１フレーム分のテロップデータ（以下、テロップフレーム）の持続時間は一般的に映像フレームの持続時間よりも長い。すなわちテロップ表示では、一連の文字列をスクロール表示させたり、カラオケのように動的にハイライト表示させたりするなど、長時間かけて長い文字列を表示することが多いためである。ニュース映像に付随するテロップなどでは１つのテロップフレームが数十秒間におよぶ場合も多い。よって映像データのＩフレームを先頭として、所望の時間の映像データまでを切り出した場合、その切り出し区間の境界時刻は各テロップフレームの境界の時刻とは一致せず、テロップフレームの持続時間の途中に切り出し区間境界が存在する場合が多い。
このとき、元々の映像ファイルに含まれるテロップが、同じ文字列が静止して表示されるようなテロップであれば、その境界時刻に対応するテロップフレームの持続時間を修正するだけで、新しく生成された映像ファイルでは元の映像ファイルと同じテロップ表示が実現できる。しかし元々の映像ファイルのテロップが、スクロールやカラオケなどのように動的に表示文字列が変化するような場合には、テロップフレームの持続時間を修正するだけでは、元々の映像ファイルと同じテロップ表示を新しく切り出された映像ファイルにおいて再現することができない。
近年、携帯電話により映像ファイルを電子メールで送信するサービスが提供されてきているが、通常は送信できる映像ファイルのサイズに上限がある。このためユーザが携帯電話上で作成した、テロップを含む映像ファイルの一部を切り出して他の携帯電話に電子メールで送信した場合、上で述べたように、送信される映像ファイルでは元のファイルと同じテロップ表示を実現することができない。
本発明の目的は、上記の事情を鑑みなされるものであり、映像ファイル、特にテロップ表示を含むＭＰ４ファイルから、所望の部分の映像を切り出して新たなＭＰ４ファイルを生成するような映像編集装置において、新しいＭＰ４ファイルにおいて、元のＭＰ４ファイルと同様なテロップ表示を実現するような映像編集装置を提供することである。
上記目的を達成するため、本発明の映像編集装置では、切り出し区間の境界時刻に対応するテロップフレームにスクロール表示やカラオケ表示などの動的な文字列表示があるかどうかを判定し、動的な文字列表示がある場合には、そのテロップフレームの時間情報や文字数を元に、表示される文字列の時間変化を予め計算し、これらの計算結果を元に、そのテロップフレームを修正することを特徴とする。
本特徴により、元の映像ファイルが、文字列の表示が動的に変化するようなテロップを含む場合であっても、新たに切り出す映像ファイルにおいて、元のファイルと同様なテロップ表示を行うことが可能となる。
本発明によれば、テロップ表示を含む映像ファイルの一部を切り出して、別の映像ファイルを生成するようなアプリケーションにおいて、新たな映像ファイルにおいて表示されるテロップ表示を元の映像ファイルのテロップ表示と同様にさせることが可能となる。このため映像切り出しを行ったユーザにとっては、ユーザが意図したようなテロップ表示を、新たな映像ファイルにおいて実現することが可能となる。
また本発明によれば、テロップ表示を含む映像ファイルの一部を切り出して、ネットワークを介して接続された他の映像受信再生装置に切り出した映像をストリーミング配信するようなアプリケーションにおいて、ストリーミング映像を受信し再生する映像受信再生装置において表示されるテロップ表示を元の映像ファイルのテロップ表示と同様にさせることが可能となる。このためテロップを含む映像をサーバにアップロードし、他の映像受信再生装置へ配信するユーザにとっては、ユーザが意図したようなテロップ表示を、映像配信先の映像受信再生装置において実現することが可能となる。
【図面の簡単な説明】  図１は、本発明の実施形態１による映像編集装置の構成を示すブロック図。
図２は、ＭＰ４ファイルの基本単位であるＢｏｘの構成を示すブロック図。
図３は、ＭＰ４ファイルのＭｅｄｉａＤａｔａＢｏｘ（ｍｄａｔ）の構成を示すブロック図。
図４は、ＭＰ４ファイルのＭｏｖｉｅＢｏｘ（ｍｏｏｖ）の構成を示すブロック図。
図５は、ＭＰ４ファイルのＴｅｘｔＴｒａｃｋのＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（ｓｔｓｄ）の構成を示すブロック図。
図６は、ＭＰ４ファイルのＴｅｘｔＴｒａｃｋのＴｒａｃｋＨｅａｄｅｒＢｏｘ（ｔｋｈｄ）の構成を示すブロック図。
図７は、ＭＰ４ファイルのＴｅｘｔＳａｍｐｌｅＢｏｘの構成を示すブロック図。
図８は、ＭＰ４ファイルのＴｅｘｔＳａｍｐｌｅＢｏｘにおけるＴｅｘｔＳａｍｐｌｅＭｏｄｉｆｉｅｒＢｏｘの種類を示すブロック図。
図９は、本発明の実施形態１による映像編集装置におけるＴｅｘｔＳａｍｐｌｅ編集部の処理を示すフローチャート。
図１０は、本発明の実施形態１による映像編集装置におけるスクロールアウトテロップの表示例を示す図。
図１１は、本発明の実施形態１による映像編集装置における動的ハイライトテロップの表示例を示す図。
図１２は、本発明の実施形態１による映像編集装置における２行のスクロールアウトテロップの表示例を示す図。
図１３は、本発明の実施形態１による映像編集装置である携帯端末の概観図。
図１４は、本発明の実施形態１による映像編集装置の、各種編集モードにおける編集処理の説明図。
図１５は、本発明の実施形態１による映像編集装置である携帯端末の、切り出し区間を指定するためのユーザインタフェース表示例を示す図。
図１６は、本発明の実施形態１による映像編集装置の、切り出し区間境界時刻のＴｅｘｔＳａｍｐｌｅに対する判定処理の説明図。
図１７は、本発明の実施形態１による映像編集装置の、ファイル切り出し処理を示すフローチャート。
図１８は、本発明の実施形態１による映像編集装置の、Ｓａｍｐｌｅ編集処理を示すフローチャート。
図１９は、本発明の実施形態１による映像編集装置の、「境界テロップ削除モード」時のＴｅｘｔＳａｍｐｌｅ編集処理を示すフローチャート。
図２０は、本発明の実施形態１による映像編集装置の、「動的属性削除モード」時のＴｅｘｔＳａｍｐｌｅ編集処理を示すフローチャート。
図２１は、本発明の実施形態１による映像編集装置の、「Ｔｅｘｔ編集モード」時のＴｅｘｔＳａｍｐｌｅ編集処理を示すフローチャート。
図２２は、本発明の本実施形態２による映像配信装置の構成を示すブロック図。
図２３は、本発明の本実施形態２による映像配信装置であるストリーミングサーバとストリーミングクライアントとの間で行われるプロトコルシーケンスの一例を示す図。
図２４は、本発明の本実施形態２による映像配信装置が生成するＴｅｘｔＳａｍｐｌｅのＲＴＰパケット形式の一例を示す図。
図２５は、本発明の本実施形態２による映像配信装置であるストリーミングサーバとストリーミングクライアントからなるシステムの一例を示す図。
図２６は、本発明の実施形態２による映像配信装置の、Ｓａｍｐｌｅ編集処理を示すフローチャート。
【発明を実施するための最良の形態】  以下、図面を参照して本発明の実施形態について説明する。
図２から図８を用いて、３ＧＰＰで採用されている基本的なＭＰ４ファイルの構成を説明する。以降の説明では、ＭＰ４ファイル内に、映像、音響、文字（テロップ）の３種類のメディアデータが格納されている例について述べる。ただし、本発明はＭＰ４ファイルのみならず、映像メディアデータとテロップメディアデータ、およびこれらのメディアデータの表示時間情報を保持する、あらゆるファイルフォーマットに適用可能である。尚、以降のサーバ及び端末装置の処理はハード構成による実現方法の他、以降の処理を実行させるためのプログラムを読み込むこと、又はハードとソフトウェア処理の協調動作によっても実現可能であることはいうまでもない。
図２は、ＭＰ４ファイルを構成する基本単位である「Ｂｏｘ」の構成を示す図である。個々のＢｏｘは図２に示すように、自身のＢｏｘのサイズ（バイト数）を示すｓｉｚｅフィールド２０１、Ｂｏｘの種類を４個の文字列により識別するｔｙｐｅフィールド２０２、及びＢｏｘの実際のデータを格納するｄａｔａフィールド２０３から構成される。ｄａｔａフィールドには他のＢｏｘが格納されてもよい。このようなＢｏｘの階層構造により、一つのＭＰ４ファイルが構成される。
図３を用いて、ＭＰ４ファイルのメディアデータの構成を説明する。図３（Ａ）に、１つのメタデータと１つのメディアデータから構成されるＭＰ４ファイル３０２の構成を示す。ここでメタデータとは、メディアデータをデコード、再生するために必要な情報を格納するデータを意味している。図３（Ａ）において、ＭｏｖｉｅＢｏｘ（以下、ｍｏｏｖ）３００は、メタデータ全体を格納するＢｏｘである。またＭｅｄｉａＤａｔａＢｏｘ（以下、ｍｄａｔ）３０１は、メディアデータ全体を格納するＢｏｘである。
図３（Ｂ）はｍｄａｔ内部の構成を示す図である。ｍｄａｔ内部は「チャンク（ｃｈｕｎｋ）」と呼ばれるデータ単位の連続で構成される。図３ではＡｕｄｉｏ  Ｃｈｕｎｋ（１）、Ｖｉｄｅｏ  Ｃｈｕｎｋ（１）、Ｔｅｘｔ  Ｃｈｕｎｋ（１）、Ａｕｄｉｏ  Ｃｈｕｎｋ（２）、Ｖｉｄｅｏ  Ｃｈｕｎｋ（２）、Ｔｅｘｔ  Ｃｈｕｎｋ（２）、という順序で、異なるメディア形式のチャンクが交互に配置された構成の例を示している。ｍｄａｔ内のチャンクの順序や、チャンク数はＭＰ４ファイルフォーマットでは規定されない。
図３（Ｃ）は個々のチャンク内部の構成を示す図である。個々のチャンクは、同じメディアの種類の「Ｓａｍｐｌｅ（ｓａｍｐｌｅ）」の連続として構成される。ここでＳａｍｐｌｅとは、分割可能な最小符号化データ単位であり、映像や音響データの１フレームに相当するデータ単位を表す。文字データについては、１Ｓａｍｐｌｅはテロップ文字列と、文字装飾属性、動作属性（スクロールや動的ハイライト（カラオケ））情報をまとめたデータ単位を表す。テロップデータのＳａｍｐｌｅ形式については後述する。図３（Ｃ）では、Ａｕｄｉｏ  Ｃｈｕｎｋ（１）は、Ａｕｄｉｏ  Ｓａｍｐｌｅ（１）からＡｕｄｉｏ  Ｓａｍｐｌｅ（Ａ１）までの連続として構成された例を示している。同様に、Ｖｉｄｅｏ  Ｃｈｕｎｋ（１）は、Ｖｉｄｅｏ  Ｓａｍｐｌｅ（１）からＶｉｄｅｏ  Ｓａｍｐｌｅ（Ｖ１）までの連続として構成された例を、Ｔｅｘｔ  Ｃｈｕｎｋ（１）はＴｅｘｔＳａｍｐｌｅ（１）からＴｅｘｔＳａｍｐｌｅ（Ｔ１）までの連続として構成されている。ＭＰ４ファイルフォーマットでは個々のチャンク内のＳａｍｐｌｅ数に規定はない。
ｍｏｏｖ３００内部の構成を図４に示す。ただし図４中示されているＢｏｘは、ＭＰ４ファイルフォーマットにおいて必須と定められるＢｏｘのみであり、その他のＢｏｘもオプショナルとして格納できる場合がある。ｍｏｏｖ３００は、ヘッダ情報であるＭｏｖｉｅＨｅａｄｅｒＢｏｘ（以下ｍｖｈｄ）と、複数のＴｒａｃｋＢｏｘ（以下ｔｒａｋ）から構成される。ここでｔｒａｋとは、ＭＰ４ファイルのシーンを構成する各メディアに関する情報を格納するＢｏｘである。図４では、ｍｏｏｖ３００は音響データのＴｒａｃｋＢｏｘ（以下ｔｒａｋ）と、映像データのｔｒａｋと、文字データのｔｒａｋとから構成される。図４に示すように各ｔｒａｋ内には多数のＢｏｘによる階層構造が形成されている。以下では本発明に関連するＢｏｘとして、文字データのｔｒａｋに含まれるＴｒａｃｋＨｅａｄｅｒＢｏｘ（以下ｔｋｈｄ）４００、及びＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（以下ｓｔｓｄ）の構成を簡単に説明する。その他のＢｏｘの詳細は、ＩＳＯ／ＩＥＣ  １４４９６−１２を参照されたい。
ｔｋｈｄ４００の詳細を図６に示す。ｔｋｈｄ４００は各ｔｒａｋの基本情報を格納するＢｏｘであり、文字データのｔｒａｋ内のｔｋｈｄ４００には、図６（Ａ）に示すように、ｌａｙｅｒ情報６００、ＴｅｘｔＴｒａｃｋ領域原点情報６０１、およびＴｅｘｔＴｒａｃｋ領域サイズ情報６０２が格納されている。なお図６（Ａ）では、ｔｋｈｄ４００内のその他の情報に関しては省略されている。ｔｋｈｄ４００は前記ｔｒａｋにそれぞれ一つだけ存在する必須Ｂｏｘである。
図６（Ｂ）は、上記のｌａｙｅｒ情報６００、ＴｅｘｔＴｒａｃｋ領域原点情報６０１、およびＴｅｘｔＴｒａｃｋ領域サイズ情報６０２の概要を示す図である。描画領域６０４は、例えば図１３に示すような携帯電話１３００において、動画像や静止画像、文字等を描画可能な領域である。描画領域６０４には、動画像が描画されるＶｉｄｅｏＴｒａｃｋ領域６０５と、テロップ文字が表示されるＴｅｘｔＴｒａｃｋ領域６０６とが存在する。それぞれの領域はｌａｙｅｒ情報６００によりレイヤ化されており、携帯電話１３００の画面から視聴者への向きに対して小さいレイヤ値をとる。
ＴｅｘｔＴｒａｃｋ領域原点情報６０１は、ＴｅｘｔＴｒａｃｋ領域６０６の上端ならびに左端位置（ｔｘ、ｔｙ）により指定される。ｔｘとｔｙはＶｉｄｅｏＴｒａｃｋ領域の原点からのオフセットである。ＴｅｘｔＴｒａｃｋ領域サイズ情報６０２は、ＴｅｘｔＴｒａｃｋ領域６０６の幅と高さ（ｗｉｄｔｈ、ｈｅｉｇｈｔ）で指定される。
ＴｅｘｔＢｏｘ６０７は、ＴｅｘｔＴｒａｃｋ領域６０６内部においてテロップ文字列が表示される領域である。表示される文字列がＴｅｘｔＢｏｘ６０７で表示できる文字数よりも多い場合には、その文字列はＴｅｘｔＢｏｘ６０７の範囲でクリップされる。ＴｅｘｔＢｏｘ６０７は、後述するｓｔｓｄ４０１において指定される。
ｓｔｓｄ４０１の詳細を図５に示す。ｓｔｓｄ４０１は各トラックのメディアの基本情報を格納するＢｏｘである。ｓｔｓｄ４０１内の構成は各メディアに依存する。図５では、ＴｅｘｔＴｒａｃｋにおけるｓｔｓｄ４０１の詳細を示している。ただし本発明に関連のない情報に関しては省略されている。ｓｔｓｄ４０１は、複数のＴｅｘｔＳａｍｐｌｅＥｎｔｒｙＢｏｘ（以下、ｔｘ３ｇ）で構成され、ｔｘ３ｇの数はｓｔｓｄ４０１内のｅｎｔｒｙ＿ｃｏｕｎｔ５０６で与えられる。ｔｘ３ｇは、表示属性情報５００、水平配置情報５０１、垂直は位置情報５０２、デフォルトＴｅｘｔＢｏｘ情報５０３、デフォルトＴｅｘｔＳｔｙｌｅ情報５０４、フォントリスト情報５０５とから構成される。
表示属性情報５００では、スクロールイン（Ｓｃｒｏｌｌ  Ｉｎ）、スクロールアウト（Ｓｃｒｏｌｌ  Ｏｕｔ）、スクロール方向（Ｓｃｒｏｌｌ  ｄｉｒｅｃｔｉｏｎ）、カラオケフラグ（ｃｏｎｔｉｎｕｏｕｓ  ｋａｒａｏｋｅ）、垂直文字列フラグ（ｗｒｉｔｅ＿ｔｅｘｔ＿ｖｅｒｔｉｃａｌｌｙ）が同時に指定される。スクロールインが指定された場合、最初に文字列は表示されずにＴｅｘｔＢｏｘの外に存在し、その後指定された方向でＴｅｘｔＢｏｘに文字が進入し、通常位置になるまで文字列がスクロールされる。スクロールアウトが指定された場合、文字列は通常表示位置から指定された方向へスクロールを開始し、文字列が全てＴｅｘｔＢｏｘの外へ出るまで行われる。なお、スクロールインとスクロールアウトを同時に指定することも可能である。この場合、文字列は最初表示されず、その後文字列がＴｅｘｔＢｏｘ６０７にスクロールインし、その後文字列が全てＴｅｘｔＢｏｘ６０７の外へ出るまでスクロールアウトが行われる。
カラオケフラグは、カラオケ表示に関する２つの動作を指定する。カラオケフラグとカラオケ表示については後述する。垂直文字列フラグは、文字列の方向に関する指定であり、同フラグがＯＮである場合には文字列は垂直方向（上から下）に表示され、ＯＦＦである場合には文字列は水平方向に表示される。
図５における水平配置情報５０１では、文字列のＴｅｘｔＢｏｘにおける左寄せ・中央寄せ・右寄せのいずれかが指定される。図５における垂直配置情報５０２では、文字列のＴｅｘｔＢｏｘにおける上寄せ・中央寄せ・下寄せのいずれかが指定される。図５におけるデフォルトＴｅｘｔＢｏｘ情報５０３は、ＴｅｘｔＴｒａｃｋ領域６０６におけるＴｅｘｔＢｏｘ６０７の４隅の点（ｌｅｆｔ、ｔｏｐ、ｒｉｇｈｔ、ｂｏｔｔｏｍ）の座標を指定する。同座標は上述のｔｋｈｄ４００のＴｅｘｔＴｒａｃｋ領域原点６０１を原点として指定される。文字列はＴｅｘｔＢｏｘ６０７の範囲内でクリッピングされる。図５におけるデフォルトＴｅｘｔＳｔｙｌｅ情報５０４では、図８（Ａ）で示すＴｅｘｔＳｔｙｌｅ情報の形式により、文字列の装飾に関する情報が指定される。ＴｅｘｔＳｔｙｌｅ情報については後述する。図５におけるフォントリスト情報５０５では、文字列の表示に使用される複数のフォントをリストで指定する。前述のＴｅｘｔＳｔｙｌｅ情報では、このフォントリスト内の中のいずれかのフォントを、ｆｏｎｔＩＤ（図８（Ａ）参照）により参照することができる。ｓｔｓｄ４０１には、上述のようなｔｘ３ｇを複数格納できる。ｓｔｓｄ４０１内の複数のｔｘ３ｇは、各ＴｅｘｔＳａｍｐｌｅ毎に関連付けることができる。すなわち、ＴｅｘｔＳａｍｐｌｅ毎に上述のｔｘ３ｇによる文字列の表示属性を変更することが可能である。
次に、図７を用いてＴｅｘｔＳａｍｐｌｅ７００の詳細を説明する。図３の説明で述べたように、ＴｅｘｔＳａｍｐｌｅは、ＭＰ４ファイルにおけるｍｄａｔ３０１内に存在する、テロップデータを構成するＳａｍｐｌｅであり、ｍｏｏｖ３００内の情報から各ＴｅｘｔＳａｍｐｌｅのファイルオフセット値やデータサイズ、表示時刻、表示時間を取得することが可能である。図７に、ＴｅｘｔＳａｍｐｌｅ７００の構成を示す。ＴｅｘｔＳａｍｐｌｅ７００は、文字数（ｔｅｘｔ＿ｌｅｎｇｔｈ）７０１、文字列（ｔｅｘｔ［ｔｅｘｔ＿ｌｅｎｇｔｈ］）７０２、及び０個以上のＴｅｘｔＳａｍｐｌｅＭｏｄｉｆｉｅｒＢｏｘ７０３とで構成される。文字列７０２は、文字列数７０１で指定されるバイト数の文字列データであり、ＴｅｘｔＳａｍｐｌｅで表示される文字列が格納される。ＴｅｘｔＳａｍｐｌｅＭｏｄｉｆｉｅｒＢｏｘ７０３は、文字列の属性情報をＳａｍｐｌｅ毎に指定するためのＢｏｘ形式（図２参照）のデータであり、図８（Ａ）〜（Ｇ）で示すＢｏｘの中の複数を、ＴｅｘｔＳａｍｐｌｅＭｏｄｉｆｉｅｒＢｏｘとして指定することが可能である。ただし同一のＢｏｘが単一のＴｅｘｔＳａｍｐｌｅ７００に複数個存在してはならない。ＴｅｘｔＳａｍｐｌｅＭｏｄｉｆｉｅｒＢｏｘ７０３は前述のｓｔｓｄ４０１で指定されたデフォルトの属性情報を上書きする機能を持つ。
図８（Ａ）に、ＴｅｘｔｓｔｙｌｅＢｏｘ（以下、ｓｔｙｌ）の構成を示す。ｓｔｙｌは文字列の装飾に関する情報を記述するためのＢｏｘである。同図で示すように、ｓｔｙｌは複数のＴｅｘｔＳｔｙｌｅ情報で構成される。個々のＴｅｘｔＳｔｙｌｅ情報において、ｓｔａｒｔＣｈａｒとｅｎｄＣｈａｒでは、装飾情報の対象となる文字列の範囲が指定される。ｆｏｎｔＩＤは、文字列を表示するためのフォントを指定するインデックスであり、前述のフォントリスト情報５０５（図５参照）に記述される複数のフォントのいずれかを指定する。ｔｅｘｔｃｏｌｏｒＲＧＢＡでは、前述のように指定された範囲の文字列の表示色を指定する。
図８（Ｂ）に、ＴｅｘｔＨｉｇｈｌｉｇｈｔＢｏｘ（以下、ｈｌｉｔ）の構成を示す。ｈｌｉｔはハイライト表示される文字列範囲を指定する。同図で示すようにｈｌｉｔはｓｔａｒｔＣｈａｒＯｆｆｓｅｔとｅｎｄＣｈａｒＯｆｆｓｅｔとで構成され、それぞれハイライト開始位置とハイライト解除位置とを指定する。例えばｓｔａｒｔＣｈａｒＯｆｆｓｅｔ＝６、ｅｎｄＣｈａｒＯｆｆｓｅｔ＝２０と指定された場合には、６番目から１９番目までの文字列がハイライト表示される。
図８（Ｃ）にＴｅｘｔＨｉｇｈｌｉｇｈｔＣｏｌｏｒＢｏｘ（以下、ｈｃｌｒ）の構成を示す。ｈｃｌｒは前述のＴｅｘｔＨｉｇｈｌｉｇｈｔＢｏｘと、後述するＴｅｘｔＫａｒａｏｋｅＢｏｘがＴｅｘｔＳａｍｐｌｅ７００に存在する場合に使用されるＢｏｘであり、ハイライト表示色を指定する。
図８（Ｄ）にＴｅｘｔＫａｒａｏｋｅＢｏｘ（以下、ｋｒｏｋ）の構成を示す。ｋｒｏｋはカラオケのように、ハイライト表示範囲を動的に変更するために用いられるＢｏｘである。同図で示すように、ｋｒｏｋはハイライト表示開始時刻（ｈｉｇｈｌｉｇｈｔＳｔａｒｔＴｉｍｅ）と、複数個のＨｉｇｈｌｉｇｈｔ  Ｅｖｅｎｔ情報から構成される。各々のＨｉｇｈｌｉｇｈｔ  Ｅｖｅｎｔ情報には、ハイライト解除時刻（ｈｉｇｈｌｉｇｈｔＥｎｄＴｉｍｅ）、ハイライト表示開始位置（ｓｔａｒｔＣｈａｒＯｆｆｓｅｔ）、及びハイライト表示解除位置（ｅｎｄＣｈａｒＯｆｆｓｅｔ）とから構成される。先頭のＨｉｇｈｌｉｇｈｔ  Ｅｖｅｎｔ情報であれば前述のハイライト表示開始時刻から、ハイライト解除時刻までの時間、ハイライト表示を行う。２つ目以降のＨｉｇｈｌｉｇｈｔ  Ｅｖｅｎｔ情報であれば、直前のＨｉｇｈｌｉｇｈｔ  Ｅｖｅｎｔ情報で指定されるハイライト解除時刻から、現在のＨｉｇｈｌｉｇｈｔ  Ｅｖｅｎｔ情報のハイライト解除時刻までの間、ハイライト表示を行う。ハイライト表示開始位置とハイライト表示解除位置については、前述のｈｌｉｔと同様である。すなわちカラオケ表示では、最初にｈｉｇｈｌｉｇｈｔＳｔａｒｔＴｉｍｅまでの間、文字列が通常位置で表示される。その後、上述の各Ｈｉｇｈｌｉｇｈｔ  ＥＶｅｎｔ情報によって指定される文字列範囲を、指定される時間までハイライト表示する。このＨｉｇｈｌｉｇｈｔＥｖｅｎｔが次々に実行されることで、動的にハイライト表示が更新されカラオケ表示が実現される。
図５の表示属性５００におけるカラオケフラグ（ｃｏｎｔｉｎｕｏｕｓ  ｋａｒａｏｋｅ）は、上述のカラオケ表示に関する２つの動作を指定する。すなわちカラオケフラグがＯＦＦの場合は、上述のＨｉｇｈｌｉｇｈｔ  Ｅｖｅｎｔ情報のｓｔａｒｔＣｈａｒＯｆｆｓｅｔで指定される位置の文字列から、ｅｎｄＣｈａｒＯｆｆｓｅｔで指定される位置の文字列までがハイライト表示される。カラオケフラグがＯＮとなった場合、前述のｓｔａｒｔＣｈａｒＯｆｆｓｅｔが無視され、文字列の先頭から、ｅｎｄＣｈａｒＯｆｆｓｅｔで指定される文字までがハイライト表示される。ただし通常はカラオケ表示においては、スクロール表示は行わないものとする。
図８（Ｅ）にＴｅｘｔＢｌｉｎｋＢｏｘ（以下、ｂｌｎｋ）の構成を示す。ｂｌｎｋは設定範囲の文字列を点滅させるために用いられるＢｏｘである。同図で示すように、点滅開始位置（ｓｔａｒｔＣｈａｒＯｆｆｓｅｔ）と、点滅解除位置（ｅｎｄＣｈａｒＯｆｆｓｅｔ）によって点滅させる文字列の範囲が指定される。
図８（Ｆ）にＴｅｘｔＢｏｘ（以下、ｔｂｏｘ）の構成を示す。ｔｂｏｘは前述のｓｔｓｄ４０１におけるデフォルトＴｅｘｔＢｏｘ情報５０３で設定されるＴｅｘｔＢｏｘ領域情報のデフォルト値を上書き変更するためのＢｏｘであり、ＴｅｘｔＢｏｘ領域の４隅の点（ｌｅｆｔ、ｔｏｐ、ｒｉｇｈｔ、ｂｏｔｔｏｍ）の座標が指定される。この座標の原点は、図６（Ｂ）の説明で述べたように、ＴｅｘｔＴｒａｃｋ領域６０６の原点を基準点とする。
図８（Ｇ）にＴｅｘｔＳｃｒｏｌｌＤｅｌａｙＢｏｘ（以下、ｄｌａｙ）の構成を示す。ｄｌａｙではスクロールイン後の遅延時間、又はスクロールアウト前の遅延時間が指定される。例えば前述のｓｔｓｄ４０１の表示属性情報５００において、スクロールインとスクロールアウトが同時に指定されており、かつこのＴｅｘｔＳａｍｐｌｅ７００の持続時間が１０秒であり、ｄｌａｙで指定される遅延時間が２秒の場合、ＴｅｘｔＳａｍｐｌｅ７００の文字列は４秒間でスクロールインが完了し、その状態で２秒間通常表示された後、４秒間で全文字列はスクロールアウトされる。
図１は、本実施形態１による映像編集装置である携帯端末１００の構成を示すブロック図である。本実施形態１の携帯端末１００は、上に述べたようなＭＰ４ファイル形式で蓄積された、テロップ表示を含む映像ファイルの一部を切り出し、元のファイルと同様なテロップ表示を含む新たな映像ファイルを生成する機能を備えるものである。本実施形態１の携帯端末１００は、編集インタフェース部１０１、ファイル解析部１０２、ファイル蓄積部１０３、ＴｅｘｔＳａｍｐｌｅ編集部１０４、ＶｉｄｅｏＳａｍｐｌｅ編集部１０５、ＡｕｄｉｏＳａｍｐｌｅ編集部１０６、およびファイル生成部１０７とから構成される。
図１７は、本実施形態１による映像編集装置である携帯端末１００におけるファイル切り出し処理の流れを示す図である。以下、図を用いて携帯端末１００における各処理部の詳細を述べる。
図１７を用いて、携帯端末１００におけるファイル切り出し処理の流れを説明する。携帯端末１００がファイル切り出し処理を開始する（Ｓ１７００）と、ユーザはまず編集インタフェース部１０１が提示するインタフェースを介して、切り出し元となる映像ファイル３０２のファイル名１４０を指定する（Ｓ１７０１）。指定された切り出し元映像ファイル名１４０は、ファイル解析部１０２へ渡される。もしも指定したファイル名のファイルがファイル蓄積部１０３に存在しない場合には、ファイルが存在しない旨のメッセージをファイル基本情報１２１として編集インタフェース部１０１へ渡し、ファイル切り出し処理を終了する。もしも指定したファイル名のファイルがファイル蓄積部１０３に存在する場合にはファイル解析部１０２は、前述のように編集インタフェース部１０１において指定された映像ファイル３０２に格納されるｍｏｏｖ３００をファイル蓄積部１０３から取得する（Ｓ１７０２）。ファイル解析部１０２はｍｏｏｖ３００の解析を行い、ファイル基本情報１２１、及びｍｄａｔ３０１に格納される各Ｓａｍｐｌｅ（図３（Ｃ）参照）にアクセスするための全Ｓａｍｐｌｅ情報（１１０、１１１、１１２）を取得する（Ｓ１７０２）。ｍｏｏｖ３００の詳細はＩＳＯ／ＩＥＣ１４４９６−１２を参照されたい。
ｍｏｏｖ３００を解析することで得られるファイル基本情報１２１には少なくとも、映像ファイル３０２のトータル時間と、ランダムアクセス時刻情報、および映像ファイル３０２内に格納される各々のメディア情報が含まれる。ファイル基本情報１２１のうち、ランダムアクセス時刻情報に関しては、既に述べたようにＶｉｄｅｏのＩフレームが存在する時刻をランダムアクセス時刻と設定することが一般的である。またファイル基本情報１２１のメディア情報としては、メディアタイプや平均ビットレート、符号化方式の情報などが挙げられる。
ｍｏｏｖ３００を解析することで得られる全Ｓａｍｐｌｅ情報は、映像ファイル３０２の各Ｔｒａｃｋ（本実施形態１では、Ｔｅｘｔ、Ａｕｄｉｏ、およびＶｉｄｅｏの３Ｔｒａｃｋが存在する）に存在する全てのＳａｍｐｌｅに対するＳａｍｐｌｅ情報を持つ。各Ｓａｍｐｌｅ情報には少なくとも、Ｓａｍｐｌｅのメディアタイプ（ＴｅｘｔかＶｉｄｅｏかＡｕｄｉｏかを示す）、Ｓａｍｐｌｅの再生時刻、Ｓａｍｐｌｅの持続時間、Ｓａｍｐｌｅのサイズ（バイト数）、およびＳａｍｐｌｅのファイルオフセット値（ファイル先頭からＳａｍｐｌｅ先頭位置までのバイト数）が含まれる。
ファイル解析部１０２は、上述のｍｏｏｖ３００の解析により、映像ファイル３０２のファイル基本情報１２１を取得すると、これを編集インタフェース部１０１へ渡す。編集インタフェース部１０１は、ファイル基本情報１２１をファイル解析部１０２から受け取ると、この情報を適切なインタフェースによりユーザへ提示する（Ｓ１７０９）。ユーザは提示されたファイル基本情報１２１を基に映像ファイル３０２の中からどの部分を切り出して新しい映像ファイルを生成するかを決定する。既に述べたように、切り出すことのできる区間の先頭の映像フレームはＩフレームである必要がある。このためユーザは切り出し区間の先頭の時刻は前述のランダムアクセス時刻の中から選択する必要がある。このように、ユーザは編集インタフェース部１０１が提示するファイル基本情報１２１を基に、編集インタフェース部１０１に対し、新しく生成する映像ファイル名１２０と切り出し区間情報１０９とを指定する（Ｓ１７０３）。
図１５に、ユーザが切り出し区間情報１０９を指定するためのインタフェースの例を示す。携帯電話の描画領域６０４内の上部に、ファイル全体長を表すバー１５０３と、同バーでファイル内の切り出し区間の開始位置と終了位置を指定するスライダーとが表示されている。ユーザは携帯電話のボタン押下により、上記スライダーの位置を調整することでファイル切り出し区間を指定する。この際、開始位置を指定するスライダーは映像フレームのＩフレームの位置のみへ移動できるようにする。終了位置を指定するスライダーは任意の映像フレーム位置へ移動できる。また描画領域１５０１には、ユーザが移動させるスライダー位置に相当するフレームの画像と、推定されるテロップ文字列が表示される。テロップ表示の推定方法については図９のＴｅｘｔＳａｍｐｌｅ編集の説明において後述する。ユーザは描画領域１５０１を確認しながらスライダー位置を調整することで、所望の切り出し区間を容易に指定することができる。また図１５で示すインタフェースでは、映像ファイル３０２の切り出し前のコンテンツ時間と、ユーザが指定した切り出し区間のコンテンツ時間と、トラック構成に関する情報がファイル情報表示領域１５０２に表示される。トラック構成に関する情報はファイル切り出しとは直接関与しないが、基本的なコンテンツ情報として、ユーザに提示されることが望ましい。
上述のように、ユーザにより指定されたファイル切り出し区間情報１４１は、編集インタフェース部１０１からファイル解析部１０２へ渡される。ファイル解析部１０２は、ユーザが指定するファイル切り出し区間１４１と、自身が持つ全トラックのランダムアクセス時刻情報とを元に、ファイル切り出し区間１０９を決定する。この決定方法の一例としては、ユーザが指定するファイル切り出し区間１４１の開始時刻に最も近い映像トラックのランダムアクセス位置を、ファイル切り出し区間１０９の開始時刻に決定する方法がある。ファイル解析部１０２は、決定したファイル切り出し区間１０９を編集インタフェース部１０１へ渡す。編集インタフェース部１０１は、決定されたファイル切り出し区間１０９をユーザへ提示するとともに、ＴｅｘｔＳａｍｐｌｅ編集部１０４へと渡す。またユーザにより指定された新しい映像ファイル名１２０は、ファイル生成部１０７へ渡される。
ファイル解析部１０２は、前述の全Ｓａｍｐｌｅ情報（１１０、１１１、１１２）を基にファイル切り出し区間１０９内に存在するＳａｍｐｌｅの探索を開始する。すなわちファイル解析部１０２は、全Ｓａｍｐｌｅ情報の中で、未探索のＳａｍｐｌｅ情報が存在するかどうかを判定し（Ｓ１７０４）、存在する場合には全トラックのうちで再生時刻が最小であるＳａｍｐｌｅ情報を取得する（Ｓ１７０５）。Ｓ１７０４で未探索のＳａｍｐｌｅ情報が存在しない場合には、ファイル解析部１０２はファイル切り出し処理を終了する（Ｓ１７０８）。ファイル解析部１０２はＳ１７０６において、Ｓ１７０５で取得されたＳａｍｐｌｅ情報が示すＳａｍｐｌｅが、ファイル切り出し区間１０９内に存在するかどうかを判定する。Ｓ１７０６において、取得したＳａｍｐｌｅ情報が示すＳａｍｐｌｅがファイル切り出し区間１０９内に存在しない場合には、ファイル解析部１０２はＳ１７０４の処理に戻る。Ｓ１７０６において、取得したＳａｍｐｌｅ情報が示すＳａｍｐｌｅがファイル切り出し区間１０９内に存在する場合には、ファイル解析部１０２はそのＳａｍｐｌｅ情報（１１０、１１１、１１２）を、Ｓａｍｐｌｅの種別に応じたＳａｍｐｌｅ編集部へ渡す。すなわちＳａｍｐｌｅ情報が示すＳａｍｐｌｅがＶｉｄｅｏＳａｍｐｌｅであれば、Ｓａｍｐｌｅ情報１１１をＶｉｄｅｏＳａｍｐｌｅ編集部１０５へ渡す。Ｓａｍｐｌｅ情報が示すＳａｍｐｌｅがＡｕｄｉｏＳａｍｐｌｅであれば、Ｓａｍｐｌｅ情報１１２をＡｕｄｉｏＳａｍｐｌｅ編集部１０６へ渡す。またＳａｍｐｌｅ情報が示すＳａｍｐｌｅがＴｅｘｔＳａｍｐｌｅであれば、Ｓａｍｐｌｅ情報１１０をＴｅｘｔＳａｍｐｌｅ編集部１０４へ渡す。各Ｓａｍｐｌｅ編集部は、そのＳａｍｐｌｅに対してＳａｍｐｌｅ編集処理（Ｓ１７０７）を適用する。
ファイル解析部１０２は、上述のようにＳａｍｐｌｅ情報を各Ｓａｍｐｌｅ編集部へ渡すと、Ｓ１７０４の処理に戻る。以上に述べたＳ１７０４からＳ１７０７までの処理を、全てのＳａｍｐｌｅ情報を探索するまで繰り返し行う。
次に、上で述べたＳａｍｌｅ編集処理（Ｓ１７０７）について述べる。Ｓａｍｐｌｅ編集処理は（Ｓ１７０７）、図１における各Ｓａｍｐｌｅ編集部（ＴｅｘｔＳａｍｐｌｅ編集部１０４、ＶｉｄｅｏＳａｍｐｌｅ編集部１０５、およびＡｕｄｉｏＳａｍｐｌｅ編集部１０６）において行われる。Ｓａｍｐｌｅ編集処理（Ｓ１７０７）では、図１７のＳ１７０６において、取得したＳａｍｐｌｅ情報が示すＳａｍｐｌｅがファイル切り出し区間１０９内に存在する場合に、そのＳａｍｐｌｅを必要に応じて編集し、ファイル生成部１０７へ渡す処理を行う。Ｓａｍｐｌｅ編集処理Ｓ１７０６の流れを図１８に示す。ＴｅｘｔＳａｍｐｌｅ編集部１０４、ＶｉｄｅｏＳａｍｐｌｅ編集部１０５、およびＡｕｄｉｏＳａｍｐｌｅ編集部１０６は、ファイル解析部１０２からＳａｍｐｌｅ情報を受け取る（Ｓ１８０１）。そしてＳａｍｐｌｅ情報が示すＳａｍｐｌｅがＴｅｘｔＳａｍｐｌｅでない場合（Ｓ１８０２）、すなわちＶｉｄｅｏＳａｍｐｌｅ編集部１０５とＡｕｄｉｏＳａｍｐｌｅ編集部１０６は、Ｓａｍｐｌｅ情報を基に、ファイル蓄積部１０３から実際のＳａｍｐｌｅデータ（図１の１１４、１１５）を取得し（Ｓ１８０３）、このＳａｍｐｌｅデータを、Ｓａｍｐｌｅ情報とともにファイル生成部１０７へ渡し（Ｓ１８０６）、Ｓａｍｐｌｅ編集処理を終了する（Ｓ１８０７）。すなわち本実施形態１においては、ファイル切り出し区間１０９内にあるＶｉｄｅｏＳａｍｐｌｅとＡｕｄｉｏＳａｍｐｌｅは、そのままファイル生成部１０７へ渡される。
一方、Ｓ１８０２において、Ｓａｍｐｌｅ情報が示すＳａｍｐｌｅがＴｅｘｔＳａｍｐｌｅである場合、すなわちＴｅｘｔＳａｍｐｌｅ編集部１０４は、後述するＴｅｘｔＳａｍｐｌｅ編集処理を行い（Ｓ１８０４）、その結果、そのＴｅｘｔＳａｍｐｌｅ情報が削除されたかどうかを判定する（Ｓ１８０５）。Ｓ１８０５においてＴｅｘｔＳａｍｐｌｅ情報が削除された場合、ＴｅｘｔＳａｍｐｌｅ編集部１０４はＳａｍｐｌｅ編集処理を終了する（Ｓ１８０７）。Ｓ１８０５においてＴｅｘｔＳａｍｐｌｅ情報が削除されない場合、ＴｅｘｔＳａｍｐｌｅ編集部１０４はこのＴｅｘｔＳａｍｐｌｅ情報とともに、編集されたＴｅｘｔＳａｍｐｌｅデータをファイル生成部１０７へ渡し（Ｓ１８０６）、Ｓａｍｐｌｅ編集処理を終了する（Ｓ１８０７）。
次に、上で述べたＴｅｘｔＳａｍｐｌｅ編集処理（Ｓ１８０４）の詳細を説明する。前述のように、ＴｅｘｔＳａｍｐｌｅ編集部１０４は、ユーザが指定する切り出し区間内のＴｅｘｔＳａｍｐｌｅの編集を行う。本実施形態１の携帯端末１００では、ＴｅｘｔＳａｍｐｌｅ編集処理（Ｓ１８０４）は複数の編集モードを持ち、いずれかの編集モードで動作する。この編集モードは携帯端末１００に予めデフォルト値が指定されているか、もしくは前述の編集インタフェース部１０１によりユーザに複数の編集モードのオプションが提示され、ユーザが指定した編集モードを設定することで、ＴｅｘｔＳａｍｐｌｅ編集部１０４に予め編集モードが設定されているものとする。
図１４を用いて、上述の編集モードについて説明する。図１４（Ａ）は元の映像ファイル３０２のＶｉｄｅｏＴｒａｃｋとＴｅｘｔＴｒａｃｋにおけるＳａｍｐｌｅの時間構成を模式的に示す図である。前述のように、通常はＶｉｄｅｏ  ＳａｍｐｌｅとＴｅｘｔＳａｍｐｌｅの境界の時刻が重ならない場合が多く、かつＴｅｘｔＳａｍｐｌｅの持続時間の方が、ＶｉｄｅｏＳａｍｐｌｅの持続時間よりも長い。同図では元の映像ファイル３０２のＶｉｄｅｏＴｒａｃｋにおける‘Ｉ３’のＳａｍｐｌｅから、‘Ｐ１０’のＳａｍｐｌｅまでの区間を切り出す場合の例を示している。同図の切り出し区間の境界（すなわち区間先頭と区間終了部）の時刻とは、それぞれＴｅｘｔＴｒａｃｋにおける‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅの表示区間内に存在する。図１４（Ａ）で示した映像切り出しを行う場合、ＴｅｘｔＳａｍｐｌｅ編集部１０４では、以下に示すいずれかの編集モードを選択して切り出し処理を行う。
（１）「テロップ全削除モード」では、全てのテロップフレーム（ＴｅｘｔＳａｍｐｌｅ）を削除する。テロップ全削除モードの場合、切り出された新しい映像ファイルにはテロップは表示されない。この編集モードで生成される映像ファイルのトラック構成を図１４（Ｂ）に示す。この編集モードは、切り出し後にテロップは削除されてしまうが、テロップ編集処理が不要なため処理量は最も少ない。
（２）「境界テロップ削除モード」では、切り出し区間の境界時刻を含むテロップフレームは削除する。その他の切り出し区間内に完全に含まれるテロップフレーム（ＴｅｘｔＳａｍｐｌｅ）は変更することなく、新しい映像ファイルに格納される。境界テロップ削除モードで生成される映像ファイルのトラック構成を図１４（Ｃ）に示す。同図で示すように境界テロップ削除モードの場合、‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅの表示区間内には、切り出し区間の境界が含まれるため、これらのテロップは新しいファイルでは表示されない。それ以外のテロップは、元の映像ファイルと同様のテロップ表示となる。この編集モードでは、切り出し区間の境界におけるテロップのみが削除されるため、（１）と比べて表示されるテロップは元の映像ファイルの表示と近い。またテロップ属性を変更することなく、テロップデータを削除するか、新しいファイルに格納するか、のいずれかの操作であるため、処理量は比較的少ない。
（３）「動的属性解除モード」では、切り出し区間の境界時刻を含むテロップフレームの表示時間に応じて、「テロップフレームを削除する」、「テロップフレームの表示時間を短縮する」、「テロップフレームの表示時間を短縮して動的属性を削除する」のいずれかの処理を行う。
その他の切り出し区間内に完全に含まれるテロップフレームは変更することなく、新しい映像ファイルに格納される。上述の動的属性解除モードのうち、テロップフレームの表示時間を短縮して動的属性を削除して生成される映像ファイルのトラック構成を図１４（Ｄ）に示す。同図で示すように動的属性解除モードの場合、‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅは、切り出し区間の先頭と末尾の時刻に合わせてそれぞれ持続時間が短縮される。そして‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅにおいてスクロールやカラオケ表示などの動的な文字列表示が行われる場合には、それらの動的な文字列属性が解除され、通常位置で動きのない状態でテロップが表示される。‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅにおいて、上記の動的な文字列表示が行われない場合には、元の映像ファイルと同様のテロップ表示となる。この編集モードでは、切り出し区間の境界におけるテロップ表示の動的属性のみが削除されるため、（２）よりも表示されるテロップは元の映像ファイルの表示と近い。ただしテロップデータの動的属性を編集する処理が行われるため、（２）よりも処理量は多くなる。なお上記の動的属性解除モードのうち、テロップフレームを削除して生成される映像ファイルのトラック構成は図１４（Ｃ）と同様である。また、動的属性解除モードのうち、テロップフレームの表示時間を短縮して生成される映像ファイルのトラック構成は、動的属性が変更されないこと以外は、図１４（Ｄ）と同様である。
（４）「Ｔｅｘｔ編集モード」では、切り出し区間の境界時刻を含むテロップ文字列の表示結果を推測し、この表示結果に近い表示になるようにテロップ文字列を編集する。その他の切り出し区間内に完全に含まれるテロップフレーム（ＴｅｘｔＳａｍｐｌｅ）は変更することなく、新しい映像ファイルに格納される。Ｔｅｘｔ編集モードで生成される映像ファイルのトラック構成を図１４（Ｅ）に示す。同図で示すようにＴｅｘｔ編集モードの場合、‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅは、切り出し区間の先頭と末尾の時刻に合わせてそれぞれ表示時間が短縮される。そして‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅにおいてスクロールやカラオケ表示などの動的な文字列表示が行われる場合には、それらの動的な文字列表示結果を推測し、この表示結果に近い表示になるように、Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅの文字列や動的属性が修正される。‘Ｔ１’Ｓａｍｐｌｅと‘Ｔ５’Ｓａｍｐｌｅにおいて、上記の動的な文字列表示が行われない場合には、元の映像ファイルと同様のテロップ表示となる。このＴｅｘｔ編集モードでは、切り出し区間の境界におけるテロップ表示の動的属性が維持されるため、表示されるテロップは、上記の編集モードの中では最も元の映像ファイルの表示に近い。ただしテロップの動きを元の表示と近くなるように、切り出し区間の境界を含むテロップ文字列の動きを予測し、表示されないと予測される文字列を削除する処理が行われるため、上記の編集モードの中では最も処理量が多くなる。
図９を用いて「テロップ全削除モード」における、ＴｅｘｔＳａｍｐｌｅ編集部１０４の処理を説明する。前述のように、「テロップ全削除モード」では、新しいファイルにはテロップは格納されない。よってＴｅｘｔＳａｍｐｌｅ編集部１０４は、ＴｅｘｔＳａｍｐｌｅ情報を削除し（Ｓ９０１）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ９０２）。
図１９を用いて「境界テロップ削除モード」における、ＴｅｘｔＳａｍｐｌｅ編集部１０４の処理を説明する。前述のように、「境界テロップ削除モード」では、切り出し区間の境界時刻を含むＴｅｘｔＳａｍｐｌｅは削除され、切り出し区間内に完全に含まれるＴｅｘｔＳａｍｐｌｅは変更することなく、新しい映像ファイルに格納される。図１９において、ＴｅｘｔＳａｍｐｌｅ編集処理が開始すると、ＴｅｘｔＳａｍｐｌｅ編集部１０４は、現在のＴｅｘｔＳａｍｐｌｅの表示区間内に切り出し区間の境界が存在するかどうかを判定する（Ｓ１９０１）。もしもＴｅｘｔＳａｍｐｌｅの表示区間内に切り出し区間の境界が存在しない場合（図１４における‘Ｔ２’、‘Ｔ３’、‘Ｔ４’に相当する）には、ＴｅｘｔＳａｍｐｌｅ編集部１０４は、このＴｅｘｔＳａｍｐｌｅ情報が示すＴｅｘｔＳａｍｐｌｅをファイル蓄積部１０３から取得し（Ｓ１９０３）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ１９０４）。前述のように、このＴｅｘｔＳａｍｐｌｅ情報とＴｅｘｔＳａｍｐｌｅとを合わせたデータ１１６はファイル生成部１０７へ渡される（図１８のＳ１８０６）。もしもＳ１９０１における判定において、ＴｅｘｔＳａｍｐｌｅの表示区間内に切り出し区間の境界が存在する場合（図１４における‘Ｔ１’、‘Ｔ５’に相当する）には、ＴｅｘｔＳａｍｐｌｅ編集部１０４は、このＴｅｘｔＳａｍｐｌｅ情報を削除する（Ｓ１９０２）。
図２０を用いて「動的属性削除モード」における、ＴｅｘｔＳａｍｐｌｅ編集部１０４の処理を説明する。前述のように、「動的属性削除モード」では、ＴｅｘｔＳａｍｐｌｅ編集部１０４は切り出し区間の境界時刻を含むＴｅｘｔＳａｍｐｌｅに対し、「削除する」、「表示時間を短縮する」、「表示時間を短縮して動的属性を削除する」のいずれかの処理を行う。その他の切り出し区間内に完全に含まれるＴｅｘｔＳａｍｐｌｅは変更することなく、新しい映像ファイルに格納される。図２０において、ＴｅｘｔＳａｍｐｌｅ編集処理が開始すると、ＴｅｘｔＳａｍｐｌｅ編集部１０４は、現在のＴｅｘｔＳａｍｐｌｅの表示区間内に切り出し区間の境界が存在するかどうかを判定する（Ｓ２００１）。もしもＴｅｘｔＳａｍｐｌｅの表示区間内に切り出し区間の境界が存在しない場合（図１４における‘Ｔ２’、‘Ｔ３’、‘Ｔ４’に相当する）には、このＴｅｘｔＳａｍｐｌｅ情報が示すＴｅｘｔＳａｍｐｌｅをファイル蓄積部１０３から取得し（Ｓ２００４）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ２００７）。Ｓ２００１において、ＴｅｘｔＳａｍｐｌｅの表示区間内に切り出し区間の境界が存在する場合（図１４における‘Ｔ１’、‘Ｔ５’に相当する）には、ＴｅｘｔＳａｍｐｌｅ編集部１０４はこのＴｅｘｔＳａｍｐｌｅに対し、「削除する」、「表示時間を短縮する」、「表示時間を短縮して動的属性を削除する」のいずれかの判定を行う（Ｓ２００２）。
Ｓ２００２における判定方法としては、例えばＴｅｘｔＳａｍｐｌｅの表示時間に対する、切り出し区間内時間が占める割合を求め、この値がある下限未満であれば、このＴｅｘｔＳａｍｐｌｅは「削除する」、ある上限以上であれば「表示時間を短縮する」、上限と下限の間であれば「表示時間を短縮して動的属性を削除する」と判定することができる。このように、ＴｅｘｔＳａｍｐｌｅの表示時間における切り出し区間内の時間の割合を調べることで、効果の少ないＴｅｘｔＳａｍｐｌｅ編集処理を避けることができる。例えば図１６に示すような切り出し区間が指定され、かつ上述の割合値の下限が１０％、上限が９０％と設定されている場合を想定する。この例では切り出し境界時刻はＴｅｘｔＳａｍｐｌｅ‘Ｔ２’と‘Ｔ５’の表示時間内にある。ＴｅｘｔＳａｍｐｌｅ‘Ｔ２’の表示時間が１０秒、ＴｅｘｔＳａｍｐｌｅ内の切り出し区間外の時間が０．８秒である場合には、前述の切り出し区間内時間の表示時間に占める割合が９２％となるため、このＴｅｘｔＳａｍｐｌｅ‘Ｔ２’は「短縮する」と判定される。すなわち切り出し区間内の時間が表示時間に占める割合が大きい場合には、ＴｅｘｔＳａｍｐｌｅ表示時間の修正前と修正後での違いが少ないため、テロップの動的属性を編集しなくてもテロップの動的表示に対する影響が少ない。このためＴｅｘｔＳａｍｐｌｅ‘Ｔ２’は編集せずに、そのままのテロップ動的属性を用い、テロップの表示時間を短縮するだけで、元のファイルと同様のテロップ表示が実現できる。同様にＴｅｘｔＳａｍｐｌｅ‘Ｔ５’においては、前述の時間比が５％となり、ＴｅｘｔＳａｍｐｌｅ‘Ｔ５’は「削除」と判定される。すなわち切り出し区間内の表示時間比が少ない場合には、テロップの表示時間を短縮しても、元のファイルと同様のテロップ表示を実現することは難しい。このためこれらのＴｅｘｔＳａｍｐｌｅは新しいファイルには含まないようにすることで、効果の少ないＴｅｘｔＳａｍｐｌｅ編集処理を避けることができる。上記以外、すなわち切り出し区間の時間の割合が下限と上限の範囲内である場合には、現在のＴｅｘｔＳａｍｐｌｅの「表示時間を短縮して動的属性を削除する」と判定される。
Ｓ２００２の判定において現在のＴｅｘｔＳａｍｐｌｅを「削除する」と判定された場合には、このＴｅｘｔＳａｍｐｌｅ情報を削除し（Ｓ２００３）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ２００７）。
Ｓ２００２の判定において現在のＴｅｘｔＳａｍｐｌｅを「短縮する」と判定された場合には、ＴｅｘｔＳａｍｐｌｅ編集部１０４はＴｅｘｔＳａｍｐｌｅ情報を基に、ファイル蓄積部１０３からＴｅｘｔＳａｍｐｌｅ１１３を取得する（Ｓ２００４）。そしてこのＴｅｘｔＳａｍｐｌｅ１１３の表示時間を、切り出し区間内に含まれる時間に修正する（Ｓ２００５）。図１６の例では、ＴｅｘｔＳａｍｐｌｅ‘Ｔ２’の表示時間は９．２秒に修正される。この修正はＴｅｘｔＳａｍｐｌｅ情報を修正することで行われる。その後、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ２００７）。
Ｓ２００２の判定において現在のＴｅｘｔＳａｍｐｌｅの「動的属性を削除する」と判定された場合には、ＴｅｘｔＳａｍｐｌｅ編集部１０４はＴｅｘｔＳａｍｐｌｅ情報を基に、ファイル蓄積部１０３からＴｅｘｔＳａｍｐｌｅ１１３を取得する（Ｓ２００４）。そしてこのＴｅｘｔＳａｍｐｌｅ１１３の表示時間を、切り出し区間内に含まれる時間に修正する（Ｓ２００５）。そしてこのＴｅｘｔＳａｍｐｌｅにおける動的属性を解除し（Ｓ２００６）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ２００７）。
上で述べたＴｅｘｔＳａｍｐｌｅの動的属性解除処理（Ｓ２００６）について述べる。ＴｅｘｔＳａｍｐｌｅの動的属性としては、現在のＴｅｘｔＳａｍｐｌｅが参照するｔｘ３ｇの表示属性情報５００（図５）におけるスクロール属性と、現在のＴｅｘｔＳａｍｐｌｅ内のＴｅｘｔＫａｒａｏｋｅＢｏｘ（図８（Ｄ））で指定される動的ハイライト属性とが挙げられる。ｔｘ３ｇの表示属性情報５００におけるスクロール属性を解除するためには、現在のＴｅｘｔＳａｍｐｌｅが参照するｔｘ３ｇのコピーのｔｘ３ｇをｓｔｓｄ４０１の中に追加し、この追加されたｔｘ３ｇのスクロール属性を解除し、現ＴｅｘｔＳａｍｐｌｅがこのｔｘ３ｇを参照するように修正する。
上述のように、スクロール属性を持たないｔｘ３ｇを追加し、現ＴｅｘｔＳａｍｐｌｅがこのｔｘ３ｇを参照するように関連付けを行うことで、現ＴｅｘｔＳａｍｐｌｅのスクロール属性を解除することが可能である。また、現在のＴｅｘｔＳａｍｐｌｅ内のＴｅｘｔＫａｒａｏｋｅＢｏｘ（図８（Ｄ））で指定される動的ハイライト属性を解除するためには、単純にこのＴｅｘｔＫａｒａｏｋｅＢｏｘを現ＴｅｘｔＳａｍｐｌｅから削除するだけでよい。
図２１を用いて「Ｔｅｘｔ編集モード」における、ＴｅｘｔＳａｍｐｌｅ編集部１０４の処理を説明する。前述のように、「Ｔｅｘｔ編集モード」では切り出し区間の境界時刻を含むテロップ文字列の表示結果を推測し、この表示結果に近い表示になるようにテロップ文字列を編集する。その他の切り出し区間内に完全に含まれるテロップフレーム（ＴｅｘｔＳａｍｐｌｅ）は変更されることなく、新しい映像ファイルに格納される。図２１は、「Ｔｅｘｔ編集モード」におけるＴｅｘｔＳａｍｐｌｅ編集部１０４の処理の流れを示す図である。図２１では、図２０における動的属性削除処理（Ｓ２００６）が、ＴｅｘｔＳａｍｐｌｅ編集処理（Ｓ２００８）に置き換えられた以外は、全て図２０と同じ処理である。
次に、Ｓ２００８において実行されるＴｅｘｔ編集処理について、図１０から図１２を用いて説明する。図１０は、ＴｅｘｔＳａｍｐｌｅ内のｔｅｘｔ７０２に、「Ｔｈｉｓ  ｉｓ  ａ  ｓｔｒｉｎｇ  ｗｈｉｃｈ  ｉｓ  ｒｅｎｄｅｒｅｄ  ｔｏ  ｔｈｅ  ｔｅｒｍｉｎａｌ」という文字列が与えられ、かつｓｔｓｄ４０１で参照するｔｘ３ｇにおいて表示属性情報５００で左側へのスクロールアウト属性が与えられている場合のＴｅｘｔ編集処理（Ｓ２００８）について示している。図１０（Ａ）は、ｔｅｘｔ７０２におけるｎ番目の文字がＴｅｘｔＢｏｘ６０７の左端に表示される時刻Ｔ＿ｎを示している。同図の例では、この時刻系列Ｔ＿ｎは、ＴｅｘｔＳａｍｐｌｅのｔｅｘｔ＿ｌｅｎｇｔｈ７０１（すなわちバイト数）と、ＴｅｘｔＳａｍｐｌｅ情報から取得される現ＴｅｘｔＳａｍｐｌｅの持続時間ΔＴ、およびＴｅｘｔＳａｍｐｌｅ内のＴｅｘｔＳｃｒｏｌｌＤｅｌａｙＢｏｘ（図８（Ｇ））で指定されるスクロール遅延時間Ｄにより、Ｔ＿ｎ  Ｔ＿ｎ−１＝（ΔＴ−Ｄ）／ｔｅｘｔ＿ｌｅｎｇｔｈ、Ｔ＿０＝０（ただしＴｅｘｔＳａｍｐｌｅの表示開始時刻を０とする）、により計算される。ただしＴ＿ｎの計算方法は端末に依存するものとし、必ずしも上で述べた方法でなくともよい。図１０（Ｂ）は、Ｔ＿０、Ｔ＿１、Ｔ＿２におけるＴｅｘｔＢｏｘ６０７における表示の例を図示している。
Ｔｅｘｔ編集処理（Ｓ２００８）では、スクロール表示が行われる場合、ユーザが指定した切り出し区間１０９の開始時刻、又は終了時刻が現ＴｅｘｔＳａｍｐｌｅの持続時間ΔＴ内のどの時刻に存在するかを調べ、不要な文字列を削除して新たなＴｅｘｔＳａｍｐｌｅの文字列とし、さらにＴｅｘｔＳａｍｐｌｅの持続時間を修正する。例えば、図１０（Ａ）において、ユーザ指定切り出し区間の開始時刻がＴ＿５とＴ＿６の間にある場合、先頭から５文字目までを削除した新たな文字列をＴｅｘｔＳａｍｐｌｅのｔｅｘｔ７０２として設定し、このＴｅｘｔＳａｍｐｌｅ情報のＴｅｘｔＳａｍｐｌｅ持続時間を、ΔＴ＝ΔＴ−Ｔ＿５に変更する。その後、現ＴｅｘｔＳａｍｐｌｅとＴｅｘｔＳａｍｐｌｅ情報とを合わせたデータ１１６をファイル生成部１０７へ渡し（図１８のＳ１８０６）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ２００７）。
図１１は、ＴｅｘｔＳａｍｐｌｅ内のｔｅｘｔ７０２に、「Ｔｈｉｓ  ｉｓ  ａ  ｓｔｒｉｎｇ  ｗｈｉｃｈ  ｉｓ  ｒｅｎｄｅｒｅｄ  ｔｏ  ｔｈｅ  ｔｅｒｍｉｎａｌ」という文字列が与えられ、ＴｅｘｔＫａｒａｏｋｅＢｏｘ（図８（Ｄ））で指定される動的ハイライト属性が設定されている場合におけるＳ９１２の編集処理について示している。図１１（Ａ）は、ｔｅｘｔ７０２におけるｎ番目の文字がハイライト区間１１００の右端に表示される時刻Ｔ＿ｎを示している。この時刻系列Ｔ＿ｎは、ＴｅｘｔＳａｍｐｌｅのＴｅｘｔＫａｒａｏｋｅＢｏｘの各ＨｉｇｈｌｉｇｈｔＥｖｅｎｔ情報を参照することで容易に取得できる。図１１（Ｂ）は、Ｔ＿０、Ｔ＿１、Ｔ＿２におけるＴｅｘｔＢｏｘ６０７における表示の例を図示している。
Ｔｅｘｔ編集処理（Ｓ２００８）では、動的ハイライト（カラオケ）表示が行われる場合、ユーザが指定した切り出し区間１０９の開始時刻、又は終了時刻が現ＴｅｘｔＳａｍｐｌｅの持続時間ΔＴ内のどの時刻に存在するかを調べ、切り出し区間に含まれないＨｉｇｈｌｉｇｈｔＥｖｅｎｔ情報を削除し、切り出し区間に含まれるＨｉｇｈｌｉｇｈｔＥｖｅｎｔ情報のｈｉｇｈｌｉｇｈｔＥｎｄＴｉｍｅを修正する。さらにＴｅｘｔＳａｍｐｌｅの持続時間を修正する。例えば、図１１（Ａ）において、ユーザ指定切り出し区間の開始時刻がＴ＿５とＴ＿６の間にある場合、ＴｅｘｔＫａｒａｏｋｅＢｏｘの各ＨｉｇｈｌｉｇｈｔＥｖｅｎｔ情報を参照し、もしもｈｉｇｈｌｉｇｈｔＥｎｄＴｉｍｅが切り出し区間に入らない（すなわちＴ＿５未満である）場合には、このＨｉｇｈｌｉｇｈｔＥｖｅｎｔ情報を削除する。もしもｈｉｇｈｌｉｇｈｔＥｎｄＴｉｍｅが切り出し区間に入る（すなわちＴ＿５以上である）場合には、このｈｉｇｈｌｉｇｈｔＥｎｄＴｉｍｅ値から、Δ５を減算した値を新たなｈｉｇｈｌｉｇｈｔＥｎｄＴｉｍｅ値とする。そしてこのＴｅｘｔＳａｍｐｌｅ情報のＴｅｘｔＳａｍｐｌｅ持続時間をΔＴ＝ΔＴ−Ｔ＿５に変更する。その後、現ＴｅｘｔＳａｍｐｌｅとＴｅｘｔＳａｍｐｌｅ情報とを合わせたデータ１１６をファイル生成部１０７へ渡し（図１８のＳ１８０６）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ２００７）。
図１２は、ＴｅｘｔＳａｍｐｌｅ内のｔｅｘｔ７０２に、「Ｔｈｉｓ  ｉｓ  ａ  ｓｔｒｉｎｇ  ｗｈｉｃｈ  ｉｓ  ｒｅｎｄｅｒｅｄ  ｔｏ  ｔｈｅ  ｔｅｒｍｉｎａｌ」という文字列が与えられ、かつｓｔｓｄ４０１で参照するｔｘ３ｇにおいて表示属性情報５００で左側へのスクロールアウト属性が与えられる場合におけるＴｅｘｔ編集処理（Ｓ２００８）について示している。図１２では”ｗｈｉｃｈ”の直後で改行され、２行で表示されている。図１２（Ａ）は、ｔｅｘｔ７０２におけるｎ番目の文字がＴｅｘｔＢｏｘ６０７の左端に表示される時刻Ｔ＿ｎを示している。この時刻系列Ｔ＿ｎは、ＴｅｘｔＳａｍｐｌｅのｔｅｘｔ＿ｌｅｎｇｔｈ７０１（バイト数）と、ＴｅｘｔＳａｍｐｌｅ情報から取得される現ＴｅｘｔＳａｍｐｌｅの持続時間ΔＴ、およびＴｅｘｔＳａｍｐｌｅ内のＴｅｘｔＳｃｒｏｌｌＤｅｌａｙＢｏｘ（図８（Ｇ））で指定されるスクロール遅延時間Ｄにより、行毎に、図１０と同様の計算を行うことで計算される。ただしＴ＿ｎの計算方法は端末に依存するものとし、必ずしも上で述べた方法でなくともよい。図１２（Ｂ）は、Ｔ＿０、Ｔ＿１、Ｔ＿２におけるＴｅｘｔＢｏｘ６０７における表示の例を図示している。
Ｔｅｘｔ編集処理（Ｓ２００８）では、複数行でスクロール表示が行われる場合、図１０で述べた処理と同様に、ユーザが指定した切り出し区間１０９の開始時刻、又は終了時刻が現ＴｅｘｔＳａｍｐｌｅの持続時間ΔＴ内のどの時刻に存在するかを調べ、不要な文字列を削除して新たなＴｅｘｔＳａｍｐｌｅの文字列とし、さらにＴｅｘｔＳａｍｐｌｅの持続時間を修正する。例えば、図１２（Ａ）において、ユーザ指定切り出し区間の開始時刻がＴ＿２とＴ＿３の間にある場合、先頭から３文字目までと、２２文字目から２５文字目までを削除した新たな文字列をＴｅｘｔＳａｍｐｌｅのｔｅｘｔ７０２として設定する。そしてこのＴｅｘｔＳａｍｐｌｅ情報のＴｅｘｔＳａｍｐｌｅ持続時間を、ΔＴ＝ΔＴ−Ｔ＿２に変更する。その後、現ＴｅｘｔＳａｍｐｌｅとＴｅｘｔＳａｍｐｌｅ情報とを合わせたデータ１１６をファイル生成部１０７へ渡し（図１８のＳ１８０６）、ＴｅｘｔＳａｍｐｌｅ編集処理を終了する（Ｓ２００７）。以上に述べたように、図１におけるＴｅｘｔＳａｍｐｌｅ編集部１０４では、ユーザが指定した切り出し区間１０９内に存在するＴｅｘｔＳａｍｐｌｅを編集し、ファイル生成部１０７へ渡す（図１８のＳ１８０６）。
図１においてファイル生成部１０７は、前述のＴｅｘｔＳａｍｐｌｅ編集部１０４、ＶｉｄｅｏＳａｍｐｌｅ編集部１０５、およびＡｕｄｉｏＳａｍｐｌｅ編集部１０６から取得したＳａｍｐｌｅデータとＳａｍｐｌｅ情報（１１６、１１７、１１８）とを基に、編集インタフェース部１０１から取得される映像ファイル名１２０のＭＰ４ファイル１１９を生成し、これをファイル蓄積部１０３へ蓄積する。
以上に述べたように、本実施形態１による映像編集装置である携帯端末１００では、アンテナを介して受信した、若しくは別の入力部を介して取得したテロップを含む既存の映像ファイルから任意の区間を切り出して新たな映像ファイルを生成する場合において、新たな映像ファイルにおいて表示されるテロップ表示を元の映像ファイルのテロップ表示と同様にすることが可能となる。これにより、ファイルサイズが制限される携帯電話の電子メールサービスを用いて、自身が作成したテロップ付映像ファイルを携帯電話で他人へ送信する際、制限内に収まるように映像ファイルの一部を切り出したとしても、切り出し後の映像ファイルでは元のファイルと同様なテロップ表示を実現することが可能となる。
また本発明の実施形態１としては、携帯端末以外の装置、例えばＰＣや放送用編集機器、編集機能つきディジタルカメラ等、であってもよい。
次に、本発明の実施形態２の映像配信装置について説明する。図２２は、本実施形態２による映像配信装置であるストリーミングサーバ２２００の構成を示すブロック図である。本実施形態２のストリーミングサーバ２２００は、ストリーミングクライアント２２２０からの要求に応じて、上で述べたようなＭＰ４ファイル形式で蓄積された、テロップ表示を含む映像ファイルから、メディアデータを読み出し、元のファイルと同様なテロップ表示を再現するストリーミングデータをクライアントへ送出する機能を備えるものである。本実施形態２のストリーミングサーバ２２００は、メッセージ処理部２２０１、送信パケット生成部２２０２、送受信インタフェース部２２０３、ファイル解析部１０２、ファイル蓄積部１０３、ＴｅｘｔＳａｍｐｌｅ編集部１０４、ＶｉｄｅｏＳａｍｐｌｅ編集部１０５、ＡｕｄｉｏＳａｍｐｌｅ編集部１０６、ファイル生成部１０７、および切り出し区間決定部１０８とから構成される。上記のうち、ファイル解析部１０２、ファイル蓄積部１０３、ＴｅｘｔＳａｍｐｌｅ編集部１０４、ＶｉｄｅｏＳａｍｐｌｅ編集部１０５、ＡｕｄｉｏＳａｍｐｌｅ編集部１０６、およびファイル生成部１０７の機能は、既に述べた本実施形態１の携帯端末１００と同様である。
メッセージ処理部２２０１は、クライアント間で交換されるメッセージ群２２０８の解析、生成を行う。送信パケット生成部２２０２は、クライアントへ送信するストリーミングデータパケット２２０５を生成する。送受信インタフェース部２２０３は、交換されるメッセージ群２２０８の送受信時のＴＣＰ／ＩＰデータグラムの解析と生成処理、およびストリーミングパケット２２０５のＵＤＰ／ＩＰデータグラム化の処理を行う。すなわち、メッセージの受信時には、ストリーミングクライアント２２２０から受信したＴＣＰ／ＩＰデータグラム２２０６からメッセージ２２０８を抽出し、メッセージ２２０８をメッセージ処理部２２０１へこれを渡す。メッセージの送信時には、メッセージ処理部２２０１から渡されたメッセージ２２０８を、ＴＣＰ／ＩＰデータグラム２２０６にマッピングして、ストリーミングクライアント２２２０へ送出する。ストリーミングデータ送信時には、送信パケット生成部２２０２より渡されたストリーミングパケット２２０５をＵＤＰ／ＩＰデータグラム２２０７にマッピングして、ストリーミングクライアント２２２０へ送出する。
図２５に、本実施形態２のストリーミングサーバ２２００と、ストリーミングサーバ２２００からストリーミングデータを受信し、再生するストリーミングクライアント２２２０からなるシステムの例を示す。ストリーミングサーバ２２００とストリーミングクライアント２２２０はネットワーク２５００を介して通信が可能な状態にある。ネットワーク２５００としては、イーサネット、無線ＬＡＮ、携帯電話網などあらゆる種類の通信メディアが適用できるが、本質的に本発明はネットワーク２５００の通信メディアの種類には依存しない。
ストリーミングサーバ２２００とストリーミングクライアント２２２０とが互いにメッセージ群２２０６の送受信を行い、論理的な通信チャネルを確立すると、ストリーミングサーバ２２００は、ストリーミングクライアント２２２０へストリーミングデータ２２０７を送出する。ストリーミングクライアント２２２０は、受信したストリーミングデータ２２０７を、これに付随する符号化情報や時刻情報を元にデコードして再生する。
図２３に、ストリーミングサーバ２２００とストリーミングクライアント２２２０との間で行われるプロトコルシーケンスの一例を示す。同図では、ストリーミングセッションの制御用プロトコルとしてＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）を、ストリーミングセッション情報の記述のためのプロトコルとしてＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）を、ストリーミング伝送されるパケットの形式としてＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）を用いた例を示している。これらのプロトコルは、インターネット関連技術の国際的標準機関であるＩＥＴＦ（Ｔｈｅ  Ｉｎｔｅｒｎｅｔ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｔａｓｋ  Ｆｏｒｃｅ）において、ＲＦＣ３５５０（ＲＴＰ）、ＲＦＣ２３２６（ＲＴＳＰ）、ＲＦＣ２３２７（ＳＤＰ）として定められ、一般的なストリーミング配信サービスで使用されているオープンな標準規格である。ただし図２３で示されるプロトコルメッセージでは、本発明に直接関連しないフィールドは省略されている。
ストリーミングクライアント２２２０は、ストリーミングサーバ２２００に対して、ＲＴＳＰのＤｅｓｃｒｉｂｅコマンドを送出し、コンテンツ情報を要求する（Ｍ２３０１）。図２３の例では、ＵＲＩ（“ｒｔｓｐ：／／ｈｉｔａｃｈｉ．ｃｏｍ／ｎｅｗｓ．ｍｐ４”）で示されるコンテンツの情報をストリーミングサーバ２２００に対して要求している。
ストリーミングサーバ２２００は、送受信インタフェース部２２０３にてメッセージＭ２３０１を含むＴＣＰ／ＩＰデータグラムを受信すると、このメッセージＭ２３０１はメッセージ処理部２２０１へ送られる。
メッセージ処理部２２０１はメッセージＭ２３０１を解析し、ストリーミングクライアント２２２０が要求する映像ファイル名１４０を取得すると、これをファイル解析部１０２へ渡す。
ファイル解析部１０２は、もしも指定された映像ファイル名１４０のファイルがファイル蓄積部１０３に存在しない場合には、ファイルが存在しない旨のメッセージをファイル基本情報１２１としてメッセージ処理部２２０１へ渡し、ファイル切り出し処理を終了する。メッセージ処理部２２０１は、このファイル基本情報１２１を解析することによりファイルが存在しないことを認識すると、メッセージＭ２３０１に対する応答としてエラーメッセージを作成し、これを送信インタフェース部２２０３へ渡す。送信インタフェース部２２０３はこのエラーメッセージをＴＣＰ／ＩＰデータグラム化し、ストリーミングクライアント２２２０へ送信する（Ｍ２３０２）。ファイル解析部１０２は、もしも指定された映像ファイル名１４０のファイルがファイル蓄積部１０３に存在する場合には、ｍｏｏｖ３００をファイル蓄積部１０３から取得し、これを解析し、ファイル基本情報１２１、及びｍｄａｔ３０１に格納される各Ｓａｍｐｌｅ（図（Ｃ）参照）にアクセスするための全Ｓａｍｐｌｅ情報（１１０、１１１、１１２）を取得する。ファイル基本情報１２１の内容は実施形態１と同様であるため、ここでは詳細の説明は省略する。なお、上述のファイル解析部１０２が、ファイル基本情報１２１を取得する処理は、実施形態１の説明で述べたＳ１７０２（図１７）と同様である。ファイル解析部１０２は、取得したファイル基本情報１２１をメッセージ処理部２２０１へ送る。
メッセージ処理部２２０１は、受け取ったファイル基本情報１２１を元にメッセージＭ２３０１に対する応答メッセージを作成し、これを送受信インタフェース部２２０３へ渡す。送受信インタフェース部２２０３はこの応答メッセージを、ＴＣＰ／ＩＰデータグラム化し、ストリーミングクライアント２２２０へ送信する（Ｍ２３０２）。この応答メッセージＭ２３０２には、Ｍ２３０１のＵＲＩで示されるコンテンツ“ｒｔｓｐ：／／ｈｉｔａｃｈｉ．ｃｏｍ／ｎｅｗｓ．ｍｐ４”のコンテンツ情報がＳＤＰ形式で記述されている。図２３の例では、このコンテンツにＶｉｄｅｏ、Ａｕｄｉｏ、Ｔｅｘｔの３つのメディアトラックが存在し、
（１）Ｖｉｄｅｏトラックは、ｓｔｒｅａｍＩＤ＝１、ポート番号４３２９０、符号化方式はＭＰＥＧ−４Ｖｉｄｅｏ、ペイロードタイプは９８、クロックレートは９００００Ｈｚ、
（２）Ａｕｄｉｏトラックは、ｓｔｒｅａｍＩＤ＝２、ポート番号４３２９１、符号化方式はＭＰＥＧ−４Ａｕｄｉｏ、ペイロードタイプは９９、クロックレートは１６０００Ｈｚ、
（３）Ｔｅｘｔトラックは、ｓｔｒｅａｍＩＤ＝３、ポート番号４３２９２、符号化方式は３ＧＰＰ  Ｔｉｍｅｄ  Ｔｅｘｔ、ペイロードタイプは１００、クロックレートは１０００Ｈｚ、
であることを示している。
ストリーミングクライアント２２２０は、応答メッセージＭ２３０２を含むＴＣＰ／ＩＰデータグラムを受信すると、これを解析して、次にメディアトラック毎に伝送の設定要求を行う（Ｍ２３０３）。図２３ではこの伝送設定要求には、ＲＴＳＰのＳＥＴＵＰコマンドが用いられている。すなわち、ストリーミングクライアント２２２０は、メッセージＭ２３０３によりＶｉｄｅｏトラックの伝送設定をストリーミングサーバ２２００に対して要求する。ストリーミングサーバ２２００では、送受信インタフェース部２２０３においてメッセージＭ２３０３を含むＴＣＰ／ＩＰデータグラムを受信する。送受信インタフェース部２２０３は、上記の受信データグラム内のメッセージＭ２３０３をメッセージ処理部２２０１へ渡す。メッセージ処理部２２０１はメッセージＭ２３０３を解析すると、このメッセージの伝送設定要求に従い、ファイル解析部１０２に対してこのＶｉｄｅｏトラックを伝送対象トラックとして設定する。メッセージ処理部２２０１は、メッセージＭ２３０３に対する応答メッセージＭ２３０４を作成し、これを送受信インタフェース部２２０３へ渡す。送受信インタフェース部２２０３は、このメッセージＭ２３０４をＴＣＰ／ＩＰデータグラム化し、ストリーミングクライアント２２２０へ返す。なおメッセージＭ２３０３とＭ２３０４では上で述べた以外にも、ポート番号やセッション番号等の要求、決定が行われるが、ここではこれらの説明は省略する。メッセージＭ２３０３、Ｍ２３０４と同様に、メッセージＭ２３０５、Ｍ２３０６によりＡｕｄｉｏトラックの伝送設定要求、および応答が行われ、メッセージＭ２３０７、Ｍ２３０８によりＴｅｘｔトラックの伝送設定要求、および応答が行われる。
ストリーミングクライアント２２２０は、上述のようにストリーミングサーバ２２００に対する各メディアトラックの伝送設定が完了すると、次にメッセージＭ２３０９によりストリーミング伝送開始要求を行う。図２３では、この伝送開始要求にはＲＴＳＰのＰＬＡＹコマンドが用いられている。このストリーミング伝送開始要求では、ストリーミング伝送区間の設定要求とテロップ編集モードの要求も行われる。同図の例では、ストリーミングクライアント２２２０は、「Ｔｅｘｔ編集モード」により、コンテンツ“ｒｔｓｐ：／／ｈｉｔａｃｈｉ．ｃｏｍ／ｎｅｗｓ．ｍｐ４”における時刻１０秒からコンテンツ終了時刻までの区間のストリーミング伝送を、ストリーミングサーバ２２００へ要求している。
ストリーミングサーバ２２００では、送受信インタフェース部２２０３においてメッセージＭ２３０９を含むＴＣＰ／ＩＰデータグラムを受信する。送受信インタフェース部２２０３は、受信したデータグラム内のメッセージＭ２３０９をメッセージ処理部２２０１へ渡す。メッセージ処理部２２０１はメッセージＭ２３０９を解析し、ストリーミング伝送区間１４１を取得すると、これをファイル解析部１０２に渡す。このストリーミング伝送区間１４１は、実施形態１において、ユーザにより指定されたファイル切り出し区間１４１に相当する。ファイル解析部１０２は実施形態１と同様に、ストリーミング伝送区間１０９を決定する。すなわち、ファイル解析部１０２は、要求されたコンテンツのトラックのうち、前述のメッセージＭ２３０３〜Ｍ２３０８によりメディア伝送が設定されたトラックのランダムアクセス位置情報を取得すると、ストリーミング伝送区間の開始時刻として、要求された伝送区間先頭時刻（図２３では１０秒）に最も近いランダムアクセス位置の時刻を決定し、設定する（Ｓ２３００）。またＴｅｘｔＳａｍｐｌｅ編集部１０４に対して、編集モードを「Ｔｅｘｔ編集モード」に設定する。設定されたストリーミング伝送区間１０９と編集モードとをメッセージ処理部２２０１へ渡す。メッセージ処理部２２０１は、ストリーミング伝送区間１０９を含むメッセージＭ２３１０を作成し、これを送受信インタフェース部２２０３へ渡す。送受信インタフェース部２２０３は、このメッセージＭ２３１０をＴＣＰ／ＩＰデータグラム化し、これをストリーミングクライアント２２２０へ送信する。図２３の例では、ストリーミングサーバ２２００は、ストリーミング伝送開始時刻をコンテンツ時刻１０秒と決定して、メッセージＭ２３１０をストリーミングクライアント２２２０へ返信している。
ストリーミングサーバ２２００は、応答メッセージＭ２３１０の送信後、ストリーミング伝送区間１０９のストリーミングデータ２２０７の送信を開始するために、Ｓａｍｐｌｅ編集処理（Ｓ２６００）を行う必要がある。すなわち実施形態１の映像編集装置と同様、ストリーミングクライアント２２２０におけるストリーミング伝送区間のテロップ表示を元のコンテンツと同じ表示とするためには、ストリーミングサーバ２２００においてストリーミング伝送区間１０９の境界時刻に対応するテロップフレームを修正する必要があるためである。
図２６に、ストリーミングサーバ２２００におけるＳａｍｐｌｅ編集処理（Ｓ２６００）の流れを示す。同図で示されるＳａｍｐｌｅ編集処理（Ｓ２６００）は、本発明の実施形態１の映像編集装置１００におけるＳａｍｐｌｅ編集処理（図１８参照）で述べた処理と比べてほぼ同様である。すなわち図１８のＳａｍｐｌｅ編集処理（Ｓ１８００）では、編集されたＳａｍｐｌｅとそのＳａｍｐｌｅ情報とをファイル生成部１０７へ渡す（Ｓ１８０６）のに対して、図２６のＳａｍｐｌｅ編集処理（Ｓ２６００）では、編集されたＳａｍｐｌｅとそのＳａｍｐｌｅ情報とを送信パケット生成部２２０２へ渡す以外は、全て同じ処理を行っている。よって、ここではＳａｍｐｌｅ編集処理（Ｓ２６００）の詳細の説明は省略する。
送信パケット生成部２２０２では、前述のＴｅｘｔＳａｍｐｌｅ編集部１０４、ＶｉｄｅｏＳａｍｐｌｅ編集部１０５、およびＡｕｄｉｏＳａｍｐｌｅ編集部１０６から取得したＳａｍｐｌｅデータとＳａｍｐｌｅ情報（１１６、１１７、１１８）とを基に、ストリーミングクライアント２２２０へ送信するためのストリーミングパケット２２０５を生成し、これを送受信インタフェース部２２０３へ渡す。送受信インタフェース部２２０３は、ストリーミングパケット２２０５をＵＤＰ／ＩＰデータグラム化したストリーミングデータ２２０７を生成して、これをストリーミングクライアント２２２０へ送信する。本実施形態２のストリーミングサーバ２２００では、ストリーミングパケット２２０５形式として、ＲＴＰを用いた例を示している。またストリーミングデータ２２０７の形式としては、ＵＤＰ／ＩＰを用いることを想定している。送信パケット生成部２２０２において、ＶｉｄｅｏＳａｍｐｌｅとＡｕｄｉｏＳａｍｐｌｅとをＲＴＰパケット２２０５にマッピングする方法としては、ＩＥＴＦにおいて規格化されている、ＲＦＣ３０１６やＲＦＣ３６４０などが利用できるため、ここでは詳細の説明は省略する。
一方、ＴｅｘｔＳａｍｐｌｅをＲＴＰパケット２２０５にマッピングする方法としては、ＩＳＯ／ＩＥＣ  １４４９６（通称ＭＰＥＧ−４）において、図２４で示すようなパケット形式が検討されている。すなわち、ＲＴＰパケットのペイロード部の先頭にＴｅｘｔＳａｍｐｌｅの持続時間情報（ｄｕｒａｔｉｏｎ）を配置し、その直後にＴｅｘｔＳａｍｐｌｅを配置するようなペイロード形式である。ＴｅｘｔＳａｍｐｌｅに対してｄｕｒａｔｉｏｎが含まれる理由は、ＴｅｘｔＳａｍｐｌｅはＡｕｄｉｏＳａｍｐｌｅやＶｉｄｅｏＳａｍｐｌｅと異なり、ＴｅｘｔＳａｍｐｌｅの内容が同じであっても、ｄｕｒａｔｉｏｎによって表示内容（例えばテロップのスクロール速度など）が異なるため、ＲＴＰパケット内にｄｕｒａｔｉｏｎ情報を持つ必要があるためである。
上述のように、送信パケット生成部２２０２において生成されたストリーミングパケット２２０５は、送受信インタフェース部２２０３において、ＵＤＰ／ＩＰ形式のデータグラムにマッピングされて、ストリーミングクライアント２２２０へ送信される。
ストリーミングクライアント２２２０は、受信したＵＤＰ／ＩＰデータグラムからＲＴＰ形式のストリーミングパケット２２０５を抽出し、このパケットに含まれる時間同期情報、Ｓａｍｐｌｅ情報、実データを元にＶｉｄｅｏ／Ａｕｄｉｏ／ＴｅｘｔＳａｍｐｌｅの同期再生を行う。
以上に述べたように、本実施形態２によるストリーミングサーバ２２００では、アンテナを介して受信した、若しくは別の入力部を介して取得したテロップを含む既存の映像ファイルから任意の区間を切り出して、ネットワークを介して接続されたストリーミングクライアント２２２０へ映像コンテンツをストリーミング配信する場合において、ストリーミングクライアント２２２０において表示されるテロップ表示を元の映像ファイルのテロップ表示と同様にすることが可能となる。
【図１】
2005002231.tif 000003
【図２】
2005002231.tif 000004
【図３】
2005002231.tif 000005
【図４】
2005002231.tif 000006
【図５】
2005002231.tif 000007
【図６】
2005002231.tif 000008
【図７】
2005002231.tif 000009
【図８】
2005002231.tif 000010
【図９】
2005002231.tif 000011
【図１０】
2005002231.tif 000012
【図１１】
2005002231.tif 000013
【図１２】
2005002231.tif 000014
【図１３】
2005002231.tif 000015
【図１４】
2005002231.tif 000016
【図１５】
2005002231.tif 000017
【図１６】
2005002231.tif 000018
【図１７】
2005002231.tif 000019
【図１８】
2005002231.tif 000020
【図１９】
2005002231.tif 000021
【図２０】
2005002231.tif 000022
【図２１】
2005002231.tif 000023
【図２２】
2005002231.tif 000024
【図２３】
2005002231.tif 000025
【図２４】
2005002231.tif 000026
【図２５】
2005002231.tif 000027
【図２６】
2005002231.tif 000028
【国際調査報告】
2005002231.tif 000029
2005002231.tif 000030