(57)【要約】【課題】補足メディアストリームをメインメディアストリームと共に供給し、メインメディアストリームを選択的に休止させて、補足メディアストリームが特定のイベントに関連付けられたコンテンツを十分に提示できるシステムを提供する。【解決手段】トリガリングイベントを監視し、トリガリングイベントを検出すると、トリガリングイベントに関連付けられた１つまたは複数の補足メディアストリームを出力させる。関連付けられた補足メディアストリームを、メインメディアストリームと同期的または非同期的に出力する。【選択図】        図３
2004215217.tif 000002
【特許請求の範囲】
【請求項１】
感覚障害のある人を支援するように設計された１つまたは複数の補足メディアストリームをメインメディアストリームと共に出力するための方法であって、
前記メインメディアストリームを出力する間、トリガリングイベントを繰り返し監視し、検出するステップと、
前記トリガリングイベントを検出した場合、
前記１つまたは複数の補足メディアストリームのうちどれが前記トリガリングイベントに関連付けられているかを決定するステップと、
各関連付けられた補足メディアストリームについて、当該各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的に出力するべきであるか、非同期的に出力するべきであるかを決定するステップと、
先の決定の結果に従って、各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的または非同期的に、反復的に出力するステップと
を含むことを特徴とする方法。
【請求項２】
前記関連付けられた補足メディアストリームは、前記関連付けられた補足メディアストリームの間の所定の順序に従って、反復的に出力されることを特徴とする請求項１に記載の方法。
【請求項３】
前記関連付けられた補足メディアストリームの間の所定の順序が、各補足メディアストリームに関連付けられた優先順位値に従って確立されることを特徴とする請求項２に記載の方法。
【請求項４】
前記関連付けられた補足メディアストリームが非同期的に出力される間、前記メインメディアストリームを中断するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記関連付けられた補足メディアストリームが非同期的に出力される場合、現在出力中の第２の補足メディアストリームを終了させるステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記関連付けられた補足メディアストリームを非同期的に出力した後、前記メインメディアストリームの出力を再開させるステップをさらに含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記トリガリングイベントは、前記メインメディアストリームのタイミングに従って起こることを特徴とする請求項６に記載の方法。
【請求項８】
前記メインメディアストリームが中断される場合、前記メインメディアストリームの前記タイミングを中断することを特徴とする請求項７に記載の方法。
【請求項９】
第１の関連付けられた補足メディアストリームは、反復的に、前記第１の関連付けられた補足メディアストリームがその出力を終了させる場合、第２の関連付けられた補足メディアストリームを出力させることを特徴とする請求項１に記載の方法。
【請求項１０】
前記関連付けられた補足メディアストリームは条件付きトリガリングイベントを発行し、該条件付きトリガリングイベントは条件付き補足メディアストリームを前記関連付けられた補足メディアストリームと同期的に出力させることを特徴とする請求項１に記載の方法。
【請求項１１】
前記関連付けられた補足メディアストリームは前記条件付きトリガリングイベントを、前記関連付けられた補足メディアストリームの外部の条件に従って選択的に発行することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記１つまたは複数の補足メディアストリームのうちどれが前記トリガリングイベントに関連付けられているかを決定するステップは、外部条件に従って、さもなくば前記トリガリングイベントに関連付けられるであろう補足メディアストリームを選択的に除外するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１３】
前記外部条件は、選択的に除外される補足メディアストリームのタイプを識別することを特徴とする請求項１２に記載の方法。
【請求項１４】
補足メディアストリームは、オーディオ記述ストリーム、ビジュアル記述ストリームまたはコンパイル済メディアストリームのいずれかを含むことを特徴とする請求項１に記載の方法。
【請求項１５】
前記コンパイル済メディアストリームは、コンパイル済メインメディアストリーム、および、前記コンパイル済メディアストリームに関連付けられた１つまたは複数のコンパイル済補足メディアストリームを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記コンパイル済メディアストリームを出力するステップは、
前記コンパイル済メインメディアストリームを出力する間、コンパイル済トリガリングイベントを繰り返し監視し、検出するステップと、
コンパイル済トリガリングイベントを検出した場合、
前記１つまたは複数のコンパイル済補足メディアストリームのうちどれが前記コンパイル済トリガリングイベントに関連付けられているかを決定するステップと、
各関連付けられたコンパイル済補足メディアストリームについて、当該各関連付けられたコンパイル済補足メディアストリームを前記コンパイル済メインメディアストリームと同期的に出力するべきであるか、非同期的に出力するべきであるかを決定するステップと、
先の決定の結果に従って、各関連付けられたコンパイル済補足メディアストリームを前記コンパイル済メインメディアストリームと同期的または非同期的に、反復的に出力するステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記コンパイル済補足メディアストリームは、オーディオ記述ストリーム、ビジュアル記述ストリームまたはコンパイル済メディアストリームのいずれかを含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記コンパイル済トリガリングイベントは、前記コンパイル済メインメディアストリームのタイミングに従って起こることを特徴とする請求項１６に記載の方法。
【請求項１９】
メインメディアストリームを出力する間、トリガリングイベントを繰り返し監視し、検出するステップと、
前記トリガリングイベントを検出した場合、
１つまたは複数の補足メディアストリームのうちどれが前記トリガリングイベントに関連付けられているかを決定するステップと、
各関連付けられた補足メディアストリームについて当該、各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的に出力するべきであるか、非同期的に出力するべきであるかを決定するステップと、
先の決定の結果に従って、各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的または非同期的に、反復的に出力するステップと
を含む方法を実行するためのコンピュータ実行可能命令を有することを特徴とするコンピュータ可読媒体。
【請求項２０】
前記補足メディアストリームは、オーディオ記述ストリーム、ビジュアル記述ストリームまたはコンパイル済メディアストリームのいずれかを含み、前記コンパイル済メディアストリームは、コンパイル済メインメディアストリーム、および、前記コンパイル済メディアストリームに関連付けられた１つまたは複数のコンパイル済補足メディアストリームを含み、前記コンパイル済メディアストリームを出力するステップは、
前記コンパイル済メインメディアストリームを出力する間、コンパイル済トリガリングイベントを繰り返し監視し、検出するステップと、
前記コンパイル済トリガリングイベントを検出した場合、
前記１つまたは複数のコンパイル済補足メディアストリームのうちどれが前記コンパイル済トリガリングイベントに関連付けられるかを決定するステップと、
各関連付けられたコンパイル済補足メディアストリームについて、当該各関連付けられたコンパイル済補足メディアストリームを前記コンパイル済メインメディアストリームと同期的に出力するべきであるか、非同期的に出力するべきであるかを決定するステップと、
先の決定の結果に従って、各関連付けられたコンパイル済補足メディアストリームを前記コンパイル済メインメディアストリームと同期的または非同期的に、反復的に出力するステップと
を含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。
【請求項２１】
感覚障害のある人を支援するように設計された少なくとも１つの補足メディアストリームをメインメディアストリームと共に出力するためのシステムにおいて、
メインメディアストリームおよび少なくとも１つの補足メディアストリームを出力するためのメディアストリーム出力デバイスと、
前記メディアストリーム出力デバイスに通信的に結合されたメディアストリーム出力コントローラであって、
メインメディアストリームおよび少なくとも１つの補足メディアストリームを受信すること、
前記メディアストリーム出力デバイスを介して、前記メインメディアストリームを出力すること、
前記メインメディアストリームの前記出力に関連付けられたトリガリングイベントを監視し、検出すること、
前記トリガリングイベントを検出した場合、
前記少なくとも１つの補足メディアストリームのうちどれが前記検出されたトリガリングイベントに関連付けられているかを決定すること、
各関連付けられた補足メディアストリームについて、当該各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的に出力するべきであるか、非同期的に出力するべきであるかを決定すること、および
先の決定の結果に従って、各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的または非同期的に、前記メディアストリーム出力デバイスを介して反復的に出力することを行うためのメディアストリーム出力コントローラと
を含むことを特徴とするシステム。
【請求項２２】
前記関連付けられた補足メディアストリームが、前記関連付けられた補足メディアストリームの間の所定の順序に従って、反復的に出力されることを特徴とする請求項２１に記載のシステム。
【請求項２３】
前記関連付けられた補足メディアストリームの間の所定の順序が、各補足メディアストリームに関連付けられた優先順位値に従って確立されることを特徴とする請求項２２に記載のシステム。
【請求項２４】
前記メディアストリーム出力コントローラは、さらに、関連付けられた補足メディアストリームが非同期的に出力される間、前記メインメディアストリームを中断するためのものであることを特徴とする請求項２１に記載のシステム。
【請求項２５】
前記メディアストリーム出力コントローラは、さらに、前記関連付けられた補足メディアストリームが非同期的に出力される場合、現在出力中の第２の補足メディアストリームを終了させることを特徴とする請求項２４に記載のシステム。
【請求項２６】
前記メディアストリーム出力コントローラさもなくば前記関連付けられた補足メディアストリームを非同期的に出力した後、前記メインメディアストリームの出力を再開させることを特徴とする請求項２４に記載のシステム。
【請求項２７】
第１の関連付けられた補足メディアストリームは反復的に、前記第１の関連付けられた補足メディアストリームがその出力を終了させる場合、第２の関連付けられた補足メディアストリームを出力させることを特徴とする請求項２１に記載のシステム。
【請求項２８】
関連付けられた補足メディアストリームは条件付きトリガリングイベントを発行し、条件付きトリガリングイベントは条件付き補足メディアストリームを前記関連付けられた補足メディアストリームと同期的に出力させることを特徴とする請求項２１に記載のシステム。
【請求項２９】
前記関連付けられた補足メディアストリームは前記条件付きトリガリングイベントを、前記関連付けられた補足メディアストリームの外部の条件に従って選択的に発行することを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記補足メディアストリームは、オーディオ記述ストリーム、ビジュアル記述ストリームまたはコンパイル済メディアストリームを含むことを特徴とする請求項２１に記載のシステム。
【請求項３１】
前記コンパイル済メディアストリームは、コンパイル済メインメディアストリーム、および、前記コンパイル済メディアストリームに関連付けられた少なくとも１つのコンパイル済補足メディアストリームを含むことを特徴とする請求項３０に記載のシステム。
【請求項３２】
感覚障害のある人を支援するように設計された１つまたは複数の補足メディアストリームをメインメディアストリームの出力と共に出力するためのメディア表示システムであって、
前記メインメディアストリームを出力する間、関連付けられたトリガリングイベントを監視かつ検出するための監視手段と、
検出されたトリガリングイベントに関連付けられている、前記１つまたは複数の補足メディアストリームのいずれかを選択するための補足メディアストリーム選択手段と、
各関連付けられた補足メディアストリームについて、当該各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的に出力するべきであるか、非同期的に出力するべきであるかを決定するための決定手段と、
前記決定手段による前記決定の結果に従って、各関連付けられた補足メディアストリームを前記メインメディアストリームと同期的または非同期的に、反復的に出力すること、関連付けられた補足メディアストリームが非同期的に出力される場合、いずれかの現在出力中の補足メディアストリームを終了させること、および、前記関連付けられた補足メディアストリームが非同期的に出力される間、前記メインメディアストリームを中断することを行うためのコントロール手段と
を含むことを特徴とするメディア表示システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、視覚および聴覚障害者を支援するように設計された補足メディアストリームをメインマルチメディアストリームと共に表示するための方法に関する。
【０００２】
【従来の技術】
マルチメディアにアクセスすることができるが、視覚または聴覚など、感覚の１つに障害があるために、マルチメディアによって提供されたコンテンツを十分に鑑賞できない多数の人々がいる。たとえば、聴覚障害者は、ビデオ面およびオーディオ面を有するマルチメディアコンテンツストリームにアクセスすることができるが、コンテンツのビデオ面しか知覚することができない。同様に、視覚障害者は、ビデオ面およびオーディオ面を有するマルチメディアコンテンツストリームにアクセスすることができるが、コンテンツのオーディオ面しか知覚することができない。
【０００３】
キャプショニングは、聴覚障害者の支援に有用な補足メディアストリームであり、何年にもわたってテレビ番組のための業界標準であった。キャプショニングの概念は、テレビ放送を超えて他のプラットフォーム、特にコンピュータで提供されるマルチメディアストリームまで広がっている。ＡｐｐｌｅおよびＲｅａｌＮｅｔｗｏｒｋｓなどの企業には、コンテンツ製作者がメーカ独自のキャプショニングフォーマットを使用して補足キャプショニングストリームを最終製品と共に含めることができる製品がある。これらのフォーマットは一般に、Ｗ３ＣのＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）に基づいている。
【０００４】
【発明が解決しようとする課題】
補足メディアストリームをメインマルチメディアストリームと共に統合するための現在のシステムの１つの主要な欠点は、メインメディアストリームを適切に補足するために必要とされる情報がしばしばメインメディアストリームと速さを合わせることができないことである。補足メディアストリームの性質のため、メインメディアストリームを適切に補足するために必要な情報のすべてを提示するには、メインメディアストリームが可能とするよりも多くの時間が必要となる。結果として、コンテンツ製作者は、さもなくば補足ストリームに含まれるであろうある情報を選択的に省略しなければならず、これはメインメディアストリームと速さを合わせるためである。
【０００５】
前述の問題の一例として、キャプショニングは通常、テキストのフォーマットで文字の会話部分を画面上に表示する。画面外で発生するイベントの音のうち、これらの文字のせりふに影響を及ぼすものは、背景における悲鳴または衝突の音などであり、現在の文字の会話部分のすべてをキャプショニングするためにこれらの音を省略する必要がある可能性がある。理想的には、そのようにこれらの文字の話に影響を及ぼす音の説明が存在するであろう。しかし、文字の会話部分が継続するので、このような説明を省略することがしばしば必要である。加えて、１つのシーンからの補足メディアは、しばしば後に続く場面に「あふれる」ことになり、メインメディアストリームにおいて現在起こっていることについて何らかの混乱が生じる。
【０００６】
補足メディアストリームをメインメディアストリームと共に供給し、メインメディアストリームを選択的に休止させて、補足メディアストリームが特定のイベントに関連付けられたコンテンツを十分に提示できるようにするためのシステムが必要とされている。加えて、このシステムは、補足メディアストリームが基づくメインメディアストリームのタイミングモデルを中断し、補足メディアストリームのタイミングがメインメディアストリームにおける休止によって影響を受けないようにするべきである。
【０００７】
【課題を解決するための手段】
補足メディアストリームをメインメディアストリームと共に出力するための方法が提示される。
【０００８】
この方法はトリガリングイベントを監視し、トリガリングイベントを検出すると、トリガリングイベントに関連付けられた１つまたは複数の補足メディアストリームを出力させる。関連付けられた補足メディアストリームを、メインメディアストリームと同期的または非同期的に出力することができる。同期的補足メディアストリームは、メインメディアストリームと同時に出力される。非同期的に出力される補足メディアストリームはメインメディアストリームを中断（一時停止）し、この間に補足メディアストリームが出力され、いずれかの現在出力中の補足メディアストリームを終了させる。補足メディアストリームは、条件付きトリガリングイベントに、第２の補足メディアストリームを第１のものと同期的に出力させることができる。関連付けられた補足メディアストリームを有する第２のメインメディアストリームを、第１のメインメディアストリームと関連して、コンパイル済補足メディアストリームとして非同期的に出力することができる。
【０００９】
前述の要約から容易に理解されるように、本発明は、補足メディアストリームをメインメディアストリームと共に出力するための新しく改善された方法を提供する。したがって、この方法は、視覚および聴覚障害者を支援するように設計された補足メディアストリームをメインマルチメディアストリームと共に表示するために理想的に適している。
【００１０】
以下の詳細な説明を添付の図面と共に考慮して、参照することによって本発明の前述の態様および付随の利点の多数を、よりよく理解すると、前述の態様および付随の利点の多数についてはより容易に認識するであろう。
【００１１】
【発明の実施の形態】
図１および以下の説明は、本発明の様々な機能を実施するために適切なコンピュータシステムの簡単で一般的な記載を提供することを意図するものである。コンピュータシステムを一般に、分散コンピューティング環境において使用可能なパーソナルコンピュータに関連して記載する。ここでは補足的タスクが、通信ネットワークを通じて共にリンクされたリモートコンピューティングデバイスによって実行されるが、本発明を多数の他のコンピュータシステム構成と共に実施することができ、これにはマルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータなどが含まれることは、当業者には理解されよう。本発明をローカルエリアネットワークにおいて実施することができ、あるいは代わりに、物理的にリモートではなく論理的なデバイスを使用した単一のコンピュータ上で実施することができる。加えて、本発明をコンピュータシステムに関連して記載するが、本発明を、適切なコントロールシステム修正を有するＶＣＲまたはＤＶＤプレイヤーなど、他のメディアストリームプレイヤーに関連して使用できることを理解されたい。
【００１２】
本発明の態様を、パーソナルコンピュータと共にオペレーティングシステム上で実行するアプリケーションプログラムで表して記述することができるが、これらの態様を他のプログラムモジュールと組み合わせて実施することもできることを当業者なら理解するであろう。一般には、プログラムモジュールには、特定のタスクを実行するか、あるいは特定の抽象データ型を実施するルーチン、プログラム、コンポーネント、データ構造などが含まれる。
【００１３】
図１を参照すると、本発明を実施するための例示的システムは従来のパーソナルコンピュータ１０２を含み、これは処理装置１０４、システムメモリ１０６、および、システムメモリを処理装置１０４に結合するシステムバス１０８を含む。システムメモリ１０６は読み取り専用メモリ（ＲＯＭ）１１０およびランダムアクセスメモリ（ＲＡＭ）１１２を含む。基本入出力システム１１４（ＢＩＯＳ）は、起動中など、パーソナルコンピュータ１０２内の複数の要素の間で情報を転送する助けとなる基本ルーチンを含み、これがＲＯＭ１１０に格納される。パーソナルコンピュータ１０２さもなくばハードディスクドライブ１１６、たとえば取外し可能ディスク１２０との読み書きを行うための磁気ディスクドライブ１１８、および、たとえばＣＤ−ＲＯＭディスク１２４を読み取るため、あるいは他の光メディアとの読み書きを行うための光ディスクドライブ１２２を含む。ハードディスクドライブ１１６、磁気ディスクドライブ１１８および光ディスクドライブ１２２はシステムバス１０８に、それぞれハードディスクドライブインターフェイス１２６、磁気ディスクドライブインターフェイス１２８および光ドライブインターフェイス１３０によって接続される。これらのドライブおよびそれらの関連付けられたコンピュータ可読媒体は、パーソナルコンピュータ１０２用の不揮発性記憶を提供する。上のコンピュータ可読媒体の記載では、ハードディスク、取外し可能磁気ディスクおよびＣＤ−ＲＯＭディスクを指すが、コンピュータによって可読である他のタイプのメディアも例示的動作環境において使用することができ、これは磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ＺＩＰディスクなどであることを、当業者なら理解されたい。
【００１４】
いくつかのプログラムモジュールをこれらのドライブおよびＲＡＭ１１２に格納することができ、これにはオペレーティングシステム１３２、１つまたは複数のアプリケーションプログラム１３４、他のプログラムモジュール１３６およびプログラムデータ１３８が含まれる。ユーザはコマンドおよび情報をパーソナルコンピュータ１０２へ、キーボード１４０またはマウス１４２などの入力デバイスを通じて入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、タッチパッド、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどが含まれる可能性がある。これらおよび他の入力デバイスがしばしば処理装置１０４へ、システムバスに結合されるユーザ入力インターフェイス１４４を通じて接続されるが、これを、ゲームポートまたはユニバーサルシリアルバス（ＵＳＢ）など、他のインターフェイス（図示せず）によって接続することもできる。表示デバイス１５８もシステムバス１０８へ、通常はグラフィックス表示インターフェイス１５６、および時として表示ドライバと呼ばれるコードモジュールを含む表示サブシステムを介して接続されて、グラフィックス表示インターフェイスとのインターフェイスが取られる。加えて、パーソナルコンピュータはまた通常は、スピーカまたはプリンタなど、他の周辺出力デバイス（図示せず）も含む。
【００１５】
パーソナルコンピュータ１０２はネットワーク化環境において、リモートコンピュータ１４６など、１つまたは複数のリモートコンピュータへの論理接続を使用して動作することができる。リモートコンピュータ１４６を、サーバ、ルータ、ピアデバイスまたは他の共通ネットワークノードにすることができ、これは通常、パーソナルコンピュータ１０２に関して記載した要素の多数またはすべてを含む。図１に示す論理接続には、ローカルエリアネットワーク（ＬＡＮ）１４８および広域ネットワーク（ＷＡＮ）１５０が含まれる。このようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネットおよびインターネットにおいて一般的である。
【００１６】
ＬＡＮネットワーキング環境において使用される場合、パーソナルコンピュータ１０２がＬＡＮ１４８に、ネットワークインターフェイス１５２を通じて接続される。ＷＡＮネットワーキング環境において使用される場合、パーソナルコンピュータ１０２は通常、モデム１５４、または、インターネットなどのＷＡＮ１５０を介して通信を確立するための他の手段を含む。モデム１５４は内部または外部にすることができ、これがシステムバス１０８へ、ユーザ入力インターフェイス１４４を介して接続される。ネットワーク化環境において、パーソナルコンピュータ１０２に関して記載したプログラムモジュールまたはその一部を、リモートメモリ記憶装置に格納することができる。図示のネットワーク接続は例示的であり、通信を複数のコンピュータの間で確立する他の手段を使用できることは理解されよう。加えて、ＬＡＮ１４８およびＷＡＮ１５０をシステムの不揮発性記憶のソースとして使用することができる。
【００１７】
図２は、従来技術において見られる、メインメディアストリーム２０２と同期的に出力された補足メディアストリーム２０４を例示するタイミング図２００である。タイミング図２００のように、メインメディアストリーム２０２は時間Ｔ０で出力を開始し、時間Ｔ６まで途切れずに継続する。メインメディアストリーム２０２の出力中に、時間Ｔ１で、トリガリングイベント２０１が起こり、これが補足メディアストリーム２０４にメディアセグメント２０６を出力させる。タイミング図２００からわかるように、メディアセグメント２０６がメインメディアストリーム２０２と同期的に、持続時間ＤＵＲ０の間に出力される。
【００１８】
時間Ｔ３で、第２のトリガリングイベント２０３が起こり、補足メディアストリーム２０４に第２のメディアセグメント２０８を出力させる。従来技術において見られるように、メディアセグメント２０８もまたメインメディアストリーム２０２と同期的に出力される。図２のように、メディアセグメント２０８は持続時間ＤＵＲ１の間に出力する。両方のメディアセグメントがメインメディアストリーム２０２と同期的に出力されるので、メインメディアストリーム２０２および関連付けられた補足メディアストリーム２０４の合計提示時間はＴ６であり、これはメインメディアストリーム単独のための提示時間と同じである。
【００１９】
このタイミング図２００が従来技術において動作する方法の一例として、メインメディアストリーム２０２は、表示デバイス１５８（図１）など、表示デバイス上で表示されるマルチメディア提示を表現することができる。補足メディアストリーム２０４は、マルチメディア提示において起こる会話部分のテキスト記述のストリームを表現することができる。トリガリングイベント２０１および２０３は、会話部分が発生している、または発生し、その会話部分のテキスト記述が聴覚障害者向けに使用可能であるマルチメディア提示に関して所定の時間を表現する。従来技術において見られるように、テキスト記述がマルチメディア提示と同期的に表示される。しかし、テキスト記述がメインメディアストリームと同時に提示されるために十分短い場合、メインメディアストリームおよび補足メディアストリームを同期的に提示することは適切であるが、このシステムがいかに低下するかを見ることは容易である。たとえば、テキスト記述が長い場合、これらはメイン提示における情報の後続の場面と重なり合う可能性があり、テキスト記述に依拠する者に対して著しい混乱を生じる可能性がある。代わりに、補足メディアストリームの作成者が強制的に、テキスト記述を特定の期間内に「適合」させるために、著しい情報を編集で削除させられる可能性がある。上述したように、必要とされるものは、必要な場合にメインメディアストリームを休止させて、補足メディアストリームがメインメディアストリームのタイミングシーケンス内でよりロバストなコンテンツを表示できるようにするための方法である。
【００２０】
図３は、本発明による、メインメディアストリーム３０２と非同期的に出力された補足メディアストリーム３０４を例示するタイミング図３００である。タイミング図３００のように、メインメディアストリーム３０２は時間Ｔ０で出力を開始し、時間Ｔ６で終了する。メインメディアストリーム３０２の出力中に、時間Ｔ１で、トリガリングイベント３０１が起こり、これが補足メディアストリーム３０４にメディアセグメント３０６を出力させる。しかし、図２の補足メディアセグメントの同期的出力とは異なり、メディアセグメント３０６がメインメディアストリーム３０２と非同期的に出力される。したがって、メインメディアストリーム３０２が中断（一時停止）され、これを休止セグメント３１０として示す。メインメディアストリームが中断されるべきであるかどうかを決定するための情報を、トリガリングイベントから決定することができ、補足メディアセグメントのタイプから決定することができ、あるいは補足メディアセグメントによって内部的に決定することができる。しかし、本発明は、補足メディアストリームをメインメディアストリームと非同期的に出力するかどうかを決定するためのいかなる特定のメカニズムにも限定されるように解釈されるべきではない。
【００２１】
タイミング図３００のように、メディアセグメント３０６は持続時間ＤＵＲ２の間に出力する。この期間中に、メインメディアストリーム３０２は中断されたままとなり、これにはメインメディアストリームのタイミングが含まれる。メディアセグメント３０６が完了されるとき、トリガリングイベント３０３が起こり、メインメディアストリーム３０２およびそのタイミングを再開させる。トリガリングイベントを、メディアセグメント３０６自体によって、補足メディアストリーム３０４によって、あるいは、外部の監視システムによって生成することができる。しかし、本発明は、中断されたメインメディアストリーム３０２を再開させるためのいかなる特定のメカニズムにも限定されるように解釈されるべきではない。
【００２２】
時間Ｔ３で、トリガリングイベント３０５が、補足メディアストリーム３０４に別のメディアセグメント３０８をメインメディアストリーム３０２に非同期的に出力させる。メディアセグメント３０８は持続時間ＤＵＲ３の間に出力し、この間にメインメディアストリーム３０２が中断され、これを休止セグメント３１２によって示す。メディアセグメント３０８が終了した後、あるいは代わりに終了動作として、トリガリングイベント３０７がメインメディアストリーム３０２にその出力を再開させる。例示的タイミング図３００によれば、その後、メインメディアがその出力を途切らせずに時間Ｔ６の終了まで継続する。しかし、メインメディアストリーム３０２のための出力時間はＴ６であるが、メインメディアストリームおよび補足メディアストリーム３０４を出力するための合計提示時間はＴ６＋ＤＵＲ２＋ＤＵＲ３であり、これはメディアセグメント３０６および３０８の非同期的出力のための時間の中断による。
【００２３】
タイミング図３００のように、補足メディアストリームのセグメントを非同期的に出力することによって、コンテンツプロバイダはメインメディアストリームと共に提示することができる補足情報の量または質において制限されない。加えて、補足情報をよりタイムリーに、かつメインメディアストリームと共に調和された方法で提示することができる。
【００２４】
図４は、本発明による、メインメディアストリーム４０２と同期的かつ非同期的に出力された多数の補足メディアストリームを例示するタイミング図４００である。時間Ｔ０で開始して、メインメディアストリーム４０２はその出力を開始する。また時間Ｔ０で、トリガリングイベント４０１は、補足メディアストリーム４０８にメディアセグメント４１０を、メインメディアストリーム４０２と同期的に出力させる。メディアセグメント４１０がメインメディアストリーム４０２と同期的に出力されるので、メディアセグメントは、メインメディアストリームおよび補足メディアストリームの合計提示時間に影響を及ぼさない。
【００２５】
しばしば、単一のトリガリングイベントに関連付けられた多数の補足メディアストリームが存在する可能性がある。本発明によれば、これらの関連付けられた補足メディアストリームを、メインメディアストリームと同期的または非同期的に出力することができる。非同期的補足メディアストリームがすべての他のストリームを休止させるので、単一のトリガリングイベントに関連付けられた多数の非同期的補足メディアストリームがある場合、関連付けられたストリームを出力するための順序が必要である可能性がある。たとえば、コンテンツ作成者は、第２の補足メディアストリームを出力する前に第１の補足メディアストリームを出力すること、および、メインメディアストリームの出力を再開させる前にこの両方のセグメントが出力されるべきであることが必要であるとみなす可能性がある。本発明の態様によれば、最高の優先順位の補足メディアストリームが最初に出力される。加えて、第１の補足メディアストリームが、トリガリングイベントに関連付けられたメディアセグメントのその出力を完了するとき、第２の関連付けられたメディアストリームに補足メディアセグメントを出力させる。本発明の一態様によれば、これを、第１の補足メディアセグメントがトリガリングイベントを第２の補足メディアセグメントに転送することによって実施することができる。代わりに、第１の補足メディアセグメントは、第２のトリガリングイベントが起こるようにさせることができ、これが第２の関連付けられた補足メディアストリームにメディアセグメントを出力させる。しかし、本発明は、単一のトリガリングイベントに関連付けられた複数の補足メディアストリームを反復的に出力するためのいかなる特定のメカニズムにも限定されるように解釈されるべきではない。すべての関連付けられた非同期的補足メディアストリームが完了した場合、いずれかの同期メディアセグメントを出力することができ、メインメディアストリーム再開される。
【００２６】
例示的タイミング図４００によれば、Ｔ１で、補足メディアストリーム４０４および補足メディアストリーム４０６が共にトリガリングイベント４０３に関連付けられる。所定の順序に従って、トリガリングイベント４０３は補足メディアストリーム４０４にそのメディアセグメント４１２の出力を開始させる。メディアセグメント４１２が非同期的に出力されるので、メインメディアストリーム４０２が休止され、これを休止セグメント４１８によって示す。メディアセグメント４１２が終了するとき、トリガリングイベント４０５は補足メディアストリーム４０６にメディアセグメント４１４を出力させる。
【００２７】
コンテンツ製作者が、第１の補足メディアストリームと同時に第２の補足メディアストリームを条件付きで出力することを望む可能性がある多数の場合がある。たとえば、聴覚障害のある視聴者が、手話を理解できることを示している場合、コンテンツ作成者は、メインメディアストリームのテキスト記述と共に手話補足メディアセグメントを条件付きで出力することを望む可能性がある。このような状況下で、テキスト記述補足メディアストリームは外部条件をテストして、関連付けられた手話補足メディアストリームを現在出力することが適切であるかどうかを決定することができる。代わりに、条件付きトリガリングイベントが起こることができ、条件付き補足メディアセグメント自体は、外部条件に基づいて出力されるべきであるかどうかを決定することができる。
【００２８】
図４のように、メディアセグメント４１４がメインメディアストリーム４０２に非同期的に出力される。しかし、メディアセグメント４１４の出力中に、条件付きトリガリングイベントが起こり、これを条件付きトリガリングイベント４０７によって例示する。条件付きトリガリングイベント４０７によって開始され、補足メディアストリームはメディアセグメント４１６をメディアセグメント４１４と同期的に出力する。例示的タイミング図４００によれば、条件付きメディアセグメント４１６はメディアセグメント４１４の前に終了する。メディアセグメント４１４が終了するとき、これがメインメディアストリーム４０２に非同期的に出力されるので、かつ、トリガリングイベント４０３に関連付けられた他の補足メディアストリームがないので、トリガリングイベント４０９はメインメディアストリームに出力を再開させる。時間Ｔ２で、トリガリングイベント４１１が起こり、補足メディアストリーム４０８にメディアセグメント４２０を同期的に出力させる。
【００２９】
本発明の他の態様（図示せず）によれば、トリガリングイベントが第２の非同期的補足メディアストリームを出力させる場合、補足メディアストリームが出力中である場合、第１の補足メディアストリームが切り捨て／終了される。たとえば、メディアセグメント４１０が時間Ｔ２まで実行するために十分長かった場合、これが時間Ｔ１で切り捨て／終了されるようになり、これはメディアセグメント４１２が非同期的に出力されるからである。代わりに、補足メディアストリームを後続のトリガリングイベントの後に継続して出力することができ、これは第２の補足メディアセグメント４１０が同期的に出力される場合である。したがって、上に記載した実施例によれば、メディアセグメント４１０は、メディアセグメント４１２も同期的に出力されることになっていた場合、トリガリングイベント４０３が起こった後に、継続して出力されるようになる。
【００３０】
本発明によって実現される、従来技術に勝るもう１つの利点は、メインメディアストリームおよび補足メディアストリームのコンパイルを、第２のメインメディアストリームに対するコンパイル済メディアストリームとして使用できることである。コンパイル済メディアストリームはそれ自体のタイミングを内部的に使用し、関連付けられた補足メディアストリームをコンパイル済メインメディアストリームに非同期的に出力することができる。図５は、コンパイル済補足メディアストリームの使用を例示する。
【００３１】
図５は、本発明による、メインメディアストリーム５０２と同期的かつ非同期的に出力された、コンパイル済メディアストリーム５０６を含む多数の補足メディアストリームを例示するタイミング図５００である。時間Ｔ０で開始して、メインメディアストリームが出力される。加えて、時間Ｔ０で、トリガリングイベント５０１は補足メディアストリーム５０４に補足メディアセグメント５１２を同期的に出力させる。時間Ｔ１で、トリガリングイベント５０３はコンパイル済メディアストリーム５０６にコンパイル済メディアセグメント５０８を非同期的に出力させ、これを休止セグメント５１０によって例示する。図５のように、コンパイル済メディアセグメント５０８は、コンパイル済メインメディアストリーム５１６およびコンパイル済補足メディアストリーム５１８を含む。
【００３２】
タイミング図５００によれば、メインメディアストリーム５０２の時間Ｔ１に対応する時間Ｃ０で、コンパイル済メインメディアストリーム５１６が出力される。時間Ｃ１で、トリガリングイベント５０９はコンパイル済補足メディアストリーム５１８にコンパイル済メディアセグメント５２０を同期的に出力させる。時間Ｃ３で、トリガリングイベント５１１はコンパイル済補足メディアストリーム５１８にコンパイル済メディアセグメント５２２を非同期的に出力させる。コンパイル済メディアセグメント５２２が非同期的に出力されるので、コンパイル済メインメディアストリーム５１６が中断され、これを休止セグメント５２４によって示す。コンパイル済メディアセグメント５２２が完了すると、トリガリングイベント５１３はコンパイル済メインメディアストリーム５１６を再開させる。時間Ｃ４で、コンパイル済メインメディアストリーム５１６は終了する。コンパイル済メインメディアストリーム５１６の終了は、コンパイル済メディアセグメント５０８の終了を示す。したがって、トリガリングイベント５０５が起こり、これがメインメディアストリーム５０２にその出力を再開させる。時間Ｔ３で、トリガリングイベント５０７が起こり、これが補足メディアストリーム５０４にメディアセグメント５１４を同期的に出力させる。
【００３３】
図６は、本発明による、メインメディアストリームおよび１つまたは複数の補足メディアストリームを出力するための例示的メディアストリーム出力ルーチン６００を例示する流れ図である。ブロック６０２で開始して、メインメディアストリームが出力される。例示的ルーチン６００が継続する間、メインメディアストリームが継続して出力されるようになることは、当業者には理解されよう。したがって、メインメディアストリームが出力される間、ブロック６０４で、ルーチン６００はイベントが起こることを待機／監視し、これはトリガリングイベントまたはメインメディアストリームの終了を示すイベントである。イベントを受信した後、判断ブロック６０６で、このイベントが、メインメディアストリームの終了を示すイベントであったかどうかについての決定が行われる。このイベントがメインメディアストリームの終了を示した場合、ルーチン６００が終了する。
【００３４】
判断ブロック６０６で、イベントがメインメディアストリームの終了を示さなかった場合、このイベントは補足メディアストリームのためのトリガリングイベントである。ブロック６０８で、このトリガリングイベントに関連付けられたこれらの補足メディアストリームを識別する決定が行われる。ブロック６１０で、出力されていないいずれかの関連付けられた補足メディアストリームがあるかどうかについての決定が行われる。さらに処理するべき補足メディアストリームがある場合、ブロック６１２で、次に関連付けられた補足メディアストリームが選択される。上述したように、補足メディアストリームを出力するための所定の順序を確立することができる。代わりに、関連付けられた補足メディアストリームの選択を、各関連付けられた補足メディアストリーム、または個々の補足メディアセグメントの優先順位値に基づくようにすることができる。関連付けられた補足メディアストリームの間で選択する多数の異なる方法があり、本発明が、本明細書で例示の目的のために記載したものに限定されるように解釈されるべきでないことは、当業者には理解されよう。
【００３５】
ブロック６１４で、補足メディアストリーム出力サブルーチンが呼び出されて、選択された補足メディアストリームが出力される。このサブルーチンのより詳細な記載を、図７Ａ、７Ｂおよび７Ｃに関して記載する。
【００３６】
図７Ａ、７Ｂおよび７Ｃは、図６に示す例示的メディアストリーム出力ルーチン６００において使用するための補足メディアストリーム出力サブルーチン７００を例示する流れ図である。ブロック７０２（図７Ａ）で開始して、メインメディアストリームが中断されるべきであるかどうか、すなわち、補足メディアストリームが同期的に出力されるべきであるか、非同期的に出力されるべきであるかについての決定が行われる。メインメディアストリームが中断されるべきである場合、判断ブロック７０４で、メインメディアストリームがすでに中断されているかどうかについての決定が行われる。メインメディアストリームがまだ中断されていない場合（第１の関連付けられた補足メディアストリームを出力するためにこのサブルーチン７００が呼び出された場合と同様となるように）、ブロック７０６で、メインメディアストリームが中断される。その後、サブルーチン７００は判断ブロック７１２に進行する。代わりに、判断ブロック７０４で、メインメディアストリームがすでに中断されている場合、サブルーチン７００は直接判断ブロック７１２に進行する。
【００３７】
判断ブロック７０２で、メインメディアストリームが中断されない場合、判断ブロック７０８で、メインストリームが現在中断されているかどうかについての決定が行われる。メインメディアストリームが中断されている場合（第２の関連付けられた補足メディアストリームを出力するためにこのサブルーチン７００が呼び出された場合となる可能性があるように）、ブロック７１０で、メインメディアストリームが再開される。その後、サブルーチン７００は判断ブロック７１２に進行する。代わりに、判断ブロック７０８で、メインメディアストリームが中断されていない場合、サブルーチン７００は直接判断ブロック７１２に進行する。
【００３８】
判断ブロック７１２で、補足メディアストリームがコンパイル済メディアストリームであるかどうかについての決定が行われる。補足メディアストリームがコンパイル済メディアストリームである場合、ブロック７１４で、コンパイル済メディアストリームが出力される。例示のサブルーチン７００によれば、メディアストリーム出力ルーチン６００（図６）が再帰的に呼び出されて、コンパイル済メディアストリームが出力される。コンパイル済メディアストリームを出力した後、サブルーチン７００は判断ブロック７２８（図７Ｃ）に進行する。
【００３９】
判断ブロック７１２で、補足メディアストリームがコンパイル済メディアストリームでなかった場合、ブロック７１６（図７Ｂ）で、補足メディアストリームが出力される。補足メディアストリームが出力される間、ブロック７１８で、サブルーチン７００は条件イベントが起こること、あるいは代わりに、補足メディアストリームがその出力を完了していることを示すイベントを監視／待機する。判断ブロック７２０で、検出されたイベントが条件イベントであったかどうかについての決定が行われる。イベントが条件イベントでなかった場合、ブロック７２２で、そのイベントが、補足メディアストリームがその出力を完了したことを示したかどうかについての決定が行われる。補足メディアストリームがその出力を完了していなかった場合、サブルーチン７００が再度ブロック７１８に戻り、別のイベントを監視／待機する。しかし、このイベントが、補足メディアストリームがその出力を完了したことを示した場合、サブルーチン７００が判断ブロック７２８（図７Ｃ）に進行する。
【００４０】
代わりに、判断ブロック７２０で、イベントが条件イベントであった場合、判断ブロック７２４で、条件が満たされるかどうかについての決定が行われる。条件が満たされた場合、ブロック７２６で、条件付き補足メディアストリームが出力される。その後、プロセスが再度ブロック７１８に戻り、別のイベントを監視／待機する。しかし、判断ブロック７２４で条件が満たされなかった場合、条件イベントが無視され、プロセスがブロック７１８に戻り、別のイベントを監視／待機する。
【００４１】
判断ブロック７２８（図７Ｃ）で、トリガリングイベントに関連付けられたいずれかの追加の補足メディアストリームがあるかどうかについての決定が行われる。追加の関連付けられた補足メディアストリームがある場合、ブロック７３２で、この補足ストリーム出力サブルーチン７００を呼び出すことによって、次の補足ストリームが再帰的に出力される。その後、サブルーチン７００は終了する。代わりに、判断ブロック７２８で、関連付けられた補足メディアストリームがさらにない場合、判断ブロック７３４で、メインメディアストリームが中断されているかどうかについての決定が行われる。メインメディアストリームが中断された場合、ブロック７３６で、メインストリームが再開される。その後、サブルーチン７００は終了する。しかし、判断ブロック７３４で、メインメディアストリームが中断されていない場合、サブルーチン７００は終了する。
【００４２】
図８は、本発明によって形成された例示的メディア出力システム８００を例示するブロック図である。このシステムは、メインメディアストリームおよび１つまたは複数の補足メディアストリームを出力するためのメディアストリーム出力デバイス８０２を含む。この図はメディアストリームのビジュアル表現のみを示すことができるが、これは例示のためのものでしかなく、本発明における限定として解釈されるべきではない。一実施形態によれば、メディアストリーム出力デバイス８０２はビジュアルおよびオーディオメディアストリームを出力することができる。加えて、メディアストリーム出力デバイス８０２は、表示デバイスおよびスピーカなど、多数のコンポーネントからなる可能性がある。
【００４３】
例示の実施例によれば、メディアストリーム出力デバイス８０２がメディアストリーム出力コントローラ８０４に接続される。メディアストリーム出力コントローラ８０４は、メインメディアストリーム８０６および関連付けられた補足メディアストリーム８０８および８１０を得て、これらをメディア出力デバイス８０２に向けて送る。例示の実施例によれば、メディアストリーム出力デバイス８０２はメインメディアストリーム８０６を表示ビュー８１２において出力し、この間に補足メディアストリーム８０８および８１０が補足表示ビュー８１４および８１６において表示される。例示の実施例のように、補足メディアストリーム８０８および８１０が同じ表示ビューにおいて表示されない。しかし、他の実施形態によれば、これらのストリームを同じ補足表示ビューにおいて表示することができる。したがって、例示の実施例によれば、メインメディアストリーム８０６および補足メディアストリーム８０８および８１０が、メディアストリーム出力コントローラ８０４に入る別々のストリームとして示される。しかし、これは例示のためのものでしかなく、本発明における限定として解釈されるべきではない。一実施形態によれば、メインメディアストリームおよび補足メディアストリームがメディアストリーム出力コントローラ８０４によって単一のストリームとして得られる。本発明の好ましい実施形態を例示かつ記載したが、様々な変更を本明細書において、本発明の精神および範囲から逸脱することなく行うことができる。
【図面の簡単な説明】
【図１】本発明の例示的動作環境を提供するために適切なコンピュータシステムのブロック図である。
【図２】従来技術において見られる、メインメディアストリームと同期的に出力された補足メディアストリームを例示するタイミング図である。
【図３】本発明による、メインメディアストリームと非同期的に出力された補足メディアストリームを例示するタイミング図である。
【図４】本発明による、メインメディアストリームと同期的かつ非同期的に出力された多数の補足メディアストリームを例示するタイミング図である。
【図５】本発明による、メインメディアストリームと同期的かつ非同期的に出力された、コンパイル済補足メディアストリームを含む多数の補足メディアストリームを例示するタイミング図である。
【図６】本発明による、メインメディアストリームおよび補足メディアストリームを出力するための例示的メディアストリーム出力ルーチンを例示する流れ図である。
【図７Ａ】図６に示す例示的メディアストリーム出力ルーチンにおいて使用するための補足ストリーム出力サブルーチンを例示する流れ図である。
【図７Ｂ】図６に示す例示的メディアストリーム出力ルーチンにおいて使用するための補足ストリーム出力サブルーチンを例示する流れ図である。
【図７Ｃ】図６に示す例示的メディアストリーム出力ルーチンにおいて使用するための補足ストリーム出力サブルーチンを例示する流れ図である。
【図８】本発明によって形成された例示的メディア出力システムを例示するブロック図である。
【符号の説明】
３０４、４０４、４０６、４０８、５０４、８０８、８１０  補足メディアストリーム
３０２、４０２、５０２、８０６  メインメディアストリーム
５０６  コンパイル済メディアストリーム
５１６  コンパイル済メインメディアストリーム
５１８  コンパイル済補足ストリーム
８０２  メディアストリーム出力デバイス
８０４  メディアストリーム出力コントローラ
【図１】
2004215217.tif 000003
【図２】
2004215217.tif 000004
【図３】
2004215217.tif 000005
【図４】
2004215217.tif 000006
【図５】
2004215217.tif 000007
【図６】
2004215217.tif 000008
【図７Ａ】
2004215217.tif 000009
【図７Ｂ】
2004215217.tif 000010
【図７Ｃ】
2004215217.tif 000011
【図８】
2004215217.tif 000012