(57)【要約】  オーディオ・プレゼンテーションおよび／またはビデオ・プレゼンテーション用のキャプションを提供するためのキャプション・システムを提供する。このキャプション・システムを使用してビデオ・プレゼンテーションのテキスト・キャプションまたはオーディオによる説明を提供することができる。キャプションを同期情報と一緒に受信するように動作可能なレシーバと、同期情報が定義する適切なタイミングでキャプションを出力するように動作可能なキャプション出力回路とを有するキャプション・システム用のユーザ装置が提供される。このユーザ装置は、携帯電話やＰＤＡなどの携帯用ハンドヘルド装置であることが好ましい。
2005515510.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
各組が１つまたは複数のプレゼンテーションに関連し、各組が、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む、１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部を備え、さらに、
ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
ｉｉ）前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中に前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
ｉｉｉ）前記受け取った１組のキャプション内の前記キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と、
ｉｖ）前記受け取った同期情報に応答し、前記キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記キャプション出力回路を制御するように動作可能なタイミング・コントローラと
を有するユーザ装置を備えるシステム。
【請求項２】
前記キャプションが、テキストを含む、請求項１に記載のシステム。
【請求項３】
前記キャプションが、前記プレゼンテーション内の任意の対話についてのテキストを含む、請求項２に記載のシステム。
【請求項４】
前記キャプション出力回路が、前記ユーザに表示するために前記ユーザ装置に関連するディスプレイ装置に前記キャプションを出力するように動作可能である、請求項２乃至３のいずれか１項に記載のシステム。
【請求項５】
前記キャプションが、前記ディスプレイ上に表示される前記テキストのフォーマットを制御するフォーマッティング情報を含む、請求項４に記載のシステム。
【請求項６】
各キャプションが、前記キャプションを前記ユーザに表示すべき存続時間を定義する存続時間情報を含む、請求項４乃至５のいずれか１項に記載のシステム。
【請求項７】
前記キャプションが、前記プレゼンテーション中に前記キャプションを前記ユーザに表示すべき時刻を定義するタイミング情報を含む、請求項４乃至６のいずれか１項に記載のシステム。
【請求項８】
前記キャプションがオーディオ・データを含み、前記キャプション出力回路が、前記オーディオ・データを対応する音響信号に変換する電気音響装置に前記オーディオ・データを出力するように動作可能である、請求項１乃至７のいずれか１項に記載のシステム。
【請求項９】
前記プレゼンテーションが、オーディオを含む、請求項１乃至８のいずれか１項に記載のシステム。
【請求項１０】
前記プレゼンテーションが、ビデオを含む、請求項１乃至９のいずれか１項に記載のシステム。
【請求項１１】
前記プレゼンテーションが映画である、請求項１乃至１０のいずれか１項に記載のシステム。
【請求項１２】
前記キャプション記憶部が、前記ユーザ装置内に挿入可能なメモリ・カード内に形成され、前記ユーザ装置が、そこに挿入されるときに前記メモリ・カードからキャプションを読み取るためのリーダを含む、請求項１乃至１１のいずれか１項に記載のシステム。
【請求項１３】
前記キャプション記憶部が、コンピュータ・システム内に設けられ、前記ユーザ装置が、前記コンピュータ・システムと情報をやりとりするための手段を含む、請求項１乃至１１のいずれか１項に記載のシステム。
【請求項１４】
前記コンピュータ・システムが、前記ユーザ装置からリモートに配置され、前記ユーザ装置が、前記リモート・コンピュータ・システムと情報をやりとりするための関連する通信モジュールを有する、請求項１３に記載のシステム。
【請求項１５】
前記ユーザ装置が容器を含み、前記通信モジュールが前記容器内に設けられる、請求項１４に記載のシステム。
【請求項１６】
前記通信モジュールが、無線通信リンクを使用して前記リモート・コンピュータ・システムと情報をやりとりするように動作可能である、請求項１４乃至１５のいずれか１項に記載のシステム。
【請求項１７】
前記ユーザ装置が、携帯電話を含む、請求項１６に記載のシステム。
【請求項１８】
前記ユーザ装置が、携帯型情報端末などの携帯用計算機装置を含む、請求項１乃至１７のいずれか１項に記載のシステム。
【請求項１９】
前記同期情報が、前記プレゼンテーションの１つまたは複数の所定部分についての予想時点を定義する、請求項１乃至１８のいずれか１項に記載のシステム。
【請求項２０】
前記ユーザ装置が、前記プレゼンテーションを監視して前記１つまたは複数の所定部分の実際の時点を識別するように動作可能な監視回路を含み、前記タイミング・コントローラが、実際のタイミングと前記予想タイミングとの間の差に応答して前記キャプション出力回路による前記キャプションの出力を制御する、請求項１９に記載のシステム。
【請求項２１】
前記プレゼンテーションの前記所定部分が、前記プレゼンテーションのオーディオの一部分に対応しており、前記監視回路が、前記プレゼンテーションの前記オーディオを感知するマイクロホンと、前記受け取ったオーディオを前記同期情報によって定義される前記オーディオの前記予想部分と比較するコンパレータとを含む、請求項２０に記載のシステム。
【請求項２２】
前記ユーザ装置が、前記監視回路の出力を前記同期情報によって定義される前記所定のポイントと比較して前記プレゼンテーション内の現在の位置を識別する獲得動作モードと、前記監視回路の前記出力を、前記同期情報によって定義される現在の所定部分と比較する追跡動作モードとを有する、請求項２０乃至２１のいずれか１項に記載のシステム。
【請求項２３】
前記追跡動作モードで、前記監視回路が、前記現在の所定部分について前記同期情報によって定義される前記予想時点の周囲の所定の時間ウィンドウ中の前記プレゼンテーションを監視するように動作可能である、請求項２２に記載のシステム。
【請求項２４】
前記ユーザ装置中の前記レシーバが、前記同期情報を前記キャプション記憶部から受け取るように動作可能である、請求項１乃至２３のいずれか１項に記載のシステム。
【請求項２５】
前記同期情報が、前記プレゼンテーション内に埋め込まれ、前記ユーザ装置が、前記プレゼンテーションを監視し、前記同期情報をそこから抽出するように動作可能な監視回路を含む、請求項１乃至２３のいずれか１項に記載のシステム。
【請求項２６】
前記同期情報が、前記プレゼンテーションの前記オーディオ内に埋め込まれる、請求項２５に記載のシステム。
【請求項２７】
前記同期情報が、前記プレゼンテーション中の異なるタイミングで生ずる同期コードを含む、請求項２５乃至２６のいずれか１項に記載のシステム。
【請求項２８】
各同期コードが、一意的であって前記プレゼンテーション内の前記位置を一意的に定義する、請求項２７に記載のシステム。
【請求項２９】
前記キャプション記憶部が、複数の異なるプレゼンテーションのために複数の組のキャプションを含む、請求項１乃至２８のいずれか１項に記載のシステム。
【請求項３０】
前記ユーザ装置が、前記プレゼンテーションの一部分を捕捉するように動作可能であり、前記捕捉部分を前記キャプション記憶部に伝送するように動作可能であり、また前記キャプション記憶部が、前記プレゼンテーションの前記捕捉部分を使用して、行われている前記プレゼンテーションを識別し、前記識別済みのプレゼンテーションについての前記関連する１組のキャプションを前記ユーザ装置に伝送するように動作可能である、請求項２９に記載のシステム。
【請求項３１】
前記ユーザ装置が、前記プレゼンテーションの前記捕捉部分を処理して前記捕捉部分のデータ特性を抽出するように動作可能であり、前記データ特性を前記キャプション記憶部に伝送するように動作可能であり、また前記キャプション記憶部が、前記特性データを使用して、行われている前記プレゼンテーションを識別し、前記識別済みのプレゼンテーションについての前記関連する１組のキャプションを前記ユーザ装置に伝送するように動作可能である、請求項３０に記載のシステム。
【請求項３２】
前記プレゼンテーションが、会場で与えられ、前記会場が、活性化コードを提供するように動作可能であり、前記ユーザ装置が、前記活性化コードを受け取るように動作可能であり、前記ユーザ装置が前記活性化コードを受け取っていない場合には、前記ユーザ装置が、前記キャプション出力回路の前記動作を禁止するインヒビタをさらに含む、請求項１乃至３１のいずれか１項に記載のシステム。
【請求項３３】
キャプション・システム内で使用するためのユーザ装置であって、
ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
ｉｉ）前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
ｉｉｉ）前記受け取った１組のキャプション内の前記キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と、
ｉｖ）前記受け取った同期情報に応答し、前記キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記キャプション出力回路を制御するように動作可能なタイミング・コントローラと
を備えるユーザ装置。
【請求項３４】
キャプション・システム内で使用するためのコンピュータ・システムであって、
各組が１つまたは複数のプレゼンテーションに関連し、各組が前記関連するプレゼンテーション中の異なるタイミングで再生される複数のキャプションを含み、各キャプションが、受け取った前記１組のキャプション内の各キャプションをユーザに対して出力すべき、前記プレゼンテーション中の前記タイミングを定義する関連する同期情報を有する１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部と、
１組のキャプションを求める要求をユーザ装置から受け取るように動作可能なレシーバと、
前記要求された１組のキャプションおよび前記同期情報を前記ユーザ装置に出力するように動作可能な出力回路と
を備えるシステム。
【請求項３５】
キャプション・システム内で使用するためのキャプション・データおよび同期データを記憶するコンピュータ可読媒体を製造する方法であって、
コンピュータ可読媒体を提供する工程と、
関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む前記プレゼンテーションに関連する１組のキャプションを提供する工程と、
前記１組のキャプション内の各キャプションをユーザに対して出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を提供する工程と、
コンピュータ可読媒体を受け取る工程と、
前記１組のキャプションおよび前記同期情報を定義するコンピュータ読取り可能データを前記コンピュータ可読媒体上に記録する工程と、
前記記録済みのキャプション・データおよび同期データをその上に有するコンピュータ可読媒体を出力する工程と
を含む方法。
【請求項３６】
汎用計算機装置を請求項１乃至３３のいずれか１項に記載の前記ユーザ装置として動作させるためのコンピュータ実行可能命令を記憶するコンピュータ可読媒体。
【請求項３７】
ユーザに対してプレゼンテーション用のキャプションを提供する方法であって、
それぞれが１つまたは複数のプレゼンテーションに関連し、それぞれが、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む１組または複数組のキャプションをキャプション記憶部に記憶する工程と、
ユーザ装置において、
関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶する工程と、
前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取る工程と、
前記受け取った組のキャプション内の前記キャプションを前記関連するユーザに出力する工程と、
前記受け取った同期情報に応答して前記同期情報によって定義される前記タイミングで前記キャプションを前記ユーザに出力するように前記出力する工程を制御する工程と
を含む方法。
【請求項３８】
ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
各組が１つまたは複数のプレゼンテーションに関連しており、前記関連するプレゼンテーション中の再生するための１つまたは複数のキャプションを含む、１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部を備え、さらに、
ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
ｉｉ）前記受け取った１組のキャプション内の前記キャプションまたは各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
ｉｉｉ）前記受け取った１組のキャプション内の前記キャプションまたは各キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と、
ｉｖ）前記受け取った同期情報に応答し、前記キャプションまたは各キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記キャプション出力回路を制御するように動作可能なタイミング・コントローラと
を有するユーザ装置を備えるシステム。
【請求項３９】
ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
各組が１つまたは複数のプレゼンテーションに関連しており、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む、１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部を備え、さらに、
ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
ｉｉ）前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
ｉｉｉ）前記同期情報によって定義される前記タイミングで前記受け取った１組のキャプション内の前記キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と
を有するユーザ装置を備えるシステム。
【請求項４０】
ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
各組が１つまたは複数のプレゼンテーションに関連しており、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む、１組または複数組のキャプションを記憶する手段を備え、さらに、
ｉ）前記キャプション記憶部からキャプションを受け取る手段と、
ｉｉ）各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取る手段と、
ｉｉｉ）ユーザ装置に関連するユーザに対して前記キャプションを出力する手段と、
ｉｖ）前記同期情報に応答し、前記キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記出力手段を制御する手段と
を有するユーザ装置を備えるシステム。
【請求項４１】
プレゼンテーションのための、前記プレゼンテーション用の１組のキャプションを定義し、前記プレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含むキャプション・データと、受け取った前記１組のキャプション内の各キャプションをユーザに対して出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期データとを記憶するコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ・プレゼンテーション、ビデオ・プレゼンテーション、またはマルチメディア・プレゼンテーションについてのキャプションを提供するためのシステム、方法、およびその部品に関する。本発明は、それだけには限定されないが、知覚障害者がオーディオ・プレゼンテーション、ビデオ・プレゼンテーション、またはマルチメディア・プレゼンテーションを楽しむのを助ける、かかるキャプション・システムを提供することに特に関連している。
【背景技術】
【０００２】
難聴の人々のかなりの割合が、テレビ放送、ビデオテープ、ＤＶＤ、および映画などのビデオ画像上の（テキスト形式の）キャプションの恩恵を受けている。現在、ビデオ画像に使用可能な２つのタイプのキャプション・システム、すなわちオン・スクリーン・キャプション・システムとオフ・スクリーン・キャプション・システムがある。オン・スクリーン・キャプション・システムでは、キャプション・テキストはスクリーン上に表示され、キャプション・テキストが、画像の一部分を覆い隠してしまう。一般の視聴者がいるところでこれが行われると嫌がられるという映画特有の問題がこれによって生じる。オフ・スクリーン・キャプション・システムでは、テキストは別のスクリーン上に表示される。これによって、オン・スクリーン・キャプション・システムに関連した問題の一部が克服されるが、この解決方法では、費用および複雑さが増大し、現在では、この理由から映画ではあまり取り上げられてきてはいない。
【０００３】
難聴の人々のテキスト・キャプション・システムに加えて、視力障害の人々のためのオーディオ・キャプションを提供するキャプション・システムもまた存在する。このタイプのオーディオ・キャプション・システムでは、表示されているもののオーディオの説明が、難聴の場合に字幕が提供されるのと同様な方法でユーザに提供される。
【特許文献１】ＷＯ０２／１１１２３
【特許文献２】ＷＯ９８／３２２４８
【特許文献３】ＷＯ０１／１００６５
【特許文献４】ＰＣＴ／ＧＢ０１／０５３００
【特許文献５】ＰＣＴ／ＧＢ０１／０５３０６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の一目的は、難聴者のための代替的なキャプション・システム、または視力障害の人々のための代替的なキャプション・システムを提供することである。このキャプション・システムはまた、難聴または視力障害のない人々が使用することもでき、例えば、異なる言語のキャプション、または歌の歌詞を提供することができる。
【課題を解決するための手段】
【０００５】
一態様によれば、本発明は、それぞれが１つまたは複数のプレゼンテーションに関連しており、各組がその関連するプレゼンテーション中の異なるタイミングで再生するための少なくとも１つのキャプションを含む１組または複数組のキャプションを記憶するためのキャプション記憶部、ならびに（ｉ）そのキャプション記憶部からプレゼンテーション用の少なくとも１組のキャプションを受け取り記憶するメモリと、（ｉｉ）この受け取った１組のキャプションをユーザに出力すべき、プレゼンテーション中のタイミングを定義する同期情報を受け取るように動作可能なレシーバと、（ｉｉｉ）受け取った１組のキャプション内のキャプションをその同期情報によって定義されるタイミングで、関連するユーザに出力するように動作可能なキャプション出力回路とを有するユーザ装置を備えるキャプション・システムを提供するものである。
【０００６】
一実施形態では、キャプションは、ユーザに対してユーザ装置に関連するディスプレイ上に出力されるテキスト・キャプションである。別の実施形態では、キャプションは、ユーザに対してスピーカまたはイヤホンを介して音響信号として出力されるオーディオ信号である。このキャプション・システムを、例えば映画で使用して知覚障害のある人々にキャプションを提供して、例えば映画や他のマルチメディア・プレゼンテーションを理解し楽しむのを助けることができる。
【０００７】
ユーザ装置は、小さくて軽く、またほとんどのユーザがこれらにアクセスすることができるので、携帯電話や携帯型情報端末などの携帯用ハンドヘルド装置であることが好ましい。かかる携帯用計算機装置はまた、この装置に適切なソフトウェアを提供することによってこの装置を以上のように動作するようにすることが簡単なので好ましい。
【０００８】
キャプション記憶部は、リモート・サーバ内に配置することができ、この場合には、ユーザ装置とリモート・サーバの間で直接接続が可能になるので、ユーザ装置は、携帯電話（または無線接続を有するＰＤＡ）であることが好ましい。あるいは、このキャプション記憶部を、そのプレゼンテーションが行われることになっている会場のキオスクとすることもでき、この場合には、ユーザは、到着したときにキャプションおよび同期情報をダウンロードすることができる。あるいは、キャプション記憶部を単にメモリ・カードまたはスマート・カードとすることもでき、これをユーザは、自らのユーザ装置に挿入してプレゼンテーション用の１組のキャプションを同期情報と一緒に得ることができる。
【０００９】
別の態様によれば、本発明は、キャプション・システム内で使用するためのキャプション・データおよび同期データを記憶するコンピュータ可読媒体を製造する方法を提供しており、この方法は、コンピュータ可読媒体を提供する工程と、関連するプレゼンテーション中に異なるタイミングで再生するための複数のキャプションを含む、プレゼンテーションに関連する１組のキャプションを提供する工程と、その１組のキャプション内の各キャプションをユーザに出力すべき、プレゼンテーション中のタイミングを定義する同期情報を提供する工程と、コンピュータ可読媒体を受け取る工程と、前記１組のキャプションおよび前記同期情報を定義するコンピュータ読取り可能データを前記コンピュータ可読媒体上に記録する工程と、その記録済みのキャプション・データおよび同期データをその上に有するコンピュータ可読媒体を出力する工程とを含んでいる。
次に、本発明の例示の実施形態について添付図面を参照して説明することにする。
【発明を実施するための最良の形態】
【００１０】
概要
図１は、映画館５内のスクリーン３上に示される映画についていくつかのユーザ装置（そのうちの２つが示され、１−１および１−２とラベル付けされている）上にテキスト・キャプションを提供する際に使用するためのキャプション・システムを示している。このキャプション・システムはまた、リモート・ウェブ・サーバ７を含んでおり、このリモート・ウェブ・サーバは、キャプション・データベース９に記憶されるキャプションに対するユーザ装置１からのアクセスを制御する。特に、この実施形態では、ユーザ装置１−１は携帯電話であり、セルラ通信基地局１１、交換局１３、およびインターネット１５を介してこの携帯電話をリモート・ウェブ・サーバ７に接続してキャプション・データベース９からキャプションをダウンロードすることができる。この実施形態では、第２のユーザ装置１−２は、携帯型情報端末（ＰＤＡ）であり、これはセルラ電話のトランシーバ回路を有していない。しかし、このＰＤＡ１−２は、インターネット１５に接続することができるコンピュータ１７を介してリモート・ウェブ・サーバ７に接続することができる。このコンピュータ１７は、ユーザの家庭１９に配置されたホーム・コンピュータであってもよく、一般にＰＤＡ１−２をコンピュータ１７と接続するためのドッキング・ステーション２１を含むことができる。
【００１１】
この実施形態では、携帯電話１−１を使用したキャプション・システムの動作は、ＰＤＡ１−２を使用したキャプション・システムの動作と少し異なっている。これらの装置を使用したキャプション・システムの動作について次に簡単な説明を行うことにする。
【００１２】
この実施形態では、携帯電話１−１は、映画の開始時に閲覧すべき映画のためのキャプションをダウンロードするように動作する。携帯電話は、スピーカ２３−１および２３−２によって生成される、映画の冒頭からのサウンドトラックの一部分を捕捉することによってこれを行い、これを処理してオーディオ・セグメントの特徴であるシグナチュアを生成する。次いで、携帯電話１−１は、基地局１１、交換局１３、およびインターネット１５を介してリモート・ウェブ・サーバ７にこのシグナチュアを伝送する。次いで、ウェブ・サーバ７は、このシグナチュアからちょうど始まろうとしている映画を識別し、適切なキャプション・ファイルを関連する同期ファイルと一緒に検索し、これらをインターネット１５、交換局１３、および基地局１１を経由して携帯電話１−１に対して逆に伝送する。このキャプション・ファイルおよび同期ファイルを携帯電話１−１が受信した後、基地局１１との接続が終了され、携帯電話１−１は、スクリーン３上に示される映画に同期してユーザに対して適切なキャプションを生成し表示する。この実施形態では、リモート・ウェブ・サーバ７からダウンロードされる同期ファイル内の同期データは、映画内の後続のオーディオ・セグメントの推定タイミングを定義し、携帯電話１−１は、映画のオーディオ信号を処理し、映画内の後続のこれらのオーディオ・セグメントの実際のタイミングを識別することによってキャプションの再生を同期させる。
【００１３】
この実施形態では、ＰＤＡ１−２のユーザは、映画が上映される前に、家庭１９にいる間に自分のパーソナル・コンピュータ１７を使用してこの映画のためのキャプションをダウンロードする。特に、この実施形態では、ユーザは、彼らが見る予定の映画の名前をパーソナル・コンピュータ１７にタイプ入力し、次いでインターネット１５を介してリモート・ウェブ・サーバ７にこの情報を送信する。それに応答して、ウェブ・サーバ７は、この映画用の適切なキャプション・ファイルおよび同期ファイルを検索し、これらをユーザのパーソナル・コンピュータ１７へとダウンロードする。次いでパーソナル・コンピュータ１７は、ドッキング・ステーション２１を介してこのキャプション・ファイルおよび同期ファイルをＰＤＡ１−２に記憶する。この実施形態では、映画の上映中にユーザに対してキャプションの表示を同期させる、ＰＤＡ１−２の後続の動作は、携帯電話１−１の動作と同じであり、したがってもう一度説明することはしない。
【００１４】
携帯電話
携帯電話１−１が映画用のキャプションを検索し、その後ユーザに対して再生する方法について、以上に簡単な説明を示してきた。次に、図２ａにブロック図の形式で示す携帯電話１−１の主要構成要素について、より詳細な説明を行うことにする。図に示すように、携帯電話１−１は、映画館５のスピーカ２３が生成する音響信号を検出し、対応する電気的オーディオ信号を生成するマイクロホン４１を含んでいる。次いで、マイクロホン４１からのオーディオ信号にフィルタ４３を用いてフィルタをかけ、対象とならない周波数成分を除去する。次いで、フィルタをかけたオーディオ信号をアナログ・デジタル変換器（ＡＤＣ）４５を用いてデジタル信号に変換し、次いで入力バッファ４７に記憶する。次いで、オーディオ信号を処理してバッファされたオーディオの特徴であるシグナチュアを抽出するシグナチュア抽出器４９によりこの入力バッファ４７に書き込まれたオーディオ信号を処理する。様々な処理技術をこのシグナチュア抽出器４９で使用してこのシグナチュアを抽出することができる。例えば、このシグナチュア抽出器は、Ｓｈａｚａｍ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ  Ｌｉｍｉｔｅｄの会社名で出願されたＷＯ０２／１１１２３に記載の処理を実行することができる。このシステムでは、約１５秒間のオーディオのウィンドウを処理して、オーディオを表す、オーディオ・ストリングに沿ったいくつかの「フィンガープリント」を識別する。これらのフィンガープリントは、オーディオ・ストリング内でこれらが生ずるタイミング情報と一緒に前述のシグナチュアを形成する。
【００１５】
図２ａに示すように、次いで、シグナチュア抽出器が生成するシグナチュアを出力バッファ５１に出力し、次いで、アンテナ５３、伝送回路５５、デジタル・アナログ変換器（ＤＡＣ）５７、およびスイッチ５９を介してこのシグナチュアをリモート・ウェブ・サーバ７に伝送する。
【００１６】
以下により詳細に説明するように、次いでリモート・サーバ７は、受信済みのシグナチュアを処理して上映中の映画を識別し、この映画用の適切なキャプション・ファイルおよび同期ファイルを検索する。次いで、これらは携帯電話１−１にダウンロードして戻され、アンテナ５３，受信回路６１、アナログ・デジタル変換器６３を経由してキャプション・メモリ６５に渡される。図２ｂは、リモート・ウェブ・サーバ７からダウンロードされるキャプション・ファイル６７の形式を概略的に示している。図に示すように、この実施形態では、キャプション・ファイル６７は、キャプション６９−１からキャプション６９−Ｎ（キャプション（１）からキャプション（Ｎ））の順序シーケンスを含んでいる。キャプション・ファイル６７はまた、各キャプションごとに、表示すべきテキストのフォント、カラーなどを定義するフォーマッティング情報７１−１から７１−Ｎも含んでいる。キャプション・ファイル６７はまた、各キャプションごとに、映画の開始に対して相対的なキャプションをユーザに出力すべき時刻を定義する時刻値ｔ１からｔＮも含んでいる。最後に、この実施形態では、各キャプション６９ごとに、キャプションをユーザに対して表示すべき存続時間を定義する存続時間Δｔ１からΔｔＮを含んでいる。
【００１７】
図２ｃは、この実施形態で携帯電話１−１がキャプションの表示を映画と同期させるために使用する同期ファイル７３内のデータを概略的に示すものである。図に示すように、この同期ファイル７３は、シグナチュアが映画のオーディオ内で生ずるべき（この場合にも映画の開始時から計算される）時刻を特定する関連する時刻値ｔ１ＳからｔＭＳをそれぞれが有するいくつかのシグナチュア７５−１から７５−Ｍを含んでいる。
【００１８】
この実施形態では、同期ファイル７３は、制御ユニット８１に渡され、この制御ユニットは、シグナチュア抽出ユニット４９およびスライディング相関器８３の動作を制御する。制御ユニット８１はまた、スイッチ５９の位置も制御し、その結果、キャプション・ファイルおよび同期ファイルを携帯電話１−１にダウンロードした後に、また携帯電話１−１がキャプションの出力を映画と同期させようとしているときに、シグナチュア抽出器４９が生成するシグナチュア・ストリームは、出力バッファ５１およびスイッチ５９を経由してそのスライディング相関器８３に渡される。
【００１９】
最初に、このキャプションがユーザに対して出力される前に、携帯電話１−１は、上映中の映画と同期をとる必要がある。これは、シグナチュア抽出器４９およびスライディング相関器８３を獲得モードで動作させることによって実現され、この獲得モードでシグナチュア抽出器はマイクロホン４１で受信されるオーディオからシグナチュアを抽出し、次いで、映画からの受信されたオーディオと同期ファイル７３内のシグナチュア７５との一致が識別されるまで、このシグナチュアを同期ファイル７３内のシグナチュア７５と比較する。この一致によって、ユーザに対して表示すべき最初のキャプションを識別するために使用される映画内の現在位置が識別される。このポイントで、携帯電話１−１は、追跡モードに入り、この追跡モードで、シグナチュア抽出器４９は、いつ携帯電話１−１が映画のオーディオ・トラック内で次のシグナチュアを検出すると予想するかに対応する、映画内の所定のタイム・スロット（またはウィンドウ）内のオーディオだけについてシグナチュアを抽出する。これを図２ｄに示しており、この図は、（映画に対する時系列を示す）時系列を、いつ携帯電話１−１が、映画のオーディオ・トラック内にシグナチュアが発生すると予想するかに対応したタイミングｔ１ＳからｔＭＳと共に示すものである。図２ｄはまた、小さなタイム・スロット、またはこれらの各時点の周囲のウィンドウｗ１からｗＭを示すものであり、このタイム・スロット中にシグナチュア抽出器４９は、オーディオ信号を処理してシグナチュア・ストリームを生成し、これを出力バッファ５１に出力する。
【００２０】
シグナチュア・ストリームの生成を図２ｅに示しており、この図は、時間ウィンドウｗｊのうちの１つに対応するオーディオ・トラックの一部分７７と、シグナチュア抽出器４９が生成するシグナチュア・ストリーム７９を示すものである。この実施形態では、３つのシグナチュア（シグナチュア（ｉ）、シグナチュア（ｉ＋１）、およびシグナチュア（ｉ＋２））が、各処理ウィンドウｗごとに生成される。これについては、図示の目的のためにすぎない。実際には、さらに多くの、またはさらに少ないシグナチュアを各処理ウィンドウｗごとに生成することができる。さらに、この実施形態ではシグナチュアを処理ウィンドウｗのオーバーラップしないサブウィンドウから生成しているが、シグナチュアをオーバーラップしたサブウィンドウから生成することもできる。これを実現する方法は、当業者にはよく知られており、これ以上詳細には説明しないことにする。
【００２１】
この実施形態では、隣接する処理ウィンドウｗ間においては、制御ユニット５１は、受信したオーディオを処理しないようにしてシグナチュア抽出器４９を制御する。このようにして、シグナチュア抽出器４９が実施する処理を最小限に維持することができる。
【００２２】
この追跡動作モード中、スライディング相関器８３は、出力バッファ５１内の生成済みシグナチュア・ストリームを同期ファイル７３内の次のシグナチュア７５に関連づけるように動作可能である。この相関付けにより、処理されるオーディオ・ウィンドウについての図２ｆに示すような相関プロットが生成される。図２ｄに示すように、この実施形態では、ウィンドウｗｊは、シグナチュアの予想タイミングがウィンドウの中央にくるように定義される。これは、携帯電話１−１が、スライディング相関器８３からのピーク出力が処理ウィンドウｗの中央に対応すると予想することを意味する。ピークがウィンドウ内でそれより前にまたは後で生ずる場合には、携帯電話１−１のキャプション出力タイミングを調整してピークが映画と同期するように保つ必要がある。これを図２ｆに示しており、この図は、シグナチュアの予想時刻ｔｓがウィンドウの中央に表示され、その相関ピークがこの予想時刻のδｔ秒前に生じることを示している。これは、携帯電話１−１が、映画に比べやや遅れており、映画に追いつくためには後続のキャプションの出力タイミングを前方にもってくる必要があることを意味する。これは、キャプションをユーザに対して再生する時刻を制御するタイミング信号を生成するタイミング・コントローラ８５に、相関器８３からのδｔ値を渡すことによって実現される。図に示すように、タイミング・コントローラは、そのタイミング基準を携帯電話クロック８７から受け取る。次いで、生成済みのタイミング信号をキャプション表示エンジン８９に渡し、このキャプション表示エンジンは、キャプション・ファイル６７を指し示すこのタイミング信号を使用して関連する存続時間情報Δｔおよびフォーマッティング情報７１と共に次の表示用のキャプション６９を検索し、次いでこれらを処理し、携帯電話ディスプレイ９１上で表示するためにフレーム・バッファ９３を介して出力する。キャプション６９をどのようにして生成しフォーマットするかの詳細については、当業者にはよく知られており、これ以上詳細には説明しないことにする。
【００２３】
図２ｇは、ディスプレイ９１上に出力されるキャプション例の形式を示すものである。図２ｇは、ディスプレイ９１の右側９５にユーザが携帯電話１−１のキーパッド９７上の適切なファンクション・キーを押すことによって活性化できるいくつかのユーザ・オプションも示している。これらオプションは、ユーザが、表示されるキャプション６９の言語を変更できる言語オプション９９を含む。キャプション・ファイル６７が様々な言語のキャプション６９を含んでいるとすれば、これは可能である。当業者には理解されるように、変更するものはすべて、適切なタイミングで表示すべきキャプション６９のテキストなので、これは、携帯電話１−１の部分上でかなりの処理を伴うものではない。したがって、同じ映画を鑑賞する異なるユーザごとにキャプションを専用化することができる。このオプションは、携帯電話１−１上で実行されるキャプション・アプリケーションをユーザが終了できるようにする終了オプション１０１も含んでいる。
【００２４】
携帯型情報端末
前述したように、ＰＤＡ１−２は、ウェブ・サーバ７に直接に接続するための携帯電話トランシーバ回路を含んでいない点以外は携帯電話１−１と同様にして動作する。ＰＤＡ１−２の主要構成要素は、前述の携帯電話１−１の主要構成要素と同様であり、したがって、改めては説明しないことにする。
【００２５】
リモート・ウェブ・サーバ
図３は、この実施形態で使用されるウェブ・サーバ７の主要構成要素を示し、キャプション・データベース９を示す概略ブロック図である。図に示すように、ウェブ・サーバ７は、インターネット１５から入力を受信し、この入力が携帯電話１−１からの入力かＰＤＡ１−２からの入力かに応じて、この入力は、スライディング相関器１２１にまたはデータベース・リーダ１２３に渡される。特に、携帯電話１−１からのシグナチュアは、スライディング相関器１２１に入力され、ここで、シグナチュア・ストリーム・データベース１２５に記憶されている、システムに知られているすべての映画のシグナチュア・ストリームと比較される。次いで、これらの相関の結果を比較してユーザが鑑賞しようとしている映画を識別する。次いで、この映画ＩＤをデータベース・リーダ１２３に渡す。映画ＩＤをスライディング相関器１２１から、または（ＰＣ１７やＰＤＡ１−２などの）ユーザ装置から直接に受け取るのに応答して、データベース・リーダ１２３は、適切なキャプション・ファイル６７および同期ファイル７３をキャプション・データベース９から読み取り、これらをダウンロード・ユニット１２７に出力する。次いで、このダウンロード・ユニット１２７は、検索済みのキャプション・ファイル６７および同期ファイル７３を要求側のユーザ装置１にインターネット１５を介してダウンロードする。
【００２６】
当業者なら理解されるように、ユーザに対して表示するための映画用のテキスト・キャプションを提供することについてキャプション・システムを説明してきた。このシステムは、映画館や再生システムについて何ら修正を必要とせず、適切に適合化された携帯電話１−１またはＰＤＡ装置１−２などを提供する必要があるだけである。これに関しては、携帯電話１−１またはＰＤＡ１−２内で実行される適切なソフトウェア・アプリケーションによって破線のボックス９４で囲まれた機能のすべてを実施することができるので、携帯電話またはＰＤＡに追加のハードウェアを追加することは必須ではない。この場合、適切なソフトウェア・アプリケーションは、適時、例えばユーザが映画館に入るときにロードすればよく、また携帯電話１−１の場合には、着信コールが他の視聴者を混乱させないようにするために電話の呼出しベルが鳴らないように準備しておく必要がある。したがって、上述のキャプション・システムは、いつでもどの映画についても使用することができる。さらに、映画に対して異なるキャプションをダウンロードすることができるので、このシステムは１つの映画内で内容に変化をもたせることが可能である。例えば、これによって、多言語のキャプションを用意することが容易になる。
【００２７】
変更形態および代替実施形態
上述の実施形態では、聴覚障害をもつユーザが、鑑賞している映画を理解できるようにするための携帯用ユーザ装置のディスプレイ上にテキスト・キャプションを提供することについて、キャプション・システムを説明した。この出願の導入部で述べたように、前述のキャプション・システムを変更してオーディオ・キャプション（例えば、視力障害の人々のために上映されている映画のオーディオによる説明）を用いて動作するようにすることができる。これは、リモート・サーバ７からダウンロードするキャプション・ファイル６７内のテキスト・キャプション６９を（標準の．ＷＡＶオーディオ・ファイルやＭＰ３オーディオ・ファイルなど）適切なオーディオ・ファイルで置き換えることによって簡単に行うことができ、次いでこのオーディオ・ファイルを適切なヘッドホンまたはイヤホンを用いてユーザに対して再生することができる。オーディオ・ファイルの再生の同期については、テキスト・キャプションの再生の同期の場合と同じにすることができる。あるいは、同期を他の方法で実現することができる。図４は、かかるオーディオ・キャプション・システムで使用することができる携帯電話の主要構成要素を示すブロック図である。図４では、図２ａに示す同じ構成要素について同じ参照番号を使用しており、これらの構成要素については、改めて説明しないことにする。
【００２８】
この実施形態では、携帯電話１−１’は、シグナチュア抽出器４９を含んでいない。その代わり、図５に示すように、シグナチュア抽出器１６３をリモート・ウェブ・サーバ７’に設けている。動作中は、携帯電話１−１’は、映画の冒頭で再生されるオーディオの一部を捕捉し、このオーディオをリモート・ウェブ・サーバ７’へと伝送する。次いで、このオーディオを入力バッファ１６１にバッファし、次いでシグナチュア抽出器１６３で処理してこのオーディオを表すシグナチュアを抽出する。次いで、第１の実施形態で説明したスライディング相関器１２１およびシグナチュア・ストリーム・データベース１２５と同様のファンクションを実施する相関テーブル１６５にこのシグナチュアを渡して現在上映中の映画についてのＩＤを識別する。特に、この実施形態では、スライディング相関器１２１およびシグナチュア・ストリーム・データベース１２５によって実施された可能性がある相関のすべてを、あらかじめ実行し、その結果をこの相関テーブル１６５に記憶しておく。このようにして、シグナチュア抽出器１６３が出力するシグナチュアを使用して、この相関テーブルを索引してこのキャプション・システムに知られている様々な映画に対する相関結果を生成する。次いで、この相関結果を処理して、受信済みのオーディオ・ストリームに最もよく対応する可能性のある映画を識別する。この実施形態では、このキャプション・データベース９だけが、同期ファイル７３のない、様々な映画についてのキャプション・ファイル６７を含んでいる。相関テーブル１６５から、またはユーザ、すなわちユーザ装置（図示せず）から直接に映画ＩＤを受信するのに応答して、データベース・リーダ１２３は、適切なキャプション・ファイル６７を検索し、これをダウンロード・ユニット１２７を経由してユーザ装置１にダウンロードする。
【００２９】
図４に戻ると、この実施形態では、携帯電話１−１’が、シグナチュア抽出器４９を含んでいないので、同期を代わりの方法で実現することができる。特にこの実施形態では、同期コードが映画のオーディオ・トラック内に埋め込まれている。したがって、キャプション・ファイル６７をキャプション・メモリ６５に記憶した後、制御回路８１は、入力バッファ４７に入力されたオーディオ信号が、オーディオ・トラックに埋め込まれる同期データを抽出するように構成されているデータ抽出器１４５に渡されるようにスイッチ１４３の位置を制御する。次いで、この抽出済みの同期データはタイミング・コントローラ８５に渡され、このタイミング・コントローラは、デジタル・アナログ変換器１４９、増幅器１５１、およびヘッドセット１５３を介してキャプション・プレーヤ１４７が個々のオーディオ・キャプションを再生するタイミングを制御する。
【００３０】
当業者には理解されるように、様々な技法を使用してオーディオ・トラック内に同期データを埋め込むことができる。本出願人による以前の国際出願ＷＯ９８／３２２４８、ＷＯ０１／１００６５、ＰＣＴ／ＧＢ０１／０５３００、およびＰＣＴ／ＧＢ０１／０５３０６には、音響信号内にデータを埋め込む技法、および埋め込まれたデータをその後抽出するための適切なデータ抽出器について記載されている。これらの以前の国際出願の内容については本明細書に参照によって組み込まれている。
【００３１】
上記のオーディオ・キャプションの実施形態では、そのオーディオに同期コードを埋め込み、携帯電話内でこれらを検出することによって同期が実現される。当業者には理解されるように、同様な技法を第１の実施形態でも使用することができる。しかし、映画のサウンドトラック内にオーディオ・コードを埋め込むことは、それが映画のオーディオ・トラックを何らかの方法で変更するものであるので好ましくない。必要とされるデータ・レートによっては、このデータは一部の視聴者にとっては聞こえることもあり、それによって映画の楽しみが損なわれることもある。したがって、第１の実施形態は、それが映画または映画館のインフラストラクチャに対するどのような変更も伴わないので好ましい。
【００３２】
同期データがそのオーディオ内に埋め込まれる実施形態では、使用される同期コードを同期が必要なときにいつでも繰り返される同じコードとするか、または各同期ポイントで一意的なコードとすることができる。各同期ポイントで一意的なコードがある利点は、遅れて映画を見に入るユーザ、またはある種のポイントだけでキャプションを必要とするユーザ（例えば、まれにしかキャプションを必要としないユーザ）がこの映画の中の任意のポイントでキャプションを開始できることにある。
【００３３】
図４および図５を参照して以前に説明した実施形態では、シグナチュア抽出動作が携帯電話内ではなくリモート・ウェブ・サーバ内で実施されている。当業者には理解されるように、図４および図５を参照して説明した他の変更を行わずに、前述の第１の実施形態に対してこの変更だけを行うこともできる。
【００３４】
前述の第１の実施形態では、追跡動作モードでシグナチュア抽出器は、映画の所定のウィンドウ中のオーディオ・トラックしか処理していない。当業者には理解されるように、このことは必須ではない。シグナチュア抽出器は、連続的に動作することもできる。しかし、かかる実施形態は、携帯電話が実施する必要がある処理を増大させ、それが携帯電話の電力消費を増大させる可能性があるので好ましくない。
【００３５】
上記実施形態では、携帯電話またはＰＤＡは、同期させる目的のために映画のオーディオ・トラックを監視していた。当業者には理解されるように、携帯電話またはＰＤＡ装置を映画スクリーン上に表示されるビデオを監視するように構成することもできる。しかし、これについては、（カメラなどの）イメージ・ピックアップ装置を携帯電話またはＰＤＡに組み込み、比較的高度な画像処理ハードウェアおよびソフトウェアでビデオ内の同期ポイントまたは同期コードを検出できるようにする必要があるので、現在のところ好ましくない。さらに、映画自体から同期コードまたは同期ポイントを検出することは、必須ではない。別の電磁波信号または圧力波信号を映画と同期して伝送して同期ポイントまたは同期コードを提供することもできる。この場合には、ユーザ装置は、電磁波信号レシーバまたは圧力波レシーバを含む必要がある。しかし、この実施形態は、既存の映画館のインフラストラクチャを変更する必要があり、映画とそれ自体同期する別の同期信号を生成する必要があるので好ましくない。
【００３６】
上記の実施形態では、キャプションを、また適切な場合には同期データを、リモート・サーバからユーザ装置にダウンロードする。当業者なら理解されるように、かかるリモート・サーバの使用は必須ではない。キャプション・データおよび同期データを、メモリ・カードまたはスマート・カードにあらかじめ記憶し、映画館で配布しまたは販売することもできる。この場合には、ユーザ装置は、このメモリ・カードまたはスマート・カードを受け入れる適切なスロット、ならびにキャプション・データに、また提供されるなら同期データにアクセスするための適切なリーダを有することが好ましい。このカードの製造業者では、メモリ・カードまたはスマート・カードを提供する工程と、適切なカード・ライタを使用してキャプション・データおよび同期データをメモリ・カード、またはスマート・カード上のメモリに書き込む工程を含むことになる。あるいは、さらにユーザは、彼らのユーザ装置に関連するスマート・カードまたはメモリ・カードをすでに有しており、これらを映画館のキオスクに単に挿入し、そこでキャプション、および適用可能なら同期データをカード上のメモリに書き込んでもよい。
【００３７】
さらなる代替形態として、キャプション・データおよび同期データを映画館内の送信機からユーザ装置に送信することもできる。この送信を、電磁波リンクまたは圧力波リンク上で行うことができる。
【００３８】
前述の第１の実施形態では、携帯電話には、キャプションの再生を制御するための獲得モードおよびその後の追跡モードがあった。代替実施形態では、リモート・サーバが携帯電話から受信したシグナチュアから現在のタイミングを識別することができるならば、獲得モードをなくすることができる。これは、一部の例によっては可能とすることができる。しかし、映画の導入部が反復される場合には、ウェブ・サーバが最初の同期を提供できなくなる可能性もある。
【００３９】
前述の第１の実施形態では、ユーザ装置は、キャプション・データおよび同期データをインターネットを介してリモート・ウェブ・サーバからダウンロードしていた。当業者には理解されるように、ファイルをインターネット上でダウンロードすることは必須ではない。ファイルを任意のワイド・エリア・ネットワークまたはローカル・エリア・ネットワーク上でダウンロードすることもできる。このキャプション・ファイルをワイド・エリア・ネットワーク上からダウンロードする機能は、より広い地理的区域に配信するためにキャプションの中央集中データベースを提供できるので好ましい。
【００４０】
前述の第１の実施形態では、ユーザは、リモート・ウェブ・サーバからキャプション・データおよび同期データをダウンロードしていた。説明してはいないが、セキュリティの目的のために、キャプション・ファイルおよび同期ファイルを、何らかの方法で符号化しまたは暗号化してキャプションの不正使用から保護することが好ましい。さらに、このキャプション・システムを映画館、またはこのキャプション・システムのライセンスをもつ会場でしか動作できないように準備を整えることもできる。この場合には、適切な活性化コードを会場で提供してユーザ装置上のキャプション・システムのロックをはずすことができる。この活性化を、人間が読取り可能な形式で提供し、その結果ユーザはユーザ装置にコードをキー入力する必要があることもある。あるいは、ユーザ装置中の適切なレシーバに（たぶん映画内に埋め込まれる）コードを送信するように会場の準備を整えることもできる。どちらの場合にもユーザ装置中のキャプション・システム・ソフトウェアは、活性化コードを受信するまでキャプションの出力を禁止するインヒビタ（ｉｎｈｉｂｉｔｏｒ）を有することになる。さらに、暗号化を使用する場合には、キャプションの暗号解読を行う鍵の一部として活性化コードを使用することもできる。
【００４１】
以上の実施形態では、映画館で使用するためのテキスト・キャプション・システムおよびオーディオ・キャプション・システムを説明してきた。当業者には理解されるように、これらのキャプション・システムを任意のラジオ・プレゼンテーション、ビデオ・プレゼンテーション、またはマルチメディア・プレゼンテーション用のキャプションを提供するために使用することができる。これらは、劇場もしくは歌劇場内で、またはユーザの家庭内で使用することもできる。
【００４２】
オーディオ・プレゼンテーションまたはビデオ・プレゼンテーション用のテキスト・キャプションまたはオーディオ・キャプションを提供する様々なキャプション・システムについて説明してきた。このキャプションは、映画の監督のコメント、複雑なプロットの説明、俳優名、または第三者のコメントなどそのオーディオ・プレゼンテーションまたはビデオ・プレゼンテーションについての追加の解説を含むことができる。これらのキャプションは、他の製品または他のプレゼンテーションについての宣伝を含むこともできる。さらに、このオーディオ・キャプション・システムを使用してその映画内でなにが起きているかについてのオーディオによる説明を提供することができるだけでなく、その映画用のオーディオ・トラックの翻訳を提供することもできる。このようにして、映画の各聴取者は、彼らの好みの言語でその映画を聞くことができる。このキャプション・システムを使用して、標準的なオーディオ・トラックと一緒に使用するためのカラオケ・キャプションを提供することもできる。この場合には、ユーザは、歌詞と、この歌詞をユーザに表示し強調表示すべきタイミングを定義する同期情報とをダウンロードすることになる。
【００４３】
以上に追加して、ビデオ・キャプションの表示を制御するように前述のキャプション・システムを提供することができる。例えば、かかるビデオ・キャプションを使用して提供されているプレゼンテーション内のオーディオに対して手話（ｓｉｇｎ  ｌａｎｇｕａｇｅ）（実画像またはコンピュータ生成画像）を提供することができる。
【００４４】
上記の実施形態では、行うべきプレゼンテーション用のキャプションを再生のためにあらかじめダウンロードしていた。代替実施形態では、キャプションが必要なときに、ユーザ装置が、リモート・サーバからそのキャプションをダウンロードすることもできる。例えば、ユーザ装置は、次のキャプション用の次の同期コードを受信したときに次のキャプションをダウンロードすることができる。
【００４５】
前述のキャプション・システムでは、ユーザは、ウェブ・サーバから、あるいはオーディオ・プレゼンテーションまたはビジュアル・プレゼンテーションを行うべき会場でローカルにキャプションおよび同期情報をダウンロードまたは受け取る。当業者には理解されるように、ユーザがキャプションをダウンロードし、またはキャプションを再生するために対価を支払わなければならないアプリケーションでは、トランザクション・システムを提供して料金の徴収を容易にすることが好ましい。キャプションをウェブ・サーバからダウンロードする実施形態では、このトランザクション・システムがこのキャプションを提供するウェブ・サーバの一部を形成し、またはそのウェブ・サーバに関連づけられることが好ましい。この場合には、ユーザは、そのキャプションをダウンロードする時点で電子的な支払いまたはクレジット・カードを介した支払いなどを行うことができる。これは、行われる支払いを、ダウンロードされるキャプションおよび同期情報に関連づけることがより簡単なので好ましい。
【００４６】
前述の第１の実施形態では、映画のＩＤを、ユーザの携帯電話から送信されるオーディオ・シグナチュアから自動的に決定していた。あるいは、オーディオ・シグナチュアを送信する代わりに、ユーザは、リモート・サーバに送信するために映画のＩＤを直接に電話に入力することもできる。この場合には、シグナチュア・データベースの相関探索は、必須ではない。
【００４７】
前述の第１の実施形態では、ユーザ装置が、受信済みのオーディオを処理して視聴者が鑑賞しようとしている映画のシグナチュア特性を抽出していた。好ましい処理は、前述のＳｈａｚａｍ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ  Ｌｔｄ社特許に記載された処理である。しかし、当業者には理解されるように、他のタイプの符号化も実施できる。携帯電話内のシグナチュア抽出ユニットの主目的は、オーディオを圧縮してそれから鑑賞しようとしている映画をリモート・サーバが識別できるオーディオを依然として表すデータを生成することである。様々な他の圧縮方式を使用することができる。例えば、他のオーディオ圧縮アルゴリズムと共にＧＳＭコーデックを使用することもできる。
【００４８】
テキスト・キャプションを提供する上記の実施形態では、テキスト・キャプションが、携帯用ユーザ装置のディスプレイ上にユーザに対して表示されていた。これは、キャプション・システムのいちばん簡単な展開を提供するが、他のオプションも使用可能である。例えば、ユーザには、能動タイプまたは受動タイプのヘッドアップ・ディスプレイが提供され、これを通じてユーザは映画を鑑賞することができ、またこの上で、キャプションは、表示され（能動的）、または投影されて（受動的）鑑賞中の映画に重ね合わされる。これには、ユーザが２つの別々のディスプレイを見る必要がないという利点がある。受動タイプのヘッドアップ・ディスプレイは、例えば、ビーム・スプリッタ（例えば、４５°のプリズム）の付いた眼鏡対をユーザに提供することによって実現され、ユーザは、その上で自分のひざの上に載ったユーザ装置（例えば、電話またはＰＤＡ）の映画スクリーンおよびスクリーンを見ることができる。あるいは、ヘッドアップ・ディスプレイを使用する代わりに、別の透明のスクリーンをユーザ・シートの前に立て、その上にキャプションをユーザ装置から、またはシートに取り付けられたプロジェクタから投影することができる。
【００４９】
前述の第１の実施形態では、キャプション・ファイルは、時刻順のキャプション・シーケンスを、関連するフォーマッティング情報およびタイミング情報と共に含んでいた。当業者には理解されるように、キャプションをこのように時刻順に並べることは必須ではない。しかし、キャプションをこのように並べることにより、表示すべき次のキャプションを識別するのに伴う処理が少なくなる。さらに、キャプションに加えてフォーマッティング情報をもつことも必須ではない。必要とされる最小限の情報は、キャプション情報である。さらに、ファイル内にプレゼンテーション用の個別の各キャプションとして提供されたものを別々にダウンロードできることも必須ではない。しかし、キャプション・ファイル用の前述のフォーマットは、簡単であり、例えばスプレッドシートを使用して簡単に作成することができるので好ましい。この簡潔さによって、様々な異なるキャプション内容を作成する可能性も提供される。
【００５０】
ユーザの携帯電話を使用してキャプションを提供する実施形態では、キャプション・システムを対話型にすることができ、それによって、ユーザは、リモート・サーバと対話し、例えば、映画が開始される前に広告または質問表をやりとりすることができる。この対話を、例えば、ＵＲＬを受信しウェブサイト上の他の情報にリンクする、ユーザ装置上のウェブ・ブラウザを使用して実施することもできる。
【００５１】
前述の第１の実施形態では、鑑賞すべき映画のオーディオについてのテキスト・キャプションを提供していた。これらのキャプションは、すべてのキャプション、対話の字幕だけ、またはプロットの主要部分における字幕を含むことができる。同様な変更をオーディオ・キャプションについても適用することができる。
【図面の簡単な説明】
【００５２】
【図１】本発明を実施するキャプション・システムの概略全体図である。
【図２ａ】図１に示すキャプション・システム内で使用されるユーザ電話の主要構成要素を示す概略ブロック図である。
【図２ｂ】図１に示すリモート・ウェブ・サーバから図２ａに示す電話にダウンロードされるキャプション・ファイル内のキャプションを示すテーブルである。
【図２ｃ】図１に示すリモート・ウェブ・サーバから図２ａに示す携帯電話にダウンロードされる同期ファイルを示す図である。
【図２ｄ】同期信号のタイミングを示し、その間に携帯電話がそのマイクロホンからのオーディオ信号を処理するタイミング・ウィンドウを示すタイミング図である。
【図２ｅ】図２ａに示す電話のマイクロホンが受け取る例示のオーディオ信号、およびこの携帯電話の一部を形成するシグナチュア抽出器が生成するシグナチュア・ストリームを示す信号図である。
【図２ｆ】ユーザに対するキャプションの表示を鑑賞している映画と同期させるのに使用される、図２ａに示す携帯電話の一部を形成する相関器からの出力を示す図である。
【図２ｇ】ユーザに対して表示されるキャプション例を示す、図２ａに示す電話からのスクリーン・ショットを示す概略図である。
【図３】図１に示すキャプション・システムの一部を形成するリモート・ウェブ・サーバの主要構成要素を示す概略ブロック図である。
【図４】代替実施形態の携帯用ユーザ装置の主要構成要素を示す概略ブロック図である。
【図５】図４に示す携帯用ユーザ装置と共に使用されるリモート・サーバの主要構成要素を示す概略ブロック図である。
【図１】
2005515510.tif 000003
【図２ａ】
2005515510.tif 000004
【図２ｂ】
2005515510.tif 000005
【図２ｃ】
2005515510.tif 000006
【図２ｄ】
2005515510.tif 000007
【図２ｅ】
2005515510.tif 000008
【図２ｆ】
2005515510.tif 000009
【図２ｇ】
2005515510.tif 000010
【図３】
2005515510.tif 000011
【図４】
2005515510.tif 000012
【図５】
2005515510.tif 000013
【国際調査報告】
2005515510.tif 000014
2005515510.tif 000015
2005515510.tif 000016