(57)【要約】  オーディオデータ（例えば、オーディオブック）における位置をテキストデータ（例えば、電子書籍）における対応する位置にマッピングするマッピングを作成する技術が提供される。マッピングが自動又は手動で作成されるか否かに関係なく、オーディオデータとテキストデータの間のマッピングを使用する技術が提供される。デジタル作品（例えば、オーディオブック）の別のバージョンと対応する位置を識別するためにデジタル作品（例えば、電子書籍）のあるバージョンで設定されたブックマークが使用されるブックマーク切り替えに対して、マッピングが使用される。あるいは、マッピングを使用して、ユーザにより選択されたテキストに対応するオーディオを再生する。あるいは、マッピングを使用して、再生されているテキストに対応するオーディオに応答してテキストを自動的に強調表示する。あるいは、マッピングを使用して、あるメディアコンテキストで作成されたアノテーションが別のメディアコンテキストで使用される場所を判定する。
2014519058.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のコンピュータ装置により実行される方法であって、
テキストバージョンが存在する作品のオーディオバージョンを反映するオーディオデータを受信するステップと、
前記オーディオデータの音声−テキスト分析を実行して前記オーディオデータの部分に対してテキストを生成するステップと、
前記オーディオデータの前記部分に対して生成された前記テキストに基づいて、前記オーディオデータにおける複数のオーディオ位置と前記作品の前記テキストバージョンの対応する複数のテキスト位置との間のマッピングを生成するステップと、
を有することを特徴とする方法。
【請求項２】
前記オーディオデータの部分に対してテキストを生成するステップは、前記作品のテキストコンテキストに少なくとも部分的に基づいて前記オーディオデータの部分に対してテキストを生成するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記作品のテキストコンテキストに少なくとも部分的に基づいて前記オーディオデータの部分に対してテキストを生成するステップは、前記作品の前記テキストバージョンで使用されたグラマーの１つ以上の規則に少なくとも部分的に基づいてテキストを生成するステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記作品のテキストコンテキストに少なくとも部分的に基づいて前記オーディオデータの部分に対してテキストを生成するステップは、どの単語が前記作品の前記テキストバージョンにあるかに基づいてどの単語に前記部分が翻訳されうるかを限定するステップ又はそのサブセットを含むことを特徴とする請求項２に記載の方法。
【請求項５】
どの単語が前記作品の前記テキストバージョンにあるかに基づいてどの単語に前記部分が翻訳されうるかを限定するステップは、前記オーディオデータの所定の部分に対して、前記所定の部分に対応する前記作品の前記テキストバージョンのサブセクションを識別するステップと、前記単語を前記作品の前記テキストバージョンの前記サブセクションにおける単語のみに限定するステップとを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記作品の前記テキストバージョンの前記サブセクションを識別するステップは、前記音声−テキスト分析の前記オーディオデータにおける現在のオーディオ位置に対応する前記作品の前記テキストバージョンの現在のテキスト位置を維持するステップを含み、
前記作品の前記テキストバージョンの前記サブセクションは、前記現在のテキスト位置と関連付けられたセクションであることを特徴とする請求項５に記載の方法。
【請求項７】
前記部分は個々の単語に対応する部分を含み、前記マッピングは、個々の単語に対応する前記部分の前記位置を前記作品の前記テキストバージョンの個々の単語にマッピングすることを特徴とする請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
前記部分は個々の文に対応する部分を含み、前記マッピングは、個々の文に対応する前記部分の前記位置を前記作品の前記テキストバージョンの個々の文にマッピングすることを特徴とする請求項１乃至６のいずれか１項に記載の方法。
【請求項９】
前記部分は固定の量のデータに対応する部分を含み、前記マッピングは、固定の量のデータに対応する前記部分の前記位置を前記作品の前記テキストバージョンの対応する位置にマッピングすることを特徴とする請求項１乃至６のいずれか１項に記載の方法。
【請求項１０】
前記マッピングを生成することは、（１）アンカを前記オーディオデータに埋め込むこと、（２）アンカを前記作品の前記テキストバージョンに埋め込むこと、あるいは（３）前記オーディオデータ又は前記作品の前記テキストバージョンと関連付けて格納されるメディアオーバレイに前記マッピングを格納することを含むことを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
前記複数のテキスト位置のうちの１つ以上のテキスト位置の各々は、前記作品の前記テキストバージョンの相対位置を示すことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記複数のテキスト位置のうちのあるテキスト位置は前記作品の前記テキストバージョンの相対位置を示し、前記複数のテキスト位置のうちの別のテキスト位置は前記相対位置からの絶対位置を示すことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１３】
前記複数のテキスト位置のうちの１つ以上のテキスト位置の各々は、前記作品の前記テキストバージョン内のアンカを示すことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１４】
１つ以上のコンピュータ装置により実行される方法であって、
作品のテキストバージョンを受信するステップと、
前記テキストバージョンのテキスト−音声分析を実行して第１のオーディオデータを生成するステップと、
前記第１のオーディオデータ及び前記テキストバージョンに基づいて、前記第１のオーディオデータにおける第１の複数のオーディオ位置と前記作品の前記テキストバージョンの対応する複数のテキスト位置との間の第１のマッピングを生成するステップと、
前記テキストバージョンが存在する前記作品のオーディオバージョンを反映する第２のオーディオデータを受信するステップと、
（１）前記第１のオーディオデータと前記第２のオーディオデータとの比較と（２）前記第１のマッピングとに基づいて、前記第２のオーディオデータにおける第２の複数のオーディオ位置と前記作品の前記テキストバージョンの前記複数のテキスト位置との間の第２のマッピングを生成するステップと、
を有することを特徴とする方法。
【請求項１５】
１つ以上のコンピュータ装置により実行される方法であって、
オーディオ入力を受信するステップと、
前記オーディオ入力の音声−テキスト分析を実行して前記オーディオ入力の部分に対してテキストを生成するステップと、
前記オーディオ入力の部分に対して生成された前記テキストが現在表示されているテキストに一致するかを判定するステップと、
前記テキストが現在表示されているテキストに一致すると判定することに応答して、現在表示されている前記テキストを強調表示するステップと、
を有することを特徴とする方法。
【請求項１６】
テキストバージョンが存在する作品のオーディオバージョンを反映するオーディオデータを受信するオーディオデータ受信ユニットと、
前記オーディオデータ受信ユニットに結合された処理ユニットであって、
前記ディオデータの音声−テキスト分析を実行して前記オーディオデータの部分に対してテキストを生成し、
前記オーディオデータの前記部分に対して生成された前記テキストに基づいて、前記オーディオデータにおける複数のオーディオ位置と前記作品の前記テキストバージョンの対応する複数のテキスト位置との間のマッピングを生成する
ように構成された処理ユニットと、
を有することを特徴とする電子装置。
【請求項１７】
作品のテキストバージョンを受信するテキスト受信ユニットと、
前記テキスト受信ユニットに結合された処理ユニットであって、
前記テキストバージョンのテキスト−音声分析を実行して第１のオーディオデータを生成し、
前記第１のオーディオデータ及び前記テキストバージョンに基づいて、前記第１のオーディオデータにおける第１の複数のオーディオ位置と前記作品の前記テキストバージョンの対応する複数のテキスト位置との間の第１のマッピングを生成する
ように構成された処理ユニットと、
前記テキストバージョンが存在する前記作品のオーディオバージョンを反映する第２のオーディオデータを受信するオーディオデータ受信ユニットと、
を有し、
前記処理ユニットは、（１）前記第１のオーディオデータと前記第２のオーディオデータとの比較と（２）前記第１のマッピングとに基づいて、前記第２のオーディオデータにおける第２の複数のオーディオ位置と前記作品の前記テキストバージョンの前記複数のテキスト位置との間の第２のマッピングを生成することを特徴とする電子装置。
【請求項１８】
オーディオ入力を受信するように構成されたオーディオ受信ユニットと、
前記オーディオ受信ユニットに結合された処理ユニットであって、
前記オーディオ入力の音声−テキスト分析を実行して前記オーディオ入力の部分に対してテキストを生成し、
前記オーディオ入力の部分に対して生成された前記テキストが現在表示されているテキストに一致するかを判定し、
前記テキストが現在表示されているテキストに一致すると判定することに応答して、現在表示されている前記テキストを強調表示させる
ように構成された処理ユニットと、
を有することを特徴とする電子装置。
【請求項１９】
１つ以上のプロセッサと、前記１つ以上のプロセッサにより実行するために請求項１乃至１５のいずれか１項に記載の方法を実行するための命令を含む１つ以上のプログラムを格納したメモリとを備えることを特徴とする電子装置。
【請求項２０】
電子装置の１つ以上のプロセッサにより実行するために請求項１乃至１５のいずれか１項に記載の方法を実行するための命令を含む１つ以上のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項２１】
請求項１乃至１５のいずれか１項に記載の方法を実行する手段を備えることを特徴とする電子装置。
【請求項２２】
請求項１乃至１５のいずれか１項に記載の方法を実行する手段を備えることを特徴とする、電子装置において用いられる情報処理装置。
【請求項２３】
１つ以上のコンピュータ装置により実行される方法であって、
作品のテキストバージョン内の指定された位置を示す位置データを取得するステップと、
前記作品のオーディオバージョンの複数のオーディオ位置と前記作品の前記テキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のテキスト位置のうち前記指定された位置に対応する特定のテキスト位置を判定し、
前記特定のテキスト位置に基づいて、前記複数のオーディオ位置のうち前記特定のテキスト位置に対応する特定のオーディオ位置を判定するステップと、
前記特定のテキスト位置に基づいて判定された前記特定のオーディオ位置をメディアプレーヤに提供して、前記メディアプレーヤに前記オーディオデータの現在の再生位置として前記特定のオーディオ位置を設定させるステップと、
を有することを特徴とする方法。
【請求項２４】
前記取得するステップは、サーバがネットワークを介して第１の装置から前記位置データを受信するステップを含み、
前記検査するステップ及び前記提供するステップは、前記サーバにより実行され、
前記提供するステップは、前記サーバが前記メディアプレーヤを実行する第２の装置に前記特定のオーディオ位置を送出するステップを含む
ことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記第２の装置と前記第１の装置とは同一の装置であることを特徴とする請求項２４に記載の方法。
【請求項２６】
前記取得するステップ、前記検査するステップ、及び前記提供するステップは、前記作品の前記テキストバージョンを表示し前記メディアプレーヤを実行するコンピュータ装置により実行されることを特徴とする請求項２３に記載の方法。
【請求項２７】
前記作品の前記テキストバージョンを表示する装置が、前記装置のユーザからの入力なしに前記位置データを判定するステップを更に有することを特徴とする請求項２３に記載の方法。
【請求項２８】
ユーザから入力を受信するステップと、
前記入力の受信に応答して前記入力に基づいて前記位置データを判定するステップと、
を更に有することを特徴とする請求項２３乃至２７のいずれか１項に記載の方法。
【請求項２９】
前記特定のオーディオ位置を前記メディアプレーヤに提供するステップは、前記特定のオーディオ位置を前記メディアプレーヤに提供して、前記メディアプレーヤに前記現在の再生位置において開始する前記オーディオデータを処理させることにより、前記メディアプレーヤに前記処理されたオーディオデータからオーディオを生成させるステップを含み、
前記メディアプレーヤに前記オーディオデータを処理させるステップは、前記入力の受信に応答して実行されることを特徴とする請求項２８に記載の方法。
【請求項３０】
前記入力は、前記作品の前記テキストバージョンで複数の単語を選択し、
前記指定された位置は第１の指定された位置であり、
前記位置データは、前記作品の前記テキストバージョン内の前記第１の指定された位置とは異なる第２の指定された位置を更に示し、
前記検査するステップは、前記マッピングを検査して、
前記複数のテキスト位置のうち前記第２の指定された位置に対応する第２の特定のテキスト位置を判定し、
前記第２の特定のテキスト位置に基づいて、前記複数のオーディオ位置のうち前記第２の特定のテキスト位置に対応する第２の特定のオーディオ位置を判定するステップを含み、
前記特定のオーディオ位置を前記メディアプレーヤに提供するステップは、前記第２の特定のオーディオ位置を前記メディアプレーヤに提供して、前記現在の再生位置が前記第２の特定のオーディオ位置又はその近くに到達すると前記メディアプレーヤに処理を中止させるステップを含む
ことを特徴とする請求項２９に記載の方法。
【請求項３１】
ユーザからの入力に基づくアノテーションデータを取得するステップと、
前記指定された位置と関連付けて前記アノテーションデータを格納するステップと、
前記アノテーションデータに関する情報を表示させるステップと、
を更に有することを特徴とする請求項２３乃至３０のいずれか１項に記載の方法。
【請求項３２】
前記特定のオーディオ位置及び前記アノテーションデータに関する情報を表示させるステップは、
前記オーディオデータの現在の再生位置が前記特定のオーディオ位置又はその近くにある時を判定するステップと、
前記オーディオデータの前記現在の再生位置が前記特定のオーディオ位置又はその近くにあると判定されたことに応答して、前記アノテーションデータに関する情報を表示させるステップと、
を含むことを特徴とする請求項３１に記載の方法。
【請求項３３】
前記アノテーションデータはテキストデータを含み、
前記アノテーションデータに関する情報を表示させるステップは、前記テキストデータを表示させるステップを含む
ことを特徴とする請求項３１又は３２に記載の方法。
【請求項３４】
前記アノテーションデータは音声データを含み、
前記アノテーションデータに関する情報を表示させるステップは、前記音声データを処理してオーディオを生成するステップを含む
ことを特徴とする請求項３１乃至３３のいずれか１項に記載の方法。
【請求項３５】
１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行される１つ以上のプログラムを格納するメモリとを有し、前記プログラムは、請求項２３乃至３４のいずれか１項に記載の方法を実行するための命令を含むことを特徴とする電子装置。
【請求項３６】
電子装置の１つ以上のプロセッサによって実行される１つ以上のプログラムであって請求項２３乃至３４のいずれか１項に記載の方法を実行するための命令を含むプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項３７】
請求項２３乃至３４のいずれか１項に記載の方法を実行する手段を備えることを特徴とする電子装置。
【請求項３８】
請求項２３乃至３４のいずれか１項に記載の方法を実行する手段を備えることを特徴とする、電子装置において用いられる情報処理装置。
【請求項３９】
作品のテキストバージョン内の指定された位置を示す位置データを取得する位置データ取得ユニットと、
前記位置データ取得ユニットに結合された処理ユニットと、
を有し、
前記処理ユニットは、
前記作品のオーディオバージョンの複数のオーディオ位置と前記作品の前記テキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のテキスト位置のうち前記指定された位置に対応する特定のテキスト位置を判定し、
前記特定のテキスト位置に基づいて、前記複数のオーディオ位置のうち前記特定のテキスト位置に対応する特定のオーディオ位置を判定し、
前記特定のテキスト位置に基づいて判定された前記特定のオーディオ位置をメディアプレーヤに提供して、前記メディアプレーヤに前記オーディオデータの現在の再生位置として前記特定のオーディオ位置を設定させる
ことを特徴とする電子装置。
【請求項４０】
１つ以上のコンピュータ装置により実行される方法であって、
オーディオデータ内の指定された位置を示す位置データを取得するステップと、
前記オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のオーディオ位置のうち前記指定された位置に対応する特定のオーディオ位置を判定し、
前記特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記特定のオーディオ位置に対応する特定のテキスト位置を判定するステップと、
メディアプレーヤに前記特定のテキスト位置に関する情報を表示させるステップと、
を有することを特徴とする方法。
【請求項４１】
前記取得するステップは、サーバがネットワークを介して第１の装置から前記位置データを受信するステップを含み、
前記検査するステップ及び前記表示させるステップは、前記サーバにより実行され、
前記表示させるステップは、前記サーバが前記メディアプレーヤを実行する第２の装置に前記特定のテキスト位置を送出するステップを含む
ことを特徴とする請求項４０に記載の方法。
【請求項４２】
前記第２の装置と前記第１の装置とは同一の装置であることを特徴とする請求項４１に記載の方法。
【請求項４３】
前記取得するステップ、前記検査するステップ、及び前記表示させるステップは、前記作品の前記テキストバージョンを表示し前記メディアプレーヤを実行するコンピュータ装置により実行されることを特徴とする請求項４０に記載の方法。
【請求項４４】
前記オーディオデータを処理する装置が、前記装置のユーザからの入力なしに前記位置データを判定するステップを更に有することを特徴とする請求項４０に記載の方法。
【請求項４５】
ユーザから入力を受信するステップと、
前記入力の受信に応答して前記入力に基づいて前記位置データを判定するステップと、
を更に有することを特徴とする請求項４０乃至４４のいずれか１項に記載の方法。
【請求項４６】
前記表示させるステップは、前記メディアプレーヤに前記特定のテキスト位置に対応する前記作品の前記テキストバージョンの部分を表示させるステップを含み、
前記メディアプレーヤに前記作品の前記テキストバージョンの前記部分を表示させるステップは、前記入力の受信に応答して実行される
ことを特徴とする請求項４５に記載の方法。
【請求項４７】
前記入力は、前記オーディオデータのセグメントを選択し、
前記指定された位置は第１の指定された位置であり、
前記位置データは、前記オーディオデータ内の前記第１の指定された位置とは異なる第２の指定された位置を更に示し、
前記検査するステップは、前記マッピングを検査して、
前記複数のオーディオ位置のうち前記第２の指定された位置に対応する第２の特定のオーディオ位置を判定し、
前記第２の特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記第２の特定のオーディオ位置に対応する第２の特定のテキスト位置を判定するステップを含み、
前記メディアプレーヤに前記特定のテキスト位置に関する情報を表示させるステップは、前記メディアプレーヤに前記第２の特定のテキスト位置に関する情報を表示させるステップを含む
ことを特徴とする請求項４６に記載の方法。
【請求項４８】
前記指定された位置は、前記オーディオデータにおける現在の再生位置に対応し、
前記表示させるステップは、前記指定された位置における前記オーディオデータが処理されてオーディオが生成される時に実行され、
前記表示させるステップは、第２のメディアプレーヤに前記特定のテキスト位置において又はその近くで前記作品の前記テキストバージョン内のテキストを強調表示させるステップを含む
ことを特徴とする請求項４０乃至４７のいずれか１項に記載の方法。
【請求項４９】
ユーザからの入力に基づくアノテーションデータを取得するステップと、
前記指定された位置と関連付けて前記アノテーションデータを格納するステップと、
前記アノテーションデータに関する情報を表示させるステップと、
を更に有することを特徴とする請求項４０乃至４８のいずれか１項に記載の方法。
【請求項５０】
前記アノテーションデータに関する情報を表示させるステップは、
前記特定のテキスト位置に対応する前記作品の前記テキストバージョンの部分が表示される時を判定するステップと、
前記特定のテキスト位置に対応する前記作品の前記テキストバージョンの部分が表示されると判定されたことに応答して、前記アノテーションデータに関する情報を表示させるステップと、
を含むことを特徴とする請求項４９記載の方法。
【請求項５１】
前記アノテーションデータはテキストデータを含み、
前記アノテーションデータに関する情報を表示させるステップは、前記テキストデータを表示させるステップを含む
ことを特徴とする請求項４９又は５０に記載の方法。
【請求項５２】
前記アノテーションデータは音声データを含み、
前記アノテーションデータに関する情報を表示させるステップは、前記音声データを処理してオーディオを生成するステップを含む
ことを特徴とする請求項４９乃至５１のいずれか１項に記載の方法。
【請求項５３】
１つ以上のコンピュータ装置により実行される方法であって、
作品のオーディオバージョンの再生中に、
前記オーディオバージョン内の指定された位置を示す位置データを取得するステップと、
前記指定された位置に基づいて、前記オーディオバージョンの再生をいつ休止するかを示す休止データと関連付けられる前記作品のテキストバージョンの特定のテキスト位置を判定するステップと、
前記特定のテキスト位置が休止データと関連付けられていると判定されたことに応答して、前記オーディオバージョンの再生を休止するステップと、
を有することを特徴とする方法。
【請求項５４】
前記休止データは前記作品の前記テキストバージョン内にあることを特徴とする請求項５３に記載の方法。
【請求項５５】
前記特定のテキスト位置を判定するステップは、
前記オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のオーディオ位置のうち前記指定された位置に対応する特定のオーディオ位置を判定し、
前記特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記特定のオーディオ位置に対応する前記特定のテキスト位置を判定するステップ
を含むことを特徴とする請求項５３又は５４に記載の方法。
【請求項５６】
前記休止データは、前記作品の前記テキストバージョンで反映されたページの末尾に対応することを特徴とする請求項５３乃至５５のいずれか１項に記載の方法。
【請求項５７】
前記休止データは、前記作品の前記テキストバージョン内のテキストを含まないピクチャの直前の位置に対応することを特徴とする請求項５３乃至５５のいずれか１項に記載の方法。
【請求項５８】
ユーザ入力の受信に応答して前記オーディオバージョンの再生を継続するステップを更に有することを特徴とする請求項５３乃至５７のいずれか１項に記載の方法。
【請求項５９】
前記オーディオバージョンの再生が休止されてから所定時間が経過したことに応答して前記オーディオバージョンの再生を継続するステップを更に有することを特徴とする請求項５３乃至５７のいずれか１項に記載の方法。
【請求項６０】
１つ以上のコンピュータ装置により実行される方法であって、
作品のオーディオバージョンの再生中に、
前記オーディオバージョン内の指定された位置を示す位置データを取得するステップと、
前記指定された位置に基づいて、前記作品の前記テキストバージョンで反映された第１のページの末尾を示す前記ページ終了データと関連付けられる前記作品のテキストバージョンの特定のテキスト位置を判定するステップと、
前記特定のテキスト位置が前記ページ終了データと関連付けられていると判定されたことに応答して、自動的に前記第１のページの表示を中止し、前記第１のページに後続する第２のページを表示させるステップと、
を有することを特徴とする方法。
【請求項６１】
前記特定のテキスト位置を判定するステップは、
前記オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のオーディオ位置のうち前記指定された位置に対応する特定のオーディオ位置を判定し、
前記特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記特定のオーディオ位置に対応する前記特定のテキスト位置を判定するステップ
を含むことを特徴とする請求項６０に記載の方法。
【請求項６２】
１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行される１つ以上のプログラムを格納するメモリとを有し、前記プログラムは、請求項４０乃至６１のいずれか１項に記載の方法を実行するための命令を含むことを特徴とする電子装置。
【請求項６３】
電子装置の１つ以上のプロセッサによって実行される１つ以上のプログラムであって請求項４０乃至６１のいずれか１項に記載の方法を実行するための命令を含むプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項６４】
請求項４０乃至６１のいずれか１項に記載の方法を実行する手段を備えることを特徴とする電子装置。
【請求項６５】
請求項４０乃至６１のいずれか１項に記載の方法を実行する手段を備えることを特徴とする、電子装置において用いられる情報処理装置。
【請求項６６】
オーディオデータ内の指定された位置を示す位置データを取得する位置取得ユニットと、
前記位置取得ユニットに結合された処理ユニットと、
を有し、
前記処理ユニットは、
前記オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のオーディオ位置のうち前記指定された位置に対応する特定のオーディオ位置を判定し、
前記特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記特定のオーディオ位置に対応する特定のテキスト位置を判定し、
メディアプレーヤに前記特定のテキスト位置に関する情報を表示させる
ことを特徴とする電子装置。
【請求項６７】
作品のオーディオバージョンの再生中に前記オーディオバージョン内の指定された位置を示す位置データを取得する位置取得ユニットと、
前記位置取得ユニットに結合された処理ユニットと、
を有し、
前記処理ユニットは、
作品のオーディオバージョンの再生中に、
前記指定された位置に基づいて、前記作品の前記テキストバージョンで反映された第１のページの末尾を示す前記ページ終了データと関連付けられる前記作品のテキストバージョンの特定のテキスト位置を判定し、
前記特定のテキスト位置が前記ページ終了データと関連付けられていると判定することに応答して、自動的に前記第１のページの表示を中止させ、前記第１のページに後続する第２のページを表示させる
ことを特徴とする電子装置。
【請求項６８】
１つ以上のコンピュータ装置により実行される方法であって、
作品の第１のバージョンが処理されている間にユーザからの入力に基づくアノテーションデータを取得するステップと、
前記アノテーションデータを前記作品と関連付ける関連付けデータを格納するステップと、
前記作品の前記第１のバージョンとは異なる第２のバージョンが処理されている間に前記アノテーションデータに関する情報を表示させるステップと、
を有することを特徴とする方法。
【請求項６９】
前記取得するステップは、前記作品の前記第１のバージョン内の指定された位置を示す位置データを判定するステップを含み、
前記格納するステップは、前記作品と関連付けて前記位置データを格納するステップを含み、
前記指定された位置は、前記作品の前記第２のバージョン内の特定の位置に対応し、
前記表示させるステップは、前記アノテーションデータに関する前記情報を前記第２のバージョンの前記特定の位置と関連付けて表示させるステップを含む
ことを特徴とする請求項６８に記載の方法。
【請求項７０】
前記第１のバージョンは前記作品のオーディオバージョンであり、前記第２のバージョンは前記作品のテキストバージョンであり、
前記アノテーションデータに関する情報を表示させるステップは、
前記特定の位置に対応する前記作品の前記テキストバージョンの部分が表示された時を判定するステップと、
前記特定の位置に対応する前記作品の前記テキストバージョンの部分が表示されたと判定されたことに応答して、前記アノテーションデータに関する情報を表示させるステップと、
を含むことを特徴とする請求項６９に記載の方法。
【請求項７１】
前記第１のバージョンは前記作品のテキストバージョンであり、前記第２のバージョンは前記作品のオーディオバージョンであり、
前記アノテーションデータに関する情報を表示させるステップは、
前記特定の位置に対応する前記作品の前記オーディオバージョンの部分が再生された時を判定するステップと、
前記特定の位置に対応する前記作品の前記テキストバージョンの部分が再生されたと判定されたことに応答して、前記アノテーションデータに関する情報を表示させるステップと、
を含むことを特徴とする請求項６９に記載の方法。
【請求項７２】
前記アノテーションデータはテキストデータを含み、
前記アノテーションデータに関する情報を表示させるステップは、前記テキストデータを表示させるステップを含む
ことを特徴とする請求項６８乃至７１のいずれか１項に記載の方法。
【請求項７３】
前記アノテーションデータは音声データを含み、
前記アノテーションデータに関する情報を表示させるステップは、前記音声データを処理してオーディオを生成させるステップを含む
ことを特徴とする請求項６８乃至７１のいずれか１項に記載の方法。
【請求項７４】
１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行される１つ以上のプログラムを格納したメモリとを有し、前記プログラムは、請求項６８乃至７３のいずれか１項に記載の方法を実行するための命令を含むことを特徴とする電子装置。
【請求項７５】
電子装置の１つ以上のプロセッサによって実行される１つ以上のプログラムであって請求項６８乃至７３のいずれか１項に記載の方法を実行するための命令を含むプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項７６】
請求項６８乃至７３のいずれか１項に記載の方法を実行する手段を備えることを特徴とする電子装置。
【請求項７７】
請求項６８乃至７３のいずれか１項に記載の方法を実行する手段を備えることを特徴とする、電子装置において用いられる情報処理装置。
【請求項７８】
作品の第１のバージョンが処理されている間に、ユーザからの入力に基づくアノテーションデータを取得するアノテーション取得ユニットと、
前記アノテーション取得ユニット及び前記関連付けデータ格納ユニットに結合された処理ユニットと、
を有し、
前記処理ユニットは、
前記アノテーションデータを前記作品と関連付ける関連付けデータを格納させ、
前記作品の前記第１のバージョンとは異なる第２のバージョンが処理されている間に前記アノテーションデータに関する情報を表示させる
ように構成される
ことを特徴とする電子装置。
【請求項７９】
１つ以上のコンピュータ装置により実行される方法であって、
作品の第１のバージョン内に第１のブックマークを設定するデータを受信するステップと、
前記作品の前記第１のバージョンの複数の第１の位置と、前記作品の前記第１のバージョンとは異なる第２のバージョンの対応する複数の第２の位置との間のマッピングを検査して、
前記複数の第１の位置のうち前記第１のブックマークに対応する特定の第１の位置を判定し、
前記特定の第１の位置に基づいて、前記複数の第２の位置のうち前記特定の第１の位置に対応する特定の第２の位置を判定するステップと、
前記作品の前記第２のバージョン内の第２のブックマークとして前記特定の第２の位置を設定するデータを格納させるステップと、
を有することを特徴とする方法。
【請求項８０】
前記受信するステップは、サーバがネットワークを介して第１の装置から前記入力を受信するステップを含み、
前記検査するステップは前記サーバにより実行され、
前記格納させるステップは、前記サーバが前記特定の第２の位置を第２の装置に送出するステップを含む
ことを特徴とする請求項７９に記載の方法。
【請求項８１】
前記第１の装置と前記第２の装置とは異なる装置であることを特徴とする請求項８０に記載の方法。
【請求項８２】
前記作品の前記第１のバージョンは、前記作品のオーディオバージョン又は前記作品のテキストバージョンのうちの一方であり、前記作品の前記第２のバージョンは、前記オーディオバージョン又は前記テキストバージョンのうちの他方であることを特徴とする請求項７９乃至８１のいずれか１項に記載の方法。
【請求項８３】
１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行される１つ以上のプログラムを格納するメモリとを有し、前記プログラムは、請求項７９乃至８２のいずれか１項に記載の方法を実行するための命令を含むことを特徴とする電子装置。
【請求項８４】
電子装置の１つ以上のプロセッサによって実行される１つ以上のプログラムであって請求項７９乃至８２のいずれか１項に記載の方法を実行するための命令を含むプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項８５】
請求項７９乃至８２のいずれか１項に記載の方法を実行する手段を備えることを特徴とする電子装置。
【請求項８６】
請求項７９乃至８２のいずれか１項に記載の方法を実行する手段を備えることを特徴とする、電子装置において用いられる情報処理装置。
【請求項８７】
作品の第１のバージョン内に第１のブックマークを設定するデータを受信するデータ受信ユニットと、
前記データ受信ユニットに結合された処理ユニットと、
を有し、
前記処理ユニットは、
前記作品の前記第１のバージョンの複数の第１の位置と、前記作品の前記第１のバージョンとは異なる第２のバージョンの対応する複数の第２の位置との間のマッピングを検査して、
前記複数の第１の位置のうち前記第１のブックマークに対応する特定の第１の位置を判定し、
前記特定の第１の位置に基づいて、前記複数の第２の位置のうち前記特定の第１の位置に対応する特定の第２の位置を判定し、
前記作品の前記第２のバージョン内の第２のブックマークとして前記特定の第２の位置を設定するデータを格納させる
ように構成される
ことを特徴とする電子装置。
【請求項８８】
装置により作品のテキストの部分を表示させるステップと、
テキストの前記部分が表示されている間、
前記装置においてユーザからオーディオ入力を受信するステップと、
前記オーディオ入力の受信に応答して、
前記オーディオ入力を分析して１つ以上の単語を識別するステップと、
前記１つ以上の単語が前記テキストの前記部分に反映されるかを判定するステップと、
前記１つ以上の単語が前記テキストの前記部分に反映されると判定されたことに応答して前記装置により視覚表示を表示させるステップと、
を有することを特徴とする方法。
【請求項８９】
前記視覚表示を表示させるステップは、前記１つ以上の単語に対応するテキストデータを強調表示させるステップを含むことを特徴とする請求項８８に記載の方法。
【請求項９０】
１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行される１つ以上のプログラムを格納したメモリとを有し、前記プログラムは、請求項８８又は８９に記載の方法を実行するための命令を含むことを特徴とする電子装置。
【請求項９１】
電子装置の１つ以上のプロセッサにより実行される１つ以上のプログラムであって請求項８８又は８９に記載の方法を実行するための命令を含むプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項９２】
請求項８８又は８９に記載の方法を実行する手段を備えることを特徴とする電子装置。
【請求項９３】
請求項８８又は８９に記載の方法を実行する手段を備えることを特徴とする、電子装置において用いられる情報処理装置。
【請求項９４】
装置により作品のテキストの部分を表示させる処理ユニットと、
前記処理ユニットに結合され、前記装置においてユーザからオーディオ入力を受信するオーディオ受信ユニットと、
を有し、
前記処理ユニットは、
前記オーディオ受信ユニットが前記オーディオ入力を受信したことに応答して、
前記オーディオ入力を分析して１つ以上の単語を識別し、
前記１つ以上の単語が前記テキストの前記部分に反映されるかを判定し、
前記１つ以上の単語が前記テキストの前記部分に反映されると判定したことに応答して前記装置により視覚表示を表示させる
ことを特徴とする電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオデータを分析してそこに反映された単語を検出し、これらの単語を文書中の単語と比較することで、テキストデータとオーディオデータとの間のマッピングを自動的に作成することに関する。
【背景技術】
【０００２】
携帯電子装置のコスト低下及びデジタルコンテンツの需要の高まりにより、かつて印刷媒体上で出版されていた創作的な作品の多くは、デジタル媒体として入手できるようになってきている。例えば、デジタル書籍（「電子書籍」としても知られている）は、電子書籍リーダ（又は「電子リーダ」）として知られている専用の携帯電子装置と共に普及してきている。また、タブレットコンピュータ及びスマートフォン等の他の携帯装置は、単に電子リーダとして設計されたものではないが、電子リーダとして動作する機能を有する。
【０００３】
電子書籍がフォーマットされる一般的な規格は、国際デジタル出版フォーラム（ＩＤＰＦ）により無料で一般に開放された電子書籍規格であるＥＰＵＢ規格（「電子出版」の省略形）である。書籍の内容を構成するために、ＥＰＵＢファイルはＸＨＴＭＬ１．１（又はＤＴＢｏｏｋ）を使用する。スタイリング及びレイアウトは、ＯＰＳスタイルシートと呼ばれるＣＳＳの部分集合を使用して行われる。
【０００４】
いくつかの書かれた作品、特に人気作品の場合、書かれた作品のオーディオバージョンが作成される。例えば、書かれた作品を読む有名人（又は心地よい声の人）の録音が作成され、オンライン又は実在店舗で購入できるようになる。
【０００５】
消費者が電子書籍及び電子書籍のオーディオバージョン（すなわち、「オーディオブック」）の両方を購入するのは珍しいことではない。ある場合では、ユーザは、電子書籍全体を読んでからオーディオブックを聴くことを望む。他の場合では、ユーザは、自身の状況に応じて書籍を読んだり聴いたりする。例えば、運動しているかあるいは通勤中に運転している間、ユーザは、書籍のオーディオバージョンを聴くことが多いであろう。一方、就寝前にソファーでくつろいでいるときは、ユーザは、書籍の電子書籍バージョンを読むことが多い。しかし、このような読んだり聴いたりの移行には面倒を伴う。ユーザが電子書籍で止めた場所を記憶してオーディオブックで開始する場所を手動で特定したり、オーディオブックで止めた場所を記憶して電子書籍で開始する場所を手動で特定しなければならないためである。ユーザが中断した書籍で何が起こっていたかを明確に記憶している場合であっても、何が起こっているかを認識していることで、必ずしもこれらの出来事に対応する電子書籍又はオーディオブックの部分が見つけやすくなるわけではない。そのため、そのような移行は依然として面倒である。従って、電子書籍とオーディオブックとの間の切り替えは、非常に時間がかかる。
【０００６】
仕様書「ＥＰＵＢメディアオーバレイ３．０」は、ＳＭＩＬ（同期マルチメディア統合言語）、パッケージ文書、ＥＰＵＢスタイルシート、並びに同期されたテキスト及びオーディオの出版物の表現に対するＥＰＵＢコンテンツ文書の使用法を規定する。出版物の予め録音されたナレーションは、各々がテキストの部分に対応する一連のオーディオクリップとして表現されうる。予め録音されたナレーションを構成する一連のオーディオクリップにおける単一のオーディオクリップの各々は、一般に、単一の句又は段落を表すが、他のクリップ又は文書のテキストに対する順序は推測しない。メディアオーバレイは、ＳＭＩＬマークアップを使用して構造化されたオーディオナレーションをＥＰＵＢコンテンツ文書におけるそれに対応するテキストに結び付けることにより、この同期の問題を解決する。メディアオーバレイは、これらのクリップの再生シーケンスを規定できるようにする簡略化されたＳＭＩＬ３．０のサブセットである。
【０００７】
しかし、メディア・オーバレイ・ファイルの作成はほぼ手動処理である。従って、作品のオーディオバージョンとテキストバージョンとの間のマッピングの精度は非常に粗い。例えばメディア・オーバレイ・ファイルは、電子書籍における各段落の冒頭を書籍のオーディオバージョンの対応する位置と関連付けることができる。特に小説用のメディア・オーバレイ・ファイルが例えば単語単位の細かいレベルの精度のマッピングを含まない理由は、そのような非常に精度の細かいメディア・オーバレイ・ファイルを作成するのに多大な人為的労力がかかるからである。
【０００８】
本節で説明した手法は、追跡可能な手法であるが、必ずしも事前に想像又は追跡した手法ではない。従って、特に指示のない限り、本節で説明した手法のいずれかが、単に本節に含まれたことをもって従来技術であるとみなされるべきではない。
【発明の概要】
【０００９】
いくつかの実施形態によると、テキストバージョンが存在する作品のオーディオバージョンを反映するオーディオデータを受信することと、オーディオデータの音声−テキスト分析を実行してオーディオデータの部分に対してテキストを生成することと、オーディオデータの部分に対して生成されたテキストに基づいて、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを生成することとを備える方法が提供される。方法は、１つ以上のコンピュータ装置により実行される。
【００１０】
いくつかの実施形態において、オーディオデータの部分に対してテキストを生成することは、作品のテキストコンテキストに少なくとも部分的に基づいてオーディオデータの部分に対してテキストを生成することを含む。いくつかの実施形態において、作品のテキストコンテキストに少なくとも部分的に基づいてオーディオデータの部分に対してテキストを生成することは、作品のテキストバージョンで使用されたグラマーの１つ以上の規則に少なくとも部分的に基づいてテキストを生成することを含む。いくつかの実施形態において、作品のテキストコンテキストに少なくとも部分的に基づいてオーディオデータの部分に対してテキストを生成することは、どの単語が作品のテキストバージョンにあるかに基づいてどの単語に部分が翻訳されうるかを限定すること又はその部分集合を含む。いくつかの実施形態において、どの単語が作品のテキストバージョンにあるかに基づいてどの単語に部分が翻訳されうるかを限定することは、オーディオデータの所定の部分に対して、所定の部分に対応する作品のテキストバージョンのサブセクションを識別することと、単語を作品のテキストバージョンのサブセクションにおける単語のみに限定することとを含む。いくつかの実施形態において、作品のテキストバージョンのサブセクションを識別することは、音声−テキスト分析のオーディオデータにおける現在のオーディオ位置に対応する作品のテキストバージョンの現在のテキスト位置を維持することを含み、作品のテキストバージョンのサブセクションは、現在のテキスト位置と関連付けられたセクションである。
【００１１】
いくつかの実施形態において、部分は個々の単語に対応する部分を含み、マッピングは、個々の単語に対応する部分の位置を作品のテキストバージョンの個々の単語にマッピングする。いくつかの実施形態において、部分は個々の文に対応する部分を含み、マッピングは、個々の文に対応する部分の位置を作品のテキストバージョンの個々の文にマッピングする。いくつかの実施形態において、部分は固定の量のデータに対応する部分を含み、マッピングは、固定の量のデータに対応する部分の位置を作品のテキストバージョンの対応する位置にマッピングする。
【００１２】
いくつかの実施形態において、マッピングを生成することは、（１）アンカをオーディオデータに埋め込むこと、（２）アンカを作品のテキストバージョンに埋め込むこと、あるいは（３）オーディオデータ又は作品のテキストバージョンと関連付けて格納されるメディアオーバレイにマッピングを格納することを含む。
【００１３】
いくつかの実施形態において、複数のテキスト位置のうちの１つ以上のテキスト位置の各々は、作品のテキストバージョンの相対位置を示す。いくつかの実施形態において、複数のテキスト位置のうちのあるテキスト位置は作品のテキストバージョンの相対位置を示し、複数のテキスト位置のうちの別のテキスト位置は相対位置からの絶対位置を示す。いくつかの実施形態において、複数のテキスト位置のうちの１つ以上のテキスト位置の各々は、作品のテキストバージョン内のアンカを示す。
【００１４】
いくつかの実施形態によると、作品のテキストバージョンを受信することと、テキストバージョンのテキスト−音声分析を実行して第１のオーディオデータを生成することと、第１のオーディオデータ及びテキストバージョンに基づいて、第１のオーディオデータにおける第１の複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間の第１のマッピングを生成することと、テキストバージョンが存在する作品のオーディオバージョンを反映する第２のオーディオデータを受信することと、（１）第１のオーディオデータと第２のオーディオデータとの比較及び（２）第１のマッピングに基づいて、第２のオーディオデータにおける第２の複数のオーディオ位置と作品のテキストバージョンの複数のテキスト位置との間の第２のマッピングを生成することとを備える方法が提供される。方法は、１つ以上のコンピュータ装置により実行される。
【００１５】
いくつかの実施形態によると、オーディオ入力を受信することと、オーディオ入力の音声−テキスト分析を実行してオーディオ入力の部分に対してテキストを生成することと、オーディオ入力の部分に対して生成されたテキストが現在表示されているテキストに一致するかを判定することと、テキストが現在表示されているテキストに一致すると判定することに応答して、現在表示されているテキストを強調表示させることとを備える方法が提供される。方法は、１つ以上のコンピュータ装置により実行される。
【００１６】
いくつかの実施形態によると、テキストバージョンが存在する作品のオーディオバージョンを反映するオーディオデータを受信するように構成されたオーディオデータ受信ユニットを備える電子装置が提供される。電子装置は、オーディオデータ受信ユニットに結合された処理ユニットを更に備える。処理ユニットは、オーディオデータの音声−テキスト分析を実行してオーディオデータの部分に対してテキストを生成し、且つオーディオデータの部分に対して生成されたテキストに基づいて、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを生成するように構成される。
【００１７】
いくつかの実施形態によると、作品のテキストバージョンを受信するように構成されたテキスト受信ユニットを備える電子装置が提供される。電子装置は、テキストバージョンのテキスト−音声分析を実行して第１のオーディオデータを生成し、且つ第１のオーディオデータ及びテキストバージョンに基づいて、第１のオーディオデータにおける第１の複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間の第１のマッピングを生成するように構成されたテキスト受信ユニットに結合された処理ユニットを更に備える。電子装置は、テキストバージョンが存在する作品のオーディオバージョンを反映する第２のオーディオデータを受信するように構成されたオーディオデータ受信ユニットを更に備える。処理ユニットは、（１）第１のオーディオデータと第２のオーディオデータとの比較及び（２）第１のマッピングに基づいて、第２のオーディオデータにおける第２の複数のオーディオ位置と作品のテキストバージョンの複数のテキスト位置との間の第２のマッピングを生成するように更に構成される。
【００１８】
いくつかの実施形態によると、オーディオ入力を受信するように構成されたオーディオ受信ユニットを備える電子装置が提供される。電子装置は、オーディオ受信ユニットに結合された処理ユニットを更に備える。処理ユニットは、オーディオ入力の音声−テキスト分析を実行してオーディオ入力の部分に対してテキストを生成し、オーディオ入力の部分に対して生成されたテキストが現在表示されているテキストに一致するかを判定し、且つテキストが現在表示されているテキストに一致すると判定することに応答して、現在表示されているテキストを強調表示させるように構成される。
【００１９】
いくつかの実施形態によると、作品のテキストバージョン内の指定された位置を示す位置データを取得することと、作品のオーディオバージョンの複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、複数のテキスト位置のうち指定された位置に対応する特定のテキスト位置を判定し且つ特定のテキスト位置に基づいて、複数のオーディオ位置のうち特定のテキスト位置に対応する特定のオーディオ位置を判定することとを備える方法が提供される。方法は、特定のテキスト位置に基づいて判定された特定のオーディオ位置をメディアプレーヤに提供して、メディアプレーヤにオーディオデータの現在の再生位置として特定のオーディオ位置を設定させることを備える。方法は、１つ以上のコンピュータ装置により実行される。
【００２０】
いくつかの実施形態において、取得することは、ネットワークを介して第１の装置から位置データを受信するサーバを含み、検査すること及び提供することはサーバにより実行され、提供することは、メディアプレーヤを実行する第２の装置に特定のオーディオ位置を送出するサーバを含む。いくつかの実施形態において、第２の装置及び第１の装置は同一の装置である。いくつかの実施形態において、取得すること、検査すること及び提供することは、作品のテキストバージョンを表示するように構成され且つメディアプレーヤを実行するコンピュータ装置により実行される。いくつかの実施形態において、方法は、作品のテキストバージョンを表示するように構成される装置において、装置のユーザからの入力なしで位置データを判定することを更に備える。
【００２１】
いくつかの実施形態において、方法は、ユーザから入力を受信することと、入力の受信に応答して入力に基づいて位置データを判定することとを更に備える。いくつかの実施形態において、特定のオーディオ位置をメディアプレーヤに提供することは、特定のオーディオ位置をメディアプレーヤに提供して、メディアプレーヤに現在の再生位置において開始するオーディオデータを処理させることにより、メディアプレーヤに処理されたオーディオデータからオーディオを生成させることを含み、メディアプレーヤにオーディオデータを処理させることは、入力の受信に応答して実行される。
【００２２】
いくつかの実施形態において、入力は、作品のテキストバージョンで複数の単語を選択し、指定された位置は第１の指定された位置であり、位置データは、作品のテキストバージョン内の第１の指定された位置とは異なる第２の指定された位置を更に示し、検査することは、マッピングを検査して、複数のテキスト位置のうち第２の指定された位置に対応する第２の特定のテキスト位置を判定し且つ第２の特定のテキスト位置に基づいて、複数のオーディオ位置のうち第２の特定のテキスト位置に対応する第２の特定のオーディオ位置を判定することを更に含み、特定のオーディオ位置をメディアプレーヤに提供することは、第２の特定のオーディオ位置をメディアプレーヤに提供して、現在の再生位置が第２の特定のオーディオ位置又はその近くに到達するとメディアプレーヤに処理を中止させることを含む。
【００２３】
いくつかの実施形態において、方法は、ユーザからの入力に基づいているアノテーションデータを取得することと、指定された位置と関連付けてアノテーションデータを格納することと、アノテーションデータに関する情報を表示させることとを更に備える。いくつかの実施形態において、特定のオーディオ位置及びアノテーションデータに関する情報を表示させることは、オーディオデータの現在の再生位置が特定のオーディオ位置又はその近くにある時を判定することと、オーディオデータの現在の再生位置が特定のオーディオ位置又はその近くにあると判定することに応答して、アノテーションデータに関する情報を表示させることとを含む。
【００２４】
いくつかの実施形態において、アノテーションデータはテキストデータを含み、アノテーションデータに関する情報を表示させることは、テキストデータを表示することを含む。いくつかの実施形態において、アノテーションデータは声データを含み、アノテーションデータに関する情報を表示させることは、声データを処理してオーディオを生成することを含む。
【００２５】
いくつかの実施形態によると、作品のテキストバージョン内の指定された位置を示す位置データを取得するように構成された位置データ取得ユニットを備える電子装置が提供される。電子装置は、位置データ取得ユニットに結合された処理ユニットを更に備える。処理ユニットは、作品のオーディオバージョンの複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、複数のテキスト位置のうち指定された位置に対応する特定のテキスト位置を判定し且つ特定のテキスト位置に基づいて、複数のオーディオ位置のうち特定のテキスト位置に対応する特定のオーディオ位置を判定し、且つ特定のテキスト位置に基づいて判定された特定のオーディオ位置をメディアプレーヤに提供して、メディアプレーヤにオーディオデータの現在の再生位置として特定のオーディオ位置を設定させるように構成される。
【００２６】
いくつかの実施形態によると、オーディオデータ内の指定された位置を示す位置データを取得することと、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、複数のオーディオ位置のうち指定された位置に対応する特定のオーディオ位置を判定し且つ特定のオーディオ位置に基づいて、複数のテキスト位置のうち特定のオーディオ位置に対応する特定のテキスト位置を判定することと、メディアプレーヤに特定のテキスト位置に関する情報を表示させることとを備える方法が提供される。方法は、１つ以上のコンピュータ装置により実行される。
【００２７】
いくつかの実施形態において、取得することは、ネットワークを介して第１の装置から位置データを受信するサーバを含み、検査すること及びさせることはサーバにより実行され、させることは、メディアプレーヤを実行する第２の装置に特定のテキスト位置を送出するサーバを含む。いくつかの実施形態において、第２の装置及び第１の装置は同一の装置である。いくつかの実施形態において、取得すること、検査すること及びさせることは、作品のテキストバージョンを表示するように構成され且つメディアプレーヤを実行するコンピュータ装置により実行される。いくつかの実施形態において、方法は、オーディオデータを処理するように構成される装置において、装置のユーザからの入力なしで位置データを判定することを更に備える。
【００２８】
いくつかの実施形態において、方法は、ユーザから入力を受信することと、入力の受信に応答して入力に基づいて位置データを判定することとを更に備える。いくつかの実施形態において、させることは、メディアプレーヤに特定のテキスト位置に対応する作品のテキストバージョンの部分を表示させることを含み、メディアプレーヤに作品のテキストバージョンの部分を表示させることは、入力の受信に応答して実行される。
【００２９】
いくつかの実施形態において、入力はオーディオデータのセグメントを選択し、指定された位置は第１の指定された位置であり、位置データは、オーディオデータ内の第１の指定された位置とは異なる第２の指定された位置を更に示し、検査することは、マッピングを検査して、複数のオーディオ位置のうち第２の指定された位置に対応する第２の特定のオーディオ位置を判定し且つ第２の特定のオーディオ位置に基づいて、複数のテキスト位置のうち第２の特定のオーディオ位置に対応する第２の特定のテキスト位置を判定することを更に含み、メディアプレーヤに特定のテキスト位置に関する情報を表示させることは、メディアプレーヤに第２の特定のテキスト位置に関する情報を表示させることを更に含む。
【００３０】
いくつかの実施形態において、指定された位置は、オーディオデータにおける現在の再生位置に対応し、させることは、指定された位置におけるオーディオデータが処理されてオーディオが生成される時に実行され、させることは、第２のメディアプレーヤに特定のテキスト位置において又はその近くで作品のテキストバージョン内のテキストを強調表示させることを含む。
【００３１】
いくつかの実施形態において、方法は、ユーザからの入力に基づいているアノテーションデータを取得することと、指定された位置と関連付けてアノテーションデータを格納することと、アノテーションデータに関する情報を表示させることとを更に備える。いくつかの実施形態において、アノテーションデータに関する情報を表示させることは、特定のテキスト位置に対応する作品のテキストバージョンの部分が表示される時を判定することと、特定のテキスト位置に対応する作品のテキストバージョンの部分が表示されると判定することに応答して、アノテーションデータに関する情報を表示させることとを含む。
【００３２】
いくつかの実施形態において、アノテーションデータはテキストデータを含み、アノテーションデータに関する情報を表示させることは、テキストデータを表示させることを含む。いくつかの実施形態において、アノテーションデータは声データを含み、アノテーションデータに関する情報を表示させることは、声データを処理してオーディオを生成させることを含む。
【００３３】
いくつかの実施形態によると、作品のオーディオバージョンの再生中、オーディオバージョン内の指定された位置を示す位置データを取得することと、指定された位置に基づいて、オーディオバージョンの再生をいつ休止するかを示す休止データと関連付けられる作品のテキストバージョンの特定のテキスト位置を判定することと、特定のテキスト位置が休止データと関連付けられると判定することに応答して、オーディオバージョンの再生を休止することとを備える方法が提供される。方法は、１つ以上のコンピュータ装置により実行される。
【００３４】
いくつかの実施形態において、休止データは作品のテキストバージョン内にある。いくつかの実施形態において、特定のテキスト位置を判定することは、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、複数のオーディオ位置のうち指定された位置に対応する特定のオーディオ位置を判定し且つ特定のオーディオ位置に基づいて、複数のテキスト位置のうち特定のオーディオ位置に対応する特定のテキスト位置を判定することを含む。
【００３５】
いくつかの実施形態において、休止データは、作品のテキストバージョンで反映されたページの末尾に対応する。いくつかの実施形態において、休止データは、作品のテキストバージョン内のテキストを含まないピクチャの直前の位置に対応する。
【００３６】
いくつかの実施形態において、方法は、ユーザ入力の受信に応答してオーディオバージョンの再生を継続することを更に備える。いくつかの実施形態において、方法は、オーディオバージョンの再生が休止されてからの特定の長さの時間の経過に応答して、オーディオバージョンの再生を継続することを更に備える。
【００３７】
いくつかの実施形態によると、作品のオーディオバージョンの再生中、オーディオバージョン内の指定された位置を示す位置データを取得することと、指定された位置に基づいて、作品のテキストバージョンで反映された第１のページの末尾を示すページ終了データと関連付けられる作品のテキストバージョンの特定のテキスト位置を判定することと、特定のテキスト位置がページ終了データと関連付けられると判定することに応答して、自動的に第１のページの表示を中止させること及び第１のページに後続する第２のページを表示させることとを備える方法が提供される。方法は、１つ以上のコンピュータ装置により実行される。
【００３８】
いくつかの実施形態において、方法は、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、複数のオーディオ位置のうち指定された位置に対応する特定のオーディオ位置を判定し且つ特定のオーディオ位置に基づいて、複数のテキスト位置のうち特定のオーディオ位置に対応する特定のテキスト位置を判定することを更に備える。
【００３９】
いくつかの実施形態によると、オーディオデータ内の指定された位置を示す位置データを取得するように構成された位置取得ユニットを備える電子装置が提供される。電子装置は、位置取得ユニットに結合された処理ユニットを更に備える。処理ユニットは、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、複数のオーディオ位置のうち指定された位置に対応する特定のオーディオ位置を判定し且つ特定のオーディオ位置に基づいて、複数のテキスト位置のうち特定のオーディオ位置に対応する特定のテキスト位置を判定し、且つメディアプレーヤに特定のテキスト位置に関する情報を表示させるように構成される。
【００４０】
いくつかの実施形態によると、作品のオーディオバージョンの再生中にオーディオバージョン内の指定された位置を示す位置データを取得するように構成された位置取得ユニットを備える電子装置が提供される。電子装置は、作品のオーディオバージョンの再生中、指定された位置に基づいて、作品のテキストバージョンで反映された第１のページの末尾を示すページ終了データと関連付けられる作品のテキストバージョンの特定のテキスト位置を判定し、且つ特定のテキスト位置がページ終了データと関連付けられると判定することに応答して、自動的に第１のページの表示を中止させ且つ第１のページに後続する第２のページを表示させるように構成された位置取得ユニットに結合された処理ユニットを更に備える。
【００４１】
いくつかの実施形態によると、作品の第１のバージョンが処理されている間にユーザからの入力に基づいているアノテーションデータを取得することと、アノテーションデータを作品と関連付ける関連付けデータを格納することと、作品の第１のバージョンとは異なる第２のバージョンが処理されている間にアノテーションデータに関する情報を表示させることと備える方法が提供され、方法は、１つ以上のコンピュータ装置により実行される。
【００４２】
いくつかの実施形態において、取得することは、作品の第１のバージョン内の指定された位置を示す位置データを判定することを含み、格納することは、作品と関連付けて位置データを格納することを含み、指定された位置は、作品の第２のバージョン内の特定の位置に対応し、させることは、アノテーションデータに関する情報を第２のバージョンの特定の位置と関連付けて表示させることを含む。
【００４３】
いくつかの実施形態において、第１のバージョンは作品のオーディオバージョンであり、第２のバージョンは作品のテキストバージョンであり、アノテーションデータに関する情報を表示させることは、特定の位置に対応する作品のテキストバージョンの部分が表示される時を判定することと、特定の位置に対応する作品のテキストバージョンの部分が表示されると判定することに応答して、アノテーションデータに関する情報を表示させることとを含む。いくつかの実施形態において、第１のバージョンは作品のテキストバージョンであり、第２のバージョンは作品のオーディオバージョンであり、アノテーションデータに関する情報を表示させることは、特定の位置に対応する作品のオーディオバージョンの部分が再生される時を判定することと、特定の位置に対応する作品のテキストバージョンの部分が再生されると判定することに応答して、アノテーションデータに関する情報を表示させることとを含む。
【００４４】
いくつかの実施形態において、アノテーションデータはテキストデータを含み、アノテーションデータに関する情報を表示させることは、テキストデータを表示させることを含む。いくつかの実施形態において、アノテーションデータは声データを含み、アノテーションデータに関する情報を表示させることは、声データを処理してオーディオを生成させることを含む。
【００４５】
いくつかの実施形態によると、作品の第１のバージョンが処理されている間にユーザからの入力に基づいているアノテーションデータを取得するように構成されたアノテーション取得ユニットと、アノテーションデータを作品と関連付ける関連付けデータを格納させ、且つ作品の第１のバージョンとは異なる第２のバージョンが処理されている間にアノテーションデータに関する情報を表示させるように構成されたアノテーション取得ユニット及び関連付けデータ格納ユニットに結合された処理ユニットとを備える電子装置が提供される。
【００４６】
いくつかの実施形態において、作品の第１のバージョン内に第１のブックマークを設定するデータを受信することを備える方法が提供される。方法は、作品の第１のバージョンの複数の第１の位置と作品の第２のバージョンの対応する複数の第２の位置との間のマッピングを検査して、複数の第１の位置のうち第１のブックマークに対応する特定の第１の位置を判定し且つ特定の第１の位置に基づいて、複数の第２の位置のうち特定の第１の位置に対応する特定の第２の位置を判定することを更に備え、作品の第１のバージョンは作品の第２のバージョンとは異なる。方法は、作品の第２のバージョン内の第２のブックマークとして特定の第２の位置を設定するデータを格納させることを更に備え、１つ以上のコンピュータ装置により実行される。
【００４７】
いくつかの実施形態において、受信することは、ネットワークを介して第１の装置から入力を受信するサーバを含み、検査することはサーバにより実行され、させることは、特定の第２の位置を第２の装置に送出するサーバを含む。いくつかの実施形態において、第１の装置及び第２の装置は異なる装置である。いくつかの実施形態において、作品の第１のバージョンは、作品のオーディオバージョン又は作品のテキストバージョンのうちの一方であり、作品の第２のバージョンは、オーディオバージョン又はテキストバージョンのうちの他方である。
【００４８】
いくつかの実施形態によると、作品の第１のバージョン内に第１のブックマークを設定するデータを受信するように構成されたデータ受信ユニットを備える電子装置が提供される。電子装置は、作品の第１のバージョンの複数の第１の位置と作品の第２のバージョンの対応する複数の第２の位置との間のマッピングを検査して、複数の第１の位置のうち第１のブックマークに対応する特定の第１の位置を判定し且つ特定の第１の位置に基づいて、複数の第２の位置のうち特定の第１の位置に対応する特定の第２の位置を判定するように構成されたデータ受信ユニットに結合された処理ユニットを更に備え、作品の第１のバージョンは作品の第２のバージョンとは異なる。処理ユニットは、作品の第２のバージョン内の第２のブックマークとして特定の第２の位置を設定するデータを格納させるように更に構成される。
【００４９】
いくつかの実施形態によると、装置により作品のテキストの部分を表示させることと、テキストの部分が表示されている間に装置においてユーザからオーディオ入力を受信することとを備える方法が提供される。方法は、オーディオ入力の受信に応答して、オーディオ入力を分析して１つ以上の単語を識別することと、１つ以上の単語がテキストの部分に反映されるかを判定することと、１つ以上の単語がテキストの部分に反映されると判定することに応答して装置により視覚表示を表示させることとを更に備える。いくつかの実施形態において、視覚表示を表示させることは、１つ以上の単語に対応するテキストデータを強調表示させることを含む。
【００５０】
いくつかの実施形態によると、装置により作品のテキストの部分を表示させるように構成された処理ユニットと、処理ユニットに結合され且つ装置においてユーザからオーディオ入力を受信するように構成されたオーディオ受信ユニットとを備える電子装置が提供される。処理ユニットは、オーディオ受信ユニットにおいてオーディオ入力を受信することに応答して、オーディオ入力を分析して１つ以上の単語を識別し、１つ以上の単語がテキストの部分に反映されるかを判定し、且つ１つ以上の単語がテキストの部分に反映されると判定することに応答して装置により視覚表示を表示させるように更に構成される。
いくつかの実施形態によると、電子装置の１つ以上のプロセッサにより実行するために上述の方法のうちのいずれかを実行する命令を含む１つ以上のプログラムを格納するコンピュータ読み取り可能な記憶媒体が提供される。いくつかの実施形態によると、上述の方法のうちのいずれかを実行する手段を備える電子装置が提供される。いくつかの実施形態において、１つ以上のプロセッサと、１つ以上のプロセッサにより実行するために上述の方法のうちのいずれかを実行する命令を含む１つ以上のプログラムを格納するメモリとを含む電子装置が提供される。いくつかの実施形態において、上述の方法のうちのいずれかを実行する手段を備える電子装置用の情報処理装置が提供される。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態に係るテキストデータとオーディオデータとの間のマッピングを自動的に作成する処理を示すフローチャート。
【図２】本発明の一実施形態に係るテキストデータとオーディオデータとの間のマッピングを生成するのにオーディオ−テキスト相関器が行う処理を示すブロック図。
【図３】本発明の一実施形態に係るこれらのシナリオのうちの１つ以上においてマッピングを使用する処理を示すフローチャート。
【図４】本発明の一実施形態に係る本明細書において説明する処理のうちのいくつかを実現するために使用されうるシステム４００のブロック図。
【図５Ａ】、
【図５Ｂ】本発明の一実施形態に係るブックマーク切り替えの処理を示すフローチャート。
【図６】本発明の一実施形態に係る作品のオーディオバージョンが再生されている間に作品のテキストバージョンからのテキストを強調表示させる処理を示すフローチャート。
【図７】本発明の一実施形態に係るユーザからのオーディオ入力に応答して表示されたテキストを強調表示する処理を示すフローチャート。
【図８Ａ】、
【図８Ｂ】本発明の一実施形態に係るあるメディアコンテキストから別のメディアコンテキストにアノテーションを転送する処理を示すフローチャート。
【図９】本発明の一実施形態が実現されうるコンピュータシステムを示すブロック図。
【図１０】、
【図１１】、
【図１２】、
【図１３】、
【図１４】、
【図１５】、
【図１６】、
【図１７】、
【図１８】いくつかの実施形態に係る電子装置を示す機能ブロック図。
【発明を実施するための形態】
【００５２】
以下の記述において、説明の目的で、本発明を完全に理解するために多くの特定の詳細を説明する。しかし、これらの特定の詳細を用いずに本発明が実施されうることは明らかであろう。他の例において、本発明を不必要に不明瞭にするのを避けるために、よく知られている構造及び装置をブロック図の形式で示す。
【００５３】
（オーディオ−テキストマッピングの自動生成の概要）
１つの手法によれば、マッピングが作品のオーディオバージョン（例えば、オーディオブック）内の位置を作品のテキストバージョン（例えば、電子書籍）の対応する位置とマッピングする場合、マッピングが自動的に作成される。オーディオバージョンに対して音声−テキスト分析を実行してオーディオバージョンで反映された単語を識別することにより、マッピングが作成される。識別された単語は、作品のテキストバージョンの対応する単語とマッチングされる。マッピングは、識別された単語の位置（オーディオバージョン内の）を、識別された単語が見つけられる作品のテキストバージョンの位置と関連付ける。
【００５４】
（オーディオバージョン形式）
オーディオデータは、例えば書籍、ウェブページ、パンフレット、チラシ等の作品の、テキストバージョンのテキストのオーディオリーディングを反映する。オーディオデータは、１つ以上のオーディオファイルに格納される。オーディオファイルは、多くのファイル形式のうちの１つであればよい。オーディオファイル形式の例はＡＡＣ、ＭＰ３、ＷＡＶ及びＰＣＭを含むが、それらに限定されない。
【００５５】
（テキストバージョン形式）
同様に、オーディオデータがマッピングされるテキストデータは、多くの文書ファイル形式のうちの１つで格納される。文書ファイル形式の例はＤＯＣ、ＴＸＴ、ＰＤＦ、ＲＴＦ、ＨＴＭＬ、ＸＨＴＭＬ及びＥＰＵＢを含むが、それらに限定されない。
【００５６】
一般的なＥＰＵＢ文書は、（ａ）各ＸＨＴＭＬコンテンツ文書を一覧表示し、（ｂ）ＸＨＴＭＬコンテンツ文書の順序を示すファイルを含む。例えば、書籍が２０個の章を含む場合、その書籍に対するＥＰＵＢ文書は、２０個の異なるＸＨＴＭＬ文書、すなわち章毎に１つのＸＨＴＭＬ文書を有してもよい。ＥＰＵＢ文書を伴うファイルは、書籍における章の順序に対応するＸＨＴＭＬ文書の順序を識別する。従って、単一の（論理）文書（ＥＰＵＢ文書か別の種類の文書かに関係なく）は、複数のデータ項目又はファイルを含んでもよい。
【００５７】
テキストデータに反映された単語又は文字は、１つの言語であってもよいし、複数の言語であってもよい。例えば、テキストデータのある部分は英語であってもよく、テキストデータの別の部分はフランス語であってもよい。本明細書では英語の単語の例が提供されるが、本発明の実施形態は、文字ベースの言語を含む他の言語にも適用されうる。
【００５８】
（マッピングにおけるオーディオ位置及びテキスト位置）
本明細書において説明するように、マッピングは、各マッピングレコードがオーディオ位置をテキスト位置と関連付けるマッピングレコードの集合を含む。
【００５９】
各オーディオ位置はオーディオデータにおける位置を識別する。オーディオ位置は、オーディオデータ内の絶対位置、オーディオデータ内の相対位置又は絶対位置と相対位置との組合せを示してもよい。絶対位置の一例として、オーディオ位置は、オーディオデータへのタイムオフセット（例えば、４時間３２分２４秒を示す０４：３２：２４）又は例Ａにおいて上述されたような時間範囲を示してもよい。相対位置の一例として、オーディオ位置は、章番号、段落番号及び行番号を示してもよい。絶対位置と相対位置との組合せの一例として、オーディオ位置は、章番号及び章番号により示された章へのタイムオフセットを示してもよい。
【００６０】
同様に、各テキスト位置は、作品のテキストバージョン等のテキストデータにおける位置を識別する。テキスト位置は、作品のテキストバージョン内の絶対位置、作品のテキストバージョン内の相対位置又は絶対位置と相対位置との組合せを示してもよい。絶対位置の一例として、テキスト位置は、作品のテキストバージョンへのバイトオフセット及び／又は作品のテキストバージョン内の「アンカ」を示してもよい。アンカは、テキストの特定の位置又は部分を識別するテキストデータ内のメタデータである。アンカは、エンドユーザに対して表示されるテキストデータにおけるテキストとは別に格納されてもよく、あるいはエンドユーザに対して表示されるテキストの間に格納されてもよい。例えばテキストデータが、
「Why did the chicken＜i name=“123"/＞cross the road?」
という文を含むとする。この場合、「＜i name=“123"/＞」がアンカである。その文がユーザに対して表示される場合、ユーザには、
「Why did the chicken cross the road?」
のみが見える。同様に、同一の文は、
「＜i name=“123"/＞Why＜i name=“124"/＞did＜i name=“125"/＞the＜i name=“126"/＞chicken＜i name=“127"/＞cross＜i name=“128"/＞the＜i name=“129"/＞road?」
のような複数のアンカを有してもよい。この例において、文における各単語の前にアンカがある。
【００６１】
相対位置の一例として、テキスト位置は、ページ番号、章番号、段落番号及び／又は行番号を示してもよい。絶対位置と相対位置との組合せの一例として、テキスト位置は、章番号及び章番号により示された章へのアンカを示してもよい。
【００６２】
テキスト位置及びオーディオ位置を示す方法の例は、ＳＭＩＬ（同期マルチメディア統合言語）、ＥＰＵＢスタイルシート及びＥＰＵＢコンテンツ文書の使用法を規定する名称を「ＥＰＵＢメディアオーバレイ３．０」とする仕様書において提供される。テキスト位置をオーディオ位置と関連付け且つ仕様書において提供される関連付けの一例は以下の通りである。
【００６３】
＜par＞
＜text src=“chapter1.xhtml#sentence1"/＞
＜audio src=“chapter1_audio.mp3" clipBegin=“23s" clipEnd=“45s"/＞
＜/par＞
【００６４】
（例Ａ）
例Ａにおいては、「par」要素は、「テキスト」要素及び「オーディオ」要素の、２つの子要素を含む。テキスト要素は、書籍の第１章の内容を含むＸＨＴＭＬ文書内の特定の文を識別する属性「src」を含む。オーディオ要素は、書籍の第１章のオーディオバージョンを含むオーディオファイルを識別する「src」属性と、オーディオファイル内のオーディオクリップが開始する場所を識別する「clipBegin」属性と、オーディオファイル内のオーディオクリップが終了する場所を識別する「clipEnd」属性とを含む。従って、オーディオファイルにおける２３秒〜４５秒は、書籍の第１章（chapter1）の最初の文に対応する。
【００６５】
（テキストとオーディオとの間のマッピングの作成）
一実施形態によれば、作品のテキストバージョンとその作品のオーディオバージョンとの間のマッピングが自動的に生成される。マッピングが自動的に生成されるため、手動のテキスト−オーディオマッピング技術を使用するより非常に細かい精度を使用でき実際的である。自動生成されたテキスト−オーディオマッピングの各々は、各々がテキストバージョンのテキスト位置をオーディオバージョンのオーディオ位置と関連付ける複数のマッピングレコードを含む。
【００６６】
図１は、本発明の一実施形態に係る作品のテキストバージョンとその作品のオーディオバージョンとの間のマッピングを自動的に作成する処理１００を示すフローチャートである。ステップ１１０において、音声−テキスト分析器は、作品のオーディオバージョンを反映するオーディオデータを受信する。ステップ１２０において、音声−テキスト分析器は、オーディオデータを分析している間、オーディオデータの部分のテキストを生成する。ステップ１３０において、音声−テキスト分析器は、オーディオデータの部分に対して生成されたテキストに基づいて、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを生成する。
【００６７】
ステップ１３０は、生成されたテキストを作品のテキストバージョンのテキストと比較して、生成されたテキストが配置される作品のテキストバージョン内の場所を決定する音声−テキスト分析器を含んでもよい。音声−テキスト分析器は、作品のテキストバージョンで見つけられる生成されたテキストの部分毎に、（１）オーディオデータの対応する部分が見つけられたオーディオデータ内の場所を示すオーディオ位置を、（２）テキストの部分が見つけられた作品のテキストバージョン内の場所を示すテキスト位置と関連付ける。
【００６８】
（テキストコンテキスト）
全ての文書は「テキストコンテキスト」を有する。作品のテキストバージョンのテキストコンテキストは、作品のテキストバージョンの本質的な特徴（例えば、作品のテキストバージョンが書かれた言語、作品のテキストバージョンが使用する特定の単語、作品のテキストバージョンが使用するグラマー及び句読法、作品のテキストバージョンが構造化される方法等）、並びに作品の非本質的な特徴（例えば、作品の作成期間、作品のジャンル、作品の作者等）を含む。
【００６９】
作品が異なればテキストコンテキストも異なる。例えば、古典英語の小説で使用されるグラマーは、現代の詩のグラマーとはかなり異なるであろう。従って、ある特定の単語の順序はあるグラマーの規則に従うことができるが、その同一の単語の順序は別のグラマーの規則を破る恐れがある。同様に、古典英語の小説及び現代の詩の双方において使用されるグラマーは、ある１０代の若者から別の１０代の若者に送出されるテキストメッセージで使用されるグラマーとは異なるであろう（あるいはそのグラマーがない）。
【００７０】
上述したように、本明細書において説明する１つの技術は、作品のオーディオバージョンの音声−テキスト変換を実行することにより、作品のオーディオバージョンと同一の作品のテキストバージョンとの間の精度の細かいマッピングを自動的に作成する。一実施形態において、作品のオーディオバージョンに対して実行される音声−テキスト分析の精度を向上させるために、作品のテキストコンテキストが使用される。例えば、作品において採用されたグラマーを判定するために、音声−テキスト分析器（又は別の処理）は、音声−テキスト分析を実行する前に作品のテキストバージョンを分析することができる。次に音声−テキスト分析器は、作品のオーディオバージョンの音声−テキスト分析の精度を向上させるために、そのように取得されたグラマー情報を利用することができる。
【００７１】
作品のテキストバージョンに基づいて作品のグラマーを自動的に判定する代わりにあるいはそれに加えて、ユーザは、作品の作者が従うグラマーの１つ以上の規則を識別する入力を行ってもよい。識別されたグラマーと関連付けられた規則は、音声−テキスト分析器に入力され、分析器が作品のオーディオバージョンの単語を認識するのを支援する。
【００７２】
（テキストバージョンに基づく辞書候補の限定）
一般に音声−テキスト分析器は、英語の全ての単語及び選択的に他の言語の一部の単語を実質的に認識するように構成又は設計されなければならない。従って、音声−テキスト分析器は、大規模な単語辞書へアクセスできなければならない。音声−テキスト動作の間に音声−テキスト分析器が単語を選択する辞書を本明細書では音声−テキスト分析器の「辞書候補」と呼ぶ。一般的な辞書候補における一意の単語の数は、約５００，０００個である。
【００７３】
一実施形態において、作品のオーディオバージョンの音声−テキスト分析を実行する際、作品のテキストバージョンからのテキストが考慮される。特に、一実施形態において、作品のオーディオバージョンの音声−テキスト分析の間、音声−テキスト分析器により使用される辞書候補は、作品のテキストバージョンの単語の特定の集合に制限される。すなわち、作品のテキストバージョンに実際に現れる単語だけが、その作品のオーディオバージョンに対して実行される音声−テキスト動作中に「候補」となる。
【００７４】
特定の作品の音声−テキスト翻訳において使用される辞書候補を作品のテキストバージョンに現れる単語に限定することで、音声−テキスト動作は大幅に改善するであろう。例えば、特定の作品における一意の単語の数が２０，０００個であると仮定する。従来の音声−テキスト分析器は、オーディオの特定の部分が５００，０００個の単語のうちのどの特定の単語に対応するかを判定するのに苦労するであろう。しかし、作品のテキストバージョンの２０，０００個の一意の単語のみを考慮する場合、オーディオの同一の部分は、明確に１つの特定の単語に対応するであろう。従って、そのような単語数が非常に小さな辞書を用いる場合には、音声−テキスト分析器の精度は著しく向上するであろう。
【００７５】
（現在位置に基づく辞書候補の限定）
精度を向上するために、辞書候補は、作品のテキストバージョンの全ての単語よりも非常に少ない単語に制限されてもよい。一実施形態において、辞書候補は、作品のテキストバージョンの特定の部分において見つけられた単語に限定される。例えば、作品の音声−テキスト翻訳の間、作品のテキストバージョンに対する翻訳動作の「現在の翻訳位置」をほぼ追跡できる。そのような追跡は、例えば（ａ）これまでの音声−テキスト動作の間に生成されているテキストを（ｂ）作品のテキストバージョンと比較することで実行されてもよい。
【００７６】
現在の翻訳位置が判定されると、辞書候補は、現在の翻訳位置に基づいて更に制限されてもよい。例えば一実施形態において、辞書候補は、現在の翻訳位置の後の作品のテキストバージョン内に現れる単語のみに限定される。従って、現在の翻訳位置の後ではなくその前に見つけられる単語は、辞書候補から効率的に除去される。辞書候補が小さいほど、音声−テキスト分析器がオーディオデータの部分を間違った単語に翻訳する可能性が低くなるため、そのような除去により音声−テキスト分析器の精度は向上するであろう。
【００７７】
別の例として、音声−テキスト分析の前に、オーディオブック及びデジタル書籍は、複数のセグメント又はセクションに分割されてもよい。オーディオブックはオーディオ・セクション・マッピングと関連付けられてもよく、デジタル書籍はテキスト・セクション・マッピングと関連付けられてもよい。例えば、オーディオ・セクション・マッピング及びテキスト・セクション・マッピングは、各章が開始又は終了する場所を識別する。これらのそれぞれのマッピングは、辞書候補を限定するために音声−テキスト分析器により使用される。例えば音声−テキスト分析器は、自身がオーディオ・セクション・マッピングに基づいてオーディオブックの第４章を分析していると判定する場合、デジタル書籍の第４章を識別し、辞書候補を第４章において見つけられた単語に限定するためにテキスト・セクション・マッピングを使用する。
【００７８】
関連する一実施形態において、音声−テキスト分析器は、現在の翻訳位置が移動するにつれて移動するスライディングウィンドウを採用する。音声−テキスト分析器は、オーディオデータを分析している時、作品のテキストバージョン「に沿って」スライディングウィンドウを移動させる。スライディングウィンドウは、作品のテキストバージョン内の２つの位置を示す。例えばスライディングウィンドウの境界は、（ａ）現在の翻訳位置の前の段落の冒頭と、（ｂ）現在の翻訳位置の後の、３つ目の段落の末尾とに定めることができる。辞書候補は、これらの２つの位置の間に現れる単語のみに制限される。
【００７９】
特定の例について上述したが、ウィンドウは、作品のテキストバージョン内のあらゆる量のテキストにわたってもよい。例えばウィンドウは、絶対量のテキスト、例えば６０個の文字にわたってもよい。別の例として、ウィンドウは、作品のテキストバージョンからのテキストの相対量、例えば１０個の単語、テキストの３つの「行」、２つの文又はテキストの１つの「ページ」にわたってもよい。相対量のシナリオの場合、どれくらいの作品のテキストバージョンが行又はページを構成するのかを判定するために、音声−テキスト分析器は、作品のテキストバージョン内のフォーマッティングデータを使用してもよい。例えば作品のテキストバージョンは、作品のテキストバージョンのコンテンツ内でページの開始又はページの末尾を示すページ標識（例えば、ＨＴＭＬタグ又はＸＭＬタグの形式の）を含んでもよい。
【００８０】
一実施形態において、ウィンドウの開始は現在の翻訳位置に対応する。例えば音声−テキスト分析器は、作品のテキストバージョンで最後に一致した単語を示す現在のテキスト位置及びオーディオデータにおいて最後に識別された単語を示す現在のオーディオ位置を保持する。ナレータ（オーディオデータにおいて声が反映される）が録音中に作品のテキストバージョンのテキストを読み間違えるか、自身のコンテンツを追加するか、あるいは作品のテキストバージョンの部分を読み飛ばさない限り、音声−テキスト分析器がオーディオデータにおいて検出する次の単語（すなわち、現在のオーディオ位置の後の）は、作品のテキストバージョンの次の単語（すなわち、現在のテキスト位置の後の）である可能性が最も高い。双方の位置を保持することにより、音声−テキスト翻訳の精度は著しく向上するであろう。
【００８１】
（オーディオ−オーディオの相関性を使用したマッピングの作成）
一実施形態において、作品のオーディオバージョンと作品のテキストバージョンとの間のマッピングを自動作成するために、テキスト−音声生成器及びオーディオ−テキスト相関器が使用される。図２は、マッピングを生成するために使用されたこれらの分析器及びデータを示すブロック図である。作品（例えば、ＥＰＵＢ文書）のテキストバージョン２１０は、テキスト−音声生成器２２０に入力される。テキスト−音声生成器２２０は、ソフトウェア、ハードウェア又はハードウェアとソフトウェアとの組合せで実現されうる。ソフトウェアで実現されるかハードウェアで実現されるかに関係なく、テキスト−音声生成器２２０は、単一のコンピュータ装置上で実現されてもよいし、複数のコンピュータ装置で分散されてもよい。
【００８２】
テキスト−音声生成器２２０は、文書２１０に基づいてオーディオデータ２３０を生成する。オーディオデータ２３０の生成中、テキスト−音声生成器２２０（又は不図示の別の構成要素）は、オーディオ−文書マッピング２４０を作成する。オーディオ−文書マッピング２４０は、文書２１０内の複数のテキスト位置を生成されたオーディオデータ２３０内の対応するオーディオ位置にマッピングする。
【００８３】
例えば、テキスト−音声生成器２２０が文書２１０内の位置Ｙに配置された単語に対してオーディオデータを生成すると仮定する。単語に対して生成されたオーディオデータがオーディオデータ２３０内の位置Ｘに配置されると更に仮定する。文書２１０内の単語の位置とオーディオデータ２３０における対応するオーディオの位置との間の相関性を反映するために、マッピングは位置Ｘと位置Ｙとの間に作成されるであろう。
【００８４】
オーディオの対応する単語又は句が生成される際に文書２１０において単語又は句が発生する場所をテキスト−音声生成器２２０が認識しているため、対応する単語又は句の間の各マッピングは容易に生成されうる。
【００８５】
オーディオ−テキスト相関器２６０は、生成されたオーディオデータ２３０、オーディオブック２５０及びオーディオ−文書マッピング２４０を入力として受け入れる。オーディオ−テキスト相関器２６０は、主に２つのステップ、すなわちオーディオ−オーディオ相関ステップ及び探索ステップを実行する。オーディオ−オーディオ相関ステップの場合、オーディオ−テキスト相関器２６０は、生成されたオーディオデータ２３０をオーディオブック２５０と比較して、オーディオデータ２３０の部分とオーディオブック２５０の部分との間の相関性を判定する。例えばオーディオ−テキスト相関器２６０は、オーディオデータ２３０において示された単語毎にオーディオブック２５０における対応する単語の位置を判定してもよい。
【００８６】
オーディオデータ２３０が分割される精度は、相関をとるための実現例によって異なる。例えば、オーディオデータ２３０における各単語とオーディオブック２５０における対応する各単語との間の相関がとられる。あるいは、固定の持続時間間隔（例えば、１分おきのオーディオに対して１つのマッピング）に基づいて相関をとってもよい。更に別の代替例においては、段落又は章の境界、重要な休止（例えば、３秒を超える沈黙）等の他の基準、あるいはオーディオブック２５０内のオーディオマーカ等のオーディオブック２５０におけるデータに基づく他の位置に基づいて得られたオーディオの部分に対して、相関をとってもよい。
【００８７】
オーディオデータ２３０の部分とオーディオブック２５０の部分との間の相関が判定された後、生成されたオーディオデータ２３０内のオーディオ位置に対応するテキスト位置（マッピング２４０において示された）を識別するために、オーディオ−テキスト相関器２６０はオーディオ−文書マッピング２４０を使用する。次に、オーディオ−テキスト相関器２６０は、テキスト位置をオーディオブック２５０内のオーディオ位置と関連付けて、文書−オーディオマッピング２７０においてマッピングレコードを作成する。
【００８８】
例えば、オーディオブック２５０の部分（位置Ｚに配置された）が位置Ｘに配置される生成されたオーディオデータ２３０の部分に一致すると仮定する。位置Ｘと文書２１０内の位置Ｙとを関連付けるマッピングレコード（オーディオ−文書マッピング２４０における）に基づいて、オーディオブック２５０の位置Ｚを文書２１０内の位置Ｙと関連付ける文書−オーディオマッピング２７０におけるマッピングレコードが作成される。
【００８９】
オーディオ−テキスト相関器２６０は、オーディオデータ２３０の各部分に対するオーディオ−オーディオ相関ステップ及び探索ステップを繰り返し実行する。従って、文書−オーディオマッピング２７０は、各々が文書２１０内の位置をオーディオブック２５０内の位置にマッピングする複数のマッピングレコードを含む。
【００９０】
一実施形態において、オーディオデータ２３０の各部分に対するオーディオ−オーディオ相関ステップの直後に、オーディオのその部分に対する探索ステップが行われる。従って、文書−オーディオマッピング２７０は、オーディオデータ２３０の次の部分に進む前にオーディオデータ２３０の部分毎に作成されてもよい。あるいは、オーディオ−オーディオ相関ステップは、何らかの探索ステップが実行される前にオーディオデータ２３０の多くの部分又は全ての部分に対して実行されてもよい。全てのオーディオ−オーディオ相関がとられた後、全ての部分に対する探索ステップはひとまとまりで実行されうる。
【００９１】
（マッピング精度）
マッピングは複数の属性を有し、複数の属性のうちの１つは、マッピングにおけるマッピングレコードの数を示すマッピングのサイズである。マッピングの別の属性は、マッピングの「精度」である。マッピングの「精度」は、デジタル作品のサイズに対するマッピングにおけるマッピングレコードの数を示す。従って、マッピングの精度は、デジタル作品によって異なってもよい。例えば、２００枚の「ページ」を含むデジタル書籍に対する第１のマッピングは、デジタル書籍における段落毎のマッピングレコードしか含まない。従って、第１のマッピングは１０００個のマッピングレコードを含んでもよい。一方、２０枚のページを含むデジタル「児童」書に対する第２のマッピングは、児童書における単語毎のマッピングレコードを含む。従って、第２のマッピングは８００個のマッピングレコードを含んでもよい。第１のマッピングは第２のマッピングよりも多くのマッピングレコードを含むが、第２のマッピングの精度は第１のマッピングの精度よりも細かい。
【００９２】
一実施形態において、マッピングの精度は、マッピングを生成する音声−テキスト分析器への入力に基づいて指令されてもよい。例えばユーザは、音声−テキスト分析器にマッピングを生成させる前に特定の精度を指定してもよい。特定の精度の例は以下のものを含むが、それらに限定されない。
【００９３】
−単語の精度（すなわち、単語毎の関連付け）
−文の精度（すなわち、文毎の関連付け）
−段落の精度（すなわち、段落毎の関連付け）
−１０個の単語の精度（すなわち、デジタル作品における１０個の単語部分毎のマッピング）
−１０秒の精度（すなわち、１０秒のオーディオ毎のマッピング）
別の例として、ユーザはデジタル作品の種類（例えば、小説、児童書、短編小説）を指定してもよく、音声−テキスト分析器（又は別の処理）は、作品の種類に基づいて精度を判定する。例えば、児童書は単語の精度と関連付けられてもよく、小説は文の精度と関連付けられてもよい。
【００９４】
マッピングの精度は、同一のデジタル作品内においても変動してもよい。例えば、デジタル書籍の最初の３個の文字に対するマッピングが文の精度を有してもよい一方で、デジタル書籍の残りの文字に対するマッピングは単語の精度を有する。
【００９５】
（テキスト−オーディオ移行の間に実行中のマッピング生成）
オーディオ−テキストマッピングは、ユーザがそれに依存する必要がある前に生成されることが多いが、一実施形態においてはユーザがユーザの装置上のオーディオデータ及び／又はテキストデータの使用を開始した後あるいは実行時に生成される。例えばユーザは、タブレットコンピュータを使用してデジタル書籍のテキストバージョンを読む。タブレットコンピュータは、タブレットコンピュータがユーザに対して表示したデジタル書籍の最後のページ又はセクションを追跡する。最後のページ又はセクションは、「テキストブックマーク」により識別される。
【００９６】
その後、ユーザは、同一の作品のオーディオブックバージョンの再生を選択する。再生装置は、ユーザがデジタル書籍を読んでいた同一のタブレットコンピュータであってもよく、あるいは別の装置であってもよい。オーディオブックが再生される装置に関係なく、テキストブックマークが検索され、音声−テキスト分析がオーディオブックの少なくとも一部に対して実行される。音声−テキスト分析の間、「一時的な」マッピングレコードが生成され、生成されたテキストとオーディオブック内の対応する位置との間の相関がとられる。
【００９７】
テキスト及び相関のレコードが生成されると、テキストブックマークに対応する生成されたテキストを判定するために、テキスト−テキスト比較が使用される。次に、テキストブックマークに対応する生成されたテキストの部分に対応するオーディオブックの部分を識別するために、一時的なマッピングレコードが使用される。その後、オーディオブックの再生がその位置から開始される。
【００９８】
音声−テキスト分析が実行されるオーディオブックの部分は、テキストブックマークに対応する部分に限定されてもよい。例えば、オーディオブックのある特定の部分が開始及び／又は終了する場所を示すオーディオ・セクション・マッピングが既に存在していてもよい。例えばオーディオ・セクション・マッピングは、各章が開始する場所、１つ以上のページが開始する場所等を示してもよい。そのようなオーディオ・セクション・マッピングは、オーディオブック全体に対して音声−テキスト分析を実行する必要がないように、音声−テキスト分析を開始する場所を判定するのに有用であってもよい。例えば、テキストブックマークがデジタル書籍の第１２章内の位置を示し、且つオーディオデータと関連付けられたオーディオ・セクション・マッピングがオーディオデータにおいて第１２章が開始する場所を識別する場合、オーディオブックの最初の１１個の章のいずれに対しても音声−テキスト分析を実行する必要はない。例えばオーディオデータは、２０個のオーディオファイル、章毎に１つのオーディオファイルから構成されてもよい。従って、第１２章に対応するオーディオファイルのみが音声−テキスト分析器に入力される。
【００９９】
（オーディオ−テキスト移行の間に実行中のマッピング生成）
オーディオ−テキスト移行及びテキスト−オーディオ移行を容易にするために、マッピングレコードは実行中に生成されうる。例えば、ユーザがスマートフォンを使用してオーディオブックを聴いていると仮定する。スマートフォンは、再生されているオーディオブック内の現在位置を追跡する。現在位置は「オーディオブックマーク」により識別される。その後、ユーザは、タブレットコンピュータを選定し、オーディオブックのデジタル書籍バージョンを表示することを選択する。タブレットコンピュータは、オーディオブックマークを受信し（例えば、タブレットコンピュータ及びスマートフォンに対してリモート中央サーバから）、オーディオブックの少なくとも一部の音声−テキスト分析を実行し、オーディオブックマークに対応するオーディオブックのテキストバージョン内のテキストの部分に対応する部分をオーディオブック内で識別する。その後、タブレットコンピュータは、テキストバージョン内で識別された部分の表示を開始する。
【０１００】
音声−テキスト分析が実行されるオーディオブックの部分は、オーディオブックマークに対応する部分に限定されてもよい。例えば音声−テキスト分析は、オーディオブックにおけるオーディオブックマークの前の１つ以上の時間区間（例えば、秒）及び／又はオーディオブックにおけるオーディオブックマークの後の１つ以上の時間区間にわたるオーディオブックの部分に対して実行される。その部分に対して音声−テキスト分析を実行することで生成されたテキストは、テキストバージョンのテキストと比較され、生成されたテキストにおける一連の単語又は句がテキストバージョンのテキストと一致する場所を特定する。
【０１０１】
テキストバージョンのある特定の部分が開始又は終了する場所を示すテキスト・セクション・マッピングが存在し、且つテキスト・セクション・マッピングにおけるセクションを識別するためにオーディオブックマークが使用されうる場合、生成されたテキストにおける一連の単語又は句がテキストバージョンのテキストと一致する場所を特定するために、多くのテキストバージョンを分析する必要はない。例えば、オーディオブックマークがオーディオブックの第３章内の位置を示し、且つデジタル書籍と関連付けられたテキスト・セクション・マッピングがテキストバージョンで第３章が開始する場所を識別する場合、オーディオブックの最初の２つの章又は第３章の後のオーディオブックの章のいずれに対しても音声−テキスト分析を実行する必要はない。
【０１０２】
（オーディオ−テキストマッピングの使用の概要）
１つの手法によると、デジタル作品（例えば、電子書籍）のテキストバージョン内の位置に対応するデジタル作品（例えば、オーディオブック）のオーディオバージョン内の位置を識別するために、マッピング（手動で作成されるか自動的に作成されるかに関係なく）が使用される。例えば、オーディオブックにおいて設定された「ブックマーク」に基づいて電子書籍内の位置を識別するために、マッピングが使用さうる。別の例として、表示されたテキストのどれがオーディオ記録が再生されている時にテキストを読むユーザのオーディオ記録に対応するかを識別し、且つ識別されたテキストを強調表示させるために、マッピングが使用されてもよい。従って、オーディオブックが再生されている間、電子書籍リーダのユーザは、電子書籍リーダが対応するテキストを強調表示する時と合わせて動いてもよい。別の例として、オーディオデータにおける位置を識別し、且つ電子書籍から表示されたテキストを選択する入力に応答してその位置におけるオーディオを再生するために、マッピングが使用されてもよい。従って、ユーザは電子書籍における単語を選択してもよく、それにより、その単語に対応するオーディオを再生させる。別の例として、ユーザは、デジタル作品（例えば、電子書籍）のあるバージョンを「使用」（例えば、読んでいるかあるいは聴いている）間にアノテーションを作成してもよく、デジタル作品（例えば、オーディオブック）の別のバージョンを使用している間にアノテーションを使用させる。従って、ユーザは、電子書籍の「ページ」をメモしてよく、電子書籍のオーディオブックを聴きながらこれらのメモを閲覧してもよい。同様に、ユーザは、オーディオブックを聴きながらメモして、対応する電子書籍を読む際にそのメモを閲覧できる。
【０１０３】
図３は、本発明の一実施形態に係るこれらのシナリオのうちの１つ以上におけるマッピングを使用する処理を示すフローチャートである。
【０１０４】
ステップ３１０において、第１のメディア項目内の指定された位置を示す位置データが取得される。第１のメディア項目は、作品のテキストバージョン又は作品のテキストバージョンに対応するオーディオデータであってもよい。このステップは、第１のメディア項目を使用する装置（ユーザにより操作された）により実行されてもよい。あるいは、ステップは、第１のメディア項目を使用する装置に対してリモートに配置されるサーバにより実行されてもよい。従って、装置は、通信プロトコルを使用してネットワークを介して位置データをサーバに送出する。
【０１０５】
ステップ３２０において、マッピングが検査されて、指定された位置に対応する第１のメディア位置を判定する。同様に、このステップは、第１のメディア項目を使用する装置又は装置に対してリモートに配置されるサーバにより実行されうる。
【０１０６】
ステップ３３０において、第１のメディア位置に対応し且つマッピングにおいて示される第２のメディア位置が判定される。例えば、指定された位置がオーディオ「ブックマーク」である場合、第１のメディア位置は、マッピングにおいて示されたオーディオ位置であり、第２のメディア位置は、マッピングにおけるオーディオ位置と関連付けられるテキスト位置である。同様に、例えば、指定された位置がテキスト「ブックマーク」である場合、第１のメディア位置は、マッピングにおいて示されたテキスト位置であり、第２のメディア位置は、マッピングにおけるテキスト位置と関連付けられるオーディオ位置である。
【０１０７】
ステップ３４０において、第２のメディア項目は第２のメディア位置に基づいて処理される。例えば、第２のメディア項目がオーディオデータである場合、第２のメディア位置は、オーディオ位置であり、オーディオデータにおける現在の再生位置として使用される。別の例として、第２のメディア項目が作品のテキストバージョンである場合、第２のメディア位置は、テキスト位置であり、作品のテキストバージョンのどの部分を表示するかを判定するために使用される。
【０１０８】
特定のシナリオにおいて処理３００を使用する例を以下に挙げる。
【０１０９】
（アーキテクチャの概要）
上述され以下に詳細に説明するシナリオの例の各々は、１つ以上のコンピュータ装置を含みうる。図４は、本発明の一実施形態に係る本明細書において説明する処理のうちのいくつかを実現するために使用されうるシステム４００の一例ブロック図である。システム４００は、エンドユーザ装置４１０と、中間装置４２０と、エンドユーザ装置４３０とを備える。エンドユーザ装置４１０及び４３０の例には、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ及び他のハンドヘルドコンピュータ装置が含まれるが、それらに限定されない。
【０１１０】
図４に示すように、装置４１０は、デジタルメディア項目４０２を格納し、テキストメディアプレーヤ４１２及びオーディオメディアプレーヤ４１４を実行する。テキストメディアプレーヤ４１２は、電子テキストデータを処理して装置４１０にテキストを表示させる（例えば、不図示の装置４１０のタッチスクリーン上に）ように構成される。従って、デジタルメディア項目４０２が電子書籍である場合、テキストメディアプレーヤ４１２は、デジタルメディア項目４０２がテキストメディアプレーヤ４１２が処理するように構成されるテキスト形式である限り、デジタルメディア項目４０２を処理するように構成されてもよい。装置４１０は、ビデオ等の他の種類のメディアを処理するように構成される１つ以上の他のメディアプレーヤ（不図示）を実行してもよい。
【０１１１】
同様に、オーディオメディアプレーヤ４１４は、オーディオデータを処理して装置４１０にオーディオを生成させる（例えば、不図示の装置４１０上のスピーカを介して）ように構成される。従って、デジタルメディア項目４０２がオーディオブックの場合、オーディオメディアプレーヤ４１４は、デジタルメディア項目４０２がオーディオメディアプレーヤ４１４が処理するように構成されるオーディオ形式である限り、デジタルメディア項目４０２を処理するように構成されてもよい。項目４０２は、電子書籍であるかオーディオブックであるかに関係なく、オーディオファイルであってもテキストファイルであっても複数のファイルを含んでもよい。
【０１１２】
同様に、装置４３０は、デジタルメディア項目４０４を格納し、オーディオデータを処理して装置４３０にオーディオを生成させるように構成されるオーディオメディアプレーヤ４３２を実行する。装置４３０は、ビデオ及びテキスト等の他の種類のメディアを処理するように構成される１つ以上の他のメディアプレーヤ（不図示）を実行してもよい。
【０１１３】
中間装置４２０は、オーディオデータ内のオーディオ位置をテキストデータにおけるテキスト位置にマッピングするマッピング４０６を格納する。例えばマッピング４０６は、デジタルメディア項目４０４内のオーディオ位置をデジタルメディア項目４０２内のテキスト位置にマッピングしてもよい。図４には示さないが、中間装置４２０は、各々がオーディオデータ及びテキストデータの集合に対応する多くのマッピングを格納してもよい。更に中間装置４２０は、不図示の多くのエンドユーザ装置と対話してもよい。
【０１１４】
更に中間装置４２０は、ユーザがそれぞれの装置を介してアクセスしてもよいデジタルメディア項目を格納してもよい。従って、デジタルメディア項目のローカルコピーを格納するのではなく、装置（例えば、装置４３０）は、中間装置４２０からデジタルメディア項目を要求してもよい。
【０１１５】
更に中間装置４２０は、ユーザの１つ以上の装置を単一のアカウントと関連付けるアカウントデータを格納してもよい。従って、そのようなアカウントデータは、装置４１０及び４３０が同一のアカウントの下で同一のユーザにより登録されることを示す。中間装置４２０は、アカウントを特定のユーザにより所有（又は購入）された１つ以上のデジタルメディア項目と関連付けるアカウント／項目関連付けデータを更に格納してもよい。従って、中間装置４２０は、装置４３０及び特定のデジタルメディア項目が同一のアカウントと関連付けられることをアカウント／項目関連付けデータが示すかを判定することにより、装置４３０が特定のデジタルメディア項目にアクセスしてもよいことを検証できる。
【０１１６】
２つのエンドユーザ装置のみが示されるが、エンドユーザは、電子書籍及びオーディオブック等のデジタルメディア項目を使用するより多くの装置又はより少ない装置を所有し操作してもよい。同様に、単一の中間装置４２０のみが示されるが、中間装置４２０を所有及び操作するエンティティは複数の装置を操作してもよく、複数の装置の各々は、同一のサービスを提供するか、あるいはエンドユーザ装置４１０及び４３０のユーザにサービスを提供するように共に動作してもよい。
【０１１７】
中間装置４２０とエンドユーザ装置４１０及び４３０との間の通信は、ネットワーク４４０を介して可能になる。ネットワーク４４０は、種々のコンピュータ装置間でデータをやり取りするあらゆるメディア又は手段により実現されうる。そのようなネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、イーサネット（登録商標）又はインターネット、あるいは１つ以上の地上リンク、衛星リンク又は無線リンク等のネットワークが含まれるが、それに限定されない。ネットワークは、説明したようなネットワークの組合せを含んでもよい。ネットワークは、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）及び／又はインターネットプロトコル（ＩＰ）に従ってデータを送信してもよい。
【０１１８】
（マッピングの記憶位置）
マッピングは、マッピングが生成されたテキストデータ及びオーディオデータとは別に格納されてもよい。例えば、図４に示すように、マッピング４０６は、他のデジタルメディア項目におけるメディア位置に基づいて１つのデジタルメディア項目におけるメディア位置を識別するために使用されてもよいが、デジタルメディア項目４０２及び４０４とは別に格納される。実際には、マッピング４０６は、それぞれデジタルメディア項目４０２及び４０４を格納する装置４１０及び４３０とは別のコンピュータ装置（中間装置４２０）上に格納される。
【０１１９】
更に又はあるいは、マッピングは、対応するテキストデータの一部として格納されてもよい。例えばマッピング４０６は、デジタルメディア項目４０２に格納されてもよい。しかし、マッピングは、テキストデータの一部として格納される場合でも、テキストデータを使用するエンドユーザに対して表示されなくてもよい。依然として更に又はあるいは、マッピングはオーディオデータの一部として格納されてもよい。例えばマッピング４０６は、デジタルメディア項目４０４に格納されてもよい。
【０１２０】
（ブックマーク切り替え）
「ブックマーク切り替え」は、デジタル作品のあるバージョンで指定された位置（又は「ブックマーク」）を設定することと、デジタル作品の別のバージョン内の対応する位置を見つけるためにブックマークを使用することとを示す。２種類のブックマーク切り替え、すなわちテキスト−オーディオ（ＴＡ）ブックマーク切り替え及びオーディオ−テキスト（ＡＴ）ブックマーク切り替えがある。ＴＡブックマーク切り替えは、オーディオブックにおける対応するオーディオ位置を識別するために電子書籍において設定されたテキストブックマークを使用することを含む。逆に、本明細書においてＡＴブックマーク切り替えと呼ばれる別の種類のブックマーク切り替えは、電子書籍内の対応するテキスト位置を識別するためにオーディオブックにおいて設定されたオーディオブックマークを使用することを含む。
【０１２１】
（テキスト−オーディオブックマーク切り替え）
図５Ａは、本発明の一実施形態に係るＴＡブックマーク切り替えの処理５００を示すフローチャートである。図５Ａは、図４に示されたシステム４００の要素を使用して説明される。
【０１２２】
ステップ５０２において、テキストメディアプレーヤ４１２（例えば、電子リーダ）は、デジタルメディア項目４０２（例えば、デジタル書籍）内のテキストブックマークを判定する。装置４１０は、デジタルメディア項目４０２からの内容を装置４１０のユーザに対して表示する。
【０１２３】
テキストブックマークは、ユーザからの入力に応答して判定されてもよい。例えばユーザは、装置４１０のタッチスクリーン上の領域をタッチすることができる。装置４１０のディスプレイは、１つ以上の単語をその領域又はその近くに表示する。入力に応答して、テキストメディアプレーヤ４１２は、領域に最近接する１つ以上の単語を判定する。テキストメディアプレーヤ４１２は、判定された１つ以上の単語に基づいてテキストブックマークを判定する。
【０１２４】
あるいは、テキストブックマークは、ユーザに対して表示された最後のテキストデータに基づいて判定されてもよい。例えば、デジタルメディア項目４０２は２００枚の電子「ページ」を含んでもよく、１１０ページが表示された最後のページであった。テキストメディアプレーヤ４１２は、１１０ページが表示された最後のページであったと判定する。ユーザが読むのを止めた場所を知る方法はないため、テキストメディアプレーヤ４１２は、１１０ページをテキストブックマークとして設定してもよく、あるいは１１０ページの開始点をテキストブックマークとして設定してもよい。ユーザは、少なくとも１０９ページ又は１１０ページで終了した可能性がある１０９ページの最後の文を読むと仮定するのが無難であろう。従って、テキストメディアプレーヤ４１２は、次の文の冒頭（１１０ページで開始する）をテキストブックマークとして設定してもよい。しかし、マッピングの精度が段落レベルの場合、テキストメディアプレーヤ４１２は、１０９ページの最後の段落の冒頭を設定してもよい。同様に、マッピングの精度が文レベルの場合、テキストメディアプレーヤ４１２は、１１０ページを含む章の冒頭をテキストブックマークとして設定してもよい。
【０１２５】
ステップ５０４において、テキストメディアプレーヤ４１２は、ネットワーク４４０を介して中間装置４２０にテキストブックマークを示すデータを送出する。中間装置４２０は、装置４１０及び／又は装置４１０のユーザのアカウントと関連付けてテキストブックマークを格納してもよい。ステップ５０２の前に、ユーザは、中間装置４２０のオペレータによりアカウントを設定していてもよい。次にユーザは、装置４１０を含む１つ以上の装置をオペレータに登録した。登録により、１つ以上の装置の各々はユーザのアカウントと関連付けられた。
【０１２６】
１つ以上の要因により、テキストメディアプレーヤ４１２は、テキストブックマークを中間装置４２０に送出してもよい。そのような要因は、テキストメディアプレーヤ４１２の終了（すなわち、停止）、ユーザによるテキストブックマークの設定、あるいはテキストブックマークが設定される作品のテキストバージョンに対応するオーディオブックを聴く際に使用するためにテキストブックマークを保存するユーザによる明示的な命令を含んでもよい。
【０１２７】
上述したように、中間装置４２０は、この例においてデジタルメディア項目４０４における複数のオーディオ位置をデジタルメディア項目４０２内の複数のテキスト位置とマッピングするマッピング４０６へアクセスできる（例えば、格納する）。
【０１２８】
ステップ５０６において、中間装置４２０は、マッピング４０６を検査して、複数のテキスト位置のうちテキストブックマークに対応する特定のテキスト位置を判定する。テキストブックマークは、マッピング４０６における複数のテキスト位置のうちのいずれとも厳密に一致しなくてもよい。しかし、中間装置４２０は、テキストブックマークに最近接するテキスト位置を選択してもよい。あるいは、中間装置４２０は、テキストブックマークに最近接するテキスト位置であってもそうでなくてもよいテキストブックマークの直前のテキスト位置を選択してもよい。例えば、テキストブックマークが第５章、第３段落、第５文を示し、且つマッピング４０６における最も近いテキスト位置が（１）第５章、第３段落、第１文及び（２）、第５章、第３段落、第６文である場合、テキスト位置（１）が選択される。
【０１２９】
ステップ５０８において、マッピングにおける特定のテキスト位置が識別されると、中間装置４２０は、マッピング４０６における特定のテキスト位置に対応する特定のオーディオ位置を判定する。
【０１３０】
ステップ５１０において、中間装置４２０は、この例においては装置４１０とは異なる装置４３０に特定のオーディオ位置を送出する。例えば、装置４１０はタブレットコンピュータであってもよく、装置４３０はスマートフォンであってもよい。関連する一実施形態においては、装置４３０は含まれない。従って、中間装置４２０は、特定のオーディオ位置を装置４１０に送出してもよい。
【０１３１】
ステップ５１０は、自動的に、すなわち中間装置４２０が特定のオーディオ位置を判定することに応答して実行されてもよい。あるいは、ステップ５１０又はステップ５０６）は、装置４３０がデジタルメディア項目４０４を処理しようとしているという表示を装置４３０から受信することに応答して実行されてもよい。表示は、テキストブックマークに対応するオーディオ位置に対する要求であってもよい。
【０１３２】
ステップ５１２において、オーディオメディアプレーヤ４３２は、デジタルメディア項目４０４におけるオーディオデータの現在の再生位置として特定のオーディオ位置を設定する。中間装置４２０から特定のオーディオ位置を受信することに応答して、このように設定されてもよい。現在の再生位置が特定のオーディオ位置になるため、オーディオメディアプレーヤ４３２は、オーディオデータにおける特定のオーディオ位置に先行するいずれのオーディオも再生する必要はない。例えば、特定のオーディオ位置が２：５６：０３（２時間５６分３秒）を示す場合、オーディオメディアプレーヤ４３２は、現在の再生位置としてオーディオデータにおけるその時間を設定する。従って、装置４３０のユーザが装置４３０上の「再生」ボタン（グラフィカルか物理的かに関係なく）を選択する場合、オーディオメディアプレーヤ４３０は、その２：５６：０３のマークにおいてオーディオデータの処理を開始する。
【０１３３】
別の一実施形態において、装置４１０はマッピング４０６（又はそのコピー）を格納する。従って、ステップ５０４〜５０８の代わりに、テキストメディアプレーヤ４１２は、マッピング４０６を検査して、複数のテキスト位置のうちテキストブックマークに対応する特定のテキスト位置を判定する。次にテキストメディアプレーヤ４１２は、マッピング４０６における特定のテキスト位置に対応する特定のオーディオ位置を判定する。その後、テキストメディアプレーヤ４１２は、特定のオーディオ位置を中間装置４２０に送出させることにより、装置４３０が特定のオーディオ位置を検索し且つ特定のオーディオ位置となるオーディオデータにおける現在の再生位置を設定できるようにしてもよい。更にテキストメディアプレーヤ４１２は、特定のテキスト位置（又はテキストブックマーク）を中間装置４２０に送出させることにより、装置４１０（又は不図示の別の装置）が特定のテキスト位置を後で検索できるようにすることで他の装置上で実行する別のテキストメディアプレーヤが特定のテキスト位置に対応するデジタルメディア項目４０２の別のコピーの部分（例えば、ページ）を表示できるようにしてもよい。
【０１３４】
更に別の実施形態においては、中間装置４２０及び装置４３０は含まれない。従って、ステップ５０４及び５１０は実行されない。従って、装置４１０は、ステップ５０６及び５０８を含む図５Ａにおける他の全てのステップを実行する。
【０１３５】
（オーディオ−テキストブックマーク切り替え）
図５Ｂは、本発明の一実施形態に係るＡＴブックマーク切り替えの処理５５０を示すフローチャートである。図５Ａと同様に、図５Ｂは、図４に示されたシステム４００の要素を使用して説明される。
【０１３６】
ステップ５５２において、オーディオメディアプレーヤ４３２は、デジタルメディア項目４０４（例えば、オーディオブック）内のオーディオブックマークを判定する。
【０１３７】
オーディオブックマークは、ユーザからの入力に応答して判定されてもよい。例えばユーザは、装置４３０のタッチスクリーン上に表示される「停止」ボタンを選択すること等により、オーディオデータの再生を停止してもよい。オーディオメディアプレーヤ４３２は、再生を停止した場所に対応するデジタルメディア項目４０４のオーディオデータ内の位置を判定する。従って、オーディオブックマークは、単に、ユーザがデジタルメディア項目４０４から生成されたオーディオを聴くのを止めた最後の場所であってもよい。更に又はあるいは、ユーザは、装置４３０のタッチスクリーン上の１つ以上のグラフィカルボタンを選択し、デジタルメディア項目４０４内の特定の位置をオーディオブックマークとして設定してもよい。例えば装置４３０は、デジタルメディア項目４０４におけるオーディオデータの長さに対応するタイムラインを表示する。ユーザは、タイムライン上の位置を選択して、オーディオブックマークを設定するためにオーディオメディアプレーヤ４３２により使用される１つ以上の更なる入力を行ってもよい。
【０１３８】
ステップ５５４において、装置４３０は、ネットワーク４４０を介して中間装置４２０にオーディオブックマークを示すデータを送出する。中間装置４２０は、装置４３０及び／又は装置４３０のユーザのアカウントと関連付けてオーディオブックマークを格納してもよい。ステップ５５２の前に、ユーザは、中間装置４２０のオペレータによりアカウントを設定した。次にユーザは、装置４３０を含む１つ以上の装置をオペレータに登録した。登録により、１つ以上の装置の各々はユーザのアカウントと関連付けられた。
【０１３９】
更に中間装置４２０は、マッピング４０６へアクセスできる（例えば、格納する）。マッピング４０６は、デジタルメディア項目４０４のオーディオデータにおける複数のオーディオ位置をデジタルメディア項目４０２のテキストデータ内の複数のテキスト位置とマッピングする。
【０１４０】
１つ以上の要因により、オーディオメディアプレーヤ４３２は、オーディオブックマークを中間装置４２０に送出してもよい。そのような要因は、オーディオメディアプレーヤ４３２の終了（すなわち、停止）、ユーザによるオーディオブックマークの設定、あるいはオーディオブックマークが設定されるデジタルメディア項目４０４に対応する作品のテキストバージョンの部分（デジタルメディア項目４０２に反映された）を表示する際に使用するためにオーディオブックマークを保存するユーザによる明示的な命令を含んでもよい。
【０１４１】
ステップ５５６において、中間装置４２０は、マッピング４０６を検査して、複数のオーディオ位置のうちオーディオブックマークに対応する特定のオーディオ位置を判定する。オーディオブックマークは、マッピング４０６における複数のオーディオ位置のうちのいずれともとも厳密に一致しなくてもよい。しかし、中間装置４２０は、オーディオブックマークに最近接するオーディオ位置を選択してもよい。あるいは、中間装置４２０は、オーディオブックマークに最近接するオーディオ位置であってもそうでなくてもよいオーディオブックマークの直前のオーディオ位置を選択してもよい。例えば、オーディオブックマークが０２：４３：１９（すなわち、２時間４３分１９秒）を示し且つマッピング４０６における最も近いオーディオ位置が（１）０２：４１：０７及び（２）０：４３：５６である場合、オーディオ位置（２）がオーディオブックマークに最近接するにもかかわらず、オーディオ位置（１）が選択される。
【０１４２】
ステップ５５８において、マッピングにおける特定のオーディオ位置が識別されると、中間装置４２０は、マッピング４０６における特定のオーディオ位置に対応する特定のテキスト位置を判定する。
【０１４３】
ステップ５６０において、中間装置４２０は、この例においては装置４３０とは異なる装置４１０に特定のテキスト位置を送出する。例えば、装置４１０はタブレットコンピュータであってもよく、装置４３０は、オーディオデータを処理し且つ可聴音を生成するように構成されるスマートフォンであってもよい。
【０１４４】
ステップ５６０は、自動的に、すなわち中間装置４２０が特定のテキスト位置を判定することに応答して実行されてもよい。あるいは、ステップ５６０（又はステップ５５６）は、装置４１０がデジタルメディア項目４０２を処理しようとしているという表示を装置４１０から受信することに応答して実行されてもよい。表示は、オーディオブックマークに対応するテキスト位置に対する要求であってもよい。
【０１４５】
ステップ５６２において、テキストメディアプレーヤ４１２は、特定のテキスト位置に関する情報を表示する。ステップ５６２は、中間装置４２０から特定のテキスト位置を受信することに応答して実行されてもよい。装置４１０は、デジタルメディア項目４０２に反映された作品のテキストバージョンの特定のテキスト位置に先行するいずれの内容も表示する必要はない。例えば、特定のテキスト位置が第３章、第２段落、第４文を示す場合、装置４１０はその文を含むページを表示する。テキストメディアプレーヤ４１２は、ページにおいてどこから読み始めるかを装置４１０のユーザに対して視覚的に示すマーカをページにおける特定のテキスト位置において表示させる。従って、ユーザは、オーディオブックにおいてナレータにより話された最後の単語に対応する位置において開始する単語のテキストバージョンを即座に読むことができる。
【０１４６】
別の一実施形態において、装置４１０はマッピング４０６を格納する。従って、ステップ５５６〜５６０の代わりに、ステップ５５４（装置４３０がオーディオブックマークを示すデータを中間装置４２０に送出する）の後、中間装置４２０はオーディオブックマークを装置４１０に送出する。次にテキストメディアプレーヤ４１２は、マッピング４０６を検査して、複数のオーディオ位置のうちオーディオブックマークに対応する特定のオーディオ位置を判定する。その後、テキストメディアプレーヤ４１２は、マッピング４０６における特定のオーディオ位置に対応する特定のテキスト位置を判定する。上述したように、この別の処理はステップ５６２に進む。
【０１４７】
更に別の実施形態においては、中間装置４２０は含まれない。従って、ステップ５５４及び５６０は実行されない。従って、装置４３０は、ステップ５５６及び５５８を含む図５Ｂにおける他の全てのステップを実行する。
【０１４８】
（オーディオの再生に応答してのテキストの強調表示）
一実施形態において、作品のテキストバージョンに対応するオーディオデータが再生される間、作品のテキストバージョンの部分からのテキストは強調表示又は「点灯」される。上述したように、オーディオデータは、作品のテキストバージョンのオーディオバージョンであり、ユーザによりテキストバージョンからのテキストの読み物を反映してもよい。本明細書において使用されるように、テキストを「強調表示すること」は、メディアプレーヤ（例えば、「電子リーダ」）がそのテキストを強調表示されたテキストと同時に表示されている他のテキストと視覚的に区別することを示す。テキストを強調表示することは、テキストのフォントを変更すること、テキストのフォントスタイル（例えば、斜体、太字、下線）を変更すること、テキストのサイズを変更すること、テキストの色を変更すること、テキストの背景の色を変更すること又はテキストと関連付けられたアニメーションを作成することを含んでもよい。アニメーションを作成することの一例は、テキスト（又はテキストの背景）を点滅させること、あるいは色を変更することである。アニメーションを作成することの別の例は、テキストの上方、下方又は周囲に現れるようにグラフィックを作成することである。例えば、メディアプレーヤにより再生及び検出されている「トースター」という単語に応答して、メディアプレーヤは、表示されたテキストにおける「トースター」という単語の上方にトースターの画像を表示する。アニメーションの別の例は、テキストの部分（例えば、単語、音節又は文字）が再生されるオーディオデータにおいて検出される際にその部分上で「弾む」よく弾むボールである。
【０１４９】
図６は、本発明の一実施形態に係る作品のオーディオバージョンが再生されている間に作品のテキストバージョンからのテキストを強調表示させる処理６００を示すフローチャートである。
【０１５０】
ステップ６１０において、オーディオバージョンのオーディオデータの現在の再生位置（常に変化している）が判定される。このステップは、ユーザの装置上で実行するメディアプレーヤにより実行されてもよい。メディアプレーヤは、オーディオデータを処理してユーザに対してオーディオを生成する。
【０１５１】
ステップ６２０において、現在の再生位置に基づいて、マッピングにおけるマッピングレコードが識別される。現在の再生位置は、マッピングレコードにおいて識別されたオーディオ位置に一致又はほぼ一致してもよい。
【０１５２】
メディアプレーヤは、オーディオデータにおける複数のオーディオ位置を作品のテキストバージョンの複数のテキスト位置とマッピングするマッピングへアクセスできる場合、ステップ６２０を実行してもよい。あるいは、ステップ６２０は、ユーザの装置上で実行する別の処理又はネットワークを介してユーザの装置から現在の再生位置を受信するサーバにより実行されてもよい。
【０１５３】
ステップ６３０において、マッピングレコードにおいて識別されたテキスト位置が識別される。
【０１５４】
ステップ６４０において、テキスト位置に対応する作品のテキストバージョンの部分を強調表示する。このステップは、ユーザの装置上で実行するメディアプレーヤ又は別のソフトウェアアプリケーションにより実行されてもよい。サーバが探索ステップ（６２０及び６３０）を実行する場合、ステップ６４０は、テキスト位置をユーザの装置に送出するサーバを更に含んでもよい。それに応答して、メディアプレーヤ又は別のソフトウェアアプリケーションは、テキスト位置を入力として受け入れ、対応するテキストを強調表示させる。
【０１５５】
一実施形態において、マッピングにおいてメディアプレーヤにより識別される種々のテキスト位置は、種々の強調表示と関連付けられる。例えば、マッピングにおける１つのテキスト位置は、黒色から赤色へのフォントの色の変更と関連付けられてもよく、マッピングにおける別のテキスト位置は、トースターから「飛び出す」１枚のトーストを示すトースターのグラフィック等のアニメーションと関連付けられてもよい。従って、マッピングにおける各マッピングレコードは、対応するテキスト位置により識別されたテキストが強調表示される方法を示す「強調表示データ」を含んでもよい。従って、メディアプレーヤが識別し且つ強調表示データを含むマッピングにおけるマッピングレコード毎に、テキストを強調表示する方法を判定するために、メディアプレーヤは強調表示データを使用する。マッピングレコードが強調表示データを含まない場合、メディアプレーヤは対応するテキストを強調表示しなくてもよい。あるいは、マッピングにおけるマッピングレコードが強調表示データを含まない場合、テキストを強調表示するために、メディアプレーヤは、「デフォルト」強調表示技術（例えば、テキストを太字にする）を使用してもよい。
【０１５６】
（オーディオ入力に基づくテキストの強調表示）
図７は、本発明の一実施形態に係るユーザからのオーディオ入力に応答して表示されたテキストを強調表示する処理７００を示すフローチャートである。本実施形態においてはマッピングは必要ない。ユーザに対して同時に表示されている作品のテキストバージョンの部分におけるテキストを強調表示するために、オーディオ入力が使用される。
【０１５７】
ステップ７１０において、オーディオ入力が受信される。オーディオ入力は、作品のテキストバージョンからのテキストを読み上げするユーザに基づいてもよい。オーディオ入力は、テキストバージョンの部分を表示する装置により受信されてもよい。装置は、単語、句又は文全体を読み上げするようにユーザに指示してもよい。指示は、映像であってもオーディオであってもよい。視覚指示の一例として、装置は、装置が下線が引かれた文を表示している間又は表示する直前に「下線部のテキストを読んで下さい」というテキストを表示させてもよい。オーディオ指示の一例として、装置は、コンピュータにより生成された声に「下線部のテキストを読んで下さい」と読ませてもよく、あるいは同一の命令を提供する予め録音された声を再生させてもよい。
【０１５８】
ステップ７２０において、音声−テキスト分析がオーディオ入力に対して実行され、オーディオ入力に反映された１つ以上の単語を検出する。
【０１５９】
ステップ７３０において、オーディオ入力に反映された検出された単語毎に、その検出された単語は単語の特定の集合と比較される。単語の特定の集合は、コンピュータ装置（例えば、電子リーダ）により同時に表示されている全ての単語であってもよい。あるいは、単語の特定の集合は、ユーザが読むように指示された全ての単語であってもよい。
【０１６０】
ステップ７４０において、特定の集合の単語に一致する検出された単語毎に、装置はその一致する単語を強調表示させる。
【０１６１】
処理７００において示されたステップは、作品のテキストバージョンからのテキストを表示する単一のコンピュータ装置により実行されてもよい。あるいは、処理７００において示されたステップは、テキストバージョンからのテキストを表示するコンピュータ装置とは異なる１つ以上のコンピュータ装置により実行されてもよい。例えば、ステップ７１０におけるユーザからのオーディオ入力は、ユーザの装置からネットワークを介して音声−テキスト分析を実行するネットワークサーバに送出されてもよい。次にネットワークサーバは、強調表示データをユーザの装置に送出して、ユーザの装置に適切なテキストを強調表示させてもよい。
【０１６２】
（テキスト選択に応答してのオーディオの再生）
一実施形態において、作品のテキストバージョンの部分を表示するメディアプレーヤのユーザは、表示されたテキストの部分を選択し且つ対応するオーディオを再生させてもよい。例えば、デジタル書籍からの表示された単語が「ｄｏｎｕｔ」であり且つユーザがその単語を選択する（例えば、その単語を表示するメディアプレーヤのタッチスクリーンの部分をタッチすることで）場合に、「ｄｏｎｕｔ」のオーディオが再生されてもよい。
【０１６３】
選択されたテキストに対応するオーディオデータの部分を識別するために、作品のテキストバージョンのテキスト位置をオーディオデータにおけるオーディオ位置とマッピングするマッピングが使用される。ユーザは、単一の単語、句又は１つ以上の文を選択してもよい。表示されたテキストの部分を選択する入力に応答して、メディアプレーヤは１つ以上のテキスト位置を識別してもよい。例えば、選択された部分が複数の行又は文を含む場合でも、メディアプレーヤは、選択された部分に対応する単一のテキスト位置を識別してもよい。識別されたテキスト位置は、選択された部分の冒頭に対応してもよい。別の例として、メディアプレーヤは、選択された部分の冒頭に対応する第１のテキスト位置及び選択された部分の末尾に対応する第２のテキスト位置を識別してもよい。
【０１６４】
識別されたテキスト位置に最近接する（又は前に最近接する）テキスト位置を示すマッピングにおけるマッピングレコードを探索するために、メディアプレーヤは識別されたテキスト位置を使用する。オーディオを生成するためにオーディオデータにおいてどこでオーディオデータの処理を開始するかを識別するために、メディアプレーヤは、マッピングレコードにおいて示されたオーディオ位置を使用する。単一のテキスト位置だけが識別される場合、オーディオ位置における又はその近くの単語又は音のみが再生されてもよい。従って、単語又は音が再生された後、メディアプレーヤはこれ以上のオーディオの再生を中止する。あるいは、メディアプレーヤは、（ａ）オーディオデータの末尾に到達するか、（ｂ）ユーザからの更なる入力（例えば、「停止」ボタンの選択）又は、（ｃ）オーディオデータにおける予め指定された停止点（例えば、更なる入力が進むことを必要とするページ又は章の終了）まで、オーディオ位置において又はその近くで再生を開始し、オーディオ位置に後続するオーディオの再生を中止しない。
【０１６５】
メディアプレーヤが選択された部分に基づいて２つのテキスト位置を識別する場合、２つのオーディオ位置は、識別され、対応するオーディオの再生をどこで開始及び停止するかを識別するために使用されてもよい。
【０１６６】
一実施形態において、オーディオ位置により識別されたオーディオデータは、オーディオデータにおける現在の再生位置を進めずに徐々に（すなわち、低速な再生速度で）又は連続して再生されてもよい。例えば、タブレットコンピュータのユーザが、指でタブレットコンピュータのタッチスクリーンをタッチすることで表示された「ｔｗｏ」という単語を選択し、且つ表示された単語を連続してタッチする（すなわち、指を持ち上げずに且つ指を表示された別の単語に移動させずに）場合、タブレットコンピュータは、「ｔｗｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏ」という単語を読むことで反映された音を作成する対応するオーディオを再生する。
【０１６７】
同様の一実施形態において、ユーザがメディアプレーヤのタッチスクリーン上の表示されたテキストにわたり指をドラッグする速度は、対応するオーディオを同一の速度又は同様の速度で再生させる。例えばユーザは、表示された「ｄｏｎｕｔ」という単語の文字「ｄ」を選択して、表示された単語にわたり指を徐々に移動する。この入力に応答して、メディアプレーヤは、対応するオーディオデータを識別し（マッピングを使用して）、ユーザが指を移動する同一の速度で対応するオーディオを再生する。従って、メディアプレーヤは、作品のテキストバージョンのテキストの読み手が「ｄｏｎｕｔ」という単語を「ｄｏｏｏｏｏｏｏｎｎｎｎｎｎｕｕｕｕｕｕｔ」として発音したかのように聞こえるオーディオを作成する。
【０１６８】
同様の一実施形態において、ユーザがタッチスクリーン上に表示された単語を「タッチする」時間は、どれほど迅速又は低速に単語のオーディオバージョンが再生されるかを指令する。例えば対応するオーディオは、ユーザの指で表示された単語を迅速にタップすることで通常の速度で再生される一方で、１秒を超えて選択された単語上で指を押し下げておくユーザにより通常の速度の１／２で再生される。
【０１６９】
（ユーザアノテーションの転送）
一実施形態において、ユーザは、デジタル作品のあるメディアバージョン（例えば、オーディオ）に対してアノテーションの作成を開始し、そのアノテーションをデジタル作品の別のメディアバージョン（例えば、テキスト）と関連付けさせる。従って、アノテーションは、ある種類のメディアのコンテキストで作成されてもよく、別の種類のメディアのコンテキストで使用されてもよい。アノテーションが作成又は使用される「コンテキスト」は、作成又は使用が行われる際にテキストが表示されているか又はオーディオが再生されているかを示す。
【０１７０】
以下の例はアノテーションが作成される際にオーディオ位置又はテキスト位置内の位置を判定することを含むが、本発明のいくつかの実施形態はそのように限定されない。例えば、オーディオコンテキストにおいてアノテーションが作成される際のオーディオファイル内の現在の再生位置は、テキストコンテキストにおいてアノテーションを使用する際には使用されない。代わりに、アノテーションの表示は、対応するテキストバージョンの冒頭又は末尾において、あるいは対応するテキストバージョンの各「ページ」上で装置により表示されてもよい。別の例として、テキストコンテキストにおいてアノテーションが作成される際に表示されるテキストは、オーディオコンテキストにおいてアノテーションを使用する際には使用されない。代わりに、アノテーションの表示は、対応するオーディオバージョンの冒頭又は末尾において、あるいは対応するオーディオバージョンが再生されている間に連続して装置により表示されてもよい。視覚表示に加えて又はその代わりに、アノテーションのオーディオ表示が再生されてもよい。例えば「ビープ音」は、ビープ音及びオーディオトラックの双方が聞こえるようにオーディオトラックと同時に再生される。
【０１７１】
図８Ａ及び図８Ｂは、本発明の一実施形態に係るあるメディアコンテキストから別のメディアコンテキストにアノテーションを転送する処理を示すフローチャートである。具体的には、図８Ａは、「テキスト」コンテキストにおいてアノテーションを作成し且つ「オーディオ」コンテキストにおいてアノテーションを使用する処理８００を示すフローチャートであり、図８Ｂは、「オーディオ」コンテキストにおいてアノテーションを作成し且つ「テキスト」コンテキストにおいてアノテーションを使用する処理８５０を示すフローチャートである。アノテーションの作成及び使用は、同一のコンピュータ装置（例えば、装置４１０）又は別個のコンピュータ装置（例えば、装置４１０及び４３０）上で行われてもよい。図８Ａは、アノテーションが装置４１０上で作成及び使用されるシナリオを説明し、図８Ｂは、アノテーションが装置４１０上で作成され且つ後で装置４３０上で使用されるシナリオを説明する。
【０１７２】
図８Ａのステップ８０２において、装置４１０上で実行するテキストメディアプレーヤ４１２は、デジタルメディア項目４０２からのテキスト（例えば、ページの形式の）を表示させる。
【０１７３】
ステップ８０４において、テキストメディアプレーヤ４１２は、デジタルメディア項目４０２に反映された作品のテキストバージョン内のテキスト位置を判定する。テキスト位置は、最終的にアノテーションと関連付けて格納される。テキスト位置は複数の方法で判定されてもよい。例えばテキストメディアプレーヤ４１２は、表示されたテキスト内のテキスト位置を選択する入力を受信してもよい。入力は、ある期間にわたり装置４１０のタッチスクリーン（テキストを表示する）をタッチするユーザであってもよい。入力は、特定の単語、複数の単語、ページの開始又は終了、文の前又は後等を選択してもよい。入力は最初にボタンを選択することを更に含んでもよく、最初にボタンを選択することにより、アノテーションが作成され且つテキスト位置と関連付けられてもよい「アノテーション作成」モードにテキストメディアプレーヤ４１２を変更させる。
【０１７４】
テキスト位置を判定する別の例として、テキストメディアプレーヤ４１２は、作品のテキストバージョンのどの部分（デジタルメディア項目４０２に反映された）が表示されているかに基づいて自動的に（ユーザ入力なしで）テキスト位置を判定する。例えば、装置４１０が作品のテキストバージョンの２０ページを表示している場合、アノテーションは２０ページと関連付けられる。
【０１７５】
ステップ８０６において、テキストメディアプレーヤ４１２は、タッチスクリーン上に表示されてもよい「アノテーション作成」ボタンを選択する入力を受信する。そのようなボタンは、例えばユーザが１秒等のある期間にわたりタッチスクリーンをタッチするテキスト位置を選択するステップ８０４における入力に応答して表示されてもよい。
【０１７６】
ステップ８０４はステップ８０６の前に行われるものとして示されるが、代わりに、「アノテーション作成」ボタンの選択はテキスト位置の判定の前に行われてもよい。
【０１７７】
ステップ８０８において、テキストメディアプレーヤ４１２は、アノテーションデータを作成するために使用される入力を受信する。入力は、声データ（例えば、装置４１０のマイクに話しかけるユーザ）又はテキストデータ（例えば、物理的かグラフィカルかに関係なくキーボード上のキーを選択するユーザ）であってもよい。アノテーションデータが声データである場合、テキストメディアプレーヤ４１２（又は別の処理）は、声データに対して音声−テキスト分析を実行して、声データのテキストバージョンを作成してもよい。
【０１７８】
ステップ８１０において、テキストメディアプレーヤ４１２は、テキスト位置と関連付けてアノテーションデータを格納する。マッピングにおけるテキスト位置に最近接する特定のテキスト位置を識別するために、テキストメディアプレーヤ４１２はマッピング（例えば、マッピング４０６のコピー）を使用する。次に、マッピングを使用して、テキストメディアプレーヤは、特定のテキスト位置に対応するオーディオ位置を識別する。
【０１７９】
ステップ８１０の代わりに、テキストメディアプレーヤ４１２は、ネットワーク４４０を介して中間装置４２０にアノテーションデータ及びテキスト位置を送出する。それに応答して、中間装置４２０は、テキスト位置と関連付けてアノテーションデータを格納する。マッピング４０６におけるテキスト位置に最近接する特定のテキスト位置を識別するために、中間装置４２０はマッピング（例えば、マッピング４０６）を使用する。次に、マッピング４０６を使用して、中間装置４２０は、特定のテキスト位置に対応するオーディオ位置を識別する。中間装置４２０は、識別されたオーディオ位置をネットワーク４４０を介して装置４１０に送出する。中間装置４２０は、ある特定のオーディオデータ及び／又はある特定のオーディオデータと関連付けられたアノテーションに対する装置４１０からの要求に応答して、識別されたオーディオ位置を送出してもよい。例えば、「The Tale of Two Cities」のオーディオブックバージョンに対する要求に応答して、中間装置４２０は、そのオーディオブックと関連付けられた何らかのアノテーションデータがあるかを判定し、そのアノテーションデータがある場合にそれを装置４１０に送出する。
【０１８０】
ステップ８１０は、アノテーションが作成された時を示すデータ及び／又は時間の情報を格納することを更に含んでもよい。この情報は、アノテーションがオーディオコンテキストにおいて使用される際に後で表示されてもよい。
【０１８１】
ステップ８１２において、オーディオメディアプレーヤ４１４は、この例においては（示されないが）装置４１０上に格納されてもよく、あるいはネットワーク４４０を介して中間装置４２０から装置４１０にストリーミングされてもよいデジタルメディア項目４０４のオーディオデータを処理することにより、オーディオを再生する。
【０１８２】
ステップ８１４において、オーディオメディアプレーヤ４１４は、オーディオデータにおける現在の再生位置がマッピング４０６を使用してステップ８１０で識別されたオーディオ位置に一致又はほぼ一致する時を判定する。あるいは、オーディオメディアプレーヤ４１４により、ステップ８１２に示されたように、現在の再生位置が配置される場所に関係なく且つオーディオを全く再生する必要なく、アノテーションが使用可能であることを示すデータを表示させてもよい。換言すると、ステップ８１２は不要である。例えばユーザは、オーディオメディアプレーヤ４１４を起動してもよく、オーディオメディアプレーヤ４１４にデジタルメディア項目４０４のオーディオデータを起動させてもよい。オーディオメディアプレーヤ４１４は、アノテーションデータがオーディオデータと関連付けられることを判定する。オーディオメディアプレーヤ４１４は、オーディオデータと関連付けられたオーディオを全く生成せずに、オーディオデータに関する情報（例えば、タイトル、アーティスト、ジャンル、長さ等）を表示させる。情報は、アノテーションデータ及びアノテーションデータと関連付けられるオーディオデータ内のステップ８１０で識別されたオーディオ位置に対応する位置に関する情報を参照することを含んでもよい。
【０１８３】
ステップ８１６において、オーディオメディアプレーヤ４１４はアノテーションデータを使用する。アノテーションデータが声データである場合、アノテーションデータを使用することは、声データを処理してオーディオを生成すること又は声データをテキストデータに変換すること及びテキストデータを表示することを含んでもよい。アノテーションデータがテキストデータである場合、アノテーションデータを使用することは、再生されるオーディオデータの属性を表示するＧＵＩのサイドパネル又はＧＵＩとは別に現れる新しいウィンドウ等にテキストデータを表示することを含んでもよい。属性の例には、オーディオデータの時間の長さと、オーディオデータ内の絶対位置（例えば、タイムオフセット）又はオーディオデータ内の相対位置（例えば、章又はセクションの番号）を示してもよい現在の再生位置と、オーディオデータの波形と、デジタル作品のタイトルとを含むが、それらに限定されない。
【０１８４】
図８Ｂは、上述したように、アノテーションが装置４３０上で作成され且つ後で装置４１０上で使用されるシナリオを説明する。
【０１８５】
ステップ８５２において、オーディオメディアプレーヤ４３２は、オーディオを再生するようにデジタルメディア項目４０４からのオーディオデータを処理する。
【０１８６】
ステップ８５４において、オーディオメディアプレーヤ４３２は、オーディオデータ内のオーディオ位置を判定する。オーディオ位置は、最終的にアノテーションと関連付けて格納される。オーディオ位置は複数の方法で判定されてもよい。例えばオーディオメディアプレーヤ４３２は、オーディオデータ内のオーディオ位置を選択する入力を受信してもよい。入力は、ある期間にわたり装置４３０のタッチスクリーン（オーディオデータの属性を表示する）をタッチするユーザであってもよい。入力は、オーディオデータの長さを反映するタイムライン内の絶対位置又は章及び段落の番号等のオーディオデータ内の相対位置を選択してもよい。入力は最初にボタンを選択することを更に含んでもよく、最初にボタンを選択することにより、アノテーションが作成され且つオーディオ位置と関連付けられてもよい「アノテーション作成」モードにオーディオメディアプレーヤ４３２を変更させる。
【０１８７】
オーディオ位置を判定する別の例として、オーディオメディアプレーヤ４３２は、オーディオデータのどの部分が処理されているかに基づいて自動的に（ユーザ入力なしで）オーディオ位置を判定する。例えばオーディオメディアプレーヤ４３２は、デジタルメディア項目４０４に反映されたデジタル作品の第２０章に対応するオーディオデータの部分を処理している場合、オーディオ位置が少なくとも第２０章内のどこかにあると判定する。
【０１８８】
ステップ８５６において、オーディオメディアプレーヤ４３２は、装置４３０のタッチスクリーン上に表示されてもよい「アノテーション作成」ボタンを選択する入力を受信する。そのようなボタンは、例えばユーザが１秒等のある期間にわたり連続してタッチスクリーンをタッチするオーディオ位置を選択するステップ８５４における入力に応答して表示されてもよい。
【０１８９】
ステップ８５４はステップ８５６の前に行われるものとして示されるが、代わりに、「アノテーション作成」ボタンの選択はオーディオ位置の判定の前に行われてもよい。
【０１９０】
ステップ８５８において、第１のメディアプレーヤは、ステップ８０８と同様に、アノテーションデータを作成するために使用される入力を受信する。
【０１９１】
ステップ８６０において、オーディオメディアプレーヤ４３２は、オーディオ位置と関連付けてアノテーションデータを格納する。マッピングにおけるステップ８５４で判定されたオーディオ位置に最近接する特定のオーディオ位置を識別するために、オーディオメディアプレーヤ４３２は、マッピング（例えば、マッピング４０６）を使用する。次に、マッピングを使用して、オーディオメディアプレーヤ４３２は、特定のオーディオ位置に対応するテキスト位置を識別する。
【０１９２】
ステップ８６０の代わりに、オーディオメディアプレーヤ４３２は、ネットワーク４００を介して中間装置４２０にアノテーションデータ及びオーディオ位置を送出する。それに応答して、中間装置４２０は、オーディオ位置と関連付けてアノテーションデータを格納する。マッピングにおけるステップ８５４で判定されたオーディオ位置に最近接する特定のオーディオ位置を識別するために、中間装置４２０はマッピング４０６を使用する。次に、マッピング４０６を使用して、中間装置４２０は、特定のオーディオ位置に対応するテキスト位置を識別する。中間装置４２０は、識別されたテキスト位置をネットワーク４４０を介して装置４１０に送出する。中間装置４２０は、ある特定のテキストデータ及び／又はある特定のテキストデータと関連付けられたアノテーションに対する装置４１０からの要求に応答して、識別されたテキスト位置を送出してもよい。例えば、「The Grapes of Wrath」のデジタル書籍に対する要求に応答して、中間装置４２０は、そのデジタル書籍と関連付けられた何らかのアノテーションデータがあるかを判定し、そのアノテーションデータがある場合にそれを装置４３０に送出する。
【０１９３】
ステップ８６０は、アノテーションが作成された時を示すデータ及び／又は時間の情報を格納することを更に含んでもよい。この情報は、アノテーションがテキストコンテキストにおいて使用される際に後で表示されてもよい。
【０１９４】
ステップ８６２において、装置４１０は、デジタルメディア項目４０４のテキストバージョンであるデジタルメディア項目４０２と関連付けられたテキストデータを表示する。装置４１０は、デジタルメディア項目４０２のローカルに格納されたコピーに基づいてデジタルメディア項目４０２のテキストデータを表示するか、あるいはローカルに格納されたコピーが存在しない場合にはテキストデータが中間装置４２０からストリーミングされる間にテキストデータを表示してもよい。
【０１９５】
ステップ８６４において、装置４１０は、テキスト位置（ステップ８６０で識別された）を含む作品のテキストバージョンの部分（デジタルメディア項目４０２に反映された）が表示される時を判定する。あるいは、装置４１０は、作品のテキストバージョンのどんな部分が表示されるかに関係なく、アノテーションが使用可能であることを示すデータを表示してもよい。
【０１９６】
ステップ８６６において、テキストメディアプレーヤ４１２はアノテーションデータを使用する。アノテーションデータが声データである場合、アノテーションデータを使用することは、声データを再生すること又は声データをテキストデータに変換すること及びテキストデータを表示することを含んでもよい。アノテーションデータがテキストデータである場合、アノテーションデータを使用することは、作品のテキストバージョンの部分を表示するＧＵＩのサイドパネル又はＧＵＩとは別に現れる新しいウィンドウ等にテキストデータを表示することを含んでもよい。
【０１９７】
（特徴の読み上げ）
上述したように、メディアプレーヤのユーザは、同時に作品のオーディオバージョンを聴きつつ、作品のテキストバージョンを閲覧してもよい。このシナリオを本明細書では「読み上げ」シナリオと呼ぶ。メディアプレーヤは、同時に作品のテキストバージョンの部分を表示し且つ作品のオーディオバージョンの部分を再生している場合に「読み上げモード」であると言われる。
【０１９８】
一実施形態において、メディアプレーヤは、自身が読み上げモードであるかを視覚的に示す。読み上げモードであるという映像表示は、メディアプレーヤの画面上のどこかに現れるアイコン又はグラフィックであってもよい。例えば、ナレータの「キャラクタ」の画像は、メディアプレーヤにより表示され、メディアプレーヤが読み上げモードの間にメディアプレーヤにより表示される各ページ上でアニメーション化される。
【０１９９】
メディアプレーヤが読み上げモードの間、ユーザは、メディアプレーヤを介して提供され且つこのシナリオと関連付けられる複数の設定を選択してもよい。
【０２００】
読み上げモードの設定の一例は自動ページめくり設定である。メディアプレーヤが自動ページめくり設定の下で動作している場合、オーディオデータにおける現在の再生位置がメディアプレーヤにより表示されたページの末尾に対応すると、ページは自動的に、すなわちユーザ入力なしで「めくられる」。デジタルページを「めくること」は、第１のページの表示を中止することと、第１のページに後続する第２のページを表示することと含む。そのように「めくること」は、第１のページがめくっている実際のページであると見えるようにするグラフィックスを表示することを含んでもよい。従って、自動ページめくり設定の下で、メディアプレーヤは、オーディオデータの現在の再生位置が表示されたページ上の最後の単語に対応する時を判定する。本明細書において説明したように、マッピングを使用して現在のオーディオ位置を現在のテキスト位置に翻訳することにより、マッピングがメディアプレーヤ又はメディアプレーヤからリモートサーバ上に格納されるかをこのように判定できる。
【０２０１】
読み上げモードが始まる別の例はページの終了設定である。メディアプレーヤは、ページの終了設定の下で動作している場合、オーディオデータの現在の再生位置がメディアプレーヤにより表示されるページの末尾のテキストに対応する時を検出する。この検出に応答して、メディアプレーヤはオーディオデータの再生を中止させる。メディアプレーヤのユーザからの入力のみが、メディアプレーヤにオーディオデータの処理を継続させる。更に入力により、メディアプレーヤはページを「めくってもよい」。そのような入力は、音声入力又はメディアプレーヤのタッチスクリーンを介した入力であってもよい。
【０２０２】
読み上げモードが始まる別の例は書籍制御設定である。メディアプレーヤが書籍制御設定の下で動作している場合、対応するオーディオデータの再生を制御するために、作品のテキストバージョンと関連付けられるデータ（例えば、メタデータ）が使用される。従って、テキストデータ又はマッピングにおけるタグ等のある特定のデータは、ページの位置に関係なく、オーディオデータの再生をいつ休止又は停止するかを示す。例えば、児童書のテキストバージョンは、複数の物の絵を含むページを有し、そのうちの１つがリンゴであるとする。児童書のオーディオバージョンは、「リンゴを見つけられますか？」と尋ねることができ、質問の終了に対応するテキストバージョンの部分は、オーディオ再生をいつ休止するかを示すタグ（又は他のデータ）を有する。メディアプレーヤは、タグを読み取り、それに応答して、メディアプレーヤのタッチスクリーン上に表示されたリンゴのユーザ選択等のユーザからの更なる入力まで再生を休止する。あるいは、オーディオバージョン及びテキストバージョンと関連付けられたマッピングは、オーディオをいつ休止するかを示す休止データを含んでもよい。従って、メディアプレーヤは、オーディオバージョンの現在の再生位置が変化している間に休止データを検出する場合、ユーザがタッチスクリーン上に表示されたリンゴをタップする等の入力を行うまで再生を休止する。ユーザが必要とされる入力を行うと、オーディオバージョンの再生が再開する。
【０２０３】
（オーディオデータの再生の自動休止）
いくつかのシナリオ（上述したような終了ページ設定におけるようなページの末尾時以外）において、作品のテキストバージョンの部分が表示されている間に作品のオーディオバージョンの再生を自動的に休止することは有益であろう。例えばいくつかの作品の場合、テキストバージョンは絵を含む。具体的には、作品のテキストバージョンのページは、文字を全く含まずに絵のみの場合もあるし、テキストバージョンのあるページでは絵を全く含まない一方で、他のページでは絵及びテキストを含むこともある。そのような状況において、作品のオーディオバージョンの再生を停止することにより、リーダが読み上げを停止して絵を観察できることは有益であろう。
【０２０４】
一実施形態において、作品のテキストバージョンは、作品のオーディオバージョンの再生が休止されるべき時を示す「休止タグ」を含む。例えば休止タグは、テキストバージョン内の絵に先行してもよく、あるいはテキストバージョンの質問に即座に続いてもよい。従って、休止タグは、作品のテキストバージョン内の特定のテキスト位置に対応してもよい。メディアプレーヤ（又はリモートサーバ）は、マッピングに基づいて作品のオーディオバージョンの現在の再生が特定のテキスト位置に対応する時を判定する。その判定に応答して、メディアプレーヤはオーディオデータの再生を休止する。休止は３秒等予め判定されてもよく、その後、メディアプレーヤは、オーディオデータの再生を再度自動的に（すなわち、更なるユーザ入力なしで）開始する。あるいは、休止の時間の長さは、ページタグ自体における情報又はテキストバージョンのメタデータにおける情報に基づいて判定されてもよい。この場合、情報は５秒等の時間の長さを示し、その後、メディアプレーヤは、メディアプレーヤが再生を停止した場所から開始するオーディオデータを再度自動的に再生する。依然としてあるいは、メディアプレーヤは、メディアプレーヤが再生を休止した後もメディアプレーヤに作品のオーディオバージョンの再生を継続させる。ユーザ入力は、再生の継続を要求されてもよく、あるいは休止時間を短縮するために使用されてもよい。
【０２０５】
関連する一実施形態において、作品のオーディオバージョン及びテキストバージョンと関連付けられたマッピングは、ある特定の時間の長さにわたり又はユーザ入力が受信されるまでオーディオバージョンでどこで休止するかを示す休止データを含む。例えばメディアプレーヤは、作品のオーディオバージョンを処理している間、オーディオバージョンの現在の再生位置を追跡する。現在の再生位置がマッピングにおいて休止データと関連付けられるオーディオ位置に対応する場合、メディアプレーヤはオーディオデータの再生を休止する。
【０２０６】
（ハードウェアの概要）
一実施形態によると、本明細書において説明する技術は１つ以上の専用コンピュータ装置により実現される。専用コンピュータ装置は、技術を実行するハードワイヤード方式であってもよいし、あるいは技術を実行するように永続的にプログラムされる１つ以上の特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のデジタル電子装置を含んでもよいし、あるいは、ファームウェア、メモリ、他の記憶装置又はそれらの組合せにおける命令に従って技術を実行するようにプログラムされた１つ以上の汎用ハードウェアプロセッサを含むものであってもよい。そのような専用コンピュータ装置は、技術を達成するためのカスタムプログラミングを含むカスタム配線論理、ＡＳＩＣ又はＦＰＧＡを更に組み合わせてもよい。専用コンピュータ装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーキング装置又は技術を実現するように配線論理及び／又はプログラム論理を組み込む他のあらゆる装置であってもよい。
【０２０７】
例えば図９は、本発明の一実施形態が実現されてもよいコンピュータシステム９００を示すブロック図である。コンピュータシステム９００は、情報を通信するバス９０２又は他の通信手段と、情報を処理するためにバス９０２と結合されたハードウェアプロセッサ９０４とを備える。ハードウェアプロセッサ９０４は、例えば汎用マイクロプロセッサであってもよい。
【０２０８】
コンピュータシステム９００は、情報及びプロセッサ９０４により実行される命令を格納するためにバス９０２に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶装置等のメインメモリ９０６を更に含む。プロセッサ９０４により実行される命令の実行中に一時的な変数又は他の中間情報を格納するために、メインメモリ９０６が更に使用されてもよい。そのような命令は、プロセッサ９０４にアクセス可能な非一時的な記憶媒体に格納される場合に、コンピュータシステム９００を命令において指定された動作を実行するようにカスタマイズされる専用機械とする。
【０２０９】
コンピュータシステム９００は、プロセッサ９０４に対する静的な情報及び命令を格納するためにバス９０２に結合された読み出し専用メモリ（ＲＯＭ）９０８又は他の静的記憶装置を更に含む。磁気ディスク又は光ディスク等の記憶装置９１０は、情報及び命令を格納するためにバス９０２に提供且つ結合される。
【０２１０】
コンピュータシステム９００は、コンピュータユーザに対して情報を表示するために、バス９０２を介してブラウン管（ＣＲＴ）等のディスプレイ９１２に結合されてもよい。英数字キー及び他のキーを含む入力装置９１４は、情報及びコマンドの選択をプロセッサ９０４に通信するためにバス９０２に結合される。別の種類のユーザ入力装置は、方向の情報及びコマンドの選択をプロセッサ９０４に通信し且つディスプレイ９１２上でのカーソルの移動を制御するためのマウス、トラックボール又はカーソルの方向のキー等のカーソル制御９１６である。一般にこの入力装置は、２つの軸、すなわち第１の軸（例えば、ｘ）及び第２の軸（例えば、ｙ）において装置が平面における位置を指定できるようにする２自由度を有する。
【０２１１】
コンピュータシステム９００は、コンピュータシステムと組み合わせてコンピュータシステム９００を専用機械にさせるかあるいは専用機械になるようにコンピュータシステム９００をプログラムするカスタマイズされた配線論理、１つ以上のＡＳＩＣ又はＦＰＧＡ、ファームウェア及び／あるいはプログラム論理を使用して本明細書において説明する技術を実現してもよい。一実施形態によると、本明細書における技術は、メインメモリ９０６に含まれた１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ９０４に応答してコンピュータシステム９００により実行される。そのような命令は、記憶装置９１０等の別の記憶媒体からメインメモリ９０６に読み込まれてもよい。メインメモリ９０６に含まれた命令のシーケンスを実行することにより、プロセッサ９０４は本明細書において説明する処理ステップを実行する。別の実施形態において、配線回路網は、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて使用されてもよい。
【０２１２】
本明細書において使用されるような「記憶媒体」という用語は、機械を特定の方法で動作させるデータ及び／又は命令を格納するあらゆる非一時的な媒体を示す。そのような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含む。不揮発性媒体は、例えば記憶装置９１０等の光ディスク又は磁気ディスクを含む。揮発性媒体は、メインメモリ９０６等のダイナミックメモリを含む。一般的な形態の記憶媒体は、例えばフロッピディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ又は他の何らかの磁気データ記憶媒体、ＣＤ−ＲＯＭ、他の何らかの光データ記憶媒体、孔のパターンを含むあらゆる物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、他の何らかのメモリチップ、あるいはカートリッジを含む。
【０２１３】
記憶媒体は、送信媒体とは異なるが、送信媒体と併用されてもよい。送信媒体は、記憶媒体の間での情報の伝達に関係する。例えば送信媒体は、バス９０２を含む電線を含む同軸ケーブル、銅線及び光ファイバを含む。送信媒体は、例えば電波及び赤外線のデータ通信中に生成された音波又は光波の形態もとりうる。
【０２１４】
種々の形態の媒体は、実行するために１つ以上の命令の１つ以上のシーケンスをプロセッサ９０４に搬送することに関わってもよい。例えば命令は、最初にリモートコンピュータの磁気ディスク又はソリッドステートドライブ上に搬送されてもよい。リモートコンピュータは、命令をダイナミックメモリにロードし且つモデムを使用して電話線を介して命令を送出できる。コンピュータシステム９００に対してローカルのモデムは、電話線上でデータを受信し、且つデータを赤外線信号に変換するために赤外線送信機を使用できる。赤外線検出器は、赤外線信号において搬送されたデータを受信でき、適切な回路網はデータをバス９０２上に配置できる。バス９０２は、プロセッサ９０４が命令を検索及び実行するメインメモリ９０６にデータを搬送する。メインメモリ９０６が受信した命令は、必要に応じて、プロセッサ９０４により実行される前又は実行された後に記憶装置９１０上に格納されてもよい。
【０２１５】
コンピュータシステム９００は、バス９０２に結合された通信インタフェース９１８を更に含む。通信インタフェース９１８は、ローカルネットワーク９２２に接続されるネットワークリンク９２０に結合する双方向データ通信を提供する。例えば通信インタフェース９１８は、データ通信接続を対応する種類の電話線に提供する統合サービスデジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム又はモデムであってもよい。別の例として、通信インタフェース９１８は、データ通信接続を互換性のあるローカルエリアネットワーク（ＬＡＮ）に提供するＬＡＮカードであってもよい。無線リンクが更に実現されてもよい。そのようなあらゆる実現例において、通信インタフェース９１８は、種々の情報を表すデジタルデータストリームを搬送する電気信号、電磁信号又は光信号を送出及び受信する。
【０２１６】
一般にネットワークリンク９２０は、データ通信を１つ以上のネットワークを介して他のデータ装置に提供する。例えばネットワークリンク９２０は、インターネットサービスプロバイダ（ＩＳＰ）９２６により操作されたホストコンピュータ９２４又はデータ機器にローカルネットワーク９２２を介して接続を提供してもよい。更にＩＳＰ９２６は、現在では一般に「インターネット」９２８と呼ばれる世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク９２２及びインターネット９２８の双方は、デジタルデータストリームを搬送する電気信号、電磁信号又は光信号を使用する。種々のネットワークを介する信号及びコンピュータシステム９００に対してデジタルデータを搬送するネットワークリンク９２０上の通信ネットワーク９１８を介する信号は、送信媒体の例示的な形態である。
【０２１７】
コンピュータシステム９００は、ネットワーク、ネットワークリンク９２０及び通信インタフェース９１８を介してメッセージを送出し且つプログラムコードを含むデータを受信できる。インターネットの例において、サーバ９３０は、インターネット９２８、ＩＳＰ９２６、ローカルネットワーク９２２及び通信インタフェース９１８を介してアプリケーションプログラムに対して要求されたコードを送信してもよい。
【０２１８】
受信されたコードは、受信される時にプロセッサ９０４により実行されてもよく、且つ／あるいは後で実行するために記憶装置９１０又は他の不揮発性記憶装置に格納されてもよい。
【０２１９】
いくつかの実施形によると、図１０〜図１５は、上述したような本発明の原理に係る電子装置１０００〜１５００を示す機能ブロック図である。装置の機能ブロックは、本発明の原理を実行するためにハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組合せで実現されてもよい。図１０〜図１５において説明する機能ブロックは、上述の本発明の原理を実現するために組み合わされてもよく、あるいはサブブロックに分けられてもよいことが当業者により理解される。従って、本明細書の説明は、本明細書で説明する機能ブロックのとりうるあらゆる組合せ又は分割、あるいは更なる定義をサポートしてもよい。
【０２２０】
図１０に示すように、電子装置１０００は、テキストバージョンが存在する作品のオーディオバージョンを反映するオーディオデータを受信するように構成されたオーディオデータ受信ユニット１００２を備える。電子装置１０００は、オーディオデータ受信ユニット１００２に結合された処理ユニット１００６を更に備える。いくつかの実施形態において、処理ユニット１００６は、音声−テキストユニット１００８とマッピングユニット１０１０とを備える。
【０２２１】
処理ユニット１００６は、オーディオデータの音声−テキスト分析を実行して、オーディオデータの部分に対してテキストを生成し（例えば、音声−テキストユニット１００８を用いて）、且つオーディオデータの部分に対して生成されたテキストに基づいて、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを生成する（例えば、マッピングユニット１０１０を用いて）ように構成される。
【０２２２】
図１１に示すように、電子装置１１００は、作品のテキストバージョンを受信するように構成されたテキスト受信ユニット１１０２を備える。電子装置１１００は、テキストバージョンが存在する作品のオーディオバージョンを反映する第２のオーディオデータを受信するように構成されたオーディオデータ受信ユニット１１０４を更に備える。電子装置１１００は、テキスト受信ユニット１１０２に結合された処理ユニット１１０６を更に備える。いくつかの実施形態において、処理ユニット１１０６は、テキスト−音声ユニット１１０８とマッピングユニット１１１０とを備える。
【０２２３】
処理ユニット１１０６は、テキストバージョンのテキスト−音声分析を実行して、第１のオーディオデータを生成し（例えば、テキスト−音声ユニット１１０８を用いて）、且つ第１のオーディオデータ及びテキストバージョンに基づいて、第１のオーディオデータにおける第１の複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間の第１のマッピングを生成する（例えば、マッピングユニット１１１０を用いて）ように構成される。処理ユニット１１０６は、（１）第１のオーディオデータと第２のオーディオデータとの比較及び（２）第１のマッピングに基づいて、第２のオーディオデータにおける第２の複数のオーディオ位置と作品のテキストバージョンの複数のテキスト位置との間の第２のマッピングを生成する（例えば、マッピングユニット１１１０を用いて）ように更に構成される。
【０２２４】
図１２に示すように、電子装置１２００は、オーディオ入力を受信するように構成されたオーディオ受信ユニット１２０２を備える。電子装置１２００は、オーディオ受信ユニット１２０２に結合された処理ユニット１２０６を更に備える。いくつかの実施形態において、処理ユニット１２０６は、音声−テキストユニット１２０８と、テキストマッチングユニット１２０９と、表示制御ユニット１２１０とを備える。
【０２２５】
処理ユニット１２０６は、オーディオ入力の音声−テキスト分析を実行して、オーディオ入力の部分に対してテキストを生成し（例えば、音声−テキストユニット１２０８を用いて）、オーディオ入力の部分に対して生成されたテキストが現在表示されているテキストに一致するかを判定し（例えば、テキストマッチングユニット１２０９を用いて）、且つテキストが現在表示されているテキストに一致すると判定することに応答して、現在表示されているテキストを強調表示させる（例えば、表示制御ユニット１２１０を用いて）ように構成される。
【０２２６】
図１３に示すように、電子装置１３００は、作品のテキストバージョン内の指定された位置を示す位置データを取得するように構成された位置データ取得ユニット１３０２を備える。電子装置１３００は、位置データ取得ユニット１３０２に結合された処理ユニット１３０６を更に備える。いくつかの実施形態において、処理ユニット１３０６はマップ検査ユニット１３０８を備える。
【０２２７】
処理ユニット１３０６は、作品のオーディオバージョンの複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して（例えば、マップ検査ユニット１３０８を用いて）、複数のテキスト位置のうち指定された位置に対応する特定のテキスト位置を判定し且つ特定のテキスト位置に基づいて、複数のオーディオ位置のうち特定のテキスト位置に対応する特定のオーディオ位置を判定するように構成される。処理ユニット１３０６は、特定のテキスト位置に基づいて判定された特定のオーディオ位置をメディアプレーヤに提供して、メディアプレーヤにオーディオデータの現在の再生位置として特定のオーディオ位置を設定させるように更に構成される。
【０２２８】
図１４に示すように、電子装置１４００は、オーディオデータ内の指定された位置を示す位置データを取得するように構成された位置取得ユニット１４０２を備える。電子装置１４００は、位置取得ユニット１４０２に結合された処理ユニット１４０６を更に備える。いくつかの実施形態において、処理ユニット１４０６は、マップ検査ユニット１４０８と表示制御ユニット１４１０とを備える。
【０２２９】
処理ユニット１４０６は、オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して（例えば、マッピング検査ユニット１４０８を用いて）、複数のオーディオ位置のうち指定された位置に対応する特定のオーディオ位置を判定し且つ特定のテキスト位置に基づいて、複数のテキスト位置のうち特定のオーディオ位置に対応する特定のテキスト位置を判定するように構成される。処理ユニット１４０６は、メディアプレーヤに特定のテキスト位置に関する情報を表示させる（例えば、表示制御ユニット１４１０を用いて）ように更に構成される。
【０２３０】
図１５に示すように、電子装置１５００は、作品のオーディオバージョンの再生中にオーディオバージョン内の指定された位置を示す位置データを取得するように構成された位置取得ユニット１５０２を備える。電子装置１５００は、位置データ取得ユニット１５０２に結合された処理ユニット１５０６を更に備える。いくつかの実施形態において、処理ユニット１５０６は、テキスト位置判定ユニット１５０８と表示制御ユニット１５１０とを備える。
【０２３１】
処理ユニット１５０６は、作品のオーディオバージョンの再生中、指定された位置に基づいて、作品のテキストバージョンで反映された第１のページの末尾を示すページ終了データと関連付けられる作品のテキストバージョンの特定のテキスト位置を判定し（例えば、テキスト位置判定ユニット１５０８を用いて）、且つ特定のテキスト位置がページ終了データと関連付けられると判定することに応答して、自動的に第１のページの表示を中止させ且つ第１のページに後続する第２のページを表示させる（例えば、表示制御ユニット１５１０を用いて）ように構成される。
【０２３２】
図１６に示すように、電子装置１６００は、作品の第１のバージョンが処理されている間にユーザからの入力に基づいているアノテーションデータを取得するように構成されたアノテーション取得ユニット１６０２を備える。電子装置１６００は、関連付けデータ格納ユニット１６０３を更に備える。電子装置１６００は、アノテーション取得ユニット１６０２及び関連付けデータ格納ユニット１６０３に結合された処理ユニット１６０６を更に備える。いくつかの実施形態において、処理ユニット１６０６は表示制御ユニット１６１０を備える。
【０２３３】
処理ユニット１６０６は、アノテーションデータを作品と関連付ける関連付けデータを格納させ（例えば、関連付けデータ格納ユニット１６０３を用いて）、且つ作品の第１のバージョンとは異なる第２のバージョンが処理されている間にアノテーションデータに関する情報を表示させる（例えば、表示制御ユニット１６１０を用いて）ように構成される。
【０２３４】
図１７に示すように、電子装置１７００は、作品の第１のバージョン内に第１のブックマークを設定するデータを受信するように構成されたデータ受信ユニット１７０２を備える。電子装置１７００は、位置データ格納ユニット１７０３を更に備える。電子装置１７００は、データ受信ユニット１７０２及び位置データ格納ユニット１７０３に結合された処理ユニット１７０６を更に備える。いくつかの実施形態において、処理ユニット１７０６はマップ検査ユニット１７０８を備える。
【０２３５】
処理ユニット１７０６は、作品の第２のバージョンとは異なる作品の第１のバージョンの複数の第１の位置と作品の第２のバージョンの対応する複数の第２の位置との間のマッピングを検査して（例えば、マップ検査ユニット１７０８を用いて）、複数の第１の位置のうち第１のブックマークに対応する特定の第１の位置を判定し且つ特定の第１の位置に基づいて、複数の第２の位置のうち特定の第１の位置に対応する特定の第２の位置を判定し、且つ作品の第２のバージョン内に第２のブックマークとして特定の第２の位置を設定するデータを格納させる（例えば、位置データ格納ユニット１７０３を用いて）ように構成される。
【０２３６】
図１８に示すように、電子装置１８００は、装置においてユーザからオーディオ入力を受信するように構成されたオーディオ受信ユニット１８０２を備える。電子装置１８００は、オーディオ受信ユニット１８０２に結合された処理ユニット１８０６を更に備える。いくつかの実施形態において、処理ユニット１８０６は、単語分析ユニット１８０８と表示制御ユニット１８１０とを備える。
【０２３７】
処理ユニット１８０６は、装置により作品のテキストの部分を表示させ（例えば、表示制御ユニット１８１０を用いて）、且つオーディオ受信ユニットにおいてオーディオ入力を受信することに応答して、オーディオ入力を分析して１つ以上の単語を識別し（例えば、単語分析ユニット１８０８を用いて）、１つ以上の単語がテキストの部分に反映されるかを判定し（例えば、単語分析ユニット１８０８を用いて）且つ１つ以上の単語がテキストの部分に反映されると判定することに応答して、装置により視覚表示を表示させる（例えば、表示制御ユニット１８１０を用いて）ように構成される。
【０２３８】
上述の明細書において、実現例によって異なってもよい多くの特定の詳細を参照して本発明の実施形態を説明した。明細書及び図面は、適応的に、限定的な意味ではなく例示的な意味で考えられる。本発明の範囲の単独の排他的な指標及び出願人により本発明の範囲であると意図されるものは、請求項により得られる特定の形態の後続するあらゆる補正を含む本出願から生ずるそのような請求項の集合の文字通りの等価な範囲である。
【図１】
2014519058.tif 000003
【図２】
2014519058.tif 000004
【図３】
2014519058.tif 000005
【図４】
2014519058.tif 000006
【図５Ａ】
2014519058.tif 000007
【図５Ｂ】
2014519058.tif 000008
【図６】
2014519058.tif 000009
【図７】
2014519058.tif 000010
【図８Ａ】
2014519058.tif 000011
【図８Ｂ】
2014519058.tif 000012
【図９】
2014519058.tif 000013
【図１０】
2014519058.tif 000014
【図１１】
2014519058.tif 000015
【図１２】
2014519058.tif 000016
【図１３】
2014519058.tif 000017
【図１４】
2014519058.tif 000018
【図１５】
2014519058.tif 000019
【図１６】
2014519058.tif 000020
【図１７】
2014519058.tif 000021
【図１８】
2014519058.tif 000022
【手続補正書】
【提出日】平成26年1月24日(2014.1.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサと、前記プロセッサによって実行される命令を格納したメモリを有する電子装置によって実行される方法であって、
作品のオーディオバージョンの再生中に、
前記オーディオバージョン内の指定された位置を示す位置データを取得するステップと、
前記指定された位置に基づいて、前記作品のテキストバージョンの特定のテキスト位置を判定するステップと、
前記特定のテキスト位置が前記オーディオバージョンの再生をいつ休止するかを示す休止データと関連付けられているかを判定するステップと、
前記特定のテキスト位置が前記休止データと関連付けられていると判定されたことに応答して、前記オーディオバージョンの再生を休止するステップと、
を有することを特徴とする方法。
【請求項２】
前記休止データは前記作品の前記テキストバージョン内にあることを特徴とする請求項１に記載の方法。
【請求項３】
前記特定のテキスト位置を判定するステップは、
前記オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のオーディオ位置のうち前記指定された位置に対応する特定のオーディオ位置を判定し、
前記特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記特定のオーディオ位置に対応する前記特定のテキスト位置を判定するステップ
を含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記休止データは、前記作品の前記テキストバージョンで反映されたページの末尾に対応することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記休止データは、前記作品の前記テキストバージョン内のテキストを含まないピクチャの直前の位置に対応することを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
ユーザ入力の受信に応答して前記オーディオバージョンの再生を継続するステップを更に有することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記オーディオバージョンの再生が休止されてから所定時間が経過したことに応答して前記オーディオバージョンの再生を継続するステップを更に有することを特徴とする請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
１つ以上のプロセッサと、
メモリと、
前記メモリに格納され、前記１つ以上のプロセッサにより実行される１つ以上のプログラムと、
を有し、
前記１つ以上のプログラムは、
作品のオーディオバージョンの再生中に、
前記オーディオバージョン内の指定された位置を示す位置データを取得し、
前記指定された位置に基づいて、前記作品のテキストバージョンの特定のテキスト位置を判定し、
前記特定のテキスト位置が前記オーディオバージョンの再生をいつ休止するかを示す休止データと関連付けられているかを判定し、
前記特定のテキスト位置が前記休止データと関連付けられていると判定されたことに応答して、前記オーディオバージョンの再生を休止する
ための命令を含むことを特徴とする電子装置。
【請求項９】
前記休止データは前記作品の前記テキストバージョン内にあることを特徴とする請求項８に記載の電子装置。
【請求項１０】
前記特定のテキスト位置を判定するための命令は、
前記オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のオーディオ位置のうち前記指定された位置に対応する特定のオーディオ位置を判定し、
前記特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記特定のオーディオ位置に対応する前記特定のテキスト位置を判定する
ための命令を含むことを特徴とする請求項８又は９に記載の電子装置。
【請求項１１】
前記休止データは、前記作品の前記テキストバージョンで反映されたページの末尾に対応することを特徴とする請求項８乃至１０のいずれか１項に記載の電子装置。
【請求項１２】
前記休止データは、前記作品の前記テキストバージョン内のテキストを含まないピクチャの直前の位置に対応することを特徴とする請求項８乃至１１のいずれか１項に記載の電子装置。
【請求項１３】
ユーザ入力の受信に応答して前記オーディオバージョンの再生を継続するための命令を更に有することを特徴とする請求項８乃至１２のいずれか１項に記載の電子装置。
【請求項１４】
前記オーディオバージョンの再生が休止されてから所定時間が経過したことに応答して前記オーディオバージョンの再生を継続するための命令を更に有することを特徴とする請求項８乃至１３のいずれか１項に記載の電子装置。
【請求項１５】
１つ以上のプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、前記１つ以上のプログラムは、電子装置によって実行されたときに、前記電子装置に、
作品のオーディオバージョンの再生中に、
前記オーディオバージョン内の指定された位置を示す位置データを取得させ、
前記指定された位置に基づいて、前記作品のテキストバージョンの特定のテキスト位置を判定させ、
前記特定のテキスト位置が前記オーディオバージョンの再生をいつ休止するかを示す休止データと関連付けられているかを判定させ、
前記特定のテキスト位置が前記休止データと関連付けられていると判定されたことに応答して、前記オーディオバージョンの再生を休止させる
ための命令を含むことを特徴とする記憶媒体。
【請求項１６】
前記休止データは前記作品の前記テキストバージョン内にあることを特徴とする請求項１５に記載の記憶媒体。
【請求項１７】
前記電子装置に前記特定のテキスト位置を判定させるための命令は、前記電子装置に、
前記オーディオデータにおける複数のオーディオ位置と作品のテキストバージョンの対応する複数のテキスト位置との間のマッピングを検査して、
前記複数のオーディオ位置のうち前記指定された位置に対応する特定のオーディオ位置を判定させ、
前記特定のオーディオ位置に基づいて、前記複数のテキスト位置のうち前記特定のオーディオ位置に対応する前記特定のテキスト位置を判定させる
ための命令を含むことを特徴とする請求項１５又は１６に記載の記憶媒体。
【請求項１８】
前記休止データは、前記作品の前記テキストバージョンで反映されたページの末尾に対応することを特徴とする請求項１５乃至１７のいずれか１項に記載の記憶媒体。
【請求項１９】
前記休止データは、前記作品の前記テキストバージョン内のテキストを含まないピクチャの直前の位置に対応することを特徴とする請求項１５乃至１８のいずれか１項に記載の記憶媒体。
【請求項２０】
前記電子装置によって実行されたときに、前記電子装置に、前記オーディオバージョンの再生が休止されてから所定時間が経過したことに応答して前記オーディオバージョンの再生を継続させるための命令を更に有することを特徴とする請求項１５乃至１９のいずれか１項に記載の記憶媒体。
【国際調査報告】
2014519058.tif 000023
2014519058.tif 000024
2014519058.tif 000025
2014519058.tif 000026