(57)【要約】【課題】ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる再生装置を提供する。【解決手段】音声データにより構成される再生データの再生を行う再生装置１において、ユーザによる操作部１５の操作により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１と、当該作成された第１次再生プランを基に、最適化問題を線形計画問題として線形計画法を用いて解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１と、当該作成された第２次再生プランに従って、再生データを再生する再生プログラム１６３ｂ３を実行したＣＰＵ１６１と、を備えるよう構成した。【選択図】図９
2008276122.tif 000002
【特許請求の範囲】
【請求項１】
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記再生データの記録時の速度とは異なる再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
を備えることを特徴とする再生装置。
【請求項２】
請求項１に記載の再生装置において、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記第１次再生プラン作成手段は、前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成し、
前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであり、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする再生装置。
【請求項３】
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つを元にした線形関数又は非線形関数を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、非線形計画問題として非線形計画法を用いて解くものであり、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を線形関数又は非線形関数で含むことを特徴とする再生装置。
【請求項４】
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記第２次再生プラン作成手段は、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに、所定の値を最小又は最大にし、且つ、再生加速度が所定の範囲内にあるとともに、再生加速度が予め設定された時区間では一定である第２次再生プランを作成し、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする再生装置。
【請求項５】
請求項２〜４の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記第１次再生プラン作成手段により作成された第１次再生プランと、前記第２次再生プランにより作成された第２次再生プランと、の差が予め設定された規定範囲内にあるか否かを判断する判断手段と、
前記判断手段によって前記第１次再生プラン手段により作成された第１次再生プランと前記第２次再生プラン作成手段により作成された第２次再生プランとの差が予め設定された規定範囲内にないと判断された場合、又は、前記第２次再生プラン作成手段により前記制約条件を満たす第２次再生プランが作成されなかった場合に、前記出力装置から出力される再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整する音量調整手段と、
を備えることを特徴とする再生装置。
【請求項６】
請求項２〜５の何れか一項に記載の再生装置において、
前記所定の値は、前記第２次再生プランによる再生加速度の大きさを含むことを特徴とする再生装置。
【請求項７】
請求項２〜６の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データが、無音区間内の再生データであるか否かを判定する無音区間判定手段を備え、
前記第２次再生プラン作成手段は、前記無音区間判定手段によって前記取得手段により取得された再生データが無音区間内の再生データであると判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする再生装置。
【請求項８】
請求項２〜７の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データが、音声区間内の再生データであるか否かを判定する音声区間判定手段を備え、
前記第２次再生プラン作成手段は、前記音声区間判定手段によって前記取得手段により取得された再生データが音声区間内の再生データでないと判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする再生装置。
【請求項９】
請求項２〜８の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データに基づく音声の話速を推定する話速推定手段を備え、
前記第２次再生プラン作成手段は、前記話速推定手段により推定された話速に応じて前記制約条件を変化させることを特徴とする再生装置。
【請求項１０】
請求項２〜９の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、音声データ及び映像データにより構成されており、
前記所定の値は、前記第２次再生プランによる音声データの再生位置と、当該第２次再生プランによる映像データの再生位置と、の差を含むことを特徴とする再生装置。
【請求項１１】
音声データにより構成される再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データの波形の一致度を考慮して、当該再生データの時間軸を変換する時間軸変換手段と、
前記時間軸変換手段により時間軸が変換された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記最適化問題は、目的関数として、前記第１次再生プランと前記第２次再生プランとの差と、前記第２次再生プランによる再生加速度の大きさと、の和を最小にするために、制約条件として、前記第２次再生プランによる再生位置の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであることを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可変速再生を行う再生装置に関する。
【背景技術】
【０００２】
ＶＣＲ（Video Cassette Recorder）やＤＶＤレコーダ、ハードディスクレコーダなどの再生装置においては、ユーザはリモートコントローラ（以下「リモコン」という）に設けられた「早送りボタン」や「巻戻しボタン」などを駆使することで、音声データ及び／又は映像データにより構成される再生データの再生中に、聞きたくない部分や見たくない部分を飛ばしたり、必要な部分を繰り返し聞いたり見たりすることができるようになっている。
【０００３】
しかしながら、例えば、ユーザの指示に従って、再生速度を標準速（１倍速）から２倍速に推移させてそのまま固定すると、再生速度が一瞬にして標準速から２倍速に変化するため、人間の聞き取り処理がその変化に対応できず、聞き落としが生じるという問題がある。
また、例えば、３倍速再生などの高速度再生の時間を、１０秒以上持続させると、ほとんどの場合聞き取れなくなってしまうが、０．５秒程度の短時間にすれば、多くの場合聞き落としはないということも分かっている。
【０００４】
従来、再生データの再生速度の制御については、ＶＣＲの機械的特性などに依存して緩やかに変化させるものや、段階的に速度を上昇／下降させるものはあった。
【０００５】
また、音声データを不連続な位置にジャンプさせた際、映像データを違和感なく再生するために、適度に増加させた速度や、段階的に増加させた速度、スプライン関数で制御された速度などで映像データを再生し、映像を音声に滑らかに一致させていく方法が提案されている（例えば、特許文献１参照）。
【０００６】
また、再生速度の変化を人間にとって快適にするために、再生速度を人工的に可変する技術として、追い付き再生（現在放送されているシーンまでの早送り再生）において、追い付く直前に再生速度を減速していき、現在の放送に滑らかにつなげる方法（例えば、特許文献２参照）や、音声データの高速度再生において、フレームを前半ブロックと後半ブロックに分割し、前半ブロックには次第に減衰率が大きくなるフェードアウト処理を施すとともに、後半ブロックには次第に減衰率が小さくなるフェードイン処理を施し、フェードアウト処理をした前半ブロックとフェードイン処理をした後半ブロックとを重ね合わせることによって、前後のフレームを滑らかにつなげる方法（例えば、特許文献３参照）が提案されている。
【０００７】
ところで、音声データに基づく音声の話速をユーザにとって聞きやすく修正する技術として、音声の時間軸変換（ＴＳＭ：Time Scale Modification）と呼ばれる技術が、既に公知になっている（例えば、特許文献４参照）。この時間軸変換技術を用いると、声の高さ（ピッチ）を変えずに、音声の長さを変えることができる。
また、時間軸変換技術を前提として、文頭ではゆっくり再生し、文末では速めに再生することで、文頭と文末とで再生速度が同一の場合と比較して、同じ再生時間であっても、より聞き取りやすく再生する再生プランを決定する方法が提案されている（例えば、特許文献５参照）。
【特許文献１】特開２００１−１０３４０１号公報
【特許文献２】特開２００１−９４９４８号公報
【特許文献３】特開２００６−１２７６４７号公報
【特許文献４】特開平１０−２５７５９６号公報
【特許文献５】特開２００１−２２２３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の、再生データの再生速度の制御について、ＶＣＲの機械的特性などに依存して緩やかに変化させるものや、段階的に速度を上昇／下降させるものは、あくまでも再生データの再生速度の急激な変化に伴う不具合の程度を緩和するだけのものであり、再生データの再生速度の変化を、人間の特性に基づいて最適に調整できるものではない。さらに、高速度再生の持続時間に許容範囲があることまでを考慮して、再生データの再生速度の変化を最適に調整できるものでもない。
【０００９】
また、特許文献１は、最適な速度変化を決定する方法を示したものではなく、あくまでも再生データの再生速度の急激な変化に伴う不具合の程度を緩和するだけのものであり、再生データの再生速度の変化を、人間の特性に基づいて最適に調整できるものではない。
【００１０】
また、特許文献２及び３は、再生速度を人工的に可変するため、人間にとって不自然感をもたらすという問題がある。さらに、特許文献２及び３の再生速度の変化は便宜的なものであって、最適性の基準を持たないため、やはり再生データの再生速度の急激な変化に伴う不具合の程度を緩和するだけのものであり、再生データの再生速度の変化を、人間の特性に基づいて最適に調整できるものではない。
【００１１】
また、特許文献４は、決定された再生プランに基づいて、明瞭な音で再生するための手法（すなわち、ノイズを発生させないで音を再生する手法）を示したものであり、再生データの再生速度の変化を人間の特性に基づいて最適に調整するための再生プランを決定する手法を示したものではない。
また、特許文献５では、早送り再生を含んだ状況での再生プランの決定については述べられていないため、ユーザにより早送り再生が指示された際に、再生データの再生速度の変化を人間の特性に基づいて最適に調整するための再生プランを決定することはできない。
【００１２】
本発明の課題は、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる再生装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、請求項１に記載の発明は、
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記再生データの記録時の速度とは異なる再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
を備えることを特徴とする。
【００１４】
請求項２に記載の発明は、
請求項１に記載の再生装置において、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記第１次再生プラン作成手段は、前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成し、
前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであり、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする。
【００１５】
請求項３に記載の発明は、
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つを元にした線形関数又は非線形関数を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、非線形計画問題として非線形計画法を用いて解くものであり、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を線形関数又は非線形関数で含むことを特徴とする。
【００１６】
請求項４に記載の発明は、
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記第２次再生プラン作成手段は、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに、所定の値を最小又は最大にし、且つ、再生加速度が所定の範囲内にあるとともに、再生加速度が予め設定された時区間では一定である第２次再生プランを作成し、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする。
【００１７】
請求項５に記載の発明は、
請求項２〜４の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記第１次再生プラン作成手段により作成された第１次再生プランと、前記第２次再生プランにより作成された第２次再生プランと、の差が予め設定された規定範囲内にあるか否かを判断する判断手段と、
前記判断手段によって前記第１次再生プラン手段により作成された第１次再生プランと前記第２次再生プラン作成手段により作成された第２次再生プランとの差が予め設定された規定範囲内にないと判断された場合、又は、前記第２次再生プラン作成手段により前記制約条件を満たす第２次再生プランが作成されなかった場合に、前記出力装置から出力される再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整する音量調整手段と、
を備えることを特徴とする。
【００１８】
請求項６に記載の発明は、
請求項２〜５の何れか一項に記載の再生装置において、
前記所定の値は、前記第２次再生プランによる再生加速度の大きさを含むことを特徴とする。
【００１９】
請求項７に記載の発明は、
請求項２〜６の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データが、無音区間内の再生データであるか否かを判定する無音区間判定手段を備え、
前記第２次再生プラン作成手段は、前記無音区間判定手段によって前記取得手段により取得された再生データが無音区間内の再生データであると判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする。
【００２０】
請求項８に記載の発明は、
請求項２〜７の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データが、音声区間内の再生データであるか否かを判定する音声区間判定手段を備え、
前記第２次再生プラン作成手段は、前記音声区間判定手段によって前記取得手段により取得された再生データが音声区間内の再生データでないと判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする。
【００２１】
請求項９に記載の発明は、
請求項２〜８の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データに基づく音声の話速を推定する話速推定手段を備え、
前記第２次再生プラン作成手段は、前記話速推定手段により推定された話速に応じて前記制約条件を変化させることを特徴とする。
【００２２】
請求項１０に記載の発明は、
請求項２〜９の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、音声データ及び映像データにより構成されており、
前記所定の値は、前記第２次再生プランによる音声データの再生位置と、当該第２次再生プランによる映像データの再生位置と、の差を含むことを特徴とする。
【００２３】
請求項１１に記載の発明は、
音声データにより構成される再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度を指示するための指示手段と、
前記指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データの波形の一致度を考慮して、当該再生データの時間軸を変換する時間軸変換手段と、
前記時間軸変換手段により時間軸が変換された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記最適化問題は、目的関数として、前記第１次再生プランと前記第２次再生プランとの差と、前記第２次再生プランによる再生加速度の大きさと、の和を最小にするために、制約条件として、前記第２次再生プランによる再生位置の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、再生データを記憶する記憶手段と、再生データの記録時の速度とは異なる再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、記憶手段に記憶された再生データの再生速度を指示するための指示手段と、第２次再生プラン作成手段により作成された第２次再生プランに従って、記憶手段から再生データを取得する取得手段と、取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、第１次再生プラン作成手段は、指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成し、最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであり、所定の値は、第１次再生プランと第２次再生プランとの差を含んでいる。
したがって、再生データの再生速度の変化を、ユーザが指示する再生速度との差を最小にし、且つ、判別可能条件の内部に収まるという制約条件を満たすように調整できるため、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる。
【発明を実施するための最良の形態】
【００２５】
以下、図を参照して、本発明にかかる再生装置の最良の形態を詳細に説明する。なお、発明の範囲は、図示例に限定されない。
【００２６】
＜基礎的実験の概要＞
本発明にかかる再生装置１の構成など（実施例）を説明する前に、まず、人間の特性を知るために行った基礎的実験の概要について説明する。
【００２７】
「人間が聞き取ることのできる再生速度変化の限界」が定量化できれば、再生装置１は、その限界に基づいて再生データを再生できるので、視聴者に最も時間的効率のよい視聴をさせることが可能となる。また、「人間がストレスを感じない再生速度変化の限界」が定量化できれば、再生装置１は、その限界に基づいて再生データを再生できるので、視聴者に不快感を生じさせないままで効率のよい視聴をさせることが可能となる。
そこで、人間の特性を知るために、被験者に対して任意の速度変化で話速を変化させた音声を提示できる実験装置１０００を作成し、以下の実験を行った。
【００２８】
実験装置１０００は、例えば、図１に示すように、スライド型可変抵抗器２０００と、モニタ３０００と、デジタル信号処理装置４０００と、ヘッドホン５０００と、スイッチ６０００と、などを備えて構成される。
例えば、図１に示すように、操作者は、モニタ３０００の画面を見ながら、スライド型可変抵抗器２０００を操作するようになっており、被験者は、ヘッドホン５０００から出力される音声を聞きながら、スイッチ６０００を操作するようになっている。
また、実験装置１０００は、例えば、図１に示すように、実験結果解析用計算機９０００と接続されており、実験装置１０００により得られた実験結果は、実験結果解析用計算機９０００において解析されるようになっている。
【００２９】
操作者は、例えば、スライド型可変抵抗器２０００を操作して、記憶媒体４１００に記憶された音声データの再生速度を随時変化させる。
具体的には、操作者は、例えば、音声データの再生プランの軌跡がマクロ速度−加速度平面（後述）をまんべんなくうめつくすように、モニタ３０００に表示されるマクロ速度−加速度平面図を見ながら、スライド型可変抵抗器２０００を操作する。
【００３０】
デジタル信号処理装置４０００は、例えば、ＳＤ（Secure Digital）メモリカードなどの記憶媒体４１００に記憶された音声データをスライド型可変抵抗器２０００の位置に応じた再生速度で再生して、実験結果を記録する。
具体的には、デジタル信号処理装置４０００は、例えば、図１に示すように、記憶媒体４１００と、読取部４２００と、デコーダ４３００と、時間軸変換部４４００と、制御部４５００と、実験結果記録用メモリ４６００と、などを備えて構成される。
【００３１】
制御部４５００は、例えば、図１に示すように、ＣＰＵ（Central Processing Unit）４５１０と、ＲＡＭ（Random Access Memory）４５２０と、記憶部４５３０と、などを備えて構成されている。
記憶部４５３０は、例えば、図１に示すように、再生速度決定プログラム４５３１と、読取位置決定プログラム４５３２と、マクロ速度／加速度算出プログラム４５３３と、マクロ速度／加速度グラフ化プログラム４５３４と、音声強度算出プログラム４５３５と、などを記憶している。
【００３２】
ＣＰＵ４５１０は、例えば、再生速度決定プログラム４５３１を実行して、スライド型可変抵抗器２０００の位置に応じた再生速度V(t)を決定する。
次いで、ＣＰＵ４５１０は、例えば、読取位置決定プログラム４５３２を実行して、当該決定された再生速度V(t)に基づいて、記憶媒体４１００に記憶された音声データの読取位置を決定する。
次いで、読取部４２００は、制御部４５００から入力される制御信号に従って、例えば、記憶媒体４１００に記憶された音声データのうちの当該決定された読取位置にある音声データを取得して、デコーダ４３００に出力する。
次いで、デコーダ４３００は、制御部４５００から入力される制御信号に従って、例えば、読取部４２００から入力された音声データにデコード等の所定の処理を施して、時間軸変換部４４００及び制御部４５００に出力する。
次いで、時間軸変換部４４００は、制御部４５００から入力される制御信号に従って、例えば、異音を発生させることなく、ピッチを変えずに話速のみを変化させる既存の時間軸変換技術（例えば、ＴＳＭなど）を用いて、デコーダ４３００から入力された音声データの時間軸を変換して、図示しないアンプを介して、ヘッドホン５０００に出力する。
これにより、ヘッドホン５０００から音声データに基づく音声が出力されることになる。
【００３３】
また、ＣＰＵ４５１０は、例えば、マクロ速度／加速度算出プログラム４５３３を実行して、当該決定された再生速度V(t)に基づいて、マクロ速度（後述）及びマクロ加速度（後述）を算出する。
次いで、ＣＰＵ４５１０は、例えば、マクロ速度／加速度グラフ化プログラム４５３４を実行して、当該算出されたマクロ速度及びマクロ加速度をグラフ化することによって、操作者から指示された再生プラン（再生速度変化）の軌跡が描かれたマクロ速度−加速度平面図を作成し、そのマクロ速度−加速度平面図をモニタ３０００に表示させる。
また、ＣＰＵ４５１０は、例えば、音声強度算出プログラム４５３５を実行して、デコーダ４３００から入力された音声データに基づいて音声強度P(t)を算出する。
【００３４】
被験者は、例えば、操作者によるスライド型可変抵抗器２０００の操作によって再生速度が調整された音声を聞き取り、語句が聞き取れるか否かを判定する。
具体的には、被験者は、例えば、ヘッドホン５０００から出力される音声を聞き取り、語句が聞き取れない時区間の間はスイッチ６０００を「ＯＮ」にし、語句が聞き取れる時区間の間はスイッチ６０００を「ＯＦＦ」にする。
【００３５】
そして、ＣＰＵ４５１０は、例えば、再生速度決定プログラム４５３１を実行したＣＰＵ４５１０により決定された再生速度V(t)と、スイッチ６０００の状態Z(t)と、を時系列として実験結果記録用メモリ４６００に記録するとともに、例えば、再生された音声が無音区間の音声であるか否かを記録しておくために、音声強度算出プログラム４５３５を実行したＣＰＵ４５１０により算出された音声強度P(t)も同時に実験結果記録用メモリ４６００に記録する。
具体的には、再生速度V(t)の表現の仕方としては、例えば、時刻ｔにおいて、標準速の場合をV(t)＝１．０、２倍速の場合をV(t)＝２．０、などとすることにする。
また、スイッチ６０００の状態Z(t)の表現の仕方としては、例えば、時刻ｔにおいて、スイッチ６０００が「ＯＮ」である場合をZ(t)＝１、スイッチ６０００が「ＯＦＦ」である場合をZ(t)＝０、とすることにする。
【００３６】
そして、実験結果記録用メモリ４６００に記録されたV(t)、Z(t)、P(t)を、実験結果解析用計算機９０００に転送して、実験結果解析用計算機９０００により解析し、人間が語句を聞き取るためには、再生速度V(t)はどのような条件を満たせばよいか解析した。
【００３７】
人間が語句を聞き取るための条件が単純なものでないことは明らかである。
例えば、「再生速度が２．２倍速よりも小さいと聞き取れる」という単純な条件であれば、所望の条件は、V(t)＜２．２となる。
しかしながら、例えば、V(t)＝１．０からゆっくり時間をかけて速度を上昇させてV(t)＝２．２にする場合は、語句を十分に聞き取れることが多いのに対し、V(t)＝１．０から一瞬にして速度を上昇させてV(t)＝２．２にする場合は、人間の脳が速度変化に対応し切れずに、変化直後の数秒間は語句の聞き落としが生じてしまうことが多い。
さらに、例えば、０．０２秒間はV(t)＝１０にして、直ぐにV(t)＝１．０に戻す場合は、高速度再生の期間がほんの一瞬であるため、語句の聞き取りに何の問題も生じないことが多い。
【００３８】
以上のようなことを考えると、人間が語句を聞き取るための条件は、“V(t)＜定数”のように書き表せるような単純なものでないことは明らかである。
そこで、人間が語句を聞き取るための条件は、本質的に２つの指標に関する条件から成り立っていると考えることにする。
【００３９】
第１の指標は、一定幅の時区間での平均再生速度（以下「マクロ速度VＭ(t)」という）である。
第１の指標を、瞬間的な再生速度とせずに、マクロ速度VＭ(t)としたのは、音韻を識別していく場合、ある決まった長さの音声波形が必要であるし、また、音声を語句として識別していく場合、脳の処理速度に限界があるため、単位時間あたりの処理可能な語句の数に制限がありそうだからである。
【００４０】
再生する音声データ（音声波形データ）が、例えば、図２（ａ）に示すものであるとすると、マクロ速度VＭ(t)は、例えば、図２（ｂ）に示すように、現時点から過去LＡ秒に亘る時区間LＡにおける平均再生速度として、すなわち、以下の式（１）のように定義する。
【数１】
2008276122.tif 000003
【００４１】
なお、マクロ速度VＭ(t)は、さらに一般的な形として、以下の式（２）の条件を満たす重み関数WＶで重みをつけることによって、以下の式（３）のように定義することもできる。図２（ｄ）には、図２（ｂ）を実現するための重み関数WＶの例を示す。このとき、WＶ(τ)＝１／LＡである。
【数２】
2008276122.tif 000004
【００４２】
第２の指標は、一定幅の時区間での再生加速度（以下「マクロ加速度AＭ(t)」という）である。
第２の指標として、マクロ加速度AＭ(t)を挙げたのは、上述のように、同じ話速であっても、ゆっくりと速度を変化させたときと、一瞬にして速度を変化させたときとでは、語句の聞き取りに差が出るため、加速度的な指標が必要であると考えたからである。
再生する音声データ（音声波形データ）が、例えば、図２（ａ）に示すものであるとすると、マクロ加速度AＭ(t)は、例えば、図２（ｃ）に示すように、加速度を評価する２つの時区間（例えば、現時点から過去LＢ秒に亘る時区間と、過去LＢ秒から過去LＢ＋LＣ秒に亘る時区間）を決めて、現時点から過去LＢ秒に亘る時区間における平均再生速度と、過去LＢ秒から過去LＢ＋LＣ秒に亘る時区間における平均再生速度との差を、両時区間の中心間の時間差（すなわち、現時点から過去LＢ秒に亘る時区間の中央から過去LＢ秒から過去LＢ＋LＣ秒に亘る時区間の中央までの時間）で除算したものとして、すなわち、以下の式（４）のように定義する。
【数３】
2008276122.tif 000005
【００４３】
なお、マクロ加速度AＭ(t)は、さらに一般的な形として、以下の式（５）の条件を満たす重み関数WＡで重みをつけて、時間長LＥにわたって速度を加重平均することによって、以下の式（６）のように定義することもできる。
【数４】
2008276122.tif 000006
【００４４】
ちなみに、一般的なマクロ加速度の定義である式（６）で式（４）のマクロ加速度を表現するためには、重み関数WＡを、以下の式（７）〜（９）とし、時間長LＥを、以下の式（１０）とすればよい。具体例を示すと、例えば、図２（ｃ）のマクロ加速度は、図２（ｅ）で示される重み関数WＡで表現できる。
【数５】
2008276122.tif 000007
【００４５】
さて、マクロ速度VＭ(t)とマクロ加速度AＭ(t)は、語句の聞き取りに関する人間の負担を定量化したものであり、本来は別個のものである。しかしながら、語句を聞き取ろうとする人間の総合的な負担は、両者の組み合わせによって決まると考えられる。
そこで、マクロ速度VＭ(t)を横軸にとり、マクロ加速度AＭ(t)を縦軸にとった２次元平面としてマクロ速度−加速度平面を考え、人間が語句を聞き取り可能な条件（判別可能条件）は、このマクロ速度−加速度平面内のにある特定領域の内部であると考えることにする。
【００４６】
操作者が、モニタ３０００に表示されたマクロ速度−加速度平面上に描かれていくマクロ速度VＭ(t)とマクロ加速度AＭ(t)とを要素とするベクトルの軌跡（再生プランの軌跡）を見ながら、スライド型可変抵抗器２０００を操作することで、再生プランの軌跡でマクロ速度−加速度平面をうめつくしていくことができる。このとき、マクロ速度−加速度平面内の、判別可能条件を満たす領域（Z(t)＝０に対応する軌跡が入る領域）と、判別可能条件を満たさない領域（Z(t)＝１に対応する軌跡が入る領域）と、をより高い分離度で分離できるパラメータLＡ、LＢ、LＣを選択することができれば、判別可能条件を、速度だけの単純な条件よりも、人間の特性により近いものとして記述できることになる。
そこで、マクロ速度−加速度平面における判別可能条件を満たす領域と判別可能条件を満たさない領域とを、より高い分離度で分離できるパラメータLＡ、LＢ、LＣの組を探索するために、実験を行った。
【００４７】
図３及び図４は、ある被験者に対してある音声データに基づく音声を聞かせた場合の実験結果の例である。図３は、あまり適切でないパラメータLＡ、LＢ、LＣの組（具体的には、LＡ＝２．０秒、LＢ＝０．５秒、LＣ＝０．５秒）を選択した場合の例であり、図４は、適切なパラメータLＡ、LＢ、LＣの組（具体的には、LＡ＝０．５秒、LＢ＝０．２５秒、LＣ＝１．０８秒）を選択した場合の例である。
図３（ａ）及び図４（ａ）は、再生時間８分４０秒分の再生プランの全軌跡を示し、図３（ｂ）及び図４（ｂ）は、再生時間８分４０秒分の再生プランの全軌跡のうちの、被験者が語句を聞き取ることができなかった時区間の軌跡（Z(t)＝１に対応する軌跡）のみを抜き出したものを示す。
【００４８】
図３及び図４によれば、図３に示す場合よりも、図４に示す場合の方が判別可能条件を満たす領域と判別可能条件を満たさない領域とを高い分離度で分離できることが分かる。すなわち、図３及び図４によれば、パラメータLＡ、LＢ、LＣの組が異なれば、判別可能条件を満たす領域と、判別可能条件を満たさない領域と、の分離に差が出ることが分かる。
【００４９】
このパラメータLＡ、LＢ、LＣの組を探索するための実験を、延べ７名の被験者に対して行って総計した結果を図５に示す。
具体的には、図５は、適切なパラメータLＡ、LＢ、LＣの組（具体的には、LＡ＝０．５秒、LＢ＝０．２５秒、LＣ＝１．０８秒）を選択した場合の、マクロ速度−加速度平面における聞き取れる割合（Z(t)＝１とZ(t)＝０の割合）を図式化したものである。灰色の濃さが濃いほど聞き取れる割合が高いことを示し、灰色の濃さが薄いほど聞き取れる割合が低いことを示し、白色は誰も聞き取ることができなかったことを示す。なお、背景の斜線領域は、再生プランの軌跡が通過しなかった領域である。
【００５０】
図５によれば、適切なパラメータLＡ、LＢ、LＣの組を選択すれば、マクロ速度−加速度平面における判別可能条件を満たす領域と判別可能条件を満たさない領域とを、より高い分離度で分離できること（すなわち、語句を聞き取れるか否かの判定をより高い精度で行うこと）ができそうであることが分かる。また、判別可能条件を満たす領域と判別可能条件を満たさない領域との分割の際には、マクロ速度VＭ(t)とマクロ加速度AＭ(t)の何れか一方を用いるよりも、両方を用いるほうがよりよい分割ができそうであることも分かる。
【００５１】
図５に示すマクロ速度−加速度平面を、判別可能条件を満たす領域（S０）と、判別可能条件を満たさない領域（S１）と、に分割するためには、図６に示すように、数本の直線を用いて折れ線を作り、その折れ線によって領域を分離するのが簡単である。
具体的には、例えば、図６に示した折れ線は、折れ線を構成する４本の直線の組み合わせのうち、領域を最適に分割するものを探索するプログラムを作成して求めたものである。このときの最適性の基準は、以下の式（１１）で示される分割の評価関数EＤを最小化することとした。
【数６】
2008276122.tif 000008
【００５２】
式（１１）に示すように、分割の評価関数EＤは、「全再生時間の長さに対する、判別可能条件を満たす領域S０内にありながら聞き取れなかった時間の長さの割合」と、「全再生時間の長さに対する、判別可能条件を満たさない領域S１内にありながら聞き取れた時間の長さの割合」と、の加重和である。加重Wは、前者の方に大きなペナルティを課すための係数であり、例えば、W＝６．０程度にすると、良好な結果が得られる。
【００５３】
なお、折れ線を構成する直線の本数は任意であり、例えば、マクロ速度−加速度平面の縦軸に平行な直線及び横軸に平行な直線の２本の直線により構成してもよい。このように構成するためには、マクロ速度VＭ(t)とマクロ加速度AＭ(t)を線形変換して、新たなマクロ速度とマクロ加速度を定義すればよく、新たなマクロ速度とマクロ加速度に与えられた別個の上限のみで判別可能条件を満たす領域S０が定義できるとともに、マクロ速度−加速度平面の縦軸及び横軸に対して平行にならない直線を考える必要がないため、この後の処理の簡易化に役立つ。
【００５４】
いずれにしても、あるパラメータLＡ、LＢ、LＣの組に対する分割の評価関数EＤをEＤ(LＡ，LＢ，LＣ)とすると、分割の評価関数EＤを最小にする折れ線を決定するプログラム（すなわち、折れ線を構成する直線の組み合わせの中から領域を最適に分割するものを探索するプログラム）を使えば、EＤ(LＡ，LＢ，LＣ)に最小値を与える特定のパラメータLＡ、LＢ、LＣの組を求めることができる。
そこで、パラメータLＡ、LＢ、LＣの組の組み合わせを変えて、分割の評価関数EＤの変化を調べる実験を行った。
【００５５】
図７は、LＡ＝０．５秒に固定して、LＢとLＣを変化させたときの分割の評価関数EＤの変化を３次元プロットしたものである。図７の水平平面はLＢ−LＣ平面を示し、垂直座標は分割の評価関数EＤを示す。すなわち、高さ方向が分割の評価関数EＤの大きさであるため、３次元プロットの高さが低い点ほど評価がよいことになる。この結果から、LＡ＝０．５秒の場合には、LＢ＝０．２５秒、LＣ＝１．０８秒が最適であることが分かった。
【００５６】
図８は、LＢ＝０．２５秒、LＣ＝１．０８秒に固定して、LＡを変化させたときの分割の評価関数EＤの変化を２次元プロットしたものである。図８の横軸はLＡを示し、縦軸は分割の評価関数EＤを示す。この結果から、LＢ＝０．２５秒、LＣ＝１．０８秒の場合には、LＡ＝０．５秒付近に最適値があることが分かった。
【００５７】
すなわち、図７及び図８によれば、現時点での暫定的な結論であるが、LＡ＝０．５秒、LＢ＝０．２５秒、LＣ＝１．０８秒の組が、最適なパラメータLＡ、LＢ、LＣの組であることが分かった。
【００５８】
なお、音声のエネルギーが小さい時区間は無音区間であると考えられるので、本基礎的実験の結果の解析からは除外してある。具体的には、例えば、実験結果記録用メモリ４６００に記録された音声強度P(t)を用いて、その音声強度P(t)を前後合計１秒間で平均した平均音声強度を算出し、平均音声強度が閾値よりも低ければ、無音区間であると推定して解析から取り除いた。当該閾値は、全時区間に対する無音区間の割合が１０％程度となるよう調整してあるものを用いた。
また、被験者がスイッチ６０００をＯＮ／ＯＦＦする反応時間についても、所定の方法で補正してある。
【００５９】
本基礎的実験の実験結果をまとめると、適切なマクロ速度VＭ(t)とマクロ加速度AＭ(t)を定義すれば、人間が語句を聞き取ることができるか否かは、そのマクロ速度VＭ(t)とマクロ加速度AＭ(t)とを要素とするベクトルの軌跡（再生プランの軌跡）が、マクロ速度−加速度平面を折れ線で分割した領域のうちの判別可能条件を満たす領域S０内に入っているか否かから推定することができる。したがって、ユーザに語句を聞き取らせるためには、常に判別可能条件を満たす領域S０内に入るような再生プランを設計すればよいわけである。
【００６０】
なお、LＡ＝０．５秒、LＢ＝０．２５秒、LＣ＝１．０８秒という値や、図６で示した折れ線の傾きや本数などは、現時点での暫定的な結論にすぎないため、これに限られることはない。
しかしながら、ある一定幅の時区間での再生速度を式（３）や式（６）のように加重平均して（線形和をとって）、２つ以上のマクロ指標（例えば、マクロ速度VＭ(t)とマクロ加速度AＭ(t)）を生成し、このマクロ指標に対する不等式（例えば、図６のマクロ速度−加速度平面に示した折れ線の内側）によって聞き取りの可否を判定する点、すなわち、一定時区間での再生速度の線形結合を２つ以上生成し、これらの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面（例えば、マクロ速度−加速度平面）内にある判別可能条件を示す予め設定された領域S０の内部に収まるか否かによって聞き取りの可否を判定する点、は普遍であり、これが本発明での本質である。
【００６１】
＜マクロ速度及びマクロ加速度を定式化する＞
次に、基礎的実験の概要において定義したマクロ速度及びマクロ加速度を定式化する手法について説明する。
【００６２】
ユーザが指定する再生速度による時間進行を第１次再生プランP１とし、時刻ｔにおける第１次再生プランP１による再生位置をP１(t)とする。これは、ユーザの世界での時刻ｔにおいて、再生データの時間座標P１(t)の部分が再生されることを意味する。
これに対し、第１次再生プランP１を人間の特性に応じて修正した時間進行を第２次再生プランP２とし、時刻ｔにおける第２次再生プランP２による再生位置をP２(t)とする。
【００６３】
ここで、本来、時刻ｔは、単位が“秒”の連続量であるが、デジタル信号処理を行う場合、離散化しておいたほうが都合がよい。そこで、時間軸は、サンプリング周波数FＰで離散化されており、時刻ｔは離散時間でのサンプリング番号を表すこととする。すなわち、ｔ＝０は、ユーザ時間での０秒を指し、ｔ＝１は、ユーザ時間での１／FＰ秒を指すものとする。また、以下では、時区間を示すパラメータLＡ、LＢ、LＣについてもサンプリング周波数FＰでのサンプル数で表すことにする。
なお、サンプリング周波数FＰの値は任意であるが（好ましくは、数Hz〜１００Hz程度）、再生データが音声データ及び映像データにより構成される場合は、サンプリング周波数FＰを映像のフレーム周波数（例えば、３０Hzや６０Hzなど）と一致させておくと実装が容易になる。
【００６４】
また、再生データの時間座標も、本来は単位が“秒”であるが、再生データを構成する音声データのサンプリング周波数FＳでのサンプル数で表現しておくと都合がよい。例えば、サンプリング周波数FＳが４４．１kHzである場合、P１(t)＝０は、再生データの開始地点を指し、P１(t)＝１は、再生データの開始地点から１／４４１００秒経過した位置を指すものとする。
【００６５】
以上のように取り決めると、式（１）で定義されるマクロ速度VＭ(t)は、第２次再生プランP２による再生位置P２(t)に対しては、以下の式（１２）のように書き表すことができる。
【数７】
2008276122.tif 000009
【００６６】
式（３）で定義される、より一般的なマクロ速度VＭ(t)については、式（１２）と同様、異なる時点におけるP２(t)の線形結合になる。すなわち、より一般的なマクロ速度VＭ(t)は、P２(t)との関係が以下の式（１３）で表される第２次再生プランP２による再生速度V２(t)を用いると、以下の式（１４）のように書き表すことができ、そして、式（１３）の関係を使えば、式（１４）は、以下の式（１５）、さらには以下の式（１６）のように書き直すことができる。
【数８】
2008276122.tif 000010
【００６７】
式（４）で定義されるマクロ加速度AＭ(t)は、第２次再生プランP２による再生位置P２(t)に対しては、以下の式（１７）、さらには以下の式（１８）のように書き表すことができ、マクロ加速度AＭ(t)も、マクロ速度VＭ(t)と同様、異なる時点におけるP２(t)の線形結合になっている。
【数９】
2008276122.tif 000011
【００６８】
式（６）で定義される、より一般的なマクロ加速度AＭ(t)については、式（６）が式（３）と類似の形をしていることを利用して、式（１６）の結果をそのまま使って、以下の式（１９）のように書き表すことができる。
【数１０】
2008276122.tif 000012
【００６９】
式（１２）、式（１６）、式（１８）、式（１９）を総合すると、マクロ速度VＭ(t)も、マクロ加速度AＭ(t)も、異なる時点におけるP２(t)の線形結合で書き表すことができることが分かる。そこで、時間τだけ過去のP２(t)に対する線形加重を新たにMＶ(τ)若しくはMＡ(τ)と記述することにすると、式（１２）、式（１６）は、以下の式（２０）のように書き直すことができ、式（１８）、式（１９）は、以下の式（２１）のように書き直すことができる。
【数１１】
2008276122.tif 000013
【００７０】
ここで、式（２０）及び式（２１）のLＭは、式（１２）と式（１８）の定義においては、LＡとLＢ＋LＣのうちの何れか大きな方であり、式（１６）と式（１９）の定義においては、LＡとLＥ（＝LＢ＋LＣ）のうちの何れか大きな方である。
【００７１】
式（２０）及び式（２１）は、第１次再生プランP１による再生位置P１(t)と第２次再生プランP２による再生位置をP２(t)との差d(t)（＝P１(t)−P２(t)）を使うと、それぞれ以下の式（２２）及び式（２３）のように書き表すことができる。なお、式（２２）及び式（２３）において、負のτに対するd(t−τ)は、“０”であるものとしておく。
【数１２】
2008276122.tif 000014
【００７２】
なお、マクロ速度VＭ(t)とマクロ加速度AＭ(t)を再生位置（P１(t)若しくはP２(t)）で書き表したが、すなわち、マクロ速度VＭ(t)とマクロ加速度AＭ(t)を再生位置の関数として議論したが、第２次再生プランP２による再生速度V２(t)は、V２(t)＝(FＰ/FＳ)(P２(t)−P２(t−1))で再生位置と関係付けられており、第２次再生プランP２による再生加速度A２(t)は、A２(t)＝FＰ(V２(t)−V２(t−1))で再生速度と関係付けられているので、マクロ速度VＭ(t)とマクロ加速度AＭ(t)を、再生位置の関数とする代わりに、再生速度の関数や再生加速度の関数としても本質的には同じことである。
【００７３】
＜線形計画法に帰着させる＞
次に、定式化したマクロ速度VＭ(t)及びマクロ加速度AＭ(t)を、線形計画法に帰着させる手法について説明する。
【００７４】
まず、図６に示した折れ線を定式化する。
判別可能条件を満たす領域S０は、折れ線で囲まれた凸領域であり、その折れ線は、Ｋ本の直線で構成されているとする。このとき、マクロ速度VＭ(t)とマクロ加速度AＭ(t)を持つ再生プランの時刻ｔの瞬間が、S０に含まれる条件は、VＭ(t)とAＭ(t)に関する線形条件として、以下の式（２４）のようにＫ個の不等式で書き表すことができる。ここで、式（２４）のCＶｋ、CＡｋ、CＣｋは、折れ線を構成する各直線の位置や傾きによって決まるパラメータである。
【数１３】
2008276122.tif 000015
【００７５】
現時点が時刻t０であるとする。単純に考えると、式（２４）をｔ＝t０において満たすという制約のもとで、第１次再生プランP１による再生位置P１(t０)と第２次再生プランP２による再生位置P２(t０)との差｜d(t０)｜＝｜P１(t０)−P２(t０)｜を最小にするという問題を解いて、P２(t０)を決定すればよさそうである。しかしながら、式（２４）を構成するマクロ速度VＭ(t)やマクロ加速度AＭ(t)が、過去の時点におけるP２(t０)によって定義されているため、ｔ＝t０において式（２４）が満たせても、ｔ＞t０においては式（２４）が満たせなくなってしまう可能性がある。
このような障害が起こらないようにするために、現時点の時刻t０での第２次再生プランP２の決定において、未来の数秒間（例えば、LＪサンプル分の時区間）で式（２４）が成立するように、時刻t０の時点で制約してやる必要がある。
そのためには、まず、未来の第１次再生プランP１を予測しなければならない。
【００７６】
具体的には、操作者から指示される再生速度を予測して、t０＜t＜t０＋LＪにおいてP１(t)を決める。
操作者から指示される再生速度の予測の仕方については、任意であるが、例えば、操作者による現操作が継続される（例えば、「早送りボタン」が押されているなら押し続けられる）と仮定して決めてもよいし、スライド型可変抵抗器２０００のように自由に再生速度を設定できる操作器が操作されている場合は、その速度変化が一定である（例えば、加速が続いているならば同じ加速度で加速する）と仮定して決めてもよい。また、操作者が断続的に「早送りボタン」を押しているならば、今回の「早送りボタン」の押下時間も、前回の「早送りボタン」の押下時間とほぼ同一であると仮定して決めてもよい。また、「早送りボタン」の他に、例えば、１０倍速での５秒飛ばしを指示するための「５秒飛ばしボタン」や、１０倍速での１５秒飛ばしを指示するための「１５秒飛ばしボタン」が設けられた操作器が操作されている場合は、「５秒飛ばしボタン」が押されたならば、直後の０．５秒間は１０倍速になり、「１５秒飛ばしボタン」が押されたならば、直後の１．５秒間は１０倍速になって、その後は標準速に戻ると予測できる。
【００７７】
さて、現時点が時刻t０であるとすると、P２(t)は、ｔ＜t０に対しては既に確定しており、ｔ≧t０に対して再生位置P１(t)と再生位置P２(t)との差d(t)で調整する必要があるので、以下の式（２５）のように書き表すことができる。
【数１４】
2008276122.tif 000016
【００７８】
マクロ速度VＭ(t)及びマクロ加速度AＭ(t)を、それぞれ式（２０）及び式（２１）で定義するものと仮定して、式（２５）を、式（２０）及び式（２１）に代入すると、それぞれ以下の式（２６）及び式（２７）のようになる。
【数１５】
2008276122.tif 000017
【００７９】
ここで、現時点では、式（２６）及び式（２７）における時刻ｔとして、ｔ＝t０からｔ＝t０＋LＪ−１のLＪ個が使われることを考えると、ｊ（ｊ＝０，１，…，LＪ−１）を使って、時刻ｔを、ｔ＝t０＋ｊと表現しておくと都合がよい。また、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差d(t０＋ｊ)を、d(t０＋ｊ)＝dｊと記述することにする。
このように取り決めると、式（２６）及び式（２７）は、それぞれ以下の式（２８）及び式（２９）のように書き直すことができる。
【数１６】
2008276122.tif 000018
【００８０】
一方、折れ線による制約式は、折れ線を構成する直線の本数をＫ本とすると、ＫLＪ個の不等式として、以下の式（３０）のように書き表すことができる。
【数１７】
2008276122.tif 000019
【００８１】
そして、式（３０）に、式（２８）と式（２９）を代入すると、以下の式（３１）のようになる。ここで、式（３１）のQｋ(τ)は、以下の式（３２）であり、式（３１）のPｊｋは、以下の式（３３）である。
【数１８】
2008276122.tif 000020
【００８２】
次に、目的関数を決定する。目的関数とは、線形計画法において最小にすべき値である。ここでは、目的関数は、例えば、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊの累積として、以下の式（３４）のように定義する。
【数１９】
2008276122.tif 000021
【００８３】
以上をまとめると、以下の線形計画問題LP1(t０,LＪ)が導かれる。
【数２０】
2008276122.tif 000022
【００８４】
線形計画問題LP1(t０,LＪ)は、目的関数として、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊを最小にするために、制約条件として、第２次再生プランP２による再生位置P２(t０＋ｊ)の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面（マクロ速度−加速度平面）内にある判別可能条件を示す予め設定された領域（判別可能条件を満たす領域S０）の内部に収まるように、線形計画法を用いて解くものとなっている。
なお、制約条件を再生位置（P１(t)若しくはP２(t)）で書き表したが、第２次再生プランP２による再生速度V２(t)は、V２(t)＝(FＰ/FＳ)(P２(t)−P２(t−1))で再生位置と関係付けられており、第２次再生プランP２による再生加速度A２(t)は、A２(t)＝FＰ(V２(t)−V２(t−1))で再生速度と関係付けられているので、制約条件を、再生位置で書き表す代わりに、再生速度や再生加速度で書き表しても本質的には同じことである。したがって、制約条件は、第２次再生プランP２による再生位置P２(t０＋ｊ)、再生速度V２(t０＋ｊ)及び再生加速度A２(t０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まる条件であれば任意である。
【００８５】
ここで、線形計画問題LP1(t０,LＪ)において、dｊ（ｊ＝０，１，…，LＪ−１）を非負に限定することについて説明する。通常、第２次再生プランP２は、第１次再生プランP１の再生速度を緩和したものになり、d(t)＜０の必要がないので、d(t)≧０の条件があっても邪魔にならない。さらに、条件設定によっては起こるかもしれないオーバーシュートの問題を回避するには都合がよい。また、こうすることで、目的関数の定義に絶対値の演算が不要となるため、既存の線形計画法の枠組みに入れ易くなる。
ちなみに、式（３４）で定義した目的関数は、第１次再生プランP１に対する第２次再生プランP２の遅れ時間の単なる総和として定義しているが、場合によっては、これを重み付け総和としてもよい。
【００８６】
＜線形計画法を改良する＞
次に、線形計画問題LP1(t０,LＪ)を改良する手法について説明する。
【００８７】
線形計画問題LP1(t０,LＪ)では、制約条件の範囲内で、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊの累積を最小にする解は見つかるが、最適性を極限まで追求してしまうため、結果として得られた第２次再生プランP２は速度変動の激しいものになってしまうことが起こりうる。
そこで、第２次再生プランP２による再生加速度の大きさ、すなわち、速度の加速／減速の度合いを目的関数に加味することにする。
【００８８】
速度の加速／減速の度合いを目的関数に加味するために、加速と減速を表す変数を導入することにする。加速と減速は、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊ（以下「修正量dｊ」という）で書き表すことができるので、新たな変数を導入する必要がないように思われるが、線形計画法の枠組みではそのままでは絶対値の演算が扱えないため、新たな変数を導入するのが有効である。
具体的には、例えば、加速と減速を別々の正の変数として記述しておき、加減速の変動をそれらの和として書き表すことにする。
【００８９】
以上の方針に沿って、非負の変数aｊ，bｊ（ｊ＝０，１，…，LＪ−１）を導入する。そして、時刻t０＋jでの（離散時間での）加速度がaｊ−bｊであるものとする。線形計画法の枠組みに入れるためには、加速度aｊ−bｊと、修正量dｊと、の関係を等式で表現しておく必要がある。これには、時刻ｔでの（離散時間での）再生速度をV(t)として記述することにすると、サンプリング周波数FＳでのサンプル数を単位とした加速度の差として、以下の式（３５）、さらには以下の式（３６）のように計算できる。
【数２１】
2008276122.tif 000023
【００９０】
式（３６）を、式（２５）を使って変形すると、j＝０、j＝１及びｊ≧２の３つのケースについて、それぞれ以下の式（３７）、式（３８）及び式（３９）のようになる。
【数２２】
2008276122.tif 000024
【００９１】
さらに、式（３７）、式（３８）及び式（３９）の変数（最適化問題において調整すべき量）を左辺に集めると、それぞれ以下の式（４０）、式（４１）及び式（４２）のようになる。
【数２３】
2008276122.tif 000025
【００９２】
そして、式（４０）〜式（４２）の右辺をまとめてRｊと記述することにすると、加速度aｊ−bｊと、修正量dｊと、の間の等式関係は、以下の式（４３）のようにまとめられる。
【数２４】
2008276122.tif 000026
【００９３】
ここで、式（４３）でj＝０、j＝１とした場合に形式上あらわれてくる変数d−２、d−１は、既に過ぎてしまった過去に対する修正量dｊとなってしまうので、“０”と定義しておく。
【００９４】
次に目的関数を修正する。加速／減速が過度に起こらないようにするためには、目的関数を、以下の式（４４）のように定義すればよい。ここで、αは加速することのペナルティの重さであり、βは減速することのペナルティの重さである。ペナルティの重さは、ズレとの間の相対的な関係として記述することにする。すなわち、具体的には、例えば、加速度が１s/s２（＝標準速から２倍速へ１秒で推移する加速度）であることと対等とみなせるズレの時間が、加速のときはαであり、減速のときはβである。
【数２５】
2008276122.tif 000027
【００９５】
以上をまとめると、以下の改良型の線形計画問題LP2(t０,LＪ)が導かれる。
【数２６】
2008276122.tif 000028
【００９６】
改良型の線形計画問題LP2(t０,LＪ)は、目的関数として、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊと、第２次再生プランP２による再生加速度の大きさaｊ＋bｊと、の和を最小にするために、制約条件として、第２次再生プランP２による再生位置P２(t０＋ｊ)の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面（マクロ速度−加速度平面）内にある判別可能条件を示す予め設定された領域（判別可能条件を満たす領域S０）の内部に収まるように、線形計画法を用いて解くものとなっている。
なお、制約条件を再生位置（P１(t)若しくはP２(t)）で書き表したが、第２次再生プランP２による再生速度V２(t)は、V２(t)＝(FＰ/FＳ)(P２(t)−P２(t−1))で再生位置と関係付けられており、第２次再生プランP２による再生加速度A２(t)は、A２(t)＝FＰ(V２(t)−V２(t−1))で再生速度と関係付けられているので、制約条件を、再生位置で書き表す代わりに、再生速度や再生加速度で書き表しても本質的には同じことである。したがって、制約条件は、第２次再生プランP２による再生位置P２(t０＋ｊ)、再生速度V２(t０＋ｊ)及び再生加速度A２(t０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まる条件であれば任意である。
【００９７】
以上、説明したように、現時点から未来に亘る時区間における第２次再生プランP２の決定に関する問題を、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)に帰着させることができた。線形計画法は広い分野で使用されているアルゴリズムであるため、既存のサブルーチンなどを利用してソフトウエアを実装することが可能になる。
なお、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)は、現時点から未来に亘る時区間（時刻t０から始まるLＪサンプル分の時区間）における第２次再生プランP２を求める方法にすぎない。再生データ全体を再生するためには、この方法を繰り返し適用していく必要がある。
【００９８】
＜実施例＞
［再生装置の構成］
本発明の再生装置１は、例えば、音声データにより構成される再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う、ＣＤ（Compact Disc）プレーヤや、ＤＶＤ（Digital Versatile Disc）プレーヤ、ハードディスクプレーヤ、パーソナルコンピュータなどである。
【００９９】
具体的には、再生装置１は、例えば、ユーザによる操作部１５の操作によって指示された再生速度V１に基づいて、未来の再生速度を予測して、現時点から未来に亘る第１次再生プランP１を作成する。
そして、再生装置１は、当該作成した第1次再生プランP１と予め決定しておいた人間の特性に関するパラメータを基に、最適化問題を線形計画問題（線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)）として線形計画法を用いて解くことによって、現時点から未来に亘る第２次再生プランP２を作成する。
そして、再生装置１は、当該作成した第２次再生プランP２に従って、記憶媒体１１に記憶されている再生データを順次取得して、その再生データの断片を時間軸変換技術により滑らかにつないで、音声出力装置３から出力するようになっている。
【０１００】
より具体的には、再生装置１は、例えば、図９に示すように、記憶媒体１１と、読取部１２と、デコーダ１３と、時間軸変換部１４と、操作部１５と、制御部１６と、などを備えて構成される。
また、再生装置１は、例えば、図９に示すように、時間軸変換部１４を介して、所定の出力装置としての音声出力装置３を接続している。
【０１０１】
記憶媒体１１は、例えば、記憶手段として、音声データにより構成される再生データを予め記憶している。
なお、記憶媒体１１は、例えば、ＣＤや、ＤＶＤ、ＨＤＤ（Hard Disk Drive）、半導体メモリ、メモリカードなどの、データの読み取りが可能な記憶媒体であれば任意である。
【０１０２】
読取部１２は、制御部１６から入力される制御信号に従って、例えば、取得手段として、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP２に従って、記憶媒体１１から再生データを取得して、デコーダ１３に出力する。
【０１０３】
デコーダ１３は、制御部１６から入力される制御信号に従って、例えば、読取部１２から入力された再生データにデコード等の所定の処理を施して、時間軸変換部１４に出力する。
【０１０４】
時間軸変換部１４は、制御部１６から入力される制御信号に従って、例えば、時間軸変換手段として、デコーダ１３から入力された再生データの波形の一致度を考慮して、既存の時間軸変換技術（例えば、ＴＳＭなど）などを用いて、当該再生データの時間軸を変換し、図示しないアンプを介して、音声出力装置３に出力する。
【０１０５】
音声出力装置３は、例えば、スピーカ機器等であり、例えば、時間軸変換部１４から入力された再生データ（音声データ）に基づく音声を出力する。
【０１０６】
操作部１５は、例えば、再生装置１の外面に設けられた「早送りボタン」や「巻戻しボタン」などの操作ボタン（図示省略）や、「早送りボタン」や「巻戻しボタン」などの操作ボタンを有する再生装置１用のリモコン（図示省略）及びリモコンと通信可能なリモコン受信部（図示省略）などにより構成され、例えば、ユーザにより操作されると、当該操作に伴う各種信号を制御部１６に出力する。
【０１０７】
具体的には、操作部１５は、例えば、指示手段として、ユーザが、記憶媒体１１に記憶された再生データの再生速度V１を指示する際に操作される。
【０１０８】
制御部１６は、例えば、図９に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３と、などを備えて構成される。
【０１０９】
ＣＰＵ１６１は、例えば、記憶部１６３に記憶された再生装置１用の各種処理プログラムに従って各種の制御動作を行う。
【０１１０】
ＲＡＭ１６２は、例えば、ＣＰＵ１６１によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。
【０１１１】
記憶部１６３は、例えば、再生装置１で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラム、これら各種処理プログラムを実行する際に使用されるデータ、ＣＰＵ１６１によって演算処理された処理結果のデータなどを記憶する。なお、プログラムは、コンピュータが読み取り可能なプログラムコードの形で記憶部１６３に記憶されている。
【０１１２】
具体的には、記憶部１６３は、例えば、図９に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２と、再生制御プログラム１６３ｂ３と、などを記憶している。
【０１１３】
パラメータ記憶ファイル１６３ａ１は、例えば、予め決定しておいた人間の特性に関するパラメータとして、MＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなどを記憶している。
【０１１４】
第１次再生プラン蓄積ファイル１６３ａ２は、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１による再生位置P１(t)を蓄積する。
【０１１５】
第２次再生プラン蓄積ファイル１６３ａ３は、例えば、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP２による再生位置P２(t)を蓄積する。
【０１１６】
第１次再生プラン作成プログラム１６３ｂ１は、例えば、ユーザによる操作部１５の操作により指示された再生速度V１に応じた、現時点から未来に亘る第１次再生プランP１を作成する機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第１次再生プラン作成プログラム１６３ｂ１を実行することによって、第１次再生プラン作成手段として機能する。
【０１１７】
第２次再生プラン作成プログラム１６３ｂ２は、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、パラメータ記憶ファイル１６３ａ１に記憶されたMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなどと、を基に、最適化問題を、線形計画問題（線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)）として線形計画法を用いて解くことによって、当該第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成する機能を、ＣＰＵ１６１に実現させる。
【０１１８】
また、第２次再生プラン作成プログラム１６３ｂ２は、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、当該作成された第２次再生プランP２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の差が大きすぎるため、当該作成された第２次再生プランP２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２を実行することによって、第２次再生プラン作成手段及び判断手段として機能する。
【０１１９】
再生制御プログラム１６３ｂ３は、例えば、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された現時点から未来に亘る第２次再生プランP２に従って、記憶媒体１１に記憶された再生データを再生する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、読取部１２に制御信号を入力して、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP２に従って、記憶媒体１１から再生データを取得させ、そして、デコーダ１３や時間軸変換部１４に制御信号を入力して、読取部１２により取得された再生データを音声出力装置３に出力させる。
ＣＰＵ１６１は、かかる再生制御プログラム１６３ｂ３を実行することによって、出力制御手段として機能する。
【０１２０】
［再生処理］
次に、再生装置１による記憶媒体１１に記憶された再生データの再生に関する処理について、図１０のフローチャートを参照して説明する。
【０１２１】
ユーザによる操作部１５の操作によって、記憶媒体１１に記憶された再生データを再生するよう指示されると（ステップＳ１）、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t０」記憶領域に“０”を設定する（ステップＳ２）。
【０１２２】
次いで、ＣＰＵ１６１は、ユーザによる操作部１５の操作によって指示された、記憶媒体１１に記憶された再生データを再生する際の再生速度V１を読み込む（ステップＳ３）。
【０１２３】
次いで、ＣＰＵ１６１は、第１次再生プラン蓄積ファイル１６３ａ２にP１(t０)が蓄積されているか否か、すなわち、前もって予測していた、時刻t０における第１次再生プランP１による再生位置P１(t０)が存在するか否かを判断する（ステップＳ４）。
【０１２４】
ステップＳ４で、前もって予測していたP１(t０)が存在しないと判断すると（ステップＳ４；Ｎｏ）、ＣＰＵ１６１は、第１次再生プラン作成プログラム１６３ｂ１を実行して、現時点から未来に亘る第１次再生プランP１を作成する（ステップＳ５）。
【０１２５】
具体的には、ＣＰＵ１６１は、例えば、ステップＳ３で読み込んだ再生速度V１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP１(t０−１)と、に基づいて、現時点における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）を作成して（ステップＳ５ａ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。
【０１２６】
次いで、ＣＰＵ１６１は、未来の第１次再生プランP１を予測することによって、未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成して（ステップＳ５ｂ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。
【０１２７】
次いで、ＣＰＵ１６１は、第２次再生プラン作成プログラム１６３ｂ２を実行して、現時点から未来に亘る第２次再生プランP２を作成して（ステップＳ６）、ステップＳ９の処理に移行する。
【０１２８】
具体的には、ＣＰＵ１６１は、例えば、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)を解いて、修正量dｊ（j＝０，１，…，LＪ−１）を求める（ステップＳ６ａ）。
【０１２９】
次いで、ＣＰＵ１６１は、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、ステップＳ６ａで求めた修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成して（ステップＳ６ｂ）、第２次再生プラン蓄積ファイル１６３ａ３に記憶させて、ステップＳ９の処理に移行する。
【０１３０】
また、ステップＳ４で、前もって予測していたP１(t０)が存在すると判断すると（ステップＳ４；Ｙｅｓ）、ＣＰＵ１６１は、ステップＳ３で読み込んだ再生速度V１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP１(t０−１)と、に基づいて作成した現時点における第１次再生プランP１による再生位置P１(t０−１)＋(FＳ／FＰ)V１が、前もって予測していたP１(t０)にほぼ等しいか否かを判断する（ステップＳ７）。
【０１３１】
ステップＳ７で、P１(t０−１)＋(FＳ／FＰ)V１が、前もって予測していたP１(t０)にほぼ等しくないと判断すると（ステップＳ７；Ｎｏ）、ＣＰＵ１６１は、ステップＳ５の処理に移行する。
【０１３２】
一方、ステップＳ７で、P１(t０−１)＋(FＳ／FＰ)V１が、前もって予測していたP１(t０)にほぼ等しいと判断すると（ステップＳ７；Ｙｅｓ）、ＣＰＵ１６１は、第２次再生プラン蓄積ファイル１６３ａ３にP２(t０)が蓄積されているか否か、すなわち、時刻t０における第２次再生プランP２による再生位置P２(t０)が作成されているか否かを判定する（ステップＳ８）。
【０１３３】
ステップＳ８で、P２(t０)が作成されていないと判断すると（ステップＳ８；Ｎｏ）、ＣＰＵ１６１は、ステップＳ５の処理に移行する。
【０１３４】
一方、ステップＳ８で、P２(t０)が作成されていると判断すると（ステップＳ８；Ｙｅｓ）、ＣＰＵ１６１は、P１(t０)−P２(t０)が、予め設定された規定範囲内にあるか否かを判断する（ステップＳ９）。
【０１３５】
ステップＳ９で、P１(t０)−P２(t０)が規定範囲内にないと判断すると（ステップＳ９；Ｎｏ）、ＣＰＵ１６１は、P２(t０)をP１(t０)で置き換える（ステップＳ１０）。
【０１３６】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t０＋j)」記憶領域のうちのj＝０の領域、すなわち、「聞き取り可否U(t０)」記憶領域に“１”を設定することによって（ステップＳ１１）、時刻t０＋j（j＝０）においては判別可能条件を満たす領域S０に収まらない旨を記録して、ステップＳ１３の処理に移行する。
【０１３７】
一方、ステップＳ９で、P１(t０)−P２(t０)が規定範囲内にあると判断すると（ステップＳ９；Ｙｅｓ）、ＣＰＵ１７１は、ＲＡＭ１６２内の「聞き取り可否U(t０＋j)」記憶領域のうちのj＝０の領域、すなわち、「聞き取り可否U(t０)」記憶領域に“０”を設定することによって（ステップＳ１２）、時刻t０＋j（j＝０）においては判別可能条件を満たす領域S０に収まる旨を記録する。
【０１３８】
次いで、ＣＰＵ１６１は、再生制御プログラム１６３ｂ３を実行して、P２(t０)で記憶媒体１１に記憶された再生データの再生を行う（ステップＳ１３）。
具体的には、ＣＰＵ１７１は、読取部１１に、記憶媒体１１に記憶された再生データのうちの時間座標P２(t０)の部分を取得させ、当該取得された再生データを、デコーダ１３や時間軸変換部１４を介して、音声出力装置３に出力させる。これにより、音声出力装置３から再生データに基づく音声が出力される。
【０１３９】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t０」記憶領域に“t０＋１”を設定して（ステップＳ１４）、ステップＳ３以降の処理を繰り返して行う。
そして、ＣＰＵ１６１は、ステップＳ３〜ステップＳ１４の処理を、例えば、ユーザによる操作部１５の操作によって再生データの再生を終了するよう指示されるまで、或いは、記憶媒体１１に記憶された再生データを再生し尽すまで、繰り返して行う。
【０１４０】
次に、再生装置１の再生処理（図１０）によって各変数が更新されていく様子を、例えば、図１１に示す。図１１の横軸は時間軸である。
【０１４１】
時刻t＝t０において、再生装置１は、線形計画問題を解く前に、t０から始まるLＪサンプル分について、第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＪ−１）を予測して作成し、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。
そして、再生装置１は、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている第１次再生プランP１による再生位置P１(t)のうちの、過去におけるLＭサンプル分の再生位置と、未来におけるLＪサンプル分の再生位置と、を使って、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)を、線形計画法を用いてt０から始まるLＪサンプル分について解くことによって、LＪ個の修正量dｊ（j＝０，１，…，LＪ−１）を得る。
そして、再生装置１は、得られた修正量dｊ（j＝０，１，…，LＪ−１）のうちの最初のLＳ個を使って、第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成し、第２次再生プラン蓄積ファイル１６３ａ３に記憶させる。すなわち、線形計画問題は、サンプリング周波数FＰにおける、LＳサンプル分の時区間毎に解かれるようになっている。
【０１４２】
その後、ユーザによる操作部１５の操作によって再生速度の変更指示がなければ、すなわち、再生装置１の再生処理（図１０）のステップＳ７がＹｅｓならば、LＳサンプル分の時区間は、第２次再生プラン蓄積ファイル１６３ａ３に蓄積された第２次再生プランP２に従って再生データの再生が行われる。
そして、時刻t＝t０＋LＳになると、新たな線形計画問題が生成されて、それが解かれることになる。
ここで、LＪサンプル分の時区間は、例えば、１秒〜２秒程度の時区間であり、LＳサンプル分の時区間は、LＪサンプル分の時区間よりも短く、例えば、０．５秒〜１秒程度の時区間である。
【０１４３】
なお、ユーザによる操作部１５の操作によって再生速度の変更指示があった場合は、線形計画問題を解きなおす必要がある。
また、第１次再生プランP１による再生位置P１(t０)と第２次再生プランP２による再生位置P２(t０)との差（P１(t０)−P２(t０)）が、予め設定された規定範囲内に収まらない場合は、ユーザに対する「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度に応じた再生位置と、実際の再生位置と、の差が大きすぎるため、P２(t０)をP１(t０)で置き換えて、この差を一気に取り戻すようにしたが（具体的には、例えば、図１０のステップＳ１０参照）、これに限ることはなく、例えば、所定の速度（例えば、８倍速など）で高速度再生することによって、この差を縮めるようにしてもよい。
【０１４４】
次に、第１次再生プランP１と、再生装置１の再生処理（図１０）を実行して改良型の線形計画問題LP2(t０,LＪ)を順次解くことによって作成した第２次再生プランP２と、について、例えば、図１２及び図１３に示すマクロ速度−加速度平面を用いて比較する。
図１２と図１３は、異なる２種類の判別可能条件を満たす領域S０について、改良型の線形計画問題LP2(t０,LＪ)で再生装置１の再生処理（図１０）を行った結果である。パラメータは、LＪ＝９０（１．５秒相当）、LＳ＝３０（０．５秒相当）、α＝β＝０．０１１に設定した。
【０１４５】
図１２は、図６で得られた折れ線を使用した場合である。
図１２（ａ）には、１倍速〜４倍速の変速を含む３分間の第１次再生プランP１の軌跡を示し、図１２（ｂ）には、図１２（ａ）の第１次再生プランP１を基に、判別可能条件を満たす領域S０内に収まるように、改良型の線形計画問題LP2(t０,LＪ)を順次適用していくことで作成した第２次再生プランP２の軌跡を示す。
図１２（ａ）によれば、判別可能条件を満たす領域S０から逸脱している軌跡が多く含まれるため、聞き落としが多く発生すると推測される。
これに対し、図１２（ｂ）によれば、判別可能条件を満たす領域S０内に全ての軌跡が収まっているため、ほぼ聞き落としがないと期待できる。
【０１４６】
図１３は、図６で得られた折れ線よりも、マクロ加速度AＭ(t)の条件を厳しくした折れ線を使用した場合である。
図１３（ａ）は、図１２（ａ）と同一の軌跡であり、図１３（ｂ）には、図１３（ａ）の第１次再生プランP１を基に、判別可能条件を満たす領域S０内に収まるように、改良型の線形計画問題LP2(t０,LＪ)を順次適用していくことで作成した第２次再生プランP２の軌跡を示す。
図１３（ａ）によれば、図１２（ａ）と同様、判別可能条件を満たす領域S０から逸脱している軌跡が多く含まれるため、聞き落としが多く発生すると推測される。
これに対し、図１３（ｂ）によれば、図１２（ｂ）と同様、判別可能条件を満たす領域S０内に全ての軌跡が収まっているため、ほぼ聞き落としがないと期待できる。
【０１４７】
図１２及び図１３によれば、マクロ速度−加速度平面において、第１次再生プランP１の軌跡は、判別可能条件を満たす領域S０から逸脱する軌跡を多く含むが、第２次再生プランP２の軌跡は、判別可能条件を満たす領域S０内に完全に収まっていることが分かる。
また、折れ線で定義される判別可能条件を満たす領域S０の形状が変わっても、第２次再生プランP２の軌跡は、判別可能条件を満たす領域S０内に完全に収まっていることが分かる。
【０１４８】
次に、第１次再生プランP１と、再生装置１の再生処理（図１０）を実行して改良型の線形計画問題LP2(t０,LＪ)を順次解くことによって作成した第２次再生プランP２と、について、例えば、図１４に示す再生速度の変化を示す図を用いて比較する。図１４の横軸は時間であり、縦軸は再生速度である。
【０１４９】
図１４（ａ）には、図１２（ａ）（図１３（ａ））に示す第１次再生プランP１の最初の２０秒間における再生速度の変化を示し、図１４（ｂ）には、図１２（ｂ）に示す第２次再生プランP２の最初の２０秒間における再生速度の変化を示し、図１４（ｃ）は、図１３（ｂ）に示す第２次再生プランP２の最初の２０秒間における再生速度の変化を示す。
【０１５０】
図１４によれば、再生速度の変化の仕方から、２．５秒付近、９秒付近及び１４秒付近で、高速度再生が開始されたことが分かる。
図１４（ａ）によれば、高速度再生の開始時には、再生速度が急激に変化していることがわかる。
これに対し、図１４（ｂ）によれば、図１４（ａ）と比較して、高速度再生の開始時（特に、１４秒付近）における再生速度の急激な変化が抑えられており、第２次再生プランP２は、第１次再生プランP１と比較して、再生速度の変化が緩やかであることが分かる。
また、図１４（ｃ）によれば、図１４（ｂ）よりもマクロ加速度AＭ(t)の条件が厳しいため、図１４（ｂ）と比較して、高速度再生の開始時における再生速度の急激な変化がさらに抑えられており、図１４（ｃ）の第２次再生プランP２は、図１４（ｂ）の第２次再生プランP２と比較して、より一層、再生速度の変化が緩やかであることが分かる。
すなわち、図１４（ｂ）及び図１４（ｃ）によれば、折れ線の形状をコントロールすることにより、作成される第２次再生プランP２の性質が変わることが分かる。
【０１５１】
以上説明した本発明の再生装置１によれば、操作部１５によって、ユーザが、記憶媒体１１に記憶された再生データの再生速度を指示することができ、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１によって、操作部１５により指示された再生速度V１に応じた、現時点から未来に亘る第１次再生プランP１を作成することができ、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１によって、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１を基に、最適化問題を、線形計画問題（線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)）として、線形計画法を用いて解くことによって、第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成することができ、読取部１２によって、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP２に従って、記憶媒体１１から再生データを取得することができ、再生制御プログラム１６３ｂ３を実行したＣＰＵ１６１によって、読取部１２により取得された再生データを所定の音声出力装置２に出力させることができる。
したがって、再生データの再生速度の変化を、ユーザが指示する再生速度V１との差を最小にし、且つ、判別可能条件の内部に収まるという制約条件を満たすように調整できるため、第２次再生プランP２が、人間の特性に合ったものになり、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる。
【０１５２】
なお、本発明は、上記した実施の形態のものに限るものではなく、その要旨を逸脱しない範囲で適宜変更可能である。
【０１５３】
＜変形例１＞
実施例のように、現時点から未来に亘る時区間における第２次再生プランP２の決定に関する問題を、線形計画法の枠組みに入れることで、開発は容易になるが、本発明の基本的な考えは、線形計画法に限定されるものではなく、線形計画法から逸脱して拡張してもよい。
具体的には、例えば、図１５に示す再生装置１Ａのように、最適化問題を非線形計画問題として非線形計画法を用いて解いてもよい。
ここで、線形計画問題が、目的関数及び制約条件が線形の最適化問題であったのに対し、非線形計画問題は、目的関数及び／又は制約条件が非線形の最適化問題である。
【０１５４】
目的関数の非線形化としては、例えば、目的関数をOＦ＝Σd(t)２などと定義すること等が考えられる。また、例えば、再生データが音声データ及び映像データにより構成される場合は、映像と音声のズレがストレスを及ぼす時間差に対して目的関数OＦを極端に大きくして、剥離を防ぐこと等も考えられる。これらは全て、非線形の目的関数を生じさせる。
【０１５５】
制約条件の非線形化としては、例えば、マクロ速度VＭ(t)とマクロ加速度AＭ(t)を、第２次再生プランP２の再生位置P２(t)の線形結合として定義するのではなく、人間の特性に応じて非線形関数として定義すること等が考えられる。また、判別可能条件を満たす領域S０を、折れ線で定義するのではなく、曲線で定義すること等も考えられる。これらは全て、非線形の制約条件を生じさせる。
【０１５６】
なお、再生装置１Ａは、例えば、実施例の再生装置１（図９）における制御部１６の構成の一部のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０１５７】
具体的には、再生装置１Ａの制御部１６Ａは、例えば、図１５に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ａと、などを備えて構成される。
【０１５８】
記憶部１６３Ａは、例えば、図１５に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ａと、再生制御プログラム１６３ｂ３と、などを記憶している。
【０１５９】
第２次再生プラン作成プログラム１６３ｂ２Ａは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、パラメータ記憶ファイル１６３ａ１に記憶された人間の特性に関するパラメータ（例えば、MＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなど）と、を基に、最適化問題を、非線形計画問題として非線形計画法を用いて解くことによって、当該第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成する機能を、ＣＰＵ１６１に実現させる。
【０１６０】
具体的には、最適化問題は、目的関数として、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊを元にした線形関数又は非線形関数（或いは、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊを元にした線形関数又は非線形関数と、第２次再生プランP２による再生加速度の大きさaｊ＋bｊと、の和）を最小にするために、制約条件として、第２次再生プランP２による再生位置P２(t０＋ｊ)、再生速度V２(t０＋ｊ)及び再生加速度A２(t０＋ｊ)のうちの少なくとも１つを元にした線形関数又は非線形関数を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、非線形計画問題として非線形計画法を用いて解くものである。
【０１６１】
また、第２次再生プラン作成プログラム１６３ｂ２Ａは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、当該作成された第２次再生プランP２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の差が大きすぎるため、当該作成された第２次再生プランP２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ａを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。
【０１６２】
変形例１の再生装置１Ａによれば、第２次再生プラン作成プログラム１６３ｂ２Ａを実行してＣＰＵ１６１によって、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１を基に、最適化問題を、非線形計画問題として、非線形計画法を用いて解くことによって、当該第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成することができる。
したがって、第２次再生プランP２が、より一層、人間の特性に合ったものになり、より一層、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる。
【０１６３】
＜変形例２＞
実施例の線形計画問題は、FＰを大きくしてLＪを長く取ると、巨大な問題となり、再生装置１に内蔵されているＣＰＵ１６１にとって計算負荷が大きくなってしまう。
一方、マクロ速度−加速度平面における判別可能条件を満たす領域S０は、多人数について平均的に求められたものであるため、それほど厳密に実現する必要がない場合も多い。
このようなとき、線形計画問題は、線形計画法ルーチンを使って解くのではなく、近似的に解いてもよい。
具体的には、例えば、図１６に示す再生装置１Ｂのように、線形計画問題を、近似的方法を使って解いてもよい。以下では、この近似的方法をQLP(t０,LＪ)と書くことにする。
【０１６４】
なお、再生装置１Ｂは、例えば、実施例の再生装置１（図９）における制御部１６の構成の一部のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０１６５】
具体的には、再生装置１Ｂの制御部１６Ｂは、図１６に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｂと、などを備えて構成される。
【０１６６】
記憶部１６３Ｂは、例えば、図１６に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｂと、再生制御プログラム１６３ｂ３と、などを記憶している。
【０１６７】
第２次再生プラン作成プログラム１６３ｂ２Ｂは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１を基に、近似的方法QLP(t０,LＪ)を用いて、第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、第２次再生プランP２による再生位置P２(t０＋ｊ)、再生速度V２(t０＋ｊ)及び再生加速度A２(t０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊ（或いは、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊと、第２次再生プランP２による再生加速度の大きさaｊ＋bｊと、の和）を最小にし、且つ、再生加速度A２(t０＋ｊ)が所定の範囲内（ａMINからのａMAX範囲内）にあるとともに、再生加速度A２(t０＋ｊ)が予め設定された時区間（LＪ）では一定（再生加速度ａ）である第２次再生プランP２を作成する。
【０１６８】
また、第２次再生プラン作成プログラム１６３ｂ２Ｂは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、当該作成された第２次再生プランP２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の差が大きすぎるため、当該作成された第２次再生プランP２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｂを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。
【０１６９】
［再生処理］
次に、再生装置１Ｂによる記憶媒体１１に記憶された再生データの再生に関する処理について、図１７及び図１８のフローチャートを参照して説明する。
【０１７０】
ユーザによる操作部１５の操作によって、記憶媒体１１に記憶された再生データを再生するよう指示されると（ステップＳ３１）、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t０」記憶領域に“０”を設定する（ステップＳ３２）。
【０１７１】
次いで、ＣＰＵ１６１は、ユーザによる操作部１５の操作によって指示された、記憶媒体１１に記憶された再生データを再生する際の再生速度V１を読み込む（ステップＳ３３）。
【０１７２】
次いで、ＣＰＵ１６１は、第１次再生プラン蓄積ファイル１６３ａ２にP１(t０)が蓄積されているか否か、すなわち、前もって予測していた、時刻t０における第１次再生プランP１による再生位置P１(t０)が存在するか否かを判断する（ステップＳ３４）。
【０１７３】
ステップＳ３４で、前もって予測していたP１(t０)が存在しないと判断すると（ステップＳ３４；Ｎｏ）、ＣＰＵ１６１は、第１次再生プラン作成プログラム１６３ｂ１を実行して、現時点から未来に亘る第１次再生プランP１を作成する（ステップＳ３５）。
【０１７４】
具体的には、ＣＰＵ１６１は、例えば、ステップＳ３３で読み込んだ再生速度V１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP１(t０−１)と、に基づいて、現時点における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）を作成して（ステップＳ３５ａ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。
【０１７５】
次いで、ＣＰＵ１６１は、未来の第１次再生プランP１を予測することによって、未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成して（ステップＳ３５ｂ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。
【０１７６】
次いで、ＣＰＵ１６１は、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行して、近似的方法QLP(t０,LＪ)を用いて、現時点から未来に亘る第２次再生プランP２を作成して（ステップＳ３６）、ステップＳ３９の処理に移行する。
【０１７７】
具体的には、ＣＰＵ１６１は、ＲＡＭ１６２内の「OＦ MIN」記憶領域に“正の最大値”を設定するとともに、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に、所定の“ａMIN”を設定する（ステップＳ３６ａ）。
【０１７８】
次いで、ＣＰＵ１６１は、初期速度ＶをＶ＝(FＰ/FＳ)(P２(t０−１)−P２(t０−２))として、現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＪ−１）が同等の再生加速度ａとなるように、修正量dｊ（j＝０，１，…，LＪ−１）を仮決定する（ステップＳ３６ｂ）。
【０１７９】
次いで、ＣＰＵ１６１は、ステップＳ３６ｂで仮決定した修正量dｊ（j＝０，１，…，LＪ−１）に対して、制約条件が満たされているか否か、すなわち、式（３１）が全て満たされているか否かを判断する（ステップＳ３６ｃ）。
【０１８０】
ステップＳ３６ｃで、ステップＳ３６ｂで仮決定した修正量dｊ（j＝０，１，…，LＪ−１）に対して、式（３１）が全て満たされていないと判断すると（ステップＳ３６ｃ；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３６ｇの処理に移行する。
【０１８１】
一方、ステップＳ３６ｃで、ステップＳ３６ｂで仮決定した修正量dｊ（j＝０，１，…，LＪ−１）に対して、式（３１）が全て満たされていると判断すると（ステップＳ３６ｃ；Ｙｅｓ）、ＣＰＵ１６１は、式（３４）を計算して、ＲＡＭ１６２内の「OＦ」記憶領域に、当該計算の結果である“式（３４）の計算結果”を設定する（ステップＳ３６ｄ）。
【０１８２】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「OＦ」記憶領域に設定されている値が、ＲＡＭ１６２内の「OＦ MIN」記憶領域に設定されている値よりも小さいか否かを判断する（ステップＳ３６ｅ）。
【０１８３】
ステップＳ３６ｅで、ＲＡＭ１６２内の「OＦ」記憶領域に設定されている値が、ＲＡＭ１６２内の「OＦ MIN」記憶領域に設定されている値よりも小さくないと判断すると（ステップＳ３６ｅ；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３６ｇの処理に移行する。
【０１８４】
一方、ステップＳ３６ｅで、ＲＡＭ１６２内の「OＦ」記憶領域に設定されている値が、ＲＡＭ１６２内の「OＦ MIN」記憶領域に設定されている値よりも小さいと判断すると（ステップＳ３６ｅ；Ｙｅｓ）、ＣＰＵ１６１は、ＲＡＭ１６２内の「OＦ MIN」記憶領域に、ＲＡＭ１６２内の「OＦ」記憶領域に設定されている値“OＦ”を設定するとともに、ＲＡＭ１６２内の「最良のdｊ」記憶領域に、ステップＳ３６ｂで仮決定した修正量dｊ（j＝０，１，…，LＪ−１）を設定する（ステップＳ３６ｆ）。
【０１８５】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に、“ａ＋Δａ”を設定する（ステップＳ３６ｇ）。
【０１８６】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に設定されている値が、所定のａMAXよりも小さいか否かを判断する（ステップＳ３６ｈ）。
【０１８７】
ステップＳ３６ｈで、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に設定されている値が、所定のａMAXよりも小さいと判断すると（ステップＳ３６ｈ；Ｙｅｓ）、ＣＰＵ１６１は、ステップＳ３６ｂ以降の処理を繰り返して行う。
【０１８８】
一方、ステップＳ３６ｈで、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に設定されている値が、所定のａMAXよりも小さくないと判断すると（ステップＳ３６ｈ；Ｎｏ）、ＣＰＵ１６１は、ＲＡＭ１６２内の「OＦ MIN」記憶領域に設定されている値が正の最大値であるか否かを判断する（ステップＳ３６ｉ）。
【０１８９】
ステップＳ３６ｉで、ＲＡＭ１６２内の「OＦ MIN」記憶領域に設定されている値が正の最大値でないと判断すると（ステップＳ３６ｉ；Ｎｏ）、ＣＰＵ１６１は、求めていた修正量dｊが見つかったと判断して、ＲＡＭ１６２内の「最良のdｊ」記憶領域に設定されている修正量dｊ（j＝０，１，…，LＪ−１）を、求めていた修正量dｊ（j＝０，１，…，LＪ−１）とする（ステップＳ３６ｊ）。
【０１９０】
次いで、ＣＰＵ１６１は、当該求めていた修正量dｊ（j＝０，１，…，LＪ−１）のうちの修正量dｊ（j＝０，１，…，LＳ−１）と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、に基づいて、現時点から未来に亘る第２次再生プランP２によるP２(t０＋j)（j＝０，１，…，LＳ−１）を作成して（ステップＳ３６ｋ）、第２次再生プラン蓄積ファイル１６３ａ３に記憶させる。
【０１９１】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t０＋j)」記憶領域に“０”を設定することによって（ステップＳ３６ｌ）、時刻t０＋j（j＝０，１，…，LＳ−１）においては判別可能条件を満たす領域S０に収まる旨を記録し、ステップＳ３９の処理に移行する。
【０１９２】
また、ステップＳ３６ｉで、ＲＡＭ１６２内の「OＦ MIN」記憶領域に設定されている値が正の最大値であると判断すると（ステップＳ３６ｉ；Ｙｅｓ）、ＣＰＵ１６１は、求めていた修正量dｊが見つからなかったと判断して、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）を、現時点から未来に亘る第２次再生プランP２によるP２(t０＋j)（j＝０，１，…，LＳ−１）とすることによって、現時点から未来に亘る第２次再生プランP２によるP２(t０＋j)（j＝０，１，…，LＳ−１）を作成して（ステップＳ３６ｍ）、第２次再生プラン蓄積ファイル１６３ａ３に記憶させる。
【０１９３】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t０＋j)」記憶領域に“１”を設定することによって（ステップＳ３６ｎ）、時刻t０＋j（j＝０，１，…，LＳ−１）においては判別可能条件を満たす領域S０に収まらない旨を記録し、ステップＳ３９の処理に移行する。
【０１９４】
また、ステップＳ３４で、前もって予測していたP１(t０)が存在すると判断すると（ステップＳ３４；Ｙｅｓ）、ＣＰＵ１６１は、ステップＳ３３で読み込んだ再生速度V１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP１(t０−１)と、に基づいて作成した現時点における第１次再生プランP１による再生位置P１(t０−１)＋(FＳ／FＰ)V１が、前もって予測していたP１(t０)にほぼ等しいか否かを判断する（ステップＳ３７）。
【０１９５】
ステップＳ３７で、P１(t０−１)＋(FＳ／FＰ)V１が、前もって予測していたP１(t０)にほぼ等しくないと判断すると（ステップＳ３７；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３５の処理に移行する。
【０１９６】
一方、ステップＳ３７で、P１(t０−１)＋(FＳ／FＰ)V１が、前もって予測していたP１(t０)にほぼ等しいと判断すると（ステップＳ３７；Ｙｅｓ）、ＣＰＵ１６１は、第２次再生プラン蓄積ファイル１６３ａ３にP２(t０)が蓄積されているか否か、すなわち、時刻t０における第２次再生プランP２による再生位置P２(t０)が作成されているか否かを判定する（ステップＳ３８）。
【０１９７】
ステップＳ３８で、P２(t０)が作成されていないと判断すると（ステップＳ３８；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３５の処理に移行する。
【０１９８】
一方、ステップＳ３８で、P２(t０)が作成されていると判断すると（ステップＳ３８；Ｙｅｓ）、ＣＰＵ１６１は、P１(t０)−P２(t０)が、予め設定された規定範囲内にあるか否かを判断する（ステップＳ３９）。
【０１９９】
ステップＳ３９で、P１(t０)−P２(t０)が規定範囲内にないと判断すると（ステップＳ３９；Ｎｏ）、ＣＰＵ１６１は、P２(t０)をP１(t０)で置き換える（ステップＳ４０）。
【０２００】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t０＋j)」記憶領域のうちのj＝０の領域、すなわち、「聞き取り可否U(t０)」記憶領域に“１”を設定することによって（ステップＳ４１）、時刻t０＋j（j＝０）においては判別可能条件を満たす領域S０に収まらない旨を記録して、ステップＳ４２の処理に移行する。
【０２０１】
一方、ステップＳ３９で、P１(t０)−P２(t０)が規定範囲内にあると判断すると（ステップＳ３９；Ｙｅｓ）、ＣＰＵ１７１は、再生制御プログラム１６３ｂ３を実行して、P２(t０)で記憶媒体１１に記憶された再生データの再生を行う（ステップＳ４２）。
具体的には、ＣＰＵ１７１は、読取部１１に、記憶媒体１１に記憶された再生データのうちの時間座標P２(t０)の部分を取得させ、当該取得された再生データを、デコーダ１３や時間軸変換部１４を介して、音声出力装置３に出力させる。これにより、音声出力装置３から再生データに基づく音声が出力される。
【０２０２】
次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t０」記憶領域に“t０＋１”を設定して（ステップＳ４３）、ステップＳ３３以降の処理を繰り返して行う。
そして、ＣＰＵ１６１は、ステップＳ３３〜ステップＳ４３の処理を、例えば、ユーザによる操作部１５の操作によって再生データの再生を終了するよう指示されるまで、或いは、記憶媒体１１に記憶された再生データを再生し尽すまで、繰り返して行う。
【０２０３】
すなわち、近似的方法QLP(t０,LＪ)は、LＪサンプル分の第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＪ−１）を、LＪサンプルの時区間は、一定の再生加速度ａを持つものと限定するところに特徴がある。そして、再生加速度ａを、ａMINからａMAXの範囲で所定のΔａ毎に変化させながら、最良の修正量dｊを探して、第２次再生プランP２を作成する。すなわち、近似的方法QLP(t０,LＪ)は、式（３１）の制約条件を満たしつつ、式（３４）（或いは式（４４）であってもよい）で定義される修正量dｊを最小にする再生加速度ａをもって、準最適な第２次再生プランP２とする方法である。
【０２０４】
次に、第１次再生プランP１と、再生装置１Ｂの再生処理（図１７及び図１８）を実行して近似的方法QLP(t０,LＪ)を用いて作成した第２次再生プランP２と、について、例えば、図１９に示すマクロ速度−加速度平面を用いて比較する。パラメータは、LＪ＝９０（１．５秒相当）、LＳ＝３０（０．５秒相当）、α＝β＝０．０１１に設定した。
【０２０５】
図１９は、図６で得られた折れ線を使用した場合である。
図１９（ａ）は、図１２（ａ）と同一の軌跡であり、図１９（ｂ）には、図１９（ａ）の第１次再生プランP１を基に、判別可能条件を満たす領域S０内に収まるように、近似的方法QLP(t０,LＪ)を順次適用していくことで作成した第２次再生プランP２の軌跡を示す。
図１９（ｂ）によれば、図１２（ｂ）と比較して、折れ線（判別可能条件を満たす領域S０と判別可能条件を満たさない領域S１の境界線）から離れている軌跡を多く含むが、判別可能条件を満たす領域S０内に全ての軌跡が収まっているため、ほぼ聞き落としがないと期待できる。
【０２０６】
近似的方法QLP(t０,LＪ)でも判別可能条件を満たす領域S０内に全ての軌跡が収まったことをふまえて、線形計画問題LP1(t０,LＪ)及び改良型の線形計画問題LP2(t０,LＪ)による解法の意味は次の３つである。
第１は、処理能力の高いプロセッサを使用する場合は、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)をそのまま実現して最適な再生ができるという点にある。
第２は、理論的に最適な解があるということを示すためのものであるという点にある。
第３は、近似的方法QLP(t０,LＪ)のような近似的手法を開発する際に、それがどこまでよい近似であるかを調べるためのツールとして役立つという点にある。
【０２０７】
変形例２の再生装置１Ｂによれば、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１によって、第２次再生プランP２による再生位置P２(t０＋ｊ)、再生速度V２(t０＋ｊ)及び再生加速度A２(t０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊ（或いは、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊと、第２次再生プランP２による再生加速度の大きさaｊ＋bｊと、の和）を最小にし、且つ、再生加速度A２(t０＋ｊ)が所定の範囲内（ａMINからのａMAX範囲内）にあるとともに、再生加速度A２(t０＋ｊ)が予め設定された時区間（LＪ）では一定（再生加速度ａ）である第２次再生プランP２を作成することができる。
すなわち、再生装置１Ｂは、実施例１の線形計画問題（線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)）を近似的に解いて、第２次再生プランP２を作成するため、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができるとともに、ＣＰＵ１６１の計算負荷を抑えることができる。
【０２０８】
なお、再生装置１Ｂは、実施例の線形計画問題を近似的に解いて第２次再生プランP２を作成する限りではなく、変形例１の非線形計画問題を近似的に解いて第２次再生プランP２を作成してもよい。
【０２０９】
＜変形例３＞
実施例で示した手法は、人間の特性に沿って音声を聞き取らせつつ、再生データを再生する際の再生速度をできるだけユーザが指示する再生速度に近づける手法であった。しかしながら、再生データを構成する音声データには、無音部の時区間もあれば、音声が存在しない時区間もある。このような時区間に対して制約条件を課しても無意味であり、再生データを再生する際の再生速度が、ユーザが指示する再生速度からずれていくだけである。
このようなとき、無音部の時区間や音声が存在しない時区間などの、制約が必要ないと判断される時区間については、制約条件（例えば、式（３１）など）を緩和するとよい。
具体的には、例えば、図２０に示す再生装置１Ｃのように、無音部や音声の有無を判定して、制約が必要ないと判断される時区間については、制約条件を緩和するとよい。
【０２１０】
なお、再生装置１Ｃは、例えば、実施例の再生装置１（図９）における、デコーダ１３の構成の一部と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０２１１】
具体的には、再生装置１Ｃのデコーダ１３Ｃは、制御部１６Ｃから入力される制御信号に従って、例えば、読取部１２から入力された再生データにデコード等の所定の処理を施して、時間軸変換部１４に出力するとともに、制御部１６Ｃに出力する。
【０２１２】
また、再生装置１Ｃの制御部１６Ｃは、例えば、図２０に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｃと、などを備えて構成される。
【０２１３】
記憶部１６３Ｃは、例えば、図２０に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｃと、再生制御プログラム１６３ｂ３と、無音区間判定プログラム１６３ｂ４Ｃと、音声区間判定プログラム１６３ｂ５Ｃと、などを記憶している。
【０２１４】
無音区間判定プログラム１６３ｂ４Ｃは、例えば、デコーダ１３Ｃから入力された再生データ（音声データ）を解析して、読取部１２により取得された再生データが、無音区間内の再生データであるか否かを判定する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、再生データ（音声データ）の２乗和を積分して、所定の閾値と比較することによって、無音区間の判定を行う。
ＣＰＵ１６１は、かかる無音区間判定プログラム１６３ｂ４Ｃを実行することによって、無音区間判定手段として機能する。
【０２１５】
音声区間判定プログラム１６３ｂ５Ｃは、例えば、デコーダ１３Ｃから入力された再生データ（音声データ）を解析して、読取部１２により取得された再生データが、音声区間内の再生データであるか否かを判定する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、再生データ（音声データ）のスペクトル形、エネルギー変動の度合い（例えば、短時間分散と長時間分散との比など）、などを用いて、音声区間の判定を行う。なお、ＣＰＵ１６１は、音声区間であるか否かの判定が曖昧な時区間については、その軸間を音声区間であると判定するようになっている。
ＣＰＵ１６１は、かかる音声区間判定プログラム１６３ｂ５Ｃを実行することによって、音声区間判定手段として機能する。
【０２１６】
第２次再生プラン作成プログラム１６３ｂ２Ｃは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、パラメータ記憶ファイル１６３ａ１に記憶されたMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなどと、を基に、最適化問題を、線形計画問題（線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)）として線形計画法を用いて解くことによって、当該第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成する機能を、ＣＰＵ１６１に実現させる。
【０２１７】
このとき、ＣＰＵ１６１は、例えば、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが無音区間内の再生データであると判定された場合は、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１段により作成された第１次再生プランP１を基に、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件よりも制約が緩和された条件内で第２次再生プランP２を作成するようになっている。
また、ＣＰＵ１６１は、例えば、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが無音区間内の再生データでないと判定された場合であっても、音声区間判定プログラム１６３ｂ５Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが音声区間内の再生データでないと判定された場合は、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１を基に、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件よりも制約が緩和された条件内で第２次再生プランP２を作成するようになっている。
【０２１８】
具体的には、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件よりも制約が緩和された条件とは、例えば、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件を除去した条件である。
すなわち、読取部１２により取得された再生データが、無音区間内の再生データであると判定された場合、或いは、音声区間内の再生データでないと判定された場合には、ＣＰＵ１６１は、制約条件（例えば、式（３１）など）を無視して、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)を解くことによって、第２次再生プランP２を作成する。
【０２１９】
また、第２次再生プラン作成プログラム１６３ｂ２Ｃは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、当該作成された第２次再生プランP２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の差が大きすぎるため、当該作成された第２次再生プランP２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｃを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。
【０２２０】
変形例３の再生装置１Ｃによれば、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって、読取部１２により取得された再生データが、無音区間内の再生データであるか否かを判定することができ、音声区間判定プログラム１６３ｂ５Ｃを実行したＣＰＵ１６１によって、読取部１２により取得された再生データが、音声区間内の再生データであるか否かを判定することができ、そして、第２次再生プラン作成プログラム１６３ｂ２Ｃを実行したＣＰＵ１６１は、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが無音区間内の再生データであると判定された場合、或いは、音声区間判定プログラム１６３ｂ５Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが音声区間内の再生データでないと判定された場合は、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１を基に、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件よりも制約が緩和された条件内で第２次再生プランP２を作成することができる。
【０２２１】
ここで、読取部１２により取得された再生データが、無音区間内の再生データであると判定された場合、或いは、音声区間内の再生データでないと判定された場合に作成される第２次再生プランP２は、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件よりも制約が緩和された条件内で作成されたものであるため、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)を解いて作成した第２次再生プランP２よりも第１次再生プランP１に近いプランになる。
したがって、再生装置１Ｃは、無音区間である時区間や音声区間でない時区間などの、制約が必要ないと判断される時区間では、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)を解いて作成した第２次再生プランP２よりも第１次再生プランP１に近い第２次再生プランP２を作成するため、再生データを再生する際の再生速度が、ユーザが指示する再生速度からずれていくのを抑えることができ、効率よく再生データを再生することができる。
【０２２２】
なお、再生装置１Ｃは、読取部１２により読み取られた再生データが、無音区間内の再生データであるか否かと、音声区間内の再生データであるか否かと、の２項目について判定するようにしたが、何れか一方のみを判定するようにしてもよい。
【０２２３】
また、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件よりも制約が緩和された条件は、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件を除去した条件に限ることはなく、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件よりも制約が緩和されていれば任意であり、例えば、線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)の制約条件のパラメータを変化させた制約条件であってもよい。
【０２２４】
また、再生装置１Ｃは、実施例のように、線形計画問題を解いて第２次再生プランP２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP２を作成してもよいし、変形例２のように、近似的方法を用いて第２次再生プランP２を作成してもよい。
【０２２５】
＜変形例４＞
実施例においては、話速にかかわらず制約条件を一定にしていたが、制約条件は、人間の特性として定量化したパラメータMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋを使用して生成されるものであり、パラメータMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋは、話速に依存する。したがって、さらにユーザにとって視聴しやすい状態で再生データの再生を行うためには、話速に応じて制約条件を変化させるとよい。
具体的には、例えば、図２１に示す再生装置１Ｄのように、話速を判定して、その話速に応じて制約条件を変化させるとよい。
【０２２６】
なお、再生装置１Ｄは、例えば、実施例の再生装置１（図９）における、デコーダ１３の構成の一部と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０２２７】
具体的には、再生装置１Ｄのデコーダ１３Ｄは、制御部１６Ｄから入力される制御信号に従って、例えば、読取部１２から入力された再生データにデコード等の所定の処理を施して、時間軸変換部１４に出力するとともに、制御部１６Ｄに出力する。
【０２２８】
また、再生装置１Ｄの制御部１６Ｄは、例えば、図２１に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｄと、などを備えて構成される。
【０２２９】
記憶部１６３Ｄは、例えば、図２１に示すように、パラメータ記憶ファイル１６３ａ１Ｄと、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｄと、再生制御プログラム１６３ｂ３と、話速推定プログラム１６３ｂ６Ｄと、などを記憶している。
【０２３０】
話速推定プログラム１６３ｂ６Ｄは、例えば、デコーダ１３Ｄから入力される再生データ（音声データ）を解析して、読取部１２により取得された再生データに基づく音声の話速を推定する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、再生データ（音声データ）のエネルギーの変動の大きさを用いることによって、話速を推定する。すなわち、ＣＰＵ１６１は、例えば、再生データの信号エネルギーを、長い時定数で平滑化したものをPＬ(t)とし、短い時定数で平滑化したものをPＳ(t)としたときに、１秒間あたりにPＬ(t)とPＳ(t)とが交差する回数を求めることによって、話速を推定する。
ＣＰＵ１６１は、かかる話速推定プログラム１６３ｂ６Ｄを実行することによって、話速推定手段として機能する。
【０２３１】
パラメータ記憶ファイル１６３ａ１Ｄは、例えば、予め決定しておいた、各話速に対応するパラメータMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなどを記憶している。
具体的には、例えば、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定される話速は、「早い」、「普通」、「遅い」の３段階に分けられるようになっており、パラメータ記憶ファイル１６３ａ１Ｄは、話速が早い場合と、話速が普通の場合と、話速が遅い場合と、のそれぞれについて、作成される第２次再生プランP２による再生速度V２(t)の最高値が適度なものとなるような、パラメータMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなどを記憶している。
なお、話速を「早い」、「普通」、「遅い」の３段階に分けるようにしたが、これに限ることはなく、段階の数は複数であれば任意である。
【０２３２】
第２次再生プラン作成プログラム１６３ｂ２Ｄは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、パラメータ記憶ファイル１６３ａ１Ｄに記憶されたMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋのうちの話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に対応するパラメータMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなどと、を基に、最適化問題を、線形計画問題（線形計画問題LP1(t０,LＪ)又は改良型の線形計画問題LP2(t０,LＪ)）として線形計画法を用いて解くことによって、当該第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成する機能を、ＣＰＵ１６１に実現させる。
【０２３３】
このとき、ＣＰＵ１６１は、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に対応するパラメータMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋをパラメータ記憶データファイル１６３ａ１Ｄから取得して制約条件を生成することによって、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に応じて制約条件を変化させるようになっている。
【０２３４】
また、第２次再生プラン作成プログラム１６３ｂ２Ｄは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、当該作成された第２次再生プランP２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の差が大きすぎるため、当該作成された第２次再生プランP２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１で置き換えることによって、現時点から未来に亘る第２次再生プランP２を作成する機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｄを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。
【０２３５】
変形例４の再生装置１Ｄによれば、話速推定プログラム１６３ｂ６Ｄによって、読取部１２により取得された再生データに基づく音声の話速を推定することができ、そして、第２次再生プラン作成プログラム１６３ｂ２Ｄを実行したＣＰＵ１６１は、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に応じて制約条件を変化させることができる。
すなわち、話速に応じたパラメータMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋの組を使用して制約条件を生成することによって、制約条件を変化させるため、例えば、話速が早い時区間では遅くなるように、話速が遅い時区間では早くなるように、再生速度が調整された第２次再生プランP２を作成できることとなって、ユーザにとって聞きやすい状態で効率よく再生データの可変速再生を行うことができる。
【０２３６】
なお、話速に応じて制約条件を変化させる他に、話速に応じて再生データの再生速度を調整する手法としては、例えば、再生データの時間座標に話速で重みを付ける手法などがある。具体的には、例えば、P２(t２)−P２(t１)が再生データの時間座標上での距離であるが、この距離に、話速に比例する量を乗算することで、話速に応じて再生データの再生速度を調整するようにしてもよい。
【０２３７】
また、再生装置１Ｄは、実施例のように、線形計画問題を解いて第２次再生プランP２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP２を作成してもよいし、変形例２のように、近似的方法を用いて第２次再生プランP２を作成してもよいし、変形例３のように、制約が必要ないと判断される時区間では、実施例や変形例１、変形例２などの制約条件よりも制約が緩和された条件内で第２次再生プランP２を作成してもよい。
【０２３８】
＜変形例５＞
実施例では、ユーザが指示する再生速度V１が高速であって、それが長時間維持された場合には、音声の全てを聞き取らせるのは不可能である。例えば、再生装置１が再生処理（図１０）を行なっている場合であれば、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の剥離による強制的な再生位置の修正（ステップＳ１０のP２(t０)をP１(t０)で置き換える処理）が頻繁に起こって、聞くに耐えない音声になる場合がある。そのようなことが生じたときは、語句を聞き取らせるのを諦めて、音量を下げたり、音量を切ってしまう（音声を切る、音を切る、又は、音量を０にする）のがよい。
具体的には、例えば、図２２に示す再生装置１Ｅのように、ＲＡＭ１６２内の「聞き取り可否U(t０＋j)」記憶領域のうちのj＝０の領域、すなわち、ＲＡＭ１６２内の「聞き取り可否U(t０)」記憶領域に“１”が設定されている場合は、音量を下げたり、音声を切ってもよい。
【０２３９】
ここで、U(t)＝０は、第２次再生プランP２が時刻ｔで聞き取り可能であると推定されたこと、すなわち、第２次再生プランP２の軌跡が時刻ｔで判別可能条件を満たす領域S０内に収まることを示す。
一方、U(t)＝１は、第２次再生プランP２が時刻ｔで聞き取り可能でないと推定されたこと、すなわち、第２次再生プランP２の軌跡が時刻ｔで判別可能条件を満たす領域S０内に収まらないことを示す。
【０２４０】
実施例の再生装置１による再生処理（図１０）では、制約条件を確保しようとして第１次再生プランP１と第２次再生プラントP２の差が規定範囲を超えた場合、線形計画法での解を捨てて、第２次再生プランP２を第１次再生プランP１で置き換えることによって（ステップＳ１０）、第２次再生プランP２として、第１次再生プランP１をそのまま利用するようになっている。このとき、制約条件は満たされないので、U(t)＝１と設定される。また、瞬間的であっても最低の再生速度や最高の再生速度に制約をつけることも可能であるが、その場合も線形計画法の解がなくなるので、U(t)＝１と設定される。
【０２４１】
また、変形例２の再生装置１Ｂによる再生処理（図１７及び図１８）では、第１次再生プランP１と第２次再生プラントP２の差が規定範囲を超えた場合に、第２次再生プランP２を第１次再生プランP１で置き換える（ステップＳ４０）他に、予め定められた加速度の範囲（ａMINからａMAXの範囲）で制約条件を満たせず、求めていた修正量dｊが見つからなかった場合は、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）を、現時点から未来に亘る第２次再生プランP２によるP２(t０＋j)（j＝０，１，…，LＳ−１）とする（ステップＳ３６ｍ）ようになっている。このときも、制約条件は満たされないので、U(t)＝１と設定される。
【０２４２】
なお、再生装置１Ｅは、例えば、実施例の再生装置１（図９）における、時間軸変換部１４の構成の一部と、音量調整部１７Ｅが追加された点と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０２４３】
具体的には、再生装置１Ｅの時間軸変換部１４Ｅは、制御部１６Ｅから入力される制御信号に従って、例えば、時間軸変換手段として、デコーダ１３から入力された再生データの波形の一致度を考慮して、既存の時間軸変換技術（例えば、ＴＳＭなど）などを用いて、当該再生データの時間軸を変換し、音量調整部１７Ｅや図示しないアンプを介して、音声出力装置３に出力する。
【０２４４】
また、再生装置１Ｅの音量調整部１７Ｅは、制御部１６Ｅから入力される制御信号に従って、音量出力装置３から出力される再生データ（音声データ）に基づく音声の音量を調整する。
【０２４５】
また、再生装置１Ｅの制御部１６Ｅは、例えば、図２２に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｅと、などを備えて構成される。
【０２４６】
具体的には、記憶部１６３Ｅは、例えば、図２２に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２と、再生制御プログラム１６３ｂ３と、音量制御プログラム１６３ｂ７Ｅと、などを記憶している。
【０２４７】
音量制御プログラム１６３ｂ７Ｅは、例えば、ＲＡＭ１６２内の「聞き取り可否U(t０)」記憶領域に“１”を設定されている場合、すなわち、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１によって第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP２との差が予め設定された規定範囲内にないと判断された場合に、音量調整部１７Ｅに制御信号を入力して、音声出力装置３から出力される再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整する機能を、ＣＰＵ１６１に実現させる。
ここで、再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整するとは、例えば、音量を下げたり、音量を切ってしまう（音声を切る、音を切る、又は、音量を０にする）ことである。
具体的には、ＣＰＵ１６１は、例えば、U(t０)＝０で通常音量、U(t０)＝１で小音量（又は無音量）となるように、音声出力装置３を制御する。
ＣＰＵ１６１は、かかる音量制御プログラム１６３ｂ７Ｅを実行することによって、音量調整手段として機能する。
【０２４８】
変形例５の再生装置１Ｅによれば、音量制御プログラム１６３ｂ７Ｅを実行したＣＰＵ１６１によって、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１７１によって第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP２との差が予め設定された規定範囲内にないと判断された場合に、音声出力装置３から出力される再生データに基づく音声の音量が小さくなるように調整することができる。
したがって、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の剥離による強制的な再生位置の修正（P２(t０)をP１(t０)で置き換える処理）が頻繁に起こって、聞くに耐えない音声が出力される場合は、音量が小さくなるため、より一層、ユーザにとって聞きやすい状態で再生データの可変速再生を行うことができる。
【０２４９】
なお、再生装置１Ｅは、変形例２のように、近似的方法を用いて第２次再生プランP２を作成してもよい。この場合、ＲＡＭ１６２内の「聞き取り可否U(t０)」記憶領域に“１”を設定されるのが、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１によって第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１により作成された第２次再生プランP２との差が予め設定された規定範囲内にないと判断された場合と、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１により制約条件を満たす第２次再生プランP２が作成されなかった場合と、であるため、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１により制約条件を満たす第２次再生プランP２が作成されなかった場合も、音声出力装置３から出力される再生データに基づく音声の音量が小さくなるように調整する必要がある。
【０２５０】
また、音量の制御の仕方は、U(t０)＝０で通常音量、U(t０)＝１で小音量（又は無音量）となるように制御する限りではなく、U(t０)＝１で音声出力装置３から出力される再生データに基づく音声の音量が小さくなるように制御できれば任意であり、例えば、U(t０)＝１が設定されると、予め設定された音量レベルに達するまで徐々に音量を下げ、その後、連続して所定回数U(t０)＝０が設定されると、通常音量になるまで徐々に音量を上げるようにしてもよい。この場合、頻繁に音量が制御されることがなく、また、滑らかに音量が変化するため、ユーザにとって快適である。
【０２５１】
また、第２次再生プランP２を作成せずに、第１次再生プランP１に従って記憶媒体１１に記憶された再生データを再生する場合は、式（３０）においてｊ＝０としたＫ個の不等式が、現時点での第１次再生プランP１について成り立つか否かを判定し、１個でも成り立たないと判定された場合にU(t０)＝１として、音量を小さくなるように調整するようにしてもよい。
【０２５２】
また、再生装置１Ｅは、実施例のように、線形計画問題を解いて第２次再生プランP２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP２を作成してもよいし、変形例３のように、制約が必要ないと判断される時区間では、実施例や変形例１、変形例２などの制約条件よりも制約が緩和された条件内で第２次再生プランP２を作成してもよいし、変形例４のように、話速に応じて制約条件を変化させて第２次再生プランP２を作成してもよい。
【０２５３】
＜変形例６＞
実施例では、記憶媒体１１に記憶された再生データは音声データにより構成されていたが、再生データは、音声データ及び映像データにより構成されていてもよい。
この場合、例えば、図２３に示す再生装置１Ｆのように、第２次再生プランP２に従って、音声データを再生するとともに、第１次再生プランP１に従って、映像データを再生することになる。
【０２５４】
なお、再生装置１Ｆは、例えば、実施例の再生装置１（図９）における、記憶媒体１１の構成の一部と、デコーダ１３の構成の一部と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。
【０２５５】
具体的には、再生装置１Ｆの記憶媒体１１Ｆは、例えば、記憶手段として、音声データ及び映像データにより構成される再生データを予め記憶している。
なお、記憶媒体１１Ｆには、音声データと、映像データと、が予め分離されて記憶されている。
【０２５６】
また、再生装置１Ｆのデコーダ１３Ｆは、制御部１６Ｆから入力される制御信号に従って、例えば、読取部１２から入力された再生データのうちの音声データにデコード等の所定の処理を施して、時間軸変換部１４を介して音声出力装置３に出力するとともに、読取部１２から入力された再生データのうちの映像データにデコード等の所定の処理を施して、表示装置５Ｆに出力する。
【０２５７】
また、デコーダ１３Ｆを介して表示装置１Ｆに接続された表示装置５Ｆは、例えば、液晶表示機器等であり、例えば、所定の出力装置として、デコーダ１３Ｆから入力された再生データ（映像データ）に基づく映像を表示する。
【０２５８】
また、再生装置１Ｆの制御部１６Ｆは、例えば、図２３に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｆと、などを備えて構成される。
【０２５９】
記憶部１６３Ｆは、例えば、図２２に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｆと、再生制御プログラム１６３ｂ３Ｆと、などを記憶している。
【０２６０】
第２次再生プラン作成プログラム１６３ｂ２Ｆは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、パラメータ記憶ファイル１６３ａ１に記憶されたMＶ(τ)、MＡ(τ)、CＶｋ、CＡｋ、CＣｋなどと、を基に、最適化問題を、線形計画問題として線形計画法を用いて解くことによって、当該第１次再生プランP１を修正した現時点から未来に亘る第２次再生プランP２を作成する機能を、ＣＰＵ１６１に実現させる。
具体的には、最適化問題は、目的関数として、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊ（或いは、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊと、第２次再生プランP２による再生加速度の大きさaｊ＋bｊと、の和）と、第２次再生プランP２による音声データの再生位置と第２次再生プランP２による映像データの再生位置との差と、の和を最小にするために、制約条件として、第２次再生プランP２による再生位置P２(t０＋ｊ)、再生速度V２(t０＋ｊ)及び再生加速度A２(t０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものである。
【０２６１】
また、第２次再生プラン作成プログラム１６３ｂ２Ｆは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１と、当該作成された第２次再生プランP２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V１に応じた再生位置（第１次再生プランP１による再生位置P１(t０)）と、実際の再生位置（第２次再生プランP２による再生位置P２(t０)）と、の差が大きすぎるため、当該作成された第２次再生プランP２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｆを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。
【０２６２】
再生制御プログラム１６３ｂ３Ｆは、例えば、第２次再生プラン作成プログラム１６３ｂ２Ｆを実行したＣＰＵ１６１により作成された現時点から未来に亘る第２次再生プランP２に従って、記憶媒体１１に記憶された再生データのうちの音声データを再生するとともに、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された現時点から未来に亘る第１次再生プランP１に従って、記憶媒体１１に記憶された再生データのうちの映像データを再生する機能を、ＣＰＵ１６１に実現させる。
【０２６３】
具体的には、ＣＰＵ１６１は、例えば、読取部１２に制御信号を入力して、第２次再生プラン作成プログラム１６３ｂ２Ｆを実行したＣＰＵ１６１により作成された第２次再生プランP２に従って、記憶媒体１１から音声データを取得させ、そして、デコーダ１３や時間軸変換部１４に制御信号を入力して、読取部１２により取得された音声データを音声出力装置３に出力させるとともに、読取部１２に制御信号を入力して、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP１に従って、記憶媒体１１から映像データを取得させ、そして、デコーダ１３に制御信号を入力して、読取部１２により取得された映像データを表示装置５Ｆに出力させる。
ＣＰＵ１６１は、かかる再生制御プログラム１６３ｂ３Ｆを実行することによって、出力制御手段として機能する。
【０２６４】
変形例６の再生装置１Ｆによれば、目的関数として、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊ（或いは、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊと、第２次再生プランP２による再生加速度の大きさaｊ＋bｊと、の和）と、第２次再生プランP２による音声データの再生位置と第２次再生プランP２による映像データの再生位置との差と、の和を最小にするために、線形計画問題として線形計画法を用いて解くようになっているため、再生される音声と映像のズレを抑えることができる。
【０２６５】
なお、映像データを第１次再生プランP１に従って再生するようにしたが、第１次再生プランP１を基に、映像データ用の第２次再生プランを作成し、この映像データ用の第２次再生プランに従って、映像データを再生するようにしてもよい。このとき、この映像データ用の第２次再生プランを基に、第２次再生プランP２（音声データ用の第２次再生プラン）を作成してもよい。或いは、逆に第１次再生プランP１を基に、第２次再生プランP２（音声データ用の第２次再生プラン）を作成して、第２次再生プランP２（音声データ用の第２次再生プラン）を基に、映像データ用の第２次再生プランを作成し、この映像データ用の第２次再生プランに従って映像データを再生するようにしてもよい。この場合、目的関数から音声データの再生位置と映像データの再生位置との差を除去して、最適化問題を、例えば、目的関数として、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊ（或いは、第１次再生プランP１による再生位置P１(t０＋ｊ)と第２次再生プランP２による再生位置P２(t０＋ｊ)との差dｊと、第２次再生プランP２による再生加速度の大きさaｊ＋bｊと、の和）を最小にするために、線形計画問題として線形計画法を用いて解くことになる。
この場合、音声データと映像データが各々に適した第２次再生プランに従って再生されるため、可変速再生をした場合であっても、音声と映像をより自然に視聴させることができる。
【０２６６】
また、デコーダ１３Ｆから制御部１６Ｆに再生データ（映像データ）が入力されるよう構成し、デコーダ１３Ｆから入力される再生データ（映像データ）を解析して、読取部１１により読み取られた再生データが、静止画区間内の再生データであるか否かを判定し、静止画区間内の再生データであると判定された場合は、映像データを早送り再生をするようにしてもよい。
また、デコーダ１３Ｆから制御部１６Ｆに再生データ（映像データ）が入力されるよう構成し、デコーダ１３Ｆから入力される再生データ（映像データ）を解析して、読取部１１により読み取られた再生データが、変化の多い動画区間内の再生データであるか否かを判定して、変化の多い動画区間内の再生データであると判定された場合は、映像データをゆっくりと再生するようにしてもよい。
【０２６７】
また、再生装置１Ｆは、実施例のように、線形計画問題を解いて第２次再生プランP２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP２を作成してもよいし、変形例２のように、近似的方法を用いて第２次再生プランP２を作成してもよいし、変形例３のように、制約が必要ないと判断される時区間では、実施例や変形例１、変形例２などの制約条件よりも制約が緩和された条件内で第２次再生プランP２を作成してもよいし、変形例４のように、話速に応じて制約条件を変化させて第２次再生プランP２を作成してもよいし、変形例５のように、音量を調整してもよい。
【０２６８】
なお、実施例及び変形例１〜６においては、再生装置１，１Ａ〜１Ｆと、音声出力装置３や表示装置５Ｆと、が別体である必要はなく、一体であってもよい。
【図面の簡単な説明】
【０２６９】
【図１】基礎的実験を行うための実験装置の機能的構成を示す図である。
【図２】マクロ速度及びマクロ加速度について説明するための図である。
【図３】LＡ＝２．０秒、LＢ＝０．５秒、LＣ＝０．５秒である場合のマクロ速度−加速度平面における第１次再生プランの軌跡を示す図である。
【図４】LＡ＝０．５秒、LＢ＝０．２５秒、LＣ＝１．０８秒である場合のマクロ速度−加速度平面における第１次再生プランの軌跡を示す図である。
【図５】延べ７名の被験者の結果を総計して得た、LＡ＝０．５秒、LＢ＝０．２５秒、LＣ＝１．０８秒である場合のマクロ速度−加速度平面における、聞き取れる割合を示す図である。
【図６】図５のマクロ速度−加速度平面上を、判別可能条件を満たす領域と聞き取り不可能な領域とに分割した図である。
【図７】LＡ＝０．５秒に固定して、LＢとLＣを変化させたときの分割の評価関数EＤの変化を３次元プロットしたものを示す図である。
【図８】LＢ＝０．２５秒、LＣ＝１．０８秒に固定して、LＡを変化させたときの分割の評価関数EＤの変化を２次元プロットしたものを示す図である。
【図９】本発明の再生装置の機能的構成を示す図である。
【図１０】本発明の再生装置による記憶媒体に記憶された再生データの再生に関する処理を説明するためのフローチャートである。
【図１１】本発明の再生装置の再生処理によって各変数が更新されていく様子を示す図である。
【図１２】マクロ速度−加速度平面における第１次再生プランの軌跡（ａ）と第２次再生プランの軌跡（ｂ）を示す図である。
【図１３】図１２よりもマクロ加速度の条件を厳しくした折れ線を使用した場合の、マクロ速度−加速度平面における第１次再生プランの軌跡（ａ）と第２次再生プランの軌跡（ｂ）を示す図である。
【図１４】図１２（ａ）（図１３（ａ））に示す第１次再生プランの再生速度の変化（ａ）と図１２（ｂ）に示す第２次再生プランの再生速度の変化（ｂ）と図１３（ｂ）に示す第２次再生プランの再生速度の変化（ｃ）を示す図である。
【図１５】変形例１の再生装置の機能的構成を示す図である。
【図１６】変形例２の再生装置の機能的構成を示す図である。
【図１７】変形例２の再生装置による記憶媒体に記憶された再生データの再生に関する処理を説明するための第１のフローチャートである。
【図１８】変形例２の再生装置による記憶媒体に記憶された再生データの再生に関する処理を説明するための第２のフローチャートである。
【図１９】マクロ速度−加速度平面における第１次再生プランの軌跡（ａ）と近似的方法QLP(t０,LＪ)によって作成した第２次再生プランの軌跡（ｂ）を示す図である。
【図２０】変形例３の再生装置の機能的構成を示す図である。
【図２１】変形例４の再生装置の機能的構成を示す図である。
【図２２】変形例５の再生装置の機能的構成を示す図である。
【図２３】変形例６の再生装置の機能的構成を示す図である。
【符号の説明】
【０２７０】
１,１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ  再生装置
３  音声出力装置（出力装置）
５Ｆ  表示装置（出力装置）
１１，１１Ｆ  記憶媒体（記憶手段）
１２  読取部（取得手段）
１４  時間軸変換部（時間軸変換手段）
１５  操作部（指示手段）
１６１  ＣＰＵ（第１次再生プラン作成手段、第２次再生プラン作成手段、判断手段、出力制御手段、無音区間判定手段、音声区間判定手段、話速推定手段、音量調整手段）
１６３ｂ１  第１次再生プラン作成プログラム（第１次再生プラン作成手段）
１６３ｂ２，１６３ｂ２Ａ，１６３ｂ２Ｂ，１６３ｂ２Ｃ，１６３ｂ２Ｄ，１６３ｂ２Ｆ  第２次再生プラン作成プログラム（第２次再生プラン作成手段、判断手段）
１６３ｂ３，１６３ｂ３Ｆ  再生制御プログラム（出力制御手段）
１６３ｂ４Ｃ  無音区間判定プログラム（無音区間判定手段）
１６３ｂ５Ｃ  音声区間判定プログラム（音声区間判定手段）
１６３ｂ６Ｄ  話速推定プログラム（話速推定手段）
１６３ｂ７Ｅ  音量制御プログラム（音量調整手段）
【図１】
2008276122.tif 000029
【図２】
2008276122.tif 000030
【図３】
2008276122.tif 000031
【図４】
2008276122.tif 000032
【図７】
2008276122.tif 000033
【図８】
2008276122.tif 000034
【図９】
2008276122.tif 000035
【図１０】
2008276122.tif 000036
【図１１】
2008276122.tif 000037
【図１２】
2008276122.tif 000038
【図１３】
2008276122.tif 000039
【図１４】
2008276122.tif 000040
【図１５】
2008276122.tif 000041
【図１６】
2008276122.tif 000042
【図１７】
2008276122.tif 000043
【図１８】
2008276122.tif 000044
【図１９】
2008276122.tif 000045
【図２０】
2008276122.tif 000046
【図２１】
2008276122.tif 000047
【図２２】
2008276122.tif 000048
【図２３】
2008276122.tif 000049
【図５】
2008276122.tif 000050
【図６】
2008276122.tif 000051