(57)【要約】【課題】  視聴者に聞き取り易いように音声にゆっくり感を与えつつ、ゆっくり音声の遅れにより生じる違和感を最小限に低減することができる音声処理装置を提供する。【解決手段】  伸張率αを１.２〜１.４の範囲に設定するとともに、最大遅れ時間を３〜４．５秒に設定しておき（Ｓ４０）、メモリ部に記憶されている音声データによる遅れ時間が設定された最大遅れ時間に対してどの程度の割合にあるかを比較し（Ｓ６０）、遅れ時間が最大遅れ時間に対してどの程度の割合にあるかに応じて伸張率αを再設定し（Ｓ７０〜Ｓ９０）、再設定された伸張率αに応じて音声のピッチ周期の単位で波形を挿入することによりゆっくり音声データを生成する（Ｓ１００）。【選択図】      図４
2007072045.tif 000002
【特許請求の範囲】
【請求項１】
入力される原音声データから無音部分のデータを削除して有効な音声データを順次にメモリ部に書き込んでおき、前記メモリ部から読み出した音声データに基づき、原音声データに対して所定の伸張率となるように、話速変換された音声データを生成する音声処理装置であって、
前記伸張率を１.２〜１.４の範囲内で設定するとともに、前記メモリ部での書き込み、読み出し動作により生じる原音声データに対する最大遅れ時間を３〜４．５秒の範囲内で設定する設定手段と、
前記メモリ部から読み出した音声データの前記原音声データに対する遅れ時間を検出する検出手段と、
前記検出された遅れ時間が前記設定された最大遅れ時間に対してどの程度の割合にあるかを比較する比較手段と、
前記遅れ時間が最大遅れ時間に対してどの程度の割合にあるかに応じて伸張率を前記設定された伸張率に基づき再設定する再設定手段と、
前記再設定された伸張率となるように、前記メモリ部に記憶されている音声データを読み出して話速変換された音声データを生成する音声生成手段とを備えたことを特徴とする音声処理装置。
【請求項２】
映像データに関連する原音声データが入力され、その入力された原音声データから無音部分のデータを削除して有効な音声データを順次にメモリ部に書き込んでおき、前記メモリ部から読み出した音声データに基づき、原音声データに対して所定の伸張率となるように、話速変換された音声データを生成する音声処理装置であって、
前記伸張率を１.２〜１.３５の範囲内で設定するとともに、前記メモリ部での書き込み、読み出し動作により生じる原音声データに対する最大遅れ時間を１．５〜３秒の範囲内で設定する設定手段と、
前記メモリ部から読み出した音声データの前記原音声データに対する遅れ時間を検出する検出手段と、
前記検出された遅れ時間が前記設定された最大遅れ時間に対してどの程度の割合にあるかを比較する比較手段と、
前記遅れ時間が最大遅れ時間に対してどの程度の割合にあるかに応じて伸張率を前記設定された伸張率に基づき再設定する再設定手段と、
前記再設定された伸張率となるように、前記メモリ部に記憶されている音声データを読み出して話速変換された音声データを生成する音声生成手段とを備えたことを特徴とする音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高齢者が音声を聞き取る際の補助や、外国語のリスニング練習のために、発話速度が遅くなるように音声信号を変換処理する話速変換技術に関するものである。
【背景技術】
【０００２】
超高齢化社会を迎えた現代にあっては、テレビやラジオ等は社会生活を送る上で必要不可欠な情報機器となっている。特に、不特定多数の受信者を対象とした放送では、健聴者を対象とした音響特性、発話速度が規定されている。
【０００３】
しかし、高齢者から「放送の音声が聞き取りづらい」という意見が多く聞かれる。この原因の一つとして、放送の音声が早口であるため、理解が追い付かないということが考えられる。
【０００４】
そこで、話速変換技術により放送されている音声信号よりも発話速度がゆっくりになるように聞こえる音声信号（以下、ゆっくり音声信号）に変換する機能が付加された受信機器が市場に提供されるようになった。
【０００５】
しかし、放送されている音声信号をゆっくり音声信号に変換するには、時間軸上において音声信号を伸張することであり、図８に示すように、受信した直後の原音声信号に対して、話速変換処理を施したゆっくり音声信号は遅れ時間が生じる。
【０００６】
この遅れ時間が、実時間での聴取においては、場面の切り替わり時に違和感を生じたりメモリ容量の膨大化によるコスト上昇等の問題が生じるため、遅れ時間を低減する提案もなされている。
【０００７】
特に、特許文献１に開示された話速変換装置にあっては、話速変換後の遅れ時間を低減する試みとして、音声信号から無音部分を削除するという手法や、話速の伸張率（ゆっくり度合い）を適応的変化させる処理が施されている。
【特許文献１】特許第３０８１４６９号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
実際、ラジオを視聴する場合、出力される音声の遅れ時間が少なければ、ゆっくり感を与える度合いは少なくなる。
【０００９】
しかし、図８に示すように、テレビの映像と音声を視聴する場合、原音声信号のタイミングから出力される音声が遅れることよりも、音声を発声した映像中の人物の唇の動きのタイミングに対して出力されるゆっくり音声信号がどれだけ遅れているかにより違和感が生じ、その結果、視聴者に聞き疲れを与えるといった問題があった。
【００１０】
そこで、視聴者に聞き取り易いように音声にゆっくり感を与えつつ、ゆっくり音声の遅れにより生じる違和感を最小限に低減する技術が切望されている。
【００１１】
本発明は、上記に鑑みてなされたもので、その目的としては、視聴者に聞き取り易いように音声にゆっくり感を与えつつ、ゆっくり音声の遅れにより生じる違和感を最小限に低減することができる音声処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
請求項１記載の発明は、上記課題を解決するため、入力される原音声データから無音部分のデータを削除して有効な音声データを順次にメモリ部に書き込んでおき、前記メモリ部から読み出した音声データに基づき、原音声データに対して所定の伸張率となるように、話速変換された音声データを生成する音声処理装置であって、前記伸張率を１.２〜１.４の範囲内で設定するとともに、前記メモリ部での書き込み、読み出し動作により生じる原音声データに対する最大遅れ時間を３〜４．５秒の範囲内で設定する設定手段と、前記メモリ部から読み出した音声データの前記原音声データに対する遅れ時間を検出する検出手段と、前記検出された遅れ時間が前記設定された最大遅れ時間に対してどの程度の割合にあるかを比較する比較手段と、前記遅れ時間が最大遅れ時間に対してどの程度の割合にあるかに応じて伸張率を前記設定された伸張率に基づき再設定する再設定手段と、前記再設定された伸張率となるように、前記メモリ部に記憶されている音声データを読み出して話速変換された音声データを生成する音声生成手段とを備えたことをを要旨とする。
【００１３】
請求項２記載の発明は、上記課題を解決するため、映像データに関連する原音声データが入力され、その入力された原音声データから無音部分のデータを削除して有効な音声データを順次にメモリ部に書き込んでおき、前記メモリ部から読み出した音声データに基づき、原音声データに対して所定の伸張率となるように、話速変換された音声データを生成する音声処理装置であって、前記伸張率を１.２〜１.３５の範囲内で設定するとともに、前記メモリ部での書き込み、読み出し動作により生じる原音声データに対する最大遅れ時間を１．５〜３秒の範囲内で設定する設定手段と、前記メモリ部から読み出した音声データの前記原音声データに対する遅れ時間を検出する検出手段と、前記検出された遅れ時間が前記設定された最大遅れ時間に対してどの程度の割合にあるかを比較する比較手段と、前記遅れ時間が最大遅れ時間に対してどの程度の割合にあるかに応じて伸張率を前記設定された伸張率に基づき再設定する再設定手段と、前記再設定された伸張率となるように、前記メモリ部に記憶されている音声データを読み出して話速変換された音声データを生成する音声生成手段とを備えたことを要旨とする。
【発明の効果】
【００１４】
請求項１記載の本発明の音声処理装置によれば、伸張率を１.２〜１.４の範囲内で設定するとともに、前記メモリ部での書き込み、読み出し動作により生じる原音声データに対する最大遅れ時間を３〜４．５秒の範囲内で設定しておき、メモリ部から読み出した音声データの原音声データに対する遅れ時間を検出し、検出された遅れ時間が設定された最大遅れ時間に対してどの程度の割合にあるかを比較し、遅れ時間が最大遅れ時間に対してどの程度の割合にあるかに応じて伸張率を再設定し、再設定された伸張率となるように、メモリ部に記憶されている音声データを読み出して話速変換された音声データを生成するので、視聴者に聞き取り易いように音声にゆっくり感を与えつつ、話速変換された音声の遅れにより生じる違和感を最小限に低減することができる。
【００１５】
請求項２記載の本発明の音声処理装置によれば、伸張率を１.２〜１.３５の範囲内で設定するとともに、前記メモリ部での書き込み、読み出し動作により生じる原音声データに対する最大遅れ時間を１．５〜３秒の範囲内で設定しておき、メモリ部から読み出した音声データの原音声データに対する遅れ時間を検出し、検出された遅れ時間が設定された最大遅れ時間に対してどの程度の割合にあるかを比較し、遅れ時間が最大遅れ時間に対してどの程度の割合にあるかに応じて伸張率を再設定し、再設定された伸張率となるように、メモリ部に記憶されている音声データを読み出して話速変換された音声データを生成するので、視聴者に聞き取り易いように音声にゆっくり感を与えつつ、話速変換された音声の遅れにより生じる映像との間の違和感がない最適なゆっくり音声を生成することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面を参照して説明する。
【００１７】
図１は、本発明の一実施の形態に係る音声処理装置に適用可能な映像・音声処理装置１１の構成を示すブロック図である。なお、図１に示す映像・音声処理装置１１はデジタルテレビジョン装置の構成の一部を示している。
【００１８】
チューナ／復調回路１５は、アンテナ入力端子１３に入力されたデジタル放送信号から所望のチャンネルをチューナで選局して、選局された放送信号の変調方式に合わせて放送データであるトランスポートストリーム（ＴＳ）情報を復調する。
【００１９】
Ａ／Ｖデコーダ部１７は、トランスポートストリーム（ＴＳ）情報に従って、パケットＩＤ選択や同期再生を行い、映像と音声とが重畳されたＴＳ情報からそれぞれ映像データと音声データとを分離し、分離された圧縮状態の映像データと音声データを再生可能な映像データと音声データに伸張し、映像データはスイッチＳＷ１のポートａに出力し、音声データはスイッチＳＷ２のポートａに出力する。また、Ａ／Ｖデコーダ部１７には、外部入力端子１９から圧縮信号が入力されている場合、分離された映像データと音声データを再生可能な映像データと音声データに伸張される。
【００２０】
Ａ／Ｄ変換器２３は、外部入力端子２１のポートａから入力されるアナログ系の映像信号をデジタル系の映像データに変換してスイッチＳＷ１のポートｂに出力する。
【００２１】
Ａ／Ｄ変換器２５は、外部入力端子２１のポートｂから入力されるアナログ系の音声信号をデジタル系の音声データに変換してスイッチＳＷ２のポートｂに出力する。
【００２２】
スイッチＳＷ１，２は、それぞれ映像系，音声系のデータを入力し、制御部２７からの切換指令に応じて入力されるデータを切り換え、映像系データは図示しない画像表示回路へ出力し、音声系データは音声処理回路３１に出力する。
【００２３】
制御部２７は、記憶されているプログラムを実行するマイクロプロセッサを有しており、図示しないリモコンやユーザ入力端子２９や本体に設けられたキー等などを介してユーザ操作に応じた所望の機能内容を入力し、この所望の機能を実現するために各部に指令を出力して制御する。
【００２４】
音声処理回路３１は、デジタル信号処理により音声処理を行い、音声区間の切り出し処理や話速制御を行う信号処理部３３と、信号処理部３３から出力されるデジタル系の音声データをアナログ系の音声信号に変換するＤ／Ａ変換器３５とを備えている。
【００２５】
信号処理部３３は、話速変換／分析・合成部３７、無音削除部３９、メモリ部４１、制御・遅れ時間検出部４３から構成されている。
【００２６】
話速変換／分析・合成部３７は、入力される音声データが有音か無音かを判定する判定処理、音声ピッチの抽出などを行う分析部処理、メモリ部４１のメモリ残量や遅れ時間ｔを検出する検出処理、音声区間の基本周期の単位で波形を挿入することで伸張を行う合成処理などを実行する。
【００２７】
無音削除部３９は、入力される音声データから無音と判定された区間を削除してメモリ部４１に記憶する。
【００２８】
メモリ部４１は、無音削除部３９から出力される残された音声データを記録・保持する。
【００２９】
制御・遅れ時間検出部４３は、話速変換処理を制御するための伸張率α，遅れ時間ｔなどのパラメータを設定するとともに、メモリ部４１のメモリ残量や、出力信号の実時間からの遅れ（蓄積量）を検出し、その検出結果を制御部２７にフィードバックする。
【００３０】
次に、図２を参照して、話速変換処理で取り扱うパラメータについて説明する。
【００３１】
まず、図２に示すように、音声処理回路３１に入力される原音データ「おはようございます」の有効時間をＴ１、話速変換処理後の再生音声の有効時間をＴ２とすると、音声(原音)に対し、時間軸上でどの程度伸びたか（長くなったか）を示す割合である伸張率αは、
α＝Ｔ２／Ｔ１
と表すことができる。例えば、１秒の原音に対し、再生音声が１.２秒を要するとき、伸張率αは１.２となる。
【００３２】
ここで、再生音声の有効時間Ｔ２から原音データの有効時間Ｔ１を引くと、音声(原音)に対する再生音の遅れ時間ｔが求まる。
【００３３】
ｔ＝Ｔ２−Ｔ１
また、音声処理回路３１に入力される原音データ「こちらは○○○○放送です」を伸張するように話速変換処理後を施す場合、図３に示すように、遅れ時間ｔはメモリ部４１に記憶されるデータ量に比例して大きくなる。
【００３４】
すなわち、入力される音声データがメモリ部４１に順次に記憶され、記憶されている最も古い音声データから順に読み出すと同時に、既に読み出した音声データを消去するので、メモリ部４１で物理的に許容可能な最大遅れ時間はメモリ容量よりも小さく制限する必要がある。
【００３５】
そこで、メモリ部４１では、図３に示すように、最大どこまでの遅れ時間を許容するか(できるか)を最大遅れ時間ｔ(max)で表し、話速変換処理による遅れ時間の基準値，目標値、または実際の動作における遅れ時間の平均値を実効遅れ時間ｔ(ave)で表し、上述したように再生音の遅れ時間をｔと表すこととする。
【００３６】
なお、メモリ部４１は、リングバッファを形成しており、制御・遅れ時間検出部４３からの検出指令情報に応じて現在使用されているリングバッファ上の始点アドレスと終点アドレスを返すように構成されており、終点アドレスから始点アドレスを引いた数値が遅れ時間ｔに比例している。
【００３７】
次に、図５〜図７を参照して、図４に示すフローチャートに従って映像・音声処理装置１１の動作を説明する。なお、本フローチャートはプログラムとして制御部２７に記憶されている。
【００３８】
まず、ステップＳ１０では、制御部２７は図示しないリモコンや操作パネルから入力される操作指令として、「ゆっくり」キーがＯＮされたか否かを判断し、「ゆっくり」キーがＯＮされるまでこの判断処理を繰り返す。
【００３９】
「ゆっくり」キーがＯＮされた場合、ステップＳ２０に進み、Ａ／Ｖデコーダ部１７から出力される情報に映像を伴う音声を処理していることを表す動作状態情報があるか否かを判断し、映像を伴う音声を処理している場合にはステップＳ３０に進む一方、映像がなく音声のみを処理している場合にはステップＳ４０に進む。
【００４０】
これに応じて、ステップＳ３０では、制御部２７は、伸張率αを１．２〜１．３５の範囲に設定した指令情報と、最大遅れ時間ｔ(max)を１〜３秒の範囲に設定した指令情報とを制御・遅れ時間検出部４３に出力する。
【００４１】
一方、ステップＳ４０では、制御部２７は、伸張率αと最大遅れ時間ｔ(max)とを予め決められた通常値に設定した指令情報を制御・遅れ時間検出部４３に出力する。制御部２７から指令情報を入力した制御・遅れ時間検出部４３では、入力された指令情報である伸張率αと最大遅れ時間ｔ(max)を内部に設けられたレジスタに設定しておく。例えば、制御部２７は、伸張率αを１.２〜１.４の範囲に設定するとともに、最大遅れ時間ｔ(max)を３〜４．５秒に設定しておくことが好ましい。
【００４２】
次いで、ステップＳ５０では、制御部２７は遅れ時間検出指令情報を制御・遅れ時間検出部４３に出力し、制御・遅れ時間検出部４３で検出された遅れ時間ｔを入力する。すなわち、制御・遅れ時間検出部４３が、メモリ部４１に対して検出指令情報を出力すると、メモリ部４１はこの検出指令情報に応じて現在使用されているメモリ上の始点アドレスと終点アドレスを返すので、制御・遅れ時間検出部４３は、終点アドレスから始点アドレスを引いた数値に音声再生時のサンプリング時間に関する所定の係数を乗算して遅れ時間ｔを算出する。制御・遅れ時間検出部４３は、この算出結果の遅れ時間ｔを制御部２７に出力する。
【００４３】
次いで、ステップＳ６０では、制御部２７は、制御・遅れ時間検出部４３で検出された遅れ時間ｔと、ステップＳ３０又はＳ４０で設定された最大遅れ時間ｔ(max)に所定の係数を乗算して得られた乗算結果値とを比較し、この比較結果に応じてステップＳ７０〜Ｓ９０に進む。
【００４４】
ステップＳ７０〜Ｓ９０では、検出された遅れ時間が設定された最大遅れ時間ｔ(max)に対してどの程度の割合にあるかを比較する。
【００４５】
ここで、ｔ＜ｔ(max)×０．６が成立する場合には、ステップＳ７０に進み、制御部２７は、
伸張率α＝通常値
となる制御情報を制御・遅れ時間検出部４３に対して再設定する。
【００４６】
なお、通常値とは、初期設定を一定値とした伸張率、もしくは初期設定を基準として定められた規則に従い変動する伸張率をいい、遅れ時間ｔを考慮しない場合の伸張率のことをいう。ここで、定められた規則に従い変動するとは、メモリ残量や遅れ時間ｔなど、例外処理を全く考慮する必要がなく、最も望ましい伸張率で変化することを規定したものである。
【００４７】
また、ｔ(max)×０．６≦ｔ≦ｔ(max)×０．８が成立する場合には、ステップＳ８０に進み、制御部２７は、
伸張率α＝１＋（通常値−１）×０．５
となる伸張率αを算出し、この値を制御情報として制御・遅れ時間検出部４３に対して再設定する。
【００４８】
また、ｔ(max)×０．８＜ｔが成立する場合には、ステップＳ９０に進み、制御部２７は、
伸張率α＝１＋（通常値−１）×０．３
となる伸張率αを算出し、この値を制御情報として制御・遅れ時間検出部４３に対して再設定する。
【００４９】
次いで、ステップＳ１００では、制御部２７は、動作開始指令情報を制御・遅れ時間検出部４３に出力することで、話速変換／分析・合成部３７に対して処理を開始させる。すなわち、制御・遅れ時間検出部４３は、話速変換／分析・合成部３７に対して、設定された伸張率α、最大遅れ時間ｔ(max)により話速変換処理や分析処理や音声合成処理を行うように動作開始指令情報を出力する。
【００５０】
制御・遅れ時間検出部４３から動作開始指令情報を受け取った話速変換／分析・合成部３７では、入力される音声データが有音か無音かを判定する判定処理、音声ピッチの抽出などを行う分析部処理、メモリ部４１のメモリ残量や遅れ時間ｔを検出する検出処理、音声区間の伸張をなどを行う合成処理などが実行される。
【００５１】
ここで、図５を参照して、音声処理回路３１における動作を詳細に説明する。
【００５２】
まず、アンテナ入力端子１３に入力されたデジタル放送信号は、チューナ／復調回路１５で所望のチャンネルが選局され、選局された放送信号の変調方式に合わせて映像と音声とが重畳されたトランスポートストリーム（ＴＳ）情報に復調され、さらに、ＴＳ情報からそれぞれ映像データと音声データとを分離され、分離された圧縮状態の映像データと音声データが映像データと音声データに伸張され、音声データはスイッチＳＷ２のポートａからポートｃを介して音声処理回路３１に入力される。
【００５３】
次いで、入力された音声データが音声処理回路３１に設けられた話速変換／分析・合成部３７を介して無音削除部３９に入力され、この音声データから無音と判定された区間が削除されてメモリ部４１に記憶される。
【００５４】
ここで、話速変換／分析・合成部３７では、メモリ部４１に記憶されている音声データが読み出され、設定された伸張率αに応じて音声区間に対して、音声データのピッチ周期を逐次抽出し、この基本周期の単位で波形を挿入することで伸張を行う合成処理が実行され、伸張された音声データがＤ／Ａ変換器３５に出力され、音声データがアナログ系の音声信号に変換され、図示しない音声出力回路に出力されてスピーカから音声が視聴者に伝達される。
【００５５】
音声処理回路３１に入力される音声データの波形は、図５（ａ）に示すように、基本周期Ｔを有するＴ１〜Ｔ１０の原波形である。音声処理回路３１では、音声データのピッチ周期(声帯振動の基本周期)を逐次抽出し、この基本周期の単位で波形を挿入することにより、時間軸上で伸張処理を施しており、この結果、音声処理回路３１から出力される話速変換されたゆっくり音声波形は、図５（ｂ）に示すようなる。図５（ｂ）には、伸張率２０％で伸張処理が施され、入力される原波形が基本周期で１０周期あるのに対し、ゆっくり音声波形は２周期分が挿入された１２周期となり、このときの遅れ時間ｔは２周期となる。
【００５６】
次いで、ステップＳ１１０では、制御部２７は図示しないリモコンや操作パネルから入力される操作指令として、「停止」キーがＯＮされたか否かを判断し、「停止」キーがＯＮされてない場合にはステップＳ５０に戻り、ステップＳ５０〜Ｓ１１０の処理を繰り返す。一方、「停止」キーがＯＮされた場合、処理を終了する。
【００５７】
このように、映像を伴う音声の場合に、最大遅れ時間ｔ（max）を１〜３秒に設定した後、ステップＳ５０〜Ｓ１１０の処理を繰り返すことで、任意の現時点での遅れ時間（遅れ時間ｔ）を、最大遅れ時間ｔ(max)の６０％以内に納めるように、遅れ時間ｔと最大遅れ時間ｔ（max）との比較結果に応じて伸縮率αをステップＳ７０〜Ｓ９０のいずれかににおいて設定し、音声伸張処理が行われる。すなわち、遅れ時間ｔが０.６秒〜１．８秒の範囲（１秒×０.６＝０.６秒、３秒×０.６＝１.８秒）に収まるように制御することができる。
【００５８】
また、無音区間の削除によって、遅れ時間ｔの値が小さくなったり、逆に無音区間が削除できず、遅れ時間ｔの値が大きくなることがあるので、これを平均化すると、実効的に０.５〜１.５秒に遅れ時間ｔが収まるようになり、この遅れ時間ｔの平均値を実効遅れ時間ｔ(ave)で表すことができる。
【００５９】
なお、本実施の形態においては、ステップＳ２０において映像の有無を判断しているが、映像有りを前提条件としてよいテレビジョン装置等においては、このステップ２０を省略してもよい。
【００６０】
また、本実施の形態においては、ステップＳ５０〜Ｓ１００の制御内容を制御部２７が制御するように記載しているが、この制御内容を制御部２７に代わって制御・遅れ時間検出部４３が実行してもよい。
【００６１】
次に、図６，７を参照して、音声信号の聞き取りに与える影響に関する実験例について説明する。
【００６２】
上述した伸張率α、遅れ時間ｔ、最大遅れ時間ｔ(max)、実効遅れ時間ｔ(ave)などの要因が映像を伴う音声の聞き取りに与える影響を、実験による調査を行った。その結果、以下のことが判明した。
【００６３】
（１）伸張率αは、大きいほどゆっくり感が得られるが、遅れ時間ｔが大きくなりやすい。遅れ時間ｔが大きくなることにより、視聴に違和感を感じ長時間の聞き取りには疲れを感じる。
【００６４】
（２）遅れ時間ｔは、ｔ＜２秒が好ましい。遅れ時間ｔが２秒を過ぎると、発話者が交代していたり、場面が切り換わるなど、視聴に著しい違和感を与える。また、ｔ＞０.３秒が好ましい。遅れ時間ｔが短過ぎるとマガーク効果により、音声の聞き取りに障害が生じたり、違和感，疲労感を与える。
【００６５】
なお、音声の認識は音だけではなく視覚にも頼って(統合して)認識しているという現象として知られている。イギリスの心理学者マガークによって発見されたため「マガーク効果」と呼ばれている。例えば、映像と音声を時間差を持って視聴した場合、耳で聞いた音声と目でみた唇の動きが合わないとき、人は目で見た唇の動きから音声を判断（誤認識）してしまう。また、時間差が少ない時には(脳が)両者を統合し認識しようとするが、「ある時間差」では両者を統合しきれず違和感を感じる。さらに時間差を広げると脳は統合しようとする働きを止めて映像と音声を個別に認識するというものである。
【００６６】
（３）最大遅れ時間ｔ(max)は、この値が大きいほど、ゆっくり感が得られ易いが、遅れ時間が大きくなる。聞き取りのゆっくり感と、視聴の違和感(聞き疲れ感)とは共存し難い排他的な関係にある。
【００６７】
例えば、図６に示すように、伸張率αが１．２〜１．３で最大遅れ時間ｔ(max)が１．５〜２．５秒の範囲の領域（ａ）では、映像との違和感がなく最適な話速変換されたゆっくり音声を生成できる。一方、伸張率αが１．２〜１．３５で最大遅れ時間ｔ(max)が２〜３秒の範囲の領域から領域（ａ）を除いた領域（ｂ）では、映像との違和感がなく適度なゆっくり音声を生成できる。
【００６８】
また、伸張率αが１．２〜１．４で最大遅れ時間ｔ(max)が３〜４．５秒の範囲の領域（ｃ）では、映像との違和感が生じるゆっくり音声が生成されるため、映像が無い音響機器から入力される音声信号の処理に適しており、上述したステップＳ４０における伸張率αと最大遅れ時間ｔ(max)の設定値として採用することができる。
【００６９】
（４）実効遅れ時間ｔ(ave)は、ｔ(ave)／ｔ(max) の比が大きいほど、ゆっくり感が得られ易いが、遅れ時間ｔが蓄積し易い。
【００７０】
例えば、図７に示すように、伸張率αが１．２〜１．３で実効遅れ時間ｔ(ave)が０．５〜１秒の範囲の領域（ａ）では、映像との違和感がなく最適なゆっくり音声を生成できる。一方、伸張率αが１．２〜１．３５で実効遅れ時間ｔ(ave)が１〜１．５秒の範囲の領域（ｂ）では、映像との違和感がなく適度なゆっくり音声を生成できる。また、伸張率αが１．２〜１．４で実効遅れ時間ｔ(ave)が１．５〜４．５秒の範囲の領域（ｃ）では、映像との違和感が生じるゆっくり音声が生成されるため、映像が無い音響機器から入力される音声信号の処理に適している。
【００７１】
以上、各々の要因が与える特徴的なものを記述しており、実際にはこれらの要因が複合して効果が現われる。これらの要因を考慮して映像・音声処理装置１１を制御することにより、違和感のないゆっくり音声を実現することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施の形態に係る映像・音声処理装置１１の構成を示すブロック図である。
【図２】話速変換処理で取り扱うパラメータについて説明するための図である。
【図３】遅れ時間ｔとメモリ部４１に記憶されるデータ量の比例関係を示す模式図である。
【図４】映像・音声処理装置１１の動作を説明するためのフローチャートである。
【図５】音声処理部３３における動作を説明するための模式図である。
【図６】視聴に適するゆっくり音声処理のパラメータについて説明するための図（その１）である。
【図７】視聴に適するゆっくり音声処理のパラメータについて説明するための図（その２）である。
【図８】従来の話速変換処理での問題点について説明するための図である。
【符号の説明】
【００７３】
１１  映像・音声処理装置
１３  アンテナ入力端子
１５  チューナ／復調回路
１７  Ａ／Ｖデコーダ部
２３，２５  Ａ／Ｄ変換器
２７  制御部
３１  音声処理回路
３３  信号処理部
３５  Ｄ／Ａ変換器
３７  話速変換／分析・合成部
３９  無音削除部
４１  メモリ部
４３  制御・遅れ時間検出部
【図１】
2007072045.tif 000003
【図２】
2007072045.tif 000004
【図３】
2007072045.tif 000005
【図４】
2007072045.tif 000006
【図５】
2007072045.tif 000007
【図６】
2007072045.tif 000008
【図７】
2007072045.tif 000009
【図８】
2007072045.tif 000010