(57)【要約】【課題】  映像を伴った音声を伸張して話速変換するときに、出力映像と出力音声とのズレを、簡単な構成ながら視聴者に違和感なく自然に受け入れられるようにする話速変換装置を提供する。【解決手段】  音声分析部２５を用いて、転送制御部２４によって転送が制御されて供給されたデジタル音声データが有音であるか否かを分析する。データ処理部２７を用いて音声分析部２５による分析によって分析バッファ部２５ａから出力された有音データに対して所望の伸張率にて伸張処理を施し、かつ上記映像と音声とのズレに基づいて無音データに対して削除処理を施し、さらに有音データの伸張処理によって生じる音声と映像とのズレを調整するズレ調整処理を施す。音声データ分析処理制御部２６を用いて音声分析部２５による上記デジタル音声データに対する分析処理を制御し、かつ上記データ処理部２７による上記伸張処理、上記削除処理及び上記ズレ調整処理を制御する。【選択図】  図１
2007047312.tif 000002
【特許請求の範囲】
【請求項１】
映像を伴った音声を伸張して話速変換する話速変換装置において、
アナログ音声信号が入力される音声入力部と、
上記音声入力部によって入力された上記アナログ音声信号をデジタル音声データに変換するＡ／Ｄ変換部と、
上記Ａ／Ｄ変換部からのデジタル音声データを蓄える入力バッファ部と、
上記入力バッファ部が蓄えたデジタル音声データの後段への転送を制御する転送制御部と、
上記転送制御部によって転送が制御されて供給された上記デジタル音声データを分析に必要となる量だけ分析バッファ部に蓄えて、有音であるか否かを分析して有音データ又は無音データを弁別し、上記分析バッファ部から出力する音声分析部と、
上記音声分析部による分析によって上記分析バッファ部から出力された上記有音データに対して所望の伸張率にて伸張処理を施し、かつ上記映像と音声とのズレに基づいて上記無音データに対して削除処理を施し、さらに上記有音データの伸張処理によって生じる音声と映像とのズレを調整するズレ調整処理を施すデータ処理部と、
上記音声分析部による上記デジタル音声データに対する分析処理を制御し、かつ上記データ処理部による上記伸張処理、上記削除処理及び上記ズレ調整処理を制御する音声データ分析処理制御部と、
上記データ処理部によって伸張処理が施された有音データを蓄積する出力バッファ部と、
上記出力バッファ部から読み出された音声データをアナログ音声信号に変換するＤ／Ａ変換部と、
上記Ｄ／Ａ変換部からのアナログ音声信号を出力する音声出力部と
を備えてなることを特徴とする話速変換装置。
【請求項２】
上記音声データ分析処理制御部は、映像と音声との間にズレが存在すれば上記データ処理部を制御して可能な限り無音データを削除し、映像と音声とのズレが存在しないのであれば、無音データを削除せずに、上記データ処理部を経て順次上記出力バッファ部へ送ることを特徴とする請求項１記載の話速変換装置。
【請求項３】
上記音声分析部は、さらに上記音声分析バッファ部に蓄えられた上記デジタル音声データがボイスデータ、無音データ又は非ボイスデータであるかを弁別し、弁別したボイスデータ、無音データ又は非ボイスデータを上記分析バッファ部から出力することを特徴とする請求項１記載の話速変換装置。
【請求項４】
上記データ処理部は、上記音声分析部による分析によって上記分析バッファ部から出力された上記ボイスデータに対して所望の伸張率にて伸張処理を施し、また上記非ボイスデータに対しては何もせず、かつ上記映像と音声とのズレに基づいて上記無音データに対して削除処理を施し、さらに上記ボイスデータの伸張処理によって生じる音声と映像とのズレを調整するため、上記伸張処理が施されたボイスデータを映像より先行するように処理することを特徴とする請求項３記載の話速変換装置。
【請求項５】
上記データ処理部は、上記音声分析部による分析によって上記分析バッファ部から出力された上記有音データに対して所望の伸張率にて伸張処理を施す伸張処理部と、上記映像と音声とのズレに基づいて上記無音データに対して削除処理を施す削除処理部と、上記有音データの伸張処理によって生じる音声と映像とのズレを調整するため、上記伸張処理が施された有音データを映像より先行するように処理する書き込み制御部とを備えることを特徴とする請求項１又は３記載の話速変換装置。
【請求項６】
上記書き込み制御部は、上記伸張処理が施された有音データの上記出力バッファ部への書き込み位置を制御することを特徴とする請求項５記載の話速変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像と当該映像に関連した音声を再生するとき、時間軸上で音声のみを伸張することにより話速を変換して再生する話速変換装置に関する。
【背景技術】
【０００２】
音声のピッチを変更せずに、その音韻性や個人性を保ったまま、時間軸で音声を伸張する技術（話速変換技術）はすでに開発されている。伸張処理された音声は再生速度が遅くなる為、高齢者の聴覚補助や語学学習に有効な技術である。しかし、伸張処理された音声は入力音声に対して時間遅延が必ず生じる。これが逐次蓄積されると時間的に大きなズレが生じる。映像を伴った音声の場合、映像と音声のズレ（リップシンク）は大きな問題となってくる。これを解決するため、従来の技術では以下の二つの方法がある。
【０００３】
第１の方法は無音区間を削除する方法である。この第１の方法は、映像と音声のズレを減らすには有効であるが、伸張された有音区間に対して、十分な無音区間が存在する必要がある。つまり、十分な無音区間が存在しないと適用できない方法である。
【０００４】
第２の方法は、下記特許文献１によって開示されているような、無音区間に挟まれた有音区間での音声伸張率を一定値ではなく、可変させる方法である。音響分析部で分離された音声区間の音声信号に対し、その冒頭部分を所定の再生速度よりも遅くし、かつ末尾に向けて次第に所定の速度に戻すように話速変換部により話速を変換する。つまり、例えば文頭の部分はゆっくり再生し、徐々に再生速度を元の速度に戻すという方法である。
【０００５】
【特許文献１】特開２００１−２２２３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記特許文献１に記載された第２の方法は文頭のみゆっくり再生されて、その他の多くの部分では元の再生速度と変わらない速度で再生されることとなり、話速変換の効果そのものが減少してしまう。さらにズレに応じた伸張率を逐次算出する必要があり、処理が複雑になる。また、従来技術では十分な長さの無音区間後の文頭部分では不要な無音区間を削除することでズレは解消されるが、有音区間終了点（語尾）においては蓄積されたズレが大きくなり、視聴者に不自然さを強いることとなる。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、映像を伴った音声を伸張して話速変換するときに、出力映像と出力音声とのズレを、簡単な構成ながら視聴者に違和感なく自然に受け入れられるようにする話速変換装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る話速変換装置は、上記課題を解決するために、音声分析部を用いて、転送制御部によって転送が制御されて供給された上記デジタル音声データを分析に必要となる量だけ分析バッファ部に蓄えて、有音であるか否かを分析して有音データ又は無音データを弁別し、上記分析バッファ部から出力する。データ処理部を用いて上記音声分析部による分析によって上記分析バッファ部から出力された上記有音データに対して所望の伸張率にて伸張処理を施し、かつ上記映像と音声とのズレに基づいて上記無音データに対して削除処理を施し、さらに上記有音データの伸張処理によって生じる音声と映像とのズレを調整するズレ調整処理を施す。さらに、音声データ分析処理制御部を用いて上記音声分析部による上記デジタル音声データに対する分析処理を制御し、かつ上記データ処理部による上記伸張処理、上記削除処理及び上記ズレ調整処理を制御する。
【０００９】
以上の構成により、データ処理部は、話速変換された音声を当該音声に対応する映像より速いタイミングで再生開始することで話速変換された音声と映像との時間ズレを減少させる。つまり、変換された音声を入力映像よりも早く再生させる。結果的に上記ズレがあまり違和感のないものにする。
【発明の効果】
【００１０】
本発明によれば、映像を伴った音声を伸張して話速変換するときに、出力映像と出力音声とのズレを、簡単な構成ながら視聴者に違和感なく自然に受け入れられるようにできる。あたかも、出力映像と出力音声とのズレを削減したかのような効果をもたらす。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
【００１２】
この実施の形態は、映像を伴った音声を伸張して話速を変換する話速変換装置であり、伸張処理された音声は再生速度が遅くなるため、高齢者の聴覚補助や語学学習に適する。
【００１３】
図１に示すように、この話速変換装置１は、映像データ処理部１０と、音声データ処理部２０とを備える。音声データ処理部２０にあって音声の話速を例えば１００〜１３０％程までの間で伸張変換するが、特にこの話速変換装置１は映像データ処理部１０によって映像出力される映像と、音声データ処理部２０によって音声出力される伸張処理された音声との、ズレ（リップシンク）を調整することを目的としている。
【００１４】
まず、映像データ処理部１０は、映像入力部１１と、Ａ／Ｄ変換部１２と、遅延バッファ部１３と、読み込み制御部１４と、Ｄ／Ａ変換部１５と、映像出力部１６とを有する。
【００１５】
映像入力部１１はアナログ映像信号を入力する。Ａ／Ｄ変換部１２は映像入力部１１から入力されたアナログ映像信号をデジタル映像データに変換する。
【００１６】
遅延バッファ部１３はＡ／Ｄ変換部１２からのデジタル映像データを音声データ処理部２０における処理時間に相当する時間だけ遅延する。この場合の遅延時間は、映像が暗号化されていた場合の復号、エンコード、デコードを含めた時間調整分であり、可変時間となる。また、与えられる遅延時間は音声の分析処理に要する時間相当以上の固定時間とすることも可能である。
【００１７】
読み込み制御部１４は遅延バッファ部１３により適応的に可変時間の遅延が与えられた映像データを逐次読み出す。Ｄ／Ａ変換部１５は読み込み制御部１４により読み出された映像データをアナログ映像信号に変換する。映像出力部１６はＤ／Ａ変換部１５からのアナログ映像信号を出力する。
【００１８】
音声データ処理部２０は、音声入力部２１と、Ａ／Ｄ変換部２２と、入力バッファ部２３と、転送制御部２４と、音声分析部２５と、音声データ分析＆処理制御部２６と、データ処理部２７と、出力バッファ部３１と、Ｄ／Ａ変換部３２と、音声出力部３３とを備える。
【００１９】
音声入力部２１はアナログ音声信号を入力する。Ａ／Ｄ変換部２２は音声入力部２１によって入力されたアナログ音声信号をデジタル音声データに変換する。入力バッファ部２３はＡ／Ｄ変換部２２からのデジタル音声データを蓄える。転送制御部２４は入力バッファ部２３が蓄えたデジタル音声データの後段への転送を制御する。
【００２０】
音声分析部２５は転送制御部２４によって転送が制御されて供給された上記デジタル音声データを分析に必要となる量だけ分析バッファ部２５ａに蓄えて、有音であるか否かを分析して有音データ又は無音データを弁別し、分析バッファ部２５ａから出力する。
【００２１】
データ処理部２７は音声分析部２５による分析によって分析バッファ部２５ａから出力された上記有音データに対して所望の伸張率にて伸張処理を施し、かつ上記映像と音声とのズレに基づいて上記無音データに対して削除処理を施し、さらに上記有音データの伸張処理によって生じる音声と映像とのズレを調整するズレ調整処理を施す。このためデータ処理部２７は、伸張処理部２８と、削除処理部２９と、書き込み制御部３０とを備える。
【００２２】
伸張処理部２８は音声分析部２５による分析によって分析バッファ部２５ａから出力された上記有音データに対して、１００〜１３０％の範囲で所望の伸張率にて伸張処理を施す。削除処理部２９は上記映像と音声とのズレに基づいて上記無音データに対して削除処理を施す。
【００２３】
書き込み制御部３０は上記有音データの伸張処理によって生じる音声と映像とのズレを調整するため、上記伸張処理が施された有音データを映像より先行するように処理する。具体的には、出力バッファ部３１の書き込み位置を適切に制御する。伸張処理された有音データは、出力バッファ部３１に送られる。
【００２４】
音声データ分析処理制御部２６は音声分析部２５による上記デジタル音声データに対する分析処理を制御し、かつ上記データ処理部２７による上記伸張処理、上記削除処理及び上記ズレ調整処理を制御する。
【００２５】
特に、音声データ分析処理制御部２６は、映像と音声との間にズレが存在すれば上記データ処理部２７を制御して可能な限り無音データを削除し、映像と音声とのズレが存在しないのであれば、無音データを削除せずに、上記データ処理部２７を経て順次上記出力バッファ部へ送る。
【００２６】
出力バッファ部３１はデータ処理部２７によって伸張処理が施された有音データを蓄積する。Ｄ／Ａ変換部３２は出力バッファ部３１から読み出された音声データをアナログ音声信号に変換する。音声出力部３３はＤ／Ａ変換部からのアナログ音声信号を出力する。
【００２７】
また、話速変換装置１は、図１に示すように、映像データ処理部１０の遅延バッファ部１３と音声データ分析＆処理制御部２６とに接続するシステムコントローラ２を備えている。
【００２８】
以上に説明した構成を備えた、話速変換装置１の動作は以下のとおりである。音声データは音声入力部２１により入力され、Ａ／Ｄ変換部２２にてＡ／Ｄ変換された後、入力バッファ部２３に蓄えられる。
【００２９】
転送制御部２４は、データ処理部２７から出力バッファ部３１に送られた音声データのデータ量に応じて、次に分析を行う音声データを入力バッファ部２３から分析バッファ部２５ａへ転送するために順次読み込む。
【００３０】
音声分析部２５は、音声データ分析＆処理制御部２６の制御に基づいて分析バッファ部２５ａ内のデータを無音データ、有音データに分析する。図２は音声分析部２５による音声分析処理を説明するための図であり、一定のデータ数（フレーム）毎に波形パワーをプロットしたものである。横軸は時間［秒］、縦軸は波形パワー［ｄＢ］である。波形パワーが所定の閾値ｔ０より小さい場合は無音と判定し、閾値ｔ０以上である場合は有音と判定する。
【００３１】
データ処理部２７内の伸張処理部２８は、音声分析部２５から供給された有音データに上記１００〜１３０％の範囲で伸張処理を施す。伸張率は予めユーザにより設定されており、システムコントローラ２経由で音声データ分析＆処理制御部２６がその伸張率を判定し、伸張処理部２８の伸張処理を制御する。伸張処理部２８は、音声データ分析＆処理制御部２６によって判定された伸張率に基づいて上記有音データを伸張する。この伸張処理は、音声のピッチを変更せずに、その音韻性や個人性を保ったまま、時間軸で音声を伸張する処理である。
【００３２】
削除処理部２９は、音声分析部２５から供給された無音データに削除処理を施す。音声データ分析＆処理部２６がシステムコントローラ２を介して映像と音声とのズレを監視しており、ズレが存在すれば可能な限り無音データを削除する。しかし、映像と音声とのズレが存在しない場合は無音データは削除されず、書き込み制御部３０を経て、順次出力バッファ部３１へ送られる。
【００３３】
伸張処理部２８が音声データ分析＆処理制御部２６の制御に基づいて上述したように音声データに上記伸張率に応じて伸張処理を施すと、この伸張処理によって音声と映像との間にズレが生じる。
【００３４】
書き込み制御部３０は、上記伸張処理によって生ずる音声と映像とのズレを減少させる為、音声を映像より先行されるように、出力バッファ部３１の書き込み位置を適切に制御する。これにより、伸張処理された有音データが出力バッファ部３１に送られる。
【００３５】
転送制御部２４は、上述したように、出力バッファ部３１に送られたデータ量に応じて、次に分析を行うデータを入力バッファ部２３から分析バッファ部２５ａへと順次読み込む。
【００３６】
出力バッファ部３１内のデータは順次一定速度読み出され、Ｄ／Ａ変換部３２でアナログ信号に変換された後、音声出力部３３へ送られる。
【００３７】
以下に、音声データ分析＆処理制御部２６の制御に基づいてデータ処理部２７が行う、削除処理、伸張処理、及び書き込み制御処理の詳細について説明する。
【００３８】
まず、音声データ分析＆処理制御部２６の制御に基づいて音声分析部２５は分析バッファ部２５ａ内に蓄えられた音声データを分析しており、有音データ、無音データが上記図２の波形パワーの判定により検出されているとする。
【００３９】
この検出結果により、データ処理部２７は、無音処理（無音区間）、語頭処理（無音区間が先行する有音区間）、語尾処理（有音区間が先行する無音区間）の各状況に応じた以下の処理を行う。
【００４０】
無音処理について説明する。音声データ分析＆処理制御部２６が音声と映像とのズレDeffLenが０よりも大きいと判断すると、削除処理部２９はこの無音部を削除してズレの解消をはかる。
【００４１】
無音部の長さをNLenとする。DeffLen＜＝NLenの場合、削除処理部２９は無音部をDeffLenの長さ分削除し、書き込み制御部３０はその残りNLen−DeffLenを出力バッファ部３１へ書き込む。映像とのズレはこの時点で全て解消されるのでDeffLen＝０とする。
【００４２】
DeffLen＞NLenの場合は、削除処理部２９は無音部を全て削除する。映像とのズレはNLen分のみ解消される（DeffLen＝DeffLen−Nlen）。無音部は全て削除されるため、書き込み制御部３０は出力バッファ部３１へは何も書き込まない。
【００４３】
次に、無音部に続いて有音部が存在する語頭処理について説明する。
【００４４】
伸張処理部２８は伸張率Rate（＝＞1.0）に応じて有音部を伸張処理する。伸張処理後の長さLenは有音部長さVLenと伸張率Rateを乗算した値となる（Len= VLen＊Rate）。伸張処理されたことにより有音部全体ではDelay分の音声と映像のズレが新たに生じる（Delay＝Len−Vlen）。
【００４５】
有音部の先行書き込み時間Tは伸張処理されたことによる音声と映像のズレDelayの半分とする（T＝Delay/2）。Tの時間分だけ、映像に先行して音声が再生されるように書き込み制御部３０は音声データ分析＆処理制御部２６の制御に基づいて、音声データを出力バッファ部３１に書き込む。具体的に、先行書き込み時間Tを受け取った書き込み制御部３０は出力バッファ部３１の書き込みポインタをTに相当する分減算し、伸張処理された有音部を出力バッファ部３１へと書き込む。
【００４６】
伸張処理されたことにより有音部全体ではDelayのズレが生じるが、Tだけ先行して出力するので新たに加算されるズレはTのみとなる（DeffLen＝DeffLen＋Delay−T＝DeffLen+T）。
【００４７】
ただし、有音部に先行する無音部の長さがTより短い場合は、その無音部に先行する有音部に重ね書きされてしまう。そこで、最小の長さNLenMinだけ無音部を残したうえで、有音部の先行書き込みを行う。この場合の有音部の先行書き込み時間T‘は
T'＝前回の有音部終了ポイント＋NLenMin−出力バッファの書き込みポイント
とする。
【００４８】
この場合の音声と映像とのズレはDelay−T'が加算される（DeffLen＝DeffLen＋Delay−T'）。
【００４９】
次に、有音部に続いて無音部が存在する語尾処理について説明する。出力バッファ部３１上での有音部の終了ポインタを記録しておく。
【００５０】
図３は話速変換装置１によって調整された出力映像と伸張音声出力とのズレを示す図である。図４は比較例として従来の話速変換装置における映像と伸張音声出力とのズレを示す。本実施の形態の話速変換装置１によれば、入力映像に、ｚ１１、ｚ２１だけ先行して伸張音声出力を再生するため、語尾でも比較例のような大きなズレｗ１、ｗ２とはならず、小さなずれｚ１２、ｚ２２ですむ。
【００５１】
したがって、話速変換装置１は、映像を伴った音声を伸張して話速変換するときに、出力映像と出力音声とのズレを、簡単な構成ながら視聴者に違和感なく自然に受け入れられるようにできる。あたかも、出力映像と出力音声とのズレを削減したかのような効果をもたらす。
【００５２】
なお、本発明の話速変換装置は、図５に要部を示す話速変換装置５０を他の具体例とすることもできる。この話速変換装置５０は、映像に伴った音声として、話者の声であるボイスと、話者の声では無い音楽、背景音及び効果音などの非ボイスとを考慮している。ボイスについては伸張するが、非ボイスについては何もせずにそのまま出力する。もちろん、無音については前述したの同様に削除処理を施す。
【００５３】
話速変換部５０は、図５に示すように、音声分析部４０を上記音声分析部２５の代わりに有する。音声分析部４０は、音声データ分析処理制御部２６の制御に基づいて音声データを分析し、ボイスであるか、非ボイスであるか、さらには無音であるかを分析する。このため、音声分析部４０は、転送制御部２４から音声データが供給される分析バッファ部４０ａと、データベース４１と、スペクトル分析部４２とを備える。データベース４１には、予め多くのサンプルをスペクトル分析した分析結果データが格納されている。スペクトル分析部４２は、データベース４１の上記分析結果データを参照し、分析バッファ部４０ａ内の音声データのスペクトル構造を分析し、ボイスであるか非ボイスであるかを弁別する。無音データであるか有音データであるかの判定は上記図２を参照した判定方法による。
【００５４】
このように音声分析部４０は、分析バッファ部４０ａに蓄えられた上記デジタル音声データがボイスデータ、無音データ又は非ボイスデータであるかを弁別し、弁別したボイスデータ、無音データ又は非ボイスデータを上記分析バッファ部４０ａからデータ処理部４３に出力する。
【００５５】
データ処理部４３は、音声分析部４０による分析によって分析バッファ部４０ａから出力された上記ボイスデータに対して伸張処理部２８により所望の伸張率にて伸張処理を施し、また上記非ボイスデータに対しては何もせず、かつ上記映像と音声とのズレに基づいて上記無音データに対して削除処理部２８により削除処理を施し、さらに上記ボイスデータの伸張処理によって生じる音声と映像とのズレを調整するため、書き込み制御部３０により上記伸張処理が施されたボイスデータを映像より先行するように処理する。データ処理部２７の動作は、上記図３を用いて説明したとおりである。
【００５６】
このように、話速変換装置５０は、音声データがボイスであるか、無音であるか、あるいは音楽、効果音等の非ボイスであるかを弁別し、非ボイスであるときには、後段のデータ処理部４３では伸張処理はしない。つまり、音楽、効果音については何もせず、そのまま流す。そのまま非ボイスを出してやる。映像、ボイス、非ボイス、無音が収録されたソフトの具体例としては映画、ドラマ、もちろんオペラ、ミュージカル、演劇等さまざまである。
【００５７】
この場合、ボイスであるか非ボイスであるかは、入力音声データをスペクトル分析する。スペクトル構造の違いに着目して、こういうピークの並びならば、ボイス、非ボイスというのを、データベースを参照しながら分析する。
【００５８】
したがって、この話速変換装置５０によっても、映像を伴った音声を伸張して話速変換するときに、出力映像と出力音声とのズレを、簡単な構成ながら視聴者に違和感なく自然に受け入れられるようにできる。あたかも、出力映像と出力音声とのズレを削減したかのような効果をもたらす。
【００５９】
なお、上記入力映像は高速映像であり、入力音声も高速再生した音声信号であってもよい。話速変換装置は、高速再生音声信号を伸張処理することになる。
【図面の簡単な説明】
【００６０】
【図１】話速変換装置のブロック図である。
【図２】音声分析部による音声分析処理を説明するための図である。
【図３】本発明による話速変換音声と映像とのズレを示すタイミングチャートである。
【図４】比較例としてあげた従来技術による話速変換音声と映像とのズレを示すタイミングチャートである。
【図５】話速変換装置の他の実施の形態の要部のブロック図である。
【符号の説明】
【００６１】
１  話速変換装置、２  システムコントローラ、１０  映像データ処理部、１３  遅延バッファ部、２０  音声データ処理部、２５  音声分析部、２５ａ  分析バッファ部、２６  音声データ分析＆処理制御部、２７  データ処理部、２８  伸張処理部、２９  削除処理部、３０  書き込み制御部、３１  出力バッファ部、３２  Ｄ／Ａ変換部、３３  音声出力部
【図１】
2007047312.tif 000003
【図２】
2007047312.tif 000004
【図３】
2007047312.tif 000005
【図４】
2007047312.tif 000006
【図５】
2007047312.tif 000007