(57)【要約】【課題】テレビ放送の再生において、画面との時間ズレの少ない話速変換処理を行う。【解決手段】アナログ音声信号をデジタルに変換する音声Ａ／Ｄ変換器と、変換されたデジタル音声信号を話速変換する話速変換処理部と、音声信号を記憶する音声メモリー部と、前記話速変換処理部に話速変換率を設定する話速設定部と、話速変換処理された音声信号をアナログ音声信号に変換する音声Ｄ／Ａ変換器を設けると共に、アナログ画像信号をデジタルに変換する画像Ａ／Ｄ変換器と、変換されたデジタル画像信号を記憶する画像フレームメモリー部と、話速変換処理で決定された時間遅れに対応する画像信号を読み出す画像フレーム読み出し制御部と、前記画像フレーム読み出し制御部で読み出された画像信号をアナログ画像信号に変換する画像Ｄ／Ａ変換器を具備し、音声話速変換で遅れた時間分だけ画像信号も遅らせて再生し画像との時間ズレの少ない話速変換処理の実現を図る。【選択図】図１
2006041660.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声信号を話速変換処理し、話速変換処理で遅れた時間分だけ画像信号も遅らせて再生することを特徴とする話速変換装置。
【請求項２】
入力されたアナログ音声信号をデジタルに変換する音声Ａ／Ｄ変換器と、前記音声Ａ／Ｄ変換器で変換されたデジタル音声信号を話速変換する話速変換処理部と、前記話速変換処理部で処理されるデジタル音声信号を記憶する音声メモリー部と、前記話速変換処理部に所定の話速変換率を設定する話速設定部を設け、前記話速変換処理部で話速変換処理されたデジタル音声信号をアナログ音声信号に変換する音声Ｄ／Ａ変換器を設けて音声話速変換処理を行うと共に、アナログ画像信号をデジタルに変換する画像Ａ／Ｄ変換器と、前記画像Ａ／Ｄ変換器で変換されたデジタル画像信号をフレーム毎に記憶する画像フレームメモリー部と、前記話速設定部と前記話速変換処理部で決定された時間遅れに対応する画像信号を読み出す画像フレーム読み出し制御部と、前記画像フレーム読み出し制御部で制御され読み出されたデジタル画像信号をアナログ画像信号に変換する画像Ｄ／Ａ変換器とを具備し、音声話速変換処理で遅らせた時間分だけ画像信号も遅らせて再生する構成としたことを特徴とする話速変換装置。
【請求項３】
入力されたアナログ音声信号をデジタルに変換する音声Ａ／Ｄ変換器と、前記音声Ａ／Ｄ変換器で変換されたデジタル音声信号を話速変換する話速変換処理部と、前記話速変換処理部で処理されるデジタル音声信号を記憶する音声メモリー部と、前記話速変換処理部に所定の話速変換率を設定する話速設定部を設け、前記話速変換処理部で話速変換処理されたデジタル音声信号をアナログ音声信号に変換する音声Ｄ／Ａ変換器を設けて音声話速変換処理を行うと共に、アナログ画像信号をデジタルに変換する画像Ａ／Ｄ変換器と、前記画像Ａ／Ｄ変換器で変換されたデジタル画像信号をフレーム毎に記憶する画像フレームメモリー部と、前記話速設定部と前記話速変換処理部で決定された時間遅れに対応する画像信号を読み出す画像フレーム読み出し制御部と、前記画像フレーム読み出し制御部で制御され読み出されたデジタル画像信号に話速変換中であることを画面に表示するオンスクリーン表示部と、前記オンスクリーン表示部で処理されたデジタル画像信号をアナログ画像信号に変換する画像Ｄ／Ａ変換器とを具備し、音声話速変換処理で遅らせた時間分だけ画像信号も遅らせて再生し、再生画像が話速変換で加工されていることを表示する構成としたことを特徴とする話速変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話す速度を制御する話速変換に関するものである。
【背景技術】
【０００２】
昨今のテレビ放送は放送局の増加、また衛星デジタル放送の開局などで、さまざまなジャンルのプログラムを放送できるようになり、視聴者を楽しませている。しかしながらこれらのプログラムの中には、早口でしゃべるアナウンサーやタレントがおり、高齢者には聞き取れない場合がある。この課題を解決する技術として、デジタル技術の進歩により、音程を変えずに、速度のみをゆっくりとするデジタル方式の話速変換装置が提案されている（例えば、特許文献１参照）。
【０００３】
以下図５を参照しながら、デジタル方式の話速変換装置における従来技術の一例について説明する。図５において、符号２０は映像、音声信号の記録媒体としてのハードディスクドライブ、２１はハードディスクドライブ２０から読み出された映像、音声データをフレーム毎に記憶するフレームメモリー、２２は映像、音声信号を分離する信号分離部、２３は分離された音声ステレオ信号を加算する信号加算部、２４は話速変換するために、ピッチ周期を検出するピッチ周期算出部、２５は１フレーム分の加算音声信号が有音区間か無音区間かを判定する区間判定部、２６は区間判定部２５で無音区間と判定された区間のＬチャンネル音声と、Ｒチャンネル音声を共に削除する無音区間削除部、２７はピッチ周期単位で時間軸圧縮伸張処理する時間軸圧縮伸張部、２８は時間軸圧縮伸張された音声データを記憶する音声メモリー、２９は音声メモリー２８のデータ蓄積率を算出し、話速変換制御を行う蓄積率算出、話速制御部、３０は音声メモリー２８から順次読み出される音声ＬＲデータを分離するＬ／Ｒ分離部、３１はＬＲ分離された音声信号のうち、Ｌチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａ変換器、３２はＬＲ分離された音声信号のうち、Ｒチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａ変換器である。
【０００４】
以上のように構成された従来の話速変換装置について、その動作を説明する。デジタルテレビ放送などで送られた映像信号、音声信号は復調され、ハードディスクドライブ２０に記録される。記録された映像信号、音声信号はフレームメモリー２１にフレーム単位で読み出され、信号分配部２２で映像信号、音声信号に分離する。分離された音声ＬＲ信号は信号加算部２３で順次加算され、両チャンネルの１フレーム分の音声信号が加算された時点で加算信号を出力する。区間判定部２５は、加算出力された１フレーム分の信号の信号レベルを検出し、有音区間か、無音区間かを判定し、無音区間削除部２６を制御し、無音区間であれば、その１フレーム分のＬチャンネル音声と、Ｒチャンネル音声を共に削除する。次にピッチ周期算出部２４でピッチ周期を算出し、同一のピッチ周期を用いて時間軸圧縮伸張処理を行う。
【０００５】
時間軸圧縮伸張された音声データは音声メモリー２８に記録され、順次読み出され、音声ＬＲデータを分離するＬ／Ｒ分離部３０、Ｌチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａ変換器３１、Ｒチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａ変換器３２を通してアナログ２チャンネルで再生される。また音声メモリー２８のデータ蓄積率を算出し、話速変換制御を行う蓄積率算出、話速制御部２９は、蓄積率が少ないと無音区間を削除しないとか、逆に蓄積率が多いと、圧縮率を高くするとか、話速変換停止の制御を行う。
【０００６】
図６はこの従来の話速変換のタイミングを説明したものであり、図６（ａ）に示す具体的な音声例「きのうわたしは  えいがをみました」が入力された時の話速変換の様子を説明するものであり、図６（ｂ）に示すごとく、単純に２倍の時間に話速を延ばすとすると「きーのーうーわーたーしーはーえーいーがーをーみーまーしーたー」という具合に母音を追加して時間を延ばす処理を行う。時間を延ばされた音声デジタル信号はＤ／Ａコンバータ３１、３２でデジタル音声信号からＬＲアナログ音声信号に戻され、一連の話速変換処理を終了する。
【０００７】
一方、話速変換され時間が延ばされていくと、有限なメモリー容量である音声メモリー２８は、書き込みアドレスを読み出しアドレスが追い越す、いわゆるオーバーフローする可能性が出てくる。音声メモリー２８の残量を照会しながら話速変換処理の話速変換率を決定しようとするのが従来の方式であり、逆に無音区間では保存の必要がなく、つぎの音声信号の立ち上がりで、話速変換の頭合わせを行い、オーバーフローの削減を図る。
【特許文献１】特開２００２−２９７２００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら前記従来の構成では、音声だけのラジオ受信機では、音声信号を話速変換することで、聞き易くなるが、テレビ受信機においては、画像信号が同時に再生されており、とりわけ、話者の唇画像が大きく写し出されているテレビ放送内容においては、音声信号を話速変換し、画像はそのまま再生すると、音と画像の再生時間差に伴う違和感が発生する。すなわち、図５の話速変換装置に、図６（ａ）で示す音声信号が入力された場合の話速変換は、図６（ｂ）に示すごとく話速変換された音声信号となり、時刻ｔ０での画像Ｄ１、時刻ｔ１での画像Ｄ２、時刻ｔ２での画像Ｄ３、そして時刻ｔ３での画像Ｄ４が、音声信号だけ話速変換すると、時刻ｔ３で言い終わったのにも係らず、画像は時刻Ｄ４の画像に進んでおり、テレビ放送再生での話速変換は、音と画像のズレが発生する問題があった。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明の話速変換方法は、入力された音声信号を話速変換処理し、話速変換処理で遅れた時間分だけ画像信号も遅らせて再生することを特徴としたものである。
【００１０】
また話速変換装置として、入力されたアナログ音声信号をデジタルに変換する音声Ａ／Ｄ変換器と、前記音声Ａ／Ｄ変換器で変換されたデジタル音声信号を話速変換する話速変換処理部と、前記話速変換処理部で処理されるデジタル音声信号を記憶する音声メモリー部と、前記話速変換処理部に所定の話速変換率を設定する話速設定部を設け、前記話速変換処理部で話速変換処理されたデジタル音声信号をアナログ音声信号に変換する音声Ｄ／Ａ変換器を設けて音声話速変換処理を行うと共に、アナログ画像信号をデジタルに変換する画像Ａ／Ｄ変換器と、前記画像Ａ／Ｄ変換器で変換されたデジタル画像信号をフレーム毎に記憶する画像フレームメモリー部と、前記話速設定部と前記話速変換処理部で決定された時間遅れに対応する画像信号を読み出す画像フレーム読み出し制御部と、前記画像フレーム読み出し制御部で制御され読み出されたデジタル画像信号をアナログ画像信号に変換する画像Ｄ／Ａ変換器とを具備し、音声話速変換処理で遅らせた時間分だけ画像信号も遅らせて再生するように構成したものであり、また、前記画像フレーム読み出し制御部で制御され読み出されたデジタル画像信号に話速変換中であることを画面に表示するオンスクリーン表示部と、前記オンスクリーン表示部で処理されたデジタル画像信号をアナログ画像信号に変換する画像Ｄ／Ａ変換器とを具備し、音声話速変換処理で遅らせた時間分だけ画像信号も遅らせて再生し、再生画像が話速変換で加工されていることを表示するように構成したものである。
【発明の効果】
【００１１】
上記構成を備えることにより、本発明は、テレビ放送などの画像信号が同時に再生される話速変換処理の場合において、画像信号の無制御に起因する画像信号と、音声信号の時間不一致に伴う違和感を極力防止できるとともに、しかも簡単な回路構成で画像と音声の同期のとれた話速変換が行えるものである。
【発明を実施するための最良の形態】
【００１２】
（実施の形態１）
以下に、本発明の第１の実施の形態について、図１、図２を用いて説明する。
【００１３】
図１は、本発明の第１の実施の形態における話速変換装置の構成を示すブロック図である。図１において、符号１は、入力されたアナログ音声信号をデジタルに変換する音声Ａ／Ｄ変換器、２は音声Ａ／Ｄ変換器１でデジタル音声信号に変換された音声信号を話速変換する話速変換処理部、３は話速変換処理部２で処理されるデジタル音声信号を記憶する音声メモリー部、４は所定の話速変換率を設定する話速設定部、５は話速変換処理部２で話速変換処理されたデジタル音声信号をアナログ音声信号に変換する音声Ｄ／Ａ変換器、６は入力されたアナログ画像信号をデジタルに変換する画像Ａ／Ｄ変換器、７は画像Ａ／Ｄ変換器６で変換されたデジタル画像信号をフレーム毎に記憶する画像フレームメモリー部、８は話速設定部４と話速変換処理部２で決定された時間遅れに対応する画像信号を読み出す画像フレーム読み出し制御部、９は画像フレーム読み出し制御部８で制御され画像フレームメモリー部７から読み出されたデジタル画像信号をアナログ画像信号に変換する画像Ｄ／Ａ変換器である。
【００１４】
以上のように構成された話速変換装置について、その動作と各部の詳細を説明する。例えばテレビ受信機の音声再生において、まず、検波された音声信号は音声Ａ／Ｄ変換器１でアナログ音声信号からデジタル音声信号に変換され話速変換処理部２に入力される。入力されたデジタル音声信号は、話速設定部４で使用者が聞き易い速度を設定し、その速度変換率を示す制御信号を受け、音声メモリー部３を利用しながら話速変換処理を行い、その処理結果のデジタル音声信号を、音声Ｄ／Ａ変換器５でデジタル音声信号からアナログ音声信号に変換され、スピーカなどから再生されて一連の音声話速変換処理を終了する。
【００１５】
話速変換の方法は一般によく知られた、母音を追加する方式であったり、相関の高い部分の繰り返し信号を追加する方式であったりその方法は特に問わない。また、画像と音の遅れを最小にし、音声メモリー部３を有効に活用する方法として、無音区間を縮小するなどの処理をするのは公知の事実である。
【００１６】
一方、入力された画像信号は画像Ａ／Ｄ変換器６でアナログ画像信号からデジタル画像信号に変換され、デジタル画像信号をフレーム毎に記憶する画像フレームメモリー部７に入力されフレーム単位で記憶される。記憶された画像フレーム信号は、話速設定部４で設定された話速と、話速変換処理部２で無音区間を縮小された時間の情報を画像フレーム読み出し制御部８に入力し、画像フレームメモリー部７から、画像信号の読み出し制御を行い、その読み出されたデジタル画像信号を画像Ｄ／Ａ変換器９で、デジタル画像信号からアナログ画像信号に変換されテレビ画面に表示されて一連の画像処理を終了する。この処理の詳細を以下、図２を用いて説明する。
【００１７】
今、図２（ａ）は、具体的な原音の音声例として、時刻ｔ０から「きのうわたしは  えいがをみました」が入力された時の話速変換の様子を説明するものであり、単純に、２倍の時間に話速を延ばすと仮定すると、図２（ｂ）に示すごとく「きーのーうーわーたーしーはーえーいーがーをーみーまーしーたー」という具合に母音を追加して時間を延ばす話速変換処理を行う。また時刻ｔ１直前の無音区間は音声メモリー部３を有効に利用するため短縮された処理をされている。原音「きのうわたしは  」を再生するのに時刻ｔ０から時刻ｔ１まで１秒かかったとすると、この１秒間の画像信号は日本のＮＴＳＣ方式では６０枚あり、これを１．７５倍に時間を拡大する話速変換をすると、画像信号は１０５枚（６０枚×１．７５倍）必要となり、画像Ｄ１から始まる画像信号の２枚に１枚は同じ画像信号を画像フレームメモリー部７から読み出すように、画像フレーム読み出し制御部８が読み出しアドレス制御を行い、あと無音区間として処理した時間に相当する画像信号を削除して、時間合わせを行い、トータル１．７５倍の画像再生時間の引き延ばしを行う。
【００１８】
同様に、原音「えいがをみました」を再生するのに時刻ｔ１から時刻ｔ２まで１秒かかったとすると、この１秒間の画像信号６０枚を２倍に時間を拡大する話速変換をすると、画像信号は１２０枚（６０枚×２倍）必要となり、２枚に１枚は同じ画像信号を画像フレームメモリー部７から読み出すように、画像フレーム読み出し制御部８が読み出しアドレス制御を行い、時刻ｔ３に話速変換が終了する時には、画像信号もつじつまのあった画像がテレビ画面から再生されることになり、時刻ｔ３では画像Ｄ３から開始し、音声も同期がとれた話速変換が可能となる。
【００１９】
以上のように、本発明の話速変換装置によれば、入力された音声信号を話速変換処理し、話速変換処理で遅れた時間分だけ画像信号も遅らせて再生することで、画像との時間ズレの少ない話速変換が実現でき、聞き易いテレビ視聴が可能となり、例えば高齢者など速い会話を聞き取ることが困難な視聴者に対するそのメリットは大きい。
【００２０】
なお、本実施の形態では話速変換の変換比率が２倍の場合を説明したが、変換比率はこの値に限定されることはなく、必要に応じてその値を設定すればよい。
【００２１】
（実施の形態２）
つぎに、本発明の第２の実施の形態について、図３を用いて説明する。図３は、本発明の第２の実施の形態における話速変換装置の構成を示すブロック図である。なお、第１の実施の形態と同一の構成要素に対しては同一の符号を付すこととし、説明が重複する部分は適宜省略するものとする。
【００２２】
図３において、符号１は、入力されたアナログ音声信号をデジタルに変換する音声Ａ／Ｄ変換器、２は音声Ａ／Ｄ変換器１でデジタル音声信号に変換された音声信号を話速変換する話速変換処理部、３は話速変換処理部２で処理されるデジタル音声信号を記憶する音声メモリー部、４は所定の話速変換率を設定する話速設定部、５は話速変換処理部２で話速変換処理されたデジタル音声信号をアナログ音声信号に変換する音声Ｄ／Ａ変換器、６は入力されたアナログ画像信号をデジタルに変換する画像Ａ／Ｄ変換器、７は画像Ａ／Ｄ変換器６で変換されたデジタル画像信号をフレーム毎に記憶する画像フレームメモリー部、８は話速設定部４と話速変換処理部２で決定された時間遅れに対応する画像信号を読み出す画像フレーム読み出し制御部、９は画像フレーム読み出し制御部８で制御され画像フレームメモリー部７から読み出されたデジタル画像信号をアナログ画像信号に変換する画像Ｄ／Ａ変換器である。１０は画像フレーム読み出し制御部８で制御され読み出されたデジタル画像信号に話速変換中であることを画面に表示するオンスクリーン表示部である。
【００２３】
以上のように構成された話速変換装置について、その動作と各部の詳細を説明する。例えばテレビ受信機の音声再生において、まず、検波された音声信号は音声Ａ／Ｄ変換器１でアナログ音声信号からデジタル音声信号に変換され話速変換処理部２に入力される。入力されたデジタル音声信号は、話速設定部４で使用者が聞き易い速度を設定し、その速度変換率を示す制御信号を受け、音声メモリー部３を利用しながら話速変換処理を行い、その処理結果のデジタル音声信号を、音声Ｄ／Ａ変換器５でデジタル音声信号からアナログ音声信号に変換され、スピーカなどから再生されて一連の音声話速変換処理を終了する。
【００２４】
話速変換の方法は一般によく知られた、母音を追加する方式であったり、相関の高い部分の繰り返し信号を追加する方式であったりその方法は特に問わない。また、画像と音の遅れを最小にし、音声メモリー部３を有効に活用する方法として、無音区間を縮小するなどの処理をするのは公知の事実である。
【００２５】
一方、入力された画像信号は画像Ａ／Ｄ変換器６でアナログ画像信号からデジタル画像信号に変換され、デジタル画像信号をフレーム毎に記憶する画像フレームメモリー部７に入力されフレーム単位で記憶される。記憶された画像フレーム信号は、話速設定部４で設定された話速と、話速変換処理部２で無音区間を縮小された時間の情報を画像フレーム読み出し制御部８に入力し、画像フレームメモリー部７から、画像信号の読み出し制御を行い、その読み出されたデジタル画像信号にオンスクリーン表示部１０で、話速変換中であることを画面に表示するオンスクリーン機能を持たせ、画像Ｄ／Ａ変換器９で、デジタル画像信号からアナログ画像信号に変換されテレビ画面に表示されて一連の画像処理を終了する。図４はそのオンスクリーン機能として、テレビ画面表示例を示し、原画像の加工、話速変換中であることを示す例である。話速変換状態により、画面がスムーズな動きができない場合が想定され、そのことを表示する機能でもある。なお、話速変換の動作や各構成要素の詳細な説明は前述の実施の形態１で説明したのと同じなので、ここでは割愛する。
【００２６】
以上のような構成により、入力された音声信号を話速変換処理し、話速変換処理で遅れた時間分だけ画像信号も遅らせて再生することで、画像との時間ズレの少ない話速変換が実現でき、聞き易く、見やすいテレビ視聴が可能となるなどそのメリットは大きい。
【産業上の利用可能性】
【００２７】
本発明に係る話速変換方法及び話速変換装置によれば、簡単な回路構成で画像との時間ズレの少ない話速変換が実現でき、画像を伴う話速変換に効果があり、テレビ放送の再生のみならずＶＴＲ、ＤＶＤなどのＡＶ機器の話速変換においてとりわけ有用である。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態における話速変換装置のブロック構成図
【図２】本発明の話速変換のタイミング説明図
【図３】本発明の第２の実施の形態における話速変換装置のブロック構成図
【図４】本発明の第２の実施の形態におけるテレビ画面表示例説明図
【図５】従来の実施例の話速変換装置のブロック構成図
【図６】従来の話速変換のタイミング説明図
【符号の説明】
【００２９】
１    音声Ａ／Ｄ変換器
２    話速変換処理部
３    音声メモリー部
４    話速設定部
５    音声Ｄ／Ａ変換器
６    画像Ａ／Ｄ変換器
７    画像フレームメモリー部
８    画像フレーム読み出し制御部
９    画像Ｄ／Ａ変換器
１０    オンスクリーン表示部
【図１】
2006041660.tif 000003
【図２】
2006041660.tif 000004
【図３】
2006041660.tif 000005
【図４】
2006041660.tif 000006
【図５】
2006041660.tif 000007
【図６】
2006041660.tif 000008