(57)【要約】  符号化音声入力信号を復号化する音声復号化器（１１）と、この音声復号化器（１１）から出力される音声信号と符号化されていない外部音声入力信号とを混合する音声混合器（１３）と、この音声混合器（１３）から出力される音声信号を符号化して符号化音声出力信号を生成する音声符号化器（１２）とに加えて、切替励起信号に応答して音声復号化器（１１）と音声符号化器（１２）との各々の動作を制御する切替信号を生成するための切替器（１４）を設ける。音声復号化器（１１）と音声符号化器（１２）とは各々複数の符号化方式に対応し、かつ切替器（１４）は音声復号化器（１１）における符号化方式を第１の符号化方式から第２の符号化方式へ切り替える際に、音声符号化器（１２）における符号化方式を同じく第１の符号化方式から第２の符号化方式へ切り替えるように制御する。
2009084165.tif 000002
【特許請求の範囲】
【請求項１】
符号化音声入力信号を復号化して第１の音声信号を生成する音声復号化手段と、
前記第１の音声信号と、符号化されていない第２の音声信号とを混合して第３の音声信号を生成する音声混合手段と、
前記第３の音声信号を符号化して符号化音声出力信号を生成する音声符号化手段と、
前記音声復号化手段と前記音声符号化手段との各々の動作を切り替える切替手段とを備え、
前記音声復号化手段と前記音声符号化手段とは各々２つ以上の符号化方式に対応し、かつ前記切替手段は前記音声復号化手段における符号化方式を第１の符号化方式から第２の符号化方式へ切り替える際に、当該音声復号化手段における符号化方式の切り替えに同期して、前記音声符号化手段における符号化方式を前記第１の符号化方式から前記第２の符号化方式へ切り替えるように制御することを特徴とする音声混合再生装置。
【請求項２】
請求項１記載の音声混合再生装置において、
ユーザの指示を受理して制御を判別する制御判別手段と、
前記制御判別手段からの選択制御信号に基づいて前記第２の音声信号の有効と無効を切り替える信号選択手段と、
前記制御判別手段からの切替許可信号に基づいて前記音声符号化手段への符号化方式伝達タイミングを調整する切替時間調整手段とを更に備え、
前記切替手段は、前記制御判別手段からの切替励起信号に基づいて前記音声復号化手段及び前記音声符号化手段への符号化方式の指定を行うことを特徴とする音声混合再生装置。
【請求項３】
請求項１記載の音声混合再生装置において、
前記音声符号化手段は、
前記第３の音声信号を符号化して第１の符号化音声出力信号を生成する第１の音声符号化器と、
前記第３の音声信号を前記第１の符号化音声出力信号とは異なる符号化方式で符号化して第２の符号化音声出力信号を生成する第２の音声符号化器と、
前記第１の符号化音声出力信号又は前記第２の符号化音声出力信号のいずれかを前記符号化音声出力信号として選択する音声出力スイッチとを有し、
前記切替手段は、前記第１の符号化音声出力信号又は前記第２の符号化音声出力信号のいずれかを選択するときに前記第１の音声符号化器と前記第２の音声符号化器との両方を動作させることを特徴とする音声混合再生装置。
【請求項４】
請求項１記載の音声混合再生装置において、
前記第１の音声信号と前記第２の音声信号とのうち少なくとも一方の信号の音量を判定する音声判定手段を更に備え、
前記切替手段は前記音声判定手段により制御されることを特徴とする音声混合再生装置。
【請求項５】
請求項１記載の音声混合再生装置において、
符号化画像入力信号を復号化して画像信号を生成する画像復号化手段と、
前記画像信号を判定する画像判定手段とを更に備え、
前記切替手段は前記画像判定手段により制御されることを特徴とする音声混合再生装置。
【請求項６】
請求項１記載の音声混合再生装置において、
前記音声混合手段と前記音声符号化手段との間に音量調整手段を更に備え、
前記音声符号化手段が符号化方式を切り替える瞬間、前記音声調整手段により音量を下げることを特徴とする音声混合再生装置。
【請求項７】
請求項１記載の音声混合再生装置において、
前記音声符号化手段の出力側に音声選択手段を更に備え、
前記音声符号化手段が符号化方式を切り替える間、前記音声選択手段により前記第３の音声信号をそのまま出力することを特徴とする音声混合再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つ以上の音声信号のリアルタイムな混合及び再生に係る技術分野に属するものである。
【背景技術】
【０００２】
例えばＤＶＤ（digital versatile disk）−ＲＡＭ（random access memory）に記録された２つの符号化ストリームを途中で繋いで１つの符号化ストリームを作成する編集装置において、画質の劣化を抑えつつ任意の箇所で繋ぎ合わせることができるように、２台の復号化器を用いて第１及び第２のストリームを復号化し、復号化したデータを選択して編集点を含む前後の短期間だけ再符号化を実施し、その他の期間では編集前のストリームを選択する技術が知られている。この際、第１のストリームの画像はそのままで、音声だけを第２のストリームの音声に入れ換えることも可能である（特許文献１参照）。
【特許文献１】特開２０００−１６５８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の技術では、２つ以上の音声信号のリアルタイムな混合及び再生を達成できなかった。また、様々な符号化方式（符号化規格）への柔軟な対応ができなかった。【０００４】
本発明の目的は、複数の符号化方式に対応しつつ２つ以上の音声信号のリアルタイムな混合及び再生を達成できる音声混合再生装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明では、符号化音声入力信号を復号化して第１の音声信号を生成する音声復号化手段と、前記第１の音声信号と符号化されていない第２の音声信号とを混合して第３の音声信号を生成する音声混合手段と、前記第３の音声信号を符号化して符号化音声出力信号を生成する音声符号化手段と、前記音声復号化手段と前記音声符号化手段との各々の動作を切り替える切替手段とを備えた音声混合再生装置の構成を採用し、前記音声復号化手段と前記音声符号化手段とは各々２つ以上の符号化方式に対応し、かつ前記切替手段は前記音声復号化手段における符号化方式を第１の符号化方式から第２の符号化方式へ切り替える際に、当該音声復号化手段における符号化方式の切り替えに同期して、前記音声符号化手段における符号化方式を前記第１の符号化方式から前記第２の符号化方式へ切り替えるように制御することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、２つ以上の符号化方式に対応しつつ、入力の符号化方式と同一の方式で、符号化されていない第２の音声信号（例えば、外部音声信号）との混合により得られた符号化音声信号をリアルタイムに出力することができる。したがって、例えばメディアから読み出した符号化音声信号に外部音声信号を混合した結果を当該メディアへ直ちに書き戻すことが可能になる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の第１の実施形態に係る音声混合再生装置を示すブロック図である。
【図２】図２は、本発明の第２の実施形態に係る音声混合再生装置を示すブロック図である。
【図３】図３は、本発明の第３の実施形態に係る音声混合再生装置を示すブロック図である。
【図４】図４は、本発明の第４の実施形態に係る音声混合再生装置を示すブロック図である。
【図５】図５は、本発明の第５の実施形態に係る音声混合再生装置を示すブロック図である。
【図６】図６は、本発明の第６の実施形態に係る音声混合再生装置を示すブロック図である。
【図７】図７は、本発明の第７の実施形態に係る音声混合再生装置を示すブロック図である。
【符号の説明】
【０００８】
１１  音声復号化器
１２  音声符号化器
１３  音声混合器
１４  切替器
１５  切替時間調整器
１６  制御判別器
１７  外部音声入力スイッチ
１８  音声出力スイッチ
１９  音声判定器
２１  画像復号化器
２２  画像判定器
２３  音量調節器
２４  音声出力スイッチ
１２１，１２２  音声符号化器
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の説明における第１及び第２の符号化方式はそれぞれ例えばＭＰ３（MPEG audio layer-3）方式及びＡＡＣ（advanced audio coding）方式であるが、本発明はこれらの具体的な符号化方式に限定されるものではない。【００１０】
《第１の実施形態》
図１は、本発明の第１の実施形態における装置のブロック図である。図１において、１１は第１の符号化方式と第２の符号化方式に対応した音声復号化器、１２は第１の符号化方式と第２の符号化方式に対応した音声符号化器、１３は２入力の音声混合器、１４は切替器である。Ｓ１は符号化音声入力信号であり、Ｓ２は符号化音声出力信号である。Ｓ１１は、切替器１４で生成された音声復号化器１１の符号化方式を切り替える切替信号である。Ｓ１２は、切替器１４で生成された音声符号化器１２の符号化方式を切り替える切替信号である。Ｓ１３は音声復号化器１１の出力である音声信号であり、Ｓ１４は符号化されていない外部音声入力信号であり、Ｓ１５は復号化音声信号Ｓ１３と外部音声入力信号Ｓ１４とを混合した音声信号であり、Ｓ１７は外部から切替器１４に入力される符号化方式切替励起信号である。符号化方式切替励起は例えばＤＶＤなどではＶＯＢ（video object）管理領域に書かれており、外部システムが知り得るが、本実施形態ではその生成過程を規定しない。【００１１】
図１の音声混合再生装置によれば、切替励起信号Ｓ１７により両切替信号Ｓ１１，Ｓ１２が同期して生成され、音声復号化器１１と音声符号化器１２との符号化方式が同時に同一方式に切り替わる。復号化された音声信号Ｓ１３は、音声混合器１３により外部音声入力信号Ｓ１４と混合された後、音声符号化器１２で元の符号化方式と同一の方式で符号化され、出力される。【００１２】
したがって、２つ以上の符号化方式に対応し、入力の符号化方式と同一の方式で、外部音声と混合された符号化音声信号を生成することが可能となる。【００１３】
《第２の実施形態》
図２は、本発明の第２の実施形態における装置のブロック図である。図２において、１５は切替時間調整器、１６は制御判別器、１７は外部音声入力スイッチである。【００１４】
制御判別器１６は、ユーザの指示を表すユーザ制御信号Ｓ１６を受理して制御を判別し、切替器１４へ符号化方式切替励起信号Ｓ１７を、外部音声入力スイッチ１７へ選択制御信号Ｓ１８を、切替時間調整器１５へ符号化方式切替許可信号Ｓ１９をそれぞれ出力する。外部音声入力スイッチ１７は、制御判別器１６からの選択制御信号Ｓ１８に基づいて外部音声入力信号Ｓ１４の有効と無効を切り替える。Ｓ１４１は、有効化された外部音声入力信号Ｓ１４に基づいて音声混合器１３に第２入力信号として与えられる信号である。切替器１４は、制御判別器１６からの切替励起信号Ｓ１７に基づいて音声復号化器１１及び音声符号化器１２への符号化方式の指定を行うように、両切替信号Ｓ１１，Ｓ１２を出力する。切替時間調整器１５は、制御判別器１６からの切替許可信号Ｓ１９に基づいて音声符号化器１２への符号化方式伝達タイミングを調整する。Ｓ２０はタイミング調整された切替信号である。【００１５】
図２の音声混合再生装置によれば、ユーザ制御信号Ｓ１６を受信した制御判別器１６により切替励起信号Ｓ１７が発信され、両切替信号Ｓ１１，Ｓ１２が同期して生成される。また、制御判別器１６は外部音声入力スイッチ１７に選択制御信号Ｓ１８を、切替時間調整器１５に切替許可信号Ｓ１９をそれぞれ伝達する。第１の実施形態とは異なり、切替信号Ｓ１２は音声符号化器１２に直接伝わらず切替時間調整器１５により保持されており、切替時間調整器１５が切替許可信号Ｓ１９を受信した後にタイミング調整切替信号Ｓ２０として音声符号化器１２に伝わる。ここで、制御判別器１６が選択制御信号Ｓ１８と切替許可信号Ｓ１９とをそれぞれ発信するタイミングに依存関係を持たせ、音声符号化器１２からの出力が不自然にならないように制御する。例えば、選択制御信号Ｓ１８を伝達する前に切替許可信号Ｓ１９を伝達して音声符号化器１２の符号化方式を切り替え、その後に選択制御信号Ｓ１８を発信する。あるいは、選択制御信号Ｓ１８により外部音声入力信号Ｓ１４が有効になっているときは切替許可信号Ｓ１９を発信せず、外部音声入力信号Ｓ１４が途絶えてから切替許可信号Ｓ１９を発信する。このような方法により、外部音声入力信号Ｓ１４が符号化方式切替時の無音時間と重複しないように制御することが可能となる。【００１６】
なお、上記の例は選択制御信号Ｓ１８と切替許可信号Ｓ１９との前後関係により外部音声入力信号Ｓ１４の音声が途絶えない方法を示したものであるが、本実施形態ではその過程を限定するものではない。【００１７】
《第３の実施形態》
図３は、本発明の第３の実施形態における装置のブロック図である。図３において、１２１は第１の符号化方式に対応した第１の音声符号化器であり、１２２は第２の符号化方式に対応した第２の音声符号化器であり、１８は音声出力スイッチである。Ｓ１２１は切替器１４で生成された第１の音声符号化器１２１を起動させる制御信号であり、Ｓ１２２は切替器１４で生成された第２の音声符号化器１２２を起動させる制御信号であり、Ｓ１２３は切替器１４で生成された音声出力スイッチ１８への選択制御信号である。Ｓ１５１は復号化音声信号Ｓ１３と外部音声入力信号Ｓ１４とを混合し第１の音声符号化器１２１に伝えられる音声信号であり、Ｓ１５２は復号化音声信号Ｓ１３と外部音声入力信号Ｓ１４とを混合し第２の音声符号化器１２２に伝えられる音声信号であり、Ｓ２１は音声信号Ｓ１５１を第１の符号化方式で符号化した音声出力信号であり、Ｓ２２は音声信号Ｓ１５２を第２の符号化方式で符号化した音声出力信号である。音声出力スイッチ１８は、両符号化音声出力信号Ｓ２１，Ｓ２２のうちのいずれかを選択制御信号Ｓ１２３に応じて選択する。【００１８】
図３の音声混合再生装置によれば、まず切替器１４より制御信号Ｓ１２１，Ｓ１２２が生成される。次に、符号化方式を切り替える必要が生じたときに、復号化切替信号Ｓ１１と選択制御信号Ｓ１２３とが同期して生成される。一方、符号化音声出力信号Ｓ２１，Ｓ２２は、それぞれ同じ音声信号Ｓ１５１，Ｓ１５２を異なる符号化方式で符号化した信号である。したがって、音声復号化器１１の符号化方式を切り替えたときに、時間遅延が全く無く、最終出力の符号化方式を第１の方式から第２の方式へ、又は第２の方式から第１の方式へ、切り替えることが可能になる。【００１９】
《第４の実施形態》
図４は、本発明の第４の実施形態における装置のブロック図である。図４において、１９は復号化音声信号Ｓ１３及び外部音声入力信号Ｓ１４の音量を判定する音声判定器である。【００２０】
一般に、符号化音声入力信号Ｓ１の符号化方式が切り替わるときは、その復号結果である復号化音声信号Ｓ１３、あるいは外部音声入力信号Ｓ１４の音量が十分に小さくなるという傾向がある。【００２１】
そこで、図４の音声混合再生装置によれば、音声判定器１９は、復号化音声信号Ｓ１３及び外部音声入力信号Ｓ１４の各々について音量を一定時間ごとに区切って測定し、その時間での累積値を計算する。復号化音声信号Ｓ１３あるいは外部音声入力信号Ｓ１４でその累積値が十分小さい値になったとき、音声判定器１９は符号化音声入力信号Ｓ１の符号化方式が切り替わるタイミングと判断して、切替器１４に符号化方式切替励起信号Ｓ１７を出力する。【００２２】
ただし、以上の説明では復号化音声信号Ｓ１３及び外部音声入力信号Ｓ１４の双方の音量を判定するとしたが、片方だけもよい。【００２３】
《第５の実施形態》
図５は、本発明の第５の実施形態における装置のブロック図である。図５において、２１は画像復号化器、２２は画像判定器である。Ｓ３は符号化画像入力信号、Ｓ４は復号化された画像信号である。【００２４】
一般に、例えばＤＶＤからの符号化音声入力信号Ｓ１の符号化方式が切り替わるときは、画像復号化器２１の出力である画像信号Ｓ４に動きがなくなる、すなわち静止画になるという傾向がある。【００２５】
そこで、図５の音声混合再生装置によれば、画像判定器２２は、画像信号Ｓ４について画像の動き量を一定時間ごとに区切って測定し、その時間での累積値を計算する。その累積値が十分小さい値になったとき、画像判定器２２は符号化音声入力信号Ｓ１の符号化方式が切り替わるタイミングと判断して、切替器１４に符号化方式切替励起信号Ｓ１７を出力する。【００２６】
《第６の実施形態》
図６は、本発明の第６の実施形態におけるブロック図である。図６において、２３は符号化方式を切り替える瞬間に音量を下げる音量調節器である。Ｓ２３は外部から音量調節器２３に入力されるフェードアウト指示信号であり、Ｓ２４は音量調整された音声信号である。【００２７】
図６の音声混合再生装置によれば、フェードアウト指示信号Ｓ２３により、音量調節器２３はフェードアウトを開始する。音量調節器２３のフェードアウトが完了すると同時に、当該音量調節器２３から符号化方式切替励起信号Ｓ１７が切替器１４に入力される。これにより両切替信号Ｓ１１，Ｓ１２が同期して生成され、音声復号化器１１と音声符号化器１２との符号化方式が同時に同一方式に切り替わる。そして、符号化方式が切り替わったと同時に、音量調節器２３はフェードインを開始する。【００２８】
したがって、符号化方式が切り替わる瞬間に発生する不連続を隠蔽することが可能となる。また、フェードインするタイミングは、音声復号化器１１が切り替わるタイミングではなく、音声符号化器１２が切り替わった直後に行うことで、外部音声入力信号Ｓ１４の出力が途切れる時間を最小限に留めることができるようになる。【００２９】
《第７の実施形態》
図７は、本発明の第７の実施形態におけるブロック図である。図７において、２４は符号化方式を切り替える間だけ符号化前の混合された音声信号Ｓ１５をそのまま出力する音声出力スイッチである。Ｓ２５は符号化音声信号であり、Ｓ２６は音声出力スイッチ２４の選択制御信号である。【００３０】
図７の音声混合再生装置によれば、符号化方式切替励起信号Ｓ１７により両切替信号Ｓ１１，Ｓ１２が同期して生成され、音声復号化器１１と音声符号化器１２との符号化方式が同時に同一方式への切り替えを開始する。ただし、音声符号化器１２が切り替わるまでの間については、混合された音声信号Ｓ１５が符号化されることなく出力される。そして、音声符号化器１２が切り替わったと同時に音声出力スイッチ２４を元の音声符号化器１２側へ切り替え、符号化音声信号Ｓ２５を出力する。【００３１】
したがって、音声符号化器１２の切り替わりの時間が長い場合、符号化前の音声信号Ｓ１５を一時的に出力することで、無音の状態を回避することが可能となる。
【産業上の利用の可能性】
【００３２】
以上説明してきたとおり、本発明に係る音声混合再生装置は、入力の符号化方式と同一の方式で外部音声信号との混合により得られた符号化音声信号を出力することができるので、音声信号のリアルタイムな混合及び再生に有用である。
【図１】
2009084165.tif 000003
【図２】
2009084165.tif 000004
【図３】
2009084165.tif 000005
【図４】
2009084165.tif 000006
【図５】
2009084165.tif 000007
【図６】
2009084165.tif 000008
【図７】
2009084165.tif 000009
【手続補正書】
【提出日】平成22年2月22日(2010.2.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つ以上の音声信号のリアルタイムな混合及び再生に係る技術分野に属するものである。
【背景技術】
【０００２】
例えばＤＶＤ（digital versatile disk）−ＲＡＭ（random access memory）に記録された２つの符号化ストリームを途中で繋いで１つの符号化ストリームを作成する編集装置において、画質の劣化を抑えつつ任意の箇所で繋ぎ合わせることができるように、２台の復号化器を用いて第１及び第２のストリームを復号化し、復号化したデータを選択して編集点を含む前後の短期間だけ再符号化を実施し、その他の期間では編集前のストリームを選択する技術が知られている。この際、第１のストリームの画像はそのままで、音声だけを第２のストリームの音声に入れ換えることも可能である（特許文献１参照）。
【特許文献１】特開２０００−１６５８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の技術では、２つ以上の音声信号のリアルタイムな混合及び再生を達成できなかった。また、様々な符号化方式（符号化規格）への柔軟な対応ができなかった。
【０００４】
本発明の目的は、複数の符号化方式に対応しつつ２つ以上の音声信号のリアルタイムな混合及び再生を達成できる音声混合再生装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明では、符号化音声入力信号を復号化して第１の音声信号を生成する音声復号化手段と、前記第１の音声信号と符号化されていない第２の音声信号とを混合して第３の音声信号を生成する音声混合手段と、前記第３の音声信号を符号化して符号化音声出力信号を生成する音声符号化手段と、前記音声復号化手段と前記音声符号化手段との各々の動作を切り替える切替手段とを備えた音声混合再生装置の構成を採用し、前記音声復号化手段と前記音声符号化手段とは各々２つ以上の符号化方式に対応し、かつ前記切替手段は前記音声復号化手段における符号化方式を第１の符号化方式から第２の符号化方式へ切り替える際に、当該音声復号化手段における符号化方式の切り替えに同期して、前記音声符号化手段における符号化方式を前記第１の符号化方式から前記第２の符号化方式へ切り替えるように制御することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、２つ以上の符号化方式に対応しつつ、入力の符号化方式と同一の方式で、符号化されていない第２の音声信号（例えば、外部音声信号）との混合により得られた符号化音声信号をリアルタイムに出力することができる。したがって、例えばメディアから読み出した符号化音声信号に外部音声信号を混合した結果を当該メディアへ直ちに書き戻すことが可能になる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の説明における第１及び第２の符号化方式はそれぞれ例えばＭＰ３（MPEG audio layer-3）方式及びＡＡＣ（advanced audio coding）方式であるが、本発明はこれらの具体的な符号化方式に限定されるものではない。
【０００８】
《第１の実施形態》
図１は、本発明の第１の実施形態における装置のブロック図である。図１において、１１は第１の符号化方式と第２の符号化方式に対応した音声復号化器、１２は第１の符号化方式と第２の符号化方式に対応した音声符号化器、１３は２入力の音声混合器、１４は切替器である。Ｓ１は符号化音声入力信号であり、Ｓ２は符号化音声出力信号である。Ｓ１１は、切替器１４で生成された音声復号化器１１の符号化方式を切り替える切替信号である。Ｓ１２は、切替器１４で生成された音声符号化器１２の符号化方式を切り替える切替信号である。Ｓ１３は音声復号化器１１の出力である音声信号であり、Ｓ１４は符号化されていない外部音声入力信号であり、Ｓ１５は復号化音声信号Ｓ１３と外部音声入力信号Ｓ１４とを混合した音声信号であり、Ｓ１７は外部から切替器１４に入力される符号化方式切替励起信号である。符号化方式切替励起は例えばＤＶＤなどではＶＯＢ（video object）管理領域に書かれており、外部システムが知り得るが、本実施形態ではその生成過程を規定しない。
【０００９】
図１の音声混合再生装置によれば、切替励起信号Ｓ１７により両切替信号Ｓ１１，Ｓ１２が同期して生成され、音声復号化器１１と音声符号化器１２との符号化方式が同時に同一方式に切り替わる。復号化された音声信号Ｓ１３は、音声混合器１３により外部音声入力信号Ｓ１４と混合された後、音声符号化器１２で元の符号化方式と同一の方式で符号化され、出力される。
【００１０】
したがって、２つ以上の符号化方式に対応し、入力の符号化方式と同一の方式で、外部音声と混合された符号化音声信号を生成することが可能となる。
【００１１】
《第２の実施形態》
図２は、本発明の第２の実施形態における装置のブロック図である。図２において、１５は切替時間調整器、１６は制御判別器、１７は外部音声入力スイッチである。
【００１２】
制御判別器１６は、ユーザの指示を表すユーザ制御信号Ｓ１６を受理して制御を判別し、切替器１４へ符号化方式切替励起信号Ｓ１７を、外部音声入力スイッチ１７へ選択制御信号Ｓ１８を、切替時間調整器１５へ符号化方式切替許可信号Ｓ１９をそれぞれ出力する。外部音声入力スイッチ１７は、制御判別器１６からの選択制御信号Ｓ１８に基づいて外部音声入力信号Ｓ１４の有効と無効を切り替える。Ｓ１４１は、有効化された外部音声入力信号Ｓ１４に基づいて音声混合器１３に第２入力信号として与えられる信号である。切替器１４は、制御判別器１６からの切替励起信号Ｓ１７に基づいて音声復号化器１１及び音声符号化器１２への符号化方式の指定を行うように、両切替信号Ｓ１１，Ｓ１２を出力する。切替時間調整器１５は、制御判別器１６からの切替許可信号Ｓ１９に基づいて音声符号化器１２への符号化方式伝達タイミングを調整する。Ｓ２０はタイミング調整された切替信号である。
【００１３】
図２の音声混合再生装置によれば、ユーザ制御信号Ｓ１６を受信した制御判別器１６により切替励起信号Ｓ１７が発信され、両切替信号Ｓ１１，Ｓ１２が同期して生成される。また、制御判別器１６は外部音声入力スイッチ１７に選択制御信号Ｓ１８を、切替時間調整器１５に切替許可信号Ｓ１９をそれぞれ伝達する。第１の実施形態とは異なり、切替信号Ｓ１２は音声符号化器１２に直接伝わらず切替時間調整器１５により保持されており、切替時間調整器１５が切替許可信号Ｓ１９を受信した後にタイミング調整切替信号Ｓ２０として音声符号化器１２に伝わる。ここで、制御判別器１６が選択制御信号Ｓ１８と切替許可信号Ｓ１９とをそれぞれ発信するタイミングに依存関係を持たせ、音声符号化器１２からの出力が不自然にならないように制御する。例えば、選択制御信号Ｓ１８を伝達する前に切替許可信号Ｓ１９を伝達して音声符号化器１２の符号化方式を切り替え、その後に選択制御信号Ｓ１８を発信する。あるいは、選択制御信号Ｓ１８により外部音声入力信号Ｓ１４が有効になっているときは切替許可信号Ｓ１９を発信せず、外部音声入力信号Ｓ１４が途絶えてから切替許可信号Ｓ１９を発信する。このような方法により、外部音声入力信号Ｓ１４が符号化方式切替時の無音時間と重複しないように制御することが可能となる。
【００１４】
なお、上記の例は選択制御信号Ｓ１８と切替許可信号Ｓ１９との前後関係により外部音声入力信号Ｓ１４の音声が途絶えない方法を示したものであるが、本実施形態ではその過程を限定するものではない。
【００１５】
《第３の実施形態》
図３は、本発明の第３の実施形態における装置のブロック図である。図３において、１２１は第１の符号化方式に対応した第１の音声符号化器であり、１２２は第２の符号化方式に対応した第２の音声符号化器であり、１８は音声出力スイッチである。Ｓ１２１は切替器１４で生成された第１の音声符号化器１２１を起動させる制御信号であり、Ｓ１２２は切替器１４で生成された第２の音声符号化器１２２を起動させる制御信号であり、Ｓ１２３は切替器１４で生成された音声出力スイッチ１８への選択制御信号である。Ｓ１５１は復号化音声信号Ｓ１３と外部音声入力信号Ｓ１４とを混合し第１の音声符号化器１２１に伝えられる音声信号であり、Ｓ１５２は復号化音声信号Ｓ１３と外部音声入力信号Ｓ１４とを混合し第２の音声符号化器１２２に伝えられる音声信号であり、Ｓ２１は音声信号Ｓ１５１を第１の符号化方式で符号化した音声出力信号であり、Ｓ２２は音声信号Ｓ１５２を第２の符号化方式で符号化した音声出力信号である。音声出力スイッチ１８は、両符号化音声出力信号Ｓ２１，Ｓ２２のうちのいずれかを選択制御信号Ｓ１２３に応じて選択する。
【００１６】
図３の音声混合再生装置によれば、まず切替器１４より制御信号Ｓ１２１，Ｓ１２２が生成される。次に、符号化方式を切り替える必要が生じたときに、復号化切替信号Ｓ１１と選択制御信号Ｓ１２３とが同期して生成される。一方、符号化音声出力信号Ｓ２１，Ｓ２２は、それぞれ同じ音声信号Ｓ１５１，Ｓ１５２を異なる符号化方式で符号化した信号である。したがって、音声復号化器１１の符号化方式を切り替えたときに、時間遅延が全く無く、最終出力の符号化方式を第１の方式から第２の方式へ、又は第２の方式から第１の方式へ、切り替えることが可能になる。
【００１７】
《第４の実施形態》
図４は、本発明の第４の実施形態における装置のブロック図である。図４において、１９は復号化音声信号Ｓ１３及び外部音声入力信号Ｓ１４の音量を判定する音声判定器である。
【００１８】
一般に、符号化音声入力信号Ｓ１の符号化方式が切り替わるときは、その復号結果である復号化音声信号Ｓ１３、あるいは外部音声入力信号Ｓ１４の音量が十分に小さくなるという傾向がある。
【００１９】
そこで、図４の音声混合再生装置によれば、音声判定器１９は、復号化音声信号Ｓ１３及び外部音声入力信号Ｓ１４の各々について音量を一定時間ごとに区切って測定し、その時間での累積値を計算する。復号化音声信号Ｓ１３あるいは外部音声入力信号Ｓ１４でその累積値が十分小さい値になったとき、音声判定器１９は符号化音声入力信号Ｓ１の符号化方式が切り替わるタイミングと判断して、切替器１４に符号化方式切替励起信号Ｓ１７を出力する。
【００２０】
ただし、以上の説明では復号化音声信号Ｓ１３及び外部音声入力信号Ｓ１４の双方の音量を判定するとしたが、片方だけもよい。
【００２１】
《第５の実施形態》
図５は、本発明の第５の実施形態における装置のブロック図である。図５において、２１は画像復号化器、２２は画像判定器である。Ｓ３は符号化画像入力信号、Ｓ４は復号化された画像信号である。
【００２２】
一般に、例えばＤＶＤからの符号化音声入力信号Ｓ１の符号化方式が切り替わるときは、画像復号化器２１の出力である画像信号Ｓ４に動きがなくなる、すなわち静止画になるという傾向がある。
【００２３】
そこで、図５の音声混合再生装置によれば、画像判定器２２は、画像信号Ｓ４について画像の動き量を一定時間ごとに区切って測定し、その時間での累積値を計算する。その累積値が十分小さい値になったとき、画像判定器２２は符号化音声入力信号Ｓ１の符号化方式が切り替わるタイミングと判断して、切替器１４に符号化方式切替励起信号Ｓ１７を出力する。
【００２４】
《第６の実施形態》
図６は、本発明の第６の実施形態におけるブロック図である。図６において、２３は符号化方式を切り替える瞬間に音量を下げる音量調節器である。Ｓ２３は外部から音量調節器２３に入力されるフェードアウト指示信号であり、Ｓ２４は音量調整された音声信号である。
【００２５】
図６の音声混合再生装置によれば、フェードアウト指示信号Ｓ２３により、音量調節器２３はフェードアウトを開始する。音量調節器２３のフェードアウトが完了すると同時に、当該音量調節器２３から符号化方式切替励起信号Ｓ１７が切替器１４に入力される。これにより両切替信号Ｓ１１，Ｓ１２が同期して生成され、音声復号化器１１と音声符号化器１２との符号化方式が同時に同一方式に切り替わる。そして、符号化方式が切り替わったと同時に、音量調節器２３はフェードインを開始する。
【００２６】
したがって、符号化方式が切り替わる瞬間に発生する不連続を隠蔽することが可能となる。また、フェードインするタイミングは、音声復号化器１１が切り替わるタイミングではなく、音声符号化器１２が切り替わった直後に行うことで、外部音声入力信号Ｓ１４の出力が途切れる時間を最小限に留めることができるようになる。
【００２７】
《第７の実施形態》
図７は、本発明の第７の実施形態におけるブロック図である。図７において、２４は符号化方式を切り替える間だけ符号化前の混合された音声信号Ｓ１５をそのまま出力する音声出力スイッチである。Ｓ２５は符号化音声信号であり、Ｓ２６は音声出力スイッチ２４の選択制御信号である。
【００２８】
図７の音声混合再生装置によれば、符号化方式切替励起信号Ｓ１７により両切替信号Ｓ１１，Ｓ１２が同期して生成され、音声復号化器１１と音声符号化器１２との符号化方式が同時に同一方式への切り替えを開始する。ただし、音声符号化器１２が切り替わるまでの間については、混合された音声信号Ｓ１５が符号化されることなく出力される。そして、音声符号化器１２が切り替わったと同時に音声出力スイッチ２４を元の音声符号化器１２側へ切り替え、符号化音声信号Ｓ２５を出力する。
【００２９】
したがって、音声符号化器１２の切り替わりの時間が長い場合、符号化前の音声信号Ｓ１５を一時的に出力することで、無音の状態を回避することが可能となる。
【産業上の利用可能性】
【００３０】
以上説明してきたとおり、本発明に係る音声混合再生装置は、入力の符号化方式と同一の方式で外部音声信号との混合により得られた符号化音声信号を出力することができるので、音声信号のリアルタイムな混合及び再生に有用である。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態に係る音声混合再生装置を示すブロック図である。
【図２】本発明の第２の実施形態に係る音声混合再生装置を示すブロック図である。
【図３】本発明の第３の実施形態に係る音声混合再生装置を示すブロック図である。
【図４】本発明の第４の実施形態に係る音声混合再生装置を示すブロック図である。
【図５】本発明の第５の実施形態に係る音声混合再生装置を示すブロック図である。
【図６】本発明の第６の実施形態に係る音声混合再生装置を示すブロック図である。
【図７】本発明の第７の実施形態に係る音声混合再生装置を示すブロック図である。
【符号の説明】
【００３２】
１１  音声復号化器
１２  音声符号化器
１３  音声混合器
１４  切替器
１５  切替時間調整器
１６  制御判別器
１７  外部音声入力スイッチ
１８  音声出力スイッチ
１９  音声判定器
２１  画像復号化器
２２  画像判定器
２３  音量調節器
２４  音声出力スイッチ
１２１，１２２  音声符号化器
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化音声入力信号を復号化して第１の音声信号を生成する音声復号化手段と、
前記第１の音声信号と、符号化されていない第２の音声信号とを混合して第３の音声信号を生成する音声混合手段と、
前記第３の音声信号を符号化して符号化音声出力信号を生成する音声符号化手段と、
前記音声復号化手段と前記音声符号化手段との各々の動作を切り替える切替手段とを備え、
前記音声復号化手段と前記音声符号化手段とは各々２つ以上の符号化方式に対応し、かつ前記切替手段は前記音声復号化手段における符号化方式を第１の符号化方式から第２の符号化方式へ切り替える際に、当該音声復号化手段における符号化方式の切り替えに同期して、前記音声符号化手段における符号化方式を前記第１の符号化方式から前記第２の符号化方式へ切り替えるように制御することを特徴とする音声混合再生装置。
【請求項２】
請求項１記載の音声混合再生装置において、
ユーザの指示を受理して制御を判別する制御判別手段と、
前記制御判別手段からの選択制御信号に基づいて前記第２の音声信号の有効と無効を切り替える信号選択手段と、
前記制御判別手段からの切替許可信号に基づいて前記音声符号化手段への符号化方式伝達タイミングを調整する切替時間調整手段とを更に備え、
前記切替手段は、前記制御判別手段からの切替励起信号に基づいて前記音声復号化手段及び前記音声符号化手段への符号化方式の指定を行うことを特徴とする音声混合再生装置。
【請求項３】
請求項１記載の音声混合再生装置において、
前記音声符号化手段は、
前記第３の音声信号を符号化して第１の符号化音声出力信号を生成する第１の音声符号化器と、
前記第３の音声信号を前記第１の符号化音声出力信号とは異なる符号化方式で符号化して第２の符号化音声出力信号を生成する第２の音声符号化器と、
前記第１の符号化音声出力信号又は前記第２の符号化音声出力信号のいずれかを前記符号化音声出力信号として選択する音声出力スイッチとを有し、
前記切替手段は、前記第１の符号化音声出力信号又は前記第２の符号化音声出力信号のいずれかを選択するときに前記第１の音声符号化器と前記第２の音声符号化器との両方を動作させることを特徴とする音声混合再生装置。
【請求項４】
請求項１記載の音声混合再生装置において、
前記第１の音声信号と前記第２の音声信号とのうち少なくとも一方の信号の音量を判定する音声判定手段を更に備え、
前記切替手段は前記音声判定手段により制御されることを特徴とする音声混合再生装置。
【請求項５】
請求項１記載の音声混合再生装置において、
符号化画像入力信号を復号化して画像信号を生成する画像復号化手段と、
前記画像信号を判定する画像判定手段とを更に備え、
前記切替手段は前記画像判定手段により制御されることを特徴とする音声混合再生装置。
【請求項６】
請求項１記載の音声混合再生装置において、
前記音声混合手段と前記音声符号化手段との間に音量調整手段を更に備え、
前記音声符号化手段が符号化方式を切り替える瞬間、前記音声調整手段により音量を下げることを特徴とする音声混合再生装置。
【請求項７】
請求項１記載の音声混合再生装置において、
前記音声符号化手段の出力側に音声選択手段を更に備え、
前記音声符号化手段が符号化方式を切り替える間、前記音声選択手段により前記第３の音声信号をそのまま出力することを特徴とする音声混合再生装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009084165.tif 000010
【図２】
2009084165.tif 000011
【図３】
2009084165.tif 000012
【図４】
2009084165.tif 000013
【図５】
2009084165.tif 000014
【図６】
2009084165.tif 000015
【図７】
2009084165.tif 000016
【国際調査報告】
2009084165.tif 000017
2009084165.tif 000018