(57)【要約】【課題】いかなる表示装置と組み合わせても、入力映像信号のフォーマットや表示装置のユーザ設定に応じたダイナミックな映像遅延量の変化に追従して音声遅延量が設定可能な音声信号処理装置を提供する。【解決手段】音声信号を入力する音声信号受信部１と、音声信号受信部１が入力した音声信号を出力する音声信号送信部２と、音声送信部２が出力した音声信号に遅延が加えられた遅延音声信号を入力するリファレンス信号受信部１１と、音声信号受信部１１が入力した音声信号と、リファレンス信号受信部が受信した音声信号とを比較して、音声信号の遅延量を検出する遅延量検出部１２と、遅延量検出部１２が検出した遅延量に従って、音声信号受信部１が受信した音声信号を遅延させて出力させる遅延量制御回路７とを有する。【選択図】図１
2013207307.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を入力する第１の音声入力部と、
該第１の音声入力部が入力した音声信号を出力する第１の音声出力部と、
前記第１の音声出力部が出力した音声信号に遅延が加えられた遅延音声信号を入力する第２の音声入力部と、
前記第１の音声入力部が入力した音声信号と、前記第２の音声入力部が入力した音声信号とを比較して、前記第１の音声入力部が入力した音声信号に対する前記第２の音声入力部が入力した音声信号の遅延量を検出する遅延量検出部と、
該遅延量検出部が検出した遅延量に従って、前記第１の音声入力部が入力した音声信号を遅延させて出力する第２の音声出力部とを有することを特徴とする音声信号処理装置。
【請求項２】
請求項１に記載の音声信号処理装置において、
前記遅延量検出部は、前記第１の音声入力部が入力した音声信号と、前記第２の音声入力部が入力した音声信号との信号レベルの誤差が最も小さくなる遅延量を検出することを特徴とする音声信号処理装置。
【請求項３】
請求項１または２に記載の音声信号処理装置において、
前記第１の音声入力部が入力したマルチチャンネルの音声信号をダウンミックスして、前記遅延量検出部に出力するダウンミックス部を有することを特徴とする音声信号処理装置。
【請求項４】
請求項１〜３のいずれか１の音声信号処理装置において、
前記第１の音声信号入力部が入力した音声信号、および前記第２の音声入力部が入力した音声信号のいずれかまたは両方の振幅レベルを調整することにより、前記第１の音声信号入力部が入力した音声信号と、前記第２の音声入力部が入力した音声信号との振幅レベルを揃える信号レベル制御部を有することを特徴とする音声信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置、より詳細には、入力した音声信号に所定の遅延を加えてスピーカ等に出力させる機能を有する音声信号処置装置に関する。
【背景技術】
【０００２】
テレビ受像機に接続してそのテレビ受像機から音声信号を受け取り、音声信号を増幅してスピーカから音声出力させるＡＶアンプなどの音声信号処理装置がある。
このようなＡＶアンプでは、例えばＢＤ（blu-ray Disc）プレーヤ、デジタルチューナ、セットトップボックス、あるいはゲーム機等の出力機器から出力された映像・音声信号を入力し、映像信号をテレビ受像機などの表示装置に出力して表示させるとともに、音声信号をスピーカに出力して音声出力させることができる。
【０００３】
このような構成のシステムの場合、ＡＶアンプでは、表示装置に表示させる映像と、スピーカから出力させる音声とを同期させる所謂リップシンクの機能が必要になる。
この場合、例えばテレビ受像機などの表示装置では、ＡＶアンプから入力したデジタル映像信号にデコードや各種の映像信号処理を行って映像表示を行うため、映像信号の入力から表示までに通常、遅延が生じる。
【０００４】
また、昨今のテレビ受像機には、３Ｄテレビや４Ｋ２Ｋ（横４０００×縦２０００ピクセル前後の高解像度の映像表示）テレビなどが現れ、これまで以上に映像処理の負担が大きくなっている。また、２０１５年に予定されているスーパーハイビジョンの試験放送などを鑑みると、今後の映像処理の負担がさらに過大なものになっていくことが予想される。
その際には、当然に、テレビ受像機に映像信号が入力されてから表示されるまでの遅延時間、すなわち「映像遅延量」はより大きくなってくる。
【０００５】
また、上記の映像遅延量は、入力映像信号のフォーマット、例えば、ハイビジョンの１０８０ｉ／ｐや映画コンテンツ等の２４ｐなどのフォーマット、あるいはユーザの設定、例えば、ＦＲＣ（frame rate control）のＯＮ／ＯＦＦ、デジャダリングのＯＮ／ＯＦＦ、あるいは表示装置に設定されているダイナミック、映画、ゲームなどの画質モードの設定等によって、大きく変動する。ＡＶアンプでは、出力機器から出力された音声信号をスピーカから音声出力させる際に、映像信号のフォーマットやテレビ受像機側のユーザ設定等に応じて変化する映像遅延量に応じて、音声信号の遅延量を同期させて所謂リップシンクを行う必要がある。この場合、従来では、その遅延量は、ユーザ操作により設定され、映像信号のフォーマットやテレビ受像機などの表示装置側のユーザ設定に応じて、ユーザがその音声遅延量を設定する必要があった。
【０００６】
図８は、従来の音声信号処理装置の構成例を示す図で、音声信号処理装置であるＡＶアンプ１０１の構成と動作を説明するものである。ここでは、入力した音声信号の処理に係る部分のみを示している。
音声信号受信部２１は、ＢＤプレーヤ等の外部機器から出力された音声信号を入力する。入力した音声信号は、音声信号送信部２２からテレビ受像機などの表示装置に送信される。また、音声信号受信部２１が受信した音声信号は、音声デコーダ２３にも入力され、デジタル音声信号がデコードされる。デコードされた音声信号は遅延メモリ２６に保持される。
【０００７】
ユーザＩＦ２４は、ユーザによる操作入力を受け付けるもので、リモコンやＡＶアンプ本体に設けられたキーやボタンなどで実現される。遅延量制御回路２５は、ユーザＩＦ２４に対するユーザ操作に従って、スピーカに出力させる音声信号の遅延量を設定し、遅延メモリ２６を制御して設定された遅延量に従って遅延メモリに保持されている音声信号を信号処理回路に２７に出力させる。信号処理回路２７は、音声信号に必要な信号処理を施してスピーカから出力するための音声信号を生成する。アンプ２８は、信号処理回路で信号処理された音声信号を増幅し、図示しない外部のスピーカに出力する。
【０００８】
図９は、従来の音声信号処理装置を用いた機器接続構成の一例を説明する図である。この例は、音声信号処理装置として上記図８に示すようなＡＶアンプ１０１を用いた映像・音声の出力システムの構成例を示している。
ＡＶアンプ１０１は、ＢＤプレーヤなどの出力機器１０２から映像・音声信号を入力する。映像・音声信号は、例えばＨＤＭＩ（High-Definition Multimedia Interface）によるケーブルを介して入力される。そして映像信号と音声信号は、テレビ受像機などの表示装置１０３に出力される。一方、音声信号は、ＡＶアンプ１０１に接続されたスピーカ１０４にも出力され、スピーカ１０４から音声出力される。
【０００９】
表示装置１０３では、入力した映像信号と音声信号を処理して映像表示および音声出力を行うことができる。このとき上述したように、映像信号を入力して表示させるまでには映像信号処理に係る遅延量が生じる。また、映像信号のフォーマットや表示装置１０３のユーザ設定等に応じて遅延量も変化する。表示装置１０３では、音声信号を出力させる際に、映像処理に応じて遅延量を設定して映像表示に同期させて音声信号を出力する。つまり、表示装置１０３では、どのような種類の映像信号や表示設定であっても映像と音声とを同期させてリップシンクさせて出力させる機能を持っている。
【００１０】
このときに、従来のＡＶアンプ１０１では、表示装置１０３の映像出力に音声出力を同期させる機能を持っていないため、表示装置１０３における映像信号の遅延量に合わせて、ユーザがＡＶアンプ１０１における遅延量を設定し、表示装置１０３の映像出力と、スピーカ１０４から音声出力とを同期させる必要があった。このとき、映像信号のフォーマットや表示装置１０３のユーザ設定等により表示装置１０３における遅延量が変化した場合には、ＡＶアンプ１０１においてもユーザ操作によって遅延量を変化させなければならなかった。
【００１１】
上記のような表示装置の表示に対する音声遅延に対処するための技術に関して、例えば特許文献１には、表示装置と外部機器とがＨＤＭＩ接続され、外部機器側で標準／映画／ゲームなどの映像モード毎に映像と音声の時間ずれを調整するＡＶシステムが開示されている。このＡＶシステムでは、ＤＶＤプレーヤとＨＤＭＩ接続されたＴＶは、ユーザがリモコンを操作することにより、複数の映像モードのいずれか一つを設定する。そして設定した映像モードに応じた音声調整量をメモリから抽出し、抽出した音声調整量をＣＥＣメッセージによりＤＶＤプレーヤに通知する。ＤＶＤプレーヤは、ＴＶからのＣＥＣメッセージを解析し、当該映像モードの音声調整量を取得し、取得した音声調整量に基づいて、バッファを制御することにより、映像信号と音声信号の出力タイミングを調整して出力させる。
【００１２】
また、特許文献２には、表示装置とＡＶアンプを接続する制御信号線路を介して処理時間情報を送受信するためのハードウェアおよびソフトウェアを表示装置およびＡＶアンプに組み入れることなく、表示装置から出力される映像信号とスピーカから出力される音声信号の同期ずれの発生を防止するための増幅装置が開示されている。
【００１３】
この増幅装置は、テスト音声信号を発生するテスト音声発生手段と、テスト音声発生手段により発生されたテスト音声信号を表示装置およびスピーカに同時に出力する出力手段と、表示装置およびスピーカから出力されたテスト音声信号を集音する集音手段と、集音されたテスト音声信号から差分時間を検出する検出手段と、検出された差分時間に基づいてスピーカに出力する音声信号を遅延させる遅延手段とを備えている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００９−１２４２２３号公報
【特許文献２】特開２００７−３２５０５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上記のように、音声信号処理装置であるＡＶアンプで映像・音声信号を入力し、ＡＶアンプに接続された表示装置で映像信号を表示させ、ＡＶアンプに接続されたスピーカから音声信号を音声出力させる際に、表示装置における映像処理に応じた遅延量に同期させるように、スピーカからの音声出力を遅延させる必要がある。この場合、従来では、ＡＶアンプに対するユーザ操作によって遅延量を設定する必要があり合理的ではない。また、映像信号のフォーマットや表示装置のユーザ設定に応じて遅延量が変化する場合に、その都度ユーザ操作によってＡＶアンプの遅延量を設定する必要があり煩雑である。
【００１６】
また、ＨＤＭＩのバージョン１.３ではオートリップシンク対応が謳われている。ここではテレビ受像機などのシンク機器は、ＨＤＭＩにより接続ＡＶアンプに対して固有の一定の映像遅延量を知らせることができる。しかしながら、この場合にも、映像信号の種類やテレビ受像機等の設定に応じたダイナミックな遅延量の変動には対応することができない。
【００１７】
一方、ＨＤＭＩのＣＥＣベンダメッセージを利用して、表示装置の映像遅延量をＡＶアンプに知らせることができる。しかしながら、そのためには表示装置とＡＶアンプとの両方がお互いにメッセージを共有している必要がある。従って、無数に存在する表示装置とＡＶアンプとの組み合わせにおいては、ＣＥＣメッセージによる通知機能を使うことができないものが多数存在する。
つまり、どのような表示装置であっても、ＡＶアンプ等の音声処理装置側でその表示装置における映像処理の遅延量を知ることができるようにすることで、どのような表示装置であっても、また、表示装置側でダイナミックに遅延量が変化しても音声処理装置でダイナミックに音声の適切な遅延量を設定できるようにすることが求められる。
【００１８】
特許文献１では、ＣＥＣメッセージを用いるため、表示装置と外部機器との両方がＣＥＣ機能に対応していなければならず、上記のようにＣＥＣに対応していない表示装置との間では音声出力のタイミングを調整することはできない。
また、特許文献２では、表示装置およびスピーカから出力されたテスト音声信号を集音して差分時間を検出するため、集音の際に余計な音が集音されると誤設定となってしまう。また、特許文献２では、テスト音声信号の集音により音声信号遅延量を決定した後、映像のフォーマットや表示装置のユーザ設定に応じて映像の遅延量が変化した場合であっても、その遅延量にダイナミックに対応して音声遅延量を設定することはできない。
【００１９】
本発明は、上述のごとき実情に鑑みてなされたものであり、いかなる表示装置と組み合わせても、入力映像信号のフォーマットや表示装置のユーザ設定に応じたダイナミックな映像遅延量の変化に追従して音声遅延量が設定可能な音声信号処理装置を提供することを目的とするものである。
【課題を解決するための手段】
【００２０】
上記課題を解決するために、本発明の第１の技術手段は、音声信号を入力する第１の音声入力部と、該第１の音声入力部が入力した音声信号を出力する第１の音声出力部と、前記第１の音声出力部が出力した音声信号に遅延が加えられた遅延音声信号を入力する第２の音声入力部と、前記第１の音声入力部が入力した音声信号と、前記第２の音声入力部が入力した音声信号とを比較して、前記第１の音声入力部が入力した音声信号に対する前記第２の音声入力部が入力した音声信号の遅延量を検出する遅延量検出部と、該遅延量検出部が検出した遅延量に従って、前記第１の音声入力部が入力した音声信号を遅延させて出力する第２の音声出力部とを有することを特徴としたものである。
【００２１】
第２の技術手段は、第１の技術手段において、前記遅延量検出部は、前記第１の音声入力部が入力した音声信号と、前記第２の音声入力部が入力した音声信号との信号レベルの誤差が最も小さくなる遅延量を検出することを特徴としたものである。
【００２２】
第３の技術手段は、第１または２の技術手段において、前記第１の音声入力部が入力したマルチチャンネルの音声信号をダウンミックスして、前記遅延量検出部に出力するダウンミックス部を有することを特徴としたものである。
【００２３】
第４の技術手段は、第１〜３のいずれか１の技術手段において、前記第１の音声信号入力部が入力した音声信号、および前記第２の音声入力部が入力した音声信号のいずれかまたは両方の振幅レベルを調整することにより、前記第１の音声信号入力部が入力した音声信号と、前記第２の音声入力部が入力した音声信号との振幅レベルを揃える信号レベル制御部を有することを特徴としたものである。
【発明の効果】
【００２４】
本発明によれば、本特許は、このような課題を鑑み、いかなる表示装置と組み合わせても、入力映像信号のフォーマットや表示装置のユーザ設定に応じたダイナミックな映像遅延量の変化に追従して音声遅延量が設定可能な音声信号処理装置を提供することいかなるテレビとの組み合わせても、コンテンツやユーザの設定によるダイナミックな映像遅延量の変化に追従できる、
【図面の簡単な説明】
【００２５】
【図１】本発明による音声信号処理装置を用いた機器接続構成の一例を説明する図である。
【図２】本発明による音声信号処理装置の一実施形態における構成例を示す図である。
【図３】誤差計算回路における処理を説明するための図である。
【図４】同定制御回路よる各メモリのアドレシングを説明する図である。
【図５】同定制御回路における最初２乗誤差の解析による遅延量の決定処理について説明するための図である。
【図６】本発明による音声信号処理装置の他の実施形態における構成例を示す図である。
【図７】本発明による音声信号処理装置の他の実施形態における構成例を示す図である。
【図８】従来の音声信号処理装置の構成例を示す図である。
【図９】従来の音声信号処理装置を用いた機器接続構成の一例を説明する図である。
【発明を実施するための形態】
【００２６】
図１は、本発明による音声信号処理装置音声信号処理装置を用いた機器接続構成の一例を説明する図である。本実施形態では、音声信号処理装置の一例としてＡＶアンプ１０１を用いた映像・音声の出力システムの構成例を示している。
ＡＶアンプ１０１は、ＢＤプレーヤなどの出力機器１０２から映像・音声信号を入力する。映像・音声信号は、例えばＨＤＭＩによるケーブルを介して入力される。そして映像信号と音声信号は、テレビ受像機などの表示装置１０３に出力される。一方、音声信号は、ＡＶアンプ１０１に接続されたスピーカ１０４にも出力され、スピーカ１０４から音声出力される。
【００２７】
表示装置１０３では、入力した映像信号と音声信号を処理して映像表示および音声出力を行う。このとき、映像信号を入力して表示させるまでには遅延量が生じる。また、映像信号のフォーマットや表示装置１０３のユーザ設定等に応じて遅延量も変化する。
表示装置１０３では、音声信号を出力させる際に、映像処理に応じて遅延量を設定して映像表示に同期させて音声信号を出力する。つまり、表示装置１０３では、どのような種類の映像信号や表示設定であっても映像と音声とを同期させてリップシンクさせて出力させる機能を持っている。
【００２８】
そして通常、テレビ受像機などの表示装置１０３は、映像処理に応じて遅延させた音声信号を外部機器に出力するための出力端子を持っている。この出力端子は、Ｓ／ＰＤＩＦの光出力端子であったり、あるいはアナログ音声信号を出力するアナログ端子であったりする。
本来、このような音声出力端子は、テレビ受像機自身が受信した放送コンテンツの音声信号をＡＶアンプ１０１等に出力し、そのＡＶアンプからスピーカに音声出力させるために用いられるものであった。従って、図１に示すようなシステムの場合、表示装置１０３から音声出力させるための音声出力端子は実質的に用いられていなかった。
【００２９】
表示装置１０３では、入力映像のフォーマットや表示装置１０３に対するユーザ設定に応じて映像信号の入力から表示までの遅延量がダイナミックに変化しても、それに追随して映像の遅延量に同期させて音声信号を出力する。そして音声出力端子からも、映像に同期させた音声信号が出力される。つまり、ＡＶアンプ１０１では、表示装置１０３の音声出力端子から出力された音声信号と同じ遅延量でスピーカ１０４から音声出力させることができれば、表示装置１０３側で映像のフォーマットやユーザ設定に応じてダイナミックに映像の遅延量が変化した場合であっても、それに追随してスピーカ１０４からの音声出力を制御することができる。
【００３０】
そこで本実施形態に係るＡＶアンプ１０１は、表示装置１０３の音声出力端子から音声信号を入力し、その音声信号の音声遅延量を検出するためのリファレンスとして使用する。つまり表示装置１０３で映像処理に応じて適切な遅延量が付与された音声信号をリファレンスとして入力し、出力機器１０２から出力された音声信号とリファレンスとする表示装置１０３からの音声信号とを比較し、比較結果に従って出力機器１０２から出力された音声信号を遅延させてスピーカ１０４から音声出力させる。
【００３１】
これにより、表示装置１０３でダイナミックに映像の遅延量が変化しても、その遅延量に同期した音声信号をリファレンスとして使用してスピーカ１０４への音声出力の遅延量を決定するため、どのような表示装置１０３であっても、スピーカ１０４からの音声出力を表示装置１０３の映像表示にダイナミックに同期させることができるようになる。
【００３２】
図２は、本発明による音声信号処理装置の一実施形態における構成例を示す図で、音声信号処理装置であるＡＶアンプ１０１の構成と動作を説明するものである。ここでは、入力した音声信号の処理に係る部分のみを示している。
音声信号受信部１は、ＢＤプレーヤ等の出力機器から出力された音声信号を入力する。入力した音声信号は、音声信号送信部２からテレビ受像機などの表示装置に送信される。この音声信号は、表示装置にて映像処理に応じた遅延が施され、表示装置の音声出力端子から出力される。
【００３３】
また、音声信号受信部１が受信した音声信号は、音声デコーダ３にも入力され、デジタル音声信号がデコードされる。デコーダされた音声信号は遅延メモリ４に保持される。
音声信号受信部１は、音声信号を入力する本発明の第１の音声入力部に相当し、音声信号送信部２は、第１の音声信号入力部が入力した音声信号を出力する第１の音声出力部に相当する。
【００３４】
リファレンス信号受信部１１は、表示装置の音声出力端子から出力された音声信号を受信し、リファレンスメモリ１０に保持させる。この音声信号は、表示装置側で映像処理に応じて遅延された音声信号である。遅延量は、表示装置で表示する映像のフォーマットや表示装置のユーザ設定に応じてダイナミックに変化する。表示装置から出力された音声信号がアナログ音声信号の場合には、リファレンス信号受信部１１でその音声信号をＡ／Ｄ変換してデジタルデータとしてリファレンスメモリ１０に保持させる。リファレンス信号受信部１１は、第１の音声出力部（音声信号送信部２）が出力した音声信号に遅延が加えられた遅延音声信号を入力する本発明の第２の音声入力部に相当する。
【００３５】
遅延量検出部１２は、誤差計算回路９と同定制御回路８とを有しており、音声信号受信部１（第１の音声入力部）が入力した音声信号と、リファレンス信号受信部１１（第２の音声入力部）が入力した音声信号とを比較して、音声信号受信部１が受信した音声信号に対するリファレンス信号受信部１１が受信した音声信号の遅延量を検出する。
【００３６】
ここで遅延量検出部１２の誤差計算回路９は、遅延メモリ４に保持されている入力音声信号と、リファレンスメモリ１０に保持されている音声信号とを比較し、比較した音声信号の誤差を計算する。ここでの誤差は最小２乗誤差を用いる。誤差計算回路９では、リファレンスメモリ１０の音声信号に対して、遅延メモリ４０の音声信号の遅延量をずらしながら音声信号データの２乗誤差を算出し、各遅延量における２乗誤差をｅｒｒｏｒとして同定制御回路８に出力する。
【００３７】
同定制御回路８は、誤差計算回路９から出力された２乗誤差（ｅｒｒｏｒ）が最も小さくなるときの遅延量Ｍを計算し、そのＭの値を遅延量制御回路７に出力する。また。同定制御回路８は、遅延メモリ４とリファレンスメモリ１０とを制御して、誤差計算回路９で２乗誤差を計算させるデータを誤差計算回路９に出力させる。同定制御回路８が出力する遅延量Ｍが、遅延量検出部１２により検出された遅延量となる。
【００３８】
遅延量制御回路７は、同定制御回路８から出力された遅延量Ｍに従って、遅延メモリ４に保持されている音声信号を信号処理回路５に出力させる。信号処理回路５は、音声信号に対して信号処理を施してスピーカから出力させるための音声信号を生成する。アンプ６は、信号処理回路５で信号処理された音声信号を増幅し、図示しない外部のスピーカに出力する。音声遅延量検出が検出した遅延量に従って、音声信号受信部１が受信した音声信号を遅延させて出力する本発明の第２の音声出力部は、遅延量制御回路７及び遅延メモリ４、信号処理回路５，アンプ６によって実現されている。
【００３９】
図３は、誤差計算回路における処理を説明するための図である。
リファレンスメモリ１０には、リファレンス信号受信部１１が受信した特定の長さの音声信号のデータｂｉｎ（ｉ）を保持している。音声信号のデータｂｉｎ（ｉ）は、ｂｉｎ（０）〜ｂｉｎ（Ｎ）のＮ＋１個のデータであるとする。また、遅延メモリ４には、音声デコーダ３でデコードされた音声信号のデータａｉｎ（ｉ）が保持されている。デコードされた音声信号のデータａｉｎ（ｉ）、は、データｂｉｎ（ｉ）よりも長期間の音声信号のデータであり、ａｉｎ（０）〜ａｉｎ（Ｋ）までのＫ＋１個のデータであるとする。また、データのサンプリング間隔はａｉｎ（ｉ）とｂｉｎ（ｉ）で同じであるものとする。
【００４０】
遅延メモリ４に保持されているデータａｉｎ（ｉ）の特定の位置のデータをａｉｎ（Ｍ）とし、データｂｉｎ（ｉ）と同じ個数（つまり同じ長さ）のデータを抽出する。この場合、データｂｉｎ（ｉ）のデータ個数Ｎ＋１個に相当するａｉｎ（Ｍ）〜ａｉｎ（Ｍ＋Ｎ）までのデータを抽出する。
そして、各音声信号のデータ同士を比較し、その２乗誤差（ｅｒｒｏｒ（Ｍ）とする）を以下の式（１）に従って算出する。
【００４１】
【数１】
2013207307.tif 000003
【００４２】
上記の２乗誤差は、誤差２乗平均の平方根をとった２乗平均平方根誤差であるが、この他、誤差の２乗平均をとった平均２乗誤差等を用いるものであってもよい。
このときに、遅延メモリ４とリファレンスメモリ１０とから誤差計算回路９に出力されるデータは、同定制御回路８によって制御される。同定制御回路８よる各メモリのアドレシングは、図４のようになる。つまり、同定制御回路８は、遅延メモリ４の音声信号のデータａｉｎ（ｉ）のうち、ａｉｎ（Ｍ）から順にａｉｎ（Ｍ＋Ｎ）にアドレシングする。また、リファレンスメモリ１０の音声信号のデータｂｉｎ（ｉ）のうち、ｂｉｎ（０）から順にｂｉｎ（Ｎ）までアドレシングして、誤差計算回路９に出力させる。
【００４３】
こうして、同定制御回路８は、誤差計算回路９が特定のＭについて２乗誤差を算出して同定制御回路８に出力すると、Ｍの値を１つ増加させ、遅延メモリ４のデータａｉｎ（Ｍ）の位置を変化させる。こうして、同定制御回路８は、式（１）によって２乗誤差を算出できる全てのＭの値について、誤差計算回路９にて２乗誤差を算出させる。全てのＭの値とは、Ｍ＝０〜（Ｋ−Ｎ）までの値である。誤差計算回路９が算出した全ての２乗誤差（ｅｒｒｏｒ（Ｍ））は、同定制御回路８に出力される。
【００４４】
このＭの値は、入力した音声信号を遅延させる遅延量に相当しており、このＭの値を決定することにより、音声信号受信部１が入力した音声信号の遅延量を決定することができる。Ｍが０であれば、入力した音声信号を遅延させることなくそのままスピーカに出力させることができる。Ｍが大きくなるほど、入力した音声信号の遅延量が大きくなる。
【００４５】
図５は、同定制御回路における最小２乗誤差の解析による遅延量の決定処理について説明するための図である。誤差計算回路９からは２乗誤差であるｅｒｒｏｒ（Ｍ）が出力されてくる。遅延量Ｍに対してｅｒｒｏｒ（Ｍ）の値をプロットすると、例えば図５に示すような曲線となる。ここでｅｒｒｏｒ（Ｍ）が最小となるポイント（ｍｉｎ（ｅｒｒｏｒ（Ｍ）））に相当する遅延量Ｍの値が、表示装置で映像処理により生じる遅延量に相当する量である。従って、この遅延量Ｍで遅延メモリ４の音声信号をスピーカから出力させればよい。
【００４６】
同定制御回路８は、最小２乗誤差に相当する遅延量のＭの値を遅延量制御回路７に出力する。遅延量制御回路７は、遅延メモリ４に保持されている音声信号を遅延量Ｍで遅延させて信号処理回路５に出力させる。信号処理回路５で信号処理された音声信号は、アンプ６で増幅されスピーカから音声出力される。
【００４７】
音声信号受信部１が受信した音声信号がＬＲの２チャンネルのステレオ音声信号であり、リファレンス信号受信部１１が受信した音声信号もＬＲの２チャンネルの音声信号である場合、誤差計算回路９及び同定制御回路８により最小二乗誤差を計算するために用いる音声信号としては、例えばＬチャンネルの音声信号同士とするか、もしくはＲチャンネル同士の音声信号とすることができる。あるいは、両方の音声信号において、ＬチャンネルとＲチャンネルとの信号レベルの平均値を算出し、その平均値同士で比較して最小二乗誤差を計算するようにしてもよい。あるいは、Ｌチャンネル同士の二乗誤差と、Ｒチャンネル同士の二乗誤差の全ての総和を取り、その総和の二乗誤差が最小となる値を遅延量Ｍとして検出するようにしてもよい。
【００４８】
上記のようにして、音声信号受信部１で受信した音声信号の遅延量をシフトさせながらリファレンスの音声信号との一致度を検証する。そして一致度が高いとき（最小２乗誤差が最小となるとき）の遅延量が、すなわち、表示装置１０３における映像処理で生じる遅延量である。ＡＶアンプ１０１は、遅延量をリアルタイムで計算しながら入力音声信号を遅延させて出力するので、表示装置側の遅延量が変化しても、その変化に対する追従性が良好なリップシンク調整機能を実現することができる。
【００４９】
図６は、本発明による音声信号処理装置の他の実施形態における構成例を示す図で、音声信号処理装置であるＡＶアンプ１０１の構成と動作を説明するものである。
図６の構成は、上記図２の構成と比して、遅延メモリ４と誤差計算回路９との間にダウンミックス回路１３を設けたものとなっている。
【００５０】
本発明に係る実施形態の特徴は、音声信号受信部１が受信した音声信号がマルチチャンネルの音声信号であっても、リファレンス信号受信部１１が受信した音声信号と比較して、音声信号受信部１が受信した音声信号の遅延量をダイナミックに決定することにある。ここで音声信号受信部１が受信した音声信号が例えばサラウンドなどに対応したマルチチャンネルの音声信号であった場合であっても、テレビ受像機などの表示装置からリファレンスとして出力される音声信号は２チャンネルのステレオ音声信号であることが多々ある。
このような場合に、マルチチャンネルの音声信号とステレオ音声信号とを比較することは難しいため、入力したマルチチャンネルの音声信号をダウンミックして例えばステレオ音声信号に変換するダウンミックス回路１３を設ける。
【００５１】
誤差計算回路９では、ダウンミックス回路１３から出力されたステレオ音声信号と、リファレンス信号受信部１１で受信されたステレオ音声信号とを比較して誤差を計算する。このとき、ステレオ音声信号は２チャンネルであるため、上記の例で説明したように、Ｌチャンネルの音声信号同士、もしくはＲチャンネル同士の音声信号で二乗誤差を計算し、あるいは、両方の音声信号において、ＬチャンネルとＲチャンネルとの信号レベルの平均値を算出し、その平均値同士で比較して二乗誤差を計算する。あるいは、Ｌチャンネル同士の二乗誤差と、Ｒチャンネル同士の二乗誤差の全ての総和を取り、同定制御回路８でその総和の二乗誤差が最小となる値を遅延量Ｍとして算出することができる。
【００５２】
本実施形態では、ＢＤプレーヤの等の出力機器からマルチチャンネルの音声信号が入力した場合であっても、ダウンミックス回路１３によってリファレンスとする音声信号に合わせた音声信号とすることができ、これにより、最小二乗誤差の計算と遅延量の同定を合理的かつ確実に行うことができるようになる。
【００５３】
図７は、本発明による音声信号処理装置の他の実施形態における構成例を示す図で、音声信号処理装置であるＡＶアンプ１０１の構成と動作を説明するものである。
図７の構成は、上記図２の構成と比して、遅延メモリ４と誤差計算回路９との間、及びリファレンス信号受信部１１とリファレンスメモリ１０との間にそれぞれ第１の信号レベル制御回路１４と第２の信号レベル制御回路１５とを設けたものとなっている。リファレンスメモリ１０と第２の信号レベル制御回路１５との順序は逆としてもよく、誤差計算回路９に入力させる音声信号の信号レベルを調整できる構成であればよい。
【００５４】
例えば、表示装置から出力され、リファレンス信号受信部１１が受信した音声信号がデジタル音声信号である場合には、音声デコーダ３でデコードされた音声信号との比較、同定は容易である。しかしながら、リファレンス信号受信部１１が受信した音声信号がアナログ信号である場合、Ａ／Ｄ変換を行うことでデジタルデータとして取り込むと、音声デコーダ３でデコードされた音声信号との振幅レベルが合わず、遅延量の同定をうまく行うことができなくなる場合がある。
【００５５】
従って本実施形態では、第１の信号レベル制御回路１４により、遅延メモリ４から誤差計算回路９に出力させる音声信号の振幅を変換し、第２の信号レベル制御回路１５によって、リファレンス信号受信部１１で受信した音声信号の振幅を変換して、両者の音声信号の振幅レベルを揃えるようにする。より具体的には、第１及び第２の信号レベル制御回路１４，１５によって、遅延メモリ４から出力された音声信号の最大振幅と、リファレンス信号受信部１１から出力された音声信号の最大振幅とを合わせるように、各音声信号の振幅レベルを変換する。これにより、振幅レベルが合わない音声信号から誤差計算を行って遅延量を同定する場合でも、振幅レベルが揃えられた音声信号を用いることができるため、確実に遅延量の同定を行うことができるようになる。
【符号の説明】
【００５６】
１…音声信号受信部、２…音声信号送信部、３…音声デコーダ、４…遅延メモリ、５…信号処理回路、６…アンプ、７…遅延量制御回路、８…同定制御回路、９…誤差計算回路、１０…リファレンスメモリ、１１…リファレンス信号受信部、１２…遅延量検出部、１３…ダウンミックス回路、１４，１５…信号レベル制御回路、２１…音声信号受信部、２２…音声信号送信部、２３…音声デコーダ、２４…ユーザＩＦ、２５…遅延量制御回路、２６…遅延メモリ、２７…信号処理回路、２８…アンプ、１０１…ＡＶアンプ、１０２…出力機器、１０３…表示装置、１０４…スピーカ。
【図１】
2013207307.tif 000004
【図２】
2013207307.tif 000005
【図３】
2013207307.tif 000006
【図４】
2013207307.tif 000007
【図５】
2013207307.tif 000008
【図６】
2013207307.tif 000009
【図７】
2013207307.tif 000010
【図８】
2013207307.tif 000011
【図９】
2013207307.tif 000012