(57)【要約】【課題】主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができるようにする。【解決手段】主音響同期特徴量取得部は、放送波を通じて取得された主音響信号の特徴量を抽出する。副音響同期特徴量取得部は、ネットワークを通じて取得された副音響信号の特徴量を抽出する。音響同期処理部は、主音響信号と副音響信号の特徴量に基づいて、主音響信号と副音響信号の同期情報を生成する。音響合成部４０は、同期情報に基づいて、主音響信号と副音響信号を合成する。本技術は、例えば、テレビジョン受像機に適用することができる。【選択図】図２
2013135309.tif 000002
【特許請求の範囲】
【請求項１】
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置。
【請求項２】
前記第１の通信経路を通じて取得された、前記第１の音響信号に対応する映像信号の表示を制御する表示制御部
をさらに備える
請求項１に記載の信号処理装置。
【請求項３】
前記第１の通信経路は、放送波であり、
前記第２の通信経路は、前記放送波により受信された付随情報に基づいて決定される
請求項１に記載の信号処理装置。
【請求項４】
前記第１の通信経路と前記第２の通信経路は同一である
請求項１に記載の信号処理装置。
【請求項５】
前記第２の音響信号は、前記第１の音響信号の音質劣化が少ない音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
請求項１に記載の信号処理装置。
【請求項６】
前記第２の音響信号は、前記第１の音響信号と言語が異なる音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
請求項１に記載の信号処理装置。
【請求項７】
前記第２の音響信号は、前記第１の音響信号に対応する楽曲のカラオケ用の楽曲の音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
請求項１に記載の信号処理装置。
【請求項８】
前記第１の音響信号は、BGM(Background music)の音響信号と主要な音響の音響信号を異なるチャンネルの音響信号として有する音響信号であり、
前記第２の音響信号は、前記BGMの音響信号であり、
前記音響合成部は、前記第２の音響信号を、前記BGMのチャンネルの音響信号の逆位相で前記第１の音響信号に合成する
請求項１に記載の信号処理装置。
【請求項９】
信号処理装置が、
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
を含む信号処理方法。
【請求項１０】
コンピュータを、
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置して機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【請求項１２】
第１の通信経路を通じて第１の音響信号を送信する第１の送信部
を有する第１の信号処理装置と、
第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信する第２の送信部
を有する第２の信号処理装置と、
前記第１の送信部から送信されてくる前記第１の音響信号を受信する第１の受信部と、
前記第２の送信部から送信されてくる前記第２の音響信号を受信する第２の受信部と、
前記第１の受信部により受信された前記第１の音響信号と、前記第２の受信部により受信された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を有する第３の信号処理装置と
を備える信号処理システム。
【請求項１３】
第１乃至第３の信号処理装置を備える信号処理システムの、
前記第１の信号処理装置は、第１の通信経路を通じて第１の音響信号を送信し、
前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
前記第２の信号処理装置は、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信し、
前記第３の信号処理装置は、前記第２の信号処理装置から前記第２の音響信号を受信し、
前記第３の信号処理装置は、受信された前記第１の音響信号と前記第２の音響信号の、特徴量をそれぞれ算出し、
前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
信号処理方法。
【請求項１４】
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置。
【請求項１５】
前記第１の音響信号を特定する情報に基づいて、前記記憶部から前記第２の音響信号を読み出すように制御を行う読み出し制御部
をさらに備える
請求項１４に記載の信号処理装置。
【請求項１６】
信号処理装置が、
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
を含む信号処理方法。
【請求項１７】
コンピュータを、
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置として機能させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムが記録されている記録媒体。
【請求項１９】
所定の通信経路を通じて第１の音響信号を送信する送信部
を有する第１の信号処理装置と、
前記第１の音響信号に対応する第２の音響信号を記憶する記憶部
を有する第２の信号処理装置と、
前記送信部から送信されてくる前記第１の音響信号を受信する受信部と、
前記記憶部から読み出された前記第２の音響信号を取得する取得部と、
前記受信部により受信された前記第１の音響信号と、前記取得部により取得された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を有する第３の信号処理装置と
を備える信号処理システム。
【請求項２０】
第１乃至第３の信号処理装置を備える信号処理システムの、
前記第１の信号処理装置は、所定の通信経路を通じて第１の音響信号を送信し、
前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
前記第２の信号処理装置は、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部から前記第２の音響信号を読み出し、
前記第３の信号処理装置は、前記第２の信号処理装置により読み出された前記第２の音響信号を取得し、
前記第３の信号処理装置は、受信された前記第１の音響信号と、読み出された前記第２の音響信号の、特徴量をそれぞれ算出し、
前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、信号処理方法、プログラム、および記録媒体、並びに、信号処理システムに関し、特に、主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができるようにした信号処理装置、信号処理方法、プログラム、および記録媒体、並びに、信号処理システムに関する。
【背景技術】
【０００２】
従来より、音響信号処理装置において、ユーザのニーズに合わせて出力音響の高音質化等が実現されている。
【０００３】
例えば、音響信号処理装置としてのテレビジョン受像機の製造業者は、音の広がりが出るようにテレビジョン受像機のデザインを工夫したり、テレビジョン受像機が備えるスピーカの性能を上げたり、高性能のスピーカを別売したりすることにより、出力音響の高音質化を実現している。また、ユーザが、テレビジョン受像機とは別にオーディオアンプやスピーカ等を用意することにより、出力音響の高音質化を実現する場合もある。
【０００４】
このように、ハードウェアによる高音質化が実現される一方、ソフトウェアによる高音質化も実現されている。例えば、周波数帯域を広げたり（例えば、特許文献１参照）、音の広がりを付加したり、聞き易い音質に調整したりするデジタル信号処理により、出力音響の高音質化が実現されている。
【０００５】
また、テレビジョン放送等は、使用可能な電波を周波数帯域を分け合って使用するため、伝送帯域が制限され、音響信号は、所定の圧縮符号化方式で伝送される。
【０００６】
例えば、日本の地上デジタル放送では、圧縮符号化方式としてMPEG2（Moving Picture Experts Group phase 2） AAC（Advanced Audio Coding）方式が採用されている。この圧縮符号化方式の符号化は、符号化前後の音響信号が一致しない不可逆符号化であり、符号化の過程で音質が劣化することが知られている。このような音質劣化により、特に携帯機器等で受信される、ワンセグ放送と呼ばれる、携帯電話機や移動体端末向けの1セグメントの地上デジタル放送では、音響が聞き取りにくいことがある。
【０００７】
また、インターネットを介してストリーミングされる音響も、不可逆符号化されていることが多い。
【０００８】
一方、移動体通信の通信規格としては、LTE（Long Term Evolution）等が考案されている。これにより、より多くの情報を通信することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１３９８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
例えば、上述したように、圧縮符号化等により音響信号の音質が劣化する場合、その音響信号の代わりに、音質劣化が少ない音響信号を出力することが望ましい。また、音響信号が、ユーザの所望する言語の音響信号ではない場合、その音響信号の代わりに、ユーザの所望する言語の音響信号を出力することが望ましい。また、音響信号が、ユーザの所望するタイプの音響信号ではない場合、その音響信号の代わりに、ユーザの所望するタイプの音響信号を出力することが望ましい。
【００１１】
即ち、音響信号処理装置において、所定の音響信号である主音響信号に同期させて、音質劣化が少ない音響信号、言語の異なる音響信号、タイプの異なる音響信号などの、主音響信号と同一または類似の副音響信号を出力することが望まれている。
【００１２】
主音響信号と副音響信号を同期する方法として、タイムコードを用いる方法が考えられるが、タイムコードを全ての副音響信号に設定する必要があり、放送番組等の副音響信号の編集に手間を要する。また、副音響信号が、自宅のサーバに記録された楽曲等のタイムコードが設定されていない音響信号である場合、同期を取ることができない。
【００１３】
本技術は、このような状況に鑑みてなされたものであり、主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の第１の側面の信号処理装置は、第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを備える信号処理装置である。
【００１５】
本技術の第１の側面の信号処理方法、プログラム、および記録媒体に記録されるプログラムは、本技術の第１の側面の信号処理装置に対応する。
【００１６】
本技術の第１の側面においては、第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量がそれぞれ算出され、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報が生成され、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号が合成される。
【００１７】
本技術の第２の側面の信号処理システムは、第１の通信経路を通じて第１の音響信号を送信する第１の送信部を有する第１の信号処理装置と、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信する第２の送信部を有する第２の信号処理装置と、前記第１の送信部から送信されてくる前記第１の音響信号を受信する第１の受信部と、前記第２の送信部から送信されてくる前記第２の音響信号を受信する第２の受信部と、前記第１の受信部により受信された前記第１の音響信号と、前記第２の受信部により受信された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを有する第３の信号処理装置とを備える信号処理システムである。
【００１８】
本技術の第２の側面の信号処理方法は、本技術の第２の側面の信号処理システムに対応する。
【００１９】
本技術の第２の側面においては、第１の信号処理装置が、第１の通信経路を通じて第１の音響信号を送信し、第３の信号処理装置が、前記第１の信号処理装置から前記第１の音響信号を受信し、第２の信号処理装置が、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信し、前記第３の信号処理装置が、前記第２の信号処理装置から前記第２の音響信号を受信し、受信された前記第１の音響信号と前記第２の音響信号の、特徴量をそれぞれ算出し、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する。
【００２０】
本技術の第３の側面の信号処理装置は、所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを備える信号処理装置である。
【００２１】
本技術の第３の側面の信号処理方法、プログラム、および記録媒体に記録されるプログラムは、本技術の第３の側面の信号処理装置に対応する。
【００２２】
本技術の第３の側面においては、所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量がそれぞれ算出され、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報が生成され、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号が合成される。
【００２３】
本技術の第４の側面の信号処理システムは、所定の通信経路を通じて第１の音響信号を送信する送信部を有する第１の信号処理装置と、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部を有する第２の信号処理装置と、前記送信部から送信されてくる前記第１の音響信号を受信する受信部と、前記記憶部から読み出された前記第２の音響信号を取得する取得部と、前記受信部により受信された前記第１の音響信号と、前記取得部により取得された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部とを有する第３の信号処理装置とを備える信号処理システムである。
【００２４】
本技術の第４の側面の信号処理方法は、本技術の第４の側面の信号処理システムに対応する。
【００２５】
本技術の第４の側面においては、第１の信号処理装置が、所定の通信経路を通じて第１の音響信号を送信し、第３の信号処理装置が、前記第１の信号処理装置から前記第１の音響信号を受信し、第２の信号処理装置が、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部から前記第２の音響信号を読み出し、前記第３の信号処理装置は、前記第２の信号処理装置により読み出された前記第２の音響信号を取得し、受信された前記第１の音響信号と、読み出された前記第２の音響信号の、特徴量をそれぞれ算出し、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する。
【発明の効果】
【００２６】
本技術の第１乃至第４の側面によれば、主音響信号に同期させて主音響信号と同一または類似の副音響信号を出力することができる。
【図面の簡単な説明】
【００２７】
【図１】本技術を適用した信号処理システムの第１実施の形態の構成例を示す図である。
【図２】図１のテレビジョン受像機の第１の構成例を示すブロック図である。
【図３】図２の放送受信部の構成例を示すブロック図である。
【図４】図２のテレビジョン受像機における合成音響信号を説明する図である。
【図５】図２のテレビジョン受像機の番組出力処理を説明するフローチャートである。
【図６】図５の選局処理の詳細を説明するフローチャートである。
【図７】図５の放送受信処理の詳細を説明するフローチャートである。
【図８】図５の出力処理の詳細を説明するフローチャートである。
【図９】図８の副音響信号受信処理の詳細を説明するフローチャートである。
【図１０】図１のテレビジョン受像機の第２の構成例を示すブロック図である。
【図１１】図１０のテレビジョン受像機の出力処理の詳細を説明するフローチャートである。
【図１２】図１１の副音響信号受信処理の詳細を説明するフローチャートである。
【図１３】図１１の合成処理の詳細を説明するフローチャートである。
【図１４】本技術を適用した信号処理システムの第２実施の形態の構成例を示す図である。
【図１５】本技術を適用した信号処理システムの第３実施の形態の構成例を示す図である。
【図１６】図１５のテレビジョン受像機の構成例を示すブロック図である。
【図１７】図１６のテレビジョン受像機の番組出力処理を説明するフローチャートである。
【図１８】図１７の選択処理の詳細を説明するフローチャートである。
【図１９】図１７の取得処理の詳細を説明するフローチャートである。
【図２０】本技術を適用した信号処理システムの第４実施の形態の構成例を示す図である。
【図２１】図２０のテレビジョン受像機の構成例を示すブロック図である。
【図２２】図２１の受信部による放送受信処理を説明するフローチャートである。
【図２３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
＜第１実施の形態＞
［信号処理システムの第１実施の形態の構成例］
図１は、本技術を適用した信号処理システムの第１実施の形態の構成例を示す図である。
【００２９】
図１の信号処理システム１０は、テレビジョン受像機１１が、ネットワークを介して、クラウドサービス装置１２、放送局サーバ１３、および自宅サーバ１４と接続されることにより構成される。
【００３０】
テレビジョン受像機１１は、信号処理装置として機能する。テレビジョン受像機１１は、例えば、信号処理装置としての放送局からアンテナ１１Ａを介して送信されてくる地上デジタル放送の放送波を受信し、その放送波で送信されてくる放送信号を取得する。放送信号には、圧縮符号化された、地上デジタル放送の映像信号および主音響信号、付随情報としての番組情報などが含まれる。番組情報とは、主音響信号と同一または類似の副音響信号の取得先としてクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４を示す供給元情報、副音響信号を特定する特定情報などの情報である。
【００３１】
テレビジョン受像機１１は、圧縮符号化された番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１１は、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。
【００３２】
テレビジョン受像機１１は、地上デジタル放送の圧縮符号化された映像信号および主音響信号を復号する。テレビジョン受像機１１は、復号の結果得られる主音響信号と副音響信号を同期させて合成し、合成音響信号を生成する。テレビジョン受像機１１は、合成音響信号を、復号された映像信号とともに出力する。
【００３３】
なお、副音響信号の取得開始タイミングや通信速度により、映像信号の出力時にまだ副音響信号が取得されていない場合には、テレビジョン受像機１１は、副音響信号が取得されるまで待機するようにしてもよいし、副音響信号が取得されるまで主音響信号を出力するようにしてもよい。ここでは、テレビジョン受像機１１は、副音響信号が取得されるまで主音響信号を出力するものとする。
【００３４】
クラウドサービス装置１２は、クラウドサービスを提供する信号処理装置であり、副音響信号を記憶する。クラウドサービス装置１２は、テレビジョン受像機１１の要求に応じて、記憶している副音響信号をテレビジョン受像機１１に送信する。
【００３５】
放送局サーバ１３は、地上デジタル放送の放送局により管理される信号処理装置としてのサーバであり、副音響信号を記憶している。放送局サーバ１３は、テレビジョン受像機１１の要求に応じて、記憶している副音響信号をテレビジョン受像機１１に送信する。
【００３６】
自宅サーバ１４は、テレビジョン受像機１１のユーザが所有する信号処理装置としてのDLNA（Digital Living Network Alliance）サーバ、オーディオ機器に内蔵するサーバ等のサーバであり、副音響信号を記憶している。自宅サーバ１４は、テレビジョン受像機１１の要求に応じて、記憶している副音響信号をテレビジョン受像機１１に送信する。なお、自宅サーバ１４は、テレビジョン受像機１１に内蔵されていてもよい。
【００３７】
また、副音響信号は、主音響信号と同一の圧縮符号化方式で符号化される必要はなく、一般的なテレビジョン受像機で再生可能な符号化されない音響信号であってもよい。また、副音響信号は、必要に応じて、ロスレス符号化やロッシー符号化等で符号化されてもよいが、副音響信号の符号化方式としては、テレビジョン受像機が復号化できる符号化方式が適切に選択される必要がある。
【００３８】
以上のような信号処理システム１０では、例えば、副音響信号が、主音響信号とは異なる圧縮符号化方式で圧縮符号化された音響信号、圧縮符号化されていない音響信号等の音質劣化の少ない音響信号である場合、テレビジョン受像機１１は、主音響信号に代えて、より高音質の副音響信号を出力することができる。
【００３９】
また、副音響信号が、主音響信号とは異なる言語の音響信号である場合、テレビジョン受像機１１は、主音響信号に代えて、言語の異なる副音響信号を出力することができる。さらに、副音響信号が、主音響信号に対応する楽曲のカラオケ用の音響信号である場合、テレビジョン受像機１１は、主音響信号に代えて、カラオケ用の副音響信号を出力することができる。また、副音響信号が、主音響信号のBGM(Background music)の音響信号である場合、テレビジョン受像機１１は、主音響信号と逆位相の副音響信号を主音響信号と合成して出力することにより、主音響信号に対応する音響のうちのBGMを小さくすることができる。
【００４０】
さらに、副音響信号が、収録カメラの裏の観覧席や、数か所の応援席などで収録された試合の音響信号を、収録場所ごとに異なるチャンネルの音響信号として有する音響信号である場合、所定のチャンネルの副音響信号のみを、主音響信号に代えて出力することができる。これにより、例えば、２チームの試合の番組の副音響信号のうちの、所定のチームの応援席の音響信号のみを出力することができる。
【００４１】
［テレビジョン受像機の第１の構成例］
図２は、図１のテレビジョン受像機１１の第１の構成例を示すブロック図である。
【００４２】
図２のテレビジョン受像機１１は、副音響信号として、主音響信号とは異なる圧縮符号化方式で圧縮符号化された音響信号、圧縮符号化されていない音響信号等の音質劣化の少ない音響信号を受信し、主音響信号に代えて副音響信号を出力する。
【００４３】
具体的には、テレビジョン受像機１１の放送受信部３１は、アンテナ１１Ａを介して地上デジタル放送の放送波を受信する受信処理を行い、その放送波で送信されてくる放送信号のTS（Transport Stream）を取得し、DeMux処理部３２に供給する。
【００４４】
DeMux処理部３２は、放送受信部３１から供給されるTSから、符号化された映像信号（以下、符号化映像信号という）、符号化された主音響信号（以下、符号化主音響信号という）、および符号化された番組情報（以下、符号化番組情報という）を抽出する。DeMux処理部３２は、符号化映像信号を映像復号化部３３に供給し、符号化番組情報をデータ復号化部３６に供給し、符号化主音響信号を音響復号化部３９に供給する。
【００４５】
映像復号化部３３は、DeMux処理部３２から供給される符号化映像信号を復号化し、その結果得られる映像信号を映像調整部３４に供給する。映像調整部３４は、映像復号化部３３から供給される映像信号に対して、例えば、明るさ調整処理、色合い調整処理、輝度調整処理、傾き調整処理等の調整処理を行う。映像調整部３４は、表示制御部として機能し、調整処理後の映像信号を映像出力部３５に供給することにより映像を表示させる。映像出力部３５は、映像調整部３４から供給される映像信号に基づいて、映像を表示する。
【００４６】
データ復号化部３６は、DeMux処理部３２から供給される符号化番組情報を復号化し、その結果得られる番組情報をデータ処理部３７に供給する。データ処理部３７は、データ復号化部３６から新たな番組情報が供給されたとき、保持している番組情報を更新する処理等を行う。データ処理部３７は、更新された番組情報をパケット受信設定部３８に供給する。
【００４７】
パケット受信設定部３８は、データ処理部３７から供給される番組情報の供給元情報が示す副音響信号の供給元を接続先として示すとともに、特定情報を示す制御信号をパケット受信部４５に供給する。
【００４８】
音響復号化部３９は、DeMux処理部３２から供給される符号化主音響信号を復号化し、その結果得られる主音響信号を音響合成部４０と主音響同期特徴量取得部４３に供給する。
【００４９】
音響合成部４０は、音響復号化部３９から供給される主音響信号と副音響調整部５３から供給される副音響信号を、所定の比率で合成し、合成音響信号を生成する。例えば、合成音響信号をAm、主音響信号をA1、主音響信号と副音響信号の合成比率をC1:C2、副音響信号をA2とすると、音響合成部４０は、チャンネルごとに、以下の式（１）を用いて合成音響信号Amを生成する。
【００５０】
Am=C1×A1+C2×A2
・・・（１）
【００５１】
式（１）によれば、例えば、C1が0.5であり、C2が0.5である場合、主音響信号と副音響信号が平等に合成される。
【００５２】
なお、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合の合成比率C1:C2は、副音響信号の供給元で決定されてもよいし、テレビジョン受像機１１のユーザにより決定されてもよい。ここでは、テレビジョン受像機１１は、主音響信号に代えて副音響信号を出力するので、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合、C1が0であり、C2が1である。音響同期処理部５１から主音響信号のみを出力する制御信号が供給される場合、C1は1であり、C2は0である。
【００５３】
このように、C1またはC2のいずれか一方が0である場合、音響合成部４０は、上述した式（１）による合成を行わず、主音響信号または副音響信号をそのまま合成音響信号とするようにしてもよい。音響合成部４０は、合成音響信号を音響調整部４１に供給する。
【００５４】
音響調整部４１は、音響合成部４０から供給される合成音響信号に対して、音量調整処理、左右のバランス調整処理、広がりの付加処理等の調整処理を施し、調整処理後の合成音響信号Amの振幅が閾値（例えば、1.0）を超える場合、その振幅が閾値以下となるように、例えば、合成音響信号に対して、閾値でクリップする処理等を行う。音響調整部４１は、その結果得られる合成音響信号を音響出力部４２に供給する。
【００５５】
音響出力部４２は、デジタルアンプ、D/A変換部、スピーカ等（いずれも図示せず）からなる。音響出力部４２のデジタルアンプは、音響調整部４１から供給される合成音響信号の音量を調整し、D/A変換部は、その結果得られる合成音響信号に対してD/A変換を行う。音響出力部４２のスピーカは、D/A変換の結果得られるアナログ信号に対応する音響を出力する。
【００５６】
主音響同期特徴量取得部４３は、特徴量算出部として機能し、音響復号化部３９から供給される主音響信号から、所定の特徴量を、設計時に決定された分析長（以下、分析フレームという）ごとに取得する。例えば、分析フレーム長が256サンプルである場合、主音響同期特徴量取得部４３は、256サンプルごとに帯域分割し、各帯域の時間信号のゲイン情報を特徴量として取得する。または、主音響同期特徴量取得部４３は、256サンプルごとに時間周波数変換を施し、得られた周波数スペクトルから、周波数スペクトルが最大となる周波数、周波数スペクトルのパワーエンベロープの形状（例えば、ピークパワーの大きさ、ピークパワーからの傾き、第２ピークパワーの位置など）、基本周波数等を特徴量として取得する。
【００５７】
なお、特徴量は正規化されてもよいし、上述した特徴量の２以上であってもよい。また、主音響同期特徴量取得部４３は、分析フレーム長ずつ移動して特徴量を抽出するのではなく、例えば分析フレーム長の半分のサンプル数（例えば、128サンプル）ずつ移動して、特徴量を抽出してもよい。即ち、主音響同期特徴量取得部４３は、分析フレーム長をオーバーラップさせて特長量を抽出するようにしてもよい。主音響同期特徴量取得部４３は、特徴量を主音響同期特徴量更新部４４に供給する。
【００５８】
主音響同期特徴量更新部４４は、循環バッファ等からなり、設計時に決定された数の特徴量を蓄積する。具体的には、主音響同期特徴量更新部４４は、主音響同期特徴量取得部４３から供給される特徴量を蓄積する。このとき、既に設計時に決定された数の特徴量が蓄積されている場合には、最も古い特徴量を、主音響同期特徴量取得部４３から供給される特徴量に更新する。主音響同期特徴量更新部４４は、蓄積されている特徴量を音響同期処理部５１に供給する。
【００５９】
パケット受信部４５は、パケット受信設定部３８から供給される制御信号に応じて初期化処理等を行う。また、パケット受信部４５は、制御信号に応じて、接続先であるクラウドサービス装置１２と接続し、クラウドサービス装置１２に特定情報で特定される副音響信号を要求する。さらに、パケット受信部４５は、要求に応じてクラウドサービス装置１２から送信されてくる副音響信号のパケットを受信し、一時的に保持する。
【００６０】
ペイロードデータ取得部４６は、パケット受信部４５に蓄積されたパケットからペイロードデータを取得し、保持する。また、ペイロードデータ取得部４６は、ペイロードデータの中から、符号化された副音響信号（以下、符号化副音響信号という）、または、符号化されていない副音響信号を取得し、副音響復号化部４７に供給する。
【００６１】
副音響復号化部４７は、ペイロードデータ取得部４６から符号化副音響信号が供給される場合、符号化副音響信号を復号化し、その結果得られる副音響信号を副音響信号更新部４８に供給する。また、副音響復号化部４７は、ペイロードデータ取得部４６から副音響信号が供給される場合、その副音響信号をそのまま副音響信号更新部４８に供給する。
【００６２】
副音響信号更新部４８は、循環バッファ等からなり、設計時に決定された数の副音響信号を蓄積する。副音響信号更新部４８は、蓄積されている副音響信号を副音響同期特徴量取得部４９に供給する。
【００６３】
副音響同期特徴量取得部４９は、特徴量算出部として機能し、主音響同期特徴量取得部４３と同様に、副音響信号更新部４８から供給される副音響信号から、所定の特徴量を分析フレームごとに取得し、副音響同期特徴量更新部５０に供給する。なお、特徴量の抽出対象は、副音響信号のうちの、放送局により予め指定されたチャンネルの副音響信号だけであってもよい。
【００６４】
副音響同期特徴量更新部５０は、主音響同期特徴量更新部４４と同様に、循環バッファ等からなり、設計時に決定された数の特徴量を蓄積する。副音響同期特徴量更新部５０は、蓄積されている特徴量を音響同期処理部５１に供給する。
【００６５】
音響同期処理部５１は、主音響同期特徴量更新部４４と副音響同期特徴量更新部５０から供給される特徴量に基づいて、副音響信号が主音響信号に同期するための補正量を、主音響信号と副音響信号の同期情報として算出する。
【００６６】
具体的には、例えば、音響同期処理部５１は、主音響信号の各分析フレームの特徴量のベクトルと、副音響信号の各分析フレームの特徴量のベクトルの相関値を計算する。そして、音響同期処理部５１は、相関値の最大値が、設計時に決定される閾値（例えば、0.7）以上である場合、同期位置が存在すると判断し、その相関値に対応する主音響信号と副音響信号の分析フレーム（以下、同期分析フレームという）の先頭位置間のサンプル数を補正量として算出する。一方、相関値の最大値が閾値未満である場合、同期位置が存在しないと判断する。
【００６７】
音響同期処理部５１は、補正量が算出された場合、その補正量を副音響同期信号取得部５２に供給する。一方、同期位置が存在しないと判断された場合、または、副音響同期特徴量更新部５０から副音響信号の特徴量が供給されない場合、音響同期処理部５１は、副音響同期信号取得部５２と副音響調整部５３に処理を行わない制御信号を供給する。また、音響同期処理部５１は、音響合成部４０に主音響信号のみを出力する制御信号を供給する。これにより、主音響信号と副音響信号の同期位置がない場合、または、副音響信号が取得されない場合、主音響信号に対応する音響が、映像とともに出力される。
【００６８】
なお、C1が0ではない場合などには、音響同期処理部５１は、補正量を分析フレーム単位ではなく、サンプル単位で算出するようにしてもよい。
【００６９】
この場合、音響同期処理部５１は、同期分析フレームを中心に、設計時に決定される一定時間分（例えば、１分析フレーム分）の音響信号の信号波形どうしの相関値を計算する。そして、音響同期処理部５１は、その相関値の最大値が設計時に決定される閾値以上の場合には、同期位置が存在するとして、その相関値に対応する主音響信号と副音響信号のサンプル（以下、同期サンプルという）の位置間のサンプル数を補正量として算出する。一方、その相関値の最大値が閾値未満である場合、同期位置が存在しないと判断してもよいし、同期分析フレームの先頭位置間のサンプル数を補正量として算出してもよい。
【００７０】
なお、音響同期処理部５１は、音響信号の信号波形どうしの相関値を、所定の帯域（例えば16バンド）単位で計算するようにしてもよい。この場合、音響同期処理部５１は、主音響信号と副音響信号を所定の帯域単位で分割し、その結果得られる帯域分割信号の相関値を計算する。そして、同期サンプルの位置は、全帯域の相関値の最大値に対応する主音響信号と副音響信号のサンプルの位置、所定の帯域ごとの相関値の最大値が最も多い主音響信号と副音響信号のサンプルの位置、または所定の帯域ごとの相関値の最大値に対応する主音響信号と副音響信号のサンプルの平均位置とされる。
【００７１】
このように、音響同期処理部５１は、所定の帯域ごとの相関値を用いて同期サンプルの位置を求めることにより、主音響信号または副音響信号が特定の帯域に相関値を小さくする要因となる音響信号を含む場合であっても、高精度の補正量を求めることができる。
【００７２】
副音響同期信号取得部５２は、音響同期処理部５１から供給される補正量に基づいて、副音響信号更新部４８から副音響信号を読み出す。
【００７３】
副音響調整部５３は、副音響同期信号取得部５２から供給される副音響信号に対して既定の調整処理を行う。
【００７４】
例えば、副音響信号が、ドラマや映画等の主要な音響（例えば台詞など）の音響信号とBGMの音響信号を異なるチャンネルの音響信号として有する、音質劣化の少ない音響信号である場合、副音響調整部５３は、BGMのチャンネルの音響信号に対して、レベルを下げる処理、頭部伝達関数(HRTF(Head-Related Transfer Function))を畳み込む等して仮想的にBGMを奥行きのある位置へ定位させる処理等を調整処理として行う。また、副音響調整部５３は、主要な音響のチャンネルの音響信号に対して、レベルを上げる処理、HRTFを畳み込む等して仮想的に主要な音響をテレビジョン受像機１１の正面に定位させる処理等を調整処理として行う。これにより、例えば、主要な音響が強調され、主要な音響が聞き易くなる。
【００７５】
なお、音響出力部４２が、5.1chのシアターシステム等のマルチチャンネル再生システムである場合には、副音響調整部５３は、例えば、BGMのチャンネルをリアスピーカのチャンネルとし、主要な音響のチャンネルをフロントスピーカのチャンネルとし、HRTFを畳み込む処理等を調整処理として行うようにしてもよい。
【００７６】
また、副音響信号が、収録カメラの裏の観覧席や、数ヶ所の応援席などで収録された試合の音響信号を、収録場所ごとに異なるチャンネルの音響信号として有する、音質劣化の少ない音響信号である場合、チャンネルごとにHRTFを畳み込む等して仮想的に後ろに定位させる処理等を調整処理として行う。これにより、試合の臨場感が向上する。
【００７７】
なお、音響出力部４２がマルチチャンネル再生システムである場合には、副音響調整部５３は、例えば、全チャンネルをリアスピーカのチャンネルとし、HRTFを畳み込む処理等を調整処理として行うようにしてもよい。副音響調整部５３は、調整処理後の音響信号を、音響合成部４０に供給する。
【００７８】
なお、本明細書では、副音響信号が常に存在し、常に主音響信号と副音響信号を合成して出力するものとするが、副音響信号は常に存在しなくてもよい。また、本明細書では、主音響信号と副音響信号を合成して出力する機能である拡張音響機能が常に有効であるものとするが、拡張音声機能を有効または無効にするユーザからの指示に応じて、副音響信号を取得するかしないかを決定するようにしてもよい。さらに、副音響信号の有無や、拡張音響機能を有効または無効にするユーザからの指示に応じて、音響復号化部３９は、音響信号を主音響同期特徴量取得部４３に供給してもよい。
【００７９】
［放送受信部の構成例］
図３は、図２の放送受信部３１の構成例を示すブロック図である。
【００８０】
図３の放送受信部３１は、チューナ７０、A/D変換部７１、復調処理部７２、TS蓄積部７３、およびTS取得部７４により構成される。
【００８１】
チューナ７０は、アンテナ１１Ａを介して受信される放送波から所定のチャンネルの放送波を抽出し、A/D変換部７１に供給する。A/D変換部７１は、チューナ７０から供給される放送波に対してA/D変換を行い、その結果得られるデジタル信号を復調処理部７２に供給する。
【００８２】
復調処理部７２は、A/D変換部７１から供給されるデジタル信号を復調し、その結果得られる放送信号のTSをTS蓄積部７３に供給する。TS蓄積部７３は、循環バッファ等からなり、復調処理部７２から供給されるTSを一時的に蓄積する。TS取得部７４は、TS蓄積部７３から一定時間間隔でTSを取得し、図２のDeMux処理部３２に供給する。
【００８３】
[合成音響信号の説明]
図４は、図２のテレビジョン受像機１１における合成音響信号を説明する図である。
【００８４】
図４に示すように、副音響信号は、主音響信号より音質劣化の少ない音響信号である。音響合成部４０では、主音響信号がミュートされ、主音響信号に同期する副音響信号が合成音響信号として出力される。
【００８５】
[テレビジョン受像機の処理の第１の例の説明]
図５は、図２のテレビジョン受像機１１の番組出力処理を説明するフローチャートである。この番組出力処理は、例えば、ユーザが図示せぬ入力部を操作して視聴の開始をテレビジョン受像機１１に指示したとき、開始される。
【００８６】
図５のステップＳ１１において、テレビジョン受像機１１の放送受信部３１は、受信対象のチャンネルを選局する選局処理を行う。この選局処理の詳細は、後述する図６を参照して説明する。
【００８７】
ステップＳ１２において、放送受信部３１は、所定のチャンネルの放送信号を受信する放送受信処理を行う。この放送受信処理の詳細は、後述する図７を参照して説明する。
【００８８】
ステップＳ１３において、テレビジョン受像機１１は、映像信号と合成音響信号を出力する出力処理を行う。この出力処理の詳細は、後述する図８を参照して説明する。
【００８９】
ステップＳ１４において、テレビジョン受像機１１は、ユーザが図示せぬ入力部を操作して視聴の終了を指示したかどうかを判定する。ステップＳ１４でユーザが視聴の終了を指示していないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１乃至Ｓ１４の処理が繰り返される。
【００９０】
一方、ステップＳ１４でユーザが視聴の終了を指示したと判定された場合、処理は終了する。
【００９１】
図６は、図５のステップＳ１１の選局処理の詳細を説明するフローチャートである。
【００９２】
図６のステップＳ３１において、放送受信部３１のチューナ７０（図３）は、ユーザが図示せぬ入力部を操作して視聴するチャンネルの変更を指示したかどうかを判定する。なお、最初のステップＳ３１の処理時には、ユーザが視聴するチャンネルの変更を指示したと判定される。
【００９３】
ステップＳ３１でユーザが視聴するチャンネルの変更を指示したと判定された場合、ステップＳ３２において、チューナ７０は、保持している、受信対象のチャンネルが変更されたことを示す変更フラグを有効にし、受信準備が整っていることを示す準備フラグをオフにする選局変更処理を行う。そして、処理は図５のステップＳ１１に戻り、ステップＳ１２に進む。
【００９４】
一方、ステップＳ３１でユーザが視聴するチャンネルの変更を指示していないと判定された場合、処理は図５のステップＳ１１に戻り、ステップＳ１２に進む。
【００９５】
図７は、図５のステップＳ１２の放送受信処理の詳細を説明するフローチャートである。
【００９６】
図７のステップＳ５１において、放送受信部３１のチューナ７０（図３）は、変更フラグに基づいて、受信対象のチャンネルが変更されたかどうかを判定する。ステップＳ５１で受信対象のチャンネルが変更されたと判定された場合、処理はステップＳ５２に進む。
【００９７】
ステップＳ５２において、チューナ７０は、選局するチャンネルをユーザにより指示されたチャンネルに設定する処理や初期化処理等を受信局設定処理として行う。そして、チューナ７０は、変更フラグを無効にするとともに、準備フラグをオンにし、処理をステップＳ５３に進める。
【００９８】
一方、ステップＳ５１で受信対象のチャンネルが変更されていないと判定された場合、処理はステップＳ５３に進む。
【００９９】
ステップＳ５３において、チューナ７０は、アンテナ１１Ａを介して受信される放送波から、ステップＳ５２で選局するチャンネルとして設定されたチャンネルの放送波を抽出し、A/D変換部７１に供給する。
【０１００】
ステップＳ５４において、A/D変換部７１は、チューナ７０から供給される放送波に対してA/D変換を行い、その結果得られるデジタル信号を復調処理部７２に供給する。
【０１０１】
ステップＳ５５において、復調処理部７２は、A/D変換部７１から供給されるデジタル信号を復調する。
【０１０２】
ステップＳ５６において、復調処理部７２は、復調の結果得られる放送信号のTSをTS蓄積部７３に供給し、蓄積させる。
【０１０３】
ステップＳ５７において、TS取得部７４は、保持している、TS蓄積部７３に蓄積されたTSの状態情報（例えば、まだ読み出されていないTSの量等）を更新する。そして、処理は図５のステップＳ１２に戻り、ステップＳ１３に進む。
【０１０４】
図８は、図５のステップＳ１３の出力処理の詳細を説明するフローチャートである。
【０１０５】
図８のステップＳ７１において、DeMux処理部３２は、図３のTS取得部７４に保持されているTSの状態情報を確認し、まだ読み出されていないTSが存在するかどうかを判定する。ステップＳ７１でまだ読み出されていないTSが存在すると判定された場合、ステップＳ７２において、DeMux処理部３２は、TS取得部７４からTSを取得する。
【０１０６】
ステップＳ７３において、DeMux処理部３２は、TS取得部７４から取得したTSから、符号化映像信号、符号化主音響信号、および符号化番組情報を抽出する。DeMux処理部３２は、符号化映像信号は映像復号化部３３に供給し、符号化番組情報をデータ復号化部３６に供給し、符号化主音響信号を音響復号化部３９に供給する。
【０１０７】
ステップＳ７４において、映像復号化部３３は、DeMux処理部３２から供給される符号化映像信号を復号化し、その結果得られる映像信号を映像調整部３４に供給する。ステップＳ７５において、映像調整部３４は、映像復号化部３３から供給される映像信号に対して調整処理を行い、映像出力部３５に供給する。
【０１０８】
ステップＳ７６において、音響復号化部３９は、DeMux処理部３２から供給される符号化主音響信号を復号化し、その結果得られる主音響信号を音響合成部４０と主音響同期特徴量取得部４３に供給する。
【０１０９】
ステップＳ７７において、テレビジョン受像機１１は、副音響信号を受信する副音響信号受信処理を行う。この副音響信号受信処理の詳細は、後述する図９を参照して説明する。ステップＳ７７の処理後、処理はステップＳ７８に進む。
【０１１０】
ステップＳ７８において、副音響復号化部４７は、ペイロードデータ取得部４６にまだ読み出されていない副音響信号が存在するかどうかを判定する。ステップＳ７８で副音響信号が存在すると判定された場合、ステップＳ７９において、副音響復号化部４７は、副音響信号が符号化されている場合、符号化副音響信号を復号化する。また、副音響復号化部４７は、副音響信号が符号化されていない場合、その副音響信号をそのままにする。
【０１１１】
ステップＳ８０において、副音響復号化部４７は、副音響信号を副音響信号更新部４８に供給し、蓄積させる。ステップＳ８１において、主音響同期特徴量取得部４３と副音響同期特徴量取得部４９は、それぞれ、音響復号化部３９からの主音響信号、副音響信号更新部４８からの副音響信号から、所定の特徴量を分析フレームごとに取得する。そして、主音響同期特徴量取得部４３は、取得された特徴量を主音響同期特徴量更新部４４に供給して蓄積させ、副音響同期特徴量取得部４９は、取得された特徴量を副音響同期特徴量更新部５０に供給して、蓄積させる。
【０１１２】
ステップＳ８２において、音響同期処理部５１は、主音響信号の各分析フレームの特徴量のベクトルと、副音響信号の各分析フレームの特徴量のベクトルの相関値を計算する。
【０１１３】
ステップＳ８３において、音響同期処理部５１は、主音響信号と副音響信号の同期位置が存在するかどうか、即ちステップＳ８２で計算された相関値の最大値が所定の閾値以上であるかどうかを判定する。
【０１１４】
ステップＳ８３で主音響信号と副音響信号の同期位置が存在すると判定された場合、音響同期処理部５１は、同期分析フレームの先頭位置間のサンプル数を補正量として算出する。そして、音響同期処理部５１は、その補正量を副音響同期信号取得部５２に供給する。
【０１１５】
ステップＳ８４において、副音響同期信号取得部５２は、音響同期処理部５１から供給される補正量に基づいて、副音響信号更新部４８から副音響信号を読み出す。
【０１１６】
ステップＳ８５において、副音響調整部５３は、副音響同期信号取得部５２から供給される副音響信号に対して調整処理を行い、音響合成部４０に供給する。
【０１１７】
ステップＳ８６において、音響合成部４０は、音響復号化部３９から供給される主音響信号と副音響調整部５３から供給される副音響信号を、所定の比率で合成し、合成音響信号を生成する。そして、音響合成部４０は、合成音響信号を音響調整部４１に供給し、処理をステップＳ８９に進める。
【０１１８】
一方、ステップＳ７１でまだ読み出されていないTSが存在しないと判定された場合、ステップＳ８８において、テレビジョン受像機１１は、所定の映像と音響を生成する既定映像音響生成処理を行う。具体的には、映像調整部３４は、受信対象のチャンネルの局番号や番組のタイトル、出力準備中である旨のメッセージ等の映像信号を生成し、映像出力部３５に供給する。また、音響合成部４０は、出力準備中である旨のメッセージ等の音響信号を生成し、音響調整部４１に供給する。そして、処理はステップＳ８９に進む。
【０１１９】
また、ステップＳ７８でペイロードデータ取得部４６にまだ読み出されていない副音響信号が存在しないと判定された場合、または、ステップＳ８３で主音響信号と副音響信号の同期位置が存在しないと判定された場合、音響同期処理部５１は、副音響同期信号取得部５２と副音響調整部５３に処理を行わない制御信号を供給する。また、音響同期処理部５１は、音響合成部４０に主音響信号のみを出力する制御信号を供給し、処理をステップＳ８７に進める。
【０１２０】
ステップＳ８７において、音響合成部４０は、音響復号部３９から供給される主音響信号を合成音響信号として音響調整部４１に供給し、処理をステップＳ８９に進める。
【０１２１】
ステップＳ８９において、音響調整部４１は、音響合成部４０から供給される合成音響信号に対して調整処理を行い、音響出力部４２に供給する。
【０１２２】
ステップＳ９０において、映像出力部３５は、映像調整部３４から供給される映像信号に基づいて、映像を表示する。また、音響出力部４２は、音響調整部４１から供給される合成音響信号の音量を調整してD/A変換を行い、その結果得られるアナログ信号に対応する音響を出力する。そして、処理は図５のステップＳ１３に戻り、ステップＳ１４に進む。
【０１２３】
なお、図８のステップＳ７３の抽出処理、ステップＳ７４，Ｓ７６，Ｓ７９の復号化処理、ステップＳ８１の特徴量取得処理、ステップＳ８２の相関値計算処理等は、並列に処理されてもよい。
【０１２４】
図９は、図８のステップＳ７７の副音響信号受信処理の詳細を説明するフローチャートである。
【０１２５】
図９のステップＳ１０１において、データ復号化部３６は、DeMux処理部３２から供給される符号化番組情報を復号化し、その結果得られる番組情報をデータ処理部３７に供給する。
【０１２６】
ステップＳ１０２において、データ処理部３７は、番組情報が変更されたか、即ちデータ復号化部３６から供給される番組情報が、保持している番組情報と異なっているか、または、最初の番組情報であるかを判定する。ステップＳ１０２で番組情報が変更されたと判定された場合、データ処理部３７は、保持している番組情報を更新する処理等を行う。そして、データ処理部３７は、更新された番組情報をパケット受信設定部３８に供給し、処理をステップＳ１０３に進める。
【０１２７】
ステップＳ１０３において、パケット受信設定部３８は、パケット受信部４５にパケットの受信を停止させ、データ処理部３７から供給される番組情報の供給元情報が示す副音響信号の供給元を接続先として示すとともに、特定情報を示す制御信号をパケット受信部４５に供給する。これにより、パケット受信部４５は、パケットの受信を停止して初期化処理等を行う。また、パケット受信部４５は、制御信号が示す接続先であるクラウドサービス装置１２と接続し、クラウドサービス装置１２に特定情報で特定される副音響信号を要求する。
【０１２８】
一方、ステップＳ１０２で番組情報が変更されていないと判定された場合、処理はステップＳ１０４に進む。
【０１２９】
ステップＳ１０４において、パケット受信部４５は、接続先から特定情報により特定される副音響信号のパケットを受信し、一時的に保持する。
【０１３０】
ステップＳ１０５において、ペイロードデータ取得部４６は、パケット受信部４５に蓄積されたパケットからペイロードデータを取得し、保持する。
【０１３１】
ステップＳ１０６において、ペイロードデータ取得部４６は、保持している、ペイロードデータの状態情報（例えば、まだ読み出されていないペイロードデータの量等）を更新する。そして、処理は図８のステップＳ７７に戻り、ステップＳ７８に進む。ステップＳ７８では、この状態情報に基づいて判定が行われる。
【０１３２】
以上のように、図２のテレビジョン受像機１１は、主音響信号と副音響信号の特徴量を抽出し、その特徴量に基づいて同期情報を生成し、同期情報に基づいて主音響信号と副音響信号を合成する。これにより、主音響信号に同期させて副音響信号を出力することができるので、番組の音響を音質劣化の少ない音響に違和感なく変更することができる。
【０１３３】
なお、図２のテレビジョン受像機１１は、クラウドサービス装置１２から副音響信号を受信したが、放送局サーバ１３または自宅サーバ１４から副音響信号を受信する場合も、接続先が放送局サーバ１３または自宅サーバ１４になること以外同様である。
【０１３４】
[テレビジョン受像機の第２の構成例]
図１０は、図１のテレビジョン受像機１１の第２の構成例を示すブロック図である。
【０１３５】
図１０に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３６】
図１０のテレビジョン受像機１１の構成は、主に、パケット受信部４５、副音響調整部５３、音響合成部４０の代わりに、パケット受信部９１、副音響調整部９２、音響合成部９３が設けられている点が図２の構成と異なる。
【０１３７】
図１０のテレビジョン受像機１１は、副音響信号として、主音響信号に対応する楽曲のカラオケ用の音響信号または楽曲の音響信号を自宅サーバ１４から受信し、主音響信号と副音響信号を合成して出力する。なお、特定情報としては、主音響信号に対応する楽曲を特定する楽曲情報（例えば、タイトル、番組のタイトル等）が用いられるものとする。
【０１３８】
具体的には、テレビジョン受像機１１のパケット受信部９１は、パケット受信設定部３８から供給される制御信号に応じて初期化処理等を行う。また、パケット受信部９１は、読み出し制御部として機能し、制御信号に応じて、接続先である自宅サーバ１４と接続し、自宅サーバ１４に楽曲情報で特定される楽曲の副音響信号を要求することにより、副音響信号の読み出しを制御する。
【０１３９】
これにより、自宅サーバ１４は、楽曲情報で特定される楽曲の副音響信号を検索する。このとき、楽曲情報が番組のタイトル等である場合には、自宅サーバ１４は、その番組で使用されている楽曲のタイトルなどをネットワーク経由で他のサーバから検索し、そのタイトルなどで特定される楽曲の副音響信号を検索する。自宅サーバ１４は、検索の結果得られる副音響信号を読み出してテレビジョン受像機１１に送信する。
【０１４０】
パケット受信部９１は、取得部として機能し、要求に応じて自宅サーバ１４から送信されてくる副音響信号のパケットを取得し、一時的に保持する。
【０１４１】
副音響調整部９２は、副音響同期信号取得部５２から供給される副音響信号に対して既定の調整処理を行う。例えば、副音響信号が、演奏パートごとの音響信号を異なるチャンネルの音響信号として有する音響信号である場合、副音響調整部９２は、ユーザにより選択された演奏パートの音響信号をミュートする処理、HRTFを畳み込む等して各演奏パートを所定の仮想位置へ定位させることにより臨場感を向上させる処理等を調整処理として行う。
【０１４２】
なお、音響出力部４２がマルチチャンネル再生システムである場合には、副音響調整部９２は、チャンネルごとに、そのチャンネルに対応するスピーカの位置に応じて予め決定される係数を副音響信号に乗じる処理を調整処理として行うようにしてもよい。副音響調整部９２は、調整処理後の音響信号を、音響合成部９３に供給する。
【０１４３】
音響合成部９３は、図２の音響合成部４０と同様に、音響復号化部３９から供給される主音響信号と副音響調整部９２から供給される副音響信号を、所定の比率で合成し、合成音響信号を生成する。
【０１４４】
なお、副音響信号がカラオケ用の楽曲の音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1は0であり、C2は1である。
【０１４５】
一方、主音響信号が、BGMの音響信号と主要な音響の音響信号を異なるチャンネルの音響信号として有する音響信号であり、副音響信号が、主音響信号に対応するBGMの音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1とC2は0.5である。但し、この場合、副音響信号は、主音響信号と逆位相にされ、副音響信号のサンプリング周波数が主音響信号のサンプリング周波数と同一になるようにサンプリング周波数が変換されて、合成される。音響合成部９３は、合成音響信号を音響調整部４１に供給する。
【０１４６】
[テレビジョン受像機の処理の第２の例の説明]
図１０のテレビジョン受像機１１の番組出力処理は、図５のステップＳ１３の出力処理を除いて図５の番組出力処理と同様であるので、出力処理についてのみ説明する。
【０１４７】
図１１は、図１０のテレビジョン受像機１１の出力処理の詳細を説明するフローチャートである。
【０１４８】
図１１のステップＳ１２１乃至Ｓ１２６の処理は、図８のステップＳ７１乃至Ｓ７６の処理と同様であるので、説明は省略する。
【０１４９】
ステップＳ１２７において、図１０のテレビジョン受像機１１は、副音響信号受信処理を行う。この副音響信号受信処理の詳細は、後述する図１２を参照して説明する。ステップＳ１２７の処理後、処理はステップＳ１２８に進む。
【０１５０】
ステップＳ１２８乃至Ｓ１３５の処理は、図８のステップＳ７８乃至Ｓ８５の処理と同様であるので、説明は省略する。
【０１５１】
ステップＳ１３６において、音響合成部９３は、音響復号化部３９から供給される主音響信号と副音響調整部９２から供給される副音響信号を合成する合成処理を行う。この合成処理の詳細は、後述する図１３を参照して説明する。ステップＳ１３６の処理後、処理はステップＳ１３９に進む。
【０１５２】
ステップＳ１３７乃至Ｓ１４０の処理は、図８のステップＳ８７乃至Ｓ９０の処理と同様であるので、説明は省略する。
【０１５３】
図１２は、図１１のステップＳ１２７の副音響信号受信処理の詳細を説明するフローチャートである。
【０１５４】
図１２のステップＳ１５１において、データ復号化部３６は、DeMux処理部３２から供給される符号化番組情報を復号化し、その結果得られる番組情報をデータ処理部３７に供給する。
【０１５５】
ステップＳ１５２において、データ処理部３７は、番組情報が変更されたかを判定する。ステップＳ１５２で番組情報が変更されたと判定された場合、データ処理部３７は、保持している番組情報を更新する処理等を行う。そして、データ処理部３７は、更新された番組情報をパケット受信設定部３８に供給し、処理をステップＳ１５３に進める。
【０１５６】
ステップＳ１５３において、パケット受信設定部３８は、データ処理部３７から供給される番組情報の供給元情報が示す副音響信号の供給元を接続先として示すとともに、特定情報を示す制御信号をパケット受信部９１に供給する。そして、処理はステップＳ１５４に進む。
【０１５７】
一方、ステップＳ１５２で番組情報が変更されていないと判定された場合、処理はステップＳ１５４に進む。
【０１５８】
ステップＳ１５４において、パケット受信部９１は、カラオケ機能が有効であるかどうかを判定する。具体的には、ユーザは、図示せぬ入力部を操作して、主音響信号の代わりにカラオケ用の副音響信号を出力するカラオケ機能を有効にする指示を行ったり、無効にする指示を行ったりすることができる。そして、ユーザの指示に応じて、カラオケ機能は有効にされたり、無効にされたりする。パケット受信部９１は、そのカラオケ機能が有効であるかどうかを判定する。
【０１５９】
ステップＳ１５４でカラオケ機能が有効であると判定された場合、処理はステップＳ１５５に進む。ステップＳ１５５において、パケット受信部９１は、自宅サーバ１４に楽曲情報で特定される楽曲のカラオケ用の副音響信号を要求する情報を生成し、処理をステップＳ１５７に進める。
【０１６０】
一方、ステップＳ１５４でカラオケ機能が有効ではないと判定された場合、処理はステップＳ１５６に進む。ステップＳ１５６において、パケット受信部９１は、自宅サーバ１４に楽曲情報で特定される楽曲の副音響信号を要求する情報を生成し、処理をステップＳ１５７に進める。
【０１６１】
ステップＳ１５７において、パケット受信部９１は、副音響信号を要求するかどうか、即ちカラオケ機能の有効性または番組情報が変更されたかどうかを判定する。ステップＳ１５７で副音響信号を要求すると判定された場合、パケット受信部９１は、初期化処理等を行う。
【０１６２】
そして、ステップＳ１５８において、パケット受信部９１は、ステップＳ１５５またはＳ１５６で生成された情報を自宅サーバ１４に送信することにより、自宅サーバ１４に副音響信号を要求する。
【０１６３】
ステップＳ１５９において、パケット受信部９１は、要求に応じて自宅サーバ１４から副音響信号が送信されてきたかどうかを判定する。ステップＳ１５９で自宅サーバ１４から副音響信号が送信されてきたと判定された場合、処理はステップＳ１６０に進む。
【０１６４】
ステップＳ１６０乃至Ｓ１６２の処理は、図９のステップＳ１０４乃至Ｓ１０６の処理と同様であるので、説明は省略する。ステップＳ１６２の処理後、処理は図１１のステップＳ１２７に戻り、ステップＳ１２８に進む。
【０１６５】
一方、ステップＳ１５７で要求しないと判定した場合、処理は図１１のステップＳ１２７に戻り、ステップＳ１２８に進む。また、ステップＳ１５９で要求に応じて自宅サーバ１４から副音響信号が送信されてきていないと判定された場合、例えば、自宅サーバ１４が副音響信号を記憶していない場合や自宅サーバ１４との通信にエラーが発生している場合、処理は図１１のステップＳ１２７に戻り、ステップＳ１２８に進む。
【０１６６】
図１３は、図１１のステップＳ１３６の合成処理の詳細を説明するフローチャートである。
【０１６７】
図１３のステップＳ１８０において、音響合成部８３は、副音響信号のサンプリング周波数を変換する必要があるかどうかを判定する。例えば、副音響信号と主音響信号のサンプリング周波数が同一ではない場合、ステップＳ１８０で副音響信号のサンプリング周波数を変換する必要があると判定され、処理はステップＳ１８１に進む。
【０１６８】
ステップＳ１８１において、音響合成部９３は、副音響信号のサンプリング周波数が主音響信号のサンプリング周波数と同一になるように、副音響信号のサンプリング周波数を変換し、処理をステップＳ１８２に進める。
【０１６９】
一方、副音響信号と主音響信号のサンプリング周波数が同一である場合、ステップＳ１８０で副音響信号のサンプリング周波数を変換する必要がないと判定され、処理はステップＳ１８２に進む。
【０１７０】
ステップＳ１８２において、音響合成部９３は、副音響信号が楽曲の音響信号であるかどうか、即ちカラオケ機能が無効であるかどうかを判定する。ステップＳ１８２で副音響信号が楽曲の音響信号であると判定された場合、処理はステップＳ１８３に進む。
【０１７１】
ステップＳ１８３において、音響合成部９３は、サンプリング周波数が変換された副音響信号の位相を主音響信号の逆位相にし、処理をステップＳ１８４に進める。
【０１７２】
一方、ステップＳ１８２で副音響信号が楽曲の音響信号ではないと判定された場合、即ち副音響信号がカラオケ用の音響信号である場合、処理はステップＳ１８４に進む。
【０１７３】
ステップＳ１８４において、音響合成部９３は、図２の音響合成部４０と同様に、主音響信号と副音響信号を所定の比率で合成し、合成音響信号を生成する。
【０１７４】
なお、副音響信号がカラオケ用の楽曲の音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1は0であり、C2は1である。一方、副音響信号が楽曲の音響信号である場合、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されていない場合のC1とC2は0.5である。また、音響同期処理部５１から主音響信号のみを出力する制御信号が供給されている場合のC1は1であり、C2は0である。ステップＳ１８４の処理後、処理は図１１のステップＳ１３６に戻り、ステップＳ１３７に進む。
【０１７５】
以上のように、図１０のテレビジョン受像機１１は、主音響信号と副音響信号の特徴量を抽出し、その特徴量に基づいて同期情報を生成し、同期情報に基づいて主音響信号と副音響信号を合成する。これにより、主音響信号に同期させて副音響信号を出力することができるので、例えば、番組の楽曲の音響をカラオケ用の楽曲の音響に違和感なく変更することができる。また、例えば、番組のBGMを、そのBGMの逆位相の音響によって小さくすることができる。
【０１７６】
なお、図１０のテレビジョン受像機１１は、自宅サーバ１４から副音響信号を受信したが、放送局サーバ１３またはクラウドサービス装置１２から副音響信号を受信する場合も、接続先が放送局サーバ１３またはクラウドサービス装置１２になること以外同様である。
【０１７７】
＜第２実施の形態＞
［信号処理システムの第２実施の形態の構成例］
図１４は、本技術を適用した信号処理システムの第２実施の形態の構成例を示す図である。
【０１７８】
図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７９】
図１４の信号処理システム１１０の構成は、主に、テレビジョン受像機１１の代わりに携帯端末１１１が設けられている点が図１の構成と異なる。信号処理システム１１０では、携帯端末１１１が、地上デジタル放送の13セグメントのうちの1セグメントのみを用いて行われるワンセグ放送を受信し、そのワンセグ放送の主音響信号と副音響信号を合成する。
【０１８０】
具体的には、携帯端末１１１は、例えば、放送局からアンテナ１１１Ａを介して送信されてくるワンセグ放送の放送波を受信し、その放送波で送信されてくる放送信号を取得する。携帯端末１１１は、放送信号のうちの符号化番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１１は、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。
【０１８１】
携帯端末１１１は、ワンセグ放送の符号化映像信号および符号化主音響信号を復号する。携帯端末１１１は、復号の結果得られる主音響信号と副音響信号を合成して、合成音響信号を生成する。携帯端末１１１は、合成音響信号を、復号の結果得られる映像信号とともに出力する。
【０１８２】
携帯端末１１１の具体的な処理は、地上デジタル放送ではなくワンセグ放送の放送波を受信すること以外、テレビジョン受像機１１と同様であるので、説明は省略する。但し、携帯端末１１１は、移動するため、トンネルの中等の電波の受信が困難な状況を想定する必要がある。従って、例えば、図３のTS蓄積部７３の蓄積容量は、テレビジョン受像機１１に比べて増加され、テレビジョン受像機１１に比べて多くのTSがTS蓄積部７３に蓄積されてから、TS取得部７４によるTSの取得が行われる。
【０１８３】
＜第３実施の形態＞
［信号処理システムの第３実施の形態の構成例］
図１５は、本技術を適用した信号処理システムの第３実施の形態の構成例を示す図である。
【０１８４】
図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８５】
図１５の信号処理システム１３０の構成は、主に、録画装置１３１が新たに設けられる点、および、テレビジョン受像機１１の代わりにテレビジョン受像機１３２が設けられている点が図１の構成と異なる。信号処理システム１３０では、テレビジョン受像機１３２が、録画装置１３１に録画されているテレビジョン放送の放送信号を受信し、放送信号のうちの主音響信号と副音響信号を合成する。
【０１８６】
具体的には、録画装置１３１は、例えば、HDD（Hard Disk Drive）レコーダ等からなる。録画装置１３１は、図示せぬアンテナを介して放送局から送信されてくる地上デジタル放送の放送波を受信し、その放送波で送信されてくる放送信号のTSを取得し、記録する。
【０１８７】
テレビジョン受像機１３２は、録画装置１３１から放送信号のTSを読み出す。テレビジョン受像機１３２は、図１のテレビジョン受像機１１と同様に、その放送信号のうちの符号化番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１３、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１３２は、テレビジョン受像機１１と同様に、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。
【０１８８】
テレビジョン受像機１３２は、テレビジョン受像機１１と同様に、放送信号のうちの符号化映像信号および符号化主音響信号を復号する。テレビジョン受像機１３２は、テレビジョン受像機１１と同様に、復号の結果得られる主音響信号と副音響信号を合成して、合成音響信号を生成する。テレビジョン受像機１１は、合成音響信号を、復号の結果得られる映像信号とともに出力する。
【０１８９】
[テレビジョン受像機の構成例]
図１６は、図１５のテレビジョン受像機１３２の構成例を示すブロック図である。
【０１９０】
図１６に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９１】
図１６のテレビジョン受像機１３２の構成は、主に、放送受信部３１の代わりに取得部１５１が設けられている点が図２の構成と異なる。
【０１９２】
取得部１５１は、ユーザにより指定された放送信号のTSを録画装置１３１から所定の処理単位で取得し、DeMux処理部３２に供給する。
【０１９３】
[テレビジョン受像機の処理の説明]
図１７は、図１６のテレビジョン受像機１３２の番組出力処理を説明するフローチャートである。この番組出力処理は、例えば、ユーザが図示せぬ入力部を操作して視聴の開始をテレビジョン受像機１３２に指示したとき、開始される。
【０１９４】
図１７のステップＳ２０１において、テレビジョン受像機１３２の取得部１５１は、再生対象の放送信号を選択する選択処理を行う。この選択処理の詳細は、後述する図１８を参照して説明する。
【０１９５】
ステップＳ２０２において、取得部１５１は、録画装置１３１から再生対象の放送信号を取得する取得処理を行う。この取得処理の詳細は、後述する図１９を参照して説明する。
【０１９６】
ステップＳ２０３およびＳ２０４の処理は、それぞれ、図５のステップＳ１３，Ｓ１４の処理と同様であるので、説明は省略する。
【０１９７】
図１８は、図１７のステップＳ２０１の選択処理の詳細を説明するフローチャートである。
【０１９８】
図１８のステップＳ２２１において、取得部１５１は、図示せぬ入力部を操作してユーザが再生する番組の変更を指示したかどうかを判定する。なお、最初のステップＳ２２１の処理時には、ユーザが再生する番組の変更を指示したと判定される。
【０１９９】
ステップＳ２２１でユーザが再生する番組の変更を指示したと判定された場合、ステップＳ２２２において、取得部１５１は、保持している、再生対象の番組が変更されたことを示す番組変更フラグを有効にし、取得準備が整っていることを示す取得準備フラグをオフにする選択変更処理を行う。そして、処理は図１７のステップＳ２０１に戻り、ステップＳ２０２に進む。
【０２００】
一方、ステップＳ２２１でユーザが再生する番組の変更を指示していないと判定された場合、処理は図１７のステップＳ２０１に戻り、ステップＳ２０２に進む。
【０２０１】
図１９は、図１７のステップＳ２０２の取得処理の詳細を説明するフローチャートである。
【０２０２】
図１９のステップＳ２４１において、取得部１５１は、番組変更フラグに基づいて、再生対象の番組が変更されたかどうかを判定する。ステップＳ２４１で再生対象の番組が変更されたと判定された場合、処理はステップＳ２４２に進む。
【０２０３】
ステップＳ２４２において、取得部１５１は、録画装置１３１からの放送信号の取得を停止し、ユーザにより指示された番組の放送信号の取得を開始する。そして、取得部１５１は、番組変更フラグを無効にするとともに、取得準備フラグをオンにする。そして、処理は図１７のステップＳ２０２に戻り、ステップＳ２０３に進む。
【０２０４】
一方、ステップＳ２４１で再生対象の番組が変更されていないと判定された場合、処理は図１７のステップＳ２０２に戻り、ステップＳ２０３に進む。
【０２０５】
以上のように、図１５のテレビジョン受像機１３２は、主音響信号と副音響信号の特徴量を抽出し、その特徴量に基づいて同期情報を生成し、同期情報に基づいて主音響信号と副音響信号を合成する。これにより、主音響信号に同期させて副音響信号を出力することができる。その結果、録画装置１３１が主音響信号の音質を下げて記録した場合であっても、高音質の主音響信号からなる副音響信号を主音響信号に代えて出力することにより、高音質の音響を違和感なく出力することができる。よって、録画装置１３１は、主音響信号の音質を下げて記録することにより、データ量を削減することができる。
【０２０６】
なお、第３実施の形態では、録画装置１３１が、放送信号をTS形式で記録したが、他の形式で記録するようにしてもよい。
【０２０７】
また、図１５のテレビジョン受像機１３２は、クラウドサービス装置１２から副音響信号を受信したが、放送局サーバ１３または自宅サーバ１４から副音響信号を受信する場合も、接続先が放送局サーバ１３または自宅サーバ１４になること以外同様である。
【０２０８】
＜第４実施の形態＞
［信号処理システムの第４実施の形態の構成例］
図２０は、本技術を適用した信号処理システムの第４実施の形態の構成例を示す図である。
【０２０９】
図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１０】
図２０の信号処理システム１７０の構成は、主に、テレビジョン受像機１１、放送局サーバ１３の代わりに、テレビジョン受像機１７１、放送局サーバ１７２−１乃至１７２−Ｎが設けられている点が図１の構成と異なる。信号処理システム１７０では、テレビジョン受像機１７１が、放送局サーバ１７２−１乃至１７２−Ｎからネットワークを介して地上デジタル放送の放送信号のTSを受信し、放送信号のうちの主音響信号と副音響信号を合成する。
【０２１１】
具体的には、テレビジョン受像機１７１は、放送局サーバ１７２−１乃至１７２−Ｎからネットワークを介して放送信号のTSを取得する。テレビジョン受像機１７１は、図１のテレビジョン受像機１１と同様に、その放送信号のうちの符号化番組情報を復号し、その結果得られる番組情報に基づいて、副音響信号をクラウドサービス装置１２、放送局サーバ１７２−１乃至１７２−Ｎ、または自宅サーバ１４にネットワークを介して要求する。テレビジョン受像機１７１は、テレビジョン受像機１１と同様に、その要求に応じてネットワークを介して送信されてくる副音響信号を受信する。
【０２１２】
テレビジョン受像機１７１は、テレビジョン受像機１１と同様に、放送信号のうちの符号化映像信号および符号化主音響信号を復号する。テレビジョン受像機１７１は、テレビジョン受像機１１と同様に、復号の結果得られる主音響信号と副音響信号を合成して、合成音響信号を生成する。テレビジョン受像機１７１は、合成音響信号を、復号の結果得られる映像信号とともに出力する。
【０２１３】
放送局サーバ１７２−１乃至１７２−Ｎは、それぞれ、地上デジタル放送の放送局により管理されるサーバであり、放送信号と副音響信号を記憶している。なお、以下では、放送局サーバ１７２−１乃至１７２−Ｎを特に区別する必要がない場合、それらをまとめて放送局サーバ１７２という。
【０２１４】
放送局サーバ１７２は、放送信号をネットワークを介して配信する。また、放送局サーバ１７２は、テレビジョン受像機１７１の要求に応じて、記憶している副音響信号をテレビジョン受像機１７１に送信する。
【０２１５】
[テレビジョン受像機の構成例]
図２１は、図２０のテレビジョン受像機１７１の構成例を示すブロック図である。
【０２１６】
図２１に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１７】
図２１のテレビジョン受像機１７１の構成は、主に、放送受信部３１の代わりに受信部１９１が設けられている点が図２の構成と異なる。
【０２１８】
受信部１９１は、放送局サーバ１７２からネットワークを介して地上デジタル放送の放送信号のTSパケットを受信し、そのTSパケットから放送信号のTSを取得する。受信部１９１は、放送信号のTSを蓄積する。受信部１９１は、蓄積されている放送信号のTSをDeMux処理部３２に供給する。
【０２１９】
[テレビジョン受像機の処理の説明]
図２０のテレビジョン受像機１７１の番組出力処理は、図５のステップＳ１２の放送受信処理を除いて、図５の番組出力処理と同様であるので、放送受信処理についてのみ説明する。
【０２２０】
図２２は、図２１の受信部１９１による放送受信処理を説明するフローチャートである。
【０２２１】
図２２のステップＳ２６１において、受信部１９１は、変更フラグに基づいて、受信対象のチャンネルが変更されたかどうかを判定する。ステップＳ２６１で受信対象のチャンネルが変更されたと判定された場合、処理はステップＳ２６２に進む。
【０２２２】
ステップＳ２６２において、受信部１９１は、受信する放送信号の放送局サーバ１７２をユーザにより指示されたチャンネルの放送局サーバ１７２に設定する処理や初期化処理等を受信局サーバ設定処理として行う。そして、受信部１９１は、変更フラグを無効にするとともに、準備フラグをオンにし、処理をステップＳ２６３に進める。
【０２２３】
一方、ステップＳ２６１で受信対象のチャンネルが変更されていないと判定された場合、処理はステップＳ２６３に進む。
【０２２４】
ステップＳ２６３において、受信部１９１は、ステップＳ２６２で受信する放送信号の放送局サーバ１７２として設定された放送局サーバ１７２から、ネットワークを介して放送信号のTSパケットを受信し、そのTSパケットに含まれるTSを蓄積する。
【０２２５】
ステップＳ２６４において、受信部１９１は、保持している、蓄積されたTSの状態情報（例えば、まだ読み出されていないTSの量等）を更新する。そして、放送受信処理は終了する。
【０２２６】
なお、図２１のテレビジョン受像機１７１は、クラウドサービス装置１２から副音響信号を受信したが、放送局サーバ１７２または自宅サーバ１４から副音響信号を受信する場合も、接続先が放送局サーバ１７２または自宅サーバ１４になること以外同様である。
【０２２７】
また、説明は省略するが、副音響信号が、主音響信号とは異なる言語の音響信号である場合や、主音響信号とは異なる言語の音響信号を含む場合も、上述した副音響信号が主音響信号より音質劣化の少ない音響信号である場合と同様に行われる。このとき、副音響信号が、主音響信号とは異なる言語の音響信号とBGMの音響信号を、各チャンネルの音響信号として有する音響信号である場合には、副音響信号が、ドラマや映画等の主要な音響（例えば台詞など）の音響信号とBGMの音響信号を異なるチャンネルの音響信号として有する、音質劣化の少ない音響信号である場合と同様の調整処理が、副音響信号に対して行われる。
【０２２８】
また、主音響信号と副音響信号の合成方法は、上述した方法以外の方法であってもよい。例えば、所定の区間の副音響信号のみが主音響信号と合成されるようにしてもよい。また、副音響信号の全チャンネルのうちの、主音響信号と同期のとれる音響信号のチャンネル以外のチャンネルの副音響信号が主音響信号と合成されるようにしてもよい。これにより、例えば、副音響信号が、主音響信号に対応する複数の言語の音響信号を、言語ごとに異なるチャンネルの音響信号として有する音響信号である場合、主音響信号に対応する所定の言語の音響と、その言語以外の副音響信号に対応する言語の音響を同時に出力することができる。
【０２２９】
さらに、主音響信号と副音響信号は、上述した信号に限定されない。
【０２３０】
また、特定情報は、必ずしも、放送信号に含まれる必要はなく、ユーザによりネットワークを介してダウンロードされたり、ユーザにより自宅サーバ１４に記憶されたりしてもよい。
【０２３１】
＜第５実施の形態＞
[本技術を適用したコンピュータの説明]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２３２】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３３】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２３４】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２３５】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２３６】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３７】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２３８】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０２３９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２４０】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２４１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２４３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４５】
なお、本技術は、以下のような構成もとることができる。
【０２４６】
（１）
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置。
（２）
前記第１の通信経路を通じて取得された、前記第１の音響信号に対応する映像信号の表示を制御する表示制御部
をさらに備える
前記（１）に記載の信号処理装置。
（３）
前記第１の通信経路は、放送波であり、
前記第２の通信経路は、前記放送波により受信された付随情報に基づいて決定される
前記（１）または（２）に記載の信号処理装置。
（４）
前記第１の通信経路と前記第２の通信経路は同一である
前記（１）または（２）に記載の信号処理装置。
（５）
前記第２の音響信号は、前記第１の音響信号の音質劣化が少ない音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記第２の音響信号は、前記第１の音響信号と言語が異なる音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（７）
前記第２の音響信号は、前記第１の音響信号に対応する楽曲のカラオケ用の楽曲の音響信号であり、
前記音響合成部は、前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を0対1の割合で合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（８）
前記第１の音響信号は、BGM(Background music)の音響信号と主要な音響の音響信号を異なるチャンネルの音響信号として有する音響信号であり、
前記第２の音響信号は、前記BGMの音響信号であり、
前記音響合成部は、前記第２の音響信号を、前記BGMのチャンネルの音響信号の逆位相で前記第１の音響信号に合成する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（９）
信号処理装置が、
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
を含む信号処理方法。
（１０）
コンピュータを、
第１の通信経路を通じて取得された第１の音響信号と、第２の通信経路を通じて取得された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置して機能させるためのプログラム。
（１１）
前記（１０）に記載のプログラムが記録されている記録媒体。
（１２）
第１の通信経路を通じて第１の音響信号を送信する第１の送信部
を有する第１の信号処理装置と、
第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信する第２の送信部
を有する第２の信号処理装置と、
前記第１の送信部から送信されてくる前記第１の音響信号を受信する第１の受信部と、
前記第２の送信部から送信されてくる前記第２の音響信号を受信する第２の受信部と、
前記第１の受信部により受信された前記第１の音響信号と、前記第２の受信部により受信された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を有する第３の信号処理装置と
を備える信号処理システム。
（１３）
第１乃至第３の信号処理装置を備える信号処理システムの、
前記第１の信号処理装置は、第１の通信経路を通じて第１の音響信号を送信し、
前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
前記第２の信号処理装置は、第２の通信経路を通じて前記第１の音響信号に対応する第２の音響信号を送信し、
前記第３の信号処理装置は、前記第２の信号処理装置から前記第２の音響信号を受信し、
前記第３の信号処理装置は、受信された前記第１の音響信号と前記第２の音響信号の、特徴量をそれぞれ算出し、
前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
信号処理方法。
（１４）
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置。
（１５）
前記第１の音響信号を特定する情報に基づいて、前記記憶部から前記第２の音響信号を読み出すように制御を行う読み出し制御部
をさらに備える
前記（１４）に記載の信号処理装置。
（１６）
信号処理装置が、
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出ステップと、
前記特徴量算出ステップの処理により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理ステップと、
前記音響同期処理ステップの処理により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成ステップと
を含む信号処理方法。
（１７）
コンピュータを、
所定の通信経路を通じて取得された第１の音響信号と、記憶部から読み出された前記第１の音響信号に対応する第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を備える信号処理装置として機能させるためのプログラム。
（１８）
前記（１７）に記載のプログラムが記録されている記録媒体。
（１９）
所定の通信経路を通じて第１の音響信号を送信する送信部
を有する第１の信号処理装置と、
前記第１の音響信号に対応する第２の音響信号を記憶する記憶部
を有する第２の信号処理装置と、
前記送信部から送信されてくる前記第１の音響信号を受信する受信部と、
前記記憶部から読み出された前記第２の音響信号を取得する取得部と、
前記受信部により受信された前記第１の音響信号と、前記取得部により取得された前記第２の音響信号の、特徴量をそれぞれ算出する特徴量算出部と、
前記特徴量算出部により算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成する音響同期処理部と、
前記音響同期処理部により生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する音響合成部と
を有する第３の信号処理装置と
を備える信号処理システム。
（２０）
第１乃至第３の信号処理装置を備える信号処理システムの、
前記第１の信号処理装置は、所定の通信経路を通じて第１の音響信号を送信し、
前記第３の信号処理装置は、前記第１の信号処理装置から前記第１の音響信号を受信し、
前記第２の信号処理装置は、前記第１の音響信号に対応する第２の音響信号を記憶する記憶部から前記第２の音響信号を読み出し、
前記第３の信号処理装置は、前記第２の信号処理装置により読み出された前記第２の音響信号を取得し、
前記第３の信号処理装置は、受信された前記第１の音響信号と、読み出された前記第２の音響信号の、特徴量をそれぞれ算出し、
前記第３の信号処理装置は、算出された前記特徴量に基づいて、前記第１の音響信号と前記第２の音響信号の同期情報を生成し、
前記第３の信号処理装置は、生成された前記同期情報に基づいて、前記第１の音響信号と前記第２の音響信号を合成する
信号処理方法。
【符号の説明】
【０２４７】
１０  信号処理システム，  １１  テレビジョン受像機，  １２  クラウドサービス装置，  １３  放送局サーバ，  １４  自宅サーバ，  ３１  放送受信部，  ３４  映像調整部，  ４１  音響合成部，  ４３  主音響同期特徴量取得部，  ４５  パケット受信部，  ４９  副音響同期特徴量取得部，  ５１  音響同期処理部，  ９１  パケット受信部，  ９３  音響合成部，  １１０  信号処理システム，  １１１  携帯端末，  １３０  信号処理システム，  １３２  テレビジョン受像機，  １７０  信号処理システム，  １７１  テレビジョン受像機，  １７２−１乃至１７２−Ｎ  放送局サーバ
【図１】
2013135309.tif 000003
【図２】
2013135309.tif 000004
【図３】
2013135309.tif 000005
【図４】
2013135309.tif 000006
【図５】
2013135309.tif 000007
【図６】
2013135309.tif 000008
【図７】
2013135309.tif 000009
【図８】
2013135309.tif 000010
【図９】
2013135309.tif 000011
【図１０】
2013135309.tif 000012
【図１１】
2013135309.tif 000013
【図１２】
2013135309.tif 000014
【図１３】
2013135309.tif 000015
【図１４】
2013135309.tif 000016
【図１５】
2013135309.tif 000017
【図１６】
2013135309.tif 000018
【図１７】
2013135309.tif 000019
【図１８】
2013135309.tif 000020
【図１９】
2013135309.tif 000021
【図２０】
2013135309.tif 000022
【図２１】
2013135309.tif 000023
【図２２】
2013135309.tif 000024
【図２３】
2013135309.tif 000025