(57)【要約】【課題】放送中の番組の不定位置にある音声の一部をリアルタイムでユーザ所望の音声に変更するデジタル放送受信装置を提供する。【解決手段】デジタル放送受信装置は、放送信号を受信する受信手段と、受信した放送信号をデコードして映像データ及び音声データを出力するデコード手段と、デコードされた映像データ及び音声データを保存するストリーム記憶手段と、ストリーム記憶手段から音声データを取り出して、所定変換手法により音声データを文字列に変換し、変換した文字列とユーザ所望の音声データとのパターンマッチを行う音声認識手段と、音声データにおいて、パターンマッチした箇所をユーザ所望の音声データで書き変える音声合成手段、を持つことを特徴とする。【選択図】図２
2011041169.tif 000002
【特許請求の範囲】
【請求項１】
デジタル放送をデコードして音声を出力するデジタル放送受信装置において、音声の全部または一部をリアルタイムでユーザ所望の音声に変更することを特徴とするデジタル放送受信装置。
【請求項２】
放送信号を受信する受信手段と、
受信した前記放送信号をデコードして映像データ及び音声データを出力するデコード手段と、
デコードされた前記映像データ及び前記音声データを保存するストリーム記憶手段と、
前記ストリーム記憶手段から前記音声データを取り出して、所定変換手法により前記音声データを文字列に変換し、変換した前記文字列とユーザ所望の音声データとのパターンマッチを行う音声認識手段と、
前記音声データにおいて、パターンマッチした箇所を前記ユーザ所望の音声データで書き変える音声合成手段、を持つことを特徴とするデジタル放送受信装置。
【請求項３】
前記音声合成手段が書き変えた前記ユーザ所望の音声データと前記映像データとのズレを補正する出力遅延部を保持することを特徴とする請求項２記載のデジタル放送受信装置。
【請求項４】
前記所定変換方法を、ネットワークまたは外部メディアからも取得することを特徴とする請求項２記載のデジタル放送受信装置。
【請求項５】
地震等の緊急速報が発生した場合に速報データを検知する速報判定部と、
前記速報データをＯＳＤ表示するＯＳＤ合成部と、を備えることを特徴とする請求項２記載のデジタル放送受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は地上デジタル放送等のデジタル放送を受信するデジタル放送受信装置に関し、更に詳しくは、放送中の番組の不定位置にある音声をリアルタイムでユーザ所望の音声に変更することが可能なデジタル放送受信装置に関する。
【背景技術】
【０００２】
地上デジタル放送、ＢＳデジタル放送、ＣＳデジタル放送等のデジタル放送システムにおいては、近年、１００以上のチャンネルが用意されており、この多数の番組において映像や音声にユーザの好みを反映させたいというニーズが高まっている。
【０００３】
一般的なデジタル放送受信装置においては、ＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）によりユーザの好みの映像や音声の出力特性を設定することが可能である。また、番組のジャンル毎にユーザの好みの映像や音声の出力特性を記憶し、視聴チャンネル変更時に変更後のチャンネルで放送される番組のジャンル情報を取得して、ユーザ所望の映像や音声の出力特性を設定する従来技術が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２２６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術は、放送全体の映像や音声の出力特性を変更するものであって、例えば放送中の番組の不定位置にある音声の一部をリアルタイムでユーザ所望の音声に変更することはできないといった課題があった。
【課題を解決するための手段】
【０００６】
放送中の番組の不定位置にある音声をリアルタイムでユーザ所望の音声に変更するために、本発明の受信装置は、放送をデコードしながらデータを保存するストリーム記憶手段と、ストリーム記憶手段から音声データを取り出し、ユーザ所望の音声とのパターンマッチを行う音声認識手段と、パターンマッチした箇所をユーザ所望の音声で書き変える音声合成手段を持つことを特徴とする。
【０００７】
また、音声認識、音声合成により生じた映像と音声のズレを補正する映像出力遅延部、音声出力遅延部を保持することを特徴とする。
【０００８】
また、音声認識、音声合成に必要なデータはデジタル放送受信装置内のメモリ上のデータからだけでなく、インターネット等のネットワークやＳＤカード等の外部メディアからも取得可能であることを特徴とする。
【０００９】
また、地震等の緊急速報が発生した場合、速報データを検知した段階で、ＯＳＤにて速報内容の表示を行い、出力遅延による弊害を起こさないことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、デジタル放送受信装置において、放送中の番組の不定位置にある音声をリアルタイムでユーザ所望の音声に変更することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係るデジタル放送受信装置の構成を示すブロック図
【図２】同実施の形態に係るデジタル放送受信装置の処理手順を示すフローチャート
【図３】同実施の形態に係る音声認識処理と音声合成処理の処理手順を示すフローチャート
【図４】同実施の形態に係るユーザ所望の設定と音声合成で使用するデータを関連付けたリストを示す図
【発明を実施するための形態】
【００１２】
以下本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００１３】
（実施の形態１）
本発明では、デジタル放送受信装置において、放送中の番組の不定位置にある音声をリアルタイムでユーザ所望の音声に変更する。本発明の第１のポイントは、放送中の番組の不定位置にある音声をユーザ所望の音声に変更することであり、第２のポイントは第１のポイントをリアルタイムで行うことである。
図１は、本発明の実施の形態１に係るデジタル放送受信装置の構成を示すブロック図である。デジタル放送受信装置１００は、ＣＰＵ１０、メモリ１１、チューナ１２、ＴＤ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ  Ｄｅｃｏｄｅｒ）１３、ＡＶデコーダ１４、速報判定部１５、ストリーム記憶部１６、音声認識部１７、音声合成部１８、ＯＳＤ合成部１９、映像出力遅延部２０、音声出力遅延部２１を備えている。
【００１４】
ＣＰＵ１０は、デジタル放送受信装置１００の動作を制御するコントローラである。メモリ１１は、各制御部の制御結果や音声認識、音声合成用のデータを保持する。チューナ１２は、放送局から送られてきた信号を受信し、デジタル復調処理を行う。ＴＤ１３は、チューナ１２から送られてくるデータから、映像データ／音声データ／その他のデータをフィルタリングする。ＡＶデコーダ１４は、ＴＤ１３でフィルタリングされた映像データと音声データから、映像信号、音声信号を復号する。
【００１５】
速報判定部１５は、ＴＤ１３でフィルタリングされたＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）から緊急速報が発生したかどうかを調べ、緊急速報で表示する文字列を抜き出しメモリ１１に保存する。ストリーム記憶部１６は、ＡＶデコーダ１４で復号された映像信号、音声信号を保存し、音声信号を保存する際に音声波形も保存する。なお、ストリーム記憶部１６で保存するストリーム（映像信号、音声信号、音声波形）の時間は、デジタル放送受信装置のシステム固有値としてもよいし、ユーザ設定で決定してもよいが、ストリームを再生しながら保存する必要があるため、ストリームの保存時間の１／２が音声認識部１７で音声認識を行うことができる時間の最大値となる。
【００１６】
音声認識部１７は、ストリーム記憶部１６から音声信号を取り出してメモリ１１に展開する。また、ストリーム記憶部１６から音声波形を取り出しＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）とＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）により、音声波形を文字列に変換する。ここでは音声認識の一般的な手法であるＭＦＣＣとＨＭＭを取り上げたが、音声波形を文字列に変換できる手法であればどんな手法でもかまわない。ＳＩに字幕放送用データが存在する場合には、字幕放送用データで音声波形から変換された文字列を補正することで、音声認識率を上げることができる。さらに、メモリ１１、ＳＤカード等の外部メディア２２、インターネット等のネットワーク２３に保存されているユーザ所望の音声とのマッチングを行い、ユーザ所望の音声とマッチした音声信号を関連付ける。音声合成部１８は、音声認識部１７で関連付けられたユーザ所望の音声と音声信号を基に、メモリ１１、外部メディア２１、ネットワーク２２に保存されているユーザ所望の音声でメモリ１１上に展開されている音声信号を書き換える。ＯＳＤ合成部１９は、メモリ１１に保存されている緊急速報用文字列からＯＳＤを生成し、映像信号と合成する。映像出力遅延部２０と音声出力遅延部２１は映像と音声のズレを補正するため、ストリーム記憶時間、音声認識処理時間、音声合成処理時間、を考慮して遅延時間を決定し、映像と音声のズレの補正をおこなう。
図２に実施の形態１における音声をリアルタイムでユーザ所望の音声に変更する処理の動作フローを示す。チューナ１２、ＴＤ１３、ＡＶデコーダ１４にて、映像と音声をデコードするまでの処理は一般的なデジタル放送受信装置と同じであるため、動作フローはデコード以降の処理について示す。以下、動作フローについて詳細を説明する。
【００１７】
速報判定部１５は、緊急速報が存在するかどうかＳＩを基に判定し（ステップＳ１０１）、緊急速報で出力する文字列がある場合（ステップＳ１０１で「ＹＥＳ」）、メモリ１１に文字列を保存する（ステップＳ１０２）。ここで緊急速報が映像に埋め込まれている場合は、緊急速報部分の画像認識を行い、文字列を抽出する。ＯＳＤ合成部１９は、メモリ１１から緊急速報用文字列を取り出し、ＯＳＤを生成する（ステップＳ１０４）。同時に映像信号、音声信号、音声波形の保存も行う。生成されたＯＳＤは即座に映像に合成されて出力される（ステップＳ１０５）。これにより、緊急速報を遅延無しで表示できる。
【００１８】
一方、緊急速報が存在しない場合（ステップＳ１０１で「ＮＯ」）、すぐにストリーム記憶部１６に映像信号と音声信号を保存する（ステップＳ１０３）。ここで音声信号を保存する際、音声波形も同時に保存する。なお、ストリーム保存時間は、デジタル放送受信装置のシステム固有値としてもよいし、ユーザ設定で決定してもよいが、ストリームを再生しながら保存する必要があるため、ストリームの保存時間の１／２が音声認識を行うことができる時間の最大値となる。
【００１９】
そして音声認識部１７は、音声信号をストリーム記憶部１６から取り出してメモリ１１に展開する。また、音声波形をストリーム記憶部１６から取り出しＭＦＣＣとＨＭＭにより、音声波形を文字列に変換する。ここでは音声認識の一般的な手法であるＭＦＣＣとＨＭＭを取り上げたが、音声波形を文字列に変換できる手法であればどんな手法でもかまわない。ＳＩに字幕放送用データが存在する場合には、字幕放送用データで音声波形から変換された文字列を補正することで、音声認識率を上げることができる。さらに、メモリ１１、ＳＤカード等の外部メディア２２、インターネット等のネットワーク２３に保存されているユーザ所望の音声とのマッチングを行い、ユーザ所望の音声とマッチした音声信号を関連付ける。音声パターンマッチング処理の詳細については図３及び図４を用いて後ほど説明する。
【００２０】
音声合成部１８は、ユーザ所望の音声と音声信号を基に、ユーザ所望の音声でステップＳ１０６にてメモリ１１上に展開した音声信号を書き換える。これによりユーザ所望の音声が番組の音声に合成されて出力される。
【００２１】
音声出力遅延部２１は、映像と音声のズレを補正するため、遅延処理行う。音声認識と音声合成の処理時間の最大値は、ストリームの保存時間の１／２であるため、映像はストリームの保存時間の１／２時間遅延させる。音声は音声認識と音声合成の処理時間がストリームの保存時間の１／２時間未満の場合、ストリームの保存時間の１／２時間まで遅延させる。それ以外の場合、遅延処理は行わない。
続いて、音声パターンマッチと音声合成処理について、更なる詳細を図３、図４を用いて説明する。図３は音声認識処理と音声合成処理の詳細を示すフローチャートであり、図４はユーザ所望の設定と音声合成で使用するデータを関連付けたリストを示す図である。
【００２２】
音声認識部１７は、音声を再生するために、ストリーム記憶部１１に保存している音声信号をメモリ１１に展開する（ステップＳ２０１）。メモリ１１に展開された音声信号はそのまま音声として出力されるため、このメモリ１１に展開された音声信号を書き換えることで、音声合成を実現できる。そして、音声認識のために、ストリーム記憶部１１に保存している音声波形を取り出す（ステップＳ２０２）。
【００２３】
音声波形を取り出した後、音声認識部１７は、音声波形から文字列を抽出する（ステップＳ２０３）。文字列抽出の例として、ここではＭＦＣＣとＨＭＭを取り上げるが、音声波形を文字列に変換できる手法であればどんな手法でもかまわない。音声認識でよく用いられる音響特徴量のひとつとして、ケプストラム領域の特徴量（ＭＦＣＣ）が挙げられる。ＭＦＣＣとは、フレーム毎に音声データのＦＦＴ分析で得られるパワースペクトルに対してメルスケールのフィルタバンクを施し、周波数軸変換されたパワースペクトルに対して離散コサイン変換（ＤＣＴ）を実行することにより抽出される、スペクトル包絡を表すパラメータであり、その詳細は「音声認識システム」（野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄編著、オーム社出版局；ＩＳＢＮ４−２７４−１３２２８−５）などで説明されている。１２次元のＭＦＣＣを用いることで、音声波形を１２の係数に数値化でき、その数値から文字を特定できる。また、人間の発音は時間的に揺らいでいるため、音声の特徴がマルコフ過程で確率的に生成されるとしてモデル化したものがＨＭＭであり、音声の実際の揺らぎを確率的に反映しやすいため、ＭＦＣＣと組み合わせると音声認識率が向上する。このようにして音声波形を文字列に変換する。
【００２４】
上記処理後、音声認識部１７は、ＴＤ１３でフィルタリングしたＳＩから、字幕放送用データを取り出し、ステップＳ２０３で作成した文字列と比較する。ステップＳ２０３の文字列と一部が異なる場合、音声認識で誤認している可能性が高いため、字幕データを用いて修正する（ステップＳ２０４）。これにより音声認識率をさらに向上できる。
【００２５】
そして、ステップＳ２０４にて作成した文字列と図４で示されるユーザ所望の置換対象文字列でマッチングを行う（ステップＳ２０５）。ユーザ所望の置換対象、置換用音声は図４のように管理され、メモリ１１に保存される。ユーザはこの設定をＯＳＤにて設定してもよいし、外部メディア２２、ネットワーク２３を利用して設定してもよい。図４の置換対象は置換したい音声、置換対象グループは置換対象と文字列は違うが言葉の意味が同じであるため置換したい音声、置換用音声は置き換えたい音声、置換先アドレスはメモリ１１上で置換用音声を展開するアドレス、サイズは置換用音声を書き込む先のメモリ１１の領域のサイズを示す。ユーザは、置換対象、置換対象グループ、置換用音声を設定できる。置換対象グループは、置換対象がユーザによって設定されると、文字列は異なるが意味として同じ文字列をデフォルト値としてデジタル放送受信装置が自動で設定する。置換用音声は、音声ファイルがある位置とファイル名をあわせて指定する。ファイル名だけ指定するとパスの通ったディレクトリからファイルを検索する。また、外部メディア２２、ネットワーク２３に音声ファイルを入れた場合、音声ファイルを指定した段階で音声ファイルを取得し、それぞれメモリ１１上に展開する。音声マッチングを行う際には、置換対象、及び置換対象グループとＳ２０４にて作成した文字列が一致しているかを調べる。置換対象グループは、図４のように正規表現の利用が可能である。
【００２６】
ステップＳ２０４にて作成した文字列がユーザ所望の置換文字列と一致した場合、文字列に対応した音声信号が格納されているメモリ１１上のアドレスとサイズを、図４の置換先アドレス、サイズに書き込む（ステップＳ２０６）。
【００２７】
そして、上記全ての文字列のマッチングが終了するか、ストリームの保存時間の１／２時間を経過した場合（ステップＳ２０７で「ＹＥＳ」）、音声マッチング処理を終了する。それ以外の場合は（ステップＳ２０７で「ＮＯ」）、ステップＳ２０５の処理に戻り、音声マッチング処理を繰り返す。
【００２８】
上記処理後、図４の置換先アドレスがＮＵＬＬでなければ、置換用音声を置換先アドレスに、サイズ分書き込む（ステップＳ２０８）。
【００２９】
以上により、デジタル放送受信装置において、放送中の番組の不定位置にある音声を
リアルタイムでユーザ所望の音声に変更することができる。
【産業上の利用可能性】
【００３０】
本発明はデジタル放送を受信する受信装置であって、ＰＤＰやＬＣＤ等のデジタルＴＶに有用である。この発明によれば、特定の言葉を無音にすることで、子供に聞かせたくない言葉を消すといった音声の局所的なペアレンタルロックや、番組中、電話が鳴るシーンにおいて、着信音を別の音に変更することで、自身の電話が鳴ったのかどうか確認する手間を省くことが可能である。
【符号の説明】
【００３１】
１００    デジタル放送受信装置
１０    ＣＰＵ
１１    メモリ
１２    チューナ
１３    ＴＤ
１４    ＡＶデコーダ
１５    速報判定部
１６    ストリーム記憶部
１７    音声認識部
１８    音声合成部
１９    ＯＳＤ合成部
２０    映像出力遅延部
２１    外部メディア
２２    ネットワーク
【図１】
2011041169.tif 000003
【図２】
2011041169.tif 000004
【図３】
2011041169.tif 000005
【図４】
2011041169.tif 000006