(57)【要約】【課題】受信した音声信号から音声の特徴を自動的に抽出し、その音声特徴情報に基づいて字幕の表示方法や表示態様を変更して視聴者が字幕を見た場合の臨場感を高めること。【解決手段】画面を表示するテレビまたはＰＣモニタなどの表示装置を備えた字幕表示制御システムであって、多重化された受信信号から字幕信号、音声信号、および映像信号を分離する信号分離部２と、分離された音声信号から音声の音量、音声の高さなどの音声の特徴を抽出する音声特徴抽出部３と、音声特徴抽出部３より得られる音声特徴情報と信号分離部２からの字幕信号を用いて字幕の表示方法を制御する字幕表示制御部４と、字幕表示制御部４で決定された字幕表示情報に基づいて字幕を映像に重畳する字幕重畳部６と、を備える構成とする。【選択図】図１
2007300323.tif 000002
【特許請求の範囲】
【請求項１】
画面を表示するテレビまたはＰＣモニタなどの表示装置を備えた字幕表示制御システムであって、
多重化された受信信号から字幕信号、音声信号、および映像信号を分離する信号分離部と、
前記分離された音声信号から音声の音量、音声の高さなどの音声の特徴を抽出する音声特徴抽出部と、
前記音声特徴抽出部より得られる音声特徴情報と前記信号分離部からの字幕信号を用いて字幕の表示方法を制御する字幕表示制御部と、
前記字幕表示制御部で決定された字幕表示情報に基づいて字幕を映像に重畳する字幕重畳部と、を備える
ことを特徴とする字幕表示制御システム。
【請求項２】
請求項１において、
前記信号分離部で分離された音声信号から背景音、雑音などの非音声成分を除去し音声成分信号を抽出する音声成分抽出部を備え、
前記音声特徴抽出部は、前記音声成分抽出部により抽出された音声成分信号を入力とする
ことを特徴とする字幕表示制御システム。
【請求項３】
請求項２において、
前記音声成分抽出部により抽出された音声成分信号から音声の放射方向を検出する音声方向検出部を備え、
前記字幕表示制御部は、前記音声方向検出部から得られる音声方向情報と、前記音声特徴抽出部より得られる音声特徴情報と、前記信号分離部からの字幕信号とを用いて字幕の表示方法を制御する
ことを特徴とする字幕表示制御システム。
【請求項４】
請求項１または２において、
前記字幕表示制御部より得られる字幕表示情報は、前記字幕表示制御部に入力される音声特徴情報に基づいて、あらかじめ設定された音声特徴情報・字幕表示情報の対応表を参照して決定され、
前記対応表は、前記音声特徴情報に対応する字幕の文字サイズまたは文字色などの字幕表示情報を設定する
ことを特徴とする字幕表示制御システム。
【請求項５】
請求項３において、
前記字幕表示制御部より得られる字幕表示情報は、前記字幕表示制御部に入力される音声方向情報に基づいて、あらかじめ設定された音声方向情報・画面表示位置情報の対応表を参照して字幕の画面表示位置が決定される
ことを特徴とする字幕表示制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ、コンピュータあるいはスクリーンに像を投影する等の表示装置において、字幕、クローズドキャプション等の文字情報を投影する字幕表示制御システムに関する。
【背景技術】
【０００２】
従来、テレビなどにおける字幕表示システムがいくつか提案されている（例えば、特許文献１を参照）。図５は特許文献１に開示された字幕表示システムの流れを示す説明図である。特許文献１では、まず、信号送信側において、音声信号と映像信号、および字幕信号を信号多重化部２９によって多重化する。受信機では、まず、信号分離部３０によって受信信号を音声信号と映像信号、および字幕信号に分離する。字幕信号に対しては、重畳位置制御部３１により映像信号に重畳する位置が計算され、字幕重畳部３２によって映像信号に重畳される。そして、表示部３３においては字幕が重畳された映像が表示され、音声再生部３４では音声が再生される。
【０００３】
一方、音声認識などの分野において、雑音や背景音が重畳した音声から、非音声成分を取り除き、音声成分を抽出する手法が数多く提案されている（例えば、特許文献２を参照）。また、音源分離の分野において、入力された複数の音声信号から、音源が存在する方向を推定する技術が数多く提案されている（例えば、特許文献３を参照）。
【特許文献１】特開平２−１９０８８号公報
【特許文献２】特開２０００−３２１０８０号公報
【特許文献３】特開２００３−９９０９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に示すような従来技術における字幕表示方法では、信号受信側においては字幕情報のみに着目し、文字の大きさや色、位置などを計算していたため、音声と字幕の対応が取りづらく、視聴者が字幕を見た場合の臨場感が少なかった。特に、難聴者に対しては臨場感が伝わりづらいという課題があった。
【０００５】
また、放送事業者が字幕の表示位置や表示方法を指定するのにも手間がかかるという課題があった。特に、生放送でリアルタイムに字幕を放送するような場合には、時間的な制約もあった。
【０００６】
本発明の主たる目的は、受信した音声信号から音声の特徴を自動的に抽出し、その音声特徴情報に基づいて字幕の表示方法や表示態様を変更制御することで、視聴者が字幕を見た場合の臨場感を高める字幕表示制御システムを提供することにある。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明は主として次のような構成を採用する。  
画面を表示するテレビまたはＰＣモニタなどの表示装置を備えた字幕表示制御システムであって、
多重化された受信信号から字幕信号、音声信号、および映像信号を分離する信号分離部と、前記分離された音声信号から音声の音量、音声の高さなどの音声の特徴を抽出する音声特徴抽出部と、前記音声特徴抽出部より得られる音声特徴情報と前記信号分離部からの字幕信号を用いて字幕の表示方法を制御する字幕表示制御部と、前記字幕表示制御部で決定された字幕表示情報に基づいて字幕を映像に重畳する字幕重畳部と、を備える構成とする。
【０００８】
また、前記字幕表示制御システムにおいて、前記信号分離部で分離された音声信号から背景音、雑音などの非音声成分を除去し音声成分信号を抽出する音声成分抽出部を備え、前記音声特徴抽出部は、前記音声成分抽出部により抽出された音声成分信号を入力とする構成とする。
【０００９】
また、前記字幕表示制御システムにおいて、前記音声成分抽出部により抽出された音声成分信号から音声の放射方向を検出する音声方向検出部を備え、前記字幕表示制御部は、前記音声方向検出部から得られる音声方向情報と、前記音声特徴抽出部より得られる音声特徴情報と、前記信号分離部からの字幕信号とを用いて字幕の表示方法を制御する構成とする。
【発明の効果】
【００１０】
本発明によると、受信した音声から特徴を自動的に抽出し、その情報に基づいて字幕の表示方法を動的に変更しているので、視聴者が字幕を見た場合の臨場感が増大する。特に、難聴者などが視聴する場合でも、臨場感を的確に伝えることができる。
【００１１】
また、音声の特徴抽出を行う前に雑音や背景音などの音声以外の成分を除去する機能を備えることで、スポーツ番組などで音声に対し観客の歓声などが重畳されている場合でも対応できる。
【００１２】
また、音声からその放射方向を抽出し、字幕の表示位置を制御する機能を備えているので、画面上で会話をしている話者の方向に字幕を表示することができる。
【００１３】
また、自動的に字幕の表示位置や表示方法が計算されるので、放送事業者がそれらを指定するという手間を省くことができる。自動的に計算することで、生放送でリアルタイムに字幕を放送するような場合でも時間的制約を受けることがない。
【発明を実施するための最良の形態】
【００１４】
本発明の実施形態に係わる字幕表示制御システムについて、図１〜図４を参照しながら以下詳細に説明する。図１は本発明の実施形態に係わる字幕表示制御システムにおける音声情報を用いた字幕表示の制御を実施する基本構成を示すブロック図である。図２は本発明の実施形態に係わる字幕表示制御システムにおける音声情報を用いた字幕表示の制御を実施する構成であって、音声から特徴を抽出する前に雑音や背景音などを取り除き音声成分のみを抽出する構成例を示すブロック図である。図３は、本実施形態に係わる字幕表示制御システムにおける音声情報を用いた字幕表示の制御を実施する構成であって、音声成分の放射方向を検出し字幕の表示位置を制御するようにした構成例を示すブロック図である。図４は、図３の構成において、表示装置を真上から見た場合の音声の放射方向とその角度を用いた表し方を示す一例である。
【００１５】
図１〜図４において、１，９，１８は信号多重化部、２，１０，１９は信号分離部、３，１２，２１は音声特徴抽出部、４，１３，２３は字幕表示制御部、５，１４，２４は記憶装置、６，１５，２５は字幕重畳部、７，１６，２６は表示部、８，１７，２７は音声再生部、１１，２０は音声成分抽出部、２２は音声方向検出部、２８は表示装置をそれぞれ表す。
【００１６】
まず、図１を用いて本実施形態に係る字幕表示制御システムについて説明する。本システムでは、まず、信号送信側において、字幕信号、音声信号、および映像信号を信号多重化部１において多重化し、信号伝送を行う。受信側では、信号送信側より受信した信号を信号分離部２で元の字幕信号、音声信号、および映像信号に分離する。
【００１７】
次に、音声特徴抽出部３では、分離した音声から例えば音声の音量、高さなどの音響的特徴を抽出する。字幕表示制御部４では、入力された音声特徴情報に基づいて、あらかじめ記憶装置５に保持しておいた表１や表２などを参照する。例えば、声の大きさが「大」で、声の高さが「低」という情報が抽出された場合、文字のサイズは「大」、文字の色は「青」という情報が出力される。これらの文字表示の情報を、信号分離部２により分離された字幕信号に付加し、字幕表示情報として次段の字幕重畳部６に渡す。
【００１８】
字幕重畳部６では、信号分離部２により分離された映像信号に対し、前記字幕表示制御部４により出力された字幕表示情報を用いて字幕を重畳し、字幕が重畳された映像信号（字幕重畳映像信号）を生成する。そして、最終的に、表示部７において字幕重畳映像信号が表示され、音声再生部８で音声が出力される。
【表１】
2007300323.tif 000003
【表２】
2007300323.tif 000004
【００１９】
次に、図１に示した本発明によるシステムに対し、音声から特徴を抽出する前に、背景音や雑音などの音声以外を取り除き、音声のみの成分を抽出するように変形した例が図２である。まず、信号送信側において、字幕信号、音声信号、および映像信号を信号多重化部９によって多重化し、信号伝送を行う。受信側では、信号送信側より受信した信号を信号分離部１０で元の字幕信号、音声信号、および映像信号に分離する。
【００２０】
次に、音声成分抽出部１１において、例えば特許文献２などに示す公知の手法を用いて、背景音や雑音などの音声以外の不要な成分を取り除き、音声成分信号のみを抽出する。そして、音声特徴抽出部１２では、分離した音声成分信号から音響的特徴（音声の音量や高さなど）を抽出する。字幕表示制御部１３では、入力された音声特徴情報に基づいて、あらかじめ記憶装置１４に保持しておいた表１や表２などを参照し、文字の大きさや色などの表示情報を得る。これらの文字表示の情報を、信号分離部１０により分離された字幕信号に付加し、字幕表示情報として次段の字幕重畳部１５に渡す。
【００２１】
字幕重畳部１５では、信号分離部１０により分離された映像信号に対し、字幕表示制御部１３により出力された字幕表示情報を用いて字幕を重畳し、字幕重畳映像信号を生成する。そして、最終的に、表示部１６において字幕重畳映像信号が表示され、音声再生部１７で音声が出力される。
【００２２】
次に、図２に対して、入力された音声からその放射方向を検出する部分を備えるようにした変形例が図３である。まず、信号送信側において、字幕信号、音声信号、および映像信号を信号多重化部１８によって多重化し、信号伝送を行う。受信側では、信号送信側より受信した信号を信号分離部１９で元の字幕信号、音声信号、および映像信号に分離する。
【００２３】
次に、音声成分抽出部２０において、例えば特許文献２などに示す公知の手法を用いて、背景音や雑音などの音声以外の不要な成分を取り除き、音声成分信号のみを抽出する。そして、音声特徴抽出部２１では、分離した音声成分信号から音響的特徴を抽出する。
【００２４】
一方、音声成分抽出部２０より出力された音声成分信号は、音声方向検出部２２にも入力される。図４は、表示装置２８を真上から見た図である。音声方向検出部２２では、特許文献３などの従来からある音源分離手法などを用いて、例えば図４に示すように表示装置２８正面を０°としたときの音声の方向を検出し、出力する。字幕表示制御部２３では、入力された音声特徴情報に基づいて、あらかじめ記憶装置２４に保持しておいた表１や表２などを参照し、文字の大きさや色などの表示情報を得る。
【００２５】
また、音声方向検出部２２より得られた音声方向情報に基づき、あらかじめ記憶装置２４に保持しておいた表３を参照し、字幕を重畳する位置を出力する。例えば、音声が、音声方向検出部２２により図４における５０°の方向へ放射していると検出された場合、字幕表示制御部２３では記憶装置２４に保持された表３を参照し、表示位置「画面右」という出力を得る。ここで、これらの文字表示や、表示位置の情報を、信号分離部１９により分離された字幕信号に付加し、字幕表示情報として次段の字幕重畳部２５に渡す。
【００２６】
字幕重畳部２５では、信号分離部１９により分離された映像信号に対し、前記字幕表示制御部２３により出力された字幕表示情報を用いて字幕を重畳し、字幕重畳映像信号を生成する。そして、最終的に、表示部２６において字幕重畳映像信号が表示され、音声再生部２７で音声が出力される。
【表３】
2007300323.tif 000005
【００２７】
なお、図１〜図３における字幕表示制御部４，１３，２３に参照される記憶装置５，１４，２４に格納される表１〜表３において出力される内容は、例えばデータ放送などを使用して放送事業者があらかじめ色や文字の大きさなどを指定しても良い。また、受信装置において、ユーザが好みによって指定できるようにしても良い。また、上記構成例では、文字サイズ、色、表示位置などを表１〜表３を参照して出力しているが、これらはある関数を用いて算出しても良い。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態に係る字幕表示制御システムにおける音声情報を用いた字幕表示の制御を実施する基本構成を示すブロック図である。
【図２】本発明の実施形態に係る字幕表示制御システムにおける音声情報を用いた字幕表示の制御を実施する構成であって、音声から特徴を抽出する前に雑音や背景音などを取り除き音声成分のみを抽出する構成例を示すブロック図である。
【図３】本実施形態に係る字幕表示制御システムにおける音声情報を用いた字幕表示の制御を実施する構成であって、音声成分の音源位置を検出し字幕の表示位置を制御するようにした構成例を示すブロック図である。
【図４】図３の構成において、表示装置を真上から見た場合の音声の放射方向とその角度を用いた表し方を示す一例である。
【図５】従来技術に関する字幕表示制御システムにおける字幕表示と音声情報の関係を説明する図である。
【符号の説明】
【００２９】
１，９，１８，２９  信号多重化部
２，１０，１９，３０  信号分離部
３，１２，２１  音声特徴抽出部
４，１３，２３  字幕表示制御部
５，１４，２４  記憶装置
６，１５，２５，３２  字幕重畳部
７，１６，２６，３３  表示部
８，１７，２７，３４  音声再生部
１１，２０  音声成分抽出部
２２  音声方向検出部
２８  表示装置
３１  重畳位置制御部
【図１】
2007300323.tif 000006
【図２】
2007300323.tif 000007
【図３】
2007300323.tif 000008
【図４】
2007300323.tif 000009
【図５】
2007300323.tif 000010