(57)【要約】【課題】  聴覚障害者がテレビ視聴を行うために構成が容易でありヒット率の高い字幕テキストを生成して受信映像に多重する擬声語受信装置を実現することにある。【解決手段】複数回放送されるシリーズ番組のうち、前のシリーズ番組の背景音に対応する擬声語のデータベースを作成して格納する擬声語送信部１６と、放送されるシリーズ番組に基づいて、擬声語送信部１６から前のシリーズ番組のデータベースを受信する擬声語受信部３１と、擬声語受信部３１で受信されたデータベースの背景音パラメータの中から放送されるシリーズ番組の背景音に最も近い近似背景音パラメータ及び近似背景音パラメータに対応する近似擬声語を検索する検索部３４と、検索部３４で検索された近似擬声語とシリーズ番組の画像情報とを合成する画像合成部３５とにより構成して実現した。【選択図】      図１
2006033562.tif 000002
【特許請求の範囲】
【請求項１】
周波数分布特性により関連づけられた背景音に基づいて作成される擬声語が付加されていない番組を受信する際に、前記番組とは別系統で、予め前記番組で用いられる背景音に基づいて作成された擬声語のデータベースの格納及び送信を行い、前記データベースの中から前記番組で用いられる背景音に最も近い擬声語の検索及び受信を行い、前記背景音に対応する前記擬声語を付加して前記番組の画像情報と共に映像出力する擬声語送受信システムに用いられる擬声語受信装置であって、
前記データベースの背景音パラメータの中から前記番組の背景音に最も近い近似背景音パラメータ及び前記近似背景音パラメータに対応する近似擬声語を検索する検索部と、
前記検索部で検索された前記近似擬声語と前記番組の画像情報とを合成する画像合成部と、
を備えたことを特徴とする擬声語受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、毎週又は毎日放送されるシリーズ番組の音声信号に含まれる背景音を基に、その背景音に係る擬声語をシリーズ番組擬声語データベースより取得し、取得された擬声語を受信して得られる映像信号に多重して出力する擬声語受信装置に関する。
【背景技術】
【０００２】
最近になり、音声認識技術を用い、出演者の話の内容をテキスト文字に変換して多重表示する放送番組も増えてきた。外国語会話の翻訳表示、聴力障害者の聴力補助として有効である。米国では聴覚障害者のためのクローズドキャプションとして会話以外の描写情報が多重されることもあるが、現在行われている放送は聴覚障害者にとって優しい放送であるとは言えない。
特許文献１には、字幕番組制作者による手動字幕制作を効率的に支援する実用性のより高い半自動型字幕番組制作システムを、テレビ素材番組の映像、音声、タイムコードに基づいてスピーチに対する字幕用テキストの書き起こし及び背景音などの付加情報データを入力する字幕テキスト書き起こし部と、書き起こされた字幕テキストに基づいて字幕画面作成およびタイミング付与を行う自動字幕番組データ制作部と、作成された字幕番組データの編集および試写を行う字幕番組編集・試写部とを備えて構成する方法について開示されている。
【特許文献１】特開２００３−２２４７７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、背景音のテキスト文字変換は、スピーチ内容のテキスト変換に比し容易ではなく、特許文献１の場合であっても作業の支援をするにとどまっている。字幕制作を業務として行う分野においても自動的に字幕テキストを生成する装置の実現までには至ってない。聴覚障害者がテレビ視聴を行うために必要な擬声語受信装置が実現されていなかった。
【０００４】
そこで、本発明は、上記のような問題点を解消するためになされたもので、聴覚障害者がテレビ視聴を行うために利用可能で構成が容易であり、ヒット率の高い字幕テキストを生成して受信映像に多重する擬声語受信装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願発明は、周波数分布特性により関連づけられた背景音に基づいて作成される擬声語が付加されていない番組を受信する際に、前記番組とは別系統で、予め前記番組で用いられる背景音に基づいて作成された擬声語のデータベースの格納及び送信を行い、前記データベースの中から前記番組で用いられる背景音に最も近い擬声語の検索及び受信を行い、前記背景音に対応する前記擬声語を付加して前記番組の画像情報と共に映像出力する擬声語送受信システムに用いられる擬声語受信装置であって、前記データベースの背景音パラメータの中から前記番組の背景音に最も近い近似背景音パラメータ及び前記近似背景音パラメータに対応する近似擬声語を検索する検索部と、前記検索部で検索された前記近似擬声語と前記番組の画像情報とを合成する画像合成部と、を備えたことを特徴とする擬声語受信装置を提供する。
【発明の効果】
【０００６】
本発明によれば、周波数分布特性により関連づけられた背景音に基づいて作成される擬声語が付加されていない番組を受信する際に、前記番組とは別系統で、予め前記番組で用いられる背景音に基づいて作成された擬声語のデータベースの格納及び送信を行い、前記データベースの中から前記番組で用いられる背景音に最も近い擬声語の検索及び受信を行い、前記背景音に対応する前記擬声語を付加して前記番組の画像情報と共に映像出力する擬声語送受信システムに用いられる擬声語受信装置を、前記データベースの背景音パラメータの中から前記番組の背景音に最も近い近似背景音パラメータ及び前記近似背景音パラメータに対応する近似擬声語を検索する検索部と、前記検索部で検索された前記近似擬声語と前記番組の画像情報とを合成する画像合成部とを備える格別な構成があるので、聴覚障害者がテレビ視聴を行うために利用可能な構成が容易でありヒット率の高い字幕テキストを生成して受信映像に多重する擬声語受信装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下に本発明の各実施例に係る擬声語受信装置について図１〜図４を用いて説明する。
図１は、本発明の実施に係る擬声語生成付加システムの概略構成例を示す図である。
図２は、本発明の実施に係る擬声語情報送信装置の構成例を示す図である。
図３は、本発明の実施に係る擬声語生成受信システムの構成例を示す図である。
図４は、本発明の実施に係る擬声語データベースの記述例を示す図である。
【０００８】
擬声語生成受信システムの構成について述べる。
図１に示す擬声語生成受信システムは、擬声語ＩＤ（Identification）入力部１１、閾値決定部１２、背景音入力部１３、特徴パラメータ抽出部１４、テーブル作成部１５、及び擬声語送信部１６からなる擬声語情報送信装置１と、インターネット２と、擬声語受信部３１、背景音入力部３２、特徴パラメータ抽出部３３、擬声語検索部３４、及び画像合成部３５からなる擬声語生成付加装置３と、放送受信装置４とから構成される。
図２に示す擬声語情報送信装置１の要部である擬声語送信部１６は、調整値保持回路１６１、擬声語ＩＤ記憶回路１６２、相関テーブル記憶回路１６３、及び送信制御回路１６４より構成される。
図３に示す擬声語生成付加装置３の要部である擬声語受信部３１は、通信制御回路３１１、調整値保持回路３１２、相関テーブル記憶回路３１３、及び擬声語記憶回路３１４より構成される。
【０００９】
擬声語生成受信システムの動作について述べる。
まず、擬声語を付加して再生する番組の視聴予約を行う。擬声語生成付加装置３は、その番組に係る公開されている擬声語情報をインターネット２上で検索し、その番組に用いられる背景音に係る擬声語ＩＤ、擬声語の特徴パラメータ、及び背景音の閾値レベル情報を取得する。視聴予約された番組の受信時に擬声語の特徴パラメータを基に受信される背景音から取得した特徴パラメータに類似する特徴パラメータに係る擬声語を検索して多重した映像信号を生成する。
【００１０】
以下、詳細に説明する。
まず、擬声語情報送信装置１の所有者は、擬声語情報送信装置１を用いて行う擬声語提供サービスに係る番組のカテゴリを決定する。擬声語提供サービスに適す番組カテゴリとして、例えば、いわゆるシリーズ番組がある。擬声語情報送信装置１の所有者は決定したシリーズ番組を録画する。録画した番組を再生して得られる背景音を背景音入力部１３に入力する。図示しない視聴装置により再生番組を視聴する。背景音のレベルを図示しないレベルメータで監視する。背景音のレベルが所定レベル以上であり、且つ擬声語を表示するのが有効であると使用者（視聴者）により判断されたときに、視聴者は擬声語ＩＤ入力部１１を操作し擬声語に係るＩＤ（擬声語ＩＤ）を入力する。入力された擬声語ＩＤは擬声語送信部１６の擬声語ＩＤ記憶回路１６２に記憶される。同時に、閾値決定部１２では、背景音入力部１３に入力されている音量レベルの値が閾値レベルとして決定される。その閾値レベルは擬声語送信部１６の調整値保持回路１６１に入力され、そこに保持（記憶）される。
【００１１】
閾値が決定されたタイミングで、調整値保持回路１６１からは特徴パラメータ抽出部１４に対して、背景音の特徴パラメータの抽出を実行させるための命令が出力される。特徴パラメータ抽出部１４では、背景音入力部１３から入力される信号の中心周波数成分とその成分の信号の平均音圧変化に係る特徴パラメータが抽出される。特徴パラメータはテーブル作成部１５に入力される。テーブル作成部１５では、入力されたそれらの特徴パラメータは特徴パラメータテーブルとして整理、作成される。同一の擬声語で表現される背景音は同一の特徴パラメータを有する背景音として纏められる。纏められた特徴パラメータは相関テーブル記憶回路１６３に入力され、そこに一時記憶される。即ち、擬声語ＩＤに係り入力された閾値レベルと特徴パラメータからなる擬声語情報はそれぞれの記憶回路に記憶される。それらの擬声語ＩＤ、閾値レベル、及び特徴パラメータなどの擬声語情報は番組毎にグルーピング（仕分け）されて記憶される。番組毎にグルーピングされた擬声語情報はインターネットを介して擬声語生成受信システムの利用者に、例えば有料で公開される。
【００１２】
放送受信装置４の図示しない操作部が操作され、毎週又は毎日受信される番組の視聴予約がなされたときには、その視聴予約情報は擬声語生成付加装置３の擬声語受信部３１の通信制御回路３１１に伝送される。通信制御回路３１１によりインターネット２に公開される擬声語情報が検索される。擬声語情報送信装置１により、視聴予約された番組に係る擬声語情報が公開されている情報が得られる。公開情報が得られたときに、通信制御回路３１１により、インターネット２上に公開されている視聴予約番組に係る擬声語情報の取得が要求される。要求を受けた擬声語情報送信装置１の擬声語送信部１６の送信制御回路１６４では、必要に応じて擬声語生成付加装置３の通信制御回路３１１を認証した後に要求された擬声語情報を送信する。送信された擬声語情報は、通信制御回路３１１が介されて伝送され、擬声語ＩＤは擬声語記憶回路３１４に、閾値レベルは調整値保持回路３１２に、そして特徴パラメータは相関テーブル記憶回路３１３のそれぞれに入力されて記憶される。
【００１３】
やがて視聴予約時刻が到来し、放送受信装置４により予約された番組が受信される。受信して得られた映像信号は画像合成部３５に入力されると共に、音声信号は背景音入力部３２に入力される。音声信号が２チャンネルステレオ信号である場合には、左チャンネル音声信号と右チャンネル音声信号の差の信号が背景音入力部３２に入力される。左右チャンネルの和の信号には出演者の声の成分が多く含まれ、差の信号には背景音成分が多く含まれる。音声信号が５チャンネル信号であるときには、センターチャンネルを除くチャンネル信号に背景音成分が多く含まれるため、背景音入力部３２にはセンターチャンネルを除くチャンネル信号が入力される。
【００１４】
背景音入力部３２に入力された音声信号のうちの背景音成分は特徴パラメータ抽出部３３に入力される。そこでは入力される背景音信号の成分が調整値保持回路３１２に記憶される閾値レベルより大きいか否かが検出される。閾値レベルより大きいとして検出されたときには入力される背景音の中心周波数成分、その周波数成分の平均音圧レベル、及び時間変化特性に係る特徴パラメータが抽出される。抽出された特徴パラメータは擬声語検索部３４に入力される。擬声語検索部３４では、相関テーブル記憶回路３１３に記憶されている特徴パラメータと類似する入力音声信号の特徴パラメータが存在しているかが検索される。類似する特徴パラメータが検索されたときには、その特徴パラメータに係り擬声語記憶回路３１４に記憶されている擬声語ＩＤを擬声語記憶回路３１４から取得する。取得された擬声語ＩＤは画像合成部３５に入力される。画像合成部３５に入力される映像信号に擬声語ＩＤが多重化され、多重化映像信号が出力される。
【００１５】
ここで、シリーズ番組における擬声語記憶回路３１４に記憶される擬声語ＩＤ、及び相関テーブル記憶回路３１３に記憶される特徴パラメータなどの類似語情報は前回又は過去に受信された番組に係る擬声語情報と類似されるものが使用されるケースが多くヒット率の高い犠声語が得られる。
図４を用い、背景音の特徴パラメータと擬声語との関係についてさらに説明する。
同図に示す擬声語情報はシリーズ番組が野球放送である場合の擬声語の特徴パラメータについて示したものである。
特徴パラメータは、周波数成分の中心値がＰｆｃ１、Ｐｆｃ２、Ｐｆｃ３（Ｐｆｃ１＞Ｐｆｃ２＞Ｐｆｃ３）であり、且つ周波数成分の平均音圧レベルの時間変化が減衰していくもの、ゆっくりした周期で繰り返すもの、及び早い周期で繰り返すものについて例示している。番号の１、４、及び６は中心周波数が共にＰｆｃ１である場合であり、平均音圧の時間変化がそれぞれ異なっている。擬声語としてはカァーン、カンカン、カッカッカッカッがそれぞれ割り当てられている。同様にして中心周波数がＰｆｃ２のものに対してはゴォーン、ゴンゴン、ゴッゴッゴッゴッが割り当てられている。
【００１６】
この例は野球放送の場合のレベルが大きな背景音の中心周波数成分及び平均音圧の時間変化を基に示した擬声語である。その他にも周波数成分の分布や周波数成分の時間変化特性などを特徴パラメータとして用いることによりさらに多くの擬声語の相関テーブルを定義することができる。
同様にして、シリーズ番組の放送内容毎に同様の擬声語の相関テーブルを作成することによりそのシリーズ番組中で複数回出現する背景音に対して共通の擬声語を定義して用いることができる。例えば周波数分布が広いホワイトノイズのような背景音に対しては、雨の風景である場合には「ザァー」、人々の完成である場合には「ワァー」、拍手の場合には「パチパチパチ」などの異なる擬声語を表示する必要がある。シリーズ番組では過去に放送されたと同じ情景の擬声語など、映像に関連性の高い擬声語を得ることができる。
また、擬声語が映像信号に多重されて表示されるタイミングは背景音のレベルが所定レベルに達したときとしている。特徴パラメータには表示タイミングに係るレベル値も含めるのが好ましい。
【００１７】
以上のように、本発明の実施例として記述した擬声語生成付加システムによれば、周波数分布特性により関連づけられた背景音に基づいて作成される擬声語が付加されていない番組を受信する際に、前記番組とは別系統で、予め前記番組で用いられる背景音に基づいて作成された擬声語のデータベースの格納及び送信を行い、前記データベースの中から前記番組で用いられる背景音に最も近い擬声語の検索及び受信を行い、前記背景音に対応する前記擬声語を付加して前記番組の画像情報と共に映像出力する擬声語送受信システムに用いられる擬声語受信装置３を、前記データベースの背景音パラメータの中から前記番組の背景音に最も近い近似背景音パラメータ及び前記近似背景音パラメータに対応する近似擬声語を検索する検索部３４と、前記検索部で検索された前記近似擬声語と前記番組の画像情報とを合成する画像合成部３５とを備えて構成しているので、聴覚障害者がテレビ視聴を行うために利用可能な構成が容易でありヒット率の高い字幕テキストを生成して受信映像に多重する擬声語生成付加システムを実現できる。
【産業上の利用可能性】
【００１８】
受信される音声信号に含まれる背景音に関連した擬声語を受信映像に多重して表示する、聴覚障害者用擬声語付加受信システムに適用できる。
【図面の簡単な説明】
【００１９】
【図１】本願発明の実施に係る擬声語生成受信システムの概略構成例を示す図である。
【図２】本願発明の実施に係る擬声語情報送信装置の構成例を示す図である。
【図３】本願発明の実施に係る擬声語生成受信システムの構成例を示す図である。
【図４】本願発明の実施に係る擬声語データベースの記述例を示す図である。
【符号の説明】
【００２０】
１    擬声語情報送信装置
２    インターネット
３    擬声語生成付加装置
４    放送受信装置
１１    擬声語ＩＤ入力部
１２    閾値決定部
１３    背景音入力部
１４    特徴パラメータ抽出部
１５    テーブル作成部
１６    擬声語送信部
３１    擬声語受信部
３２    背景音入力部
３３    特徴パラメータ抽出部
３４    擬声語検索部
３５    画像合成部
１６１    調整値保持回路
１６２    擬声語ＩＤ記憶回路
１６３    相関テーブル記憶回路
１６４    送信制御回路
３１１    通信制御回路
３１２    調整値保持回路
３１３    相関テーブル記憶回路
３１４    擬声語記憶回路
【図１】
2006033562.tif 000003
【図２】
2006033562.tif 000004
【図３】
2006033562.tif 000005
【図４】
2006033562.tif 000006