(57)【要約】【課題】  聴覚障害者が手軽に背景音を知ることが出来るよう、簡単化した自動擬声語字幕制作装置を提供する。【解決手段】  番組の音声及び番組に関するデータを入力して、前記音声から抽出した背景音の擬声語を制作する擬声語字幕制作装置において、予め擬声語と背景音を表すデータ情報及び番組内容を指定するキー情報が相互に関連付けられた擬声語データベースを格納した記憶部１０を有しており、音声の中から背景音を抽出する背景音抽出部８と、前記背景音から背景音を表すデータ情報を抽出する音響情報抽出部９と、番組に関するデータから番組内容を指定するキー情報を抽出する番組情報抽出部１２と、前記番組内容を指定するキー情報及び前記背景音を表すデータ情報を記憶部１０に格納された擬声語データベースと比較して、擬声語を検索して出力する検索部１１と、を有する。【選択図】      図２
2005303949.tif 000002
【特許請求の範囲】
【請求項１】
放送番組或いは録画番組の映像、音声及び番組に関するデータを入力して、前記音声から抽出し、かつ前記映像に同期した背景音の擬声語を制作し、前記映像と共に表示する擬声語字幕付き再生装置に用いられる聴覚障害者用の擬声語字幕制作装置において、
前記擬声語字幕制作装置は、予め前記擬声語と前記背景音を表すデータ情報及び前記番組内容を指定するキー情報が相互に関連付けられた擬声語データベースを格納した擬声語データベース記憶部を有しており、
前記音声の中から前記背景音を抽出する背景音抽出部と、
前記背景音抽出部から抽出された前記背景音から前記擬声語データベース記憶部に格納された擬声語データベースの前記擬声語と関連付けられた背景音を表すデータ情報を抽出する音響情報抽出部と、
前記番組に関するデータから番組内容を指定するキー情報を抽出する番組情報抽出部と、
前記番組情報抽出部から出力される前記番組内容を指定するキー情報及び前記音響情報抽出部から抽出された背景音を表すデータ情報を前記擬声語データベース記憶部に格納された擬声語データベースと比較して、前記擬声語を検索して出力する擬声語検索部と、
を有することを特徴とする擬声語字幕制作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された番組の音声信号から背景音を抽出し、その背景音から擬声語データベースを検索して、擬声語の字幕を作成する擬声語字幕制作装置に関するものである。
【背景技術】
【０００２】
テレビジョンの字幕は、外国語会話の翻訳や、聴覚障害者の聴力を補うために使われているが、その字幕の内容はあくまで言葉の意味を伝えることが目的となっている。この場合聴覚障害者は、字幕により言葉の意味は知ることができるが、そのシーンの背景で響いている音響は知ることができない。このため聴覚障害者は、言葉だけでなく、響いている音響、特に臨場感に係るような背景音の字幕化をも望んでいる。
【０００３】
米国のクローズドキャプションでは、バリアーフリーの考え方が浸透していることにより、一部背景音の擬声語が字幕に取り込まれている。日本でも背景音も字幕化する方向で動こうとしているが、これからである。また固定字幕も考えると、既に番組供給者、家庭・市場には、膨大な字幕付きソフトが存在するが、これらについても背景音の字幕化が期待されている。
【０００４】
通常、字幕番組は、字幕テキスト書き起し部、自動字幕番組データ制作部、字幕番組編集・試写部を備えるような字幕制作装置により、テレビ素材番組の映像、音声、タイムコードに基づいて、スピーチ・背景音などの字幕テキストデータを入力し、字幕画面作成およびタイミング付与を行い、作成された字幕番組を見てチェック・修正を行うことで制作される。 (例えば、特許文献１参照。)。これにより背景音を含む字幕番組を制作することはできるが、装置規模が大きく、また人が介在する必要がある。
【０００５】
最近は、ニュースなどの一部番組で、音声認識技術を使ったり、高速入力キーボードなどにより、音声をリアルタイムに字幕化する試みが始まっている。
音声認識によるリアルタイム字幕は、現状では例えば「ニュース」という番組に特化することで実用化されている。
【特許文献１】特開２００３−２２４７７４号公報（第３頁〜４頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが背景音の場合は、音の範囲が広く、人が介在しないでリアルタイムに背景音を擬声語化する装置は存在しない。そこで本発明は、人が介在しないで、入力した番組の音声信号から臨場感を伝える効果音や音響などの背景音を抽出し、その背景音の擬声語を従来の字幕に追加して、リアルタイムに表示する擬声語字幕制作装置を提供することを目的とする。
さらに本発明は、聴覚障害者が手軽に背景音を知ることが出来るよう、簡単化した自動擬声語字幕制作装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための手段として、下記の構成よりなる本発明の擬声語字幕制作装置を提供するものである。
【０００８】
放送番組或いは録画番組の映像、音声及び番組に関するデータを入力して、前記音声から抽出し、かつ前記映像に同期した背景音の擬声語を制作し、前記映像と共に表示する擬声語字幕付き再生装置に用いられる聴覚障害者用の擬声語字幕制作装置において、
前記擬声語字幕制作装置は、予め前記擬声語と前記背景音を表すデータ情報及び前記番組内容を指定するキー情報が相互に関連付けられた擬声語データベースを格納した擬声語データベース記憶部（１０）を有しており、前記音声の中から前記背景音を抽出する背景音抽出部（８）と、前記背景音抽出部から抽出された前記背景音から前記擬声語データベース記憶部に格納された擬声語データベースの前記擬声語と関連付けられた背景音を表すデータ情報を抽出する音響情報抽出部（９）と、前記番組に関するデータから番組内容を指定するキー情報を抽出する番組情報抽出部（１２）と、前記番組情報抽出部から出力される前記番組内容を指定するキー情報及び前記音響情報抽出部から抽出された背景音を表すデータ情報を前記擬声語データベース記憶部に格納された擬声語データベースと比較して、前記擬声語を検索して出力する擬声語検索部（１１）と、を有することを特徴とする擬声語字幕制作装置。
【発明の効果】
【０００９】
本発明の擬声語字幕付き再生装置によれば、従来の会話・言葉などの字幕に加えて、臨場感に係る背景音を擬声語字幕として表示することで、聴覚障害者に補助的ながら映画などが持つ臨場感を視覚により伝えられるという効果がある。
また、比較的簡単な構成で、家庭で手軽に情景に合った擬声語の表示が可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明実施の最良の形態につき、好ましい実施例により、図１〜図３及び表１、表２を参照して説明する。図１は本発明の実施例の擬声語字幕付き再生装置を示すブロック構成図、図２は本発明の実施例で使われる擬声語字幕制作装置を示すブロック構成図、図３は本発明の実施例における字幕の表示領域を示す説明図、表１は本発明の実施例における背景音の分類を示す分類表、表２は本発明の第２実施例の擬声語データベースにおける擬声語の例を示す一覧表である。
【実施例】
【００１１】
本発明の字幕制作装置の実施例である擬声語字幕付き再生装置１は、図１に示すように、擬声語字幕制作装置２、音声遅延部３、映像遅延部４、画像合成部５、テレビジョン受信・再生装置６、リモコン７を備えている。以下前記した構成を有する擬声語字幕付き再生装置の全体構成を動作に従って説明する。
【００１２】
テレビジョン受信・再生装置６は、デジタル放送受信機、ＶＣＲ、ＤＶＤプレーヤーなどの字幕付き番組を受信または再生する機器であり、受信または再生した字幕付き映像信号、音声信号、また番組に関するデータを出力する。
音声遅延部３は、前記音声信号を入力して、遅延させて出力する。
映像遅延部４は、前記字幕付き映像信号を入力して、遅延させて出力する。
擬声語字幕制作装置２は、後で述べるように、前記音声信号および前記番組に関するデータを入力して、背景音を抽出、擬声語化して、前記擬声語を画像合成部５に出力する。
画像合成部５は、その入力した擬声語から擬声語字幕を作成、映像遅延部４から出力される遅延された映像信号に重畳して、その映像信号を出力する。
図３に擬声語字幕の画面上の表示領域例を示す。擬声語字幕は通常の字幕で使われていない画面上部を使って表示している。
また音声遅延部３、映像遅延部４は、擬声語字幕制作装置２と画像合成部５で擬声語字幕制作にかかった時間を補償して、擬声語字幕、音声および映像の時間合せをするため挿入されている。
以上により、擬声語字幕付き再生装置１は、擬声語字幕付き映像とその映像に同期した音声を出力することができる。
【００１３】
ここで擬声語字幕制作装置２について説明する。擬声語字幕制作装置２は、図２に示すように、背景音抽出部８と音響情報抽出部９と擬声語データベース記憶部１０と擬声語検索部１１と番組情報抽出部１２を備えている。以下、その動作に従って説明する。
【００１４】
背景音抽出部８は、入力された番組の音声信号から、擬声語字幕の候補となる背景音を抽出して、音響情報抽出部９に出力するものである。
【００１５】
入力音声には、会話・話し言葉、音楽、環境音等を含む様々な背景音、ノイズが混在している。この中で、聴覚障害者に臨場感を伝えるのに有効な効果音や音響などの背景音の大部分は、比較的大きな音だと考えられる。そこで本発明では、入力音声から、通常の音声レベルと比較して充分大きな音を取り出して背景音とする。
このためには、例えば下記のようにすればよい。入力音声より、それ以前の一定時間の無音部分を除く音声の平均値を音声平均レベルとして設定する。ノイズレベルは無音扱いとする。そして、音声平均レベルの２倍以上の音声部を背景音として抽出する。ただしこの抽出される背景音は、音声平均レベルの２倍より大きな音の区間だけでなく、無音から無音までの区間に拡張されたものとする。
以上により、背景音抽出部８は、入力音声から大きな音の背景音を一つ抽出することができる。またこれにより会話・話し言葉の大部分は背景音から排除される。
【００１６】
音響情報抽出部９は、前記背景音抽出部８から入力した背景音を分析して、擬声語データベース記憶部１０の擬声語データベースの検索に必要な背景音を表すデータ情報を抽出する。背景音を表すデータ情報には、音声レベル、その時間変化である音声波形、エンベロープ、周波数分布、周波数分布の時間変化などがある。
【００１７】
本実施例では、背景音を分類し、それぞれの分類に応じて、必要な特徴量を数値化して、背景音を表すデータ情報とする。背景音の分類の一例を表１に示す。
【００１８】
【表１】
2005303949.tif 000003
【００１９】
入力した背景音は、波形エンベロープにより持続時間の短い、例えば１００ｍｓ以下の打撃音などの「パルス音」を分離する。パルス音では、ピークレベル、ピーク周波数、−３ｄＢ帯域幅などを、背景音を表すデータ情報とする。次に持続時間の長い背景音から、観衆の歓声など波形エンベロープの比較的平坦な「一定音」を分離する。一定音では、ピークレベル、継続時間、−３ｄＢレベル幅、ピーク周波数、−３ｄＢ帯域幅などを、背景音を表すデータ情報とする。その他の複雑な波形エンベロープの背景音は「その他の音」に分類して、必要な背景音を表すデータ情報を抽出する。さらにこれらを記憶して、「繰り返し音」を検出して分類してもよい。
以上のように、音響情報抽出部９では、背景音を分類することで、背景音を表すデータ情報の数を減らして、擬声語データベース、検索を単純化している。
【００２０】
擬声語データベース記憶部１０は、音響情報である前記背景音を表すデータ情報と、後述する音響以外の情報である番組内容を指定するキー情報とにより擬声語を関連付けた擬声語データベースを記憶している。擬声語データベースは、基本的には背景音を表すデータ情報により擬声語を検索するが、本実施例の擬声語データベースでは、番組内容に合わせて複数の用途別擬声語データベースを準備し、番組内容を指定するキー情報で検索する擬声語データベースを指定して、指定された擬声語データベースから背景音を表すデータ情報により擬声語を検索するものとする。
【００２１】
擬声語は、場面、情景など番組内容と相関が強く、番組内容が決まると使われる背景音が限定される傾向にある。そこで番組内容にあわせて限定した擬声語によるデータベースを準備しておくことにより、適切な擬声語の選択、効率的な検索が可能となる。番組内容の項目は、データベースとして準備できるものなら何でもよいが、映画、スポーツ、音楽、ドラマ、ニュースより、ある程度細分化された野球、サッカー、ゴルフ・・・等のほうが有効である。
【００２２】
テニスの試合中継番組を例にとって説明する。番組内容を指定するキー情報で「テニス試合中継」を指定した時の擬声語を表２に示す。
【００２３】
【表２】
2005303949.tif 000004
【００２４】
この例では、テニスボールを打つ音の「ポーン」、「バシ」、観衆の歓声・拍手の「ワー」という３つの擬声語を取り上げたが、聴覚障害者にとっては、この３つの擬声語だけでも、臨場感を知る補助的な手段として有効に働くものである。そしてこの場合、テニスの試合という情景が分かっていて、擬声語を限定しているので、これら背景音は比較的簡単に分離できる。ボールを打つ音はいずれも継続時間が短いパルス音として、拍手・歓声はランダムノイズ状の音が続くことで識別できる。「ポーン」と「バシ」は音の大小で識別するが、たまたま間違えても問題とならない。また背景音を大きな音に限定することで会話などは排除されており、テニスの試合シーンだけであれば、波形だけで検出するのことも可能である。
【００２５】
以上のように、擬声語データベース記憶部１０の擬声語データベースは、番組内容に合わせた複数の用途別擬声語データベースを備えることで、適切な擬声語の選択、効率的な検索を可能としている。
【００２６】
番組情報抽出部１２は、入力された番組の番組内容に関するデータを入力して、そのデータを解析してキーワードを抽出し、予め備えている用途別擬声語データベースのタイトルとキーワードの関係を示すリストから、一致するキーワードを探す。一致するキーワードが見つかった場合は、そのタイトルを番組内容を指定するキー情報として、擬声語検索部１１に出力する。
番組内容に関するデータには、デジタル放送の番組案内（ＥＰＧ）、メディアの付加情報であるメタデータなどがある。また用途別擬声語データベースを指定するのに、擬声語字幕付き再生装置１のリモコン７から番組情報抽出部１２が備えている前記用途別データベースのタイトルリストを、リモコン７に表示させて手動により選択してもよい。
【００２７】
擬声語検索部１１は、番組情報抽出部１２で抽出された番組内容を指定するキー情報により、指定された擬声語データベースを優先して選択し、音響情報抽出部９で抽出された背景音を表すデータ情報を使って擬声語を検索する。番組内容を指定するキー情報がない場合には、特に用途指定のない擬声語データベースを使って検索する。
また検索は、抽出された背景音を表すデータ情報とデータベースの背景音を表すデータ情報を比較して行う。検索できた場合は対応する擬声語を出力し、検索できなかった場合は対応する擬声語無しとする。
【００２８】
以上で述べたように、本発明の実施例における擬声語字幕付き再生装置によれば、入力された音声信号から臨場感を伝える効果音や音響などの背景音を自動的に抽出・擬声語化して、通常の映像、字幕に加えて擬声語字幕を表示できる。
大きな音だけを背景音とするという方法で、本来変換すべき背景音の一部は漏れるが、臨場感を伝えるのに有効な背景音の大部分を抽出している。
また本発明による擬声語字幕制作装置は、番組内容に合わせて擬声語データベースを使い分けるため、適切な擬声語の選択が可能となり、装置に対する負荷の少ない簡単なシステムとなり、聴覚障害者が家庭で手軽に臨場感に係る背景音を視覚的に知ることができる簡易型の擬声語字幕付き再生装置が可能となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施例の擬声語字幕付き再生装置を示すブロック構成図である。
【図２】本発明の実施例の擬声語字幕制作装置を示すブロック構成図である。
【図３】本発明の第２実施例の擬声語字幕の表示領域を示す説明図である。
【符号の説明】
【００３０】
１  擬声語字幕付き再生装置
２  擬声語字幕制作装置
３  音声遅延部
４  映像遅延部
５  画像合成部
６  テレビジョン受信・再生装置
７  リモコン
８  背景音抽出部
９  音響情報抽出部
１０  擬声語データベース記憶部
１１  擬声語検索部
１２  番組情報抽出部
【図１】
2005303949.tif 000005
【図２】
2005303949.tif 000006
【図３】
2005303949.tif 000007