(57)【特許請求の範囲】
【請求項１】
字幕文テキスト、前記字幕文テキストの移動方向、前記字幕文テキストの移動量、および、前記字幕文テキストを合成する対象となる映像信号を入力する入力部と、
前記字幕文テキストの線幅を、前記移動方向に対して垂直な成分に関して、前記移動量の大きさに応じて細く変換する字幕文変換処理部と、
前記字幕文変換処理部によって変換処理された後の字幕文テキストおよび前記映像信号を合成する字幕合成処理部と、
合成処理後の映像を表示する表示装置と、
を備える字幕文字の表示システム。
【請求項２】
字幕文テキスト、前記字幕文テキストの移動方向、前記字幕文テキストの移動量、および、前記字幕文テキストを合成する対象となる映像信号を入力する入力部と、
前記字幕文テキストの文字の間隔を、前記移動方向に関して、前記移動量の大きさに応じて広く変換する字幕文変換処理部と、
前記字幕文変換処理部によって変換処理された後の字幕文テキスト信号および前記映像信号を合成する字幕合成処理部と、
合成処理後の映像を表示する表示装置と、
を備える字幕文字の表示システム。
【請求項３】
前記表示装置は１フレーム期間において表示期間と非表示期間との２つの期間を有し
前記字幕文変換処理部は、前記１フレーム期間に占める前記表示期間の比が予め定めた閾値以下の場合には変換処理を行わずにそのまま字幕文テキスト出力する、
ことを特徴とする請求項１または２のいずれか一項に記載の字幕文字の表示システム。
【請求項４】
字幕文テキストの線幅を、前記字幕文テキストの移動方向に対して垂直な成分に関して、前記字幕文テキストの移動量の大きさに応じて細く変換する変換処理ステップと、
前記変換処理された後の字幕文テキストと、前記字幕文テキストを合成する対象となる映像信号とを合成する合成処理ステップと、
合成処理後の映像を表示する表示ステップと、
を備えることを特徴とする字幕文字の表示方法。
【請求項５】
字幕文テキストの文字の間隔を、前記字幕文テキストの移動方向に関して、前記字幕文テキストの移動量の大きさに応じて広く変換する変換処理ステップと、
前記変換処理された後の字幕文テキスト信号と、前記字幕文テキストを合成する対象となる映像信号とを合成する合成処理ステップと、
合成処理後の映像を表示する表示ステップと、
を備える字幕文字の表示方法。
【請求項６】
前記表示ステップにおいて、１フレーム期間において表示期間と非表示期間との２つの期間を有し、前記変換処理ステップは、前記１フレーム期間に占める前記表示期間の比が予め定めた閾値以下の場合には変換処理を行わずにそのまま字幕文テキスト出力することを特徴とする請求項４または５のいずれか一項に記載の字幕文字の表示方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、字幕文字の表示方法および表示システムに関する。
【０００２】
【従来の技術】
従来の字幕番組提示方式は、図１２に示すように、表示画面４０内に１行当たり１５文字を限度として横２行を提示単位とし、スクロール速度を送信側で決定する構成となっていた。これに対し、上記提示方式を、視聴者が見易いように、受信側で視聴者が変える字幕番組受信システムが特開２０００−２７８６２２号公報に開示されている。この字幕番組受信システムの概略は、図１３に示すように受信した放送電波から字幕番組受信チューナー５４を通して、字幕文テキストの抽出・蓄積・読み出し５６を行い、入力切換スイッチ５７を介して視聴者が選択した字幕提示形式に従って、字幕文テキストの提示単位変換５４を行い、最終的にＮＴＳＣ信号への変換６０を行う。また、映像側は字幕文テキストとのタイミング処理６１を行い、上記変換後の字幕文テキストと映像を字幕合成処理部６２で合成処理し、表示装置６４に表示する。
【０００３】
一方、表示装置６４としては画像の書込み後、蛍光体の残光時間のみ発光しつづけるインパルス型表示装置（例えばＣＲＴ）や、新たに画像の書込みが行われるまで前フレームの表示を保持しつづけるホールド型表示装置（例えば液晶表示装置（以下、ＬＣＤと呼ぶ））がある。これらの表示装置、特にＬＣＤにおいては動画表示を行った場合にボケ現象が生じるという問題点が挙げられる。ボケ現象の要因としては液晶材料に起因する応答不足のほかに、図１４に示すように、動体の動きに眼が追随した場合、前フレームの画像から次フレームの画像へ絵が切り換わる期間も、同じ前フレームの画像が表示され続けられているにもかかわらず、眼が前フレーム画像上を移動しながら観察してしまうホールド現象がある。このホールド現象により、字幕文字をスクロールした場合に、文字と文字の輪郭が重なってしまい、文字の認識率が大幅に低減する可能性がある。
【０００４】
【発明が解決しようとする課題】
つまり、字幕番組提示方式を変換する従来の字幕番組受信システムは、表示装置の性能に応じて変換方式を変えるものではないため、上記表示装置のボケ現象により劣化した文字の読み取りを改善することはできない。
【０００５】
本発明は、上記事情を考慮してなされたものであって、文字画像の読み取り易さを改善することのできる字幕文字の表示方法および表示システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明による字幕文字の表示システムは、字幕放送信号から字幕文テキスト信号と映像信号を分離する字幕・映像分離部と、前記字幕文テキスト信号に基づいて字幕文テキストの移動方向を検出し、この移動方向を示す字幕文動きベクトル信号を出力する字幕文動き検出部と、前記字幕文動きベクトル信号と表示性能情報とに基づいて前記字幕文テキストの変換方法を指示する字幕文変換指示信号を出力する字幕文変換指示部と、前記字幕文変換指示信号によって前記字幕文テキストを変換する字幕文変換処理部と、前記字幕文変換処理部によって変換処理された後の字幕文テキスト信号と前記映像信号を合成する字幕合成処理部と、合成処理後の映像を表示する表示装置と、を備えたことを特徴とする。
【０００７】
なお、前記表示装置は液晶表示装置であり、前記表示性能情報を前記液晶表示装置の応答速度とするように構成しても良い。
【０００８】
なお、前記表示装置を１フレーム期間において表示と非表示の２つのフィールド期間によって構成される表示装置であって、前記表示性能情報を前記２つのフィールド期間の比とするように構成しても良い。
【０００９】
なお、前記字幕文変換指示信号は文字の太さを変える指示信号であっても良い。
【００１０】
なお、前記字幕文変換指示信号は文字の間隔を変える指示信号であっても良い。
【００１１】
また、本発明による字幕文字の表示方法は、字幕放送信号から字幕文テキスト信号と映像信号を分離し、前記字幕文テキスト信号に基づいて字幕文テキストの移動方向を検出し、この移動方向と表示性能情報とに基づいて前記字幕文テキストを変換し、この変換処理された後の字幕文テキスト信号と前記映像信号を合成し、合成処理後の映像を表示することを特徴とする。
【００１２】
【発明の実施の形態】
以下に、図面を参照しつつ本発明の実施形態を詳細に説明するが、本発明はこれらの実施形態に限定されるものではない。
【００１３】
（第１実施形態）
本発明の第１実施形態による字幕文字の表示システムの構成を図１に示す。この実施形態の表示システムにおいては、アンテナ２を介して受信した字幕放送信号が字幕放送受信部４に送られ、字幕放送受信部４内の字幕・映像分離部（図示せず）によって上記字幕放送信号から字幕文テキスト信号と映像信号の分離が行われ、字幕テキスト信号は字幕抽出・蓄積・読み出し部６および字幕文変換処理部１４に、映像信号は映像タイミング処理部１６にそれぞれ送出される。
【００１４】
次に、字幕抽出・蓄積・読み出し部６によって字幕テキスト信号から字幕文テキストが抽出され、蓄積される。蓄積された字幕文テキストは字幕文動き検出部８に送出され、字幕文動き検出部８によって字幕文の移動方向が検出される。この検出された字幕文の移動方向を示す字幕文動きベクトル信号が字幕文変換指示部１０に送出される。字幕文変換指示部１０では上記字幕文動きベクトル信号を受けると、表示性能情報記憶部１２に記録されている表示性能情報を参照する。字幕文変換指示部１０では字幕文動きベクトル信号と表示性能情報から字幕文変換方式を決定し、この字幕分変換方式を示す字幕文変換指示信号を字幕文変換処理部１４に送出する。
【００１５】
字幕文変換処理部１４では、字幕抽出・蓄積・読み出し部６から送られてくる字幕文テキスト信号を字幕文変換指示信号に従って変換する。本実施形態では映像信号と変換後の字幕文テキストの情報が時間軸上で大きく異なる場合を想定し、映像信号と字幕文テキストを同期させる映像タイミング処理部１６を設けている。映像タイミング処理部１６での処理方法はどのようなものであっても良い。例えば、字幕文変換が文字の間隔を大きくするのであれば、字幕文の提示時間が長くなるので、このことに同期させるため、映像出力タイミングを遅延させる方式が考えられる。そのため映像タイミング処理部１６では複数のフレームメモリを有することになる。しかし、複数のフレームメモリによるコストアップを考慮すると、複数フレームに亘らずに変換できる範囲内で字幕文を変換する処理方式に留めることが望ましい。そして最終的には、字幕文変換処理部から出力される、変換後の変換処理済み字幕文テキスト信号と、変換タイミング処理部１６から出力される、タイミングを合わせたタイミング処理済み映像信号を字幕合成処理部１８で合成後、画像信号として表示装置２０に出力し、この表示装置２０で表示する。
【００１６】
次に、字幕文テキストと字幕文の移動距離による画質劣化（ボケ現象）ついて説明する。ボケ現象は表示装置の種類と字幕文の移動距離によって、その発生の要因が異なる。まずホールド型である液晶表示装置を使った場合について説明する。例えば図２（ａ）に示すように「テキスト」として表される字幕文テキストの線幅に比べ、字幕文の移動距離が小さい場合、すなわち字幕文の移動が遅い場合は、図２（ｂ）に示すように、２フレーム分の字幕文が重なった画像３０が視認される。そして、この場合、表示装置のフレーム間の応答速度、つまり液晶材料の応答速度が重要になる。ここでは液晶の応答が２フレームに亘るとすると、図２（ｃ）に示すように、書き換えを行ったフレーム画像（第ｎフレーム画像（黒塗りで示す））に対し、ひとつ前のフレーム画像（第ｎ−１フレーム画像（密度の濃い斜線で示す））が黒から白に完全に変化せずグレー部分として残り、更にもう一つ前のフレーム画像（第ｎ−２フレーム画像（密度の薄い斜線で示す））がやや白いグレー部分として残っている。これによりテキストの文字幅が図２（ｃ）に示すように移動方向に太くなったようにボケて視認される。
【００１７】
一方、図３（ａ）に示すように字幕文テキストの線幅に比べ、字幕文の移動距離が充分に大きい場合は、図３（ｂ）に示すように、２フレーム分の字幕文が表示された画像３０が視認される。そして、この場合、ホールド型表示方式に起因する相関のない画像を視認した影響が重要になる。例えば「テ」という文字について説明すると、第ｎ−１フレームから第ｎフレームに画像が切り換わる場合に、図３（ｃ）に示すように、第ｎフレーム画像と第ｎ−１フレーム画像が重なる部分（「テ」の横線の一部（黒塗りで示す））は黒から黒になるため、相関があり黒として視認されるが、第ｎフレーム画像と第ｎ−１フレーム画像が重ならない部分（「テ」の縦線のほとんど（斜線で示す））は黒と背景の白の両方を観察するため、相関がなくグレーとして視認される。すなわち、字幕文字は、同じ色を観察される部分（上述の例では黒となる部分）と、文字と背景の両方を観察される部分（上述の例ではグレーとなる部分）に分かれる。これは画像に移動方向へのローパスフィルターをかけた映像とほぼ等しい（図３（ｃ）参照）。
【００１８】
上記液晶表示装置のようなホールド型表示装置に対して、ＣＲＴのようにインパルス型表示装置においては、基本的に応答速度が速いこととホールド表示方式起因のボケ現象は観察されない。よって、表示性能情報記憶部１２に記憶される表示性能情報としてホールド型表示装置もしくはインパルス型表示装置の識別を示す情報が記憶されるようにしても良い。また、デューティー比を表示性能情報として記憶しておくこともできる。
【００１９】
次に、本実施形態の字幕文テキストの変換方法について説明する。テキスト情報としては例えば以下のパラメータが挙げられる。
１）文字の線幅
２）文字の大きさ
３）文字色
４）文字のコントラスト
５）文字間隔
【００２０】
本実施形態では特に文字の線幅と文字の間隔について説明するが、発明者らの実験により、ボケ現象による画質劣化の程度を低減する手段として、文字を大きくし相対的に文字のボケを視認され難くする方法や、文字色として背景色に対して相関の低い色を使用する方法などが有効であることが分かっている。
【００２１】
文字の線幅及び文字のコントラストを変える方法としては図４に示すように、移動方向に垂直な成分の線幅を中心に変換する。ここでは分かりやすくするために「井」の字を用いて説明する。図４（ａ）に示すようにグレーの太文字（斜線で示す）が書かれている場合に、まず図４（ｂ）に示すように縦線の線幅を細くする。次に、図４（ｃ）に示すように縦線のコントラストを強調する（縦線を黒塗りで示す部分を強調）。線幅と移動距離の関係であるが、単純には線が移動した範囲内で視線が移動するため、視認される輝度変化もその範囲内で積分すればよい。例えば、図５（ａ）に示すように、斜線で示す縦線３５が左から右へ移動し続ける場合、同一フレーム内で実際には画像３０の書き換えが行われていないにも関わらず、視線は左から右へ移動する。これは、上記のホールド現象に相当する。この場合の輝度を積分し平均化すると、図５（ｂ）に示すような輝度変化が視認されていると考えられる。ここで平均化する範囲は線幅分としている。更に縦線３５の移動量が大きくなると、図５（ｃ）、図５（ｄ）に示すようになる。つまり、線幅は移動距離分、引き伸ばされることになるが、輝度分布が移動距離によって異なってくる。線幅ａと移動距離ｂから変換後の線幅ｃが以下の式を満足するのが望ましいが、変換後の線幅についても表示可能な範囲までとなる。
ａ＝ｂ＋ｃ  （ａ＞ｂ）          （１）
ａ≦ｂとなる場合は、表示可能な最も細い線幅が変換後の線幅ｃとなる。
【００２２】
一方、文字間隔を変える方法としては図６に示すように、移動方向となる水平方向に文字間隔を広くする。図６（ａ）に対し図６（ｂ）は一文字一文字の間隔を広げた表示になっている。基本的には移動方向となる水平方向に文字間隔を広げるだけでよいが、テキスト全体のバランスを整えるために縦方向（移動方向に垂直な方向）の文字間隔を広げても良い。文字間隔については、読み取り易さが重要視されることになり、静止状態では通常、文字の間隔は文字幅の３０％程度となっている。ここで、移動する文字について考えてみると、文字幅をｄ、静止状態の文字と文字の間隔をｅ、移動距離をｆとすると、移動する文字と文字の間隔ｇは、以下の式を満足する。
ｇ＝ｅ−ｆ                      （２）
【００２３】
よって、静止状態の文字と文字の間隔ｅより移動距離が大きくなると、隣接文字同士が重なってしまい、非常に読み難くなる。そこで、静止状態のように、移動する文字の間隔についても文字幅が３０％になるようにするには、変換後の文字間隔ｈは、
0003763773.tif 000002
を満足するのが望ましい。
【００２４】
上記までは移動方向に垂直となる垂直成分について線幅を変える方法について説明したが、文字のバランスを取る目的で水平方向成分に対して、線の長さを調整することも可能である。線の長さをｉ、移動距離をｊとすると、移動する線の長さｋは以下のようになる。
ｋ＝ｉ＋ｊ  （ｉ＞ｊ）              （５）
【００２５】
図７（ａ）は、画像３０内の、斜線で示す横線３７が水平方向に移動する場合を示し、図７（ｂ）は、移動により横線３７の長さが長くなった場合を示す。図７（ｂ）から分かるように、移動により横線３７の長さが長くなった場合は、横線３７の両端の輝度は背景色との相関により薄くなっている。横線が重なっている部分を密度の濃い斜線で示す。
【００２６】
ここで、線の長さについては、その線分の中心にそれぞれ調整するのが良く、変換後の線の長さｌは、
ｌ＝ｉ−ｊ  （ｉ＞ｊ）              （６）
となるようにするのが望ましい。但し、ｉ＜ｊという場合も考えられるので、以下のように線の長さの増加率が大きくならない程度に変換する方法も考えられる。
ｌ＝ｉ２／（ｉ＋ｊ）                （７）
【００２７】
図８（ａ）、（ｂ）に線の長さを短くし、移動による線の長さの増加を抑えた状態を示す。すなわち、図８（ａ）は、画像３０内の横線３７が水平方向に移動する場合を示し、図８（ｂ）は、移動しても変換により横線３７の長さが抑制された場合を示す。重なっている部分を密度の濃い斜線で示す。
【００２８】
以上説明したように、本実施形態によれば、字幕文テキストを変換することによって、文字画像の読み取り易さを改善することができる。
【００２９】
（第２実施形態）
本発明の第２実施形態に係る表示方法について説明する。この第２実施形態に係る表示方法は、図１に示す表示装置において、表示性能情報記憶部１２に記憶される表示性能情報として応答速度をとった構成となっている。例えば各階調レベル間毎に応答時間を記憶しておく。その中で１フレーム期間（１６．７［ｍｓ］）に応答の終了する階調レベル間の書き換えについては特に処理を加えず、２フレーム以上に亘り応答が必要な階調レベル間の書き換えに対して処理を加える。例えば図９（ａ）に示すように、移動方向に対する垂直成分（縦線）の線幅をａとし、移動距離をｂとすると、１フレームで応答が終了する場合には線幅はａのままだが、２フレームに亘り応答する場合には見かけ上の線幅がａ＋ｂになる。このため、図９（ｂ）に示すように、線幅を１／２ａに変換すると、見かけ上の線幅が１／２ａ＋ｂとなる。これより、移動距離ｂが線幅ａに対して小さい場合には線幅を細くする効果が現れやすいことになる。よって、線幅を均一に保つためには変換後の線幅ｃを以下のように設定すると良い。
ｃ＝ａ−ｂ                        （８）
【００３０】
以上説明したように、本実施形態によれば、２フレーム以上に亘り応答が必要な階調レベル間の書き換えに対して処理を加えることにより、文字画像の読み取り易さを改善することができる。
【００３１】
（第３実施形態）
本発明の第３実施形態に係る表示方法について説明する。この第３実施形態に係る表示方法は、図１に示す表示装置において、表示性能情報記憶部１２に記憶される表示性能情報としてデューティー比をとった構成となっている。例えばデューティー比として１００％や５０％などを記憶しておく。なお、デューティー比とは、デューティー比＝表示期間／（表示期間＋非表示期間）×１００と定義される値である。したがって、ホールド型表示装置はデューティー比が１００％となる。
【００３２】
本発明者らの実験によると、デューティー比２５％以下については特に処理を加えず、デューティー比が大きくなるに従って、第１実施形態に示したような文字変換処理を加えることが好ましい。
【００３３】
また上記変換処理の他に、視認される画像内で文字のコントラスト差を低減させるようにしても良い。例えば、図１０（ａ）に示すように、背景色と、斜線で示す字幕文字「テキスト」とのコントラストが低い場合には、図１０（ｂ）に示すように、画像３０には、同じ色を観察する部分（密度の薄い斜線で示す）と、ホールド表示装置によるボケ部分（密度の濃い斜線で示す）が現れ、読み取りにくくなる。そこで、これを改善するために、部分的にコントラストを強調する方法もしくは移動方向成分に対してハイパスフィルタをかける方法等が考えられる。例えば、図１０（ｂ）で同じ色が観察される部分以外の字幕文字の部分をコントラスト強調したもの、すなわち字幕文字の移動方向に対して垂直成分（縦線）にコントラスト強調を行ったものを図１１（ａ）に示す。これにより垂直成分と水平成分のコントラスト差が低減できる。更に、図１１（ｂ）に示すように文字のバランスを取るために水平方向（字幕文字の移動方向）に対して線幅を太くする処理や垂直成分に対して線幅を細くする処理を加えても良い。
【００３４】
上記実施形態のように移動方向に対して垂直成分と水平成分を切り分ける方式としては字幕文テキスト情報内の移動方向情報を取得後に、テキスト情報に基づいてエッジ検出処理を行い、このエッジ検出処理により判別を行う。エッジ検出については多くの方式が提案されており、例えば隣接画素間の輝度変化を調べることによってエッジが検出できる。この場合は、輝度変化の大きい部分がエッジとなる。この他にテキスト情報を移動方向と移動方向に対して垂直方向とでフーリエ変換する方式もある。そして移動方向成分について取り出し、コントラスト強調や細線化処理を行い、移動方向に対して垂直方向成分については特に処理を行わない。そして処理後に逆フーリエ変換し、合成する。
【００３５】
以上説明したように、本実施形態によれば、デューティー比に基づいて書き換えの処理を行うことにより、文字画像の読み取り易さを改善することができる。
【００３６】
【発明の効果】
以上述べたように、本発明によれば、文字画像の読み取り易さを改善することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る表示システムの構成を示すブロック図。
【図２】液晶材料の応答特性による画質劣化を説明する図。
【図３】ホールド型表示方式の表示特性による画質劣化を説明する図。
【図４】第１実施形態の字幕文テキスト変換処理を説明する図。
【図５】視認されるパネルからの輝度変化を示す図。
【図６】第１実施形態の他の字幕文テキスト変換処理を説明する図。
【図７】字幕文テキストの移動に伴う問題点を説明する図。
【図８】第１実施形態の他の字幕文テキスト変換処理を説明する図。
【図９】本発明の第２実施形態に係る表示方法の字幕文テキスト変換処理を説明する図。
【図１０】字幕文テキストの表示に関する問題点を説明する図。
【図１１】本発明の第３実施形態に係る表示方法の字幕文テキスト変換処理を説明する図。
【図１２】字幕放送例を示す図。
【図１３】従来の字幕文テキスト変換処理を説明する図。
【図１４】ホールド型表示方式の表示特性による画像のボケ現象を示す図。
【符号の説明】
２  アンテナ
４  字幕放送受信部
６  字幕抽出・蓄積・読み出し部
８  字幕文動き検出部
１０  字幕文変換指示部
１２  表示性能情報記憶部
１４  字幕文変換処理部
１６  映像タイミング処理部
１８  字幕合成処理部
２０  表示装置
【図１】
0003763773.tif 000003
【図２】
0003763773.tif 000004
【図３】
0003763773.tif 000005
【図４】
0003763773.tif 000006
【図５】
0003763773.tif 000007
【図６】
0003763773.tif 000008
【図７】
0003763773.tif 000009
【図８】
0003763773.tif 000010
【図９】
0003763773.tif 000011
【図１０】
0003763773.tif 000012
【図１１】
0003763773.tif 000013
【図１２】
0003763773.tif 000014
【図１３】
0003763773.tif 000015
【図１４】
0003763773.tif 000016