(57)【要約】【課題】ＤＶＤなどの再生時における字幕情報を含む映像情報が、液晶ディスプレイなどの高解像度表示が可能な装置により表示される際、字幕部分の文字の表示画質を向上させる。【解決手段】映像信号と字幕などを構成する文字画像信号とを合成して出力する再生装置内などで使用される映像合成装置において、文字画像信号を文字認識する手段を有し、その手段は文字画像信号に含まれる文字を認識し、出力される画像の解像度に合わせた最適な書体を選択して、認識された文字のコードを選択された書体の文字画像に置換して得られる画像の信号を文字画像信号の対応する部分と置換して合成を行なう。【選択図】  図１
2007142955.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を取得する映像信号取得部と、
前記映像信号に重ねるための文字画像信号を取得する文字画像信号取得部と、
文字画像信号取得部で取得された文字画像信号により構成される文字画像に対して文字認識を行ない認識された文字のコードを取得する文字認識部と、
書体情報を取得する書体情報取得部と、
書体情報取得部にて取得した書体情報に基づいて、文字認識部で取得された文字のコードに相当する文字の文字画像により構成される画像である新文字画像信号を生成する新文字画像信号生成部と、
前記新文字画像信号にて前記文字画像信号の全部又は一部を置換して置換後文字画像信号とする置換部と、
置換後文字画像信号と、映像信号とを合成する合成部と、
を有する映像合成装置。
【請求項２】
前記書体情報取得部は、
前記合成される映像信号の表示装置の解像度情報を取得する解像度情報取得手段と、
複数の書体情報を保持する書体情報保持手段と、
前記取得された解像度情報に基づいて、前記複数の書体情報から取得すべき一の書体情報を選択する書体情報選択手段と、
を有する請求項１に記載の映像合成装置。
【請求項３】
前記合成部は、置換後文字画像信号を、映像信号のフレームの更新タイミングに同期して映像信号と合成する同期合成手段を有する請求項１又は２に記載の映像合成装置。
【請求項４】
前記文字画像信号は、字幕を構成するための文字画像信号または／およびオンスクリーンディスプレイ画像を構成するための文字画像信号を含む請求項１から３のいずれか一に記載の映像合成装置。
【請求項５】
映像信号を取得する映像信号取得ステップと、
前記映像信号に重ねるための文字画像信号を取得する文字画像信号取得ステップと、
文字画像信号取得ステップにて取得された文字画像信号により構成される文字画像に対して文字認識を行ない認識された文字のコードを取得する文字認識ステップと、
書体情報を取得する書体情報取得ステップと、
取得された文字コードに相当する文字の文字画像を、書体情報取得ステップにて取得した書体情報に基づいて構成するために必要な新文字画像信号を生成する新文字画像信号生成ステップと、
前記新文字画像信号にて前記文字画像信号の全部又は一部を置換して置換後文字画像信号とする置換ステップと、
置換後文字画像信号と、映像信号とを合成する合成ステップと、
を含む映像合成装置の動作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕画像信号やオンスクリーンディスプレイ画像信号などを映像信号に合成して出力する映像合成装置及び映像合成装置の動作方法に関する。特に、合成して出力される映像信号を高解像度なものに変換するときに、画質の劣化の発生を低減させる技術に関する。
【背景技術】
【０００２】
現在、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ビデオ規格が知られている。この規格では、映像情報と字幕情報とのそれぞれが、ＤＶＤに記録されており、ＤＶＤ再生装置は、映像情報に字幕情報を重ねて合成した映像情報を生成することができる。
【０００３】
ＤＶＤ再生装置により生成され出力される映像を表示するためには、液晶ディスプレイやプラズマディスプレイなど、高解像度の表示装置が用いられるようになってきている。このような高解像度の表示装置では、一般的には、プログレッシブ方式により映像情報が表示される。そのため、インターレース方式による映像情報は、プログレッシブ方式による映像情報に変換する必要がある。インターレース方式では、フレームの偶数番目の走査線で構成されるフィールドと奇数番目の走査線で構成されるフィールドが交互に表示される。そこで、インターレース方式による映像情報をプログレッシブ方式による映像情報に変換するには、インターレース方式での各フィールド画像の上下に隣接する走査線の間に位置する走査線上の画素の値を補間により求めることが行なわれる。また、液晶ディスプレイパネルやプラズマディスプレイパネルなどの製造技術分野においては、大画面化が進んでおり、高精彩な画像の表示を可能とするために、画面を構成する画素数が増加している。このため、映像情報を構成する画素数をパネルに表示するのに必要な画素数に変換するスケーリング処理が必要となる。
【０００４】
表示装置内でスケーリング処理とプログレッシブ方式への変換処理とを行なうよりも、再生装置内で行なうことにより、画質劣化を低減させる技術が知られている（例えば、特許文献１参照。）。この技術では、動画像と非動画像とにそれぞれ最適な解像度変換、補間を行なった後に、字幕情報などを合成することにより、表示装置と映像情報との特性に合わせた画像処理を行なうことが可能となり、合成に伴って発生する画像劣化を低減することができる。
【特許文献１】特開２００３−３３８９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ＤＶＤなどの再生による映像情報を、液晶ディスプレイなどの高解像度表示が可能な高解像度表示装置に表示すると、通常、スタンダードサイズディスプレイの解像度用の映像情報、字幕情報が高解像度表示装置に入力されることになる。このため、その高解像度表示装置の中で液晶などのパネルの解像度にあわせたスケールアップの処理がされる。しかし、このようなスケールアップによる映像にスケールアップされた字幕を重ねて合成表示すると、字幕の見栄えが悪くなってしまう。なぜならば、字幕はスタンダードサイズの解像度の表示装置向けに製作されているので、高解像度に表示するためにスケールアップしてしまうと、文字部分の画質が落ちてしまったり、見た目のバランスなどが崩れてしまったりして、見栄えが悪くなるからである。
【０００６】
また、映像信号に合成する文字画像信号の示す字幕などを、映像信号を構成するフレームの更新に無関係に変更すると、字幕の文字部分の画質が劣化するなどの問題が発生する。特に、再生装置がインターレース方式による映像信号を出力する場合、同じフレームに対応するフィールドが複数出力されるが、その複数のフィールドの列の途中で字幕が変更されると、表示装置などでのプログレッシブ方式の映像に変換する場合に不具合が発生することがある。例えば、同じフレームに対応するフィールド列の途中で文字画像信号が変更されると、３：２プルダウン検出時や２：２プルダウン検出時に、同じフレームに対応するフィールドの相関関係が弱くなるため、本来、同じフレームに対応しているフィールドが異なるフレームに対応すると判断されてしまう。
【課題を解決するための手段】
【０００７】
本発明は、かかる現状を鑑みてなされたものであり、映像信号と字幕などを構成する文字画像信号とを合成して出力する再生装置内などで使用される映像合成装置において、文字画像信号を文字認識する手段を有し、その手段は文字画像信号に含まれる文字を認識し、これにより出力される画像の解像度に合わせた最適な書体に置き換えることとした映像合成装置を提供する。
【０００８】
また、本発明では、映像合成装置において、映像信号のフレームの更新に同期して文字画像信号を更新する映像合成装置を提供する。
【発明の効果】
【０００９】
以上説明したように、本発明によれば、再生装置側で字幕などの文字画像信号の映像の画質劣化を伴うことなく、映像の高解像度化が可能となる。また、映像信号を構成するフレームの変化に同期して重ねられる文字画像が更新されるので、３：２プルダウン検出や２：２プルダウン検出を正しく行なうことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態について、実施形態として図を用いて説明する。なお、本発明は、これら実施形態に何ら限定されることなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００１１】
（実施形態１）
実施形態１として、映像信号に文字画像信号を合成して出力する再生装置内などで使用される映像合成装置において、文字画像信号を文字認識する手段を有し、その手段は文字画像信号に含まれる文字を認識し、これにより出力される画像の解像度などに合わせて最適な書体に置き換えることとした映像合成装置について説明する。
【００１２】
（実施形態１：構成）
図１は、実施形態１に係る映像合成装置の機能ブロック図を例示する。映像合成装置１００は、映像信号取得部１０１と、文字画像信号取得部１０２と、文字認識部１０３と、書体情報取得部１０４と、新文字画像信号生成部１０５と、置換部１０６と、合成部１０７と、を有する。
【００１３】
「映像信号取得部」１０１は、映像信号を取得する。「映像信号」とは、映像を表わす信号であり、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）規格に基づいた映像を表わす情報を示す信号である。このような信号は、例えば、ビデオカメラから入力された画像信号をＭＰＥＧエンコーダに入力することにより得られる。また、ＤＶＤなどの媒体を再生することによっても得られる。映像信号は、動画を表わす情報でもよいし、静止画を表わす情報であってもよい。また、音声信号などが伴っていてもよい。
【００１４】
「文字画像信号取得部」１０２は、前記映像信号に重ねるための文字画像信号を取得する。「前記映像信号」とは、映像信号取得部１０１により取得される映像信号である。「前記映像信号に重ねる」とは、前記映像信号が表わす動画や静止画などの上や下に別の画像を載せたように見える視覚的効果をもたらすことを意味する。また、「映像信号に重ねるための文字画像信号」であるので、文字画像信号そのものが映像信号に重ねられる必要はなく、文字画像信号をもとにして生成される信号が映像信号に重ねられるようになっていてもよい。本実施形態では、文字画像信号の表わす画像あるいは文字画像信号をもとに生成される信号の表わす画像が、前記映像信号が表わす動画や静止画などの上や下に載せたように見えるような視覚的効果がもたらされる。ここに、「文字画像信号」とは、文字を含み得る画像を表わす情報を示す信号である。例えば、ＴＩＦやＪＰＥＧなどの静止画像を表わす情報を示す信号であり、そのＴＩＦやＪＰＥＧなどの静止画像の中に文字として認識し得る部分がある。文字として認識し得る部分を「文字画像」と呼ぶことにする。この文字画像信号が映像信号に重ねられる場合には、映像信号のうち、文字画像信号を重ねる部分が、その文字画像信号の画像に置き換えられてもよい（すなわち、文字画像信号がオンスクリーンディスプレイ画像を示す場合である）。また、文字画像信号の画像の背景に相当する部分が透明となった状態で、その文字画像信号の映像の上又は下に載せられたように見える視覚的効果をもたらすようになってもよい（すなわち、文字画像信号が字幕画像を示す場合である）。映像信号取得部１０１が映像信号をＤＶＤなどの媒体から取得する場合、文字画像信号取得部１０２は、同じ媒体による文字画像信号を取得してもよいし、異なる媒体より取得するようになっていてもよい。また、パーソナルコンピュータなどが映像合成装置１００に接続され、そのパーソナルコンピュータから送信される文字画像信号を受信することにより、文字画像信号を取得してもよい。また、文字画像信号取得部１０２は、取得した文字画像信号、あるいは、その文字画像信号を復号化した画像を示す情報をメモリに記憶するようになっていてもよい。
【００１５】
なお、文字画像信号は複数取得されるようになっていてもよい。この場合、複数取得される文字画像信号は、例えば、全てが字幕画像を示すものであったり、全てが、オンスクリーンディスプレイ画像を示すものであったり、あるいは、一部が字幕画像であり、残りの一部がオンスクリーンディスプレイ画像となっていたりしてもよい。また、時間の経過に伴って、取得される文字画像信号が、字幕画像とオンスクリーンディスプレイ画像とを示すものの間で変化するようになっていてもよい。この場合には、文字画像信号が、字幕画像を示すのか、あるいは、オンスクリーンディスプレイ画像であるかを示す信号も取得されるようになっていてもよい。
【００１６】
「文字認識部」１０３は、文字画像信号取得部１０２で取得された文字画像信号により構成される文字画像に対して文字認識を行ない、認識された文字のコードを取得する。すなわち、文字認識部１０３は、いわゆるＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）の処理を文字画像信号の画像に対して行ない、文字のコードを生成する。このとき、認識された文字の位置、範囲を示す情報も取得されるようになっていてもよい。また、文字の色なども取得されるようになっていてもよい。ＯＣＲの処理は、文字画像信号取得部１０２が文字画像信号あるいはその文字画像信号を復号化した画像を示す情報をメモリに記憶する場合には、そのメモリに記憶された信号または画像に対して行なうようになっていてもよい。
【００１７】
図２と図３とは、文字画像信号と文字のコードの関係を例示する。図２のように、文字画像２０１により構成される文字画像信号が、文字画像信号取得部１０２により取得されたとする。この場合、文字画像信号取得部１０２は、その文字画像信号、あるいは、文字画像信号を復号化した画像を示す情報をメモリに記憶したとすると、文字認識部は、メモリに記憶された信号あるいは情報を読み出し、文字画像２０１の位置を決定し、文字を切り出して、図３のような文字コードの列を生成し、メモリに記憶する。すなわち、「日」の文字コードとして４６７Ｃ、「本」の文字コードとして４Ｂ５Ｃ、…、を生成して、文字コードを要素の値として含む配列データ３０１などとしてメモリに記憶する。
【００１８】
「書体情報取得部」１０４は、書体情報を取得する。ここに「書体情報」とは、文字のコードに対応して、そのコードで示される文字を画像に変換するための情報を意味する。通常は、書体情報は、変換された画像のもたらす印象などを基準にして分類したフォント別に記憶される。文字のコードに対応して、そのコードで示される文字の画像を得るためのアウトラインフォント情報や、ビットマップフォント情報などがフォント別に記憶される。これらのアウトラインフォント情報や特にビットマップフォント情報は、文字が画像に変換される場合の大きさごとに記憶されていてもよい。したがって、書体情報取得部１０４が書体情報を取得する場合には、フォントが指定され、必要ならば大きさや色などが指定され、そのフォントに対応して記憶された書体情報を取得するようになっていてもよい。フォントの指定や大きさなどの指定は、例えば、映像合成装置の操作者がスイッチやボタンの操作を行なうことにより、行なわれるようになっていてもよい。また、映像合成装置１００の製造時に設定されるようになっていてもよい。また、映像信号が音声信号などとともに取得される場合には、音声信号に応じた書体情報が取得されてもよい。例えば、小さな音量であれば、小さな文字の書体情報、大きな音量であれば、大きな文字の書体情報が取得されるようになっていてもよい。また、音の高さや音の示すリズムなどにより、フォントの種類が異なるように、書体情報が取得されてもよい。なお、書体情報取得部１０４は、その内部に記憶した書体情報を取得するようになっていてもよいし、その外部から書体情報を受信するなどして取り込むようになっていてもよい。例えば、映像合成装置１００に挿入されるメモリカードなどに書体情報が記憶されており、そのメモリカードを読み取ることにより、書体情報が取得されるようになっていてもよい。
【００１９】
図４は、書体情報を例示する。図４（Ａ）には、「ゴシック体」や「明朝体」などのフォント別に、ゴシック体のフォント情報や明朝体のフォント情報が記憶されている様子が示される。図４（Ｂ）には、例えば、ゴシック体のフォント情報を例示しており、文字のコードを添え字とする配列データに文字を画像に変換するためのフォント情報が格納される。例えば、４６７Ｃという添え字に対応して、「日」のフォント情報が格納されている。
【００２０】
図５は、「日」のフォント情報５０１を例示している。フォント情報５０１は、例えば、「日」を画像に変換するためのビットマップ画像となっており、黒色の部分が画像に変換する場合に色が付され、白色の部分が画像に変換する場合に透明になるべき画素の位置を表わす。
【００２１】
「新文字画像信号生成部」１０５は、新文字画像信号を生成する。「新文字画像信号」とは、書体情報取得部１０４にて取得した書体情報に基づいて、文字認識部１０３で取得された文字のコードに相当する文字の文字画像により構成される画像を表わす信号である。すなわち、文字認識部１０３で取得された文字のコードに対応する文字の画像を、書体情報を用いて生成された画像である。例えば、文字認識部１０３により図３のような文字のコードの列が取得された場合、まず、コードの列の最初の要素である４６７Ｃをメモリなどから読み出し、４６７Ｃに対応する図５に例示されたフォント情報の画像を得て、次に４Ｂ５Ｃに対応するフォント情報の画像を得る操作を順次行ない、得られた画像を並べて、新文字画像信号を得る。このようにして得られた新文字画像信号は、メモリなどに記録される。このとき、新文字画像信号が表わす画像の幅が所定の幅のドット数などを超える場合には、改行を行なうようにして、画像の幅が所定の幅以内に収まるようにしてもよい。また、文字認識部で認識された文字画像と新文字画像信号が表わす画像とでは、文字の間隔が異なるようになっていてもよい。所定の幅のドット数や文字の間隔は、例えば、後述の合成部により合成された映像信号の表示がされる表示装置の解像度などにより定められるようになっていてもよい。
【００２２】
「置換部」１０６は、前記新文字画像信号にて前記文字画像信号の全部又は一部を置換して置換後文字画像信号とする。「前記新文字画像信号」とは、新文字画像信号生成部１０５により生成された新文字画像信号である。また、「前記文字画像信号」とは、文字画像信号取得部１０２で取得された文字画像信号である。したがって、置換部１０６は、文字画像信号取得部１０２で取得された文字画像信号の全部又は一部を、新文字画像信号生成部１０５で生成された新文字画像信号で置き換える。例えば、文字画像信号が文字画像のみから構成される場合には、置換部１０６は、文字画像信号を無視し、新文字画像信号を置換後文字画像信号として出力する。また、文字画像信号の画像のうち文字認識部１０３により文字として認識できた部分とそうでない部分とがあれば、文字として認識できた部分を新文字画像信号に置き換える。なお、置き換えの前後の部分は同じ大きさである必要はない。すなわち、新文字画像信号生成部１０５が、大きな文字サイズのフォント情報を用いて新文字画像信号を生成した場合には、文字画像信号の画像の文字の部分が、大きなフォント情報を用いて生成された大きなサイズの新文字画像信号の画像と置き換えられる。また、文字認識部１０３で文字として認識できた部分がなければ、新文字画像信号は無視され、文字画像信号が置換後文字画像信号となる。
【００２３】
「合成部」１０７は、置換後文字画像信号と、映像信号とを合成する。すなわち、置換部１０６で得られた置換後文字画像信号と、映像信号取得部１０１で取得された映像信号とを合成する。映像信号取得部１０１で取得された映像信号が、ＤＶＤビデオなどの媒体から読み出されたＭＰＥＧなどによるビデオ符号化情報であれば、ＭＰＥＧなどのデコーダによりビデオ画像が復号されて生成され、必要に応じてドット数の変換を行なうなどのスケーリング処理がされ、置換後文字画像信号が合成される。
【００２４】
図６は、合成部１０７による合成の様子を例示する。図２の文字画像２０１が文字認識され、その結果得られた文字のコードに相当する文字を、書体情報に基づいて文字画像で構成した画像が画像６０１であるとする。また、映像信号取得部１０１で取得された映像信号をデコード、スケーリング処理などして得られる画像が画像６０２であるとすると、合成部１０７は、画像６０１と画像６０２とを合成して、画像６０３を生成する。
【００２５】
（実施形態１：処理の流れ）
図７は、本実施形態に係る映像合成装置における処理の流れを説明するフローチャートを例示する。このようなフローチャートの処理は、映像合成装置を、ＣＰＵ、メモリ、入出力インターフェースなどをバスで結合した計算機の一種として構成した場合、メモリに格納されＣＰＵで実行されるプログラムによって、実現することができる。なお、図７に例示されたフローチャートの実行においては、その実行と並行または並列して、映像信号取得部１０１による映像信号の取得が行なわれているとする。ステップＳ７０１において、文字画像信号を取得する。この取得は、映像信号取得部１０１あるいはそれに対応するプログラムモジュール（以下、「モジュール」と略記する）により行なわれる。ステップＳ７０２において、ステップＳ７０１で取得された文字画像信号により構成される文字画像に対して文字認識を行ない認識された文字コードを取得する。この取得は、文字認識部１０３あるいはそれに対応するモジュールにより行なわれる。ステップＳ７０３において、書体情報を取得する。この取得は、書体情報取得部１０４あるいはそれに対応するモジュールにより行なわれる。ステップＳ７０４において、新文字画像信号を生成する。この生成は、新文字画像信号生成部１０５あるいはそれに対応するモジュールにより行なわれる。ステップＳ７０５において、新文字画像信号にて文字画像信号の全部または一部を置換し、置換後文字画像信号とする。この処理は、置換部１０６あるいはそれに対応するモジュールにより行なわれる。ステップＳ７０６、Ｓ７０７において、文字画像信号が変更されるまで、置換後文字画像信号と映像信号とを合成する。この合成は、合成部１０７あるいはそれに対応するモジュールにより行なわれる。文字画像信号が変更されれば（映像合成装置の処理の終了にともなって文字画像信号が途切れた場合も含む）、ステップＳ７０８へ処理を移行し、処理全体を終了するべきかどうかを判断し、終了するべきでないと判断されれば、ステップＳ７０１へ処理を戻す。
【００２６】
なお、文字画像信号の変更がなされたかどうかは、例えば、文字画像信号取得部１０２あるいはそれに対応するモジュールにより、新たな文字画像信号が取得されたかどうかにより判断する。また、ＤＶＤなどの媒体を再生する場合には、文字画像を変更する再生の位置を示す情報があらかじめ取得されており、その情報に基づいて、文字画像信号が変更されるべきかどうかの判断が行なわれてもよい。
【００２７】
（実施形態１：主な効果）
本実施形態により、文字画像信号の示す画像の文字の書体を適宜変更することが可能であり、字幕画像などの文字画像信号の映像の画質劣化を伴うことなく、映像の高解像度化が可能となる。
【００２８】
（実施形態２）
実施形態２として、合成される映像信号の表示装置の解像度に応じて書体情報が取得される場合について説明する。
【００２９】
図８は、本実施形態での映像合成装置の位置づけを例示する。置換後文字画像信号が合成された映像信号が映像合成装置８０１より出力され、表示装置８０２に入力され表示される。この場合、表示装置８０２での解像度に応じて、適切な書体を選択できるようにするのが本実施形態の目的である。例えば、表示装置の解像度が小さければ、文字の細部がつぶれないようにするために明朝体など、文字を構成する線の幅が小さい書体を選択する。また、表示装置の解像度が大きければ、文字を明瞭に表示するためにゴシック体などの文字を構成する線の幅が大きい書体を選択したり、斜めの線が滑らかに表示されるように、大きな文字サイズに適した書体を選択したりする。
【００３０】
（実施形態２：構成）
図９は、本実施形態に係る映像合成装置の機能ブロック図を例示する。映像合成装置９００は、映像信号取得部１０１と、文字画像信号取得部１０２と、文字認識部１０３と、書体情報取得部１０４と、新文字画像信号生成部１０５と、置換部１０６と、合成部１０７を有する。また、書体情報取得部１０４は、解像度情報取得手段９０１と、書体情報保持手段９０２と、書体情報選択手段９０３と、を有する。したがって、本実施形態に係る映像合成装置９００は、実施形態１に係る映像合成装置の書体情報取得部が、解像度情報取得手段と、書体情報保持手段と、書体情報選択手段と、を有する構成となっている。
【００３１】
「解像度情報取得手段」９０１は、合成される映像信号の表示装置の解像度情報を取得する。「合成される映像信号」とは、合成部１０７により、置換後文字画像信号が合成される映像信号である。また、「合成される映像信号の表示装置」とは、合成される映像信号の示す映像を表示するための表示装置である。たとえば、液晶ディスプレイ装置やプラズマディスプレイ装置、表面電界ディスプレイ装置などがある。解像度情報は、表示装置が映像を表示する際の解像度を示す情報であり、縦と横との画素数などにより、１０２４ドット×７６８ドットなどとして示される。また、表示装置の画面の対角線の長さ（例えば、単位をインチにして表示する）によっても示すことができる。解像度情報取得手段９０１は、例えば、図８のように映像合成装置に接続される表示装置８０２が出力する解像度情報を読み取ったり、映像合成装置８０１の操作者が操作するスイッチやボタンの操作により、解像度情報を得たりする。
【００３２】
「書体情報保持手段」９０２は、複数の書体情報を保持する。例えば、図４に例示されるようなデータ構造の書体情報をメモリや磁気媒体などに記録して保持する。
【００３３】
「書体情報選択手段」９０３は、前記取得された解像度情報に基づいて、前記複数の書体情報から取得すべき一の書体情報を選択する。「前記取得された解像度情報」とは、解像度情報取得手段９０１により取得された解像度情報である。また、「前記複数の書体情報」とは、書体情報保持手段９０２に保持された書体情報である。「基づいて」とは、解像度情報と選択されるべき一の書体情報との対応関係があらかじめ定まっており、その対応関係に従って、という意味である。
【００３４】
図１０は、このような対応関係を格納するテーブルである。このテーブルは、列１００１と列１００２とから構成され、列１００１には、解像度情報が格納され、列１００２には、選択されるべき書体情報が格納され、同一の行に解像度情報と書体情報とが格納されることにより、解像度情報に基づいて選択されるべき書体情報が定められる。例えば、ＳＸＧＡ（例えば１６００ドット×１２００ドットを示す。）の場合には、ゴシック体の書体が選択され、ＶＧＡ（例えば１０２４ドット×７６８ドットを示す。）の場合には、明朝体の書体が選択されるべきことが表わされている。なお、このようなテーブルは、適切なデータ構造としてメモリに格納され、書体情報選択手段９０３が読み取り可能な状態になっており、解像度情報取得手段９０１で取得された解像度情報に基づいて、書体情報が選択できるようになっている。
【００３５】
（実施形態２：処理）
図１１は、本実施形態での処理の流れを説明するフローチャートを例示する。本実施形態における処理は、実施形態１における処理と同じであるが、書体情報取得部１０４での処理、すなわち、図７のステップＳ７０３での処理が図１１に詳しく記述される。ステップＳ１１０１において、解像度情報を取得する。この処理は、解像度情報取得手段９０１あるいはそれに対応するモジュールにより行なわれる。ステップＳ１１０２において、解像度情報に基づいて、書体情報を選択する。この処理は、書体情報選択手段９０３あるいはそれに対応するモジュールにより行なわれる。
【００３６】
（実施形態２：主な効果）
本実施形態においては、表示装置の解像度に応じて、新文字画像信号を生成するための書体情報が選択されるので、表示装置の解像度に適した書体で字幕などを表示することが可能となる。
【００３７】
（実施形態３）
実施形態３として、フレームの更新タイミングに同期して置換後文字画像信号を映像信号と合成する映像合成装置について説明する。
【００３８】
（実施形態３：構成）
図１２は、本実施形態に係る映像合成装置の機能ブロック図を例示する。映像合成装置１２００は、映像信号取得部１０１と、文字画像信号取得部１０２と、文字認識部１０３と、書体情報取得部１０４と、新文字画像信号生成部１０５と、置換部１０６と、合成部１０７を有する。また、合成部１０７は、同期合成手段１２０１を有する。また、書体情報取得部１０４は、解像度情報取得手段９０１と、書体情報保持手段９０２と、書体情報選択手段９０３と、を有していてもよい。したがって、本実施形態に係る映像合成装置は、実施形態１または２の映像合成装置の合成部が同期合成手段を有する構成となっている。
【００３９】
「同期合成手段」１２０１は、置換後文字画像信号を、映像信号のフレームの更新のタイミングに同期して映像信号と合成する。ここに「フレーム」とは、映像を構成する単位であり、ＮＴＳＣでは、映像信号は、一秒あたり約３０個のフレームから構成される。すなわち、図７のフローチャートにおいて、ステップＳ７０７で文字画像信号の更新をする判断が行なわれ、ステップＳ７０１へ処理が戻されて更新後の文字画像信号から置換後文字画像信号が生成された場合、生成された置換後文字画像信号が映像信号取得部１０１で取得された映像信号に合成されるタイミングは、映像信号のフレームの更新のタイミングとなる。このように、置換後文字画像信号の更新のタイミングをフレームの更新のタイミングとすることにより、あるフレームに置換後文字画像信号の示す画像の一部のみが合成されることを防止できる。このような防止の効果がより大きく得られるのは、映像信号がインターレース方式であり、表示装置側で、インターレース方式からプログレッシブ方式への変換が行なわれる場合である。
【００４０】
図１３は、インターレース方式からプログレッシブ方式への変換を説明する図である。図１３で説明されるのは、２：２プルダウン処理、逆２：２プルダウン処理と呼ばれるものである。まず、フィルムフレームと呼ばれるフレーム１３０１、１３０２、１３０３により映像が構成されるとする。このとき、インターレース方式での映像信号は、それぞれのフレームの偶数番目の走査線からなるトップフィールド、奇数番目の走査線からなるボトムフィールドの列から構成される（最初の走査線を０番目とすれば、トップフィールドは偶数番目の走査線から構成され、ボトムフィールドは奇数番目の走査線から構成されることになる）。したがって、２：２プルダウン処理により、フィルムフレーム１３０１から、トップフィールド１３０４とボトムフィールド１３０５とが生成され、フィルムフレーム１３０２から、トップフィールド１３０６とボトムフィールド１３０７とが生成され、フィルムフレーム１３０３から、トップフィールド１３０８とボトムフィールド１３０９とが生成される。
【００４１】
このようなトップフィールドとボトムフィールドとの列から構成されるインターレース方式の映像信号から、プログレッシブ方式の画像信号へ変換するには、インターレース方式の各フィールド画像に対して、上下に隣接する走査線の中間に位置する画素列を補間することにより行なわれ、図１３の場合には、逆２：２プルダウン処理と呼ばれる。すなわち、トップフィールド１３０４とボトムフィールド１３０５とから、フレーム１３１０、１３１１が生成され、トップフィールド１３０６とボトムフィールド１３０７とから、フレーム１３１２、１３１３が生成され、トップフィールド１３０８とボトムフィールド１３０９とから、フレーム１３１４、１３１５が生成される。
【００４２】
一方、通常の映画では、一秒あたり２４フレームで構成され、テレビなどのＮＴＳＣでは、一秒あたり約３０フレームで構成されるので、やや複雑な変換処理が必要である。
【００４３】
図１４は、一秒あたり２４フレームの画像信号から一秒あたり３０フレームのインターレース方式の画像信号へ変換する場合の３：２プルダウン処理と、逆３：２プルダウン処理とを説明するための図である。フィルムフレーム１４０１、１４０２、１４０３により映像が構成されるとする場合、フィルムフレーム１４０１と１４０３とに対応して二つのフィールドが生成され、フィルムフレーム１４０２に対応して三つのフィールドが生成される。すなわち、フィルムフレーム１４０１からトップフィールド１４０４とボトムフィールド１４０５とが生成され、フィルムフレーム１４０２からトップフィールド１４０６とボトムフィールド１４０７とトップフィールド１４０８とが生成され、フィルムフレーム１４０３からボトムフィールド１４０９とトップフィールド１４１０とが生成される。
【００４４】
このようなトップフィールドとボトムフィールドとの列から構成されるインターレース方式の映像信号から、プログレッシブ方式の画像信号へ変換するには、同一のフィルムフレームに対応する二つまたは三つのフィールドよりプログレッシブ方式のフレームが生成される必要がある。すなわち、トップフィールド１４０４とボトムフィールド１４０５とからフレーム１４１１、１４１２を生成し、トップフィールド１４０６とボトムフィールド１４０７とトップフィールド１４０８とからフレーム１４１３、１４１４、１４１５を生成し、ボトムフィールド１４０９とトップフィールド１４１０からフレーム１４１６、１４１７を生成する逆３：２プルダウン処理が行なわれる。
【００４５】
以上、２：２プルダウン処理、逆２：２プルダウン処理、３：２プルダウン処理、逆３：２プルダウン処理の概略について説明したが、インターレース方式からプログレッシブ方式への変換を行なう場合、フィールドの列に対して、逆２：２プルダウン処理を行なうべきか、それとも逆３：２プルダウン処理を行なうべきか選択を行なう必要がある。この選択については、隣接するフィールドの相関を判定して選択する方法が知られている。
【００４６】
図１５は、図１３に対応しており、逆２：２プルダウン処理を行なうべき選択を行なう場合を示している。隣接するフィールドのうち、同じフィルムフレームから生成されたトップフィールド１３０４とボトムフィールド１３０５、トップフィールド１３０６とボトムフィールド１３０７、トップフィールド１３０８とボトムフィールド１３０９の相関関係が◎で示す強い相関となり、逆に異なるフィルムフレームから生成されたボトムフィールド１３０５とトップフィールド１３０６、ボトムフィールド１３０７とトップフィールド１３０８の相関関係が×で示す弱い相関となる。ここに「相関」とは二つのフィールドが同じ画像を示すかどうかの指標である。例えば、各フィールドを構成する走査線の画素を一つの列として並べ、並べられた２つの画素列の対応する画素値の差分の絶対値を積分することなどにより得られる。
【００４７】
また、図１６は、図１４に対応しており、逆３：２プルダウン処理を行なうべき選択を行なう場合を示しており、隣接するフィールドのうち、同じフィルムフレームから生成されたトップフィールド１４０４とボトムフィールド１４０５、トップフィールド１４０６とボトムフィールド１４０７、ボトムフィールド１４０７とトップフィールド１４０８、ボトムフィールド１４０９とトップフィールド１４１０の相関関係が◎で示す強い相関となり、逆に異なるフィルムフレームから生成されたボトムフィールド１４０５とトップフィールド１４０６、トップフィールド１４０８とボトムフィールド１４０９の相関関係が×で示す弱い相関となる。そこで、隣接するフィールド間の相関の強弱のパターンにより、逆２：２プルダウン処理を行なうべきか、それとも逆３：２プルダウン処理を行なうべきかを選択する方法が知られている。
【００４８】
映像合成装置において、映像信号に重ねる置換後文字画像信号を任意のタイミングで変更してしまうと、隣接するフィールド間の相関の強弱のパターンが乱れてしまい、映像合成装置が出力する映像信号を表示などする表示装置でプログレッシブ方式の映像信号に変換する処理に不具合が発生する虞がある。そこで、本実施形態では、同期合成手段１２０１において、フレームの更新のタイミングを検出し、その検出のタイミングで、置換後文字画像信号を更新して合成することとした。
【００４９】
フレームの更新のタイミングは、例えば、上記で説明したように隣接するフィールドの相関の強弱のパターンを検出し、弱い相関が現れたときを、フレームの更新のタイミングとする。但し、本実施形態では、このような検出の方法に限定するものではなく、これ以外の検出の方法が用いられてもよい。
【００５０】
（実施形態３：主な効果）
本実施形態では、映像信号を構成するフレームの変化に同期して置換後文字画像信号が更新されるので、３：２プルダウン検出や２：２プルダウン検出を正しく行なうことができる。
【産業上の利用可能性】
【００５１】
本発明に係る映像合成装置及び映像合成装置の動作方法によれば、再生装置側で字幕などの文字画像信号の映像の画質劣化を伴うことなく、映像の高解像度化が可能となるなどの効果を有し、本発明に係る映像合成装置及び映像合成装置の動作方法は、産業上有用である。
【図面の簡単な説明】
【００５２】
【図１】実施形態１に係る映像合成装置の機能ブロック図
【図２】文字画像信号と文字のコードの関係の一例図
【図３】文字画像信号と文字のコードの関係の一例図
【図４】書体情報の一例図
【図５】書体情報を構成する情報の一例図
【図６】合成部１０７による合成の様子の一例図
【図７】実施形態１に係る映像合成装置での処理のフローチャート
【図８】実施形態２に係る映像合成装置と表示装置との関係の一例図
【図９】実施形態２に係る映像合成装置の機能ブロック図
【図１０】解像度情報と書体情報との対応関係を格納するテーブルの一例図
【図１１】実施形態２に係る映像合成装置での処理のフローチャート
【図１２】実施形態３に係る映像合成装置の機能ブロック図
【図１３】２：２プルダウン処理を説明する図
【図１４】３：２プルダウン処理を説明する図
【図１５】逆２：２プルダウン処理を行なう場合を説明する図
【図１６】逆３：２プルダウン処理を行なう場合を説明する図
【符号の説明】
【００５３】
１００  映像合成装置
１０１  映像信号取得部
１０２  文字画像信号取得部
１０３  文字認識部
１０４  書体情報取得部
１０５  新文字画像信号生成部
１０６  置換部
１０７  合成部
【図１】
2007142955.tif 000003
【図２】
2007142955.tif 000004
【図３】
2007142955.tif 000005
【図４】
2007142955.tif 000006
【図５】
2007142955.tif 000007
【図６】
2007142955.tif 000008
【図７】
2007142955.tif 000009
【図８】
2007142955.tif 000010
【図９】
2007142955.tif 000011
【図１０】
2007142955.tif 000012
【図１１】
2007142955.tif 000013
【図１２】
2007142955.tif 000014
【図１３】
2007142955.tif 000015
【図１４】
2007142955.tif 000016
【図１５】
2007142955.tif 000017
【図１６】
2007142955.tif 000018