(57)【要約】【課題】            従来の映像符号化装置では、入力された映像データと、文字データから生成した映像データとを別々の情報として蓄えて送信していたので、受信機側で、画像と文字画像とが重ねて表示される場合は、一画面分の画像データと比較すると、画像が重なった部分だけ余分に画像データを送信することになり、通信コストが高くなると言う問題があった。【解決手段】        入力された映像データを、矩形領域に対応した第１のマクロブロックに変換する映像変換部と、入力された文字データに対し、対応するビットマップデータの１ビットに１マクロブロックを対応させ、前記文字データを前記第１のビットマップデータのビットと相似に配置した、第２のマクロブロックに変換する文字／映像変換部とを出力を合成して多重化マクロブロックを生成する多重化部とを備えたため、多重化の処理コストが抑えられるとともに、伝送する映像データの量を抑えて、通信コストを低減できる。【選択図】          図１
2005184168.tif 000002
【特許請求の範囲】
【請求項１】
文字データと映像データとを有す入力データの入力部と、
前記映像データを、１以上の画素を含む矩形領域に対応した第１のマクロブロックに変換する映像変換部と、
前記文字データに対応する第１のビットマップデータを記憶する記憶手段を有し、文字データ入力に対し、上記記憶手段が出力するビットマップデータの１ビットに１マクロブロックを対応させ、前記文字データを前記第１のビットマップデータのビットと相似に配置した、第２のマクロブロックに変換する文字／映像変換部と、
前記第１のマクロブロックと前記第２のマクロブロックとを合成した多重化マクロブロックを生成する多重化部と、
を備えたことを特徴とする映像符号化装置。
【請求項２】
前記入力データは、前記文字データおよび／または前記映像データの位置データを含み、
前記多重化部は、前記位置データを参照して、前記第１のマクロブロックと前記第２のマクロブロックとを重ね合わせることを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記入力データは、前記文字データに含まれる文字に対応する第２のビットマップデータを有し、
前記記憶手段は、前記入力データから抽出された前記第２のビットマップデータを記憶することを特徴とする請求項１または２に記載の映像符号化装置。
【請求項４】
文字データと映像データとを含む入力データの入力ステップと、
前記映像データを、１以上の画素を含む矩形領域に対応した第１のマクロブロックに変換する映像変換ステップと、
前記文字データを映像に変換する第１のビットマップデータに基づき、前記文字データを対応する第２のマクロブロックに変換する文字／映像変換ステップと、
前記第１のマクロブロックと前記第２のマクロブロックとを重ね合わせた多重化マクロブロックを生成する多重化ステップと、
を有すことを特徴とする映像符号化方法。
【請求項５】
前記入力データは、前記文字データに含まれる文字に対応する第２のビットマップデータを含み、
前記第２のビットマップデータを前期入力データから読みとり、記憶する記憶ステップを有し、
前記文字／映像変換ステップでは、前記第１および第２のビットマップデータのみに基づいて前記文字データを変換することを特徴とする請求項４に記載の映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に文字信号を多重して伝送する映像符号化装置および映像符号化方法に関する。
【背景技術】
【０００２】
従来の映像符号化装置は、例えばＨＴＭＬ文書など映像データと文字データとを含む入力データを送信した場合、受信機側で文字データを映像に変換するためのフォントデータを用意して、受信した文字データを映像に変換してから表示していた。
【０００３】
しかし上記の方法では、受信機側で大容量のフォントデータを用意するため、部品点数が多くなり、表示を行う際の変換にも負荷がかかる。そのため送信側で、映像データと、文字データを文字フォントファイルを用いて変換した映像データとを同一の記憶装置に蓄え、ＨＴＭＬ文書の変換終了後に、この記憶装置から画像データを順次送信していた。（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００２−３５１７７４号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記のような、従来の映像符号化装置では、入力された映像データと、文字データから生成した映像データとを別々の情報として蓄えて送信していたので、受信機側で、画像と文字画像とが重ねて表示される場合は、一画面分の画像データと比較すると、画像が重なった部分だけ余分に画像データを送信することになり、通信コストが高くなると言う問題があった。さらに、送信側に文字を画像に変換するために文字フォントファイルを用意する必要があるが、通常フォントファイルは多種の文字入力に対処するために多数のエントリを持つため、大容量の記憶媒体を必要とし、装置のコストが上昇させていた。また、入力文字は用意されたフォントでしか表示できないという制約もあった。
【０００６】
本発明は、かかる問題点を解消するためになされたもので、入力された文字データを効率よく映像データに多重することにより、送信する画像データの容量を抑えた映像符号化装置および映像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明にかかる映像符号化装置は、文字データと映像データとを有す入力データの入力部と、前記映像データを、１以上の画素を含む矩形領域に対応した第１のマクロブロックに変換する映像変換部と、前記文字データに対応する第１のビットマップデータを記憶する記憶手段を有し、文字データ入力に対し、上記記憶手段が出力するビットマップデータの１ビットに１マクロブロックを対応させ、前記文字データを前記第１のビットマップデータのビットと相似に配置した、第２のマクロブロックに変換する文字／映像変換部と、前記第１のマクロブロックと前記第２のマクロブロックとを合成した多重化マクロブロックを生成する多重化部とを備えたものである。
【発明の効果】
【０００８】
以上のように、この発明にかかる映像符号化装置は、文字データと映像データとを有す入力データの入力部と、前記映像データを、１以上の画素を含む矩形領域に対応した第１のマクロブロックに変換する映像変換部と、前記文字データに対応する第１のビットマップデータを記憶する記憶手段を有し、文字データ入力に対し、上記記憶手段が出力するビットマップデータの１ビットに１マクロブロックを対応させ、前記文字データを前記第１のビットマップデータのビットと相似に配置した、第２のマクロブロックに変換する文字／映像変換部と、前記第１のマクロブロックと前記第２のマクロブロックとを合成した多重化マクロブロックを生成する多重化部とを備えている。
【０００９】
そのため、映像データのマクロブロックと文字映像データのビットに対応させて多重化するために、多重化の処理コストが抑えられるとともに、伝送する映像データの量を抑えて、通信コストを低減できる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１による映像符号化装置のブロック図である。
【００１１】
図１において、映像符号化装置１０の入力部１１に入力された、映像データと文字データとを含む入力データ１００は、映像データ１０１と文字データ１０２とに配分される。この映像データ１０１を映像変換部１４で変換して映像マクロブロック１０５が生成される。文字データ１０２を文字／映像変換部１２で変換して、映像に変換した文字マクロブロック１０３が生成される。映像マクロブロック１０５と文字マクロブロック１０３とは多重化部１３で重ね合わせられ、多重化マクロブロック１０４が出力される。多重化マクロブロック１０４は、映像符号化部１５で符号化されて、映像符号化データ１０６を出力し、映像符号化装置はこれを送信する。
【００１２】
本実施の形態では、入力データ１００の内容として、映像データ１０１と文字データ１０２のみを提示したが、音声データなど他の種類のデータを含んでもよく、これを限定しない。また映像データ１０１は、静止画でなく、複数の映像が集合した動画データでもよい。また、映像符号化データ１０６には、例えばＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８−２）などの標準化規格があるが、これを限定しない。また、図１の構成に限定せず、例えば、多重化部１３と映像符号化部１５とを一体に構成してもよく、これを限定しない。
【００１３】
次に、図１を用いて本実施の形態の映像符号化装置への入力データ１００がＨＴＭＬ文書である場合について、その動作を説明するが、入力をＨＴＭＬ文書に限定するものではない。ＨＴＭＬでは＜＞で囲まれた内容が、その制御内容を規定するタグである、タグ埋め込み型の言語である。例えば、＜ＩＭＧ  ＳＲＣ＝”ｘｘｘ．ｇｉｆ”＞は、ファイル名：ｘｘｘ．ｇｉｆの映像データの表示を指令している。映像の表示位置は、絶対座標などで別途指定があるときは、その指定位置に、特に指定がない場合は、直前までの記述から決まるデフォルト位置になる。ＨＴＭＬでは、特にタグが付与されていない文字列は、文字データとして表示される。また、＜Ｈ１＞目次＜／Ｈ１＞のようにタグを付与して、表示サイズ、表示色、表示フォントなどを指定する。また、文字についても映像データと同様に、表示位置の制御が可能である。
【００１４】
入力部１１では、以上のようなＨＴＭＬの文法に基づき入力データ１００の内容を解析し、映像データ１０１および文字データ１０２を抽出し、それぞれ映像変換部１４および文字／映像変換部１２に送出される。また、図示しない表示位置や表示サイズなど抽出したタグ情報も、必要に応じて、映像変換部１４および文字／映像変換部１２に送出される。なお、本実施の形態では、映像データ１０１および文字データ１０２が多重化した入力データ１００が入力された場合を説明するが、入力部１１が解析を行わず、映像符号化装置に、映像データ１０１および文字データ１０２が別々に入力するように構成してもよく、これを限定しない。
【００１５】
図２（藤原洋監修「最新ＭＰＥＧ教科書」アスキー出版局、Ｐ．１５４より抜粋）は、映像変換部１４が映像データ１０１をマクロブロックへ映像変換を行う例として、階層構成であるＭＰＥＧ−２の映像データ構造を示す図である。図２において、ピクチャ層３０１はスライス層３０２から、スライス層３０２はマクロブロック３０３から構成されている。図２に示す様に、マクロブロック３０３は、輝度信号（Ｙ）と、色差信号（Ｐｂ，Ｐｒ）とが重なりあって構成され、クロマフォーマット４：２：０時は輝度信号（Ｙ）が８×８のブロック３０３Ｙを４個、色差信号（Ｐｂ，Ｐｒ）がそれぞれ８×８のブロック３０３ｂ、８×８のブロック３０３ｒが各１個でずつで構成される。
【００１６】
図３は、文字／映像変換部１２が文字データ１０２を文字マクロブロック１０３に変換するビットマップの一例を入力文字が「Ａ」の場合について示したものである。文字／映像変換部１２からは、文字を構成する１ビットに対して１つのブロック３０３Ｙおよび、文字の表示色に合わせたブロック３０３ｂ、ブロック３０３ｒが生成される。例えば、文字の字画をあらわす部分には黒色などのマクロブロックが、背景部分には白色などのマクロブロックを対応させて、文字マクロブロック１０３に変換される。
【００１７】
次に多重化部１３では、入力された映像データ１０１毎に、表示領域を決定し、映像マクロブロック１０５を蓄積する。また、入力された文字データ１０２毎に、必要に応じそのタグ情報を参照して、表示領域を決定し、文字マクロブロック１０３を蓄積する。
【００１８】
多重化部１３に蓄積された映像マクロブロック１０５および文字マクロブロック１０３の多重化の手順を、図４のフローチャートを用いて説明する。
【００１９】
ここで、多重化部１３に入力されたＭ個の文字マクロブロック１０３を、それぞれＣ（ｉ）とする（Ｍ≧ｉ≧１）。また、多重化部１３に入力された映像マクロブロック１０５は、それぞれの表示領域を参照し、予め重ね合わせられて１枚の映像マクロブロック１０５になっているとする。まずステップＳ１０１で、ｉに１が代入される。次にステップＳ１０２で、Ｃ（ｉ）が映像マクロブロック１０５と重なるかを判定し、重なる場合はステップＳ１０３に、そうでない場合はステップＳ１０５に進む。ステップＳ１０３で、Ｃ（ｉ）と映像マクロブロック１０５は、それぞれの表示領域を参照して重ねられ、映像マクロブロック１０５をこの重ねたデータに更新する。ステップＳ１０４で、Ｍ≧ｋ≧ｉ＋１のＣ（ｋ）を１つずつシフトして、文字マクロブロック１０３からＣ（ｉ）が除去され、文字マクロブロック１０３の総数をＭ−１に減じる。ここで、ｉ＝Ｍの場合は条件を満たすｋは存在せず、ＭをＭ−１に減じる処理だけが行われる。ステップ１０５で、ｉ＝Ｍかを判定し、ｉ＝Ｍの場合は処理を完了し、そうでない場合はステップＳ１０６に進む。ステップＳ１０６で、ｉを１インクリメントしてステップＳ１０２に戻る。
【００２０】
映像データ同士を重ね合わせて多重化する方法は、複数の方法が考えられる。例えばえ映像Ａと映像Ｂとの間に順序が定義されており映像Ａの方が順位が先なら、両者が重なる部分では映像Ａを用いるというように、順位が上位の映像を上書きして多重化する方法が考えられるが、これを限定しない。
【００２１】
一方、映像データ１０１に対応する映像マクロブロック１０５と文字マクロブロック１０３を重ねる方法も、複数考えられる。例えば、文字の字画をあらわす部分のみ、文字マクロブロック１０３に置換してもよく、背景を含めて文字マクロブロック１０３に置換してもよく、これを限定しない。
【００２２】
図４のフローチャートの処理の結果、多重化部１３では、互いに重なり合う部分を持たない、１つの映像マクロブロック１０５が生成され、映像符号化部１５で符号化されて、映像符号化装置１０から送信される。
【００２３】
本実施の形態では文字を表す１ビットを１マクロブロックに対応させたが、任意個のビットパタンに任意個のマクロブロックを対応させてもよく、これを限定しない。
【００２４】
また、文字マクロブロック１０３は映像符号化装置１０内で動作するソフトウェア（図示せず）に記述しても良いし、映像符号化装置１０の回路を構成するプログラム中に記述してもよい。
【００２５】
以上のように、本実施の形態によれば、映像符号化装置１０において映像マクロブロック１０５と文字マクロブロック１０３とを多重して符号化、出力するために、多重化を行わない場合と比べ、伝送する映像データの量を抑えて、通信コストを低減できる。
【００２６】
また、本実施の形態によれば、映像符号化装置１０において映像マクロブロック１０５と文字マクロブロック１０３とを多重して符号化、出力するために、映像復号装置３１に、文字を表示するために特別な回路やメモリを備える必要がない。
【００２７】
また、１つの映像マクロブロック１０５に文字を表すビットマップの１つのビットを対応させているので、多重化処理の負荷が非常に軽く、動画などの変換も実時間で行える。
実施の形態２．
図５は、本発明の実施の形態２による映像符号化装置のブロック図である。図中、図１と同一符号は同一、または相当部分を示し説明を省略する。
【００２８】
図５において、入力データ１００は、映像データ１０１と文字データ１０２と変換データ２０１を有している。ここで、変換データ２０１とは、１つの文字と、この文字の映像データとのセットで構成されたデータで、例えば文字コードとビットマップのセットである。本実施の形態では同じ入力ファイル１００に含まれる文字データ１０２を映像データに変換し、例えば文字フォントデータなどが用いられる。入力部１１で入力データ１００は、映像データ１０１と文字データ１０２と変換データ２０１とにに配分される。このうち映像データ１０１は映像変換部１４へ、文字データ１０２と変換データ２０１とは文字／映像変換部１２に入力される。文字／映像変換部１２は入力された変換データ２０１に基づき文字データ１０２を文字マクロブロック１０３へと変換して多重化部１３へ出力する。以降の処理は、実施の形態１と同様である。
【００２９】
ここで、すべての文字データ１０２を文字マクロブロック１０３に変換するためには、変換データ２０１は文字データ１０２に含まれる文字種に対応する文字と映像データとのセットを含んでいれば必要かつ十分である。（ここでの文字種とは、同じ文字でも表示したときのサイズや字体が異なる文字を区別したものである。）一般に、文字をイメージに変換するには、ＪＩＳやＩＳＯなどの規格に基づいた文字フォントファイルが用いられるが、文字フォントファイルは規格に適合した文字すべてに対応しておるので、多数の文字とイメージのセットを含んでいる。そのため、変換データの容量が非常に大きくなり、文字データ１０２に対応するセットを検索する手間もかかる。しかし、通常扱う文書で必要とされる文字種はごくごく少数で、文字フォントファイルの大部分は、全くアクセスされないものである。
【００３０】
以上のように、本実施の形態によれば、文字をイメージに変換するのに必要十分なだけのデータを外部から入力させるように構成したので、文字フォントファイルなどの大容量の専用メモリが不要である。
【００３１】
また、本実施の形態によれば、多種のサイズや字体の文字を含む文字データをイメージに変換する場合でも、変換用のデータをコンパクトに構成できる。
【００３２】
また、本実施の形態によれば、文字をイメージに変換するデータのエントリが少ないので、変換のコストが少なくできる。
【図面の簡単な説明】
【００３３】
【図１】実施の形態１に示す映像符号化装置のブロック図である。
【図２】実施の形態１に示す映像変換部による変換の１例を示す説明図である。
【図３】実施の形態１に示す文字／映像変換部による変換の１例を示す説明図である。
【図４】実施の形態１に示す映像符号化装置の映像データの多重化の手順を示すフローチャートである。
【図５】実施の形態２に示す映像符号化装置のブロック図である。
【符号の説明】
【００３４】
１０  映像符号化装置、１１  入力部、１２  文字／映像変換部、１３  多重化部、１４  映像変換部、１５  映像符号化部、１００  入力データ、１０１  映像データ、１０２  文字データ、１０３  文字マクロブロック、１０４  多重化マクロブロック、１０５  映像マクロブロック、１０６  映像符号化データ
【図１】
2005184168.tif 000003
【図２】
2005184168.tif 000004
【図３】
2005184168.tif 000005
【図４】
2005184168.tif 000006
【図５】
2005184168.tif 000007