(57)【特許請求の範囲】
【請求項１】
番組素材等の映像信号又は画像信号及び音声信号を符号化処理した画像データや音声データと、前記映像信号又は画像信号に同期した所定情報とを多重化して伝送するデータ多重化伝送方法において、
前記映像信号又は画像信号に同期した所定情報を二値化処理により二値化データに変換して前記所定情報を時系列順に送出し、先に送出した二値化データの所定情報と次に送出した二値化データの所定情報との情報量を加算して、該加算された情報量と所定閾値とを閾値比較し、該加算された情報量が所定閾値より小さい情報量である場合、前記先の所定情報と次の所定情報とを一つの情報として１パケットを生成し、前記画像データや音声データのパケットとともに多重化して伝送することを特徴としたデータ多重化伝送方法。
【請求項２】
番組素材等の映像信号又は画像信号及び音声信号を多重化するデータ多重化伝送装置において、
前記映像信号又は画像信号を符号化処理する画像符号化手段と、
前記音声信号を符号化処理する音声符号化手段と、
前記映像信号又は画像信号に同期した所定情報を二値化データに圧縮処理する二値データ変換手段と、
前記データ変換手段からの前記二値化データである所定情報を一時的に保持する複数記憶手段と、
前記複数記憶手段に保持した所定情報のデータ量の総和を演算するデータ量算出手段と、
前記複数記憶手段に保持された所定情報のデータ量の総和が所定閾値を越えない場合、前記複数記憶手段に保持された複数の前記二値化データの所定情報を一つの情報として作成するデータ作成手段と、
を具備することを特徴とするデータ多重化伝送装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号等に文字信号やネットキュー信号等の外部データを多重化して伝送するデータ多重化伝送方法及びその装置に関し、詳しくは、番組素材伝送等の映像信号を可変長符号化し、その可変長符号化データを固定長符号化する際に、スタッフバイト（同期語をバイトアライメントするために挿入した同期調整用符号）を極力少なくするように制御して、文字やネットキュー信号等の外部データを効率的に重畳するパケット方式のデータ多重化伝送方法及びその装置に関するものである。
【０００２】
【従来の技術】
現在、放送局から送出される信号には、カメラなどの映像信号や音声信号の他に文字信号やネットキュー信号等の情報信号を多重化した信号が含まれている。文字信号は、映像信号の垂直ブランキング（垂直帰線消去期間）に文字発生器より発生する文字データを重畳して送出されている。ネットキュー信号は、マイクロネットを利用して民放番組の本篇のみをキー局から全国の系列局に送出し、キー局からＣＭ（Commercial Message ）挿入直前に、受局のＣＭに差し替えるためのタイミングを知らせる情報信号であって、ローカルスポンサーのＣＭをそれぞれの受局で挿入するセミネットにおいて効果的であり、殊に生放送番組の際のＣＭの挿入に有効である。この情報信号は、文字信号と同様に、映像信号の垂直ブランキング期間に挿入されている。
【０００３】
一方、近年では、放送機器のデジタル化が急速に進行しており、番組或いはＣＭ等の画像や映像素材を圧縮して伝送することが日常的となりつつある。このような技術的環境下において、これらの素材や番組を圧縮して伝送する方式とし、ＭＰＥＧ（Moving Picture Experts Group）２規格（ＩＳＯ／ＩＥＣ（International Organization for Standardization／International Electrotechnical Commission：国際標準化機構／国際電気標準会議）１３８１８−１〜３）に準拠したデジタル処理システムが伝送システムの標準となりつつある。因みに、動画像の高能率圧縮方式をＭＰＥＧと称しており、ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４等の圧縮方式がある。ＭＰＥＧ１は１．５Mｂｉｔ／ｓで映像再生が可能であり、ＭＰＥＧ２は十数〜１００Ｍｂｉｔ／ｓ程度で映像再生が可能である。
【０００４】
しかし、ＭＰＥＧ２等の画像符号化技術では、映像信号を符号化処理する際に、冗長度削減の観点から垂直ブランキングを含まないように符号化処理する場合がある。従って、上記符号化処理する前に文字信号等を垂直ブランキングに重畳した映像信号を作製して、この映像信号を符号化器に入力して符号化処理したとしても、その送出側には文字信号等が符号化されずに送出されて、文字信号等は消失してしまう欠点があった。
【０００５】
そこで、従来は、映像信号や音声信号の符号化処理したデータと同時に文字信号やネットキュー信号等の情報信号を送出する場合、符号化処理した画像データや音声データに加えて、文字信号やネットキュー信号等の情報信号をデータ変換した外部データを多重化処理して送出していた。その構成としては、例えば、図３に示したＭＰＥＧ２システムのＴＳ（トランスポート・ストリーム）方式がある。同図において、ＴＳパケットの１パケットは、１８８バイトの固定長で構成されている。そのストリーム構成は、４バイトのＴＳヘッダー（０ｘ４７等）と、ｍバイトのＡＦ（アダプテーションフィールド）と、ｎバイトのＰＬ（ペイロード）とからなり、ＡＦとＰＬとの総和（ｍ＋ｎ）は、１８４バイトであれば良く、両者の割合は自由に設定できる。
【０００６】
【発明が解決しようとする課題】
しかし、文字信号やネットキュー信号等の外部データは、画像データや音声データに比べてデータ量が少ない。そのために、上記ＴＳ方式による固定長符号化処理して伝送すると、図４（ａ）にＴＳパケットの構成図を示したように、外部データが挿入される領域であるペイロード領域（同図のデータの領域）は、ごくわずかな領域となり、後の大半が無駄なスタッフバイトを多重しなければならないという問題があった。なお、スタッフバイトは、ＴＳパケットの同期語をバイトアライメントするために挿入した同期調整用の符号である。特に、映像１フィールド間に入力された６４ｋｂｐｓ以下の低速データを伝送する際に、無駄なスタッフバイトを多重することによる伝送効率の悪化をもたらす現象が顕著となる。
【０００７】
本発明は、上記のような課題に鑑みなされたものであり、固定長符号化処理で伝送する際にスタッフバイトをできるだけ少なくし、伝送効率を向上し得るパケット方式のデータ多重化伝送方法及びその装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明は、上述の課題を解決するためになされたものであり、請求項１の発明は、番組素材等の映像信号又は画像信号及び音声信号を符号化処理した画像データや音声データと、前記映像信号又は画像信号に同期した所定情報とを多重化して伝送するデータ多重化伝送方法において、
前記映像信号又は画像信号に同期した所定情報を二値化処理により二値化データに変換して前記所定情報を時系列順に送出し、先に送出した二値化データの所定情報と次に送出した二値化データの所定情報との情報量を加算して、該加算された情報量と所定閾値とを閾値比較し、該加算された情報量が所定閾値より小さい情報量である場合、前記先の所定情報と次の所定情報とを一つの情報として１パケットを生成し、前記画像データや音声データのパケットとともに多重化して伝送することを特徴としたデータ多重化伝送方法である。
【０００９】
請求項１の発明では、番組素材等の映像信号又は画像信号及び音声信号を符号化処理し、前記映像信号又は画像信号に同期した所定情報を多重化して１パケットとして伝送する際に、文字信号やネットキュー信号等の情報信号（外部データ）を所定のフォーマットにデータ変換して所定情報を時系列順に送出し、先に送出される所定情報と次に送出される所定情報との情報量を加算し、加算された情報量が所定閾値より小さい情報量である場合、先に送出される所定情報と次の所定情報との間に識別符号を挟んで一つの情報として１パケットを生成し、画像データや音声データのパケットとともに多重化して伝送するデータ多重化伝送方法である。また、加算された情報量が所定閾値より大きい場合は、１周期の所定情報と、符号化処理した画像データや音声データとを多重化して、１パケットとして伝送する。このデータ多重化伝送方法によれば、外部データのデータ量が小さい場合にスタッフバイトの領域を低減することができるので、伝送効率が向上する作用を有する。なお、識別符号は、２周期又はそれ以上の周期のデータが圧縮されていることを示すコードとして利用する。
【００１０】
また、請求項２の発明では、番組素材等の映像信号又は画像信号及び音声信号を多重化するデータ多重化伝送装置において、
前記映像信号又は画像信号を符号化処理する画像符号化手段と、
前記音声信号を符号化処理する音声符号化手段と、
前記映像信号又は画像信号に同期した所定情報を二値化データに圧縮処理する二値データ変換手段と、
前記データ変換手段からの前記二値化データである所定情報を一時的に保持する複数記憶手段と、
前記複数記憶手段に保持した所定情報のデータ量の総和を演算するデータ量算出手段と、
前記複数記憶手段に保持された所定情報のデータ量の総和が所定閾値を越えない場合、前記複数記憶手段に保持された複数の前記二値化データの所定情報を一つの情報として作成するデータ作成手段と、
を具備することを特徴とするデータ多重化伝送装置である。
【００１１】
請求項２の発明では、画像符号化手段で映像信号又は画像信号を符号化処理し、音声符号化手段で音声信号を符号化処理し、文字信号やネットキュー信号等の情報信号（外部データ）をデータ変換手段で所定のフォーマットに変換し、前記データ変換手段からの所定情報を複数記憶手段に一時的に保持し、前記複数記憶手段に保持した所定情報のデータ量の総和をデータ量算出手段で演算し、前記複数記憶手段に保持された所定情報のデータ量の総和が所定閾値を越えない場合、データ作成手段で前記複数記憶手段に保持された所定情報間に識別符号を挟むように処理して１パケットを生成し、画像データと音声データとのパケットとともに多重化処理して伝送するデータ多重化伝送装置である。
【００１２】
また、本発明では、前記データ作成手段が、前記複数記憶手段からの所定情報間に識別符号発生器からの識別符号を挟むように入力端を切り替える第１切替手段と、前記第１切替手段からのデータを一時的に保持する一時記憶手段と、前記一時記憶手段のデータ又は前記複数記憶手段に保持された所定情報を多重化するために入力端を切り替える第２切替手段とからなる。
【００１３】
本発明では、データ作成手段が、第１切替手段と一時記憶手段と第２切替手段とで構成され、前記データ量算出手段による加算されたデータ量が所定閾値を超えるか否かによって、第１と第２切替手段を切替制御して、所定情報間に識別符号発生器からの識別符号を挟むように制御するか、または識別符号を挟むことなく、前記複数記憶手段に一時保持されたデータを一周期毎に出力して１パケットを生成し、画像データと音声データとのパケットとともに多重化して伝送するデータ多重化伝送装置である。例えば、データ量算出手段で加算されたデータ量が所定閾値を超えない場合は、第２切替手段の入力端を一時記憶手段側として、前記複数記憶手段からの所定情報を第１切替手段を介して一時記憶手段に一時保持し、第１切替手段の入力端を切り替えて、識別符号発生器からの識別符号を第１切替手段を介して、一時記憶手段に一時保持する。続いて、第１切替手段に入力端を切り替えて、前記複数記憶手段からの所定情報を第１切替手段を介して、一時記憶手段に一時保持する。このように第１と第２切替手段を制御することにより、一時記憶手段には、所定情報間に識別符号を挟んだデータが作製され、画像データと音声データと所定情報間に識別符号を挟んだデータとを多重化器に入力することにで、多重化することができる。なお、前記複数記憶手段に一時保持されたデータのデータ量の総和が所定閾値を超えている場合は、前記複数記憶手段に一時保持されたデータが１周期毎に第１と第２切替手段を介して、多重化器に入力される。
【００１４】
また、本発明は、前記データ作成手段が、前記データ量算出手段による加算されたデータ量が所定閾値を超えているか否かによって、前記複数記憶手段からの所定情報間に識別符号を挟んだデータに変換する手段である。
【００１５】
本発明では、前記データ量算出手段による加算されたデータ量が所定閾値を超えていない場合、データ作成手段では、所定情報間に識別符号を挟むようにデータを変換する手段である。また、複数記憶手段に保持されたデータ量の閾値が所定閾値を超えている場合、前記複数記憶手段からの所定情報を１周期毎多重化器に送り込んで多重化する。
【００１６】
【発明の実施の形態】
以下、本発明に係るデータ多重伝送方法及びその装置の実施の形態について、図面を参照して説明する。図１は、本発明の一実施形態を示すブロック図であって、ＭＰＥＧ２規格に準拠したデジタル処理システムによって構成されている。
【００１７】
本実施形態のデータ多重伝送装置は、図１を参照して説明すると、映像データを可変長符号化する画像符号化部１０１、音声データを固定長符号化（ＰＣＭ等）または可変長符号化する音声符号化部１０２、外部データを必要な場合は圧縮処理して所定のフォーマットに変換する変換器１０３、所定のフォーマットに変換された外部データ（所定情報）を時系列的に順位保持する第１レジスタ１０５と第２レジスタ１０６、データ圧縮時に外部データと識別符号とを一時記憶して結合する第３レジスタ１０９、第１レジスタ１０５と第２レジスタ１０６とに一時記憶保持された外部データのデータ量を算出するデータ量算出部１０４、識別符号を出力する識別符号生成器１０７、入力端１，２を切り替えることで、圧縮処理された外部データと識別符号とを選択する第１切替器１０８、入力端１，２を切り替えることで、第２レジスタ１０６又は第３レジスタ１０９からのデータを選択する第２切替器１１０、画像符号化部１０１からの画像データ（画像ＥＳ）と音声符号化部１０２とからの音声データ（音声ＥＳ）と第２切替器１１０からのデータとを多重化処理して、１パケットにデータを挿入して送出する多重化器１１１から構成されている。なお、第１切替器１０８と第２切替器１１０は、データ量算出部１０４で加算されたデータ量に基づいて、切替制御がなされている。
【００１８】
映像データは、画像符号化部１０１に入力され、例えばＩＳＯ／ＩＥＣ１３８１８−３に準拠するように、空間的、時間的に相関性の高い情報を検査して冗長度の低いデータへ変換するといった処理、すなわち可変長符号化処理を行って、画像ＥＳ（エレメンタリストリーム）として出力される。音声データは、音声符号化部１０２に入力され、例えばＩＳＯ／ＩＥＣ１３８１８−２に準拠するように、人間の聴覚特性を利用したデータの圧縮処理を行い、音声ＥＳ（エレメンタリストリーム）として出力される。画像ＥＳと音声ＥＳは、多重化器１１１へ入力される。
【００１９】
外部データは、文字スーパー、字幕、ネットキュー信号等の情報信号であって、上述したように、画像ＥＳや音声ＥＳに比べてデータ量が少ないため、一周期分だけでは無駄なスタッフバイトを多重しなければならない。そこで、外部データを順次第１レジスタ１０５、第２レジスタ１０６へと転送して一時記憶保持し、第１レジスタ１０５と第２レジスタ１０６とのデータ量をデータ量算出器１０４で演算処理して算出する。そして、データ量算出器１０４では、外部データ量を常に２周期分算出して、その総和が１８０バイト以下の時は２周期分をまとめて１つのＴＳパケットとして構成する。また、その総和が１８０バイト以上の場合は、一周期毎に多重化器１１１に出力して、多重化処理を行う。
【００２０】
以下、図１の実施形態における外部データの圧縮処理について、図２のフローチャートを参照して説明する。なお、この圧縮処理は、第１切替器１０８、第２切替器１１０、第３レジスタ、識別符号発生器１０７、及び第１切替器１０８、第２切替器１１０を切替制御する手段から構成されるデータ作成手段で実行される。
【００２１】
先ず、外部データが変換器１０３に入力されて、２値化処理等の圧縮処理がなされる。圧縮された外部データは、第１レジスタ１０５に転送されて一時記憶保持される。記憶保持されたデータは、図示していない基本クロックに従って、順次第２レジスタ１０６に転送される。第１レジスタ１０５には、データ転送後、順次新しいデータが入力される。こうして、第１レジスタ１０５には、データ量Ａが、第２レジスタには、データ量Ｂがそれぞれ記憶される。両レジスタには、常に隣り合った２周期分のデータ量が記憶保持される（ステップＳ１０１）。ここで記憶保持された２周期分のデータは、データ量算出器１０４によって、そのデータ量の総和（Ａ＋Ｂ）が算出される（ステップＳ１０２）。
【００２２】
データ量算出器１０４で算出された結果、２周期分のデータ量の総和が１８０バイト以下である場合は、通常のパケット処理（多重化処理）を行ったとすると、２周期分両方のＴＳパケットについて、スタッフバイトが無駄に多重されることになる。逆に２周期分のデータ量の総和が１８０バイトを越える場合は、無駄なスタッフバイトが多重されるＴＳパケットは、１周期以内に抑えることができる。すなわち、本発明では、２周期以上続けて伝送効率を下げた状態でＴＳパケットが出力されるのを防ぐことができる。
【００２３】
ステップＳ１０２に続いて、ステップＳ１０３に進む。ステップＳ１０３では、Ａ＋Ｂ≦１８０の演算処理がなされる。２周期分のデータ量の総和が所定閾値（例えば、１８０バイト）以下である場合は、Ｙへ、所定閾値以上との場合は、Ｎへと進む。先ず、２周期分のデータ量の総和（Ａ＋Ｂ）が１８０バイト以下の場合（Ｙ）は、第１切替器１０８の入力端を１側に、第２切替器１１０の入力端を２側にそれぞれ切り替える（ステップＳ１０４）。これにより、第２レジスタ１０６のデータＡは、第３レジスタ１０９に転送されて、一時記憶保持される。
【００２４】
続いて、第２切替器１１０は、そのままで、第１切替器１０８の入力端を２側に切り替える（ステップＳ１０５）。これにより、識別符号生成器１０７より出力された識別符号が第３レジスタ１０９に転送され（ステップＳ１０６）、先に転送されたデータＡが識別符号と連結される。その後、第１切替器１０８の入力端を１側に戻し（ステップＳ１０７）、第２レジスタ１０６にある次のデータＢを第３レジスタ１０９に転送する。これにより、第３レジスタ１０９は、図４（ｂ）に示すように、２周期分のデータＡとＢが識別符号を挟んで一つのＴＳパケットに収まる（ステップＳ１０８）。ステップＳ１０８を終了した後、ステップＳ１０１に戻る。
【００２５】
以上のような切り替え動作によって、２周期分のデータＡ，Ｂが第３レジスタ１０９内に留まり出力されないため、データ量算出器１０４から多重化器１１１に対して、画像ＥＳまたは音声ＥＳについてＴＳパケットを生成するように制御信号が送られる。これにより、多重化器１１１から送出されるＴＳパケットには、無駄なスタッフバイトを含んだＴＳパケットが減少し、その結果として伝送効率が向上することになる。
【００２６】
一方、２周期分のデータの総和が１８０バイトを越える場合（Ｎ）は、ステップＳ１０９に進む。この場合は、無駄なスタッフバイトを含んだＴＳパケットは、１つ以内に抑えることができるため、通常通りにＴＳパケットを生成するように制御してもなんら問題は生じない。従って、第１切替器１０８の入力端を１側に、第２切替器１１０の入力側を１にそれぞれ固定し（ステップＳ１０９）、図４（ｃ），図４（ｄ）に示すような従来と同じ２周期の外部データに対して、２つのＴＳパケット２，３を生成する（ステップＳ１１０，Ｓ１１１）。ステップＳ１１１を終了した後、ステップＳ１０１に戻り、上記のステップを繰り返し実行する。
【００２７】
なお、多重化器１１１は、画像ＥＳや音声ＥＳ、外部データからＩＴＵ・Ｔ勧告Ｈ．２２２．０  ＩＳＯ／ＩＥＣ１３８１８−１（ＭＰＥＧ−２  Ｓｙｓｔｅｍ）で規定されているＴＳ（トラスポート・ストリーム）パケットを生成する。ＴＳパケットは、上記の通り、１８８バイトの固定長であり、その構成は、図３に示したように、４バイトのＴＳヘッダ（０ｘ４７等）、ＡＦ（アダプテーションフィールド）、ＰＬ（ペイロード）から構成されている。ＡＦとＰＬは、ヘッダー４バイトを除いた１８４バイトであれば両者の割合は自由である。ＡＦには、多くの場合、ＰＣＲ（プログラムクロックリファレンス）とスタッフィングに使用する。ＰＬは、ＰＥＳパケットやＰＳＩ（プログラムスペシフィックインフォーメーション）、外部データ等を送る。また、多重化器１１１内部のバッファに蓄えられたデータ量により、随時ＮＵＬＬパケット（０ｘＦＦ）との多重も行う。
【００２８】
また、本発明には、他にも幾つかの実施形態がある。例えば、図５は、本発明の他の実施形態を示している。本実施形態では、変換器１０３の入力側に第１レジスタ１０５と第２レジスタ１０６とが用意され、かつ第１レジスタ１０５と第２レジスタ１０６とに一時記憶保持されたデータ量を算出するデータ量算出器１０４が備えられている。データ量算出器１０４は、第１レジスタ１０５と第２レジスタ１０６とに一時記憶保持されてデータ量が演算処理して算出される。そのデータ量の算出結果をもとに所定のフォ−マットに変換（必要な場合は圧縮処理を伴って）した後、１８０バイト以下になると見込まれる場合は、変換器１０３内部で各周期の識別ができるように、識別符号を挟んでデータ変換を行って、多重化器１１１にその変換データを、画像ＥＳと音声ＥＳともに入力して、多重化処理してＴＳパケットを送出する。
【００２９】
なお、図１及び図５の上記実施形態では、データ記憶手段として、第１と第２レジスタ１０５，１０６を用いた形態についているが、この実施形態に限定することなく、同量のデータに対応可能なＦＩＦＯ（First In First Out）式のメモリを用いてもよいことは明らかである。
【００３０】
また、映像データや音声データ、外部データは、それぞれ符号化処理等の時間が違うため、これらのデータ同士の同期が問題になるが、図示しない遅延メモリやＰＴＳ（プレゼンテーションタイムスタンプ）等により、これらのデータ同士のタイミングを合わせることができる。従って、このような処理時間の相違がある場合であってもデコーダ（復号器）側で正常に映像信号を再生することができる。
【００３１】
以上のように、本実施形態では、２周期分の外部データを一つＴＳパケットにまとめるデータ処理について説明したが、スタッフバイトをより減らすためには、さらに３周期分のデータを１つのＴＳパケットにまとめることも可能である。このような装置は、例えば図１の第１切替器１０８より手前にある２つのレジスタを３つにすることで構成することができる。この装置では、上記実施形態の方法と同様に、識別符号を各データ間に挟む処理を２回繰り返して行えばよい。
【００３２】
さらにまた、本実施形態では、図示していないが、データの伝送誤り検出のため、リードソロモンやＣＲＣ（Cyclic Redundancy Check）符号を必要に応じて、画像ＥＳ、音声ＥＳ、外部データの各ライン又は多重化器に付加してもよいことは明らかである。
【００３３】
無論、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々に変更を加えることができることは勿論である。
【００３４】
【発明の効果】
上記のように、本発明によれば、映像信号等に文字信号やネットキュー信号等の外部データを多重化して伝送する際に、伝送効率を低下させることなく、より多くのデータを限られた伝送路に載せて送出することができる利点があり、その結果、伝送コストの低廉化に寄与する極めて効果的なデータ多重化伝送方法及びその装置を提供することができる。
【図面の簡単な説明】
【図１】本発明に係るデータ多重化伝送装置の一実施形態を示すブロック図である。
【図２】本発明に係るデータ多重化伝送装置におけるデータ多重化伝送方法を説明するためのフローチャート図である。
【図３】本発明に係るデータ多重化伝送装置のＴＳパケットのフォーマットを示す図である。
【図４】（ａ）は従来のＴＳパケットのフォーマットを示し、（ｂ）は２周期分のデータを圧縮して伝送効率を向上させた時のＴＳパケットの構成を示し、（ｃ），（ｄ）は２周期分のデータの総和が１８０バイトを越えた場合に、それぞれの周期に対応して送出されるＴＳパケットの構成を示している。
【図５】本発明の他の実施形態を示すブロック図である。
【符号の説明】
１０１  画像符号化部
１０２  音声符号化部
１０３  変換部
１０４  データ量算出部
１０５  第１レジスタ
１０６  第２レジスタ
１０７  識別符号生成器
１０８  第１切替器
１０９  第３レジスタ
１１０  第２切替器
１１１  多重化器
【図１】
0003907422.tif 000002
【図２】
0003907422.tif 000003
【図３】
0003907422.tif 000004
【図４】
0003907422.tif 000005
【図５】
0003907422.tif 000006