(57)【特許請求の範囲】
【請求項１】
画像信号又は音声信号を符号化する符号化手段と、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断手段と、
文字データ信号を所定のフォーマットに変換するデータ変換手段と、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出手段と、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化手段とを具え、
前記検出手段が、
前記文字データ信号の文字データを１周期記憶する記憶手段と、
前記文字データ信号の現在の文字データを、前記記憶手段に記憶された１周期前の文字データとを比較する比較手段と、
その比較手段の結果に応じて、前記文字データ信号の変化を判定する判定手段と、
前記比較手段の結果に応じて、前記文字データ信号が変化しない期間を計測する計測手段とを有することを特徴とする符号化データ多重伝送装置。
【請求項２】
画像信号又は音声信号を符号化する符号化手段と、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断手段と、
文字データ信号を所定のフォーマットに変換するデータ変換手段と、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出手段と、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化手段とを具え、
前記検出手段が、
前記文字データ信号の文字データの１周期に亘る加算を行うチェックサム又は巡回冗長検査の演算を行う演算手段と、
前記文字データ信号の文字データの演算結果を記憶する記憶手段と、
前記文字データ信号の文字データの現在の演算結果を、前記記憶手段に記憶された１周期前の演算結果とを比較する比較手段と、
その比較手段の結果に応じて、前記文字データ信号の変化を判定する判定手段と、
前記比較手段の結果に応じて、前記文字データ信号が変化しない期間を計測する計測手段とを有することを特徴とする符号化データ多重伝送装置。
【請求項３】
画像信号又は音声信号を符号化する符号化ステップと、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断ステップと、
文字データ信号を所定のフォーマットに変換するデータ変換ステップと、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出ステップと、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化ステップとを具え、
前記検出ステップが、
前記文字データ信号の文字データを１周期記憶する記憶ステップと、
前記文字データ信号の現在のデータを、前記記憶ステップで記憶された１周期前の文字データとを比較する比較ステップと、
その比較ステップの結果に応じて、前記文字データ信号の変化を判定する判定ステップと、
前記比較ステップの結果に応じて、前記文字データ信号が変化しない期間を計測する計測ステップとを有することを特徴とする符号化データ多重伝送方法。
【請求項４】
画像信号又は音声信号を符号化する符号化ステップと、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断ステップと、
文字データ信号を所定のフォーマットに変換するデータ変換ステップと、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出ステップと、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化ステップとを具え、
前記検出ステップが、
前記文字データ信号の文字データの１周期に亘る加算を行うチェックサム又は巡回冗長検査の演算を行う演算ステップと、
前記文字データ信号の文字データの演算結果を記憶する記憶ステップと、
前記文字データ信号の文字データの現在の演算結果を、前記記憶ステップで記憶された１周期前の演算結果とを比較する比較ステップと、
その比較ステップの結果に応じて、前記文字データ信号の変化を判定する判定ステップと、
前記比較ステップの結果に応じて、前記文字データ信号が変化しない期間を計測する計測ステップとを有することを特徴とする符号化データ多重伝送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、符号化した画像信号及び音声信号と、文字や文字スーパーのような情報信号をデータ変換した信号とを多重化して伝送する、符号化データ多重伝送装置及び方法に関するものである。
【０００２】
【従来の技術】
現在、放送局から送出される信号には、カメラなどの画像信号及び音声信号と、文字信号のような情報信号をデータ変換した信号とを多重化した信号が含まれている。文字信号は、文字発生器から発生した文字データを画像信号の垂直ブランキング（垂直帰線期間）に重畳して送出するものである。
【０００３】
また、放送局は、キー局と呼ばれるステーションを中心に全国ネットで接続されており、例えば、全国ネットで放送される場合には、ネットキューと呼ばれる制御情報信号を使用し、コマーシャル（ＣＭ）などの切替に使用している。このようなネットキュー信号も、垂直ブランキングに重畳されて、キー局から送出される。
【０００４】
近年、国際標準の画像符号化技術として、冗長度を低減させるためにブランキングを含まずに画像信号を符号化するＭＰＥＧ(Moving Picture coding Experts Group)方式が提案されている。文字信号は、垂直ブランキングに重畳されて符号化器に入力されるとしても、符号化されずに送出側で消失する。
【０００５】
したがって、文字信号のような情報信号は、符号化した画像信号や音声信号と同時に送出する場合には、データ変換された後にこれら符号化した画像信号や音声信号と多重化して送出される。
【０００６】
【発明が解決しようとする課題】
しかしながら、文字信号やネットキューのような情報信号は、画像信号や音声信号に比べて変化率が著しく低いので、同一データを画像信号の１フレームごとに多重化すると伝送効率が低下する。また、変化が生じたときだけ情報信号の伝送を行うと、伝送路に障害が発生したときに受信側で信号の再生ができなくなるおそれがある。
【０００７】
また、情報信号を伝送した後に、ＭＰＥＧ−２  ＴＳのような画像信号や音声信号を全て復号化することなく符号化データ（ビットストリーム）のままで番組やＣＭの切替を行う場合でも、受信側において切替直後に情報信号を迅速に復号化できることが好ましい。
【０００８】
本発明の目的は、伝送路に障害が発生した場合でも、伝送効率を低下させることなく受信側で信号を再生することができるとともに、情報信号伝送後に番組やＣＭの差替えや切替を行う場合でも、受信側において切替直後に情報信号を迅速に復号化できる符号化データ多重伝送装置及び方法を提供することである。
【０００９】
【課題を解決するための手段】
本発明による符号化データ多重伝送装置は、
画像信号又は音声信号を符号化する符号化手段と、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断手段と、
文字データ信号を所定のフォーマットに変換するデータ変換手段と、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出手段と、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化手段とを具え、
前記検出手段が、
前記文字データ信号の文字データを１周期記憶する記憶手段と、
前記文字データ信号の現在の文字データを、前記記憶手段に記憶された１周期前の文字データとを比較する比較手段と、
その比較手段の結果に応じて、前記文字データ信号の変化を判定する判定手段と、
前記比較手段の結果に応じて、前記文字データ信号が変化しない期間を計測する計測手段とを有することを特徴とするものである。
【００１０】
本発明による他の符号化データ多重伝送装置は、画像信号又は音声信号を符号化する符号化手段と、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断手段と、
文字データ信号を所定のフォーマットに変換するデータ変換手段と、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出手段と、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化手段とを具え、
前記検出手段が、
前記文字データ信号の文字データの１周期に亘る加算を行うチェックサム又は巡回冗長検査の演算を行う演算手段と、
前記文字データ信号の文字データの演算結果を記憶する記憶手段と、
前記文字データ信号の文字データの現在の演算結果を、前記記憶手段に記憶された１周期前の演算結果とを比較する比較手段と、
その比較手段の結果に応じて、前記文字データ信号の変化を判定する判定手段と、
前記比較手段の結果に応じて、前記文字データ信号が変化しない期間を計測する計測手段とを有することを特徴とするものである。
【００１１】
本発明によれば、文字データ信号の変化を検出したときだけでなく、文字データ信号が所定時間変化しないときにも、符号化された画像信号又は音声信号とデータ変換された文字データ信号との多重化を行っているので、伝送路に障害が発生した場合でも、伝送効率を低下させることなく受信側で信号を再生することができる。
【００１２】
番組やＣＭの差替えや切替は、不自然にならないように、シーンチェンジのような画像の変化が大きい位置で行われる。したがって、シーンチェンジ発生位置は、符号化データの切替候補位置となる。本発明によれば、第１の信号の変化量が所定量を超えた場合にも、第１の信号及び第２の信号の多重化を行っている。その結果、シーンチェンジが検出され、切替の可能性がある場合には第２の信号が出力されるので、情報信号伝送後に番組やＣＭの差替えや切替を行う場合でも、受信側において切替直後に情報信号を迅速に復号化できるようになる。
【００１３】
本発明による符号化データ多重伝送方法は、
画像信号又は音声信号を符号化する符号化ステップと、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断ステップと、
文字データ信号を所定のフォーマットに変換するデータ変換ステップと、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出ステップと、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化ステップとを具え、
前記検出ステップが、
前記文字データ信号の文字データを１周期記憶する記憶ステップと、
前記文字データ信号の現在のデータを、前記記憶ステップで記憶された１周期前の文字データとを比較する比較ステップと、
その比較ステップの結果に応じて、前記文字データ信号の変化を判定する判定ステップと、
前記比較ステップの結果に応じて、前記文字データ信号が変化しない期間を計測する計測ステップとを有することを特徴とするものである。
【００１４】
本発明による他の符号化データ多重伝送方法は、
画像信号又は音声信号を符号化する符号化ステップと、
前記画像信号のフレーム間差分が所定の値より大きいか否かを判断する判断ステップと、
文字データ信号を所定のフォーマットに変換するデータ変換ステップと、
前記文字データ信号の変化を検出し又は前記文字データ信号が所定時間変化しないことを検出する検出ステップと、
前記画像信号のフレーム間差分が所定の値より大きいと判断したとき、前記文字データ信号の変化を検出したとき又は前記文字データ信号が所定時間変化しないことを検出したとき、前記符号化された画像信号又は音声信号と前記データ変換された文字データ信号とを多重化する多重化ステップとを具え、
前記検出ステップが、
前記文字データ信号の文字データの１周期に亘る加算を行うチェックサム又は巡回冗長検査の演算を行う演算ステップと、
前記文字データ信号の文字データの演算結果を記憶する記憶ステップと、
前記文字データ信号の文字データの現在の演算結果を、前記記憶ステップで記憶された１周期前の演算結果とを比較する比較ステップと、
その比較ステップの結果に応じて、前記文字データ信号の変化を判定する判定ステップと、
前記比較ステップの結果に応じて、前記文字データ信号が変化しない期間を計測する計測ステップとを有することを特徴とするものである。
【００１５】
本発明によれば、文字データ信号の変化を検出したときだけでなく、文字データ信号が所定時間変化しないときにも、符号化された画像信号又は音声信号とデータ変換された文字データ信号との多重化を行っているので、伝送路に障害が発生した場合でも、伝送効率を低下させることなく受信側で信号を再生することができる。
【００１６】
【発明の実施の形態】
本発明による符号化データ多重伝送装置及び方法の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による符号化データ多重伝送装置の実施の形態を示す図である。この符号化データ多重伝送装置は、入力部１から第１信号としての画像信号が入力されるシーンチェンジ検出器２と、シーンチェンジ検出器２から画像信号が入力される画像符号化器３と、入力部４から音声信号が入力される音声符号化器５と、入力部６から第２信号としての文字データ信号が入力されるデータ変換器７及び制御器（ＣＰＵ）８と、スイッチ９と、多重化器１０と、出力部１１とを具える。
【００１７】
画像符号化器３は、符号化した画像信号を多重化器１０に出力し、音声符号化器５は、符号化した音声信号を多重化器１０に出力する。データ変換器７及び制御器８に入力される文字データ信号を、例えば、パーソナルコンピュータなどの文字発生器（図示せず）からの出力信号とする。
【００１８】
データ変換器７は、所定のフォーマットに変換した文字データ信号をスイッチ９を通じて多重化器１０に出力する。所定のフォーマットとして、画像符号化器３及び音声符号化器５のフォーマットに合わせたものを使用する。
【００１９】
制御器８は、所定周期ごとに入力する文字データが以前に入力したデータから変化したか否かを検出する。変化した場合には、スイッチ９をオンにするように制御する。また、所定周期ごとに入力される文字データが所定時間変化しない場合も、スイッチ９をオンにするように制御する。それ以外の場合には、制御器８は、スイッチ９をオフにするように制御する。多重化器１０は、スイッチ９からの入力に応じて多重化を行うか否かを決定し、多重化したデータ信号を、出力部１１から伝送路に出力する。
【００２０】
ここで、シーンチェンジ検出器２について説明する。
シーンチェンジ検出器２は、画像信号のフレーム間差分が所定の値より大きいか否か判断し、所定の値より大きい場合には、シーンチェンジ検出信号を画像符号化器及び制御器８にシーンチェンジ検出信号を出力する。この際、画像符号化器３は、フレーム内符号化などを行うことによって画質劣化を抑制する処理を行い、制御器８は、文字データを伝送するように制御を行う。
【００２１】
図２は、図１の制御器の第１例を示す図である。図示した制御器８は、文字データ信号が入力される入力部１２と、ＲＡＭのようなメモリ１３と、比較器１４と、タイマ１５と、判定器１６と、シーンチェンジ検出信号が入力される入力部１７と、出力部１８とを有する。
【００２２】
文字データ信号はメモリ１３及び比較器１４に入力され、メモリ１３は文字データを１周期分記憶する。比較器１４は、入力部１２から入力された文字データとメモリ１３からの出力（１周期前の文字データ）との減算を１バイトずつ行い、その結果を判定器１６に出力する。文字データの１周期を、例えば約２００バイトとする。
【００２３】
判定器１６は、比較器１４の出力によって、文字データが１周期前のデータから変化しているか否かを判定する。変化している場合、スイッチ９（図１）をオンにするような制御信号を、出力部１８を通じてスイッチ９（図１）に出力するとともに、その制御信号をタイマ１５に出力して、タイマ１５のセットを行う。変化がない場合、判定器１６は、タイマ１５の計数値を所定の値と比較する。計数値が所定の値以上である場合、すなわち、文字データが所定時間変化しない場合、判定器１６は、スイッチ９（図１）をオンにするような制御信号を、出力部１８を通じてスイッチ９（図１）に出力する。それに対して、計数値が所定の値より下である場合、判定器１６は制御信号を出力しない。
【００２４】
タイマ１５は、判定器１６からの制御信号によって、所定の時間ごとに計数を行い、計数値が所定の値以上になると、それを報知する信号を判定器１６に出力する。
【００２５】
なお、判定器１６は、シーンチェンジ検出信号が入力された場合にも、スイッチ９（図１）をオンにするような制御信号を、出力部１８を通じてスイッチ９（図１）に出力する。
【００２６】
図３は、図１の制御器の第２例を示す図である。この場合、メモリ１３（図２）の代わりにレジスタ２０を使用し、文字データ信号は、演算器１９を通じて比較器１４及びレジスタ２０に入力される。
【００２７】
演算器１９は、入力された文字データに対して、１周期に亘って加算を行うチェックサムと巡回冗長検査（ＣＲＣ）のうちのいずれか一方を行う。演算器１９の演算結果は、レジスタ２０に保持されるとともに、比較器１４に入力される。
【００２８】
比較器１４は、演算器１９から入力された文字データとレジスタ２０からの出力（１周期前の演算結果）との減算を１バイトずつ行い、その結果を判定器１６に出力する。タイマ１５及び判定器１６の動作は、図２と同様である。
【００２９】
図４は、図１の制御器の動作を説明するフローチャートである。このルーチンは、図示しないメモリ（例えば、フラッシュメモリ）に格納されたプログラムを読み出すことによって反復的に実行される。
【００３０】
先ず、ステップＳ１において、シーンチェンジ検出器２がシーンチェンジ検出信号を出力したか否かを検出する。シーンチェンジ検出信号の出力を検出しない場合には、ステップＳ２において、文字データの読込みを行う。この場合、図２の制御器８では、読み込んだ文字データをメモリ１２に書き込み、それに対して、図３の制御器８では、演算結果をレジスタ２０に書き込む。なお、シーンチェンジ検出信号の出力を検出した場合には、後に説明するような送出フラグのセットを行う。
【００３１】
次いで、ステップＳ３において、文字データが変化したか否かを検出する。文字データの変化を検出した場合、タイマ１５をセットし（ステップＳ４）、それに対して、文字データの変化を検出しない場合、タイマ１５のチェックを行う（ステップＳ５）。
【００３２】
ステップＳ５では、タイマ１５の設定値（所定の値）として、電源投入時の初期設定又はデータ送出時に設定したものを使用し、ステップＳ５を１回実行するごとに１ずつ減算する。その後、タイマ１５の計数値が設定値以上であるか否か判定する（ステップＳ６）。
【００３３】
タイマ１５の計数値が設定値以上である場合、タイマ１５をセットし（ステップＳ４）、それに対して、タイマ１５の計数値が設定値未満である場合、送出フラグをリセットし（ステップＳ７）、本ルーチンを終了する。なお、ステップＳ７では、文字データが変化しない場合の時間間隔を設定する。
【００３４】
ステップＳ４でタイマ１５をセットした後、送出フラグをセットし（ステップＳ８）、本ルーチンを終了する。判定器１６は、送出フラグの結果に応じた制御信号を作成する。すなわち、送出フラグがセットされている場合には、スイッチ９をオンするような制御信号を作成し、送出フラグがリセットされている場合には、スイッチ９をオフするような制御信号を作成する。
【００３５】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態では、第１信号として画像信号を使用するとともに、第２信号として文字データ信号を使用したが、第１信号及び第２信号として他の種類の信号を使用することもでき、例えば、第１信号として画像信号を使用するとともに、第２信号として、ネットキュー、字幕、文字スーパー等の所定のデータ信号を使用することもできる。なお、上記実施の形態では、第１の信号を画像信号としたために、シーンチェンジ検出を行ったが、第１の信号を音声信号とした場合には、音声信号の無音時間を検出し、無音時間が所定時間を超えるか否かの判断を行うことによって同様な処理を行うことができる。
【００３６】
また、図１において、音声符号化器４及びデータ変換器６を省略することもでき、図２において、入力部１１とメモリ１２及び比較器１３の接続点との間に演算器１７を挿入した場合には、メモリ１２の代わりにレジスタ１８を使用することもでき、図３のレジスタ１８の代わりにメモリ１２を使用することもできる。図１では、データ変換器６の後段にスイッチ８を設け、スイッチ８のオンオフを制御するように構成したが、制御信号をデータ変換器６に供給するようにし、制御信号からの送出フラグを考慮したデータ変換を行うこともできる。この場合、多重化器９の動作を変更させる必要がある。さらに、シーンチェンジ検出器２を画像符号化記の内部に収納することもできる。
【００３７】
上記実施の形態では、画像信号及び音声信号を多重化する例について説明したが、本発明は、画像信号及び音声信号だけでなく、複数のデータの変化率が極端に相違する場合には特に有効である。
【図面の簡単な説明】
【図１】  本発明による符号化データ多重伝送装置の実施の形態を示す図である。
【図２】  図１の制御器の第１例を示す図である。
【図３】  図１の制御器の第２例を示す図である。
【図４】  図１の制御器の動作を説明するフローチャートである。
【符号の説明】
１，４，６，１２，１７  入力部
２  シーンチェンジ検出器
３  画像符号化器
５  音声符号化器
７  データ変換器
８  制御器
９  スイッチ
１０  多重化器
１１，１８  出力部
１３  メモリ
１４  比較器
１５  タイマ
１６  判定器
１９  演算器
２０  レジスタ
【図１】
0004009072.tif 000002
【図２】
0004009072.tif 000003
【図３】
0004009072.tif 000004
【図４】
0004009072.tif 000005