(57)【要約】【課題】ＡＶ機器を組み合わせて用いることによってネットワーク伝送用に映像信号を符号化する場合に、動きベクトルを用いた符号化を効率的に行う。【解決手段】映像出力装置１では、重畳部４が、復号部６で復号された映像信号のブランキング期間に、復号部６から出力される少なくとも動きベクトルを含む参照制御情報を重畳する。信号変換装置８では、分離部９が、映像出力装置１から入力した映像信号のブランキング期間から参照制御情報を分離し、動きベクトル変換部１１が、この参照制御情報中の動きベクトルを、符号化部１２での符号化方式に応じた動きベクトルに変換する。そして、この変換した動きベクトルを用いて、符号化部１２が映像信号をネットワーク伝送用に符号化する。【選択図】図３
2007259142.tif 000002
【特許請求の範囲】
【請求項１】
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部と
を備え、前記重畳部によって前記参照制御情報を重畳された映像信号を出力する映像出力装置と、
前記映像出力装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する分離部と、
前記分離部によって前記参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式に応じた動きベクトルに変換する動きベクトル変換部と
を備え、前記動きベクトル変換部によって変換された動きベクトルを用いて前記符号化部による符号化が行われる信号変換装置と
から成ることを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項２】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記映像出力装置は、
撮像手段からの映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記符号化部によって符号化された圧縮映像信号を記憶するための記憶手段と
をさらに備え、
前記復号部は、前記記憶手段から再生された圧縮映像信号を復号し、
前記重畳部は、前記撮像手段からの映像信号を前記映像出力装置から出力する場合には、前記符号化部から出力される、少なくとも動きベクトルを含む参照制御情報を、前記撮像手段からの映像信号のブランキング期間に重畳する
ことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項３】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記信号変換装置は、
前記分離部によって前記参照制御情報を分離された映像信号の画面サイズ及び／またはフレーム数を縮小するサイズ・フレーム数変換部
をさらに備え、
前記動きベクトル変換部は、前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式と、前記サイズ・フレーム数変換部による縮小後の画面サイズ及び／またはフレーム数とに応じた動きベクトルに変換する
ことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項４】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記信号変換装置の前記符号化部内に、
前記動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、前記動きベクトル変換部によって変換された動きベクトルを用いて該動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び／または、前記動きベクトル変換部によって変換された動きベクトルを参考にして該動きベクトルの周囲の動きベクトルを検出する処理を行う動きベクトル検出部
を備えたことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項５】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記映像出力装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を出力する装置であり、
前記重畳部は、ＨＤＭＩ規格によるトランスミッタ内に設けられて、映像フレーム中のデータアイランド期間に前記参照制御情報を重畳し、
前記信号変換装置は、ＨＤＭＩ規格によるデジタル映像信号を入力する装置であり、
前記分離部は、ＨＤＭＩ規格によるレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
ことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項６】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記信号変換装置は、
前記参照制御情報を重畳された映像信号の伝送の可否及び／または伝送量を指示する制御信号を前記映像出力装置に送る制御部
をさらに備えたことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項７】
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた映像出力装置から出力された映像信号を入力した信号変換装置が、前記入力した映像信号をネットワーク伝送用に符号化する方法において、
前記映像出力装置が、前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、
前記信号変換装置が、前記映像出力装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する第２のステップと、
前記信号変換装置が、前記第２のステップで分離した前記参照制御情報中の動きベクトルを、前記信号変換装置内で実行される動きベクトルによる所定の符号化方式に応じた動きベクトルに変換する第３のステップと、
前記信号変換装置が、前記第２のステップで前記参照制御情報を分離した映像信号を、前記第３のステップで変換した動きベクトルを用いて前記所定の符号化方式で符号化する第４のステップと
を有することを特徴とするネットワーク伝送用の映像信号符号化方法。
【請求項８】
撮像手段からの映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記撮像手段からの映像信号のブランキング期間に、前記符号化部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部と
を備え、前記重畳部によって前記参照制御情報を重畳された映像信号を出力することを特徴とする映像出力装置。
【請求項９】
請求項８に記載の映像出力装置において、
前記符号化部によって符号化された圧縮映像信号を記憶するための記憶手段と、
前記記憶手段から再生された圧縮映像信号を復号する復号部と
をさらに備え、
前記重畳部は、前記復号部によって復号された映像信号を外部に出力する場合には、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を、前記復号された映像信号のブランキング期間に重畳する
ことを特徴とする映像出力装置。
【請求項１０】
請求項８に記載の映像出力装置において、
前記映像出力装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を出力する装置であり、
前記重畳部は、ＨＤＭＩ規格によるトランスミッタ内に設けられて、映像フレーム中のデータアイランド期間に前記参照制御情報を重畳する
ことを特徴とする映像出力装置。
【請求項１１】
入力した映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離する分離部と、
前記分離部によって前記参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式に応じた動きベクトルに変換する動きベクトル変換部と
を備え、前記動きベクトル変換部によって変換された動きベクトルを用いて前記符号化部による符号化が行われることを特徴とする信号変換装置。
【請求項１２】
請求項１１に記載の信号変換装置において、
前記分離部によって前記参照制御情報を分離された映像信号の画面サイズ及び／またはフレーム数を縮小するサイズ・フレーム数変換部
をさらに備え、
前記動きベクトル変換部は、前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式と、前記サイズ・フレーム数変換部による縮小後の画面サイズ及び／またはフレーム数とに応じた動きベクトルに変換する
ことを特徴とする信号変換装置。
【請求項１３】
請求項１１に記載の信号変換装置において、
前記符号化部内に、
前記動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、前記動きベクトル変換部によって変換された動きベクトルを用いて該動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び／または、前記動きベクトル変換部によって変換された動きベクトルを参考にして該動きベクトルの周囲の動きベクトルを検出する処理を行う動きベクトル検出部
ことを特徴とする信号変換装置。
【請求項１４】
請求項１１に記載の信号変換装置において、
前記信号変換装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を入力する装置であり、
前記分離部は、ＨＤＭＩ規格によるレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
ことを特徴とする信号変換装置。
【請求項１５】
請求項１１に記載の信号変換装置において、
前記参照制御情報を重畳された映像信号の伝送の可否及び／または伝送量を指示する制御信号を出力する制御部
をさらに備えたことを特徴とする信号変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＶ機器を組み合わせて用いることによってネットワーク伝送用に映像信号を符号化する場合に、動きベクトルを用いた符号化を効率的に行なえるようにしたシステム，方法及び装置に関する。
【背景技術】
【０００２】
インターネットなどのネットワークを利用して、現在撮影しているライブ映像を伝送したり（例えば、テレビ電話やテレビ会議や防犯用の遠隔監視）や、記録済みの映像を伝送する（例えば映像コンテンツの配信）ことが一般化している。こうしたネットワーク経由の映像の伝送は、専用の端末によっても実現されているが、近年は、ビデオカメラやＶＴＲやＰＣ（パーソナルコンピュータ）やネットワーク対応型テレビジョン受像機やＳＴＢ（セットトップボックス）や電話機といったＡＶ機器を組み合わせることによっても実現され始めていている。
【０００３】
映像信号をネットワーク経由で伝送するためには、ネットワークの帯域の関係で、通常は映像信号を符号化によって圧縮した後にネットワークに送出するという処理が行われる。その際、例えば、テレビ電話用に映像信号を符号化するシステムを、ＣＣＤカメラ等の撮像部と符号化回路とを内蔵した一台の専用の端末によって実現するのであれば、撮像部からの映像信号を符号化回路で符号化して送出する一連の処理の中で、映像信号量や符号化処理に無駄が生じることのないように、バランスをとってその専用端末を設計することができる。
【０００４】
これに対し、ビデオカメラ等を撮像部として用いるとともにＰＣやネットワーク対応型テレビジョン受像機等を符号化回路として用いることによってテレビ電話用の映像信号符号化システムを実現する場合には、元々それらの機器が異なる目的で構成されているため、映像信号量や符号化処理に無駄が生じないように最適化されているわけではない。
【０００５】
図１，図２は、従来のＡＶ機器を組み合わせてこうしたネットワーク伝送のための映像信号符号化システムを構成した例をそれぞれ示すブロック図である。なお、本明細書では、ＰＣやネットワーク対応型テレビジョン受像機やＳＴＢのように映像信号を符号化する側の機器を「信号変換装置」と称し、ビデオカメラやＶＴＲのように「信号変換装置」に対して映像信号を供給する側の機器を「映像出力装置」と称する。
【０００６】
図１の例では、映像出力装置１００内において、例えばＭＰＥＧ−２で符号化されている映像信号が、復号部１０１によって非圧縮のコンポジット信号などの映像信号に復号される。そして、この非圧縮の映像信号が、映像出力装置１００から出力されて信号変換装置１０２に入力される。
【０００７】
信号変換装置１０２内では、入力映像信号が、まずサイズ・フレーム数変換部１０３に供給される。サイズ・フレーム数変換部１０３は、サイズ・フレーム情報（テレビ電話の相手方の表示装置に応じた画面サイズやフレーム数を指定する情報）に基づいて映像信号の画面サイズやフレーム数を縮小することにより、映像信号の信号量をネットワーク伝送に適した量に削減する。このようにして信号量を削減された映像信号は、符号化部１０４によってテレビ電話用の符号化方式（例えば、Ｈ．２６１や、ＭＰＥＧ−４Part10（ＡＶＣ）など）で符号化されて、図示しないネットワークインタフェースからネットワークに送出される。
【０００８】
図２の例では、映像出力装置２００から、ＭＰＥＧ−２などで符号化された映像信号が出力されて信号変換装置２０１に入力される。
【０００９】
信号変換装置２０１内では、この符号化された映像信号が、まず復号部２０２によって復号された後、サイズ・フレーム数変換部２０３に供給される。サイズ・フレーム数変換部２０３は、サイズ・フレーム情報に基づいて映像信号の画面サイズやフレーム数を縮小することにより、映像信号の信号量をネットワーク伝送に適した量に削減する。このようにして信号量を削減された映像信号は、符号化部２０４によってテレビ電話用の符号化方式で符号化されて、図示しないネットワークインタフェースからネットワークに送出される。（動きベクトル変換部２０５については後で説明する。）
【００１０】
ところで、ネットワークを介した映像の伝送の中でも、特にテレビ電話やテレビ会議や防犯用の遠隔監視では、リアルタイム性の要求から、高効率の符号化を行なう必要がある。高効率の符号化方法としては動きベクトルを用いた方法が一般に用いられているが、符号化時の動きベクトル検出処理は符号化処理全体の半数以上の処理を占める場合も少なくないほど多大な計算量が必要である。
【００１１】
そこで、図１の構成例のように信号変換装置１０２に非圧縮の映像信号が入力される場合では、符号化部１０４内に動きベクトル検出のための多大な計算を行う大規模な回路を設けることが必要になり、そのコストが製品価格を引き上げるばかりか、その回路の消費電力量の多さが常時消費者の負担となってしまう。
【００１２】
一方、図２の構成例のように信号変換装置に符号化された映像信号が入力される場合に関しては、復号部２０２から出力される動きベクトルを、符号化部２０４での符号化方式（及びサイズ・フレーム情報が指定する縮小後の画面サイズやフレーム数）に応じた動きベクトルに変換する動きベクトル変換部２０５を設けることにより、ゼロから動きベクトルを検出する場合よりも符号化に要する計算コストを低減する技術が既に提案されている（特許文献１）。
【００１３】
しかし、図２の構成は、信号変換装置２０１が、映像出力装置２００における映像信号の符号化方式（例えばＭＰＥＧ）に対応した復号部２０２を有することを前提とするものである。したがって、信号変換装置２０１として用いることのできるＡＶ機器が、映像出力装置２００として用いるＡＶ機器における符号化方式に対応した機種のものに限定されてしまい、それ以外の機種のＡＶ機器では図２の構成を実現することができない。
【００１４】
また、例えば、映像出力装置２００が画素数の多い高画質のＣＣＤカメラを搭載したカメラ一体型ＶＴＲであり、そのＣＣＤカメラからの映像信号を高い圧縮率で符号化した映像信号が映像出力装置２００から出力されるような場合には、信号変換装置２０１内の復号部２０２にもその高圧縮の映像信号を復号するための多大な処理能力が必要になるので、やはりそのコストが製品価格を引き上げたりその消費電力が消費者の負担となってしまう。
【００１５】
【特許文献１】特開２００１−２３８２１８号公報（段落番号００２４〜２６、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１６】
このように、ＡＶ機器を組み合わせて用いることによって映像出力装置と信号変換装置という２台の装置が分離したネットワーク伝送用の映像信号符号化システムを実現する場合には、従来、信号変換装置が高効率の符号化を行えるようにするための適切な方法がなく、利用者が機器構成，製品価格，消費電力，通信品質等の面で負担を強いられていた。
【００１７】
本発明は、上述の点に鑑み、ＡＶ機器を組み合わせて用いることによって映像出力装置と信号変換装置という２台の装置が分離したネットワーク伝送用の映像信号符号化システムを実現する場合に、信号変換装置内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、且つ、信号変換装置内に図２の例のように復号部を設けることなく、信号変換装置において動きベクトルを用いた高効率の符号化を行えるようにすることを課題とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明に係るネットワーク伝送用の映像信号符号化システムは、動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部とを備え、この重畳部によってこの参照制御情報を重畳された映像信号を出力する映像出力装置と、この映像出力装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する分離部と、この分離部によってこの参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、この分離部によって分離されたこの参照制御情報中の動きベクトルを、この符号化部におけるこの符号化方式に応じた動きベクトルに変換する動きベクトル変換部とを備え、この動きベクトル変換部によって変換された動きベクトルを用いてこの符号化部による符号化が行われる信号変換装置とから成ることを特徴とする。
【００１９】
この映像信号符号化システムでは、復号部を備えた映像出力装置内において、復号された映像信号のブランキング期間に、復号部から出力される少なくとも動きベクトルを含む参照制御情報を重畳する処理が行われる。そして、この参照制御情報を重畳された映像信号が、映像出力装置から出力される。
【００２０】
信号変換装置では、この映像出力装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する処理が行われる。さらに、この分離された参照制御情報中の動きベクトルを、信号変換装置内の符号化部での符号化方式に応じた動きベクトルに変換する処理が行われる。そして、この参照制御情報を分離した映像信号が、この変換した動きベクトルを用いて信号変換装置内の符号化部で符号化される。
【００２１】
このように、映像出力装置の側で、動きベクトルを映像信号のブランキング期間に重畳して出力し、信号変換装置の側で、映像信号から分離したこの動きベクトルを内部の符号化回路の符号化方式に応じて変換して利用することにより、映像出力装置と信号変換装置という２台の装置が分離しているにもかかわらず、信号変換装置内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、信号変換装置において動きベクトルを用いた高効率の符号化を行うことができる。
【００２２】
また、映像出力装置からは非圧縮の映像信号を出力するので、信号変換装置内には、映像出力装置における映像信号の符号化方式に対応した復号部を設ける必要はない。したがって、映像出力装置における符号化方式に対応していないＡＶ機器であっても、信号変換装置として用いることができる。
【００２３】
次に、本発明に係るネットワーク伝送用の映像信号符号化方法は、動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた映像出力装置から出力された映像信号を入力した信号変換装置が、この入力した映像信号をネットワーク伝送用に符号化する方法において、この映像出力装置が、この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、この信号変換装置が、この映像出力装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する第２のステップと、この信号変換装置が、この第２のステップで分離したこの参照制御情報中の動きベクトルを、この信号変換装置内で実行される動きベクトルによる所定の符号化方式に応じた動きベクトルに変換する第３のステップと、この信号変換装置が、この第２のステップでこの参照制御情報を分離した映像信号を、この第３のステップで変換した動きベクトルを用いてこの所定の符号化方式で符号化する第４のステップとを有することを特徴とする。
【００２４】
この映像信号符号化方法は、前述の本発明に係る映像信号符号化システムによる一連の処理手順に該当するものであり、信号変換装置内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、信号変換装置において動きベクトルを用いた高効率の符号化を行うことができる。また、映像出力装置における符号化方式に対応していないＡＶ機器であっても、信号変換装置として用いることができる。
【００２５】
次に、本発明に係る映像出力装置は、撮像手段からの映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、この撮像手段からの映像信号のブランキング期間に、この符号化部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部とを備え、この重畳部によってこの参照制御情報を重畳された映像信号を出力することを特徴とする。
【００２６】
この映像出力装置では、撮像手段からの映像信号のブランキング期間に、この映像信号を符号化する符号化部から出力される少なくとも動きベクトルを含む参照制御情報を重畳する処理が行われる。そして、この参照制御情報を重畳された映像信号が、映像出力装置から出力される。
【００２７】
したがって、この映像出力装置を、前述の本発明に係る映像信号符号化システムを構成する信号変換装置と協働させれば、信号変換装置内に消費電力量が多く動きベクトル検出のための大規模な回路を設けることなく、撮像手段で現在撮影している映像信号に対して、信号変換装置において動きベクトルを用いた高効率の符号化を行うことができる。また、映像出力装置における符号化方式に対応していないＡＶ機器であっても、信号変換装置として用いることができる。
【００２８】
次に、本発明に係る信号変換装置は、入力した映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離する分離部と、この分離部によってこの参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、この分離部によって分離されたこの参照制御情報中の動きベクトルを、この符号化部におけるこの符号化方式に応じた動きベクトルに変換する動きベクトル変換部とを備え、この動きベクトル変換部によって変換された動きベクトルを用いてこの符号化部による符号化が行われることを特徴とする。
【００２９】
この信号変換装置は、前述の本発明に係る映像信号符号化システムを構成する信号変換装置であり、前述の映像出力装置と協働させることにより、信号変換装置内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、信号変換装置において動きベクトルを用いた高効率の符号化を行うことができる。また、映像出力装置における符号化方式に対応していないＡＶ機器であっても、信号変換装置として用いることができる。
【発明の効果】
【００３０】
本発明によれば、ＡＶ機器を組み合わせて用いることによって映像出力装置と信号変換装置という２台の装置が分離したネットワーク伝送用の映像信号符号化システムを実現する場合に、信号変換装置内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、信号変換装置において動きベクトルを用いた高効率の符号化を行うことができるという効果や、映像出力装置からは非圧縮の映像信号を出力するので、映像出力装置における符号化方式に対応していないＡＶ機器であっても信号変換装置として用いることができるという効果が得られる。
【００３１】
さらに、本発明に係る映像出力装置によれば、撮像手段で現在撮影している映像信号に対して、信号変換装置において動きベクトルを用いた高効率の符号化を行うことができるという効果も得られる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態を図面を用いて説明する。図３は、本発明を適用したネットワーク伝送用の映像信号符号化システムの構成例を示すブロック図である。このシステムは、テレビ電話（あるいはテレビ会議や防犯用の遠隔監視）のためにネットワークに送出する映像信号を符号化するためのものであり、映像出力装置１と信号変換装置８とで構成されている。映像出力装置１は、例えばカメラ一体型ＶＴＲを用いたものである。信号変換装置８は、例えばネットワーク対応型テレビジョン受像機を用いたものである。
【００３３】
映像出力装置１には、本発明に関連する回路やデバイスとして、撮像部（例えばＣＣＤカメラ）２と、符号化部３と、重畳部４と、大容量記憶装置（例えばハードディスクドライブ）５と、復号部６とが設けられている。撮像部２からの映像信号は、符号化部３に供給されるとともに、重畳部４に供給される。
【００３４】
符号化部３は、例えばＭＰＥＧ−２規格のエンコーダであり、その構成は周知であるので図には概略構成のみを示している。撮像部２からの映像信号のフレームは、フレーム符号化部３−１によって符号化される。この符号化された映像フレームは、フレーム復号記憶部３−２によって復号されて一時的に記憶される。
【００３５】
動きベクトル検出部３−３では、撮像部２からの映像信号のフレームと、フレーム復号記憶部３−２に記憶された過去のフレームとの間で同一性のある映像ブロックが検出され、それらの間の位置関係が動きベクトルとして検出されて、この動きベクトルが動き補償部３−４に供給される。動き補償部３−４では、フレーム復号記憶部３−２に記憶された過去のフレームに対してこの動きベクトルで動き予測（補償）を行ない、その動き予測されたフレームをフレーム符号化部３−１に供給する。フレーム符号化部３−１では、この動き予測されたフレームが、撮像部２からの映像信号のフレームとの差分を符号化するために用いられる。
【００３６】
映像出力装置１の操作パネル（図示略）で、撮像部２で現在撮影している映像信号を映像出力装置１から出力させる操作が行われたときには、撮像部２からの映像信号が、符号化部３によって符号化される。そして、動きベクトル検出部３−３で検出された動きベクトルや、フレーム符号化部３−１の処理によって生成されたマクロブロックタイプ，ピクチャタイプ，画像サイズ，フレームレート等の情報が、符号化部３から参照制御情報として重畳部４に供給される。
【００３７】
また、この操作パネルで、撮像部２で現在撮影している映像信号を録画する操作が行われたときには、撮像部２からの映像信号が符号化部３で符号化され、この符号化された映像信号が、映像出力装置１内の大容量記憶装置５に記憶される。
【００３８】
また、この操作パネルで、録画済みの映像信号を映像出力装置１から出力させる操作が行われたときには、大容量記憶装置５から映像信号が再生され、その映像信号が復号部６に供給される。復号部６は、符号化部３と同じ符号化規格のデコーダであり、その構成は周知であるので詳細説明は説明する。
【００３９】
復号部６によって復号された映像信号は、重畳部４に供給される。また、復号部６での復号時に得られた動きベクトル，マクロブロックタイプ，ピクチャタイプ，画像サイズ，フレームレート等の情報が、復号部５から参照制御情報として重畳部４に供給される。
【００４０】
重畳部４は、映像出力装置１から出力する映像信号のブランキング期間に、参照制御情報を重畳する処理を行う回路である。撮像部２で現在撮影している映像信号を出力させる操作が行われたときには、前述のように符号化部３から重畳部４に参照制御情報が供給され、重畳部４は、撮像部２からの映像信号にこの参照制御情報を重畳する。また、録画済みの映像信号を出力させる操作が行われたときには、前述のように復号部６から重畳部４に参照制御情報が供給され、重畳部４は、復号部６で復号された映像信号にこの参照制御情報を重畳する。
【００４１】
重畳部４によってこの参照制御情報を重畳された映像信号は、映像出力装置１から出力され、映像ケーブル７を介して信号変換装置８に送られる。
【００４２】
信号変換装置８には、本発明に関連する回路として、分離部９と、サイズ・フレーム変換部１０と、動きベクトル変換部１１と、符号化部１２と、ネットワークインタフェース１３とが設けられている。符号化部１２は、テレビ電話用の符号化規格（例えば、Ｈ．２６１や、ＭＰＥＧ−４Part10（ＡＶＣ）など）のエンコーダである。
【００４３】
映像ケーブル７を介して信号変換装置８に入力した映像信号は、分離部９に供給される。分離部９は、供給される映像信号のブランキング期間から、前述の参照制御情報を分離する処理を行う回路である。
【００４４】
なお、映像出力装置１から信号変換装置８への映像信号の伝送形態は、コンポジット信号などのアナログ信号であってもよいし、デジタル信号であってもよい。アナログ映像信号の場合には、重畳部４は、垂直帰線消去期間で文字放送などに用いられていないラインに参照制御情報を重畳し、映像ケーブル７として、現在一般的に用いられているコンポジット映像ケーブルなどを用い、分離部９は、上記ラインから参照制御情報を分離するようにすればよい。
【００４５】
デジタル映像信号の伝送規格としては、非圧縮のデジタル映像信号を高品位に伝送するための規格であるＨＤＭＩ（High Definition Multimedia Interface）の利用が始まっている。映像出力装置１及び信号変換装置８がこのＨＤＭＩ規格に則って映像信号を入出力する機器である場合には、次に述べるようにして参照制御情報を重畳すればよい。
【００４６】
図４は、ＨＤＭＩ規格に則った機器の概要を示す図である。映像信号を送信する側の機器であるＨＤＭＩソース２１には、ＨＤＭＩトランスミッタ２２が設けられる。ＨＤＭＩトランスミッタ２２は、供給されるビデオ（映像信号），オーディオ／ＡＵＸ（Auxiliary），コントロール／ステータスの各信号を、３つのＴＭＤＳ（Transition Minimized Differential Signaling）チャンネル０〜２のシリアルデータにエンコードして出力するとともに、ビデオのピクセルクロックをＴＭＤＳクロックチャンネルから出力する。そして、これらのチャンネルのデータと、ディスプレイの固有情報（解像度など）を通知するためのＤＤＣ（Display Data Channel）のデータと、オプションであるＣＥＣ（Consumer Electronics Control）プロトコルの双方向制御用の制御信号とが、ＨＤＭＩソース２１から、１本のケーブル（ＨＤＭＩケーブル）で、映像信号を受信する側の機器であるＨＤＭＩシンク（Sink）２３に伝送される。
【００４７】
ＨＤＭＩシンク２３には、ＨＤＭＩレシーバ２４が設けられる。ＨＤＭＩレシーバ２４は、ＴＭＤＳクロックチャンネルで伝送されるピクセルクロックをリファレンスとして、ＴＭＤＳチャンネル０〜２のシリアルデータから元のビデオ，オーディオ／ＡＵＸ，コントロール／ステータスの各信号を復元する。
【００４８】
図５は、ＨＤＭＩにおける、ビデオフレーム中のオーディオ／ＡＵＸの伝送期間であるデータアイランド期間の例（アクティブビデオが７２０×４８０ピクセルの場合の例）を示す図である。各アクティブラインの１３８ピクセル分の水平ブランキング期間と、４５ライン分の垂直ブランキング期間とのそれぞれ所定のピクセル位置に、データアイランド期間とが分散して位置している。
【００４９】
図３の映像出力装置１，信号変換装置８がＨＤＭＩ規格に則って映像信号を入出力する（それぞれＨＤＭＩソース，ＨＤＭＩシンクである）場合には、重畳部４，分離部９をそれぞれ図４のＨＤＭＩトランスミッタ２２，ＨＤＭＩレシーバ２４の一部として構成して、重畳部４が図５のデータアイランド期間にＡＵＸデータの一種として参照制御情報を重畳し、分離部９がこのデータアイランド期間から参照制御情報を分離するようにすればよい。これにより、映像出力装置１及び信号変換装置８がＨＤＭＩ規格に則って映像信号を入出力する機器である場合にも、本発明を適用することができる。
【００５０】
図３に戻り、信号変換装置８では、分離部９によって参照制御情報を分離された映像信号と、この参照制御情報中の画像サイズ及びフレームレートの情報とが、サイズ・フレーム数変換部１０に供給される。また、分離部９によって分離された参照制御情報中の動きベクトル，マクロブロックタイプ及びピクチャタイプの情報が、動きベクトル変換部１１に供給される。
【００５１】
サイズ・フレーム数変換部１０は、サイズ・フレーム情報（テレビ電話の相手方の表示装置に応じた画面サイズやフレーム数を指定する情報）に基づいて映像信号の画面サイズやフレーム数を縮小することにより、映像信号の信号量をネットワーク伝送に適した量に削減する。このようにして信号量を削減された映像信号は、サイズ・フレーム数変換部１０から符号化部１２に供給される。
【００５２】
動きベクトル変換部１１では、参照制御情報中の動きベクトルに対して、符号化部１２における符号化方式と、サイズ・フレーム情報によって指定される縮小後の画面サイズ及びフレーム数とに応じて、動きベクトルの大きさ等を変換する処理が行われる。このようにして変換された動きベクトル等は、動きベクトル変換部１１から符号化部１２に供給される。
【００５３】
図６は、符号化部１２の構成を示すブロック図である。符号化部１２の基本的な構成は、通常のテレビ電話用の符号化規格のエンコーダと共通しており、フレーム符号化部１２−１と、フレーム復号部１２−２と、フレーム記憶部１２−３と、動きベクトル検出部１２−４と、動き補償部１２−５とを有している。
【００５４】
フレーム符号化部１２−１は、サイズ・フレーム数変換部１０からの映像信号のフレームを符号化する。フレーム復号部１２−２は、この符号化された映像フレームを復号する。フレーム記憶部１２−３は、この復号されたフレームを一時的に記憶する。
【００５５】
動きベクトル検出部１２−４は、サイズ・フレーム数変換部１０からの映像信号のフレームと、フレーム記憶部１２−３に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、動き補償部１２−５に供給する。但し、この動きベクトル検出部１２−１は、サイズ・フレーム数変換部１０からの映像信号に基づいてゼロから動きベクトルを検出する処理を行うのではなく、動きベクトル変換部１１から符号化部１２に供給される動きベクトルと重複する動きベクトルの検出を省略するとともに、動きベクトル変換部１１から供給される動きベクトルを用いてそれとは異なるサイズのブロックの動きベクトルを検出する処理や、動きベクトル変換部１１から供給される動きベクトルを参考にしてその周囲の動きベクトルを検出する処理を行う。したがって、動きベクトル検出部１２−１は、ゼロから動きベクトルを検出する場合よりも回路が小規模で消費電力が少なくて済み、しかも、詳細な動きベクトル検出を行なうことができる。
【００５６】
動き補償部１２−５は、フレーム記憶部１２−３に記憶された過去のフレームに対して、動きベクトル検出部１２−４から供給される動きベクトルで動き予測（補償）を行なう。フレーム符号化部１２−１では、この動き予測されたフレームが、サイズ・フレーム数変換部１０からの映像信号のフレームとの差分を符号化するために用いられる。
【００５７】
この符号化部１２によってテレビ電話用の符号化方式で符号化された映像信号は、図３に示すように、ネットワークインタフェース１３からネットワーク１４に送出されて、ネットワーク１４経由でテレビ電話の相手方の機器（図示略）に伝送される。
【００５８】
図７，図８は、図３の映像出力装置１，信号変換装置８における処理をフローチャートとして示した図である。また、図９は、信号変換装置８内の符号化部１２における処理をフローチャートとして示した図である。
【００５９】
図７に示すように、映像出力装置１では、撮像部２からの映像信号を直ちに出力する（すなわちライブ映像を出力する）場合（ステップＳ１でイエス）には、符号化部３が、撮像部２からの映像信号を符号化して、符号化時に得られた参照制御情報を重畳部４に供給する（ステップＳ２）。重畳部４は、撮像部２からの映像信号のブランキング期間に、この符号化部３からの参照制御情報を重畳して映像出力装置１から出力する（ステップＳ３）。そして、ステップＳ１に戻る。
【００６０】
他方、録画済の映像を出力する場合（ステップＳ４でイエス）には、復号部６が、大容量記憶装置５から再生された符号化映像信号を復号して重畳部４に供給するとともに、復号時に得られた参照制御情報を重畳部４に供給する（ステップＳ５）。重畳部４は、この復号された映像信号のブランキング期間に、復号部６からの参照制御情報を重畳して映像出力装置１から出力する（ステップＳ６）。そして、ステップＳ１に戻る。
【００６１】
図８に示すように、信号変換装置８では、分離部９が、入力された映像信号のブランキング期間に重畳された参照制御情報を取り出すことにより、映像信号と参照制御情報とを分離する（ステップＳ１１）。そして、サイズ・フレーム数変換部１０が、サイズ・フレーム情報に基づいて画面サイズやフレーム数を調整することにより、参照制御情報を分離された映像信号を、ネットワーク経由で伝送するのに適した信号量に調節する（ステップＳ１２）。また、動きベクトル変換部１１が、分離された参照制御情報中の動きベクトルを、符号化部１２における符号化方式や、サイズ・フレーム情報によって指定される縮小後の画面サイズ及びフレーム数に合せて変換する（ステップＳ１３）。
【００６２】
そして、符号化部１２が、図９に示す処理により、画面サイズやフレーム数を調整された映像信号を、変換された動きベクトルを用いて符号化する（ステップＳ１４）。そして、ステップＳ１１に戻って、次の入力映像信号に対する処理を繰り返す。
【００６３】
図９に示すように、符号化部１２では、入力された映像信号のピクチャタイプが画面内符号化（Ｉピクチャ）であるかを、参照制御情報内のピクチャタイプの情報に基づいて確認する（ステップＳ２１）。画面内符号化である場合には、フレーム符号化部１２−１が、入力された映像信号を、フレーム符号化し（ステップＳ２２）、相手方の機器の復号部で順番どおり復号できるような順序関係にするなどリオーダを行なって出力する（ステップＳ２３）。
【００６４】
フレーム復号部１２−２は、フレーム符号化部１２−１によってフレーム符号化された映像を復号し（ステップＳ２４）、フレーム記憶部１２−３は、この復号された映像を参照画面として一時的に記憶する（ステップＳ２５）。そして、ステップＳ２１に戻って、次の入力映像信号に対する処理を繰り返す。
【００６５】
ステップＳ２１において、入力映像信号のピクチャタイプが画面内符号化でなかった場合には、動きベクトル検出部１２−４が、フレーム記憶部１２−３に記憶されている映像と、新たに入力された映像との間で同一の映像ブロックを検出する動きベクトル検出処理を行なう。このとき、動きベクトル変換部１１から供給される動きベクトルを利用して、重複する動きベクトルの検出を省略するとともに、それとは異なるサイズのブロックやその周囲の動きベクトルを検出することにより、参照制御情報からは不足する動きベクトルのみを追加して検出する（ステップＳ２６）。
【００６６】
続いて、動き補償部１２−５が、フレーム記憶部１２−３に記憶された過去のフレームに対して、動きベクトル検出部１２−４から供給される動きベクトルで動き予測（補償）を行ない、フレーム符号化部１２−１が、この動き予測されたフレームと、サイズ・フレーム数変換部１０からの映像信号のフレームとの差分をフレーム符号化する（ステップＳ２７）。そして、フレーム符号化部１２−１が、フレーム符号化した映像を、相手方の機器の復号部で順番どおり復号できるような順序関係にするなどリオーダを行なって出力する（ステップＳ２８）。
【００６７】
フレーム復号部１２−２は、フレーム符号化部１２−１によってフレーム符号化された映像を復号する（ステップＳ２９）。フレーム記憶部１２−３は、この復号により得られた差分の映像と、先に差分をとった際の動き補償した映像とを加算した映像、つまり相手方の機器の復号部で復号を行うことによって得られる映像と同じ映像を、一時的に記憶する（ステップＳ３０）。そして、ステップＳ２１に戻って、次の入力映像信号に対する処理を繰り返す。
【００６８】
以上に説明したように、この映像信号符号化システムでは、撮像部２で現在撮影している映像信号（ライブ映像）をネットワーク経由で伝送する場合には、映像出力装置１の側で、撮像部２からの映像信号を符号化部３で符号化することによって得られた動きベクトル等の参照制御情報が、撮像部２からの映像信号のブランキング期間に重畳して出力される。
【００６９】
他方、撮像部２で過去に撮影して録画した映像をネットワーク経由で伝送する場合には、映像出力装置１の側で、大容量記憶装置５から再生された符号化映像信号を復号部６で復号することによって得られた動きベクトル等の参照制御情報が、この復号された映像信号のブランキング期間に重畳して出力される。
【００７０】
したがって、ライブ映像，録画映像のいずれを伝送する場合にも、映像出力装置１から出力される映像信号のブランキング期間に、動きベクトルを含む参照制御情報が重畳される。
【００７１】
信号変換装置８の側では、入力した映像信号から分離した参照制御情報中の動きベクトルが、テレビ電話用の符号化方式に応じた動きベクトルに変換され、この変換された動きベクトルを用いて、入力した映像信号が符号化されてネットワークに送出される。
【００７２】
したがって、映像出力装置１と信号変換装置８という２台の装置が分離しているにもかかわらず、ライブ映像，録画映像のいずれをネットワーク経由で伝送する場合でも、信号変換装置８内に動きベクトル検出のための消費電力量が多く大規模な回路を設けることなく、信号変換装置８において動きベクトルを用いた高効率の符号化を行うことができる。
【００７３】
また、映像出力装置１からは非圧縮の映像信号を出力するので、信号変換装置８内には、映像出力装置１における映像信号の符号化方式（例えばＭＰＥＧ−２）に対応した復号部を設ける必要はない。したがって、映像出力装置１における符号化方式に対応していないＡＶ機器であっても、信号変換装置８として用いることができる。
【００７４】
最後に、以上に説明した事項に対する変更例を、以下に（１）〜（５）として挙げることにする。
【００７５】
（１）映像出力装置１の重畳部４が、参照制御情報を圧縮して映像信号のブランキング期間に重畳し、信号変換装置８の分離部９が、映像信号のブランキング期間から分離した参照制御情報を伸張するようにしてもよい。これにより、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。
【００７６】
（２）全ての動きベクトルを映像信号のブランキング期間に重畳するのではなく、例えばマクロブロックの差分が小さい動きベクトルのような有効な動きベクトルだけを映像信号のブランキング期間に重畳するようにしてもよい。これにより、複数の映像からの動きベクトルによって高効率で圧縮を行うＭＰＥＧ−４などの場合に、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。
【００７７】
（３）映像出力装置１から信号変換装置８に映像信号などを伝送するだけでなく、逆に信号変換装置８内の制御部（ＣＰＵ等）から映像出力装置１に制御信号を送り、再生の開始を指示したり、参照制御情報の伝送出力の可否を確認したり、その伝送入力の可否を指示したり、その伝送量を指示してもよい。例えば、ＨＤＭＩ規格に則った機器の場合には前述のようにＣＥＣプロトコルの双方向制御用の制御信号を伝送することができるので（図４）、このＣＥＣプロトコルによって映像出力装置１に制御信号を送ってもよい。これにより、本発明を適用したＡＶ機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となる。
【００７８】
（４）ライブ映像のみをネットワーク経由で伝送する場合には、映像出力装置１に大容量記憶装置５及び復号部６を設けなくてもよい。他方、録画済映像のみをネットワーク経由で伝送する場合や、撮像部を有しないＶＴＲ等のＡＶ機器を映像出力装置１として用いてその再生映像をネットワーク経由で伝送する場合には、符号化部３から重畳部４に参照制御情報を供給する必要はなく、復号部６からのみ重畳部４に参照制御情報を供給すればよい。
【００７９】
（５）映像出力装置１から出力される映像信号が、信号量が少ないためにそのままでもネットワーク伝送に適しており、且つ、この映像信号の画面サイズやフレーム数がテレビ電話の相手方の表示装置に適応している場合には、信号変換装置８において、サイズ・フレーム数変換部１０での画面サイズやフレーム数の縮小処理を省略し、分離部９で分離された映像信号をそのまま符号化部１２で符号化してもよい。
【図面の簡単な説明】
【００８０】
【図１】従来のＡＶ機器を組み合わせたネットワーク伝送用映像信号符号化システムの構成例を示すブロック図である。
【図２】従来のＡＶ機器を組み合わせたネットワーク伝送用映像信号符号化システムの構成例を示すブロック図である。
【図３】本発明を適用したネットワーク伝送用の映像信号符号化システムの構成例を示すブロック図である。
【図４】ＨＤＭＩ規格に則った機器の概要を示す図である。
【図５】ＨＤＭＩにおけるビデオフレーム中のデータアイランド期間の例を示す図である。
【図６】信号変換装置内の符号化部の構成を示すブロック図である。
【図７】映像出力装置の処理を示すフローチャートである。
【図８】信号変換装置の処理を示すフローチャートである。
【図９】信号変換装置内の符号化部の処理を示すフローチャートである。
【符号の説明】
【００８１】
１  映像出力装置、  ２  撮像部、  ３  符号化部、  ４  重畳部、  ５  大容量記憶装置、  ６  復号部、  ７  映像ケーブル、  ８  信号変換装置、  ９  分離部、  １０  サイズ・フレーム変換部、  １１  動きベクトル変換部、  １２  符号化部
【図１】
2007259142.tif 000003
【図２】
2007259142.tif 000004
【図３】
2007259142.tif 000005
【図４】
2007259142.tif 000006
【図５】
2007259142.tif 000007
【図６】
2007259142.tif 000008
【図７】
2007259142.tif 000009
【図８】
2007259142.tif 000010
【図９】
2007259142.tif 000011
【手続補正書】
【提出日】平成19年5月7日(2007.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像出力装置と信号変換装置とから成るネットワーク伝送用の映像信号符号化システムであって、
前記映像出力装置は、
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部と
を備え、前記重畳部によって前記参照制御情報を重畳された映像信号を出力し、
前記信号変換装置は、
前記映像出力装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する分離部と、
前記分離部によって前記参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式に応じた動きベクトルに変換する動きベクトル変換部と
を備え、前記動きベクトル変換部によって変換された動きベクトルを用いて前記符号化部により符号化を行う
ことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項２】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記映像出力装置は、
撮像手段からの映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記符号化部によって符号化された圧縮映像信号を記憶するための記憶手段と
をさらに備え、
前記復号部は、前記記憶手段から再生された圧縮映像信号を復号し、
前記重畳部は、前記撮像手段からの映像信号を前記映像出力装置から出力する場合には、前記符号化部から出力される、少なくとも動きベクトルを含む参照制御情報を、前記撮像手段からの映像信号のブランキング期間に重畳する
ことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項３】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記信号変換装置は、
前記分離部によって前記参照制御情報を分離された映像信号の画面サイズ及び／またはフレーム数を縮小するサイズ・フレーム数変換部
をさらに備え、
前記動きベクトル変換部は、前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式と、前記サイズ・フレーム数変換部による縮小後の画面サイズ及び／またはフレーム数とに応じた動きベクトルに変換する
ことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項４】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記信号変換装置の前記符号化部内に、
前記動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、前記動きベクトル変換部によって変換された動きベクトルを用いて該動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び／または、前記動きベクトル変換部によって変換された動きベクトルを参考にして該動きベクトルの周囲の動きベクトルを検出する処理を行う動きベクトル検出部
を備えたことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項５】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記映像出力装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を出力する装置であり、
前記重畳部は、ＨＤＭＩ規格によるトランスミッタ内に設けられて、映像フレーム中のデータアイランド期間に前記参照制御情報を重畳し、
前記信号変換装置は、ＨＤＭＩ規格によるデジタル映像信号を入力する装置であり、
前記分離部は、ＨＤＭＩ規格によるレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
ことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項６】
請求項１に記載のネットワーク伝送用の映像信号符号化システムにおいて、
前記信号変換装置は、
前記参照制御情報を重畳された映像信号の伝送の可否及び／または伝送量を指示する制御信号を前記映像出力装置に送る制御部
をさらに備えたことを特徴とするネットワーク伝送用の映像信号符号化システム。
【請求項７】
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた映像出力装置から出力された映像信号を入力した信号変換装置が、前記入力した映像信号をネットワーク伝送用に符号化する方法において、
前記映像出力装置が、前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、
前記信号変換装置が、前記映像出力装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する第２のステップと、
前記信号変換装置が、前記第２のステップで分離した前記参照制御情報中の動きベクトルを、前記信号変換装置内で実行される動きベクトルによる所定の符号化方式に応じた動きベクトルに変換する第３のステップと、
前記信号変換装置が、前記第２のステップで前記参照制御情報を分離した映像信号を、前記第３のステップで変換した動きベクトルを用いて前記所定の符号化方式で符号化する第４のステップと
を有することを特徴とするネットワーク伝送用の映像信号符号化方法。
【請求項８】
撮像手段からの映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記撮像手段からの映像信号のブランキング期間に、前記符号化部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部と
を備え、前記重畳部によって前記参照制御情報を重畳された映像信号を出力することを特徴とする映像出力装置。
【請求項９】
請求項８に記載の映像出力装置において、
前記符号化部によって符号化された圧縮映像信号を記憶するための記憶手段と、
前記記憶手段から再生された圧縮映像信号を復号する復号部と
をさらに備え、
前記重畳部は、前記復号部によって復号された映像信号を外部に出力する場合には、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を、前記復号された映像信号のブランキング期間に重畳する
ことを特徴とする映像出力装置。
【請求項１０】
請求項８に記載の映像出力装置において、
前記映像出力装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を出力する装置であり、
前記重畳部は、ＨＤＭＩ規格によるトランスミッタ内に設けられて、映像フレーム中のデータアイランド期間に前記参照制御情報を重畳する
ことを特徴とする映像出力装置。
【請求項１１】
入力した映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離する分離部と、
前記分離部によって前記参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、
前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式に応じた動きベクトルに変換する動きベクトル変換部と
を備え、前記動きベクトル変換部によって変換された動きベクトルを用いて前記符号化部による符号化が行われることを特徴とする信号変換装置。
【請求項１２】
請求項１１に記載の信号変換装置において、
前記分離部によって前記参照制御情報を分離された映像信号の画面サイズ及び／またはフレーム数を縮小するサイズ・フレーム数変換部
をさらに備え、
前記動きベクトル変換部は、前記分離部によって分離された前記参照制御情報中の動きベクトルを、前記符号化部における前記符号化方式と、前記サイズ・フレーム数変換部による縮小後の画面サイズ及び／またはフレーム数とに応じた動きベクトルに変換する
ことを特徴とする信号変換装置。
【請求項１３】
請求項１１に記載の信号変換装置において、
前記符号化部内に、
前記動きベクトル変換部によって変換された動きベクトルと重複する動きベクトルの検出を省略するとともに、前記動きベクトル変換部によって変換された動きベクトルを用いて該動きベクトルとは異なるサイズのブロックの動きベクトルを検出する処理、及び／または、前記動きベクトル変換部によって変換された動きベクトルを参考にして該動きベクトルの周囲の動きベクトルを検出する処理を行う動きベクトル検出部
を備えたことを特徴とする信号変換装置。
【請求項１４】
請求項１１に記載の信号変換装置において、
前記信号変換装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を入力する装置であり、
前記分離部は、ＨＤＭＩ規格によるレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
ことを特徴とする信号変換装置。
【請求項１５】
請求項１１に記載の信号変換装置において、
前記参照制御情報を重畳された映像信号の伝送の可否及び／または伝送量を指示する制御信号を出力する制御部
をさらに備えたことを特徴とする信号変換装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
上記課題を解決するために、本発明に係るネットワーク伝送用の映像信号符号化システムは、映像出力装置と信号変換装置とから成るネットワーク伝送用の映像信号符号化システムであって、この映像出力装置は、動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する重畳部とを備え、この重畳部によってこの参照制御情報を重畳された映像信号を出力し、この信号変換装置は、この映像出力装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する分離部と、この分離部によってこの参照制御情報を分離された映像信号を、動きベクトルによる符号化方式で符号化する符号化部と、この分離部によって分離されたこの参照制御情報中の動きベクトルを、この符号化部におけるこの符号化方式に応じた動きベクトルに変換する動きベクトル変換部とを備え、この動きベクトル変換部によって変換された動きベクトルを用いてこの符号化部により符号化を行うことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
また、この操作パネルで、録画済みの映像信号を映像出力装置１から出力させる操作が行われたときには、大容量記憶装置５から映像信号が再生され、その映像信号が復号部６に供給される。復号部６は、符号化部３と同じ符号化規格のデコーダであり、その構成は周知であるので詳細説明は省略する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
復号部６によって復号された映像信号は、重畳部４に供給される。また、復号部６での復号時に得られた動きベクトル，マクロブロックタイプ，ピクチャタイプ，画像サイズ，フレームレート等の情報が、復号部６から参照制御情報として重畳部４に供給される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
信号変換装置８には、本発明に関連する回路として、分離部９と、サイズ・フレーム数変換部１０と、動きベクトル変換部１１と、符号化部１２と、ネットワークインタフェース１３とが設けられている。符号化部１２は、テレビ電話用の符号化規格（例えば、Ｈ．２６１や、ＭＰＥＧ−４Part10（ＡＶＣ）など）のエンコーダである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
動きベクトル検出部１２−４は、サイズ・フレーム数変換部１０からの映像信号のフレームと、フレーム記憶部１２−３に記憶された過去のフレームとの間での同一性のある映像ブロックの位置関係を表す動きベクトルを、動き補償部１２−５に供給する。但し、この動きベクトル検出部１２−４は、サイズ・フレーム数変換部１０からの映像信号に基づいてゼロから動きベクトルを検出する処理を行うのではなく、動きベクトル変換部１１から符号化部１２に供給される動きベクトルと重複する動きベクトルの検出を省略するとともに、動きベクトル変換部１１から供給される動きベクトルを用いてそれとは異なるサイズのブロックの動きベクトルを検出する処理や、動きベクトル変換部１１から供給される動きベクトルを参考にしてその周囲の動きベクトルを検出する処理を行う。したがって、動きベクトル検出部１２−４は、ゼロから動きベクトルを検出する場合よりも回路が小規模で消費電力が少なくて済み、しかも、詳細な動きベクトル検出を行なうことができる。