(57)【特許請求の範囲】
【請求項１】
連続したデータ（以後、データ列と呼ぶ。）を送信するデータ送信装置と、
当該データ列を受信してエラー訂正を行うデータ受信装置と
を備えるデータ送受信システムにおける伝送エラー訂正方法であって、
入力されたデータ列を符号化するデータ符号化ステップと、
前記符号化されたデータ列を複製し、複数のデータ列を生成するデータ多重化ステップと、
前記多重化されたデータ列それぞれを予め定めた時間差を与えて送信するデータ送信ステップと、
前記時間差を与えられ送信されたデータ列を、それぞれ受信して保持するデータ受信ステップと、
前記データ列の一系列を用いて、受信したデータを復号し、伝送エラーによるデータの消失があった場合、当該データを他系列のデータを用いて復号することにより、エラー訂正を行うデータ復号化ステップと、
前記データ送信ステップにおける時間差を決定する時間差決定ステップと
を備え、
前記データ復号化ステップにおいて、前記データの一系列に伝送エラーによるデータの消失があった場合に、前記時間差決定ステップは、
時間差決定用のデータ列の入力を受け付け、当該データ列を符号化する第２のデータ符号化ステップと、
前記第２のデータ符号化ステップにおいて符号化されたデータ列を複製し、複数のデータ列を生成する第２のデータ多重化ステップと、
前記第２のデータ多重化ステップにおいて多重化されたデータ列それぞれに最小の時間差を与えて送信する第２のデータ送信ステップと、
前記第２のデータ送信ステップにおいて時間差を与えられて送信されたデータ列を、それぞれ受信する第２のデータ受信ステップと、
前記第２の受信ステップにおいて受信したデータ列の一系列を用いて、受信したデータを復号し、伝送エラーによるデータの消失があった場合に、当該データ以降を他系列のデータを用いて復号することによりエラー訂正を行い、他系列のデータを用いても復号できなかった場合に、他系列のデータを用いても復号できなかった期間に基づいて第２の時間差を算出し、前記送信装置に送信する第２のデータ復号化ステップと、
前記第２のデータ復号化ステップにおいて算出された第２の時間差を、前記データ送信ステップにおける時間差に設定する時間差設定ステップと
を備えることを特徴とする伝送エラー訂正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データを伝送する技術に関する。特に、ノイズによる消失があっても、回復可能性の高いデータ伝送技術に関する。
【背景技術】
【０００２】
従来、動画像などの連続したデータ伝送時のエラーに対応するため、送信時にデータを複数のブロックに分割し、各ブロックに誤り訂正符号化処理を施して送信している。単独のブロックにエラーが発生した場合、受信側で復号時にそのブロックの周囲のブロックデータを用いてフレーム間の補間を行うことにより、送信したデータ、例えば、画像などを再生できる。
【０００３】
しかし、周期的なノイズにより、複数のブロックデータに渡って連続してエラーが発生するバースト性のエラーが発生した場合は、フレーム間の補間では再生できないことがある。
【０００４】
バースト性のエラーが発生するような環境においても、上記誤り訂正符号化処理とフレーム間補間により、対応可能なようにした技術がある（例えば、特許文献１参照。）。
【０００５】
特許文献１に開示されている技術は、フレーム画像を構成しているブロックデータ列に対して、誤り訂正符号化処理を施すブロックデータ例の並び方向と、伝送処理を施すブロックデータ列の並び方向とが異なるよう構成したものである。伝送されるブロックデータ列にバースト性のエラーが発生しても、並び替えられたエラー訂正処理を施すブロックデータ列には、連続したエラーとして発生しない。これにより、データ補間による再生が可能となる。
【０００６】
【特許文献１】特開平１０−２３４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示されている技術は、依然としてデータ補間により、エラーデータを復元している。補間による復元である限り、エラーの度合いによっては、復元できないことがある。また、エラー発生の原因であるノイズの度合いに係わらず、必ず符号化処理と送信時の並び方向の変換処理が行われ、処理量の調整ができない。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、周期的に所定期間ノイズが発生する環境で、確度の高いエラー訂正処理を実現することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、データを複製することにより多重化し、それぞれを時間差送信し、エラーが発生したデータを、多重化された他のデータ列のデータを用いて再生する。また、送信時の時間差は、使用環境のエラー発生期間に基づいて最適な時間差に調整する。
【００１０】
例えば、連続したデータ（以後、データ列と呼ぶ。）を送信するデータ送信装置と、
当該データ列を受信してエラー訂正を行うデータ受信装置と
を備えるデータ送受信システムにおける伝送エラー訂正方法であって、
入力されたデータ列を符号化するデータ符号化ステップと、
前記符号化されたデータ列を複製し、複数のデータ列を生成するデータ多重化ステップと、
前記多重化されたデータ列それぞれを予め定めた時間差を与えて送信するデータ送信ステップと、
前記時間差を与えられ送信されたデータ列を、それぞれ受信して保持するデータ受信ステップと、
前記データ列の一系列を用いて、受信したデータを復号し、伝送エラーによるデータの消失があった場合、当該データを他系列のデータを用いて復号することにより、エラー訂正を行うデータ復号化ステップと、
前記データ送信ステップにおける時間差を決定する時間差決定ステップと
を備え、
前記データ復号化ステップにおいて、前記データの一系列に伝送エラーによるデータの消失があった場合に、前記時間差決定ステップは、
時間差決定用のデータ列の入力を受け付け、当該データ列を符号化する第２のデータ符号化ステップと、
前記第２のデータ符号化ステップにおいて符号化されたデータ列を複製し、複数のデータ列を生成する第２のデータ多重化ステップと、
前記第２のデータ多重化ステップにおいて多重化されたデータ列それぞれに最小の時間差を与えて送信する第２のデータ送信ステップと、
前記第２のデータ送信ステップにおいて時間差を与えられて送信されたデータ列を、それぞれ受信する第２のデータ受信ステップと、
前記第２の受信ステップにおいて受信したデータ列の一系列を用いて、受信したデータを復号し、伝送エラーによるデータの消失があった場合に、当該データ以降を他系列のデータを用いて復号することによりエラー訂正を行い、他系列のデータを用いても復号できなかった場合に、他系列のデータを用いても復号できなかった期間に基づいて第２の時間差を算出し、前記送信装置に送信する第２のデータ復号化ステップと、
前記第２のデータ復号化ステップにおいて算出された第２の時間差を、前記データ送信ステップにおける時間差に設定する時間差設定ステップと
を備えることを特徴とする伝送エラー訂正方法を提供する。
【発明の効果】
【００１１】
周期的に所定期間ノイズが発生する環境で、確度の高いエラー訂正処理を、効率よく実現できる。
【発明を実施するための最良の形態】
【００１２】
以下に、本発明を適用した実施形態について、図を用いて説明する。
【００１３】
まず、本実施形態の動画像伝送システムについて概要を説明する。
【００１４】
図１は、本実施形態の動画像伝送システムのうち、双方向動画像伝送システムの概略図である。
【００１５】
本図に示すように、本実施形態の双方向動画像伝送システムは、動画像送受信装置１００ａ、１００ｂと、伝送路３００と、デジタルビデオ（ＤＶ）カメラなどの画像入力装置４００ａ、４００ｂと、マイクなどの音声入力装置５００ａ、５００ｂと、モニタなどの画像表示装置６００ａ、６００ｂと、スピーカなどの音声出力装置７００ａ、７００ｂとを備える。
【００１６】
動画像送受信装置１００ａは、画像入力装置４００ａおよび音声入力装置５００ａから順次入力される画像および音声データについて、圧縮、誤り訂正符号化処理を行った後、データを複製することにより二重化し、所定の時間差で伝送路３００に順次出力する。
【００１７】
動画像送受信装置１００ｂは、動画像送受信装置１００ａから送信された二重化されたデータを伝送路３００を介して順次受信し、エラー発生箇所、すなわち、ノイズによる消失分を補いながら、データ再構成、エラー訂正復号化および伸張処理を行い、画像表示装置６００ｂや音声出力装置７００ｂに出力する。
【００１８】
なお、動画像送受信装置１００ａ、１００ｂは、基本的に同じ構成を有するものであるが、本実施形態では、動画像送受信装置１００ａを送信側装置、動画像送受信装置１００ｂを受信側装置として用いるシステム構成を例にあげ、動作概要、処理フロー、処理シーケンス等を説明する。
【００１９】
また、伝送路３００としては、電話回線にデータ列を重畳するＤＳＬ（Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）や電灯線にデータ列を重畳するＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃａｒｒｉｅｒ）等を含む有線伝送方式一般、および、電波や光の信号をデータ列で変調する無線伝送方式一般が適用可能である。なお、本実施形態では、伝送路３００はｘＤＳＬ回線とする。
【００２０】
図２は、本実施形態の動画像の送受信およびデータ消失時のリカバリの概要を説明するための図である。
【００２１】
本実施形態では、データを二重化し、時間差を与えて送信することにより、一方のデータ列で消失したデータ分を他方のデータで補う。
【００２２】
送信側の動画像送受信装置１００ａは、図２（ａ）に示すように、１本のｘＤＳＬ回線（伝送路３００）に、時間差を与えて同じ動画像データ列を２本送信する。ここでは、仮に、Ａ列、Ｂ列とする。このとき、両データ列それぞれに、データ順序管理のため、フレームごとに、シーケンス番号を付与する。同じフレームには、同じシーケンス番号が付与される。
【００２３】
受信側の動画像送受信装置１００ｂは、受信したデータ列の一方を、デコードし、フレームの消失を検出した場合、他方のデータ列の該当するフレームからデコードを行う。このように、消失を検出するたびに、デコードするデータ列を交互に切り替え、デコードを行う。
【００２４】
図２（ｂ）に示す場合を例にあげ、データリカバリの方法を、具体的に説明する。図２（ｂ）に示すように、ノイズによる消失は、Ａ列、Ｂ列ともに、同時間にｘＤＳＬ回線である伝送路３００に存在したフレームに発生する。
【００２５】
受信側の動画像送受信装置１００ｂは、先に受信したデータ列であるＡ列のシーケンス番号を確認しながら、デコードを行う。そして、シーケンス番号が５番のフレームが、ノイズにより消失したことを検出すると、デコード対象をＢ列のデータに切り替え、Ｂ列のシーケンス番号が５番のフレームからデコードを開始する。次に、Ｂ列の９番のフレームのデータの消失を検出すると、再度デコード対象をＡ列に切り替え、Ａ列のシーケンス番号が９番のフレームからデコードを開始する。これを繰り返す。
【００２６】
なお、本実施形態では、上記のＢ列を送信するまでの時間差が、動画像送受信装置１００ａ、１００ｂを使用する環境で発生する周期的なバースト性のノイズに応じた時間差となるよう、最適化する。以後、この最適化処理をトレーニングと呼ぶ。また、動画像送受信装置１００ａ、１００ｂにおいて、トレーニング処理を行う状態をトレーニングモード、通常の動画像送受信および再生処理を行う処理状態を、通常モードと呼ぶ。本実施形態では、いずれのモードの処理状態であるかは、トレーニングモード時にトレーニングモードであることを示すフラグを立てることにより判断する。
【００２７】
次に、本実施形態のトレーニングの概要を説明する。
【００２８】
図３は、本実施形態のトレーニングの概要を説明するための図である。トレーニングモードへは、トレーニングの指示であるトレーニング開始要求を受けることにより移行する。トレーニングモードに移行すると、送信側の動画像送受信装置１００ａは、図３（ａ）に示すように、Ｂ列を送信する時間差として最小の１フレームに設定し、動画像の送信を開始する。
【００２９】
受信側の動画像送受信装置１００ｂは、受信したＡ列およびＢ列のデータを用いて、上記の手法で再構築を試みる。ここで、Ｂ列を時間差１フレームで送信した図３（ａ）に示す例では、Ａ列でフレーム５の消失を検出後、Ｂ列に切り替えて再構成を行うことになる。しかし、Ｂ列に切り替えた場合、次に抽出できるのは、フレーム番号が７のフレームである。従って、フレーム番号が５および６のフレームを再生することができない。受信側の動画像送受信装置１００ｂは、２フレーム再生不能であると判断する。
【００３０】
次に、受信側の動画像送受信装置１００ｂは、現在の時間差にさらに２フレーム分時間差を付加して送信するよう指示するトレーニングデータを生成し、送信側の動画像送受信装置１００ａに送信する。
【００３１】
送信側の動画像送受信装置１００ａは、時間差を２フレーム分付加する指示であるトレーニングデータを受け取ると、図３（ｂ）に示すように、現在１フレームの時間差で送信しているＢ列を、時間差３フレームとして、送信するよう制御する。この結果、送信側の動画像送受信装置１００ａは、時間差３フレームでの送信を開始し、受信側の動画像送受信装置１００ｂは、時間差３フレームでの送信を受信することとなる。受信側の動画像送受信装置１００ｂは、Ａ列のフレーム５の消失を検出してＢ列に切り替えた時、Ｂ列のフレーム５を抽出することができる。これにより、抜けるフレームはなくなり、全てのフレームを再生することができる。
【００３２】
次に、上記のようなデータ送信およびトレーニングを実現する、本実施形態の動画像送受信装置１００ａ、１００ｂについて、以下に説明する。
【００３３】
図４は、本実施形態に係る双方向動画像伝送システムのハードウェアブロック図である。
【００３４】
本図に示すように、本実施形態の動画像送受信装置１００ａ、１００ｂは、それぞれ、画像音声圧縮/伸張部１０５ａ、１０５ｂと、画像入力装置４００ａ、４００ｂから入力された画像を処理して画像音声圧縮/伸張部１０５ａ、１０５ｂに出力する画像入力部１０１ａ、１０１ｂと、音声入力装置５００ａ、５００ｂから入力された音声データを処理して画像音声圧縮/伸張部１０５ａ、１０５ｂに出力する音声入力部１０２ａ、１０２ｂと、画像音声圧縮/伸張部１０５ａ、１０５ｂにおいて処理された画像を画像表示装置６００ａ、６００ｂに出力する画像出力部１０３ａ、１０３ｂと、画像音声圧縮/伸張部１０５ａ、１０５ｂにおいて処理された音声を音声出力装置７００ａ、７００ｂに出力する音声出力部１０４ａ、１０４ｂと、動画像伝送受信装置１００ａ、１００ｂ全体の制御を行う主制御部１１０ａ、１１０ｂと、メモリ１１１ａ、１１１ｂと、画像音声圧縮/伸張部１０５ａ、１０５ｂと伝送路３００との間のインタフェースである、ｘＤＳＬインタフェース（Ｉ/Ｆ）部１１２ａ、１１２ｂとを、備える。
【００３５】
画像音声圧縮/伸張部１０５ａ、１０５ｂは、入力された画像および音声データに、圧縮、誤り訂正符号化処理、データ列の二重化処理等を施し、ｘＤＳＬ  Ｉ/Ｆ部１１２ａ、１１２ｂを介して伝送路３００に送信し、伝送路３００からｘＤＳＬ  Ｉ/Ｆ部１１２ａ、１１２ｂを介して受け取ったデータに対し、データ再構成、エラー訂正復号化および伸張処理を施し、出力する。
【００３６】
本実施形態の動画像送受信装置１００ａおよび１００ｂの機能ブロック図を図５に示す。
【００３７】
動画像送受信装置１００ａおよび１００ｂは、それぞれ同じ機能を備えるため、ここでは、動画像送受信装置１００ａを取り上げ、説明する。
【００３８】
本実施形態の動画像送受信装置１００ａは、画像データ二重化制御部１１、画像データ再構成制御部１２、送受信データ構成制御部１３、画像トレーニング設定制御部１４、画像トレーニング検出制御部１５、画像圧縮制御部１６、画像伸張制御部１７、アナログデジタル（Ａ/Ｄ）変換部１８、２０Ｂ、デジタルアナログ（Ｄ/Ａ）変換部１９、２０Ａ、画像入力制御部２１、画像出力制御部２２、ｘＤＳＬ入出力制御部２３とを備える。
【００３９】
画像入力制御部２１は、画像入力装置４００ａから順次入力される画像データを受け付け、Ａ/Ｄ変換部１８に送信する。
【００４０】
Ａ/Ｄ変換部１８は、アナログ信号である画像データをデジタル信号である画像データに変換し、画像圧縮制御部１６に送信する。
【００４１】
画像圧縮制御部１６は、デジタル化された画像データに、例えば、ＭＰＥＧなどの、圧縮処理を施す。
【００４２】
画像データ二重化制御部１１は、画像圧縮制御部１６からのデータにシーケンス番号を付与し、時間差でデータを二重に送信する。
【００４３】
送受信データ構成制御部１３は、送信する画像データをＩＰパケット化し、ｘＤＳＬ入出力制御部２３に送信する。また、ｘＤＳＬ入出力制御部２３から受信したＩＰパケットから画像データを取り出し、画像データ再構成制御部１２に送信する。
【００４４】
ｘＤＳＬ入出力制御部２３は、ＩＰパケットとｘＤＳＬパケットとの間の変換を行う。
【００４５】
Ｄ/Ａ変換部２０Ａ、Ａ/Ｄ変換部２０Ｂは、伝送路３００とｘＤＳＬ入出力制御部２３とのインタフェースで、それぞれ、ｘＤＳＬ入出力制御部２３から送信されたデジタルデータをアナログデータに変換し、伝送路３００に送信し、伝送路３００から受信したアナログデータをデジタルデータに変換し、ｘＤＳＬ入出力制御部２３に送信する。
【００４６】
画像データ再構成制御部１２は、伝送路３００、Ａ/Ｄ変換部２０Ｂ、ｘＤＳＬ入出力制御部２３、送受信データ構成制御部１３を介して、二重化されて送信された画像データを受信し、受信した画像データのシーケンス番号をチェックし、シーケンス番号順に並べ替え、画像伸張制御部１７および画像トレーニング検出制御部１５に送信する。
【００４７】
画像データ伸張制御部１７は、受信した画像データを復元し、Ｄ/Ａ変換部１９に送信する。
【００４８】
Ｄ/Ａ変換部１９は、デジタル信号である画像データをアナログ信号である画像データに変換し、画像出力制御部２２に送信する。
【００４９】
画像出力制御部２２は、画像表示装置６００ａに順次画像を出力する。
【００５０】
画像トレーニング検出制御部１５は、画像データ再構成制御部１２から受信したシーケンス順に並べ直された画像データのシーケンス番号をチェックし、ノイズによるデータ消失の数を検出する。そして、データ消失があった場合、データ消失の発生した回数および各発生時の消失データ数を記憶する。
【００５１】
そして、トレーニングモード時は、データ消失の発生が予め定められた回数以上となった場合、記憶した消失データ数の中の最大値から得られる時間差を、トレーニングデータとして、送受信データ構成制御部１３、ｘＤＳＬ入出力制御部２３、Ｄ/Ａ変換部２０Ａ、伝送路３００を介して、送信側の動画像送受信装置１００ａ、１００ｂに送信する。なお、このとき、画像トレーニング検出制御部１５は、新たに設定するよう指示をした時間差を、受信した画像データを再構成する画像データ再構成制御部１２にも、通知する。
【００５２】
一方、通常モード時は、データ消失の発生が予め定められた回数以上となった場合、トレーニング開始要求を送信側の動画像送受信装置１００ａ、１００ｂに送信する。
【００５３】
また、画像トレーニング検出制御部１５は、トレーニングデータまたはトレーニング開始要求を送信した際、記録していた回数と消失データ数とを消去する。
【００５４】
画像トレーニング設定制御部１４は、伝送路３００、Ａ/Ｄ変換部２０Ｂ、ｘＤＳＬ入出力制御部２３、送受信データ構成制御部１３を介して、受信側の動画像送受信装置１００ａ、１００ｂから送られてきたトレーニングデータまたはトレーニング開始要求を受け取り、二重化送信の時間差を調整し、調整結果を画像データ二重化制御部１１に送信する。
【００５５】
次に、動画像送受信装置１００ａから送信される、パケットのフレームフォーマットについて、説明する。
【００５６】
図６は、フレームフォーマットを説明するための図である。
【００５７】
本図に示すように、本実施形態のフレーム３３０は、イーサフレームであり、トランスポート層は、ＵＤＰプロトコルを選択する。本実施形態のフレームは、ＩＰヘッダ部３３０ａ、ＵＤＰヘッダ部３３０ｂ、ＭＰＥＧデータ部３３０ｃ、そのフレームのシーケンス番号を格納するシーケンス番号部３３０ｄ（４ｂｙｔｅ）、そのフレームがＡ列のものであるか、Ｂ列のものであるかを識別する情報を格納するデータ列識別部３３０ｅ（４ｂｙｔｅ）とを備える。
【００５８】
図７は、伝送路３００へのフレームの送信の様子を説明するための図である。
【００５９】
フレーム３３０は、上記の図２、図３では、並列に伝送路３００に送信されるイメージで記載しているが、実際は、図７に示すように、送信側の動画像送受信装置１００ａ、１００ｂから、Ａ列のフレームとＢ列のフレームとが交互に送信される。そして、受信側の動画像送受信装置１００ａ、１００ｂにおいて、上記のデータ列識別部３３０ｅを参照し、Ａ列、Ｂ列の何れのデータとして送信されたものであるかを識別する。
【００６０】
次に、本実施形態の動画像送受信装置１００ａ、１００ｂの、処理動作について、説明する。
【００６１】
図８は、画像入力装置４００ａから画像データが入力された場合の、本実施形態の動画像送受信装置１００ａの処理フローを示す。
【００６２】
画像入力制御部２１から画像が入力されると（ステップ４０１）、Ａ/Ｄ変換部１８は、その画像にＡ/Ｄ変換を施す（ステップ４０２）。そして、画像圧縮制御部１６は、デジタル化された画像データを圧縮処理し（ステップ４０３）、画像データ二重化制御部１１に送信する。
【００６３】
画像データ二重化制御部１１は、圧縮された画像データをフレーム化し、フレームごとにシーケンス番号部３３０ｄにシーケンス番号を格納することにより、シーケンス番号を付与する（ステップ４０４）。そして、データを複製し、データ列識別部３３０ｅにＡ列、Ｂ列を示す情報を格納することにより、それぞれＡ列、Ｂ列とし、二重化する（ステップ４０５）。その後、二重化した画像データを、送受信データ構成制御部１３に送信する。
【００６４】
送受信データ構成制御部１３は、受け取った画像データをＩＰパケット化し（ステップ４０６）、ｘＤＳＬ入出力制御部２３は、ＩＰパケットをｘＤＳＬパケットに変換し（ステップ４０７）、Ｄ/Ａ変換部２０Ｂは、パケット変換後のデジタル信号を、アナログ信号に変換し、伝送路３００に送信する（ステップ４０８）。
【００６５】
図９は、トレーニングデータを受信した場合の、動画像送受信装置１００ａの処理フローである。
【００６６】
Ａ/Ｄ変換部２０Ｂは、トレーニングデータを受信すると、デジタル信号に変換し（ステップ５０１）、変換されたデータに対し、ｘＤＳＬ入出力制御部２３は、ｘＤＳＬパケットからＩＰパケットに変換する（ステップ５０２）。そして、送受信データ構成制御部１３は、ｘＤＳＬ入出力制御部２３から、トレーニングデータのＩＰパケットを受信すると、画像トレーニング設定制御部１４に転送する（ステップ５０３）。画像トレーニング設定制御部１４は、トレーニングデータ内の指示に従って、データ列間の時間差の設定を変更し（ステップ５０４）、変更結果を画像データ二重化制御部１１に通知する。
【００６７】
なお、トレーニングデータの代わりに、トレーニング開始要求を受け取った場合も、上記と同様の処理を行う。ただし、この場合は、ステップ５０４において、データ列間の時間差を、最小（本実施形態では１フレーム分の時間）に設定する。
【００６８】
図１０は、伝送路３００から画像データを受信した場合の、動画像送受信装置１００ｂの処理フローである。
【００６９】
Ａ/Ｄ変換部２０Ｂは、画像データを受信すると、デジタル信号に変換し（ステップ６０１）、Ａ／Ｄ変換後のデジタル信号を、ｘＤＳＬ入出力制御部２３がＩＰパケット化する（ステップ６０２）。ＩＰパケット化されたデータを受け取った送受信データ構成制御部１３は、画像データ再構成制御部１２に送信する（ステップ６０３）。
【００７０】
画像データ再構成制御部１２は、各フレームのデータ列識別部３３０ｅと、シーケンス番号部３３０ｄとに格納された情報により、当該データが上記のＡ列のものであるか、Ｂ列のものであるかを判断し、現在処理対象として採用している列のフレームをシーケンス番号順に並べることを試みる（ステップ６０４）。
【００７１】
シーケンス番号の欠落、すなわち、データの消失を確認し（ステップ６０５）、データの消失がなければ（ステップ６０６）、シーケンス番号順に画像データのフレームを再構成を行う（ステップ６０８）。一方、シーケンス番号に欠落がある場合、すなわち、データの消失があった場合（ステップ６０６）は、処理対象を、現在処理対象としていない列に切り替え（ステップ６０７）、シーケンス番号順にフレームの再構成を行う（ステップ６０８）。
【００７２】
このとき、シーケンス番号順に連番でフレームの再構成に成功した場合（ステップ６０９）、再構成後のデータを画像伸張制御部１７へ出力する。
【００７３】
そして、画像伸張制御部１７は、受け取った画像データを伸張し（ステップ６１１）、Ｄ/Ａ変換処理部１９は、伸張後のデータをアナログ信号に変換し（ステップ６１２）、画像出力制御部２２を介して、画像表示装置６００ａに出力する（ステップ６１３）。
【００７４】
一方、上記のステップ６０９において、どちらの列に切り替えても、取得できないシーケンス番号のフレームがあった場合、すなわち、シーケンス番号順に連番でフレームを再構成できない場合、画像データ再構成制御部１２は、その旨（再構成不能）を画像トレーニング検出制御部１５に通知する。
【００７５】
通知を受けた画像トレーニング検出制御部１５は、画像データ再構成制御部１２において処理を行っていたフレームを調査し、フレームの消失数を検出する。そして、消失発生回数を記憶するカウンタ（回数カウンタ）を１増加させ、検出した消失数を記録する（ステップ６３１）。次に、画像トレーニング検出制御部１５は、回数カウンタ内に記録されている数が、予め定めた数以上であるか否かを判別する（ステップ６３２）。
【００７６】
予め定めた数より小さい場合、画像トレーニング検出制御部１５は、処理をステップ６１１へ進める。
【００７７】
一方、ステップ６３２において、予め定めた数以上である場合は、画像トレーニング検出制御部１５は、通常モードで処理を行っているか、トレーニングモードで処理を行っているか判別する（ステップ６３３）。
【００７８】
トレーニングモードでの処理が行われていると判断した場合、画像トレーニング検出制御部１５は、記録されている消失数の中で最大の数に基づいて両データ列間の最小限必要な時間差を算出する（ステップ６２１）。そして、算出結果を用いて、時間差の変更を指示するトレーニングデータを生成し、送受信データ構成制御部１３に送信する（ステップ６２２）。
【００７９】
受け取った送受信データ構成制御部１３は、受け取ったトレーニングデータをＩＰパケット化する（ステップ６２３）。ｘＤＳＬ入出力制御部２３は、ＩＰパケット化されたトレーニングデータをｘＤＳＬフォーマットにパケット変換する（ステップ６２４）。Ｄ/Ａ変換部２０Ａは、パケット変換後のデジタル信号をアナログ信号に変換し、伝送路３００に送信する（ステップ６２５）。
【００８０】
一方、ステップ６３３において、通常モードでの処理が行われていると判断した場合、画像トレーニング検出制御部１５は、トレーニング開始要求を生成し（ステップ６３４）、ステップ６２３へ進む。
【００８１】
次に、動画像送受信装置１００ａおよび１００ｂの間で動画像を送受信する場合において、通常モードとトレーニングモードとの間の切り替え手順について説明する。本実施形態では、上記トレーニングモードへの移行の指示は、動画像送受信装置の送信側装置起動時、および、動画像送信中に、再生不可能な状態が、予め定められた回数以上発生した場合（送信中エラー発生時）になされる。
【００８２】
図１１は、送信側の装置である動画像送受信装置１００ａが起動とともに、トレーニングモードに移行する場合のシーケンスである。ここで、受信側の装置である動画像送受信装置１００ｂは、通常モードで動作している。
【００８３】
動画像送受信装置１００ａから、動画像送受信装置１００ｂに向けて、トレーニング開始要求のパケットを送信する（ステップ７０１）。動画像送受信装置１００ｂは、それを受けて、トレーニング開始受付のパケットを送信し、応答する（ステップ７０２）。また、受信する動画像を構成する際に使用する時間差のデータを最小のもの（以後、時間差Ａと呼ぶ。）とするとともに、トレーニングモードに移行する。本実施形態では、最小の時間差は、送信する画像１フレームに相当する時間差である。
【００８４】
応答を受け取ると、動画像送受信装置１００ａは、Ａ列、Ｂ列を送信する時間差を、時間差Ａに設定し、画像データを動画像送受信装置１００ｂに送信する（ステップ７０３）。
【００８５】
動画像送受信装置１００ｂは、再構成が不能な状態が予め定められた回数以上発生したことを検出すると、発生した再構成が不能な状態のうち最も長時間分再構成が出来なかった場合を基に、新たに設定すべき時間差である最適時間差（以後、時間差Ｂと呼ぶ。）を決定する（ステップ７０４）。そして、時間差Ｂをトレーニングデータとして動画像送受信装置１００ａに通知する（ステップ７０５）。
【００８６】
動画像送受信装置１００ａは、トレーニングデータを受信すると、動画像の送信を停止し（ステップ７０６）、トレーニングデータを受信したことを示すトレーニング結果確認のパケットを動画像送受信装置１００ｂに送信する（ステップ７０７）。
【００８７】
トレーニング結果確認のパケットを受け取った動画像送受信装置１００ｂは、トレーニング結果確認のパケットの受信応答としてトレーニング完了通知のパケットを動画像送受信装置１００ａに送信し、自身の受信時の時間差を時間差Ｂに設定する（ステップ７０８）とともに、通常モードに移行する。
【００８８】
トレーニング完了通知のパケットを受信した動画像送受信装置１００ａは、時間差Ｂを、二重化送信時の時間差として設定し（ステップ７０９）、通常モードに移行し、時間差Ｂで、Ａ列、Ｂ列の動画像の送信を開始する（ステップ７１０）。
【００８９】
次に、送信中エラー発生時にトレーニングモードに移行する場合のシーケンスを、図１２を用いて説明する。
【００９０】
動画像送受信装置１００ａ、１００ｂともに、通常モードで動作し、動画像送受信装置１００ａから動画像送受信装置１００ｂに動画像が、時間差Ｂで送信されている（ステップ８０１）。時間差Ｂは、前回のトレーニング時に設定された時間差である。
【００９１】
動画像送受信装置１００ｂは、通常モードで処理中に再構成不能な状態（受信エラー）が、予め定められた回数以上となったことを検出すると、トレーニング開始要求のパケットを動画像送受信装置１００ａに送信する（ステップ８０２）。
【００９２】
トレーニング開始要求のパケットを受信した動画像送受信装置１００ａは、データ伝送を停止する（ステップ８０３）。そして、Ａ列、Ｂ列の動画像送信間の時間差を最小のもの（ここでは、１フレームの時間差；以後、時間差Ａと呼ぶ。）に設定し、トレーニングモードに移行し、トレーニング開始受付を動画像送受信装置１００ｂに送信する（ステップ８０４）。
【００９３】
動画像送受信装置１００ｂは、動画像を受信した場合に再構成に用いる時間差を時間差Ａに設定し（ステップ８０５）、トレーニングモードに移行し、トレーニング用の画像の受信を待つ。
【００９４】
動画像送受信装置１００ａは、動画像データの送信を開始する（ステップ８０６）。
【００９５】
動画像送受信装置１００ｂは、再構成が不能な状態が予め定められた回数以上発生したことを検出すると、発生した再構成が不能な状態のうち最も長時間分再構成が出来なかった場合を基に、新たに設定すべき時間差である最適時間差（以後、時間差Ｃと呼ぶ。）を決定する（ステップ８０７）。そして、時間差Ｃをトレーニングデータとして動画像送受信装置１００ａに通知する（ステップ８０８）。
【００９６】
動画像送受信装置１００ａは、トレーニングデータを受信すると、動画像の送信を停止し（ステップ８０９）、トレーニングデータを受信したことを示すトレーニング結果確認のパケットを動画像送受信装置１００ｂに送信する（ステップ８１０）。
【００９７】
トレーニング結果確認のパケットを受け取った動画像送受信装置１００ｂは、トレーニング結果確認のパケットの受信応答としてトレーニング完了通知のパケットを動画像送受信装置１００ａに送信し、自身の受信時の時間差を時間差Ｃに設定する（ステップ８１１）とともに、通常モードに移行する。
【００９８】
トレーニング完了通知のパケットを受信した動画像送受信装置１００ａは、時間差Ｃを、二重化送信時の時間差として設定し（ステップ８１２）、通常モードに移行し、時間差Ｃで、Ａ列、Ｂ列の動画像の送信を開始する（ステップ８１３）。
【００９９】
なお、上記においては、送信中エラー発生時にトレーニングモードに移行した際、最小の時間差である時間差Ａに設定後トレーニング処理を開始している。しかし、例えば、時間差を時間差Ｂに設定した状態のまま、トレーニング処理を行うよう構成してもよい。この場合、動画像送受信装置１００ｂは、時間差Ｂにおいて、再構成不能なフレーム数を算出し、最適時間差を算出する。
【０１００】
以上、本実施形態によれば、周期的に所定期間ノイズが発生する環境でのデータ伝送において、エラー訂正の確度を高めることができる。また、動画像送受信装置が設置された環境に応じた最適な処理量を実現することができる。
【０１０１】
例えば、エレベータ内部の様子を連続して撮影し、動画像として管理室のモニタに送信するような場合、エレベータの上下動に従って、周期的に所定期間ノイズが発生することがある。そして、個々のエレベータの設置環境は、異なるため、ノイズの発生周期、期間は個々のエレベータによって異なる。このような使用環境において、本実施形態の動画像送受信装置を用いたシステムは、最適な処理量でエラー訂正を実現することができる。
【０１０２】
なお、上記実施形態では、動画像送信機能と受信機能の両機能を兼ね備えた双方向動画像送受信装置である、動画像送受信装置１００ａ、１００ｂを、それぞれ、送信側装置、受信側装置として用いた場合を例にあげて説明したが、上記の実施形態は、送信機能のみ、受信機能のみを備える装置での実現も可能である。
【０１０３】
動画像送信機能のみを備える動画像送信装置１００ｃから、動画像受信機能のみを備える動画像受信装置１００ｄに向けて動画像を伝送する、片方向動画像伝送システムの概略図を図１３に示す。
【０１０４】
本図に示すように、本実施形態の片方向動画像伝送システムは、動画像送信装置１００ｃと、動画像受信装置１００ｄと、伝送路３００と、デジタルビデオ（ＤＶ）カメラなどの画像入力装置４００ｃと、マイクなどの音声入力装置５００ｃと、モニタなどの画像表示装置６００ｄ、スピーカなどの音声出力装置７００ｄとを備える。
【０１０５】
動画像送信装置１００ｃは、上述の動画像送受信装置１００ａ，１００ｂの、動画像送信機能のみを備える装置で、画像入力装置４００ｃおよび音声入力装置５００ｃから順次入力される画像および音声データについて、圧縮、誤り訂正符号化処理、データ列の二重化処理等を行った後、伝送路３００に順次送信する。
【０１０６】
動画像受信装置１００ｄは、上述の動画像送受信装置１００ａ，１００ｂの、動画像受信機能のみを備える装置で、動画像送信装置１００ｃから送信されたデータを、伝送路３００を介して順次受信し、データ再構成、エラー訂正復号化および伸張処理を行い、画像表示装置６００ｄや音声出力装置７００ｄに出力する。
【０１０７】
また、図１４に、片方向動画像伝送システムのハードウェアブロック図を示す。
【０１０８】
本図に示すように、動画送信装置１００ｃは、画像音声圧縮部１０５ｃと、画像入力装置４００ｃから入力された画像を処理して画像音声圧縮部１０５ｃに出力する画像入力部１０１ｃと、音声入力装置５００ｃから入力された音声データを処理して画像音声圧縮部１０５ｃに出力する音声入力部１０２ｃと、動画像送信装置１００ｃ全体の制御を行う主制御部１１０ｃと、メモリ１１１ｃと、画像音声圧縮部１０５ｃと伝送路３００との間のインタフェースである、ｘＤＳＬインタフェース（Ｉ/Ｆ）部１１２ｃとを、備える。
【０１０９】
また、動画像受信装置１００ｄは、画像音声伸張部１０５ｄと、画像音声伸張部１０５ｄにおいて処理された画像を画像表示装置６００ｄに出力する画像出力部１０３ｄと、画像音声伸張部１０５ｄにおいて処理された音声を音声出力装置７００ｄに出力する音声出力部１０４ｄと、動画像受信装置１００ｄ全体の制御を行う主制御部１１０ｄと、メモリ１１１ｄと、画像音声伸張部１０５ｄと伝送路３００との間のインタフェースである、ｘＤＳＬインタフェース（Ｉ/Ｆ）部１１２ｄとを、備える。
【０１１０】
以上の構成を備える動画像送信装置１００ｃおよび動画像受信装置１００ｄにおいて、上述の動画像送受信装置１００ａ、１００ｂによって説明した処理と同様の処理を行い、ノイズの発生周期、発生期間に応じて、適宜トレーニングを行い、二重化して送信する動画像の、送信時間差を最適に調整する。
【０１１１】
なお、上記の実施形態では、動画像および音声を送受信する場合を例に挙げて説明したが、送受信するデータは、これに限られない。静止画であっても、音声のみであっても、画像以外のデータであってもよい。
【０１１２】
また、上記の実施形態では、データを二重化して送受信する場合を例にあげて説明したが、送受信するデータの処理は、二重化に限られず、多重化が可能である。
【０１１３】
また、上記の実施形態では、ｘＤＳＬ回線を例に挙げて説明したが、回線はこれに限られない。例えば、有線または無線によるＬＡＮ回線でも可能である。
【図面の簡単な説明】
【０１１４】
【図１】図１は、本実施形態の双方向動画像伝送システムの概略図である。
【図２】図２は、本実施形態の動画像の送受信およびデータ消失時のリカバリの概要を説明するための図である。
【図３】図３は、本実施形態のトレーニングの概要を説明するための図である。
【図４】図４は、本実施形態に係る双方向動画像伝送システムのハードウェアブロック図である。
【図５】図５は、本実施形態の動画像送受信装置の機能ブロック図である。
【図６】図６は、本実施形態のフレームフォーマットを説明するための図である。
【図７】図７は、本実施形態のフレームの伝送路への送信の様子を説明するための図である。
【図８】図８は、本実施形態の動画像送受信装置の、画像データ入力時の処理フローである。
【図９】図９は、本実施形態の動画像送受信装置のトレーニングデータ受信時の処理フローである。
【図１０】図１０は、本実施形態の動画像送受信装置の伝送路からの画像データ受信時の処理フローである。
【図１１】図１１は、本実施形態の起動時のトレーニングモード移行のシーケンスである。
【図１２】図１２は、本実施形態の送信中エラー発生時のトレーニングモード移行のシーケンスである。
【図１３】図１３は、本実施形態の片方向動画像伝送システムの概略図である。
【図１４】図１４は、本実施形態の片方向動画像伝送システムのハードウェアブロック図である。
【符号の説明】
【０１１５】
１００ａ：動画像送受信装置、１００ｂ：動画像送受信装置、３００：伝送路、４００ａ：画像入力装置、４００ｂ：画像入力装置、５００ａ：音声入力装置、５００ｂ：音声入力装置、６００ａ：画像表示装置、６００ｂ：画像表示装置、７００ａ：音声出力装置、７００ｂ：音声出力装置、１０５ａ：画像音声圧縮/伸張部、１０５ｂ：画像音声圧縮/伸張部、１０１ａ：画像入力部、１０１ｂ：画像入力部、１０２ａ：音声入力部、１０２ｂ：音声入力部、１０３ａ：画像出力部、１０３ｂ：画像出力部、１０４ａ：音声出力部、１０４ｂ：音声出力部、１１０ａ：主制御部、１１０ｂ：主制御部、１１１ａ：メモリ、１１１ｂ：メモリ、１１２ａ：ｘＤＳＬインタフェース（Ｉ/Ｆ）部、１１２ｂ：ｘＤＳＬインタフェース（Ｉ/Ｆ）部、１１：画像データ二重化制御部、１２：画像データ再構成制御部、１３：送受信データ構成制御部、１４：画像トレーニング設定制御部、１５：画像トレーニング検出制御部、１６：画像圧縮制御部、１７：画像伸張制御部、１８：アナログデジタル（Ａ／Ｄ）変換部、１９：デジタルアナログ（Ｄ/Ａ）変換部、２０Ａ：デジタルアナログ（Ｄ/Ａ）変換部、２０Ｂ：アナログデジタル（Ａ/Ｄ）変換部、２１：画像入力制御部、２２：画像出力制御部、２３：ｘＤＳＬ入出力制御部
【図１】
0004714615.tif 000002
【図２】
0004714615.tif 000003
【図３】
0004714615.tif 000004
【図４】
0004714615.tif 000005
【図５】
0004714615.tif 000006
【図６】
0004714615.tif 000007
【図７】
0004714615.tif 000008
【図８】
0004714615.tif 000009
【図９】
0004714615.tif 000010
【図１０】
0004714615.tif 000011
【図１１】
0004714615.tif 000012
【図１２】
0004714615.tif 000013
【図１３】
0004714615.tif 000014
【図１４】
0004714615.tif 000015