(57)【特許請求の範囲】
【請求項１】
フレーム単位で時間軸方向に連続する動画像を表す画像データを、この画像データの情報量を圧縮して符号化し、伝送路を介してパケットとして伝送する画像伝送装置において、
伝送路を監視し、伝送される情報中に発生する伝送誤りを検出して、伝送路の品質を測定する品質監視手段と、
画像データを、フレーム内符号化方法およびフレーム間符号化方法に従って符号化可能であり、符号化方法を切換え可能な符号化手段と、
符号化手段によって符号化された画像データを、伝送が誤りなく行われるように確認しながら行うＴＣＰおよび伝送後の確認を行わないＵＤＰに従って伝送可能であり、伝送プロトコルを切換え可能な伝送手段と、
品質監視手段によって測定される伝送路の品質が予め定める品質基準よりも良好なとき、ＴＣＰで伝送するのは、フレーム内符号化方法で符号化されたフレームだけとし、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、フレーム内符号化方法で符号化されたフレームだけでなく、フレーム間符号化方法で符号化されたフレームも、ＴＣＰで伝送するように、伝送手段を制御する制御手段とを含むことを特徴とする画像伝送装置。
【請求項２】
前記制御手段は、前記品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも良好なとき、前記伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、前記伝送手段を制御することを特徴とする請求項１記載の画像伝送装置。
【請求項３】
前記制御手段は、前記品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、前記伝送路の品質が悪化するにつれて、フレーム間符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、前記伝送手段を制御することを特徴とする請求項１または２記載の画像伝送装置。
【請求項４】
前記制御手段は、前記品質監視手段によって測定される伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化するフレームの割合を増やすように、前記符号化手段を制御することを特徴とする請求項１〜３のいずれか１つに記載の画像伝送装置。
【請求項５】
前記制御手段は、前記品質監視手段によって測定される伝送路の品質が悪化するにつれて、パケットサイズを小さくするように、前記伝送手段を制御することを特徴とする請求項１〜４のいずれか１つに記載の画像伝送装置。
【請求項６】
前記品質監視手段によって測定される伝送路の品質に応じた伝送プロトコルの切換え制御を無効にするための無効入力手段をさらに含み、
前記制御手段は、無効入力手段に前記切換え制御を無効にする入力が行われると、前記伝送路の品質に応じた伝送プロトコルの切換え制御を行わないことを特徴とする請求項１〜５のいずれか１つに記載の画像伝送装置。
【請求項７】
請求項１〜６のいずれか１つに記載の画像伝送装置として、コンピュータを機能させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、伝送誤りを生じ得る伝送路を介して画像データを伝送する画像伝送装置に関する。
【０００２】
【従来の技術】
従来からの画像伝送装置の基本的な構成を図７に示す。従来の画像伝送装置では、まず符号化器１で画像データが符号化されて圧縮される。画像データは、情報量がかなり大きく、そのまま伝送するとかなりの伝送能力を有し、伝送速度を高めることが困難である。また伝送路として公衆電話回線などを使用するときには、伝送路の周波数帯域が限られていて不充分なことも多い。一方、画像データとして、特に動画像を伝送する必要があるときには、伝送速度が速いことも要求される。このため、画像データは符号化器１で情報量を圧縮する処理が行われる。
【０００３】
動画像の画像データでは、一般にフレームを単位として時間軸方向に変化する画像が順次的に形成されている。符号化器１で動画像の圧縮符号化を行う際には、連続した２枚のフレーム間の相関情報を用いて圧縮符号化を行うフレーム間符号化と、１枚のフレーム内の情報のみを用いて圧縮符号化を行うフレーム内符号化とがある。動画像の性質として、一般にフレーム間符号化の方がフレーム内符号化と比べて高い圧縮率を得ることができる。ただし、フレーム間符号化方法で符号化されるフレームを、受信側で正確に復号化するためには、符号化を行う際に参照される１つ前のフレームが受信側で正確に受信されている必要がある。一方、フレーム内符号化では、一般にフレーム間符号化ほど圧縮率は高くないけれども、復号の際に１つ前のフレームを参照する必要はなく、そのフレーム内の情報のみに基づいて復号化することができる。
【０００４】
図７の符号化器１で符号化される画像データは、伝送器２で伝送に適した大きさの情報量となるようにセグメント化し、ヘッダを付加してパケットと呼ばれる単位に整理した後、伝送プロトコルに従って伝送する。伝送プロトコルとして、後述するようなＵＤＰ（User Datagram Protocol）プロトコルを採用すると、ＵＤＰヘッダが付加されてＵＤＰパケットが形成され、伝送路を介して伝送される。
【０００５】
図８は、図７の伝送器２におけるセグメント化およびパケット化の過程を示す。セグメント化とは、あるデータを伝送する際に、データを伝送に適した大きさに分割することである。このセグメント化されたデータに、伝送に必要なヘッダを付加することをパケット化と呼び、図８では連続した画像データを符号化した画像符号化データの１つのフレームに対応するデータがｎ個のセグメントに分割され、さらにＵＤＰヘッダが付加されてＵＤＰパケット化されている。
【０００６】
図９は、図８に示すようにしてＵＤＰパケット化された１からｎ個のＵＤＰパケットを伝送する際の伝送手順を示す。ＵＤＰは、信頼性よりも高速伝送を重視している伝送プロトコルである。ＵＤＰパケットの伝送では、パケットを送るのみで他の処理をしないため、効率の良い伝送を行うことができる。しかしながら、伝送するパケットに誤りが生じた場合でも、パケットの再送は行われない。このようにＵＤＰは、信頼性はないけれども高速でデータの伝送を行うことができるという利点がある。したがって、動画像のデータのようなリアルタイム性が要求されるデータの伝送に向いており、従来方式の画像伝送装置では動画像データの伝送にＵＤＰを伝送プロトコルとして使用している。
【０００７】
図１０は、前述のＵＤＰとともに代表的な伝送プロトコルであるＴＣＰ（
Transmission Control Protocol）に従う伝送手順を示す。ＴＣＰは、信頼性の高い通信を可能にするため、受信側でパケットを受信するたびに、受信パケットに誤りがなければ肯定応答ＡＣＫ信号を送信側へ送り返す。送信側ではＡＣＫが送られてくるのを待って次のパケットを送信する。もし、受信側で受信パケットに誤りがあると判断するときには、否定応答であるＮＡＣＫ信号を送信側に送り返す。図１０では、２番目のＴＣＰパケットの最初の受信で受信パケットに誤りがあり、ＮＡＣＫ信号を返送している。送信側はＴＣＰパケット２を再送し、受信側からＡＣＫ信号が返送されるのを待って次のパケットの送信に移る。ＴＣＰパケット１からＴＣＰパケットｎのｎ個のパケットの伝送が終了するまでの間には、受信側でパケットが誤りなく受信されていることを確認する手順が繰返えされるので、ＴＣＰではデータの伝送の正確さは保証されるけれども、ＵＤＰよりデータの伝送に必要な手順が複雑になり、リアルタイム性が要求されるデータの伝送には比較的不向きとなる。
【０００８】
図１１は、特開平７−９９６６２（特願平５−２４１５２０）で開示されている動画像信号伝送の考え方を示す。この先行技術では、ステップＳ１１で符号化するフレームを取得し、ステップＳ１２で圧縮符号化を行った後に、ステップＳ１３で伝送対象となっている注目フレームを、後続するフレームの参照フレームとして用いるか否かを判断する。後続するフレームの参照フレームとして用いるときには、ステップＳ１４でＴＣＰの伝送プロトコルを用いて伝送する。ステップＳ１３で後続するフレームの参照フレームとして用いられないと判断されるときには、ステップＳ１５でＵＤＰプロトコルを用いて伝送する。ステップＳ１４またはステップＳ１５でフレームの伝送を行った後は、ステップＳ１１に戻り、さらに次のフレームを伝送対象として入力する。
【０００９】
この先行技術では、後続するフレームの参照フレームとはならないフレームを伝送する際に、ＵＤＰを用いる。ＵＤＰを伝送プロトコルとして用いて、画像の品質が劣化したとしても、その影響はそのフレームのみに止どまるので、高速な伝送が可能なＵＤＰを用い、伝送の高速化を図っている。後続するフレームの参照フレームとして用いるフレームについては、ＴＣＰで伝送することによって、後続するフレームへの品質悪化の影響をできるだけ抑制する。この先行技術は、図１１のような伝送プロトコルの使い分けによって、比較的リアルタイム性を維持しつつ、誤りに強い動画像データの伝送を行おうとしている。
【００１０】
図１２は、一連のフレームを順次伝送する場合に、図１１のステップＳ１２の圧縮符号化の段階で、後続するフレームが先行するフレームを参照フレームとして用いれるときにフレーム間符号化を行い、後続するフレームが先行するフレームを参照フレームとして用いれないときにフレーム内符号化を行うときの、画像データのシーケンスの例を示す。１，２，３，５，６，７，９のフレームは、後続する画像の参照フレームとなるので、ＴＣＰを用いて、品質の高い伝送を行う。また４および８のフレームは、後続するフレームがフレーム内符号化によって符号化されているため、後続フレームの参照フレームとはならない。このため、高速な伝送が可能なＵＤＰを伝送プロトコルとして用いて伝送する。
【００１１】
【発明が解決しようとする課題】
従来方式で動画像を伝送する場合に、ＵＤＰを伝送プロトコルとして用いて伝送を行っているけれども、ＵＤＰではデータの伝送が正確に行われることは保証されていないので、フレーム間符号化を用いて作成される符号化データの伝送を行う場合には、後続するフレームの参照データとなる画像の符号化データのパケットで伝送誤りが生じる場合に、後続するフレームを正確に復号することができなくなる欠点がある。
【００１２】
また、特開平７−９９６６２の先行技術では、伝送しようとするフレームが後続するフレームの参照フレームとして用いているか否かを判断基準として伝送方法を切換えている。このため、図１２に示すような順番でフレーム内符号化およびフレーム間符号化が施されている画像シーケンスを伝送する際には、データの伝送に使用する回線の品質に拘わらず、１，２，３，５，６，７，９のフレームがＴＣＰにより伝送され、４および８のフレームはＵＤＰを用いて伝送されることになる。
【００１３】
ここで、通信回線の品質が充分に良好な場合には、符号化されたデータをＵＤＰで伝送したとしても、データが誤る確率は低くなる。しかしながら、特開平７−９９６６２の先行技術のように、伝送手順の複雑なＴＣＰを用いて伝送するようにすると、受信側では伝送エラーの検出や検出結果に従う送信側への返答、送信側では受信側からの返答内容に従う判断などのためのオーバヘッドが大きくなり、状態の良い伝送路を用いても高速なデータ伝送を行うことができない。
【００１４】
本発明の目的は、伝送路の品質に応じて、伝送効率およびエラー耐性を高めることができる画像伝送装置を提供することである。
【００１５】
本発明は、フレーム単位で時間軸方向に連続する動画像を表す画像データを、この画像データの情報量を圧縮して符号化し、伝送路を介してパケットとして伝送する画像伝送装置において、
伝送路を監視し、伝送される情報中に発生する伝送誤りを検出して、伝送路の品質を測定する品質監視手段と、
画像データを、フレーム内符号化方法およびフレーム間符号化方法に従って符号化可能であり、符号化方法を切換え可能な符号化手段と、
符号化手段によって符号化された画像データを、伝送が誤りなく行われるように確認しながら行うＴＣＰおよび伝送後の確認を行わないＵＤＰに従って伝送可能であり、伝送プロトコルを切換え可能な伝送手段と、
品質監視手段によって測定される伝送路の品質が予め定める品質基準よりも良好なとき、ＴＣＰで伝送するのは、フレーム内符号化方法で符号化されたフレームだけとし、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、フレーム内符号化方法で符号化されたフレームだけでなく、フレーム間符号化方法で符号化されたフレームも、ＴＣＰで伝送するように、伝送手段を制御する制御手段とを含むことを特徴とする画像伝送装置である。
【００１６】
本発明に従えば、フレーム単位で時間軸方向に連続する動画像を表す画像データを、この画像データの情報量を圧縮して符号化し、伝送路を介してパケットとして伝送する。符号化手段は、画像データを、フレーム内符号化方法およびフレーム間符号化方法に従って符号化可能であり、符号化方法を切換え可能である。伝送手段は、符号化手段によって符号化された画像データを、伝送が誤りなく行われるように確認しながら行うＴＣＰおよび伝送後の確認を行わないＵＤＰに従って伝送可能であり、伝送プロトコルを切換え可能である。
品質監視手段は、伝送路を監視し、伝送されるパケット中に発生する伝送誤りを検出して伝送路の品質を測定する。制御手段は、品質監視手段によって測定される伝送路の品質が予め定める品質基準よりも良好なとき、ＴＣＰで伝送するのは、フレーム内符号化方法で符号化されたフレームだけとし、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、フレーム内符号化方法で符号化されたフレームだけでなく、フレーム間符号化方法で符号化されたフレームも、ＴＣＰで伝送するように、伝送手段を制御する。したがって伝送路の品質に応じて、伝送効率およびエラー耐性を高めることができる。
【００１７】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも良好なとき、前記伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、前記伝送手段を制御することを特徴とする。
【００１８】
本発明に従えば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも良好なとき、前記伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御する。これによって画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００１９】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、前記伝送路の品質が悪化するにつれて、フレーム間符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、前記伝送手段を制御することを特徴とする。
【００２０】
本発明に従えば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、前記伝送路の品質が悪化するにつれて、フレーム間符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御する。これによって画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００２１】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化するフレームの割合を増やすように、前記符号化手段を制御することを特徴とする。
【００２２】
本発明に従えば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化するフレームの割合を増やすように、制御手段によって符号化手段を制御する。これによって伝送路の品質が良好なときには、圧縮率を高めて伝送効率を高めることができ、また伝送路の品質が悪化しているときには、エラー耐性を高くすることができる。
【００２３】
また本発明で前記制御手段は、前記品質監視手段によって測定される伝送路の品質が悪化するにつれて、パケットサイズを小さくするように、前記伝送手段を制御することを特徴とする。
【００２４】
本発明に従えば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、パケットサイズを小さくするように、制御手段によって伝送手段を制御する。これによって伝送路の品質が良好なときには、パケットサイズを大きくして伝送効率を高めることができ、また伝送路の品質が悪化しているときには、パケットサイズを小さくして誤りが生じる可能性を少なくして確実な画像データの伝送を行うことができる。
【００２５】
また本発明で前記品質監視手段によって測定される伝送路の品質に応じた伝送プロトコルの切換え制御を無効にするための無効入力手段をさらに含み、
前記制御手段は、無効入力手段に前記切換え制御を無効にする入力が行われると、前記伝送路の品質に応じた伝送プロトコルの切換え制御を行わないことを特徴とする。
【００２６】
本発明に従えば、品質監視手段によって測定される伝送路の品質に応じた伝送プロトコルの切換え制御を無効にするための無効入力手段に、前記切換え制御を無効にする入力を行えば、制御手段は、前記伝送路の品質に応じた伝送プロトコルの切換え制御を行わない。したがって予め設定される伝送プロトコルで伝送を続けることができる。これによって従来方法との互換性を保つことができる。また前記伝送路の品質が時間的に変動する場合などで、前記切換え制御が頻繁に行われて、かえってオーバヘッドによる伝送効率の低下が生じる事態を避けることができる。
【００２７】
また本発明は、前記画像伝送装置として、コンピュータを機能させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
【００２８】
本発明に従えば、伝送路の品質に応じて伝送プロトコルを切換え、伝送効率が高くかつエラー耐性に優れる画像伝送装置を、コンピュータを用いて実現することができる。
【００３１】
【発明の実施の形態】
図１は、本発明の実施の一形態としての画像伝送装置１０の概略的な電気的構成を示す。画像伝送装置１０には、画像データの符号化を行う符号化部１１と、符号化部１１で符号化された符号化データをパケット化する伝送部１２とを含み、動画像の画像データを伝送路１５を介して連続的に伝送することができる。本実施形態の画像伝送装置１０は、伝送路１５の品質を監視するエラー監視部１６と、エラー監視部１６によって検出される伝送誤りに従って、符号化方法および伝送方法を制御する符号化・伝送制御部１７とをさらに含む。符号化・伝送制御部１７で符号化方法を切換える際には、符号化部１１内に設けられるフレーム内符号化手段２１と、フレーム間符号化手段２２とを切換える。符号化・伝送制御部１７が伝送方法の切換えを行う際には、伝送プロトコルの切換えを伝送部１２内に設けられるＵＤＰパケット化器３１およびＴＣＰパケット化器３２の選択で行い、また合わせてパケットサイズの切換えも行う。なお、ユーザ入力部４０では、符号化・伝送制御部１７の制御を無効にする操作を入力することもできる。また伝送路１５は、有線の専用回線や公衆電話回線、無線のＰＨＳ（Personal Handyphone System）回線などを使用することができる。
【００３２】
図１のエラー監視部１６では、伝送路１５から受信されるパケットのヘッダ情報に含まれるチェックサムを利用して、受信したパケットに誤りが発生しているか否かを検査する。正常に受信することができたパケットに含まれるデータの総ビット数をＮCORRECTとし、誤りがあったパケットに含まれているデータの総ビット数をＮERRORとし、これらを別個に加算しておく。次に誤りがあったパケットに含まれていたデータの総ビット数ＮERRORを、受信したパケットに含まれていたデータの総ビット数（ＮCORRECT＋ＮERROR）で除算することによって、誤り率を求め、その値を伝送路１５の回線としての品質の測定値とする。
【００３３】
符号化・伝送制御部１７では、エラー監視部１６から誤り率の測定値を取得し、予め設定される品質基準値である閾値と比較することによって、現在の誤り率に対して最適な符号化方法、伝送プロトコルおよびパケットサイズを求める。符号化・伝送制御部１７は、求められた符号化方法に切換えるために、符号化部１１に対して切換えを示す制御信号を与える。また符号化・伝送制御部１７は、伝送部１２に対して、決定された伝送プロトコルおよびパケットサイズに切換えるための制御信号を与える。
【００３４】
図２は、図１の符号化・伝送制御部１７での処理の流れを示す。ステップａ０から動作を開始し、ステップａ１では、エラー監視部１６から、伝送路１５の品質を表す回線品質に対応する誤り率を取得する。ステップａ２では、取得された回線品質に基づいて、何フレームに１回というように、フレーム内符号化を適用するフレーム数を算出する。ステップａ３では、ステップａ２で算出された間隔毎に符号化部１１に対してフレーム内符号化を行うような制御信号を与える。
【００３５】
図３は、誤り率とフレーム内符号化を適用するフレームの数との対応関係を示す。フレーム内符号化を施すと、データの圧縮率は低下するけれども、エラー耐性は大きくなるので、誤り率が大きく回線品質が悪化しているときにはフレーム内符号化の割合を大きくする。誤り率が低い場合には、図３（１）のようにフレーム内符号化を施すフレームの数を少なくし、フレーム間符号化を施すフレームの割合を増やして、伝送速度を高め、効率的な伝送が可能となるようにする。図３（２）から（３）にかけては、誤り率の増加に伴い、フレーム内符号化を適用するフレームの数を増やして、画像のリフレッシュを頻繁に行うことで、復元画像の劣化を防ぐ。
【００３６】
図２のステップａ１でフレーム内符号化を行った後、またはステップａ３でフレーム内符号化を行わない、すなわちフレーム間符号化のままとする制御を行った後は、ステップａ６に移る。ステップａ６では、ステップａ１で取得した誤り率と、予め設定される閾値とを比較することによって、どのフレームでＴＣＰを伝送プロトコルとして伝送するべきか算出し、ＴＣＰで伝送するフレームを決定する。ステップａ６では、現在伝送しようとするフレームは、ステップａ５で決定されたＴＣＰで伝送するフレームであるか否かを判断する。ＴＣＰで伝送するフレームであると判断されるときには、ステップａ７で伝送部１２に対してＴＣＰパケット化器３２を選択するような制御信号を与えて、伝送方法の指示を行う。ステップａ６で現在伝送しようとするフレームがＴＣＰで伝送するフレームではないと判断されるときには、伝送部１２に対する伝送方法の指示を行わず、伝送部１２ではＵＤＰパケット化器３１を選択したままの状態とする。
【００３７】
図４は、図３（１）に示すように符号化されている画像データを、誤り率に応じてＵＤＰのプロトコルに従って伝送するかＴＣＰのプロトコルに従って伝送するかを変化させる状態を示す。誤り率が充分に低い場合には、図４（１）に示すように、すべてのフレームの伝送にＵＤＰを伝送プロトコルとして使用する。誤り率が増加してくる際には、まずフレーム内符号化されたデータを伝送する際にＴＣＰの伝送プロトコルを使用するように、図４（２）や（３）に示すように、ＴＣＰの伝送プロトコルを用いて伝送するフレームを増やしていく。さらに誤り率が増加すると、フレーム間符号化のデータを伝送する際にも、ＴＣＰを用いるように、図４（４）から（５）に示すように、ＴＣＰを用いる割合を増やしていき、最終的には全てのフレームの伝送にＴＣＰを伝送プロトコルとして用いるような制御を行う。最終的には図４（６）に示すように、すべてのフレームの伝送にＴＣＰを伝送プロトコルとして用いるようになる。
【００３８】
図２のステップａ７で伝送方法をＴＣＰに切換えた後、またはステップａ６でＴＣＰへの切換えを行わずにＵＤＰで伝送すると判断された後は、ステップａ８に移り、ステップａ１で取得された誤り率に基づき、最適なパケット長を計算する。次にステップａ９で、伝送部１２に、ステップａ８で計算されたパケット長に基づいてパケットサイズを指示する。ステップａ１０では、伝送する画像データがさらに存在するか否かを判断する。さらに存在するときにはステップａ１に戻り、以上説明した手順を繰返す。伝送する画像がもう無いと判断されるときには、ステップａ１１で処理を終了する。
【００３９】
図１の符号化・伝送制御部１７では、以下に説明するような方法で符号化方法、伝送プロトコルおよびパケットサイズの決定を行う。符号化方法としては、符号化部１１が備えるフレーム内符号化手段２１によるフレーム内符号化と、フレーム間符号化手段２２によるフレーム間符号化とが選択可能である。符号化部１１では、通常はフレーム間符号化手段２２を用いてフレーム間符号化を行う。符号化・伝送制御部１７では、後述する第１式に基づいて、何フレーム毎にフレーム内符号化を適用するのかを決定し、フレーム内符号化手段２１に切換える指示を符号化部１１に対して与える。
【００４０】
図２のステップａ２で、フレーム内符号化を適用するフレームの数の算出は次のように行う。まず、先にフレーム内符号化が適用されてから、次にフレーム内符号化が適用されるまでのフレームの最大数をＮとする。このＮの値は、ユーザ入力部４０などを介して、ユーザによって任意の値に設定が可能であり、Ｎの値が小さいほど画質が重視され、大きいほど伝送効率が重視されることになる。ついで、実際にフレーム内符号化が適用されてから、次ぎにフレーム内符号化が適用されるまでのフレーム数をｎ（１≦ｎ≦Ｎ）とし、ｎ枚毎にフレーム内符号化を適用するための品質基準値として使用する誤り率の閾値をＴｈn とする。このとき、閾値Ｔｈn の値は、次の第１式によって定められる。
【００４１】
【数１】
0004176865.tif 000002
【００４２】
第１式で、ＥｒｒｏｒＲａｔｅは、伝送路１５として利用する通信回線の誤り率を表す。無線電波を図１の伝送路１５とする通信環境では、１０-3程度の誤り率はかなり悪いと考えられるため、この値が最大となるように、デフォルトでは１０-4に設定されるけれども、ユーザによって任意の値に設定可能とする。
【００４３】
ここで、Ｎの値を１０とすると、先にフレーム内符号化が適用されてから次にフレーム内符号化が適用されるまでのフレームの最大数は１０となり、実際にフレーム内符号化が適用されてから、次にフレーム内符号化が適用されるまでのフレーム数ｎは１から１０までの値とすることができる。また、誤り率の閾値Ｔｈの値は、Ｎ個（１０個）存在することになるので、Ｔｈ1からＴｈ10まで存在することになる。次の表１は、Ｎ＝１０のときに、上述の第１式を利用して算出するＴｈ1からＴｈ10までの値を示す。
【００４４】
【表１】
0004176865.tif 000003
【００４５】
表１に示す閾値Ｔｈ1からＴｈ10までの値と、誤り率とを比較し、Ｔｈn≦誤り率＜Ｔｈn-1となるｎを探し、そのｎフレーム毎にフレーム内符号化を適用する制御を符号化部１１に対して行う。このとき、ｎ＝１であれば、Ｔｈn-1はＴｈ0となるけれども、この時のＴｈ0はＴｈ0＝１とする。
【００４６】
図５は、フレーム内符号化を適用するフレームの決定のための処理の流れを示す。まずステップｂ０から処理を開始し、ステップｂ１では、エラー監視部１６から伝送路の品質を表す誤り率を取得する。次にステップｂ２で、フレーム内符号化が適用されてから、次にフレーム内符号化が適用されるまでのフレーム数としてのパラメータｎの初期値を１に設定する。ここで、ｎが１であるということは、各フレーム毎にフレーム内符号化が適用されていることを表す。すなわちフレーム間符号化は適用されないということでもある。
【００４７】
ステップｂ３では、表１の閾値Ｔｈn≦誤り率＜Ｔｈn-1の条件を満たすか否かの判定を行う。条件を満たされなかった場合には、ステップｂ４でパラメータｎの値に１を加え、条件が満たされるまでステップｂ３の判定を繰返す。ステップｂ３で条件が満たされると判定される場合は、ステップｂ５に移り、そのときのパラメータｎの値を、フレーム内符号化が適用されるまでのフレーム数として決定し、ｎ枚毎にフレーム内符号化を適用する。ステップｂ６で処理を終了する。
【００４８】
次に、図２のステップａ５で行う伝送方法の決定処理を説明する。伝送方法としては、ＵＤＰおよびＴＣＰの伝送プロトコルを伝送部１２で切換えることができる。伝送部１２では、通常はＵＤＰパケット化器３１を用い、符号化データの伝送を行う。符号化・伝送制御部１７からの制御信号で切換えの指示が行われる場合には、ＴＣＰパケット化器３２を用いて符号化データの伝送を行うように切換える。符号化・伝送制御部１７では、どのフレームをＴＣＰを用いて伝送するのかを、ステップａ２で、伝送路１５の誤り率を参照して決定しており、ＴＣＰを伝送プロトコルとして使用して符号化データの伝送を行う指示を、制御信号として伝送部１２に対して与える。このときに、誤り率が低ければフレーム内符号化で符号化されたフレームの伝送のみに、ＴＣＰを使用する。誤り率が高い場合には、フレーム間符号化で符号化されたフレームの伝送に対しても、ＴＣＰを使用する。
【００４９】
ＴＣＰを伝送プロトコルとして伝送するフレームは、次のような処理によって決定される。まず、フレーム間符号化で符号化されたフレームを伝送する際に、ＴＣＰを伝送プロトコルとして適用するか否かの判定用の閾値として利用する誤り率を、ＴｈINTERとする。このＴｈINTERは、デフォルトではＥｒｒｏｒＲａｔｅ／２に設定される。ユーザが、図１のユーザ入力部４０を用いて、任意の値に設定することも可能とする。ＴｈINTERの値は、大きく設定すると伝送効率が重視され、小さく設定すると画質が重視される。
【００５０】
誤り率との比較で、ＴｈINTER＞誤り率の場合には、フレーム内符号化で符号化されたフレームの伝送のみにＴＣＰを伝送プロトコルとして使用する。ＴｈINTER≦誤り率の場合には、フレーム内符号化で符号化されたフレームの伝送のみでなく、フレーム間符号化で符号化されたフレームの伝送に対してもＴＣＰを伝送プロトコルとして使用する。この場合は、フレーム内符号化で符号化されたフレームはすべてＴＣＰを伝送プロトコルとして伝送される。
【００５１】
ＴｈINTER＞誤り率の場合に、フレーム内符号化で符号化されたフレームの伝送にＴＣＰを使用するけれども、そのＴＣＰを伝送プロトコルとして適用するフレームの決定は次のようにして行う。まず、ＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送するフレーム内符号化フレームまでのフレーム内符号化フレームの最大数をＡとする。このＡの値は、図１のユーザ入力部４０を介してユーザから任意の値に設定することが可能である。次に、実際にＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム内符号化フレームの数をａ（１≦ａ≦Ａ）とし、ａ枚毎にＴＣＰを適用する際の閾値となる誤り率をＩＮＴＲＡaとする。このとき、ＩＮＴＲＡaは、次の第２式によって決定される。
【００５２】
【数２】
0004176865.tif 000004
【００５３】
ここで、Ａの値を５とすると、フレーム内符号化フレームがＴＣＰで伝送されてから、次にフレーム内符号化フレームがＴＣＰで伝送されるまでに最大５枚のフレーム内符号化フレームが存在することになる。実際にＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム内符号化フレームの数ａは１から５までの値を取ることができる。また、ＩＮＴＲＡaの値は、Ａ個（５個）存在することになるので、ＩＮＴＲＡ1からＩＮＴＲＡ5まで存在する。次の表２は、Ａ＝５のときに、上述の第２式を利用して算出するＩＮＴＲＡ1からＩＮＴＲＡ5までの値を示す。
【００５４】
【表２】
0004176865.tif 000005
【００５５】
図６は、以上述べた場合で、ＴＣＰを伝送プロトコルとして適用するフレームの決定を行う処理の流れを示す。ステップｃ０から処理を開始し、まずステップｃ１では、エラー監視部１６から誤り率を伝送路１５の品質を示すデータとして取得する。次にステップｃ２で、フレーム内符号化で符号化されたフレームのみにＴＣＰを適用するか、フレーム間符号化で符号化されたフレームの伝送に対してもＴＣＰを適用するかの判定を行う。このときフレーム内符号化で符号化されたフレームのみＴＣＰで伝送するためには、ＴｈINTER＞誤り率の条件が満たされる必要がある。
【００５６】
ステップｃ２で条件が満たされるときには、ステップｃ３に進み、ＴＣＰで伝送するフレーム内符号化のフレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム内符号化フレームの数を示すパラメータａの初期値を１とする。ここで、パラメータａが１であるということは、フレーム内符号化のフレームをすべてＴＣＰを使用して伝送することを意味する。次にステップｃ４で、ＩＮＴＲＡa≦誤り率＜ＩＮＴＲＡa-1の条件を満たしているか否かの判定を行う。条件が満たされない場合は、ステップｃ５でパラメータａの値に１を加え、条件が満たされるまでステップｃ４の判定を繰返す。ステップｃ４で条件が満たされる場合は、ステップｃ６でそのときのパラメータａの値を、ＴＣＰで伝送するフレーム内符号化フレームから、次にＴＣＰで伝送されるフレーム内符号化フレームまでのフレーム数として決定する。
【００５７】
次にステップｃ２の条件が満たされずに、ＴｈINTER≦誤り率の場合、フレーム内符号化で符号化されたフレームの伝送に対してだけでなく、フレーム間符号化で符号化されたフレームの伝送にもＴＣＰを使用する場合に、ＴＣＰの適用フレームの決定方法を説明する。ステップｃ２の条件が満たされないときには、ステップｃ７に進み、実際にＴＣＰで伝送するフレーム間符号化フレームの数をパラメータｂで表す。フレーム内符号化が適用されてから次にフレーム内符号化が適用されるまでのフレーム数をパラメータｎとする。次に、フレーム内符号化が適用されてから次のフレーム内符号化が適用されるまでのフレーム間符号化フレームの数をＢとすると、Ｂ＝ｎ−１となるので、符号化方法の決定処理でｎの値が決まるとＢの値も決まる。ついで、実際にＴＣＰで伝送するフレーム間符号化フレームのフレーム数ｂは１≦ｂ≦Ｂとなり、ｂ毎のフレーム間符号化を適用するための判定用の基準値として使用する誤り率をＩＮＴＥＲbとする。ＩＮＴＥＲbは、次の第３式によって決定される。
【００５８】
【数３】
0004176865.tif 000006
【００５９】
ここで、符号化方法の決定処理で、ｎの値が６に決定された場合を想定する。Ｂの値はｎ−１枚（５枚）に決まり、実際にＴＣＰで伝送するフレーム間符号化フレームのフレーム数ｂは１から５まで取ることができる。また、ＩＮＴＥＲbの値はＢ個（５個）存在することになるので、ＩＮＴＥＲ1からＩＮＴＥＲ5まで存在する。前述の表２の下半分には、第３式を利用して算出したＩＮＴＥＲ1からＩＮＴＥＲ5までの値を示している。この値と誤り率とを比較し、ＩＮＴＥＲb≦誤り率＜ＩＮＴＥＲb+1となるｂを探し、フレーム間符号化フレームを伝送する際にｂ枚のフレームの伝送にＴＣＰを使用する指示を伝送部１２に対して制御信号として与える。このとき、ｂ＝Ｂのときには、ＩＮＴＥＲb+1＝ＩＮＴＥＲB+1＝１とする。
【００６０】
図６では、上述したような場合におけるＴＣＰを適用するフレームの決定処理の流れも示している。ステップｃ２でＴｈINTER≦誤り率となると、ステップｃ７に進む。ステップｃ７では、実際にＴＣＰで伝送するフレーム間符号化フレーム数を示すパラメータｂの初期値を１とする。ここでパラメータｂが１であることは、フレーム内符号化フレームの次のフレーム内符号化フレームで挟まれるフレーム間符号化フレームのうち、一番前のフレームの符号化フレームに近いフレームのみをＴＣＰを伝送プロトコルとして伝送することを示す。
【００６１】
次にステップｃ８で、ＩＮＴＥＲb≦誤り率＜ＩＮＴＥＲb+1の条件を満たしているか否かの判定を行う。条件が満たされないときには、ステップｃ９でパラメータｂの値に１を加え、条件が満たされるまでステップｃ８の判定を繰返す。条件が満たされる場合は、ステップｃ１０で、そのときのパラメータｂの値を、実際にＴＣＰで伝送するフレーム間符号化フレーム数として決定する。この場合、一番前のフレーム内符号化フレームに近いフレームから、順次ＴＣＰで伝送される。
【００６２】
ステップｃ６またはステップｃ１０の処理が終了すると、ステップｃ１１に移り、全体的な決定処理も終了する。
【００６３】
次に図２のステップａ８でのパケット長の計算では、パケットサイズとして、エラー監視部１６で求められる誤り率の逆数に０．９の値を乗算した値としてパケットサイズを設定する。すなわち、誤りが１つ生じる可能性があるパケットサイズの９０％の大きさにパケット長を設定する。誤り率が小さいときには、大きなパケットサイズで画像データの伝送を行うことができ、伝送効率を高めることができる。誤り率が大きいときには、パケットサイズを小さくし、誤りが生じる可能性を少なくして確実な画像データの伝送を行う。
【００６４】
なお、図１のユーザ入力部４０への入力で、切換え無効指示も行うことができる。図１の符号化・伝送制御部１７は、ユーザ入力部４０から切換え無効を示す操作が入力されると、エラー監視部１６からの伝送誤り率のデータを一定値に固定する動作を行い、伝送路１５の品質が変動するようなときであっても、切換え制御を行わずに、オーバヘッドを避けて伝送効率を高めることができる。また、伝送路１５を介して画像データの伝送を行う相手側が、従来の方式で伝送を行う場合にも、切換え制御を無効にすることによって対応させることができる。
【００６５】
なお、画像伝送装置１０は、専用のハードウェアによって構成することもできるけれども、パーソナルコンピュータやワークステーション、あるいはＰＤＡなどの携帯用情報処理装置に、記録媒体に記録させたプログラムを読込ませて、コンピュータのプログラム動作としてその機能を実現させることもできる。
【００６６】
【発明の効果】
以上のように本発明によれば、品質監視手段によって測定される伝送路の品質が予め定める品質基準よりも良好なとき、ＴＣＰで伝送するのは、フレーム内符号化方法で符号化されたフレームだけとし、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、フレーム内符号化方法で符号化されたフレームだけでなく、フレーム間符号化方法で符号化されたフレームも、ＴＣＰで伝送するように、制御手段によって伝送手段を制御する。したがって伝送路の品質に応じて、伝送効率およびエラー耐性を高めることができる。
【００６７】
また本発明によれば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも良好なとき、前記伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御するので、画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００６８】
また本発明によれば、品質監視手段によって測定される伝送路の品質が前記予め定める品質基準よりも悪化しているとき、前記伝送路の品質が悪化するにつれて、フレーム間符号化方法で符号化されたフレームのうちで、ＴＣＰで伝送するフレームの割合を増やすように、制御手段によって伝送手段を制御するので、画像データの品質の低下させることなく、できるだけ高い伝送効率で、画像データを伝送することができる。
【００６９】
また本発明によれば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、フレーム内符号化方法で符号化するフレームの割合を増やすように、制御手段によって符号化手段を制御する。これによって伝送路の品質が良好なときには、圧縮率を高めて伝送効率を高めることができ、また伝送路の品質が悪化しているときには、エラー耐性を高くすることができる。
【００７０】
また本発明によれば、品質監視手段によって測定される伝送路の品質が悪化するにつれて、パケットサイズを小さくするように、制御手段によって伝送手段を制御する。これによって伝送路の品質が良好なときには、パケットサイズを大きくして伝送効率を高めることができ、また伝送路の品質が悪化しているときには、パケットサイズを小さくして誤りが生じる可能性を少なくして確実な画像データの伝送を行うことができる。
【００７１】
また本発明によれば、品質監視手段によって測定される伝送路の品質に応じた伝送プロトコルの切換え制御を無効にするための無効入力手段に、前記切換え制御を無効にする入力を行うことによって、従来方法との互換性を保ったり、伝送路の品質が時間的に変動する場合のオーバヘッドによる伝送効率の低下を避けたりすることができる。
【００７２】
また本発明によれば、伝送路の品質に応じて伝送プロトコルを切換え、伝送効率が高くかつエラー耐性に優れる画像伝送装置を、コンピュータを用いて実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像伝送装置１０の概略的な電気的構成を示すブロック図である。
【図２】図１の符号化・伝送制御部１７の処理の流れを示すフローチャートである。
【図３】図１の伝送路１５の品質に応じてフレーム内符号化とフレーム間符号化との割合を変える状態を示す図である。
【図４】図１の伝送路１５の品質に応じてＵＤＰおよびＴＣＰを伝送プロトコルとして切換え状態を示す図である。
【図５】図２のステップａ２でフレーム内符号化を適用するフレーム数を算出する処理の流れを示すフローチャートである。
【図６】図２のステップａ５でＴＣＰで伝送するフレームを決定す処理の流れを示すフローチャートである。
【図７】従来からの基本的な画像で転送装置の基本的な電気的構成を示すブロック図である。
【図８】図１の伝送器２でＵＤＰパケットが形成される状態を示す図である。
【図９】図７の伝送器２からＵＤＰパケットが送信される手順を示す図である。
【図１０】従来からのＴＣＰパケットの送信手順を示す図である。
【図１１】先行技術の動画像データの伝送処理の流れを示すフローチャートである。
【図１２】図１１の手順によって伝送される画像シーケンスの例を示す図である。
【符号の説明】
１０  画像伝送装置
１１  符号化部
１２  伝送部
１５  伝送路
１６  エラー監視部
１７  符号化・伝送制御部
２１  フレーム内符号化手段
２２  フレーム間符号化手段
３１  ＵＤＰパケット化器
３２  ＴＣＰパケット化器
４０  ユーザ入力部
【図１】
0004176865.tif 000007
【図２】
0004176865.tif 000008
【図３】
0004176865.tif 000009
【図４】
0004176865.tif 000010
【図５】
0004176865.tif 000011
【図６】
0004176865.tif 000012
【図７】
0004176865.tif 000013
【図８】
0004176865.tif 000014
【図９】
0004176865.tif 000015
【図１０】
0004176865.tif 000016
【図１１】
0004176865.tif 000017
【図１２】
0004176865.tif 000018