(57)【特許請求の範囲】
【請求項１】
動画像を送信する画像送信装置であって、
前記動画像を送信する送信手段と、
前記動画像を受信する画像受信装置からの要求情報を受信した場合において、前記動画像の中の特定の画像であり、かつ、前記画像受信装置が保持している画像を前記画像受信装置側で高精細な静止画像にするのに必要な高精細情報と、前記高精細な静止画像の色空間特性に関する情報とを前記画像受信装置に送信するように制御する制御手段とを有することを特徴とする画像送信装置。
【請求項２】
前記送信手段は、前記動画像を第１の転送方式によって送信し、前記高精細情報を第２の転送方式によって送信することを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記送信手段は、前記動画像をＩｓｏｃｈｒｏｎｏｕｓ転送方式によって送信し、前記高精細情報をＡｓｙｎｃｈｒｏｎｏｕｓ転送方式によって送信することを特徴とする請求項１又は２に記載の画像送信装置。
【請求項４】
前記高精細情報は、前記高精細な静止画像と前記特定の画像との差分から生成された情報であることを特徴とする請求項１から３のいずれかに記載の画像送信装置。
【請求項５】
動画像を送信する画像送信装置を制御する制御方法であって、
前記動画像を送信するステップと、
前記動画像を受信する画像受信装置からの要求情報を受信した場合において、前記動画像の中の特定の画像であり、かつ、前記画像受信装置が保持している画像を前記画像受信装置側で高精細な静止画像にするのに必要な高精細情報と、前記高精細な静止画像の色空間特性に関する情報とを前記画像受信装置に送信するように制御するステップとを有することを特徴とする制御方法。
【請求項６】
前記動画像を第１の転送方式によって送信し、前記高精細情報を第２の転送方式によって送信することを特徴とする請求項５に記載の制御方法。
【請求項７】
前記動画像をＩｓｏｃｈｒｏｎｏｕｓ転送方式によって送信し、前記高精細情報をＡｓｙｎｃｈｒｏｎｏｕｓ転送方式によって送信することを特徴とする請求項５又は６に記載の制御方法。
【請求項８】
前記高精細情報は、前記高精細な静止画像と前記特定の画像との差分から生成された情報であることを特徴とする請求項５から７のいずれかに記載の制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を送信する画像送信装置及び当該画像送信装置を制御する制御方法に関する。
【０００２】
【従来の技術】
近年、ＪＰＥＧ、ＭＰＥＧを筆頭とするディジタル画像符号化技術の発展により、画像データを圧縮符号化しディジタル伝送する方式が確立され、ディジタルＴＶ放送やインターネットを通じた動画像配信などのサービスが実現しはじめている。このような通信による画像伝送においては、伝送帯域が限られていることにより、受信ニーズに見あった画像として、必要最小限の解像度のデータを伝送することが一般的である。一方、一般家庭へのパーソナルコンピュータ及び高解像度カラープリンタの普及により、高精細な画像データをコンピュータに取り込み、プリントアウトするというニーズも増加している。
【０００３】
【発明が解決しようとする課題】
また、従来、ＴＶ放送に代表される動画像配信と、高精細な静止画の伝送は全く別のシステムで実現されていたため、配信された動画像から希望の画像フレームを取り出した場合、動画像伝送で規定されている解像度の画像が得られるだけであり、前述の理由からそれは高精細な静止画データとしてのプリントアウトに見合うだけの解像度とは言えなかった。これを両立させるため、動画像伝送自体をプリントに見合う高精細な静止画を満足させる規格で行なう方式も考えれらる。しかしながら、動画像配信の全てのサービスが再生動画像の解像度として高精細な規格を要求するわけではなく、又、高精細規格による動画像伝送には、より多くの伝送帯域を必要とするため、多チャンネル化を推進する一般の動画像配信について、高精細な静止画像の伝送を両立することは難しかった。
【０００４】
そこで、本発明は、少ない伝送帯域で高精細な静止画像の伝送と動画像の伝送とを両立することができる画像送信装置及び制御方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る画像送信装置は、例えば、動画像を送信する画像送信装置であって、前記動画像を送信する送信手段と、前記動画像を受信する画像受信装置からの要求情報を受信した場合において、前記動画像の中の特定の画像であり、かつ、前記画像受信装置が保持している画像を前記画像受信装置側で高精細な静止画像にするのに必要な高精細情報と、前記高精細な静止画像の色空間特性に関する情報とを前記画像受信装置に送信するように制御する制御手段とを有することを特徴とする。
また、本発明に係る制御方法は、例えば、動画像を送信する画像送信装置を制御する制御方法であって、前記動画像を送信するステップと、前記動画像を受信する画像受信装置からの要求情報を受信した場合において、前記動画像の中の特定の画像であり、かつ、前記画像受信装置が保持している画像を前記画像受信装置側で高精細な静止画像にするのに必要な高精細情報と、前記高精細な静止画像の色空間特性に関する情報とを前記画像受信装置に送信するように制御するステップとを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の一実施例について、図面を参照して説明する。図１は本実施例の動画像伝送方法を適用した、動画像伝送システムの例を示す図である。はじめに基本となる動画像データの伝送について説明する。記録媒体１０１に記録されている圧縮符号化された動画像データは、動画データ送出回路１０２によって記録媒体から読み出され、データ送受信回路１０３において、伝送路送出の為のパケット化、同期付加、伝送路符号化などの処理が行なわれた後、送信側出力端子１０４より伝送路へ送出される。伝送路上でのデータ送信方法にはＳｙｎｃｈｒｏｎｏｕｓ（同期）転送、Ｉｓｏｃｈｒｏｎｏｕｓ（等時）転送、Ａｓｙｎｃｈｒｏｎｏｕｓ（非同期）転送などの方式が伝送路によって定められている。
【００１１】
図２にＩｓｏｃｈｒｏｎｏｕｓ転送により、前記動画像データを伝送する例を示す。図２（ａ）に示されるように、動画像送信ノードＡから動画像受信ノードＢに対して、動画像データがあらかじめ動画像伝送用に割り当てられた所定のＩｓｏｃｈｒｏｎｏｕｓチャネルを用いて送信される。図２（ｂ）はＩｓｏｃｈｒｏｎｏｕｓ転送サイクルに対し、動画像データがＩｓｏｃｈｒｏｎｏｕｓ転送パケットとして送出される例を示す図である。ここで示されるように、Ｉｓｏｃｈｒｏｎｏｕｓ転送は、一定周期の転送サイクル毎に所定量のデータを送出できるよう、Ｉｓｏｃｈｒｏｎｏｕｓチャネル割り当ての際に伝送帯域を割り当てられているため、動画像のように、とぎれることなく常に同じ伝送レートでデータを送信したい場合に有効である。
【００１２】
図１に示す伝送路Ｔを用いて送信された動画像データは、受信側の入力端子１０５に入力され、データ送受信回路１０６によって伝送路復号化、同期除去、伝送パケットからのデータ抽出などの受信処理が行なわれたのち、動画像データは動画像データ再生回路１０７送出され、かかる回路１０７において、画像／音声分離、画像伸長復号化、音声伸長復号化処理がおこなわれ、動画像は端子１０８から、音声は端子１０９から出力される。
【００１３】
次に本実施例の高精細画像再生動作について説明する。受信側での前記動画像再生中、例えばユーザーによる再生動画像中の特定の画像フレームに対する高精細情報の要求が端子１１０に入力される。尚かかる入力はユーザーからのマニュアル入力であってもよいし、又、プリント等の指示であってもよい。高精細情報リクエスト発生回路１１１はこの要求入力によって、動画データ再生回路１０７で復号処理されているところの動画像データのうち、要求入力があった時点で再生されていた画像フレームの復号に必要なデータブロックを保持するための処理を行う。具体的にはスイッチから構成されるメモリ書き込み制御回路１１２のスイッチをオフに制御することによって新たな動画像データがバッファメモリ１１３に書き込まれることを防止し、これにより該回路１１２のスイッチをオフする以前の画像フレームの信号に必要なデータブロックがメモリ１１３に保持されるようにする。
【００１４】
動画データ再生回路１０７での再生処理に時間がかかり、再生表示中の画像フレームと該回路１０７からバッファメモリ１１３に書き込まれるデータブロックとの間に時間的なずれを生じる場合は、１１３の記憶容量を動画データ再生回路１０７での遅延時間を吸収できるような大きさに設定し、リングバッファ形式を取ることによって要求入力時にバッファメモリ１１３に保持されるデータブロックと、その時点の再生画像との時間的ずれを小さくすることができる。
【００１５】
フレームＩＤ検出回路１１４はバッファメモリ１１３からに記憶されているデータブロックを読みだし、画像データに付加されているフレーム識別ＩＤを検出する。フレーム識別ＩＤは動画像中の各フレームから高精細情報の要求が与えられた時点で再生されたフレーム、即ち要求フレームを識別できるデータであればよく、動画像の先頭からのフレーム番号や、或いはビデオデータに付加されるＴｉｍｅ  Ｃｏｄｅデータなどであればよい。
【００１６】
高精細情報リクエスト発生回路１１１は、このフレーム識別ＩＤを含んだ高精細情報リクエストを、データ送受信回路１０６を通じて伝送路Ｔに送出することにより、動画データの送信元側に要求されたフレームを通知する。
【００１７】
図２に１３９４規格のＡｓｙｃｈｒｏｎｏｕｓ転送により、前述した高精細情報リクエストを動画データの送信元へ伝送する例を示す。図２（ａ）に示されるように、動画像受信ノードＢから動画像送信ノードＡに対して、高精細情報リクエストが送信される。図２（ｂ）にＩｓｏｃｈｒｏｎｏｕｓ転送サイクルに対し、高精細情報リクエストがＡｓｙｎｃｈｒｏｎｏｕｓ転送パケットとして送出される例を示す。Ａｓｙｎｃｈｒｏｎｏｕｓ転送はＩｓｏｃｈｒｏｎｏｕｓ転送とは異なり伝送完了までの時間（速度）が保証されてはいないが、予め決められているＩｓｏｃｈｒｏｎｏｕｓ転送サイクルの空き時間を使って伝送されるのでＩｓｏｃｈｒｏｎｏｕｓ転送の伝送帯域を占有せず、高精細情報リクエストのように間欠的なデータパケットを伝送する場合に有効である。
【００１８】
図１の動画像送信側のデータ送受信回路１０３は、受信した高精細情報リクエストを高精細情報送出回路１１５に出力する。１１５は高精細情報リクエストに含まれるフレーム識別ＩＤを高精細情報検索回路１１６に通知し、対応する画像フレームの高精細情報の検索を指示する。
【００１９】
高精細情報検索回路１１６はフレーム識別ＩＤにしたがって記録媒体１０１を検索することにより、該フレーム識別ＩＤ情報に対応する画像フレームの高精細情報を読みだし、バッファメモリ１１７に蓄える。尚かかる検索が行えなかった場合の代替処理のために該検索の成否を１１５に通知する。フレーム識別ＩＤによる目的フレームの検索方法は、例えばフレーム識別ＩＤとして動画像先頭フレームからのフレーム枚数の情報を用いている場合は、記録媒体１０１に格納されている高精細情報を含む画像情報を先頭フレームからフレーム識別ＩＤで指定された枚数までフレームをカウントしていくことなどで実現できる。また記録媒体１０１への高精細情報記録の際に、フレーム識別ＩＤに対応した検索情報をフレーム毎に付加して記録したり、フレーム識別ＩＤに対応するフレームの高精細情報が該記録媒体１０１上のどこに記録されるかを示すインデックス情報などを記録しておくことにより、さらに高速に検索することもできる。例えばスタジオ放送規格、或いは他の規格のビデオ信号で使われるＴｉｍｅ  Ｃｏｄｅ情報を伝送すべき動画像データに含まれるＴｉｍｅＣｏｄｅ情報と一致させて高精細情報のフレーム毎に付加しておき、フレーム識別ＩＤ情報としてこのＴｉｍｅ  Ｃｏｄｅ情報を用いることによって検索することも可能である。
【００２０】
高精細情報送出回路１１５は通知された検索の成否を高精細情報レスポンスとしてデータ送受信回路１０３を通じて受信側に送信したのち、検索が成功した場合は、バッファメモリ１１７に蓄えれらた高精細情報を１０３を通じて受信側に送信する。
【００２１】
図２を用いてＡｓｙｎｃｈｒｏｎｏｕｓ転送により、高精細情報レスポンスおよび、高精細情報を伝送する例を説明する。図２（ａ）に示されるように、動画像送信ノードＡから動画像受信ノードＢに対して、前述の高精細情報レスポンスとして検索が成功したことを示す情報が送信されたのち、高精細情報がその情報量に応じた複数のＡｓｙｎｃｈｒｏｎｏｕｓ転送パケットに分割され送信される。図２（ｂ）にＩｓｏｃｈｒｏｎｏｕｓ転送サイクルに対し、高精細情報レスポンスおよび高精細情報がＡｓｙｎｃｈｒｏｎｏｕｓ転送パケットとして送出される例を示す。高精細情報は動画像データと同様にＩｓｏｃｈｒｏｎｏｕｓ転送で伝送することも可能であるが、一般に高精細静止画像の用途では受信側で動画像のような即時性を要求されないことが多く、こういった場合、図２に示される様にＡｓｙｎｃｈｒｏｎｏｕｓ転送を用いて複数のパケットに分割して伝送する方式のほうが伝送路の帯域を有効に活用できる。
【００２２】
図１の受信側では、このようにして送信された高精細情報を１０６によって受信し、高精細画像再生回路１１８に供給する。１１８ではバッファメモリ１１３から保持された動画像データブロックを読みだし、受信した高精細情報と合わせて伸長復号化処理することにより、１０８に出力された動画像よりも高精細な画像フレームを再生し、端子１１９から出力する。
【００２３】
図２ではＩｓｏｃｈｒｏｎｏｕｓ転送とＡｓｙｎｃｈｒｏｎｏｕｓ転送の両転送モードを備えた伝送媒体を例として説明したが、本発明の動画像伝送方式における動画データ伝送と高精細情報伝送は他の転送方式によって実行されてもよい。また、動画データ伝送と高精細情報伝送が異なる伝送媒体を通じてなされてもかまわない。
【００２４】
以下、本実施例で扱うところの、基本となる動画像データと、対応する高精細情報の構成例を複数通り図面を用いて説明する。
【００２５】
図３はＭＰＥＧ−１、２やＪＰＥＧなどで用いられている直交変換符号化方式において動画像データと、対応する高精細情報を構成する例である。図３（ａ）は直交変換係数のうちの、低い空間周波数成分に相当するところの直交変換係数データのみを用いて圧縮符号化を行なうことにより動画像データを構成し、それ以外の係数データを圧縮符号化したものを高精細情報とする例である。受信側での動画像再生においては、伝送されない高空間周波成分の係数を０として直交逆変換を行ない動画像を再生する方式や、伝送された係数データのみからなる小さなブロックサイズの直交逆変換を行ない、縮小されたサイズで動画像を再生する方式などが適用できる。図３（ｂ）はさらに動画像データを制限した例で、動画像データとしてブロック内平均値に相当するＤＣ（直流）係数のみを伝送し、それ以外の係数は高精細情報として伝送する。
【００２６】
直交変換符号化に代表される空間周波数領域での符号化においては、非可逆圧縮による情報の欠損を高周波成分に集中し、再生画像の劣化を画像の高精細成分の減少にふりむける特性を持たせることが一般的である。こういった符号化においては、符号化画像の局部復号化画像と原画像の差が符号化によって欠落した高精細成分に相当するため、図４に示すようにこの差分データを圧縮符号化し高精細情報として本発明の動画像伝送方式により伝送することも可能である。また所定周期に間引かれたフレーム内符号化データと動き情報を伝送し、伝送されないフレームは受信側での動き補償予測によって再生するような動画像符号化方式においては、送信側での動き補償予測と原画像との差分である動き補償予測誤差データを圧縮符号化して高精細情報とすることも考えられる。
【００２７】
尚、図４において、２０１は前述した直交変換符号化を行う直交変換符号化回路、２０３は２０１により符号化された符号を復号する直交変換復号化回路、２０５は回路２０１、２０３の符号化、復号化の処理のために必要な時間に相当する時間分、入力される動画像データを遅延させるためのバッファメモリ、２０９は復号化回路２０３とバッファメモリ２０５の出力の差を得るための差分器、２０７はかかる差分器２０９の出力を圧縮符号化する圧縮符号化器である。
【００２８】
次に高精細情報の構成例を別の図を用いて説明する。
【００２９】
図５は原信号であるところの順次走査動画像から飛び越し走査変換によって、伝送用の動画像データを生成するようなシステムにおいて、飛び越し走査変換時に使われない逆フィールドの走査線から高精細情報を構成する例である。動画像伝送には、動きの滑らかさをそこなわず、かつ順次走査に比べて情報量が少ない飛び越し走査を用いることが多いが、かかる飛び越し走査ではひとつのフレームが時間差のある２つのフィールドの走査線から成る。したがって動きのある画面においてぶれの無い静止画面を得ようとすると片側フィールドのデータしか用いることができず、垂直解像度が１／２となってしまう。この場合、飛び越し走査変換時に使われなかった逆フィールドの走査線から高精細情報を構成し、本実施例の動画像伝送方式により伝送することによって高精細な静止画像を得ることができる。
【００３０】
又更に高精細な情報の別の構成例を図６を用いて説明する。
【００３１】
図６は、画像データを所定の空間周波数帯域成分に分割する空間フィルタバンクを用いて、所定の空間周波数帯域のデータに分割したのち圧縮する符号化方式で用いられる周波数帯域分割方式の一つである２次元Ｗａｖｅｌｅｔ変換の例である。２次元Ｗａｖｅｌｅｔ変換では図６中において夫々ＬＰＦ、ＨＰＦ、
【００３２】
【外１】
0004086344.tif 000002
と示されるブロックにより水平／垂直のローパスフィルタ、ハイパスフィルタ、ダウンサンプリングが階層的に行なわれることにより、２次元の階層的な周波数帯域分割が行なわれるが、これによる帯域分割後のデータのうち低周波側データのみを用いて圧縮符号化を行ない動画像データを生成し、それ以外の高周波側データを用いて圧縮符号化を行なって高精細情報を生成することにより、本実施例の基本となる動画像データと高精細情報を構成することができる。
【００３３】
これまで図４、図５、図６を用いて述べてきたような動画像データと高精細情報は図１の例においては記録媒体１０１に記録されている。この記録方法として、動画像データと高精細情報を分割した形式で記録しておく方法と、高精細動画像データとして一体化された形式で記録しておく方法が考えられる。分割記録方式は動画像、高精細情報それぞれの伝送に最適な形で記録することができるため、送出／検索などの処理が簡単に行なえるという利点がある。又、一体化された形式では動画データ送出処理を行なう際には高精細情報を除いた動画像データと音声データのみを抽出して送出し、高精細情報送出処理では動画像データとして送出されなかった高精細情報のみを抽出して送出するという処理を行なう。分割記録に比べてこれらのデータ抽出処理が追加されるが、一体化記録された高精細動画像データを、別の広帯域の伝送路に対してそのまま送出することが可能である。かかる場合には本実施例の狭帯域伝送路で可能な動画像伝送と、従来の広帯域伝送路を使った高精細動画像の伝送とを並列して行なう場合に有利である。
【００３４】
図１の例では説明のために動画データと高精細情報は同一の記録媒体１０１から読み出されているが、前記の分割記録方式を用いる場合は動画データと高精細情報が別の記録媒体に記録されていてもよい。
【００３５】
本実施例のもう一つの特徴として、高精細画像再生の用途にのみ必要で通常の動画像再生には不可欠でない付加情報を高精細情報の伝送時に送信することにより、動画データの伝送レートを増やすことなく、目的の高精細画像フレームを最適に処理することが可能である。図７はこの付加情報として画像撮影時の色空間特性データを高精細情報に付加して伝送する例を示す。色空間特性データとしては撮影時の色調製情報やカラーマッチングシステムの入力プロファイルデータなどが考えられる。受信側で、あらかじめ伝送されている基本となる動画データと高精細情報から高精細画像フレームを再生する際、これらのデータを用いて、最適な色再現を実現することが可能であり、かつ動画像の再生に関してはまったく情報量が増加しない。尚、図７は高精細情報データ同期ブロックを示し、かかるブロックは３０１乃至３０７のデータにより構成されている。３０１は同期信号が含まれるブロック、３０３は高精細情報が含ませるブロック、３０５は前述の付加情報が含まれるブロック、３０７は誤同期ブロック全体の誤り訂正のためのパリティビットである。
【００３６】
以上述べてきたように、本実施例の動画像伝送方法によれば、基本となる動画像データを所定の手段で伝送するとともに、該動画像を構成する連続した画像フレームシーケンスのうちの、受信側から要求された画像フレームに対するフレーム高精細情報を、該動画像データの伝送方式とは異なる伝送方式によって伝送し、受信側において、該動画像データ中の各当画像フレームの再生に必要なデータとフレーム高精細情報から、該動画像データのみで再生される各当画像フレームよりも高精細な画像フレームを再生することにより、高精細静止画再生のために動画像の伝送帯域増やすことなく、受信側で希望する画像フレームについて高精細な静止画データを得ることができる。また、基本となる動画像伝送に加えて高精細静止画ために伝送されるのは、動画像として伝送されなかった画像の高精細情報のみであるため、通常の静止画像伝送に比べても、少ない伝送帯域で高精細静止画を伝送することができ、少ない伝送帯域を使った動画像の伝送とその中から選ばれたフレームに対する高精細静止画伝送を両立することができる。
【００３７】
本実施例では１３９４規格と呼ばれる伝送方法を実施例として説明したが本発明はかかる伝送方法に限らず、他の伝送方法、例えばインターネットを介して画像データを伝送する場合であっても適用することができる。又、符号化方法も実施例に開示した以外の他の種々の方法を適用することができる。
【００３８】
【発明の効果】
本発明に係る画像送信装置及び制御方法によれば、少ない伝送帯域で高精細な静止画像の伝送と動画像の伝送とを両立することができる。
【図面の簡単な説明】
【図１】本実施例の動画像通信方法を実現する動画像伝送システムの構成例を示す図。
【図２】図１の伝送路にＩｓｏｃｈｒｏｎｏｕｓ転送／Ａｓｙｎｃｈｒｏｎｏｕｓ転送実行する伝送路を用いて動画データ／高精細情報を伝送する例を示す図。
【図３】直交変換符号化方法を用いて動画像データと、高精細情報を生成する例を示す図。
【図４】直交変換符号化の局部復号化画像と原画像の差分データを高精細情報を構成する例を示す図。
【図５】順次走査動画像から飛び越し走査変換によって、動画像データを生成し、逆フィールドの走査線から高精細情報を構成する例を示す図。
【図６】空間フィルタバンクを用いて、複数の空間周波数帯域に分割したのち圧縮する符号化方式において、動画像データと高精細情報を構成する例を示す図。
【図７】付加情報として画像撮影時の色空間特性データを高精細情報に付加して伝送する例を示す図。
【図１】
0004086344.tif 000003
【図２】
0004086344.tif 000004
【図３】
0004086344.tif 000005
【図４】
0004086344.tif 000006
【図５】
0004086344.tif 000007
【図６】
0004086344.tif 000008
【図７】
0004086344.tif 000009