(57)【要約】【課題】複数本の動画像データを１本に合成した画像のうち必要な矩形領域の画像データを受信側等で選択させて、当該選択がされた画像データのみ送信することを簡易に実現する。【解決手段】複数台の画像入力装置３で撮影した複数本の動画像データを、画像処理手段４６で１本に合成する。符号列作成手段４４は、この動画像データのフレームを複数のタイルに分割しタイルごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した符号列データを作成する。構文解析手段４３は、この符号列データの構文を解析する。符号列作成手段４４は、この解析結果に基づいて符号列データから必要なタイルを選択して当該タイルのデータだけの別の符号列データを作成する。そして、この符号列データは通信インターフェイス４５を介して送信先に送信する。【選択図】　　図２
2004040351.tif 000002
【特許請求の範囲】
【請求項１】
複数本の動画像データを１本に合成した動画像データのフレームを複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した符号列データを作成する符号列作成手段と、
この符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列データから必要な前記矩形領域を選択して当該矩形領域のデータだけの別の符号列データを作成する符号列作成手段と、
この符号列作成手段で作成した符号列データを送信先に送信する送信手段と、を備えている画像配信システム。
【請求項２】
前記矩形領域の選択を受付ける受付手段と、
この受付けた選択どおりに前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、
を備えている請求項１に記載の画像配信システム。
【請求項３】
１本に合成された前記動画像データの画面内の特定の情報を抽出する抽出手段と、
この抽出された情報に基づいて前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、
を備えている請求項１に記載の画像配信システム。
【請求項４】
前記符号列作成手段は、前記符号列データから前記各矩形領域の１／２以下の縮小サイズのデータだけの別の符号列データを作成する、
請求項１〜３の何れかの一に記載の画像配信システム。
【請求項５】
動画像データをネットワークを介して配信する画像配信システムと、
この配信される動画像データを受信して画像表示装置に画像表示する複数の画像再生システムと、
を備え、
前記動画配信システムは、
複数本の動画像データを１本に合成した動画像データのフレームを複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、
この解析結果に基づいて前記符号列データから必要な前記矩形領域を選択して当該矩形領域のデータだけの別の符号列データを作成する符号列作成手段と、
この符号列作成手段で作成した符号列データを送信先に送信する送信手段と、を備えていて、
前記各画像再生システムは、
前記送信手段から送信された符号列データを受信する受信手段と、
この受信された符号列データを復号する復号手段と、
この復号された動画像データをバッファリングするバッファと、
この復号した画像データを表示する表示装置と、
を備えている、
画像配信再生システム。
【請求項６】
前記動画配信システムは、
前記矩形領域の選択を受付ける受付手段と、
この受付けた選択どおりに前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、
を備えている請求項５に記載の画像配信再生システム。
【請求項７】
前記動画配信システムは、
１本に合成された前記動画像データの画面内の特定の情報を抽出する抽出手段と、
この抽出された情報に基づいて前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、
を備えている請求項５に記載の画像配信再生システム。
【請求項８】
前記符号列作成手段は、前記符号列データから前記各矩形領域の１／２以下の縮小サイズのデータだけの別の符号列データを作成する、
請求項５〜７の何れかの一に記載の画像配信再生システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像配信システム及び画像配信再生システムに関する。
【０００２】
【従来の技術】
従来、平面的ではない画面を複数に分割してそれぞれ撮影した複数の動画像データ等を提供する手段としては、予め最初に分割する画像範囲を決めておき、各画像範囲に対してそれぞれ撮影に使用する画像入力装置を割り当てて、複数の画像入力装置で分担して撮影し、この撮影した個々の分割画像に関して必要があれば圧縮符号化を行なっていた。
【０００３】
これらの分割された画像を送信するときは、伝送線路に余裕がある場合には、個々の分割画像をそれぞれ別々のチャネルを使用して一度に転送し、その受信側で複数の分割画像のうち一部又はすべてを受信し、一つ又は複数のディスプレイに表示するようにしていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術では、上述のように画像入力装置で画像を撮影するときに予めどのように画像を分割するか決めておく必要があるため、受信側等の要求に応じて、画像の分割方法を決めることや、必要な画像部分を選択することはできなかった。
【０００５】
この場合に、受信側の要求に応じて、画像の分割方法を決め、必要な画像部分を選択する手段として、受信側で画像入力装置を制御することも考えられるが、これだと、単一の受信者に対して一つ又は複数の画像入力装置を割り当てる必要があり、使用する設備のコストが非常に大きくものとなる不具合があった。
【０００６】
この発明の目的は、複数本の動画像データを１本に合成した画像のうち必要な矩形領域の画像データを受信側等で選択させて、当該選択がされた画像データのみ送信することを簡易に実現し、また、矩形領域の範囲を受信側の要求等に合わせて変更することを可能とすることである。
【０００７】
この発明の別の目的は、画面内の特定の情報を追って画面を切り替えることを可能とすることである。
【０００８】
この発明の別の目的は、全体画像の縮小画像を容易に作成して、受信側で全体画像の概要をひと目で見ることができるようにすることである。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、複数本の動画像データを１本に合成した動画像データのフレームを複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化した符号列データを作成する符号列作成手段と、この符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列データから必要な前記矩形領域を選択して当該矩形領域のデータだけの別の符号列データを作成する符号列作成手段と、この符号列作成手段で作成した符号列データを送信先に送信する送信手段と、を備えている画像配信システムである。
【００１０】
したがって、複数本の動画像データを１本に合成した画像の符号列データを送信側で作成し、この画像のうち必要な矩形領域の画像データを受信側等で選択させて、当該選択がされた画像データのみ送信することを簡易に実現することができる。また、矩形領域の範囲を受信側の要求等に合わせて変更することも可能となる。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像配信システムにおいて、前記矩形領域の選択を受付ける受付手段と、この受付けた選択どおりに前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、を備えている。
【００１２】
したがって、複数本の動画像データを１本に合成した画像の符号列データを送信側で作成し、この画像のうち必要な矩形領域の画像データを受信側で選択させて、当該選択がされた画像データのみ送信することを簡易に実現することができる。
【００１３】
請求項３に記載の発明は、請求項１に記載の画像配信システムにおいて、１本に合成された前記動画像データの画面内の特定の情報を抽出する抽出手段と、この抽出された情報に基づいて前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、を備えている。
【００１４】
したがって、画面内の特定の情報を追って画面を切り替えることが可能となる。
【００１５】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の画像配信システムにおいて、前記符号列作成手段は、前記符号列データから前記各矩形領域の１／２以下の縮小サイズのデータだけの別の符号列データを作成する。
【００１６】
したがって、全体画像の縮小画像を容易に作成することができ、受信側で全体画像の概要をひと目で見ることができる。
【００１７】
請求項５に記載の発明は、動画像データをネットワークを介して配信する画像配信システムと、この配信される動画像データを受信して画像表示装置に画像表示する複数の画像再生システムと、を備え、前記動画配信システムは、複数本の動画像データを１本に合成した動画像データのフレームを複数の矩形領域に分割し当該矩形領域ごとに画素値を離散ウェーブレット変換して階層的に圧縮符号化されている符号列データを対象として、その符号列データの構文を解析する構文解析手段と、この解析結果に基づいて前記符号列データから必要な前記矩形領域を選択して当該矩形領域のデータだけの別の符号列データを作成する符号列作成手段と、この符号列作成手段で作成した符号列データを送信先に送信する送信手段と、を備えていて、前記各画像再生システムは、前記送信手段から送信された符号列データを受信する受信手段と、この受信された符号列データを復号する復号手段と、この復号された動画像データをバッファリングするバッファと、この復号した画像データを表示する表示装置と、を備えている、画像配信再生システムである。
【００１８】
したがって、複数本の動画像データを１本に合成した画像の符号列データを送信側で作成し、この画像のうち必要な矩形領域の画像データを受信側等で選択させて、当該選択がされた画像データのみ送信することを簡易に実現することができる。また、矩形領域の範囲を受信側の要求等に合わせて変更することも可能となる。
【００１９】
請求項６に記載の発明は、請求項５に記載の画像配信再生システムにおいて、前記動画配信システムは、前記矩形領域の選択を受付ける受付手段と、この受付けた選択どおりに前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、を備えている。
【００２０】
したがって、複数本の動画像データを１本に合成した画像の符号列データを送信側で作成し、この画像のうち必要な矩形領域の画像データを受信側で選択させて、当該選択がされた画像データのみ送信することを簡易に実現することができる。
【００２１】
請求項７に記載の発明は、請求項５に記載の画像配信再生システムにおいて、前記動画配信システムは、１本に合成された前記動画像データの画面内の特定の情報を抽出する抽出手段と、この抽出された情報に基づいて前記矩形領域の選択を前記符号列作成手段に指示する指示手段と、を備えている。
【００２２】
したがって、画面内の特定の情報を追って画面を切り替えることが可能となる。
【００２３】
請求項８に記載の発明は、請求項５〜７の何れかの一に記載の画像配信再生システムにおいて、前記符号列作成手段は、前記符号列データから前記各矩形領域の１／２以下の縮小サイズのデータだけの別の符号列データを作成する。
【００２４】
したがって、全体画像の縮小画像を容易に作成することができ、受信側で全体画像の概要をひと目で見ることができる。
【００２５】
【発明の実施の形態】
図１は、この発明の一実施の形態である画像配信システム２を説明する概念図である。この画像配信システム２は、動画像を撮影する複数台の画像入力装置３と、サーバ４とを備えている。複数台の画像入力装置３は、ひとつの大画面Ｐを分担して撮影し、各画像入力装置３が撮影した動画像データはサーバ４に送信される。図１の例では、大画面ＰをＰ１〜Ｐ９の９個の分割画面に分割して、各分割画面を各画像入力装置３で分担して撮影する。
【００２６】
図２は、この実施の形態である画像配信再生システム１の概念図である。図２に示すように、画像配信再生システム１は、前述の画像配信システム２と、画像再生システムを実現するクライアント５とを備えている。サーバ４は、各画像入力装置３が撮影した動画像データを次のように圧縮符号化して、通信路６を介してクライアント５に配信する。
【００２７】
すなわち、各画像入力装置３で撮影した複数本の動画像データはサーバ４の画像処理手段４６で所定の処理がなされ、複数本の動画像データは１本に合成されて、フレームバッファ４７でバッファリングされる。そして、画像圧縮手段４１は、この１本の動画像データをＪＰＥＧ２０００アルゴリズムで圧縮符号化する。すなわち、この１本の動画像データを、フレームごとに複数の矩形領域（タイル）に分割し、このタイルごとに画素値を離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）して階層的に圧縮符号化した符号列データを作成する。
【００２８】
磁気記憶装置４２は、この符号列データを記憶する。構文解析手段４３は、磁気記憶装置４２に記憶された符号列データの構文、すなわちヘッダのデータに記述された情報を解析する。符号列作成手段４４は、この解析結果に基づいて画像圧縮手段４１で作成された符号列データから必要なタイルを選択して当該タイルに相当するデータだけの別の符号列データを作成する。送信手段、受信手段を実現する通信インターフェイス４５は、符号列作成手段４４で作成した符号列データをクライアント５に送信する。
【００２９】
クライアント５は、ストリーミング再生で画像の再生を行なう。すなわち、クライアント５は、サーバ４から符号列データを、送信手段、受信手段を実現する通信インターフェイス５１で受信する。そして、この受信した符号列データは、復号手段５２により復号し、復号された動画像データがバッファ５３でバッファリングされて、表示装置５４に表示される。
【００３０】
選択手段５５は、クライアント５において、画像圧縮手段４１で圧縮符号化された符号列データのうち、ユーザが所望のタイルを選択することを可能とし、この選択の内容は通信インターフェイス５１を介してサーバ４に送信される。この選択の内容がサーバ４の通信インターフェイス４５で受信されると、その選択の内容にしたがってユーザの所望のタイルのみを抽出して新たな符号列データを作成するように、指示手段４８が符号列作成手段４４に指示する。
【００３１】
前述のように、画像圧縮手段４１は、各画像入力装置３で撮影され、１本に合成された動画像データを、フレームごとに複数のタイルに分割して離散ウェーブレット変換を行なう。この場合の各タイルは各画像入力装置３で撮影した各動画像データの一本一本をそれぞれ単一のタイルとしてもよいし、単一の画像入力装置３で撮影した一本の動画像データをさらに複数のタイルに分割してもよい。あるいは、２つ以上の画像入力装置３で撮影した２本以上の動画像データを単一のタイルにまとめてもよい。
【００３２】
したがって、この画像配信再生システム１によれば、複数台の画像入力装置３で分担して撮影した複数本の動画像データを１本に合成した画像の符号列データを画像圧縮手段４１で作成し、この画像のうち必要なタイルを受信側で選択させて送信することができるので、選択がされた画像データのみ送信することを簡易に実現することができる。
【００３３】
この場合に、どのようなタイルに分割するかを受信側で選択手段５５により選択し、この選択に応じて画像圧縮手段４１でタイル分割する（例えば、４分割、８分割、１６分割などに分割する）ようにすることも可能である。
【００３４】
次に、画像入力装置３で単一の大画面Ｐを分担して撮影する具体的な手段について複数の例を説明する。
【００３５】
図３の例では、ひとつの大画面Ｐの画面領域１０１〜１０４をそれぞれ別個の画像入力装置３で撮影する。この各画像入力装置３で撮影する撮影領域１０５〜１０８は、隙間ができないように互いにオーバーラップしている。このように映し出された撮影領域１０５〜１０８から隙間ができないようにひとつひとつ画像を画像処理手段４６が抽出する。すなわち、画面領域１０１〜１０４の各々に対応した画像１０９〜１１２を取り出す。これらの画像１０９〜１１２は互いにオーバーラップすることなく、また、隙間無く取り出される。そして、取り出された各画像１０９〜１１２を、画像処理手段４６が１本の画像の画像データに合成する。
【００３６】
画像圧縮手段４１は、この１本の画像データについて、フレームを複数のタイルに分割して圧縮符号化するが、このタイルの分割は、前述のとおり、必ずしも各画像入力装置３で撮影した各画像１０９〜１１２に一対一で各タイルが対応するようにする必要はない。図４の例は、４つの画像１０９〜１１２の画像を合成した１本の画像を、さらに、タイル１２１から１３２の１２個のタイルに分割する例を示している。
【００３７】
画像配信再生システム１は、図２に示すような構成ではなく、図５に示すような構成としてもよい。すなわち、図５の画像配信再生システム１が図２のものと相違するのは、サーバ４が、各画像入力装置３で撮影した複数の画像を合成した１本の画像の画面内から特定の情報を抽出する抽出手段４９を備え、抽出手段４９が抽出した情報に応じて、指示手段４８が特定のタイルを選択して別の符号列データを作成するように、符号列作成手段４４に指示する点である。このような構成としたので、クライアント５においては、選択手段５５が設けられていない。
【００３８】
抽出手段４９が行なう処理を、図６を参照して具体的に説明する。図６において、大画面Ｐは分割画面Ｐ１〜Ｐ９に分割されて各画像入力装置３で撮影され、１本に合成された符号列データも分割画面Ｐ１〜Ｐ９ごとにタイル化されているものとする。この例で、抽出手段４９は、大画面Ｐ中で特定の情報として、ボール１４１の画像の位置を抽出する。符号１４２はボール１４１の動きの軌跡を示している。そして、抽出手段４９は大画面Ｐ中でボール１４１の画像の位置を抽出し、ボール１４１の画像が含まれているタイルを選択的に抽出して別の符号列データを作成するように、符号列作成手段４４に指示する。これにより、図６の例では、分割画面Ｐ１，Ｐ２，Ｐ５，Ｐ９の順にクライアント５の表示装置５４に映し出されることとなり、常に大画面Ｐでボール１４１が存在する領域だけがクローズアップして映し出されることになる。
【００３９】
抽出手段４９で特定の画像を抽出するには次のような処理を行なう。すなわち、画像圧縮手段４１が前述の離散ウェーブレット変換を行なうには、タイル内をラスタ順に走査して周波数変換を行なう。そして、図７に示すように、単一のタイル１５１内にオブジェクト１５２が含まれているとして、このタイル１５１内をラスタ順に走査するときに、１ライン目から順番に検出しようとする比較対象画像１５３との比較検討を行い、徐々にライン数を増していき、比較対象画像１５３とタイル１５１内のある地点の情報の差異がある点より小さくなったときに、そのタイル１５１内にオブジェクト１５２が含まれていると判定することができる。
【００４０】
前述の例では、単一の平面情報を複数の画像入力装置３で撮影する例であるが、本画像配信システム２の用途はこれに限定されるものではない。
【００４１】
例えば、図８に示すように、単一のオブジェクト１６１に対して複数の画像入力装置３によって前後、左右、上下から撮影を行い、１本の画像に合成することもできる。各画像入力装置３で撮影された各画像情報は平面的な情報になるが、すべての画像入力装置３の画像をつなぎ合わせると、立体的な情報になる。この方法で１本の画像に合成することで、３次元的な１本の画像から部分的な画像を作成し、クライアント５に提供することができる。
【００４２】
また、図９に示すように、一点から放射状に各画像入力装置３で撮影するという利用方法も考えられる。これはプラネタリウムのように夜空を観察する場合等に使用できる。これは、ある一点から複数台の画像入力装置３を使用して天空の状態を観察するものである。この場合、各画像入力装置３が映し出す画像に隙間が無いように画像入力装置３を配置する。そして、各画像入力装置３が映し出す映像のうち、オーバーラップしている部分を削除して１本の画像データを作成する。これにより、天空の任意の部分映像を、クライアント５に提供することができる。
【００４３】
また、図１０に示すように、各画像入力装置３で分担してレーシングコースを撮影する利用方法も考えられる。この場合、撮影が必要になるのはレーシングコース、及びその周辺（観客席やピット内）などである。これらのすべての状態が観察できるように、レースコース及びその周辺の各所にそれぞれ画像入力装置３を設置するようにすればよい。
【００４４】
また、図１１（ａ）に示すように、画像圧縮手段４１で作成した各タイル１７１〜１７９の符号列データとして１／４サイズの画像データ１７１ｓ〜１７９ｓが含まれている場合、符号列作成手段４４では、画像データ１７１ｓ〜１７９ｓを抽出して繋ぎ合わせ、図１１（ｂ）に示すように、各分割画像とした符号列データを作成することができる。もちろん、画像圧縮手段４１で作成した符号列データに、１／２，１／８等、１／２以下の縮小サイズの画像データが含まれているときは、この縮小サイズの画像データを抽出して繋ぎ合わせ、各分割画像とした符号列データを作成することができる。
【００４５】
これにより、全体画像の縮小画像を容易に作成することができ、受信側で全体画像の概要をひと目で見ることができる。
【００４６】
【発明の効果】
請求項１，５に記載の発明は、複数本の動画像データを１本に合成した画像の符号列データを送信側で作成し、この画像のうち必要な矩形領域の画像データを受信側等で選択させて、当該選択がされた画像データのみ送信することを簡易に実現することができる。また、矩形領域の範囲を受信側の要求等に合わせて変更することも可能となる。
【００４７】
請求項２，６に記載の発明は、請求項１，５に記載の発明において、複数本の動画像データを１本に合成した画像の符号列データを送信側で作成し、この画像のうち必要な矩形領域の画像データを受信側で選択させて、当該選択がされた画像データのみ送信することを簡易に実現することができる。
【００４８】
請求項３，７に記載の発明は、請求項１，５に記載の発明において、画面内の特定の情報を追って画面を切り替えることが可能となる。
【００４９】
請求項４，８に記載の発明は、請求項１〜３，５〜７の何れかの一に記載の発明において、全体画像の縮小画像を容易に作成することができ、受信側で全体画像の概要をひと目で見ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である画像配信システムの全体構成のブロック図である。
【図２】本発明の一実施の形態である画像配信再生システムの全体構成のブロック図である。
【図３】画像配信システムが行なう画像の抽出について説明する説明図である。
【図４】画像配信システムが行なう画像の分割について説明する説明図である。
【図５】画像配信再生システムの他の例を示す全体構成のブロック図である。
【図６】画像配信システムが行なう画面内の特定の情報を抽出する処理の説明図である。
【図７】画像配信システムが行なう画面内の特定の情報を抽出する処理の説明図である。
【図８】単一のオブジェクトに対して複数の画像入力装置で前後、左右、上下から行なう撮影の説明図である。
【図９】複数の画像入力装置で一点から放射状に行なう撮影の説明図である。
【図１０】複数の画像入力装置で行なうレーシングコースの撮影の説明図である。
【図１１】全体画像の縮小画像を作成する場合の説明図である。
【符号の説明】
１　　画像配信再生システム
２　　画像配信システム
３　　画像入力装置
５　　画像再生システム
４１　画像圧縮手段
４３　構文解析手段
４４　符号列作成手段
４５　送信手段、受信手段
４８　指示手段
４９　抽出手段
５１　送信手段、受信手段
５２　復号手段
５４　表示装置
５５　選択手段
【図１】
2004040351.tif 000003
【図２】
2004040351.tif 000004
【図３】
2004040351.tif 000005
【図４】
2004040351.tif 000006
【図５】
2004040351.tif 000007
【図６】
2004040351.tif 000008
【図７】
2004040351.tif 000009
【図８】
2004040351.tif 000010
【図９】
2004040351.tif 000011
【図１０】
2004040351.tif 000012
【図１１】
2004040351.tif 000013