(57)【要約】【課題】画像データを伝送する為の伝送帯域を節約し、利用者からの視点移動の要求に対する応答性を犠牲にすること無く、利用者の人数が増えた場合にも安定して、任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送することが可能な技術を提供する。【解決手段】異なる視点位置で撮影されたそれぞれの画像データを複数の領域の部分画像に分割する第１の過程と、そのデータがどの視点位置のどの領域のものであるかを示す領域ヘッダ情報を前記分割された部分画像のデータに付加する第２の過程と、前記領域ヘッダ情報の付加されたデータに対して通信用プロトコルのヘッダを付加してパケットとする第３の過程と、前記パケットの中から利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択する第４の過程とを有するものである。【選択図】        図１
2004193941.tif 000002
【特許請求の範囲】
【請求項１】
任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送方法において、
異なる視点位置で撮影されたそれぞれの画像データを複数の領域の部分画像に分割する第１の過程と、そのデータがどの視点位置のどの領域のものであるかを示す領域ヘッダ情報を前記分割された部分画像のデータに付加する第２の過程と、前記領域ヘッダ情報の付加されたデータに対して通信用プロトコルのヘッダを付加してパケットとする第３の過程と、前記パケットの中から利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択する第４の過程とを有することを特徴とする任意視点画像伝送方法。
【請求項２】
送信側と受信側との間の伝送経路上で段階的に前記パケットの選択を行うことを特徴とする請求項１に記載された任意視点画像伝送方法。
【請求項３】
符号化処理の最小単位若しくはその集合を分割単位として生成した部分画像に対して直交変換を含む符号化を行うことを特徴とする請求項１または請求項２のいずれかに記載された任意視点画像伝送方法。
【請求項４】
利用者の所望する視点位置の移動範囲を予測し、その範囲内の視点位置での画像生成に必要なパケットを選択することを特徴とする請求項１乃至請求項３のいずれか１項に記載された任意視点画像伝送方法。
【請求項５】
任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送装置において、
異なる視点位置で撮影されたそれぞれの画像データを複数の領域の部分画像に分割する画像分割ユニットと、そのデータがどの視点位置のどの領域のものであるかを示す領域ヘッダ情報を前記分割された部分画像のデータに付加する領域ヘッダ付加ユニットと、前記領域ヘッダ情報の付加されたデータに対して通信用プロトコルのヘッダを付加してパケットとする通信ヘッダ付加ユニットと、前記パケットの中から利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択するパケット選択ユニットとを備えることを特徴とする任意視点画像伝送装置。
【請求項６】
任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送装置において、
異なる視点位置で撮影されたそれぞれの画像データを複数の領域の部分画像に分割する画像分割ユニットと、そのデータがどの視点位置のどの領域のものであるかを示す領域ヘッダ情報を前記分割された部分画像のデータに付加する領域ヘッダ付加ユニットと、前記領域ヘッダ情報の付加されたデータに対して通信用プロトコルのヘッダを付加してパケットとする通信ヘッダ付加ユニットとを備えることを特徴とする任意視点画像伝送装置。
【請求項７】
任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送装置において、
利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択するパケット選択ユニットを備えることを特徴とする任意視点画像伝送装置。
【請求項８】
送信側と受信側との間の伝送経路上で段階的に前記パケットの選択を行うことを特徴とする請求項５乃至請求項７のいずれか１項に記載された任意視点画像伝送装置。
【請求項９】
符号化処理の最小単位若しくはその集合を分割単位として生成した部分画像に対して直交変換を含む符号化を行うことを特徴とする請求項５乃至請求項８のいずれか１項に記載された任意視点画像伝送装置。
【請求項１０】
利用者の所望する視点位置の移動範囲を予測し、その範囲内の視点位置での画像生成に必要なパケットを選択することを特徴とする請求項５乃至請求項９のいずれか１項に記載された任意視点画像伝送装置。
【請求項１１】
任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送装置としてコンピュータを機能させる為のプログラムにおいて、
異なる視点位置で撮影されたそれぞれの画像データを複数の領域の部分画像に分割する画像分割ユニットと、そのデータがどの視点位置のどの領域のものであるかを示す領域ヘッダ情報を前記分割された部分画像のデータに付加する領域ヘッダ付加ユニットと、前記領域ヘッダ情報の付加されたデータに対して通信用プロトコルのヘッダを付加してパケットとする通信ヘッダ付加ユニットと、前記パケットの中から利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択するパケット選択ユニットとしてコンピュータを機能させることを特徴とするプログラム。
【請求項１２】
任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送装置としてコンピュータを機能させる為のプログラムにおいて、
異なる視点位置で撮影されたそれぞれの画像データを複数の領域の部分画像に分割する画像分割ユニットと、そのデータがどの視点位置のどの領域のものであるかを示す領域ヘッダ情報を前記分割された部分画像のデータに付加する領域ヘッダ付加ユニットと、前記領域ヘッダ情報の付加されたデータに対して通信用プロトコルのヘッダを付加してパケットとする通信ヘッダ付加ユニットとしてコンピュータを機能させることを特徴とするプログラム。
【請求項１３】
任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送装置としてコンピュータを機能させる為のプログラムにおいて、
利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択するパケット選択ユニットとしてコンピュータを機能させることを特徴とするプログラム。
【請求項１４】
送信側と受信側との間の伝送経路上で段階的に前記パケットの選択を行うことを特徴とする請求項１１乃至請求項１３のいずれか１項に記載されたプログラム。
【請求項１５】
符号化処理の最小単位若しくはその集合を分割単位として生成した部分画像に対して直交変換を含む符号化を行うことを特徴とする請求項１１乃至請求項１４のいずれか１項に記載されたプログラム。
【請求項１６】
利用者の所望する視点位置の移動範囲を予測し、その範囲内の視点位置での画像生成に必要なパケットを選択することを特徴とする請求項１１乃至請求項１５のいずれか１項に記載されたプログラム。
【請求項１７】
前記請求項１１乃至請求項１６のいずれか１項に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は利用者が所望する任意の視点位置からの画像を伝送する任意視点画像伝送装置に関し、特に複数の視点位置で撮影された２次元画像を元に、利用者が所望する任意の視点位置からの画像を生成する画像処理システムで画像データを伝送する任意視点画像伝送装置に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
近年のコンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）技術の発達により、カメラが設置された視点位置からだけでなく、利用者が望む視点位置から被写体の写実的な画像を観察できる様になってきた。
【０００３】
その様な画像生成技術は一般にＩｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）と呼ばれ、従来のＣＧ技術が被写体の精緻な幾何モデルを必要としていたのに対し、ＩＢＲは被写体を多数の位置から撮影した２次元画像を元に、幾何モデルを殆ど或いは全く用いずに任意の視点位置から被写体を見た画像を生成することができる。
【０００４】
ＩＢＲの代表的なものに、Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ、Ｌｕｍｉｇｒａｐｈや、光線空間理論と呼ばれる手法がある（例えば非特許文献１乃至３参照）。
【０００５】
これらの手法では、多数の位置からカメラで撮影した２次元画像を、そのカメラのレンズ中心を通る光線の束（光線群）の強度をサンプリングしたデータであると見なす。そして、一旦それら光線群のデータを光線空間等と呼ばれる多次元空間上で表現し、その後に所望する視点位置を通る光線群を光線空間上で再サンプリングすると言う手順を経る。
【０００６】
しかし、この様な手法では、光線空間を構成する為に多数の視点位置で撮影した２次元画像データ（多眼データ）を必要とする為、幾何モデルを用いる方法と比べて必要とするデータ量は膨大となる欠点がある。その為、多眼データが内包する冗長性を利用し、符号化処理を行うことでデータ量を圧縮するアプローチがとられることが多い。
【０００７】
例えば、参照画像を幾つか設定し、その他の画像はその差分を符号化する方式や、一旦３次元的なモデルを構築し、そのモデルを視点位置から見たときの画像を生成し、実際の画像との予測誤差を符号化する等の方式がある（例えば特許文献１及び２参照）。
【０００８】
しかし、これらの符号化処理を行うとデータ量はある程度まで減少するものの、通常の２次元画像と比較すると膨大である。
【０００９】
故にネットワークでの利用を考えた場合、利用者側の端末に膨大なデータを一旦時間をかけてダウンロードし、その後に端末で蓄えたデータを閲覧するといった使い方は現実的であるが、絶え間なく配信されてくるデータをすぐさま端末で閲覧するストリーミングと呼ばれる用途では伝送路の帯域が不足し、実現が困難である。
【００１０】
また、より高い圧縮率の符号化方式をとることで伝送帯域に収める様なアプローチをとるにしても、圧縮率を高くする程、計算機負荷が高くなり、処理時間は増大する。その為、遅延が生じてしまい、実時間性が重視されるコミュニケーションやライブ配信の用途には向かない。
【００１１】
これらの問題は、遠隔地間でのデータ伝送に限った問題ではなく、ローカルなシステムにおいても、膨大な多眼データを構成機器間で伝送する際に問題となる。よって、符号化によりデータ量を減らすと言う従来の手法は、適用できるアプリケーションやサービスの形態を著しく限定していた。
【００１２】
一方、この様な手法とは別のアプローチとして、まず利用者側から視点位置の要求を伝送し、多眼カメラ側で要求された視点位置の画像を生成し、その生成画像を利用者側に伝送すると言う手法も考えうる。この場合、符号化による圧縮効率を考慮しなければ、データ量は１つのカメラ分の画像と同じであるので、通常の２次元画像の通信に必要な帯域で伝送が可能となる。
【００１３】
この様に、伝送帯域の面だけに注目すると上記手法は理想的と言えるが、利用者が視点位置の変更を要求してから提示画像に変更が反映されるまでの応答性に問題がある。つまり、利用者の指示した視点移動が提示画像に反映される為には、利用者側と多眼カメラ側でデータが往復する伝送時間がかかり、利用者への応答に遅延が生じる為に、システムとしての操作性が著しく揖なわれてしまう。
【００１４】
また、この方法により一定数以上の利用者に任意視点画像を提供することは難しい。何故なら、多眼カメラ側でそれぞれの利用者が要求する視点の映像を逐一作成することになり、計算機負荷もデータの伝送量も人数倍で増えていくからである。
【００１５】
【非特許文献１】
Ｍａｒｃ  Ｌｅｖｏｙ，  Ｐａｔ  Ｈａｎｒａｈａｎ，“Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ”，  ＳＩＧＧＲＡＰＨ’９６  Ｃｏｎｆｅｒｅｎｃｅ  Ｐｒｏｃｅｅｄｉｎｇｓ，  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔｉｎｇ  Ｍａｃｈｉｎｅｒｙ，  １９９６年，  ｐ．３１−４１
【非特許文献２】
Ｓｔｅｖｅｎ  Ｊ．Ｇｏｒｔｌｅｒ外，“Ｔｈｅ  Ｌｕｍｉｇｒａｐｈ”，  ＳＩＧＧＲＡＰＨ’９６  Ｃｏｎｆｅｒｅｎｃｅ  Ｐｒｏｃｅｅｄｉｎｇｓ，  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔｉｎｇ  Ｍａｃｈｉｎｅｒｙ，  １９９６年，  ｐ．４３−５４
【非特許文献３】
内山外、“光線空間理論に基づく実写データのＣＧモデルを融合した仮想環境の実現”、３次元画像コンファレンス’９６、３次元画像コンファレンス’９６実行委員会、１９９６年、ｐ．１３−１８
【特許文献１】
特開平１０−１１１９５１号公報（第５−６頁、第６図）
【特許文献２】
特開平１１−１８０９１号公報（第７−１０頁、第１図）
【００１６】
【発明が解決しようとする課題】
前記従来のＩＢＲの代表的な手法では、光線空間を構成する為に多数の視点位置で撮影した多眼データのデータ量が膨大となる為、ネットワークでの利用を考えた場合、ストリーミングの用途では伝送路の帯域が不足し、実現が困難になると言う問題がある。
【００１７】
また、より高い圧縮率の符号化方式をとることで伝送帯域に収める様なアプローチをとるにしても、圧縮率を高くする程、計算機負荷が高くなって処理時間が増大し、遅延が生じてしまう為、実時間性が重視されるコミュニケーションやライブ配信の用途には向かないと言う問題がある。
【００１８】
一方、利用者側から要求された視点位置の画像を多眼カメラ側で生成して利用者側に伝送する手法では、利用者側と多眼カメラ側でデータが往復する際の伝送時間がかかる為、システムとしての操作性が著しく揖なわれてしまうと言う問題がある。
【００１９】
また、この方法では、多眼カメラ側でそれぞれの利用者が要求する視点の映像を逐一作成することになり、計算機負荷及びデータ伝送量が利用者の人数倍で増えていく為、所定数以上の利用者に任意視点画像を提供することが難しいと言う問題がある。
【００２０】
本発明の目的は、上記問題を解決し、画像データを伝送する為の伝送帯域を節約し、利用者からの視点移動の要求に対する応答性を犠牲にすること無く、利用者の人数が増えた場合にも安定して、任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送することが可能な技術を提供することにある。また本発明の他の目的は、利用者に近い末端の伝送帯域を節約すると共に、利用者の視点移動に対する画像生成の応答性を犠牲にすること無く、任意視点画像を生成する為の画像データの伝送を行うこと、画像全体を符号化した場合と比較して圧縮効率を落とすこと無く画像の分割を行うことや、伝送帯域を必要最小限に節約することが可能な技術を提供することにある。
【００２１】
【課題を解決するための手段】
本発明は、任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する任意視点画像伝送装置において、複数の領域の部分画像に分割された画像データの内、利用者の所望する視点位置の画像を生成するのに必要な部分画像を選択して伝送するものである。
【００２２】
本発明では、実時間コミュニケーション、ライブ配信やストリーミング放送等、処理時間の要求が厳しいネットワーク・アプリケーションで、利用者の所望する視点位置からの画像（任意視点画像）を提供する場合に、次の様に画像データの伝送を行う。
【００２３】
すなわち、異なる視点位置で撮影されたそれぞれの画像を更に複数の領域の部分画像に分割した後、それらのそのデータがどの視点位置のどの領域のものであるかを示す領域ヘッダ情報を前記分割された部分画像のデータに付加する。そして、そのデータに対して通信用プロトコルのヘッダを付加してパケットとし、そのパケットの中から利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択した後、その選択したパケットを通信プロトコルのヘッダにより経路判定して伝送する。
【００２４】
一般的なＩＢＲによる画像生成法においては、ある視点位置での画像を利用者端末で生成する際に複数の異なる視点位置で撮影した元画像を用いるが、その全てが必要なのではなく、必要となるのは各視点の元画像毎に一部分づつだけである。
【００２５】
よって、上記提案手法により、複数の視点で撮影した元画像を更に部分的な領域に分割したデータとすることで、ある時点での所望の視点位置からの画像の生成に必要な領域を含むデータのみを伝送でき、全ての元画像を伝送してから画像の生成を行う場合に比べて伝送帯域を節約することができる。
【００２６】
また、分割後の部分画像のデータに対して領域の情報を示すヘッダを付加する処理は非常にシンプルな為、その処理負荷はごく少なく、時間的なオーバーヘッドも殆ど生じない。
【００２７】
その一方で、選択処理は部分画像の内容によらず、ヘッダ部分により判断ができる為、一般にスイッチと呼ばれるハードウェアにより高いスループットで処理することが可能である。
【００２８】
更に、この領域ヘッダを含む画像データに対して更に通信プロトコルのヘッダを加えてパケットとすることで、領域ヘッダに対応していない既存のネットワーク機器であっても、パケットを伝送することができる。
【００２９】
利用者数が増加して同一のパケットを異なる利用者が必要とする場合でも、選択処理の過程でその様なパケットを複写することで、元画像を提供する側には負担をかけること無く、スケーラビリティに優れるシステムを実現することができる。
【００３０】
また本発明のパケット選択処理では、送信側と受信側との間の伝送経路上で段階的にパケットの選択を行うものとしても良い。
【００３１】
利用者の視点位置が変化した場合、画像生成に必要となる部分画像も変化する。よって、パケットの伝送期間中に利用者が視点移動をすると、送信する時点で必要であったパケットと、受信側に到着した時点で必要なパケットとが異なることになる。その為、送信する時点で必要なパケットのみを選択して伝送すると、利用者が視点移動をした場合には画像生成に必要なパケットが受信側で取得できないことがあり、結果として利用者に適切な画像を提示できず、利用者の操作への応答性を損なう場合がある。
【００３２】
その一方で、送信時にパケットの選択を厳しくせずに、余剰にパケットを送信した場合は、受信した段階で新たに必要なパケットを選択することができるが、広い伝送帯域を必要とする。一般にネットワークは末端の利用者側に近くなる程、帯域が狭くなる為、送信側に近い経路では広い帯域で伝送することのできた量のデータも、受信する利用者側までは伝送できないことがある。
【００３３】
しかし、送信側で大まかにパケットの選択をしておき、経路上のノードでの中継により利用者に近づくにつれて逐次的にパケットの選択を厳しくすれば、利用者に近い末端の伝送帯域を節約することができる。そして、利用者に近いノード程、そこから利用者までパケットが到達する時間が短いことから、視点の移動する範囲が狭く、パケットの選択も厳しくしても、利用者側に到着した時に必要なパケットが欠落する危険が少ない為、利用者の視点移動に対する画像生成の応答性を犠牲にすることが無い。
【００３４】
また本発明の部分画像への分割では、符号化処理の最小単位若しくはその集合を分割単位として生成した部分画像に対して直交変換を含む符号化を行うものとしても良い。
【００３５】
２次元画像の符号化として一般的に用いられている変換符号化方式では、画像の２次元相関性を積極的に利用することで圧縮効率を高めている。しかし、部分画像に分割すると、それぞれのデータ毎に圧縮効率が落ち、全体としてはデータサイズが大きくなることがある。
【００３６】
しかし、変換符号化方式では、ブロックと呼ばれる部分画像毎に例えば離散コサイン変換（ＤＣＴ）により直交符号化していることから、部分画像の分割をこのブロック若しくはその集合毎に行うことで、画像全体を符号化した場合と比べても圧縮効率を落とすこと無く画像の分割をすることができる。
【００３７】
また本発明では、利用者の所望する視点位置が伝送期間中に移動することを想定してその移動範囲を予測し、その範囲内の視点位置での画像生成に必要なパケットを選択するものとしても良い。
【００３８】
パケットの伝送期間中に利用者が視点移動をすると、送信する時点で必要であったパケットと、受信側に到着した時点で必要なパケットは異なることになる。この為、送信する時点で必要なパケットのみを選択して伝送すると、利用者が視点移動をした場合には必要なパケットが受信側で取得できないことがある。パケットの選択を大まかに行えば視点移動に対するロバスト性が向上するが、その分必要な伝送帯域も広くなる。
【００３９】
そこで本発明において、利用者の視点移動範囲を具体的に予測して、その予測した視点の範囲内で画像を生成するのに必要なパケットを選択する様にし、この様にパケットの選択に具体的な指針を与えることで、伝送帯域を必要最小限に節約することができる。
【００４０】
以上の様に本発明の任意視点画像伝送装置によれば、複数の領域の部分画像に分割された画像データの内、利用者の所望する視点位置の画像を生成するのに必要な部分画像を選択して伝送するので、画像データを伝送する為の伝送帯域を節約し、利用者からの視点移動の要求に対する応答性を犠牲にすること無く、利用者の人数が増えた場合にも安定して、任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送することが可能である。
【００４１】
【発明の実施の形態】
（実施形態１）
以下に任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送する実施形態１の任意視点画像伝送装置について説明する。
【００４２】
図１は本実施形態の任意視点画像伝送装置の処理概要を示す図である。図１に示す様に本実施形態の任意視点画像伝送装置は、カメラ１０１により異なる視点位置で撮影されたそれぞれの画像を、画像分割ユニット１０２により更に複数の領域の部分画像に分割した後、それらの分割された部分画像のデータに、そのデータがどの視点位置のどの領域のものであるかを示すヘッダ情報を領域ヘッダ付加ユニット１０３により付加する。そして通信ヘッダ付加ユニット１０４により、そのデータに対して通信用プロトコルのヘッダを付加してパケットとし、利用者端末１０７からパケット要求１０８を受け取って、利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットをパケット選択ユニット１０５により選択した後、その選択したパケットを通信プロトコルのヘッダによりネットワーク１０６上で経路判定して利用者端末１０７へ伝送する。
【００４３】
図１において、カメラ１０１は、被写体の画像を多視点位置から撮影する装置であり、刻々と変化する被写体を、例えば１秒間に３０フレームの２次元画像として記録し、そのディジタルデータを出力する。なお、カメラ１０１は、撮影された画像データを実時間で逐次出力しても良いし、カメラ１０１で撮影された画像データを一旦記憶装置に蓄積し、その蓄積したデータを後で読み出して出力しても良いものとする。
【００４４】
画像分割ユニット１０２は、画像の分割処理を担うユニットであり、カメラ１０１から出力されてきた被写体の２次元画像を複数の領域に分割し、複数の部分的な画像としてそのデータを出力する。
【００４５】
領域ヘッダ付加ユニット１０３は、画像分割ユニット１０２で分割された部分画像データに対して、その部分画像データがどのカメラで撮影されたかや、どの領域の画像であるか等を示すヘッダ情報（以下、領域ヘッダと呼ぶ）を付加するユニットである。
【００４６】
通信ヘッダ付加ユニット１０４は、領域ヘッダ付加ユニット１０３により領域ヘッダが付加された部分画像データに対し、更に通信プロトコル用のヘッダ（以下、通信ヘッダと呼ぶ）を付加してパケットと呼ばれるデータの固まりとし、ネットワーク１０６に送出するユニットである。ここで通信プロトコルとは、ＯＳＩ参照モデルにおける物理・データリンク層及びネットワーク層及びトランスポート層の全て若しくは一部に相当し、通信ヘッダは例えばイーサネットヘッダ、ＩＰヘッダ、ＴＣＰヘッダがそれぞれ相当する。しかし、本発明はこれら特定の通信プロトコルに限定されるものではないものとする。
【００４７】
パケット選択ユニット１０５は、通信ヘッダ付加ユニット１０４より送られてくる多数のパケットの内、利用者の任意視点生成端末である利用者端末１０７で必要となる部分画像を含むパケットをネットワーク１０６に送出し、不要なパケットを破棄する処理を、パケットの領域ヘッダにより判断して行うユニットである。必要となるパケットを示すパケット要求１０８は利用者端末１０７側から与えられ、パケット選択ユニット１０５で保持されるものとする。利用者端末１０７で生成する画像の視点位置が移動し、必要となるパケットも変化した際にはパケット選択ユニット１０５において保持されている情報が更新される。
【００４８】
ネットワーク１０６は、パケットの伝送経路となる伝送媒体や中継ノードを有しており、パケットの通信ヘッダにより経路を決定し、パケット選択ユニット１０５により選択されたパケットを利用者端末１０７まで伝送する。
【００４９】
利用者端末１０７は、利用者が使用する端末装置であり、利用者の所望する視点位置の画像を生成する為に必要な部分画像を算出し、その部分画像を含むパケットをパケット選択ユニット１０５に要求し、要求に応じて送られてきたパケットを元に、その視点位置での画像を生成して利用者に提示する。
【００５０】
図２は本実施形態の任意視点画像伝送装置の概略構成を示す図である。図２に示す様に本実施形態の任意視点画像伝送装置２１０は、ＣＰＵ２１１と、メモリ２１２と、磁気ディスク装置２１３と、入力装置２１４と、出力装置２１５と、ＣＤ−ＲＯＭ装置２１６と、通信装置２１７と、パケット要求管理テーブル２１８とを有している。
【００５１】
ＣＰＵ２１１は、任意視点画像伝送装置２１０全体の動作を制御する装置である。メモリ２１２は、任意視点画像伝送装置２１０全体の動作を制御する際にその為の各種処理プログラムやデータをロードする記憶装置である。
【００５２】
磁気ディスク装置２１３は、前記各種処理プログラムやデータを格納しておく記憶装置である。入力装置２１４は、任意視点画像の画像データを伝送する為の各種入力を行う装置である。出力装置２１５は、任意視点画像の画像データの伝送に伴う各種出力を行う装置である。
【００５３】
ＣＤ−ＲＯＭ装置２１６は、前記各種処理プログラムを記録したＣＤ−ＲＯＭの内容を読み出す装置である。通信装置２１７は、インターネットやイントラネット等のネットワークを介して利用者端末１０７との通信を行う装置である。パケット要求管理テーブル２１８は、パケット要求１０８を受信したポート番号と、そのパケット要求１０８中の視点位置識別番号とを対応付けて格納するテーブルである。
【００５４】
本実施形態の任意視点画像伝送装置２１０は、コンピュータとプログラムによっても実現できるものとし、画像分割ユニット１０２、領域ヘッダ付加ユニット１０３、通信ヘッダ付加ユニット１０４、パケット選択ユニット１０５としてコンピュータを機能させる為のプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体からコンピュータにインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。
【００５５】
図３は本実施形態の画像分割及びヘッダ付加処理の処理手順を示すフローチャートである。図３の様に本実施形態の画像分割ユニット１０２は、カメラ１０１により異なる視点位置で撮影されたそれぞれの画像データを複数の領域の部分画像に分割した後、領域ヘッダ付加ユニット１０３により、その部分画像データがどの視点位置のどの領域のものであるかを示すヘッダ情報を付加し、通信ヘッダ付加ユニット１０４によりその部分画像データに対して通信用プロトコルのヘッダを付加してパケット選択ユニット１０５へ送る。
【００５６】
本実施形態の任意視点画像伝送装置２１０は、利用者端末１０７から任意視点画像の伝送要求を受信すると、まず画像分割ユニット１０２の処理を開始し、ステップ３０１で画像分割ユニット１０２は、その画像がどのカメラで撮影されたかを識別する為のカメラ識別番号や、分割された部分画像データを識別する為の領域識別番号を初期化する。
【００５７】
ステップ３０２では、カメラ１０１から出力されてきた被写体の画像データを受信した後、ステップ３０３では、前記受信した画像データをメモリ２１２に一時的に格納する。ここで、カメラ１０１で撮影された画像データを一旦蓄積した記憶装置から画像データを読み出してメモリ２１２に一時的に格納するものとしても良い。
【００５８】
ステップ３０４では、前記の様にメモリ２１２に格納した画像データのサイズや再生時間を調べ、前記格納した画像データが部分画像への分割を行う為の分割単位に達しているかどうかを判定し、分割単位に達している場合にはステップ３０５へ進む。
【００５９】
ステップ３０５で領域ヘッダ付加ユニット１０３は、前記分割単位の部分画像データに、前記視点識別番号や領域識別番号を含む領域ヘッダを付加した後、領域識別番号をインクリメントしてステップ３０６へ進む。
【００６０】
ステップ３０６で通信ヘッダ付加ユニット１０４は、前記領域ヘッダが付加された部分画像データに対し、利用者端末１０７へ送信する為の通信ヘッダを付加してパケットを生成する。そしてステップ３０７では、前記生成したパケットをパケット選択ユニット１０５へ渡す。
【００６１】
ステップ３０８では、画像分割及びヘッダ付加処理の終了指示が入力されているかどうかや、全ての元画像の処理が終了したかどうかを調べ、終了指示が入力されておらず、未処理の元画像がまだ存在している場合にはステップ３０２へ戻り、次の画像データの分割を行う。
【００６２】
前記の様にして複数のカメラ１０１により撮影された各視点位置の画像に対して画像分割及びヘッダ付加処理が行われると、各視点位置の画像がそれぞれ複数の部分画像に分割された後、複数の視点位置の複数の部分画像のパケットがそれぞれ分割された順にパケット選択ユニット１０５に渡される。
【００６３】
図４は本実施形態のパケット選択処理の処理手順を示すフローチャートである。図４の様に本実施形態のパケット選択ユニット１０５は、前記の様に複数の視点位置の複数の部分画像のパケットをそれぞれの分割順に受け取り、利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択して伝送する。
【００６４】
ステップ４０１でパケット選択ユニット１０５は、利用者の所望する視点位置を示すパケット要求１０８を利用者端末１０７から受信しているかどうかを調べ、パケット要求１０８を受信している場合にはステップ４０２へ進む。
【００６５】
ステップ４０２では、パケット要求１０８から視点位置識別番号を読み出し、パケット要求１０８を受信したポート番号と、前記読み出した視点位置識別番号とを対応付けてパケット要求管理テーブル２１８に保持する。
【００６６】
ステップ４０３では、通信ヘッダ付加ユニット１０４よりパケットを受け取っているかどうかを調べ、パケットを受け取っている場合にはステップ４０４へ進む。
【００６７】
ステップ４０４では、通信ヘッダ付加ユニット１０４より受け取ったパケットの領域ヘッダを参照して、その領域ヘッダ中のカメラ識別番号がパケット要求管理テーブル２１８に格納されている視点位置識別番号に該当するかどうを調べ、該当する場合には、そのパケットは利用者端末１０７で必要となる部分画像を含むパケットであると判定してステップ４０５へ進む。ここで、あるカメラ識別番号がどの視点位置識別番号に該当するかを示す情報、すなわちある視点位置の画像を生成する際に、どのカメラで撮影した画像が必要であるかを示す情報については、予めパケット選択ユニット１０５に設定されているものとする。
【００６８】
ステップ４０５では、必要となる部分画像を含むパケットをパケット要求管理テーブル２１８中の視点位置識別番号に対応付けられたポートからネットワーク１０６へ送出し、利用者端末１０７へ伝送する。
【００６９】
利用者端末１０７では、パケット選択ユニット１０５から伝送されたパケットを受信し、その領域ヘッダを参照して画像データを領域識別番号順に並べ替えて合成し、その視点位置での画像を生成してディスプレイ装置やスピーカ等の出力装置へ出力し、利用者へ任意視点画像を提供する。
【００７０】
またステップ４０４で調べた結果、利用者端末１０７で必要となる部分画像を含むパケットであると判定されなかった場合にはステップ４０６へ進み、その不要なパケットを破棄する処理を行う。
【００７１】
前記の様に本実施形態では、複数の視点位置で撮影した元画像を各視点位置毎に並列に分割して部分画像データを生成し、それらの複数の視点位置の複数の部分画像データを分割した順に伝送するので、ある時点での所望の視点位置からの画像の生成に必要な領域を含む部分画像データのみを伝送でき、全ての元画像を伝送してから画像の生成を行う場合に比べて伝送帯域を節約することができる。
【００７２】
例えば、視点位置１〜５の５つの元画像を伝送して、利用者の所望する視点位置３での画像を利用者端末１０７で生成する場合、従来では、視点位置１及び２の元画像の伝送が全て完了し、視点位置３の伝送が開始されなければ、視点位置３の画像を利用者端末１０７で生成することができなかった。この為、利用者端末１０７での応答性を確保するには、視点位置１及び２等の全画像を所定の応答時間内に伝送できるだけの広い帯域が必要であった。
【００７３】
一方、本実施形態では、視点位置１〜５の各元画像の伝送の際、視点位置１の部分画像１−１、視点位置２の部分画像２−１、…、視点位置５の部分画像５−１、視点位置１の部分画像１−２、視点位置２の部分画像２−２、…、視点位置５の部分画像５−２の様に、分割された部分画像をパケット選択ユニット１０５で順次受け取って伝送しているので、部分画像１−１から３−１までの部分画像のパケット選択ユニット１０５への受け渡しが終了した後、部分画像３−１を選択して伝送した時点で、視点位置３の画像の生成を利用者端末１０７で開始することができる。この為、利用者端末１０７での応答性を確保するには、部分画像３−１等の部分画像を所定の応答時間内で利用者端末１０７へ伝送できるだけの帯域を用意すれば良く、伝送帯域を節約することが可能である。
【００７４】
また本実施形態では、前記分割された部分画像のパケットを選択して伝送するので、利用者からの視点移動の要求に対する応答性を犠牲にすること無く、任意視点画像の伝送を行うことができる。
【００７５】
例えば、視点位置１〜５の５つの元画像を伝送して、視点位置３での画像を利用者端末１０７で生成中に視点が視点位置５に変更された場合、従来では、視点位置３及び４の元画像の伝送が全て完了し、視点位置５の伝送が開始されなければ、視点位置５への視点移動を利用者端末１０７で行うことができなかった。
【００７６】
一方、本実施形態では、視点位置１〜５の各元画像の伝送の際、前記の様に分割された部分画像をパケット選択ユニット１０５で順次受け取って選択しているので、例えば部分画像３−２から５−２の部分画像のパケット選択ユニット１０５への受け渡しが終了した後、選択される部分画像を部分画像３−２から部分画像５−２へ変更するだけで、視点位置３から視点位置５への視点移動を利用者端末１０７で行うことができる。この為、利用者からの視点移動の要求に対する応答性を犠牲にすること無く、任意視点画像の伝送を行うことが可能である。
【００７７】
以上、本実施形態の概要を記した。次に、個別の構成要素について詳細を説明する。
【００７８】
図５は本実施形態のカメラと画像分割ユニットの接続の一形態を示す図である。図１においては１つの画像分割ユニット１０２に対してカメラ１０１は１つづつ接続されているが、本発明はこの様な接続形態に限定されるものではなく、図５に示す様に、１つの画像分割ユニット２０２に対して複数のカメラ２０１を接続する様な形態をとることも可能であるものとする。
【００７９】
同様にして、それ以降の領域ヘッダ付加ユニット１０３及び通信ヘッダ付加ユニット１０４に関しても、データフローの上流にあるユニットと下流にあるユニットは１対１の接続形態に限定されるものではないものとする。
【００８０】
図６は本実施形態の階層的なパケット選択処理の一例を示す図である。図１においてパケット選択ユニット１０５は１つだけ表記されているが、本発明はこの様な形態に限定されるものではなく、例えば図６に示す様に、パケット選択処理を階層４０１〜４０３に分け、各階層で段階的な選択処理を行い、各構成ユニットにおける負荷を軽減させる様な形態もとりうるものとする。
【００８１】
例えば、図６のパケット選択処理では、カメラ識別番号がパケット要求１０８中の視点位置識別情報に該当しているものを必要なパケットとしているが、受信したパケットのカメラ識別番号が、パケット要求１０８中の視点位置識別番号を含むある範囲内の視点位置識別情報に該当する場合にそのパケットを必要なパケットと判定し、階層４０１から階層４０３へ進むにつれ、徐々にその範囲を狭めて段階的な選択処理を行う。
【００８２】
図７は本実施形態のＯＳＩ参照モデルにおける複数のレイヤへの通信ヘッダの付加処理の一例を示す図である。図１における通信ヘッダ付加ユニット１０４は、より詳細に記すと図７に示す様に、領域ヘッダ付加ユニット５０１、ＯＳＩ参照モデルにおける複数のレイヤを処理する１つ以上の通信ヘッダ付加ユニット５０２及び５０３、パケット選択ユニット５０４から構成され、通信ヘッダ付加ユニット５０２及び５０３としては、例えば下位レイヤとしてイーサネットヘッダ、上位レイヤとしてＩＰヘッダを付加するユニットが考えられる。但し、本発明はこれら特定のプロトコルに依存するものではないものとする。
【００８３】
図８は本実施形態の通信ヘッダの付加処理を上位レイヤと下位レイヤで分割し、領域ヘッダ付加処理の前後にパケット選択処理を配置する場合の一例を示す図である。図８に示す様に、領域ヘッダ付加ユニット６０１及び下位レイヤ通信ヘッダ付加ユニット６０２と、上位レイヤ通信ヘッダ付加ユニット６０４との間にパケット選択ユニット６０３を配置し、複数のレイヤでのヘッダ付加処理の任意の段階でパケット選択処理を行うものとしても良い。
【００８４】
次に図１におけるパケット選択ユニット１０５、ネットワーク１０６、利用者端末１０７に至る処理の流れを図９において詳細に述べる。
【００８５】
図９は本実施形態のパケット選択ユニット、ネットワーク、利用者端末に至る処理の流れの一例を示す図である。図９において、パケット選択ユニット７０１は図１のパケット選択ユニット１０５に相当するユニット、利用者端末７０２〜７０４は利用者側の端末、中継ノード７１２〜７１７はネットワーク１０６上でパケットの中継を行う装置、入力パケット７０６はパケット選択ユニット７０１に入力されるパケット、選択パケット７０７及び７０８はパケット選択ユニット７０１により選択されたパケット、破棄パケット７０９はパケット選択ユニット７０１により破棄されたパケットを表している。
【００８６】
パケット選択ユニット７０１は、１つの入力ポートと２つの出力ポート７１０及び７１１を持ち、２つの出力ポートの内のポート７１０にはネットワーク１０６の延長上に利用者端末７０２と利用者端末７０３が接続され、ポート７１１の延長には利用者端末７０４が接続されている。
【００８７】
このときパケット選択ユニット７０１は、入力ポートに刻々と到達する入力パケット７０６の内、利用者端末７０２及び利用者端末７０３の画像生成に必要な選択パケット７０７をポート７１０から出力することにより、ネットワーク１０６の中継ノード７１２〜７１５経由で当該パケットを各端末に伝送し、同様に利用者端末７０４の画像生成に必要な選択パケット７０８をポート７１１から出力することにより、ネットワーク１０６の中継ノード７１６及び７１７経由で選択パケット７０８を利用者端末７０４に伝送する。
【００８８】
このときパケット選択ユニット７０１は、ポート７１０及び７１１の両方から出力する必要のあるパケットを複写して両方のポートから出力し、また、どの端末でも必要の無い破棄パケット７０９を破棄する処理を行う。
【００８９】
図１０は本実施形態の利用者端末からの視点位置入力を元に必要なパケットを算出し、パケット選択ユニット７０１に要求する処理の一例を示す図である。前記の様なパケット選択処理は、利用者端末７０２〜７０４からのどのパケットが必要であるかと言うパケット要求１０８をパケット選択ユニット７０１が受けてなされるが、図１０に示す様に利用者端末８０１からは所望する視点位置を出力し、その視点位置での画像生成に必要なパケットを算出する必要パケット算出ユニット８０２を経由することでパケット要求１０８をパケット選択ユニット８０３に受け渡すことも可能である。このとき必要パケット算出ユニット８０２の設置位置は、ネットワーク１０６に対して利用者端末８０１側でも良いし、パケット選択ユニット８０３側でも良く、任意のネットワークノードであっても良い。
【００９０】
また、ポート７１０から出力される選択パケット７０７の内、利用者端末７０２と利用者端末７０３の両方で必要なパケットを、経路中の中継ノード７１３で複写し、パケット選択ユニット７０１−中継ノード７１２−中継ノード７１３の経路の帯域を節約して伝送することも可能であるし、予めパケット選択ユニット７０１にて複写し、ポート７１０から重複して出力し、中継ノード７１３にて分岐させて両端末に伝送することも可能である。
【００９１】
前記の様に本実施形態では、利用者数が増加して同一のパケットを異なる利用者が必要とする場合でも、選択処理や中継処理の過程でその様なパケットを複写することで、元画像を提供する側には負担をかけること無く、スケーラビリティに優れるシステムを実現することができる。
【００９２】
以上、図９を例にとってパケット選択ユニットから利用者端末までのパケットの処理過程を述べたが、本発明はこの様な接続形態に限定されるものではないものとする。
【００９３】
以上説明した様に本実施形態の任意視点画像伝送装置によれば、複数の領域の部分画像に分割された画像データの内、利用者の所望する視点位置の画像を生成するのに必要な部分画像を選択して伝送するので、画像データを伝送する為の伝送帯域を節約し、利用者からの視点移動の要求に対する応答性を犠牲にすること無く、利用者の人数が増えた場合にも安定して、任意視点画像を生成する元となる複数の視点位置から撮影された画像データを伝送することが可能である。
【００９４】
（実施形態２）
以下にパケット選択処理を伝送路上で段階的に行う実施形態２の任意視点画像伝送装置について説明する。
【００９５】
図１１は本実施形態の任意視点画像伝送装置の処理概要を示す図である。図１１では画像分割処理及びヘッダ付加処理を行う任意視点画像伝送装置９００から中継ノード９０２及び９０３を介して利用者端末９０５へ画像データを伝送する際に、任意視点画像伝送装置９１０の２つのパケット選択ユニット９０１及び９０４により段階的にパケットの選択処理を行うことを表している。ここで、段階的な選択処理とは、パケット選択ユニット９０１で一旦大まかな選択処理を行い、その後にパケット選択ユニット９０４でより絞り込んだ選択処理を行うことを言うものとする。
【００９６】
ここで図１１の様に、利用者端末９０５からパケット選択ユニット９０４までの片道の伝送遅延をｔ１、同様にパケット選択ユニット９０１までの片道の伝送遅延をｔ２（ｔ２＞ｔ１）とし、往復の伝送遅延が等しいとすれば、利用者端末９０５に時刻ｔ０に到達するパケットは、利用者端末９０５からの時刻ｔ０−２×ｔ２の時点でのパケット要求９０８に基づき、時刻ｔ０−ｔ２にパケット選択ユニット９０１にて選択したパケットの内、更に利用者端末９０５からの時刻ｔ０−２×ｔ１の時点でのパケット要求９０８に基づき、時刻ｔ０−ｔ１にパケット選択ユニット９０４にて選択したパケットである。
【００９７】
パケット選択ユニット９０４とパケット選択ユニット９０１へ利用者端末９０５がパケット要求９０８を出してから実際に画像生成処理をするまでのタイムラグをそれぞれ△ｔ１、△ｔ２とおくと、△ｔ１＝２×ｔ１、△ｔ２＝２×ｔ２、△ｔ１＜△ｔ２なので、利用者端末９０５に近いパケット選択ユニット９０４の方が、利用者端末９０５から遠いパケット選択ユニット９０１よりもタイムラグが少なく、その為タイムラグの期間中に視点が移動する程度も少なく、よってパケット選択をより厳しくしても画像の生成に必要なパケットを破棄してしまう状況が起き難い。
【００９８】
よって、パケット選択ユニット９０１とパケット選択ユニット９０４で段階的な選択処理を行っても、パケット選択ユニット９０１だけで選択処理を行った場合と比べて、視点移動に対する応答性のパフォーマンスを落とすことは無い。その一方で、パケット選択ユニット９０４で更に絞り込みをすることで、一般に伝送帯域の小さい利用者端末９０５側の伝送路でも十分に必要なパケットを伝送できる。
【００９９】
なお、上記の例ではパケット選択ユニットは２つであるが、２つ以上のパケット選択ユニットにより伝送経路中で段階的にパケットの選択を行うものとしても良い。
【０１００】
図１２は本実施形態の伝送路における利用者端末９０５の間近で行われるパケット選択処理の一例を示す図である。本実施形態では、利用者端末９０５の手前までの伝送経路（バックボーン）が全てのパケットを伝送するのに十分な伝送帯域を持ち、利用者端末９０５に間近の伝送路では限られた伝送帯域しか持たない場合、図１２の様に伝送路の入り口にはパケット選択ユニットを設置せず、伝送経路の利用者に近い側にのみパケット選択ユニットを設置する様な実施の形態も取りうるものとする。
【０１０１】
図１３は本実施形態の任意視点画像伝送装置９００及び９１０の概略構成を示す図である。図１３に示す様に本実施形態の任意視点画像伝送装置９００は、ＣＰＵ１３０１と、メモリ１３０２と、磁気ディスク装置１３０３と、入力装置１３０４と、出力装置１３０５と、ＣＤ−ＲＯＭ装置１３０６と、通信装置１３０７とを有している。
【０１０２】
ＣＰＵ１３０１は、任意視点画像伝送装置９００全体の動作を制御する装置である。メモリ１３０２は、任意視点画像伝送装置９００全体の動作を制御する際にその為の各種処理プログラムやデータをロードする記憶装置である。
【０１０３】
磁気ディスク装置１３０３は、前記各種処理プログラムやデータを格納しておく記憶装置である。入力装置１３０４は、画像分割、領域ヘッダ付加及び通信ヘッダ付加を実行する為の各種入力を行う装置である。
【０１０４】
出力装置１３０５は、画像分割、領域ヘッダ付加及び通信ヘッダ付加に伴う各種出力を行う装置である。ＣＤ−ＲＯＭ装置１３０６は、前記各種処理プログラムを記録したＣＤ−ＲＯＭの内容を読み出す装置である。通信装置１３０７は、インターネットやイントラネット等のネットワークを介して任意視点画像伝送装置９１０との通信を行う装置である。
【０１０５】
任意視点画像伝送装置９１０は、ＣＰＵ１３１１と、メモリ１３１２と、磁気ディスク装置１３１３と、入力装置１３１４と、出力装置１３１５と、ＣＤ−ＲＯＭ装置１３１６と、通信装置１３１７と、パケット要求管理テーブル１３１８とを有している。
【０１０６】
ＣＰＵ１３１１は、任意視点画像伝送装置９１０全体の動作を制御する装置である。メモリ１３１２は、任意視点画像伝送装置９１０全体の動作を制御する際にその為の各種処理プログラムやデータをロードする記憶装置である。
【０１０７】
磁気ディスク装置１３１３は、前記各種処理プログラムやデータを格納しておく記憶装置である。入力装置１３１４は、パケット選択を実行する為の各種入力を行う装置である。出力装置１３１５は、パケットの選択に伴う各種出力を行う装置である。
【０１０８】
ＣＤ−ＲＯＭ装置１３１６は、前記各種処理プログラムを記録したＣＤ−ＲＯＭの内容を読み出す装置である。通信装置１３１７は、インターネットやイントラネット等のネットワークを介して任意視点画像伝送装置９００、中継ノード９０２及び９０３、利用者端末９０５との通信を行う装置である。パケット要求管理テーブル１３１８は、パケット要求９０８を受信したポート番号と、そのパケット要求９０８中の視点位置識別番号とを対応付けて格納するテーブルである。
【０１０９】
本実施形態の任意視点画像伝送装置９００は、コンピュータとプログラムによっても実現できるものとし、画像分割ユニット１０２、領域ヘッダ付加ユニット１０３、通信ヘッダ付加ユニット１０４としてコンピュータを機能させる為のプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体からコンピュータにインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。
【０１１０】
また本実施形態の任意視点画像伝送装置９１０は、コンピュータとプログラムによっても実現できるものとし、パケット選択ユニット９０１またはパケット選択ユニット９０４としてコンピュータを機能させる為のプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体からコンピュータにインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。
【０１１１】
図１４は本実施形態のパケット選択処理の処理手順を示すフローチャートである。図１４の様に本実施形態の任意視点画像伝送装置９１０のパケット選択ユニットは、複数の視点位置の複数の部分画像のパケットを任意視点画像伝送装置９１０または中継ノード９０３からそれぞれの分割順に受け取り、利用者の所望する視点位置の画像を生成するのに必要な部分画像を含むパケットを選択して伝送する。
【０１１２】
ステップ１４０１で任意視点画像伝送装置９１０のパケット選択ユニットは、利用者の所望する視点位置を示すパケット要求９０８を利用者端末９０５から受信しているかどうかを調べ、パケット要求９０８を受信している場合にはステップ１４０２へ進む。
【０１１３】
ステップ１４０２では、パケット要求９０８から視点位置識別番号を読み出し、パケット要求９０８を受信したポート番号と、前記読み出した視点位置識別番号とを対応付けてパケット要求管理テーブル１３１８に保持する。
【０１１４】
ステップ１４０３では、任意視点画像伝送装置９１０の通信ヘッダ付加ユニット１０４または中継ノード９０３よりパケットを受信しているかどうかを調べ、パケットを受信している場合にはステップ１４０４へ進む。
【０１１５】
ステップ１４０４では、通信ヘッダ付加ユニット１０４より受信したパケットの領域ヘッダを参照して、その領域ヘッダ中のカメラ識別番号が、パケット要求管理テーブル１３１８に格納されている視点位置識別番号を含む所定範囲内の視点位置識別情報に該当するかどうかを調べ、該当する場合には、そのパケットは利用者端末９０５で必要となる部分画像を含むパケットであると判定してステップ１４０５へ進む。ここで前記所定範囲は、パケット選択ユニット９０１では大まかな範囲が設定され、パケット選択ユニット９０４では絞り込まれた範囲が設定されているものとし、例えば、大まかな範囲としてパケット要求管理テーブル１３１８中の視点位置識別番号の前後数十％の範囲、絞り込んだ範囲としてパケット要求管理テーブル１３１８中の視点位置識別番号の前後数％の範囲等を設定しておくものとする。
【０１１６】
ステップ１４０５では、前記必要となる部分画像を含むものとして判定されたパケットをパケット要求管理テーブル１３１８中の視点位置識別番号に対応付けられたポートから送出し、そのパケットを中継ノード９０２または利用者端末９０５へ伝送する。
【０１１７】
パケット選択ユニット９０１から中継ノード９０２へパケットが伝送された場合、中継ノード９０２は、パケット選択ユニット９０１からパケットを受信し、その通信ヘッダを参照して伝送経路を判定した後、そのパケットを中継ノード９０３経由でパケット選択ユニット９０４へ伝送する。
【０１１８】
パケット選択ユニット９０４から利用者端末９０５へパケットが伝送された場合、利用者端末９０５は、パケット選択ユニット９０４からパケットを受信し、その領域ヘッダを参照して画像データを領域識別番号順に並べ替えて合成し、その視点位置での画像を生成してディスプレイ装置やスピーカ等の出力装置へ出力し、利用者へ任意視点画像を提供する。
【０１１９】
またステップ１４０４で調べた結果、利用者端末９０５で必要となる部分画像を含むパケットであると判定されなかった場合にはステップ１４０６へ進み、その不要なパケットを破棄する処理を行う。
【０１２０】
以上説明した様に本実施形態の任意視点画像伝送装置によれば、伝送経路上で段階的にパケットの選択を行うので、利用者に近い末端の伝送帯域を節約すると共に、利用者の視点移動に対する画像生成の応答性を犠牲にすること無く、任意視点画像を生成する為の画像データの伝送を行うことが可能である。
【０１２１】
（実施形態３）
以下に直交変換を含む符号化処理の最小単位若しくはその集合を部分画像の分割単位とする実施形態３の任意視点画像伝送装置について説明する。
【０１２２】
本実施形態においては、図１の画像分割ユニット１０２における画像分割処理において、画像を分割するだけでなく符号化処理を行い、パケットのデータサイズを圧縮することで、伝送に必要な帯域を小さくする。
【０１２３】
図１５は本実施形態の画像の分割・符号化処理の概要を示す図である。図中、ブロック化処理１１０１ではディジタル画像全体をブロックと呼ばれる部分画像に分割し、直交変換処理１１０２では、例えば離散フーリエ変換（ＤＦＴ）や離散コサイン変換（ＤＣＴ）により直交変換を施し、量子化処理１１０３では、直交変換後の変換係数に符号化ビット数を周波数成分毎に適応的に配分し、領域ヘッダ付加処理１１０４にて領域ヘッダ付加して、それ以降の処理に結果を出力する。
【０１２４】
図１６は本実施形態の画像の符号化における直交変換のブロックと、パケット分割における部分画像の関係の一例を示す図である。図１６において、１２０１は直交変換の１ブロックを示しており、ブロック毎に符号化処理を行い、領域ヘッダを付加することで１２０２の様なパケットを生成する。
【０１２５】
この様に、パケット化する為の画像の分割の単位を直交変換におけるブロックと一致させることで、画像全体を直交変換により符号化する場合と比較しても、符号化の圧縮効率が低下しない様にすることができる。
【０１２６】
なお、本発明における直交変換は、上記の例で示したＤＦＴとＤＣＴに限定されるものではなく、他の基底を用いた直交変換も含まれるものとする。また、本発明は、直交変換の複数ブロックに対して１つのパケットを生成する場合も含むものとし、例えば図１６の１２０３の様にパケットをまとめる形態を取りうるものとする。更に、本発明における符号化処理は、直交変換に限定されるものではなく、画像を部分領域毎に区切って符号化する方式一般に適用されるものとする。
【０１２７】
以上説明した様に本実施形態の任意視点画像伝送装置によれば、直交変換を含む符号化処理の最小単位若しくはその集合を部分画像の分割単位とするので、画像全体を符号化した場合と比較して圧縮効率を落とすこと無く画像の分割を行うことが可能である。
【０１２８】
（実施形態４）
以下に利用者の所望する視点位置の移動範囲を予測し、その範囲内の視点位置での画像生成に必要なパケットを選択する実施形態４の任意視点画像伝送装置について説明する。
【０１２９】
前述の通り、利用者端末１０７からパケット選択ユニット１０５に画像生成に必要となるパケットを要求し、それから実際にパケットを受信するまでにはタイムラグがある為、その間に利用者端末１０７で所望する視点位置が移動することがあり得る。
【０１３０】
本実施形態では、パケットの伝送遅延とその間の視点移動を想定して、予め視点が移動する範囲を予測し、その範囲内の視点位置での画像を生成するのに必要なパケットを利用者端末１０７から要求する。パケット選択ユニット１０５では、利用者端末１０７からのパケット要求１０８を受け取り、前記予測された範囲内の視点位置での画像生成に必要なパケットを選択して伝送する。ここで前記予測処理をパケット選択ユニット１０５で行うものとしても良い。
【０１３１】
図１７は本実施形態のパケットの伝送期間中に移動する視点の範囲を推定し、その範囲での画像生成に必要なパケットを算出して要求する処理の処理手順を示すフローチャートである。図中、ステップ１３０１では現時点での視点位置を取得し、ステップ１３０２でパケットの伝送遅延△ｔを実測若しくは推定により求め、ステップ１３０３で△ｔの間にされる視点移動の範囲を推定し、ステップ１３０４でその視点の範囲で画像を生成するのに必要なカメラの部分画像を含むパケットを算出し、ステップ１３０５で算出したパケットをパケット選択ユニットに要求する。
【０１３２】
ここで、ステップ１３０３における視点移動範囲の推定は、例えば以下に示すカルマンフィルタのアルゴリズムにより△ｔ後の視点位置を推定することで求めることができる。
【０１３３】
まず、時刻ｔにおける仮想視点の状態を、数１に示す６つのパラメータからなるベクトルで表す。
【数１】
2004193941.tif 000003
【０１３４】
ここで、［ｘ，ｙ，ｚ］Ｔは３次元デカルト座標系における仮想視点位置、［ｘ，ｙ，ｚ］Ｔの変数ｘ，ｙ，ｚに記号“・”が付けられたものは、その速度を表している。このとき、状態量の最適な推定値と一期先予測値は、以下に述べるカルマンフィルタにより計算することができる。
【０１３５】
まず、システムモデルは数２で記述できるものとする。
【数２】
2004193941.tif 000004
【０１３６】
ここで、ｗｔは系に加わる６次元の外乱ベクトルで、平均が０、共分散がＱｔ、で既知であるものとする。また、Ｆは状態の推移行列を表し、次の６×６の行列であるものとする。
【０１３７】
【数３】
2004193941.tif 000005
【０１３８】
一方、時刻ｔでの観測値は次の数４で表される。
【数４】
2004193941.tif 000006
ここで、Ｈは６×６の単位行列とし、ｖｔは６次元の推定誤差ベクトルで、平均が０、共分散がＲｔで既知であるものとする。
【０１３９】
ｗｔ、ｖｔは共に独立な離散化された正規白色雑音で、状態量Ｘｔとも独立である場合、以上のモデルによるカルマンフィルタのアルゴリズムは、以下の様になる。
【０１４０】
すなわち、
［フィルタリング］
【数５】
2004193941.tif 000007
【数６】
2004193941.tif 000008
【数７】
2004193941.tif 000009
【０１４１】
［一期先予測］
【数８】
2004193941.tif 000010
【数９】
2004193941.tif 000011
【０１４２】
［初期値］
【数１０】
2004193941.tif 000012
【０１４３】
数５〜数７により、状態量の最適な推定値更新処理を行う。また、一期先予測値を数８及び数９により計算する。
【０１４４】
以上がカルマンフィルタによる視点移動の推定法であるが、本発明は、このアルゴリズムを用いた推定法に限定されるものではないものとする。
【０１４５】
以上説明した様に本実施形態の任意視点画像伝送装置によれば、利用者の所望する視点位置の移動範囲を予測し、その範囲内の視点位置での画像生成に必要なパケットを選択するので、伝送帯域を必要最小限に節約することが可能である。
【０１４６】
【発明の効果】
本発明によれば、複数の領域の部分画像に分割された画像データの内、利用者の所望する視点位置の画像を生成するのに必要な部分画像を選択して伝送するので、実時間コミュニケーション、ライブ配信やストリーミング放送等、処理時間の要求が厳しいネットワーク・アプリケーションで利用者の所望する視点位置からの画像である任意視点画像を提供する場合において、伝送帯域を節約しつつも、利用者からの視点移動の要求に対する応答性を犠牲にすること無く、利用者の人数が増えても安定して、任意視点画像を生成する元となる複数の視点位置から操影した画像データを伝送することができる。
【図面の簡単な説明】
【図１】実施形態１の任意視点画像伝送装置の処理概要を示す図である。
【図２】実施形態１の任意視点画像伝送装置の概略構成を示す図である。
【図３】実施形態１の画像分割及びヘッダ付加処理の処理手順を示すフローチャートである。
【図４】実施形態１のパケット選択処理の処理手順を示すフローチャートである。
【図５】実施形態１のカメラと画像分割ユニットの接続の一形態を示す図である。
【図６】実施形態１の階層的なパケット選択処理の一例を示す図である。
【図７】実施形態１のＯＳＩ参照モデルにおける複数のレイヤへの通信ヘッダの付加処理の一例を示す図である。
【図８】実施形態１の通信ヘッダの付加処理を上位レイヤと下位レイヤで分割し、領域ヘッダ付加処理の前後にパケット選択処理を配置する場合の一例を示す図である。
【図９】実施形態１のパケット選択ユニット、ネットワーク、利用者端末に至る処理の流れの一例を示す図である。
【図１０】実施形態１の利用者端末からの視点位置入力を元に必要なパケットを算出し、パケット選択ユニット７０１に要求する処理の一例を示す図である。
【図１１】実施形態２の任意視点画像伝送装置の処理概要を示す図である。
【図１２】実施形態２の伝送路における利用者端末９０５の間近で行われるパケット選択処理の一例を示す図である。
【図１３】実施形態２の任意視点画像伝送装置９００及び９１０の概略構成を示す図である。
【図１４】実施形態２のパケット選択処理の処理手順を示すフローチャートである。
【図１５】実施形態３の画像の分割・符号化処理の概要を示す図である。
【図１６】実施形態３の画像の符号化における直交変換のブロックと、パケット分割における部分画像の関係の一例を示す図である。
【図１７】実施形態４のパケットの伝送期間中に移動する視点の範囲を推定し、その範囲での画像生成に必要なパケットを算出して要求する処理の処理手順を示すフローチャートである。
【符号の説明】
１０１…カメラ、１０２…画像分割ユニット、１０３…領域ヘッダ付加ユニット、１０４…通信ヘッダ付加ユニット、１０５…パケット選択ユニット、１０６…ネットワーク、１０７…利用者端末、１０８…パケット要求、２１０…任意視点画像伝送装置、２１１…ＣＰＵ、２１２…メモリ、２１３…磁気ディスク装置、２１４…入力装置、２１５…出力装置、２１６…ＣＤ−ＲＯＭ装置、２１７…通信装置、２１８…パケット要求管理テーブル、２０１…カメラ、２０２…画像分割ユニット、４０１〜４０３…階層、５０１…領域ヘッダ付加ユニット、５０２及び５０３…通信ヘッダ付加ユニット、５０４…パケット選択ユニット、６０１…領域ヘッダ付加ユニット、６０２…下位レイヤ通信ヘッダ付加ユニット、６０３…パケット選択ユニット、６０４…上位レイヤ通信ヘッダ付加ユニット、７０１…パケット選択ユニット、７０２〜７０４…利用者端末、７０６…入力パケット、７０７及び７０８…選択パケット、７０９…破棄パケット、７１０及び７１１…ポート、７１２〜７１７…中継ノード、８０１…利用者端末、８０２…必要パケット算出ユニット、８０３…パケット選択ユニット、９００及び９１０…任意視点画像伝送装置、９０１及び９０４…パケット選択ユニット、９０２及び９０３…中継ノード、９０５…利用者端末、９０８…パケット要求、１３０１…ＣＰＵ、１３０２…メモリ、１３０３…磁気ディスク装置、１３０４…入力装置、１３０５…出力装置、１３０６…ＣＤ−ＲＯＭ装置、１３０７…通信装置、１３１１…ＣＰＵ、１３１２…メモリ、１３１３…磁気ディスク装置、１３１４…入力装置、１３１５…出力装置、１３１６…ＣＤ−ＲＯＭ装置、１３１７…通信装置、１３１８…パケット要求管理テーブル、１１０１…ブロック化処理、１１０２…直交変換処理、１１０３…量子化処理、１１０４…領域ヘッダ付加処理、１２０１…ブロック、１２０２…パケット、１２０３…パケット。
【図１】
2004193941.tif 000013
【図２】
2004193941.tif 000014
【図３】
2004193941.tif 000015
【図４】
2004193941.tif 000016
【図５】
2004193941.tif 000017
【図６】
2004193941.tif 000018
【図７】
2004193941.tif 000019
【図８】
2004193941.tif 000020
【図９】
2004193941.tif 000021
【図１０】
2004193941.tif 000022
【図１１】
2004193941.tif 000023
【図１２】
2004193941.tif 000024
【図１３】
2004193941.tif 000025
【図１４】
2004193941.tif 000026
【図１５】
2004193941.tif 000027
【図１６】
2004193941.tif 000028
【図１７】
2004193941.tif 000029