(57)【要約】【課題】CTやMRI等の医療用画像診断機器により得られた３次元医用画像データの遠隔観察に好適な立体視画像観察装置を提供する。【解決手段】ボリュームデータからレンダリング画像を生成する共有サーバ１と、レンダリング画像に基づいて立体視画像を表示する複数のクライアント端末２とがネットワーク３を介して相互に接続されている。共有サーバ１は、レンダリングパラメータに応じたレンダリング処理をボリュームデータに対して実施し、レンダリング画像を生成して各クライアント端末へ送信する。共有サーバ１はさらに、観察条件の変更要求をクライアント端末２から受信すると、この変更要求に応答してレンダリングパラメータを変更し、改めてレンダリング処理を実施する。この結果、一のクライアント端末から入力された観察条件の変更要求に応答して、全てのクライアント端末において立体視画像の観察条件が変更される。【選択図】図１
2006101329.tif 000002
【特許請求の範囲】
【請求項１】
３次元の画素配置を持つボリュームデータから立体視用のレンダリング画像を生成する共有サーバと、立体視用のレンダリング画像に基づいて立体視画像を表示する少なくとも一つのクライアント端末とが、ネットワークを介して相互に接続された立体視画像観察装置において、
前記共有サーバが、
ボリュームデータを蓄積する手段と、
少なくとも視点情報を含むレンダリングパラメータを設定する手段と、
前記レンダリングパラメータに応じたレンダリング処理をボリュームデータに対して実施し、レンダリング画像を生成する手段と、
前記レンダリング画像をクライアント端末へ送信する手段と、
観察条件の変更要求を前記クライアント端末から受信する手段と、
前記変更要求に応答してレンダリングパラメータの設定を変更する手段とを含み、
前記各クライアント端末が、
レンダリング画像を共有サーバから受信する手段と、
前記レンダリング画像に基づいて立体視画像を表示する手段と、
前記立体視画像の観察条件の変更要求を入力する操作子と、
前記変更要求を共有サーバへ送信する手段とを含み、
一のクライアント端末から入力された観察条件の変更要求に応答して、当該一のクライアント端末を含む全てのクライアント端末において立体視画像の観察条件が変更されることを特徴とする立体視画像観察装置。
【請求項２】
前記共有サーバがさらに、
観察条件に関する変更要求の内容を予測する手段と、
前記予測結果に応じたレンダリング処理をボリュームデータに対して実施し、レンダリング予測画像を生成する手段と、
前記レンダリング予測画像を記憶する手段と、
受信された観察条件の変更要求に合致したレンダリング予測画像が前記記憶手段に既登録であると、前記既登録のレンダリング予測画像をレンダリング画像として送信する手段とを含むことを特徴とする請求項１に記載の立体視画像観察装置。
【請求項３】
前記共有サーバおよび各クライアント端末がTV会議機能を備え、
前記共有サーバは、各クライアント端末で検知されたTV会議情報を収集し、これらを合成して全てのクライアント端末へ配信することを特徴とする請求項１または２に記載の立体視画像観察装置。
【請求項４】
３次元の画素配置を持つボリュームデータから生成されたレンダリング画像に基づいて立体視画像を表示する一対の端末が、ネットワークを介してピア・ツー・ピアで接続された立体視画像観察装置において、
前記各ピア・ツー・ピア端末が、
ボリュームデータを蓄積する手段と、
少なくとも視点情報を含むレンダリングパラメータを設定する手段と、
前記レンダリングパラメータに応じたレンダリング処理をボリュームデータに対して実施し、レンダリング画像を生成する手段と、
前記レンダリング画像に基づいて立体視画像を表示する手段と、
観察条件の変更要求を相手端末から受信する手段と、
前記立体視画像の観察条件の変更要求を入力する操作子と、
前記各観察条件の変更要求に応答して前記レンダリングパラメータの設定を変更する手段と、
前記操作子から入力された観察条件の変更要求を相手端末へ送信する手段とを含み、
一方のピア・ツー・ピア端末から入力された観察条件の変更要求に応答して、当該一方および他方のピア・ツー・ピア端末において立体視画像の観察条件が変更されることを特徴とする立体視画像観察装置。
【請求項５】
前記各ピア・ツー・ピア端末がさらに、
観察条件に関する変更要求の内容を予測する手段と、
前記予測結果に応じたレンダリング処理をボリュームデータに対して実施し、レンダリング予測画像を生成する手段と、
前記レンダリング予測画像を記憶する手段と、
受信または入力された観察条件の変更要求に合致したレンダリング予測画像が前記記憶手段に既登録であると、前記既登録のレンダリング予測画像に基づいて立体視画像を表示することを特徴とする請求項４に記載の立体視画像観察装置。
【請求項６】
前記各ピア・ツー・ピア端末がTV会議機能を備え、
一方のピア・ツー・ピア端末は、他方のピア・ツー・ピア端末で検知されたTV会議情報を収集し、これを再生することを特徴とする請求項４または５に記載の立体視画像観察装置。
【請求項７】
前記レンダリング画像を生成する手段が、
前記ボリュームデータを空間上の第１視点から見込んだ２次元の第１レンダリング画像を生成する第１レンダリング処理部と、
前記ボリュームデータを前記第１視点とは異なる第２視点から見込んだ２次元の第２レンダリング画像を生成する第２レンダリング処理部とを含み、
前記第１および第２レンダリング画像のペアをレンダリング画像とする２眼式であることを特徴とする請求項１ないし６のいずれかに記載の立体視画像観察装置。
【請求項８】
前記レンダリング画像を生成する手段が、
前記第１および第２レンダリング処理部を複数組備え、視点の異なる複数の第１および第２レンダリング画像のペアをレンダリング画像とする多眼式であることを特徴とする請求項７に記載の立体視画像観察装置。
【請求項９】
前記第１レンダリング画像に対する第２レンダリング画像の差分を求める手段をさらに具備し、前記第１レンダリング画像および前記差分のペアをレンダリング画像とすることを特徴とする請求項７または８に記載の立体視画像観察装置。
【請求項１０】
３次元の画素配置を持つボリュームデータからレンダリング画像を生成する共有サーバと、レンダリング画像に基づいて立体視画像を表示する少なくとも一つのクライアント端末とが、ネットワークを介して相互に接続された立体視画像観察装置の共有サーバにおいて、
ボリュームデータを蓄積する手段と、
少なくとも視点情報を含むレンダリングパラメータを設定する手段と、
前記レンダリングパラメータに応じたレンダリング処理をボリュームデータに対して実施し、レンダリング画像を生成する手段と、
前記レンダリング画像をクライアント端末へ送信する手段と、
観察条件の変更要求を前記クライアント端末から受信する手段と、
前記変更要求に応答してレンダリングパラメータの設定を変更する手段とを含むことを特徴とする立体視画像観察装置の共有サーバ。
【請求項１１】
前記共有サーバがさらに、
観察条件に関する変更要求の内容を予測する手段と、
前記予測結果に応じたレンダリング処理をボリュームデータに対して実施し、レンダリング予測画像を生成する手段と、
前記レンダリング予測画像を記憶する手段と、
受信された観察条件の変更要求に合致したレンダリング予測画像が前記記憶手段に既登録であると、前記既登録のレンダリング予測画像をレンダリング画像として送信する手段とを含むことを特徴とする請求項１０に記載の立体視画像観察装置の共有サーバ。
【請求項１２】
３次元の画素配置を持つボリュームデータからレンダリング画像を生成する共有サーバと、レンダリング画像に基づいて立体視画像を表示する少なくとも一つのクライアント端末とが、ネットワークを介して相互に接続された立体視画像観察装置のクライアント端末において、
レンダリング画像を受信する手段と、
前記レンダリング画像に基づいて立体視画像を表示する手段と、
前記立体視画像の観察条件の変更要求を入力する操作子と、
前記観察条件の変更要求を共有サーバへ送信する手段とを含むことを特徴とする立体視画像表示装置のクライアント端末。
【請求項１３】
３次元の画素配置を持つボリュームデータから生成されたレンダリング画像に基づいて立体視画像を表示する一対の端末が、ネットワークを介してピア・ツー・ピアで接続された立体視画像観察装置のピア・ツー・ピア端末において、
ボリュームデータを蓄積する手段と、
少なくとも視点情報を含むレンダリングパラメータを設定する手段と、
前記レンダリングパラメータに応じたレンダリング処理をボリュームデータに対して実施し、レンダリング画像を生成する手段と、
前記レンダリング画像に基づいて立体視画像を表示する手段と、
観察条件の変更要求を相手端末から受信する手段と、
前記立体視画像の観察条件の変更要求を入力する操作子と、
前記各観察条件の変更要求に応答して前記レンダリングパラメータの設定を変更する手段と、
前記操作子から入力された観察条件の変更要求を相手端末へ送信する手段とを含むことを特徴とする立体視画像観察装置のピア・ツー・ピア端末。
【請求項１４】
前記ピア・ツー・ピア端末がさらに、
観察条件に関する変更要求の内容を予測する手段と、
前記予測結果に応じたレンダリング処理をボリュームデータに対して実施し、レンダリング予測画像を生成する手段と、
前記レンダリング予測画像を記憶する手段とを含み、
受信または入力された観察条件の変更要求に合致したレンダリング予測画像が前記記憶手段に既登録であると、前記既登録のレンダリング予測画像に基づいて立体視画像を表示することを特徴とする請求項１３に記載の立体視画像観察装置のピア・ツー・ピア端末。
【請求項１５】
少なくとも一つのクライアント端末とネットワークを介して接続された共有サーバが、３次元の画素配置を持つボリュームデータからレンダリング画像を生成する方法において、
ボリュームデータを蓄積する手順と、
少なくとも視点情報を含むレンダリングパラメータを設定する手順と、
前記レンダリングパラメータに応じたレンダリング処理をボリュームデータに対して実施し、レンダリング画像を生成する手順と、
前記レンダリング画像を前記クライアント端末へ送信する手順と、
観察条件の変更要求を前記クライアント端末から受信する手順と、
前記変更要求に応答してレンダリングパラメータの設定を変更する手順とを含むことを特徴とするレンダリング画像生成方法。
【請求項１６】
前記観察条件に関する変更要求の内容を予測する手順と、
前記予測結果に応じたレンダリング処理をボリュームデータに対して実施し、レンダリング予測画像を生成する手順と、
前記レンダリング予測画像を登録する手順と、
受信された観察条件の変更要求に合致したレンダリング予測画像が既登録であると、前記既登録のレンダリング予測画像をレンダリング画像として送信する手順とを含むことを特徴とする請求項１５に記載のレンダリング画像生成方法。
【請求項１７】
クライアント端末が、３次元の画素配置を持つボリュームデータから生成されたレンダリング画像を共有サーバから受信して立体視画像を表示する方法において、
レンダリング画像を受信する手順と、
前記レンダリング画像に基づいて立体視画像を表示する手順と、
前記立体視画像の観察条件の変更要求を入力する手順と、
前記観察条件の変更要求を前記共有サーバへ送信する手順とを含むことを特徴とする立体視画像表示方法。
【請求項１８】
ピア・ツー・ピアで接続された各端末で、３次元の画素配置を持つボリュームデータから生成されたレンダリング画像に基づいて立体視画像を表示する方法において、
ボリュームデータを蓄積する手順と、
少なくとも視点情報を含むレンダリングパラメータを設定する手順と、
前記レンダリングパラメータに応じたレンダリング処理をボリュームデータに対して実施し、レンダリング画像を生成する手順と、
前記レンダリング画像に基づいて立体視画像を表示する手順と、
観察条件の変更要求を相手端末から受信する手順と、
前記立体視画像の観察条件の変更要求を入力する手順と、
前記各観察条件の変更要求に応答して前記レンダリングパラメータの設定を変更する手順と、
前記入力された観察条件の変更要求を相手端末へ送信する手順とを含むことを特徴とする立体視画像表示方法。
【請求項１９】
前記観察条件に関する変更要求の内容を予測する手順と、
前記予測結果に応じたレンダリング処理をボリュームデータに対して実施し、レンダリング予測画像を生成する手順と、
前記レンダリング予測画像を登録する手順とを含み、
受信または入力された観察条件の変更要求に合致したレンダリング予測画像が既登録であると、前記既登録のレンダリング予測画像に基づいて立体視画像を表示することを特徴とする請求項１８に記載の立体視画像表示方法。
【請求項２０】
請求項１５または１６に記載のレンダリング画像生成方法を共有サーバに実行させるためのレンダリング画像生成プログラム。
【請求項２１】
請求項２０に記載のレンダリング画像生成プログラムを共有サーバによる読み出し可能に記憶したレンダリング画像生成プログラムの記憶媒体。
【請求項２２】
請求項１７ないし１９のいずれかに記載の立体視画像表示方法をコンピュータに実行させるための立体視画像表示プログラム。
【請求項２３】
請求項２２に記載の立体視画像表示プログラムをコンピュータによる読み出し可能に記憶した立体視画像表示プログラムの記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末に係り、特に、CTやMRI等の医療用画像診断機器により得られた３次元医用画像データの遠隔観察に好適な立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末に関する。
【背景技術】
【０００２】
CTやMRI等の医療用画像診断機器により得られた３次元の画素配置をもつ医用画像データ（以下、ボリュームデータと表現する）に光の透過係数などを設定し、陰影を追加することで立体的な2次元CG画像を作成するレンダリング技術が確立されている。また、立体視表示が行える表示装置を用いることにより、単に2次元画像ではなく、視点の空間座標が異なる2つの画像を右眼と左眼別々に入力することができ、奥行きを持った立体的な空間として視覚的に認識される。
【０００３】
これまでの立体視の方法として一般的なものは、左眼用と右眼用の2種類の画像を用いる２眼式立体視である。例えば動画の世界では、２つのプロジェクターを使って左右で直交させた偏光フィルターを通した映像を投射し、それを同じく偏光フィルターを使っためがねで見るポラライザー方式が普及している。この他にも、毎秒３０フレームというビデオ映像のフレームごとに左右別々の映像を画面に表示させ、それに同期させた液晶メガネで右の映像が映っているときは左目をブラックアウトさせるという方法で立体映像をつくり出す技術もある。また近年では、ディスプレイの表面にスリットを配し、視聴者の見る位置に合わせて異なる画像が見える多眼式立体視と呼ばれるものがある。
【０００４】
一方、医療用ボリュームデータをレンダリングして表示する装置としては、表示装置に蓄積してあるボリュームデータをレンダリングする形態のものと、表示装置とは別のサーバ装置に存在するボリュームデータをサーバ上でレンダリングし、結果を表示装置に伝送し表示する形態のものがある。医療用ボリュームレンダリングは、特許文献１に開示されている。
【特許文献１】特開２００４−１８７７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
同一のボリュームデータを遠隔配置された複数の表示端末に表示させて同時に観察しようとする際、特に医療分野では、各表示端末にTV会議システム等のコミュニケーションツールを併設し、各表示端末の観察者が互いにコミュニケーションをとりながら観察を行えるシステムが必要とされている。さらに、このような観察システムでは、いずれかの表示端末において視点変更等の観察条件を変更する操作が行われると、これが当該表示端末のみならず他の全ての表示端末にも反映され、各表示端末には同一視点から見込んだ同一画像が常に表示されるようにすることが望ましい。しかしながら、従来の観察システムでは、一の表示端末で行われた観察条件の変更を他の表示端末に反映させることができなかった。
【０００６】
本発明の目的は、上記した従来技術の課題を解決し、同一のボリュームデータを複数の表示端末で観察する立体視画像観察装置において、いずれかの表示端末において視点等の観察条件が変更されると、これが全ての表示端末に反映され、全ての表示端末において常に同一画像の観察が可能になる立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末、レンダリング画像生成方法および立体視画像表示方法ならびにそのプログラムおよび記憶媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明は、３次元の画素配置を持つボリュームデータから生成されたレンダリング画像に基づいて、複数の表示端末に立体視画像を表示する立体視画像観察装置を対象とし、一の表示端末において観察条件の変更が要求されると、当該一の表示端末は、自身がサーバ／クライアントモデルのクライアント端末であれば、ボリュームデータをレンダリングして各端末へ供給する共有サーバに対してレンダリングコマンドを送信し、レンダリングパラメータの変更を要求する。共有サーバは、変更されたレンダリングパラメータに基づいて再レンダリングを実施し、レンダリング画像を改めて全クライアント端末へ送信するので、一の表示端末で行われた観察条件の変更を他の表示端末に反映させることができる。
【０００８】
また、前記一の表示端末は、自身が相手端末とピア・ツー・ピアで接続されるピア・ツー・ピア端末であれば、自端末から観察条件の変更が要求されると、自身のレンダリングパラメータを変更すると共に、相手端末に対してレンダリングコマンドを送信し、レンダリングパラメータの変更を要求する。この結果、自端末および相手端末の双方において、同一のボリュームデータに対して同一のレンダリングパラメータに応じたレンダリング処理が実施されるので、自端末で行われた観察条件の変更を相手端末に反映させることができる。
【発明の効果】
【０００９】
本発明によれば、以下のような効果が達成される。
(1)ボリュームデータから立体視用のレンダリング画像を生成する共有サーバと、立体視用のレンダリング画像に基づいて立体視画像を表示する少なくとも一つのクライアント端末とがネットワークを介して相互に接続された立体視画像観察装置において、いずれかのクライアント端末において視点等の観察条件が変更されると、これが全ての表示端末に反映されるので、全ての端末において常に同一画像の観察が可能になる。
(2)ボリュームデータから生成されたレンダリング画像に基づいて立体視画像を表示する一対の端末が、ネットワークを介してピア・ツー・ピアで接続された立体視画像観察装置において、一方の端末において視点等の観察条件が変更されると、これが他方の端末に反映されるので、各端末において常に同一画像の観察が可能になる。
(3)観察条件の変更内容を予測して予めレンダリング予測画像を生成しておき、観察条件の変更が要求されると、この要求に合致したレンダリング予測画像が既登録であれば、レンダリング処理を実施することなく当該レンダリング予測画像を出力するので、処理時間の短縮が可能になる。
(4)各端末同士がTV会議機能を利用して相互に通話できるので、立体視画像を観察しながらリアルタイムでコミュニケーションを取ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の好ましい実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る立体視画像観察装置の構成を示したブロック図であり、ここでは、３次元の画素配置を持つボリュームデータから立体視用のレンダリング画像を生成する共有サーバ１と、この共有サーバ１上でボリュームデータを共有し、その立体視画像を同一視点で表示する複数のクライアント端末２とがネットワーク３を介して接続され、サーバ・クライアント型のシステムを構成している。
【００１１】
図２は、前記共有サーバ１の主要部の構成を示したブロック図であり、ボリュームデータのデータベース(DB)１０１には、３次元空間上の各点が値を有する状態をモデル化した各種のボリュームデータが蓄積されている。このボリュームデータDB１０１上では、各ボリュームデータが識別情報で一義的に管理されている。レンダリング処理部１０２は、制御部１００から提供される、少なくとも視点情報を含むレンダリングパラメータに応じて、前記ボリュームデータに対してレンダリング処理を実施し、視点の異なる複数のレンダリング画像を生成する。
【００１２】
送信画像バッファ１０３には、前記レンダリング処理部１０２から出力される複数のレンダリング画像が一時的に保持される。圧縮・暗号化処理部１０４は、前記送信画像バッファ１０３からレンダリング画像を読み出して符号化圧縮すると共に、必要に応じて暗号化処理を施す。画像送信部１０５からは、レンダリング画像の符号化データが全てのクライアント端末２に向けて送信される。
【００１３】
コマンド受信部１０６は、レンダリングパラメータを変更するためにクライアント端末２から送信されるレンダリングコマンドや、TV会議への参加を希望するクライアント端末２から送信されるのTV会議接続要求コマンドを受信する。前記制御部１００は、受信されたレンダリングコマンドに基づいてレンダリングパラメータを変更し、前記レンダリング処理部１０２に対して、変更後のレンダリングパラメータによる再レンダリングを指示する。
【００１４】
接続端末リスト１０７には、TV会議接続を許可するクライアント端末２の識別情報が予め登録されている。認証部１０８は、前記TV会議接続要求を送信したクライアント端末２の識別情報が前記接続端末リスト１０７に既登録であるか否かに基づいて認証を行い、権限を有するクライアント端末２からの接続要求であれば、これを許可する。TV会議情報配信部１０９は、各クライアント端末２から送信されたTV会議映像およびTV会議音声を受信し、これらを合成した後に全てのクライアント端末２へ配信する。
【００１５】
図３は、前記レンダリング処理部１０２の構成を示したブロック図であり、ここでは、二眼式を例にして説明する。
【００１６】
レンダリング処理部１０２は、ボリュームデータを空間上の任意の視点xから見込んだ２次元のレンダリング画像（右眼画像）を作成する第１レンダリング処理部１４１ａと、前記視点xを右眼視点としたときに、当該視点xとは僅かに離間されて左眼視点となる他の視点x’から同じボリュームデータを見込んだ２次元のレンダリング画像（左眼画像）を作成する第２レンダリング処理部１４１ｂとを含む。これ以後、立体視画像を表現するために必要な第１および第２レンダリング画像のペアを単にレンダリング画像と表現する場合もある。前記各視点x，x’の座標位置は、レンダリングパラメータの一部として制御部１００から提供される。前記第１および第２レンダリング処理部１４１ａ，１４１ｂでは、視点以外に関しては同一のレンダリングパラメータを用いてレンダリングが行われる。
【００１７】
図４は、前記レンダリング処理部１０２の他の構成を示したブロック図であり、上記した左右一対のレンダリング処理部１４１（１４１ａ，１４１ｂ）を複数組設け、それぞれに異なる視点から見込んだレンダリング画像を生成する多眼式の構成を示している。なお、上記した２眼式および多眼式のいずれにおいても、第１および第２レンダリング画像をそのまま出力するのではなく、例えば第１レンダリング画像に対する第２レンダリング画像の差分データを求め、第１レンダリング画像および差分データのペアを立体視用のレンダリング画像として出力するようにしても良い。
【００１８】
図５は、前記クライアント端末２の構成を示したブロック図であり、いずれのクライアント端末も同一または同等の構成を備えている。
【００１９】
レンダリング通信部２１２は、前記共有サーバ１の画像送信部１０５およびコマンド受信部１０６と通信し、共有サーバ１から送信されるレンダリング画像の受信、および共有サーバ１へのレンダリングコマンドの送信を制御する。画像デコーダ２０７は、受信されたレンダリング画像の符号化データを復号化して左右一対のレンダリング画像を再生する。なお、レンダリング画像が第１レンダリング画像（右眼画像）および差分データのペアであれば、第１レンダリング画像と差分データとに基づいて第２レンダリング画像（左眼画像）が再生される。立体視画像表示装置２０２は、前記左右一対のレンダリング画像に基づいて立体視画像を表示する。
【００２０】
入力操作子２０１は、マウス、キーボードあるいはジョイスティック等の入力装置であり、オペレータは入力操作子２０１を適宜に操作することにより、前記立体視画像表示装置２０２に表示されている立体視画像の視点変更、カッティングライン変更、画像の拡大や縮小、あるいは色調、明度、コントラストの変更、CT画像であればCT値や透過度の変更といった観察条件の変更を行うことができる。コマンド生成部２０６は、前記入力操作子２０１に対する操作に基づいて観察条件の変更要求を検知し、この観察条件に応じてレンダリングパラメータの変更を共有サーバ１に対して要求するためのレンダリングコマンドを生成する。このレンダリングコマンドは、前記レンダリング通信部２１２から共有サーバ１へ送信される。
【００２１】
TV会議通信部２１３は前記共有サーバ１のTV会議情報配信部１０９と通信し、TV会議映像およびTV会議音声の送受信を制御する。音声デコーダ２０９は、共有サーバ１を経由して受信されるTV会議音声をデコードしてスピーカ２０３で再生させる。マイク２０４で検知されたTV会議音声は、音声エンコーダ２１０でエンコードされた後にTV会議通信部２１３から共有サーバ１へ送信される。カメラ２０５で撮影されたTV会議映像は、映像エンコーダ２１１でエンコードされた後にTV会議通信部２１３から共有サーバ１へ送信される。
【００２２】
図６，７は、本実施形態の動作を示したフローチャートであり、図６は共有サーバ１の動作を示し、図７は各クライアント端末２の動作を示している。ここでは、レンダリング処理部１０２が二眼式である場合を例にして説明する。
【００２３】
共有サーバ１では、図６のステップＳ１において、制御部１００からレンダリング処理部１０２へ、ボリュームデータ識別子およびレンダリングパラメータを含むレンダリング開始指令が出力される。ステップＳ２では、前記レンダリング処理部１０２において、前記ボリュームデータ識別子に対応したボリュームデータに対して、前記レンダリングパラメータに応じた条件でレンダリング処理が実施され、立体視画像を表現するために必要な２つのレンダリング画像が生成される。
【００２４】
ステップＳ３では、前記レンダリング画像が送信画像バッファ１０３を経由して圧縮・暗号化処理部１０４へ出力される。ステップＳ４では、前記レンダリング画像が符号化圧縮されると共に、必要に応じてさらに暗号化され、ステップＳ５において、画像送信部１０５から全てのクライアント端末２へ送信される。ステップＳ６では、いずれかのクライアント端末２から送信されるレンダリングコマンドの受信に備えて待機する。
【００２５】
クライアント端末２では、図７のステップＳ５１において、前記共有サーバ１から送信されたレンダリング画像の符号化データがレンダリング通信部２１２で受信されると、ステップＳ５２では、この符号化データが画像デコーダ２０７で復号化される。ステップＳ５３では、復号化されたレンダリング画像が立体視表示装置２０２へ出力され、その画面上に立体視画像が可視表示される。
【００２６】
ステップＳ５４では、前記コマンド生成部２０６において、観察条件に関する変更要求の有無が判定される。ここで、クライアント端末２のオペレータが、表示されている立体視画像を異なる視点から観察するために前記入力操作子２０１を操作すると、これが観察条件の変更要求と判定されてステップＳ５５へ進む。ステップＳ５５では、要求された視点から見込んだレンダリング画像の生成を要求するレンダリングコマンドが、前記コマンド生成部２０６において生成される。ステップＳ５６では、前記レンダリングコマンドがレンダリング通信部２１２から共有サーバ１へ送信される。
【００２７】
図６へ戻り、共有サーバ１では、ステップＳ６において前記レンダリングコマンドが受信されると、ステップＳ７では、制御部１００においてレンダリングパラメータが変更され、レンダリング処理部１０２に対して、変更後のレンダリングパラメータに基づく再レンダリングが指示される。
【００２８】
その後、当該処理はステップＳ２へ戻り、前記変更されたレンダリングパラメータに基づいてレンダリング処理が改めて実施され、ステップＳ５において、新たに生成されたレンダリング画像が各クライアント端末２へ送信される。この結果、本実施形態では一のクライアント端末２における視点変更が、他の全てのクライアント端末２に反映されるので、全てのクライアント端末２において立体視画像を常に同一視点から観察できるようになる。
【００２９】
図８は、本発明の第２実施形態に係る共有サーバ１の主要部の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００３０】
本実施形態では、観察条件の変更内容を予測する変更予測部１００ａを制御部１００に設けると共に、その予測結果に基づいて生成されたレンダリング予測画像を記憶する予測画像バッファ１１０を設けた点に特徴がある。前記変更予測部１００ａは、現在のレンダリングパラメータと前回以前の少なくとも一つのレンダリングパラメータとに基づいて、次回以降に受信するレンダリングコマンドで設定されるレンダリングパラメータを予測する。レンダリング処理部１０２は、前記レンダリングパラメータの予測結果に基づいてレンダリング画像を予め生成し、これを予測画像バッファ１１０へ蓄積する。
【００３１】
図９は、本実施形態における共有サーバ１の動作を示したフローチャートであり、前記と同一の符号を付したステップでは、前記と同一または同等の処理が実施される。
【００３２】
本実施形態では、ステップＳ５においてレンダリング画像の送信を完了するとステップＳ８へ進み、レンダリングパラメータの予測結果に基づくレンダリング予測画像の生成およびその蓄積が既に完了しているか否かが判定される。最初は完了していないと判定されるので、ステップＳ９のレンダリング予測処理へ進む。
【００３３】
図１０は、前記レンダリング予測処理の手順を示したフローチャートであり、ステップＳ９１では、これまでに受信されたレンダリングコマンドで設定されたレンダリングパラメータの履歴に基づいて、次回以降に設定されるレンダリングパラメータが予測される。本実施形態では、視点を変更するレンダリングコマンドが受信されていれば、視点に関する現在のレンダリングパラメータと、前回以前の少なくとも一つのレンダリングパラメータとに基づいて、次回以降の視点に関するレンダリングパラメータが、外挿、内挿あるいは二次回帰等の適宜の数学的演算に基づいて予測される。ステップＳ９２では、前記レンダリングパラメータの予測結果に基づいてレンダリング処理が実施され、前記予測結果に応じたレンダリング予測画像が生成される。ステップＳ９３では、前記生成されたレンダリング予測画像が予測画像バッファ１１０に蓄積される。
【００３４】
なお、このレンダリング予測処理は、ステップＳ９１で予測パラメータや予測アルゴリズムを変更しながら繰り返し実行され、レンダリングパラメータの変更を要求するレンダリングコマンドが新たに受信されるか、あるいはレンダリングコマンドが受信されなくても所定数のレンダリング予測画像の蓄積が完了すると終了し、図９のステップＳ６へ戻る。
【００３５】
その後、いずれかのクライアント端末２から送信されたレンダリングコマンドがステップＳ６で受信されると、ステップＳ１０では、受信したレンダリングコマンドで指定されるレンダリングパラメータで予めレンダリングされた予測画像が前記予測画像バッファ１１０に既登録であるか否かが判定される。未登録と判定されればステップＳ７へ進み、上記した第１実施形態と同様に、制御部１００においてレンダリングパラメータがレンダリングコマンドに基づいて変更され、レンダリング処理部１０２に対して、変更後のレンダリングパラメータに基づく再レンダリングが指示される。
【００３６】
これに対して、レンダリング画像が予測画像バッファ１１０に既登録であればステップＳ１１へ進み、当該レンダリング予測画像が予測画像バッファ１１０から抽出され、ステップＳ３，４，５において全てのクライアント端末２へ送信される。
【００３７】
本実施形態によれば、共有サーバ１がレンダリングパラメータの履歴に基づいて今後の推移を予測し、待機時間を利用してレンダリング予測画像を予め生成するので、レンダリングコマンドに応答した立体視画像を表示させるための応答時間を短縮できるようになる。
【００３８】
図１１は、本発明の第３実施形態に係る立体視画像観察装置の構成を示したブロック図であり、ここでは、一組の端末４がネットワーク３を介してピア・ツー・ピアで接続されている。
【００３９】
図１２は、前記ピア・ツー・ピア(P2P)端末４の主要部の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００４０】
本実施形態では、各P2P端末４が立体視画像表示装置２０２と共にボリュームデータDB１０１，レンダリング処理部１０２を備え、制御部２００は、相手端末とレンダリングコマンドおよびボリュームデータ識別子を交換して両者のレンダリングパラメータおよび観察対象のボリュームデータを整合させる。レンダリング処理部１０２は、制御部２００によって指定されるボリュームデータ識別子に対応したボリュームデータを前記ボリュームデータDB１０１から読み出し、これにレンダリングパラメータにしたがってレンダリング処理を実施する。生成されたレンダリング画像は、自身の立体視画像表示装置２０２において立体視画像として表示される。
【００４１】
図１３は、本実施形態の動作を示したフローチャートであり、ステップＳ６１では、各P2P端末４のボリュームデータDB１０１に、観察対象のボリュームデータが蓄積される。このボリュームデータは、ネットワーク３上のサーバ（図示せず）から各端末４が独自に取得しても良いし、あるいは一方の端末４のボリュームデータDB１０１に既に蓄積されているボリュームデータならば、これを読み出して相手のP2P端末へ提供するようにしても良い。
【００４２】
ステップＳ６２では、レンダリングパラメータをP2P端末間で整合させる処理が実行され、各P2P端末４に同一のレンダリングパラメータが設定される。ステップＳ６３では、前記ボリュームデータDB１０１に蓄積されているボリュームデータに対して前記設定されたレンダリングパラメータに応じたレンダリング処理が実施され、上記した第１実施形態と同様にレンダリング画像が生成される。ステップＳ６４では、前記レンダリング画像が立体視画像表示装置２０２へ出力され、各P2P端末４の画面上に同一視点の立体視画像が表示される。
【００４３】
ステップＳ６５，Ｓ６９では、観察条件に関する変更要求の有無が判定され、ステップＳ６５では、前記コマンド生成部２０６において、自端末のオペレータによる観察条件の変更要求の有無が判定される。自端末のオペレータが、表示されている立体視画像を異なる視点から観察するために前記入力操作子２０１を操作すると、これが観察条件の変更要求と判定されてステップＳ６６へ進む。ステップＳ６６では、オペレータが要求している視点に合わせてレンダリングパラメータが変更される。
【００４４】
ステップＳ６７では、前記オペレータが要求している視点に対応したレンダリング画像の生成を要求するレンダリングコマンドが、前記コマンド生成部２０６において生成される。ステップＳ６８では、前記レンダリングコマンドがレンダリング通信部２１から相手端末へ送信される。
【００４５】
相手のP2P端末４では、ステップＳ６９において前記レンダリングコマンドが受信されると、ステップＳ７０では、制御部１００においてレンダリングパラメータが変更される。その後、いずれのP2P端末４でも当該処理はステップＳ６３へ戻るので、前記変更後のレンダリングパラメータに基づいてレンダリング処理が再度実施され、前記オペレータが要求している視点から見込んだ立体視画像が立体視画像表示装置２０２へ表示されることになる。
【００４６】
このように、本実施形態では一方のP2P端末４における視点変更が、自端末のみならず他方のP2P端末４にも反映されるので、各P2P端末において立体視画像を常に同一視点から観察できるようになる。
【００４７】
図１４は、本発明の第４実施形態に係るピア・ツー・ピア端末４の主要部の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００４８】
本実施形態では、制御部２００にレンダリングパラメータに関する変更予測部２００ａを設けると共に、レンダリングパラメータの予測結果に基づいて生成されたレンダリング予測画像を記憶する予測画像バッファ１１０を設けた点に特徴がある。前記変更予測部２００ａは、現在のレンダリングパラメータと前回以前の少なくとも一つのレンダリングパラメータとに基づいて、次回以降のレンダリングパラメータを予測する。レンダリング処理部１０２は、前記レンダリングパラメータの予測結果に基づいてレンダリング画像を生成し、これを予測画像バッファ１１０へ蓄積する。
【００４９】
図１５は、本実施形態の動作を示したフローチャートであり、前記と同一の符号を付したステップでは、前記と同一または同等の処理が実施される。
【００５０】
本実施形態では、ステップＳ６４においてレンダリング画像の表示を完了するとステップＳ６５へ進み、前記コマンド生成部２０６において、観察条件に関する変更要求の有無が判定される。ここで、P2P端末４のオペレータが、表示されている立体視画像を異なる視点から観察するために前記入力操作子２０１を操作すると、これが観察条件の変更要求と判定されてステップＳ６６へ進む。ステップＳ６６では、オペレータが要求している視点に合わせてレンダリングパラメータが変更される。ステップＳ６７では、前記オペレータが要求している視点に対応したレンダリング画像の生成を相手端末４に要求するレンダリングコマンドが、前記コマンド生成部２０６において生成される。ステップＳ６８では、前記レンダリングコマンドがレンダリング通信部２１から相手端末４へ送信される。
【００５１】
ステップＳ９５では、変更後のレンダリングパラメータでレンダリングされた予測画像が前記予測画像バッファ１１０に既登録であるか否かが判定される。未登録と判定されればステップＳ６３へ戻り、制御部１００からレンダリング処理部１０２に対して、変更後のレンダリングパラメータに基づく再レンダリングが指示される。
【００５２】
これに対して、レンダリング画像が予測画像バッファ１１０に既登録であればステップＳ９６へ進み、当該レンダリング予測画像が予測画像バッファ１１０から抽出され、ステップＳ６４へ戻って表示される。
【００５３】
一方、前記ステップＳ６５において、自端末のオペレータによる観察条件の変更要求が検知されていないとステップＳ６９へ進み、レンダリングコマンドの受信の有無が判定される。ここで、相手端末から送信されたレンダリングコマンドが受信されると、ステップＳ７０では、制御部１００においてレンダリングパラメータが変更される。ステップＳ９７では、変更後のレンダリングパラメータでレンダリングされた予測画像が前記予測画像バッファ１１０に既登録であるか否かが判定される。未登録と判定されればステップＳ６３へ戻り、制御部１００からレンダリング処理部１０２に対して、変更後のレンダリングパラメータに基づく再レンダリング処理が指示される。
【００５４】
これに対して、レンダリング画像が予測画像バッファ１１０に既登録であればステップＳ９８へ進み、当該レンダリング予測画像が予測画像バッファ１１０から抽出され、ステップＳ６４へ戻って表示される。
【００５５】
なお、前記ステップＳ６９において、レンダリングコマンドが受信されていないと判定されればステップＳ８へ進み、上記した第２実施形態と同様に、待機時間を利用してレンダリング予測画像が生成され、前記予測画像バッファ１１０に登録される。
【００５６】
本実施形態によれば、各P2P端末４がレンダリングパラメータの履歴に基づいて今後の推移を予測し、待機時間を利用してレンダリング予測画像を予め生成するので、レンダリングコマンドに応答した立体視画像を表示させるための応答時間を短縮できるようになる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１実施形態に係る立体視画像観察装置のブロック図である。
【図２】共有サーバの主要部の構成を示したブロック図である。
【図３】レンダリング処理部の構成（二眼式）を示したブロック図である。
【図４】レンダリング処理部の構成（多眼式）を示したブロック図である。
【図５】クライアント端末の構成を示したブロック図である。
【図６】第１実施形態における共有サーバの動作を示したフローチャートである。
【図７】第１実施形態におけるクライアント端末の動作を示したフローチャートである。
【図８】発明の第２実施形態に係る共有サーバの主要部の構成を示したブロック図である。
【図９】第２実施形態における共有サーバの動作を示したフローチャートである。
【図１０】レンダリング予測処理の手順を示したフローチャートである。
【図１１】第３実施形態に係る立体視画像観察装置の構成を示したブロック図である。
【図１２】ピア・ツー・ピア端末の主要部の構成を示したブロック図である。
【図１３】第３実施形態におけるピア・ツー・ピア端末の動作を示したフローチャートである。
【図１４】第４実施形態に係るピア・ツー・ピア端末の構成を示したブロック図である。
【図１５】第４実施形態におけるピア・ツー・ピア端末の動作を示したフローチャートである。
【符号の説明】
【００５８】
１…共有サーバ，２…クライアント端末，３…ネットワーク，４…ピア・ツー・ピア(P2P)端末，１００…制御部，１０１…ボリュームデータDB，１０２…レンダリング処理部，１０３…送信画像バッファ，１０４…圧縮・暗号化処理部，１０５…画像送信部，１０６…コマンド受信部，１０７…接続端末リスト，１０８…認証部，１０９…TV会議情報配信部
【図１】
2006101329.tif 000003
【図２】
2006101329.tif 000004
【図３】
2006101329.tif 000005
【図４】
2006101329.tif 000006
【図５】
2006101329.tif 000007
【図６】
2006101329.tif 000008
【図７】
2006101329.tif 000009
【図８】
2006101329.tif 000010
【図９】
2006101329.tif 000011
【図１０】
2006101329.tif 000012
【図１１】
2006101329.tif 000013
【図１２】
2006101329.tif 000014
【図１３】
2006101329.tif 000015
【図１４】
2006101329.tif 000016
【図１５】
2006101329.tif 000017