(57)【特許請求の範囲】
【請求項１】
異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像生成システムにおいて、
放射線源と、
該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置と、
複数の前記透過投影画像に基づいて立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得し、該提示パラメータに基づいて、前記各透過投影画像を撮影する際の前記放射線源と前記撮像装置との相対位置を制御する制御装置とを有し、
前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする立体画像生成システム。
【請求項２】
異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像生成システムにおいて、
放射線源と、
該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置と、
前記放射線源と前記撮像装置との相対位置を変化させて前記撮像装置に複数の前記透過投影画像を撮影させる制御装置と、
前記複数の透過投影画像を記憶する記憶装置と、
立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得し、該提示パラメータに応じて複数の仮想線源位置を決定する仮想線源位置決定装置と、
前記記憶装置に記憶された前記複数の透過投影画像から前記仮想線源位置に対応した透過投影画像を選択又は生成し、該選択又は生成された透過投影画像に基づいて前記提示装置に前記立体画像を提示させるための処理を行う処理装置とを有し、
前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする立体画像生成システム。
【請求項３】
前記制御装置は、前記立体画像を観察する視点の移動許容範囲に基づいて、前記各透過投影画像を撮影する際の前記放射線源と前記撮像装置との相対移動範囲を決定することを特徴とする請求項２に記載の立体画像生成システム。
【請求項４】
前記制御装置は、前記立体画像の画質要求レベルに応じて、前記各透過投影画像を撮影する際の前記放射線源と前記撮像装置との相対位置を決定することを特徴とする請求項２又は３に記載の立体画像生成システム。
【請求項５】
放射線源と、該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置とを有し、異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像生成システムの制御方法であって、
複数の前記透過投影画像に基づいて立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得するパラメータ取得ステップと、
該提示パラメータに基づいて、前記各透過投影画像を撮影する際の前記放射線源と前記撮像装置との相対位置を制御する制御ステップとを有し、
前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする立体画像生成システムの制御方法。
【請求項６】
放射線源と、該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置とを有し、異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像提示システムの制御方法であって、
前記放射線源と前記撮像装置との相対位置を変化させて前記撮像装置に複数の前記透過投影画像を撮影させる撮像ステップと、
前記複数の透過投影画像を記憶する記憶ステップと、
立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得し、該提示パラメータに応じて複数の仮想線源位置を決定する仮想線源位置決定ステップと、
前記記憶された複数の透過投影画像のうち前記仮想線源位置に対応した透過投影画像を選択し、該選択された透過投影画像に基づいて前記提示装置に前記立体画像を提示させるための処理を行う処理ステップとを有し、
前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする立体画像生成システムの制御方法。
【請求項７】
前記撮像ステップにおいて、前記立体画像を観察する視点の移動許容範囲に基づいて、前記各透過投影画像を撮影する際の前記放射線源と前記撮像装置との相対移動範囲を決定することを特徴とする請求項６に記載の立体画像生成システムの制御方法。
【請求項８】
前記撮像ステップにおいて、前記立体画像の画質要求レベルに応じて、前記各透過投影画像を撮影する際の前記放射線源と前記撮像装置との相対位置を決定することを特徴とする請求項６又は７に記載の立体画像生成システムの制御方法。
【請求項９】
請求項５から８のいずれか１つに記載の制御方法をコンピュータに実行させるためのプログラムであることを特徴する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放射線を用いたオブジェクトの透過投影像の撮影および撮影画像の立体提示を行うシステムに関するものである。
【背景技術】
【０００２】
X線による観察物体（オブジェクト）の透過投影像の撮影は、医療診断等において多く行われている。但し、得られる画像が投影像の撮影画像であるため、放射線が透過した部位の全ての情報が重畳されてしまい、病変部位の3次元空間上での分布を把握しにくいというデメリットがある。
【０００３】
これに対して、X線による透過投影像の撮影をオブジェクトに対してその全方位から行い、データを再構成することにより３次元ボクセルデータを取得し、画像レンダリング技術を用いて任意のスライス面に関する断層像を表示する技術も開発されている。この技術によれば、病変部位の3次元空間上での位置を容易に把握することができる。但し、データ再構成におけるアーティファクトの混入が課題であり、撮影像の解像度に比べて再構成像の解像度が低くなるというデメリットがある。
【０００４】
これらの技術のデメリットを解消する手法として、いわゆる「ステレオ観察」がある。このステレオ観察では、透過投影像を直接観察するため、解像度の高い像を観察できるというメリットがある上、視差を用いた立体視により、病変部位の立体的な奥行き配置を把握し易いというメリットもある。
【０００５】
このようなステレオ観察用の画像提示に応用できる立体画像提示システムとして、特許文献１にて提案されたものがある。この立体画像提示システムでは、放射線源が任意形状の面内で移動し、時分割で複数の視点からの画像（視差画像）を撮影する。そして、任意の２つの視差画像を対応する２視点から観察することにより、立体像を観察することができる。
【０００６】
但し、直接画像をステレオ観察することに対しては、その難易度に個人差がある。このため、誰でも容易にステレオ観察が可能とするための立体ディスプレイデバイスを用いることが考えられる。このような立体ディスプレイデバイスを用いたステレオ観察による医療診断方法も学会にて提案されている（非特許文献１参照）。
【０００７】
また、通常のデジタル写真技術の分野では、自由に選択した視点の画像生成を行うことのできる技術として、光線補間手法のようなイメージベースドレンダリングに基づいた任意視点画像生成技術が発表されている（特許文献２，非特許文献２）。
【特許文献１】特開２０００−２８７９５８号公報（段落００１０〜００２０、図１等）
【特許文献２】特開９−２４５１９２号公報（段落００１７〜００３３、図２〜１２等）
【非特許文献１】萬代奈都子,３次元ディスプレイを用いた新しい胸部X線撮影法，日本放射線技術学会中部部会平成１２年度中部部会誌,Vol.3 No.1 2001)
【非特許文献２】”Light Field Rendering,Marc Levoy et.al.,Proc.SIGGRAPH’96”
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、立体ディスプレイデバイスやプリンタ等、立体視可能な画像（以下、立体画像という）を出力する提示装置には様々な方式のものがある。そして、これらの提示装置間で同じような立体感が得られるようにするためには、それぞれの提示装置の特徴を考慮してトライアンドエラー方式で透過投影像を撮影する必要がある。
【０００９】
例えば、立体ディスプレイ間の視点数の違い、入出力画角の比の変化、提示可能な視差の限界値、光線射出方式の違い等の専門的な事項を考慮して撮影を行う必要がある。したがって、このような立体ディスプレイに関する専門知識を有さない者が撮影を行うと、得られる立体画像の立体感がまちまちになり、観察者に与える印象が変化してしまう。つまり、自然な立体感の像を提示するためには、立体ディスプレイのパラメータを考慮し、さらには撮像装置のパラメータをも考えてオブジェクトの撮像を行わなければならない。
【００１０】
また、任意視点画像生成技術を透過投影画像の立体表示に応用する場合にも、通常の立体画像表示の場合と同様に、立体ディスプレイデバイスの表示パラメータ、観察視点となり得る仮想視点位置および撮像装置の撮像パラメータを考慮して複数の仮想線源位置を算定し、これら仮想線源位置に対する透過投影画像を生成する必要がある。このため、上記技術を単純に応用しても、期待する立体感を持つ立体画像がなかなか得られない。
【００１１】
さらに、ある範囲内にて自由に仮想視点位置を変更できるようにした任意視点画像生成を実現するためには、その準備として、複数の線源位置に放射線源を移動させて撮影した元画像群を蓄積しておく作業が必要となる。しかし、この作業において、線源位置の選択指針が存在しないために、過剰な枚数の元画像を撮影してしまい、オブジェクトの被爆線量を増加させてしまったり、撮影に過剰な時間がかかってしまったり、余計なストレージの記憶容量もしくは写真部材を消費してしまうという問題が考えられる。一方、元画像の枚数が少なすぎると、得られる立体画像の品質低下が問題となる。
【００１２】
本発明は、様々な提示装置を用いても容易に自然な立体感を有する立体画像を提示することができ、また効率良く高品質の任意視点画像生成を行えるようにした立体画像生成システムおよびその制御方法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明では、異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像生成システムにおいて、放射線源と、該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置と、複数の前記透過投影画像に基づいて立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得し、該提示パラメータに基づいて、前記各透過投影画像を撮影する際の前記放射線源と前記撮像装置との相対位置を制御する制御装置とを有し、前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする。
【００１４】
また、本発明の別の側面では、異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像生成システムにおいて、放射線源と、該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置と、前記放射線源と前記撮像装置との相対位置を変化させて前記撮像装置に複数の前記透過投影画像を撮影させる制御装置と、前記複数の透過投影画像を記憶する記憶装置と、立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得し、該提示パラメータに応じて複数の仮想線源位置を決定する仮想線源位置決定装置と、前記記憶装置に記憶された前記複数の透過投影画像から前記仮想線源位置に対応した透過投影画像を選択又は生成し、該選択又は生成された透過投影画像に基づいて前記提示装置に前記立体画像を提示させるための処理を行う処理装置とを有し、前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする。
【００１５】
また、本発明の別の側面では、放射線源と、該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置とを有し、異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像提示システムの制御方法であって、前記放射線源と前記撮像装置との相対位置を変化させて前記撮像装置に複数の前記透過投影画像を撮影させる撮像ステップと、前記複数の透過投影画像を記憶する記憶ステップと、立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得し、該提示パラメータに応じて複数の仮想線源位置を決定する仮想線源位置決定ステップと、前記記憶された複数の透過投影画像のうち前記仮想線源位置に対応した透過投影画像を選択し、該選択された透過投影画像に基づいて前記提示装置に前記立体画像を提示させるための処理を行う処理ステップとを有し、前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする。
【００１６】
また、本発明の別の側面では、放射線源と、該放射線源からの放射線によるオブジェクトの透過投影画像を撮影する撮像装置とを有し、異なる提示装置に対して、立体画像を提示するために必要な複数の視点の画像を生成するための立体画像提示システムの制御方法であって、前記放射線源と前記撮像装置との相対位置を変化させて前記撮像装置に複数の前記透過投影画像を撮影させる撮像ステップと、前記複数の透過投影画像を記憶する記憶ステップと、立体画像を提示する提示装置毎に固有のパラメータを含む提示パラメータを取得し、該提示パラメータに応じて複数の仮想線源位置を決定する仮想線源位置決定ステップと、前記記憶された複数の透過投影画像のうち前記仮想線源位置に対応した透過投影画像を選択し、該選択された透過投影画像に基づいて前記提示装置に前記立体画像を提示させるための処理を行う処理ステップとを有し、前記固有のパラメータは、前記提示装置における観察視点数、観察距離、両眼視点間隔、画角、観察立体度およびズーム率のうち少なくとも１つに関連した値を含むことを特徴とする。
【発明の効果】
【００１７】
上記第１の立体画像生成システムおよびその制御方法によれば、透過投影画像の撮影に際して、提示装置の性能や観察者の提示要求等を示す提示パラメータに合わせて放射線源と撮像装置とが相対移動することにより、様々な提示装置を用いても容易に自然な立体感を有する立体画像を提示することができる。
【００１８】
また、上記第２の立体画像生成システムおよびその制御方法によれば、撮影記憶された複数の透過投影画像の中から、提示装置の性能や観察者の提示要求等を示す提示パラメータに合った画像を選択し、該選択された画像に基づいて立体画像が提示されるので、様々な提示装置を用いても容易に自然な立体感を有する任意視点画像を生成することができる。
【００１９】
さらに、立体画像を観察する視点の移動許容範囲に基づいて各透過投影画像を撮影する際の放射線源と撮像装置との相対移動範囲を決定したり、立体画像の画質要求レベルに応じて各透過投影画像を撮影する際の放射線源と撮影装置との相対位置を決定したりするようにすれば、効率良く撮像を行い、かつ所定レベル以上の品質の立体画像を提示することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２１】
図２には、本発明の実施例１である立体画像生成システムの構成を示す。図２において、２０１は放射線（例えば、Ｘ線）による透過投影像を電気信号に変換することにより撮像する放射線撮像ユニットである。該撮像ユニット２０１は、図３に示すように、放射線受光素子を備えた撮像装置３０１と、該撮像装置３０１に対して移動可能な放射線源３０３とにより構成されている。放射線源３０３は、位置３０４，３０５，３０６…へと移動することができる。
【００２２】
なお、本実施例では、放射線源３０３を平面内で移動させる場合について説明するが、放射線源を２次曲面上で移動させるようにしてもよい。また、本実施例では、１つの放射線源３０３を移動させて撮像装置３０１との相対位置関係を変更可能としているが、複数の放射線源を平面もしくは２次曲面上に配置し、放射線を発する放射線源を選択することにより撮像装置３０１との相対位置関係を変更可能としてもよい。さらに、放射線源を、撮像装置の受光面に対して垂直な方向に移動させるようにしてもよい。
【００２３】
３０２は撮影対象となるオブジェクトである。放射線源３０３から射出された放射線は、オブジェクト３０２を透過して変調され、撮像装置３０１の受光面上にてその強度が検出される。受光素子は該強度に応じた電気信号を出力し、撮像装置は、該電気信号に所定の処理を施すことによって透過投影画像データを生成する。放射線源３０３を順次移動させて取得された透過投影画像データは、放射線源３０３の各位置（線源位置）に対応した視差画像データとして出力される。
【００２４】
図２において、２０２は立体画像処理装置であり、入力された複数の視差画像データを立体画像として表示するのに適切なデータに変換し、画像信号もしくは画像データとして立体ディスプレイ２０６に送る。また、立体画像処理装置２０２は、撮像システム２０１の制御装置も兼ねており、さらに後述する制御パラメータに合った線源位置の計算も行う。立体画像処理装置２０２は、例えば汎用のエンジニアリングワークステーション、パーソナルコンピュータにより構成される。
【００２５】
２０３は入出力装置であり、撮影済みの透過投影画像データやこれを合成した立体画像データを出力したり、以前に撮影した透過投影画像データを入力したりする。また、立体ディスプレイ２０６における立体表示に関する固有の提示パラメータとしての立体表示パラメータである視点数や想定観察距離に関する情報がファイルデータとして与えられる場合には、この入出力装置２０３を通じて入力される。入出力装置２０３は、フロッピー（登録商標）ディスク、ＭＯ（登録商標）、ＺＩＰ（登録商標）、ＣＤ−ＲＯＭ、ＣＦカード（登録商標）やスマートメディア（登録商標）等の固定記録メディアに記録されたデータを読み書きする。
【００２６】
入出力装置２０３はまた、ネットワークにつながれたイーサーネット等のネットワークポート、放送によるデータ配信の受信および無線交信を行うアンテナおよび受信機や送信機により構成してもよい。これにより、透過投影画像データや立体表示パラメータデータをネットワークを介して取得することができる。
【００２７】
また、入出力装置２０３は、立体ディスプレイ２０６に画像信号を送信するために結線されたケーブルを含む。さらに、入出力装置２０３は、立体ディスプレイ２０６のファームウェアデータから立体表示パラメータを取り出すことが可能なデータバスを含んでもよい。
【００２８】
操作ディスプレイ２０４は、立体画像処理装置２０２の表示部であり、立体画像処理装置２０２が撮影者又は観察者から対話的に立体画像変換や表示のために必要な情報を取得したり、該情報の取得をアシストしたりするための表示を行う。さらに、立体画像処理装置２０２の処理状況や操作メニューを表示したり、画像変換の結果である多視差画像群を表示したり、時分割で立体表示画像も表示したりする。なお、操作ディスプレイ２０４は、ＣＲＴや液晶パネル等を用いた普通のディスプレイにより構成される。
【００２９】
２０５は操作入力部であり、マウス、キーボード、ジョイスティック等により構成される。撮影者又は観察者は、操作ディスプレイ２０４上に表示されたメニュー画像を見ながら操作メニューを選択したりデータを入力したりする。操作ディスプレイ２０４がタッチパネルである場合には、該操作ディスプレイ２０４が操作入力部２０５の機能も有する。
【００３０】
提示装置としての立体ディスプレイ２０６は、立体画像処理装置２０２による変換後の立体画像（視差画像群）を表示する。この立体ディスプレイ２０６は、パララクスバリアやレンチキュラレンズアレイ等、各視差画像からの光線を所定の観察位置（視点）に向かうように方向付ける光線方向制御部材を用いた立体表示専用のディスプレイである。
【００３１】
なお、特開平１０−２３２６６５号公報にて提案のディスプレイのように、２次元ディスプレイ機能と３次元ディスプレイ機能とを選択できる場合には、操作ディスプレイ２０４の機能を併せ持たせることができる。この場合、立体表示画像のみ３次元表示し、立体表示画像以外のデータは２次元表示する等、任意の使い分けを行うことができる。
【００３２】
２０７は提示装置としてのプリンタであり、立体画像処理装置２０２で変換、合成された立体画像を印刷する。プリンタ２０７は、紙やフィルム等の通常媒体に印刷する汎用のプリンタに限らず、レンチキュラシートやインテグラルフォトシート等、立体画像を表示するための偏向光学素子に印刷するプリンタや、多視差画像を入力としてホログラム情報に変換し立体情報を印刷する、ホログラフィックステレオグラムプリンタ等、立体画像印刷を目的としたプリンタにより構成される。
【００３３】
このプリンタ２０７は、通常、視点数や想定観察距離について、立体ディスプレイ２０６の立体表示パラメートとは異なる立体印刷パラメータ（提示パラメータ）を持つ。すなわち、立体ディスプレイ２０６の立体表示パラメータとは異なる立体印刷パラメータにより立体画像のプリントデータを変換合成する。
【００３４】
２０８はネットワーク上のデータベースであり、入力ソースとなる多視差画像データファイルや、各種提示装置に対応する提示パラメータデータをキーワードに関連付けて保存している。
【００３５】
次に、立体画像処理装置２０２の内部ブロックの構成を説明する。２０２１は、立体画像処理装置２０２の全体の制御を司る中央演算ユニット（ＣＰＵ）である。
【００３６】
２０２２は大容量記憶装置であり、入出力装置２０３等により読み込まれた視差画像群を保存したり、視差画像群から立体表示用に変換した後の立体画像データ等を保存したりする。該記憶装置２０２２は、ハードディスク等の固定記憶メディアにより構成するのが好ましい。また、大容量記憶装置２０２２は、立体表示パラメータに関するデータベースを記憶することができる。
【００３７】
２０２３は主記憶装置であり、ＲＡＭ等で構成される。この主記憶装置２０２３は、入力された多視差画像データや立体表示パラメータを記憶したり、変換後の立体画像データを大容量記憶装置２０２２に記憶もしくは入出力装置２０３から出力する前に一時的に記憶したりする。
【００３８】
次に、以上のように構成された立体画像生成システムの動作の流れを、図４のフローチャートを用いて説明する。
【００３９】
立体画像生成システムは、立体画像生成モードとして、リアルタイムモードと蓄積・再生モードとを有する。リアルタイムモードでは、表示したい立体画像の特性に応じた透過投影画像（視差画像）群を撮影し、これら視差画像群を用いて立体画像データを生成して立体画像を提示（表示又は印刷）する。蓄積・再生モードでは、予め所定数の放射線源位置に対応した透過投影画像の撮影および蓄積（記憶）を行い、その後、再生したい立体画像の特性に合った放射線源位置等に対応する透過投影画像を蓄積データ内から選択し、該選択した透過投影画像を用いて立体画像の変換処理を実施して立体画像を提示する。なお、蓄積・再生モードにおいて、再生したい立体画像の特性に合った放射線源位置に対応する透過投影画像が蓄積データ内に存在しない場合には、該立体画像の特性に合った放射線源位置に対応する透過投影画像に基づいて新たな透過投影画像を生成し、これを変換処理するようにしてもよい。
【００４０】
以下、実施例１として、上記リアルタイムモードにより主として立体ディスプレイ２０６に立体画像を表示させる場合に関する立体画像処理装置２０２（特にＣＰＵ２０２１）の動作について説明する。なお、以下の処理は、コンピュータプログラムとしての画像処理プログラムに従って実行される。
【００４１】
図４のステップＳ４０１は、立体表示パラメータの変更確認ステップである。立体表示パラメータは、１もしくは複数の立体画像を表示するための透過投影画像を撮影する際の放射線源の放射回数、位置（間隔）および放射方向を決定するために用いられる。
【００４２】
ここで、立体表示パラメータは、立体ディスプレイ２０６に固有のパラメータである視点数、想定観察距離、画角、両眼観察画像ステップ（両眼視点間隔）、表示立体度限界範囲等を含む。また、立体表示パラメータは、立体ディスプレイ２０６を観察する観察者の好みによって適宜調整されるパラメータである表示ズーム率、表示立体度等を含む。さらに、立体表示パラメータは、被写体となるオブジェクトの存在範囲も含む。
【００４３】
ＣＰＵ２０２１は、これらの立体表示パラメータを、操作ディスプレイ２０４のコンソール画面に表示された値を参照しながら若しくは立体ディスプレイ２０６に表示された立体画像を観察しながら観察者が操作入力部２０５を通じて入力した値を取り込んだり、入出力装置２０３を通じて立体表示パラメータセットを含むファイルを読み込んだりすることにより取得する。
【００４４】
なお、撮像動作中に立体表示パラメータの素早い取得を可能にしたり、速やかなパラメータ更新を可能にしたりするため、立体画像処理装置２０２内の主記憶装置２０２３上に表示パラメータを展開しておくようにしてもよい。
【００４５】
以下、上記立体表示パラメータのうち主たるパラメータについて説明する。立体ディスプレイの視点数とは、観察者の眼球をある適切な観察位置に置いた際に、立体ディスプレイにより観察することが可能な像の種類の最大数のことであり、撮影する視差画像の数に対応する。観察者が互いに視差を有する２つの視差画像を両眼で観察することにより、１つの立体画像が観察される。
【００４６】
想定観察距離とは、その立体ディスプレイにおいて想定される、立体画像の観察に最適な立体ディスプレイと視点間の距離である。想定観察距離は立体ディスプレイの設計パラメータであり、通常は、異機種の立体ディスプレイ間で異なる。想定観察距離で最も立体画像の見え方が良くなるように、視点の幅等が最適化されている。
【００４７】
画角とは、立体ディスプレイ２０６の表示面の大きさと想定観察距離との比である。
【００４８】
両眼観察画像ステップは、観察者の左右の眼により観察される２つの視差画像間の距離である。図５には、想定観察距離は同じであるが、視点間の間隔が異なる立体ディスプレイを示す。図５（Ｂ）に示す立体ディスプレイでは、図５（Ａ）に示す立体ディスプレイに比べて視点数が多く、視点間隔は狭い。
【００４９】
本実施例の立体ディスプレイは、水平方向（場合によってはこれに加えて垂直方向）について、等基線長間隔で撮影した３つ以上の視差画像を、立体ディスプレイ固有の視点数分並列表示することで、３つ以上の多視点からの立体画像観察を可能とする。また、図５（Ｂ）の立体ディスプレイでは、同じ視差画像からの光線を複数の視点に導くことで、複数の観察者による同じ立体画像の同時観察を可能としている。
【００５０】
図５（Ａ），（Ｂ）の立体ディスプレイにおいて、５０１は立体ディスプレイの表示面、５０２は観察者の眼球である。５０５は視点であり、実際には見えない。視点５０５の右側に記載された１〜５までの数字は視点の番号を示している。同じ番号の視点には、同一の視差画像からの光線が導かれる。
【００５１】
５０３は左眼（Ｌ）で観察される視差画像（図５（Ａ）では視点３に対応する視差画像、図５（Ｂ）では視点５に対応する視差画像）、５０４は右眼（Ｒ）で観察される視差画像（図５（Ａ），（Ｂ）とも視点２に対応する視差画像）である。
図５（Ａ）の立体ディスプレイでは、視点１，視点２，…視点５の５つの視点のうち隣接した視点に対応する視差画像が左右の眼により観察される。これに対し、図５（Ｂ）の立体ディスプレイでは、視点１，視点２，…視点５に対応する５つの視差画像を空間中に循環的に提示しており、その分、図５（Ａ）の立体ディスプレイと比較して視点分離幅（視点間隔）が狭い。このため、左眼で観察される視差画像が視点２に対応し、右眼で観察される視差画像が視点５に対応するというように、２視点分飛んだ視差画像が左右の眼により観察される。このようにある観察距離において、両眼により観察される視差画像間の視差量の関係を、両眼観察画像ステップとして表す。
【００５２】
図５（Ｂ）の場合、図５（Ａ）と同一の基線長間隔で撮影された視差画像群を表示したとすると、両眼にて観察される視差画像間の基線長の関係が、図５（Ａ）の場合の３倍となるため、図５（Ａ）に比べて、飛び出し量および沈み込み量が３倍の立体感を与えることになる。したがって、同一の視差画像群から構成される立体画像を同一の幾何配置で観察したとしても、同じ立体感が得られないという問題を生じる。このため、同じ立体感を得るには、両眼観察画像ステップを考慮した画像表示、つまりは画像撮影が必要となる。なお、この両眼観察画像ステップも立体ディスプレイの設計パラメータであり、通常、異機種の立体ディスプレイ間で異なる。
【００５３】
また、立体ディスプレイが、レンチキュラやインテグラルフォト等の表示方式に基づく場合、表示面を基準とした観察距離や観察者の眼の空間的位置の変化により、両眼観察画像ステップが変化する。このような場合、観察者の眼の位置の大きな変動に対応するため、両眼観察画像ステップは、観察者の眼の位置の座標パラメータを引数とする関数もしくはテーブルとして与えられる。この結果、さらに両眼観察画像ステップを求める副次的なパラメータとして、眼球座標パラメータが生じる。このような場合、特開平２−５０１４５号公報にて提案されているように、方位センサや磁気センサを組み合わせた頭部位置検出システムかビジョンセンサを用いて眼球座標を逐次求め、リアルタイムに両眼観察画像ステップを算出更新するようにしてもよい。
【００５４】
表示サイズとは、立体ディスプレイ２０６の表示面における表示立体像のサイズ、若しくは表示立体像の表示面に水平な方向での表示範囲を示す指標である。
表示立体度限界範囲とは、表示面上で提示可能な視差量の最大値である。つまり、立体像として提示可能な表示面からの最大沈み込み量および最大飛び出し量である。
本来、このような提示視差量の範囲は人間の融像限界の範囲により限定されるべきである。
【００５５】
しかし、実際上、立体ディスプレイを用いる場合には、表示立体度限界範囲は、隣接画像間のクロストークなどの要因により、多くの場合、人間の融像限界よりも狭い範囲に限定される。この機器依存の表示立体度限界範囲は、立体ディスプレイの設計パラメータや光線射出方式に依存し、通常、異機種の立体ディスプレイ間で異なる。このため、立体像の観察実験により得られた実験データや評価結果から得られる。
【００５６】
両眼観察画像ステップは、上述のように立体ディスプレイの種類や、観察位置により変化する。例えば、観察位置において隣接して提示される視差画像間の提示視差範囲を基準として表示立体度限界範囲を表す場合、両眼観察画像ステップが2倍となると、人間の融像限界により制限される視差範囲は１／２となる。しかし、機器依存の表示立体度限界範囲により制限される視差範囲は変化しない。
【００５７】
両眼観察画像ステップの変化が起こった場合、融像限界により制限される視差範囲よりも機器依存の表示立体度限界範囲により制限される視差範囲のほうが大きな最大値を持つ可能性もある。このような場合、例えば、観察位置において隣接して提示される視差画像間の提示視差範囲を基準として比較を行い、提示される視差画像間の画像内に含まれる各点の視差範囲（表示立体度限界範囲）は、人間の融像限界により制限される視差範囲と機器依存の表示立体度限界範囲により制限される視差範囲のどちらか小さな範囲により限定される。
【００５８】
ズーム率とは、立体画像の一部領域を拡大表示する拡大表示機能を有する場合の拡大率を表す。拡大表示機能としては、例えば、観察者がユーザーインターフェースを用いて立体画像内で領域を選択し、該領域を拡大表示するものである。
【００５９】
表示立体度は、立体感の調節の度合いを示すパラメータである。この表示立体度を調節することにより、立体感を強めたり弱めたりすることができる。また、立体ディスプレイが水平方向のみの視差を提示する場合には、表示立体度の調節によって立体画像を構成する視差画像間で水平シフトを行い、飛び出し、沈み込みのバランスを変更する。
【００６０】
立体感、つまりは視差画像間の視差量を基準から強めるためにはより広い基線長で撮影する。逆に立体感を弱めるためには撮影基線長が狭められる。表示スケールに忠実に自然な立体感を提示する場合には、表示立体度は無視される。また、調節後の視差画像間の視差量が表示立体度限界範囲を超える場合には、立体感の度合いもしくは限界範囲のどちらかを優先して立体度を調整する。限界範囲を優先する場合には、立体ディスプレイの表示限界範囲内に収まるように視差量をスケーリングするように調整するか、飛び出し、沈み込みのバランスを調整する。
【００６１】
ＣＰＵ２０２１は、立体ディスプレイ２０６の交換、拡大表示領域の移動、ズーム率の変化、表示立体度の調節等によって立体表示パラメータが変化した場合には、最新の立体表示パラメータの取得・更新を行う。
【００６２】
オブジェクトの存在範囲とは、図３に示した放射線源３０３と撮像装置３０１の受光面の間に配置したオブジェクト３０２の放射線源３０３と受光面とを結ぶ方向の存在範囲である。このパラメータは、観察者が大まかな値を入力するか、もしくはビジョンセンサを用いてオブジェクトの占有領域を検知することによって設定される。このパラメータは、表示立体度限界範囲が非常に狭い立体ディスプレイによって視差範囲の広い立体画像を表示する場合に、見易い立体画像を提示するために重要なパラメータである。
【００６３】
以上説明した立体表示パラメータに変更が生じた場合には、放射線源３０３の数（放射回数）、位置（間隔）若しくは放射方向の変更が必要となるので、ステップＳ４０２およびステップＳ４０３を実施する。
【００６４】
ステップＳ４０２では、立体表示パラメータを操作ディスプレイ２０４もしくは立体ディスプレイ２０６に表示されたＧＵＩ（グラフィカルユーザーインターフェース）を用いた操作入力部２０５からの入力、もしくは入出力装置２０３からのデータファイル読み込みによって取得する。立体表示パラメータのうち漸次変化するもの、例えば動くオブジェクトの存在範囲は、放射線源と撮像装置の間のオブジェクトの変位をモニタするセンサを用いて取得する。
【００６５】
全ての立体表示パラメータが未取得である場合（起動直後の１回目のルーチン）では、全立体表示パラメータを取得する。２回目以降のルーチンでは、ステップＳ４０１で変更が確認されたパラメータについてのみ取得・更新を実施する。
【００６６】
こうして最新の立体表示パラメータを取得した後、適正な立体感を持った立体画像を生成するために、以下のステップにおいて視差画像撮影に際しての条件を決定する。
【００６７】
ステップＳ４０３は、放射線源の位置・方向の変更ステップである。このステップでは、ＣＰＵ２０２１は、複数の視差画像を撮影する際の放射線源の放射回数、位置（間隔）および放射方向をステップＳ４０２で取得した立体表示パラメータに基づいて算出し決定する。
【００６８】
以下、立体表示パラメータに基づく放射線源の位置・方向の決定方法について説明する。
【００６９】
まず、視点数パラメータに基づいて、放射線源の数（放射回数）を決定する。次に、想定観察距離において左右の眼により観察される視差画像（透過投影画像）を形成する２つの放射線源を想定し、該２つの放射線源の間隔（すなわち、放射線源と撮像装置の相対位置のうち放射線源の移動方向における相対位置）を決定する。この放射線源間隔は、両眼観察画像ステップに対応して決定され、全放射線源位置の間隔を決定する基準となる。
【００７０】
そして、想定観察距離および表示サイズに基づいて、放射線源と受光面間の距離（すなわち、放射線源と撮像装置の相対位置のうち像投影方向の相対位置）および受光面サイズを調整する。受光面サイズとは、立体ディスプレイに表示される画像の視野に対応する受光面上での受光領域のサイズであり、ズーム率の変更によっても変化する。受光面サイズを変更する代わりに、撮像した視差画像を縮小・拡大してもよい。
【００７１】
自然な立体感の立体画像を表示するためには、
【００７２】
【数１】
0004652727.tif 000002
の関係を維持するように、放射線源と受光面間の距離および受光面サイズを調整する。
【００７３】
また、表示立体度や表示立体度限界範囲を考慮して放射線源間隔を決定する場合には、式２の関係を維持するように放射線源間隔を算出する。
【００７４】
【数２】
0004652727.tif 000003
ここで、立体度係数は、表示立体度限界範囲を考慮しない場合は、表示立体度パラメータを表す係数であり、該係数＝１の場合が自然な立体感に対応する。係数＞１とすると、同じ想定観察距離、表示サイズで観察し、放射線源と受光面間の距離および受光面サイズを変化させない場合には、放射線源間隔を減少させることになり、提示視差量が小さくなるように立体感が弱められる。逆に、同様な条件で係数＜１とすると、立体感が強められる。
【００７５】
一方、表示立体度限界範囲を考慮する場合、この表示立体度限界範囲、つまりは立体ディスプレイの提示可能な視差の限界を超えないように放射線源間隔を算出する。人間の融像限界により制限される許容量に比べ、従来の立体ディスプレイは表示立体度限界範囲が非常に狭いため、多くの場合この限界範囲により放射線源の間隔、つまり表示する立体像の立体感が制限される。
【００７６】
表示立体度限界範囲パラメータを考慮するための係数を立体度制限係数とした場合、維持すべき関係は式３のようになる。
【００７７】
【数３】
0004652727.tif 000004
立体度制限係数は、これまで放射線源間隔に用いてきた立体表示パラメータに、オブジェクト存在範囲パラメータを加えた関係により算出される。
【００７８】
表示立体度限界範囲パラメータは、基本的に、立体ディスプレイに表示可能な最大の飛び出し量、沈み込み量に対応する表示面上の視差量を設定する。また、表示立体度限界範囲パラメータが最大の飛び出し、沈み込みを表示する際の立体画像の隣接視差画像間の視差量であった場合には、両眼観察画像ステップパラメータ、表示サイズパラメータおよび受光面サイズパラメータを用いて、想定観察距離における両眼観察画像ステップに対応する値に変換する。若しくは、想定された２つの放射線源により得られる視差画像間の視差量の値に変換する。
【００７９】
そして、表示立体度パラメータを考慮して算出された放射線源と受光面間の距離、受光面サイズ、放射線源間隔を用いて、オブジェクト存在範囲に対して算出される表示視差量の範囲もしくは放射線源位置に応じて得られる視差画像間の視差量範囲が上記算出された視差量を超えないように立体度制限係数が決定される。
【００８０】
提示視差量は次のように求められる。図７は撮像装置においてオブジェクトを撮影した際に得られる受光面上での視差量を説明する図である。９０１は想定する２つの放射線源、３０１は受光面、３０２はオブジェクトである。
【００８１】
式４は、放射線源と受光面間の距離Ｌにおける視差量ΔｄＬを算出する式である。Ｚはオブジェクトを構成する空間点から受光面までの垂直距離である。
【００８２】
【数４】
0004652727.tif 000005
すなわち、視差量ΔｄＬは、放射線源間隔Δｘ、放射線源と受光面間の距離Ｌおよび空間点と受光面間の距離Ｚの幾何関係から求められる。
【００８３】
ここで、受光面サイズは前述のように実際の受光素子のサイズとは異なる。
【００８４】
また、オブジェクト存在範囲に対して算出される表示視差量の範囲は、放射線源と受光面間の距離と受光面サイズとの関係を画像シフトと変倍処理により調整することにより変更できる。次式５は放射線源からの距離Ｚｏｆｆに仮想の受光面を設定した際に得られる視差画像の視差量を示す。
【００８５】
【数５】
0004652727.tif 000006
また、視差画像に対し、放射線源から距離Ｚｏｆｆに存在する空間点に対応する距離Ｌの受光面上での視差量ΔｄＬ（Ｚｏｆｆ）を０にする画像シフトを加え、Ｚｏｆｆ／Ｌの変倍を加えることによって得られた画像間の視差量Δｄ’は、式４に対し、
【００８６】
【数６】
0004652727.tif 000007
の関係である。つまり、画像にシフト処理および変倍を加えることにより、放射線源と受光面間の距離と受光面サイズとの関係を変化させた際の視差画像間で得られる視差量が得られるようになる。これは、提示視差量の範囲を効率的に表示立体度限界範囲に抑えるためには有用な処理となる。
【００８７】
次に、全ての放射線源間隔を決定する。想定観察距離において左右の眼により観察される２つの視差画像に対応する２つの放射線源間で算出した放射線源間隔と、想定観察距離で観察する場合に左右の眼により観察される２つの視差画像における両眼観察画像ステップの関係より、等間隔な場合の放射線源間隔が算出できる。通常は、全放射線源間隔は等しく設定する。ただし、輻輳視を模して立体表示する場合には、幾何学的関係を考慮して不等間隔を算出し設定する。
【００８８】
最後に放射線源の放射方向を決定する。放射線源位置の変化に応じて、オブジェクトに効率的に放射線を照射し、受光面により受光するように放射方向を決定する。また、効率的に投影像を得るために、放射線源の移動位置、放射方向に合わせて、同時にオブジェクトに相対的に受光面を水平にシフトしてもよい。
【００８９】
また、オブジェクトを全ての視差画像で効率的に撮影するために、放射方向の中心軸をオブジェクトの注目位置で交差させるように放射方向を決定し、効率的に透過光を受光するように受光面をシフトさせてもよい。
【００９０】
ここで、想定観察距離における両眼観察画像ステップの異なる立体ディスプレイ間で同様な立体感が得られるようにするための調整方法についての具体例を説明する。ここでは、図５（Ａ），（Ｂ）に示す立体ディスプレイ間での立体感調整について説明する。
【００９１】
このような場合、図１に示すように、放射線源の間隔を調整することにより対処することができる。図１において、１０１は図５（Ａ）に対応する立体ディスプレイ、１０２は図５（Ｂ）に対応する立体ディスプレイであり、両立体ディスプレイ１０１，１０２は、想定観察距離が同じで、両眼観察画像ステップが異なる。
【００９２】
１０３は立体ディスプレイ１０１，１０２の視点数に応じた数の視差画像の各撮影時における放射線源の位置を示す。実線で示した２つの放射線源位置１０４は、図５（Ａ），（Ｂ）に示したように、１つの立体画像を構成する２つの視差画像を撮影する際の放射線源位置を表す。１０６は撮像装置（受光面）である。
【００９３】
互いに異なる両眼観察画像ステップを持つ立体ディスプレイ間で、同一の想定観察距離において同様の立体感が得られるようするためには、図１（Ｂ）に示すように、想定観察距離で左右の眼により観察される２つの視差画像の撮影時における基線長距離が、図１（Ａ）の場合における該２つの視差画像の撮影時の基線長距離と同じになるように放射線源の位置（間隔）を調節する。つまり、両眼で同時に観察される２つの視差画像間の視差量が、両立体ディスプレイにおいて同じになるように、放射線源を移動させる。
【００９４】
また、全体的な立体感の大小を変化させる場合にも、同様に放射線源の位置（間隔）を調節する。
【００９５】
このように、異なる立体ディスプレイを使用する場合でも、各立体ディスプレイの立体表示パラメータに基づいて放射線源の位置や放射方向を調節する、つまりは放射線源と撮像装置の相対位置を調節制御することにより、自動的に同じ立体感で立体画像を提示することができる。
【００９６】
次に、ズーム率の変化により放射線源位置を変化させる場合について図６を用いて説明する。図６において、５０１は立体ディスプレイの表示面、５０２は観察者の眼球、５０３はある視点において観察者の左眼（Ｌ）により観察される視差画像、５０４は右眼（Ｒ）により観察される視差画像である。
【００９７】
７０１は視差画像５０３，５０４を観察した観察者によって認識される、ディスプレイ表示面に対して飛び出した立体像を表す。７０２は同様にディスプレイ表示面に対して沈み込んだ立体像を表す。まず、図６（Ａ）に示すように、ある視点で立体像を観察している際のディスプレイ表示面に対する立体像の飛び出し位置および沈み込み位置が図示の位置にあるとする。次に、視点を変えずに視差画像の一部分を拡大することを考える。図６（Ａ）の視差画像５０３，５０４のうち斜線部を拡大する領域とする。
【００９８】
図６（Ｂ）に示すように、上記斜線部がディスプレイ表示面上で拡大されると、視差画像５０３，５０４の斜線部内の対応点間に生じている視差量が変化する。拡大の場合には、その視差量が増大するため、ディスプレイ表示面に対する飛び出し量および沈み込み量が増大する。これらの飛び出し量および沈み込み量が増大し過ぎると、観察者の融像許容範囲もしくは立体ディスプレイの表示立体度限界範囲を超えてしまうことになる。このため、図６（Ｃ）に示すように、拡大後の視差画像５０３，５０４を撮影する際の放射線源の間隔を狭めることにより、ディスプレイ表示面に対する飛び出し量および沈み込み量を抑制することができる。
【００９９】
図４において、ステップＳ４０４は撮像ステップである。このステップでは、立体表示パラメータに基づいて決定された放射線源位置に放射線源を順次位置させながら、各放射線源位置に対して決定された放射方向に向けて放射線を放射させ、互いに視差を有するオブジェクトの複数の透過投影画像（視差画像群）を撮像装置により順次撮影する。また、この撮像ステップにおいては、階調変換処理、鮮鋭化処理等の基本的な画像処理を撮影画像に対して実施する。
【０１００】
ステップＳ４０５は、画像データ保存確認ステップである。この画像データ保存確認ステップでは、ステップＳ４０４で撮影した視差画像群を、大容量記憶装置２０２２に保存（記憶）するか否かの確認を行う。具体的には、操作ディスプレイ２０４に保存するか否かを観察者に選択させるための表示を行う。保存を行う場合は、ステップＳ４０６にて該視差画像群を大容量記憶装置２０２２に保存する。
【０１０１】
なお、ここで保存された視差画像群は、別の処理装置において立体画像データの生成に用いられたり、個別に読み出されて２次元の透過投影画像として観察されたり、後述する実施例で説明する任意視点画像の生成に関連する目的に用いられたりする。
【０１０２】
ステップＳ４０７は立体画像データ変換ステップである。このステップでは、ステップＳ４０４で撮影した視差画像群を入力として、立体ディスプレイの画素配列に応じた視差画像群の合成データである立体画像データを生成する。具体的には、それぞれの視差画像から画素情報をサンプリングして合成するマルチプレックス処理により立体画像データを生成する。
【０１０３】
視差画像群から光線再現方式ディスプレイで立体画像を表示するためのマルチプレックス処理については、例えば特開２００２−１７１５３６号公報に、レンチキュラシートやパララックスバリア等の光線方向制御部材を用いた場合のマルチプレックス処理は、特開２００３−２０９８５８号公報等に記載されており、これらを用いて立体画像データを生成してもよい。
【０１０４】
ステップＳ４０８は、立体画像データ保存確認ステップである。このステップでは、ステップＳ４０７で生成した立体画像データを大容量記憶装置２０２２に保存するかの否かの確認を、ステップＳ４０５と同様に行う。立体画像データを大容量記憶装置２０２２に保存しておくことにより、その後に読み出して、撮影を行わなくても立体画像表示を行うことが可能になる。保存を行う場合は、ステップＳ４０９にて立体画像データを大容量記憶装置２０２２に保存する。
【０１０５】
ステップＳ４１０は表示ステップである。このステップでは、ステップＳ４０８での立体画像データ変換処理によって得られた立体画像データを立体ディスプレイ２０６に出力し、立体画像を表示する。
【０１０６】
また、この表示ステップにおいては、立体ディスプレイ２０６に画像を表示する代わりに、プリンタ２０７を用いて印刷物として出力してもよい。印刷物として出力する際には、レンチキュラシートやインテグラルフォトシートのような光学部材に直接印字する場合およびこれら光学部材を組み合わせて立体画像を提示する印刷媒体に印字する場合のいずれであっても、上記光学部材の印刷パラメータに合った立体画像データを生成するために、新たにステップＳ４０１以降の撮像および処理を行うのが好ましい。これにより、立体ディスプレイの立体表示パラメータに応じて生成した立体画像データを印刷する場合よりも良好な立体画像が得られる。
【０１０７】
ステップＳ４１１は終了判定ステップである。このステップにおいて、透過投影画像を再撮影および立体画像の再表示を行う場合にはステップＳ４０１に戻り、再撮影および再表示を行わない場合には、本処理フローを終了する。
【実施例２】
【０１０８】
以下、本発明の実施例２について説明する。本実施例に係る立体画像生成システムの構成は、実施例１と同様であり、以下の説明においても共通する構成要素については実施例１と同符号を付して説明に代える。
【０１０９】
本実施例においては、蓄積・再生モード、すなわち放射線源位置を変更しながらある程度の数の透過投影画像（視差画像）群を撮影および蓄積し、その後、表示させたい立体画像に応じた仮想的な放射線源の位置（以下、仮想線源位置という）、視野方向および立体感等の特性に関する立体表示パラメータに基づいて必要な視差画像を蓄積データ内から選択し、これら選択した視差画像群を用いて立体画像データへの変換処理を実施して立体画像を表示するモードについて説明する。
【０１１０】
さらに詳しくは、このモードでは、所定数の視差画像群を撮影してそのデータを保存し、撮影が終了した後でこれら保存データを利用して、仮想線源位置に応じた任意放射線源位置画像（任意の放射線源位置に対応した視差画像。以下、任意視点画像という）を複数生成する。そして、これら任意視点画像を立体画像に変換して立体画像を表示する。なお、任意視点画像とは、任意の位置に放射線源および受光面を配置した場合に得られる透過投影画像を意味する。
【０１１１】
このモードによれば、後述する光線空間データの粗密と補間誤差の影響による生成画像の品質レベルの変化に注目し、一定レベル以上の高品質な立体画像の提示を保証しつつ、効率的な透過投影画像の撮影を行うことができる。
【０１１２】
以下、本実施例における主として立体ディスプレイ２０６に立体画像を表示させる場合に関する立体画像処理装置２０２（特にＣＰＵ２０２１）の動作について図８のフローチャートを用いて説明する。
【０１１３】
本実施例においては、まず所定数の放射線源位置における視差画像を放射線撮像ユニット２０１（撮像装置３０１）により撮影し、大容量記憶装置２０２２もしくはネットワーク上のデータベース２０８に保存したり、入出力装置２０３を通して外部記憶装置に保存したりする。そして、上記所定数の視差画像を撮影し終わった時点で撮影を終了する。ここまでを撮像・保存ステップとする。
【０１１４】
次に、表示したい立体画像に応じた任意の線源位置（仮想線源位置）を複数決定し、該仮想線源位置に対応した任意視点画像を複数生成する。そして、立体画像の生成処理を行い、任意の視点における立体画像を表示する。ここまでを、立体画像生成・表示ステップとする。
【０１１５】
まず、図８（Ａ）には、撮像・保存ステップでの動作の流れを示している。
【０１１６】
ステップＳ８０１は、視点移動許容範囲決定ステップである。このステップでは、後述する任意視点立体画像の生成、表示ステップにおいてとり得る視点位置の許容範囲の情報を取得する。また、このステップでは、撮影装置の解像度、焦点距離、オブジェクトの存在範囲、オブジェクトの最高テクスチャ解像度の情報が未取得の場合は、任意視点立体画像の生成において用いる光線補間手法に応じてこれらの情報を取得する。さらに、このステップでは、立体画像表示時の画像解像度、焦点距離（画角）、許容ズーム量の値を設定する。
【０１１７】
なお、許容ズーム量とは、任意放射線源位置画像を生成する際の仮想線源位置と受光面間の距離を変化させて画角を変更する場合のその画角の変化許容量に相当する。
【０１１８】
上記の情報又は値のうち、撮像装置３０１の解像度や焦点距離、立体ディスプレイ２０６における許容視差範囲等、撮像および表示に関する値は、それぞれ撮像装置３０１および立体ディスプレイ２０６から直接取得する。また、オブジェクト存在範囲、オブジェクトの最高テクスチャ解像度は放射線撮像ユニット２０１のオブジェクト設置部に向かって設置されたセンサにより取得する。それ以外の情報、例えば視点移動許容範囲のような値もしくは各装置から取得不可能な値は、操作ディスプレイ２０４にＧＵＩを表示し、操作入力部２０５を通じて観察者から対話的に取得する。
【０１１９】
ステップＳ８０２は生成画像品質レベル決定ステップである。このステップでは、後で生成する任意視点画像の品質レベルを決定する。本実施例では、後述する撮像ステップにおいて撮影されていない（蓄積されていない）任意視点画像を光線補間手法を用いて生成する。このため、生成画像品質レベルは、光線空間法における光線空間データの粗密の度合いに対応した値を設定する。生成画像品質レベルを変化させることにより、最低限必要な放射線源の間隔が変化する。
【０１２０】
ここで、簡単に光線補間手法を用いた任意視点画像の生成について説明する。まず、光線情報は、２次元もしくは１次元アレイ状に配置された撮像装置アレイにより撮影される。ただし、撮像装置アレイは、単一又は複数の撮像装置が順次移動して撮影を行う装置と置き換え可能である。
【０１２１】
ここでは、撮像装置が配置される平面をカメラ平面と呼び、該カメラ平面上での各撮影位置を座標（ｓ，ｔ）で表す。また、各撮影位置で撮影された画像上にはｕ，ｖ画像座標系が設定される。これにより、これら４つのパラメータ（ｓ，ｔ，ｕ，ｖ）によって撮影画像を構成する各光線が一意に定義される。
【０１２２】
光線データは、座標（ｓ，ｔ）で撮影された画像（ｕ，ｖ）を順次分解して光線データベースに蓄積される。若しくは、撮影画像群を画像アレイデータとして蓄積し、光線データの抽出時に逐次光線データを画像から取り出してもよい。
【０１２３】
任意視点画像は、空間中の任意の位置に新規の仮想撮影位置を設定し、任意視点画像を構成する画素および撮影位置を通過する全ての光線データを、光線データの４次元蓄積空間（ｓ，ｔ，ｕ，ｖ）から逐次読み出し、各画素値を得ることによって生成される。
【０１２４】
但し、必要とする光線が存在せず光線データ中から取得不可能な場合には、光線を補間処理により取得する。例えば、仮想撮影位置に最も近接した撮影位置（ｓｘ，ｔｘ）の光線データのうち、画像座標系において同一の垂直座標値ｖｘを持ち、求める光線の位置に隣接する水平座標値、例えばｕｘ−１、ｕｘ＋１を持つ画素の画素値により補間を行う。また、同一の水平座標値ｕｘを持ち、求める光線の位置に隣接する垂直座標値、例えばｖｘ−１、ｖｘ＋１を持つ画素の画素値により補間を行ってもよい。さらに、光線データ中で求めたい光線に対して最も近傍のデータにより補間を行ってもよい。
【０１２５】
また、仮想撮影位置から伸びる光線が、撮像装置によって取得されていない光線である場合に、当該光線と３次元空間中で任意に定めたカメラ平面との交点を求め、その点の近傍の撮影位置で取得された光線群を用いて当該光線を補間合成する手法もある。補間に用いられる光線は、求めたい光線と同一の空間点から発した光線である方が望ましい。
【０１２６】
しかしながら、通常は、この空間点の奥行き位置は不明である。そこで、一般的には、オブジェクトが存在すると予測される位置（例えば、存在するオブジェクトの重心位置）に基準デプス面を配置し、全ての空間点が基準デプス面上に存在し、全ての光線が基準デプス面上から発せられると仮定する。そして、仮想撮影位置の近傍の撮影位置で取得された光線群の中から、求めたい光線と基準デプス面との交点から発せられた光線を選択して補間に利用する。このような光線補間手法を用いて任意視点画像を生成する。
【０１２７】
ステップＳ８０３は放射線源の移動範囲および間隔の決定ステップである。このステップでは、ステップＳ８０１で得られた視点移動許容範囲と、表示パラメータは、任意視点画像のとり得る焦点距離（画角）その他の情報に基づいて放射線源の移動範囲を算出し決定する。また、このステップでは、ステップＳ８０２で得られた生成画像品質レベルの情報に基づいて放射線源の位置間隔（以下、線源間隔という）を算出し決定する。
【０１２８】
放射線源の移動範囲としては、視点移動許容範囲内で選択し得るすべての視点に対応した任意視点画像を生成するための光線群をカバーするのに必要な範囲が算出される。
図１０には、視点移動許容範囲と放射線源の移動範囲との関係を示す。図１０（Ａ），（Ｂ）において、１００１は放射線源が移動する平面（線源面）であり、この線源面１００１上で放射線源の移動範囲が決定される。３０１は撮像装置（受光面）、３０２はオブジェクトである。また、破線で示した矩形領域が視点移動許容範囲１００２であり、１００３は該視点移動許容範囲１００２の代表点（四隅点）である。また、１００４は視点移動許容範囲１００２の代表点１００３を仮想線源位置とした場合の仮想像面である。仮想線源位置（１００３）からの光線（本実施例では放射線であるが、ここでは便宜上、放射線を光線ともいう）によって仮想像面１００４に形成される透過投影画像を光線データから作成するためには、これらの画像を構成する光線をすべてカバーするように放射線源の移動範囲を定める必要がある。具体的には、線源面１００１の中心軸から外れた位置において、光線１００５が線源面１００１と交差する位置を放射線源の移動範囲の最外端とする。このようにして放射線源の移動範囲１００６が求まる。
【０１２９】
線源間隔は、任意視点画像を生成する際に行う光線の補間処理において、補間元光線（補完に使用される光線）の本来得られるべき光線に対する誤差が十分小さくなるように、生成画像品質レベルに従って決定される。生成画像品質レベルパラメータにより、視差画像の撮影および蓄積により得られる光線空間データの密度が調節される。
【０１３０】
光線空間データを密にして、補間の間隔を狭くすることにより、高品質な立体画像を構成するための任意視点画像が生成できるようになる。一方、光線空間データを疎にし、補間の間隔を広げることにより、立体画像の品質レベルは低下する。
【０１３１】
ここでは簡単のため、光線の水平方向のみの変化を考える。以下の内容は光線の変化を垂直方向に拡張した場合にも適用可能である。この場合、蓄積される光線データは図９に示すような関係になる。放射線源を基準デプス面に平行な線源面内で移動させて撮影を行い、光線データを蓄積すると、光線データ空間であるｘ，ｔａｎθ空間では、それぞれの線源位置と受光面に対応する光線データが１／ｆを傾きとする直線上にマップされる。ここで、ｆは放射線源と受光面間の間隔である。従って、受光面までの距離が等しい各位置に配置される放射線源からの光線により構成される直線はｘ，ｔａｎθ空間では平行な光線群となり、該直線間の間隔は線源間隔Δｘに対応する。この間隔を制御することにより、生成画像の品質レベルと線源間隔との関係をコントロールすることができる。
【０１３２】
すなわち、補間元光線と補完により生成される光線である被補間光線とのパラメータ空間（光線空間）における距離が、必ず設定した閾値以下になるように線源間隔を設定する。ここで生成画像品質レベルパラメータに対応する画像品質レベルを調節する画質係数をａとする。例えば、生成画像の品質レベルを高く設定する場合には、画質係数ａを小さく設定し、画像品質レベルをより低く設定する場合には画質係数ａにより大きな値を設定する。経験的に、画質係数ａは、１〜３画素サイズ程度に収めることにより、生成される任意視点画像の品質レベルの低下を抑えることが可能である。
【０１３３】
これまで、光線補間の方法として、水平隣接視点画素による補間、最近傍画素による補間、さらに任意基準デプス面を用いた光線補間を例として挙げた。これらの補間方法を用いた場合の光線データの粗密に関する情報と線源間隔との関係を説明する。
【０１３４】
各直線の間隔は、ｘ方向でΔｘ、ｔａｎθ方向でΔｘ／ｆ、最短距離でΔｘ・（１＋ｆ２）−１／２である。そこで、これらの間隔をそれぞれの補間方法により光線を補間する場合に、画質係数に対応するある間隔ａに抑えるように線源間隔Δｘを決定することにより、補間による生成画像の劣化が一定レベルで保たれるようになる。
【０１３５】
まず、水平隣接視点画素による補間の場合は、
ｄｘ＝Δｘ＜ａ    （式７）
を満たすように、
また、水平隣接視点画素による補間の場合は、
ｄｙ＝Δｘ／ｆ＜ａ  
Δｘ＜ｆａ          （式８）
を満たすように、
さらに、近傍画素による補間の場合は、
dMinDistance=Δｘ・（１＋ｆ２）−１／２＜ａ
Δｘ＜（１＋ｆ２）１／２・ａ            （式９）  
を満たすように光線データ取得時の最低限の線源間隔が決定される。
【０１３６】
また、より見栄えの良い補間手法である、任意デプス基準面を用いた光線補間方法では、２光線による補間を考えた場合、デプス基準面を基準として補間を行った際の真のオブジェクト表面での撮影光線の許容間隔Δεと線源間隔Δｘとの関係を示す、
【０１３７】
【数７】
0004652727.tif 000008
を用いて、レンダリングされる画像品質と線源間隔の関係をコントロールすることができる。この関係を説明するため、図１１に任意デプス基準面を用いた光線補間において２光線による補間を想定した場合の概略図を示す。
【０１３８】
図１１において、３０１は撮像装置（受光面）、３０２はオブジェクトである。３０３，３０４，３０５は間隔Δｘで並んだ線源位置である。オブジェクト３０２の存在範囲は、放射線源が存在する面（線源面）からの距離がＺｍａｘとＺｍｉｎとの間の領域であり、デプス基準面は、線源面からｚ０の距離に設定されている。
【０１３９】
１１０１は仮想視点に対応する視差画像を形成する仮想線源位置である。図中において、仮想線源位置１１０１から伸びる実線を補間される光線（被補間光線）とすると、この光線を補間する際に用いる光線（補間元光線）は、被補間光線を線源面まで延長した位置に最も近傍に存在する２つの線源位置から発せられてデプス基準面上で被補間光線と同じ座標で交わる２本の光線である。図中では、線源位置３０４，３０５から伸びる２本の破線で補間元光線を示している。
【０１４０】
オブジェクト３０２を表す空間点がデプス基準面上に存在する空間点１１０２である場合、これら２本の補間元光線により、幾何学的関係から、該空間点１１０２を通る光線データが被補間光線として得られる。
【０１４１】
しかし、オブジェクト存在範囲の最大奥行き距離Ｚｍａｘにある空間点１１０３および最小奥行き距離Ｚｍｉｎにある空間点１１０４を光線補間により得ようとする際には、多くの場合、被補間点（１１０３，１１０４）を挟む２本の補間元光線の間隔がオブジェクト存在範囲において最大となってしまう。この補間元光線（撮影光線）の最大間隔をここではΔε（Δεｍａｘ，Δεｍｉｎ）とおいている。
【０１４２】
この場合、Ｚにオブジェクト存在範囲の奥行き方向の最小距離および最大距離Ｚｍｉｎ, Ｚｍａｘのうち、z0との差分の絶対値の大きい方、と撮影光線の最大許容間隔Δεを式１０に代入することにより、必要最低限の線源間隔Δｘが得られる。
【０１４３】
そして、画質係数ａを用いると、仮想線源位置からの光線であってオブジェクト３０２を透過して受光面に投影される光線に関する線源間隔Δｘ’は、
Δｘ’≦Δｘ・ａ  （式１１）
と表すことができる。このため、画質係数ａを調整することにより、撮影効率と画像品質レベルとのバランスを調節することが可能である。
また、Δεは、それがレンダリング画像面でエイリアジングを生じないサイズとすると、
【０１４４】
【数８】
0004652727.tif 000009
とおける。ここで、Ｚｏｂｓは任意視点画像を生成する線源位置のカメラ平面からの距離、Δｕｏｂｓはレンダリング画像面上での画素の間隔である。
【０１４５】
上記のように線源間隔は、光線空間データの補間方法に合わせて光線データの間隔とレンダリングされる任意視点画像の品質とを関係付けた式を仮定し、この式を用いて光線空間データのデータ間隔を調節する画質係数ａを変更することにより制御することができる。画質係数ａを大きくすると線源間隔を大きくすることができるが、生成画像の品質が低下する。また、画質係数ａを小さくすると生成画像の品質を向上させることができるが、線源間隔を狭くして多くの入力画像を撮影しなければならない。但し、光線データの間隔、すなわち線源間隔と任意視点画像の品質とを関連づける式は、適切にそれらの関係を結びつけることができればどのような式を仮定してもよい。
【０１４６】
図８（Ａ）において、ステップＳ８０４は撮像ステップである。このステップでは、ステップＳ８０３で決定された放射線源の移動範囲および線源間隔で放射線源を順次移動させながら放射線を射出させ、オブジェクト３０２の透過投影画像である視差画像を撮像装置３０１で順次撮影する。
【０１４７】
ステップＳ８０５は視差画像データ保存ステップである。ステップＳ８０４で撮影した視差画像群のデータを大容量記憶装置２０２２もしくはネットワーク上のデータベース２０８に保存したり、入出力装置２０３を通して外部記憶装置に保存したりする。このステップで、撮像・保存ステップが終了する。
【０１４８】
図８（Ｂ）には、立体画像生成・表示ステップにおける動作の流れを示している。立体ディスプレイ２０６に任意視点画像を表示する際および任意視点画像の表示後に視点やズーム率の変更を行う場合に以下の処理手順を実行する。
【０１４９】
ステップＳ８０６は立体表示パラメータ取得ステップである。このステップでは、ＣＰＵ２０２１は、立体ディスプレイ２０６の視点数、想定観察距離、画角、両眼視点間隔、観察立体度、観察視点位置（観察者の眼球がおかれた座標）、ズーム率、表示立体度限界範囲等の立体表示パラメータのうち変更があったパラメータを取得する。但し、全ての立体表示パラメータが未取得である場合（起動直後の１回目のルーチン）では、全立体表示パラメータを取得する。
【０１５０】
ＣＰＵ２０２１は、これらの立体表示パラメータを、操作ディスプレイ２０４のコンソール画面に表示された値を参照しながら若しくは立体ディスプレイ２０６に表示された立体画像を観察しながら観察者が操作入力部２０５を通じて入力した値を取り込んだり、入出力装置２０３を通じて立体表示パラメータセットを含むファイルを読み込んだりすることにより取得する。観察視点位置は想定される代表的な値を入力してもよいし、観察者の存在する領域をビジョンセンサ等を用いてモニタし、位置変化があった場合に更新するようにしてもよい。
【０１５１】
ステップＳ８０７は仮想線源位置決定ステップである。このステップでは、立体画像を生成するための仮想視点位置を決定し、これに対応する立体表示パラメータに適合した複数の仮想線源位置を決定する。
ステップＳ８０８は任意視点画像生成ステップである。このステップでは、ＣＰＵ２０２１は、ステップＳ８０７にて決定された仮想線源位置に対応した視差画像（任意視点画像）を、ステップＳ８０５において蓄積された視差画像群から選択する。
【０１５２】
また、仮想線源位置に対応した視差画像が蓄積された視差画像群内にない場合には、蓄積されている視差画像を用いて前述した光線補間を行い、該仮想線源位置に対応した新たな任意視点画像を生成（レンダリング）する。例えば、大容量記憶装置２０２２内に記憶された光線データから仮想線源位置に対応する光線を抽出し、主記憶装置２０２３上もしくは大容量記憶装置２０２２上に新たな任意視点画像を生成する。
【０１５３】
ステップＳ８０９は立体画像データへの変換処理ステップである。このステップでは、ステップＳ８０８で選択又は生成された任意視点画像群を入力として、立体ディスプレイ２０６の画素配列に応じた視差画像群の合成データである立体画像データを生成する。具体的には、それぞれの視差画像から画素情報をサンプリングして合成するマルチプレックス処理により立体画像データを生成する。
【０１５４】
ステップＳ８１０は立体画像データ保存確認ステップである。このステップでは、ステップＳ８０９で生成された立体画像データを大容量記憶装置２０２２等に記憶（保存）するか否かを確認する。保存する場合は、ステップＳ８１１にて立体画像データを大容量記憶装置２０２２もしくはネットワーク上のデータベース２０８上に保存する。
【０１５５】
ここで、高品質な任意視点画像の生成にはＣＰＵ２０２１に大きな処理負荷がかかるため、そのような高品質画像を迅速に表示することはかなり高性能の（一般に、値段が高い）ハードウェアがないと難しい。これに対し、観察者がスムーズに立体画像観察を行えるように、事前に任意視点移動ストリームを作成しておくことも有用である。
【０１５６】
ステップＳ８１２は表示ステップである。このステップでは、ステップＳ８０９により生成された立体画像データを立体ディスプレイ２０６に表示する。また、このステップにおいては、立体ディスプレイ２０６に画像を表示させる代わりに、プリンタ２０７を用いて印刷物として立体画像を出力してもよい。印刷物として出力する際には、レンチキュラシートやインテグラルフォトシートのような光学部材に直接印字する場合およびこれら光学部材を組み合わせて立体画像を提示する印刷媒体に印字する場合のいずれであっても、上記光学部材の印刷パラメータに合った立体画像データを生成するために、新たにステップＳ８０２以降の撮像および処理、もしくはＳ８０６以降の処理を行うのが好ましい。これにより、立体ディスプレイの立体表示パラメータに応じて生成した立体画像データを印刷する場合よりも良好な立体画像が得られる。
【０１５７】
ステップＳ８１３は終了ステップである。立体画像の表示により一旦処理は終了するが、仮想線源位置の移動や観察者による操作によって立体表示パラメータの変更が発生した場合には、ステップＳ８０６に戻り、該ステップ移行の処理手順を繰り返して、任意視点画像を再度選択又は生成し、立体画像を表示する。
【０１５８】
なお、上記各実施例では、撮像装置の位置を固定し、放射線源を移動させる又は複数の放射線源のうち放射線を発する放射線源を変える場合について説明したが、放射線源の位置を固定し、撮像装置を移動させる又は複数の撮像装置のうち撮影を行う撮像装置を変えるようにしてもよい。さらに、放射線源と撮像装置の双方が移動するようにしてもよい。
【図面の簡単な説明】
【０１５９】
【図１】本発明の実施例１である立体画像生成システムの動作を示す概略図である。
【図２】実施例１の立体画像生成システムの構成を示すブロック図である。
【図３】実施例１の放射線撮像ユニットの構成を示す概略図である。
【図４】実施例１の立体画像生成システムにおける処理の流れを示すフローチャートである。
【図５】実施例１において、提示パラメータが異なる立体ディスプレイを用いた場合に観察される視差画像の例を示す図である。
【図６】本発明の実施例１において画像の一部拡大による立体感の変化を示す図である。
【図７】撮像装置と視差量との関係を示す図である。
【図８】本発明の実施例２である立体画像生成システムにおける処理の流れを示すブロック図である。
【図９】光線空間データを示す図である。
【図１０】実施例２における任意視点画像の生成における視点移動許容範囲と放射線源設置範囲との関係を示す図である。
【図１１】実施例２における任意視点画像の生成における仮想線源画像を形成する光線の補間方法を説明する図である。
【符号の説明】
【０１６０】
１０１，１０２  立体ディスプレイ
１０３  放射線源（の位置）
１０５，３０２  オブジェクト
３０１  撮像装置（受光面）
３０３  放射線源
５０１  立体画像表示面
５０２  観察者の眼球
５０３  左眼で観察される視差画像
５０４  右眼で観察される視差画像
【図１】
0004652727.tif 000010
【図２】
0004652727.tif 000011
【図３】
0004652727.tif 000012
【図４】
0004652727.tif 000013
【図５】
0004652727.tif 000014
【図６】
0004652727.tif 000015
【図７】
0004652727.tif 000016
【図８】
0004652727.tif 000017
【図９】
0004652727.tif 000018
【図１０】
0004652727.tif 000019
【図１１】
0004652727.tif 000020