(57)【特許請求の範囲】
【請求項１】
三次元の構造物を表す三次元データを取得する三次元データ取得手段と、
前記三次元データから、造形対象とする第１の三次元モデルの三次元造形用データを生成する三次元造形用データ生成手段と、
前記三次元造形用データに基づいて、前記第１の三次元モデルに対応する造形物を造形出力する三次元造形出力手段と、
前記造形物を撮影する撮影手段と、
前記撮影手段によって撮影した撮影画像を基に、前記撮影手段と前記造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、
前記三次元データから、少なくとも前記第１の三次元モデル以外の関心領域を含む第２の三次元モデルを生成する第２の三次元モデル生成手段と、
前記第１の三次元モデル及び前記第２の三次元モデルと前記カメラパラメータ算出手段によって求めた前記カメラパラメータとに基づいて、前記撮影手段から見た前記造形物と前記第２の三次元モデルの奥行き関係を判定する奥行き判定手段と、
前記奥行き判定手段の判定結果を基に、前記造形物よりも手前にある前記関心領域の仮想オブジェクトを前記撮影画像に重畳表示させる表示用データを生成する表示用データ生成手段と、
前記表示用データに基づき前記仮想オブジェクトを表示する非透過型ディスプレイを有する表示手段と、
を備え、
前記三次元造形用データ生成手段は、前記第１の三次元モデルを表す前記造形物の一部を特定の形状に欠損させる欠損部の形状データを、前記第１の三次元モデルのデータに追加して前記三次元造形用データを生成し、
前記カメラパラメータ算出手段は、前記欠損部を有する前記造形物の前記撮影画像から前記欠損部の形状を認識することにより、前記カメラパラメータを算出し、
前記表示用データ生成手段は、前記欠損部の部分に重畳表示させる仮想表示物の表示用データを生成し、
前記非透過型ディスプレイは、前記造形物の画像を表示する際に前記欠損部の部分に前記仮想表示物を重畳表示する拡張現実提供システム。
【請求項２】
前記カメラパラメータは、前記撮影手段の位置、前記撮影手段の撮影方向、及び、前記撮影手段と前記造形物の距離を含む請求項１に記載の拡張現実提供システム。
【請求項３】
前記表示手段は、前記撮影手段を有するヘッドマウントディスプレイである請求項１又は２に記載の拡張現実提供システム。
【請求項４】
前記奥行き判定手段は、同一座標系上に配置される前記第１の三次元モデル及び前記第２の三次元モデルに対して、前記撮影手段の位置に相当する視点位置からレイキャスティングを行い、前記第１の三次元モデル及び前記第２の三次元モデルのうち、最初に前記第２の三次元モデルの表面に当たる場合に前記第２の三次元モデルが前記第１の三次元モデルよりも手前にあると判定する請求項１から３のいずれか一項に記載の拡張現実提供システム。
【請求項５】
前記三次元データは医用画像診断装置によって取得された医用画像データである請求項１から４のいずれか一項に記載の拡張現実提供システム。
【請求項６】
三次元の構造物を表す三次元データを取得する三次元データ取得工程と、
前記三次元データから、造形対象とする第１の三次元モデルの三次元造形用データを生成する三次元造形用データ生成工程と、
前記三次元造形用データに基づいて、前記第１の三次元モデルに対応する造形物を造形出力する三次元造形出力工程と、
前記造形物を撮影手段によって撮影する撮影工程と、
前記撮影工程によって撮影した撮影画像を基に、前記撮影手段と前記造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出工程と、
前記三次元データから、少なくとも前記第１の三次元モデル以外の関心領域を含む第２の三次元モデルを生成する第２の三次元モデル生成工程と、
前記第１の三次元モデル及び前記第２の三次元モデルと前記カメラパラメータ算出工程によって求めた前記カメラパラメータとに基づいて、前記撮影手段から見た前記造形物と前記第２の三次元モデルの奥行き関係を判定する奥行き判定工程と、
前記奥行き判定工程の判定結果を基に、前記造形物よりも手前にある前記関心領域の仮想オブジェクトを前記撮影画像に重畳表示させる表示用データを生成する表示用データ生成工程と、
前記表示用データに基づき非透過型ディスプレイに前記仮想オブジェクトを表示する表示工程と、
を含み、
前記三次元造形用データ生成工程は、前記第１の三次元モデルを表す前記造形物の一部を特定の形状に欠損させる欠損部の形状データを、前記第１の三次元モデルのデータに追加して前記三次元造形用データを生成し、
前記カメラパラメータ算出工程は、前記欠損部を有する前記造形物の前記撮影画像から前記欠損部の形状を認識することにより、前記カメラパラメータを算出し、
前記表示用データ生成工程は、前記欠損部の部分に重畳表示させる仮想表示物の表示用データを生成し、
前記表示工程は、前記造形物の画像を表示する際に前記欠損部の部分に前記仮想表示物を重畳表示する拡張現実提供方法。
【請求項７】
三次元の構造物を表す三次元データを基に生成された第１の三次元モデルの三次元造形用データを取得する三次元造形用データ取得手段と、
前記三次元データを基に生成され、少なくとも前記第１の三次元モデル以外の関心領域を含む第２の三次元モデルを取得する第２の三次元モデル取得手段と、
前記三次元造形用データに基づいて造形出力された造形物を撮影手段によって撮影した撮影画像を取得する撮影画像取得手段と、
前記撮影画像を基に、前記撮影手段と前記造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、
前記第１の三次元モデル及び前記第２の三次元モデルと前記カメラパラメータ算出手段によって求めた前記カメラパラメータとに基づいて、前記撮影手段から見た前記造形物と前記第２の三次元モデルの奥行き関係を判定する奥行き判定手段と、
前記奥行き関係の判定結果を基に、前記造形物よりも手前にある前記関心領域の仮想オブジェクトを前記撮影画像に重畳表示させる表示用データを生成する表示用データ生成手段と、
前記表示用データを非透過型ディスプレイに出力する表示用データ出力手段と、
を備え、
前記三次元造形用データ取得手段は、前記第１の三次元モデルを表す前記造形物の一部を特定の形状に欠損させる欠損部の形状データを、前記第１の三次元モデルのデータに追加した前記三次元造形用データを取得し、
前記カメラパラメータ算出手段は、前記欠損部を有する前記造形物の前記撮影画像から前記欠損部の形状を認識することにより、前記カメラパラメータを算出し、
前記表示用データ生成手段は、前記欠損部の部分に重畳表示させる仮想表示物の表示用データを生成する情報処理装置。
【請求項８】
請求項７に記載の情報処理装置と、
前記撮影手段と、
前記表示用データに基づき前記仮想オブジェクトを表示する非透過型ディスプレイを有する表示手段と、
を備える拡張現実提供システム。
【請求項９】
コンピュータを、
三次元の構造物を表す三次元データを基に生成された第１の三次元モデルの三次元造形用データを取得する三次元造形用データ取得手段と、
前記三次元データを基に生成され、少なくとも前記第１の三次元モデル以外の関心領域を含む第２の三次元モデルを取得する第２の三次元モデル取得手段と、
前記三次元造形用データに基づき造形出力された造形物を撮影手段によって撮影した撮影画像を取得する撮影画像取得手段と、
前記撮影画像を基に、前記撮影手段と前記造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、
前記第１の三次元モデル及び前記第２の三次元モデルと前記カメラパラメータ算出手段によって求めた前記カメラパラメータとに基づいて、前記撮影手段から見た前記造形物と前記第２の三次元モデルの奥行き関係を判定する奥行き判定手段と、
前記奥行き関係の判定結果を基に、前記造形物よりも手前にある前記関心領域の仮想オブジェクトを前記撮影画像に重畳表示させる表示用データを生成する表示用データ生成手段と、
前記表示用データを非透過型ディスプレイに出力する表示用データ出力手段として機能させるためのプログラムであり、
前記三次元造形用データ取得手段は、前記第１の三次元モデルを表す前記造形物の一部を特定の形状に欠損させる欠損部の形状データを、前記第１の三次元モデルのデータに追加した前記三次元造形用データを取得し、
前記カメラパラメータ算出手段は、前記欠損部を有する前記造形物の前記撮影画像から前記欠損部の形状を認識することにより、前記カメラパラメータを算出し、
前記表示用データ生成手段は、前記欠損部の部分に重畳表示させる仮想表示物の表示用データを生成するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実提供システム及び方法、情報処理装置、並びにプログラムに係り、特に、三次元の造形物に仮想オブジェクトを組み合わせて表示する際の両者の奥行き関係を特定する情報処理技術に関する。
【背景技術】
【０００２】
近時、医療分野において、臓器や血管、骨といった人体モデルを、３Ｄプリンタを用いて造形し、手術手技の検討や手術前カンファレンスにおけるメンバーの意思統一に役立てることが期待されている。３Ｄは「Three-Dimensional」又は「Three Dimensions」の短縮表記であり、三次元を意味する。特許文献１には、ＣＴ（Computerized Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などの医用画像診断装置によって得られた三次元画像データを基に、三次元立体モデルを３Ｄプリンタによって造形する技術が記載されている。
【０００３】
また、特許文献２には、三次元ＣＡＤ（Computer Aided Design）データを基にラピッドプロトタイピング装置で作製した簡易試作物に、同じ三次元ＣＡＤデータから生成した３Ｄ−ＣＧ（Computer Graphic）データを重ね合わせて表示することが記載されている。ラピッドプロトタイピング装置は、「３Ｄプリンタ」に対応する用語である。
【０００４】
特許文献２には、現実空間と仮想空間との間の位置合わせの方法に関して、撮影装置から得られる二次元的な画像情報に基づいて物体の幾何特徴を抽出して物体の位置姿勢を決定する方法と、指標となるマーカーを撮影する方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２２４１９４号公報
【特許文献２】特開２００８−４０９１３号公報
【特許文献３】特開平８−１８８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、手術前カンファレンスにおいて、拡張現実（ＡＲ； Augmented Reality）を利用することにより、ＣＴデータ等の三次元画像から取得した臓器モデルや腫瘍モデルを表示し、シミュレーションを行う方法が知られている。
【０００７】
しかし、拡張現実では、実際のモデルに触れることができないため実寸感を得にくいという課題がある。一方、３Ｄプリンタにより作製した造形物を用いて手術前カンファレンスを行うことでその課題は解決されるが、造形出力の時間的及び金銭的コストが高いという課題がある。これらの課題を解決する方法として、３Ｄプリントした造形物上に仮想オブジェクトを重畳表示する方法が考えられる。「仮想オブジェクト」は「仮想物体」又は「仮想モデル」と同義である。
【０００８】
しかし、撮影された画像に、その撮影画像から計算された造形物の姿勢情報に基づいて表示を制御した仮想オブジェクトを単純に重畳する一般的な拡張現実の方法では、造形物とオブジェクトの奥行き関係を考慮できない。
【０００９】
特許文献３には、マルチカメラヘッドによって対象物を撮影し、得られた画像データの奥行きを求め、奥行き情報を用いて別の入力ポートから入力される映像と合成する技術が開示されている。しかし、特許文献３の技術では、奥行きを計算するために、マルチカメラヘッドが必要であり、システムの構成が複雑である。
【００１０】
このような課題は、医療分野で利用される人体モデルの造形物に限らず、工業製品を含む様々な三次元モデルの造形物に関して共通する課題である。
【００１１】
本発明はこのような事情に鑑みてなされたものであり、マルチカメラヘッドを必要とせず、造形物と仮想オブジェクトの奥行き関係を簡便に判定することができ、造形物と仮想オブジェクトの位置関係を把握しやすい拡張現実の表示制御を実現することできる拡張現実提供システム及び方法、情報処理装置、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
課題を解決するために、次の発明態様を提供する。
【００１３】
第１態様に係る拡張現実提供システムは、三次元の構造物を表す三次元データを取得する三次元データ取得手段と、三次元データから、造形対象とする第１の三次元モデルの三次元造形用データを生成する三次元造形用データ生成手段と、三次元造形用データに基づいて、第１の三次元モデルに対応する造形物を造形出力する三次元造形出力手段と、造形物を撮影する撮影手段と、撮影手段によって撮影した撮影画像を基に、撮影手段と造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、三次元データから、少なくとも第１の三次元モデル以外の関心領域を含む第２の三次元モデルを生成する第２の三次元モデル生成手段と、第１の三次元モデル及び第２の三次元モデルとカメラパラメータ算出手段によって求めたカメラパラメータとに基づいて、撮影手段から見た造形物と第２の三次元モデルの奥行き関係を判定する奥行き判定手段と、奥行き判定手段の判定結果を基に、造形物よりも手前にある関心領域の仮想オブジェクトを表示させる表示用データを生成する表示用データ生成手段と、表示用データに基づき仮想オブジェクトを表示する表示手段と、を備える拡張現実提供システムである。
【００１４】
第１態様によれば、三次元データを基に造形した第１の三次元モデルの造形物を撮影手段によって撮影して撮影画像を取得し、この撮影画像から撮影手段のカメラパラメータを算出する。同じ三次元データに含まれる第１の三次元モデルと第２の三次元モデルの相対的な位置関係は、三次元データの座標系上で特定されているため、算出したカメラパラメータを用いて、撮影手段の視点位置から見た第１の三次元モデルと第２の三次元モデルの奥行き関係を容易に把握することができる。
【００１５】
第１態様によれば、第１の三次元モデルの造形物と、第２の三次元モデルに基づく仮想オブジェクトの奥行き関係を簡便に判定することができ、造形物と仮想オブジェクトの位置関係を把握しやすい拡張現実の表示制御を実現することできる。
【００１６】
第２態様として、第１態様の拡張現実提供システムにおいて、カメラパラメータは、撮影手段の位置、撮影手段の撮影方向、及び、撮影手段と造形物の距離を含む構成とすることができる。
【００１７】
第３態様として、第１態様又は第２態様の拡張現実提供システムにおいて、カメラパラメータ算出手段は、三次元造形用データから視点位置を異ならせて生成した複数のボリュームレンダリング画像と、撮影画像とのマッチング処理に基づいて、撮影画像と第１の三次元モデルとの位置合わせを行うことにより、カメラパラメータを算出する構成とすることができる。
【００１８】
第４態様として、第１態様又は第２態様の拡張現実提供システムにおいて、造形物に位置合わせ用のマーカーが付された状態で撮影手段によって造形物の撮影が行われ、カメラパラメータ算出手段は、撮影画像からマーカーを認識することにより、カメラパラメータを算出する構成とすることができる。
【００１９】
第５態様として、第１態様又は第２態様の拡張現実提供システムにおいて、三次元造形用データ生成手段は、第１の三次元モデルを表す造形物の一部を特定の形状に欠損させる欠損部の形状データを、第１の三次元モデルのデータに追加して三次元造形用データを生成し、カメラパラメータ算出手段は、撮影画像から欠損部の形状を認識することにより、カメラパラメータを算出する構成とすることができる。
【００２０】
第６態様として、第１態様から第５態様の拡張現実提供システムにおいて、表示用データ生成手段は、仮想オブジェクトを撮影画像に重畳表示させる表示用データを生成する構成とすることができる。
【００２１】
第７態様として、第１態様から第７態様のいずれか一態様の拡張現実提供システムにおいて、表示手段は、透過型ディスプレイであり、表示手段を透過して視界に入る造形物に仮想オブジェクトが組み合わされた表示が行われる構成とすることができる。
【００２２】
第８態様として、第１態様から第７態様の拡張現実提供システムにおいて、表示手段は、撮影手段を有するヘッドマウントディスプレイである構成とすることができる。
【００２３】
第９態様として、第１態様から第８態様のいずれか一態様の拡張現実提供システムにおいて、奥行き判定手段は、同一座標系上に配置される第１の三次元モデル及び第２の三次元モデルに対して、撮影手段の位置に相当する視点位置からレイキャスティングを行い、第１の三次元モデル及び第２の三次元モデルのうち、最初に第２の三次元モデルの表面に当たる場合に第２の三次元モデルが第１の三次元モデルよりも手前にあると判定する構成とすることができる。
【００２４】
第１０態様として、第１態様から第９態様のいずれか一態様の拡張現実提供システムにおいて、三次元データは医用画像診断装置によって取得された医用画像データである構成とすることができる。
【００２５】
第１１態様に係る拡張現実提供方法は、三次元の構造物を表す三次元データを取得する三次元データ取得工程と、三次元データから、造形対象とする第１の三次元モデルの三次元造形用データを生成する三次元造形用データ生成工程と、三次元造形用データに基づいて、第１の三次元モデルに対応する造形物を造形出力する三次元造形出力工程と、造形物を撮影手段によって撮影する撮影工程と、撮影工程によって撮影した撮影画像を基に、撮影手段と造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出工程と、三次元データから、少なくとも第１の三次元モデル以外の関心領域を含む第２の三次元モデルを生成する第２の三次元モデル生成工程と、第１の三次元モデル及び第２の三次元モデルとカメラパラメータ算出工程によって求めたカメラパラメータとに基づいて、撮影手段から見た造形物と第２の三次元モデルの奥行き関係を判定する奥行き判定工程と、奥行き判定工程の判定結果を基に、造形物よりも手前にある関心領域の仮想オブジェクトを表示させる表示用データを生成する表示用データ生成工程と、表示用データに基づき仮想オブジェクトを表示する表示工程と、を含む拡張現実提供方法である。
【００２６】
第１１態様の拡張現実提供方法は、仮想オブジェクトの表示制御方法として把握することが可能であり、また、仮想オブジェクトの表示を行うための情報処理方法として把握することも可能である。
【００２７】
第１１態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、拡張現実提供システムにおいて特定される処理や機能を担う手段は、これに対応する処理や動作の「工程（ステップ）」の要素として把握することができる。
【００２８】
第１２態様に係る情報処理装置は、三次元の構造物を表す三次元データを基に生成された第１の三次元モデルの三次元造形用データを取得する三次元造形用データ取得手段と、三次元データを基に生成され、少なくとも第１の三次元モデル以外の関心領域を含む第２の三次元モデルを取得する第２の三次元モデル取得手段と、三次元造形用データに基づいて造形出力された造形物を撮影手段によって撮影した撮影画像を取得する撮影画像取得手段と、撮影画像を基に、撮影手段と造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、第１の三次元モデル及び第２の三次元モデルとカメラパラメータ算出手段によって求めたカメラパラメータとに基づいて、撮影手段から見た造形物と第２の三次元モデルの奥行き関係を判定する奥行き判定手段と、奥行き関係の判定結果を基に、造形物よりも手前にある関心領域の仮想オブジェクトを表示させる表示用データを生成する表示用データ生成手段と、を備える情報処理装置である。
【００２９】
第１２態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。
【００３０】
第１３態様に係る拡張現実提供システムは、第１２態様の情報処理装置と、撮影手段と、表示用データに基づき仮想オブジェクトを表示する表示手段と、を備える拡張現実提供システムである。
【００３１】
第１４態様に係るプログラムは、コンピュータを、三次元の構造物を表す三次元データを基に生成された第１の三次元モデルの三次元造形用データを取得する三次元造形用データ取得手段と、三次元データを基に生成され、少なくとも第１の三次元モデル以外の関心領域を含む第２の三次元モデルを取得する第２の三次元モデル取得手段と、三次元造形用データに基づき造形出力された造形物を撮影手段によって撮影した撮影画像を取得する撮影画像取得手段と、撮影画像を基に、撮影手段と造形物の相対的な位置関係を表す情報を含むカメラパラメータを算出するカメラパラメータ算出手段と、第１の三次元モデル及び第２の三次元モデルとカメラパラメータ算出手段によって求めたカメラパラメータとに基づいて、撮影手段から見た造形物と第２の三次元モデルの奥行き関係を判定する奥行き判定手段と、奥行き関係の判定結果を基に、造形物よりも手前にある関心領域の仮想オブジェクトを表示させる表示用データを生成する表示用データ生成手段として機能させるためのプログラムである。
【００３２】
第１４態様のプログラムにおいて、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、ディザマスク生成方法において特定される処理や動作を担う手段は、これに対応する処理や動作を行うプログラムの「機能」の要素として把握することができる。
【発明の効果】
【００３３】
本発明によれば、三次元データを基に造形される造形物と、非造形対象である関心領域を含む仮想オブジェクトの奥行き関係を簡便に判定することができる。これにより、造形物と仮想オブジェクトの位置関係を把握しやすい拡張現実の表示制御を実現することできる。
【図面の簡単な説明】
【００３４】
【図１】図１は本発明の実施形態に係る拡張現実提供システムの構成例を示すブロック図である。
【図２】図２は拡張現実提供システムによる造形物の製造手順を示したフローチャートである。
【図３】図３は三次元データの一例を示す模式図である。
【図４】図４は図３の三次元データから生成される３Ｄプリント用データの模式図である。
【図５】図５は図４で説明した３Ｄプリント用データを基に３Ｄプリンタにより造形出力された造形物の例を示す斜視図である。
【図６】図６は造形物を利用した拡張現実の提供方法の例を示すフローチャートである。
【図７】図７は造形物を撮影する際の様子を示す説明図である。
【図８】図８は図７の撮影状況により撮影された撮影画像の例を示す図である。
【図９】図９は奥行き関係を判定する処理の具体例の説明図である。
【図１０】図１０は奥行き関係の判定結果を基に生成される仮想オブジェクトの表示用データの一例を示す図である。
【図１１】図１１は本実施形態による拡張現実の表示画像の例を示す図である。
【発明を実施するための形態】
【００３５】
以下、添付図面に従って本発明の実施の形態について詳述する。
【００３６】
［拡張現実提供システムの構成例］
図１は本発明の実施形態に係る拡張現実提供システム１０の構成例を示すブロック図である。拡張現実提供システム１０は、第１情報処理装置１２と、３Ｄプリンタ１４と、ヘッドマウントディスプレイ１６と、第２情報処理装置１８と、を備える。
【００３７】
第１情報処理装置１２は、３Ｄデータ取得部２０と、第１モデル生成部２２と、第２モデル生成部２４と、３Ｄプリント用データ生成部２６と、データ出力部２８と、を備える。また、第１情報処理装置１２は、第１入力装置３０と第１表示装置３２とを備える。
【００３８】
第１情報処理装置１２は、コンピュータのハードウエア及びソフトウエアによって構成される。ソフトウエアは「プログラム」と同義である。３Ｄデータ取得部２０は、三次元の構造物を表す三次元データを取得するデータ入力インターフェースである。三次元データを「３Ｄデータ」と表記する場合がある。本実施形態で取り扱う３Ｄデータは、医用画像診断装置３４によって撮影された人体の一部又は全部の構造を表す医用画像データとする。医用画像診断装置３４には、例えば、ＣＴ装置、ＭＲＩ装置、ＯＣＴ（Optical Coherence Tomography）装置、超音波診断装置、内視鏡装置など様々な装置が該当する。
【００３９】
３Ｄデータ取得部２０は、例えば、患者の肝臓を含むＣＴボクセルデータを取得する。３Ｄデータ取得部２０は、外部又は装置内の他の信号処理部から画像を取り込むデータ入力端子で構成することができる。３Ｄデータ取得部２０として、有線又は無線の通信インターフェース部を採用してもよいし、メモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース部を採用してもよく、若しくは、これら態様の適宜の組み合わせであってもよい。３Ｄデータ取得部２０は「三次元データ取得手段」の一形態に相当する。
【００４０】
第１モデル生成部２２は、３Ｄデータ取得部２０を介して取得した３Ｄデータから、造形出力の対象とする構造物である第１モデルのデータを生成する処理部である。造形出力の対象とする構造物を「造形対象物」という。「第１モデル」は造形対象物の三次元モデルであり、「第１の三次元モデル」の一形態に相当する。一例を示すと、第１モデル生成部２２は、肝臓の３Ｄデータから、造形出力の対象とする血管のデータを生成する処理を行う。第１モデルのデータを「生成する」とは、３Ｄデータの中から該当するデータ部分を「認識する」、「抽出する」、「設定する」、又は「決定する」という概念も含む。例えば、第１モデル生成部２２は、肝臓内の一定以上の径を持つ血管のみを第１モデルとして抽出する。
【００４１】
３Ｄデータの中から、どの部分を造形出力の対象とするかについては、手動で選択してもよいし、自動で選択してもよい。例えば、第１表示装置３２に表示される三次元データの映像を見ながら、第１入力装置３０を操作して所望の造形対象物の領域を指定することができる。また、例えば、３Ｄデータ内の一定の太さ以上の「血管」を造形対象の構造物として指定することにより、３Ｄデータの中から、該当する血管の部分を自動的に抽出するようにプログラムされていてもよい。
【００４２】
３Ｄプリント用データ生成部２６は、第１モデル生成部２２により生成した第１モデルの３Ｄプリント用データを生成する。３Ｄプリント用データは、造形対象物である第１モデルを３Ｄプリンタ１４で造形出力するためのデータである。３Ｄプリント用データは「三次元造形用データ」の一形態に相当する。第１モデル生成部２２と３Ｄプリント用データ生成部２６の組み合わせが「三次元造形用データ生成手段」の一形態に相当する。
【００４３】
データ出力部２８は、３Ｄプリント用データ生成部２６にて生成された３Ｄプリント用データを外部に出力するためのデータ出力インターフェースである。データ出力部２８として、有線又は無線の通信インターフェース部を採用してもよいし、メモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース部を採用してもよく、若しくは、これら態様の適宜の組み合わせであってもよい。データ出力部２８は「データ出力手段」の一形態に相当する。
【００４４】
３Ｄプリント用データ生成部２６にて生成された３Ｄプリント用データは、データ出力部２８を介して３Ｄプリンタ１４に送られる。
【００４５】
第２モデル生成部２４は、３Ｄデータ取得部２０を介して取得した３Ｄデータから、少なくとも第１モデル以外の関心領域を含む第２モデルのデータを生成する処理を行う。第２モデルは「第２の三次元モデル」の一形態に相当する。第２モデルのデータを「生成する」とは、３Ｄデータの中から該当するデータ部分を「認識する」、「抽出する」、「設定する」、又は「決定する」という概念も含む。
【００４６】
関心領域は、３Ｄデータのうち、造形対象とされた第１モデル以外の三次元領域を少なくとも含む領域として指定される。すなわち、第２モデルは少なくとも非造形対象の三次元領域を含む。例えば、患者の肝臓を撮影した医用画像データである３Ｄデータにおいて、３Ｄプリンタ１４で造形出力した血管以外の肝臓内における病変領域が関心領域として指定される。なお、関心領域は手動で指定してもよいし、自動的に指定してもよい。手動によって関心領域を指定する操作は、第１入力装置３０と第１表示装置３２を用いて行うことができる。第２モデル生成部２４は、「第２の三次元モデル生成手段」の一形態に相当する。
【００４７】
第１入力装置３０と第１表示装置の組み合わせは、第１情報処理装置１２のユーザインターフェースとして機能する。第１入力装置３０は各種情報を入力する操作を行うため操作部として機能する。第１入力装置３０には、キーボード、マウス、タッチパネル、トラックボールなど、各種の手段を採用することができ、これらの適宜の組み合わせであってもよい。第１表示装置３２は各種情報を表示する表示部として機能する。第１表示装置３２に、例えば、液晶ディスプレイ、有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどの種々の表示方式による表示デバイスを用いることができる。第１情報処理装置１２に対する指示の入力や設定等の作業は、第１入力装置３０と第１表示装置３２を利用して行うことができる。
【００４８】
３Ｄプリンタ１４は「三次元造形出力手段」の一形態に相当する。３Ｄプリンタ１４は、３Ｄプリント用データに基づいて、第１モデルに対応する造形物４０を造形出力する。３Ｄプリンタ１４の造形方式は特に限定されない。３Ｄプリンタ１４の造形方式として、例えば、熱溶融堆積方式、インクジェット方式、光造形方式、粉末固着方式などがある。熱溶融堆積方式は、加熱融解した樹脂を少しずつ積み重ねていく方式であり、ＦＤＭ（Fused Deposition Modeling）方式と呼ばれる。インクジェット方式は、インクジェット式の吐出ヘッドから紫外線硬化型の樹脂を噴射し、紫外線を照射することで樹脂を硬化させて積層させる方式である。光造形方式は、液状の樹脂に紫外線などを照射して、樹脂を少しずつ硬化さることで造形を行う方式である。粉末固着方式は、粉末の樹脂に接着剤を吹きつけて固めていく方法である。液状の樹脂に紫外線などを照射し少しずつ硬化させていく光造形方式、なお、三次元造形出力手段として、３Ｄプリンタ１４に代えて、切削造形法による３Ｄプロッターを用いる形態も可能である。
【００４９】
ヘッドマウントディスプレイ１６は、撮影機能を備えるゴーグル型（又は眼鏡型）の表示装置であり、撮影部６０と表示部６２とを備える。ヘッドマウントディスプレイ１６は「表示手段」の一形態に相当する。撮影部６０は、図示せぬ撮影レンズとイメージセンサを含むカメラ部である。本例では、造形物４０を撮影部６０によって撮影し、造形物４０の撮影画像を得る。撮影部６０は「撮影手段」の一形態に相当する。撮影部６０は少なくとも１枚の静止画の撮影を行う。好ましくは、撮影部６０は連続的な撮影を行い、時系列で撮影画像を取得する。
【００５０】
表示部６２は、撮影部６０によって撮影された撮影画像を基に生成される情報を表示する表示装置である。表示部６２は、非透過型ディスプレイで構成されてもいし、透過型ディスプレイで構成されてもよい。
【００５１】
第２情報処理装置１８は、撮影部６０で撮影された撮影画像を処理する画像処理機能と、表示部６２に表示させる表示用データを生成する表示制御機能とを有する。第２情報処理装置１８は、データ取得部７０と、撮影画像取得部７２と、位置合わせ処理部７４と、カメラパラメータ算出部７６と、奥行き判定部８０と、表示用データ生成部８４と、表示用データ出力部８６とを備える。また、第２情報処理装置１８は、ユーザインターフェースとして機能する第２入力装置９０と第２表示装置９２とを備える。第２入力装置９０と第２表示装置９２の構成は第１入力装置３０と第１表示装置３２の構成と同様である。第２情報処理装置１８は、コンピュータのハードウエア及びソフトウエアによって構成することができる。
【００５２】
データ取得部７０は、第１情報処理装置１２から各種のデータを取得するインターフェースである。第２情報処理装置１８は、データ取得部７０を介して、３Ｄデータ１０２、第１モデルの３Ｄプリント用データ１０８、第２モデル１２０など、各種のデータを取得することができる。データ取得部７０は、「三次元造形用データ取得手段」の一形態に相当し、かつ、「第２の三次元モデル取得手段」の一形態に相当する。
【００５３】
撮影画像取得部７２は、ヘッドマウントディスプレイ１６の撮影部６０で撮影した撮影画像を取り込む画像データ入力インターフェースである。撮影画像取得部７２は、撮影部６０から画像信号を取り込むデータ入力端子で構成することができる。また、撮影画像取得部７２として、有線又は無線の通信インターフェース部を採用してもよい。撮影画像取得部７２は「撮影画像取得手段」の一形態に相当する。
【００５４】
位置合わせ処理部７４は、撮影画像取得部７２を介して取得した撮影画像と、３Ｄプリント用データ１０８の位置合わせを行う。つまり、撮影画像に映る造形物４０の位置及び姿勢に合わせて、造形物４０上の位置と３Ｄプリント用データ１０８のボクセルの位置の対応付けを行う。なお、３Ｄプリント用データ１０８は、第１モデルの造形用データであるため、位置合わせ処理部７４による撮影画像と３Ｄプリント用データ１０８の位置合わせは、撮影画像と第１モデルの位置合わせを行うことに相当する。位置合わせ処理部７４における位置合わせの処理に際して、３Ｄプリント用データ１０８に代えて、第１モデル生成部２２で生成した第１モデルのデータを用いることができる。
【００５５】
位置合わせ処理部７４における位置合わせ方法の第１例は、３Ｄプリント用データから、視点位置、視線方向及び拡大率の組み合わせを様々に変えて、色々なボリュームレンダリング画像を生成し、それぞれのボリュームレンダリング画像と撮影画像とのマッチング処理を行う方法である。３Ｄプリント用データから、視点位置、視線方向及び拡大率の組み合わせを異ならせて生成した複数のボリュームレンダリング画像のうち、撮影画像との類似度が最も高いボリュームレンダリング画像が決定される。類似度は、比較する画像同士の類似の程度を評価する評価値である。類似度は、「一致度」、「相関度」、又は「マッチングのスコア」などと呼ばれる場合がある。撮影画像との類似度が最も高いボリュームレンダリング画像の視点位置、視線方向及び拡大率の組み合わせは、撮影部６０と造形物４０の相対的な位置関係を表すカメラパラメータに相当するものとなる。
【００５６】
位置合わせ処理部７４における位置合わせ方法の第２例は、造形物４０に位置合わせ用のマーカーを付し、撮影画像からマーカーを認識することで撮影画像内の造形物４０と、３Ｄプリント用データの位置合わせを行う方法である。拡張現実の表示制御に用いられる位置合わせ用のマーカーはＡＲマーカーと呼ばれる。マーカーには様々な形態があり得る。
【００５７】
マーカーの一具体例は、六面体の形状を有し、六面体の六面のうちの一つの面（例えば、底面）が造形物４０との接合面となる。マーカーの六面のうち接合面に該当しない他の五つの面の各々にそれぞれ異なる幾何学模様が付されている。なお、接合面にも幾何学模様を付すことができる。マーカーの幾何特徴を示すマーカー情報は、第２情報処理装置１８の図示せぬ記憶部（マーカー情報記憶部）に保持される。マーカー情報には、マーカーの立体的形状及びマーカーの表面に付された幾何学模様を特定する情報が含まれる。マーカー情報では、マーカー上の位置はマーカー座標系で記述される。
【００５８】
このような立体物であるマーカーを造形物４０の特定部位に固定し、マーカーが取り付けられた状態で造形物４０を撮影部６０によって撮影することにより撮影画像を得る。位置合わせ処理部７４は、画像認識技術を利用して撮影画像からマーカーを認識し、かつ、マーカー情報を利用してマーカーの写り方から撮影部６０とマーカーの相対的な位置関係（つまり、撮影部６０と造形物４０の相対的な位置関係）を計算する。ここでの「相対的な位置関係」には、撮影部６０に対するマーカーの姿勢（すなわち、造形物４０の姿勢）が含まれる。
【００５９】
造形物４０は３Ｄデータから生成した３Ｄプリント用データを基に造形されたものであり、マーカーは造形物４０の特定部位に固定されるため、３Ｄプリント用データの座標系とマーカー座標系との対応関係は既知の関係である。したがって、撮影部６０とマーカーの相対的な位置関係から、３Ｄプリント用データと撮影画像との位置合わせを行うことができる。撮影部６０と造形物４０の相対的な位置関係が特定されることで、３Ｄプリント用データに対する撮影部６０のカメラパラメータが決定される。
【００６０】
位置合わせ処理部７４における位置合わせ方法の第３例は、撮影画像内の造形物４０上の位置と３Ｄプリント用データ上の位置の対応関係を、ユーザが手動で入力して位置合わせを行う方法である。例えば、被写体となる造形物４０上の複数の特定位置に目印となるマーカーを付し、複数個のマーカーを付した造形物４０を撮影部６０により撮影する。マーカーの個数は３個以上とすることが好ましい。
【００６１】
撮影部６０により撮影された撮影画像を表示部６２又は第２表示装置９２の少なくともいずれかに表示し、かつ、３Ｄプリント用データを表示部６２又は第２表示装置９２の少なくともいずれかに表示して、造形物４０上の各マーカーの位置が３Ｄプリント用データ上でどの位置に対応するかを、ユーザに手動で入力させる。３Ｄプリント用データ上における各マーカーの位置の対応位置をユーザが指示する入力操作は、第２入力装置９０を用いて実施してもよいし、図示せぬ入力装置を用いて実施してもよい。
【００６２】
このような入力操作により、撮影画像内の造形物４０と３Ｄプリント用データの位置合わせが行われ、撮影部６０と造形物４０の相対的な位置関係が特定される。これにより、３Ｄプリント用データに対する撮影部６０のカメラパラメータが決定される。
【００６３】
カメラパラメータ算出部７６は、位置合わせ処理部７４の処理結果を基に、撮影部６０と被写体である造形物４０の相対的な位置関係を表す情報を含むカメラパラメータを算出する演算処理を行う。カメラパラメータには、撮影部６０の位置、撮影部６０の撮影方向、及び、撮影部６０と造形物４０の距離が含まれる。また、本例のカメラパラメータ算出部７６が算出するカメラパラメータには、撮影倍率を表す拡大率が含まれる。なお、位置合わせ処理部７４の処理機能は、カメラパラメータ算出部７６に内包されていてもよい。位置合わせ処理部７４とカメラパラメータ算出部７６の組み合わせが「カメラパラメータ算出手段」の一形態に相当する。
【００６４】
現実の撮影空間における造形物４０と撮影部６０の相対的な位置関係を特定する情報としてのカメラパラメータは、３Ｄプリント用データの座標系における第１モデルの３Ｄプリント用データに対するカメラパラメータとして利用できる。造形物４０に対する撮影部６０の位置は、３Ｄプリント用データの座標系に変換した場合の３Ｄプリント用データに対する「視点位置」に相当する。また、撮影部６０の撮影方向は、３Ｄプリント用データに対する視点位置からの「視線方向」に相当する。
【００６５】
更に、３Ｄプリント用データは３Ｄデータから生成されるものであることから、３Ｄデータの座標系と３Ｄプリント用データの座標系と対応関係は既知である。したがって、両者の座標系の対応関係を用いることにより、３Ｄプリント用データに対するカメラパラメータは、３Ｄデータに対するカメラパラメータに変換することができる。カメラパラメータ算出部７６によって算出したカメラパラメータを基に、３Ｄデータと、撮影部６０が撮影した現実の造形物４０の位置との対応関係が把握される。
【００６６】
奥行き判定部８０は、カメラパラメータ算出部７６によって求めたカメラパラメータと、３Ｄデータ１０２に含まれている第１モデル及び第２モデルとに基づいて、撮影部６０から見た造形物と第２モデルの奥行き関係を判定する。
【００６７】
既述のとおり、カメラパラメータ算出部７６によって求めたカメラパラメータは、必要に応じて座標系の変換を行うことにより、３Ｄデータ１０２に対するカメラパラメータに置き換えることができる。奥行き判定部８０は、カメラパラメータにしたがって３Ｄデータ１０２に対して撮影部６０の位置に対応する視点位置からレイキャスティングを行い、視点位置から見た第１モデルと第２モデル１２０の奥行き関係を判定する。奥行き判定部８０は「奥行き判定手段」の一形態に相当する。
【００６８】
３Ｄデータ１０２内における第１モデルは、３Ｄプリント用データ１０８を基に把握することができる。もちろん、３Ｄプリント用データ１０８に変えて、第１モデル生成部２２で生成した第１モデルのデータを利用してもよい。３Ｄデータ１０２内における第２モデル１２０は、第２モデル生成部２４で生成したデータを利用することができる。
【００６９】
表示用データ生成部８４は、奥行き判定部８０の判定結果を基に、造形物４０よりも手前にある関心領域の仮想オブジェクトを表示させる表示用データを生成する処理を行う。「造形物４０よりも手前」とは、３Ｄデータ１０２上で、視点位置から見て、第１モデルよりも視点位置に近い側を意味している。表示用データ生成部８４は、第２モデル１２０のうち、第１モデルよりも視点位置に近い位置にある部位のみを表示用の仮想オブジェクトとする。
【００７０】
表示部６２が非透過型ディスプレイで構成される場合、表示用データ生成部８４は、撮影部６０で撮影した撮影画像に仮想オブジェクトを重畳させた表示を行う表示用データを生成する。表示部６２が透過型ディスプレイで構成される場合には、ヘッドマウントディスプレイ１６を装着した人の目の視界の中の造形物４０に対して仮想オブジェクトが適切な位置に重畳される表示用データが生成される。また、表示用データ生成部８４は、関心領域の仮想オブジェクトに限らず、拡張現実による様々な情報の表示を行うための表示用データを生成することができる。表示用データ生成部８４は「表示用データ生成手段」の一形態に相当する。
【００７１】
表示用データ出力部８６は、表示用データ生成部８４で生成された表示用データを出力するデータ出力インターフェースである。表示用データ出力部８６は、データ出力端子で構成することができる。また、表示用データ出力部８６には、有線又は無線の通信インターフェース部を採用することができる。
【００７２】
表示用データ生成部８４により生成された表示用データは、表示用データ出力部８６を介して表示部６２に送られる。表示部６２は表示用データに基づき造形物４０の姿勢に応じた情報表示を行う。表示部６２は「表示手段」の一形態に相当する。
【００７３】
［システム構成の変形例］
図１では、３Ｄプリンタ１４の制御装置として機能する第１情報処理装置１２と、ヘッドマウントディスプレイ１６の画像情報を処理する画像処理装置として機能する第２情報処理装置１８をそれぞれ別々のコンピュータで構成したが、第１情報処理装置１２の機能と第２情報処理装置１８の機能を１台のコンピュータで実現する構成も可能である。
【００７４】
また、第１情報処理装置１２の機能の一部を第２情報処理装置１８に搭載する形態や、第２情報処理装置１８の機能の一部を第１情報処理装置１２に搭載する形態も可能である。さらに、第１情報処理装置１２の機能及び第２情報処理装置の機能を３台以上の複数台のコンピュータで機能を分担して実現してもよい。
【００７５】
また、第２情報処理装置１８の画像処理機能の一部又は全部はヘッドマウントディスプレイ１６に搭載する形態も可能である。ヘッドマウントディスプレイ１６として、撮影機能及び撮影画像の処理機能及び表示用データの生成機能を備えるヘッドマウント型のウエアラブル端末を用いることができる。
【００７６】
［拡張現実提供システム１０の作用］
次に、本実施形態に係る拡張現実提供システム１０による造形物４０の製造方法と、製造した造形物４０を利用した拡張現実の提供方法について説明する。
【００７７】
図２は拡張現実提供システム１０による造形物４０の製造手順を示したフローチャートである。本実施形態により造形物４０を製造する際には、まず、元になる３Ｄデータを取得する（ステップＳ１０）。ステップＳ１０の３Ｄデータ取得工程は、図１で説明した第１情報処理装置１２によって実施される。第１情報処理装置１２は、３Ｄデータ取得部２０を介して３Ｄデータを取得する。ステップＳ１０は「三次元データ取得工程」の一形態に相当する。
【００７８】
次に、図２のステップＳ１０で取得した３Ｄデータ１０２から造形対象とする構造物を抽出して第１モデルを生成する（ステップＳ１２）。ステップＳ１２の第１モデル生成工程は、図１で説明した第１モデル生成部２２の処理機能により実施される。
【００７９】
次に、図２のステップＳ１２によって生成した第１モデル１０４から３Ｄプリント用データ１０８を生成する（ステップＳ１４）。ステップＳ１４の３Ｄプリント用データ生成工程は、図１で説明した３Ｄプリント用データ生成部２６の処理機能により実施される。ステップＳ１４の３Ｄプリント用データ生成工程は「三次元造形用データ生成工程」の一形態に相当する。なお、ステップＳ１２とステップＳ１４の組み合わせを「三次元造形用データ生成工程」の一形態と理解してもよい。
【００８０】
次に、図２のステップＳ１４で生成した３Ｄプリント用データ１０８を基に、３Ｄプリンタ１４にて造形出力を行う（ステップＳ１６）。ステップＳ１６の三次元造形出力工程は、図１で説明した３Ｄプリンタ１４を作動させることにより実施される。
【００８１】
図３は図２のステップＳ１０で取得される３Ｄデータ１０２の模式図である。図３では説明を簡単にするために、第１構造物１１０と第２構造物１１２を含んだ３Ｄデータ１０２を示した。第１構造物１１０と第２構造物１１２のそれぞれは例えば、血管である。そして、図３に示した３Ｄデータ１０２のうち、３Ｄプリンタ１４によってプリント（造形出力）したい構造物は第１構造物１１０であるとする。
【００８２】
この場合、第１モデル生成工程（図２のステップＳ１２）にて、３Ｄデータ１０２から、第１構造物１１０に対応するデータが抽出され、第１モデル１０４が生成される。
【００８３】
図４は図２のステップＳ１４で生成される３Ｄプリント用データ１０８の模式図である。図３の３Ｄデータ１０２から造形対象の構造物である第１構造物１１０のみを抽出したデータから、３Ｄプリント用データ１０８（図４参照）が生成される。
【００８４】
図５は図４で説明した３Ｄプリント用データ１０８を基に造形出力された造形物４０の例である。この造形物４０は、第１構造物１１０の立体モデルを造形した三次元造形物となっている。
【００８５】
次に、造形物４０を利用した拡張現実の提供方法の例を説明する。
【００８６】
図２のステップＳ１０からステップＳ１６で説明した造形物４０の製造プロセスとは別に、ステップＳ１０で取得した３Ｄデータ１０２から、第１モデル以外の関心領域を含む第２モデル１２０を生成する処理が行われる（ステップＳ２０）。例えば、図３に示した第２構造物１１２を関心領域とし、第２構造物１１２を第２モデル１２０とすることができる。ステップＳ２０の第２モデル生成工程は、図１で説明した第２モデル生成部２４の機能によって実施される。第２モデル生成工程（ステップＳ２０）で生成された第２モデル１２０は仮想オブジェクトの表示用データの生成に利用される。第２モデル生成工程（ステップＳ２０）は「第２の三次元モデル生成工程」の一形態に相当する。
【００８７】
図６は造形物４０を利用した拡張現実の提供方法の例を示すフローチャートである。図６のフローチャートに示した各工程は、図１で説明した拡張現実提供システム１０におけるヘッドマウントディスプレイ１６と第２情報処理装置１８によって実施される。
【００８８】
図６のフローチャートが開始されると、まず、ヘッドマウントディスプレイ１６の撮影部６０により造形物４０を撮影し（ステップＳ３０）、撮影画像の取得を行う（ステップＳ３２）。ステップＳ３０は「撮影工程」の一形態に相当する。ステップＳ３２の撮影画像取得工程は、撮影部６０によって撮影した撮影画像のデータを第２情報処理装置１８が取り込む工程に相当する。
【００８９】
図７は、造形物４０を撮影する際の様子を示す説明図である。図７に示したように、撮影部６０によって造形物４０の撮影が行われる。この撮影により、造形物４０の撮影画像が得られる。
【００９０】
図８は、図７の撮影状況により撮影された撮影画像１３０の例を示している。撮影画像１３０には造形物４０の画像情報が含まれている。
【００９１】
図６のステップＳ３２により撮影画像１３０が取得されると、得られた撮影画像１３０内の造形物４０と３Ｄプリント用データ１０８の位置合わせ処理を行い（ステップＳ３４）、カメラパラメータを算出する（ステップＳ３６）。ステップＳ３４の位置合わせ処理工程は、図１で説明した位置合わせ処理部７４の機能によって実施される。また、ステップＳ３６のカメラパラメータ算出工程は、図１で説明したカメラパラメータ算出部７６の機能によって実施される。
【００９２】
次に、カメラパラメータ算出工程（図６のステップＳ３６）で求めたカメラパラメータと３Ｄデータ１０２を用いて、視点位置からの第１モデルと第２モデルの奥行き関係を判定する（ステップＳ３８）。ステップＳ３８の奥行き判定工程は、図１の奥行き判定部８０の機能により実施される。
【００９３】
図９は奥行き関係を判定する処理の具体例の説明図である。ここでは、第１構造物１１０が第１モデルに相当し、第２構造物１１２が第２モデルに相当している。３Ｄデータ１０２は第１構造物１１０と第２構造物１１２を含んでおり、第１構造物１１０と第２構造物１１２は３Ｄデータ１０２の座標系上に配置されている。つまり、３Ｄデータ１０２は、第１構造物１１０（第１モデル）と第２構造物１１２（第２モデル）を同一座標系上に配置したデータに相当している。
【００９４】
カメラパラメータが決まると、図９に示すように、３Ｄデータ１０２に対する視点位置Ｐと視線方向並びに拡大率が定まる。本例の奥行き判定処理では、視点位置Ｐから３Ｄデータ１０２に対してレイキャスティングを行い、以下のルールに従い、奥行き関係を判定して画素を分類する。
【００９５】
［ルール１］視点位置Ｐからのレイが最初に第１構造物１１０の表面に当たる場合は「０」の値を与える。
【００９６】
［ルール２］視点位置Ｐからのレイが最初に第２構造物１１２の表面に当たる場合は「１」の値を与える。
【００９７】
［ルール３］視点位置Ｐからのレイが第１構造物１１０と第２構造物１１２のいずれにも当たらない場合は「０」の値を与える。
【００９８】
ルール１の「最初に第１構造物１１０の表面に当たる場合」とは、第１構造物１１０の表面が第２構造物１１２よりも視点位置Ｐに近い場合を意味している。つまり、視点位置Ｐから見て第１構造物１１０が第２構造物１１２の手前にある場合は、ルール１に従い、該当する画素位置に「０」の値が付与される。
【００９９】
ルール２の「最初に第２構造物１１２の表面に当たる場合」とは、第２構造物１１２の表面が第１構造物１１０よりも視点位置Ｐに近い場合を意味している。つまり、視点位置Ｐから見て第２構造物１１２が第１構造物１１０の手前にある場合は、ルール２に従い、該当する画素位置に「１」の値が付与される。
【０１００】
上述のルール１から３に従う処理を行うことで、第１構造物１１０と第２構造物１１２の奥行き関係が判定され、第１構造物１１０よりも手前にある第２構造物１１２の部分のみに「１」のフラグが立つ。このような方法により、第１モデル相当の第１構造物１１０と第２モデル相当の第２構造物１１２の奥行き関係を判定することができる。
【０１０１】
次に、奥行き判定工程（図６のステップＳ３８）の判定結果を基に、第１モデルよりも手前側にある第２モデルの要素から仮想オブジェクトの表示用データを生成する（ステップＳ４０）。ステップＳ４０の表示用データ生成工程は、図１で説明した表示用データ生成部８４の機能により実施される。
【０１０２】
図９で説明した例の場合、表示用データ生成工程（図６のステップＳ４０）では、奥行き判定工程（ステップＳ３８）にて「１」の値が付与された画素の位置のみに仮想オブジェクトの絵を生成する。
【０１０３】
図１０は表示用データ生成工程（ステップＳ４０）にて生成される仮想オブジェクト１３２の表示用データ１３４の一例を示す図である。図１０に示した仮想オブジェクト１３２は、図９で説明した第２構造物１１２のうち、上述の［ルール２］で「１」の値が付与された部分のみに仮想オブジェクト１３２の画像信号成分（画素値）が与えられている。図１０において破線で示した白抜きの領域１３６は、第２構造物１１２に相当する領域のうち、上述の［ルール１］で「０」の値が付与された部分に対応している。領域１３６は、視点位置Ｐから見て第２構造物１１２の手前に第１構造物１１０が存在している領域であり、手前に存在する第１構造物１１０の位置に重なって第２構造物１１２が隠れる部分に相当する。
【０１０４】
このようにして、撮影画像内の造形物４０の位置及び姿勢に応じた仮想オブジェクト１３２の表示用データ１３４が生成される。
【０１０５】
図６のステップＳ４０にて、図１０のような仮想オブジェクト１３２の表示用データ１３４を生成した後、図６のステップＳ４２に進み、造形物４０の撮影画像に仮想オブジェクトを合成する処理を行う。ステップＳ４２の画像合成処理工程によって生成される合成画像は、造形物４０を撮影した撮影画像に、仮想オブジェクト１３２を重ねた重畳表示を行うための表示用の画像であり、仮想オブジェクト１３２を含む表示用データと理解することができる。ステップＳ４２の画像合成処理工程は、図１で説明した表示用データ生成部８４の機能によって実施される。
【０１０６】
図６のステップＳ４０及びステップＳ４２を経て生成した仮想オブジェクト１３２を含む表示用データを表示部６２に供給し、表示部６２において撮影画像の造形物４０の上に仮想オブジェクト１３２を重畳表示する（ステップＳ４４）。ステップＳ４４の表示工程は、図１で説明した表示部６２の処理機能によって実施される。
【０１０７】
図１１は本実施形態による拡張現実の表示画像１４０の例である。図１１では造形物４０の撮影画像に仮想オブジェクト１３２が組み合わされた表示画像１４０を示した。
【０１０８】
本実施形態によれば、実寸感を把握できる造形物４０に、非造形対象領域である関心領域の仮想オブジェクト１３２を重畳表示することができる。これにより、実際の三次元モデルである造形物４０と関心領域の位置関係を把握しやすくなり、手術前のシミュレーションや手術前カンファレンスを効果的に行うことができる。
【０１０９】
また、本実施形態によれば、３Ｄプリンタによる造形出力が困難な三次元領域（構造物）の造形出力を省略して、拡張現実による仮想オブジェクトの表示で代替することができる。このため、時間的コスト及び材料コストの低減を図ることが可能である。
【０１１０】
上述した第１情報処理装置１２による処理の内容として説明した方法は、３Ｄデータから三次元の造形物を製造するための情報処理方法として理解することができる。
【０１１１】
また、第１情報処理装置１２及び第２情報処理装置１８による処理の内容として説明した方法は、３Ｄデータを基に造形した造形物を利用する拡張現実の提供に有益な情報処理方法として理解することも可能であるし、仮想オブジェクトの表示制御方法として理解することができる。図２及び図９で説明した方法は、拡張現実提供方法の一具体例に相当する。
【０１１２】
［変形例１］
表示部６２に透過型ディスプレイを採用する場合は、図６のステップＳ４２で説明した画像合成処理が省略され、ステップＳ４０で生成した表示用データが表示部６２に送られることにより、表示部６２に仮想オブジェクトが表示される。この場合、透過型の表示部６２を介して透過して視界に入る造形物４０に対する位置関係が適切に制御された仮想オブジェクトが表示される。これにより、造形物４０に仮想オブジェクトが組み合わされた拡張現実の表示が行われる。
【０１１３】
［変形例２］
位置合わせ処理部７４による他の位置合わせ方法として、造形物４０の一部に位置合わせ用の特定の形状を追加してもよい。例えば、第１モデルを表す造形物４０の一部を特定の形状に欠損させ、造形物４０に欠損部を設ける。欠損部は「切欠部」と同義である。このような欠損部を有する造形物４０は、３Ｄプリンタ１４によって造形出力することができる。欠損部の三次元形状を特定する形状データは、第１情報処理装置１２の図示せぬ記憶部（欠損部データ記憶部）に保持される。３Ｄプリント用データ生成部２６は、第１モデル生成部２２で生成した第１モデルのデータに、欠損部の形状データを追加して３Ｄプリント用データを生成する。この３Ｄプリント用データを基に３Ｄプリンタ１４で造形出力を行うことで欠損部を有する造形物４０が得られる。
【０１１４】
欠損部を有する造形物４０を撮影部６０によって撮影し、得られた撮影画像から欠損部の形状を認識することにより、カメラパラメータの算出が可能である。欠損部の形状データは、欠損部の幾何特徴を示す欠損部情報として利用できる。欠損部情報は、第２情報処理装置１８の図示せぬ記憶部（欠損部情報記憶部）に保持される。欠損部情報は、第１情報処理装置１２の図示せぬ欠損部データ記憶部から取り込んでもよい。位置合わせ処理部７４は、画像認識技術を利用して撮影画像から欠損部を認識し、かつ、欠損部情報を利用して欠損部の写り方から撮影部６０と欠損部の相対的な位置関係（つまり、撮影部６０と造形物４０の相対的な位置関係）を計算する。撮影部６０と欠損部の相対的な位置関係から、３Ｄプリント用データと撮影画像との位置合わせを行うことができる。撮影部６０と造形物４０の相対的な位置関係が特定されることで、３Ｄプリント用データに対する撮影部６０のカメラパラメータが決定される。
【０１１５】
また、表示部６２に非透過型ディスプレイを用いる場合、表示部６２に造形物４０の画像を表示する際に、表示部６２において欠損部を穴埋めするように、欠損部の部分に対応する第１モデルの仮想表示物を重畳表示させる構成としてもよい。この場合、表示用データ生成部８４において、欠損部を埋める仮想表示物の表示用データが生成される。
【０１１６】
［コンピュータに第１情報処理装置１２の処理機能及び第２情報処理装置１８の処理機能を実現させるためのプログラムについて］
上述の実施形態で説明した第１情報処理装置１２の処理機能、若しくは、第２情報処理装置１８の処理機能、又は、若しくは、第１情報処理装置１２の処理機能及び第２処理情報処理装置１８の処理機能の両方の処理機能をコンピュータに実現させるためのプログラムをＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）や磁気ディスクその他のコンピュータ可読媒体（有体物たる非一時的な情報記憶媒体）に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどのネットワークを利用してプログラムをダウンロードサービスとして提供することも可能である。
【０１１７】
また、上述の実施形態で説明した第１情報処理装置１２の処理機能及び第２情報処理装置１８の処理機能の一部又は全部をアプリケーションサーバとして提供し、ネットワークを通じて処理機能を提供するサービスを行うことも可能である。
【０１１８】
［他の応用例］
上述の実施形態では、医用画像診断装置３４から得られる３Ｄデータを取り扱う例を説明したが、本発明は、三次元ＣＡＤデータを用いて造形物を造形出力するシステムにも適用することができる。
【０１１９】
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有するものにより、多くの変形が可能である。
【符号の説明】
【０１２０】
１０…拡張現実提供システム、１２…第１情報処理装置、１４…３Ｄプリンタ、１６…ヘッドマウントディスプレイ、１８…第２情報処理装置、２０…３Ｄデータ取得部、２２…第１モデル生成部、２４…第２モデル生成部、２６…３Ｄプリント用データ生成部、２８…データ出力部、４０…造形物、６０…撮影部、６２…表示部、７０…データ取得部、７２…撮影画像取得部、７４…位置合わせ処理部、７６…カメラパラメータ算出部、８０…奥行き判定部、８４…表示用データ生成部、１０２…３Ｄデータ、１０４…第１モデル、１０８…３Ｄプリント用データ、１２０…第２モデル、１１０…第１構造物、１１２…第２構造物
【図１】
0006712453.tif 000002
【図２】
0006712453.tif 000003
【図３】
0006712453.tif 000004
【図４】
0006712453.tif 000005
【図５】
0006712453.tif 000006
【図６】
0006712453.tif 000007
【図７】
0006712453.tif 000008
【図８】
0006712453.tif 000009
【図９】
0006712453.tif 000010
【図１０】
0006712453.tif 000011
【図１１】
0006712453.tif 000012