(57)【要約】  三次元画像処理装置は、三次元画像データと、該三次元画像データに含まれるメタデータとを取得する取得部と、前記取得部で取得された三次元画像データを、三次元画像データとメタデータとに分離する分離部と、前記分離部で分離されたメタデータが表す情報を、前記分離部で分離された三次元画像データに合成する合成部と、前記合成部においてメタデータが表す情報が合成された三次元画像データを、所定のファイル形式を有しかつ該三次元画像データが表す物体の三次元形状モデルデータに変換する変換部と、を備えている。
2017138558.tif 000002
【特許請求の範囲】
【請求項１】
三次元画像と、メタデータとを含む三次元画像データを取得する取得部と、
前記取得部で取得された三次元画像データを、三次元画像とメタデータとに分離する分離部と、
前記分離部で分離されたメタデータが表す情報を、前記分離部で分離された三次元画像に合成する合成部と、
前記合成部においてメタデータが表す情報が合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像が表す物体の三次元形状モデルデータに変換する変換部と、を備えた三次元画像処理装置。
【請求項２】
前記取得部は、所定の医用画像診断装置で生成された三次元画像データであって、メタデータを含む三次元画像データを取得する、請求項１に記載の三次元画像処理装置。
【請求項３】
前記分離部で分離されたメタデータから所定のメタデータを選択するメタデータ選択部をさらに備え、
前記合成部は、前記メタデータ選択部で選択された所定のメタデータが表す情報を、前記分離部で分離された三次元画像に合成する、請求項１または２に記載の三次元画像処理装置。
【請求項４】
前記分離部で分離された三次元画像から、所定の三次元画像を選択する画像選択部をさらに備え、
前記合成部は、前記画像選択部で選択された所定の三次元画像に、前記分離部で分離されたメタデータが表す情報を合成する、請求項１〜３のいずれかに記載の三次元画像処理装置。
【請求項５】
前記画像選択部は、前記分離部で分離された三次元画像から、所定の人体部位を表す三次元画像を選択する、請求項４に記載の三次元画像処理装置。
【請求項６】
前記三次元画像および前記メタデータはＤＩＣＯＭ（Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｉｎ  Ｍｅｄｉｃｉｎｅ）に準拠している、請求項１〜５のいずれかに記載の三次元画像処理装置。
【請求項７】
前記メタデータは患者または検査に関連する情報を表す、請求項１〜６のいずれかに記載の三次元画像処理装置。
【請求項８】
前記合成部は、前記分離部で分離されたメタデータが表す情報を、前記分離部で分離された三次元画像が表す物体表面の画像における所定位置に配置されるよう、該メタデータが表す情報を該三次元画像に合成し、
前記所定位置は、前記物体表面の画像における注目位置から所定距離離れた位置である、請求項１〜７のいずれかに記載の三次元画像処理装置。
【請求項９】
前記メタデータは文字列情報を表す、請求項１〜８のいずれかに記載の三次元画像処理装置。
【請求項１０】
前記合成部はさらに、前記分離部で分離されたメタデータが表す情報以外の情報を、前記分離部で分離された三次元画像に合成する、請求項１〜９のいずれかに記載の三次元画像処理装置。
【請求項１１】
三次元画像と、メタデータとを含む三次元画像データを取得する取得ステップと、
前記取得ステップで取得された三次元画像データを、三次元画像とメタデータとに分離する分離ステップと、
前記分離ステップで分離されたメタデータが表す情報を、前記分離ステップで分離された三次元画像に合成する合成ステップと、
前記合成ステップにおいてメタデータが表す情報が合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像が表す物体の三次元形状モデルデータに変換する変換ステップと、を備えた三次元画像処理方法。
【請求項１２】
三次元画像と、メタデータとを含む三次元画像データを取得する取得ステップと、
前記取得ステップで取得された三次元画像データを、三次元画像とメタデータとに分離する分離ステップと、
前記分離ステップで分離されたメタデータが表す情報を、前記分離ステップで分離された三次元画像に合成する合成ステップと、
前記合成ステップにおいてメタデータが表す情報が合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像が表す物体の三次元形状モデルデータに変換する変換ステップと、をコンピュータに実行させる三次元画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像データから三次元形状モデルデータを生成する三次元画像処理装置、三次元画像処理方法および三次元画像処理プログラムに関する。
【背景技術】
【０００２】
従来、この種の三次元画像処理装置としては、例えば特許文献１に記載の立体モデルデータ生成装置が知られている。この立体モデルデータ生成装置では、肝臓領域抽出部および構造物抽出部が、三次元画像データから肝臓領域および肝動脈、肝静脈等の構造物を抽出し、サーフェスデータ生成部が、肝臓領域および構造物のサーフェスデータを生成する。また、パターン付与部が、肝臓領域および構造物の表面の少なくとも１つに凹凸パターンを付与し、データ生成部が、凹凸パターンが付与された肝臓領域および構造物のサーフェスデータを合成して、立体モデルデータを生成する。立体モデル作成装置は、立体モデルデータに基づいて、肝臓の立体モデルを作成する。【０００３】
また、従来、三次元形状モデルデータに基づき生成された造形物としては、例えば特許文献２に記載の三次元立体模型が知られている。この三次元立体模型は、立体物の外部構造および外部色彩ならびに外部から観察不可能な内部構造および内部色彩を表しており、切り開くことにより内部構造および内部色彩を観察することができる軟質素材でできている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５８１４８５３号公報
【特許文献２】特許第３７４６７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、三次元画像データにはメタデータが付加されていることがある。しかしながら、従来の三次元画像処理装置で、三次元画像データから三次元形状モデルデータを作成する過程でメタデータは失われていた。それゆえ、ユーザが三次元形状モデルデータを作成後メタデータの内容を確認するには、三次元画像データを改めて用いて確認する等、煩わしい作業が必要であった。【０００６】
そこで、本発明の目的は、より使い勝手の良い三次元形状モデルデータを生成可能な三次元画像処理装置、三次元画像処理方法および三次元画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の第一形態は、三次元画像と、メタデータとを含む三次元画像データを取得する取得部と、前記取得部で取得された三次元画像データを、三次元画像とメタデータとに分離する分離部と、前記分離部で分離されたメタデータが表す情報を、前記分離部で分離された三次元画像に合成する合成部と、前記合成部においてメタデータが表す情報が合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像が表す物体の三次元形状モデルデータに変換する変換部と、を備えた三次元画像処理装置に向けられる。【０００８】
本発明の第二形態は、三次元画像と、メタデータとを含む三次元画像データを取得する取得ステップと、前記取得ステップで取得された三次元画像を、三次元画像とメタデータとに分離する分離ステップと、前記分離ステップで分離されたメタデータが表す情報を、前記分離部で分離された三次元画像に合成する合成ステップと、前記合成ステップにおいてメタデータが表す情報が合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像が表す物体の三次元形状モデルデータに変換する変換ステップと、を備えた三次元画像処理方法に向けられる。【０００９】
本発明の第三形態は、三次元画像と、メタデータとを含む三次元画像データを取得する取得ステップと、前記取得ステップで取得された三次元画像データを、三次元画像とメタデータとに分離する分離ステップと、前記分離ステップで分離されたメタデータが表す情報を、前記分離部で分離された三次元画像に合成する合成ステップと、前記合成ステップにおいてメタデータが表す情報が合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像データが表す物体の三次元形状モデルデータに変換する変換ステップと、をコンピュータに実行させる三次元画像処理プログラムに向けられる。
【発明の効果】
【００１０】
上記各形態によれば、より使い勝手の良い三次元形状モデルデータを作成可能な三次元画像処理装置、三次元画像処理方法および三次元画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第一，第二実施形態に係る三次元画像処理装置のハードウェア構成とその周辺構成を示す図である。
【図２】入力三次元画像データのデータ形式を例示する図である。
【図３】図１の制御部の機能ブロックを示す図である。
【図４Ａ】図１の三次元画像処理装置の処理手順の前半部分を示すフロー図である。
【図４Ｂ】図４Ａの続きの処理手順を示すフロー図である。
【図５】三次元形状モデルデータを構成するポリゴンメッシュの各頂点座標と、ポリゴンメッシュの法線ベクトルとを示す図である。
【図６】バイナリ形式の三次元形状モデルデータの記述例を示す図である。
【図７】メタデータが表す情報（例えば、文字）をポリゴンメッシュに分割した図である。
【図８】三次元画像データが表す物体（例えば、肝臓）をポリゴンメッシュに分割した図である。
【図９】図１の３Ｄ造形装置が出力した三次元造形物を例示する図である。
【図１０】第一実施形態の変形例に関する三次元造形物を例示する図である。
【図１１】第二実施形態に係る制御部の機能ブロックを示す図である。
【図１２】第二実施形態に関する三次元造形物を例示する図である。
【図１３】第三実施形態に係る三次元画像処理装置のハードウェア構成とその周辺構成を示す図である。
【発明を実施するための形態】
【００１２】
≪１．第一実施形態≫
以下、図１〜図１０を参照して、本発明の第一実施形態に係る三次元画像処理装置１を詳説する。
【００１３】
≪１−１．三次元画像処理装置１の構成≫
三次元画像処理装置１は、図１に示すように、第一入力ＩＦ部１１と、第二入力ＩＦ部１２と、制御部１３と、第一出力ＩＦ部１４と、第二出力ＩＦ部１５と、を備えている。なお、ＩＦはインタフェイスの意味である。
【００１４】
第一入力ＩＦ部１１には、例えば、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）装置またはＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）装置のような医用画像診断装置２が接続可能である。第一入力ＩＦ部１１は、医用画像診断装置２から出力された三次元画像を、制御部１３の制御下で受信してＲＡＭ１３３に格納する。
【００１５】
ここで、三次元画像の一例を詳説する。三次元画像は、奥行き感のある画像を表し、より詳細には、三次元空間上の各位置に割り当てられた値の集まり（即ち、ボリュームデータ）である。この三次元画像には、医用画像診断装置２で取得され、二次元画像を所定方向に積み重ねた画像の集まり（即ち、二次元断層画像）も含まれる。また、本説明では、三次元画像にはメタデータも付加される。メタデータは、三次元画像そのものでは無いが、三次元画像に関連する付加情報である。以下、本説明では、三次元画像と、それに付加されたメタデータとを含むものを、三次元画像データという。
【００１６】
上記三次元画像データは、例えば、ＤＩＣＯＭ形式を有する。ＤＩＣＯＭは、Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｉｎ  Ｍｅｄｉｃｉｎｅの略で、医用画像診断装置２で撮影した医用画像のフォーマットを定義した標準規格を含む。ＤＩＣＯＭ形式の三次元画像データは、図２に示すように、タグで示されたデータ要素の集まりである。タグで表現されるメタデータとしては、患者に関連する情報として患者ＩＤ情報または患者の名前、または、患者に対する検査に関連する情報として検査日等、様々なものがある。なお、ＤＩＣＯＭでは、三次元画像の画素値もタグを用いて表現される。
【００１７】
再度図１を参照する。第二入力ＩＦ部１２には、キーボードやマウス等の入力装置３が接続可能である。第二入力ＩＦ部１２は、入力装置３の出力データを、制御部１３の制御下で受信してＣＰＵ１３２に転送する。
【００１８】
制御部１３は、少なくとも、プログラムメモリ１３１と、ＣＰＵ１３２と、ＲＡＭ１３３とを含む。プログラムメモリ１３１は、例えば不揮発性メモリであって、三次元画像処理プログラムＰを格納する。ＣＰＵ１３２は、このプログラムＰを、ＲＡＭ１３３を作業領域として用いつつ実行し、これによって、図３に示すように、取得部１３４、判別・分離部１３５、画像選択部１３６、３Ｄ−ＶＲ生成部１３７、メタデータ選択部１３８、調整部１３９、３Ｄ−ＶＲ生成部１３１０、合成部１３１１および変換部１３１２という各機能ブロックとして動作する。各機能ブロック１３４〜１３１２の処理については後述する。
【００１９】
再度図１を参照する。第一出力ＩＦ部１４には、３Ｄ造形装置（所謂３Ｄプリンタ）４が接続可能となっている。第一出力ＩＦ部１４は、制御部１３で生成された三次元形状モデルデータを３Ｄ造形装置４に転送する。３Ｄ造形装置４は、受け取った三次元形状モデルデータに基づき三次元造形物６を作成する。
【００２０】
第二出力ＩＦ部１５には、２Ｄまたは３Ｄの高解像度ディスプレイ等の表示装置５が接続可能になっている。第二出力ＩＦ部１５は、制御部１３で生成された各種表示データを表示装置５に転送する。表示装置５は、受け取った表示データに基づき画面表示を行う。
【００２１】
≪１−２．三次元画像処理装置１の処理≫
第一入力ＩＦ部１１には、医用画像診断装置２から出力され、例えばＤＩＣＯＭ形式を有する三次元画像データが入力される。本説明では、三次元画像データは、三次元画像の例示としての二次元断層画像を含むとする。また、二次元断層画像は所定の対象物を表現するが、本説明では、所定の対象物は、少なくとも肝臓を含む所定の人体部位であるとする。三次元画像処理装置１において、ＣＰＵ１３２は、まず、取得部１３４として機能し、第一入力ＩＦ部１１への入力三次元画像データをＲＡＭ１３３に転送するよう制御し、これによって、処理対象となる三次元画像データを取得する（図４ＡのステップＳ００１）。
【００２２】
次に、ＣＰＵ１３２は、判別・分離部１３５として機能し、ＲＡＭ１３３に格納された三次元画像データがＤＩＣＯＭ規格に適合していると判断すると、三次元画像データに含まれる各タグの値等に基づき、そのタグを含むデータ要素を、三次元画像（本説明では二次元断層画像）とメタデータとに分別し分離する（ステップＳ００２）。これにより、ＲＡＭ１３３には、医用画像診断装置２で撮影された二次元断層画像と、例えば患者または検査に関連するメタデータとに分けて格納される。
【００２３】
ＣＰＵ１３２は、三次元画像（二次元断層画像）画像データに関しては（ステップＳ００３で画像）、下記の通り処理する。ユーザは、入力装置３を操作して、ＲＡＭ１３３に格納された二次元断層画像から必要な部分（即ち人体部位）を抽出したり変形したり、不要な部分を削除したりするための各種指示を三次元画像処理装置１に送る。本説明では、ユーザは人体部位である肝臓の二次元断層画像を選択し、他の部分を削除するとする。かかる入力装置３の操作に応答して、三次元画像処理装置１において、ＣＰＵ１３２は、画像選択部１３６として機能し、入力装置３からの指示通りに二次元断層画像を処理して（ステップＳ００４）、三次元形状モデルとすべき部分を確定する（ステップＳ００５）。その後、ＣＰＵ１３２は、３Ｄ−ＶＲ生成部１３７として機能し、ステップＳ００５で確定した二次元断層画像に対し３Ｄ−ＶＲ（３Ｄボリュームレンダリング）を行って、３Ｄ−ＶＲ画像を生成する（ステップＳ００６）。ここで、３Ｄ−ＶＲ画像は、表示装置５での表示画像を表しており、予め定められた視方向に沿った画素の濃度値や色情報を積算投影した物体Ｌ（図８や図９を参照）を表す。なお、本説明では物体Ｌは肝臓である。また、３Ｄ−ＶＲについては周知であるため、その詳細な説明を控える。
【００２４】
上記に対し、ＣＰＵ１３２は、メタデータに関しては（ステップＳ００３でメタデータ）、下記の通り処理する。即ち、ＣＰＵ１３２は、メタデータ選択部１３８として機能して、ＲＡＭ１３３に格納されたメタデータから、入力装置３からの指示に従って、必要なメタデータを選択し抽出する（ステップＳ００７）。
【００２５】
次に、ＣＰＵ１３２は、調整部１３９として機能して、ステップＳ００７で選択されたメタデータが表す情報（例えば文字列）を生成する（ステップＳ００８）。その後、ユーザは、入力装置３を操作して、ステップＳ００８で生成した文字列の言語、サイズ、フォント、配置等を三次元画像処理装置１に指示する。ＣＰＵ１３２は、入力装置３からの指示通りに、ステップＳ００８で生成した文字列に、ユーザの指示を反映させる（ステップＳ００９）。その後、ＣＰＵ１３２は、３Ｄ−ＶＲ生成部１３１０として機能して、ステップＳ００８で生成した情報に対し３Ｄ−ＶＲを行って３Ｄ−ＶＲメタデータを生成する（ステップＳ０１０）。３Ｄ−ＶＲメタデータもまた、３Ｄ−ＶＲ画像と同様、表示装置５での表示画像データであって、予め定められた視方向に沿った画素の濃度値や色情報を積算投影した物体（本説明では文字列）を表す。なお、３Ｄ−ＶＲの手順については周知であるため、その詳細な説明を控える。
【００２６】
ステップＳ００６，Ｓ０１０が終了すると、ＣＰＵ１３２は、合成部１３１１として機能して、ステップＳ００６で生成した３Ｄ−ＶＲ画像に、Ｓ０１０で生成した３Ｄ−ＶＲメタデータをＲＡＭ１３３上で合成して合成データを生成する（図４ＢのステップＳ０１１）。この合成データは、３Ｄ−ＶＲメタデータが表す情報を合成した３Ｄ−ＶＲ画像を表す。
【００２７】
次に、ＣＰＵ１３２は、ステップＳ０１１で生成した合成データを第二出力ＩＦ部１５を介して表示装置５に転送する。これに応じて、表示装置５は、ステップＳ００５で確定した部分（本説明では肝臓）に、ステップＳ００８で生成された情報（本説明では文字列）が合成された画像が表示される（ステップＳ０１２）。
【００２８】
次に、ＣＰＵ１３２は、ユーザが入力装置３により確定操作を行ったか否かを判断する（ステップＳ０１３）。ユーザは、ステップＳ０１２の表示画像を参照して、例えば文字列の視認性が悪い等の理由により文字列の修正を開始する。この場合、ＣＰＵ１３２は、ユーザが確定操作を行わなかったとして、ステップＳ００９にて、入力装置３からの指示通りに、ステップＳ００８で生成した情報にユーザの指示を反映させる。
【００２９】
それに対し、ステップＳ０１３において、ＣＰＵ１３２は、ユーザが入力装置３により確定操作を行ったと判断すると、もはや修正が無いとして、ステップＳ０１１で生成された合成データを、ＳＴＬ（"Ｓｔａｎｄａｒｄ  Ｔｒｉａｎｇｕｌａｔｅｄ  Ｌａｎｇｕａｇｅ）形式の三次元形状モデルデータに変換する（ステップＳ０１４）。なお、ＳＴＬ形式は、一般的には、Ｓｔｅｒｅｏｌｉｔｈｏｇｒａｐｈｙ形式と呼ばれる。
【００３０】
以上の手順で生成されたＳＴＬ形式の三次元形状モデルデータは、例えば、三次元造形物６を形成するために３Ｄ造形装置４に出力される。また、これに限らず、三次元形状モデルデータは、可搬型記憶媒体や遠隔のサーバ装置に保存されても良い。
【００３１】
≪１−３．三次元形状モデルデータおよび三次元造形物６≫
ここで、ＳＴＬ形式の三次元形状モデルデータについて説明する。この三次元形状モデルデータは、例えば微小三角形からなるポリゴンメッシュの集合体で物体を表現している。かかるポリゴンメッシュのそれぞれは、図５に示すように、頂点座標Ｖ１，Ｖ２，Ｖ３と、三角形の法線ベクトルｎとで定義される。
【００３２】
また、図６は、バイナリ形式の三次元形状モデルデータの記述例を示している。ＳＴＬ形式にはアスキー形式も用意されているが、アスキー形式ではコード量が非常に大きくなるため、ＳＴＬ形式で三次元形状モデルデータを作成する場合にはバイナリ形式が多用される。バイナリ形式の場合、図６に示すように、三次元形状モデルデータは８０バイトの任意の文字列で開始され、その次に、４バイトの整数で三次元形状モデルデータに含まれるポリゴンメッシュの個数が示される。その次に、各ポリゴンメッシュに関し法線ベクトルと頂点座標とが個数分続く。なお、終了コードは特に無く、最後の三角形に関する法線ベクトルと頂点座標が記述されると、三次元形状モデルデータは単純に終了となる。
【００３３】
また、メタデータが表す情報の代表例としてアルファベットの「Ａ」を三次元形状モデルデータに変換する方法は、従来より良く知られている。医用画像診断装置２の二次元断層画像データから三次元データを作成する場合、図７に示すように、三角形のポリゴンメッシュによるモデリングが標準的である。
【００３４】
まず、アルファベット「Ａ」を三次元形状モデルデータに変換する場合、アルファベット「Ａ」が所定の大きさのポリゴンメッシュに分割される。この時、最小のポリゴンメッシュの大きさによるが、ポリゴンメッシュの総数が多いとより精細に文字列の三次元形状を表現でき、逆にポリゴンメッシュの総数が少ないと、粗い三次元形状しか表現できなくなる。本説明では、百個程度のポリゴンメッシュでアルファベット「Ａ」が形成されるとする。なお、図７では、都合上、二個のポリゴンメッシュに参照符号Ｍ１が付されている。
【００３５】
また、図８は、三次元画像が表す物体（本説明では肝臓）Ｌをポリゴンメッシュに分割した図である。ポリゴンメッシュで物体Ｌを再構成する際、文字列を肝臓に自然に合成するには、物体Ｌを構成するポリゴンメッシュＭ２に１〜Ｎ個の文字列が入るように、ポリゴンメッシュＭ２の大きさが自動的に設定されることが好ましい。他にも、物体Ｌを構成するポリゴンメッシュにおいて互いに隣接するポリゴンメッシュの中に１個の文字が入るように、物体Ｌを構成するポリゴンメッシュの大きさが自動的に設定されても構わない。なお、図８には、都合上、一個のポリゴンメッシュに参照符号Ｍ２が付されている。
【００３６】
図９は、図８に示す物体Ｌに情報（文字列）Ｃが合成された三次元形状モデルデータに基づき３Ｄ造形装置４が出力した三次元造形物６を示す。
【００３７】
≪１−４．三次元画像処理装置１の効果≫
以上説明した通り、本三次元画像処理装置１によれば、判別・分離部１３５が三次元画像データを三次元画像とメタデータとに分離する。３Ｄ−ＶＲ生成部１３７は、三次元画像に対し３Ｄボリュームレンダリングを行い、３Ｄ−ＶＲ生成部１３１０は、分離されたメタデータに対し３Ｄボリュームレンダリングを行う。合成部１３１１は、生成された３Ｄ−ＶＲ画像上に、３Ｄ−ＶＲメタデータを合成して合成データを生成する。変換部１３１２は、この合成データに基づき、物体Ｌに情報Ｃが合成された三次元形状モデルデータを作成する。従って、三次元形状モデルデータに基づく三次元造形物６を３Ｄ造形装置４に形成させた場合、図９に示すように、情報Ｃ（例えば、「ＡＡ」という文字列）が物体Ｌの表面上に表示される。このように、本三次元画像処理装置１では、入力三次元画像データに付加されているメタデータを破棄せずに活用するため、従来よりも使い勝手のよい三次元形状モデルデータを提供することが可能となる。また、三次元造形物６に形成された情報Ｃは、手書きやシールよる情報よりもはるかに美しく、視認容易であり、さらに、薬品等で洗浄滅菌しても消えることもない。
【００３８】
また、本実施形態によれば、医用の場合、患者の患部を忠実に再現した三次元造形物６と、メタデータが表す情報Ｃの例示としての患者のＩＤ情報または名前や、検査日などとを自動的に紐付けができる。それゆえ、三次元造形物の完成後に、ユーザが患者のＩＤ情報や名前等を三次元造形物に手書きで書き込む等、煩わしい作業を行う必要が無くなる。上記に加え、手術前計画における患者認証を確実に行えるという格別の効果を本三次元画像処理装置１は奏する。よって、本実施形態によれば、従来よりも使い勝手の良い三次元形状モデルデータを生成可能な三次元画像処理装置１を提供することが可能となる。
【００３９】
≪１−５．三次元画像処理装置１の変形例≫
ところで、上記三次元造形物６は外科手術における腫瘍切除のトレーニング等でも使用可能である。ここで、図１０上段には、切離前の三次元造形物６が、腫瘍位置により予め定められる切離ラインＣ−Ｄと共に示される。また、図１０下段には、切離後の三次元造形物６が示され、切離を進めて三次元造形物６を変形させて、物体Ｌ内の血管などを露出させた様子が示される。このようなトレーニング用であれば、メタデータが表す情報Ｃは、三次元造形物６の表面において切離ラインＣ−Ｄから最も沿面距離または空間距離があるポリゴンメッシュを中心に合成されることが好ましい。
【００４０】
また、三次元造形物６をトレーニング用途で使用する場合、患者のＩＤ情報等を三次元造形物６に合成する必要性は少ない。しかし、患者のＩＤ情報等の代わりに、メタデータが表す情報Ｃの他の例として患者の性別または年齢、担当医の名前等が三次元造形物６に合成されると、その症例に対する知識または手技への理解が深まり有益である。
【００４１】
また、本実施形態によれば、三次元画像処理装置１で、大量製作、追加製作に必要な、例えばシリアルＮｏや、製造Ｎｏを自動的に付与することや、あるいは後述する製造Ｎｏのバーコードの刻印を打つこと可能であるため、授業などで大量製作した場合のシリアルＮｏによる数量管理や、製造Ｎｏの目視確認やさらにそのバーコード刻印を読み込むことによる追加発注が容易となり、人件費等のコストも下げることができる。これによって３Ｄプリンタによって作成されたアウトプットである３Ｄ模型を、さらに有効活用することが可能となる。
【００４２】
以上のような合成位置を自動的に導出するために、ユーザは入力装置３を操作して切離ラインＣ−Ｄを指示する。ＣＰＵ１３２は、図４ＡのステップＳ００９において、切離ラインＣ−Ｄに対し最も沿面距離等があるポリゴンメッシュを探索して、ステップＳ０１１において、探索したポリゴンメッシュに情報Ｃを合成する。
【００４３】
なお、上記では、切離ラインＣ−Ｄから最も離れたポリゴンメッシュに情報Ｃを合成するとして説明したが、これに限らず、最も面積を大きなポリゴンメッシュや、切離後の変形量の小さな１個または複数個のポリゴンメッシュも相対的に切離ラインＣ−Ｄから距離があるため、これらに情報Ｃを合成しても構わない。
【００４４】
また、上記では、切離ラインＣ−Ｄから最も離れたポリゴンメッシュに情報Ｃを合成するとして説明した。しかし、切離ラインＣ−Ｄ以外の予め定められた注目位置を基準として、情報Ｃの合成位置は定められれば良い。
【００４５】
また、以上の処理で導出した情報Ｃの合成位置は初期位置として利用可能である。より具体的には、図４ＢのステップＳ０１１では、要するに、物体表面の画像上の初期位置に情報Ｃが合成された合成データが生成される。その後、情報Ｃの合成位置は、ユーザが入力装置３を操作することで修正される。
【００４６】
≪２．第二実施形態≫
次に、図１１〜図１２を参照して、本発明の第二実施形態に係る三次元画像処理装置１Ａを詳説する。
【００４７】
≪２−１．三次元画像処理装置１Ａの構成・処理≫
三次元画像処理装置１Ａのハードウェア構成は、三次元画像処理装置１と同様であるため、図１を援用する。
【００４８】
ＣＰＵ１３２は、プログラムメモリ１３１に格納されたプログラムＰを、ＲＡＭ１３３を作業領域として用いつつ実行し、これによって、図１１に示すように、前述の機能ブロック１３４〜１３１２に加え、データ入力部１３１３およびＩＤ管理部１３１４として動作する。
【００４９】
データ入力部１３１３には、三次元画像に付加されるメタデータ以外のデータであって、物体Ｌに合成されるべきデータが入力される。
【００５０】
データ入力部１３１３への入力データとしては、まず、拡大率（但し、０＜拡大率）が例示される。３Ｄ造形装置４で三次元造形物６を生成するコストは、三次元造形物６の大きさに支配される。よって、解剖学等の教育用、内視鏡手術のトレーニング、手術前の計画等、必ずしも実寸である必要がなければ、実寸よりも小さな三次元造形物６が作製されることもある。しかし、実寸に対してどのくらいのサイズであるか（即ち拡大率）は重要な情報である。かかる拡大率を三次元造形物６に合成すると、ユーザは拡大率を即座に認識できるので有用性が高い。なお、拡大率は、典型的には、ユーザが入力装置３を操作して入力されて、データ入力部１３１３を介して調整部１３９に渡される。
【００５１】
他の入力データとしては部位名、手術（手技）名が例示される。ＤＩＣＯＭのタグにも、二次元断層画像データが表す部位名は記述可能となっている。しかし、本実施形態では、画像選択部１３６により、三次元形状モデルとすべき部分を選択可能となっているため、必ずしも、三次元形状モデルデータが表す物体Ｌの部位名がＤＩＣＯＭのタグで記述されているとは限らない。例えば、医用画像診断装置２から本三次元画像処理装置１Ａに転送されてきた時点では、二次元断層画像は右肺、左肺の両方を表しており、ＤＩＣＯＭのタグにおいて部位名は“肺”（Ｌｕｎｇｓ）と記述されていたとする。しかし、患者が左肺に肺気腫を患っている場合、三次元形状モデルデータとすべきは左肺だけで十分である。このような場合、ユーザは、入力装置３を操作する等して、変換部１３１２での変換直前に、部位名“左肺”（Ｌｅｆｔ  Ｌｕｎｇ）と入力する。このようにして入力された部位名がデータ入力部１３１３を介して調整部１３９に渡される。
【００５２】
他の入力データとしては、三次元造形物６の作成者、作成日または作成ソフトウェア名である、３Ｄ造形装置４および造形に使用する材料により、三次元造形物６の品質には当然差異が生じる。また、二次元断層画像から３Ｄ−ＶＲ画像を生成する際にも、ＣＰＵ等の性能により画質等に差異が生じる。よって、同じ二次元断層画像を使用しても、様々な要因で同じ品質の三次元造形物６が生成されない可能性もある。従って、かかる要因を三次元造形物６に表示することは、医師や患者の立場からは望ましいといえる。作成者、作成日または作成ソフトウェア名は、前述の拡大率と同様に、ユーザが入力装置３を操作することで入力可能である。しかし、これに限らず、三次元画像処理装置１Ａの内部に保持するユーザ登録情報やソフトウェアライセンス情報が、変換部１３１２がＳＴＬ形式に変換する前に、制御部１３のデータ入力部１３１３に転送されても構わない。これにより、ユーザの手入力の煩雑さをなくすことができる。
【００５３】
他の入力データとしては、３Ｄ造形装置４に関する情報である。この情報は、３Ｄ造形装置４の製造者、機器名、機器番号等を含む。３Ｄ造形装置４の情報を取得するには、ＩＤ管理部１３１４が、３Ｄ造形装置４にコマンドを送って、３Ｄ造形装置４から情報を取得して、調整部１３９に渡す。
【００５４】
調整部１３９は、データ入力部１３１３およびＩＤ管理部１３１４を介して受け取った各外部データをメタデータと同様に扱う。即ち、調整部１３９は、前述のステップＳ００８と同様にして、受け取った外部データが表す情報を生成する。
【００５５】
≪２−２．三次元画像処理装置１Ａの効果≫
第二実施形態によれば、多種多様な情報を三次元造形物６に表示できるため、より使い勝手の良い三次元形状モデルデータを生成可能な三次元画像処理装置１Ａを提供することが可能となる。
【００５６】
≪２−３．三次元画像処理装置１Ａの変形例≫
なお、第二実施形態によれば、三次元造形物６に表示する情報が多くなることが想定される。この場合、これら情報から生成された一次元コード（所謂バーコード）または二次元コード（例えば、ＪＩＳＸ０５１０で規格化された二次元コード）が三次元造形物６に表示されても構わない。
【００５７】
また、三次元造形物６に表示された情報の意味を人が理解できることが好ましい場合もあれば、そうでない場合もある。かかる状況下では、図１２に示すように、人が理解しても良い情報に関しては情報（文字）Ｃを用い、そうでない情報は上記二次元コードＱＲを用いて三次元造形物６に表示することが好ましい。
【００５８】
≪３．第三実施形態≫
次に、図１３を参照して、本発明の第三実施形態に係る三次元画像処理装置１Ｂを詳説する。
【００５９】
≪３−１．三次元画像処理装置１Ｂの構成・処理≫
三次元画像処理装置１Ｂは、図１３に示すように、三次元画像処理装置１Ａと比較して、遠隔のサーバ装置７とデータの送受信を行う入出力ＩＦ部１６をさらに備える点で相違する。それ以外に、両三次元画像処理装置１Ａ，１Ｂの間には相違点は無い。それゆえ、図１３において、図１に示す構成に相当するものには同一参照符号を付け、それぞれの説明を控える。
【００６０】
入出力ＩＦ部１６は、第一実施形態や第二実施形態で説明した手法で制御部１３により生成された三次元形状モデルデータを遠隔のサーバ装置７に格納する。
【００６１】
サーバ装置７は、例えば、内部に格納された三次元形状モデルデータを販売する業者により管理され、パーソナルコンピュータ等、様々な端末装置８がアクセス可能となっている。例えば、ある症例検討会に参加した医師が、図１２に示すような三次元造形物６を同症例検討会等で使用した後、自病院でも、同三次元造形物６を使いたくなったとする。ここで、三次元造形物６の二次元コードＱＲには、サーバ装置７のネットワーク上のアドレス（即ち、ロケータ）が記述されているとする。この仮定下で、医師は、端末装置８を操作して、サーバ装置７のアドレスを取得してアクセスして、三次元造形物６を発注することが出来る。
【００６２】
≪３−２．三次元画像処理装置１Ｂの効果≫
以上の通り、本三次元画像処理装置１Ｂによれば、自身が生成した三次元形状モデルデータを遠隔のサーバ装置７に格納できるので、より幅広い用途に三次元形状モデルデータを利用可能となる。
【００６３】
≪３−３．三次元画像処理装置１Ｂの付記≫
なお、サーバ装置７にも三次元画像処理装置１Ｂが備わっている場合、模倣品を防止するために、三次元造形物６に情報Ｃとして、発注数に応じたシリアル番号を表示しても良い。
【００６４】
本出願は、日本国特許庁に２０１６年２月９日付で提出した特許出願２０１６−０２２７５８に基づく優先権を主張する。特許出願２０１６−０２２７５８の内容は、参照により本出願に取り込まれる。
【産業上の利用可能性】
【００６５】
本発明に係る三次元画像処理装置は、より使い勝手の良い三次元形状モデルデータを作成可能であり、医療用等に好適である。
【符号の説明】
【００６６】
１，１Ａ，１Ｂ  三次元画像処理装置
１３４  取得部
１３５  判別・分離部
１３６  画像選択部
１３８  メタデータ選択部
１３１１  合成部
１３１２  変換部
【図１】
2017138558.tif 000003
【図２】
2017138558.tif 000004
【図３】
2017138558.tif 000005
【図４Ａ】
2017138558.tif 000006
【図４Ｂ】
2017138558.tif 000007
【図５】
2017138558.tif 000008
【図６】
2017138558.tif 000009
【図７】
2017138558.tif 000010
【図８】
2017138558.tif 000011
【図９】
2017138558.tif 000012
【図１０】
2017138558.tif 000013
【図１１】
2017138558.tif 000014
【図１２】
2017138558.tif 000015
【図１３】
2017138558.tif 000016
【手続補正書】
【提出日】平成29年12月7日(2017.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
三次元画像と、メタデータとを含む三次元画像データを取得する取得部と、
前記取得部で取得された三次元画像データを、三次元画像とメタデータとに分離する分離部と、
前記分離部で分離されたメタデータが表す情報に対してポリゴンメッシュによるモデリングを行うことによって三次元形状モデルデータに変換し、前記メタデータが表す情報が前記分離部で分離された三次元画像が表す物体表面に配置されるように、前記三次元形状モデルデータを前記三次元画像に合成する合成部と、
前記合成部において前記三次元形状モデルデータが合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像が表す物体の三次元形状モデルデータに変換する変換部と、を備えた三次元画像処理装置。
【請求項２】
前記取得部は、所定の医用画像診断装置で生成された三次元画像データであって、メタデータを含む三次元画像データを取得する、請求項１に記載の三次元画像処理装置。
【請求項３】
前記分離部で分離されたメタデータから所定のメタデータを選択するメタデータ選択部をさらに備え、
前記合成部は、前記メタデータ選択部で選択された所定のメタデータが表す情報を、前記分離部で分離された三次元画像に合成する、請求項１または２に記載の三次元画像処理装置。
【請求項４】
前記分離部で分離された三次元画像から、所定の三次元画像を選択する画像選択部をさらに備え、
前記合成部は、前記画像選択部で選択された所定の三次元画像に、前記分離部で分離されたメタデータが表す情報を合成する、請求項１〜３のいずれかに記載の三次元画像処理装置。
【請求項５】
前記画像選択部は、前記分離部で分離された三次元画像から、所定の人体部位を表す三次元画像を選択する、請求項４に記載の三次元画像処理装置。
【請求項６】
前記三次元画像および前記メタデータはＤＩＣＯＭ（Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｉｎ  Ｍｅｄｉｃｉｎｅ）に準拠している、請求項１〜５のいずれかに記載の三次元画像処理装置。
【請求項７】
前記メタデータは患者または検査に関連する情報を表す、請求項１〜６のいずれかに記載の三次元画像処理装置。
【請求項８】
前記合成部は、前記分離部で分離されたメタデータが表す情報を、前記分離部で分離された三次元画像が表す物体表面の画像における所定位置に配置されるよう、該メタデータが表す情報を該三次元画像に合成し、
前記所定位置は、前記物体表面の画像における注目位置から所定距離離れた位置である、請求項１〜７のいずれかに記載の三次元画像処理装置。
【請求項９】
前記メタデータは文字列情報を表す、請求項１〜８のいずれかに記載の三次元画像処理装置。
【請求項１０】
前記合成部はさらに、前記分離部で分離されたメタデータが表す情報以外の情報を、前記分離部で分離された三次元画像に合成する、請求項１〜９のいずれかに記載の三次元画像処理装置。
【請求項１１】
三次元画像と、メタデータとを含む三次元画像データを取得する取得ステップと、
前記取得ステップで取得された三次元画像データを、三次元画像とメタデータとに分離する分離ステップと、
前記分離部で分離されたメタデータが表す情報に対してポリゴンメッシュによるモデリングを行うことによって三次元形状モデルデータに変換し、前記メタデータが表す情報が前記分離部で分離された三次元画像が表す物体表面に配置されるように、前記三次元形状モデルデータを前記三次元画像に合成する合成ステップと、
前記合成部において前記三次元形状モデルデータが合成された三次元画像を、所定のファイル形式を有しかつ該三次元画像が表す物体の三次元形状モデルデータに変換する変換ステップと、を備えた三次元画像処理方法。
【請求項１２】
三次元画像と、メタデータとを含む三次元画像データを取得する取得ステップと、
前記取得ステップで取得された三次元画像データを、三次元画像とメタデータとに分離する分離ステップと、
前記分離部で分離されたメタデータが表す情報に対してポリゴンメッシュによるモデリングを行うことによって三次元形状モデルデータに変換し、前記メタデータが表す情報が前記分離部で分離された三次元画像が表す物体表面に配置されるように、前記三次元形状モデルデータを前記三次元画像に合成する合成ステップと、
前記合成部において前記三次元形状モデルデータが合成された三次元画像を、所定のファイル形式を有しかつ該三次元両像が表す物体の三次元形状モデルデータに変換する変換ステップと、をコンピュータに実行させる三次元画像処理プログラム。
【国際調査報告】
2017138558.tif 000017
2017138558.tif 000018