(57)【要約】【課題】第１立体形状に対して相対的に配置された第２立体形状を的確に推定するための形状予測システム、形状予測方法及び形状予測プログラムを提供する。【解決手段】形状予測システム２０は、制御部２１と、頭部の頭蓋骨及び外表面のＣＴ画像を記憶したＣＴ画像データ記憶部２２とを備える。制御部２１は、頭蓋骨において特徴点を特定し、この特徴点において、頭蓋骨に対して相対的に配置される外表面の形状を、ＣＴ画像データ記憶部２２から取得し、頭蓋骨の骨形状の特徴点において、外表面形状の配置を予測するための予測モデルを生成する学習処理を実行する。制御部２１は、予測対象の頭部の頭蓋骨の特徴点を特定し、特徴点の配置に予測モデルを適用して、頭部の外表面を予測する予測処理を実行する。【選択図】図１
2020197845.tif 000002
【特許請求の範囲】
【請求項１】
物体の第１立体形状と、前記第１立体形状に対して相対的に配置される第２立体形状とを関連付けて記憶した形状情報記憶部と、
入力部、出力部に接続され、前記第２立体形状を予測する制御部とを備えた形状予測システムであって、
前記制御部が、
前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、
前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、
予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行することを特徴とする形状予測システム。
【請求項２】
前記制御部は、前記第１立体形状において、欠落領域を特定して補間することを特徴とする請求項１に記載の形状予測システム。
【請求項３】
前記制御部は、
前記第１立体形状を、複数のメッシュ点が設定されたメッシュ膜で覆い、
前記メッシュ点の間で引力を作用させて、前記欠落領域を埋めるように補間することを特徴とする請求項２に記載の形状予測システム。
【請求項４】
前記制御部は、前記第１立体形状と前記メッシュ点との間で引力を、更に作用させて、前記欠落領域を補間することを特徴とする請求項３に記載の形状予測システム。
【請求項５】
前記制御部は、前記第１立体形状について、相同化した形状において前記特徴点を特定することを特徴とする請求項１〜４の何れか１項に記載の形状予測システム。
【請求項６】
前記第１立体形状は、骨形状であって、
前記第２立体形状は、前記骨形状の外側に肉厚を介して形成された外表面形状であることを特徴とする請求項１〜５の何れか１項に記載の形状予測システム。
【請求項７】
前記制御部は、頭蓋骨に肉付けして、顔を含む頭部の外表面を第２立体形状として予測する復顔処理を実行することを特徴とする請求項６に記載の形状予測システム。
【請求項８】
前記第１立体形状は、人体の外表面の形状であって、
前記第２立体形状は、前記人体の内側に肉厚を介して配置された骨形状に設定されたメッシュ膜の形状であることを特徴とする請求項１〜５の何れか１項に記載の形状予測システム。
【請求項９】
前記制御部は、頭部の外表面から、頭蓋骨に設定されたメッシュ膜を予測する処理を実行することを特徴とする請求項８に記載の形状予測システム。
【請求項１０】
物体の第１立体形状と、前記第１立体形状に対して相対的に配置される第２立体形状とを関連付けて記憶した形状情報記憶部と、
入力部、出力部に接続された制御部とを備えた形状予測システムを用いて、前記第２立体形状を予測する方法であって、
前記制御部が、
前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、
前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、
予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行することを特徴とする形状予測方法。
【請求項１１】
物体の第１立体形状と、前記第１立体形状に対して相対的に配置される第２立体形状とを関連付けて記憶した形状情報記憶部と、
入力部、出力部に接続された制御部とを備えた形状予測システムを用いて、前記第２立体形状を予測するためのプログラムであって、
前記制御部を、
前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、
前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、
予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行する手段として機能させることを特徴とする形状予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１立体形状に対して相対的に配置された第２立体形状を予測する形状予測システム、形状予測方法及び形状予測プログラムに関する。
【背景技術】
【０００２】
従来、解剖学的に同じ位置にある顔の特徴点を用いて形状を予測することがある。例えば、犯罪捜査や考古学の分野等では、頭蓋骨を基に生前の顔面に復元する復顔作業が行われる。この復顔を効率的に行なうための技術が検討されている（例えば、特許文献１参照。）。この文献に記載された自動復顔シミュレータは、頭蓋骨表面の立体形状を計測する計測部で得られた形状データを基に、第１のデータ記憶部に記憶された人体の身体的特徴に関するデータと、第２のデータ記憶部に記憶された人体の顔面の肉厚データとから顔面の立体形状データを算出する。
【０００３】
また、特徴点を用いて、加齢した顔を予測する技術がある（例えば、特許文献２参照。）。この文献に記載された加齢化予測システムは、角度予測モデル及び３次元化変換予測モデルを用いて処理対象の２次元顔画像から３次元顔データを生成する。そして、この加齢化予測システムは、形状加齢モデル、テクスチャ加齢モデルを用いて、顔画像のテクスチャについて加齢による変化と、顔形状について加齢による変化とを予測して、加齢後の顔画像を出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０１−０４３２３２号公報
【特許文献２】特許第５９５０４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、第１立体形状に対する第２立体形状の相対的な配置は、形状自身の影響を受けるため、単純な関数で決まらない場合がある。例えば、顔の肉厚は、体型だけで決まるものではなく、頭蓋骨の形状の影響を受ける。更に、頭蓋骨には、眼窩等の穴があるため、復顔において、肉厚を的確に推定できない場合もある。
【課題を解決するための手段】
【０００６】
上記課題を解決する形状予測システムは、物体の第１立体形状と、前記第１立体形状に対して相対的に配置される第２立体形状とを関連付けて記憶した形状情報記憶部と、入力部、出力部に接続され、前記第２立体形状を予測する制御部とを備えた形状予測システムであって、前記制御部が、前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行する。
【発明の効果】
【０００７】
本発明によれば、第１立体形状に対して相対的に配置された第２立体形状を的確に推定することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態の形状予測システムの説明図。
【図２】実施形態のハードウェア構成の説明図。
【図３】実施形態における肉厚、外表面、ゴム膜及び頭蓋骨の関係を説明する概念図。
【図４】実施形態の学習処理の処理手順を説明する流れ図。
【図５】実施形態の参照相同モデルの生成処理の説明図であって、（ａ）は参照相同モデルの生成処理の処理手順の流れ図、（ｂ）は頭蓋骨の特徴点の説明図、（ｃ）は特徴メッシュ点の説明図。
【図６】実施形態の相同モデル化処理の説明図であって、（ａ）は相同モデル化処理の処理手順の流れ図、（ｂ）は他のメッシュ点の補間処理後における球面メッシュの説明図、（ｃ）は均等化した球面メッシュの説明図。
【図７】実施形態のゴム膜の生成処理の説明図であって、（ａ）は骨形状を用いたゴム膜の生成処理の処理手順の流れ図、（ｂ）はゴム膜フィッティング処理の処理手順の流れ図、（ｃ）はメッシュを縮小移動する前の状態、（ｄ）はメッシュを縮小移動させた状態。
【図８】実施形態のカップリング学習の説明図であって、（ａ）は処理手順の流れ図、（ｂ）はゴム膜座標ベクトルと肉厚ベクトルからなる行列、（ｃ）は正規化・主成分分析された行列、（ｄ）は前半部分の直交化及び後半部分の線形結合を行なった行列。
【図９】実施形態の予測処理の処理手順を説明する流れ図。
【図１０】実施形態の肉厚の予測処理を説明する説明図。
【図１１】実施形態の予測処理を説明する説明図であって、（ａ）はメッシュ点で構成されたゴム膜表面、（ｂ）は各メッシュ点から予測された肉厚ベクトル、（ｃ）は肉厚ベクトルによって生成された外表面。
【図１２】実施形態における予測対象の形状を説明する説明図であって、（ａ）は入力頭蓋骨、（ｂ）はゴム膜で覆った状態、（ｃ）はカップリング学習により肉厚を適用した状態、（ｄ）は平均肉厚を適用した状態、（ｅ）は正解を示す。
【図１３】変更例における処理の処理手順を説明する流れ図であって、（ａ）は学習処理、（ｂ）は予測処理。
【発明を実施するための形態】
【０００９】
以下、図１〜図１２を用いて、形状予測システム、形状予測方法及び形状予測プログラムを具体化した一実施形態を説明する。本実施形態では、第１立体形状である頭蓋骨から、頭部の外表面（第２立体形状）までの相対位置（肉厚）をカップリング学習により学習し、学習結果を用いて頭蓋骨から顔を推定する復顔を行なう。このために、本実施形態では、図１に示す形状予測システム２０を用いる。
【００１０】
（ハードウェア構成の説明）
図２を用いて、形状予測システム２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶部Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。
【００１１】
通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースカードや無線インタフェース等である。
【００１２】
入力装置Ｈ１２は、利用者等からの入力を受け付ける入力部であり、例えば、マウスやキーボード、ＣＴスキャナ等である。表示装置Ｈ１３は、各種情報を表示する出力部であり、例えばディスプレイ等である。
【００１３】
記憶部Ｈ１４は、形状予測システム２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶部Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。
【００１４】
プロセッサＨ１５は、記憶部Ｈ１４に記憶されるプログラムやデータを用いて、形状予測システム２０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各サービスのための各種プロセスを実行する。
【００１５】
プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路（circuitry）として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【００１６】
（各機能部の説明）
図１に示すように、形状予測システム２０は、頭蓋骨から頭部（顔）の形状を復元する復顔処理を行なうためのコンピュータシステムである。この形状予測システム２０は、制御部２１、形状情報記憶部としてのＣＴ画像データ記憶部２２、特徴点データ記憶部２３、球面メッシュデータ記憶部２４及びモデル記憶部２５を備えている。
【００１７】
制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（学習管理段階、基本モデル生成段階、肉厚計測段階、相同化処理段階、ゴム膜生成段階、機械学習段階、予測管理段階及び形状生成段階等の各処理）を行なう。そのための形状予測プログラムを実行することにより、制御部２１は、学習管理部２１０、基本モデル生成部２１１、肉厚計測部２１２、相同化処理部２１３、ゴム膜生成部２１４、機械学習部２１５、予測管理部２１６、形状生成部２１７として機能する。
【００１８】
図３に示すように、本実施形態では、頭蓋骨において復顔を行なう場合、穴が開いている部分（欠落領域）を塞ぐために、予測に用いる頭蓋骨の形状をゴム膜（メッシュ膜）で覆った形状（ゴム膜モデル）に変換する。そして、ゴム膜モデルの各部分において肉厚を予測して、外表面の形状を推定する。
【００１９】
図１の学習管理部２１０は、形状予測に用いる配置予測モデルを生成する処理を管理する。学習管理部２１０は、学習に用いる相同モデルを記録するための学習用メモリを備える。
【００２０】
基本モデル生成部２１１は、相同モデル化処理に用いる基本モデル（参照相同モデル）に関するデータを生成する処理を実行する。ここでは、学習対象の複数の頭蓋骨から算出した平均的な相同モデルを生成する。ここで、相同モデルとは、頭蓋骨についての３次元データをメッシュで表現し、各メッシュの頂点が、解剖学的に同じ位置になるように変換した３次元座標データである。
【００２１】
肉厚計測部２１２は、ゴム膜モデルから外表面までの距離（肉厚）を計測する処理を実行する。本実施形態では、原点とゴム膜モデルのメッシュ点とを結ぶ直線上で、ゴム膜モデルと外表面との距離を計測する。なお、原点として、予め定めた所定の特徴点から一定のオフセットを与えた点（位置）を用いる。
【００２２】
相同化処理部２１３は、学習や予測に用いる頭蓋骨についての相同モデルを生成する処理を実行する。
ゴム膜生成部２１４は、頭蓋骨をゴム膜で覆った形状を生成する処理を実行する。
機械学習部２１５は、ゴム膜で覆った形状から外表面までの距離を機械学習する処理を実行する。本実施形態では、機械学習として後述するカップリング学習を用いる。
【００２３】
予測管理部２１６は、予測対象の頭蓋骨のＣＴ画像と配置予測モデルとを用いて、頭蓋骨の各部の肉厚を予測するための管理処理を実行する。
形状生成部２１７は、予測シミュレーションにより取得した肉厚を用いて、頭蓋骨から頭部の外表面形状（顔形状）を生成する処理を実行する。
【００２４】
また、ＣＴ画像データ記憶部２２には、学習に用いるサンプルの画像データが記録されている。ここでは、頭部の外表面（顔）のＣＴ画像と、この頭部の頭蓋骨のＣＴ画像（３Ｄ）とが識別番号に関連付けて記録されている。頭部の外表面のＣＴ画像により、頭部の３次元形状を特定することができる。また、頭蓋骨のＣＴ画像により、頭蓋骨の３次元形状を特定することができる。
【００２５】
特徴点データ記憶部２３には、頭蓋骨の特徴点に関するデータが記録されている。特徴点は、頭部における特徴的な部分（例えば、頭頂骨の最上方点や骨鼻腔内表面の最外側点等）である。
【００２６】
球面メッシュデータ記憶部２４には、形状予測に用いるメッシュに関するデータが記録されている。このメッシュに関するデータは、近似的に均等なメッシュとして算出したデータであり、メッシュの頂点数が10242個、三角形数が20480個のほぼ球面を構成する各メッシュの座標データである。このメッシュデータは、正２０面体を出発点として、以下の（１）〜（３）のメッシュ分割処理を５回繰り返して形成される。メッシュ分割処理は、以下の手順で行なわれる。
【００２７】
（１）すべての三角形を構成する辺の中点に新たなメッシュ点を置き、三角形を再定義する。
（２）（１）で配置した点は球面上にないので、中心（原点）と当該点を結んだ線分を延長し、球面との交点に置きなおす。
【００２８】
（３）（２）で球面上に配置した点の間隔は不均等になっているので、最急降下法（勾配法）により、以下の２つの条件を満たす中で最適な配置（エネルギーが低い配置）を計算する。
・球面上にある点を、球面上にない点よりもエネルギーを低くする。
・隣り合う点同士の距離が平均距離に近い点のエネルギーを低くする。
【００２９】
モデル記憶部２５には、予測処理において肉厚を予測するために用いる配置予測モデルが記憶される。この配置予測モデルは学習処理が実行された場合に記憶される。
【００３０】
（学習処理）
まず、図４を用いて、学習処理について説明する。
形状予測システム２０の制御部２１は、骨形状及び外表面のＣＴ画像の取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の学習管理部２１０は、各識別番号に関連付けられた頭部の外表面のＣＴ画像と、頭蓋骨のＣＴ画像とを、ＣＴ画像データ記憶部２２から取得する。そして、学習管理部２１０は、頭部の外表面のＣＴ画像を用いて、外表面の３次元形状を生成し、頭蓋骨のＣＴ画像を用いて、頭蓋骨の３次元形状を生成する。
【００３１】
次に、形状予測システム２０の制御部２１は、参照相同モデルの生成処理を実行する（ステップＳ１−２）。この処理の詳細については、図５を用いて後述する。
次に、形状予測システム２０の制御部２１は、学習個別データにおける相同モデル化処理を実行する（ステップＳ１−３）。この処理においては、ステップＳ１−１で生成した頭蓋骨の３次元形状と、Ｓ１−２において生成した参照相同モデルとを用いて、相同モデル化処理を実行する。この処理の詳細については、図６を用いて後述する。
【００３２】
そして、形状予測システム２０の制御部２１は、骨形状を用いたゴム膜の生成処理を実行する（ステップＳ１−４）。この処理の詳細については、図７を用いて後述する。
【００３３】
そして、形状予測システム２０の制御部２１は、肉厚の計測処理を実行する（ステップＳ１−５）。具体的には、制御部２１の肉厚計測部２１２は、原点と球面相同モデルの各メッシュ点とを含む直線上において、ゴム膜表面の座標と、外表面の座標とを特定する。肉厚計測部２１２は、特定した外表面の座標からゴム膜表面の座標までの距離（肉厚）を算出する。
【００３４】
次に、形状予測システム２０の制御部２１は、カップリング学習による配置予測モデルの生成処理を実行する（ステップＳ１−６）。この処理の詳細については、図８を用いて後述する。
【００３５】
＜参照相同モデルの生成処理＞
次に、図５を用いて、参照相同モデルの生成処理を説明する。この処理を、ＣＴ画像データ記憶部２２に記録されたデータを用いて生成した頭部の骨形状のすべてを用いて実行する。
【００３６】
図５（ａ）に示すように、制御部２１の基本モデル生成部２１１は、平均特徴点の算出処理を実行する（ステップＳ２−１）。具体的には、基本モデル生成部２１１は、各個別データの原点を一致させ、重回帰分析等を用いて、左右対称で顔が正面を向くように回転させる。更に、基本モデル生成部２１１は、頭頂から顎までのＺ軸上の長さが指定値になるようにリサイズ（拡大又は縮小）することにより、各個別データの頭蓋骨上の特徴点データを正規化する。そして、基本モデル生成部２１１は、正規化した各個別データを用いて、骨形状の各特徴点の平均の位置（平均特徴点）を算出する。
【００３７】
次に、制御部２１の基本モデル生成部２１１は、特徴メッシュ点の特定処理を実行する（ステップＳ２−２）。具体的には、基本モデル生成部２１１は、球面メッシュデータ記憶部２４に記憶されたメッシュデータを取得する。次に、基本モデル生成部２１１は、原点から伸ばした平均特徴点（座標）の延長線と、取得したメッシュデータ（球面）との交点を特定する。更に、基本モデル生成部２１１は、特定した交点に最も近いメッシュ点を交点まで移動させ、特徴メッシュ点とする。
【００３８】
次に、制御部２１の基本モデル生成部２１１は、他のメッシュ点の補間処理を実行する（ステップＳ２−３）。具体的には、基本モデル生成部２１１は、特徴メッシュ点を固定したまま、特徴メッシュ点以外の他のメッシュ点について、特徴メッシュ点からの移動量を球面上において分配して、分配した移動量に応じて、他のメッシュ点を球面上で移動させる。
【００３９】
そして、制御部２１の基本モデル生成部２１１は、最急降下法を用いてメッシュの均等化処理を実行する（ステップＳ２−４）。具体的には、基本モデル生成部２１１は、取得したメッシュデータ（球面）上に配置したメッシュ点（特徴メッシュ点及び補間したメッシュ点）の各位置を、最急降下法を用いて均等化させる。この場合、特徴点のメッシュ頂点を動かさないように固定しておく。そして、基本モデル生成部２１１は、均等化させた各メッシュ点の位置を、学習用メモリに記憶する。
図５（ｂ）には、頭蓋骨における特徴点を黒点で示す。図５（ｃ）には、球表面で均等化した各メッシュ点を示す。また球表面上の黒点は、特徴メッシュ点を示している。
【００４０】
＜学習個別データにおける相同モデル化処理＞
次に、図６を用いて、学習個別データにおける相同モデル化処理（ステップＳ３−１）を説明する。この処理は、骨形状の各学習個別データについて、繰り返して実行される。
【００４１】
図６（ａ）に示すように、制御部２１の相同化処理部２１３は、特徴点の特定処理を実行する（ステップＳ３−１）。具体的には、相同化処理部２１３は、学習個別データの骨形状における各特徴点を特定する。
【００４２】
次に、制御部２１の相同化処理部２１３は、特徴点の正規化処理を実行する（ステップＳ３−２）。具体的には、相同化処理部２１３は、公知のプロクラステス解析を用いて、各個別データの特徴点（座標）を、原点から平均特徴点までの方向と距離に一致させる。
【００４３】
次に、制御部２１の相同化処理部２１３は、特徴メッシュ点の移動処理を実行する（ステップＳ３−３）。具体的には、相同化処理部２１３は、球面メッシュデータ記憶部２４に記憶されたメッシュデータを取得する。次に、相同化処理部２１３は、原点から伸ばした正規化特徴点（座標）の延長線と、取得したメッシュデータ（球面）との交点を特定する。更に、相同化処理部２１３は、特定した交点に最も近いメッシュ点を交点まで移動させ、特徴メッシュ点とする。
【００４４】
次に、制御部２１の相同化処理部２１３は、ステップＳ２−３，Ｓ２−４と同様に、他のメッシュ点の補間処理（ステップＳ３−４）、最急降下法を用いてメッシュの均等化処理（ステップＳ３−５）を実行する。
【００４５】
図６（ｂ）には、他のメッシュ点の補間処理（ステップＳ３−４）後における球面メッシュと、黒点による特徴メッシュ点とを示している。また、図６（ｃ）に示す球面メッシュデータは、最急降下法を用いてメッシュの均等化処理（ステップＳ３−５）により特定したメッシュ点を示している。この均等化処理により、メッシュ点が歪んだ領域（図６（ｂ）の右上の楕円領域）は、平均的な間隔で均等化される。
【００４６】
＜骨形状を用いたゴム膜の生成処理＞
次に、図７（ａ）を用いて、骨形状を用いたゴム膜の生成処理（ステップＳ１−４）を説明する。この処理は、骨形状の各学習個別データについて、繰り返して実行される。
【００４７】
まず、制御部２１のゴム膜生成部２１４は、球面メッシュの原点に骨形状の配置処理を実行する（ステップＳ４−１）。具体的には、ゴム膜生成部２１４は、メッシュデータ（球面）の原点に、ＣＴ画像により特定した頭蓋骨の３次元形状の中心を一致させて、頭蓋骨の表面の位置を特定する。
【００４８】
次に、制御部２１のゴム膜生成部２１４は、ゴム膜フィッティング処理を実行する（ステップＳ４−２）。この処理の詳細については、図７（ｂ）を用いて後述する。
次に、制御部２１のゴム膜生成部２１４は、ゴム膜上でメッシュ頂点の特定処理を実行する（ステップＳ４−３）。具体的には、ゴム膜生成部２１４は、原点から伸ばした各相同メッシュ点の延長線と、ゴム膜表面との交点を特定する。そして、ゴム膜生成部２１４は、特定した交点を相同モデルのメッシュ頂点として特定する。
【００４９】
＜ゴム膜フィッティング処理＞
次に、図７（ｂ）を用いて、ゴム膜フィッティング処理（ステップＳ４−２）について説明する。
【００５０】
まず、ゴム膜生成部２１４は、球面メッシュの均等分割処理を実行する（ステップＳ５−１）。具体的には、ゴム膜生成部２１４は、頭蓋骨を内包する球面を仮定し、球面上をメッシュに分割する。
【００５１】
次に、ゴム膜生成部２１４は、メッシュの縮小移動処理を実行する（ステップＳ５−２）。具体的には、ゴム膜生成部２１４は、各メッシュ間に引力を与えて、公知の分子動力学手法により、球面を縮小する方向で各メッシュを移動させる。この場合、メッシュ点は、球の中心と初期位置を結んだ直線上のみで移動させる。
【００５２】
ここでは、図７（ｃ）に示すように、隣接するメッシュ点の方向に引力を与える。そして、各メッシュ点を中心方向に移動させる。
この場合、ゴム膜生成部２１４は、骨形状表面に到達した各メッシュ点については、到着した表面位置に配置を決定する。そして、これ以降、このメッシュ点については縮小移動させない。
【００５３】
一方、ゴム膜生成部２１４は、骨形状表面に到達していない各メッシュ点については、各メッシュ間に引力を更に与えて、公知の分子動力学手法により、球面を縮小する方向で各メッシュの移動を繰り返して、配置を決定する。
図７（ｄ）に示すように、頭蓋骨の凸部ではメッシュ点がゴム膜表面に張り付き、凹部ではメッシュ点間の引力により配置が決まる。
【００５４】
＜カップリング学習による配置予測モデルの生成処理＞
次に、図８を用いて、カップリング学習による配置予測モデルの生成処理（ステップＳ１−６）について説明する。
【００５５】
まず、図８（ａ）に示すように、機械学習部２１５は、ゴム膜座標データと肉厚データとで行列生成処理を実行する（ステップＳ６−１）。具体的には、機械学習部２１５は、ゴム膜座標ベクトルを一行に並べる。
【００５６】
更に、図８（ｂ）に示すように、機械学習部２１５は、同じ頭蓋骨とゴム膜座標を用いて算出した肉厚ベクトルを同じ行に繋げて並べた行列（第１行列）を生成する。
次に、機械学習部２１５は、正規化・主成分分析処理を実行する（ステップＳ６−２）。具体的には、機械学習部２１５は、生成した行列の正規化を行なう。更に、機械学習部２１５は、正規化した行列の行ベクトルを用いて主成分分析を行なう。
【００５７】
これにより、図８（ｃ）に示すように、データ空間を表現する直交基底により、寄与率の高い順番に並べた行列（第２行列）を生成する。
次に、機械学習部２１５は、直交基底前半の直交化処理を実行する（ステップＳ６−３）。具体的には、機械学習部２１５は、グラムシュミットの手法を用いて、直交基底の前半部分を直交化する。これにより、前半部分の直交化に用いた直交化係数が算出される。
【００５８】
次に、機械学習部２１５は、直交化係数で線形結合処理を実行する（ステップＳ６−４）。具体的には、機械学習部２１５は、直交基底の後半部分についても、前半部分の直交化係数を用いた線形結合により表現する。
ここでは、図８（ｄ）に示すように、ｉ行ｊ列からなる前半部分（第３行列）と、ｉ行ｋ列からなる後半部分（第４行列）とが生成される。
そして、この第３行列及び第４行列を、モデル記憶部２５に記憶する。
【００５９】
（予測処理）
次に、図９〜図１２を用いて予測処理について説明する。
図９に示すように、形状予測システム２０の制御部２１は、予測対象頭蓋骨の３Ｄスキャン処理を実行する（ステップＳ７−１）。具体的には、制御部２１の予測管理部２１６は、予測対象の頭部の頭蓋骨（骨形状）のＣＴ画像を、入力装置Ｈ１２を介して取得する。そして、予測管理部２１６は、頭蓋骨のＣＴ画像を用いて、頭蓋骨の３次元形状を生成し、この形状データ（頭蓋骨データ）を取得する。
【００６０】
次に、形状予測システム２０の制御部２１は、予測対象データにおける相同モデル化処理を実行する（ステップＳ７−２）。具体的には、制御部２１の相同化処理部２１３は、取得した予測対象の頭蓋骨データを用いて、学習個別データにおける相同モデル化処理と同様に、頭蓋骨における特徴点の特定処理、特徴点の正規化処理、特徴メッシュ点の移動処理、他のメッシュ点の補間処理及び最急降下法を用いてメッシュの均等化処理（ステップＳ３−１〜Ｓ３−５）を実行する。
【００６１】
次に、形状予測システム２０の制御部２１は、骨形状を用いたゴム膜の生成処理を実行する（ステップＳ７−３）。具体的には、制御部２１のゴム膜生成部２１４は、学習処理の骨形状を用いたゴム膜の生成処理（ステップＳ１−４）と同様に、球面メッシュの原点に骨形状の配置処理、ゴム膜フィッティング処理、ゴム膜上でメッシュ頂点の特定処理を実行する（ステップＳ４−１〜ステップＳ４−３）。
【００６２】
次に、形状予測システム２０の制御部２１は、各メッシュ点の座標における肉厚の予測処理を実行する（ステップＳ７−４）。この処理の詳細については、図１０を用いて後述する。
【００６３】
そして、形状予測システム２０の制御部２１は、復顔の生成処理を実行する（ステップＳ７−５）。ここでは、予測した肉厚を用いて、ゴム膜モデルから、頭部の外表面（顔）の３次元形状を復元し、表示装置Ｈ１３に表示する。この処理の詳細については、図１１を用いて後述する。
【００６４】
＜各メッシュ点の座標における肉厚の予測処理＞
次に、図１０を用いて、各メッシュ点の座標における肉厚の予測処理（ステップＳ７−４）について説明する。
【００６５】
ここでは、制御部２１の予測管理部２１６は、取得した骨形状から生成したゴム膜座標を一行に並べたゴム膜座標ベクトル（説明変数ベクトル）を生成し、正規化を行なう。
次に、制御部２１の予測管理部２１６は、正規化したゴム膜座標ベクトルと第３行列との内積を計算することにより、予測係数を計算する。
【００６６】
次に、制御部２１の予測管理部２１６は、算出した予測係数と第４行列との内積を計算することにより、予測ベクトル（目的変数ベクトル）を算出する。この予測ベクトルの大きさは、各メッシュ点の肉厚を示している。
【００６７】
＜復顔の生成処理＞
次に、図１１を用いて、復顔の生成処理について説明する。
制御部２１の形状生成部２１７は、ステップＳ７−４において算出した各メッシュ点における肉厚を、ゴム膜表面のメッシュ点の座標に加算して、顔の外表面の座標を特定する。そして、特定した各座標を含む３次元形状により顔形状を生成する。
【００６８】
図１１（ａ）には、ゴム膜表面のメッシュ点を示している。このゴム膜表面の黒点は特徴点である。
図１１（ｂ）には、ゴム膜表面の各メッシュ点において予測した肉厚ベクトルを示している。この肉厚ベクトルは、原点からメッシュ点を結ぶ方向で、ゴム膜表面から予測された肉厚（距離）で構成される。
図１１（ｃ）には、肉厚ベクトルによって特定された座標点により生成された外表面形状を示している。なお、外表面上の黒点は特徴点を示している。
【００６９】
（予測結果の比較）
図１２には、４０名の個別データにおいて、３９名の個別データを用いて学習処理を実行し、残りの１名の個別データを用いて予測処理を実行した結果を示す。
【００７０】
図１２（ａ）は、予測処理に用いた頭蓋骨である。
図１２（ｂ）、（ｃ）は、入力した頭蓋骨から生成したゴム膜、カップリング学習により予測した復顔結果である。
【００７１】
図１２（ｄ）は、参考例として、顔の平均肉厚により予測した復顔結果である。
図１２（ｅ）は、正解となる外表面（顔形状）である。
図１２（ｄ）の比較例よりも、図１２（ｃ）の本発明の予測結果の方が正解に近いことがわかる。
【００７２】
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態において、形状予測システム２０の制御部２１は、頭蓋骨の骨形状における特徴点を特定し、特徴点の配置に基づいて、骨形状から外表面までの厚みを予測する配置予測モデルを生成する学習処理を実行する。更に、制御部２１は、予測対象の頭蓋骨の特徴点を特定し、特定した特徴点の配置に配置予測モデルを適用して、外表面を予測する。これにより、実際の頭蓋骨と外表面のデータから学習して予測した肉厚を用いて外表面を生成するため、復顔を的確に行なうことができる。
【００７３】
（２）本実施形態において、形状予測システム２０の制御部２１は、頭蓋骨を覆ったゴム膜から外表面までの肉厚を計測し、この計測値を用いて肉厚を予測するモデルを生成する。頭蓋骨においては、眼窩等の穴（欠落領域）を有する。この場合にも、ゴム膜から外表面までの肉厚を、的確に予測することができる。
【００７４】
（３）本実施形態において、形状予測システム２０の制御部２１は、ゴム膜フィッティング処理において、球面メッシュの均等分割処理及びメッシュの縮小移動処理を実行する（ステップＳ５−１，Ｓ５−２）。これにより、複数のメッシュ点の間で引力を作用させることにより、頭蓋骨の外形形状に合致したメッシュを生成することができる。
【００７５】
（４）本実施形態において、形状予測システム２０の制御部２１は、計測した肉厚を用いて、カップリング学習による配置予測モデルの生成処理を実行する。これにより、中小規模のデータを用いて、的確に予測するモデルを生成することができる。
【００７６】
（５）本実施形態において、形状予測システム２０の制御部２１は、参照相同モデルの生成処理（ステップＳ１−２）及び学習個別データにおける相同モデル化処理（ステップＳ１−３）を実行する。これにより、各学習個別データを解剖学上の特徴で共通化させて、配置予測モデルを生成することができる。
【００７７】
（６）本実施形態において、形状予測システム２０の制御部２１は、参照相同モデルの生成処理及び相同モデル化処理において、最急降下法を用いてメッシュの均等化を実行する（ステップＳ２−４，Ｓ３−５）。これにより、メッシュを均等に配置することができるので、むらなく予測することができる。
【００７８】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態の形状予測システム２０の制御部２１は、ＣＴ画像データ記憶部２２に記憶されたデータを用いて配置予測モデルを生成した。この場合、立体形状の属性（例えば、人種や性別）別に配置予測モデルを生成してもよい。この場合には、制御部２１は、同じ属性のＣＴ画像データを用いて、属性別の配置予測モデルを生成する。更に、形状予測システム２０には、頭蓋骨形状の特徴量に対して、属性を特定するための属性判定情報を保持させておく。
【００７９】
そして、予測対象の頭蓋骨の３Ｄデータを取得した場合、制御部２１は、頭蓋骨形状の特徴量を算出し、属性判定情報を用いて、属性を特定する。なお、入力装置Ｈ１２を介して、属性を入力するようにしてもよい。次に、制御部２１は、特定した属性に応じた配置予測モデルを用いて肉厚を予測し、予測した肉厚を用いて外表面を生成する。これにより、人種や性別等の属性に応じた肉厚の違いを考慮して、より的確に復顔することができる。
【００８０】
・上記実施形態の形状予測システム２０の制御部２１は、骨形状から、肉厚を考慮して外表面を予測した。予測する第２立体形状は、第１立体形状に対して相対的に配置された形状であればよい。例えば、外表面（第１立体形状）から骨形状（第２立体形状）を予測するようにしてもよい。
【００８１】
具体的には、図１３（ａ）に示すように、形状予測システム２０の制御部２１は、上記実施形態の学習処理と同様に、骨形状及び外表面のＣＴ画像の取得処理（ステップＳ８−１）、参照相同モデルの生成処理（ステップＳ８−２）、学習個別データにおける相同モデル化処理（ステップＳ８−３）を実行する。更に、制御部２１は、上記実施形態の学習処理と同様に、骨形状を用いたゴム膜の生成処理（ステップＳ８−４）及び肉厚の計測処理（ステップＳ８−５）を実行する。そして、形状予測システム２０の制御部２１は、カップリング学習による配置予測モデルの生成処理を実行する（ステップＳ８−６）。この処理において、制御部２１は、外表面座標ベクトルを説明変数ベクトルとし、肉厚ベクトルを目的変数ベクトルとして用いたカップリング学習を行なって、配置予測モデルを生成する。
【００８２】
そして、図１３（ｂ）に示すように、予測処理においては、形状予測システム２０の制御部２１は、予測対象外表面の３Ｄスキャン処理を実行する（ステップＳ９−１）。具体的には、制御部２１の予測管理部２１６は、予測対象の外表面のＣＴ画像を、入力装置Ｈ１２を介して取得し、外表面の３次元形状を生成し、外表面データを取得する。
【００８３】
次に、形状予測システム２０の制御部２１は、予測対象データにおける相同モデル化処理を実行する（ステップＳ９−２）。具体的には、制御部２１の相同化処理部２１３は、取得した予測対象の外表面データを用いて、学習個別データにおける相同モデル化処理と同様に、外表面における特徴点の特定処理、特徴点の正規化処理、特徴メッシュ点の移動処理、他のメッシュ点の補間処理及び最急降下法を用いてメッシュの均等化処理（ステップＳ３−１〜Ｓ３−５）を実行する。
【００８４】
次に、形状予測システム２０の制御部２１は、ステップＳ７−４と同様に、各メッシュ点の座標における肉厚の予測処理を実行する（ステップＳ９−３）。この場合、制御部２１は、予測対象の外表面の座標ベクトルを入力データとして、肉厚ベクトルを算出する。
【００８５】
次に、形状予測システム２０の制御部２１は、外表面から肉厚を引いてゴム膜の生成処理を実行する（ステップＳ９−４）。
これにより、外表面から、ゴム膜で覆った骨形状を予測することができる。
また、第１立体形状及び第２立体形状は、頭蓋骨及び頭部の外表面に限らず、人体の骨形状及び外表面であってもよい。この場合、やせ型や肥満型等、体型に応じた肉厚を予測する予測モデルを生成してもよい。そして、同じ人体の骨形状に、体型に応じた外表面を予測して、痩せた場合や太った場合の体型を予測してもよい。
更に、予測する第２立体形状は、第１立体形状の外側又は内側に配置される場合に限られない。例えば、川の表面の波形状（第１立体形状）から、川底の形状（第２立体形状）を予測してもよい。
【００８６】
・上記実施形態においては、ゴム膜フィッティング処理（ステップＳ４−２）において、形状予測システム２０の制御部２１は、球面メッシュの均等分割処理及びメッシュの縮小移動処理を実行する（ステップＳ５−１，Ｓ５−２）。この場合、眼窩等の欠落領域と、頬等の窪み領域とを区別してゴム膜をフィッティングさせてもよい。例えば、メッシュの縮小移動処理（ステップＳ５−２）において、各メッシュ間の引力（第１引力）とともに、頭蓋骨（第１立体形状）とメッシュ点との間で引力（第２引力）を作用させる。この場合には、窪み領域は、第２引力により骨に近づくが、欠落領域は骨がないため、第２引力は作用せず、第１引力のみで配置が決まる。これにより、ゴム膜のフィッティングの精度を改善できる。
【００８７】
・上記実施形態において、形状予測システム２０の制御部２１は、骨形状を用いたゴム膜の生成処理において、骨形状に合わせたゴム膜を生成し、外表面からゴム膜までの肉厚を計測した。制御部２１は、ゴム膜を生成する代わりに、眼窩等の欠落領域と、他の領域とを区別し、領域毎に、肉厚を予測してもよい。この場合、欠落領域の周囲を特定し、欠落領域を塞ぐ形状を設定し、この部材から外表面までの距離を肉厚として計測してもよい。
【００８８】
・上記実施形態において、形状予測システム２０の制御部２１は、カップリング学習により配置予測モデルを生成した。配置予測モデルの生成は、カップリング学習に限定されるものではない。例えば、従属変数（予測対象特徴量）を用いて説明変数（予測時に使用する特徴量）を算出する重回帰分析や、ニューラルネットワーク等の他の機械学習を用いてもよい。
【符号の説明】
【００８９】
２０…形状予測システム、２１…制御部、２２…ＣＴ画像データ記憶部、２３…特徴点データ記憶部、２４…球面メッシュデータ記憶部、２５…モデル記憶部、２１０…学習管理部、２１１…基本モデル生成部、２１２…肉厚計測部、２１３…相同化処理部、２１４…ゴム膜生成部、２１５…機械学習部、２１６…予測管理部、２１７…形状生成部。
【図１】
2020197845.tif 000003
【図２】
2020197845.tif 000004
【図３】
2020197845.tif 000005
【図４】
2020197845.tif 000006
【図５】
2020197845.tif 000007
【図６】
2020197845.tif 000008
【図７】
2020197845.tif 000009
【図８】
2020197845.tif 000010
【図９】
2020197845.tif 000011
【図１０】
2020197845.tif 000012
【図１１】
2020197845.tif 000013
【図１２】
2020197845.tif 000014
【図１３】
2020197845.tif 000015