(57)【要約】  人体表面の立体形状を表す画像から人体内部に存在する脊柱配列のコブ角及び回旋角の少なくとも一方を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置を提供する。人体表面の立体形状を表す画像を取得する画像取得部（１１）と、蓄積されたデータを用いて人体の脊柱配列を推定する脊柱配列推定部（１２）と、推定された脊柱配列からコブ角及び回旋角の少なくとも一方を算出する角度算出部（１３）を備える。
2017141958.tif 000002
【特許請求の範囲】
【請求項１】
人体表面の立体形状を表す画像を取得する画像取得部と、
蓄積したデータを用いて、前記取得された画像から脊柱配列を推定する脊柱配列推定部と、
前記推定された脊柱配列に基づいて、前記脊柱配列のコブ角及び回旋角の少なくとも一方を算出する角度算出部
とを備えることを特徴とする脊柱配列推定装置。
【請求項２】
前記脊柱配列推定部は、前記画像が取得される前記人体の脊柱を構成している複数の脊柱要素の重心の座標を前記脊柱配列として推定することを特徴とする請求項１に記載の脊柱配列推定装置。
【請求項３】
前記脊柱配列推定部は、前記複数の脊柱要素の前記重心の座標を連続させる曲線を算出することを特徴とする請求項２に記載の脊柱配列推定装置。
【請求項４】
前記脊柱配列推定部は、前記複数の脊柱要素の棘突起の座標を推定し、
前記複数の脊柱要素の前記重心の座標及び前記棘突起の座標に基づいて、前記回旋角を推定する
ことを特徴とする請求項２又は３に記載の脊柱配列推定装置。
【請求項５】
前記画像取得部が取得する画像が、３次元撮像機により撮像された３次元画像であることを特徴とする請求項１〜４のいずれか１項に記載の脊柱配列推定装置。
【請求項６】
前記画像取得部が取得する画像が、モアレ撮像機により撮像された人体背面のモアレ縞を含むモアレ画像であることを特徴とする請求項１〜４のいずれか１項に記載の脊柱配列推定装置。
【請求項７】
人体表面の立体形状を表す画像を取得するステップと、
蓄積したデータを用いて、前記取得された画像から脊柱配列を推定するステップと、
前記推定された脊柱配列に基づいて、前記脊柱配列のコブ角及び回旋角の少なくとも一方を算出するステップ
とを含むことを特徴とする脊柱配列推定方法。
【請求項８】
画像取得部に、人体表面の立体形状を表す画像を取得させる手順と、
脊柱配列推定部に、蓄積したデータを用いて、前記取得された画像から脊柱配列を推定させる手順と、
角度算出部に、前記推定された脊柱配列に基づいて、前記脊柱配列のコブ角及び回旋角の少なくとも一方を算出させる手順
とをコンピュータに実行させることを特徴とする脊柱配列推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムに関する。
【背景技術】
【０００２】
脊柱側弯症とは、通常は正面から見ると直線的に配列される背骨（脊柱）が側方や前後方向に歪んでしまう疾患である。日本では、学校保健安全法により、就学時及び定期検診において、脊柱及び胸郭の疾病及び異常の有無の確認が義務づけられている。第１次検診は自治体を中心に各学校で行われ、第１次検診の結果、側弯症の疑いがある場合には第２次検診に進み、Ｘ線撮影を実施して側弯症の診断を確定する。【０００３】
第１次検診では、側弯の有無の判定のためにモアレ検査を利用している自治体が多い。モアレ検査では、モアレ縞測定装置を用いて児童らの背部を撮像し、得られたモアレ画像に写り込むモアレ縞の数の違い等によって、背部の左右の高低差を評価し、側弯の有無を判定している（非特許文献１及び２参照。）。【０００４】
しかしながら、モアレ画像から側弯の有無を判定するための全国的な統一された基準はなく、モアレ検査は各自治体が独自に施行しており、側弯の有無の判定にはバラツキが生じる。例えば、モアレ検査の感度は一般的には１００％、特異度は８６％と報告されているが（Karachalios、 Spine 1999）、平成２１年度の東京都予防医学協会が実施した２次検診では、第１次検診による側弯症の疑いで２次検診のＸ線撮影を実施した３２％の学童は側弯症が否定されており、このようなケースでのＸ線撮影による医療被曝を軽減することも望まれる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ウィルナース（Willner） S. 『モアレトポグラフィ：側弯症の学校検診方法（Moire´ topography: a method for school screening of scoliosis）』. アチーブス・オブ・オーソペディック・アンド・トラウマ・サージェリー（Arch Orthop Trauma Surg）. 1979年; 第95巻: p 181-185.
【非特許文献２】ダルワラ（Daruwarlla） JS, バラスブラマニアン（Balasubrmanian） P. 『側弯症のモアレトポグラフィ：カーブの位置及びサイズ検出におけるその精度（Moire´ topography in scoliosis: its accuracy in detecting the site and size of the curve）』. ジャーナル・オブ・ボーン・アンド・ジョイント・サージェリー（J Bone Joint Surg (Br)）. 1985年; 第67巻: p 211-213.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、人体表面の立体形状を表す画像から人体内部に存在する脊柱要素の配列を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、（ａ）人体表面の立体形状を表す画像を取得する画像取得部と、（ｂ）蓄積されたデータを用いて、取得された画像から脊柱配列を推定する脊柱配列推定部と、（ｃ）推定された脊柱配列に基づいて、脊柱配列のコブ角及び回旋角の少なくとも一方を算出する角度算出部とを備える脊柱配列推定装置であることを要旨とする。【０００８】
本発明の他の態様は、（ａ）人体表面の立体形状を表す画像を取得するステップと、（ｂ）蓄積されたデータを用いて、取得された画像から脊柱配列を推定するステップと、（ｃ）推定された脊柱配列に基づいて、脊柱配列のコブ角及び回旋角の少なくとも一方を算出するステップとを含む脊柱配列推定方法であることを要旨とする。【０００９】
本発明の更に他の態様は、（ａ）画像取得部に、人体表面の立体形状を表す画像を取得させる手順と、（ｂ）蓄積されたデータを用いて、取得された画像から脊柱配列を推定させる手順と、（ｃ）脊柱配列推定部に、推定された脊柱配列に基づいて、脊柱配列のコブ角及び回旋角の少なくとも一方を算出させる手順とをコンピュータに実行させる脊柱配列推定プログラムであることを要旨とする。【００１０】
本発明において「蓄積されたデータ」とは、臨床の場において取得される臨床画像データから機械学習された学習データである。臨床画像データとしては、例えばＸ線画像データやＣＴ画像データなどが挙げられるが、これに限らない。機械学習としては、例えば深層学習（ディープ・ラーニング）等があげられるが、これに限らない。
【発明の効果】
【００１１】
本発明によれば、人体表面の立体形状を表す画像から人体内部に存在する脊柱要素の配列を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１の実施の形態に係る脊柱配列推定装置の一例を示す概略図である。
【図２】図２は、脊柱側弯症を説明するための脊柱要素の配列の一例を示す概略図である。
【図３】図３は、本発明の第１の実施の形態に係る撮像装置の一例を示す概略図である。
【図４】図４は、本発明の第１の実施の形態に係る機械学習用のモアレ画像の一例を示す概略図である。
【図５】図５は、本発明の第１の実施の形態に係る機械学習方法の一例を説明するためのフローチャートである。
【図６】図６は、本発明の第１の実施の形態に係る機械学習用のＸ線画像の一例を示す概略図である。
【図７】図７は、本発明の第１の実施の形態に係るＸ線画像上の脊柱の一例を示す概略図である。
【図８】図８は、本発明の第１の実施の形態に係るＸ線画像のラベル付けの一例を示す概略図である。
【図９】図９は、本発明の第１の実施の形態に係るモアレ画像とＸ線画像の位置合わせの一例を示す概略図である。
【図１０】図１０は、本発明の第１の実施の形態に係る機械学習方法の一例を示す概略図である。
【図１１】図１１は、本発明の第１の実施の形態に係る未知のモアレ画像の一例を示す概略図である。
【図１２】図１２は、本発明の第１の実施の形態に係る脊柱配列の推定結果を含むモアレ画像の一例を示す概略図である。
【図１３】図１３は、本発明の第１の実施の形態に係るコブ角算出方法の一例を説明するための概略図である。
【図１４】図１４は、本発明の第１の実施の形態に係る脊柱配列の推定結果及びコブ角の算出結果を含むモアレ画像の一例を示す概略図である。
【図１５】図１５は、本発明の第１の実施の形態に係る脊柱配列推定方法の一例を説明するためのフローチャートである。
【図１６】図１６（ａ）及び図１６（ｂ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る機械学習用の３Ｄ画像の一例をそれぞれ示す概略図である。
【図１７】本発明の第２の実施の形態に係る機械学習方法の一例を説明するためのフローチャートである。
【図１８】図１８（ａ）〜図１８（ｃ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る機械学習用のＣＴ画像の一例をそれぞれ示す概略図である。
【図１９】図１９（ａ）及び図１９（ｂ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る未知の３Ｄ画像の一例をそれぞれ示す概略図である。
【図２０】図２０（ａ）及び図２０（ｂ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る脊柱配列の推定結果を含む３Ｄ画像の一例をそれぞれ示す概略図である。
【図２１】本発明の第２の実施の形態に係る脊柱配列推定方法の一例を説明するためのフローチャートである。
【図２２】図２２（ａ）は本発明の第２の実施の形態の変形例に係る椎体の一例を示す上面図であり、図２２（ｂ）は図２２（ａ）を９０°異なる方向から見た椎体の一例を示す側面図である。
【図２３】本発明の第２の実施の形態の変形例に係る椎体の回旋角の算出方法の一例を示す概略図である。
【発明を実施するための形態】
【００１３】
次に、図面を参照して、本発明の第１及び第２の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、厚みの比率等は現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１４】
また、以下に示す第１及び第２の実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【００１５】
（第１の実施の形態）
＜脊柱配列推定装置＞
本発明の第１の実施の形態に係る脊柱配列推定装置は、図１に示すように、画像処理装置１０、撮像装置３及び出力装置４を備える。画像処理装置１０は、中央演算処理装置（ＣＰＵ）１及び記憶装置２を備えるコンピュータ若しくはコンピュータに等価なプロセッサ或いはＦＰＧＡ等のプログラマブル・ロジック・デバイス（ＰＬＤ）や集積回路等で構成できる。
【００１６】
本発明の第１の実施の形態に係る脊柱配列推定装置により推定される脊柱要素の配列は、脊柱の側弯の有無の判定や脊柱側弯症の診断等に有効である。人間の脊椎（背骨）は、一般的には、頭部側から順に７個の頚椎、１２個の胸椎、５個の腰椎を脊柱要素として構成されている。脊柱は、人間の正面又は背面に対して、健常者の場合には略直線となるが、脊柱側弯症者の場合には、図２に示すように、ねじれを伴って側方に曲がる症状が顕著に現れる。図２では、脊柱のうちの１２個の胸椎Ｂ１〜Ｂ１２と、５個の腰椎Ｂ１３〜Ｂ１７を例示している。以下において、本明細書では、脊柱を構成している要素である「頚椎」「胸椎」「腰椎」を総称して「脊柱要素」と呼ぶ。なお、総称としての「脊柱要素」の定義に、腰椎より下側の「仙椎」「尾椎」を更に含んでも構わない。
【００１７】
図１に示した撮像装置３は、人体表面の立体形状を表す画像を撮像可能な装置である。本発明の第１の実施の形態においては、撮像装置３が、人体の背部の立体形状を表すモアレ縞を含むモアレ画像を撮像するモアレ撮像装置（モアレ縞測定装置）である場合を説明する。撮像装置３としてのモアレ撮像装置は、例えば図３に示すように、人体１００の背部にパターンを投光する投光部３１と、人体１００の背部を撮影するカメラ３２とを備える。なお、撮像装置３としては、例えば３次元（３Ｄ）スキャナやＣＣＤカメラ等も使用可能であり、モアレ画像若しくはモアレ画像に等価な２次元（２Ｄ）画像を撮像可能な装置であれば特に限定されない。
【００１８】
撮像装置３は、例えば図４に示すようなモアレ画像１０１を撮像する。モアレ画像１０１には、人体の背部の立体的形状を表すモアレ縞が写り込んでいる。脊柱側弯症者の場合には、人体の背部の高低差が左右で大きくなり、左右でモアレ縞の本数や形状が異なってくる。
【００１９】
ＣＰＵ１は、画像取得部１１、脊柱配列推定部１２、角度算出部１３及び画像出力制御部１４をハードウェア資源である論理回路（モジュール）として備える。このうち、脊柱配列推定部１２は、深層学習（ディープ・ラーニング）等の機械学習を実行する人工知能を構成する論理回路（モジュール）であり、画像取得部１１により取得されるモアレ画像から自動的・直接的に脊柱配列（脊柱形状）を推定する演算処理を実行する。
【００２０】
脊柱配列推定部１２を構成する人工知能（ハードウェア資源）としては、例えば畳み込みニューラルネットワーク（ＣＮＮ）等の階層型のニューラルネットワークやサポート・ベクター・マシン（ＳＶＭ）等のコンピュータ・ソフトウェア・プログラムを実行するハードウェア資源が使用可能である。
【００２１】
記憶装置２としては、例えば半導体メモリや磁気ディスク、光ディスク等が使用可能である。記憶装置２は、図１に示すように、脊柱配列推定部１２が機械学習するための過去のＸ線画像を多数記憶するＸ線画像記憶部２１、脊柱配列推定部１２が機械学習するための過去のモアレ画像を多数記憶する学習用画像記憶部２２、脊柱配列推定部１２の機械学習により修正された重みパラメータ等の学習データを記憶する学習データ記憶部２３、脊柱配列推定部１２による脊柱要素の推定結果等の推定データを記憶する推定データ記憶部２４等を有する。
【００２２】
記憶装置２は更に、ＣＰＵ１が実行する脊柱配列推定プログラムや脊柱配列推定プログラムの実行に必要な各種データを記憶するＣＰＵ１内のレジスタ、若しくはＣＰＵ１内かＣＰＵ１に隣接したキャッシュメモリ、又はその他の仮想記憶装置等を含んでも構わない。図１は論理的な表現としてレジスタやキャッシュメモリを含むハードウェア資源として、模式的に記憶装置２を表現しているのであって、物理的構成とは必ずしも一致しない。
【００２３】
出力装置４としては、例えばパーソナルコンピュータ（ＰＣ）やタブレット端末等の液晶ディスプレイ（ＬＣＤ）等のディスプレイや、プリンタ、プロジェクタ、スピーカ等が使用可能である。
【００２４】
＜学習フェーズ＞
ここで、図５のフローチャートを参照しながら、本発明の第１の実施の形態に係る脊柱配列推定部１２の機械学習方法を含む「学習フェーズ」の一例を説明する。ここでは、脊柱配列推定部１２がＣＮＮにより構成されている場合を例示する。
【００２５】
ステップＳ１１において、脊柱配列推定部１２の機械学習の事前準備として、過去に同一人物について撮像したモアレ画像及びＸ線画像のデータセットを多数（例えば数千セット）用意する。なお、データセットとしては、現実的には同一人物について撮像したモアレ画像及びＸ線画像が好適であるが、これに限定されない。例えば、体型が類似した異なる人物についてそれぞれ撮像したモアレ画像及びＸ線画像をデータセットとして採用することも可能である。多数のモアレ画像及びＸ線画像のそれぞれは、記憶装置２の学習用画像記憶部２２及びＸ線画像記憶部２１に格納される。
【００２６】
例えば、図４に１枚（１セット）を例示的に示すようなモアレ画像１０１の多数のセットを学習用画像記憶部２２に格納し、図６に１枚（１セット）を例示的に示すようなＸ線画像１０２の多数のセットをＸ線画像記憶部２１に格納する。図６に示すように、１枚（１セット）のＸ線画像１０２は、立位の人物の背部側から見た立位Ｘ線正面画像である。Ｘ線画像１０２には、脊柱要素のうちの１２個の胸椎Ｂ１〜Ｂ１２と、５個の腰椎Ｂ１３〜Ｂ１７が写り込んでいる。
【００２７】
次に、図５のステップＳ１２において、機械学習に用いる正解データのラベル付けを行う。脊柱配列推定部１２は、Ｘ線画像記憶部２１から１枚（１セット）のＸ線画像１０２を抽出して読み出して、Ｘ線画像１０２上の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の解剖学的な特徴点（ランドマーク）を抽出する。
【００２８】
例えば、脊柱配列推定部１２は、Ｘ線画像１０２に対してエッジ抽出を行い２値化する。脊柱配列推定部１２は更に、図７に示すように、Ｘ線画像１０２に写り込む胸椎Ｂ１を矩形近似し、矩形近似した胸椎Ｂ１の４角に対応する４点Ｆ１〜Ｆ４を解剖学的な特徴点（ランドマーク）として抽出し、４点Ｆ１〜Ｆ４のＸ線画像１０２上の座標を算出する。算出された４点Ｆ１〜Ｆ４のＸ線画像１０２上の座標は、学習データ記憶部２３に格納される。他の多数のセットについても同様にＸ線画像記憶部２１からＸ線画像を読み出して、それぞれの解剖学的な特徴点（ランドマーク）としての座標を学習データ記憶部２３に格納する。
【００２９】
脊柱配列推定部１２は更に、特定のセットの４点Ｆ１〜Ｆ４のＸ線画像１０２上の座標を学習データ記憶部２３から読み出して、矩形近似した胸椎Ｂ１の重心Ｃ１を解剖学的な特徴点（ランドマーク）として抽出し、重心Ｃ１のＸ線画像１０２上の座標（Ｘｒ１，Ｙｒ１）を算出する。算出された重心Ｃ１のＸ線画像１０２上の座標（Ｘｒ１，Ｙｒ１）は、学習データ記憶部２３に格納される。
【００３０】
なお、本発明の第１の実施の形態においては、脊柱配列推定部１２が胸椎Ｂ１を矩形近似して、矩形近似した胸椎Ｂ１の重心Ｃ１を解剖学的な特徴点として抽出しているが、これに限定されず、他の解剖学的な特徴点を抽出してもよい。
【００３１】
脊柱配列推定部１２は、図８に示すように、他の胸椎Ｂ２〜Ｂ１２、腰椎Ｂ１３〜Ｂ１７についても同様に重心Ｃ２〜Ｃ１７を抽出して、重心Ｃ２〜Ｃ１７のＸ線画像１０２上の座標（Ｘｒｉ，Ｙｒｉ）（ｉ＝２〜１７）を算出する。算出された重心Ｃ２〜Ｃ１７のＸ線画像１０２上の座標（Ｘｒｉ，Ｙｒｉ）（ｉ＝２〜１７）は、学習データ記憶部２３に格納される。
【００３２】
脊柱配列推定部１２は更に、図８に示すように、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の座標（Ｘｒｉ，Ｙｒｉ）（ｉ＝１〜１７）を用いて、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７を連続させる曲線Ｌ１を算出する。曲線Ｌ１としては、例えばＢスプライン曲線等が採用可能である。算出された曲線Ｌ１は、学習データ記憶部２３に格納される。上述したステップＳ１２の処理は、Ｘ線画像記憶部２１に記憶されている多数のＸ線画像のそれぞれに対して行われ、それぞれのセットに対し算出された曲線Ｌ１は、それぞれ学習データ記憶部２３に格納される。
【００３３】
次に、図５のステップＳ１３において、脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１から、データセットである例えば同一人物についてのモアレ画像とＸ線画像をそれぞれ読み出して、モアレ画像とＸ線画像を位置合わせする。同一人物についてのモアレ画像とＸ線画像は、同時に同じ姿勢で撮像されていれば、このステップＳ１２の位置合わせのステップは不要であるが、一般的にはモアレ画像とＸ線画像は異なるタイミングで撮像され、姿勢にもずれが生じる場合が多い。
【００３４】
そこで、脊柱配列推定部１２は、例えば図８に示すように、Ｘ線画像記憶部２１から読み出したＸ線画像１０２に写り込む人体の首の付け根の２点Ｎ１，Ｎ２を位置合わせ用のマークとして抽出して、２点Ｎ１，Ｎ２のＸ線画像１０２上の座標を学習データ記憶部２３に格納する。脊柱配列推定部１２は更に、図９に示すように、学習用画像記憶部２２から読み出したモアレ画像１０１についても、人体の首の付け根の２点Ｎ３，Ｎ４を位置合わせ用のマークとして抽出して、２点Ｎ３，Ｎ４のモアレ画像１０１上の座標を学習データ記憶部２３に格納する。
【００３５】
脊柱配列推定部１２は更に、学習データ記憶部２３から読み出したモアレ画像１０１の首の付け根の２点Ｎ１，Ｎ２と、Ｘ線画像１０２の首の付け根の２点Ｎ３，Ｎ４を一致させるように、モアレ画像１０１及びＸ線画像１０２の大きさを合わせ、回転及び平行移動等する。
【００３６】
この結果、図９に示すように、モアレ画像１０１とＸ線画像１０２が位置合わせされ、モアレ画像１０１の座標系とＸ線画像１０２の座標系が対応付けられる。図９では、モアレ画像１０１に、図８に示したＸ線画像１０２上の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７に対応する曲線Ｌ１が重畳された様子を例示している。なお、位置合わせ用のマークとしては、首の付け根の２点に限定されず、モアレ画像１０１とＸ線画像１０２とを位置合わせ可能な、解剖学的な特徴点を採用可能である。
【００３７】
図９において、脊柱配列推定部１２は更に、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７のモアレ画像１０１上の座標（Ｘｍｉ，Ｙｍｉ）（ｉ＝１〜１７）を正解データとして算出する。算出された重心Ｃ１〜Ｃ１７のモアレ画像１０１上の座標（Ｘｍｉ，Ｙｍｉ）（ｉ＝１〜１７）の正解データは学習データ記憶部２３に格納される。上述したステップＳ１３の処理は、Ｘ線画像記憶部２１に記憶されている多数のＸ線画像及び学習用画像記憶部２２に記憶されている多数のモアレ画像のそれぞれのデータセットに対して行われ、それぞれのデータセットに対し算出された正解データが学習データ記憶部２３に格納される。
【００３８】
次に、図５のステップＳ１４において、脊柱配列推定部１２は、モアレ画像１０１を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報が出力されるように機械学習を行う。ここでは、脊柱配列推定部１２のアルゴリズムを構成するＣＮＮの重みを調整する場合を説明する。
【００３９】
まず、脊柱配列推定部１２は、図１０に示すように、例えば学習用画像記憶部２２から読み出した６４０×４４０画素のモアレ画像１０１の一部を切り出し、モアレ画像１０１ａとする。脊柱配列推定部１２は更に、モアレ画像１０１ａを２２０×２２０画素にリサイズし、このリサイズしたモアレ画像１０１ｂのデータをＣＮＮのコンピュータ・ソフトウェア・プログラムへの入力データとする。リサイズされたモアレ画像１０１ｂのデータは、エッジ抽出等は行わずに、グレースケールの２５６階調で脊柱配列推定部１２で実行されるＣＮＮのプログラムに入力される。
【００４０】
ＣＰＵ１の脊柱配列推定部１２で実行されるＣＮＮでは、モアレ画像１０１ｂが入力されると、脊柱要素の配列情報が出力されるようにネットワークのアルゴリズムが構成されている。図１０に示すように、脊柱配列推定部１２で実行されるＣＮＮは、学習可能な重みパラメータを有し、画像上の各位置毎に特徴抽出（フィルタ処理）をする、例えば５層の畳み込み層ＣＬ１〜ＣＬ５と、全ユニットを結合して識別をする、例えば３層の全結合層ＦＣＬ１〜ＦＣＬ３とを備えて階層型のネットワークを構成している。畳み込み層ＣＬ１〜ＣＬ５及び全結合層ＦＣＬ１〜ＦＣＬ３のデータは逐次、学習データ記憶部２３に格納される。
【００４１】
なお、脊柱配列推定部１２で実行されるＣＮＮは、図示を省略するが、自由パラメータを有し、局所的な平行移動に対し不変な出力をするプーリング層（部分サンプリング層）及び出力を局所的に規格化する局所反応正規化層を更に有していても良い。局所反応正規化層では例えば、近傍の値を走査して自乗和し，その値を線形変換した値で規格化する等の処理を実行する。
【００４２】
図１０に示す畳み込み層ＣＬ１のフィルタサイズは１１×１１であり、畳み込み層ＣＬ２のフィルタサイズは５×５であり、畳み込み層ＣＬ３〜ＣＬ５のフィルタサイズは３×３であり、段階的にスケールを変えながら、局所的な相関パターンを抽出する。畳み込み層ＣＬ１，ＣＬ２は、５５×５５×４８次元、２７×２７×１２８次元のデータをそれぞれ出力する。畳み込み層ＣＬ３〜ＣＬ５は１３×１３×１９２次元のデータをそれぞれ出力する。全結合層ＦＣＬ１〜ＦＣＬ３は前層のユニットに結合重みがすべて結合され、全結合層ＦＣＬ１，ＦＣＬ２は、４０９６次元のデータをそれぞれ出力する。最後の全結合層ＦＣＬ３が出力層となる。
【００４３】
脊柱配列推定部１２で実行されるＣＮＮは、図１の最後段に位置する全結合層ＦＣＬ３から１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７のモアレ画像１０１ｃ上の座標（Ｘｐｉ，Ｙｐｉ）（ｉ＝１〜１７）を推定データとして算出する。算出された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７のモアレ画像１０１ｃ上の座標（Ｘｐｉ，Ｙｐｉ）（ｉ＝１〜１７）は、学習データ記憶部２３に格納される。
【００４４】
脊柱配列推定部１２は、推定データである胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７のモアレ画像１０１ｃ上の座標（Ｘｐｉ，Ｘｐｉ）（ｉ＝１〜１７）と、正解データである胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７のモアレ画像１０１上の座標（Ｘｍｉ，Ｙｍｉ）（ｉ＝１〜１７）を学習データ記憶部２３から読み出して、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７毎に、推定データと正解データとの誤差（Ｘｐｉ−Ｘｍｉ，Ｙｐｉ−Ｙｍｉ）（ｉ＝１〜１７）を算出する。
【００４５】
脊柱配列推定部１２は、推定データと正解データとの誤差（Ｘｐｉ−Ｘｍｉ，Ｙｐｉ−Ｙｍｉ）（ｉ＝１〜１７）に対して、誤差逆伝播法（ＢＰ）を用いて、誤差（Ｘｐｉ−Ｘｍｉ，Ｙｐｉ−Ｙｍｉ）（ｉ＝１〜１７）を小さくするように脊柱配列推定部１２で実行されるＣＮＮの畳み込み層ＣＬ１〜ＣＬ５及び全結合層ＦＣＬ１〜ＦＣＬ３の重みパラメータを修正する。誤差逆伝播法では出力層である全結合層ＦＣＬ３から入力層である畳み込み層ＣＬ１にかけて、誤差の勾配を逆伝播させることで重みを修正する。この重みを修正する誤差逆伝播法の学習アルゴリズムでは、勾配降下最適化法等が使用可能である。
【００４６】
脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１に格納された多数のモアレ画像とＸ線画像のデータセットを用いて上述した誤差逆伝播法の処理を繰り返して重みを修正していくことにより学習する。その結果、脊柱配列推定部１２は、未知のモアレ画像を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報を出力するようなＣＮＮのアルゴリズムを学習データ（蓄積されたデータ）として獲得することが出来る。
【００４７】
＜推定フェーズ＞
次に、本発明の第１の実施の形態に係る脊柱配列推定装置が、未知のモアレ画像から脊柱配列を推定する推定フェーズを実行する際の、本発明の第１の実施の形態に係る脊柱配列推定装置の構成及び機能を説明する。
【００４８】
図１に示したＣＰＵ１の画像取得部１１は、撮像装置３により撮像された図１２に示すような未知のモアレ画像１０３を取得する。取得された未知のモアレ画像１０３は学習用画像記憶部２２に格納される。モアレ画像１０３は、例えば図１０に示したように、６４０×４４０画素、グレースケールの２５６階調で構成されているとする。
【００４９】
ＣＰＵ１の脊柱配列推定部１２は、上述した学習フェーズを経て機械学習を行ったＣＮＮを実行する。脊柱配列推定部１２は、学習用画像記憶部２２に格納されたモアレ画像１０３を読み出し、読み出したモアレ画像１０３の一部を切り出す。そして、切り出したモアレ画像１０３を、図１０に示した機械学習時と同様の２２０×２２０画素にリサイズすることにより正規化する。リサイズされたモアレ画像１０３は推定データ記憶部２４に格納される。
【００５０】
脊柱配列推定部１２は、推定データ記憶部２４からリサイズされたモアレ画像１０３を読み出して、図１３に示すように、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１〜１７）を脊柱配列として推定する。推定された重心Ｐ１〜Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１〜１７）は推定データとして推定データ記憶部２４に格納される。
【００５１】
脊柱配列推定部１２は更に、算出した胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１〜１７）を連続させる曲線Ｌ２を脊柱配列として算出（推定）する。曲線Ｌ２としては、例えばＢスプライン曲線や、隣接する重心Ｐ１〜Ｐ１７を互いに直線で結んだ曲線であってもよい。算出された曲線Ｌ２は推定データとして推定データ記憶部２４に格納される。
【００５２】
図１に示したＣＰＵ１の角度算出部１３は、脊柱配列推定部１２により推定された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１〜１７）及び曲線Ｌ２を推定データ記憶部２４から読み出して、コブ角を算出する。コブ角は、コブ法により脊柱要素の曲がり角として定義されており、脊柱側弯症の判断基準の一つである。コブ角は、目的とする脊柱配列の湾曲（カーブ）において水平面が一番傾いている上下の椎体（終椎）の傾いた水平面から直線の延長線を描き、その２本の延長線がなす角度として算出される。現在の側弯症治療は主に立位Ｘ線正面画像から判断されており、立位Ｘ線正面画像におけるコブ角の大きさによって保存療法、装具治療又は手術が選択されている。
【００５３】
角度算出部１３は、例えば図１３に示すように、脊柱配列推定部１２により推定された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７毎に、曲線Ｌ２に対して垂直であり、重心Ｐ１〜Ｐ１７を通る垂直線Ｖ１〜Ｖ１７を算出する。角度算出部１３は更に、水平方向に対して傾きが最大の垂直線Ｖ７，Ｖ１１に対応する胸椎Ｂ７，Ｂ１１を基準点（終椎）として抽出する。角度算出部１３は更に、基準点の胸椎Ｂ７，Ｂ１１の重心Ｐ７，Ｐ１１に対応する垂直線Ｖ７，Ｖ１１の交差部分がなす角度をコブ角θ１として算出する。算出されたコブ角θ１は、推定データ記憶部２４に格納される。
【００５４】
なお、コブ角θ１の算出方法としては、基準点の胸椎Ｂ７，Ｂ１１の重心Ｐ７，Ｐ１１を通る垂直線Ｖ７，Ｖ１１ではなく、胸椎Ｂ７，Ｂ１１の上端又は下端を通る垂直線を用いても良いが、本発明の第１の実施の形態においては、胸椎Ｂ７，Ｂ１１の重心Ｐ７，Ｐ１１を推定しているため、これで代替している。
【００５５】
図１に示したＣＰＵ１の画像出力制御部１４は、脊柱配列推定部１２により推定された１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７及び曲線Ｌ２を推定データ記憶部２４から読み出して、図１３に示すように未知のモアレ画像１０３上に重畳するように、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７及び曲線Ｌ２を脊柱要素の配列情報の推定結果として、出力装置４を構成するディスプレイ等に出力（表示）させる。
【００５６】
画像出力制御部１４は更に、角度算出部１３により算出されたコブ角θ１を推定データ記憶部２４から読み出して、図１４に示すように、モアレ画像１０３上に、脊柱配列推定部１２により推定された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７及び曲線Ｌ２とともに、角度算出部１３により算出されたコブ角θ１を出力装置４を構成するディスプレイ等に出力（表示）させてもよい。コブ角θ１は、角度算出部１３により算出された具体的な度数（数値）を出力装置４に出力（表示）してもよい。
【００５７】
なお、角度算出部１３は、コブ角θ１を算出後、算出されたコブ角θ１が所定の閾値（例えば２０度）以上か否かを判定してもよい。コブ角θ１の判定結果は推定データ記憶部２４に格納される。そして、画像出力制御部１４は、コブ角θ１の判定結果を推定データ記憶部２４から読み出して、出力装置４を構成するディスプレイ等に出力（表示）させてもよい。
【００５８】
また、脊柱配列がＳ字状の側弯症の場合には１つの脊柱配列に２つの湾曲が存在する。この場合、角度算出部１３は、２つの湾曲のそれぞれについて２つ終椎を特定し、コブ角θ１を算出してもよい。２つのコブ角θ１の算出結果は推定データ記憶部２４に格納される。そして、画像出力制御部１４は、２つのコブ角θ１の判定結果を推定データ記憶部２４から読み出して、出力装置４を構成するディスプレイ等に出力（表示）させてもよい。
【００５９】
＜脊柱配列推定方法＞
次に、図１５のフローチャートを参照しながら、本発明の第１の実施の形態に係る脊柱配列推定方法の一例を説明する。なお、以下に示す脊柱配列推定方法はあくまでも一例であり、この手順に限定されるものではない。
【００６０】
ステップＳ２１において、撮像装置３がモアレ画像を撮像する。撮像された未知のモアレ画像は、記憶装置２の学習用画像記憶部２２に格納される。なお、未知のモアレ画像が、撮像装置３を介さずに、インターネットやイントラネット等の情報網等を介して記憶装置２の学習用画像記憶部２２に予め格納されていてもよい。或いは、３Ｄスキャナ等で取得した画像をモアレ画像若しくはモアレ画像に等価な２Ｄ画像に変換する画像処理装置１０を介して、予め学習用画像記憶部２２に格納されていてもよい。画像取得部１１は学習用画像記憶部２２から未知のモアレ画像を読み出して取得する。
【００６１】
ステップＳ２２において、ＣＰＵ１の脊柱配列推定部１２が、学習データ記憶部２３に格納された機械学習後の学習データ（蓄積されたデータ）を用いて、画像取得部１１が取得した未知のモアレ画像から脊柱配列を推定する。脊柱配列の推定結果は推定データ記憶部２４に格納される。
【００６２】
ステップＳ２３において、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列を推定データ記憶部２４から読み出してコブ角を算出する。算出されたコブ角は推定データ記憶部２４に格納される。
【００６３】
ステップＳ２４において、ＣＰＵ１の画像出力制御部１４が、脊柱配列推定部１２により推定された脊柱配列と、角度算出部１３により算出されたコブ角を推定データ記憶部２４から読み出して、例えば出力装置４であるディスプレイの画面に表示する。
【００６４】
以上説明したように、本発明の第１の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、ＣＰＵ１が機械学習の手法で実行する人工知能を用いて、モアレ画像から脊柱要素の配列を精度良く推定することができる。したがって、医師は、推定された脊柱配列及びコブ角を参照して側弯症の有無及び程度を精度良く診断でき、医師間の診断のバラツキも低減できる。学校検診における判定員についても同様に側弯の有無の判定が容易となる。
【００６５】
更に、脊柱要素の配列を精度良く推定可能であるため、第１次検診で側弯症の疑いがあるとされ、第２次検診でのＸ線撮影により側弯症を否定されるケースのような、本来的には不要なＸ線画像の実施を低減することができ、児童等の医療被曝を軽減できる。
【００６６】
＜脊柱配列推定プログラム＞
本発明の第１の実施の形態に係る脊柱配列推定プログラムは、図１５に示した脊柱配列推定方法の手順を、画像処理装置１０を構成するコンピュータに実行させる。即ち、本発明の第１の実施の形態に係る脊柱配列推定プログラムは、（ａ）画像取得部１１に、人体の背面側等の人体表面の立体形状を表す画像（モアレ画像）を取得させる手順、（ｂ）脊柱配列推定部１２に、過去に撮像されたモアレ画像及びＸ線画像のデータセットから機械学習した学習データを用いて、取得された未知のモアレ画像から、人体の脊柱配列を推定させる手順、（ｃ）角度算出部１３に、推定された脊柱配列を用いて人体のコブ角を算出させる手順、（ｄ）画像出力制御部１４に、推定された脊柱配列及び算出されたコブ角を出力装置４に表示する信号を出力させる手順等を画像処理装置１０を構成するコンピュータに実行させる。本発明の第１の実施の形態に係る脊柱配列推定プログラムは、例えば記憶装置２に格納可能である。
【００６７】
（第２の実施の形態）
本発明の第１の実施の形態では、２次元的に脊柱配列を推定する場合を例示したが、脊柱側弯症は３次元的な脊柱のねじれを伴った変形である。そのため、脊柱側弯症の評価は、正面から見た変形（側弯）のみならず、側面から見た変形（前弯及び後弯）や椎体のねじれ（回旋）が重要な要素となる。そこで、本発明の第２の実施の形態では、３次元的に脊柱配列を推定する場合を例示する。
【００６８】
＜脊柱配列推定装置＞
本発明の第２の実施の形態に係る脊柱配列推定装置は、本発明の第１の実施の形態に係る脊柱配列推定装置と同様に、図１に示すように、画像処理装置１０、撮像装置３及び出力装置４を備える。本発明の第２の実施の形態では、撮像装置３が人体表面の立体形状を表す３次元（３Ｄ）画像を撮像する３Ｄ撮像機である点が、本発明の第１の実施の形態とは異なる。撮像装置３としては、例えば３Ｄスキャナが使用可能であり、３Ｄ画像を撮像可能な装置であれば特に限定されない。
【００６９】
例えば、撮像装置３としての３Ｄスキャナは、人体背部を走査することにより、人体背部の３Ｄ画像（距離画像）を撮像する。或いは、撮像装置３としての３Ｄスキャナは、ターンテーブルを用いて人物を３６０°回転させながら走査することにより、人体前面、側面及び背面を含む３６０°の３Ｄ画像を撮像してもよい。そして、３６０°の３Ｄ画像から人体背部側のデータを選択的に使用してもよい。
【００７０】
撮像装置３は、例えば図１６（ａ）及び図１６（ｂ）に模式的に示すような人体表面の３Ｄ画像２０１を撮像する。図１６（ａ）は人体を背面側から見た３Ｄ画像２０１を示し、図１６（ｂ）は図１６（ａ）とは９０°異なる方向であって、人体を側面側から見たときの背部側の３Ｄ画像２０１を示している。図１６（ａ）及び図１６（ｂ）に示すように、３Ｄ画像２０１は、人体の背面から見て左右方向であるｘ軸方向、上下方向であるｙ軸方向、奥行き方向であるｚ軸方向の３次元の情報を含む。図１６（ａ）及び図１６（ｂ）においては模式的に、ｚ軸方向の撮像装置３と人体背面との距離に応じてハッチングを段階的に区別している。脊柱側弯症者の場合には、特に、人体の背部の高低差が左右で大きくなり、左右でｚ軸方向の距離の分布が非対称となる。
【００７１】
＜学習フェーズ＞
ここで、図１７のフローチャートを参照しながら、本発明の第２の実施の形態に係る脊柱配列推定部１２の機械学習方法を含む「学習フェーズ」の一例を説明する。ここでは、脊柱配列推定部１２がＣＮＮにより構成されている場合を例示する。
【００７２】
ステップＳ３１において、脊柱配列推定部１２の機械学習の事前準備として、過去に同一人物等について撮像した人体背面の立体的形状を表す３Ｄ画像及びこれに対応するＸ線画像のデータセットを多数（例えば数千セット）用意する。多数の３Ｄ画像及びＸ線画像のそれぞれは、記憶装置２の学習用画像記憶部２２及びＸ線画像記憶部２１に格納される。
【００７３】
例えば、図１６（ａ）及び図１６（ｂ）に１枚（１セット）を例示的に示すような３Ｄ画像２０１の多数のセットを学習用画像記憶部２２に格納し、図１８（ａ）〜図１８（ｃ）に１枚（１セット）を例示的に示すようなＸ線画像としてのコンピュータ断層撮影（ＣＴ）画像２０２の多数のセットをＸ線画像記憶部２１に格納する。ＣＴ画像２０２は、臥位で撮像されており、図１８（ａ）は人体を背面側から見た特定の断面のＣＴ画像２０２を示し、図１８（ｂ）は人体を側面側から見た特定の断面のＣＴ画像２０２を示し、図１８（ｃ）は人体を上側から見た特定の断面のＣＴ画像２０２を示している。図１８（ａ）〜図１８（ｃ）に示すように、ＣＴ画像２０２は、人体の背面から見て左右方向であるｘ軸方向、上下方向であるｙ軸方向、奥行き方向であるｚ軸方向の３次元のボクセルデータで構成される。
【００７４】
次に、図１７のステップＳ３２において、機械学習に用いる正解データのラベル付けを行う。脊柱配列推定部１２は、Ｘ線画像記憶部２１から１枚（１セット）のＣＴ画像２０２を読み出して、解剖学的な特徴点を用いて、ＣＴ画像２０２上における脊柱要素の重心の３Ｄ座標を算出する。例えば、図１８（ａ）〜図１８（ｃ）に示すように、人体の正面（ｚ軸方向）及び側面（ｘ軸方向）から見たときの腰椎Ｂ１４をそれぞれ矩形近似し、腰椎Ｂ１４の重心Ｃ１４のＣＴ画像２０２上の座標（Ｘｃｔ１４，Ｙｃｔ１４，Ｚｃｔ１４）を算出する。腰椎Ｂ１４と同様に、他の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３，Ｂ１５〜Ｂ１７についても、ＣＴ画像２０２のボクセルデータから胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３，Ｂ１５〜Ｂ１７を抽出し、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３，Ｂ１５〜Ｂ１７の重心Ｃ１〜Ｃ１３，Ｃ１５〜Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１〜１７）を算出する。算出された重心Ｃ１〜Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１〜１７）は、学習データ記憶部２３に格納される。
【００７５】
次に、図１７のステップＳ３３において、脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１から、データセットである３Ｄ画像２０１とＣＴ画像２０２をそれぞれ読み出して、３Ｄ画像２０１とＣＴ画像２０２を３次元的に位置合わせする。例えば、３Ｄ画像２０１及びＣＴ画像２０２のそれぞれについて、人体の正面（ｚ軸方向）から見たときの人体の首の左右の付け根の位置と、人体の側面（ｘ軸方向）から見たときの背面側の首の付け根の位置等の特徴点を位置合わせ用のマークとしてそれぞれ抽出する。
【００７６】
そして、３Ｄ画像２０１及びＣＴ画像２０２のそれぞれの位置合わせ用のマークを互いに一致させるように、３Ｄ画像２０１及びＣＴ画像２０２の大きさを合わせ、回転及び平行移動等する。この結果、３Ｄ画像２０１及びＣＴ画像２０２が３次元的に重なり、３Ｄ画像２０１の座標系とＣＴ画像２０２の座標系が対応付けられる。
【００７７】
脊柱配列推定部１２は更に、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１〜１７）を正解データとして算出する。算出された重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１〜１７）の正解データは学習データ記憶部２３に格納される。上述したステップＳ３３の処理は、Ｘ線画像記憶部２１に記憶されている多数のＣＴ画像及び学習用画像記憶部２２に記憶されている多数の３Ｄ画像のそれぞれのデータセットに対して行われ、それぞれのデータセットに対し算出された正解データが学習データ記憶部２３に格納される。
【００７８】
次に、図１７のステップＳ３４において、本発明の第１の実施の形態と同様に、脊柱配列推定部１２は、３Ｄ画像２０１を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報が出力されるように機械学習を行う。脊柱配列推定部１２は、例えば学習用画像記憶部２２から読み出した３Ｄ画像２０１の一部を切り出してリサイズし、このリサイズした３Ｄ画像２０１のデータをＣＮＮのコンピュータ・ソフトウェア・プログラムへの入力データとする。
【００７９】
ＣＰＵ１の脊柱配列推定部１２で実行されるＣＮＮでは、リサイズした３Ｄ画像２０１が入力されると、３次元の脊柱要素の配列情報が出力されるようにネットワークのアルゴリズムが構成されている。脊柱配列推定部１２で実行されるＣＮＮは、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）を推定データとして算出する。算出された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）は、学習データ記憶部２３に格納される。
【００８０】
脊柱配列推定部１２は、推定データである胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）と、正解データである胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１〜１７）を学習データ記憶部２３から読み出して、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７毎に、推定データと正解データとの誤差（Ｘｐｉ−Ｘ３ｄｉ，Ｙｐｉ−Ｙ３ｄｉ，Ｚｐｉ−Ｚ３ｄｉ）（ｉ＝１〜１７）を算出する。推定データと正解データとの誤差（Ｘｐｉ−Ｘ３ｄｉ，Ｙｐｉ−Ｙ３ｄｉ，Ｚｐｉ−Ｚ３ｄｉ）（ｉ＝１〜１７）は、学習データ記憶部２３に格納される。
【００８１】
脊柱配列推定部１２は、推定データと正解データとの誤差（Ｘｐｉ−Ｘ３ｄｉ，Ｙｐｉ−Ｙ３ｄｉ，Ｚｐｉ−Ｚ３ｄｉ）（ｉ＝１〜１７）を学習データ記憶部２３から読み出して、誤差逆伝播法（ＢＰ）を用いて、推定データと正解データとの誤差（Ｘｐｉ−Ｘ３ｄｉ，Ｙｐｉ−Ｙ３ｄｉ，Ｚｐｉ−Ｚ３ｄｉ）（ｉ＝１〜１７）を小さくするように重みパラメータを修正する。
【００８２】
脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１に格納された多数の３Ｄ画像とＣＴ画像のデータセットを用いて上述した誤差逆伝播法の処理を繰り返して重みを修正していくことにより学習する。その結果、脊柱配列推定部１２は、未知の３Ｄ画像を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報を出力するようなＣＮＮのアルゴリズムを学習データ（蓄積されたデータ）として獲得することが出来る。
【００８３】
＜推定フェーズ＞
次に、本発明の第２の実施の形態に係る脊柱配列推定装置が、未知の３Ｄ画像から脊柱配列を推定する推定フェーズを実行する際の、本発明の第２の実施の形態に係る脊柱配列推定装置の構成及び機能を説明する。
【００８４】
図１に示したＣＰＵ１の画像取得部１１は、撮像装置３により撮像された図１９（ａ）及び図１９（ｂ）に示すような未知の３Ｄ画像２０３を取得する。図１９（ａ）は人体を背面側から見た３Ｄ画像２０３を示し、図１９（ｂ）は図１９（ａ）とは９０°異なる方向であって、人体を側面側から見た背部側の３Ｄ画像２０３を示している。取得された未知の３Ｄ画像２０３は学習用画像記憶部２２に格納される。
【００８５】
ＣＰＵ１の脊柱配列推定部１２は、上述した学習フェーズを経て機械学習を行ったＣＮＮを実行する。脊柱配列推定部１２は、学習用画像記憶部２２に格納された３Ｄ画像２０３を読み出し、読み出した３Ｄ画像２０３の一部を切り出す。そして、切り出した３Ｄ画像２０３を、機械学習時と同様のサイズにリサイズすることにより正規化する。リサイズされた３Ｄ画像２０３は推定データ記憶部２４に格納される。
【００８６】
脊柱配列推定部１２は、推定データ記憶部２４からリサイズされた３Ｄ画像２０３を読み出して、図２０（ａ）及び図２０（ｂ）に示すように、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１〜１７）を脊柱配列として推定する。推定された重心Ｐ１〜Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１〜１７）は推定データとして推定データ記憶部２４に格納される。
【００８７】
脊柱配列推定部１２は更に、算出した胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１〜１７）を連続させる３次元の曲線Ｌ３を脊柱配列として算出（推定）する。曲線Ｌ３としては、例えばＢスプライン曲線や、隣接する重心Ｐ１〜Ｐ１７を互いに直線で結んだ曲線であってもよい。算出された曲線Ｌ３は推定データとして推定データ記憶部２４に格納される。
【００８８】
図１に示したＣＰＵ１の角度算出部１３は、脊柱配列推定部１２により推定された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１〜１７）及び曲線Ｌ３を推定データ記憶部２４から読み出して、本発明の第１の実施の形態と同様の手法で、コブ角θ２を算出する。本発明の第２の実施の形態では、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１〜１７）及び曲線Ｌ３が３次元的に算出されているため、コブ角θ２も３次元的に算出される。算出されたコブ角θ２は、推定データ記憶部２４に格納される。
【００８９】
図１に示したＣＰＵ１の画像出力制御部１４は、脊柱配列推定部１２により推定された１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１〜１７）及び曲線Ｌ３を推定データ記憶部２４から読み出して、図２０（ａ）及び図２０（ｂ）に示すように未知の３Ｄ画像２０３上に重畳するように、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１〜１７）及び曲線Ｌ３を脊柱要素の配列情報の推定結果として、出力装置４を構成するディスプレイ等に出力（表示）させる。
【００９０】
画像出力制御部１４は更に、角度算出部１３により算出されたコブ角θ２を推定データ記憶部２４から読み出して、図２０（ａ）及び図２０（ｂ）に示すように３Ｄ画像２０３上に重畳するように、脊柱配列推定部１２により推定された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７及び曲線Ｌ３とともに、コブ角θ２を出力装置４を構成するディスプレイ等に出力（表示）させてもよい。
【００９１】
＜脊柱配列推定方法＞
次に、図２１のフローチャートを参照しながら、本発明の第２の実施の形態に係る脊柱配列推定方法の一例を説明する。なお、以下に示す脊柱配列推定方法はあくまでも一例であり、この手順に限定されるものではない。
【００９２】
ステップＳ４１において、撮像装置３が人体表面の立体的形状を表す３Ｄ画像を撮像する。撮像された未知の３Ｄ画像は、記憶装置２の学習用画像記憶部２２に格納される。なお、未知の３Ｄ画像が、撮像装置３で撮像されたものではなく、インターネットやイントラネット等の情報網等を介して記憶装置２の学習用画像記憶部２２に予め格納されていてもよい。また、未知の３Ｄ画像は、機械学習時のデータセットの３Ｄ画像と同一の３Ｄ撮像機を用いて撮像されたものでなくても構わず、人体表面の立体形状を表す３Ｄ画像であればよい。画像取得部１１は学習用画像記憶部２２から未知の３Ｄ画像を読み出して取得する。
【００９３】
ステップＳ４２において、ＣＰＵ１の脊柱配列推定部１２が、学習データ記憶部２３に格納された機械学習後の学習データ（蓄積されたデータ）を用いて、画像取得部１１が取得した未知の３Ｄ画像から脊柱配列を推定する。脊柱配列の推定結果は推定データ記憶部２４に格納される。
【００９４】
ステップＳ４３において、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列を推定データ記憶部２４から読み出してコブ角を算出する。算出されたコブ角は推定データ記憶部２４に格納される。
【００９５】
ステップＳ４４において、ＣＰＵ１の画像出力制御部１４が、脊柱配列推定部１２により推定された脊柱配列と、角度算出部１３により算出されたコブ角を推定データ記憶部２４から読み出して、例えば出力装置４であるディスプレイの画面に表示する。
【００９６】
以上説明したように、本発明の第２の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、本発明の第１の実施の形態と同様に、ＣＰＵ１が機械学習の手法で実行する人工知能を用いて、３Ｄ画像から脊柱要素の配列を精度良く推定することができる。したがって、医師は、推定された脊柱配列及びコブ角を参照して側弯症の有無及び程度を精度良く診断でき、医師間の診断のバラツキも低減できる。
【００９７】
更に、本発明の第２の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、３Ｄ画像とＣＴ画像とをデータセットとして用いて得られた学習データを用いて、３Ｄ画像から３次元的に脊柱要素の配列を推定することができ、３次元的な最大コブ角を算出することができる。したがって、脊柱配列及びコブ角をより精度良く推定することができる。
【００９８】
また、モアレ画像撮像機は製造中止となっており、モアレ画像撮像機を用いない新たな脊柱配列推定装置が必要とされている。これに対して、３Ｄ撮像機で撮像した３Ｄ画像から３次元的に脊柱要素の配列を推定することができので、新たな脊柱配列推定装置としての活用が期待できる。
【００９９】
＜脊柱配列推定プログラム＞
本発明の第２の実施の形態に係る脊柱配列推定プログラムは、図２１に示した脊柱配列推定方法の手順を、画像処理装置１０を構成するコンピュータに実行させる。即ち、本発明の第２の実施の形態に係る脊柱配列推定プログラムは、（ａ）画像取得部１１に、人体表面の立体形状を表す未知の３Ｄ画像を取得させる手順、（ｂ）脊柱配列推定部１２に、過去に撮像された３Ｄ画像及びＸ線画像（ＣＴ画像）のデータセットから機械学習した学習データを用いて、取得された未知の３Ｄ画像から、人体の脊柱配列を推定させる手順、（ｃ）角度算出部１３に、推定された脊柱配列を用いて人体のコブ角を算出させる手順、（ｄ）画像出力制御部１４に、推定された脊柱配列及び算出されたコブ角を出力装置４に表示する信号を出力させる手順等を画像処理装置１０を構成するコンピュータに実行させる。本発明の第２の実施の形態に係る脊柱配列推定プログラムは、例えば記憶装置２に格納可能である。
【０１００】
（第２の実施の形体の変形例）
本発明の第２の実施の形態の変形例として、椎骨のねじれ（回旋）を推定する場合を例示する。脊柱側弯症の評価は主に立位Ｘ線画像（正面像及び側面像）と、ＣＴ画像とで行っている。具体的には、立位Ｘ線正面像を用いて正面から見た変形（側弯）を評価し、立位Ｘ線側面像で前弯や後弯を評価する。回旋に関しては、Nash & Moe法等により、立位Ｘ線正面像での椎骨の見え方から回旋の程度を評価しているが、直接的に回旋の角度を評価しているわけではない。一方、ＣＴ画像では、直接的に椎骨の回旋を評価できるが、通常はＸ線画像の撮像時以上の被爆を生じる。脊柱側弯症の多くが児童であるため、将来的な健康被害の可能性がある。これに対して、本発明の第２の実施の形態の変形例では、ＣＴ画像の撮像を行わずに、椎骨の回旋を精度良く推定するものである。
【０１０１】
＜学習フェーズ＞
図１７に示す学習フェーズのステップＳ３１において、脊柱配列推定部１２の機械学習の事前準備として、過去に撮像した人体背面の立体的形状を表す３Ｄ画像及びこれに対応するＸ線画像（ＣＴ画像）のデータセットを多数（例えば数千セット）用意する。多数の３Ｄ画像及びＸ線画像のそれぞれは、記憶装置２の学習用画像記憶部２２及びＸ線画像記憶部２１に格納される。
【０１０２】
次に、図１７のステップＳ３２において、機械学習に用いる正解データのラベル付けを行う。脊柱配列推定部１２は、ＣＴ画像２０２から、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１〜１７）を算出するとともに、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの棘突起の３Ｄ座標を算出する。例えば図２２（ａ）及び図２２（ｂ）に示すように、棘突起ＳＰ１は、椎骨（胸椎）Ｂ１の後端が隆起し突出した部分を指す。棘突起ＳＰ１は、ＣＴ画像２０２から特徴点として特定可能である。脊柱配列推定部１２は、胸椎Ｂ１の棘突起ＳＰ１のＣＴ画像２０２上の３Ｄ座標（Ｘｓｐ１，Ｙｓｐ１，Ｚｓｐ１）を算出する。図示を省略するが、他の胸椎Ｂ２〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ２〜ＳＰ１７のＣＴ画像２０２上の３Ｄ座標（Ｘｃｔｓｐｉ，Ｙｃｔｓｐｉ，Ｚｃｔｓｐｉ）（ｉ＝２〜１７）も同様に算出可能である。算出された重心Ｃ１〜Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１〜１７）と、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ１〜ＳＰ１７のＣＴ画像２０２上の３Ｄ座標（Ｘｃｔｓｐｉ，Ｙｃｔｓｐｉ，Ｚｃｔｓｐｉ）（ｉ＝１〜１７）は、学習データ記憶部２３に格納される。
【０１０３】
次に、図１７のステップＳ３３において、脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１から、データセットである３Ｄ画像２０１とＣＴ画像２０２をそれぞれ読み出して、３Ｄ画像２０１とＣＴ画像２０２を３次元的に位置合わせし、３Ｄ画像２０１の座標系とＣＴ画像２０２の座標系を対応付ける。
【０１０４】
脊柱配列推定部１２は更に、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１〜１７）を正解データとして算出する。算出された重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１〜１７）の正解データは学習データ記憶部２３に格納される。脊柱配列推定部１２は更に、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ１〜ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘ３ｄｓｐｉ，Ｙ３ｄｓｐｉ，Ｚ３ｄｓｐｉ）（ｉ＝１〜１７）を正解データとして算出する。算出された重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘ３ｄｓｐｉ，Ｙ３ｄｓｐｉ，Ｚ３ｄｓｐｉ）（ｉ＝１〜１７）の正解データは学習データ記憶部２３に格納される。上述したステップＳ３３の処理は、Ｘ線画像記憶部２１に記憶されている多数のＣＴ画像及び学習用画像記憶部２２に記憶されている多数の３Ｄ画像のそれぞれのデータセットに対して行われ、それぞれのデータセットに対し算出された正解データが学習データ記憶部２３に格納される。
【０１０５】
次に、図１７のステップＳ３４において、脊柱配列推定部１２は、３Ｄ画像２０１を学習用画像記憶部２２から読み出した際に、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）に加えて、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ１〜ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１〜１７）が出力されるように機械学習を行う。
【０１０６】
脊柱配列推定部１２で実行されるＣＮＮは、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）とともに、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ１〜ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１〜１７）を推定データとして算出する。算出された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）と、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ１〜ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１〜１７）は、学習データ記憶部２３に格納される。
【０１０７】
脊柱配列推定部１２は、推定データである胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）と、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ１〜ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１〜１７）とを読み出して、誤差逆伝播法（ＢＰ）を用いて、重心Ｃ１〜Ｃ１７についての推定データと正解データとの誤差（Ｘｐｉ−Ｘ３ｄｉ，Ｙｐｉ−Ｙ３ｄｉ，Ｚｐｉ−Ｚ３ｄｉ）（ｉ＝１〜１７）と、棘突起ＳＰ１〜ＳＰ１７についての推定データと正解データとの誤差（Ｘｓｐｉ−Ｘ３ｄｓｐｉ，Ｙｓｐｉ−Ｙ３ｄｓｐｉ，Ｚｓｐｉ−Ｚ３ｄｓｐｉ）（ｉ＝１〜１７）が小さくなるように、重みパラメータを修正する。
【０１０８】
脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１に格納された多数の３Ｄ画像とＣＴ画像のデータセットを用いて上述した誤差逆伝播法の処理を繰り返して重みを修正していくことにより学習する。その結果、脊柱配列推定部１２は、未知の３Ｄ画像を学習用画像記憶部２２から読み出した際に、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｃ１〜Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１〜１７）に加えて、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の棘突起ＳＰ１〜ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１〜１７）を出力するようなＣＮＮのアルゴリズムを獲得することが出来る。
【０１０９】
＜推定フェーズ＞
次に、図２１の推定フェーズのステップＳ４１において、撮像装置３が人体背面の立体的形状を表す３Ｄ画像を撮像する。撮像された未知の３Ｄ画像は、記憶装置２の学習用画像記憶部２２に格納される。画像取得部１１は学習用画像記憶部２２から未知の３Ｄ画像を読み出して取得する。
【０１１０】
ステップＳ４２において、ＣＰＵ１の脊柱配列推定部１２が、学習データ記憶部２３に格納された機械学習後の学習データを用いて、画像取得部１１が取得した未知の３Ｄ画像から１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の重心Ｐ１〜Ｐ１７の３Ｄ座標からなる脊柱配列を推定するとともに、１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの棘突起の３Ｄ座標を推定する。例えば図２３に示すように、脊柱配列推定部１２は、胸椎Ｂ１の棘突起ＳＰ１の位置ｐ１の３Ｄ座標を推定する。なお、他の胸椎Ｂ２〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの棘突起ＳＰ２〜ＳＰ１７の位置ｐ２〜ｐ１７の３Ｄ座標も同様に推定する。脊柱配列及び棘突起の３Ｄ座標の推定結果は推定データ記憶部２４に格納される。
【０１１１】
ステップＳ４３において、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列を推定データ記憶部２４から読み出してコブ角θ２を算出する。算出されたコブ角θ２は推定データ記憶部２４に格納される。更に、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列及び棘突起の３Ｄ座標から、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の回旋角を算出する。胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の回旋角は、人体を上下方向に垂直な平面において、人体の前後方向に対して、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の正中線が傾く角度として算出され、側弯症を判断する際の指標となる。
【０１１２】
例えば図２３に示すように、胸椎Ｂ１の重心Ｐ１の３Ｄ座標と、棘突起ＳＰ１の位置ｐ１の３Ｄ座標とを通過する直線Ｌ４を正中線として算出する。そして、正中線Ｌ４と３Ｄ画像のｚ軸方向に平行な直線Ｌ５とのなす角θ３を回旋角として算出する。角度算出部１３は、他の胸椎Ｂ２〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７についても同様に回旋角θ３を算出する。算出された胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの回旋角θ３は推定データ記憶部２４に格納される。
【０１１３】
ステップＳ４４において、ＣＰＵ１の画像出力制御部１４が、脊柱配列推定部１２により推定された脊柱配列と、角度算出部１３により算出されたコブ角θ２と、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの回旋角θ３を推定データ記憶部２４から読み出して、例えば出力装置４であるディスプレイの画面に表示する。
【０１１４】
以上説明したように、本発明の第２の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、本発明の第１の実施の形態と同様に、ＣＰＵ１が機械学習の手法で実行する人工知能を用いて、３Ｄ画像から脊柱要素の配列を精度良く推定することができる。したがって、医師は、推定された脊柱配列及びコブ角を参照して側弯症の有無及び程度を精度良く診断でき、医師間の診断のバラツキも低減できる。
【０１１５】
更に、本発明の第２の実施の形態の変形例に係る脊柱配列推定装置及び脊柱配列推定方法によれば、３Ｄ画像とＣＴ画像とをデータセットとして用いて得られた学習データを用いて、３Ｄ画像から３次元的に脊柱要素の配列を推定することができる。そして、３次元的な脊柱要素の配列から、コブ角θ２及び脊柱要素の回旋角θ３を算出することができる。したがって、Ｘ線画像のコブ角の大きさという現在の評価基準に加えて、更に立位時の３次元的な脊柱配列、３次元的な最大コブ角、各椎体の回旋角の情報が得られるようになるので、側弯の進行の予測、予後予測、病態解明等が可能となり、新たな治療法や治療体系が確立される可能性がある。
【０１１６】
なお、本発明の第２の実施の形態の変形例では、３次元的な脊柱要素の配列からコブ角θ２及び脊柱要素の回旋角θ３を算出する場合を例示したが、脊柱要素の回旋角θ３のみを算出してもよい。脊柱要素の回旋角θ３を算出して出力（表示）することにより、医師による側弯症の判断の際の材料として活用できる。
【０１１７】
また、ＣＰＵ１の角度算出部１３が、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの回旋角θ３を推定データ記憶部２４から読み出して、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの回旋角θ３を所定の閾値と比較して大小を判定したり、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの回旋角θ３のうちの最大値を抽出したり、胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７のそれぞれの回旋角θ３を所定の閾値を用いて段階的に分類したりしてもよい。そして、ＣＰＵ１の角度算出部１３のよる演算結果は、出力装置４であるディスプレイの画面に適宜表示してもよい。
【０１１８】
（その他の実施の形態）
上記のように、本発明は第１及び第２の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【０１１９】
例えば、本発明の第１及び第２の実施の形態において、１２個の胸椎及び５個の腰椎からなる１７個の胸椎Ｂ１〜Ｂ１２及び腰椎Ｂ１３〜Ｂ１７の脊柱要素の配列を推定する場合を説明したが、推定する脊柱要素の配列は１７個の脊柱要素に限定されない。例えば、１７個未満の胸椎や腰椎を対象としてもよく、胸椎より上側の頸椎や腰椎より下側の仙椎、尾椎を含む１７個より多数の脊柱要素を対象としてもよい。
【０１２０】
また、本発明の第１の実施の形態では、２次元のデータであるモアレ画像と、Ｘ線画像としての２次元のデータである立位Ｘ線正面画像のデータセットを用いて得られた学習データを用いて、未知のモアレ画像から２次元で脊柱配列等を推定する場合を例示した。また、本発明の第２の実施の形態では、３次元のデータである３Ｄ画像と、Ｘ線画像としての３次元のデータであるＣＴ画像のデータセットを用いて得られた学習データを用いて、未知の３Ｄ画像から３次元で脊柱要素等を推定する場合を例示した。ここで、本発明の第１及び第２の実施の形態を組み合わせて、モアレ画像と、Ｘ線画像としてのＣＴ画像のデータセットを用いて得られた学習データを用いて、未知のモアレ画像から２次元又は３次元で脊柱配列等を推定してもよい。或いは、３Ｄ画像と、Ｘ線画像としての立位Ｘ線正面画像のデータセットを用いて得られた学習データを用いて、未知の３Ｄ画像から２次元で脊柱配列等を推定してもよい。
【０１２１】
更に、本発明の第２の実施の形態では、３Ｄ撮像機により撮像された３Ｄ画像と、Ｘ線画像としてのＣＴ画像とを個別に用意する場合を例示したが、ＣＴ画像から人体背部等の人体表面の立体的形状を３Ｄ画像として抽出してもよい。この抽出した３Ｄ画像とＣＴ画像をデータセットとして用いて得られた学習データを用いて、３Ｄ撮像機で得られる未知の３Ｄ画像から３次元で脊柱配列等を推定することも可能である。
【０１２２】
更に、本発明の第１及び第２の実施の形態では、人体背部（人体後面側）の立体的形状に着目して説明したが、人体後面側の人体表面の形状を示す３Ｄ画像は、人体後面側から距離イメージセンサを用いて撮像した距離画像であっても構わない。なお、脊柱配列等を推定に必要な３Ｄ画像は、人体後面側の３Ｄ画像のみに必ずしも限定されるものではない。脊柱配列が反映される位置を含む３Ｄ画像であれば、人体前面側を含む人体の全面を３６０°方向から見た表面画像を元データとしてもよい。また、取得された３６０°方向から見た表面画像の元データ内から、人体後面側の立体的形状のデータを選択するようにしてもよい。
【０１２３】
更には、脊柱配列は人体背面側に最も反映されるため、人体背面側の３Ｄ画像を利用することが好適であるが、十分なデータの蓄積があれば、人体前面側の３Ｄ画像を利用することも可能で、人体前面側の３Ｄ画像をＣＴ画像等とデータセットとして用いて得られた学習データを用いる等により、３次元の脊柱配列等を推定することができる。即ち、３次元の脊柱配列が反映できる人体表面の３Ｄ画像のデータであれば脊柱配列等を推定することができるので、人体背部の３Ｄ画像にのみに限定されるものではない。
【０１２４】
また、本発明の第２の実施の形態に係る撮像装置３としての、３Ｄ画像の撮像に用いる３Ｄ撮像機の波長を赤外線やサブミリ波にすれば、薄い布を透過して人体表面の３Ｄ画像を取得することができる。したがって、着衣の状態であっても人体表面の３Ｄ画像を精度良く撮像でき、脊柱配列等を推定することができる。また、赤外線やサブミリ波以外の波長の３Ｄ撮像機であっても、ノイズを除去することにより、着衣の状態であっても人体表面の３Ｄ画像を撮像することは可能である。
【産業上の利用可能性】
【０１２５】
本発明は、３Ｄ画像やモアレ画像から脊柱要素の配列を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムに利用可能である。
【符号の説明】
【０１２６】
１…中央演算処理装置（ＣＰＵ）
２…記憶装置
３…撮像装置
４…出力装置
１０…画像処理装置
１１…画像取得部
１２…脊柱配列推定部
１３…角度算出部
１４…画像出力制御部
２１…Ｘ線画像記憶部
２２…学習用画像記憶部
２３…学習データ記憶部
２４…推定データ記憶部
３１…投光部
３２…カメラ
１００…人体
１０１，１０１ａ，１０１ｂ，１０１ｃ，１０３…モアレ画像
１０２…Ｘ線画像（立位Ｘ線正面画像）
２０１，２０３…３Ｄ画像
２０２…Ｘ線画像（ＣＴ画像）
Ｂ１〜Ｂ１２…脊柱要素（胸椎）
Ｂ１３〜Ｂ１７…脊柱要素（腰椎）
Ｃ１〜Ｃ１７，Ｐ１〜Ｐ１７…重心
Ｆ１〜Ｆ４…胸椎の４角の点
Ｌ１，Ｌ２，Ｌ３…曲線
Ｎ１〜Ｎ４…首の付け根の点
Ｖ１〜Ｖ１７…垂直線
θ１，θ２…コブ角
θ３…回旋角
【図１】
2017141958.tif 000003
【図２】
2017141958.tif 000004
【図３】
2017141958.tif 000005
【図４】
2017141958.tif 000006
【図５】
2017141958.tif 000007
【図６】
2017141958.tif 000008
【図７】
2017141958.tif 000009
【図８】
2017141958.tif 000010
【図９】
2017141958.tif 000011
【図１０】
2017141958.tif 000012
【図１１】
2017141958.tif 000013
【図１２】
2017141958.tif 000014
【図１３】
2017141958.tif 000015
【図１４】
2017141958.tif 000016
【図１５】
2017141958.tif 000017
【図１６】
2017141958.tif 000018
【図１７】
2017141958.tif 000019
【図１８】
2017141958.tif 000020
【図１９】
2017141958.tif 000021
【図２０】
2017141958.tif 000022
【図２１】
2017141958.tif 000023
【図２２】
2017141958.tif 000024
【図２３】
2017141958.tif 000025
【国際調査報告】
2017141958.tif 000026
2017141958.tif 000027
2017141958.tif 000028
2017141958.tif 000029