(57)【要約】【課題】姿勢が連続的に変化する被験者の断面画像を３次元画像に変換する。【解決手段】画像処理装置１００は、被験者を走査して断面画像を取得するプローブ１１と、プローブ１１に対して相対変位不能に取り付けられるとともに、少なくとも左右一対の目部、左右一対の耳部および鼻部により構成される顔を有するヒト型マーカと、被験者およびヒト型マーカを撮影して２次元画像を取得するカメラ２１ａ，２１ｂと、２次元画像のそれぞれにおける被験者の身体関節および顔およびヒト型マーカの顔の複数の特徴点の位置座標を算出する位置算出部１２３，２２２ａ，２２２ｂと、位置座標に基づいて、被験者に対するプローブの走査位置および走査姿勢を算出する位置姿勢算出部１２４と、被験者に対するプローブの走査位置および走査姿勢に基づいて断面画像を３次元画像に変換する画像変換部１２５とを備える。【選択図】図３
2020127629.tif 000002
【特許請求の範囲】
【請求項１】
被験者を走査して断面画像を取得する走査部と、
前記走査部に対して相対変位不能に取り付けられるとともに、少なくとも左右一対の目部、左右一対の耳部および鼻部により構成される顔を有するヒト型マーカと、
前記被験者および前記ヒト型マーカを撮影して２次元画像を取得する撮影部と、
前記撮影部により取得された前記２次元画像における前記被験者の身体関節および顔および前記ヒト型マーカの前記顔の複数の特徴点の位置座標を算出する位置算出部と、
前記位置算出部により算出された前記位置座標に基づいて、前記被験者に対する前記走査部の走査位置および走査姿勢を算出する位置姿勢算出部と、
前記位置姿勢算出部により算出された前記被験者に対する前記走査部の前記走査位置および前記走査姿勢に基づいて、前記走査部により取得された前記断面画像を３次元画像に変換する画像変換部と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記撮影部は、第１位置から前記被験者および前記ヒト型マーカを撮影して第１画像を取得する第１撮影部と、前記第１位置とは異なる第２位置から前記被験者および前記ヒト型マーカを撮影して第２画像を取得する第２撮影部と、を有し、
前記位置算出部は、前記第１撮影部により取得された前記第１画像における前記複数の特徴点の第１座標を算出するとともに、前記第２撮影部により取得された前記第２画像における前記複数の特徴点の第２座標を算出し、前記第１座標および前記第２座標に基づいて３次元空間における前記複数の特徴点の位置座標を算出することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記走査部は、前記被験者を走査しながら超音波を送受信する超音波プローブであることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者を測定して得られる断面画像を処理して３次元画像に変換する画像処理装置に関する。
【背景技術】
【０００２】
この種の装置として、従来、超音波測定中のプローブの３次元位置に基づいて、超音波測定による断面画像を３次元画像に変換する画像処理装置が知られている（例えば特許文献１参照）。特許文献１記載の装置では、プローブに取り付けられた３次元位置センサによりプローブの３次元位置を取得する。
【０００３】
また、被験者が第１姿勢のときのプローブ位置と目標位置との関係、および、被験者が第１姿勢のときのプローブ位置と第２姿勢のときのプローブ位置との関係に基づいて、被験者が第２姿勢のときのプローブ位置に対応する目標位置を表示する画像処理装置が知られている（例えば特許文献２参照）。特許文献２記載の装置では、被験者が第１姿勢から第２姿勢に移行すると再度、位置決めを行うことで、目標位置を表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１２６１８０号公報
【特許文献２】特開２０１６−３４４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１記載の装置では、被験者の姿勢が考慮されないため、被験者の姿勢が変化する場合には適用することが難しい。また、上記特許文献２記載の装置では、ユーザが被験者の姿勢の変化を随時確認して必要に応じてプローブの位置決め（較正）を行う必要があるため、被験者の姿勢が連続的に変化する場合や被験者の身体の表面が連続的に変位する場合には適用が困難となる。
【課題を解決するための手段】
【０００６】
本発明の一態様である画像処理装置は、被験者を走査して断面画像を取得する走査部と、走査部に対して相対変位不能に取り付けられるとともに、少なくとも左右一対の目部、左右一対の耳部および鼻部により構成される顔を有するヒト型マーカと、被験者およびヒト型マーカを撮影して２次元画像を取得する撮影部と、撮影部により取得された２次元画像における被験者の身体関節および顔およびヒト型マーカの顔の複数の特徴点の位置座標を算出する位置算出部と、位置算出部により算出された位置座標に基づいて、被験者に対する走査部の走査位置および走査姿勢を算出する位置姿勢算出部と、位置姿勢算出部により算出された被験者に対する走査部の走査位置および走査姿勢に基づいて、走査部により取得された断面画像を３次元画像に変換する画像変換部と、を備える。
【発明の効果】
【０００７】
本発明によれば、姿勢が連続的に変化する被験者の断面画像を３次元画像に変換することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理装置が適用される測定機器を概略的に示す図。
【図２Ａ】ＣＴ等の測定機器により一定のスライス方向に沿って取得された断面画像について説明する図。
【図２Ｂ】図１の測定機器によりスライス方向を変化させて取得された断面画像について説明する図。
【図３】本発明の実施形態に係る画像処理装置の要部構成を示すブロック図。
【図４Ａ】図３の撮影部の正面図。
【図４Ｂ】図３の撮影部の背面図。
【図４Ｃ】図３の撮影部の斜視図。
【図５】図３の２次元位置算出部が設定するノードの一例を示す図。
【図６Ａ】図１のプローブの持ち方について説明する図。
【図６Ｂ】本発明の実施形態に係るヒト型マーカについて説明する図。
【図７Ａ】図３のカメラにより取得される２次元画像の一例を示す２次元位置の説明図。
【図７Ｂ】図３のカメラにより取得される２次元画像の一例を示す３次元位置の説明図。
【図８】本発明の実施形態に係る画像処理装置により実行される処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、図１〜図８を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係る画像処理装置１００が適用される測定機器１０を概略的に示す図である。
【００１０】
測定機器１０は、被験者Ａの身体の断面の情報を取得し、断面画像などの医用画像を生成して表示する、例えば、超音波測定機器である。測定機器１０は、被験者Ａの身体の表面を走査しながら超音波を送受信するプローブ１１と、プローブ１１に有線または無線により接続されたコンピュータ１２と、コンピュータ１２に接続された表示部１３とを有する。
【００１１】
プローブ１１は、被験者Ａの身体の断面の情報を含む受信波を電気信号に変換し、コンピュータ１２に送信する。コンピュータ１２は、プローブ１１から受信した電気信号を、被験者Ａの内部構造、特に、被験者Ａの臓器の境界を示す断層像（断面画像。電気信号の強度に応じた濃淡画像）に変換し、表示部１３に送信する。超音波測定を行うユーザは、表示部１３に表示された断面画像を確認しながらプローブ１１の走査位置および走査姿勢を連続的に変化させて超音波測定を行う。
【００１２】
プローブ１１は、ケース内に振動子、音響整合層、バッキング材、音響レンズなどが収容される。プローブ１１としては、リニア電子スキャンプローブ、セクタ電子スキャンプローブ、あるいは機械走査方式や手動走査方式のプローブを使用することができる。
【００１３】
プローブ１１の走査位置および走査姿勢を連続的に変化させて取得された断面画像を、以下では、時系列の複数の断面画像ＩＳとして説明する。
【００１４】
図２Ａは、ＣＴ（Computed Tomography。コンピュータ断層撮影）等の測定機器により一定のスライス方向に沿って取得された断面画像ＩＳについて説明する図であり、図２Ｂは、超音波測定機器などの測定機器１０によりスライス方向（測定方向）を変化させて取得された断面画像ＩＳについて説明する図である。
【００１５】
図２Ａの例に示すように、ＣＴ等の測定機器では、矢印ＰＭで示すように一定のスライス方向に沿って断面画像ＩＳが取得される。このような場合は、周知の重ね合わせ処理により、各断面画像ＩＳにおける被験者Ａの臓器の境界ＢＬ上に複数（図の例では、８個）の特徴点ＢＰ１〜ＢＰ８を設定し、各断面画像ＩＳの特徴点ＢＰ１〜ＢＰ８同士を対応付けることができる。すなわち、図２Ａに示すように、仮想の３次元空間に２次元の濃淡画像である断面画像ＩＳを３次元透視図として重ねて表示する、あるいは、被験者Ａの臓器の境界を示す３次元画像に変換することができる。
【００１６】
さらに、図２Ａの矢印ＲＭの方向に被験者Ａの身体を回転させて測定を行った場合は、例えばアフィン変換を用いることで、各断面画像ＩＳの特徴点ＢＰ１〜ＢＰ８同士を正確に対応付け、重ね合わせ処理を行うことができる。また、測定対象が肺などの形状が変化する臓器である場合は、例えば非線形変換を用いることで、各断面画像ＩＳの特徴点ＢＰ１〜ＢＰ８同士を正確に対応付け、重ね合わせ処理を行うことができる。
【００１７】
一方、超音波測定機器などの測定機器１０では、被験者Ａの身体の表面の凹凸に沿ってプローブ１１の軸を回転させながら、あるいはプローブ１１で被験者Ａの身体の表面を押し込みながら走査して測定を行う。このため、図２Ｂの例に示すように、ランダムなスライス方向（測定方向）の断面画像ＩＳが取得される。
【００１８】
このような場合は、図２Ｂに示すように、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮを考慮して仮想の３次元空間における断面画像ＩＳの配置位置および配置角度を補正した上で、断面画像ＩＳを３次元透視図として重ねて表示できる。これにより、各断面画像ＩＳの特徴点ＢＰ１〜ＢＰ８同士を正確に対応付け、重ね合わせ処理を行うことができる。
【００１９】
超音波測定は、測定機器１０が比較的小型でユーザが携帯できるものも市販されおり、電離放射線による被爆のおそれがないことから、被験者Ａの自宅等で行われる遠隔診療にも適する。また、空間分解能が高く、断面画像ＩＳにおける組織のコントラストも高いため、遠隔診療を行うユーザにとっての利便性が高い。
【００２０】
しかしながら、超音波測定で得られる断面画像ＩＳは視野が限定的であるため、経験の浅いユーザにとっては読解が困難となる。すなわち、同様の測定条件であっても、図２Ｂに示すように、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮによって断面画像が変化するため、例えば医学書等に掲載された一般的な断面画像と実際の断面画像ＩＳとが異なることが多い。
【００２１】
実際に取得された複数の断面画像ＩＳを３次元画像に変換することで、任意の走査位置ＳＰおよび走査姿勢ＳＮから取得された断面画像ＩＳに変換することが可能になり、経験の浅いユーザでも読解が容易となる。
【００２２】
そこで、本発明の実施形態に係る画像処理装置１００は、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮを考慮して断面画像ＩＳの重ね合わせ処理を行うよう、以下のように構成する。
【００２３】
図３は、画像処理装置１００の要部構成を示すブロック図である。図３に示すように、画像処理装置１００は、超音波測定用の測定機器１０と、超音波測定の被験者Ａおよびプローブ１１を撮影する撮影部２０とを備える。
【００２４】
図３に示すように、撮影部２０は、２台のカメラ２１ａ，２１ｂと、カメラ２１ａ，２１ｂのそれぞれに有線または無線により接続されたコンピュータ２２ａ，２２ｂと、カメラ２１ａ，２１ｂに有線または無線により接続された表示部２３と、ケース２４とを有する。さらに撮影部２０のコンピュータ２２ａ，２２ｂは、測定機器１０のコンピュータ１２に有線または無線により接続される。
【００２５】
図４Ａは、撮影部２０の正面図であり、図４Ｂは、撮影部２０の背面図であり、図４Ｃは、撮影部２０の斜視図である。
【００２６】
カメラ２１ａ，２１ｂは、動画撮影が可能な小型カメラにより構成される。図４Ａに示すように、カメラ２１ａ，２１ｂは、水平方向（左右方向）において互いに所定距離Ｌ（約１０ｃｍ以上。例えば、２０ｃｍ程度）離間した、同じ高さの位置から撮影部２０の正面方向を撮影するステレオカメラとして配置される。
【００２７】
カメラ２１ａ，２１ｂは、例えばケース２４に設けた穴部を介してケース２４に取り付けられる。カメラ２１ａ，２１ｂにより撮影された２次元画像（画像データ）は、コンピュータ２２ａ，２２ｂおよび表示部２３に送信される。なお、経験の浅いユーザが遠隔診療を行う場合などには、画像データを遠隔地にいる熟練した技師等のユーザ端末に送信し、プローブ１１の適切な走査位置および走査姿勢についてリアルタイムでアドバイスを受けることもできる。
【００２８】
コンピュータ２２ａ，２２ｂは、小型のコンピュータにより構成される。コンピュータ２２ａ，２２ｂとしては、例えば、ラズベリーパイ（登録商標）のようなシングルボード・コンピュータを使用することができる。コンピュータ２２ａ，２２ｂによる演算結果は、測定機器１０のコンピュータ１２に送信される。図４Ａ、４Ｃに示すように、コンピュータ２２ａ，２２ｂは、例えばケース２４の内側からケース２４に取り付けられる。
【００２９】
表示部２３は、例えば市販のタブレット端末のディスプレイにより構成される。表示部２３は、カメラ２１ａ，２１ｂから送信された画像を表示する。ユーザは、表示部２３に表示された画像を確認することで、撮影部２０の撮影範囲を確認し、必要に応じて撮影部２０の傾斜角度や設置位置を調整することができる。
【００３０】
ケース２４は、例えば市販のタブレット端末用の、傾斜角度を調整可能なケースにより構成される。図４Ｃに示すように、撮影部２０は、ケース２４を介して、適宜な傾斜角度で設置することができる。さらに、撮影部２０を高さの調整が可能な可動式の台に設置することで、適宜な位置に設置することができる。撮影部２０の傾斜角度および設置位置は、図１に示すように、被験者Ａおよびプローブ１１が撮影範囲に含まれるように調整される。
【００３１】
図３に示すように、コンピュータ２２ａ，２２ｂはそれぞれ、ＣＰＵ２２０ａ，２２０ｂ、ＲＯＭ，ＲＡＭなどのメモリ２２１ａ，２２１ｂ、その他の周辺回路などを有する演算処理装置として構成される。ＣＰＵ２２０ａ，２２０ｂは、２次元位置算出部２２２ａ，２２２ｂとして機能する。
【００３２】
２次元位置算出部２２２ａ，２２２ｂは、カメラ２１ａ，２１ｂから送信された画像データに基づいて、時系列の複数の２次元画像における被験者Ａ等の身体関節および顔の特徴点に対応する複数のノードを設定するとともに、各ノードの２次元座標を算出する。
【００３３】
各ノードの設定および座標の算出は、例えば、ＯｐｅｎＰｏｓｅライブラリ（コンピュータビジョンに関する国際学会ＣＶＰＲ２０１７、カーネギーメロン大学、Ｚｈｅ  Ｃａｏら）などの深層学習による特徴点検出アルゴリズムを利用して行う。
【００３４】
ＯｐｅｎＰｏｓｅライブラリでは、特徴点間の距離や相対的な動きなどの特徴点の関連性に基づいて各関節の位置を検出する。このため、同一画像内に複数の対象者がいる場合、身体の一部が隠れている場合、画面への出入りがある場合、立位以外の姿勢の場合でも、正確に特徴点を検出することができる。
【００３５】
ＯｐｅｎＰｏｓｅライブラリは、必要とするメモリ容量が比較的小さく、ラズベリーパイ（登録商標）のようなシングルボード・コンピュータ２２ａ，２２ｂのメモリ２２１ａ，２２１ｂ（例えば、１ＧＢ程度）に記憶できるため、特徴点検出アルゴリズムによる処理をエッジで行うことができる。
【００３６】
深層学習による姿勢推定用のライブラリとしてＯｐｅｎＰｏｓｅ以外のライブラリを適用することもできるが、ライブラリが格納された遠隔サーバに画像データを送信する場合は、通信コストが発生するため、遠隔診療での利用には適しない。また、被験者Ａのプライバシー保護の観点からも、遠隔診療での利用には適しない。
【００３７】
図５は、２次元位置算出部２２２ａ，２２２ｂが設定するノードの一例を示す図である。図５の例に示すように、２次元位置算出部２２２ａ，２２２ｂは、２次元画像における人物の身体関節や目、耳、鼻などの顔の特徴点を含む特徴点を検出し、それらに対応するノードＮｎ（図５の例では、１８個のノードＮ１〜Ｎ１８）を設定する。さらに２次元位置算出部２２２ａ，２２２ｂは、２次元画像における各ノードＮｎの２次元位置を算出する。
【００３８】
図５に示すような人物の身体関節や顔の特徴点を検出する２次元位置算出部２２２ａ，２２２ｂは、これらの特徴点を有する人形等についても、同様に特徴点を検出することができる。例えば、プローブ１１に取り付けた人形等の身体関節や顔の特徴点を２次元位置算出部２２２ａ，２２２ｂにより検出することができる。
【００３９】
図６Ａは、プローブ１１の持ち方について説明する図である。超音波測定を行うときは、プローブ１１による走査を円滑に行うため、プローブ１１を片手で軽く把持する。具体的には、図６Ａに示すように、指でプローブ１１の側面を支持し、親指と人差し指の間の股部とプローブ１１の持ち手１１ａとの間に空間ができるように把持して、走査面１１ｂで被験者Ａの身体の表面を走査しながら超音波測定を行う。
【００４０】
図２Ｂに示すプローブ１１の走査位置ＳＰは、図６Ａに示す走査面１１ｂの中心点である。また、図２Ｂに示すプローブ１１の走査姿勢ＳＮは、走査位置ＳＰを通ってプローブ１１から離間する方向へ向かう、プローブ１１の中心軸ＳＡに沿った方向ベクトルである。プローブ１１の走査姿勢ＳＮは、超音波測定中にプローブ１１が超音波を送受信する方向に相当する。
【００４１】
図６Ｂは、ヒト型マーカ３０について説明する図である。図６Ｂに示すように、ヒト型マーカ３０は、例えば人形等により構成され、プローブ１１に対して相対変位不能に取り付けられる。ヒト型マーカ３０は、例えば、ヒト型マーカ３０が固定されるとともに、プローブ１１に着脱可能に取り付けられるアタッチメント４０を介して、プローブ１１に対して相対変位不能に取り付けられる。
【００４２】
図６Ｂに示すように、ヒト型マーカ３０としては、鼻部３１、左右一対の目部３２，３３および左右一対の耳部３４，３５等の顔の特徴点を有する人形等を使用することが好ましい。特徴点３１〜３５は人形等の顔の大きさに相当する一定の範囲に複数存在するため、２次元位置算出部２２２ａ，２２２ｂにより特徴点３１〜３５の位置を検出することで、ヒト型マーカ３０の姿勢を高精度で推定することができる。
【００４３】
図６Ｂの例では、ヒト型マーカ３０は、人形の中心軸がプローブ１１の中心軸ＳＡと平行になるように取り付けられるが、超音波検査の内容に応じて、人形の中心軸がプローブ１１の中心軸ＳＡと直交するように取り付けてもよい。この場合、予めヒト型マーカ３０の取り付け方法に応じて複数のアタッチメント４０を製作することで、検査内容に応じてヒト型マーカ３０の取り付け方法を容易に変更することができる。
【００４４】
なお、プローブ１１に人形以外の形状のマーカを設けて、例えば、プローブ１１の複数の側面に三角錐型のマーカ等を設けてプローブ１１の姿勢を推定することもできるが、この場合は上記のＯｐｅｎＰｏｓｅライブラリを利用することができない。ヒト型マーカ３０を使用することで、被験者Ａおよびプローブ１１の位置および姿勢を単一のアルゴリズムで算出することが可能となり、装置全体としてのメモリ容量や演算負荷を低減することができる。
【００４５】
プローブ１１に人形以外の形状のマーカを設けて姿勢推定を行う場合は、マーカの位置を検出するために別のアルゴリズムを使用する必要が生じ、同期処理が必要になるなど、装置全体のメモリ容量や演算負荷が増大する。また、深層学習による姿勢推定用のライブラリとしてＯｐｅｎＰｏｓｅ以外のライブラリも適用できるが、複数のアルゴリズムを利用する場合は、ライブラリを変更する度に、被験者Ａとプローブ１１との位置関係の計算をやり直す必要が生じる。
【００４６】
図７Ａは、カメラ２１ａにより撮影された２次元画像ＩＭＧａの一例を示す２次元位置の説明図である。図７Ａの例では、２次元位置算出部２２２ａは、２次元画像ＩＭＧａにおける被験者Ａおよびヒト型マーカ３０の身体関節および顔の特徴点を検出し、それらに対応するノードＮ１〜Ｎ１０，Ｎ３１〜Ｎ３５を設定し、各ノードの２次元位置を算出する。
【００４７】
例えば、２次元画像ＩＭＧａの左下端を原点Ｐ０（０，０）とした画素単位で、２次元画像ＩＭＧａにおける各ノードＮ１〜Ｎ１０，Ｎ３１〜Ｎ３５の２次元位置（ｘ１ａ，ｙ１ａ）〜（ｘ１０ａ，ｙ１０ａ），（ｘ３１ａ，ｙ３１ａ）〜（ｘ３５ａ，ｙ３５ａ）を算出する。
【００４８】
同様に、２次元位置算出部２２２ｂは、カメラ２１ｂにより撮影された２次元画像ＩＭＧｂにおける被験者Ａおよびヒト型マーカ３０の身体関節および顔の特徴点を検出し、それらに対応するノードＮ１〜Ｎ１０，Ｎ３１〜Ｎ３５を設定する。さらに、各ノードの２次元位置（ｘ１ｂ，ｙ１ｂ）〜（ｘ１０ｂ，ｙ１０ｂ），（ｘ３１ｂ，ｙ３１ｂ）〜（ｘ３５ｂ，ｙ３５ｂ）を算出する。
【００４９】
２次元位置算出部２２２ａ，２２２ｂにより算出された各ノードＮ１〜Ｎ１０，Ｎ３１〜Ｎ３５の２次元位置（ｘ１ａ，ｙ１ａ）〜（ｘ１０ａ，ｙ１０ａ），（ｘ３１ａ，ｙ３１ａ）〜（ｘ３５ａ，ｙ３５ａ），（ｘ１ｂ，ｙ１ｂ）〜（ｘ１０ｂ，ｙ１０ｂ），（ｘ３１ｂ，ｙ３１ｂ）〜（ｘ３５ｂ，ｙ３５ｂ）は、コンピュータ１２に送信される。
【００５０】
図３に示すように、コンピュータ１２は、ＣＰＵ１２０、ＲＯＭ，ＲＡＭなどのメモリ１２１、その他の周辺回路などを有する演算処理装置として構成される。ＣＰＵ１２０は、機能的構成として、断面画像生成部１２２と、３次元位置算出部１２３と、位置姿勢算出部１２４と、画像変換部１２５とを有する。
【００５１】
断面画像生成部１２２は、プローブ１１から受信した電気信号を断面画像ＩＳ（図２Ａ，２Ｂ）に変換（生成）する。断面画像生成部１２２により生成された断面画像ＩＳは、表示部１３に送信される。
【００５２】
図７Ｂは、３次元位置の説明図であり、図７Ａと同様に、カメラ２１ａにより撮影された２次元画像ＩＭＧａの一例を示す。３次元位置算出部１２３は、コンピュータ２２ａ，２２ｂから送信された被験者Ａおよびヒト型マーカ３０の身体関節および顔の特徴点に対応するノードＮ１〜Ｎ１０，Ｎ３１〜Ｎ３５の２次元位置に基づいて、各ノードの３次元位置（ｘ１，ｙ１，ｚ１）〜（ｘ１０，ｙ１０，ｚ１０），（ｘ３１，ｙ３１，ｚ３１）〜（ｘ３５，ｙ３５，ｚ３５）を算出する。
【００５３】
すなわち、ステレオカメラとして構成される左右一対のカメラ２１ａ，２１ｂの画像から個別に算出された各ノードＮｎの２次元位置（ｘｎａ，ｙｎａ），（ｘｎｂ，ｙｎｂ）に基づいて、三角測量の原理で３次元位置（ｘｎ，ｙｎ，ｚｎ）を算出する。
【００５４】
より具体的には、同一の高さにおいて左右方向に所定距離Ｌ離間したカメラ２１ａ，２１ｂからの画像における各ノードＮｎの左右方向の位置ｘｎａ，ｘｎｂの差（視差）に基づいて、３次元空間における各ノードＮｎの左右方向の位置ｘｎおよび奥行方向の位置ｚｎを算出する。３次元空間における各ノードＮｎの高さ方向の位置ｙｎは、カメラ２１ａ，２１ｂからの画像における各ノードＮｎの高さ方向の位置ｙｎａ，ｙｎｂと同一である。
【００５５】
なお、ステレオカメラおよびＯｐｅｎＰｏｓｅライブラリに代えて、例えば、Ｋｉｎｅｃｔ（登録商標）等の赤外線デプスカメラにより被験者Ａおよびプローブ１１の３次元位置を検出することもできる。ただし、この手法では対象者（対象物）にドットパターンを投影して反射光を検出するため、室内の明るさ等の環境条件によって精度が低下する。また、複数台のカメラを同時に使用することができず、撮影範囲が限定される。
【００５６】
位置姿勢算出部１２４は、３次元位置算出部１２３により算出された被験者Ａおよびヒト型マーカ３０の身体関節および顔の特徴点に対応するノードＮｎの３次元位置に基づいて、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮを算出する。
【００５７】
画像変換部１２５は、位置姿勢算出部１２４により算出された被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮに基づいて、プローブ１１により取得された断面画像を３次元画像に変換する。すなわち、図２Ｂに示すように、プローブ１１の走査位置ＳＰおよび走査姿勢ＳＮに基づいて、仮想の３次元空間における各断面画像ＩＳの配置位置および配置角度を補正した上で、断面画像ＩＳを３次元透視図として重ねて表示する。これにより、各断面画像ＩＳの特徴点（図２ＢのＢＰ１〜ＢＰ８）同士を対応付け、重ね合わせ処理を行う。
【００５８】
図８は、予め記憶されたプログラムに従い、画像処理装置１００により実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば、画像処理装置１００に電源が供給されると開始され、所定周期で繰り返される。
【００５９】
まず、ステップＳ１で、コンピュータ２２ａ，２２ｂの２次元位置算出部２２２ａ，２２２ｂでの処理により、プローブ１１から送信された断面画像ＩＳの画像データを取得する。次いで、ステップＳ２で、ステップＳ１で取得された各断面画像ＩＳにおける被験者Ａおよびヒト型マーカ３０の身体関節および顔の特徴点に対応する複数のノードＮ１〜Ｎ１〜Ｎ１０，Ｎ３１〜Ｎ３５を設定（検出）する。
【００６０】
次いで、ステップＳ３で、ステップＳ２で検出された各ノードＮ１〜Ｎ１〜Ｎ１０，Ｎ３１〜Ｎ３５の２次元位置（ｘ１ａ，ｙ１ａ）〜（ｘ１０ａ，ｙ１０ａ），（ｘ３１ａ，ｙ３１ａ）〜（ｘ３５ａ，ｙ３５ａ），（ｘ１ｂ，ｙ１ｂ）〜（ｘ１０ｂ，ｙ１０ｂ），（ｘ３１ｂ，ｙ３１ｂ）〜（ｘ３５ｂ，ｙ３５ｂ）を算出する。
【００６１】
次いで、ステップＳ４で、コンピュータ１２の３次元位置算出部１２３での処理により、ステップＳ３で算出された各ノードの２次元位置に基づいて、各ノードＮ１〜Ｎ１〜Ｎ１０，Ｎ３１〜Ｎ３５の３次元位置（ｘ１，ｙ１，ｚ１）〜（ｘ１０，ｙ１０，ｚ１０），（ｘ３１，ｙ３１，ｚ３１）〜（ｘ３５，ｙ３５，ｚ３５）を算出する。
【００６２】
次いで、ステップＳ５で、位置姿勢算出部１２４での処理により、ステップＳ４で算出された各ノードの３次元位置に基づいて、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮを算出する。次いで、ステップＳ５で、画像変換部１２５での処理により、ステップＳ４で算出されたプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮに基づいて、各断面画像ＩＳの重ね合わせ処理を行う。
【００６３】
本発明の実施形態によれば以下のような作用効果を奏することができる。
（１）画像処理装置１００は、被験者Ａを走査して断面画像ＩＳを取得するプローブ１１と、プローブ１１に対して相対変位不能に取り付けられるとともに、少なくとも左右一対の目部３２，３３、左右一対の耳部３４，３５および鼻部３１により構成される顔を有するヒト型マーカ３０と、被験者Ａおよびヒト型マーカ３０を撮影して２次元画像ＩＭＧを取得するカメラ２１ａ，２１ｂと、カメラ２１ａ，２１ｂにより取得された２次元画像ＩＭＧのそれぞれにおける被験者Ａの身体関節および顔およびヒト型マーカ３０の顔の複数の特徴点Ｎ１〜Ｎ１０，Ｎ３１〜Ｎ３５の位置座標を算出する位置算出部１２３，２２２ａ，２２２ｂと、位置算出部１２３，２２２ａ，２２２ｂにより算出された位置座標に基づいて、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮを算出する位置姿勢算出部１２４と、位置姿勢算出部１２４により算出された被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮに基づいて、プローブ１１により取得された断面画像ＩＳを３次元画像に変換する画像変換部１２５と、を備える（図３）。
【００６４】
被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮが算出されるため、被験者Ａの身体の表面の凹凸に沿ってプローブ１１の軸を回転させながら走査して、あるいは被験者Ａの姿勢を連続的に変えて超音波測定を行う場合でも、断面画像ＩＳを３次元画像に変換することができる。
【００６５】
すなわち、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮを考慮して仮想の３次元空間における断面画像ＩＳの配置位置および配置角度を補正した上で、断面画像ＩＳを３次元透視図として重ねて表示できる。これにより、各断面画像ＩＳの特徴点ＢＰ１〜ＢＰ８同士を正確に対応付け（図２Ｂ）、重ね合わせ処理を行うことができる。
【００６６】
また、被験者Ａの身体関節および顔の特徴点は、プローブ１１の押し込みによる変位の影響を受けない。したがって、プローブ１１により被験者Ａの身体の表面を連続的に変位させて超音波測定を行う場合でも、被験者Ａに対するプローブ１１の走査位置ＳＰおよび走査姿勢ＳＮを正確に算出し、断面画像ＩＳを３次元画像に変換することができる。
【００６７】
また、被験者Ａおよびプローブ１１の位置および姿勢を単一のアルゴリズムにより算出するため、装置全体としてのメモリ容量や演算負荷を低減することができる。
【００６８】
（２）カメラ２１ａ，２１ｂは、第１位置から被験者Ａおよびヒト型マーカ３０を撮影して第１画像を取得するカメラ２１ａと、第１位置とは異なる第２位置から被験者Ａおよびヒト型マーカ３０を撮影して第２画像を取得するカメラ２１ｂと、を有する（図４Ａ）。
【００６９】
位置算出部１２３，２２２ａ，２２２ｂは、カメラ２１ａにより取得された第１画像における複数の特徴点Ｎ１〜Ｎ１０，Ｎ３１〜Ｎ３５の第１座標（ｘ１ａ，ｙ１ａ）〜（ｘ１０ａ，ｙ１０ａ），（ｘ３１ａ，ｙ３１ａ）〜（ｘ３５ａ，ｙ３５ａ）を算出するとともに、カメラ２１ｂにより取得された第２画像における複数の特徴点Ｎ１〜Ｎ１０，Ｎ３１〜Ｎ３５の第２座標（ｘ１ｂ，ｙ１ｂ）〜（ｘ１０ｂ，ｙ１０ｂ），（ｘ３１ｂ，ｙ３１ｂ）〜（ｘ３５ｂ，ｙ３５ｂ）を算出する。
【００７０】
さらに位置算出部１２３，２２２ａ，２２２ｂは、第１座標および第２座標に基づいて３次元空間における複数の特徴点Ｎ１〜Ｎ１０，Ｎ３１〜Ｎ３５の位置座標（ｘ１，ｙ１，ｚ１）〜（ｘ１０，ｙ１０，ｚ１０），（ｘ３１，ｙ３１，ｚ３１）〜（ｘ３５，ｙ３５，ｚ３５）を算出する。
【００７１】
すなわち、ステレオカメラとして構成される左右一対のカメラ２１ａ，２１ｂの画像から個別に算出された各ノードＮｎの２次元位置に基づいて、三角測量の原理で３次元位置を算出するため、高精度で３次元位置を算出することができる。また、所定距離Ｌ離間した複数台のカメラを同時に使用するため、被験者Ａやプローブ１１とカメラ２１ａ，２１ｂとの間に超音波測定を行うユーザがいる場合であっても、被験者Ａやプローブ１１の特徴点を撮影しやすい。
【００７２】
（３）プローブ１１は、被験者Ａを走査しながら超音波を送受信する超音波プローブであるため、検査中の被験者Ａに与える負荷が小さい。
【００７３】
上記実施形態は、種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、画像処理装置１００を、プローブ１１により被験者Ａを走査しながら超音波を送受信する測定機器１０に適用したが、走査部は被験者を走査して断面画像を取得するものであればどのようなものでもよく、測定機器１０は超音波測定機器に限定されない。
【００７４】
上記実施形態では、ヒト型マーカ３０の中心軸がプローブ１１の中心軸ＳＡと平行になるように取り付けたが、ヒト型マーカは走査部に対して相対変位不能に取り付けられればよく、ヒト型マーカの取り付け方法はこのようなものに限らない。
【００７５】
上記実施形態では、位置算出部１２３，２２２ａ，２２２ｂが被験者Ａの顔の特徴点に対応するノードＮ１〜Ｎ５および身体関節に対応するノードＮ６〜Ｎ１０を設定する例を示したが（図１，７Ａ，７Ｂ）、被験者の身体関節および顔の複数の特徴点の位置座標を算出する位置算出部はこれに限定されない。
【００７６】
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
【符号の説明】
【００７７】
１０  測定機器、１１  プローブ、１２，２２ａ，２２ｂ  コンピュータ、１３  表示部、２０  撮影部、２１ａ，２１ｂ  カメラ、２３  表示部、３０  ヒト型マーカ、３１  鼻部、３２，３３  目部、３４，３５  耳部、４０  アタッチメント、１００  画像処理装置、１２０，２２０ａ，２２０ｂ  ＣＰＵ、１２１，２２１ａ，２２１ｂ  メモリ、１２２  断面画像生成部、１２３  ３次元位置算出部、１２４  位置姿勢算出部、１２５  画像変換部、２２２ａ，２２ｂ  ２次元位置算出部
【図１】
2020127629.tif 000003
【図２Ａ】
2020127629.tif 000004
【図２Ｂ】
2020127629.tif 000005
【図３】
2020127629.tif 000006
【図４Ａ】
2020127629.tif 000007
【図４Ｂ】
2020127629.tif 000008
【図４Ｃ】
2020127629.tif 000009
【図５】
2020127629.tif 000010
【図６Ａ】
2020127629.tif 000011
【図６Ｂ】
2020127629.tif 000012
【図７Ａ】
2020127629.tif 000013
【図７Ｂ】
2020127629.tif 000014
【図８】
2020127629.tif 000015