(57)【要約】【課題】手術中に医療画像を確認する際に、人体部位を直接指示するジェスチャ操作を行うことによって、確認したい医療画像を即座に確認可能にするための技術を提供すること。【解決手段】３次元物体と、人の手との相対位置を特定し、３次元物体の断面を示す複数の断層像の中から、特定された相対位置に対応する断層像を取得し、取得された断層像を表示部に表示させる。【選択図】図３
2014000332.tif 000002
【特許請求の範囲】
【請求項１】
３次元物体と、人の手との相対位置を特定する特定手段と、
前記３次元物体の断面を示す複数の断層像の中から、前記特定手段によって特定された相対位置に対応する断層像を取得する取得手段と、
前記取得手段により取得された断層像を表示部に表示させる表示制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記３次元物体に関する位置情報を保持する保持手段と、
前記人の手を含む画像を入力する入力手段とを更に備え、
前記特定手段は、前記入力手段によって入力された画像と、前記位置情報と、に基づいて、前記相対位置を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記保持手段が保持する位置情報は、前記入力手段が入力する画像に基づいて取得されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記入力手段によって入力される画像は、距離センサからの距離を表す距離値である画素から成る距離画像であることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
更に、
前記距離画像から前記手の領域を検出し、該領域内の画素値から該手の３次元位置を求めると共に、該領域の形状を求める手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記３次元物体を載置している載置面の長辺に沿う軸をｘ軸、該載置面の短辺に沿う軸をｙ軸、該載置面の法線に沿う軸をｚ軸、とする３次元座標系を定義した場合に、
前記取得手段は、前記形状が、前記距離画像の従前のフレームから変わっている場合には、
ｘ軸方向の各スライス位置における断面の断層像、ｙ軸方向の各スライス位置における断面の断層像、ｚ軸方向の各スライス位置における断面の断層像、のうち、前記手の領域の形状に予め関連付けられている軸方向の断層像群を特定し、該特定した断層像群のうち、前記手の該軸方向の位置に予め関連付けられている断層像を、前記表示部への表示対象として取得する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記３次元物体を載置している載置面の長辺に沿う軸をｘ軸、該載置面の短辺に沿う軸をｙ軸、該載置面の法線に沿う軸をｚ軸、とする３次元座標系を定義した場合に、
前記取得手段は、前記形状が、前記距離画像の従前のフレームから変わっていない場合には、
前記手の動きに予め関連付けられている軸方向の断層像群のうち、前記手の該軸方向の位置に予め関連付けられている断層像を、前記表示部への表示対象として取得する
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記載置面と平行な断面のスライス位置に対応する前記３次元座標系における位置を（ｘ、ｙ、ｚ）とした場合に、該断層像に予め関連付けられている座標は（ｘ、ｙ、ｚ＋Ｂ）（Ｂは定数））であることを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記３次元物体を載置している載置面の長辺に沿う軸をｘ軸、該載置面の短辺に沿う軸をｙ軸、該載置面の法線に沿う軸をｚ軸、とする３次元座標系を定義した場合に、
更に、
前記３次元物体の距離画像から得られる該３次元物体の３次元形状と、前記複数の断層像から構成されるボリュームデータが表す前記３次元物体の３次元形状と、の位置合わせを行うことで、ｘ軸方向の各スライス位置における断面の断層像と、前記ボリュームデータにおいて該スライス位置に対応するｘ座標値の前記３次元座標系におけるｘ座標値とを関連付け、ｙ軸方向の各スライス位置における断面の断層像と、前記ボリュームデータにおいて該スライス位置に対応するｙ座標値の前記３次元座標系におけるｙ座標値とを関連付け、ｚ軸方向の各スライス位置における断面の断層像と、前記ボリュームデータにおいて該スライス位置に対応するｚ座標値の前記３次元座標系におけるｚ座標値にバイアスを加えたものとを関連付ける手段を備え、
前記取得手段は、前記形状が、前記距離画像の従前のフレームから変わっている場合には、
ｘ軸方向の各スライス位置における断面の断層像、ｙ軸方向の各スライス位置における断面の断層像、ｚ軸方向の各スライス位置における断面の断層像、のうち、前記手の領域の形状に予め関連付けられている軸方向の断層像群を特定し、該特定した断層像群のうち、前記手の該軸方向の位置に関連付けられている断層像を、前記表示部への表示対象として取得する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記取得手段が取得した断層像を、前記手の位置に応じたフィルタリングを行ってから前記表示部に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
更に、
前記手の状態に応じてＸ線撮像装置の撮影範囲を指定し、該指定した撮影範囲を該Ｘ線撮像装置に送出する手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記表示制御手段は、
表示する断層像を、前記手の動きに応じて拡大／縮小することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記３次元物体は患者であって、
前記特定手段は、前記患者と、該患者以外の人の手との相対位置を特定し、
前記複数の断層像は、前記患者の医療画像であることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
【請求項１４】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の特定手段が、３次元物体と、人の手との相対位置を特定する特定工程と、
前記画像処理装置の取得手段が、前記３次元物体の断面を示す複数の断層像の中から、前記特定手段によって特定された相対位置に対応する断層像を取得する取得工程と、
前記画像処理装置の表示制御手段が、前記取得工程で取得された断層像を表示部に表示させる表示制御工程と
を備えることを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療画像を閲覧するための技術に関するものである。
【背景技術】
【０００２】
医療現場では、ＣＴ、ＭＲＩなどの医療画像を随時確認しながら手術が行われている。手術中は清潔状態を必要とするため、従来、医療画像の操作は執刀医自ら行うのではなく、手術室外の助手が行っており、使い勝手が良くなかった。
【０００３】
非特許文献１では、上記課題を解決するため、平面の紙を利用した医療画像のブラウジング技術が提案されている。これはプロジェクタによって表示された人体形状を示すオブジェクト上で、手に持った紙を動かし、その紙の位置、傾き、方向に応じて、紙面上に医療画像を投影して表示するシステムである。この技術によれば、上記の従来技術と比較して、医療画像が患者の身体のどの部分に相当するのかを直感的に把握可能である。また、手に持った紙を人体オブジェクトの任意の位置へダイレクトに移動することにより、所望する部位の医療画像を直接ポインティングすることも可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｍａｒｔｉｎ Ｓｐｉｎｄｌｅｒ、『ＰａｐｅｒＬｅｎｓ:  Ａｄｖａｎｃｅｄ  Ｍａｇｉｃ  Ｌｅｎｓ   Ｉｎｔｅｒａｃｔｉｏｎ Ａｂｏｖｅ ｔｈｅ Ｔａｂｌｅｔｏｐ』。Ｔｈｅ Ｉｎｔｅｒａｃｔｉｖｅ Ｔａｂｌｅｔｏｐｓ ａｎｄ Ｓｕｒｆａｃｅｓ ２００９ Ｃｏｎｆｅｒｅｎｃｅ。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１の技術では、操作指示を行うために紙が必要となる。執刀医は手術中、両手を使う可能性が高いので、紙を持って医療画像をブラウジングするのは現実的ではない。また非特許文献１では、医療画像は紙面上に等倍で投影されるのみであり、拡大、縮小表示までは考慮されていない。医療現場では、所望の部位の医療画像を高解像度で拡大表示するというニーズは高い。加えて、手術中に患者の人体に医療画像を直接投影するのは、逆に手術の妨げになってしまう可能性が高い。
【０００６】
本発明はこのような問題に鑑みてなされたものであり、手術中に医療画像を確認する際に、人体部位を直接指示するジェスチャ操作を行うことによって、確認したい医療画像を即座に確認可能にするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、３次元物体と、人の手との相対位置を特定する特定手段と、前記３次元物体の断面を示す複数の断層像の中から、前記特定手段によって特定された相対位置に対応する断層像を取得する取得手段と、前記取得手段により取得された断層像を表示部に表示させる表示制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の構成により、確認したい医療画像を即座に確認可能にすることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置が使用される環境を説明する図。
【図２】ハードウェア構成例を示す図。
【図３】画像処理装置の機能構成例を示すブロック図。
【図４】患者１０５ｃの断層像群を説明する図。
【図５】画像処理装置が行う処理のフローチャート。
【図６】ステップＳ１７における処理の詳細を示すフローチャート。
【図７】画像処理装置が行う処理のフローチャート。
【図８】手のポーズを認識するための処理を説明する図。
【図９】撮影範囲を説明する図。
【図１０】位置合わせにより生成されたテーブルの構成例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１１】
［第１の実施形態］
本実施形態に係る画像処理装置が使用される環境について、図１に示す。本実施形態に係る画像処理装置は、医師が患者（３次元物体）の手術中に、患者の大量の医療画像の中から所望の医療画像を簡単に閲覧可能にする為のものであり、特にハイブリット手術室での利用を想定している。ハイブリット手術室というのは、外科手術（メスを使った、切開と伴う手術）と内科的治療（カテーテルを使った、切開の無い処置）の両方（ハイブリット）を実施することができる手術室のことである。外科手術室とカテーテル手術室は別の場所にあり、従来では、臨機応変な対応が出来なかった。ハイブリッド手術室には、血管投影装置（Ｘ線）等が設置されており、カテーテル挿入手術はそのＸ線断面画像やその他複数かつ大量の医療画像を確認しながら処置を行う。ハイブリット手術室は、特に動脈ステントグラフト内挿術と呼ばれる手術を行う際に必須の設備となっている。
【００１２】
図１に示す如く、患者１０５ｃは手術台１０６に載置されており、その周囲には執刀医１０５ａ及び助手１０５ｂが立っている。また、手術台１０６において患者１０５ｃを載置している面（載置面）と対向する位置（載置面の上方の位置）には距離センサ１０２が設けられている。距離センサ１０２は、センシング範囲１０２ａ内を撮像し、画素値が距離センサ１０２からの距離を表す距離値である画素から成る距離画像を生成する。距離センサ１０２が生成した距離画像は画像処理装置１００に送出される。
【００１３】
ここで、センシング範囲１０２ａ内には、執刀医１０５ａや助手１０５ｂの手１０４が入ることがあり、その場合には、距離センサ１０２による距離画像にはこの手１０４が写ることになる。画像処理装置１００は、距離画像から手１０４の状態を特定し、ストレージ１０３に管理されている大量の医療画像のうち、特定した状態に応じた医療画像を、執刀医１０５ａや助手１０５ｂから閲覧可能に設置されているディスプレイ１０１に表示する。次に、本実施形態に係る画像処理装置１００の機能構成例について、図３（Ａ）のブロック図を用いて説明する。
【００１４】
ストレージ１０３には、患者ごとに大量の医療画像が登録されている。本実施形態では、患者ごとの断層像群（ＣＴやＭＲＩ等の断層像群）が、該患者の医療画像としてストレージ１０３に登録されているものとする。患者１０５ｃについてストレージ１０３に登録されている断層像群について、図４を用いて説明する。
【００１５】
本実施形態では、図１に示した空間中に３次元座標系を定義する。３次元座標系の定義方法には様々な方法があるが、本実施形態では、図４に示す如く、載置面の一角４９９を原点とし、該原点で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする３次元座標系を定義する。ｘ、ｙ、ｚ軸はそれぞれ、手術台１０６の載置面の長辺に沿った軸、手術台１０６の載置面の短辺に沿った軸、載置面の法線に沿った軸（＝距離センサ１０２の位置から載置面への垂線に沿った軸）、としている。なお、上記の３次元座標系における距離センサ１０２の３次元座標は既知であるものとする。
【００１６】
ストレージ１０３には、ｙ軸方向の各スライス位置におけるｘｚ断面の断層像の集合４０１ａ、ｚ軸方向の各スライス位置におけるｘｙ断面の断層像の集合４０２ａ、ｘ軸方向の各スライス位置におけるｙｚ断面の断層像の集合４００ａ、が登録されている。以下では、ｘｚ断面の断層像をｘｚ断層像、ｘｙ断面の断層像をｘｙ断層像、ｙｚ断面の断層像をｙｚ断層像と呼称する。
【００１７】
また、それぞれの断層像には、メタデータが付加されている。ｘｚ断層像、ｙｚ断層像に付加するこのメタデータには、どの患者の断層像かを示す患者情報、どの部位の断層像かを示す部位情報、該断層像の倍率情報、該断層像のスライス位置に対応する上記３次元座標系における位置を示す位置情報、が含まれている。
【００１８】
即ち、ｙ軸方向の各スライス位置におけるｘｚ断層像については、該スライス位置に対応する上記３次元座標系中の座標が位置情報となる。なお、「断層像ｘｚのスライス位置に対応する上記３次元座標系における位置Ｐｘｚ」にｘｚ断面を設けた場合に、該ｘｚ断面における患者１０５ｃの断層像と断層像ｘｚとが一致するように、患者１０５ｃは手術台１０６に載置されているものとする。
【００１９】
また、ｘ軸方向の各スライス位置におけるｙｚ断層像については、該スライス位置に対応する上記３次元座標系中の座標が位置情報となる。なお、「断層像ｙｚのスライス位置に対応する上記３次元座標系における位置Ｐｙｚ」にｙｚ断面を設けた場合に、該ｙｚ断面における患者１０５ｃの断層像と断層像ｙｚとが一致するように、患者１０５ｃは手術台１０６に載置されているものとする。
【００２０】
一方、ｘｙ断層像に付加するメタデータには、上記の患者情報、部位情報、倍率情報、に加え、該断層像のスライス位置に対応する上記３次元座標系における位置にバイアスを加えた位置を示す位置情報、が含まれている。即ち、ｚ軸方向の各スライス位置におけるｘｙ断層像については、該スライス位置に対応する上記３次元座標系中の座標にバイアスを加えた座標が位置情報となる。なお、「断層像ｘｙのスライス位置に対応する上記３次元座標系中の座標Ｐｘｙ」にｘｙ断面を設けた場合に、該ｘｙ断面における患者１０５ｃの断層像と断層像ｘｙとが一致するように、患者１０５ｃは手術台１０６に載置されているものとする。
【００２１】
このバイアスの決定方法には様々な決定方法が考え得るが、本実施形態では、バイアスを一定値（定数）とする。例えば、距離センサ１０２の位置から手術台１０６までの距離は距離センサ１０２による距離画像中に写っている手術台１０６の領域の画素値から分かるため、この距離から、手術台１０６上の患者までの一般的な最短距離を差し引いた残りの値をバイアスとする。
【００２２】
本実施形態において、バイアスを上記のように決定する理由は２つある。まず１つは、ｚ軸方向のジェスチャ操作がし易くなるという効果がある。ｚ軸方向のジェスチャ操作は患者１０５ｃの身体が邪魔になってしまう可能性が高いが、前述したように人体の厚さ分だけオフセットすると、人体表面より上方向の操作だけでｘｙ断面の断層像を閲覧することができる。つまり患者１０５ｃの身体が邪魔にならない。
【００２３】
また、ストレージ１０３は、画像処理装置１００内の記憶装置若しくは画像処理装置１００に直接接続されている記憶装置であっても良いし、有線や無線などのネットワークを介して通信可能な外部記憶装置であっても良い。例えば、多くの医療現場では、医療画像はＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）に保持されている場合が多い。したがって、ストレージ１０３は、ＤＩＣＯＭ準拠のＰＡＣＳであっても構わない。また、ストレージ１０３には、手術中に執刀医が閲覧する手術の手順書やその他ドキュメント、事例として参考になりそうな他の患者の医療画像を登録しておいても良い。
【００２４】
医療画像取得部３００は、表示制御部３０４からの要求に応じた断層像をストレージ１０３から読み出し、読み出した断層像を表示制御部３０４に対して供給する。
【００２５】
距離画像取得部３０３は、距離センサ１０２が撮影した距離画像（厳密には、距離画像を構成する各画素の画素値が表す距離情報）を取得し、該取得した距離画像を操作検出部３０６に対して送出する。
【００２６】
上記の通り、この距離画像中の各画素の画素値（距離情報）は、距離センサ１０２の位置から、該画素に撮影されている対象点までの距離を表している。然るに、距離センサ１０２の３次元座標（ｐ、ｑ、ｒ）と、画素Ｘの画素値ｗと、を用いれば、画素Ｘに撮影されている対象点の上記３次元座標系における３次元座標は（ｐ、ｑ、ｒ−ｗ）として求めることができる。
【００２７】
操作検出部３０６は、距離画像取得部３０３から供給された距離画像から、患者１０５ｃ以外の人の手を検出する。距離画像には手術台１０６及び患者１０５ｃは常に写っており、これに時折、手１０４が写ることがある。ここで、手１０４は常に手術台１０６及び患者１０５ｃよりも距離センサ１０２の位置に近い。そのため、距離画像内では、手術台１０６及び患者１０５ｃが写っている領域を構成する各画素の画素値よりも、手１０４が写っている領域を構成する各画素の画素値の方が常に小さい。そこで、距離センサ１０２の位置から手術台１０６上の患者までの一般的な距離を閾値とし、この閾値よりも小さい画素値を有する画素から成る領域を検出した場合には、この領域を、手１０４が写っている領域として特定する。もちろん、距離画像から手１０４を検出する方法はこれ以外の方法であっても良い。手１０４は執刀医１０５ａの手であったり、助手１０５ｂの手であったりするが、以下では説明を簡単にするために、執刀医１０５ａの手とする。
【００２８】
そして操作検出部３０６は、距離画像から執刀医１０５ａの手を検出した場合には、この領域の重心位置にある画素の画素値と距離センサ１０２の位置とから、該画素に写っている対象点の３次元位置を求め、これを執刀医１０５ａの手の３次元位置とする。また操作検出部３０６は、２フレーム以上続けて執刀医１０５ａの手を検出した場合、現フレームで求めた執刀医１０５ａの手の３次元位置、１フレーム前（従前）のフレームで求めた執刀医１０５ａの手の３次元位置、から手の移動ベクトルを求める。また操作検出部３０６は、距離画像から検出した執刀医１０５ａの手の領域の形状から、該手のポーズを特定する。そして操作検出部３０６は、求めた３次元位置、移動ベクトル、手のポーズ、を何れも操作情報として表示制御部３０４に送出する。
【００２９】
表示制御部３０４は、操作検出部３０６から受けた操作情報に基づいて、表示対象の断層像を決定し、該断層像を医療画像取得部３００に要求する。そして表示制御部３０４は、医療画像取得部３００がこの要求に応じて送出した断層像を受け取ると、この断層像をディスプレイ１０１に表示する。表示制御部３０４が行う処理の詳細については後述する。
【００３０】
次に、画像処理装置１００が行う処理について、同処理のフローチャートを示す図５を用いて説明する。なお、図５のフローチャートに従った処理を開始する段階では、ディスプレイ１０１にはすでに、患者１０５ｃのある断層像（例えば、現在手術対象としている部位のｘｙ断層像）が表示されているものとする。
【００３１】
操作検出部３０６は、距離画像取得部３０３から順次送出される距離画像に対して手（操作指示オブジェクト）の検出処理を行うのであるが、この検出処理により手を検出した場合には処理はステップＳ１６を介してステップＳ１７に進む。
【００３２】
ステップＳ１７では、表示対象となる断層像を医療画像取得部３００から取得する為の処理が行われる。ステップＳ１７における処理の詳細について、同処理のフローチャートを示す図６を用いて説明する。
【００３３】
ステップＳ２０１では、操作検出部３０６は、現フレームの距離画像中の執刀医１０５ａの手の領域の形状から、該手のポーズを認識する。この認識処理について、図８を用いて説明する。
【００３４】
手のポーズを認識するための処理には様々なものが考え得るが、本実施形態では、認識処理を高速に行うために、手の領域の縦横比を用いて手のポーズを認識する。例えば、執刀医１０５ａの手の領域の縦のサイズｈと横のサイズｗの比ｈ／ｗが、ｈ１／ｗ１（図８（ａ））との誤差Ｑ（例えば１０％）以内であれば、該手のポーズは、図８（ａ）に示したポーズと認識する。同様に、比ｈ／ｗがｈ２／ｗ２（図８（ｂ））との誤差Ｑ（例えば１０％）以内であれば、該手のポーズは図８（ｂ）のポーズと認識し、ｈ３／ｗ３（図８（ｃ））との誤差Ｑ（例えば１０％）以内であれば、該手のポーズは図８（ｃ）のポーズと認識する。
【００３５】
ステップＳ２０２では、操作検出部３０６は、現フレームの距離画像中の手の３次元位置を、上記のようにして求める。
【００３６】
ステップＳ２０３では、表示制御部３０４は、患者１０５ｃについてストレージ１０３に登録されている断層像群のうち、ステップＳ２０１で認識した手のポーズ及びステップＳ２０２で求めた手の３次元位置、に対応する断層像を表示対象として特定する。例えば、ステップＳ２０１で認識した手のポーズが図８（ａ）に示したポーズとして認識された場合には、患者１０５ｃのｚｙ断層像群のうち、ステップＳ２０２で求めた手のｘ座標のｚｙ断層像を表示対象として特定する。また、ステップＳ２０１で認識した手のポーズが図８（ｃ）に示したポーズとして認識され且つ手の領域の長辺が距離画像内で手術台１０６の長辺と略平行であったとする。この場合、患者１０５ｃのｚｙ断層像群のうち、ステップＳ２０２で求めた手のｘ座標のｚｙ断層像を表示対象として特定する。なお、ステップＳ２０１で認識した手のポーズが図８（ｂ）に示したポーズとして認識された場合には、特に何も行わない。このポーズは、ジェスチャを繰り返し操作する際の誤動作防止に利用する。例えば、ジェスチャ操作した後の戻り動作を、ジェスチャと判定しないように、手の形状をこのポーズにすることによって誤動作を防止できる。
【００３７】
ステップＳ２０３’では、表示制御部３０４は、ステップＳ２０３で特定した断層像を医療画像取得部３００に要求するので、表示制御部３０４は、この要求に応じて医療画像取得部３００が送出した断層像を取得する。表示制御部３０４は、この取得した断層像をディスプレイ１０１に表示する。
【００３８】
ステップＳ２０４では、表示制御部３０４は、現フレームの１フレーム前の距離画像から認識した手のポーズと、現フレームの距離画像から認識した手のポーズと、が同じか否かを判断する。この判断の結果、同じであれば、処理はステップＳ２０５に進み、同じではない場合には、処理はステップＳ２０４’に進む。
【００３９】
ステップＳ２０４’では、操作検出部３０６は、ステップＳ２０１及びステップＳ２０２と同様にして、現フレームから変化後の手のポーズを認識すると共に、手の３次元位置を取得する。
【００４０】
ステップＳ２０６では、表示制御部３０４は、患者１０５ｃについてストレージ１０３に登録されている断層像群のうち、ステップＳ２０４’で認識した手のポーズ及び取得した３次元位置、に対応する断層像を表示対象として特定する。
【００４１】
一方、ステップＳ２０５では表示制御部３０４は、現フレームから過去数フレームの各フレームの距離画像から求めた手の３次元位置によって表される「手の動き」が、拡大／縮小を指示する為のジェスチャであるのか否かを判断する。
【００４２】
例えば、距離画像から２つの手が検出され、且つ該２つの手のそれぞれのポーズが図８（ａ）に示したポーズとして認識されたとする。このとき、図８（ｄ）に示す如く、それぞれの手が矢印５００で示す方向に移動する動きである場合には、拡大指示のジェスチャと認識し、それぞれの手が矢印５０１で示す方向に移動する動きである場合には、縮小指示のジェスチャと認識する。
【００４３】
同様に、検出された２つの手のそれぞれのポーズが図８（ｃ）に示したポーズとして認識され、且つそれぞれの手の領域の長辺が距離画像内で手術台１０６の長辺と略平行であったとする。このとき、図８（ｅ）に示す如く、それぞれの手が矢印５０２で示す方向に移動する動きである場合には、拡大指示のジェスチャと認識し、それぞれの手が矢印５０３で示す方向に移動する動きである場合には、縮小指示のジェスチャと認識する。
【００４４】
ステップＳ２０５における判断の結果、拡大／縮小のジェスチャである場合には、処理はステップＳ２０８に進み、拡大／縮小のジェスチャではない場合には、処理はステップＳ２０７に進む。ステップＳ２０８では、表示制御部３０４は、現在ディスプレイ１０１に表示している断層像を、拡大／縮小（ジェスチャが示す一方）する。
【００４５】
一方、ステップＳ２０７では、操作検出部３０６は、現フレームにおける距離画像中の執刀医１０５ａの手の動きベクトルを上記のようにして求める。
【００４６】
ステップＳ２０９では、表示制御部３０４は、患者１０５ｃについてストレージ１０３に登録されている断層像群のうち１つを、手のポーズ及び移動ベクトルに応じて決定する。
【００４７】
例えば、ステップＳ２０１で認識した手のポーズがｘｙ断層像を表示させるためのポーズであり且つ移動ベクトルがｚ軸と略平行である場合には、異なるｚ座標のｘｙ断層像を表示する操作であると判定する。この場合、ステップＳ２０２で求めた手のｚ座標のｘｙ断層像を表示対象として特定する。
【００４８】
また例えば、ステップＳ２０１で認識した手のポーズがｘｙ断層像を表示させるためのポーズであり且つ移動ベクトルがｘ軸と略平行であるとする。このとき、現在表示中のｘｙ断層像と同じｚ座標に対応付けられているｘｙ断層像群を患者の頭部に近いものから順に繋げた連結画像において、現在の手のｘ座標を中心とする、ｘｙ断層像と同サイズの領域内の画像を表示対象として特定する。これにより、ｚ座標を変えずに、現在の手のｘ座標に応じたｘｙ断層像を表示対象とすることができる。これは、移動ベクトルがｙ軸と略平行であっても同様である。
【００４９】
ステップＳ２１０では、表示制御部３０４は、ステップＳ２０６やステップＳ２０９で特定した断層像を医療画像取得部３００に要求するので、表示制御部３０４は、この要求に応じて医療画像取得部３００が送出した断層像を取得する。
【００５０】
次に、ステップＳ２１０’では、表示制御部３０４は、ステップＳ２１０で取得した断層像をディスプレイ１０１に表示することで、ディスプレイ１０１における表示を更新する。
【００５１】
ステップＳ１９では、画像処理装置１００の不図示の制御部は、処理を終了させる旨の指示を検知したか否かを判断する。この判断の結果、処理を終了させる旨の指示を検知した場合には、本処理を終了し、検知していない場合には、処理はステップＳ１６に戻る。
【００５２】
以上のように、本実施形態では、執刀医１０５ａの手と患者の相対位置に応じて所望の断層像をディスプレイ１０１に表示させるので、執刀医１０５ａは簡便な方法で所望の断層像を閲覧することができる。また、執刀医１０５ａは断層像を閲覧できるようになるだけでなく、この断層像が患者身体のどの部分に相当するのかを直感的に把握可能でもある。また、確認したい部位の断層像を順次アクセスして閲覧せずとも、見たい部位を直接閲覧することができる。さらに、手を移動させるだけで、所望の断層像付近の連結する医療画像を順次閲覧することができる。また、医療現場においてニーズの高い、高解像度の拡大画像を簡単に表示することも可能である。このように、本実施形態によれば、従来手術中に用いられていた医療画像表示装置よりも、使い勝手を改善することが可能である。
【００５３】
なお、本実施形態に係る画像処理装置は、以下に示す構成の一例に過ぎず、以下に示す構成と同等の構成であれば、他の構成も考え得る。即ち、患者の距離画像を取得し、この距離画像から、患者以外の人の手の状態を特定し、患者の複数枚の医療画像から、該特定した状態と関連付けられている医療画像を取得し、該取得した医療画像を表示部に表示する。
【００５４】
なお、ＣＴやＭＲＩの断層像を用いて再構成される３次元医療画像を用い、複数の方向と複数の断層像を対応付けしても構わない。その際、手の回転も認識することができれば、この３次元医療画像を観察する視点の位置を手の回転に応じて移動させたり、この３次元医療画像を手の回転に応じて回転させたりしても良い。
【００５５】
なお、手術は複数人で行う場合が多いので、複数人がジェスチャする場合も十分に考えられる。例えば、複数人が異なるジェスチャを同時に行った場合の優先度は大きな課題である。この課題に対しては、複数色の手術用ゴム手袋を用意し、色に優先度を設定することで解決可能である。例えば、青色を優先度１、白色を優先度２と設定されている時に、青色のゴム手袋と白色のゴム手袋で行ったジェスチャ操作が同時に検出された場合、青色で行ったジェスチャを優先して処理する。しかし、その限りではない。色の付いた手術用ゴム手袋を使わなくても、検出される手１０４の位置や方向から、執刀医と助手を区別することでジェスチャの優先度を決定できる。また、距離センサ１０２との距離が近い方のジェスチャを優先するようにしても構わない。
【００５６】
＜変形例１＞
第１の実施形態では、それぞれの断層像が患者１０５ｃのどの位置に対応するのかの対応付には、患者１０５ｃを規定の位置姿勢で手術台１０６に載置することを前提としていた。しかし、この前提は患者１０５ｃに対して多くの制約を与えることになる。そこで本変形例では、より柔軟に対応付けを実施すべく、患者１０５ｃの断層像群と、患者１０５ｃの距離画像と、から上記の対応付けを行う。
【００５７】
ここで、一般に、ＣＴやＭＲＩ等の断層像群は、ようは、患者１０５ｃのボリュームデータであり、このボリュームデータは、患者１０５ｃの体表面形状（３次元形状）を表している。一方、患者１０５ｃの距離画像中の画素の画素値を用いれば、患者１０５ｃの体表面上において該画素に写っている箇所の３次元位置を得ることができるので、各画素に対応する３次元位置から、患者１０５ｃの体表面形状（３次元形状）を得ることができる。
【００５８】
そこで、距離画像から得た患者１０５ｃの３次元形状と、ボリュームデータが表す３次元形状と、の位置合わせ（マッチング）を行えば、ボリュームデータ上の部分Ａが距離画像上のどこに対応するのかが分かる。例えば、ボリュームデータ上の部分Ａが距離画像内の部分Ｂに対応する場合、部分Ｂに写っている対象の３次元位置は該部分Ｂの画素値から上記の如く分かるので、結果として、部分Ａの上記３次元座標系における３次元位置が分かる。
【００５９】
もちろん、マッチングの方法はこれに限るものではなく、距離画像中の患者１０５ｃの領域の形状（輪郭）と、ボリュームデータの２次元形状と、をマッチングするようにしても良い。
【００６０】
本変形例では、患者１０５ｃを手術台１０６上に載置すると、距離センサ１０２により患者１０５ｃの距離画像を撮影し、これを距離画像取得部３０３が取得する。そして不図示の患者検出部は、距離画像から患者の３次元形状を特定し、不図示の位置合わせ部は、患者検出部が求めた患者１０５ｃの３次元形状と、ストレージ１０３に格納されているボリュームデータが表す患者１０５ｃの３次元形状との位置合わせを行う。この位置合わせにより位置合わせ部は、図１０に例示するテーブルを作成する。
【００６１】
図１０（Ａ）のテーブルにおいて、欄７００ａには、ボリュームデータを構成する各ｙｚ断層像の識別情報（ファイル名など）が登録されている。欄７００ｂには、各ｙｚ断層像のｘ軸方向の位置（ｘ座標値）が登録されている。欄７００ｃには、上記位置あわせにより該ｘ座標値に対応付けられたボリュームデータ上の位置の、上記３次元座標系におけるｘ座標値が登録されている。このテーブルによれば、例えば、「ｙｚ１」なるｙｚ断層像のｘ軸方向における位置はｘ１であり、このｘ１に対応するボリュームデータ上の位置の上記３次元座標系におけるｘ座標値はｐｏｓ＿ｘ１であることが分かる。
【００６２】
図１０（Ｂ）のテーブルにおいて、欄７０１ａには、ボリュームデータを構成する各ｚｘ断層像の識別情報（ファイル名など）が登録されている。欄７０１ｂには、各ｚｘ断層像のｙ軸方向の位置（ｙ座標値）が登録されている。欄７０１ｃには、上記位置あわせにより該ｙ座標値に対応付けられたボリュームデータ上の位置の、上記３次元座標系におけるｙ座標値が登録されている。このテーブルによれば、例えば、「ｚｘ１」なるｚｘ断層像のｙ軸方向における位置はｙ１であり、このｙ１に対応するボリュームデータ上の位置の上記３次元座標系におけるｘ座標値はｐｏｓ＿ｙ１であることが分かる。
【００６３】
図１０（Ｃ）のテーブルにおいて、欄７０２ａには、ボリュームデータを構成する各ｘｙ断層像の識別情報（ファイル名など）が登録されている。欄７０２ｂには、各ｘｙ断層像のｚ軸方向の位置（ｚ座標値）が登録されている。欄７０２ｃには、上記位置あわせにより該ｚ座標値に対応付けられたボリュームデータ上の位置の、上記３次元座標系におけるｚ座標値に、後述するバイアスを加えたｚ座標値が登録されている。このテーブルによれば例えば、「ｘｙ１」なるｘｙ断層像のｚ軸方向における位置はｚ１で、ｚ１に対応するボリュームデータ上の位置の上記３次元座標系におけるｚ座標値にバイアスを加えたものはｐｏｓ＿ｚ１＋ｏｆｆｓｅｔ（ｘ，ｙ）であることが分かる。
【００６４】
ｏｆｆｓｅｔ（ｘ，ｙ）は、例えば、次のようにして求める。上記の位置合わせにより、撮影位置（ｘ、ｙ）における各ｘｙ断層像のｚ軸方向の位置に対応する、ボリュームデータ上の位置の、上記３次元座標系におけるｚ座標値は分かる。そこで、撮影位置（ｘ、ｙ）における各ｘｙ断層像のｚ軸方向の位置に対応する、ボリュームデータ上の位置の上記３次元座標系におけるｚ座標値のうち最小となるｚ座標値が、最大となるｚ座標値に適当な定数を加えたｚ座標となるようにバイアスを求める。
【００６５】
このようなテーブルを作成しておけば、手の３次元位置に対応する断層像をこのテーブルから特定することができる。例えば、ステップＳ２０１で認識した手のポーズが図８（ａ）に示したポーズとして認識され、且つステップＳ２０２で求めた手のｘ座標がｐｏｓ＿ｘ１であるとする。このとき、図１０（Ａ）のテーブルを参照し、ｐｏｓ＿ｘ１に対応するｙｚ１なる断層像を表示対象として特定する。
【００６６】
＜変形例２＞
図３（Ａ）に示した画像処理装置１００（若しくは変形例１で説明した画像処理装置１００）内の各部は何れもハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）で構成しても良い。その場合、画像処理装置１００には、図２（Ａ）に示す構成を適用することができる。
【００６７】
ＣＰＵ２００は、ＲＡＭ２０１やＲＯＭ２０２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして上述した各処理を実行する。
【００６８】
ＲＡＭ２０１は、ＲＯＭ２０２からロードされたコンピュータプログラムやデータ、ストレージＩ／Ｆ（インターフェース）２０６を介してストレージ１０３からロードしたコンピュータプログラムやデータを一時的に記憶するためのエリアを有する。また、ＲＡＭ２０１は、ＣＰＵ２００が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ２０１は、各種のエリアを適宜提供することができる。
【００６９】
ＲＯＭ２０２には、ブートプログラムや画像処理装置１００の設定データなどが格納されている。
【００７０】
ストレージＩ／Ｆ２０６には、ストレージ１０３が接続されている。ストレージ１０３には、ＯＳ（オペレーティングシステム）や、上記の如く患者ごとの医療画像が保存されている。また、ストレージ１０３には、上記の説明において既知の情報として説明したものも保存されている。また、ストレージ１０３には、画像処理装置１００内の各部の機能をＣＰＵ２００に実行させるためのコンピュータプログラムやデータも保存されている。ストレージ１０３に保存されているコンピュータプログラムやデータは、ＣＰＵ２００による制御に従って適宜ＲＡＭ２０１にロードされ、ＣＰＵ２００による処理対処となる。
【００７１】
入力Ｉ／Ｆ２０５には距離センサ１０２が接続され、距離センサ１０２により撮像された距離画像はこの入力Ｉ／Ｆ２０５を介してＲＡＭ２０１やストレージ１０３に格納される。
【００７２】
ディスプレイＩ／Ｆ２０４にはディスプレイ１０１が接続され、断層像などの画像情報や文字情報は、このディスプレイＩ／Ｆ２０４を介してディスプレイ１０１に送出される。
【００７３】
ＣＰＵ２００、ＲＡＭ２０１、ＲＯＭ２０２、ストレージＩ／Ｆ２０６、入力Ｉ／Ｆ２０５、ディスプレイＩ／Ｆ２０４、のそれぞれは、バス２０３に接続されている。なお、図２（Ａ）に示した構成には様々な変形例が考えられ、例えば、上記の閾値を設定したり、上記の様々な対応付けを指示するためにユーザが操作するキーボードやマウスなどの入力機器を画像処理装置１００に接続するようにしても良い。
【００７４】
［第２の実施形態］
第１の実施形態では、執刀医１０５ａのジェスチャ操作（手の状態）を検出することで、対応する断層像の表示を行った。しかし、第１の実施形態の機能だけでは、ジェスチャの認識範囲ならびに手がシステムに正常に認識されているかどうかは、執刀医１０５ａには分からない。このような不明瞭な状態は操作性を低下させてしまう可能性が高い。また、第１の実施形態の別の課題は、表示する情報量が過多となってしまう場合があることである。断層像が含む情報を全て表示することはもちろん必要であるが、ある部分を集中して確認したい場合に断層像が含む情報を全てを表示してしまうと、情報量が多くなるため手術患部に対する認知性、操作性が低下してしまう。つまり、手術患部以外は表示しない方が好ましい状況は十分に考えられる。例えば、従来の医療画像ビューアは、単に医療画像を表示するだけでなく、骨、血管、筋肉を選択的に表示して、適切な情報にフィルタリングする機能を有しているものもある。
【００７５】
そこで本実施形態では、第１の実施形態にさらにプロジェクタを追加し、ジェスチャの認識範囲を投影する。また、手がシステムに正常に認識されているのかどうかも、このプロジェクタを使って適宜投影する。これにより、執刀医１０５ａは、プロジェクタで投影された情報を閲覧することで、ジェスチャの認識範囲と手がシステムに正常に認識されているのかを把握することができる。
【００７６】
また本実施形態ではさらに、ハイブリット手術室で使われるＸ線撮影装置（例えば、Ｃアーム）をジェスチャで操作するために、画像処理装置に外部の医療機器への出力Ｉ／Ｆを追加する。これにより、手の状態に応じた断層像を閲覧することができるだけでなく、手術中にＸ線撮影が必要となった患部をジェスチャ操作で指示し、かつ撮影範囲をプロジェクションでフィードバックするといったシステムが構築可能となる。
【００７７】
本実施形態に係る画像処理装置３５０の機能構成例について、図３（Ｂ）のブロック図を用いて説明する。本実施形態では、操作検出部３０６及び表示制御部３０４の動作が、第１の実施形態とは異なる。
【００７８】
本実施形態では上記のステップＳ２０１において表示制御部３０４は、手の３次元位置を取得すると、手の位置がセンシング範囲内にあり且つ該位置が認識されていることを示す情報をプロジェクタ１０７で投影する。
【００７９】
例えば、ジェスチャ操作を行う手の３次元位置を距離センサ１０２から取得し、その位置にマーカが表示されるように、プロジェクタからマーカを投影する。その結果、ジェスチャ操作を行う手の表面上にマーカが重畳表示される。手の表面に投影されたマーカを確認することで、執刀医１０５ａは、ジェスチャ操作を行う手がシステムに正しく認識されていることを確認できる。このマーカは、執刀医１０５ａの手の動きに追従して、プロジェクタ１０７から逐次投影される。
【００８０】
次に、手術患部の情報を用いて、表示する断層像をフィルタリング表示する場合について説明する。ここでは説明上、手術患部を胃とするが、他の部位であっても良いことはいうまでもない。このフィルタリング表示は、表示制御部３０４によって行われる。
【００８１】
本実施形態では、上記３次元座標系に図９（Ａ）に示す如く、手術患部としての胃６００を囲む領域６０１と、この領域の周辺領域６０２〜６０５を設定する。この領域６０１は、手術患部が胃であることから算出した範囲であり、手術患部の胃だけでなく、胃に隣り合う臓器や部位が５０％以上含まれるように領域を決定する。この設定したそれぞれの領域は明示的にプロジェクタ１０７を用いて、手術台や患者の体上に投影表示しても良い。
【００８２】
本実施形態では、領域６０１内の断層像のみを表示対象とし、且つ第１の実施形態で説明した手の状態検出はこの領域６０１内のみで行うものとする。すなわち、手の３次元位置が領域６０１内であれば第１の実施形態で説明したように手の状態に応じた断層像の表示を行い、手の３次元位置が領域６０１外であれば第１の実施形態で説明したような手の状態に応じた断層像の表示は行わない。
【００８３】
また、周辺領域６０２〜６０４のそれぞれは、表示する断層像のフィルタリングするためのジェスチャを検出可能な領域である。例えば、周辺領域６０２内で図８（ａ）のポーズと図８（ｂ）のポーズを繰り返すジェスチャを行ったことを検知すると、表示中の断層像を血管表示（血管のみの表示）する。もちろん、他のジェスチャをフィルタリング表示の切換えジェスチャとして利用しても構わない。
【００８４】
以下では説明上、周辺領域６０２はジェスチャに応じて血管表示（血管のみの表示）を行う領域、周辺領域６０３はジェスチャに応じて筋肉表示（筋肉のみの表示）を行う領域、周辺領域６０４はジェスチャに応じて骨表示（骨のみの表示）を行う領域とする。また、周辺領域６０５をフィルタリングなしへの切換え領域（標準表示）とする。しかし、この限りではない、例えば、周辺領域６０５を、血管表示、筋肉表示、骨表示の３画面同時表示への切換え領域としても構わない。また、各領域が何のフィルタリング表示に対応しているのかを分かりやすくするために、各領域がどのような表示を行うための領域であるのかを示す文字情報などをプロジェクタ１０７で投影表示しても良い。もちろん、この目的のために、領域を色分けして投影しても良い。
【００８５】
次に、Ｘ線撮影範囲をジェスチャでダイレクトに指定する場合を示す。ハイブリット手術室で行われるステントグラフト内挿術では、手術中に新たなＸ線撮影画像が必要になる場合があるが、その際、ジェスチャ操作で撮影範囲を患者人体上でダイレクトに指定して撮影できれば、利便性を高め且つ手術時間の短縮を図ることができる。
【００８６】
Ｘ線撮影範囲をジェスチャでダイレクトに指定するために画像処理装置３５０が行う処理について、同処理のフローチャートを示す図７（Ａ）を用いて説明する。なお、図７（Ａ）に示した各処理ステップのうち、図５に示した処理ステップと同じものについては同じステップ番号を付しており、この処理ステップに係る説明は省略する。
【００８７】
ステップＳ１００における処理の詳細を図７（Ｂ）に示す。なお、図７（Ｂ）に示した各処理ステップのうち、図６に示した処理ステップと同じものについては同じステップ番号を付しており、この処理ステップに係る説明は省略する。
【００８８】
ステップＳ２５０では、表示制御部３０４は、ステップＳ２０４’で認識した手のポーズ及び求めた手の３次元位置、に予め対応付けられている撮影断面（ｘｙ断面、ｙｚ断面、ｘｚ断面の何れか）を特定する。そして更にステップＳ２５０では、表示制御部３０４は、この特定した撮影断面を示す情報と、手の３次元位置と、を外部の医療機器１０８に対して送出する。この医療機器１０８が、例えばＸ線撮像装置である場合には、該Ｘ線撮像装置は、この撮像断面のうち手の３次元位置で特定される断面を撮像範囲として決定する。このとき、Ｘ線撮像装置が取り扱う座標系（例えば撮影範囲の規定など）と上記３次元座標系との間の位置姿勢関係は既知であるものとする。即ち、一方の座標系における座標値に対応する他方の座標系における座標値は算出可能であるとする。もちろん、それぞれの座標系を一致させておいても良い。また、撮影範囲の決定は表示制御部３０４が行っても良く、その場合、表示制御部３０４は、決定した撮影範囲を医療機器１０８に通知することになる。
【００８９】
ステップＳ２５１では、表示制御部３０４は、ステップＳ２０１で認識した手のポーズ及びステップＳ２０２で求めた手の３次元位置、に予め対応付けられている撮影断面（ｘｙ断面、ｙｚ断面、ｘｚ断面の何れか）を特定する。そして更にステップＳ２５１では、表示制御部３０４は、この特定した撮影断面を示す情報と、手のポーズが変化していない間の手の移動ベクトルと、手の３次元位置と、を外部の医療機器１０８に対して送出する。この医療機器１０８が、例えばＸ線撮像装置である場合には、該Ｘ線撮像装置は、この撮像断面のうち手の３次元位置で特定される断面を特定し、この特定した断面において手の移動ベクトルが示す範囲を撮像範囲として決定する。
【００９０】
もちろん、撮影範囲を指定するためのジェスチャについては上記の方法に限るものではない。例えば、撮影範囲の指定開始ジェスチャと指定終了ジェスチャとを検知するまでの間の手の移動軌跡を撮影範囲としても良い。
【００９１】
いずれにせよ、Ｘ線撮像装置は、このようにして撮影範囲を取得することができるので、この撮影範囲に対するＸ線撮影を行う。これにより、執刀医１０５ａ（助手等他の者でも良いが）は、自身の手によるジェスチャで、Ｘ線撮像装置に対して撮影範囲を指定することができる。
【００９２】
次に、ステップＳ１０１では、表示制御部３０４は、医療機器１０８が決定した撮影範囲を取得し、プロジェクタ１０７で患者の身体表面上に該撮影範囲を示す情報を重ねて表示する。
【００９３】
例えばＸ線撮像装置が撮影範囲７０２を決定した場合、図９（Ｂ）の下側に示す如く、撮影範囲７０２を示す情報（図では点線）を、患者１０５ｃに重ねて表示する。Ｘ線撮像装置は、この撮影範囲７０２内のｘｙ断層像を撮影する。
【００９４】
例えばＸ線撮像装置が撮影範囲７００を決定した場合、図９（Ｂ）の上側に示す如く、撮影範囲７００を示す情報（図では点線）を、患者１０５ｃに重ねて表示する。Ｘ線撮像装置は、この撮影範囲７００内のｙｚ断層像を撮影する。
【００９５】
例えばＸ線撮像装置が撮影範囲７０１を決定した場合、図９（Ｂ）の上側に示す如く、撮影範囲７０１を示す情報（図では点線）を、患者１０５ｃに重ねて表示する。Ｘ線撮像装置は、この撮影範囲７０１内のｘｚ断層像を撮影する。
【００９６】
なお、撮影範囲７００〜７０１はそれぞれ区別可能に投影しても良く、それぞれ異なる太さで投影しても良いし、それぞれ異なる形で投影しても良いし、それぞれ異なる色で投影しても良い。
【００９７】
ステップＳ１０２では、画像処理装置３５０の不図示の制御部は、処理を終了させる旨の指示を検知したか否かを判断する。この判断の結果、処理を終了させる旨の指示を検知した場合には、本処理を終了し、検知していない場合には、処理はステップＳ１６に戻る。
【００９８】
なお、不図示の入力インターフェースをユーザが操作することで入力される指示や、対応するジェスチャ等に応じて、図５のフローチャートに従った処理、図７（Ａ）のフローチャートに従った処理、の何れか一方を選択して実行するようにしても良い。この場合、画像処理装置は、所望の断層像（所望のフィルタリング表示）を表示するモードと、撮影範囲を指定するモードと、を有し、入力インターフェースに対する操作やジェスチャにより一方のモードを選択し、選択したモードに対応する処理を実行する。
【００９９】
このように、ジェスチャ認識範囲や手がシステムに正常に認識されているかどうかを、適宜プロジェクタを使ってフィードバック表示することによって、執刀医が操作を確認しながら作業を行えるため、より使い勝手を向上できる。
【０１００】
また同様に、簡単なジェスチャ操作によって医療画像のフィルタリング表示を行うことによって、必要な患部のみを集中的に表示することが可能なり、手術患部の認知性、医療画像の操作性を向上することができる。さらに、Ｘ線撮像装置の撮影範囲もジェスチャで指定可能にすることで、ハイブリット手術室における手術をより効率的にすることも可能である。なお、第１の実施形態の変形例１として説明した構成は、この第２の実施形態に組み込むこともできるので、第１の実施形態の変形例１はそのまま若しくは適宜変形させて第２の実施形態と組み合わせても良い。
【０１０１】
＜変形例＞
図３（Ｂ）に示した画像処理装置３５０内の各部は何れもハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）で構成しても良い。その場合、画像処理装置３５０には、図２（Ｂ）に示す構成を適用することができる。なお、図２（Ｂ）において、図２（Ａ）で示した機能部と同じ機能部には同じ参照番号を付しており、その説明は省略する。
【０１０２】
出力Ｉ／Ｆ２０７には医療機器１０８が接続されており、画像処理装置３５０は医療機器１０８とはこの出力Ｉ／Ｆ２０７を介してデータ通信を行うことができる。出力Ｉ／Ｆ２０７はバス２０３に接続されている。
【０１０３】
ディスプレイＩ／Ｆ２０４には、ディスプレイ１０１に加えてプロジェクタ１０７が接続されており、プロジェクタ１０７への出力はこのディスプレイＩ／Ｆ２０４を介して行われる。
【０１０４】
なお、上述した実施形態では、手術室において、患者の医療画像をジェスチャ操作によって閲覧する例を説明したが、本発明の実施の形態はこれに限らない。３次元物体と、操作者の手との相対位置に対応した断層像を表示するという構成によれば、生物に限らない構造物に対しても、直感的な操作によってその断層像を閲覧することができる。従って、例えば電子機器類や美術品等の内部構造を確認するような場面でも利用することができる。
【０１０５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014000332.tif 000003
【図２】
2014000332.tif 000004
【図３】
2014000332.tif 000005
【図５】
2014000332.tif 000006
【図６】
2014000332.tif 000007
【図７】
2014000332.tif 000008
【図８】
2014000332.tif 000009
【図９】
2014000332.tif 000010
【図１０】
2014000332.tif 000011
【図４】
2014000332.tif 000012