(57)【特許請求の範囲】
【請求項１】
外部装置との接触の状態に応じた座標情報を取得する座標取得手段と、
自機の傾き情報を取得する傾き取得手段と、
前記外部装置の傾き情報を取得する手段と、
前記取得された前記座標情報と、前記自機の傾き情報と、前記外部装置の傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段と
を備える体内画像表示装置。
【請求項２】
前記表示手段は、予め選択された属性にさらに応じて前記三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する、請求項１に記載の体内画像表示装置。
【請求項３】
前記座標取得手段は、前記座標情報を前記外部装置から取得する、請求項１又は２に記載の体内画像表示装置。
【請求項４】
前記ポイントクラウドの三次元体内画像データは、動画データである、請求項１から３のいずれか一項に記載の体内画像表示装置。
【請求項５】
制御部を備えた情報処理装置により実施される体内画像表示方法であって、
前記制御部が、外部装置との接触の状態に応じた座標情報を取得するステップと、
前記制御部が、前記情報処理装置の傾き情報を取得するステップと、
前記制御部が、前記外部装置の傾き情報を取得するステップと、
前記制御部が、前記取得された前記座標情報と、前記情報処理装置の傾き情報と、前記外部装置の傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示させるように制御するステップと
を備える体内画像表示方法。
【請求項６】
コンピュータを、
外部装置との接触の状態に応じた座標情報を取得する座標取得手段、
自機の傾き情報を取得する傾き取得手段、
前記外部装置の傾き情報を取得する手段、
前記取得された前記座標情報と、前記自機の傾き情報と、前記外部装置の傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体内画像表示装置、体内画像表示方法及びプログラムに関する。
【背景技術】
【０００２】
コンピュータ断層撮影（ＣＴ）および磁気共鳴撮影（ＭＲＩ）などにより撮像された体内画像を取得し、当該画像に基づいて体内を検査する技術が知られている。
【０００３】
特許文献１には、ＣＴ又はＭＲＩなどにより取得された体内（三次元空間のオブジェクト）の二次元スライス画像を記憶し、当該画像を画像表示システムで表示させる技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２１７３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、予め取得された二次元スライス画像を表示させるため、三次元オブジェクトにおける表示させる断面位置や断面の角度等の指定には制限がある。また、三次元画像における表示位置をより直観的な方法で指定可能な技術も必要とされている。
【０００６】
本発明は上記に鑑みてなされたものであり、その課題は、高い自由度で、直感的に体内の画像を表示可能な技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様における体内画像表示装置は、外部装置との接触の状態に応じた座標情報を取得する座標取得手段と、自機の傾き情報を取得する傾き取得手段と、前記取得された前記座標情報と前記傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段とを備える。
【０００８】
本発明の一態様における体内画像表示方法は、制御部を備えた情報処理装置により実施される体内画像表示方法であって、前記制御部が、外部装置との接触の状態に応じた座標情報を取得するステップと、前記制御部が、前記情報処理装置の傾き情報を取得するステップと、前記制御部が、前記取得された前記座標情報と前記傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示させるように制御するステップとを備える。
【０００９】
本発明の一態様におけるプログラムは、コンピュータを、外部装置との接触の状態に応じた座標情報を取得する座標取得手段、自機の傾き情報を取得する傾き取得手段、前記取得された前記座標情報と前記傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段、として機能させる。
【発明の効果】
【００１０】
本発明によれば、高い自由度で、直感的に体内の画像を表示可能な技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態における表示システムの外観を示す概念図である。
【図２】一実施形態における体内画像表示装置の裏面及び側面の外観を示す概念図である。
【図３】一実施形態における体内画像表示装置のハードウェア構成を示すブロック図である。
【図４】一実施形態における体内画像表示装置の機能構成を示すブロック図である。
【図５】一実施形態において体内画像表示装置に記憶されたポイントクラウドの三次元体内画像データの表示の例を示す図である。
【図６】一実施形態における体内画像表示装置による処理フローを示す図である。
【図７】一実施形態における体内画像表示装置と、三次元体内画像データとの間において設定された仮想的な位置関係を示す概念図である。
【図８】一実施形態における表示制御部による画像表示の制御の例を説明するための概念図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。ただし、発明の範囲をこれらに限定するものではない。
【００１３】
［外観及びハードウェア構成］
図１から図３を参照して、一実施形態に係る表示システム及び当該表示システムを構成する体内画像表示装置の外観及びハードウェア構成について説明する。
【００１４】
まず、図１に示すように、表示システム１は、体内画像表示装置１０及び体内画像表示装置２０を備える。また、外観上、体内画像表示装置１０はその上面の大部分を覆うような形状及びサイズで設けられた表示装置１５を備え、体内画像表示装置２０もその上面の大部分を覆うような形状及びサイズで設けられた表示装置２５を備える。
【００１５】
図２は、体内画像表示装置１０の裏面及び側面の外観を示す斜視図である。図２に示すように、体内画像表示装置１０には、それぞれが側面から裏面に渡って体内画像表示装置１０の表面から突出するように設けられた突起物群１７が設けられている。突起物群１７は、突起物１７ａから１７ｌを有する。突起物１７ａから１７ｌは、それぞれ異なる間隔で設けられている。
【００１６】
図３を参照して、体内画像表示装置１０が備える主なハードウェアの構成を説明する。体内画像表示装置１０は、情報処理装置により構成され、限定はしないが、例えば、スマートフォン又はタブレット端末により構成される。体内画像表示装置１０は、主なハードウェアの構成として、制御部１１、通信部１２、記憶部１３、操作部１４、表示部１５、センサ１６、及び突起物群１７を備える。図示しないが、体内画像表示装置１０は、一般的な情報処理装置、スマートフォン又はタブレット端末が有する他の構成を備えることができる。以下に、図３に示す各構成について説明する。
【００１７】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１ａ及びメモリ１１ｂを主に備えて構成される。制御部１１は、例えば、ＣＰＵ１１ａがメモリ１１ｂ等に格納された所定のプログラムを実行することにより、体内画像表示装置１０が有する各構成による処理を制御する。
【００１８】
通信部１２は、体内画像表示装置１０が体内画像表示装置２０などの外部装置と通信するための通信インタフェースである。記憶部１３は、ハードディスク又は半導体記憶装置等によって構成され、体内画像表示装置１０における処理の実行に必要な各種プログラム及び各種情報、並びに処理結果の情報を記憶する。
【００１９】
操作部１４は、体内画像表示装置１０に対する操作を受け付けるためのユーザインタフェースである。操作部１４は、タッチパネル、ボタンキー、及び音声入力部などの入力手段によって構成される。特に、操作部１４としてのタッチパネルは、表示部１５と一体的に設けられており、表示部１５の表面において導電体が接触した位置を検出可能であり、また、マルチタッチ認識可能に構成されている。体内画像表示装置２０が備える表示部２５及び操作部（図示せず）も表示部１５及び操作部１４と同様に構成されている。
【００２０】
表示部１５は、体内画像表示装置１０による処理結果を表示するためのユーザインタフェースである。表示部１５は、例えば、液晶パネル等により構成され、前述のように、体内画像表示装置１０の上面の大部分を覆うような形状で設けられている。
【００２１】
センサ１６は、体内画像表示装置１０の状態や位置を検知するための各種のセンサにより構成される。センサ１６は、例えば、加速度センサー、ジャイロセンサー、電子コンパス、及び気圧センサーを含む。これによりセンサ１６は、例えば、体内画像表示装置１０の傾き（仰角）及び高度を検知することができる。また、センサ１６は、センサ１６（又は投影装置１０）から周辺のオブジェクト（例えば壁）までの距離を測定するなど、任意の方法により、ＸＹＺ座標における体内画像表示装置１０の位置を検出可能なセンサを含むことも可能である。
【００２２】
突起物群１７は、導電体により構成される。前述のとおり、突起物群１７は、突起物１７ａから１７ｌを有する。突起物１７ａから１７ｌは、それぞれ異なる間隔で、体内画像表示装置１０の側面から裏面に渡って体内画像表示装置１０の表面から突出するように設けられている。
【００２３】
体内画像表示装置２０が備える構成は、体内画像表示装置１０と同様であるため、ここでは説明を省略する。
【００２４】
［機能構成］
図４を参照して、一実施形態において体内画像表示装置１０が有する機能について説明する。図４に示すように、体内画像表示装置１０は、主な機能構成として、データベース１１０、座標情報取得部１２０、傾き情報取得部１３０、及び表示制御部１４０を備える。これらの機能は、例えば、体内画像表示装置１０において、ＣＰＵ１１ａがメモリ１１ｂ等に格納された所定のプログラムを実行して体内画像表示装置１０のハードウェアの処理及び動作を制御することで、図４に示す各機能構成を実現する。以下に各機能構成について詳細に説明する。
【００２５】
データベース１１０は、体内画像表示装置１０において実行される処理に必要な情報、及び当該処理により生成された情報など、各種情報を記憶する。データベース１１０は、例えば、ポイントクラウドの三次元体内画像データを記憶している。当該ポイントクラウドの三次元体内画像データは、ＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）などで医療用の３Ｄスキャンにより撮像された画像データであり、例えば、臓器や骨の三次元画像データを含む。また、記憶されているポイントクラウドの三次元体内画像データは、静止画のデータであっても良いし、動画のデータであってもよい。
【００２６】
座標情報取得部１２０は、外部装置との接触の状態に応じた座標情報を取得する。例えば、図１に示すように体内画像表示装置１０の側面が突起物群１７を介して外部装置である体内画像表示装置２０の表示部２５に接触しているとする。このとき、体内画像表示装置２０は、自機のタッチパネルと一体的に構成された表示部２５の表面における体内画像表示装置１０の突起物群１７の接触位置の座標情報を検出して通信部を介して（例えば、無線により）体内画像表示装置１０に送信する。座標情報取得部１２０は、体内画像表示装置２０から送信された当該座標情報を、通信部１２を介して取得することができる。
【００２７】
なお、上述のとおり、突起物１７ａから１７ｌは、それぞれ異なる間隔で体内画像表示装置１０に設けられているため、体内画像表示装置２０は、予め記憶された突起物間の間隔情報に基づいて、体内画像表示装置２０に対する体内画像表示装置１０の接触面（接触側面）を検出することができる。体内画像表示装置２０は、当該検出された体内画像表示装置１０の接触面の情報を通信部を介して体内画像表示装置１０に送信することができる。
【００２８】
傾き情報取得部１３０は、センサ１６により検出された体内画像表示装置１０の傾き情報を取得する。傾き情報は、例えば、水平を基準としたときの体内画像表示装置１０の表示部１５の表面の仰角傾きの情報である。
【００２９】
表示制御部１４０は、座標情報取得部１２０により取得された座標情報と、傾き情報取得部１３０により取得された傾き情報とに応じて、データベース１１０に記憶されたポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を体内画像表示装置１０の表示部１５に表示する。すなわち、表示制御部１４０は、取得された座標情報及び傾き情報に基づいてポイントクラウドの三次元体内画像データのうち、表示対象とする画像のデータを選択し、当該選択されたデータに基づいて表示部１５に対して表示を行う。表示制御部１４０による処理のさらに具体的な例は後述する。
【００３０】
［処理フロー］
以下に、図５に示すようなポイントクラウドの三次元体内画像データ５１を体内画像表示装置１０の表示部１５に表示する処理の例を図６から図８を参照して説明する。三次元体内画像データ５１は、データベース１１０に記憶されたデータである。
【００３１】
図６は、体内画像表示装置１０による処理フローの例を示している。この処理フローに含まれる各処理ステップは、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。図６に示す各処理のステップについて以下に説明する。
【００３２】
まず、ステップＳ１１において、表示制御部１４０は、初期処理として、体内画像表示装置２０と、三次元体内画像データ５１との間の仮想的な位置関係を設定する。
【００３３】
図７は、体内画像表示装置２０と、三次元体内画像データ５１との間において設定された仮想的な位置関係の例を示している。この例において、体内画像表示装置２０及び三次元体内画像データ５１は、体内画像表示装置２０の表示部２５の上面に三次元体内画像データ５１が載せられているという位置関係に設定されている。
【００３４】
ステップＳ１２において、座標情報取得部１２０は、外部装置である体内画像表示装置２０との接触の状態に応じた座標情報を取得する。座標情報の取得方法の例の詳細は前述のとおりである。
【００３５】
ステップＳ１３において、傾き情報取得部１３０は、センサ１６により検出された体内画像表示装置１０の傾き情報を取得する。傾き情報の取得方法の例は前述のとおりである。
【００３６】
ステップＳ１４において、表示制御部１４０は、座標情報取得部１２０により取得された座標情報と、傾き情報取得部１３０により取得された傾き情報とに応じて、データベース１１０に記憶されたポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を体内画像表示装置１０の表示部１５に表示する。
【００３７】
図８を参照して、表示制御部１４０による画像表示の制御の例を説明する。図８には、図７で示した位置関係で体内画像表示装置２０及び三次元体内画像データ５１が示されている。表示制御部１４０は、仮想視点を位置８１、視野角を角度θ、ニアプレーンを位置８２、ファープレーンを位置８３として、三次元体内画像データ５１からデータを選択して取得する。すなわち、表示制御部１４０は、位置８１を仮想視点とし、角度θを視野角としたときに三次元体内画像内における視界に入る領域のうち、位置８２に位置する平面を断面とし、位置８３に位置する平面までを奥行とする画像のデータを選択して取得する。表示制御部１４０は、当該取得したデータに基づいて表示部１５に画像を表示する。画像８４は、表示制御部１４０による制御の結果、表示部１５に表示される画像の例である。
【００３８】
ここで、位置８１及び角度θは、例えば、体内画像表示装置１０の表示部１５の全体が視野内に入るように設定される。ニアプレーンの位置８２は、例えば、体内画像表示装置１０の表面（表示部１５が設けられた面）の位置に設定される。ファープレーンの位置８３は、例えば、体内画像表示装置１０の裏面の位置に設定される。なお、ニアプレーン及びファープレーンの位置は自由に設定することができる。例えば、プレイヤによる操作指示に応じて、ファープレーンの位置を体内画像表示装置１０の裏面の位置よりもニアプレーンに近い位置、又は遠い位置に設定することができる。
【００３９】
仮想視点の位置８１、視野の角度θ、ニアプレーンの位置８２、及びファープレーンの位置８３は例えば上記のように設定されることにより、体内画像表示装置２０に対する体内画像表示装置１０の接触位置及び体内画像表示装置１０の傾きの変動に応じて、表示制御部１４０によりデータベース１１０に記憶されたポイントクラウドの三次元体内画像データから選択されるデータが変化する。その結果、表示部１５に表示される画像も変化する。
【００４０】
以上のように本実施形態によれば、体内画像表示装置２０に対する体内画像表示装置１０の接触位置及び体内画像表示装置１０の傾きの変動に応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づいて画像が表示部１５に表示される。ここで、三次元オブジェクトについての予め取得された二次元スライス画像を表示する場合と比較して、ポイントクラウドの三次元体内画像データに基づく画像の表示は、表示可能な画像（例えば、三次元オブジェクトの断面画像）の自由度が高い。また、ユーザが体内画像表示装置１０の位置を動かしたり、体内画像表示装置１０の傾きを変えることにより表示される画像が変化するため、ユーザは表示させたい画像を直感的に選択して表示させることができる。すなわち、本実施形態によれば、高い自由度で、直感的に体内の画像を表示可能である。
【００４１】
［変形例］
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
【００４２】
変形例１
例えば、上記の実施形態では、表示システム１は、体内画像表示装置１０及び体内画像表示装置２０を備えたが、変形例として、表示システム１は、さらに第三の体内画像表示装置を備えてもよい。ここで、第三の体内画像表示装置は、体内画像表示装置１０の構成と同様の構成を有する。
【００４３】
このとき、第三の体内画像表示装置は、外部装置である体内画像表示装置１０の傾きの情報と、外部装置である体内画像表示装置１０との接触の状態に応じた座標情報とを取得することができる。傾きの情報及び座標情報の取得方法は、体内画像表示装置１０の構成で説明した方法と同様である。第三の体内画像表示装置は、取得した傾きの情報及び座標情報に応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示部に表示する。
【００４４】
図８を参照してさらに説明すると、上記の変形例において、体内画像表示装置１０の表示部１５上に第三の体内画像表示装置が接触している場合、第三の体内画像表示装置の体内画像表示装置１０に対する接触位置及び第三の体内画像表示装置の傾きに応じて、ポイントクラウドの三次元体内画像データから選択されるデータが変化する。その結果、第三の体内画像表示装置の表示部に表示される画像が変化する。
【００４５】
すなわち、体内画像表示装置２０に対する体内画像表示装置１０の接触位置及び体内画像表示装置１０の傾きに応じて体内画像表示装置１０の表示部１５に表示される画像が変化する。さらに、体内画像表示装置１０の表示部１５に表示された画像と、体内画像表示装置１０に対する第三の体内画像表示装置の接触位置と、第三の体内画像表示装置の傾きとに応じて第三の体内画像表示装置の表示部に表示される画像が変化する。
【００４６】
変形例２
他の変形例として、予め選択された画像データの属性に応じてポイントクラウドの三次元体内画像データからデータを選択し、当該選択されたデータに基づいて表示部１５等の表示部に画像を表示させるように制御することができる。
【００４７】
例えば、属性として画像の色を予め選択し、選択された色（又は選択された色以外の色）の画像についてのみ、表示部１５等の表示部に表示させるように制御することができる。
【００４８】
このように画像データの属性に応じて表示させる画像を選択可能にすることで、例えば、三次元体内画像のうち、骨のみ表示させる、又は臓器のみ表示させるといった表示制御が可能となる。
【００４９】
変形例３
また、上記の実施形態では、体内画像表示装置１０は、自機に記憶されたポイントクラウドの三次元体内画像データに基づいて画像を表示部１５に表示させた。変形例として、体内画像表示装置１０は、ネットワークを介して外部装置やクラウド環境など、外部から取得したポイントクラウドの三次元体内画像データに基づいて画像を表示させてもよい。
【符号の説明】
【００５０】
１  表示システム
１０、２０  体内画像表示装置
１１  制御部
１２  通信部
１３  記憶部
１４  操作部
１５  表示部
１６  センサ
１７  突起物群
【図１】
0006765662.tif 000002
【図２】
0006765662.tif 000003
【図３】
0006765662.tif 000004
【図４】
0006765662.tif 000005
【図５】
0006765662.tif 000006
【図６】
0006765662.tif 000007
【図７】
0006765662.tif 000008
【図８】
0006765662.tif 000009