(57)【要約】  ３次元画像を表示する３次元表示装置（１０）は、ユーザの注視点の位置を取得する注視点取得部（１１）と、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部（１２）と、融合領域の外側において３次元画像に含まれるオブジェクトの表示が抑制されるように、３次元画像を補正する補正部（１３）と、補正された３次元画像を表示する表示部（１４）とを備える。
2014057618.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像を表示する３次元表示装置であって、
ユーザの注視点の位置を取得する注視点取得部と、
取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、
前記融合領域の外側において前記３次元画像に含まれるオブジェクトの表示が抑制されるように、前記３次元画像を補正する補正部と、
補正された前記３次元画像を表示する表示部とを備える
３次元表示装置。
【請求項２】
前記補正部は、前記３次元画像に含まれるオブジェクトであって前記融合領域より手前側に位置するオブジェクトを削除することにより、前記３次元画像を補正する
請求項１に記載の３次元表示装置。
【請求項３】
前記補正部は、前記３次元画像に含まれるオブジェクトであって前記融合領域よりも奥側に位置するオブジェクトをぼかすことにより、前記３次元画像を補正する
請求項１または２に記載の３次元表示装置。
【請求項４】
前記３次元表示装置は、さらに、
前記３次元画像に含まれるオブジェクトであって前記注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように、前記３次元画像の視点変換を行う視点変換部を備え、
前記補正部は、視点変換が行われた前記３次元画像を補正する
請求項１〜３のいずれか１項に記載の３次元表示装置。
【請求項５】
前記視点変換は、前記注視点の位置を中心とする前記３次元画像の回転処理である
請求項４に記載の３次元表示装置。
【請求項６】
前記３次元表示装置は、さらに、
複数の注視点の奥行き方向の位置と、前記複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を記憶している融合領域情報記憶部を備え、
前記融合領域決定部は、前記融合領域情報を参照することにより、取得された前記注視点の位置に対応する前記融合領域を決定する
請求項１〜５のいずれか１項に記載の３次元表示装置。
【請求項７】
前記３次元画像は、複数の血管を表す複数の血管オブジェクトを含み、
前記３次元表示装置は、さらに、
前記注視点に位置する血管オブジェクトと、前記３次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を取得する連関情報取得部と、
前記融合領域と前記連関情報とに基づいて、前記３次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する血管重要度計算部とを備え、
前記補正部は、前記重要度が低い血管オブジェクトほど表示が抑制されるように、前記３次元画像を補正する
請求項１〜６のいずれか１項に記載の３次元表示装置。
【請求項８】
前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトが前記融合領域に含まれる場合に当該血管オブジェクトが前記融合領域に含まれない場合よりも重要度が高くなるように、前記重要度を算出する
請求項７に記載の３次元表示装置。
【請求項９】
前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように、前記重要度を算出する
請求項７または８に記載の３次元表示装置。
【請求項１０】
前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように、前記重要度を算出する
請求項７〜９のいずれか１項に記載の３次元表示装置。
【請求項１１】
前記３次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも１つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、
前記３次元表示装置は、さらに、
前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部を備え、
前記補正部は、前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記３次元画像を補正する
請求項１に記載の３次元表示装置。
【請求項１２】
３次元画像を表示する３次元表示方法であって、
ユーザの注視点の位置を取得する注視点取得ステップと、
取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定ステップと、
前記融合領域の外側において前記３次元画像に含まれるオブジェクトの表示が抑制されるように、前記３次元画像を補正する補正ステップと、
補正された前記３次元画像を表示する表示ステップとを含む
３次元表示方法。
【請求項１３】
請求項１２に記載の３次元表示方法をコンピュータに実行させるためのプログラム。
【請求項１４】
３次元画像を処理する３次元画像処理装置であって、
前記３次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも１つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、
前記３次元処理装置は、
ユーザの注視点の位置を取得する注視点取得部と、
取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、
前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部と、
前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記３次元画像を補正する補正部とを備える
３次元画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元医用画像を表示または処理する技術に関する。
【背景技術】
【０００２】
３次元画像（例えば、左眼用画像および右眼用画像）に対して視点変換（例えば、回転やズーム）を行った場合、３次元画像に含まれる複数のオブジェクト間あるいはオブジェクトの部分間における奥行き方向の位置関係が変化する。その結果、例えば、奥側に位置するオブジェクトが手前側に位置するオブジェクトによって隠蔽されてしまい、３次元画像の視認性が低下する場合がある。【０００３】
これに対して、特許文献１は、奥行きに応じて３次元画像に含まれるオブジェクトの透明度を調節する方法を開示している。これにより、手前側に位置するオブジェクトを透かして奥側に位置するオブジェクトが表示されるようにすることができる。【０００４】
また、特許文献２は、３次元画像をズームする際に、焦点距離に応じて左眼用画像と右眼用画像と間の視差量を調整して立体感を維持する方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−８４４０９号公報
【特許文献２】特開２０１１−２４８６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の方法では、ユーザあるいは３次元画像の状態によっては３次元画像の視認性が低下してしまう場合がある。【０００７】
そこで、本発明は、ユーザあるいは３次元画像の状態に適応して３次元画像の視認性を向上させることができる３次元表示装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る３次元表示装置は、３次元画像を表示する３次元表示装置であって、ユーザの注視点の位置を取得する注視点取得部と、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、前記融合領域の外側において前記３次元画像に含まれるオブジェクトの表示が抑制されるように、前記３次元画像を補正する補正部と、補正された前記３次元画像を表示する表示部とを備える。【０００９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明の一態様に係る３次元表示装置によれば、ユーザあるいは３次元画像の状態に適応して３次元画像の視認性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、３次元表示された血管画像の一例を示す模式図である。
【図２】図２は、実施の形態１における３次元表示装置の機能構成を示すブロック図である。
【図３】図３は、実施の形態１における３次元表示装置の処理動作を示すフローチャートである。
【図４】図４は、実施の形態１における３次元表示装置の処理動作を説明するための模式図である。
【図５】図５は、実施の形態１における３次元表示装置によって表示される３次元画像の一例を示す図である。
【図６】図６は、実施の形態２における３次元表示装置の機能構成を示すブロック図である。
【図７】図７は、実施の形態２における画像情報の一例を示す図である。
【図８Ａ】図８Ａは、実施の形態２におけるセンサの一例を示す模式図である。
【図８Ｂ】図８Ｂは、実施の形態２におけるセンサの他の一例を示す模式図である。
【図９】図９は、実施の形態２におけるセンサの他の一例を示す模式図である。
【図１０】図１０は、実施の形態２におけるセンサの他の一例を示す模式図である。
【図１１】図１１は、実施の形態２における座標系の一例を示す模式図である。
【図１２】図１２は、実施の形態２における融合領域情報の一例を示す図である。
【図１３】図１３は、実施の形態２における３次元表示装置の処理動作を示すフローチャートである。
【図１４】図１４は、実施の形態２における視点変換部の処理動作を示すフローチャートである。
【図１５】図１５は、実施の形態２における座標変換の一例を示す模式図である。
【図１６】図１６は、実施の形態２における補正処理決定部の処理動作を示すフローチャートである。
【図１７】図１７は、実施の形態２における画像処理部の処理動作を示すフローチャートである。
【図１８】図１８は、実施の形態２における３次元表示装置によって表示される３次元画像の一例を示す図である。
【図１９】図１９は、実施の形態２の変形例における視点変換を説明するための模式図である。
【図２０】図２０は、実施の形態３における３次元表示装置の機能構成を示すブロック図である。
【図２１】図２１は、実施の形態３における画像情報の一例を示す図である。
【図２２】図２２は、実施の形態３における分岐番号の決定方法の一例を示す模式図である。
【図２３】図２３は、実施の形態３における３次元表示装置の処理動作を示すフローチャートである。
【図２４】図２４は、実施の形態３における血管連関情報抽出部の詳細な機能構成を示すブロック図である。
【図２５】図２５は、実施の形態３における血管重要度計算部の詳細な機能構成を示すブロック図である。
【図２６】図２６は、実施の形態３における血管重要度計算部の処理動作を示すフローチャートである。
【図２７Ａ】図２７Ａは、実施の形態３における点数変換テーブルの一例を示す図である。
【図２７Ｂ】図２７Ｂは、実施の形態３における点数変換テーブルの一例を示す図である。
【図２７Ｃ】図２７Ｃは、実施の形態３における点数変換テーブルの一例を示す図である。
【図２８】図２８は、実施の形態３における領域分割部の詳細な機能構成を示すブロック図である。
【図２９】図２９は、実施の形態３における分割テーブルの一例を示す図である。
【図３０】図３０は、実施の形態４における３次元表示装置の機能構成を示すブロック図である。
【図３１】図３１は、実施の形態４における血管重要度計算部の詳細な機能構成を示すブロック図である。
【図３２】図３２は、実施の形態４における器具情報の一例を示す図である。
【図３３】図３３は、実施の形態４における画像情報の一例を示す図である。
【図３４Ａ】図３４Ａは、実施の形態４における点数変換テーブルの一例を示す図である。
【図３４Ｂ】図３４Ｂは、実施の形態４における点数変換テーブルの一例を示す図である。
【図３４Ｃ】図３４Ｃは、実施の形態４における点数変換テーブルの一例を示す図である。
【図３４Ｄ】図３４Ｄは、実施の形態４における点数変換テーブルの一例を示す図である。
【図３４Ｅ】図３４Ｅは、実施の形態４における点数変換テーブルの一例を示す図である。
【図３５】図３５は、実施の形態５における３次元表示装置の機能構成を示すブロック図である。
【図３６】図３６は、実施の形態５における３次元表示装置の処理動作を示すフローチャートである。
【図３７】図３７は、実施の形態６における３次元画像処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
（本発明の基礎となった知見）
表示されている３次元画像が変化したとき、あるいは、ユーザの注視点の位置が変化したときに、ユーザが注視しているオブジェクトおよびオブジェクトの部分（以下、これらを「注視部分」と呼ぶ）よりも手前側に飛び出して表示されるオブジェクトおよびオブジェクトの部分（以下、これらを「手前側部分」と呼ぶ）と奥側に引っ込んで表示されるオブジェクトおよびオブジェクトの部分（以下、これらを「奥側部分」と呼ぶ）との関係が変化する。このとき、手前側部分および奥側部分の位置あるいは模様などによって注視部分の視認性が低下する。例えば、手前側部分が注視部分と奥行き方向に重なる場合、注視部分は手前側部分によって隠蔽されてしまう。
【００１３】
これに対して、特許文献１の方法によれば、手前側部分の透明度を調整することにより注視部分の視認性を向上させることができる。しかしながら、特許文献１の方法では、ユーザが３次元画像中のオブジェクトあるいはオブジェクトの部分に対して透明度をマニュアルで調整しなければならない。つまり、特許文献１の方法では、ユーザあるいは３次元画像の状態が変化するたびに、ユーザがオブジェクトあるいはオブジェクトの部分の透明度をマニュアルで調整しなければならない。
【００１４】
また、特許文献２の方法では、焦点距離に応じて自動的に視差量を調節することができるが、注視部分の視認性を向上させることはできない。
【００１５】
ここで、３次元画像中の手前側部分によって注視部分が隠蔽される状態の一例を、血管の３次元画像（以下、単に「血管画像」と呼ぶ）を用いて詳細に説明する。
【００１６】
図１は、３次元表示された血管画像の一例を示す。
【００１７】
図１の（ａ）では、血管が表示画面に沿って表示されている。ここで、図１の（ａ）で表示されている血管画像を回転させた場合、例えば、図１の（ｂ）のように血管画像が表示される。ここでは、画面中心を通る鉛直方向の軸を回転軸として血管画像が回転されている。
【００１８】
図１の（ａ）に表示された血管は、画面の左側と右側とに２つの湾曲部を有する。ユーザは、左側の湾曲部を別の角度から見るために血管画像を回転させるための操作を行う。図１の例では、画面の左側のオブジェクトが画面より手前に移動し、画面の右側のオブジェクトが画面より奥へ移動するように回転させている。
【００１９】
このとき、図１の（ｂ）のように、ユーザが見ようとする湾曲部（注視部分）は画面より手前側の３次元位置に表示される。しかしながら、図１の（ａ）において注視部分よりさらに左側に表示されていた部分が、注視部分よりさらに手前に表示される。その結果、注視部分よりも手前側に表示される部分（手前側部分）が注視部分を隠してしまう。
【００２０】
さらに、血管が奥行方向に沿って配置されることで、手前側の端部と奥側の端部との間で奥行きに大きな差ができる。これにより、ユーザは、注視部分の近傍以外においてオブジェクトが二重に見えてしまう。
【００２１】
３次元画像の奥行きは左眼用画像と右眼用画像との間の視差によって表現される。そのため、奥行きが大きく異なる部分を有する３次元画像には、視差が大きく異なる領域が存在する。
【００２２】
３次元画像を見る際、人は、視差に合わせて左右の眼の角度（輻輳角）を調整する。その結果、人は、左眼および右眼から得られた２つの画像を１つの画像として重ね合わせることができ、オブジェクトを立体視することが可能となる。このように両眼から得られた２つの画像を１つの画像として重ね合わせることを、両眼融合（ｂｉｎｏｃｕｌａｒ  ｆｕｓｉｏｎ）あるいは単に融合（ｆｕｓｉｏｎ）という。
【００２３】
例えば、３次元画像が、視差が互いに大きく異なる２つのオブジェクトを有する場合、２つのオブジェクトの一方の視差に合わせて輻輳角が調整されれば、その輻輳角は、２つのオブジェクトの他方の視差に適合しない。その結果、輻輳角が視差に適合しないオブジェクトは、二重像（ｄｉｐｌｏｐｉａ）となってしまう。つまり、融合領域の外側では二重像が発生してしまう。
【００２４】
図１の（ａ）では、注視部分とその他の部分と間で奥行きの変化が小さい。したがって、３次元画像内における視差の差異も小さい。そのため、注視部分の視差に適合するように輻輳角を調整することで、二重像は発生しない。
【００２５】
一方、図１の（ｂ）では、血管が表示される奥行き方向の３次元位置は、血管の部分によって大きく異なる。したがって、例えば手前側部分の視差は、注視部分の視差よりも大きい。ここで、注視部分の視差にあわせて輻輳角が調整された場合、その輻輳角で融合が可能な視差（すなわち奥行き）は、注視部分の視差（すなわち奥行）に限定されるのではなく、ある程度の幅を持っていることが知られている。
【００２６】
この両眼融合が可能な範囲を融合領域（ｆｕｓｉｏｎａｌ  ａｒｅａ  ／  ｆｕｓｉｏｎａｌ  ｌｉｍｉｔｓ  ｏｆ  ｄｅｐｔｈ  ｐｅｒｃｅｐｔｉｏｎ）という。融合領域は、視野の中心部では視角で数分程度であり、周縁部よりも非常に狭い（Ｐａｎｕｍの融合領域）。また、融合領域は、注視部分が奥行き方向の手前側に位置するほど狭くなり、奥側に位置するほど広くなる。したがって、注視部分が手前側に位置する場合に、二重像が発生する可能性が高くなる。
【００２７】
そこで、本発明の一態様に係る３次元表示装置は、３次元画像を表示する３次元表示装置であって、ユーザの注視点の位置を取得する注視点取得部と、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、前記融合領域の外側において前記３次元画像に含まれるオブジェクトの表示が抑制されるように、前記３次元画像を補正する補正部と、補正された前記３次元画像を表示する表示部とを備える。
【００２８】
この構成によれば、融合領域の外側において３次元画像に含まれるオブジェクトの表示が抑制されるように３次元画像を補正することができる。したがって、融合領域の外側において発生する二重像の視覚的な影響を抑制することができる。その結果、３次元画像内のユーザが注視しているオブジェクトの視認性を向上させることができる。
【００２９】
さらに、この構成によれば、注視点の位置に応じて自動的に決定された融合領域を用いて、３次元画像を補正することができる。したがって、ユーザが表示を抑制するオブジェクトを指定しなくてもよく、ユーザの利便性を向上させることもできる。
【００３０】
例えば、前記補正部は、前記３次元画像に含まれるオブジェクトであって前記融合領域より手前側に位置するオブジェクトを削除することにより、前記３次元画像を補正してもよい。
【００３１】
この構成によれば、融合領域より手前側に位置するオブジェクトを３次元画像から削除することができる。したがって、融合領域より手前側の領域における二重像の発生を防ぐことができる。さらに、ユーザが注視しているオブジェクトが他のオブジェクトによって隠蔽されることを防ぐことができる。その結果、３次元画像内のユーザが注視しているオブジェクトの視認性をさらに向上させることが可能となる。
【００３２】
例えば、前記補正部は、前記３次元画像に含まれるオブジェクトであって前記融合領域よりも奥側に位置するオブジェクトをぼかすことにより、前記３次元画像を補正してもよい。
【００３３】
この構成によれば、融合領域より奥側に位置するオブジェクトをぼかすことができる。したがって、融合領域より奥側の領域において発生する二重像の視覚的な影響を抑制することができる。
【００３４】
例えば、前記３次元表示装置は、さらに、前記３次元画像に含まれるオブジェクトであって前記注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように、前記３次元画像の視点変換を行う視点変換部を備え、前記補正部は、視点変換が行われた前記３次元画像を補正してもよい。
【００３５】
この構成によれば、注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように３次元画像の視点変換を行うことができる。したがって、ユーザは、輻輳角を変化させなくても同一のオブジェクトを注視し続けることができ、ユーザの負荷を軽減させることできる。
【００３６】
例えば、前記視点変換は、前記注視点の位置を中心とする前記３次元画像の回転処理であってもよい。
【００３７】
この構成によれば、注視点の位置を中心とする３次元画像の回転処理を行うことができる。その結果、注視点の位置に表示されているオブジェクトの表示位置が変化しないように、３次元画像の視点変換を行うことができる。
【００３８】
例えば、前記３次元表示装置は、さらに、複数の注視点の奥行き方向の位置と、前記複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を記憶している融合領域情報記憶部を備え、前記融合領域決定部は、前記融合領域情報を参照することにより、取得された前記注視点の位置に対応する前記融合領域を決定してもよい。
【００３９】
この構成によれば、融合領域情報を参照することにより、取得された注視点の位置に対応する融合領域を容易に決定することができる。
【００４０】
例えば、前記３次元画像は、複数の血管を表す複数の血管オブジェクトを含み、前記３次元表示装置は、さらに、前記注視点に位置する血管オブジェクトと、前記３次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を取得する連関情報取得部と、前記融合領域と前記連関情報とに基づいて、前記３次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する血管重要度計算部とを備え、前記補正部は、前記重要度が低い血管オブジェクトほど表示が抑制されるように、前記３次元画像を補正してもよい。
【００４１】
この構成によれば、融合領域と連関情報とに基づいて算出された重要度が低い血管オブジェクトほど表示が抑制されるように３次元画像を補正することができる。したがって、注視点に位置する血管オブジェクトとの接続関係に応じて血管オブジェクトの表示を抑制することが可能となる。
【００４２】
例えば、前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトが前記融合領域に含まれる場合に当該血管オブジェクトが前記融合領域に含まれない場合よりも重要度が高くなるように、前記重要度を算出してもよい。
【００４３】
この構成によれば、血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、重要度を算出することができる。したがって、融合領域に含まれない血管オブジェクトの表示を抑制することが可能となる。
【００４４】
例えば、前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように、前記重要度を算出してもよい。
【００４５】
この構成によれば、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように重要度を算出することができる。したがって、注視点に位置する血管オブジェクトと多くの分岐を経由して接続されている血管オブジェクトの表示を抑制することができ、注視点に位置する血管オブジェクトの視認性を向上させることが可能となる。
【００４６】
例えば、前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように、前記重要度を算出してもよい。
【００４７】
この構成によれば、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように重要度を算出することができる。したがって、注視点に位置するオブジェクトとの空間距離が大きい血管オブジェクトの表示を抑制することができ、注視点に位置する血管オブジェクトの視認性を向上させることが可能となる。
【００４８】
例えば、前記３次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも１つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、前記３次元表示装置は、さらに、前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部を備え、前記補正部は、前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記３次元画像を補正してもよい。
【００４９】
この構成によれば、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように３次元画像を補正することができる。したがって、器具オブジェクトの進行する可能性がある血管オブジェクトの表示を優先することができ、有用な３次元画像を表示することが可能となる。
【００５０】
また、本発明の一態様に係る３次元画像処理装置は、３次元画像を処理する３次元表示装置であって、前記３次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも１つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、前記３次元画像処理装置は、ユーザの注視点の位置を取得する注視点取得部と、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部と、前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記３次元画像を補正する補正部とを備える。
【００５１】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００５２】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００５３】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５４】
また、以下において必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００５５】
（実施の形態１）
＜構成＞
図２は、実施の形態１における３次元表示装置１０の機能構成を示すブロック図である。３次元表示装置１０は、３次元画像を表示する。つまり、３次元表示装置１０は、画像を立体的に表示する。具体的には、３次元表示装置１０は、メガネ式の立体表示方式により３次元画像を表示する。メガネ式の立体表示方式とは、メガネ（例えば、液晶シャッタメガネまたは偏光メガネなど）を着用したユーザに対して、視差を有する左眼用画像および右眼用画像を表示する方式である。また例えば、３次元表示装置１０は、裸眼式の立体表示方式により３次元画像を表示してもよい。裸眼式の立体表示方式は、メガネを用いない立体表示方式（例えば、パララックスバリア方式あるいはレンチキュラーレンズ方式など）である。
【００５６】
図２に示すように、３次元表示装置１０は、注視点取得部１１と、融合領域決定部１２と、補正部１３と、表示部１４とを備える。
【００５７】
注視点取得部１１は、ユーザの注視点の位置を取得する。具体的には、注視点取得部１１は、例えば、ユーザの眼電位あるいは眼球の画像に基づいて注視点の３次元位置を検出する。なお、注視点取得部１１は、注視点の位置を検出しなくてもよい。例えば、注視点取得部１１は、３次元表示装置１０の外部に設けられたセンサなどから注視点の位置を示す情報を取得することにより、注視点の位置を取得してもよい。
【００５８】
融合領域決定部１２は、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する。具体的には、融合領域決定部１２は、例えば、複数の注視点の奥行き方向の位置と、複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を参照することにより、取得された注視点の位置に対応する融合領域を決定する。また例えば、融合領域決定部１２は、注視点の位置から融合領域を算出するための数式を用いて融合領域を決定してもよい。
【００５９】
補正部１３は、融合領域の外側において３次元画像に含まれるオブジェクトの表示が抑制されるように、３次元画像を補正する。オブジェクトの表示を抑制するとは、オブジェクトの表示レベルを下げることを意味する。例えば、オブジェクトの透明度を上げる、または、オブジェクトの鮮明度を下げることにより、オブジェクトの表示を抑制することができる。なお、オブジェクトの表示を抑制するには、オブジェクトを非表示（透明）にすることが含まれる。
【００６０】
具体的には、補正部１３は、例えば、３次元画像に含まれるオブジェクトであって融合領域より手前側に位置するオブジェクトを削除することにより、３次元画像を補正する。また例えば、補正部１３は、３次元画像に含まれるオブジェクトであって融合領域よりも奥側に位置するオブジェクトをぼかすことにより、３次元画像を補正してもよい。
【００６１】
より具体的には、補正部１３は、例えば、３次元画像に含まれる複数のオブジェクトをそれぞれ示す複数の３次元モデルが配置された仮想的な３次元空間において、融合領域に対応する領域の内側に位置する３次元モデルのみを用いて、左眼用画像および右眼用画像をレンダリングする。また例えば、補正部１３は、融合領域に対応する領域の外側に位置する３次元モデルの透明度を増加させた後に、左眼用画像および右眼用画像をレンダリングしてもよい。
【００６２】
表示部１４は、補正された３次元画像を表示する。具体的には、表示部１４は、例えば、画面に左眼用画像と右眼用画像とを交互に表示することにより、補正された３次元画像を表示する。また例えば、表示部１４は、例えば、画面に行列状に配列された複数の画素のうち、左眼に対応する画素を用いて左眼用画像を表示し、右眼に対応する画素を用いて右眼用画像を表示する。
【００６３】
なお、表示部１４は、画面を有しなくてもよい。この場合、表示部１４は、３次元表示装置１０の外部の表示装置を介して３次元画像を表示してもよい。
【００６４】
次に、以上のように構成された３次元表示装置１０の各種動作について説明する。
【００６５】
＜動作＞
図３は、実施の形態１における３次元表示装置１０の処理動作を示すフローチャートである。
【００６６】
まず、注視点取得部１１は、ユーザの注視点の位置を取得する（Ｓ１１）。続いて、融合領域決定部１２は、注視点の位置に基づいて融合領域を決定する（Ｓ１２）。そして、補正部１３は、融合領域の外側において３次元画像に含まれるオブジェクトの表示が抑制されるように３次元画像を補正する（Ｓ１３）。最後に、表示部１４は、補正された３次元画像を表示する（Ｓ１４）。
【００６７】
図４および図５を用いて、３次元表示装置１０の処理動作をさらに詳細に説明する。
【００６８】
図４は、実施の形態１における３次元表示装置１０の処理動作を説明するための模式図である。具体的には、図４の（ａ）は、３次元画像に含まれるオブジェクト４０、４１、４２の位置関係を示す図である。また、図４の（ｂ）は、二重像の説明図である。
【００６９】
図５は、実施の形態１における３次元表示装置１０によって表示される３次元画像の一例を示す図である。具体的には、図５の（ａ）は、補正されていない３次元画像を示す。また、図５の（ｂ）は、補正された３次元画像を示す。
【００７０】
図４の（ａ）に示すように、オブジェクト４０よりも手前側にオブジェクト４１が表示されており、オブジェクト４０より奥側にオブジェクト４２が表示されている。また、図４の（ｂ）に示すように、オブジェクト４０の視差Ｄ１は、オブジェクト４１の視差Ｄ２よりも小さく、オブジェクト４２の視差よりも大きい。
【００７１】
ここで、注視点の位置がオブジェクト４０の表示位置とすると、融合領域は、オブジェクト４０の近傍領域となる。このとき、オブジェクト４１は、融合領域の外側（手前側）に位置する。つまり、ユーザの輻輳角がオブジェクト４１の視差に適合しないので、二重像４１ｄが発生する。また、オブジェクト４２も、融合領域の外側（奥側）に位置する。つまり、ユーザの輻輳角がオブジェクト４２の視差に適合しないので、二重像４２ｄが発生する。つまり、ユーザは、図５の（ａ）に示すように３次元画像を知覚する。
【００７２】
この場合、特に、注視オブジェクトであるオブジェクト４０の手前側の二重像４１ｄがオブジェクト４０の視認性を低下させる。そこで、補正部１３は、例えば、３次元画像においてオブジェクト４１を削除することにより、オブジェクト４１の表示が抑制されるように３次元画像を補正する。その結果、図５の（ｂ）に示すように、オブジェクト４０の手前側の二重像４１ｄが削除され、オブジェクト４０の視認性が向上する。
【００７３】
また、例えば、オブジェクト４０とオブジェクト４２とが同様の模様を有する場合などに、オブジェクト４０の奥側の二重像４２ｄもオブジェクト４０の視認性を低下させる。そこで、補正部１３は、例えば、３次元画像においてオブジェクト４２をぼかすことにより、オブジェクト４２の表示が抑制されるように３次元画像を補正する。その結果、二重像４２ｄよりもオブジェクト４０が強調され、オブジェクト４０の視認性が向上する。
【００７４】
＜効果等＞
以上のように、本実施の形態によれば、３次元表示装置１０は、融合領域の外側において３次元画像に含まれるオブジェクトの表示が抑制されるように３次元画像を補正することができる。したがって、３次元表示装置１０は、融合領域の外側において発生する二重像の視覚的な影響を抑制することができる。その結果、３次元表示装置１０は、３次元画像内のユーザが注視しているオブジェクトの視認性を向上させることができる。
【００７５】
さらに、本実施の形態によれば、３次元表示装置１０は、注視点の位置に応じて自動的に決定された融合領域を用いて、３次元画像を補正することができる。したがって、ユーザが表示を抑制するオブジェクトを指定しなくてもよく、３次元表示装置１０は、ユーザの利便性を向上させることもできる。
【００７６】
（実施の形態２）
次に、実施の形態２について具体的に説明する。本実施の形態では、表示されている３次元画像の視点変換が行われる場合について説明する。
【００７７】
＜構成＞
図６は、実施の形態２における３次元表示装置１００の機能構成を示すブロック図である。
【００７８】
３次元表示装置１００は、画像情報記憶部１０１と、視点入力部１０２と、視点変換部１０３と、奥行計算部１０４と、センサ１０５と、注視点検出部１０６と、画像変換中心決定部１０７と、融合領域情報記憶部１０８と、融合領域決定部１０９と、領域分割部１１０と、補正処理決定部１１１と、画像処理部１１２と、表示部１１３とを備える。
【００７９】
画像情報記憶部１０１は、例えばハードディスクドライブあるいは半導体メモリである。画像情報記憶部１０１は、表示する３次元画像に関する情報である画像情報１０１ａを記憶している。具体的には、画像情報記憶部１０１は、例えば、３次元画像に含まれる各オブジェクトの３次元モデルを画像情報１０１ａとして記憶している。
【００８０】
本実施の形態では、画像情報記憶部１０１は、それぞれが血管を表す複数の血管オブジェクトに関する情報を画像情報１０１ａとして記憶している。画像情報１０１ａは、例えば図７に示すように、血管オブジェクト上の点の座標および表示色を含む。
【００８１】
視点入力部１０２は、表示画像に対する視点変換（例えば、回転またはズーム）のための操作を入力するインタフェースである。視点入力部１０２は、例えばマウス、リモコンまたはジェスチャ検出デバイス等である。ここで、視点変換とは、３次元画像に含まれるオブジェクトに対する視点位置および視線方向（仮想カメラの位置および方向）を変換する処理を意味する。例えば、視点位置がオブジェクトに近付くように３次元画像が視点変換されれば、オブジェクトは拡大される。
【００８２】
視点変換部１０３は、視点入力部１０２によって受け付けられた視点変換のための操作に基づいて、画像情報記憶部１０１に記憶された画像情報１０１ａを用いて３次元画像の視点変換を行う。このとき、視点変換部１０３は、３次元画像に含まれるオブジェクトであって注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように、３次元画像の視点変換を行う。
【００８３】
視点変換は、例えば、注視点の位置を中心とする３次元画像の回転処理である。具体的には、視点変換部１０３は、画像変換中心決定部１０７によって決定される中心位置を視点変換の中心位置として用いて３次元画像の視点変換を行う。例えば、視点変換部１０３は、画像変換中心決定部１０７によって決定される中心位置を通る鉛直方向の軸回りに３次元画像を回転させる。
【００８４】
奥行計算部１０４は、視点変換部１０３によって視点変換された３次元画像に含まれるオブジェクトの奥行きを計算する。
【００８５】
センサ１０５は、３次元画像を観視するユーザの眼球の動きをセンシングする。センサ１０５は、例えば図８Ａまたは図８Ｂに示すようなユーザの眼球を撮像する可視光カメラあるいは赤外線カメラである。また例えば、センサ１０５は、図９に示すような皮膚に接触させた電極から眼球の動きに伴う電位変化を記録する眼電位計測手段あるいは筋電位計測手段であってもよい。また例えば、センサ１０５は、図１０に示すような眼球表面に接触させたコイルから眼球運動および眼球の虹彩の動きや水晶体の動きに伴う電位変化を記録するサーチコイルであってもよい。
【００８６】
注視点検出部１０６は、センサ１０５によりセンシングされたユーザの眼球の動きの情報を用いて、ユーザの注視点の位置（３次元位置）を計算する。このとき、３次元位置を表すための座標系は、例えば図１１に示すような３次元表示座標系である。図１１の３次元表示座標系では、画面表面の中央が原点であり、画面平面上の水平方向がＸ軸であり、画面平面上の鉛直方向がＹ軸であり、画面平面に垂直な方向がＺ軸である。
【００８７】
つまり、本実施の形態では、センサ１０５と注視点検出部１０６とによって、ユーザの注視点の位置が取得される。なお、センサ１０５および注視点検出部１０６は、３次元表示装置１００に含まれなくてもよい。この場合、３次元表示装置１００は、センサ１０５および注視点検出部１０６によって検出されたユーザの注視点の位置を取得すればよい。
【００８８】
画像変換中心決定部１０７は、注視点検出部１０６で検出されたユーザの注視点の位置を、現在表示している３次元画像の視点変換（回転またはズーム）の中心位置として決定する。
【００８９】
融合領域情報記憶部１０８は、注視点の奥行きに応じた融合領域を得るための融合領域情報１０８ａを記憶している。融合領域情報１０８ａは、例えば図１２に示すように、注視点の奥行きと、当該奥行きに対応する手前側融合限界および奥側融合限界とを示す。つまり、融合領域情報１０８ａは、複数の注視点の奥行き方向の位置と、複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す。
【００９０】
ここでの融合領域は、眼球を動かさずに（すなわち輻輳角を変化させることなく）、同時に両眼融合可能な範囲を示す。この融合領域は、パナム（Ｐａｎｕｍ）の融合領域として知られている。
【００９１】
融合領域決定部１０９は、融合領域情報１０８ａを参照することにより、注視点検出部１０６によって検出された注視点の位置に対応する融合領域を決定する。具体的には、融合領域決定部１０９は、例えば、図１２の融合領域情報１０８ａを参照して、注視点の奥行きに対応する手前側融合限界および奥側融合限界を取得する。そして、融合領域決定部１０９は、手前側融合限界および奥側融合限界によって特定される奥行き方向の範囲に含まれる領域を融合領域として決定する。
【００９２】
領域分割部１１０は、奥行計算部１０４の出力と融合領域決定部１０９によって決定された融合領域とを用いて、３次元画像を奥行き方向に領域分割する。本実施の形態では、領域分割部１１０は、融合領域と、融合領域よりも手前側の領域と、融合領域よりも奥側の領域との３つの領域に３次元画像を分割する。
【００９３】
補正処理決定部１１１は、領域分割部１１０が分割した領域ごとに画像処理方法を決定する。具体的には、補正処理決定部１１１は、例えば、オブジェクトの表示が抑制される画像処理方法を、融合領域よりも手前側および奥側の領域の画像処理方法として決定する。
【００９４】
画像処理部１１２は、補正処理決定部１１１が決定した画像処理方法に従って分割された領域ごとに画像処理を実行する。
【００９５】
このように、補正処理決定部１１１と画像処理部１１２とによって、融合領域の外側において３次元画像に含まれるオブジェクトの表示が抑制されるように３次元画像を補正する処理が行われる。つまり、補正処理決定部１１１および画像処理部１１２は、補正部に相当する。
【００９６】
表示部１１３は、画像処理部１１２が処理した３次元画像を表示する。表示部１１３は、例えば専用メガネを利用しない（裸眼）あるいは専用メガネを利用する３次元ディスプレイ、またはヘッドマウントディスプレイである。表示部１１３は、左眼用画像を左眼だけに提示し、右眼用画像を右眼だけに提示することで３次元表示を行う。
【００９７】
＜動作＞
次に、以上のように構成された３次元表示装置１００の処理動作について説明する。
【００９８】
図１３は、実施の形態２における３次元表示装置１００の処理動作を示すフローチャートである。３次元表示装置１００は、例えば、図示しない表示開始入力手段により受け付けられたユーザからの表示開始指示に従って、以下の処理を開始する。
【００９９】
視点入力部１０２は、ユーザの視点操作の入力を受け付ける（Ｓ１１０）。ステップＳ１１０は、ユーザの視点操作の入力が受け付けられるまで繰り返される。ステップＳ１１０において視点操作の入力が受け付けられた場合、注視点検出部１０６は、センサ１０５により取得されたユーザの眼球の動きに基づいて、ユーザが３次元画像内で注視している注視点の３次元画像座標を検出する（Ｓ１２０）。注視点検出の方法については後述する。
【０１００】
画像変換中心決定部１０７は、ステップＳ１２０で検出された注視点の３次元画像座標を、視点変換の中心点の３次元画像座標として決定する（Ｓ１３０）。視点変換の中心点とは、視点変換する際に、表示位置を変更しない点である。３次元画像座標は、画像情報１０１ａにおいて３次元モデルを定義するための標準座標に変換される。
【０１０１】
視点変換部１０３は、現在表示している３次元画像の画像情報１０１ａを画像情報記憶部１０１から抽出する。そして、視点変換部１０３は、ステップＳ１３０で決定された視点変換の中心点と、ステップＳ１１０で受け付けられた視点操作の入力により特定される視点とを用いて、表示されている３次元画像の視点を変換する（Ｓ１４０）。
【０１０２】
奥行計算部１０４は、ステップＳ１４０で変換された３次元画像に含まれるオブジェクトについて、図１１に示す３次元座標系における奥行きを計算する（Ｓ１５０）。
【０１０３】
融合領域決定部１０９は、融合領域情報１０８ａを参照して、ステップＳ１２０で検出された注視点の奥行き方向の位置に対応する融合領域を決定する。そして、領域分割部１１０は、３次元画像に含まれるオブジェクトを、ステップＳ１５０で求められた奥行きに従って、ユーザから見て融合領域よりも奥側の領域、融合領域内、および融合領域よりも手前側の領域の３つの領域に分割する（Ｓ１６０）。
【０１０４】
補正処理決定部１１１は、ステップＳ１６０で分割された３つの領域に対して、それぞれ補正処理を割り当てる（Ｓ１７０）。
【０１０５】
画像処理部１１２は、ステップＳ１４０で視点変換された３次元画像に対して、ステップＳ１７０で決定された領域ごとの補正処理を行う（Ｓ１８０）。そして、画像処理部１１２は、表示部１１３へ補正処理後の３次元画像を出力する。
【０１０６】
表示部１１３は、画像処理部１１２より出力された３次元画像を表示する（Ｓ１９０）。
【０１０７】
このように、視点変換部１０３は、ユーザの注視点を中心点として３次元画像の視点変換行うことにより、ユーザが注視しているオブジェクトが移動しないように視点変換を行うことができる。したがって、視点変換部１０３は、視点変換によってユーザが注視するオブジェクトを見失うことを防ぐことができ、ユーザの負荷を低減することができる。
【０１０８】
これまでの３次元画像の視点変換では、画像情報を３次元座標軸上に固定し、固定された中心点（例えば固定座標の原点）を中心に回転やズームが行われていた。これは、３次元画像を２次元に写像して表示する方法の場合は有効である。なぜなら、表示画面内の座標とユーザが存在する座標とは独立しており、ユーザは箱の中を覗く様に表示画面を観視し、視点変換は箱ごと回したり、近づけたり遠ざけたりしてみることと同等であるためである。一方、ステレオ画像を３次元表示する場合、ステレオ画像の３次元軸は、ユーザが存在する空間の座標軸と同一である。したがって、視点変換が行われる場合、あたかもユーザの周りの景色を変換するかのような状態となる。本来ユーザの視点変換の欲求は、ユーザが対象物に対して場所を移動し、ユーザの眼の位置を変化させて、同じものを別の角度からみるということである。対象物の周りを歩いて回りこむように見る場合、ユーザの視界の中では、注視している対象物は視界の中心で移動せず、ユーザの視界を構成する座標軸が回転あるいは伸縮する。ステレオ視による３次元画像表示ではユーザの目の位置を変化させることなく、この歩いて回り込む場合のような注視点を中心とした座標軸の変換を行う必要がある。そこで、本実施の形態のように、ユーザの注視点を中心点として３次元画像の視点変換行うことにより、３次元画像の視点変換を適切に行うことができる。
【０１０９】
＜注視点検出＞
以下、ステップＳ１２０においてユーザの注視点を検出する方法を具体的に説明する。
【０１１０】
眼球運動情報は、センサ１０５の種類によって異なる。そして、眼球運動情報により、注視点の検出方法が異なる。ここでは注視点検出の例として、（ａ）センサ１０５が、画面を含むディスプレイの筐体等に設置された固定カメラの場合と、（ｂ）センサ１０５が、ユーザの頭部に設置する近接カメラの場合と、（ｃ）センサ１０５が、皮膚に接触させた電極より眼球の角膜網膜電位差から眼球の動きを計測する眼電位計測手段の場合と、（ｄ）センサ１０５が、コイル付コンタクトの場合との、それぞれについて注視点の検出方法を説明する。
【０１１１】
センサ１０５が図８Ａのようにディスプレイに取り付けられた固定カメラである場合、カメラは、ディスプレイの正面を中心に撮像する。注視点検出部１０６は、撮像された画像において顔検出を行うことにより、ディスプレイを観視するユーザの顔画像を抽出する。注視点検出部１０６は、抽出された顔画像からさらにユーザの両眼画像を抽出する。そして、注視点検出部１０６は、両眼画像において瞳孔または虹彩位置を特定して、瞳孔間距離を計算する。注視点検出部１０６は、顔検出時の顔の向きおよび両眼中点の向きにより画面に水平な平面上における注視点の位置を求め、瞳孔間距離により注視点の奥行方向の位置を求める。
【０１１２】
センサ１０５が図８Ｂのようにメガネあるいはゴーグルに取り付けられたカメラである場合、左右のカメラは、それぞれ左右の眼球を撮像する。注視点検出部１０６は、撮像された左右の画像から左右の眼球の向きをそれぞれ求める。注視点検出部１０６は、それぞれの眼球の向きを示す直線が交わる点を注視点として求める。あるいは、注視点検出部１０６は、左右の眼球の瞳孔の位置をそれぞれ求め、両眼に共通する瞳孔の位置の上下左右の偏り成分に基づいて、画面に水平な平面における注視点の位置を求め、両眼間距離から注視点の奥行き方向の位置を求めてもよい。
【０１１３】
センサ１０５が図９のように眼電位計測手段である場合、眼電位を計測するための電極が、それぞれの眼の両脇と少なくとも片目の上の額と下の頬とに接触させて装着される。そして、眼電位計測手段は、眼の両脇に眼を挟んで装着された２つの電極から水平方向の眼球運動に伴う電位変化を計測する。そして、眼電位計測手段は、眼の上下に装着された２つの電極から垂直方向の眼球運動に伴う電位変化を計測する。注視点検出部１０６は、両眼に共通する電位変化の成分から画面に水平な平面における注視点の位置を求め、両眼間で拮抗する水平方向の電位変化の成分から注視点の奥行き方向の位置を求める。
【０１１４】
センサ１０５が、両眼に装着された、図１０のようなコイル付コンタクトである場合、センサ１０５は、コイルにより眼球の運動に伴う電位の分布の変化を左右それぞれの眼について計測する。注視点検出部１０６は、両眼に共通する電位変化の成分から画面に水平な平面における注視点の位置を求め、両眼間で拮抗する水平方向の電位変化の成分から注視点の奥行き方向の位置を求める。
【０１１５】
なお、注視点の検出方法は、上記の方法に限られない。例えば、注視点検出部１０６は、眼球周辺の筋肉の動きを皮膚に接触させた電極から計測する筋電位計測手段をセンサ１０５として用いて、注視点を求めてもよい。また、注視点検出部１０６は、磁気コイルを埋め込んだコンタクトレンズによって誘導される、瞳孔の運動に伴う電位に基づいて、注視点を検出してもよい。また、注視点検出部１０６は、磁気コイルで誘導される、水晶体の調節運動に伴う電位から、注視点を検出してもよい。また、注視点検出部１０６は、これらの複数の検出方法のうちのいくつかの組み合わせを用いて、注視点を検出してもよい。
【０１１６】
＜視点変換＞
図１４は、実施の形態２における視点変換部１０３の処理動作を示すフローチャートである。すなわち、図１４は、ステップＳ１４０の詳細を示す。以下、ステップＳ１４０において３次元画像の視点変換を行う方法の一例を具体的に説明する。
【０１１７】
３次元画像は、図７に示すように、３次元空間を表現する標準座標系における点の位置を示す座標とその点の表示色とが対となった画像情報１０１ａを用いて生成される。画像情報１０１ａは、少なくともオブジェクトの表面上の点の位置を示す座標の情報を含む。
【０１１８】
画像生成の処理では、例えばポリゴンレンダリングが用いられる。ポリゴンレンダリングでは、３次元の形状データは、多角形の集まりで表現される。また、多角形の頂点座標で表現された図７のような画像情報１０１ａを用いて描画処理を行うことで３次元画像が生成される。ポリゴンレンダリングでは、オブジェクトは、３点が成す三角形の平面によって表現される。例えば図１５の（ａ）に示すように、オブジェクトは、標準座標系において三角形を配置して表現される。１つ１つの三角形の頂点座標と平面とが処理単位となる。ポリゴンレンダリングは、３次元グラフィックスの方法として一般的である。
【０１１９】
視点変換部１０３は、まず、ステップＳ１１０で入力された視点操作とステップＳ１３０で決定された変換中心点とに基づいて、標準座標系において、ユーザの左右の眼を結んだ線分の中点にあたる位置を決定する（Ｓ１４１）。視点変換部１０３は、図１５の（ａ）に示すように、両眼の中点を入力された視点に設定する。次に、視点変換部１０３は、両眼の位置を決定する。視点変換部１０３は、ユーザの左右の眼の間の距離を例えば６．５ｃｍと設定する。視点変換部１０３は、ステップＳ１４１で決定した位置が両眼の中心になるように、表示画像の水平軸（すなわち図１１のＸ軸）に平行な直線上に両眼の位置を決定する。視点変換部１０３は、図１５の（ｂ）のように標準座標の軸を回転して３次元表示座標の軸の向きにあわせる。
【０１２０】
視点変換部１０３は、両眼のそれぞれの位置からステップＳ１３０で決定された変換中心点への向きと、それぞれの眼の視野角とを決定し、オブジェクトの表示サイズを決定する（Ｓ１４２）。ステップＳ１１０で入力された視点変換操作にズーム操作が含まれる場合には、視点変換部１０３は、オブジェクトの表示サイズを変換する。その際に、視点変換部１０３は、画像を見るユーザの両眼の位置を変更しない。
【０１２１】
さらに、視点変換部１０３は、ステップＳ１４１で求めた両眼中心の位置とステップＳ１３０で決定された変換中心点とを結ぶ直線が図１１のＺ軸に平行になるように座標を変換する（Ｓ１４３）。視点変換部１０３は、ユーザが画面正面から画像を見ると仮定して座標変換を行う。
【０１２２】
視点変換部１０３は、ステップＳ１４３で変換された座標において、両眼のそれぞれの位置と方向に対して画面に投影可能な範囲（サイズ）を決定する（Ｓ１４４）。
【０１２３】
＜補正処理決定＞
図１６は、実施の形態２における補正処理決定部１１１の処理動作を示すフローチャートである。すなわち、図１６は、ステップＳ１７０の詳細を示す。
【０１２４】
補正処理決定部１１１は、ステップＳ１６０における分割の結果として得られた３つの領域の各々の補正処理を決定する。すなわち、補正処理決定部１１１は、ステップＳ１４０で視点変換された３次元画像に含まれるオブジェクトの表面上の各点の補正処理を決定する。なお、本実施の形態では、領域分割は、図１１の座標系におけるＺ軸座標の値を融合領域と比較することで行われる。
【０１２５】
まず、補正処理決定部１１１は、３次元画像に含まれるオブジェクトの表面上の点が、手前側融合限界の値より小さい奥行き値を有する領域に含まれるか否かを判定する（Ｓ１７１）。すなわち、補正処理決定部１１１は、点の図１１の座標系におけるＺ軸座標の値が手前側融合限界のＺ軸座標の値よりユーザの目に近い側の位置を示す値であるか否かを判定する。
【０１２６】
ここで、点のＺ軸座標の値が手前側融合限界のＺ軸座標の値よりユーザの眼に近い側の位置を示す値である場合（Ｓ１７１においてＹｅｓ）、補正処理決定部１１１は、当該点の補正処理を非表示と決定する（Ｓ１７２）。非表示とは、その点を表示範囲から除外することを示す。この場合、点によって形成されるオブジェクトの表面は、あたかも透明になったかのように取り扱われる。
【０１２７】
一方、点のＺ軸座標の値が手前側融合限界のＺ軸座標の値と等しいか、またはユーザの眼から遠い側の位置を示す値である場合（Ｓ１７１においてＮｏ）、補正処理決定部１１１は、点のＺ軸座標の値が奥側融合限界のＺ軸座標の値よりユーザの眼から遠い側の位置を示す値であるか否かを判定する（Ｓ１７４）。
【０１２８】
ここで、点のＺ軸座標の値が奥側融合限界のＺ軸座標の値よりユーザの眼から遠い側の位置を示す値である場合（Ｓ１７４においてＹｅｓ）、補正処理決定部１１１は、当該点の補正処理をぼかし処理と決定する（Ｓ１７５）。一方、点のＺ軸座標の値が奥側融合限界のＺ軸座標の値と等しいか、よりユーザの眼に近い側の位置を示す値である場合（Ｓ１７４においてＮｏ）、補正処理決定部１１１は、当該点に補正処理を行わないと決定する（Ｓ１７６）。
【０１２９】
なお、ぼかし処理は、具体的には例えば、対象領域に低域通過フィルタをかけ、空間周波数を低下させる処理である。低域通過周波数が低いほど、ぼかす度合いが大きくなる。ぼかし処理の他の例は、右目用画像と左目用画像の異なる画像Ａと画像Ｂとを混合してぼかして表示する処理である、ぼかし処理として、例えば対象領域の座標点ごとの色情報の値を、画像Ａの色情報と画像Ｂの色情報の中間色を用いてぼかす処理を利用することが可能である。ぼかす度合は、一方の画像に他方の画像の色を混合する比率によって決定する。混合比が１対１の場合が最もぼかす度合いが大きくなる。
【０１３０】
＜画像処理＞
図１７は、実施の形態２における画像処理部１１２の処理動作を示すフローチャートである。すなわち、図１７は、ステップＳ１８０の詳細を示す。
【０１３１】
画像処理部１１２は、手前側融合限界を通る平面であって表示画面に平行な平面より手前側に位置するオブジェクトを非表示にする（Ｓ１８１）。ポリゴンレンダリングにおいては、当該領域内の点を画像生成範囲から除外することで、オブジェクトを非表示にすることができる。また、血管の内部の点のデータが画像情報１０１ａに含まれていれば、画像処理部１１２は、血管断面および血管内部の画像を生成することができる。
【０１３２】
次に、画像処理部１１２は、ステップＳ１４０で視点変換された３次元画像（３次元モデル）ポリゴンレンダリングを行うことにより、右眼用画像と左眼用画像とを生成する。つまり、画像処理部１１２は、融合領域より手前側の領域に含まれるオブジェクトを非表示化した３次元モデルに、表示座標軸上で固定の位置と属性とを持つ光源によるライティングを行う（Ｓ１８２）。
【０１３３】
画像処理部１１２は、固定光源の光と画像情報１０１ａに含まれる座標点ごとの表示色とを用いて、各座標点の色を決定する。続いて、画像処理部１１２は、ポリゴンを構成する三角形を生成して、その三角形をピクセルで塗りつぶす。塗りつぶしは、各頂点の色をもとに補間してピクセルごとの色を決定する（Ｓ１８３）。画像処理部１１２は、生成された各ピクセルに対して、融合領域より奥側の領域（すなわちユーザから遠い側の領域）に含まれる点によって生成されたピクセルに対して、低域通過フィルタリングによりぼかし処理を行う（Ｓ１８４）。
【０１３４】
融合領域より奥側に位置するオブジェクトも２重像を発生させる。しかし、注視点より奥側に位置するオブジェクトは、注視点に位置するオブジェクトを隠すことはない。したがって、注視点に位置するオブジェクトを見ることに対して大きな邪魔にはならないが、２重像が見えるのは不快である。
【０１３５】
オブジェクトの視差は、奥行きが大きくなっても無限に大きくなるわけではない。人間の両眼は対象物を見るために輻輳するが、遠くを見る逆向きの動き（開散）では、左右の眼がそれぞれ外側を見る角度まで動くことはない。開散の最大値の状態は、左右の視線が平行な状態である。したがって、３次元画像中の奥側における奥行きの変化に対応する視差の変化は、手前側における奥行きの変化に対応する視差の変化に比べて小さい。そのため、二重像も、奥側では、手前側で起る二重像のように大きく離れない。
【０１３６】
そこで、画像処理部１１２は、ステップＳ１８４において、例えばフィルタリング処理により空間周波数を低くする等の方法により、融合領域の奥側に位置するオブジェクトをぼかすことにより、背景画像として許容できる状態にする。
【０１３７】
画像処理部１１２は、ステップＳ１８０において、右眼用画像および左眼用画像の両方について処理を行うことで、ステレオ立体視画像を生成する。
【０１３８】
図１８は、実施の形態２における３次元表示装置１００によって表示される３次元画像の一例を示す。具体的には、図１８の（ａ）は、補正されていない３次元画像を示す。また、図１８の（ｂ）は、補正された３次元画像を示す。
【０１３９】
図１８に示すように、図１の（ｂ）のように血管が手前から奥へ伸びるように表示されている場合に、３次元表示装置１００は、図１８の（ａ）のように血管の手前側部分が２重に見えることを防ぐことができる。さらに、３次元表示装置１００は、図１８の（ｂ）に示すように、手前融合限界の平面に沿って切り取られた断面の画像を表示することができる。これにより、３次元表示装置１００は、削除された手前側部分と融合領域内の部分との接合部分が自然に見えるようにすることができる。
【０１４０】
＜効果等＞
以上のように、本実施の形態における３次元表示装置１００によれば、視点変換部１０３は、ユーザの注視点を視点変換の中心点として視点変換を行うことで、注視点に対して回り込むような視点移動を実現することができる。さらに、３次元表示装置１００は、注視点の位置に応じて融合領域を決定し、融合領域より手前側に位置するオブジェクトを削除し、融合領域より奥側に位置するオブジェクトをぼかすことができる。これにより、融合領域の外側に位置するオブジェクトによって二重像が発生することを抑制することができる。さらに、３次元表示装置１００は、注視点に位置するオブジェクトを遮蔽する手前側のオブジェクトを削除して、注視点に位置するオブジェクトの視認性を向上させることができる。また、３次元表示装置１００は、融合領域より奥側に位置するオブジェクトをぼかすことにより、不鮮明ではあるが背景画像としてオブジェクトの存在がわかるように３次元画像を補正することができる。これにより、３次元表示装置１００は、視点変換後の画像から、視点変換前の画像から切り出したような違和感が生じることを避けることができる。以上により、３次元表示装置１００は、３次元画像を視点変換しても、注視点に位置するオブジェクトの移動がなく、注視点に位置するオブジェクトの見易さを確保し、かつ、画像全体の自然さを保つことができる。
【０１４１】
なお、本実施の形態では、融合領域情報１０８ａは、融合領域情報記憶部１０８に事前に記憶されていた。眼球を動かさずに融合できる範囲には個人差がある可能性がある。また、本実施の形態で説明している血管画像を確認するときには、血管の前後関係を確実に確認できる必要があるため、より狭い融合領域が適する。また、同一の個人であっても疲労等により融合領域が時間とともに変化する可能性もある。そこで、融合領域決定部１０９は、ユーザが３次元映像を確認しているときの融合領域の時系列データを融合領域情報記憶部１０８に蓄積し、蓄積された融合領域より狭い融合領域を決定してもよい。特に、長時間の手術等を実施している場合には、より狭い融合領域を用いて補正することが有効である。
【０１４２】
なお、本実施の形態では、３次元画像は、血管を表す血管オブジェクトを含んでいたが、血管オブジェクトを含まなくてもよい。例えば、３次元画像は、例えば腹部、胸部、あるいは頭部の組織のオブジェクトを含んでもよい。このように３次元画像が血管とは異なる部位のオブジェクトを含むことにより、３次元表示装置１００は、手術準備用あるいは教育用の手術シミュレータに適用することができる。
【０１４３】
手術シミュレータは、例えば、特許文献３（国際公開第２０１０／０２１３０９号）のように、患者の身体の３次元画像データを弾性データ等と合わせて記憶し、切開等の手術操作にあわせて画像のポリゴンモデルを変形して表示する。手術シミュレータにおいても、例えば患者の腹部のシミュレーション画像を見ている場合、視点を患者の横から頭側へ移動すると、ユーザが注視している腹部臓器より手前側に胸部や頭部が位置する。このような場合、手前側に位置する身体部分は、２重像となり、注視点の臓器を隠蔽するだけでなく、ちらつき等により不快さをユーザに与える。
【０１４４】
そこで、本実施の形態における３次元表示装置１００を手術シミュレータに適用することにより、融合領域の外側に位置するオブジェクトの表示を抑制することにより、各臓器の配置の情報を残しながら違和感なく３次元画像を表示することができる。
【０１４５】
なお、本実施の形態では視点変換の例として、血管画像を回転する場合を例に３次元表示装置１００の動作を説明したが、視点変換は、ズーム等の回転以外の処理であってもよい。血管画像をズーム処理する場合であっても３次元表示装置１００の動作は画像の回転を行う場合と同様である。ステップＳ１１０でズーム処理の入力があった場合、ステップＳ１２０でユーザの注視点が検出され、ステップＳ１３０でユーザの注視点がズーム処理をする際の中心点として設定される。ステップＳ１４０で両眼中心位置を注視点に近づける、あるいは注視点から遠ざけることによりズーム処理が行われることにより、３次元画像の視点変換が行われる。
【０１４６】
図１９は、実施の形態２の変形例における視点変換を説明するための模式図である。具体的には、図１９は、ズーム処理を模式的に示す図である。図１９の（ａ）は、標準座標系における視点の移動方向とズーム処理（拡大または縮小）との関係を示す。標準座標系で視点の座標が対象物の座標に近づくと、表示される対象物の画像は拡大される。標準座標系で視点の座標が対象物の座標から遠ざかると、表示される対象物の画像は縮小される。
【０１４７】
図１９の（ｂ）は、拡大処理の場合の３次元表示座標系での表示の変化を模式的に示す図である。ドットが付された円柱が視点変換前のオブジェクトであり、白い円柱が拡大処理後のオブジェクトである。拡大処理により、円柱の手前側はユーザの観視位置により近づき、奥側はより遠ざかる。
【０１４８】
図１９の（ｃ）は、縮小処理の場合の３次元表示座標での表示の変化を模式的に示す図である。図１９の（ｂ）と同様に、ドットが付された円柱が視点変換前のオブジェクトであり、白い円柱が縮小処理後のオブジェクトである。縮小処理により、円柱の手前側はユーザの観視位置から遠ざかり、奥側は手前に近づく。
【０１４９】
図１９の例のように、ズーム処理の場合も、オブジェクトの奥行きの範囲が変化する。そこで、回転処理の場合と同様に融合領域に基づいて画像処理を行うことにより、回転処理の場合と同様の効果を奏することができる。
【０１５０】
（実施の形態３）
本実施の形態では、３次元画像は、複数の血管を表す複数の血管オブジェクトを含む。３次元表示装置は、各血管オブジェクトの重要度に基づいて３次元画像を補正する。
【０１５１】
図２０は、実施の形態３における３次元表示装置２００の機能構成を示すブロック図である。
【０１５２】
３次元表示装置２００は、画像情報記憶部２０１と、視点入力部１０２と、視点変換部１０３と、奥行計算部１０４と、センサ１０５と、注視点検出部１０６と、画像変換中心決定部１０７と、融合領域情報記憶部１０８と、融合領域決定部１０９と、血管連関情報抽出部２０２と、血管重要度計算部２０３と、領域分割部２０４と、補正処理決定部２０５と、画像処理部２０６と、表示部１１３とを備える。
【０１５３】
画像情報記憶部２０１は、例えばハードディスクドライブあるいは半導体メモリである。画像情報記憶部２０１は、表示する３次元画像に関する情報である画像情報２０１ａを記憶している。
【０１５４】
画像情報２０１ａは、血管オブジェクトの３次元モデルを表す情報と、血管オブジェクト同士の接続関係を示す連関情報とを含む。具体的には、画像情報２０１ａは、例えば図２１に示すように、血管オブジェクト上の点の座標、表示色、血管ＩＤ、および分岐番号を含む。
【０１５５】
血管連関情報抽出部２０２は、連関情報取得部の一例である。血管連関情報抽出部２０２は、画像情報２０１ａを参照して、注視点に位置する血管オブジェクトと、３次元画像に含まれる複数の血管オブジェクトの各々との接続関係を示す連関情報を取得する。具体的には、血管連関情報抽出部２０２は、注視点検出部１０６で検出されたユーザの注視点の座標情報と、現在表示されている３次元画像上の血管オブジェクトの位置とに基づいて、ユーザが注視している血管オブジェクトと他の血管オブジェクトとの連関情報を、画像情報２０１ａから抽出する。
【０１５６】
血管重要度計算部２０３は、融合領域決定部１０９により決定された融合領域と、血管連関情報抽出部２０２により抽出された連関情報と、各血管オブジェクトの奥行き情報とに基づいて、３次元画像中の各血管オブジェクトの重要度を計算する。
【０１５７】
具体的には、血管重要度計算部２０３は、複数の血管オブジェクトの各々について、当該血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、重要度を算出する。
【０１５８】
また、血管重要度計算部２０３は、例えば、複数の血管オブジェクトの各々について、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように、重要度を算出してもよい。ここで、血管の分岐数とは、２つの血管オブジェクトの一方から他方へ最短経路で血管内をたどったときに現れる血管の分岐および結合の数である。
【０１５９】
また、血管重要度計算部２０３は、例えば、複数の血管オブジェクトの各々について、当該血管オブジェクトと注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように、重要度を算出してもよい。
【０１６０】
領域分割部２０４は、血管重要度計算部２０３が算出した各血管オブジェクトの重要度に従って、３次元画像を奥行き方向に領域分割する。
【０１６１】
補正処理決定部２０５は、領域分割部２０４が分割した領域ごとに３次元画像の処理方法を決定する。
【０１６２】
つまり、補正処理決定部２０５と画像処理部１１２とによって、重要度が低い血管オブジェクトほど表示が抑制されるように３次元画像を補正する処理が行われる。
【０１６３】
図２１に例示した画像情報２０１ａは、血管オブジェクト上の点の座標、表示色、血管ＩＤおよび分岐番号を含む。この座標は、標準座標系で表現されている。表示色は、対応する点の表示色を示す。血管ＩＤは、３次元画像中で血管ごとに一意に付された記号もしくは番号である。
【０１６４】
分岐番号は、血管同士の接続関係を示す番号であり、予め定められた規則に従って血管ＩＤごとに付される。つまり、分岐番号は、連関情報に相当する。例えば図２２に示すように、画像中の血管起始部に分岐番号「０」が付され、分岐番号「０」の血管から直接分岐する血管に順に１桁の番号が付される。さらに、血管が分岐するたびに分岐番号の桁が増やされる。このように分岐番号が付された場合、分岐番号の桁数は、起始部からの分岐の回数を示す。すなわち、分岐番号は、血管同士の接続関係を示す。
【０１６５】
なお、分岐情報の表現は、上記の表現に限定されるものではない。各血管オブジェクトがどの血管オブジェクトから分岐したものであるかを判断可能な表現であれば、分岐情報（連関情報）の表現は、上記以外の表現でもかまわない。
【０１６６】
図２３は、実施の形態３における３次元表示装置２００の処理動作を示すフローチャートである。
【０１６７】
ステップＳ１１０〜ステップＳ１５０の処理が行われた後に、血管連関情報抽出部２０２は、ステップＳ１２０で検出されたユーザの注視点の位置を示す座標と、現在表示されている３次元画像と、画像情報２０１ａの標準座標とを用いて、ユーザが注視している血管オブジェクトを特定する（Ｓ２１０）。さらに血管連関情報抽出部２０２は、画像情報２０１ａを参照して、ユーザが注視している血管オブジェクトと、３次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を抽出する（Ｓ２２０）。
【０１６８】
血管重要度計算部２０３は、ステップＳ２２０で抽出された連関情報と、融合領域とに基づいて、３次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する（Ｓ２３０）。領域分割部２０４は、ステップＳ２３０で算出された重要度に基づいて、３次元画像を複数の領域に分割する（Ｓ２６０）。領域分割部２０４は、分割した領域ごとに重要度を付して出力する。
【０１６９】
補正処理決定部２０５は、ステップＳ２６０で分割された各領域に対して、補正処理を決定する（Ｓ２７０）。補正処理は、重要度に従って決定される。
【０１７０】
図２４は、実施の形態３における血管連関情報抽出部２０２の詳細な機能構成を示すブロック図である。血管連関情報抽出部２０２は、座標変換部２０２ａと、座標照会部２０２ｂと、連関情報抽出部２０２ｃとを備える。
【０１７１】
ステップＳ２２０において、まず、座標変換部２０２ａは、画像処理部２０６から、現在表示されている３次元画像と、その３次元画像の座標情報とを取得する。さらに、座標変換部２０２ａは、画像情報記憶部２０１から、現在表示されている３次元画像に対応する画像情報２０１ａを取得する。さらに、座標変換部２０２ａは、画像情報２０１ａに含まれる標準座標を現在表示されている３次元画像の表示座標に変換する。次に、座標照会部２０２ｂは、注視点検出部１０６からユーザの注視点座標を取得する。そして、座標照会部２０２ｂは、現在表示中の３次元画像の表示座標に変換された血管オブジェクトとユーザの注視点とを比較する。座標照会部２０２ｂは、注視点に最も近い座標位置にある血管オブジェクトをユーザが注視する血管オブジェクトとして特定する。さらには、座標照会部２０２ｂは、注視点から予め定められた距離以内の血管オブジェクトを近接する血管オブジェクトとして抽出する。連関情報抽出部２０２ｃは、ユーザが注視する血管オブジェクトとして特定された血管オブジェクトにつながる血管オブジェクトを、画像情報２０１ａに含まれる血管ＩＤおよび分岐番号に基づいて抽出する。例えば、連関情報抽出部２０２ｃは、ユーザが注視する血管オブジェクトの血管ＩＤと同一の血管ＩＤを持つデータのうち、分岐番号の一番左の数字が同一のデータを抽出することで、血管起始部から第１番目の分岐の位置が同一である血管オブジェクトを抽出する。
【０１７２】
図２５は、実施の形態３における血管重要度計算部２０３の詳細な機能構成を示すブロック図である。
【０１７３】
血管重要度計算部２０３は、融合判定部２０３ａと、距離計算部２０３ｂと、血管分岐距離計算部２０３ｃと、点数変換テーブル２０３ｄと、加算部２０３ｅとを備える。
【０１７４】
図２６は、実施の形態３における血管重要度計算部２０３の処理動作を示すフローチャートである。
【０１７５】
まず、融合判定部２０３ａは、ステップＳ１５０で計算された各オブジェクト上の点の表示座標系における奥行き（すなわちＺ座標値）と、ステップＳ１２０で求められた手前側融合限界の奥行位置と奥側融合限界の奥行位置とを用いて、血管オブジェクト上の各点が、融合領域より手前側に位置するか、融合領域内に位置するか、融合領域より奥側に位置するかを判定する（Ｓ２３１）。
【０１７６】
距離計算部２０３ｂは、ステップＳ２２０で抽出された血管オブジェクト上の各点について、当該点と注視点とのユークリッド距離を計算する（Ｓ２３２）。
【０１７７】
血管分岐距離計算部２０３ｃは、ステップＳ２２０で抽出された各血管オブジェクトについて、ステップＳ２１０で特定されたユーザが注視している血管オブジェクトとの分岐距離を計算する（Ｓ２３３）。分岐距離は分岐数を示す。分岐距離は、例えば、分岐番号から算出される。具体的には、血管分岐距離計算部２０３ｃは、各血管オブジェクトの分岐番号と注視している血管オブジェクトの分岐番号とを比較し、分岐番号の１番左の数字の差に１００００を掛け、左から２番目の数字の差に１０００を掛け、左から３番目の数字の差に１００を掛け、左から４番目の数字の差に１０を掛けたものを足し合わせることにより分岐距離を算出する。血管分岐距離計算部２０３ｃは、一方の分岐番号の桁が足りない場合は、比較する桁の数字が０であるものとして計算する。
【０１７８】
なお、分岐距離の計算方法は上記の方法に限るものではない。血管オブジェクト上の２点が、どこまで分岐をさかのぼると同一の血管オブジェクトになるかを量的に判断できる計算方法であればよい。
【０１７９】
加算部２０３ｅは、点数変換テーブル２０３ｄを参照して、ステップＳ２３１の判定結果と、ステップＳ２３２で計算された空間距離と、ステップＳ２３３で計算された分岐距離とにそれぞれ対応する点数を取得する（Ｓ２３４）。点数変換テーブル２０３ｄは、例えば図２７Ａ〜図２７Ｃに示すように、血管重要度を判断する要素に対応する点数（加点あるいは減点）を含む。
【０１８０】
加算部２０３ｅは、例えば、図２７Ａに示す第１点数変換テーブルを参照して、ステップＳ２３１の判定結果に対応する点数（−１５００、０、または−６００）を取得する。同様に、加算部２０３ｅは、例えば、図２７Ｂに示す第２点数変換テーブルを参照して、ステップＳ２３２で計算されたユークリッド距離に対応する点数を取得する。また、加算部２０３ｅは、例えば、図２７Ｃに示す第３点数変換テーブルを参照して、ステップＳ２３３で計算された分岐距離に対応する点数を取得する。
【０１８１】
各点数変換テーブルに含まれる点数は、例えば統計学習等によってあらかじめ定められた点数である。
【０１８２】
第１点数変換テーブルでは、血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、点数が定められている。また第１点数変換テーブルでは、血管オブジェクトが融合領域の奥側に位置する場合に当該血管オブジェクトが融合領域の手前側に位置する場合よりも重要度が高くなるように点数が定められている。
【０１８３】
第２点数変換テーブルでは、血管オブジェクトと注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように点数が定められている。
【０１８４】
第３点数変換テーブルでは、血管オブジェクトと注視点に位置する血管オブジェクトとの間における血管の分岐数（分岐距離）が少ないほど重要度が高くなるように点数が定められている。
【０１８５】
さらに加算部２０３ｅは、ステップＳ２３４で取得された点数を血管オブジェクト上の点ごとに加算することにより重要度を算出する（Ｓ２３５）。
【０１８６】
なお、本実施の形態では、加算部２０３ｅは、点数変換テーブルを参照して点数を取得しているが、あらかじめ定められた変換関数を用いて点数を取得してもよい。
【０１８７】
図２８は、実施の形態３における領域分割部２０４の詳細な機能構成を示すブロック図である。
【０１８８】
領域分割部２０４は、分割テーブル２０４ａと分割処理部２０４ｂとを備える。
【０１８９】
ステップＳ２６０において、まず、分割処理部２０４ｂは、ステップＳ２３０で算出された血管オブジェクトの重要度に従って分割テーブル２０４ａを参照して３次元画像を複数の領域に分割する。
【０１９０】
例えば、分割処理部２０４ｂは、図２９に示す分割テーブル２０４ａを参照することにより、融合領域より手前側の領域を２つの領域に分割し、融合領域より奥側の領域を３つの領域に分割する。なお、図２９に示す分割テーブル２０４ａは一例である。領域分割部２０４は、さらに多くの領域に分割するための分割テーブル２０４ａを備えてもよい。また、領域分割部２０４は、融合領域を複数の領域に分割してもよい。また、本実施の形態では、領域分割するための重要度の境界値は、固定値であったが、重要度の分布あるいは３次元画像の奥行きの分布に応じて適応的に変更されてもよい。
【０１９１】
なお、本実施の形態では、領域の分割数は、固定であったが、３次元画像の奥行きの分布範囲や、表示範囲の大きさ、あるいは表示画面の大きさに応じて変更されてもよい。
【０１９２】
ステップＳ２７０では、補正処理決定部２０５は、ステップＳ２６０で分割された領域ごとに、分割テーブル２０４ａを参照して補正処理方法を決定する。
【０１９３】
ステップＳ１８０では、画像処理部２０６は、ステップＳ２７０で決定された領域ごとの補正処理にしたがって左眼用画像と右眼用画像とを生成する。半透明の補正処理が決定された領域については、オブジェクトの頂点座標を生成する際に表示色が半透明にされる。一方、ぼかし１からぼかし３の補正処理が決定された領域については、ピクセル生成を行った後に、フィルタリングによるぼかし処理が行われる。ぼかし１からぼかし３では、ローパスフィルタの制限周波数が異なる。本実施の形態では、ぼかし１の制限周波数が最も低く、ぼかし３の制限周波数が最も高い。
【０１９４】
このように、血管の重要度によって補正処理を変更することで、融合領域より手前側に位置する血管オブジェクトであっても、ユーザにとって有用な血管オブジェクトについては、完全に非表示にはしないことができる。また、融合領域より奥側に位置する血管オブジェクトのうちユーザにとって有用な血管オブジェクトについては、ぼかし量を少なくすることができる。したがって、３次元表示装置２００は、血管オブジェクトの、奥行きのみでなく、重要度にしたがって補正処理を決定することで、注視点に位置する血管オブジェクトにつながる重要な血管オブジェクトの情報が失われることを抑制しつつ、３次元画像の視認性を向上させることができる。
【０１９５】
＜効果＞
以上のように、本実施の形態における３次元表示装置２００によれば、ユーザが注視する血管オブジェクトに空間距離が近いだけでなく、ユーザが注視する血管オブジェクトに対する接続性が高い血管オブジェクトの視認性を向上させることができる。したがって、ユーザにとってより有用な血管オブジェクトの視認性を向上させることができる。例えば、融合領域の外側に位置している血管オブジェクトであっても、注視している血管オブジェクトと関連が大きな血管オブジェクトの情報が欠落することを抑制することができる。
【０１９６】
なお、本実施の形態において、ステップＳ２３０で求めた重要度に従って、ステップＳ２６０で領域分割が行われたが、領域分割は行われなくてもよい。この場合、重要度を画像処理パラメータに変換して画像処理を行うことで、３次元画像の補正が行われてもよい。
【０１９７】
（実施の形態４）
実施の形態４は、血管の重要度を、カテーテル等の医療器具の状態を加味して決定する点が実施の形態３と異なる。
【０１９８】
図３０は、実施の形態４における３次元表示装置３００の機能構成を示すブロック図である。
【０１９９】
３次元表示装置３００は、画像情報記憶部３０３と、視点入力部１０２と、視点変換部１０３と、奥行計算部１０４と、センサ１０５と、注視点検出部１０６と、画像変換中心決定部１０７と、融合領域情報記憶部１０８と、融合領域決定部１０９と、血管連関情報抽出部２０２と、血管重要度計算部３０５と、領域分割部２０４と、補正処理決定部２０５と、画像処理部２０６と、表示部１１３と、器具情報記憶部３０２と、器具進行方向判断部３０４と、画像・器具情報入力部３０１とを備える。
【０２００】
画像・器具情報入力部３０１は、カテーテル等の医療器具が血管内に挿入されたときの血管および医療器具の画像と医療器具の情報（器具情報）との入力を受付け、器具情報記憶部３０２と画像情報記憶部３０３とに出力する。画像は、図示しないカメラもしくはＸ線撮像機等の撮像機器または録画機器から入力される。器具情報は、図示しない器具の制御機器、または器具の画像から器具情報を取得する画像処理システム等から入力される。
【０２０１】
器具情報記憶部３０２は、カテーテル等の血管内を進行する医療器具の先端部の位置を時系列で示す器具情報３０２ａを記憶している。また、画像情報記憶部３０３は、画像情報３０３ａを記憶している。画像情報３０３ａは、血管オブジェクトおよび器具オブジェクトの３次元モデルを時系列で表す情報と、血管オブジェクト同士の接続関係を示す連関情報とを含む。
【０２０２】
図３２は、実施の形態４における器具情報３０２ａの一例を示す図である。図３２に示すように、器具情報３０２ａは、時間情報、標準座標系における血管オブジェクトおよび器具オブジェクト上の点の座標、表示色、および器具オブジェクトの先端部の位置を示す先端情報を含む。
【０２０３】
図３３は、実施の形態４における画像情報３０３ａの一例を示す図である。図３３に示すように、画像情報３０３ａは、時間情報、標準座標系における血管オブジェクトおよび器具オブジェクト上の点の座標、表示色、血管ＩＤおよび血管の分岐番号の情報を含む。
【０２０４】
ここでは、画像情報３０３ａに含まれる点の座標は、器具情報３０２ａに含まれる点の座標と同一である。また、画像情報３０３ａは、器具情報３０２ａと時間的に同期している。なお、器具情報３０２ａと画像情報３０３ａとは、時系列情報でなく、任意の時刻の情報であってもよい。つまり、３次元画像は、動画ではなく、静止画であってもよい。
【０２０５】
器具進行方向判断部３０４は、特定部の一例である。器具進行方向判断部３０４は、器具情報３０２ａが示す器具オブジェクトの先端部の位置に基づいて、器具オブジェクトと各血管オブジェクトとの関係を判断する。具体的には、器具進行方向判断部３０４は、複数の血管オブジェクトの中で、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトを特定する。
【０２０６】
図３１は、実施の形態４における血管重要度計算部３０５の詳細な機能構成を示すブロック図である。
【０２０７】
血管重要度計算部３０５は、融合判定部２０３ａと、距離計算部２０３ｂと、血管分岐距離計算部２０３ｃと、点数変換テーブル３０５ｄと、加算部３０５ｅとを備える。
【０２０８】
血管重要度計算部３０５は、融合領域決定部１０９により決定された融合領域と、奥行計算部１０４により計算された血管オブジェクトの奥行きと、血管連関情報抽出部２０２により抽出された連関情報と、器具進行方向判断部３０４により判断された器具の移動の情報に基づいて、血管オブジェクトの重要度を計算する。
【０２０９】
本実施の形態における３次元表示装置３００において、器具進行方向判断部３０４の動作と、器具進行方向判断部３０４の出力を用いる血管重要度計算部３０５の動作とが実施の形態２と異なる。
【０２１０】
器具進行方向判断部３０４は、まず、血管オブジェクトと同様に、器具オブジェクトの座標を変換する。そして、器具進行方向判断部３０４は、器具オブジェクトの先端部の位置に最も近い血管オブジェクトを器具が挿入されている血管オブジェクトとして特定する。
【０２１１】
例えば、図３２では、時間００：１２：５４．０６の座標（２２，１８，１７３）に器具オブジェクトの先端がある。図３３では、時間００：１２：５４．０６の座標（２２，１８，１７３）に血管ＩＤ「Ａ０１」の分岐番号「１１１」の血管オブジェクトが表示されていることが示されている。
【０２１２】
器具進行方向判断部３０４は、画像情報３０３ａと、器具情報３０２ａとを参照して、器具オブジェクトの先端部が存在する血管オブジェクトの血管ＩＤと分岐番号とを取得する。器具進行方向判断部３０４は、現在表示している３次元画像の時点から一定時間（例えば３０秒）さかのぼった時点の器具情報３０２ａを参照し、一定時間さかのぼった時点での器具オブジェクトの先端部の位置の座標を取得する。一定時間さかのぼった時点での器具オブジェクトの先端部の位置の座標と画像情報３０３ａとから、一定時間さかのぼった時点での器具オブジェクトの先端部があった血管オブジェクトを特定する。
【０２１３】
例えば図３２では、器具進行方向判断部３０４は、時間００：１２：５４．０６から３０秒さかのぼった００：１２：２４．０６の器具情報３０２ａを参照して、３０秒前の器具オブジェクトの先端部の位置を示す座標（２１，１９，１８７）を特定する。そして、器具進行方向判断部３０４は、図３３の画像情報３０３ａを参照して、時間００：１２：２４．０６での座標（２１，１９，１８７）における血管オブジェクトの血管ＩＤ「Ａ０１」および分岐番号「１１」を取得する。器具進行方向判断部３０４は、過去に器具オブジェクトの先端部が存在した血管オブジェクト（図３３の例では血管ＩＤ「Ａ０１」および分岐番号「１１」を有する血管オブジェクト）と、現在器具オブジェクトの先端部が存在する血管オブジェクト（図３３の例では血管ＩＤ「Ａ０１」および分岐番号「１１１」を有する血管オブジェクト）とを抽出し、２つの時点の間で器具オブジェクトの先端部が既に通過した血管オブジェクトの血管ＩＤと分岐番号とを特定する。図３３の例では、器具オブジェクトの先端部が既に通過した血管オブジェクトは、血管ＩＤ「Ａ０１」および分岐番号「１１」を有する血管オブジェクトと、血管ＩＤ「Ａ０１」および分岐番号「１１１」を有する血管オブジェクトである。
【０２１４】
さらに器具進行方向判断部３０４は、特定された血管ＩＤと分岐番号とを用いて、今後器具オブジェクトが通過する可能性のある血管オブジェクトと、器具オブジェクトの通過とは関係のない血管オブジェクトとを決定する。器具オブジェクトの通過と関係のない血管オブジェクトとは、器具オブジェクトが通過しない血管オブジェクトである。すなわち、器具オブジェクトの通過と関係のない血管オブジェクトとは、器具オブジェクトが通過する可能性がない血管オブジェクトである。
【０２１５】
血管ＩＤと分岐番号には、例えば図２２のように、各血管オブジェクトがどの血管オブジェクトから分岐したものであるかが判断できる情報が含まれている。図２２の例では、器具オブジェクトは、血管ＩＤ「Ａ０１」および分岐番号「１１」を有する血管オブジェクトと血管ＩＤ「Ａ０１」および分岐番号「１１１」を有する血管オブジェクトとを通過している。したがって、器具オブジェクトは、血管起支部から分岐番号が増加する方向へ進んでいることが判定できる。
【０２１６】
したがって、器具進行方向判断部３０４は、血管ＩＤ「Ａ０１」と、上３桁が「１１１」である分岐番号とを有する血管オブジェクトを、今後器具オブジェクトが通過する可能性のある血管オブジェクトと決定する。また、器具進行方向判断部３０４は、これ以外の血管オブジェクトを、器具オブジェクトの通過と関係のない血管オブジェクトと決定する。器具進行方向判断部３０４は、器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトの先端部が通過する可能性のある血管オブジェクトと、器具オブジェクトの先端部の通過とは関係の無い血管オブジェクトとを示す情報を血管重要度計算部３０５に出力する。
【０２１７】
血管重要度計算部３０５は、融合領域決定部１０９から融合領域を取得し、血管連関情報抽出部２０２から連関情報を取得し、奥行計算部１０４から血管オブジェクトの奥行きを取得する。さらに、血管重要度計算部３０５は、器具進行方向判断部３０４から器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトが通過する可能性のある血管オブジェクトと、器具オブジェクトの通過とは無関係の血管オブジェクトとを示す情報を取得する。
【０２１８】
血管分岐距離計算部３０５ｃは、実施の形態３のステップＳ２３３と同様に、分岐距離を計算する。さらに血管分岐距離計算部３０５ｃは、器具進行方向判断部３０４から出力された器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトが通過する可能性のある血管オブジェクトと、器具オブジェクトの通過とは無関係の血管オブジェクトとを示す情報を、分岐距離が計算された血管オブジェクトに付与する。
【０２１９】
加算部３０５ｅは、点数変換テーブル３０５ｄを参照して、点数を取得する。ここで、加算部３０５ｅは、器具オブジェクトの先端部が既に通過した血管オブジェクトと器具オブジェクトの通過とは無関係の血管オブジェクトについては点数を下げ、今後器具オブジェクトが通過する可能性のある血管オブジェクトについては点数を上げる処理を行う。
【０２２０】
図３４Ａ〜図３４Ｅは、実施の形態４における点数変換テーブル３０５ｄの一例を示す図である。点数変換テーブル３０５ｄには、例えば、融合領域に関する第１点数変換テーブルと、空間距離に関する第２点数変換テーブルと、器具オブジェクトの通過との関係により３つに区分された、分岐距離に関する第３〜第５点数変換テーブルとが含まれる。
【０２２１】
図３４Ａに示す第１点数変換テーブルは、図２７Ａに示す第１点数変換テーブルと同一である。また、図３４Ｂに示す第２点数変換テーブルは、図２７Ｂに示す第２点数変換テーブルと同一である。
【０２２２】
第４点数変換テーブルは、例えば、今後器具オブジェクトが通過する可能性のある血管オブジェクトの分岐距離に関するテーブルである。また、第３点数変換テーブルは、器具オブジェクトが既に通過した血管オブジェクトの分岐距離に関するテーブルである。また、第５点数変換テーブルは、器具オブジェクトの通過とは無関係の血管オブジェクトの分岐距離に関するテーブルである。
【０２２３】
加算部３０５ｅは、図２６のステップＳ２３１の判定結果と、ステップＳ２３２で計算された空間距離と、血管分岐距離計算部３０５ｃにより計算された分岐距離と、器具オブジェクトの通過状況に基づく分類の情報とを用いて点数変換テーブル３０５ｄを参照して血管オブジェクト上の点ごとに点数を取得する。
【０２２４】
図３４Ｄに示すように、今後器具オブジェクトが通過する可能性のある血管オブジェクトに関する第４点数変換テーブルでは、分岐距離に対して比較的高い点数が対応付けられている。これに対して、図３４Ｃに示すように、器具オブジェクトが既に通過した血管オブジェクトに関する第３点数変換テーブルでは、分岐距離に対して、第４点数変換テーブルよりも低い点数が対応付けられている。また図３４Ｅに示すように、器具オブジェクトの通過とは無関係の血管オブジェクトに関する第５点数変換テーブルでは、分岐距離に対して、第３および第４点数変換テーブルよりも低い点数が対応付けられている。例えば、このような点数変換テーブルを用いて分岐距離に対応する点数が取得されることにより、加算部３０５ｅは、器具オブジェクトの先端部が既に通過した血管オブジェクトと、器具オブジェクトの通過とは無関係の血管オブジェクトの分岐距離に対する点数を下げ、今後器具オブジェクトが通過する可能性のある血管オブジェクトの分岐距離に対する点数を上げることができる。
【０２２５】
以上のように本実施の形態における３次元表示装置３００によれば、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように３次元画像を補正することができる。したがって、３次元表示装置３００は、器具オブジェクトの進行する可能性がある血管オブジェクトの表示を優先することができ、有用な３次元画像を表示することが可能となる。
【０２２６】
なお、本実施の形態では、器具進行方向判断部３０４は、器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトの先端部が通過する可能性のある血管オブジェクトと、器具オブジェクトの先端部の通過とは関係の無い血管オブジェクトとを特定していたが、これらの３種類の血管オブジェクトを特定しなくてもよい。つまり、器具進行方向判断部３０４は、器具オブジェクトの先端部が既に通過した血管オブジェクトと、今後器具オブジェクトの先端部が通過する可能性のある血管オブジェクトと、器具オブジェクトの先端部の通過とは関係の無い血管オブジェクトとの少なくとも１つを特定すればよい。
【０２２７】
また、本実施の形態では、３次元表示装置は、融合領域内のオブジェクトに対しては補正を行わなかったが、融合領域内で重要度が特に高い血管オブジェクトについては強調処理を行ってもよい。強調処理は、例えば、コントラスト強調、エッジ強調、あるいは表示色の変更等によって実現できる。
【０２２８】
これにより、カテーテル等の医療器具が血管内に挿入されているときに撮影された３次元画像を表示する場合に、３次元表示装置は、医療器具の進行方向の領域の画像の表示を優先あるいは強調することができる。さらに、３次元表示装置は、すでに医療器具が通過した領域については優先度を下げて画像の処理を行うことができる。これにより、３次元表示装置は、単に３次元表示上の位置のみでなく、ユーザが見る必要のある血管オブジェクトをより自然にはっきりと見ることができるよう表示することができる。
【０２２９】
（実施の形態５）
図３５は、実施の形態５における３次元表示装置５００の機能構成を示すブロック図である。
【０２３０】
３次元表示装置５００は、注視点取得部５１０と、融合領域決定部５２０と、血管連関情報取得部５３０と、血管重要度計算部５４０と、補正部５５０とを備える。
【０２３１】
注視点取得部５１０は、ユーザの注視点を取得する。注視点取得部５１０は、例えば、マウスやタッチパネルのようなポインティングデバイスに代表される入力手段である。ユーザは、表示される３次元画像中でユーザの注視点を指し示す。注視点取得部５１０は、ユーザが指し示した画像中の点を注視点として取得する。また、注視点取得部５１０は、例えば、視線検出により注視点を取得しても良い。なお、注視点取得部５１０は、上記以外の方法で注視点を取得しても良い。
【０２３２】
融合領域決定部５２０は、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する。具体的には、融合領域決定部５２０は、例えば、複数の注視点の奥行き方向の位置と、複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を保持する。この場合、融合領域決定部５２０は、融合領域情報を参照することにより、取得された注視点の位置に対応する融合領域を決定する。
【０２３３】
血管連関情報取得部５３０は、例えば、血管連関情報を記憶する記憶部（図示せず）あるいは３次元画像より血管の連関情報を生成する認識部（図示せず）より、３次元画像中の血管オブジェクトの連関情報を取得する。
【０２３４】
血管重要度計算部５４０は、融合領域決定部５２０により決定された融合領域と、血管連関情報取得部５３０が取得した血管の連関情報と、各血管オブジェクトの奥行き情報とに基づいて、３次元画像中の各血管オブジェクトの重要度を計算する。
【０２３５】
補正部５５０は、血管重要度計算部５４０が出力した血管オブジェクトの重要度に従って表示される画像の補正を行う。
【０２３６】
図３６は、実施の形態５における３次元表示装置５００の処理動作を示すフローチャートである。３次元表示装置５００は、例えば、図示しない表示開始入力手段により受け付けられたユーザからの表示開始指示に従って、以下の処理を開始する。
【０２３７】
まず、注視点取得部５１０は、ユーザが３次元画像内で注視している３次元画像座標を取得する（Ｓ５１０）。血管連関情報取得部５３０は、ステップＳ５１０で取得されたユーザの注視点の位置を示す座標と、現在表示されている３次元画像とを用いて、ユーザが注視している血管オブジェクトを特定する（Ｓ５２０）。さらに、血管連関情報取得部５３０は、ユーザが注視している血管オブジェクトと、３次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を取得する（Ｓ５３０）。血管重要度計算部５４０は、ステップＳ５３０で取得された連関情報と、予め定められた融合領域とに基づいて、３次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する（Ｓ５４０）。補正部５５０は、ステップＳ５４０で算出された重要度に基づいて、３次元画像を複数の領域に分割する（Ｓ５５０）。補正部５５０は、分割した領域ごとに３次元画像を補正する（Ｓ５６０）。
【０２３８】
以上のように、本実施の形態における３次元表示装置５００によれば、ユーザが注視する血管オブジェクトに空間距離が近いだけでなく、ユーザが注視する血管オブジェクトに対する接続性が高い血管オブジェクトの視認性を向上させることができる。したがって、ユーザにとってより有用な血管オブジェクトの視認性を向上させることができる。例えば、融合領域の外側に位置している血管オブジェクトであっても、注視している血管オブジェクトと関連が大きな血管オブジェクトの情報が欠落することを抑制することができる。
【０２３９】
なお、本実施の形態において血管重要度計算部５４０は、血管連関情報と、融合領域とに基づいて、血管オブジェクトの重要度を算出したが、重要度の算出の際に、血管オブジェクトが融合領域に含まれる場合に当該血管オブジェクトが融合領域に含まれない場合よりも重要度が高くなるように、当該血管オブジェクトの重要度を算出しても良い。これにより、３次元表示装置５００は、融合領域内の血管が欠落しにくい自然な画像を表示することができる。
【０２４０】
（実施の形態６）
図３７は、実施の形態６における３次元画像処理装置６００の機能構成を示すブロック図である。
【０２４１】
３次元画像処理装置６００は、注視点取得部５１０と、融合領域決定部５２０と、特定部６１０と、補正部６５０とを備える。
【０２４２】
注視点取得部５１０は、ユーザの注視点を取得する。注視点取得部５１０は、表示される３次元画像中の点をユーザの注視点として取得する。画像中の注視点を取得する方法は、例えば、ポインティングデバイスによる点の指定や視線検出による点の指定のように、ユーザの行動に基づいて注視点を取得する方法や、画面の中央の点を注視点として取得する方法がある。また、特定部６１０により特定される医療機器の先端部を注視点として取得する方法もある。注視点の取得方法については、これ以外の方法でも良い。
【０２４３】
融合領域決定部５２０は、取得された注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する。
【０２４４】
特定部６１０は、表示される３次元画像中の器具オブジェクトの先端部の位置に基づいて、器具オブジェクトと各血管オブジェクトとの関係を判断する。具体的には、特定部６１０は、複数の血管オブジェクトの中で、器具オブジェクトが既に通過した血管オブジェクトまたは器具オブジェクトが通過しない血管オブジェクトを特定する。
【０２４５】
補正部６５０は、融合領域決定部５２０の出力と、特定部６１０の出力を取得する。補正部６５０は、融合領域外の血管オブジェクトの表示を抑制し、さらに、特定部６１０が表示される３次元画像中で特定した、器具オブジェクトが既に通過した血管オブジェクトの表示を抑制するように画像の補正を行う。
【０２４６】
以上のように、本実施の形態における３次元画像処理装置６００によれば、ユーザの注視点に空間距離が近い血管オブジェクトの視認性が高い画像に補正するだけではなく、カテーテル等の医療器具がすでに通過した血管オブジェクトの表示を抑制し、かつ、医療器具がこれから通過する可能性のある血管オブジェクトの視認性を向上することができる。
【０２４７】
（他の実施の形態）
以上、１つまたは複数の態様に係る３次元表示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つまたは複数の態様の範囲内に含まれてもよい。
【０２４８】
例えば、上記実施の形態２〜４において、視点入力部１０２からの視点変換入力があった場合に、３次元表示装置が一連の動作を行っていたが、注視点の一定以上の移動の入力があった場合に、３次元表示装置が一連の動作を行ってもよい。これにより、注視点の移動に応じて、３次元画像を適切に補正することができ、ユーザの操作入力なくても３次元画像の視認性を向上させることができる。
【０２４９】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
【０２５０】
すなわち、このプログラムは、コンピュータに、３次元画像を表示する３次元表示方法であって、ユーザの注視点の位置を取得する注視点取得ステップと、取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定ステップと、前記融合領域の外側において前記３次元画像に含まれるオブジェクトの表示が抑制されるように、前記３次元画像を補正する補正ステップと、補正された前記３次元画像を表示する表示ステップとを含む３次元表示方法を実行させる。
【産業上の利用可能性】
【０２５１】
本発明の一態様に係る３次元画像装置は、３次元画像または３次元映像を表示する表示装置として有用であり、特に、テレビ、コンピュータ、あるいはゲーム機等に有用である。
【符号の説明】
【０２５２】
１０、１００、２００、３００、５００  ３次元表示装置
１１、５１０  注視点取得部
１２、１０９、５２０  融合領域決定部
１３、５５０、６５０  補正部
１４、１１３、５６０  表示部
１０１、２０１、３０３  画像情報記憶部
１０１ａ、２０１ａ、３０３ａ  画像情報
１０２  視点入力部
１０３  視点変換部
１０４  奥行計算部
１０５  センサ
１０６  注視点検出部
１０７  画像変換中心決定部
１０８  融合領域情報記憶部
１０８ａ  融合領域情報
１１０、２０４  領域分割部
１１１、２０５  補正処理決定部
１１２、２０６  画像処理部
２０２  血管連関情報抽出部
２０２ａ  座標変換部
２０２ｂ  座標照会部
２０２ｃ  連関情報抽出部
２０３、３０５、５４０  血管重要度計算部
２０３ａ  融合判定部
２０３ｂ  距離計算部
２０３ｃ、３０５ｃ  血管分岐距離計算部
２０３ｄ、３０５ｄ  点数変換テーブル
２０３ｅ、３０５ｅ  加算部
２０４ａ  分割テーブル
２０４ｂ  分割処理部
３０１  器具情報入力部
３０２  器具情報記憶部
３０２ａ  器具情報
３０４  器具進行方向判断部
５３０  血管連関情報取得部
６００  ３次元画像処理装置
６１０  特定部
【図１】
2014057618.tif 000003
【図２】
2014057618.tif 000004
【図３】
2014057618.tif 000005
【図４】
2014057618.tif 000006
【図５】
2014057618.tif 000007
【図６】
2014057618.tif 000008
【図７】
2014057618.tif 000009
【図８Ａ】
2014057618.tif 000010
【図８Ｂ】
2014057618.tif 000011
【図９】
2014057618.tif 000012
【図１０】
2014057618.tif 000013
【図１１】
2014057618.tif 000014
【図１２】
2014057618.tif 000015
【図１３】
2014057618.tif 000016
【図１４】
2014057618.tif 000017
【図１５】
2014057618.tif 000018
【図１６】
2014057618.tif 000019
【図１７】
2014057618.tif 000020
【図１８】
2014057618.tif 000021
【図１９】
2014057618.tif 000022
【図２０】
2014057618.tif 000023
【図２１】
2014057618.tif 000024
【図２２】
2014057618.tif 000025
【図２３】
2014057618.tif 000026
【図２４】
2014057618.tif 000027
【図２５】
2014057618.tif 000028
【図２６】
2014057618.tif 000029
【図２７Ａ】
2014057618.tif 000030
【図２７Ｂ】
2014057618.tif 000031
【図２７Ｃ】
2014057618.tif 000032
【図２８】
2014057618.tif 000033
【図２９】
2014057618.tif 000034
【図３０】
2014057618.tif 000035
【図３１】
2014057618.tif 000036
【図３２】
2014057618.tif 000037
【図３３】
2014057618.tif 000038
【図３４Ａ】
2014057618.tif 000039
【図３４Ｂ】
2014057618.tif 000040
【図３４Ｃ】
2014057618.tif 000041
【図３４Ｄ】
2014057618.tif 000042
【図３４Ｅ】
2014057618.tif 000043
【図３５】
2014057618.tif 000044
【図３６】
2014057618.tif 000045
【図３７】
2014057618.tif 000046
【手続補正書】
【提出日】平成27年7月6日(2015.7.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元画像を表示する３次元表示装置であって、
ユーザの注視点の位置を取得する注視点取得部と、
取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、
前記融合領域の外側において前記３次元画像に含まれるオブジェクトの表示が抑制されるように、前記３次元画像を補正する補正部と、
補正された前記３次元画像を表示する表示部とを備える
３次元表示装置。
【請求項２】
前記補正部は、前記３次元画像に含まれるオブジェクトであって前記融合領域より手前側に位置するオブジェクトを削除することにより、前記３次元画像を補正する
請求項１に記載の３次元表示装置。
【請求項３】
前記補正部は、前記３次元画像に含まれるオブジェクトであって前記融合領域よりも奥側に位置するオブジェクトをぼかすことにより、前記３次元画像を補正する
請求項１または２に記載の３次元表示装置。
【請求項４】
前記３次元表示装置は、さらに、
前記３次元画像に含まれるオブジェクトであって前記注視点の位置に表示されているオブジェクトの表示位置が奥行き方向に変化しないように、前記３次元画像の視点変換を行う視点変換部を備え、
前記補正部は、視点変換が行われた前記３次元画像を補正する
請求項１〜３のいずれか１項に記載の３次元表示装置。
【請求項５】
前記視点変換は、前記注視点の位置を中心とする前記３次元画像の回転処理である
請求項４に記載の３次元表示装置。
【請求項６】
前記３次元表示装置は、さらに、
複数の注視点の奥行き方向の位置と、前記複数の注視点の奥行き方向の位置にそれぞれ対応する複数の融合領域とを示す融合領域情報を記憶している融合領域情報記憶部を備え、
前記融合領域決定部は、前記融合領域情報を参照することにより、取得された前記注視点の位置に対応する前記融合領域を決定する
請求項１〜５のいずれか１項に記載の３次元表示装置。
【請求項７】
前記３次元画像は、複数の血管を表す複数の血管オブジェクトを含み、
前記３次元表示装置は、さらに、
前記注視点に位置する血管オブジェクトと、前記３次元画像に含まれる複数の血管オブジェクトの各々との間の接続関係を示す連関情報を取得する連関情報取得部と、
前記融合領域と前記連関情報とに基づいて、前記３次元画像に含まれる複数の血管オブジェクトの各々の重要度を算出する血管重要度計算部とを備え、
前記補正部は、前記重要度が低い血管オブジェクトほど表示が抑制されるように、前記３次元画像を補正する
請求項１〜６のいずれか１項に記載の３次元表示装置。
【請求項８】
前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトが前記融合領域に含まれる場合に当該血管オブジェクトが前記融合領域に含まれない場合よりも重要度が高くなるように、前記重要度を算出する
請求項７に記載の３次元表示装置。
【請求項９】
前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間における血管の分岐数が少ないほど重要度が高くなるように、前記重要度を算出する
請求項７または８に記載の３次元表示装置。
【請求項１０】
前記血管重要度計算部は、前記複数の血管オブジェクトの各々について、当該血管オブジェクトと前記注視点に位置する血管オブジェクトとの間の空間距離が小さいほど重要度が高くなるように、前記重要度を算出する
請求項７〜９のいずれか１項に記載の３次元表示装置。
【請求項１１】
前記３次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも１つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、
前記３次元表示装置は、さらに、
前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部を備え、
前記補正部は、前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記３次元画像を補正する
請求項１に記載の３次元表示装置。
【請求項１２】
３次元画像を表示する３次元表示方法であって、
ユーザの注視点の位置を取得する注視点取得ステップと、
取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定ステップと、
前記融合領域の外側において前記３次元画像に含まれるオブジェクトの表示が抑制されるように、前記３次元画像を補正する補正ステップと、
補正された前記３次元画像を表示する表示ステップとを含む
３次元表示方法。
【請求項１３】
請求項１２に記載の３次元表示方法をコンピュータに実行させるためのプログラム。
【請求項１４】
３次元画像を処理する３次元画像処理装置であって、
前記３次元画像は、複数の血管を表す複数の血管オブジェクトと、前記複数の血管オブジェクトのうちの少なくとも１つの血管オブジェクト内を進行する医療器具を表す器具オブジェクトとを含み、
前記３次元画像処理装置は、
ユーザの注視点の位置を取得する注視点取得部と、
取得された前記注視点の位置に基づいて、両眼融合が可能な範囲である融合領域を決定する融合領域決定部と、
前記複数の血管オブジェクトの中で、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトを特定する特定部と、
前記融合領域の外側に位置する血管オブジェクトであって、前記器具オブジェクトが既に通過した血管オブジェクトまたは前記器具オブジェクトが通過しない血管オブジェクトの表示が抑制されるように、前記３次元画像を補正する補正部とを備える
３次元画像処理装置。
【国際調査報告】
2014057618.tif 000047
2014057618.tif 000048