(57)【要約】【課題】操作手段の受け渡しを行う必要がなく、また、衛生上の問題を考慮する必要もなく、操作者の操作に関する利便性をより向上させることのできる画像表示装置を提供する。【解決手段】画像表示装置は、操作者の所定の操作に応じて、操作権限者を規定すると共に、この操作権限者に対して、キーボードやマウス等に相当する操作手段を適切な空間部分に定義する。尚、操作手段として、仮想平面Ｇや仮想キーボードＨを定義することで、操作者が表示画像に対して、マウス操作であるクリック操作、ドラック操作、ダブルクリック操作等を行うことや、所望する線、図形、或いは、文字等を描画、入力することを可能にする。【選択図】      図５
2004258714.tif 000002
【特許請求の範囲】
【請求項１】
画像を画面に表示する表示手段と、
操作者の位置及び操作者の手の位置を検出する操作位置検出手段と、
前記操作者の位置に基づいて、前記画面と前記操作者との間に仮想平面を定義する仮想平面定義手段と、
前記手の位置情報と、前記仮想平面の位置情報とに基づいて、前記仮想平面と前記操作者の手との接触を判定する判定手段と、
前記判定手段による判定結果に基づいて、前記画像の表示に関する制御を行う表示制御手段と、を備えたことを特徴とする画像表示装置。
【請求項２】
人の手の形状を検出する形状検出手段と、
前記形状検出手段により、前記手が所定の形状となったことが検出された場合に、その人を操作権限者として認識する操作権限者認識手段と、を備えたことを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記画面に対する前記操作者の視点の位置を検出する視点位置検出手段を備え、
前記仮想平面定義手段は、前記視点位置検出手段による検出結果に基づいて、前記画面と前記操作者の視点との間に前記仮想平面を定義することを特徴とする請求項１又は請求項２に記載の画像表示装置。
【請求項４】
前記操作者の腕の長さを検出する長さ検出手段を備え、
前記仮想平面定義手段は、前記長さ検出手段による検出結果に基づいて、前記操作者の腕の長さの範囲内に前記仮想平面を定義することを特徴とする請求項３記載の画像表示装置。
【請求項５】
前記操作者の手により指示される前記画面内の位置を算出する指示位置算出手段を備え、
前記表示制御手段は、前記指示位置算出手段による算出結果に基づいて、前記操作者の手により指示される前記画面内の位置を軌跡として表示する制御を行うことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像表示装置。
【請求項６】
前記判定手段は、前記仮想平面と前記操作者の手との接触時間を計時する計時手段と、前記仮想平面を貫く前記操作者の手の貫通量を算出する貫通量算出手段と、を備え、
前記表示制御手段は、前記計時手段による計時結果と前記貫通量算出手段による算出結果とに基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする請求項１乃至請求項５の何れか一項に記載の画像表示装置。
【請求項７】
前記操作内容は、マウス操作であるクリック操作、ダブルクリック操作、ドラッグ操作の何れかを含むことを特徴とする請求項６記載の画像表示装置。
【請求項８】
前記仮想平面に仮想キーボードを定義する仮想キーボード定義手段を備え、
前記判定手段は、前記操作位置検出手段による検出結果と、前記仮想キーボード定義手段により定義される前記仮想キーボードの位置情報とに基づいて、前記仮想キーボードと前記操作者の手との接触を判定して、
前記表示制御手段は、前記判定手段による判定結果に基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする請求項１乃至請求項７の何れか一項に記載の画像表示装置。
【請求項９】
画像を画面に表示する表示手段と、
前記画面の両側端部に配置され、操作者を異なる方向より撮影する撮影手段と、
前記撮影手段による撮影結果に基づいて、前記画面に対する前記操作者の位置及び前記操作者の手の位置を検出する操作位置検出手段と、
前記操作者の位置に基づいて、前記画面と前記操作者との間に仮想平面を定義する仮想平面定義手段と、
前記手の位置と、前記仮想平面の位置情報とに基づいて、前記仮想平面と前記操作者の手との接触態様を判定する判定手段と、
前記判定手段による判定結果に基づいて、前記接触態様に対応する操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行う表示制御手段と、を備えたことを特徴とする画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、医用画像や検査レポート等を所定の操作に従って表示する画像表示装置に関するものである。
【０００２】
【従来の技術】
従来から、グラフィカル・ユーザ・インタフェース（以下、ＧＵＩと称する）ベースの読影、検査、患者説明等を支援する画像表示装置として、画像ビューアが存在している（例えば、特許文献１参照）。
【０００３】
当該画像ビューアに用いられるＧＵＩとしては、キーボード、マウス、或いは、特別な操作パネル等がある。また、表示装置としては、モニタやプロジェクタ等がある。
【０００４】
医師等の操作者は、キーボード、マウス、或いは、特別な操作パネル等を操作することで、モニタやプロジェクタによって表示される医用画像や検査レポート等の内容を変更して、所望の医用情報を表示させる。また、表示された医用情報の大きさ、配列、画質、階調等を調整する。さらには、表示された医用情報に必要な情報を書き込む。
【０００５】
因みに、医用画像や検査レポートは、医用Ｘ線ＣＴ装置、磁気共鳴画像診断装置、或いは、デジタルラジオグラフィ装置などの検査装置によって収集、作成され、一旦、画像サーバに保持された後、医師等の操作者が、キーボード、マウス、或いは、特別な操作パネル等を操作することで、呼び出し、表示される。
【０００６】
ところで、当該画像ビューアにおいて読影を行う場合には、医師等の操作者は、キーボードやマウス等を、随時、選択して操作しなければならない。
【０００７】
しかしながら、例えばカンファレンスの際には、操作者は多数存在するため、キーボードやマウス等の受け渡しを行うことが必要となり、操作を行う者が制限されて不便な場合がある。また、術式の際には、衛生上の問題から、キーボードやマウス等に触れて、これを使用することは不可能な場合がある。
【０００８】
因みに、キーボードやマウス等を用いることなく、操作者の手の形状を認識することで、これを動作表現とすることが可能な装置がある。このような装置を用いたものとしては、例えば特開２０００−２２２０９８号公報に記載されるハンドポインティング装置がある（例えば、特許文献２参照）。
【０００９】
当該ハンドポインティング装置によれば、操作者は、自身の手による指示位置を表示画面上に表示することができると共に、指示位置を表現するマーカのふらつきを抑えることができる。
【００１０】
【特許文献１】
特開平５−１２３５２号公報
（段落〔００２８〕‐〔００７５〕、第１図乃至第３５図）
【特許文献２】
特開２０００−２２２０９８号公報
（段落〔００２４〕‐〔００８４〕、第１図乃至第１５図）
【００１１】
【発明が解決しようとする課題】
しかしながら、当該ハンドポインティング装置においては、医師等の操作者が画像ビューアにおいて行う、例えば、所望する線、図形、或いは、文字等を表示画面上に描画する操作や、マウス操作におけるドラック、ダブルクリック等に対応する操作を行うことはできなかった。また、上述した表示画面上の所望の位置を指示す操作は、自身の視界内において行われるため、煩わしく感じる場合があった。
【００１２】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、操作者の所定の操作に応じて、操作権限者を規定すると共に、この操作権限者に対して、キーボードやマウス等に相当する操作手段を所定の空間部分に定義することで、操作手段の受け渡しを行う必要がなく、また、衛生上の問題を考慮する必要もなく、操作者の操作に関する利便性をより向上させることのできる画像表示装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の発明は、画像を画面に表示する表示手段と、操作者の位置及び操作者の手の位置を検出する操作位置検出手段と、前記操作者の位置に基づいて、前記画面と前記操作者との間に仮想平面を定義する仮想平面定義手段と、前記手の位置情報と、前記仮想平面の位置情報とに基づいて、前記仮想平面と前記操作者の手との接触を判定する判定手段と、前記判定手段による判定結果に基づいて、前記画像の表示に関する制御を行う表示制御手段と、を備えたことを特徴とする。
【００１４】
また、請求項２記載の発明は、請求項１記載の画像表示装置であって、人の手の形状を検出する形状検出手段と、前記形状検出手段により、前記手が所定の形状となったことが検出された場合に、その人を操作権限者として認識する操作権限者認識手段と、を備えたことを特徴とする。
【００１５】
また、請求項３記載の発明は、請求項１又は請求項２に記載の画像表示装置であって、前記画面に対する前記操作者の視点の位置を検出する視点位置検出手段を備え、前記仮想平面定義手段は、前記視点位置検出手段による検出結果に基づいて、前記画面と前記操作者の視点との間に前記仮想平面を定義することを特徴とする。
【００１６】
また、請求項４記載の発明は、請求項３記載の画像表示装置であって、前記操作者の腕の長さを検出する長さ検出手段を備え、前記仮想平面定義手段は、前記長さ検出手段による検出結果に基づいて、前記操作者の腕の長さの範囲内に前記仮想平面を定義することを特徴とする。
【００１７】
また、請求項５記載の発明は、請求項１乃至請求項４の何れか一項に記載の画像表示装置であって、前記操作者の手により指示される前記画面内の位置を算出する指示位置算出手段を備え、前記表示制御手段は、前記指示位置算出手段による算出結果に基づいて、前記操作者の手により指示される前記画面内の位置を軌跡として表示する制御を行うことを特徴とする。
【００１８】
また、請求項６記載の発明は、請求項１乃至請求項５の何れか一項に記載の画像表示装置であって、前記判定手段は、前記仮想平面と前記操作者の手との接触時間を計時する計時手段と、前記仮想平面を貫く前記操作者の手の貫通量を算出する貫通量算出手段と、を備え、前記表示制御手段は、前記計時手段による計時結果と前記貫通量算出手段による算出結果とに基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする。
【００１９】
また、請求項７記載の発明は、請求項６記載の画像表示装置であって、前記操作内容は、マウス操作であるクリック操作、ダブルクリック操作、ドラッグ操作の何れかを含むことを特徴とする。
【００２０】
また、請求項８記載の発明は、請求項１乃至請求項７の何れか一項に記載の画像表示装置であって、前記仮想平面に仮想キーボードを定義する仮想キーボード定義手段を備え、前記判定手段は、前記操作位置検出手段による検出結果と、前記仮想キーボード定義手段により定義される前記仮想キーボードの位置情報とに基づいて、前記仮想キーボードと前記操作者の手との接触を判定して、前記表示制御手段は、前記判定手段による判定結果に基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする。
【００２１】
また、請求項９記載の発明は、画像を画面に表示する表示手段と、前記画面の両側端部に配置され、操作者を異なる方向より撮影する撮影手段と、前記撮影手段による撮影結果に基づいて、前記画面に対する前記操作者の位置及び前記操作者の手の位置を検出する操作位置検出手段と、前記操作者の位置に基づいて、前記画面と前記操作者との間に仮想平面を定義する仮想平面定義手段と、前記手の位置と、前記仮想平面の位置情報とに基づいて、前記仮想平面と前記操作者の手との接触態様を判定する判定手段と、前記判定手段による判定結果に基づいて、前記接触態様に対応する操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行う表示制御手段と、を備えたことを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明に係る画像表示装置の好適な実施の形態の一例について、図面を参照して具体的に説明する。
【００２３】
（画像表示システムの全体構成）
図１に、本実施形態における画像表示装置を含み構成される画像表示システムの全体構成を示す。図１に示すように、当該画像表示システムは、画像表示装置としての画像ビューア１と、医用Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｒｉｚｅｄ  Ｔｏｍｏｇｒａｐｈｙ）装置２、磁気共鳴画像（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）診断装置３、図示省略のＸ線透視撮影装置と組み合わせて使用され、Ｘ線画像をデジタル処理するデジタルラジオグラフィ（Ｄｉｇｉｔａｌ  Ｒａｄｉｏｇｒａｐｈｙ）装置４等の検査装置と、これらの検査装置において収集、生成された医用画像や検査レポートを保管する画像サーバ５を含み構成されている。尚、これらはＬＡＮ等を介して互いに通信可能に接続されている。
【００２４】
このような構成において、医用Ｘ線ＣＴ装置２、磁気共鳴画像診断装置３、デジタルラジオグラフィ装置４等において収集、生成された医用画像や検査レポートは、一旦、画像サーバ５に保持される。医師等の操作者は、画像ビューア１において、キーボード、マウス、或いは、特別な操作パネル等を操作することで、この画像サーバ５に保持される医用画像や検査レポートを呼び出し、これを表示する。尚、画像ビューア１においては、特別な操作パネルとして、後述する仮想平面及び仮想キーボードを定義する。
【００２５】
（画像表示装置の全体構成）
画像ビューア１は、本発明の画像表示装置に相当するものであり、図２にその全体構成を示す。図２に示すように、当該画像ビューア１は、画像を表示するプロジェクタ１０及びスクリーン１１と、操作者Ｐの手や目（視点）の位置を検出するカメラ１２ａ、１２ｂと、カメラ１２ａ、１２ｂからの画像データに基づいて、スクリーン１１と操作者Ｐの視点との距離を算出して、スクリーン１１と操作者Ｐの視点との間に仮想平面Ｇを定義すると共に、仮想平面Ｇと操作者Ｐの手との接触を判定して、その判定結果と、スクリーン１１と操作者Ｐの視点との距離に関する情報とに基づいて、スクリーン１１に表示される医用画像や検査レポートの画像表示に係る制御を行う制御装置１３と、を含み構成されている。尚、プロジェクタ１０、カメラ１２ａ、１２ｂと制御装置１３とは、ケーブル又は赤外線通信等により通信可能に接続されている。
【００２６】
このような構成において、カメラ１２ａ、１２ｂは、スクリーン１１と所定の位置関係になるように、スクリーン１１を挟んで両側に設置される。そして、操作者Ｐが仮想平面Ｇに対して行った操作は、カメラ１２ａ、１２ｂにより画像として収集され、その画像データに基づいて、制御装置１３は、操作者Ｐが仮想平面Ｇに対して行った操作内容を判断して、その操作内容に応じた画像処理を行い、プロジェクタ１０によって、その結果をスクリーン１１に表示する。尚、本発明は、プロジェクタ１０の替わりに通常のＣＲＴモニタ等を用いても良い。
【００２７】
（制御装置の制御構成）
図３に、制御装置１３の制御構成を示す。図３に示すように、当該制御装置１３は、カメラ１２ａ、１２ｂにより収集された画像から操作者Ｐの位置（代表的には、目又は頭部の位置）や手（代表的には指先）の３次元的な位置の検出を行う位置・形状・音声認識部１３ａと、スクリーン１１と操作者Ｐの間に仮想平面Ｇを定義し、さらに、この仮想平面Ｇ上に仮想キーボードの３次元的な位置を定義する仮想平面・仮想キーボード処理部１３ｂと、操作者Ｐに関する個別情報を保持する情報ファイル保存部１３ｃと、ＬＡＮ等を介して、検査装置において収集、生成された医用画像や検査レポートを画像サーバ５から取得する通信部１３ｄと、仮想平面Ｇや仮想キーボードによる入力操作を行うためのＧＵＩ１３ｅと、手の３次元的な位置情報を画面上の２次元的な位置情報へ変換する処理と、定義された仮想平面Ｇや仮想キーボードの位置と手の３次元的な位置情報からクリック動作の判定を行う位置情報・画面サイズ情報処理部１３ｆと、スクリーン１１に表示される画像の大きさ、即ち、画面の大きさに関する情報を収集する画像表示画面サイズ情報収集部１３ｇと、ＧＵＩ１３ｅにおいて行われた操作を処理して、動作表現、即ち、対応する画像表示を行う情報処理部１３ｈと、スクリーン１１に表示される医用画像や検査レポート等に関する情報を保持する画像データ保存部１３ｉと、を含み構成されている。
【００２８】
このような構成において、操作者Ｐが操作を行うべく設定範囲内に進入すると、カメラ１２ａ、１２ｂは、これを画像として収集して、位置・形状・音声認識部１３ａは、その画像データから操作者Ｐの目と手の３次元的な位置情報を求め、仮想平面・仮想キーボード処理部１３ｂ、位置情報・画面サイズ情報処理部１３ｆに出力する。カメラ１２ａ、１２ｂは、スクリーン１１と所定の位置関係を保って設置されているため、目と手の３次元的な位置情報は、スクリーン１１との相対的な位置関係を表すものとなる。
【００２９】
複数の操作者Ｐが設定範囲内に存在する場合、位置・形状・音声認識部１３ａは、その中から操作権限者を決め、その操作権限者の目、手の位置を仮想平面・仮想キーボード処理部１３ｂ、位置情報・画面サイズ情報処理部１３ｆに出力する。この操作権限者の決定を行うため、位置・形状・音声認識部１３ａは、各操作者Ｐの手の形状認識処理を行っており、操作者Ｐが手を開く等して、手を所定の形状にした場合に、その操作者Ｐを操作権限者と判断する。また、操作者Ｐが所定の言葉を発した場合には、カメラ１２ａ、１２ｂは、これを音声として収集して、位置・形状・音声認識部１３ａは、その音声データから、その操作者Ｐを操作権限者と判断する。尚、操作権限者として判断される操作者Ｐの手の形状や、音声に関する情報は、予め、位置・形状・音声認識部１３ａにおいて保持されているものとする。
【００３０】
位置・形状・音声認識部１３ａは、さらに、操作権限者Ｐの目（片目を閉じている場合は開いている目、両目を開いているときは利き目）を視点として設定し、操作権限者Ｐの視点とスクリーン１１との距離、操作権限者Ｐの視点の高さ、操作権限者Ｐの手とスクリーン１１との距離等を算出する。尚、情報ファイル保存部１３ｃには、予め、操作者Ｐ毎に操作権限を取得するための手の形状と利き目に関する情報とを関連付けたテーブルが保持されており、位置・形状・音声認識部１３ａは、操作者Ｐが手の形状を所望の形状にした場合には、このテーブルを参照することで、その形状と関連付けられた目を、その操作権限者Ｐの利き目と判断するものとする。
【００３１】
仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの目の３次元的な位置情報等に基づいて、操作権限者Ｐの視点とスクリーン１１との間の所定の位置に仮想平面Ｇを定義し、この仮想平面Ｇの３次元的な位置を表す情報を位置情報・画面サイズ情報処理部１３ｆへ送る。この際、図４に示すように、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの視点Ｒから、例えば操作権限者Ｐの腕の長さの半分の位置Ｌに仮想平面Ｇを設定する。この際、仮想平面Ｇは、操作権限者Ｐの視点Ｒからスクリーン１１に表示される画像の４隅までの領域内に設定されることとする。因みに、仮想平面Ｇの位置Ｌや大きさは、任意に設定することができることとする。尚、操作権限者Ｐの腕の長さは、例えば操作者Ｐの肩、肘、手等の３点に予め貼付されたマーカをカメラ１２ａ、１２ｂが画像として収集し、位置・形状・音声認識部１３ａが、その画像データから各マーカの位置を抽出して、仮想平面・仮想キーボード処理部１３ｂが、各マーカ間の距離を算出して、これを加算することで得られるものとする。
【００３２】
仮想平面・仮想キーボード処理部１３ｂは、さらに、仮想平面Ｇ上の所定の位置に仮想キーボードを定義し、この仮想キーボードの３次元的な位置を表す情報を、位置情報・画面サイズ情報処理部１３ｆを経由して、ＧＵＩ１３ｅへ送る。因みに、この仮想キーボードは、仮想平面Ｇの任意の位置に設定できるものとする。この際、ＧＵＩ１３ｅは、この仮想キーボードの画面上の位置にキーボードのグラフィック画像を表示する処理を行い、図５に示すように、仮想キーボードＨに対応するキーボードＪをスクリーン１１の画像上の所定の位置に表示する。これにより、操作権限者Ｐは、仮想キーボードＨに対する操作をキーボードＪにて確認することができる。
【００３３】
ところで、操作権限者Ｐが、仮想キーボードＨに対する操作が自身の視界内で行われることを煩わしく感じる場合には、仮想平面Ｇを寝かせた状態で定義することも可能である。これにより、操作権限者Ｐの目線から下方に仮想キーボードＨを定義することができる。因みに、このような場合であっても、スクリーン１１の画像上には、キーボードＪが表示されるので、操作権限者Ｐは、仮想キーボードＨに対する操作をキーボードＪにて確認することができる。
【００３４】
画像表示画面サイズ情報収集部１３ｇは、スクリーン１１に表示される画面の大きさに関する情報を収集する。尚、スクリーン１１に表示される画面の大きさは、スクリーン１１とプロジェクタ１０との距離、及び、プロジェクタ１０本体における画像の拡大倍率により規定され、例えば、スクリーン１１とプロジェクタ１０との距離に関する情報は、予め画像表示画面サイズ情報収集部１３ｇが保持していることとし、また、プロジェクタ１０本体における画像の拡大倍率に関する情報は、通信部１３ｄを介して、プロジェクタ１０本体から取得することとする。
【００３５】
位置情報・画面サイズ情報処理部１３ｆは、画像表示画面サイズ情報収集部１３ｇにより収集される、スクリーン１１の表示画面サイズに関する情報と、位置・形状・音声認識部１３ａにより収集される、操作権限者Ｐの目や手の３次元的な位置情報に基づいて、スクリーン１１の画像上における２次元的な座標位置情報を求めてＧＵＩ１３ｅに送る。また、操作権限者Ｐの手の３次元的な位置情報と、仮想平面Ｇの３次元的な位置情報等からクリック操作、ダブルクリック操作の判定を行い、その判定結果を情報処理部１３ｈへ送る。
【００３６】
ＧＵＩ１３ｅは、アイコン、キーボード、カーソル等の入力操作を行うためのグラフィック画像をスクリーン１１に表示するための処理、及び、これらを用いた入力操作にかかる処理を行う。具体的には、ＧＵＩ１３ｅは、位置情報・画面サイズ情報処理部１３ｆからの２次元座標位置に基づいて、カーソルの移動処理を行う。また、ＧＵＩ１３ｅは、クリック操作がアイコンの位置で行われた場合には、そのアイコンに関連付けられた動作（処理）を行うよう、情報処理部１３ｈへ指示を出す。又、操作権限者により、仮想キーボードＨ上でクリック操作が行われた場合には、その触った位置のキーの文字が入力されたものとして、その文字情報を情報処理部１３ｈへ送る。情報処理部１３ｈは、ＧＵＩ１３ｅから指示された動作に対応するプログラムを実行し、各種画像処理等を行う。尚、この画像処理等を行うにあたり、座標、クリック判定の結果等が必要な場合には、ＧＵＩ１３ｅから適宜取得する。これらの操作は、位置情報・画面サイズ情報処理部１３ｆにおいて処理され、さらに、情報処理部１３ｈにおいて動作表現とされる。その結果は、プロジェクタ１０を介して、スクリーン１１の画面内に表示される。因みに、この動作表現の対象となる画像データ等は、予め画像データ保存部１３ｉに保存されていることとする。或いは、通信部１３ｄを介して画像サーバ５から取得された上で、予め画像データ保存部１３ｉに保存されていることとする。
【００３７】
尚、本発明の「表示手段」は、プロジェクタ１０及びスクリーン１１により構成される。本発明の「撮影手段」は、カメラ１２ａ、１２ｂにより構成される。本発明の「操作位置検出手段」、「形状検出手段」、「操作権限者認識手段」、「視点位置検出手段」は、カメラ１２ａ、１２ｂ及び位置・形状・音声認識部１３ａにより構成される。本発明の「仮想平面定義手段」及び「仮想キーボード定義手段」は、仮想平面・仮想キーボード処理部１３ｂにより構成される。本発明の「長さ検出手段」は、カメラ１２ａ、１２ｂ、位置・形状・音声認識部１３ａ及び仮想平面・仮想キーボード処理部１３ｂにより構成される。本発明の「指示位置算出手段」及び「判定手段」は、位置情報・画面サイズ情報処理部１３ｆにより構成される。本発明の「表示制御手段」は、ＧＵＩ１３ｅ、情報処理部１３ｈにより構成される。
【００３８】
（位置情報・画面サイズ情報処理部における処理）
次に、位置情報・画面サイズ情報処理部１３ｆにおける処理、具体的には、カーソルの移動操作や、仮想平面Ｇ上におけるクリック操作、ダブルクリック操作及びドラッグ操作や、仮想キーボードＨ上におけるテキスト入力操作に応じた動作表現処理について説明する。
【００３９】
尚、当該画像ビューア１においては、医師等のユーザが読影を行うことを支援するために各種モードが設定されている。具体的には、スクリーン１１の表示画面に表示される医用画像のコマ数を変更する“コマ数変更モード”や、スクリーン１１の表示画面に表示される医用画像において、所望の２地点間の距離を計測する“距離計測モード”や、スクリーン１１の表示画面に表示される医用画像上に、フリーハンドによって所望のラインを描画する“フリーハンドモード”や、スクリーン１１の表示画面に表示される医用画像の階調を変更する“階調変更モード”や、この他、スクリーン１１の表示画面に表示される医用画像上に、所望の記号や文字等を入力する“テキスト入力モード”等がある。
【００４０】
位置情報・画面サイズ情報処理部１３ｆは、位置・形状・音声認識部１３ａからの操作者Ｐの目と手の３次元的な位置情報に基づいて、スクリーン１１上の２次元座標を算出する。この算出は、操作者Ｐの目の位置と手の位置を通る直線が、スクリーン１１の画面上に交わる座標を求める。これにより、操作者Ｐから見て、手（指先）の重なっている部分のスクリーン１１の座標が求められる。
【００４１】
位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの手が仮想平面Ｇを貫いていた時間をＳ［秒］、仮想平面を貫いた量をＸ［ｍｍ］とした場合、これらのパラメータに基づいて、以下のような判定を行う。因みに、位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの手と仮想平面Ｇとの接触時間を計時する図示省略のタイマーと、操作権限者Ｐの手が仮想平面Ｇを貫いた量を検出する図示省略の処理部とを備えている。
【００４２】
尚、図示省略のタイマーは、本発明の「計時手段」を構成する。また、図示省略の処理部は、本発明の「貫通量算出手段」を構成する。
【００４３】
・クリックについて
操作権限者Ｐの手が仮想平面Ｇを貫いていた時間が所定時間Ｓ［秒］内である場合、位置情報・画面サイズ情報処理部１３ｆは、これをクリック操作が行われたものと判断する（例えば、０＜Ｓ＜１）。例えば、Ｓ＝０．５［秒］（Ｘ＝１０［ｍｍ］）である場合には、上記判断によりクリック操作と判定される。
【００４４】
因みに、このクリック操作が行われる例としては、例えば図６に示すように、各種モードを選択する場合がある。この場合、仮想平面Ｇの領域Ａにおいてクリック操作を行うと、距離計測モードが選択されることになる。
【００４５】
・ダブルクリックについて
クリック操作が行われた間隔が所定時間Ｔ［秒］内である場合、位置情報・画面サイズ情報処理部１３ｆは、これをダブルクリック操作が行われたものと判断する（例えば、０＜Ｔ＜１）。例えば、Ｓ＝０．３［秒］（Ｘ＝１０［ｍｍ］）の操作が１［秒］以内に２回行われた場合には、上記判断によりダブルクリックと判定される。
【００４６】
因みに、このダブルクリック操作が行われる例としては、例えば図７に示すように、“コマ数変更モード”において、画像が１コマで表示されている際に、画像を２×２コマで表示させるべく、カーソルＣを“コマ増”釦に移動させて、これを選択する場合などがある。この場合、画像は、２×２コマで表示されることになる。因みに、カーソルＣの移動は、仮想平面Ｇに接触しない状態で、スクリーン１１に表示される画像上の所望の位置を指示すことによって行われるものとする。
【００４７】
・ドラッグについて
仮想平面Ｇを貫いていた時間が所定時間Ｕ［秒］以上であって、仮想平面を貫いた量が所定量Ｘ［ｍｍ］以上である場合、位置情報・画面サイズ情報処理部１３ｆは、これをドラッグ操作が行われたものと判断する。例えば、Ｓ＝５［秒］、Ｘ＝１０［ｍｍ］の操作が１［秒］以上継続して行われた場合には、上記判断からドラッグと判定される。
【００４８】
因みに、このドラッグ操作が行われる例としては、例えば図８に示すように、“フリーハンドモード”において、所望の線を描画する場合などがある。この場合、仮想平面Ｇ上において行われた操作がスクリーン１１の画面上に軌跡として描画されることになる。尚、この軌跡は、所定の長さ以上になった場合、又は、所定時間の経過後に、先に描画された部分が順次消えていくこととしても良い。これにより、スクリーン１１の画面上に表示される書込みを一定量に制限することができる。また、手の平などが仮想平面Ｇを大きく貫いた場合に、これを“消しゴム”とみなして、これまでの書込みを消去することができるようにしても良い。
【００４９】
この他にも、このドラッグ操作が行われる例としては、例えば図６に示すように、“距離計測モード”において、所望の２地点間の距離を計測する場合などがある。この場合、仮想平面Ｇに触れることなく開始点まで手を移動させて、仮想平面Ｇを貫き、そのままの状態で終了点まで移動して、終了点において仮想平面Ｇから手を引き抜くことでドラッグ操作が完了する。これにより、開始点と終了点間の距離が計測されることになる。
【００５０】
（画像表示に関する処理の流れ）
次に、上述した当該画像ビューア１の画像表示に関する処理の流れについて、図９及び図１０に示すフローチャートを参照しつつ説明する。
【００５１】
図９に示すように、操作者Ｐが操作を行うべく設定範囲内に進入すると、カメラ１２ａ、１２ｂは、これを画像として収集して、位置・形状・音声認識部１３ａは、操作者Ｐが設定範囲内に進入したことを認識する（Ｓ０１、Ｙｅｓ）。
【００５２】
次に、画像表示画面サイズ情報収集部１３ｇは、スクリーン１１と操作者Ｐとの距離、及び、スクリーン１１に表示される画面のサイズ等を検出する（Ｓ０２）。
【００５３】
ここで、操作者Ｐが手を開くなどして、手の形状を所望の形状にした場合には、位置・形状・音声認識部１３ａは、これを認識して、その操作者Ｐを操作権限者と判断する。また、操作者Ｐが所定の言葉を発した場合には、カメラ１２ａ、１２ｂは、これを音声として収集して、位置・形状・音声認識部１３ａは、その音声データから、その操作者Ｐを操作権限者と判断する。そして、操作権限者Ｐの目（片目を閉じている場合は開いている目、両目を開いているときは利き目）を視点として設定し（Ｓ０３）、操作権限者Ｐの視点とスクリーン１１との距離、操作権限者Ｐの視点の高さ、操作権限者Ｐの手とスクリーン１１との距離等を算出する。
【００５４】
次に、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの目や手の位置、形状に関する情報等に基づいて、操作権限者Ｐの視点とスクリーン１１との間の所定の位置に仮想平面Ｇを定義する。具体的には、操作権限者Ｐの腕の長さを検出して（Ｓ０４）、操作権限者Ｐの視点Ｒから、例えば操作権限者Ｐの腕の長さの半分の位置Ｌに仮想平面Ｇを設定する（Ｓ０５）。
【００５５】
次に、位置・形状・音声認識部１３ａは、操作権限者Ｐ以外の人が、操作権利取得のポーズをしていないかを判定する（Ｓ０６）。ここで、操作権利取得のポーズをしている操作者がいた場合には（Ｓ０６、Ｙｅｓ）、この操作者に対して、Ｓ０３からＳ０５までの工程を繰り返す。
【００５６】
図１０に示すように、次に、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの手と仮想平面Ｇとが接触しているか否かを判定する（Ｓ０７）。ここで、それらが接触していると判断された場合には、さらに、操作権限者Ｐの手と仮想平面Ｇとの接触時間及び接触量を検知して、その検知結果に基づいて、仮想平面Ｇ上において行われた操作の内容、例えばクリック、ダブルクリック、ドラッグの何れであるかを判定する（Ｓ０８）。
【００５７】
次に、情報処理部１３ｈは、その判定結果に基づく動作表現処理を行う（クリックの場合はＳ０９、ダブルクリックの場合はＳ１０、ドラッグの場合はＳ１１へ移行）。尚、Ｓ０７において、操作権限者Ｐの手と仮想平面Ｇとが接触していないと判断された場合には（Ｓ０７、Ｎｏ）、情報処理部１３ｈは、操作権限者Ｐの目の位置に関する情報と、スクリーン１１に表示される画像の位置及びサイズに関する情報とに基づいて、操作権限者Ｐの手の動きに応じたカーソルＣの移動処理を行う（Ｓ１２）。
【００５８】
図５に戻って、次に、位置・形状・音声認識部１３ａは、操作権限者Ｐが設定範囲外へ移動したか否かを判定する（Ｓ１３）。ここで、操作権限者Ｐが設定範囲外へ移動している場合には（Ｓ１３、Ｙｅｓ）、当該画像ビューア１に対する操作が終了したものと判断して、Ｓ０１へと移行する。また、ここで、操作権限者Ｐが設定範囲外へ移動していない場合いには（Ｓ１３、Ｎｏ）、操作権限者Ｐの目の位置等に関する補正を行うべく、再度、Ｓ０３へと移行する。
【００５９】
以上に説明したように、本実施形態における画像表示装置においては、操作者の所定の操作に応じて、操作権限者Ｐを規定すると共に、この操作権限者Ｐに対して、キーボードやマウス等に相当する操作手段である仮想平面Ｇや仮想キーボードＨが適切な空間部分に定義されるので、操作権限者Ｐは、操作手段の受け渡しを行う必要がなく、また、衛生上の問題を考慮する必要もないため、操作に関する利便性がより向上されることとなる。
【００６０】
尚、本実施形態における画像表示装置、及び画像表示システムにおいては、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの腕の長さに基づいて、仮想平面Ｇの設定位置を決定することとしたが、例えば、操作権限者Ｐの手の平を基準として、所定の距離だけ離れた位置に手の平と平行になるように設定することにしても良い。
【００６１】
また、位置・形状・音声認識部１３ａや位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの目や手の位置、スクリーン１１と操作権限者Ｐの視点との距離、スクリーン１１に表示される画面の大きさに関する情報等を収集することとしたが、各々が、その標準値を予め保持していることにしても良い。
【００６２】
また、位置・形状・音声認識部１３ａは、操作者Ｐが手の形状を所望の形状にした場合、或いは、操作者が所定の言葉を発した場合に、その操作者を操作権限者Ｐと判断することとしたが、操作者が操作を行うべく設定範囲内に進入した場合には、その操作者を、そのまま操作権限者Ｐとして判断することにしても良い。或いは、最初に設定範囲内に進入した操作者を操作権限者Ｐとして判断することにしても良い。
【００６３】
また、情報処理部１３ｈは、仮想平面Ｇや仮想キーボードＪにおける操作に応じてスクリーン１１の画像上に描画する線、図形、文字等の大きさ、或いは、太さを、スクリーン１１と操作権限者Ｐの視点との距離に応じて調整することにしても良い。
【００６４】
【発明の効果】
以上に説明したように、本発明に係る画像表示装置によれば、操作者の位置に基づいて設定された仮想平面と手（指先）の接触判定結果に基づいて、装置の操作を行うので、良好な操作性が得られる。
【図面の簡単な説明】
【図１】本実施形態における画像表示装置（画像ビューア）を含み構成される画像表示システムの全体構成を表す構成図である。
【図２】図１に示す画像ビューアの全体構成を表す構成図である。
【図３】図２に示す画像ビューアの制御構成を表す機能ブロック図である。
【図４】図２に示す画像ビューアにおいて、仮想平面が定義される過程を説明するための説明図である。
【図５】図２に示す画像ビューアにおいて、仮想平面上に仮想キーボードが定義される過程を説明するための説明図である。
【図６】図２に示す画像ビューアにおいて、クリック操作が行われる場合の一例について説明するための説明図である。
【図７】図２に示す画像ビューアにおいて、ダブルクリック操作が行われる場合の一例について説明するための説明図である。
【図８】図２に示す画像ビューアにおいて、ドラッグ操作が行われる場合の一例について説明するための説明図である。
【図９】図２に示す画像ビューアの画像表示に関する処理の流れについて説明するためのフローチャートである。
【図１０】図２に示す画像ビューアの画像表示に関する処理の流れについて説明するためのフローチャートである。
【符号の説明】
１  画像ビューア
２  医用Ｘ線ＣＴ装置
３  磁気共鳴画像診断装置
４  デジタルラジオグラフィ装置
５  画像サーバ
１０  プロジェクタ
１１  スクリーン
１２ａ、１２ｂ  カメラ
１３  制御装置
１３ａ  位置・形状・音声認識部
１３ｂ  仮想平面・仮想キーボード処理部
１３ｃ  情報ファイル保存部
１３ｄ  通信部
１３ｅ  ＧＵＩ
１３ｆ  位置情報・画面サイズ情報処理部
１３ｇ  画像表示画面サイズ情報収集部
１３ｈ  情報処理部
１３ｉ  画像データ保存部
Ｃ  カーソル
Ｇ  仮想平面
Ｈ  仮想キーボード
Ｊ  キーボード
Ｐ  操作者（操作権限者）
Ｒ  視点
【図１】
2004258714.tif 000003
【図２】
2004258714.tif 000004
【図３】
2004258714.tif 000005
【図４】
2004258714.tif 000006
【図５】
2004258714.tif 000007
【図６】
2004258714.tif 000008
【図７】
2004258714.tif 000009
【図８】
2004258714.tif 000010
【図９】
2004258714.tif 000011
【図１０】
2004258714.tif 000012