(57)【要約】【課題】カプセル内視鏡等で撮影された医療診断画像の長時間に渡る診断においても、要注意エリアの見落としを防止し、診断者である医師の心理的な負荷を軽減する。【解決手段】診断画像を所定の数のエリアに分割し、エリア毎の画像特徴量を算出する。また、診断者が診断画像の観察をする際に、視線検出を用いて診断画像の各エリアにおける観察時間を検出する。エリア毎の観察時間と画像特徴量の関係から、画像特徴量の閾値Ｔｈ＿ｐを算出する。全ての診断画像の全ての分割したエリアから、画像特徴量が閾値Ｔｈ＿ｐ以上であり、かつ観察時間が閾値Ｔｈ＿ｋ未満のエリアを抽出し、そのエリアを含む画像番号とエリア番号をＨＭＤ１０に通知する。【選択図】  図５
2010035756.tif 000002
【特許請求の範囲】
【請求項１】
表示手段に連続して再生表示される複数の診断画像を診断者が観察して診断するための診断支援装置において、
前記診断画像から診断上注視すべき要注意領域を抽出する抽出手段と、
前記表示手段に再生表示された診断画像を前記診断者が観察する際の該診断者の視線を検出し、検出した視線に基づいて前記診断画像の複数に分割した領域毎の観察時間を算出する手段と、
前記抽出した要注意領域と前記算出した各領域毎の観察時間に基づいて、前記要注意領域の見落としがあるか否かを判別する判別手段と、
を備えたことを特徴とする診断支援装置。
【請求項２】
前記抽出手段は、前記診断画像の画像特徴量を算出する特徴量算出手段を備え、
前記算出した画像特徴量に基づいて前記要注意領域を抽出することを特徴とする請求項１に記載の診断支援装置。
【請求項３】
前記特徴量算出手段は、前記複数に分割した領域毎の画像特徴量を算出することを特徴とする請求項２に記載の診断支援装置。
【請求項４】
前記抽出手段は、前記複数に分割した領域のうち前記画像特徴量が第１の閾値以上の領域を要注意領域として抽出することを特徴とする請求項３に記載の診断支援装置。
【請求項５】
前記判別手段は、前記要注意領域のうち、前記観察時間が第２の閾値未満の領域を前記要注意領域の見落としがあると判別することを特徴とする請求項４に記載の診断支援装置。
【請求項６】
前記複数に分割した領域毎の画像特徴量と観察時間との関係を示す特性に基づいて、前記第１の閾値を決定する決定手段を備えたことを特徴とすることを特徴とする請求項４又は５に記載の診断支援装置。
【請求項７】
前記決定手段は、前記複数に分割した領域毎の画像特徴量と観察時間との組み合わせからなるデータ群から近似曲線又は近似直線を生成し、予め設定された前記第２の閾値と前記生成した近似曲線又は近似直線との関係から前記第１の閾値を決定することを特徴とする請求項６に記載の診断支援装置。
【請求項８】
前記決定手段は、前記診断画像が撮影した身体の部位別に、前記第１の閾値を決定することを特徴とする請求項６又は７に記載の診断支援装置。
【請求項９】
前記特徴量算出手段は、複数の画像特徴量を算出し、
前記決定手段は、前記複数の画像特徴量毎に前記第１の閾値を決定し、
前記抽出手段は、前記複数に分割した領域のうち、前記複数の画像特徴量のうち少なくとも１つが前記第１の閾値以上である領域を要注意領域として抽出することを特徴とする請求項６から８のいずれかに記載の診断支援装置。
【請求項１０】
前記判別手段の判別結果を通知する通知手段を備えたことを特徴とする請求項１から９のいずれかに記載の診断支援装置。
【請求項１１】
前記通知手段は、前記要注意領域を示す情報と前記要注意領域が抽出された診断画像を示す情報を前記表示手段に表示して通知することを特徴とする請求項１０に記載の診断支援装置。
【請求項１２】
前記診断画像に前記抽出された要注意領域を示す補助情報を合成する手段を備えたことを特徴とする請求項１から１１のいずれかに記載の診断支援装置。
【請求項１３】
前記要注意領域が抽出された診断画像を再生表示する時間を変更する変更手段を備えたことを特徴とする請求項１から１２のいずれかに記載の診断支援装置。
【請求項１４】
前記変更手段は、前記要注意領域の面積が大きいほど前記診断画像を再生表示する時間を長くすることを特徴とする請求項１３に記載の診断支援装置。
【請求項１５】
前記画像特徴量は、濃度／色味別の平均、ヒストグラム、周波数分布、エッジ方向別のエッジ強度分布、フラクタル次元のうちいずれかであることを特徴とする請求項１から１４のいずれかに記載の診断支援装置。
【請求項１６】
前記表示手段は、前記診断者の視線を検出するためのカメラが設けられたヘッドマウントディスプレイ、又は前記診断者の視線を検出するためのカメラが近接して設けられたディスプレイであることを特徴とする請求項１から１５のいずれかに記載の診断支援装置。
【請求項１７】
前記診断画像は、カプセル内視鏡で撮影された画像であることを特徴とする請求項１から１６のいずれかに記載の診断支援装置。
【請求項１８】
表示手段に連続して再生表示される複数の診断画像を診断者が観察して診断するための診断支援方法において、
前記診断画像から診断上注視すべき要注意領域を抽出する工程と、
前記表示手段に再生表示された診断画像を前記診断者が観察する際の該診断者の視線を検出し、検出した視線に基づいて前記診断画像の複数に分割した領域毎の観察時間を算出する工程と、
前記抽出した要注意領域と前記算出した各領域毎の観察時間に基づいて、前記要注意領域の見落としがあるか否かを判別する工程と、
を備えたことを特徴とする診断支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は診断支援装置及び診断支援方法に係り、特に、カプセル内視鏡等で撮影された医療診断画像の要注意エリアの見落とし防止を図る診断支援装置及び診断支援方法に関する。
【背景技術】
【０００２】
錠剤カプセル形状の筐体の内部に、バッテリー、撮影レンズ、撮像素子、照明光源等を収納したカプセル内視鏡が知られている。カプセル内視鏡は、これを被検者が嚥下する等によって体腔内へ挿入され、例えば１秒間に２回のフレームレートで患部等を撮像する。撮像された画像データは、カプセル内視鏡内の送信手段により体外に送信され、体外の受信装置により受信される。
【０００３】
特許文献１には、加速度センサや圧力センサ等を用いて、人体内におけるカプセルの動きを検出し、撮影フレームレート又は表示フレームレートを変更する技術が記載されている。この技術によれば、カプセル内視鏡がゆっくりと移動しており、過度の数のフレームが同一となるような場合は、１つまたは複数の同一フレームを無くすことにより、表示レートを加速することができる。
【０００４】
また、特許文献２には、視聴者がテレビを見ているか否かの判定をする視聴判定部により、視聴者がテレビを見ていないと判定された場合に、画像記録部でテレビが受信している映像を記録させる技術が記載されている。この技術によれば、視聴者がテレビの表示画面に映し出された映像を見逃した場合であっても、見逃した映像を後で見ることができる。
【特許文献１】特表２００４−５２１６６２号公報
【特許文献２】特開２００７−３１８４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、観察時間の短縮は図れるものの、全ての画像について見落としがあってはならないため、診断する医師にとっては特に心理的負担が大きくなるという問題点があった。また、特許文献２の技術では、画面全体を見ているか否かの判定しかできず、画面中の各部の観察状況までは判別できないという欠点があった。
【０００６】
本発明はこのような事情に鑑みてなされたもので、カプセル内視鏡等で撮影された医療診断画像の要注意エリアの見落とし防止を図る診断支援装置及び診断支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために請求項１に記載の診断支援装置は、表示手段に連続して再生表示される複数の診断画像を診断者が観察して診断するための診断支援装置において、前記診断画像から診断上注視すべき要注意領域を抽出する抽出手段と、前記表示手段に再生表示された診断画像を前記診断者が観察する際の該診断者の視線を検出し、検出した視線に基づいて前記診断画像の複数に分割した領域毎の観察時間を算出する手段と、前記抽出した要注意領域と前記算出した各領域毎の観察時間に基づいて、前記要注意領域の見落としがあるか否かを判別する判別手段とを備えたことを特徴とする。
【０００８】
本発明によれば、診断画像から要注意領域を抽出し、また診断者が診断画像を観察する際の視線に基づいて診断画像の分割した領域毎の観察時間を算出し、抽出した要注意領域と算出した各領域の観察時間に基づいて、要注意領域の見落としがあるか否かを判別するようにしたので、カプセル内視鏡等で撮影された医療診断画像の長時間に渡る診断においても、要注意エリアの見落としを防止することができ、診断者である医師の心理的な負荷を軽減することができる。
【０００９】
請求項２に示すように請求項１に記載の診断支援装置において、前記抽出手段は、前記診断画像の画像特徴量を算出する特徴量算出手段を備え、前記算出した画像特徴量に基づいて前記要注意領域を抽出することを特徴とする。
【００１０】
これにより、適切に要注意領域を抽出することができる。
【００１１】
請求項３に示すように請求項２に記載の診断支援装置において、前記特徴量算出手段は、前記複数に分割した領域毎の画像特徴量を算出することを特徴とする。
【００１２】
これにより、適切に要注意領域を抽出することができる。
【００１３】
請求項４に示すように請求項３に記載の診断支援装置において、前記抽出手段は、前記複数に分割した領域のうち前記画像特徴量が第１の閾値以上の領域を要注意領域として抽出することを特徴とする。
【００１４】
これにより、適切に要注意領域を抽出することができる。
【００１５】
請求項５に示すように請求項４に記載の診断支援装置において、前記判別手段は、前記要注意領域のうち、前記観察時間が第２の閾値未満の領域を前記要注意領域の見落としがあると判別することを特徴とする。
【００１６】
これにより、適切に要注意領域の見落としがあることを判別することができる。
【００１７】
請求項６に示すように請求項４又は５に記載の診断支援装置において、前記複数に分割した領域毎の画像特徴量と観察時間との関係を示す特性に基づいて、前記第１の閾値を決定する決定手段を備えたことを特徴とすることを特徴とする。
【００１８】
これにより、適切に要注意領域の見落としがあることを判別することができる。
【００１９】
請求項７に示すように請求項６に記載の診断支援装置において、前記決定手段は、前記複数に分割した領域毎の画像特徴量と観察時間との組み合わせからなるデータ群から近似曲線又は近似直線を生成し、予め設定された前記第２の閾値と前記生成した近似曲線又は近似直線との関係から前記第１の閾値を決定することを特徴とする。
【００２０】
これにより、適切に第１の閾値を決定することができる。
【００２１】
請求項８に示すように請求項６又は７に記載の診断支援装置において、前記決定手段は、前記診断画像が撮影した身体の部位別に、前記第１の閾値を決定することを特徴とする。
【００２２】
これにより、診断画像が撮影した身体の部位別の適切な第１の閾値を決定することができる。
【００２３】
請求項９に示すように請求項６から８のいずれかに記載の診断支援装置において、前記特徴量算出手段は、複数の画像特徴量を算出し、前記決定手段は、前記複数の画像特徴量毎に前記第１の閾値を決定し、前記抽出手段は、前記複数に分割した領域のうち、前記複数の画像特徴量のうち少なくとも１つが前記第１の閾値以上である領域を要注意領域として抽出することを特徴とする。
【００２４】
これにより、適切に要注意領域を抽出することができる。
【００２５】
請求項１０に示すように請求項１から９のいずれかに記載の診断支援装置において、前記判別手段の判別結果を通知する通知手段を備えたことを特徴とする。
【００２６】
これにより、診断者が要注意領域の見落としを知ることができる。
【００２７】
請求項１１に示すように請求項１０に記載の診断支援装置において、前記通知手段は、前記要注意領域を示す情報と前記要注意領域が抽出された診断画像を示す情報を前記表示手段に表示して通知することを特徴とする。
【００２８】
これにより、診断者は見逃した要注意領域と要注意領域が抽出された診断画像を知ることができる。
【００２９】
請求項１２に示すように請求項１から１１のいずれかに記載の診断支援装置において、前記診断画像に前記抽出された要注意領域を示す補助情報を合成する手段を備えたことを特徴とする。
【００３０】
これにより、診断者は、診断時に要注意領域を知ることができる。
【００３１】
請求項１３に示すように請求項１から１２のいずれかに記載の診断支援装置において、前記要注意領域が抽出された診断画像を再生表示する時間を変更する変更手段を備えたことを特徴とする。
【００３２】
これにより、診断者は、要注意領域が抽出された診断画像について、詳細に観察することができる。
【００３３】
請求項１４に示すように請求項１３に記載の診断支援装置において、前記変更手段は、前記要注意領域の面積が大きいほど前記診断画像を再生表示する時間を長くすることを特徴とする。
【００３４】
これにより、診断者は、要注意領域の面積が大きい診断画像ほど、詳細に観察することができる。
【００３５】
請求項１５に示すように請求項１から１４のいずれかに記載の診断支援装置において、前記画像特徴量は、濃度／色味別の平均、ヒストグラム、周波数分布、エッジ方向別のエッジ強度分布、フラクタル次元のうちいずれかであることを特徴とする。
【００３６】
これにより、適切に要注意領域を抽出することができる。
【００３７】
請求項１６に示すように請求項１から１５のいずれかに記載の診断支援装置において、前記表示手段は、前記診断者の視線を検出するためのカメラが設けられたヘッドマウントディスプレイ、又は前記診断者の視線を検出するためのカメラが近接して設けられたディスプレイであることを特徴とする。
【００３８】
これにより、適切に診断画像を表示し、さらに診断者の視線を検出することができる。
【００３９】
請求項１７に示すように請求項１から１６のいずれかに記載の診断支援装置において、前記診断画像は、カプセル内視鏡で撮影された画像であることを特徴とする。
【００４０】
これにより、カプセル内視鏡で撮影された多数の画像に適用することができる。
【００４１】
前記目的を達成するために請求項１８に記載の診断支援方法は、表示手段に連続して再生表示される複数の診断画像を診断者が観察して診断するための診断支援方法において、前記診断画像から診断上注視すべき要注意領域を抽出する工程と、前記表示手段に再生表示された診断画像を前記診断者が観察する際の該診断者の視線を検出し、検出した視線に基づいて前記診断画像の複数に分割した領域毎の観察時間を算出する工程と、前記抽出した要注意領域と前記算出した各領域毎の観察時間に基づいて、前記要注意領域の見落としがあるか否かを判別する工程とを備えたことを特徴とする。
【００４２】
これにより、要注意エリアの見落としを防止することができ、診断者である医師の心理的な負荷を軽減することができる。
【発明の効果】
【００４３】
本発明によれば、診断画像から要注意領域を抽出し、また診断者が診断画像を観察する際の視線に基づいて診断画像の分割した領域毎の観察時間を算出し、抽出した要注意領域と算出した各領域の観察時間に基づいて、要注意領域の見落としがあるか否かを判別するようにしたので、カプセル内視鏡等で撮影された医療診断画像の長時間に渡る診断においても、要注意エリアの見落としを防止することができ、診断者である医師の心理的な負荷を軽減することができる。
【発明を実施するための最良の形態】
【００４４】
以下に、本発明を実施するための最良の形態について説明する。
【００４５】
＜第１の実施の形態＞
図１は本発明に係る診断支援システムの実施の形態を示す概略図であり、カプセル内視鏡検査で撮影された画像を再生表示して診断を行う場合に適用される診断支援システムに関して示している。図１に示すように、この診断支援システムは、ヘッドマウントディスプレイ（ＨＭＤ）１０、及びサーバ２０から構成されている。
【００４６】
サーバ２０は、カプセル内視鏡検査で撮影された多数の画像が記録されている。カプセル内視鏡検査では１検査あたり５００００枚程度の内視鏡画像が撮影される。サーバ２０は、これらの診断画像を時系列的に読み出してＨＭＤ１０に送信する。
【００４７】
サーバ２０から送信された診断画像を受信したＨＭＤ１０は、受信した診断画像を表示部１１（後述）に表示する。図１に示すように、ＨＭＤ１０は診断者の頭部に装着されるものであり、ＨＭＤ１０を装着した診断者は、表示部１１に表示される診断画像を観察することにより、診断を行う。
【００４８】
図２は診断支援システムの実施の形態を示すブロック図である。図２に示すように、ＨＭＤ１０は、表示部１１、ＣＰＵ１２、視線検出部１３、通信部１４、及びアンテナ１５から構成されている。
【００４９】
ＣＰＵ１２は、ＨＭＤ１０の各部を統括制御するとともに、送受信用のデータについて所定のフォーマットへの変換等を行う。
【００５０】
表示部１１は、例えばハーフミラーを介して実際に目の前にあるものを透過して見ることができるとともに、液晶モニタ等の表示画面を見ることができる公知のものである。サーバ２０から送信され、アンテナ１５を介して通信部１４で受信した画像信号は、ＣＰＵ１２において所定の処理が施され、表示部１１に表示される。
【００５１】
視線検出部１３は、例えば、ハーフミラーを介して眼球を正面から撮影する頭部装着型の小型カメラ等を含み、ＨＭＤ１０を装着した診断者の眼球の瞳孔の位置を追跡することにより、診断者の視線方向を逐次検出する。したがって、表示部１１に表示された画像について、診断者がどの部分に視線を向けたのかを判別することが可能である。この視線検出部１３によって検出された診断者の視線方向の情報は、リアルタイムに通信部１４を介してサーバ２０に伝送される。
【００５２】
また、サーバ２０は、各構成要素の動作を制御するＣＰＵ２１、プログラム実行時の作業領域となるメモリ２２、後述する診断画像のエリア分割等を行う画像処理部２３、本発明に係る処理プログラム等が格納され、また診断画像が保存されるハードディスク２４、通信部２５、及びアンテナ２６から構成されている。
【００５３】
ハードディスク２４には、カプセル内視鏡検査で撮影された多数の診断画像が、患者ＩＤ毎に記録されている。ハードディスク２４に記録されている診断画像は、ＣＰＵ２１の制御に基づいて撮影順に読み出され、アンテナ２６を介して通信部２５からＨＭＤ１０に送信される。また、通信部２５は、ＨＭＤ１０から送信された診断者の視線情報をアンテナ２６を介して受信する。
【００５４】
画像処理部２３は、診断画像を複数のエリアに分割し、分割したエリア毎の画像特徴量の算出を行う。画像特徴量の詳細については後述する。
【００５５】
なお、ＨＭＤ１０とサーバ２０は無線で通信する例で説明しているが、有線で通信してもよい。
【００５６】
次に、診断支援システムの動作について、図３を用いて説明する。
【００５７】
診断者は、ＨＭＤ１０を装着し、図示しない操作部により患者ＩＤを指定し、診断しようとする内視鏡画像を選択する。サーバ２０の操作部を操作して選択してもよい。サーバ２０は、ハードディスク２４から、選択された診断画像を時系列的に順に読み出し、通信部２５によりＨＭＤ１０に送信する（ステップＳ１）。
【００５８】
ＨＭＤ１０は、サーバ２０から送信されてくる診断画像を通信部１４により順に受信し、表示部１１に再生表示する（ステップＳ１１）。
【００５９】
診断者は、表示部１１に表示された診断画像を観察する。このとき、視線検出部１３は診断者の視線を検出する（ステップＳ１２）。ＣＰＵ１２は、視線検出部１３が検出した視線と、表示部１１と視線検出部１３との位置関係とに基づいて、表示部１１における視点の座標、即ち表示部１１に表示された画像の観察位置を算出することが可能である。
【００６０】
ＣＰＵ１２が算出した視点情報は、通信部１４を介してサーバ２０に送信される（ステップＳ１３）。ＨＤＭ１０は、サーバ２０から診断画像が送信されるたびに、ステップＳ１１からステップＳ１３の処理を繰り返す。
【００６１】
視点情報を受信したサーバ２０は、画像処理部２３によりＨＭＤ１０に表示中の画像を複数のエリアに分割し、受信した視点情報に基づいて、画像中のエリア毎の観察時間（視線の存在時間）を算出する（ステップＳ２）。
【００６２】
さらに、画像処理部２３は、分割したエリア毎に画像特徴量を算出する（ステップＳ３）。画像特徴量としては、濃度／色味別の平均、ヒストグラム、周波数分布、エッジ方向別のエッジ強度分布、フラクタル次元が挙げられる。ここでは、フラクタル次元を用いる。なお、フラクタル次元とは、図形の複雑さのレベルを定量化したものであり、フラクタル次元が小さいほどその図形の複雑さのレベルは低く、フラクタル次元が大きいほどその図形の複雑さのレベルは高い。したがって、例えば血管の複雑さ等を表すことができる。画像処理部２３は、公知の計算手法により、分割したエリア毎のフラクタル次元を算出する。
【００６３】
このように算出された、ＨＭＤ１０において再生表示された全ての診断画像の、全ての分割したエリア毎の観察時間及び画像特徴量は、診断画像に関連付けられてハードディスク２４に記録される。
【００６４】
診断者が、診断しようとする全ての診断画像の観察を終了すると、ＣＰＵ２１は、画像処理部２３が算出したエリア毎の観察時間と画像特徴量の関係を算出する。図４は、エリア毎の画像特徴量を横軸に、観察時間を縦軸にプロットし、これらの座標点となるデータ群から生成した近似曲線を示す図である。
【００６５】
さらに、この近似曲線から、所定の観察時間Ｔｈ＿ｋ以上観察対象となったエリアの画像特徴量の閾値Ｔｈ＿ｐを算出する（ステップＳ４）。図４の例では、特性の近似曲線と所定の観察時間Ｔｈ＿ｋを示す破線（特徴量軸に並行）との交点を求め、その交点の特徴量値を、画像特徴量の閾値Ｔｈ＿ｐとする。所定の観察時間Ｔｈ＿ｋは、予め決められている値であり、ハードディスク２４に記録されている。観察時間Ｔｈ＿ｋは、診断者が自由に設定できるようにしてもよい。なお、画像特徴量の閾値Ｔｈ＿ｐは、全ての診断画像の観察終了後ではなく、所定枚数の画像又は所定時間分の画像の観察が終了した時点で算出してもよい。
【００６６】
次に、全ての診断画像の全ての分割したエリアから、画像特徴量が閾値Ｔｈ＿ｐ以上であり、かつ観察時間Ｔｈ＿ｋ未満のエリアを抽出する（ステップＳ５）。図５は、特徴量が閾値Ｔｈ＿ｐ以上となるエリアを示す図であり、横軸は診断画像が表示部１１に表示されていた時間を、縦軸は該当エリアの観察時間を示している。
【００６７】
図５に示すように、画像特徴量が閾値Ｔｈ＿ｐ以上であり、かつ観察時間がＴｈ＿ｋ未満のエリアが存在する場合は、このエリアに写されている重要な被写体を見逃している可能性があるので、サーバ２０は、そのエリアを含む画像番号とエリア番号をＨＭＤ１０に通知する（ステップＳ６）。ここで、図６に示すように、１回のカプセル内視鏡検査で撮影された全ての内視鏡画像について、撮影順に付与した番号を画像番号、画像処理部２３により分割された複数のエリアについて、順に付与した番号をエリア番号と呼ぶ。図６の場合は、１つの画像を１６のエリアに分割している。
【００６８】
これを受信したＨＭＤ１０は、表示部１１に受信した画像番号とエリア番号を表示する（ステップＳ１４）。診断者は、この表示により、見落としの可能性を知ることができ、表示された画像について、再確認することができる。ＨＭＤ１０は、表示部１１に受信した画像番号とエリア番号を表示するのではなく、図示しない音声出力部により音声で出力して警告してもよい。また、画像番号とエリア番号を通知するのではなく、サーバ２０から該当する画像をＨＭＤ１０に再送信してもよい。この場合は、ＨＭＤ１０に、再送信された画像だけを再生表示するモードを設けてもよい。
【００６９】
本実施の形態では、画像特徴量としてフラクタル次元を用いたが、上記のような他の画像特徴量を用いてもよい。また、内視鏡画像が撮影された食道部、胃部、小腸、大腸等の体内部位に応じて、異なる閾値Ｔｈ＿ｐを用いてもよいし、異なる画像特徴量を用いてもよい。体内部位の判別は、使用したカプセル内視鏡が加速度センサ付きの場合は加速度の累積値、カプセル内視鏡から内視鏡画像を受信する複数個所の受信アンテナの電波受信強度、嚥下してからの経過時間、撮影画像の経過等に基づいて診断者が推定する。これらの情報は、撮影画像とともにサーバ２０に記録しておけばよい。
【００７０】
さらに、複数の画像特徴量を用いて判定してもよい。複数の画像特徴量を用いた場合は、画像特徴量毎に閾値Ｔｈ＿ｐを設定し、画像特徴量別に該当するエリアを含む画像番号とエリア番号をＨＭＤ１０に通知することが好ましい。
【００７１】
画像特徴量の閾値Ｔｈ＿ｐは、事前に他の診断事例から作成し、サーバ２０のハードディスク２４等に記録しておき、これを使用してもよい。例えば、ベテラン医師のサンプル診断を登録しておいたり、体内の部位別に各閾値を用意しておいたり、同一患者の再診時に前回の診断時の閾値を用いてもよい。
【００７２】
また、本実施の形態では、ＨＭＤ１０を用いて診断者の画像の観察エリアを特定したが、液晶等のディスプレイに診断画像を表示し、ディスプレイに近接して設けられたカメラで診断者の眼部を撮影して視線を検出することにより、ディスプレイにおける視点の座標、即ちディスプレイに表示された画像の観察エリアを検出してもよい。
【００７３】
なお、公知の装着型の視線検出ユニット（視線検出キャリブレーション処理を含む）と、通常の液晶等のディスプレイの組み合わせを用いて診断者の画像の観察エリアを特定することも可能である。この場合は、検出した視線の先（注視位置）がディスプレイに表示された画像のどの位置であるのかを検出する手段を備えればよい。
【００７４】
＜第２の実施の形態＞
第２の実施の形態の診断支援システムは、診断時に要注意エリアを含む画像を表示する場合に、要注意エリアに対して補助情報を表示し、診断者に対して注意を喚起する。
【００７５】
図７は、第２の実施の形態の診断支援装置の動作について示したフローチャートである。なお、図３に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００７６】
まず最初に、図８に示すように、所定の枚数の診断画像を用いて、画像特徴量の閾値Ｔｈ＿ｐの算出を行う（ステップＳ２１）。画像特徴量の閾値Ｔｈ＿ｐの算出は、第１の実施の形態と同様に、サーバ２０から送信された各画像が表示部１１に表示され、診断者の視線を検出することにより各画像のエリア毎の観察時間を算出し、エリア毎の画像特徴量との関係の近似曲線から算出する。なお、本実施の形態では、フラクタル次元だけでなく、濃度／色味別の平均、ヒストグラム、周波数分布、エッジ方向別のエッジ強度分布等のそれぞれの画像特徴量において、閾値Ｔｈ＿ｐを算出する。体内部位に応じて、異なる閾値Ｔｈ＿ｐを用いてもよい。
【００７７】
閾値Ｔｈ＿ｐを算出した後も、サーバ２０は、引き続き診断画像を順に読み出す（ステップＳ２２）。画像処理部２３は、診断画像を複数のエリアに分割し（ステップＳ２３）、分割したエリア毎の画像特徴量の算出を行う（ステップＳ２４）。ここでの画像特徴量も、閾値Ｔｈ＿ｐを算出した全ての画像特徴量について算出を行う。
【００７８】
ここで、算出した画像特徴量が、事前に算出した閾値Ｔｈ＿ｐより大きいか否かを判定する（ステップＳ２５）。この判定も、閾値Ｔｈ＿ｐを算出した全ての画像特徴量について行い、１つでも該当する画像特徴量がある場合はステップＳ２５においてＹｅｓの判定となる。閾値Ｔｈ＿ｐより大きい場合（ステップＳ２５においてＹｅｓ）は、該当エリアを要注意エリアとして、該当する診断画像の該当エリアに補助情報を合成する（ステップＳ２６）。補助情報は、要注意エリアの色を変更する情報でもよいし、要注意エリアを囲う太枠でもよい。
【００７９】
全てのエリアについての判定が終了後、この合成された診断画像（画像特徴量が閾値Ｔｈ＿ｐより大きいエリアが無い場合は読み出した診断画像そのまま）を通信部２５によりＨＭＤ１０に送信する（ステップＳ２７）。サーバ２０は、全ての診断画像について、ステップＳ２２からステップＳ２７の処理を繰り返す。
【００８０】
ＨＭＤ１０は、これまでと同様に、サーバ２０から送信されてくる診断画像を通信部１４により順に受信し、表示部１１に再生表示する（ステップＳ１１）。図９は、このときの表示部１１の表示を示す図である。診断画像１６の要注意エリア１７には、補助情報が合成されており、診断者は、特に注意をして確認すべきエリアであることを認識することができる。
【００８１】
また、表示部１１には、どの画像特徴量が閾値Ｔｈ＿ｐより大きいかを示す特徴量情報１８が、診断画像１６と同時に表示される。複数の画像特徴量が閾値Ｔｈ＿ｐより大きい場合は、その全ての画像特徴量が表示される。
【００８２】
さらに、ＨＭＤ１０は、視線検出部１３において診断者の視線を検出し（ステップＳ１２）、この検出した視線に基づく視点情報を、通信部１４を介してサーバ２０に送信する（ステップＳ１３）。ＨＤＭ１０は、サーバ２０から診断画像が送信されるたびに、ステップＳ１１からステップＳ１３の処理を繰り返す。
【００８３】
視点情報を受信したサーバ２０は、画像中のエリア毎の観察時間を算出する（ステップＳ２）。
【００８４】
診断者が、全ての診断画像の観察を終了すると、算出した観察時間と予め算出されている画像特徴量とから、これらの関係の近似曲線を算出し、さらにこの近似曲線から、所定の観察時間Ｔｈ＿ｋ以上観察対象となったエリアの画像特徴量の閾値Ｔｈ＿ｐを算出する（ステップＳ４）。この場合も、ステップＳ２１で用いた全ての画像特徴量について算出する。なお、全ての診断画像の観察が終了してからではなく、所定枚数の診断画像、又は所定の撮影時間分の観察が終了する毎に閾値Ｔｈ＿ｐを算出し、ステップＳ２５に用いる閾値Ｔｈ＿ｐを更新してもよい。例えば、３０分の診断画像毎に閾値Ｔｈ＿ｐを算出し、更新する。
【００８５】
次に、全ての診断画像の全ての分割したエリアから、画像特徴量が閾値Ｔｈ＿ｐ以上であり、かつ観察時間がＴｈ＿ｋ未満のエリアを抽出する（ステップＳ５）。観察時間がＴｈ＿ｋ未満のエリアにおいて、複数の画像特徴量のうち１つでも閾値Ｔｈ＿ｐ以上の画像特徴量がある場合は、そのエリアを抽出する。サーバ２０は、抽出されたエリアを含む画像番号とエリア番号をＨＭＤ１０に通知する（ステップＳ６）。
【００８６】
これを受信したＨＭＤ１０は、表示部１１に受信した画像番号とエリア番号を表示する（ステップＳ１４）。診断者は、この表示により、見落としの可能性を知ることができる。
【００８７】
本実施の形態では、要注意エリアについて補助情報の表示を行ったが、要注意エリアを含む診断画像の再生レート（表示時間）を長くしてもよい。さらに、要注意エリアが多いほど再生レートを長くしてもよい。また逆に、要注意エリアの無い診断画像の再生レートを短くしてもよい。要注意エリアの観察時間が閾値Ｔｈ＿ｐを超えるまで次の画像の表示へ移行しないように構成してもよい。
【００８８】
また、画像特徴量の算出にあたり、画像データの色味としてＲＧＢ各３色を用いてもよいし、グレー濃度又は輝度として３色の加重平均を用いてもよい。他にも、画像データを明度／彩度／色相に変換し、変換後の画像データに対して画像特徴量を算出してもよい。
【図面の簡単な説明】
【００８９】
【図１】図１は本発明に係る診断支援システムの実施の形態を示す概略図である。
【図２】図２は診断支援システムの実施の形態を示すブロック図である。
【図３】図３は、診断支援システムの動作について示したフローチャートである。
【図４】図４は、エリア毎の画像特徴量と観察時間との関係から生成された近似曲線を示す図である。
【図５】図５は、特徴量が閾値Ｔｈ＿ｐ以上となるエリアを示す図である。
【図６】図６は、診断画像の画像番号及びエリア番号について示した図である。
【図７】図７は、第２の実施の形態の診断支援装置の動作について示したフローチャートである。
【図８】図８は、画像特徴量の閾値Ｔｈ＿ｐの算出を行うタイミングを示す図である。
【図９】図９は、サーバ２０から送信された画像が表示部１１に表示された様子を示す図である。
【符号の説明】
【００９０】
１０…ヘッドマウントディスプレイ（ＨＭＤ）、１１…表示部、１３…視線検出部、１６…診断画像、１７…要注意エリア、１８…特徴量情報、２０…サーバ、２３…画像処理部、２４…ハードディスク、２５…通信部
【図１】
2010035756.tif 000003
【図２】
2010035756.tif 000004
【図３】
2010035756.tif 000005
【図４】
2010035756.tif 000006
【図５】
2010035756.tif 000007
【図６】
2010035756.tif 000008
【図７】
2010035756.tif 000009
【図８】
2010035756.tif 000010
【図９】
2010035756.tif 000011