(57)【要約】【課題】ユーザーが注目位置を効率良く見つけだすことを可能とし、ひいてはユーザーの手間を減らすことのできる技術を提供する。【解決手段】本発明の画像処理装置は、被写体を撮像して得られた診断画像にアノテーションを付加する付加手段と、アノテーションに関連する情報として、予め定められた属性の情報である属性情報を、アノテーションと共に記憶部に記録する記録手段と、前記診断画像においてアノテーションが付加された複数の位置の中から、ユーザーが注目する位置である注目位置を検索する検索手段と、検索手段の検索結果を表示部に表示する表示手段と、を備え、検索手段は、アノテーションに含まれるワード、または、属性情報をキーとして、前記注目位置を検索する。【選択図】図８
2013152701.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた診断画像にアノテーションを付加する付加手段と、
アノテーションに関連する情報として、予め定められた属性の情報である属性情報を、アノテーションと共に記憶部に記録する記録手段と、
前記診断画像においてアノテーションが付加された複数の位置の中から、ユーザーが注目する位置である注目位置を検索する検索手段と、
前記検索手段の検索結果を表示部に表示する表示手段と、
を備え、
前記検索手段は、アノテーションに含まれるワード、または、属性情報をキーとして、前記注目位置を検索する
ことを特徴とする画像処理装置。
【請求項２】
前記属性情報は、前記診断画像の診断内容を表す診断情報を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記診断画像を解析することによって診断を支援するための情報を自動で検出する自動診断手段をさらに備え、
前記アノテーションは、前記自動診断手段の検出結果に基づいて付加されるアノテーションを含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記自動診断手段の検出結果に基づいて付加されたアノテーションは、前記診断を支援するための情報をテキスト情報として含んでおり、
前記検索手段は、前記診断を支援するための情報に含まれるワードをキーとして検索を行う
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記属性情報は、前記診断画像の診断を行う際に用いた診断基準を表す情報を含む
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記属性情報は、対応するアノテーションが付加された日時、または、前記診断画像の観察が行われた日時を表す日時情報を含む
ことを特徴とする請求項１、２、または５に記載の画像処理装置。
【請求項７】
前記属性情報は、アノテーションを付加したユーザーを特定するユーザー情報を含む
ことを特徴とする請求項１、２、５、または６に記載の画像処理装置。
【請求項８】
複数のユーザーが異なる目的又は異なる方法で順番に前記診断画像にアノテーションを付加していくものであって、
前記ユーザー情報は、当該ユーザーがアノテーションを付加したときの目的又は方法を示すユーザー属性を含み、
前記検索手段は、前記ユーザー属性をキーとして、前記注目位置を検索する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記属性情報は、アノテーションを付加したユーザーにより入力された情報である
ことを特徴とする請求項１、２、５、６、７、または８に記載の画像処理装置。
【請求項１０】
前記検索手段は、検索を行うことにより、前記付加手段でアノテーションが付加された複数の位置から、前記注目位置の候補である候補位置を検出し、
前記表示手段は、候補位置毎に対応する属性情報を示すリストを、前記検索結果として前記表示部に表示する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記属性情報は、対応するアノテーションが付加された日時、または、前記診断画像の観察が行われた日時を表す日時情報を含み、
前記属性情報のリストは、日時情報で表される日時順にソート可能である
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
ユーザーが前記リストから候補位置を選択した場合に、前記表示手段は、前記診断画像を前記表示部に表示するとともに、該診断画像内に前記選択された候補位置を示す
ことを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
ユーザーが前記リストから複数の候補位置を選択した場合に、前記表示手段は、選択された全ての候補位置が含まれるような表示位置および表示倍率で前記診断画像を前記表示部に表示するとともに、該診断画像内に前記選択された候補位置を示す
ことを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記検索手段は、検索を行うことにより、前記付加手段でアノテーションが付加された複数の位置から、前記注目位置の候補である候補位置を検出し、
前記表示手段は、前記検索結果として、前記診断画像を前記表示部に表示するとともに、該診断画像内に前記候補位置を示す
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１５】
前記検索手段で複数の候補位置が検出された場合に、前記表示手段は、全ての候補位置が含まれるような表示位置および表示倍率で前記診断画像を前記表示部に表示するとともに、該診断画像内に前記候補位置を示す
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記表示手段は、対応するアノテーションの画像を用いて前記候補位置を示す
ことを特徴とする請求項１２乃至１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記表示手段は、アイコン画像を用いて前記候補位置を示す
ことを特徴とする請求項１２乃至１５のいずれか１項に記載の画像処理装置。
【請求項１８】
前記表示手段は、
表示する候補位置の数が所定数以下の場合に、対応するアノテーションの画像を用いて前記候補位置を示し、
表示する候補位置の数が所定数より多い場合に、アイコン画像を用いて前記候補位置を示す
ことを特徴とする請求項１２乃至１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記アイコン画像は、属性情報毎に異なる
ことを特徴とする請求項１７または１８に記載の画像処理装置。
【請求項２０】
前記アノテーションの画像は、属性情報毎に異なる
ことを特徴とする請求項１６または１８に記載の画像処理装置。
【請求項２１】
前記表示手段は、ユーザーにより前記示された候補位置が選択された場合に、該候補位置にアノテーションを付加したときの表示位置および表示倍率で、前記診断画像を前記表
示部に表示する
ことを特徴とする請求項１４または１５に記載の画像処理装置。
【請求項２２】
前記検索手段は、１枚の診断画像から前記注目位置を検索する
ことを特徴とする請求項１乃至２１のいずれか１項に記載の画像処理装置。
【請求項２３】
前記検索手段は、複数枚の診断画像から前記注目位置を検索する
ことを特徴とする請求項１乃至２１のいずれか１項に記載の画像処理装置。
【請求項２４】
前記検索手段は、１人の患者から得られた複数の診断画像から前記注目位置を検索することを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
請求項１乃至２４のいずれか１項に記載の画像処理装置と、前記表示部と、を備えることを特徴とする画像処理システム。
【請求項２６】
コンピュータが、被写体を撮像して得られた診断画像にアノテーションを付加する付加ステップと、
コンピュータが、アノテーションに関連する情報として、予め定められた属性の情報である属性情報を、アノテーションと共に記憶部に記録する記録ステップと、
コンピュータが、診断画像においてアノテーションが付加された複数の位置の中から、ユーザーが注目する位置である注目位置を検索する検索ステップと、
コンピュータが、前記検索ステップの検索結果を表示部に表示する表示ステップと、
を含み、
前記検索ステップでは、アノテーションに含まれるワードまたは属性情報をキーとして、前記注目位置が検索される
ことを特徴とする画像処理方法。
【請求項２７】
請求項２６に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（被写体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、被写体の光学顕微鏡像をデジタル画像データとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。
【０００３】
光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被写体全体の画像をデジタル化する必要がある。被写体全体の画像のデジタル化により、被写体全体をＰＣ(Personal Computer)やワークステーション上で動作する
ビューワソフト（ビューワ）で観察することができる。被写体全体の画像をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。このように、バーチャルスライドシステムで作成したデジタル画像データのデータ量は膨大である。しかし、それにより、ビューワで画像の拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供することが可能となる。必要な情報を予めすべて取得しておくことで、ユーザーが求める解像度や倍率の画像を即時表示することが可能となる。例えば、低倍率の画像から高倍率の画像まで即時表示することが可能となる。
また、医用画像（超音波画像）を取得するときにその医用画像にアノテーションを付加しておいて、アノテーション中のコメントを検索キーとして医用画像を検索する画像処理装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３５３３２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
バーチャルスライド画像のような診断画像中には、その他の医用画像と比べて、診断医が注目する位置（注目位置；注目部位；関心領域）が多数存在する。それら注目位置を検索するためにアノテーションとしての注釈（コメント）のみを付加した場合には、検索対象が注釈に限定されるため、所望の注目位置を見つけ出すには制限がある。また、付加したアノテーションのすべてを確認して注目位置を探していたのでは、診断医（病理医）の手間が増えて、診断医による診断のための時間が長くなってしまう。
【０００６】
そこで、本発明は、ユーザーが注目位置を効率良く見つけだすことを可能とし、ひいてはユーザーの手間を減らすことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、被写体を撮像して得られた診断画像にアノテーションを付加する付加手段と、アノテーションに関連する情報として、予め定められた属性の情報であ
る属性情報を、アノテーションと共に記憶部に記録する記録手段と、前記診断画像においてアノテーションが付加された複数の位置の中から、ユーザーが注目する位置である注目位置を検索する検索手段と、前記検索手段の検索結果を表示部に表示する表示手段と、を備え、前記検索手段は、アノテーションに含まれるワード、または、属性情報をキーとして、前記注目位置を検索することを特徴とする。
【０００８】
本発明の画像処理システムは、前記画像処理装置と、前記表示部と、を備えることを特徴とする。
【０００９】
本発明の画像処理方法は、コンピュータが、被写体を撮像して得られた診断画像にアノテーションを付加する付加ステップと、コンピュータが、アノテーションに関連する情報として、予め定められた属性の情報である属性情報を、アノテーションと共に記憶部に記録する記録ステップと、コンピュータが、診断画像においてアノテーションが付加された複数の位置の中から、ユーザーが注目する位置である注目位置を検索する検索ステップと、コンピュータが、前記検索ステップの検索結果を表示部に表示する表示ステップと、を含み、前記検索ステップでは、アノテーションに含まれるワードまたは属性情報をキーとして、前記注目位置が検索されることを特徴とする。
【００１０】
本発明のプログラムは、前記画像処理方法の各ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ユーザーが注目位置を効率良く見つけだすことが可能となり、ひいてはユーザーの手間を減らすことができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る画像処理システムの構成を示す図
【図２】実施例１に係る撮像装置の機能構成を示すブロック図
【図３】実施例１に係る画像処理装置の機能構成を示すブロック図
【図４】実施例１に係る画像処理装置のハードウェア構成を示すブロック図
【図５】倍率毎に予め用意された階層画像の概念図
【図６】実施例１に係る画像処理装置の全体的な処理の流れを示すフローチャート
【図７】実施例１に係るアノテーションの付加処理の流れを示すフローチャート
【図８】実施例１に係る注目位置の検索処理の流れを示すフローチャート
【図９】実施例１に係る検索結果の表示処理の流れを示すフローチャート
【図１０】実施例１に係る表示画像の一例
【図１１】アノテーションリストの構成の一例
【図１２】実施例２に係る画像処理システムの構成を示す図
【図１３】実施例２に係る検索結果の表示処理の流れを示すフローチャート
【図１４】実施例２に係る表示画像の一例
【図１５】実施例１に係る診断基準設定の画面、診断分類の画面の一例
【図１６】診断支援データリストの構成の一例
【発明を実施するための形態】
【００１３】
（実施例１）
以下、図面を参照しながら本発明の実施例１に係る画像処理システムについて説明する。
本発明の実施例１に係る画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。
（画像処理システムの装置構成）
本実施例に係る画像処理システムについて、図１を用いて説明する。
図１は、本実施例に係る画像処理装置を用いた画像処理システムの構成を示す図である。本実施例に係る画像処理システムは、撮像装置（顕微鏡装置、またはバーチャルスライドスキャナ）１０１、画像処理装置１０２、表示装置１０３などから構成され、撮像対象となる被写体（被検試料）の二次元画像を取得し表示する機能を有する。撮像装置１０１と画像処理装置１０２とは、専用もしくは汎用のＩ／Ｆのケーブル１０４で互いに接続され、画像処理装置１０２と表示装置１０３とは、汎用のＩ／Ｆのケーブル１０５で互いに接続される。
【００１４】
撮像装置１０１としては、例えば、二次元の平面方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、撮像装置１０１として、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置を用いることもできる。
画像処理装置１０２は、ユーザーからの要求に応じて、撮像装置１０１から取得したデジタル画像データ（原画像データ）から、表示装置１０３に表示するデータ（表示データ）を生成する機能等を有する。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。画像処理装置１０２の各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、ユーザーが各種の指示を入力するために利用される。
表示装置１０３は、画像処理装置１０２が演算処理した結果である表示データに基づく画像を表示するディスプレイ（表示部）である。表示装置１０３としては、ＥＬ（Electro-Luminescence）、液晶、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスを用いることができる。
【００１５】
なお、図１の例では、撮像装置１０１と画像処理装置１０２と表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また、撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。逆に、１つの装置の機能を複数の装置によって実現してもよい。例えば、画像処理装置の機能が複数の装置によって実現されてもよい。
【００１６】
（撮像装置の機能構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部２２２から構成される。
【００１７】
照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６（被写体）に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。プレパラート２０６は、観察対象となる被写体（組織の切片や塗抹した細胞）をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２１７によって計測した被写体の位置情報および厚み情報（距離情報）と、必要に応じてユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。
結像光学系２０７は、プレパラート２０６の被写体の光学像を撮像センサ２０８へ結像するためのレンズ群である。
【００１８】
撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。
撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、撮像センサ２０８として、例えばＣＣＤやＣＭＯＳデバイスが用いられる。撮像センサ２０８が一次元センサの場合、走査方向へスキャンすることで二次元画像（二次元の撮像画像）が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号（アナログ信号）が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に駆動することにより、被写体の分割画像（撮像領域が互いに異なる複数の分割画像）を撮像する。
ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Correlated double sampling）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８の処理タイミングおよび後段の現像処理ユニット２１９の処理タイミングを調整する信号を生成する。
撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Region Of Interest）など動作タイミングや制御が合わせて行われる。
【００１９】
現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。
黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。
ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。
デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける
周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。
画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した分割画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より被写体の存在範囲が広いため、一枚の二次元画像データ（大容量画像データ）を、分割画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でプレパラート２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその二乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線の位置合わせをしてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により複数の分割画像を滑らかにつなげることができる。なお、本実施例では、一枚の大容量画像の生成を想定しているが、画像処理装置１０２が、複数の分割画像データを取得し、表示データを生成する際に、分割画像をつなぎ合わせてもよい。
解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、倍率が互いに異なる複数の画像を予め解像度変換によって生成する処理を行う。解像度変換処理部２１５は、低倍率から高倍率まで複数の倍率の画像データを生成し、それらの画像データをひとまとめにした階層構造を持つデータを生成する。当該階層構造を持つデータの詳細については図５を用いて後述する。
フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施例では形態観察を目的とした画像取得のため、合成処理や表示処理に適した階調変換が画像データに対して適用される。
圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量を削減（圧縮）するための符号化処理を行う。静止画像の圧縮手法として、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ  ＸＲ等の規格化された符号化方式が広く一般に知られている。
【００２０】
プレ計測ユニット２２０は、プレパラート２０６上の被写体の位置情報、所望の焦点位置までの距離情報、および被写体の厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報の取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から被写体のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。
【００２１】
メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例
えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、メイン制御系２２１を、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したものに置き換えてもよい。
【００２２】
データ出力部２２２は、現像処理ユニット２１９によって生成された画像データを診断画像データとして画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信ケーブルにより互いに接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。
【００２３】
（画像処理装置の機能構成）
図３は、本実施例に係る画像処理装置１０２の機能構成を示すブロック図である。
画像処理装置１０２は、概略、画像データ取得部３０１、記憶保持部（メモリ）３０２、ユーザー入力情報取得部３０３、表示装置情報取得部３０４、アノテーションデータ生成部３０５、アノテーションリスト記憶部３０６、アノテーション検索処理部３０７、表示データ生成制御部３０８、表示画像データ取得部３０９、表示データ生成部３１０、および表示データ出力部３１１から構成される。
【００２４】
画像データ取得部３０１は、撮像装置１０１で撮像された画像データ（被写体を撮像して得られた診断画像（診断対象の画像）のデータ）を取得する。ここで言う診断画像データは、被写体を分割して撮像することにより得られたＲＧＢのカラーの分割画像データ、分割画像データを合成した一枚の二次元画像データ（高解像画像データ）、および高解像画像データをもとに生成された各倍率の画像データ（階層画像データ）の少なくとも何れかである。なお、分割画像データはモノクロの画像データでもよい。
【００２５】
記憶保持部３０２は、画像データ取得部３０１を介して外部装置（撮像装置１０１）から取得した画像データを取り込み、記憶、保持する。
【００２６】
ユーザー入力情報取得部３０３は、マウスやキーボード等の操作部を介して、診断画像内の表示位置の変更、診断画像の表示倍率（表示する断層画像の倍率；拡大率や縮小率）の変更などの表示画像データ（診断画像の表示される領域の画像データ）の更新指示を取得する。また、ユーザー入力情報取得部３０３は、マウスやキーボード等の操作部を介して、診断画像の関心位置へのアノテーションの付加等を行う際に用いる表示アプリケーションへの入力情報を取得する。アノテーションとは、画像データに対して注釈として付与される情報のことであり、注釈があるという情報だけでも良いし、注釈内容（テキストデータ）も含まれていても良い。
【００２７】
表示装置情報取得部３０４は、表示装置１０３が保有するディスプレイの表示エリア情報（画面解像度）の他、現在表示されている画像の表示倍率の情報（表示倍率情報）を取得する。
【００２８】
アノテーションデータ生成部３０５は、診断画像の、ユーザーに指定された位置にアノテーションを付加する。また、アノテーションデータ生成部３０５は、アノテーションを付加する際に、注釈内容としてのテキスト情報だけでなく、アノテーションに関連する情報としての属性情報をテキスト情報と共に記憶部（アノテーションリスト記憶部３０６）に記録する。属性情報は、後述するように、診断画像に付加された多数のアノテーションの中から、観察者（医師、技師など）が注目すべきアノテーションを絞り込むために利用される。それゆえ、アノテーションの絞り込み（検索）に有用な情報であれば、どのような種類の情報でも属性情報として用いることができる。例えば、いつ、誰が（人が付加す
る場合もコンピュータが自動付加する場合もある）、アノテーションを付加したか、という情報や、アノテーションを付加した目的・意図・観点を表す情報などを、属性情報として用いることができる。属性情報の詳細は後述する。
アノテーションデータ生成部３０５は、ユーザー入力情報取得部３０３から表示画面（表示装置１０３の画面）内の位置座標（表示画面内の、ユーザーに指定された位置（アノテーションを付加する位置）の座標）の情報を取得する。また、アノテーションデータ生成部３０５は、表示装置情報取得部３０４から表示倍率情報を取得する。そして、アノテーションデータ生成部３０５は、それらの情報を用いて、上記表示画面内の位置座標を診断画像内の位置座標に変換する。その後、アノテーションデータ生成部３０５は、アノテーションとして入力されたテキスト情報（テキストデータ）、上記診断画像内の位置座標の情報、上記表示倍率情報、および属性情報を含むアノテーションデータを生成する。生成したアノテーションデータは、アノテーションリスト記憶部３０６に記録される。アノテーションの付加処理の詳細は図７を用いて後述する。
【００２９】
アノテーションリスト記憶部３０６は、アノテーションデータ生成部３０５で生成されたアノテーションデータをリスト化した参照テーブル（アノテーションリスト）を記憶する。アノテーションリストの構成については図１１を用いて後述する。
【００３０】
アノテーション検索処理部３０７は、アノテーションが付加された複数の位置から、ユーザーが注目する位置である注目位置を検索する。注目位置の検索処理の詳細は図８を用いて後述する。
【００３１】
表示データ生成制御部３０８は、ユーザー入力情報取得部３０３の指示に従い表示データの生成を制御する。表示データは、主に、表示画像データとアノテーション画像データ（アノテーションの画像のデータ）とからなる。
表示画像データ取得部３０９は、表示データ生成制御部３０８からの指示に従い、表示に必要な診断画像データ（表示画像データ）を記憶保持部３０２から取得する。
【００３２】
表示データ生成部３１０と表示データ出力部３１１により、表示データが生成され、表示装置１０３へ出力される。それにより、表示データに基づく画像が表示装置１０３に表示される。また、注目位置の検索が行われた場合には、表示データ生成部３１０と表示データ出力部３１１により、アノテーション検索処理部３０７による検索結果が表示装置１０３に表示される。
具体的には、表示データ生成部３１０は、アノテーションデータ生成部３０５で生成されたアノテーションデータと、表示画像データ取得部３０９によって取得された診断画像データとを用いて、表示装置１０３で表示するための表示データを生成する。
表示データ出力部３１１は、表示データ生成部３１０で生成された表示データを外部装置である表示装置１０３へ出力する。
【００３３】
（画像形成装置のハードウェア構成）
図４は、本実施例に係る画像処理装置のハードウェア構成を示すブロック図である。情報処理を行う画像処理装置として、例えばＰＣ（Personal Computer）が用いられる。
ＰＣは、ＣＰＵ（Central Processing Unit）４０１、ＲＡＭ（Random Access Memory
）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。
ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等にアクセスし、各種演算処理を行いながらＰＣの各ブロックを統括的に制御する。
ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本発明の特徴であるアノテーションの検索や表示データの生成など処理で使用する各種データを一時的に保持する。
記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている補助記憶装置である。記憶装置４０３としては、ＨＤＤ（Hard Disk Drive）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを
用いた半導体デバイス（ＳＳＤ（Solid State Disk）等）が用いられる。
データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー１１０１
が、グラフィクスボード４０７を介して表示装置１０３が、外部装置Ｉ／Ｆ４０８を介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１が、それぞれ接続される。
【００３４】
なお、本実施例では、表示装置１０３が外部装置として接続されるＰＣを想定しているが、表示装置と一体化したＰＣであってもよい。例えばノートＰＣがこれに該当する。
なお、本実施例では、操作Ｉ／Ｆ４０９を介して接続される入力デバイスとしてキーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、表示装置１０３の画面がタッチパネルとなっている場合には、該タッチパネルを入力デバイスとして用いてもよい。その場合、タッチパネルは表示装置１０３と一体となり得る。
【００３５】
（倍率毎に階層化されたデータの概念）
既に述べたように、画像処理装置１０２には、倍率毎に階層化されたデータが入力されることもある。図５は、倍率毎に予め用意された画像（階層画像；撮像装置１０１の解像度変換処理部２１５で生成される画像）の概念図である。
階層画像は軸Ｘと軸Ｙの二次元の軸を持っている。軸Ｘ，Ｙに直交する方向の軸Ｐは、複数の階層画像をピラミッド形式で示すための軸である。
符号５０１，５０２，５０３，５０４は、倍率が互いに異なる二次元画像（階層画像）であり、解像度が互いに異なる階層画像である。説明を簡単にするため、階層画像５０３の各一次元方向（Ｘ方向、Ｙ方向）の解像度は、階層画像５０４の１／２となっている。階層画像５０２の各一次元方向の解像度は、階層画像５０３の１／２となっている。階層画像５０１の各一次元方向の解像度は、階層画像５０２の１／２となっている。
符号５０５は、分割画像のサイズの領域を指している。
【００３６】
撮像装置１０１で撮像して得られる画像データは診断の目的から高解像、高分解能の画像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求がある度に解像度変換を行っていたのでは処理が間に合わなくなってしまう。そのため、予め倍率の異なるいくつかの階層画像を用意し、用意された階層画像から、表示倍率と近接する倍率の画像を選択し、表示倍率に合わせて選択した画像の解像度変換を行うことが望ましい。それにより、解像度変換の処理量を低減することができる。一般には、より高倍率の画像から表示倍率の画像を生成するのが、画質の点でより好ましい。
【００３７】
撮像して得られる画像データは高解像の画像データであるため、該画像データを、解像度変換手法によって縮小することにより、他の倍率の階層画像データが生成される。解像度変換の手法としては、二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどが広く知られている。
【００３８】
このように、診断画像の表示倍率を変化させて診断、観察する場合には、診断画像データとして、図に示したように倍率が互いに異なる複数の階層画像データを用意することが望ましい。なお、複数の階層画像データをとりまとめて一つのデータ（ファイル）として取り扱えるようにしてもよいし、各階層画像データを独立な画像データとして用意するとともに、倍率と画像データの関係を表す情報が用意されてもよい。
【００３９】
（アノテーションの付加、注目位置の検索、検索結果の表示の方法）
本実施例に係る画像処理装置における、アノテーションの付加、注目位置の検索および検索結果の表示の流れを図６のフローチャートを用いて説明する。
【００４０】
ステップＳ６０１では、表示装置情報取得部３０４が、表示装置１０３の表示エリア（画面）のサイズ情報（画面解像度）、及び、現在の表示されている診断画像の倍率の情報（表示倍率情報）を取得する。表示エリアのサイズ情報は、生成する表示データのサイズを決める際に用いる。表示倍率は、階層画像を選択する時、およびアノテーションデータの生成時に用いる。アノテーションデータの生成については後述する。
【００４１】
ステップＳ６０２では、表示画像データ取得部３０９が、ステップＳ６０１で取得された表示倍率に対応した診断画像データを記憶保持部３０２より取得する。具体的には、表示画像データ取得部３０９は、ステップＳ６０１で取得された表示倍率に最も近い（または、表示倍率より大きく、且つ、表示倍率に最も近い）倍率の診断画像データを記憶保持部３０２より取得する。なお、診断画像が表示されていない場合には、表示画像データ取得部３０９が、所定の表示倍率（初期値）に対応した診断画像データを記憶保持部３０２より取得する。
【００４２】
ステップＳ６０３では、表示データ生成部３１０が、ステップＳ６０２で取得された診断画像データを用いて表示データを生成する。具体的には、表示倍率がステップＳ６０２で取得された診断画像データの倍率と等しい場合には、表示データ生成部３１０は、当該取得された診断画像データをそのまま用いて表示データを生成する。表示倍率がステップＳ６０２で取得された診断画像データの倍率と異なる場合には、表示データ生成部３１０は、倍率が表示倍率となるように、取得された診断画像データの解像度変換を行い、該解像度変換された画像データを用いて表示データを生成する。生成された表示データは、表示装置１０３に表示される。このとき、診断画像内の表示する位置（表示位置）が指示されている場合には、表示倍率の診断画像の該位置が表示されるように、表示倍率の診断画像データの一部または全部を抽出して表示データが生成される。
【００４３】
ステップＳ６０４では、ユーザー入力情報取得部３０３が、ユーザーから表示画像データの更新が指示されたか否かを判断する。具体的には、表示位置の変更や表示倍率の変更など、診断画像の表示領域の変更の指示があったか否かが判断される。表示画像データの更新指示があった場合はステップＳ６０２へ戻り、診断画像データの取得、表示データの生成による画面更新（表示画像の更新）の処理が行われる。表示画像データの更新の指示がない場合には、ステップＳ６０５へ進む。
【００４４】
ステップＳ６０５では、ユーザー入力情報取得部３０３が、ユーザーからアノテーション付加の指示、要求を受けたか否かを判断する。アノテーション付加の指示があった場合は、ステップＳ６０６へ進む。アノテーションの付加の指示がなかった場合は、アノテーション付加の処理をスキップして、ステップＳ６０７へ進む。例えば、ユーザー入力情報取得部３０３は、ユーザーがアノテーションを付加する位置を指定した場合に、アノテーション付加の指示があったと判断する。
【００４５】
ステップＳ６０６では、アノテーションの付加に伴う各種処理が行われる。処理内容としては、キーボード４１０等で入力されたテキストのデータをアノテーションとして取得する他、本実施例の特徴である属性情報の取得が挙げられる。ステップＳ６０６の詳細については図７を用いて後述する。
【００４６】
ステップＳ６０７では、ユーザー入力情報取得部３０３が、ユーザーから注目位置の検索の指示、要求を受けたか否かを判断する。注目位置の検索の指示があった場合は、ステップＳ６０８へ進む。注目位置の検索の指示がなかった場合は、処理を終了する。
【００４７】
ステップＳ６０８では、注目位置の検索に伴う各種処理が行われる。本ステップでは、アノテーションに含まれるワードまたは属性情報をキーとして、注目位置が検索される。具体的には、注目位置を検索することにより、アノテーションが付加された複数の位置から、注目位置の候補である候補位置が検出される。ステップＳ６０８の処理の詳細については図８を用いて後述する。なお、検索の結果、位置が１つも検出されなかった場合には、表示データ生成部３１０と表示データ出力部３１１により、入力されたキーに対応する位置がない旨の画像やメッセージが、検索結果として表示装置１０３に表示される。
【００４８】
ステップＳ６０９では、ユーザー入力情報取得部３０３が、ユーザーから注目位置の検索結果の表示の指示、要求を受けたか否かを判断する。検索結果の表示の指示があった場合は、ステップＳ６１０へ進む。検索結果の表示の指示がなかった場合は、処理を終了する。
【００４９】
ステップＳ６１０では、検索結果を表示するための処理が行われる。ステップＳ６１０の処理の詳細については図９を用いて後述する。
【００５０】
なお、図６では、表示位置や表示倍率の変更の要求である画面更新要求の受付、アノテーションの付加、注目位置の検索がシーケンシャルに行われる場合を示しているが、それらの処理のタイミングはこれに限らない。これらの処理は同時に行われてもよいし、図６の順番に限らず、どのようなタイミングで行われてもよい。
【００５１】
（アノテーションの付加）
図７は、図６のステップＳ６０６で示したアノテーションを付加する処理の詳細な流れを示すフローチャートである。以下、図７を用いて、アノテーションが付加された位置、表示倍率、および、属性情報に基づいてアノテーションデータを生成する処理の流れについて説明する。
【００５２】
ステップＳ７０１では、アノテーションデータ生成部３０５が、ユーザー入力情報取得部３０３から位置座標（ユーザーに指定された、アノテーションを付加する位置の座標）の情報を取得する。ここで取得される情報は、表示装置１０３の表示画面内での位置（相対位置）の情報であるため、アノテーションデータ生成部３０５は、上記取得した情報で表される位置を記憶保持部３０２に保持されている診断画像内での位置（絶対位置）に換算する。
【００５３】
ステップＳ７０２では、アノテーションデータ生成部３０５が、ユーザー入力情報取得部３０３から、ユーザーがキーボード４１０を用いて入力したテキストのデータ（アノテーション）を取得する。アノテーション付加の指示があった場合に、ユーザーにテキスト（注釈）の入力を促す画像が表示され、ユーザーは該画像の表示に応じてアノテーション内容としてのテキスト情報を入力する。
【００５４】
ステップＳ７０３では、アノテーションデータ生成部３０５が、表示装置情報取得部３０４から、現在（アノテーションの付加が指示された時）の表示倍率の情報を取得する。なお、ここでは表示装置１０３から表示倍率情報を取得する構成にしているが、画像処理装置１０２が表示データを生成しているため、内部で保持している表示倍率のデータを使用する構成でもよい。
【００５５】
ステップＳ７０４では、アノテーションデータ生成部３０５が、ユーザーによるアノテーションの検索を容易にするための各種属性情報を取得する。ステップＳ７０１で換算した位置情報、ステップＳ７０２で取得した表示倍率も広い意味では属性情報である。位置
情報や表示倍率は、アノテーションを付加する際の観察の状態を示す情報であるのに対して、ステップＳ７０４で取得する属性情報は、病理診断を行う際の環境やユーザーの意図を反映したものである。
具体的には、属性情報は、日時情報、ユーザー情報、診断情報、診断基準情報などを含む。
日時情報は、例えば、対応するアノテーションが付加された日時であり、例えば、アノテーションの付加が指示された日時や、アノテーションとしてのテキストが入力された日時である。また、日時情報は、診断画像の観察（診断）が行われた日時であってもよい。
ユーザー情報は、アノテーションを付加したユーザーを特定する情報であり、例えば、ユーザー名、ユーザーを識別する識別子、ユーザー属性などである。病理診断におけるワークフローでは、複数のユーザー（例えば、技師、病理医、臨床医、コンピュータ（自動診断ソフトウェア））がそれぞれ異なる目的（観点、役割）又は異なる方法（例えば、画像解析による自動付加、目視による付加）で順番に同じ画像にアノテーションを付加していく。ユーザー属性とは、各ユーザーがアノテーションを付加したときの目的（観点、役割）又は方法を示す情報であり、例えば「病理医」や「技師」、「臨床医」、「自動診断」などが考えられる。このように、ユーザー情報の一つとしてユーザー属性をアノテーションに関連付けておき、ユーザー属性毎に検索できるようにすれば、病理診断ワークフローの各段階において、各アノテーション情報の性質把握や情報の取捨選択が容易になり、病理診断作業を円滑化できる。
診断情報は、診断画像の診断内容を表す情報である。診断情報は、例えば、アノテーションの付加がどのような目的で行われたのかを示す重要度情報、病気の進行度合い、客観的（相対的）な観察を行うための比較対象であるか否かの情報などである。
診断基準情報とは、臓器ごとの診断分類をまとめた情報であり、国や地域ごとの実情に沿った形態となっている。診断分類は臓器ごとの病期（ステージ）を示すものである。例えば、胃癌であれば、ある地域の診断基準である癌分類規約αで規定されている診断分類と、別の地域の診断基準である癌分類規約βで規定されている診断分類は異なることがある。そこで、ユーザーが診断画像の診断を行う際に用いた診断基準・診断分類を表す情報を、診断基準情報として属性情報に付加する。診断基準・診断分類については、図１５を用いて後述する。
本実施例では、属性情報は、複数の選択肢（カテゴリ）からユーザーにより選択された情報であるものとする。
なお、属性情報は、自動で生成されてもよいし、ユーザーにより入力されてもよい。一部の属性情報が自動で生成され、他の属性情報がユーザーにより入力（選択）されてもよい。例えば、日時情報などは自動で生成可能である。属性情報をユーザーが入力する場合には、例えば、アノテーション付加の指示があった場合に、ユーザーに属性情報の入力を促す画像が表示され、ユーザーは該画像の表示に応じて属性情報を入力する。なお、属性情報の入力のタイミングは、アノテーションとしてのテキストの入力のタイミングと同じであってもよいし異なっていてもよい。
【００５６】
ステップＳ７０５では、ステップＳ７０１で換算した位置座標の情報（絶対位置の情報）と、ステップＳ７０２で取得したテキスト情報、ステップＳ７０３で取得した表示倍率情報、およびステップＳ７０４で取得した各種属性情報を含むデータをアノテーションデータとして生成する。
なお、アノテーションが付加された診断画像内での絶対的な位置座標は、以下のように、アノテーション付加時の表示診断画像と倍率が異なる階層画像内での位置座標に変換することができる。例えば、２０倍の表示倍率で画像原点（Ｘ＝Ｙ＝０）からの距離（画素数）がそれぞれ１００画素となる点Ｐ（１００，１００）の位置にアノテーションが付加された場合を想定する。この場合、４０倍の高倍画像ではアノテーションが付加された位置座標はＰ１（２００，２００）となる。また、１０倍の低倍画像ではアノテーションが付加された位置座標はＰ２（５０，５０）となる。ここでは説明を簡単にするため、きり
の良い表示倍率を用いて説明を行っているが、表示倍率が２５倍で点Ｐ（１００，１００）の位置にアノテーションが付加された場合には、４０倍の高倍画像ではアノテーションが付加された位置座標はＰ３（１６０，１６０）となる。このように、階層画像の倍率と表示倍率との比を座標（点Ｐの座標）の値に乗算することで、アノテーションが付加された診断画像内での絶対的な位置座標を、アノテーション付加時の表示診断画像と倍率が異なる階層画像内での位置座標に変換することができる。このような変換を行うことにより、アノテーション付加時の表示診断画像と倍率が異なる階層画像を表示する時にもアノテーションの付加位置を示すことが可能となる。本実施例では、各階層画像内での絶対位置を本ステップで算出し、算出したそれらの位置の情報をアノテーションデータに含めるものとする。
【００５７】
ステップＳ７０６では、アノテーションデータ生成部３０５が、診断画像の診断（表示）が開始されてからアノテーションの付加が行われたか否かを判断する。アノテーションの付加が初めて行われた場合はステップＳ７０８へ、過去に一度でもアノテーションの付加が行われていればステップＳ７０７へ進む。
【００５８】
ステップＳ７０７では、アノテーションデータ生成部３０５が、ステップＳ７０８で作成されたアノテーションリストの更新を行う。具体的には、アノテーションデータ生成部３０５は、既に記録されているアノテーションリストに、ステップＳ７０５で生成されたアノテーションデータを追加する。
【００５９】
ステップＳ７０８では、アノテーションデータ生成部３０５が、アノテーションリストを生成する。具体的には、アノテーションデータ生成部３０５は、ステップＳ７０５で生成されたアノテーションデータを含むアノテーションリストを生成する。アノテーションリストの構成については図１１を用いて後述する。
【００６０】
（注目位置の検索）
図８は、図６のステップＳ６０８で示した注目位置を検索する処理の詳細な流れを示すフローチャートである。以下、図８を用いて、アノテーションリストに基づいて注目位置を検索し、検索結果のリストを生成する処理の流れについて説明する。
【００６１】
ステップＳ８０１では、アノテーション検索処理部３０７が、注目位置の検索がアノテーションに含まれるワードをキーとした検索か否かを判断する。アノテーションに含まれるワードをキーとして検索を行う場合はステップＳ８０２へ、属性情報をキーとした検索を行う場合はステップＳ８０５へ進む。
【００６２】
ステップＳ８０２では、アノテーション検索処理部３０７が、ユーザー入力情報取得部３０３から、検索キーであるワード（キーワード）を取得する。ユーザーは、例えば、キーボードやマウスなどを用いてキーワードを入力したり、過去の検索履歴の中からキーワードを選択したりする。当該ユーザー操作に応じてキーワードがユーザー入力情報取得部３０３からアノテーション検索処理部３０７へ送られる。
ステップＳ８０３では、アノテーション検索処理部３０７が、ステップＳ７０７またはステップＳ７０８で生成、更新されたアノテーションリストに格納されたテキストデータ（アノテーション）を取得する。
ステップＳ８０４では、アノテーション検索処理部３０７が、ステップＳ８０３で取得された複数のテキストデータに対し、ステップＳ８０２で取得されたキーワードによる検索をかける。ここでは、キーワードと完全一致、キーワード中の一部の単語と一致等、一般的なキーワード検索の手法を使用することができる。
【００６３】
ステップＳ８０５では、アノテーション検索処理部３０７が、ユーザー入力情報取得部
３０３から、検索キーである属性情報を取得する。検索キーとしての属性情報は、複数の選択肢の中から選択される。なお、検索キーとしての属性情報は、上記キーワードと同様に入力（選択）されてもよい。
検索キーを設定する際の表示画像の構成については図１０を用いて後述する。
ステップＳ８０６では、アノテーション検索処理部３０７が、アノテーションリストに格納された属性情報を取得する。
ステップＳ８０７では、アノテーション検索処理部３０７が、ステップＳ８０６で取得された属性情報に対し、ステップＳ８０５で取得された属性情報（検索キー）による検索をかける。アノテーション付加時に属性情報が複数の選択肢（カテゴリ）から選択される場合には、検索キーである属性情報とカテゴリが一致した属性情報を検出するなどの一般的な手法を用いればよい。
なお、ステップＳ８０４，Ｓ８０７とも検索手法は上記手法に限定されるものではなく、目的に応じた広く一般に知られている検索手法を用いることができる。
【００６４】
ステップＳ８０８では、アノテーション検索処理部３０７が、ステップＳ８０４及びステップＳ８０７の検索結果をリスト化する。例えば、ステップＳ８０４で検出されたテキストデータを含むアノテーションデータと、ステップＳ８０７で検出された属性情報を含むアノテーションデータとを含むアノテーションデータのリスト（検索結果リスト）が作成される。
【００６５】
（注目位置の検索結果の表示）
図９は、図６のステップＳ６１０で示した注目位置の検索結果を表示する処理の詳細な流れを示すフローチャートである。以下、図９を用いて、検索結果リストに基づいて検索結果を表する処理の流れについて説明する。本実施例では、検索結果として、診断画像を表示装置１０３に表示するとともに、該診断画像内に候補位置を示す。即ち、検索結果として、診断画像内に候補位置が示された画像が表示される。
【００６６】
ステップＳ９０１では、表示データ生成制御部３０８が、アノテーション検索処理部３０７から、ステップＳ８０８で生成された検索結果リストを取得する。
【００６７】
ステップＳ９０２では、表示データ生成制御部３０８が、取得した検索結果リストに含まれるアノテーションデータの位置情報（即ち候補位置の位置情報）に基づいて、画面に表示する診断画像の範囲（表示範囲）を算出する。本実施例では、検索により複数の候補位置が検出された場合には、全ての候補位置が含まれるような表示範囲（表示位置と表示倍率）が計算される。具体的には、全ての候補位置が含まれるような最小の表示範囲が計算される。
【００６８】
ステップＳ９０３では、表示データ生成制御部３０８が、検索結果を表示する際の表示倍率と現在の表示倍率が異なるか否か、及び、検索結果を表示する際の表示位置と現在の表示位置が異なるか否か、すなわち表示画像データの更新が必要となるか否かを判断する。一般に画像データ全体を網羅的に観察するスクリーニングでの表示倍率（５倍から１０倍程度）と、詳細観察での表示倍率（２０倍から４０倍）と、注目位置の検索結果を確認するための表示倍率（ステップＳ９０２で算出される倍率）とは異なることが予想される。そのため、本ステップの処理を行う必要がある。表示画像データの更新が必要な場合はステップＳ９０４へ進む。表示画像データの更新が必要ない場合はステップＳ９０５へ進む。
【００６９】
ステップＳ９０４では、表示画像データ取得部３０９が、ステップＳ９０３での判断結果に応じて、検索結果を表示する際の表示倍率（ステップＳ９０２で計算された表示倍率）に対応する診断画像を取得する。
【００７０】
ステップＳ９０５では、表示データ生成制御部３０８が、候補位置の数が所定数より多いか否かを判断する。判断に用いる閾値（所定数）は任意に設定できる。候補位置の数が所定数より多い場合はステップＳ９０６へ進み、候補位置の数が所定数以下の場合はステップＳ９０７へ進む。
【００７１】
ステップＳ９０６では、表示データ生成制御部３０８が、ポインタ表示モードを選択する。ポインタ表示モードは、アイコン画像を用いて診断画像内に候補位置を示すモードである。そして、表示データ生成部３１０が、上記選択に応じて、ポインタ表示データを生成する。ポインタ表示データは、候補位置にポインタが位置する画像データである。
【００７２】
ステップＳ９０７では、表示データ生成制御部３０８が、アノテーション表示モードを選択する。アノテーション表示モードは、対応するアノテーション（テキスト）の画像を用いて診断画像内に候補位置を示すモードである。そして、表示データ生成部３１０が、上記選択に応じて、アノテーション表示データを生成する。アノテーション表示データは、候補位置に、対応するアノテーションの画像が位置する画像データである。
【００７３】
ステップＳ９０８では、表示データ生成部３１０が、ステップＳ９０６またはステップＳ９０７で生成された表示データ（ポインタ表示データ、アノテーション表示データ）と、ステップＳ９０２で計算された表示倍率の診断画像データとを合成して、検索結果としての表示データを生成する。具体的には、ステップＳ９０２で計算された表示倍率の診断画像に、ポインタ表示画像またはアノテーション表示画像を重ねた画像データが生成される。
【００７４】
ステップＳ９０９では、表示データ出力部３１１が、ステップ９０８で生成された表示データを表示装置１０３に出力する。
ステップＳ９１０では、表示装置１０３が、ステップＳ９０９で出力された表示データに基づく画像が表示されるように、画面（表示画像）を更新する。
【００７５】
即ち、本実施例では、候補位置の数が所定数より多い場合に、アイコン画像を用いて診断画像内に候補位置が示された画像が、検索結果として表示される。ポインタ表示モードでの表示画像例は図１０を用いて後述する。また、候補位置の数が所定数以下の場合に、対応するアノテーションの画像を用いて診断画像内に候補位置が示された画像が、検索結果として表示される。
画面の表示領域に対するアノテーションの画像の領域の割合が大きい場合、診断画像の観察が困難となる。上記構成を採用することで、アノテーションの画像が診断画像の観察の妨げになることを抑制することができる。なお、本実施例では、候補位置の数に応じて表示モードが選択されるものとしたが、ユーザーが表示モードを選択できる構成であってもよい。
【００７６】
ステップＳ９１１では、表示データ生成制御部３０８が、現在の表示モードがアノテーション表示モードかポインタ表示モードかを判断する。現在の表示モードがポインタ表示モードの場合はステップＳ９１２へ進む。現在の表示モードがアノテーション表示モードの場合はステップＳ９１４へ進む。
【００７７】
ステップＳ９１２では、表示データ生成制御部３０８が、ユーザー入力情報取得部３０３からの情報をもとに、画面上に表示されているアイコン（アイコン画像）をユーザーが選択しているか、もしくはユーザーがマウスカーソルをアイコン上にかざしたかを判断する。アイコンが選択された場合、または、アイコン上にマウスカーソルがかざされた場合にはステップ９１３へ進む。そうでない場合には処理を終了する。
ステップＳ９１３では、表示データ生成部３１０が、ステップＳ９１２での判定結果に応じて、該当するアイコンの位置（候補位置）に付加されたアノテーション（テキスト）の画像をポップアップで表示する。ポップアップ表示されたアノテーションの画像は、マウスカーソルがポインタから外れた場合に消去（非表示）してもよいし、ユーザー操作などにより消去が指示されるまで表示され続けてもよい。
ステップＳ９１２，Ｓ９１３の処理を行うことにより、ユーザーはポインタ表示モードにおいてアノテーションの内容（コメントの内容）を確認することができる。
【００７８】
ステップＳ９１４では、表示データ生成制御部３０８が、ユーザー入力情報取得部３０３などからの情報をもとに、診断画像内に示された候補位置（本実施例ではアノテーションの画像）が選択されたか否かを判断する。候補位置が選択された場合はステップＳ９１５へ進む。候補位置が選択されなかった場合は処理を終了する。
【００７９】
ステップＳ９１５では、表示画像データ取得部３０９が、ステップＳ９１４での判定結果に応じて、選択された候補位置にアノテーションを付加したときの表示倍率と同じ倍率の診断画像データを選択する。
【００８０】
ステップＳ９１６では、表示データ生成部３１０が、ステップＳ９１４で選択された候補位置のアノテーションデータおよびステップＳ９１５で選択された診断画像データに基づき、表示データを生成する。具体的には、ステップＳ９１４で選択された候補位置にアノテーションを付加したときの表示位置および表示倍率で、該アノテーションが付加された診断画像が表示されるように、表示データを生成する。本処理を行うことにより、アノテーション付加時の表示画像を再現した表示を行うことができる。
【００８１】
ステップＳ９１７では、表示データ出力部３１１が、ステップ９１６で生成された表示データを表示装置１０３に出力する。ステップＳ９１８では、表示装置１０３が、ステップＳ９１７で出力された表示データに基づく画像が表示されるように、表示画面（表示画像）を更新する。
【００８２】
（表示画像レイアウト）
図１０（ａ）〜図１０（ｅ）は、本実施例に係る画像処理装置１０２で生成された表示データに基づく画像（表示画像）の一例である。
図１０（ａ）は、診断画像を観察する際の表示画像のレイアウトの基本構成を示す。図１０（ａ）の例では、表示画像は、全体ウィンドウ１００１内に、情報エリア１００２、サムネイル画像エリア１００３、観察画像表示エリア１００５が配置された画像である。
情報エリア１００２には、表示や操作のステータス、各種画像の情報および検索画像（検索の設定を行うための画像）や検索結果が表示される。
サムネイル画像エリア１００３には、観察対象の被写体のサムネイル画像が表示される。また、サムネイル画像エリア１００３には、観察中の領域を示す詳細表示領域枠１００４が表示される。詳細表示領域枠１００４を表示することにより、観察中の領域の位置や大きさ（後述する詳細観察用の画像の、サムネイル画像内での位置や大きさ）を把握することができる。
観察画像表示エリア１００５には、詳細観察用の画像が表示される。具体的には、詳細観察用の画像として、診断画像の一部または全部の領域が、設定された表示倍率で表示される。また、観察画像表示エリア１００５の領域１００６には、詳細観察用の画像の表示倍率が表示される。詳細観察を行う被写体の領域は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザー指示により設定、更新することができる。また、表示されている画像の移動や拡大・縮小操作（表示倍率の変更）によっても設定、更新することができる。
なお、シングルドキュメントインターフェースによって全体ウィンドウ１００１の表示
領域を分割して上述した各エリアを得る構成であってもよいし、マルチドキュメントインターフェースによって上記各エリアを互いに異なるウィンドウのエリアとする構成であってもよい。
【００８３】
図１０（ｂ）は、アノテーション付加時の表示画像の例である。図１０（ｂ）では、表示倍率は２０倍に設定されている。ユーザーが観察画像表示エリア１００５に表示される画像内の位置を選択すると、該位置が関心位置として判断され、該位置にアノテーションが付加される。例えば、ユーザーがマウスポインタを用いて位置を指定すると、アノテーション入力モードへ移行し、テキストの入力が促される。そして、ユーザーがキーボード４１０によるテキスト入力を行うことにより、上記指定した位置にアノテーションが付加される。その際、画像処理装置１０２は、アノテーションが付加された位置情報と表示倍率とを表示装置１０３から取得する。また、アノテーションを付加する際に、属性情報を合わせて設定することができる。符号１００９は、属性情報の設定を行うための画像であり、例えば、設定可能な属性情報のリストの画像である。ユーザーが属性情報のリスト１００９から所望の属性情報を選択、指定すると、付加するアノテーションに対して該選択された属性情報が関連付けられる。図１０（ｂ）は、マウスカーソルが位置１００７で確定され、アノテーションとしてのテキスト１００８を入力する状態を示している。
【００８４】
図１０（ｃ）は、注目位置検索時の表示画像（検索の設定を行うための画像；設定画像）の例である。
設定画像１０１０は、注目位置検索時に情報エリア１００２に表示されてもよいし、新たな画像として表示されてもよい。ここでは、アノテーションが付加されている場合に、情報エリア１００２内に設定画像１０１０が表示されるものとする。なお、これに限らず、１回の診断中の最初のアノテーション付加時に設定画像１０１０が表示される構成であってもよい。
注目位置の検索は、アノテーションとしてのテキストに含まれるワード、または、属性情報を検索キーとして行われる。なお、アノテーションとしてのテキストに含まれるワードと、属性情報との両方を検索キーとして用いてもよいし、いずれか一方を検索キーとして用いてもよい。図１０（ｃ）は、検索キーである属性情報として、診断情報、進行度、日時および診断者の４種類の属性の情報が設定可能な場合の例であるが、属性の種類はこれに限らない。
【００８５】
ユーザーは、テキストボックス１０１１内に、アノテーションとしてのテキストに含まれるワード（キーワード）を検索キーとして入力することができる。ユーザーは、キーワードを直接入力してもよい。あるいは、過去に使用したキーワードのリストを別ウィンドウもしくはダイアログとして表示して、該リストから検索キーとするワードをユーザーに選択させてもよい。
複数のラジオボタン１０１２は、複数の属性にそれぞれ対応する。ユーザーは、少なくとも１つ以上のラジオボタン１０１２を選択することにより、選択されたラジオボタンに対応する属性を、検索キーとする属性情報の属性として選択することができる。
符号１０１４は、検索キーとする属性情報が表示される領域である。但し、領域１０１４に属性情報が表示されていても、その属性に対応するラジオボタンが選択されていない場合には、検索の際に当該属性情報は検索キーとして使用されない。領域１０１４に属性情報が表示されており、その属性に対応するラジオボタンが選択されている場合には、検索の際に当該属性情報が検索キーとして使用される。
【００８６】
選択リストボタン１０１３は、対応する属性の属性情報（選択肢）のリストを表示するためのボタンである。例えば、ユーザーが診断情報に対応する選択リストボタン１０１３を選択した場合、診断情報の選択肢のリストの画像１０１５が、別ウィンドウもしくはダイアログとして表示される。画像１０１５は、複数の選択肢に対応する複数のラジオボタ
ン１０１６を含む。ユーザーは、１つ以上のラジオボタン１０１６を選択、変更することにより、検索キーを選択、変更することができる。例えば、要注意箇所を検索する「要注意」、正常な箇所を検索する「正常」、比較のための箇所を検索する「比較参照」の中から検索キーを選択することができる。進行度についても、同様に、検索キーを設定することができる。具体的には、細胞や組織に対する病気の進行度合い（進行レベル）を表す複数の選択肢の中から検索キーを選択することができる。
【００８７】
日時情報を検索キーとする場合には、属性「日時」に対応するテキストボックス内にユーザーが日時（アノテーション付加日、診断日など）を直接入力してもよい。保存されているアノテーションデータに含まれる日時情報のリスト１０１７を別ウィンドウもしくはダイアログとして表示して、該リストから検索キーとする日時をユーザーに選択させてもよい。複数の日時を検索キーとしてもよいし、或る期間を検索キーとしてもよい。
ユーザー情報を検索キーとする場合には、属性「診断者」に対応するテキストボックス内にユーザーがユーザー名等を直接入力してもよい。登録されているユーザーのリストを別ウィンドウもしくはダイアログとして表示して、該リストから検索キーとするユーザーをユーザーに選択させてもよい。
【００８８】
キーワードが入力されて検索ボタン（図中の「検索」）が選択された場合には、キーワードによる検索が行われる。検索キーとしての属性情報が設定されて（具体的には、ラジオボタン１０１２が選択され、且つ、対応する属性情報が設定されて）検索ボタンが選択された場合には、属性情報をキーとした検索が行われる。
【００８９】
図１０（ｄ）は、ポインタ表示モードで検索結果を表示する際の表示画像の例である。より多くのアノテーションが付加されている場合に、図１０（ｄ）のようにアノテーション（コメント）を隠し、候補位置にアイコン画像１０１８のみを表示することで、診断画像の表示を妨げることなく候補位置を確認することが可能となる。また、図１０（ｄ）の例では、属性情報毎に異なるアイコン画像が示されている。そのような構成とすることにより、候補位置と属性情報の関係を示すことができ、複数の候補位置の中から所望の位置（注目位置）を見つけやすくなる。また、任意のアイコン画像が選択された場合には、アノテーション１０１９が表示される。それにより、ユーザーは候補位置のアノテーションを確認することができる。なお、キーワードを用いた検索により抽出された候補位置と、属性情報を用いた検索により抽出された候補位置とで、アイコン画像を異ならせてもよい。
アノテーション表示モードでは、アノテーション１０１９が各候補位置に表示される。アノテーション表示モードでは、アイコン画像１０１８は、表示されてもよいし、表示されなくてもよい。
【００９０】
図１０（ｅ）は、診断画像内に示された候補位置を選択した時の表示画像の例である。アノテーション表示モードまたはポインタ表示モードで所望の候補位置が選択された場合、アノテーションリスト（具体的には、候補位置のアノテーションデータに含まれる表示位置と表示倍率）を参照して、アノテーション付加時の表示が再現される。その結果、アノテーション１０２０は、付加時の画面内の位置に提示される。また、再現表示した画像の領域が、サムネイル画像中に再現範囲１０２２として表示され、検索結果を表示する際に表示した診断画像の領域が、サムネイル画像中に表示枠１０２１として表示される。それにより、再現表示されている領域と、検索結果を表示する際に表示した診断画像の領域との位置関係を判断することが可能となる。
【００９１】
（アノテーションリストの例）
図１１は、本実施例に係る画像処理装置１０２で生成されたアノテーションリストの構成を示している。
アノテーションリストは、アノテーションデータのリストである。各アノテーションデータにアノテーションが付加された順番を表すＩＤ番号が割り振られている。アノテーションデータは、上述したように、位置情報、表示倍率、アノテーション（コメント；図中の「アノテーション内容」）、属性情報などが含まれており、アノテーションリストではそれらの情報がＩＤ番号毎に示されている。キーワードによる検索はアノテーション内容を対象に行われ、属性情報に基づく検索は属性情報を対象に行われる。位置情報と表示倍率は、アノテーション付加時の表示を再現するのに用いられる。なお、属性情報は予め定められた属性の情報であってもよいし、ユーザー定義による新たな属性が追加設定されてもよい。
【００９２】
（診断基準、診断分類、警告画面）
図１５（ａ）及び図１５（ｂ）は、診断基準設定の画面、診断分類の画面の一例を説明する図である。
図１５（ａ）は、診断基準設定の画面の一例である。例えば、全体ウィンドウ１００１におけるメニュー操作により診断基準の変更・設定ができるものとする。診断基準としては、国際規約・国際指標である癌分類国際規約I、癌分類国際規約II、日本における規約
・指標である癌分類日本規約I、癌分類日本指標I、米国における規約・指標である癌分類米国指標I、癌分類米国指標IIが示されている。癌分類日本規約Iはさらに臓器ごとに、胃癌、大腸癌、肝癌、肺癌、乳癌、食道癌、甲状腺癌、膀胱癌、前立腺癌などに分類されている。メニュー操作により診断基準１５０１、規約・指標の一覧１５０２、臓器ごとの規約・指標の一覧１５０３がそれぞれ提示される。ここではユーザーが、メニュー操作により診断基準、癌分類日本規約I、胃癌をそれぞれ選択した場合を示している。
図１５（ｂ）は、診断分類の画面の一例である。癌分類日本規約Iにおける胃癌の診断
分類１５０４は、大きくは２つ、深達度と進行度からなっている。深達度は、胃癌が胃壁をどこまで超えているかを示す指標であり、ＡIからＡIVの４段階に分類される。ＡIは胃癌が胃の表面にとどまっている、ＡIVは胃癌の浸潤が他の臓器まで及ぶ、などの内容である。進行度は、胃癌がどこまで転移しているかを示す指標であり、ＢIからＢVの５段階に分類される。ＢIは胃癌の転移がない、ＢVはリンパ節転移がある、などの内容である。癌分類日本規約Iに従った胃癌の診断では、標本画像などの情報から深達度と進行度の診断
を行う。診断分類１５０４は、情報エリア１００２、若しくは、別ウィンドウに表示されるものであり、必要に応じてユーザーが表示・非表示を操作できる。
図１５（ａ）、図１５（ｂ）で示した診断基準・診断分類は、随時更新されるものであり、国や地域によっても統一されていない。ユーザーが古い診断基準で診断された標本を再度見直す場合や、研究用に診断基準の異なる他国の標本を確認する場合に、診断根拠として記載されたアノテーション内容が、どの診断基準に依るものかを簡単に判別できるようにすることが診断基準・診断分類を明記する理由である。
【００９３】
（本実施例の効果）
以上述べたように、本実施例によれば、アノテーションを付加する際に、アノテーションの他、検索キーとして利用可能な属性情報が合わせて格納される。それにより、病理診断の多様な目的に応じた検索が可能となり、ユーザーが注目位置を効率良く見つけだすことが可能となる。その結果、ユーザー（病理医）の手間を減らすことができる。
また、本実施例では、検索によって多くの候補位置が抽出された場合に、候補位置と属性情報との関係を明示することで、所望の位置（注目位置）を容易に見つけだすことが可能となる。
【００９４】
（アノテーションの他の例）
上記実施例では、ユーザーにより入力されたコメント及びそれに関連する属性情報をアノテーションとして診断画像に付加する例を説明した。しかし、アノテーションとして付加する情報は上記実施例のものに限られず、診断画像又は診断作業に関連する情報であれ
ばどのような情報をアノテーションとして付加してもよい。例えば、コンピュータ（画像処理装置）が、診断画像を解析することによって診断を支援するための各種情報を自動で検出する機能（自動診断ソフトウェア）を有している場合には、その検出結果に基づいてアノテーションを自動で生成し付加することもできる。この場合でも、アノテーションの記録、検索、表示等の処理は上記実施例と同じ様に行うことができる。
コンピュータにより自動生成される情報の一例として、病変部位に関する情報が挙げられる。以下、自動診断ソフトウェアの診断支援機能の一例を説明すると共に、診断支援機能で得られた病変部位に関する情報をアノテーションとして診断画像に付加する例を説明する。以下では、上記実施例との差を分かりやすくするため、診断支援機能で自動検出された情報に基づき生成されるアノテーションを「診断支援データ」と記す。
【００９５】
（診断支援機能による病変部位の自動検出の説明と自動検出アルゴリズムの例）
診断支援とは、病理医の診断を支援する機能であり、例えば、前立腺癌における病変領域の自動検出が挙げられる。前立腺癌は、悪性度が高いほど腺管の大きさが不揃いになる傾向がある。腺管の検出とその構造パターンの分類により、病変領域の検出と前立腺癌の悪性度を自動判別することができる。腺管の検出にはテクスチャ解析などが用いられ、例えば、ガボールフィルタによるフィルタ演算により各空間位置での局所特徴量を抽出して腺管領域を検出することができる。構造パターンの分類には、腺管の細胞質面積、内腔面積などを形状特徴量として複雑度を算出することで、悪性度の指標とすることができる。診断支援で自動検出された病変領域と病変情報（悪性度判別）は、診断支援データリストの一例である。
【００９６】
他の診断支援の例として、乳癌におけるＥＲ（エストロゲン受容体）陽性率の自動検出が挙げられる。ＥＲ陽性率は、乳癌の治療方針を決定する際の重要な指針となる。ＩＨＣ（免疫組織化学染色）法を用いると、ＥＲ発現が強く認められる核は濃く染色される。核とその染まり具合の自動検出により、ＥＲ陽性率の判別を行う。この場合は、自動検出された核を明示した画像データとその数値データ（陽性核の数、割合など）、陽性率が診断支援データリストとなる。
【００９７】
（診断支援データリストの例）
図１６は、本実施例に係る画像処理装置１０２で生成された診断支援データリストの構成を示している。
診断支援機能で自動検出された病変部位に関わるデータ（診断支援データ）は、病変領域を示す画像データ（診断支援画像データ）が含まれるためデータ量が膨大になる傾向がある。そのため、診断支援データリストとは別に、病変領域を示す画像データを保持する構成が望ましい。この場合は、診断支援データリストには、病変領域を示す画像データへのポインタが記述（記録）されることになる。このポインタは、診断画像中の注目すべき位置を示す情報であり、図１１のアノテーションデータリストにおける位置情報に相当する情報である。なお、診断支援データリストにおいても、ポインタの代わりに、診断画像中の病変領域の位置情報を記録しても良い。
診断支援データリストは、診断支援データのリストである。各診断支援データに診断支援データが付加された順番を表すＩＤ番号が割り振られている。診断支援データは、上述したように、画像データポインタ、病変情報などを含んでおり、診断支援データリストではそれらの情報がＩＤ番号毎に示されている。ワードによる検索は病変情報を対象に行われ、属性情報に基づく検索は属性情報を対象に行われる。なお、属性情報としては、付加日時、診断支援ソフトの種類・バージョンなどがある。なお、「病変情報」を、図１０（ｃ）における「診断情報」や「進行度」と同様に予め定められたリストから選択される情報としてもよい（つまり、病変情報を、属性情報に含めても良い。）。
【００９８】
（診断支援データの検索）
診断支援データの検索は、図８の注目位置の検索と同様の手法で実施できる。図８及びその説明における「アノテーション」を「診断支援データ」と読み替えれば良い。
【００９９】
（診断支援データの表示）
診断支援データの表示は、表示画像データとは別の、病変領域を示す診断支援画像データの表示となる。ただし、診断支援機能での病変領域の自動検出をより詳細に実施することで、表示画像データの上へ病変領域を示す画像を重畳表示する形態も可能である。例えば、前立腺癌の自動診断において、悪性領域の検出とともに、悪性度判別Vの領域、IVの
領域など、領域ごとの悪性度判別を実施しておけば、表示画像データへの悪性度判別Vの
領域の重畳表示が可能となる。
【０１００】
（本実施例の診断支援データによる効果）
以上述べたように、本実施例によれば、診断支援データを付加する際に、病変情報の他、検索キーとして利用可能な属性情報が合わせて格納される。それにより、病理診断の多様な目的に応じた検索が可能となり、ユーザーが病変領域等の注目位置を効率良く見つけだすことが可能となる。その結果、ユーザー（病理医）の手間を減らすことができる。
【０１０１】
（実施例２）
以下、本発明の実施例２に係る画像処理システムについて図を用いて説明する。
実施例１では、検索結果として、診断画像内に候補位置が示された画像を表示装置に表示する構成とした。本実施例では、検索結果として、候補位置毎に対応する属性情報を示すリストを作成して、表示装置に表示する。それにより、候補位置の属性情報を容易に把握することが可能となる。また、ユーザーがリストから候補位置を選択した場合に、選択された候補位置が示された画像を表示装置に表示する。それにより、候補位置と属性情報との関係を容易に把握することが可能となる。以下では、実施例１と異なる点について詳しく説明し、実施例１と同じ構成や処理については極力説明を省略する。
【０１０２】
（画像処理システムの装置構成）
図１２は、本実施例に係る画像処理システムの構成を示す図である。
本実施例に係る画像処理システムは、画像サーバー１２０１、画像処理装置１０２、表示装置１０３などから構成される。画像処理装置１０２は、被写体を撮像して得られた診断画像データを画像サーバー１２０１から取得し、表示装置１０３で表示する表示データを生成する。画像サーバー１２０１と画像処理装置１０２とは、ネットワーク１２０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１２０３を用いて互いに接続される。画像サーバー１２０１は、撮像装置１０１で生成された診断画像データを保存する大容量の記憶装置を備えたコンピュータである。本実施例では、画像サーバー１２０１は、同じ被写体で倍率が互いに異なる複数の診断画像データ（階層化された複数の階層画像データ）を、一つのまとまりとして、画像サーバー１２０１に接続されたローカルストレージに保存している。
なお、診断画像データは、ネットワーク上の何処かに存在するサーバー群（クラウド・サーバー）に保存してもよい。例えば、診断画像データを複数の分割画像データに分割してクラウド・サーバーに保存してもよい。その場合には、元の画像データを復元するための情報や、同じ被写体で倍率が互いに異なる複数の診断画像データを得るための情報がリンク情報として画像サーバー１２０１で生成、保持される。同じ被写体で倍率が互いに異なる複数の診断画像データのうち、一部のデータが他のデータと異なるサーバーに保存されてもよい。
なお、画像処理装置１０２の大まかな機能は実施例１と同様である。表示装置１０３の機能は実施例１と同じである。
【０１０３】
なお、図１２の例では、画像サーバー１２０１と画像処理装置１０２と表示装置１０３
の３つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置１０２の機能の一部または全部を画像サーバー１２０１に組み込んでもよい。また、画像サーバー１２０１と画像処理装置１０２と表示装置１０３の機能を１つの装置で実現することもできる。逆に、１つの装置の機能を複数の装置によって実現してもよい。例えば、画像サーバー１２０１の機能が複数の装置によって実現されてもよい。画像処理装置１０２の機能が複数の装置によって実現されてもよい。
なお、実施例１では、画像処理装置１０２が、撮像装置１０１で撮像され出力された診断画像データにアノテーションを付加し、該診断画像データから注目位置を検索する構成とした。１枚の診断画像（ここでは、階層化された複数の診断画像も１枚の診断画像とする）から注目位置が検索される。本実施例では、画像サーバー１２０１で保存している診断画像に対してアノテーションを付加し、画像サーバー１２０１で保存されている診断画像から注目位置が検索される。そのため、複数の診断画像から注目位置を検索することができる。例えば、１人の患者から得られた複数の診断画像から注目位置を検索することができる。それにより、１人の患者の経過観察や同一病変の様々な位置での状態の比較などを容易に行うことが可能となる。また、複数枚の診断画像から注目位置を検索することにより、類似の症例や条件に合致するアノテーションを容易に把握することができる。
【０１０４】
（注目位置の検索結果の表示）
図１３は、図６のステップＳ６１０で注目位置の検索結果を表示する処理の流れを示すフローチャートである。図１３では、候補位置をリストとして表示し、ユーザーが選択したリスト内容に基づいて候補位置を表示する流れについて説明する。
【０１０５】
ステップＳ９０１では、表示データ生成制御部３０８が、アノテーション検索処理部３０７から、ステップＳ８０８で生成された検索結果リストを取得する。
【０１０６】
ステップＳ１３０１では、表示データ生成制御部３０８が、ステップＳ９０１で取得された検索結果リストを用いて、候補位置毎に対応する属性情報を示すリスト（属性情報リスト）を生成する。そして、表示データ生成部３１０が、属性情報リストを含む表示データを生成する。属性情報リストの表示領域は、例えば、図１０（ａ）で示した情報エリア１００２である。但し、これに限らず、他に属性情報リストの表示領域が設定されてもよい。属性情報リストの表示領域は、独立したウィンドウの領域であってもよい。属性情報リストを表示する際の表示画像の例は図１４（ａ）〜図１４（ｃ）を用いて後述する。
【０１０７】
ステップＳ１３０２では、表示データ出力部３１１が、ステップＳ１３０１で生成された表示データを表示装置１０３に出力し、表示装置１０３が、該表示データに基づく表示画像を表示する。
【０１０８】
本実施例では、属性情報リストはソート可能なリストである。
ステップＳ１３０３では、表示データ生成制御部３０８が、ユーザー入力情報取得部３０３からの情報などをもとに、属性情報リストのソートの要求があるか否かを判断する。ソートの要求があった場合は、ステップＳ１３０４へ進む。ソートの要求がなかった場合は、ステップＳ１３０７へ進む。
【０１０９】
ステップＳ１３０４では、表示データ生成制御部３０８が、属性情報リストをソートする。例えば、属性情報リストは、ユーザー操作に応じて、日時情報で表される日時順にソートされる。具体的には、日時情報で表される日時順にソートするユーザー操作があった場合は、表示データ生成制御部３０８は、該操作に応じて、属性情報リストの日時の項目を選択し、日時情報が昇順又は降順となるように属性情報をソートする。
ステップＳ１３０５では、表示データ生成部３１０が、属性情報リストがステップＳ１
３０４でのソート後の属性情報リストとなるように、表示データを更新する。
ステップＳ１３０６では、表示データ出力部３１１が、ステップＳ１３０５で更新された表示データを表示装置１０３に出力し、表示装置１０３が、該表示データに基づく表示画像を表示する。
【０１１０】
ステップＳ１３０７では、表示データ生成制御部３０８が、ユーザー入力情報取得部３０３などからの情報をもとに、表示されている属性情報リストから候補位置が選択されたか否かを判断する。候補位置は１つだけ選択されてもよいし、複数選択されてもよい。候補位置の選択がされた場合は、ステップＳ９０２へ進む。候補位置が選択されなかった場合には処理を終了する。
その後、実施例１と同様にステップＳ９０２〜Ｓ９０４の処理が行われ、実施例１と同様にステップＳ９０７〜Ｓ９１０の処理が行われ、実施例１と同様にステップＳ９１４〜Ｓ９１８の処理が行われる。
【０１１１】
（表示画像レイアウト）
図１４（ａ）〜図１４（ｃ）は、本実施例に係る画像処理装置１０２で生成された表示データに基づく画像（表示画像）の一例である。
図１４（ａ）は、検索結果として表示される属性情報リストの例である。属性情報リスト１４０１は、候補位置毎の属性情報を含む。また、属性情報リスト１４０１は、該当する候補位置をリストから選択するためのチェックボックス１４０２、属性情報に基づくソートを行うためのソートボタン１４０３を含む。ユーザーは、チェックボックス１４０２を選択することにより候補位置を１つまたは複数選択できる。また、属性情報の優先度を設定することで、複数の属性情報によるソート操作を行うことも可能である。
【０１１２】
図１４（ｂ）は、チェックボックス１４０２を用いて選択された候補位置をアノテーション表示モードで表示したときの表示画像の例である。ここでは３つの候補位置が選択された場合の例を示している。本実施例では、選択された全ての候補位置が表示されるような表示位置および表示倍率で、診断画像およびアノテーション（選択された候補位置に対応するアノテーション）の画像１４０５が表示される。アノテーションの画像１４０５は、対応する候補位置１４０６に表示される。図１４（ｂ）の例では、低倍である５倍の表示倍率で診断画像とアノテーションの画像とが表示されている。また、アノテーションの画像は、属性情報（例えば、アノテーション付加時の表示倍率）毎に異なる形態で表示されている。例えば、アノテーション１が付加されたときの表示倍率は１０倍、アノテーション２が付加されたときの表示倍率は２０倍、アノテーション３が付加されたときの表示倍率は４０倍であったとする。アノテーション付加時の表示倍率毎にアノテーションの画像の表示方法を変えることで、表示倍率の違いが判別可能となる。ここではアノテーションの表示枠の線種により属性情報を区別しているが、表示枠の色や形で区別してもよい。
なお、本実施例では、チェックボックス１４０２を用いて候補位置が選択された場合に、該選択された候補位置がアノテーション表示モードで明示されるものとしたが、選択された候補位置がポインタ表示モードで明示されてもよい。実施例１と同様に、表示する候補位置の数に応じて表示モードを切り替えてもよい。
【０１１３】
図１４（ｃ）は、診断画像内に示された候補位置（アノテーションの画像やアイコン画像）が選択された際に表示される画像の例である。図１４（ｃ）は、４つの候補位置が選択された場合の例である。図１４（ｃ）では、候補位置毎に、図１０（ｅ）と同様の再現表示がされている。符号１４０５で示される４つのアノテーション１〜４の内、アノテーション１，３，４を付加した時の表示倍率は２０倍となっており、アノテーション２を付加した時の表示倍率のみ４０倍となっている。各候補位置にアノテーションを付加したときの表示倍率は、領域１４０４内に表示された表示倍率から確認することができる。また、これに限らず、各診断画像の表示領域の枠の色によって表示倍率の違いを明示してもよ
い。
また、リストから候補位置を選択した際に表示した診断画像の領域（例えば図１４（ｂ）のように表示された診断画像の領域）と、再現表示された各領域との位置関係は、実施例１と同様に判断することができる。具体的には、リストから候補位置を選択した際に表示した診断画像の領域が、サムネイル画像中に表示枠１４０７として表示され、再現表示された各領域が、サムネイル画像中に再現範囲１４０８として表示される。再現範囲１４０７と再現表示されている画像との対応関係は、枠線の色、線種等で判別させることができる。また、再現表示されている複数の画像と、複数の再現範囲とのうち、１つを選択することで、選択された画像（再現範囲）に対応する表示倍率の画像を観察画像表示エリア全体に表示する表示モードに移行してもよい。
【０１１４】
（本実施例の効果）
以上述べたように、本実施例によれば、アノテーションを付加する際に、アノテーションの他、検索キーとして利用可能な属性情報が合わせて格納される。それにより、病理診断の多様な目的に応じた検索が可能となり、ユーザーが注目位置を効率良く見つけだすことが可能となる。その結果、ユーザー（病理医）の手間を減らすことができる。
また、本実施例では、注目位置の検索結果として候補位置毎の属性情報のリストを表示し、リストから選択された候補位置が示された診断画像を表示する構成とした。それにより、より具体的に注目位置の検索結果を把握することが可能となる。
【０１１５】
（その他の実施例）
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施例の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施例の機能が実現される場合も本発明に含まれ得る。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本発明に含まれ得る。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
また、実施例１，２で説明してきた構成をお互いに組み合わせることもできる。例えば、実施例１のシステムに対し実施例２の複数の注目位置の再現表示処理を適用してもよいし、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施例における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。
【符号の説明】
【０１１６】
１０２  画像処理装置
３０５  アノテーションデータ生成部
３０６  アノテーションリスト記憶部
３０７  アノテーション検索処理部
３１０  表示データ生成部
３１１  表示データ出力部
【図１】
2013152701.tif 000003
【図２】
2013152701.tif 000004
【図３】
2013152701.tif 000005
【図４】
2013152701.tif 000006
【図５】
2013152701.tif 000007
【図６】
2013152701.tif 000008
【図７】
2013152701.tif 000009
【図８】
2013152701.tif 000010
【図９】
2013152701.tif 000011
【図１０】
2013152701.tif 000012
【図１１】
2013152701.tif 000013
【図１２】
2013152701.tif 000014
【図１３】
2013152701.tif 000015
【図１４】
2013152701.tif 000016
【図１５】
2013152701.tif 000017
【図１６】
2013152701.tif 000018