(57)【要約】  生体領域が映る画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置が提供される。
2020174862.tif 000002
【特許請求の範囲】
【請求項１】
生体領域が映る画像データの表示を制御する表示制御部と、
前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
を備える、情報処理装置。
【請求項２】
前記処理部は、前記画像データと前記第２の領域情報と前記フィッティングモードとフィッティングの可動範囲とに基づいて第３の領域情報を生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記第３の領域情報の表示を制御する、
請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記第２の領域情報と前記第３の領域情報との間で表示対象を切り替える、
請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記第２の領域情報と前記第３の領域情報とを異なる表示態様によって同時に表示させる、
請求項３に記載の情報処理装置。
【請求項６】
前記処理部は、前記第２の領域情報または前記第３の領域情報を所定の処理に利用されるデータとして選択する、
請求項２に記載の情報処理装置。
【請求項７】
前記処理部は、選択操作に基づいて前記第２の領域情報または前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
請求項６に記載の情報処理装置。
【請求項８】
前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
請求項６に記載の情報処理装置。
【請求項９】
前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率が高くなるように前記倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
請求項８に記載の情報処理装置。
【請求項１０】
前記処理部は、前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
請求項９に記載の情報処理装置。
【請求項１１】
前記処理部は、前記第２の領域情報に基づいて複数の制御点を決定し、移動操作に基づいて前記複数の制御点の一部または全部を移動させ、少なくとも移動させた制御点に基づいて前記第３の領域情報を生成する、
請求項２に記載の情報処理装置。
【請求項１２】
前記処理部は、前記移動操作に基づいて前記複数の制御点の一部を移動させた場合、移動させた制御点に基づいて前記第３の領域情報を生成する、
請求項１１に記載の情報処理装置。
【請求項１３】
前記表示制御部は、前記第２の領域情報に基づいて前記第２の領域情報の信頼度が所定の信頼度よりも低い区間が検出された場合、前記区間に応じた所定の情報の表示を制御する、
請求項１に記載の情報処理装置。
【請求項１４】
前記情報取得部は、前記画像データに対して指示された形状の通過領域または周辺領域に基づいて前記第１の領域情報を得る、
請求項１に記載の情報処理装置。
【請求項１５】
前記情報取得部は、前記形状の通過領域または周辺領域に対して適用されたグラフカットまたは機械学習によるセグメンテーションアルゴリズムに基づいて前記第１の領域情報を得る、
請求項１４に記載の情報処理装置。
【請求項１６】
前記情報取得部は、前記形状の通過領域または周辺領域から抽出された特徴データに基づいて前記第１の領域情報を得る、
請求項１４に記載の情報処理装置。
【請求項１７】
前記フィッティングモードは、前景と背景との境界に対するフィッティングモード、細胞膜に対するフィッティングモード、または、細胞核に対するフィッティングモードである、
請求項１に記載の情報処理装置。
【請求項１８】
前記処理部は、前記画像データの、前記第１の領域情報および所定の条件に基づいて設定された範囲で、前記第２の領域情報を生成する、
請求項１に記載の情報処理装置。
【請求項１９】
前記処理部は、ユーザの前記第１の領域情報の入力操作に基づき設定された範囲で、前記第２の領域情報を生成する、
請求項１８に記載の情報処理装置。
【請求項２０】
前記処理部は、前記ユーザの前記第１の領域情報の入力速度に基づき設定された範囲で、前記第２の領域情報を生成する、
請求項１９に記載の情報処理装置。
【請求項２１】
前記処理部は、前記画像データの倍率に基づき設定された範囲で、前記第２の領域情報を生成する、
請求項１９に記載の情報処理装置。
【請求項２２】
前記処理部は、前記第１の領域情報付近の特徴量に基づき設定された範囲で、前記第２の領域情報を生成する、
請求項１９に記載の情報処理装置。
【請求項２３】
前記処理部は、前記第１の領域情報の付近の輝度に基づき設定された範囲で、前記第２の領域情報を生成する、
請求項１９に記載の情報処理装置。
【請求項２４】
前記表示制御部は、前記画像データの前記範囲の表示を制御する、
請求項１８に記載の情報処理装置。
【請求項２５】
前記表示制御部は、前記範囲を少なくとも２つ以上の透過度、色で表示するよう制御する、
請求項１８に記載の情報処理装置。
【請求項２６】
プロセッサが、生体領域が映る画像データの表示を制御することと、
前記プロセッサが、前記画像データに対して入力された第１の領域情報を取得することと、
前記プロセッサが、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成することと、
を含む、情報処理方法。
【請求項２７】
生体領域に対する読み取りによって前記生体領域が映る画像データを含んだスキャンデータを生成する読み取り装置を有し、
前記画像データの表示を制御する表示制御部と、
前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
を備える、情報処理装置を有する、
情報処理システム。
【請求項２８】
医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアを含んで構成される情報処理システムであって、
前記ソフトウェアは、
第１の生体組織に対応する第１の画像データに対して入力された第１の領域情報を取得し、
前記第１の画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理を情報処理装置に実行させる、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法および情報処理システムに関する。
【背景技術】
【０００２】
近年、生体領域が写る画像データにおいて所定の処理に利用される領域（対象領域）を選択するための技術が知られている。所定の処理が学習処理である場合、対象領域の輪郭を示す情報（対象領域の領域情報）は、機械学習用の教師データとして利用される。例えば、対象領域が病変領域である場合、対象領域の領域情報が機械学習用の教師データとして利用されれば、画像データから自動的に診断を行うＡＩ（ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ）が構築され得る。なお、以下では、教師データとして利用される対象領域の領域情報を単に「アノテーション」とも言う。アノテーションを得るための技術としては、各種技術が開示されている（例えば、非特許文献１参照）。【０００３】
ここで、教師データとして得られるアノテーションの精度は高いほうが望ましい。しかし、一般的にアノテーションを得るためには、ユーザが入力装置（例えば、マウスまたは電子ペンなど）を用いて画像データに対して曲線を描くことによって、対象領域の輪郭を入力しようと試みる。【０００４】
しかし、ユーザによって実際に描かれる曲線と対象領域の輪郭との間にずれが生じやすい。そのため、対象領域の輪郭との間にずれが生じないようにユーザが曲線を描こうとすれば、ユーザに対して多くの手間が掛かる。一方、ユーザがラフに曲線を描いた場合には、当該曲線を対象領域の輪郭に合わせるための修正作業に多くの手間が掛かる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｊｅｓｓｉｃａ  Ｌ．  Ｂａｕｍａｎｎ  他著、「Ａｎｎｏｔａｔｉｏｎ  ｏｆ  Ｗｈｏｌｅ  Ｓｌｉｄｅ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  Ｔｏｕｃｈｓｃｒｅｅｎ  Ｔｅｃｈｎｏｌｏｇｙ」、２０１８  年  Ｐａｔｈｏｌｏｇｙ  Ｖｉｓｉｏｎｓ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、生体領域が写る画像データにおいてユーザの手間を低減しつつ高精度に対象領域を選択することが可能な技術が提供されることが望まれる。
【課題を解決するための手段】
【０００７】
本開示によれば、生体領域が映る画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置が提供される。【０００８】
本開示によれば、プロセッサが、生体領域が映る画像データの表示を制御することと、前記プロセッサが、前記画像データに対して入力された第１の領域情報を取得することと、前記プロセッサが、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成することと、を含む、情報処理方法が提供される。【０００９】
本開示によれば、生体領域に対する読み取りによって前記生体領域が映る画像データを含んだスキャンデータを生成する読み取り装置を有し、前記画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置を有する、情報処理システムが提供される。【００１０】
本開示によれば、医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアを含んで構成される情報処理システムであって、前記ソフトウェアは、第１の生体組織に対応する第１の画像データに対して入力された第１の領域情報を取得し、前記第１の画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理を情報処理装置に実行させる、情報処理システムが提供される。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態に係る情報処理システムの構成例を示す図である。
【図２】本開示の実施形態に係る情報処理装置の機能構成例を示す図である。
【図３】フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の例を示す図である。
【図４】複数回のフィッティングの実行結果それぞれが異なる表示態様によって同時に表示される例を示す図である。
【図５】フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の例を示す図である。
【図６】フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の動作例を示す図である。
【図７】フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の動作例を示す図である。
【図８】腫瘍領域の例を示す図である。
【図９】制御点の配置例を示す図である。
【図１０】制御点の配置例を示す図である。
【図１１】部分的なフィッティングの例を説明するための図である。
【図１２】フィッティング部分の確認ＵＩの一例を示す図である。
【図１３】フィッティング部分の確認ＵＩの他の一例を示す図である。
【図１４】画像データから選択された対象領域がＰＤ−Ｌ１分子の発現量の解析に利用される例を説明するための図である。
【図１５】探索範囲の可視化の例を説明するための図である。
【図１６】探索範囲の可視化の例を説明するための図である。
【図１７】探索範囲の指定の例を説明するための図である。
【図１８】探索範囲の調整の例を説明するための図である。
【図１９】ユーザ自身が探索範囲を調整する場合の情報処理の一例を示すフローチャートである。
【図２０】境界入力の速度に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。
【図２１】筆圧に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。
【図２２】観察倍率に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。
【図２３】画像に応じて探索範囲を変更する場合の情報処理の一例を示すフローチャートである。
【図２４】境界の明瞭さの評価時のサンプル方法の例を説明するための図である。
【図２５】本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１４】
なお、説明は以下の順序で行うものとする。
０．概要
１．実施形態の詳細
１．１．情報処理システムの構成例
１．２．情報処理装置の機能構成例
１．３．システムが有する機能の詳細
１．３．１．対象領域の種類
１．３．２．フィッティングモードの種類
１．３．３．境界の決定
１．３．４．初期領域の決定
１．３．５．初期領域の修正
１．３．６．動作例
１．３．７．制御点の配置
１．３．８．部分吸着
１．３．９．フィッティング部分の確認
１．３．１０．探索範囲の可視化
１．３．１１．探索範囲
１．３．１２．探索範囲の調整
１．３．１３．境界入力速度
１．３．１４．筆圧
１．３．１５．観察倍率
１．３．１６．画像
１．３．１７．その他
１．３．１８．複数の処理
１．３．１９．フィッティング
２．変形例
３．ハードウェア構成例
４．むすび
【００１５】
＜０．概要＞
近年、生体領域が写る画像データにおいて所定の処理に利用される領域（対象領域）を選択するための技術が知られている。所定の処理が学習処理である場合、対象領域の輪郭を示す情報（対象領域の領域情報）は、機械学習用の教師データとして利用される。例えば、対象領域が病変領域である場合、対象領域の領域情報が機械学習用の教師データとして利用されれば、画像データから自動的に診断を行うＡＩ（ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ）が構築され得る。なお、以下では、教師データとして利用される対象領域の領域情報を単に「アノテーション」とも言う。アノテーションを得るための技術としては、各種技術が開示されている。
【００１６】
ここで、教師データとして得られるアノテーションの精度は高いほうが望ましい。しかし、一般的にアノテーションを得るためには、ユーザが入力装置（例えば、マウスまたはペンタブレットなど）を用いて画像データに対して曲線を描くことによって、対象領域の輪郭を入力しようと試みる。
【００１７】
しかし、ユーザによって実際に描かれる曲線と対象領域の輪郭との間にずれが生じやすい。そのため、対象領域の輪郭との間にずれが生じないようにユーザが曲線を描こうとすれば、ユーザに対して多くの手間が掛かる。一方、ユーザがラフに曲線を描いた場合には、当該曲線を対象領域の輪郭に合わせるための修正作業に多くの手間が掛かる。
【００１８】
そこで、本開示の実施形態では、生体領域が写る画像データにおいてユーザの手間を低減しつつ高精度に対象領域を選択することが可能な技術について主に説明する。より具体的に、本開示の実施形態では、対象領域の領域情報が、機械学習用の教師データとして利用される場合、ユーザの手間を低減しつつ高精度なアノテーションを得ることが可能な技術について主に説明する。
【００１９】
なお、対象領域に付されるラベルも、機械学習用の教師データとして利用される。ラベルは、対象領域に関する情報であってよい。対象領域に関する情報は、診断結果を含んでもよい。診断結果は、癌のサブタイプ、癌のステージおよび癌細胞の分化度の少なくともいずれか一つを含んでもよい。分化度は、どのような薬（抗癌剤など）が効きやすいかなどといった情報を予測するために利用され得る。あるいは、対象領域に関する情報は、解析結果を含んでもよい。解析結果は、対象領域における病変の有無、対象領域に病変が含まれている確率、病変の位置および病変の種類の少なくともいずれか一つを含んでもよい。
【００２０】
以下では、教師データとして利用されるラベルとアノテーションとを合わせて、単に「アノテーションデータ」とも言う。
【００２１】
以上、本開示の実施形態の概要について説明した。
【００２２】
＜１．実施形態の詳細＞
［１．１．情報処理システムの構成例］
続いて、図面を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図１に示したように、本開示の実施形態に係る情報処理システム１は、情報処理装置１０、スキャナ３０（読み取り装置）、ネットワーク７０および学習装置５０を有する。情報処理装置１０とスキャナ３０と学習装置５０とは、ネットワーク７０を介して互いに通信可能に構成されている。
【００２３】
情報処理装置１０は、例えば、コンピュータによって構成される。例えば、情報処理装置１０は、ユーザ（例えば、医師など）によって利用される。本開示の実施形態では、ユーザによる各種の操作が、情報処理装置１０に対して直接的に入力される場合を主に想定する。しかし、ユーザによる各種の操作は、情報処理装置１０に対して図示しない端末を介して入力されてもよい。また、本開示の実施形態では、ユーザへの各種の提示情報が、情報処理装置１０から直接的に出力される場合を主に想定する。しかし、ユーザへの各種の提示情報は、情報処理装置１０から図示しない端末を介して出力されてもよい。
【００２４】
スキャナ３０は、生体領域に対する読み取りを行う。これによって、スキャナ３０は、生体領域が写る画像データを含んだスキャンデータを生成する。生体領域は、検体から得られる標本に相当し得る。例えば、スキャナ３０は、イメージセンサを有しており、イメージセンサによって標本を撮像することによって、標本が写る画像データを含んだスキャンデータを生成する。スキャナ３０の読み取り方式は特定のタイプに限定されない。例えば、スキャナ３０の読み取り方式は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）タイプであってもよいし、ＣＩＳ（Ｃｏｎｔａｃｔ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）タイプであってもよい。
【００２５】
ここで、ＣＣＤタイプは、標本からの反射光をミラーに反射および集約させてからレンズを介して送られた光をＣＣＤセンサによって読み取り、ＣＣＤセンサによって読み取った光を画像データに変換するタイプに相当し得る。一方、ＣＩＳ方式は、ＲＧＢ三色のＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を光源に使用し、光源から標本にあてた光が反射した結果をフォトセンサによって読み取り、読み取った結果を画像データに変換するタイプに相当し得る。
【００２６】
本開示の実施形態では、病変領域が写る画像データ（病変画像データ）が画像データとして用いられる場合を主に想定する。しかし、本開示の実施形態に係る画像データは、病変画像データに限定されない。病変画像のデジタル化には、スキャナ（デジタル顕微鏡）のステージにセットされた標本（スライド）が連続的に撮影された複数の画像が繋ぎ合わされて大きな一枚の画像が生成される方式が採用され得る。この方式は、ホールスライドイメージング（ＷＳＩ）と言われる。
【００２７】
学習装置５０は、例えば、コンピュータによって構成される。学習装置５０は、画像データおよびアノテーションデータ（アノテーションおよびラベル）を用いて機械学習を行うことによって識別器と識別器によって利用されるデータ（モデルデータ）を生成する。かかる識別器およびモデルデータによって、ＡＩ（例えば、自動的に診断を行うＡＩ）が実現され得る。機械学習には、典型的にはディープラーニングが用いられ得る。
【００２８】
なお、本開示の実施形態では、識別器がニューラルネットワークによって実現される場合を主に想定する。かかる場合、モデルデータは、ニューラルネットワークの各ニューロンの重みに相当し得る。しかし、識別器は、ニューラルネットワーク以外によって実現されてもよい。例えば、識別器は、ランダムフォレストによって実現されてもよいし、サポートベクタマシンによって実現されてもよいし、アダブーストによって実現されてもよい。
【００２９】
また、本開示の実施形態では、情報処理装置１０、スキャナ３０および学習装置５０が別々の装置として存在する場合を主に想定する。しかし、情報処理装置１０、スキャナ３０および学習装置５０の一部または全部は、１つの装置として存在してもよい。あるいは、情報処理装置１０、スキャナ３０および学習装置５０のいずれかが有する機能の一部は、他の装置に組み込まれていてもよい。
【００３０】
近年では、病変画像データから自動的に診断を行うＡＩを構築する技術が急速に普及しつつある。例えば、病変画像データは、上記したＷＳＩ方式によって得られた大きな一枚の画像データまたはＷＳＩ方式によって得られた画像から切り取られた一部の画像データであり得る。
【００３１】
病変画像データから自動的に診断を行うＡＩの構築には、病変画像データとアノテーションデータ（アノテーションおよびラベル）とに基づく機械学習が用いられる。自動的に診断を行うＡＩの構築は、「画像データの準備」「アノテーションデータの生成」「アノテーションデータの学習用データへの加工」「機械学習」「結果の評価」が含まれ得る。「アノテーションデータの学習用データへの加工」では、アノテーションのサイズ調整が行われ、画像データのラベルが付された対象領域に対してマスク処理を行ってマスク画像を得る処理が行われる。本開示の実施形態では、「アノテーションデータの生成」に主な特徴が存在するため、以下では「アノテーションデータの生成」について主に説明する。
【００３２】
以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。
【００３３】
［１．２．情報処理装置の機能構成例］
続いて、本開示の実施形態に係る情報処理装置１０の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理装置１０の機能構成例を示す図である。図２に示したように、情報処理装置１０は、情報取得部１１１、処理部１１２、表示制御部１１３、画像データ受信部１２０、記憶部１３０、操作部１４０および送信部１５０を有している。
【００３４】
情報取得部１１１、処理部１１２および表示制御部１１３は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；中央演算処理装置）などといった処理装置によって構成されていてよい。かかる処理装置は、電子回路によって構成されてよい。情報取得部１１１、処理部１１２および表示制御部１１３は、かかる処理装置によってプログラム（ソフトウェア）が実行されることによって実現され得る。
【００３５】
情報取得部１１１は、操作部１４０から各種の操作を取得する。処理部１１２は、画像データと各種の操作とに基づいて、アノテーションデータを生成する。表示制御部１１３は、表示装置に接続されている。なお、本開示の実施形態では、表示装置が情報処理装置１０の外部に存在する場合を主に想定する。しかし、表示装置は、情報処理装置１０の内部に存在していてもよい。表示装置は、ディスプレイによって実現されてよく、ディスプレイは、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよいし、他のディスプレイであってもよい。
【００３６】
記憶部１３０は、メモリを含んで構成され、処理装置によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１３０は、処理装置による演算のためにデータを一時的に記憶する。記憶部１３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
【００３７】
操作部１４０は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部１４０が、マウスおよびキーボードを含む場合を主に想定する。しかし、操作部１４０は、マウスおよびキーボードを含む場合に限定されない。例えば、操作部１４０は、電子ペンを含んでもよいし、タッチパネルを含んでもよいし、視線を検出するイメージセンサを含んでもよい。
【００３８】
画像データ受信部１２０および送信部１５０は、通信回路を含んで構成される。画像データ受信部１２０は、スキャナ３０からネットワーク７０を介して画像データを受信する機能を有する。画像データ受信部１２０は、受信した画像データを処理部１１２に出力する。一方、送信部１５０は、処理部１１２からアノテーションデータ（アノテーションおよびラベル）が入力されると、学習装置５０に対してネットワーク７０を介してアノテーションデータを送信する機能を有する。
【００３９】
以上、本開示の実施形態に係る情報処理装置１０の機能構成例について説明した。
【００４０】
［１．３．システムが有する機能の詳細］
続いて、本開示の実施形態に係る情報処理システム１が有する機能の詳細について説明する。
【００４１】
（１．３．１．対象領域の種類）
本開示の実施形態に係る対象領域の種類には様々な種類が想定される。例えば、対象領域の例としては、腫瘍領域が主に想定される。その他、対象領域の例としては、検体が有る領域、組織領域、アーチファクト領域、上皮組織、扁平上皮、腺領域、細胞異型の領域、組織異型の領域などが挙げられる。すなわち、対象領域の輪郭の例としては、腫瘍領域と非腫瘍領域との境界、検体が有る領域と検体が無い領域との境界、組織（前景）領域と空白（背景）領域との境界、アーチファクト領域と非アーチファクトとの境界、上皮組織と非上皮組織との境界、扁平上皮と非扁平上皮との境界、腺領域と非腺領域との境界、細胞異型の領域とそれ以外の領域との境界、組織異型の領域とそれ以外の領域との境界などが挙げられる。
【００４２】
（１．３．２．フィッティングモードの種類）
スキャナ３０によって生体領域が映る画像データが読み取られると、情報処理装置１０の画像データ受信部１２０によって画像データが受信される。表示制御部１１３は、画像データが表示装置によって表示されるように表示装置を制御する。ユーザが、画像データに対して形状を指示すると、操作部１４０が、ユーザによる形状の指示を受け付ける。情報取得部１１１は、ユーザによる形状の指示に基づいて第１の領域情報（境界を示す情報）を得る。また、ユーザは、フィッティングモードを入力し得る。ユーザが、フィッティングモードを入力すると、操作部１４０は、フィッティングモードを受け付け、情報取得部１１１は、フィッティングモードを得る。
【００４３】
処理部１１２は、画像データと第１の領域情報とフィッティングモードとに基づいて第２の領域情報（初期領域の輪郭を示す情報）を生成する。これによって、生体領域が写る画像データにおいてユーザの手間を低減しつつ高精度に対象領域を選択することが可能となる。ここでは、フィッティングモードが、ユーザによって入力される場合を主に想定した。しかし、フィッティングモードは、どのように決定されてもよい。例えば、処理部１１２は、画像データの特徴に応じてフィッティングモードを決定し、決定したフィッティングモードに基づいて第２の領域情報を生成してもよい。
【００４４】
ここで、フィッティングモードは限定されない。例えば、フィッティングモードの例としては、「前景背景フィッティングモード」「細胞膜フィッティングモード」「細胞核フィッティングモード」が挙げられる。
【００４５】
「前景背景フィッティングモード」は、前景と背景との境界に対するフィッティングモードに相当し得る。「前景背景フィッティングモード」は、対象領域が上記した種類（検体が有る領域、組織領域、アーチファクト領域、上皮組織、扁平上皮、腺領域、細胞異型の領域、組織異型の領域など）である場合に適用され得る。フィッティングモードが「前景背景フィッティングモード」である場合、処理部１１２は、画像データと第１の領域情報とに基づいて、グラフカットによるセグメンテーションアルゴリズムを用いてフィッティングを行い得る。あるいは、セグメンテーションアルゴリズムには、機械学習が用いられてもよい。
【００４６】
一方、「細胞膜フィッティングモード」は、細胞膜に対するフィッティングモードに相当し得る。フィッティングモードが「細胞膜フィッティングモード」である場合には、処理部１１２は、画像データから細胞膜の特徴を認識し、認識した細胞膜の特徴と第１の領域情報とに基づいて、細胞膜に沿ってフィッティングを行う。例えば、フィッティングに際しては、免疫染色の膜染色で茶色に染まったエッジが利用され得る。
【００４７】
また、「細胞核フィッティングモード」は、細胞核に対するフィッティングモードに相当し得る。フィッティングモードが「細胞核フィッティングモード」である場合には、処理部１１２は、画像データから細胞核の特徴を認識し、認識した細胞核の特徴と第１の領域情報とに基づいて、細胞核に沿ってフィッティングを行う。例えば、ヘマトキシリン・エオジン（ＨＥ）を用いれば核が青く染まるため、フィッティングに際しては、ヘマトキシリン・エオジン（ＨＥ）による染色情報を用いればよい。
【００４８】
以下では、フィッティングモードが「前景背景フィッティングモード」である場合について主に説明する。
【００４９】
（１．３．３．境界の決定）
上記したように、ユーザが、画像データに対して形状を指示すると、操作部１４０が、ユーザによる形状の指示を受け付ける。情報取得部１１１は、ユーザによる形状の指示に基づいて第１の領域情報（境界を示す情報）を得る。より詳細に、情報取得部１１１は、画像データに対して指示された形状の通過領域または周辺領域に基づいて第１の領域情報（境界を示す情報）を得ればよい。
【００５０】
情報取得部１１１は、ユーザによって画像データに対して指示された形状の通過領域または周辺領域に対して適用されたグラフカットによるセグメンテーションアルゴリズムに基づいて第１の領域情報（境界を示す情報）を得てもよい。例えば、ユーザが画像データに対して曲線または矩形などの形状を指示した場合（例えば、ユーザが画像データに対して領域を曲線または矩形で囲んだ場合）を想定する。かかる場合には、情報取得部１１１は、当該形状によって囲まれる領域（周辺領域）に対してグラフカットによるセグメンテーションアルゴリズムを適用して第１の領域情報（境界を示す情報）を得てもよい。
【００５１】
あるいは、情報取得部１１１は、ユーザによって画像データに対して指示された形状の通過領域または周辺領域から抽出された特徴データに基づいて第１の領域情報（境界を示す情報）を得てもよい。例えば、ユーザが画像データに対して線分または点などの形状を指示した場合（例えば、ユーザが画像データに対して線分の両端または点を指定した場合）を想定する。かかる場合には、情報取得部１１１は、当該通過領域または当該周辺領域を基準として当該通過領域または周辺領域の特徴データと一致または類似する領域を拡張スキャンして第１の領域情報（境界を示す情報）を得てもよい。
【００５２】
かかる第１の領域情報（境界を示す情報）は、機械学習を用いて求められてもよい。かかる機械学習は、事前に行われていることが望ましい。また、線分または点が指示された場合における特徴データの抽出には、特徴ベクタまたはベクトル量子化が用いられてもよい。また、通過領域または周辺領域の特徴データと一致または類似する領域を見つける特徴抽出アルゴリズムには、何かしらのハッシュコードを用いて特徴データのマッチングを行う手法が用いられてよい。
【００５３】
（１．３．４．初期領域の決定）
上記のようにして第１の領域情報（境界を示す情報）が得られた場合には、処理部１１２は、画像データと第１の領域情報（境界を示す情報）とに基づいて第２の領域情報（初期領域を示す情報）を生成する。例えば、処理部１１２は、画像データと第１の領域情報（境界を示す情報）とに基づいて、フィッティングを行うことによって、第２の領域情報（初期領域を示す情報）を生成する。このとき、表示制御部１１３は、第２の領域情報（初期領域を示す情報）の表示を制御する。
【００５４】
フィッティングでは、初期領域の輪郭としての確からしさ（信頼度）がより高くなるように第２の領域情報（初期領域を示す情報）が決定されてよい。初期領域の輪郭としての確からしさは、第１の領域情報（境界を示す情報）に基づいて設定された確率場をコスト関数としてグラフカットを用いて求められてもよい。しかし、グラフカットのようなアルゴリズムでは、エネルギー最小化問題を解くため、ここでは、エネルギーの低さを初期領域の輪郭としての確からしさに用いる場合を主に想定する。
【００５５】
なお、かかるフィッティングの手法は、機械学習を用いて事前に学習されてもよい。以下では、対象領域が腫瘍領域である場合について主に説明する。しかし、対象領域は、腫瘍領域に限定されない。
【００５６】
（１．３．５．初期領域の修正）
上記のようにしてフィッティングが実行されて第２の領域情報（初期領域を示す情報）が得られたとしても、当該初期領域の輪郭が腫瘍領域の輪郭からずれてしまっている場合が想定される。かかる場合には、処理部１１２は、画像データと第２の領域情報（初期領域を示す情報）とに基づいて第３の領域情報を生成してもよい。すなわち、画像データと第２の領域情報（初期領域を示す情報）とに基づいて、再度フィッティングを行うことによって、第３の領域情報を生成してもよい。あるいは、処理部１１２は、画像データと第２の領域情報とフィッティングの可動範囲とに基づいて第３の領域情報を生成してもよい。例えば、フィッティングの可動範囲は、第２の領域情報に対する割合［％］および±画素［ｐｉｘｅｌ］で指定することが可能であってよい。このとき、表示制御部１１３は、第３の領域情報の表示を制御する。
【００５７】
これによって、当該第３の領域の輪郭が腫瘍領域の輪郭に近づく可能性もある。しかしながら、当該第３の領域の輪郭が腫瘍領域の輪郭に近づくとも限らず、フィッティングが繰り返し実行されることによって、フィッティング実行後の領域の輪郭が腫瘍領域の輪郭から離れてしまう可能性もある。そこで、ユーザにとっては、フィッティング実行後の領域の輪郭を確認しながら、適切な繰り返し回数を選択できることが望ましい。フィッティングは、画像データの倍率を同一に保ちながら繰り返し実行されてもよいし、画像データの倍率を変化させながら繰り返し実行されてもよい。画像データの倍率を変化させる場合、処理部１１２は、フィッティングモードに基づいて画像データの倍率を決定してもよい。あるいは、処理部１１２は、フィッティングモードに基づいて画像データの解像度を決定してもよい。
【００５８】
図３は、フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の例を示す図である。画像データＧ１０−１〜Ｇ１０−４それぞれには、腫瘍領域Ｒ１０が写っており、画像データＧ１０−１〜Ｇ１０−４は、同一の倍率によって表示される。曲線Ｔ１は、ユーザによる形状の指示に基づいて得られた第１の領域情報（境界を示す情報）である。曲線Ｔ２は、画像データと曲線Ｔ１とに基づいて、フィッティングを行うことによって得られた第２の領域情報（初期領域の輪郭を示す情報）である。曲線Ｔ３は、画像データと曲線Ｔ２とに基づいて、フィッティングを行うことによって得られた第３の領域情報である。曲線Ｔ４は、画像データと曲線Ｔ３とに基づいて、フィッティングを行うことによって得られた第４の領域情報である。
【００５９】
表示制御部１１３は、切り替え操作に基づいて曲線Ｔ１と曲線Ｔ２との間で表示対象を切り替えることが可能である。また、表示制御部１１３は、切り替え操作に基づいて曲線Ｔ２と曲線Ｔ３との間で表示対象を切り替えることが可能である。さらに、表示制御部１１３は、切り替え操作に基づいて曲線Ｔ３と曲線Ｔ４との間で表示対象を切り替えることが可能である。具体的な切り替え操作は限定されない。例えば、切り替え操作は、ボタンを押下する操作であってもよいし、スクロール操作（例えば、マウスのホイールを前後に動かす操作など）であってもよい。
【００６０】
図３に示す例において、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ１からフィッティング実行後の曲線Ｔ２に表示対象を切り替えている（Ｓ１）。さらに、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ２からフィッティング実行後の曲線Ｔ３に表示対象を切り替えている（Ｓ２）。また、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ３からフィッティング実行後の曲線Ｔ４に表示対象を切り替えている（Ｓ３）。
【００６１】
フィッティングが実行される際には、フィッティング実行前の曲線は保持されるのがよい。そうすれば、表示制御部１１３は、ユーザからの切り替え操作が行われた場合に、フィッティング実行前の曲線を再度表示させることも可能である。図３に示す例において、表示制御部１１３は、マウスのホイールを前方向に動かす操作が行われた場合に、曲線Ｔ４からフィッティング実行前の曲線Ｔ３に表示対象を切り替えている（Ｓ４）。
【００６２】
このようにして、ユーザは、切り替え操作によって表示対象の曲線を切り替えることによって、腫瘍領域Ｒ１０の輪郭に近い曲線（図３に示した例では、曲線Ｔ３）を選択することができる。処理部１１２は、曲線Ｔ２〜Ｔ４のいずれかを学習処理に利用されるアノテーションとして選択することができる。
【００６３】
例えば、処理部１１２は、ユーザによる選択操作に基づいて曲線Ｔ３が選択された場合、曲線Ｔ３を学習処理に利用されるアノテーションとして選択することができる。あるいは、処理部１１２は、ユーザによる選択操作に基づいて曲線Ｔ２が選択された場合、曲線Ｔ２を学習処理に利用されるアノテーションとして選択することができる。あるいは、処理部１１２は、ユーザによる選択操作に基づいて曲線Ｔ４が選択された場合、曲線Ｔ４を学習処理に利用されるアノテーションとして選択することができる。
【００６４】
ここで、具体的な選択操作は限定されないが、選択操作は、ボタン押下操作、マウスのクリック操作、シークバーの移動操作などによって実現されてもよい。あるいは、処理部１１２は、腫瘍領域Ｒ１０の輪郭に近い曲線（図３に示した例では、曲線Ｔ３）を自動的に選択することが可能であってもよい。なお、フィッティングの繰り返し実行は、必ずしもユーザによる切り替え操作が行われた場合になされなくてもよい。例えば、フィッティングの繰り返し実行は、計算資源が十分にありさえすれば、ユーザによる切り替え操作なしに順次に実行されてもよい。あるいは、複数回のフィッティングは一度に実行され、実行結果は異なる表示態様によって同時に表示されてもよい。
【００６５】
図４は、複数回のフィッティングの実行結果それぞれが異なる表示態様によって同時に表示される例を示す図である。図４を参照すると、画像データＧ１０に腫瘍領域Ｒ１０が写っている。また、表示制御部１１３は、曲線Ｔ２〜Ｔ４それぞれが異なる表示態様によって同時に表示されるように制御している。なお、表示制御部１１３は、曲線Ｔ２〜Ｔ４それぞれの表示態様をどのように異ならせてもよい。例えば、表示制御部１１３は、曲線Ｔ２〜Ｔ４それぞれの表示態様を色、太さ、破線の間隔の違いによって異ならせてよい。曲線Ｔ２〜Ｔ４のいずれかに対する選択操作は、マウスのクリック操作などによって実現され得る。
【００６６】
図５は、フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の例を示す図である。例えば、組織異型の領域（大腸癌など）に対する診断を行うような場合には、低解像度のアノテーションが得られれば十分であると考えられる。一方、細胞異型の領域（テクスチャ）に対する診断を行うような場合には（例えば、膵管癌、甲状腺腫瘍、リンパ腫など）、高解像度のアノテーションを得る必要がある。ミップマップと呼ばれる（画像データの表示倍率の）階層構造を利用すれば、高解像度のアノテーションを得ることが可能である。
【００６７】
そこで、処理部１１２は、第２の領域情報を生成した後、画像データの倍率を変更し、倍率変更後の画像データに基づいて第３の領域情報を生成するのがよい。より望ましくは、処理部１１２は、第２の領域情報を生成した後、画像データの倍率が高くなるように倍率を変更し、倍率変更後の画像データに基づいて第３の領域情報を生成する。このとき、処理部１１２は、第３の領域情報を学習処理に利用されるアノテーションとして選択すればよい。これによって、高解像度のアノテーションが得られる。
【００６８】
図５を参照すると、倍率５倍の画像データＧ５−１〜Ｇ５−２それぞれには、腫瘍領域Ｒ５が小さく写っており、倍率１０倍の画像データＧ１０−１〜Ｇ１０−３それぞれには、腫瘍領域Ｒ１０が中程度の大きさで写っており、倍率２０倍の画像データＧ２０−１、Ｇ２０−３、Ｇ２０−４それぞれには、腫瘍領域Ｒ２０が大きく写っている。
【００６９】
曲線Ｔ１１は、ユーザによる形状の指示に基づいて得られた第１の領域情報（境界を示す情報）である。曲線Ｔ１２は、倍率５倍の画像データＧ５−１と曲線Ｔ１１とに基づいて、フィッティングを行うことによって得られた第２の領域情報（初期領域の輪郭を示す情報）である。曲線Ｔ１３は、倍率１０倍の画像データＧ１０−２と曲線Ｔ１２とに基づいて、フィッティングを行うことによって得られた第３の領域情報である。曲線Ｔ１４は、倍率２０倍の画像データＧ２０−３と曲線Ｔ１３とに基づいて、フィッティングを行うことによって得られた第４の領域情報である。なお、画像データＧ５−２のようにフィッティングが実行された画像データの倍率「×２０倍で吸着」などが表示されてもよい。
【００７０】
この例に示したように、処理部１１２は、ミップマップと呼ばれる階層構造を利用して、画像データの倍率を段階的に大きく変化させながらフィッティングを繰り返し実行するとよい。これによって、処理部１１２は、低倍率の画像データにおいてユーザにラフに曲線を描かせつつ、フィッティングの精度を段階的に高くすることが可能になるため、高精度かつ迅速にアノテーションを得ることが可能となる。なお、図５に示したように倍率は徐々に高くされてもよいし、中間倍率はスキップされてもよい（例えば、１０倍の画像データでのフィッティングはスキップされ、５倍の画像データでのフィッティング実行後に２０倍の画像データでのフィッティングが実行されてもよい）。
【００７１】
（１．３．６．動作例）
続いて、図６および図７を参照しながら、本開示の実施形態に係る情報処理システム１の動作例を説明する。
【００７２】
図６は、フィッティングが画像データの倍率を同一に保ちながら繰り返し実行される場合の動作例を示す図である。まず、表示制御部１１３は、画像データの表示を制御する。そして、図６に示すように、ユーザは、画像データに写る腫瘍領域を曲線で囲む（Ｓ１１）。処理部１１２は、画像データとユーザによって囲まれた曲線とに基づいて、グラフカットを用いてエネルギー計算を行い（Ｓ１２）、計算結果に基づいて曲線を修正する（フィッティングを行う）（Ｓ１２）。
【００７３】
表示制御部１１３は、修正後の曲線の表示を制御する。修正後の曲線を見たユーザは、フィッティングがＯＫであるか否かを判定する。ユーザによってフィッティングがＮＧであることが入力された場合（Ｓ１４において「Ｎｏ」）、ユーザによって曲線のマニュアル調整が実行され（Ｓ１５）、Ｓ１２に動作が移行される。一方、ユーザによってフィッティングがＯＫであることが入力された場合（Ｓ１４において「Ｙｅｓ」）、処理部１１２によってアノテーションデータ（アノテーションおよびラベル）が生成される（Ｓ１６）。その後、学習装置５０によってアノテーションデータに基づく機械学習が実行され（Ｓ１７）、自動診断ＡＩが構築される。
【００７４】
図７は、フィッティングが画像データの倍率を変化させながら繰り返し実行される場合の動作例を示す図である。まず、表示制御部１１３は、画像データの表示を制御する。そして、図７に示すように、ユーザは、画像データに写る腫瘍領域を曲線で囲む（Ｓ１１）。処理部１１２は、画像データとユーザによって囲まれた曲線とに基づいて、グラフカットを用いてエネルギー計算を行い（Ｓ１２）、計算結果に基づいて曲線を修正する（フィッティングを行う）（Ｓ１２）。
【００７５】
表示制御部１１３は、修正後の曲線の表示を制御する。処理部１１２は、現在の画像データの倍率が指定倍率に到達したか否かを判定する。処理部１１２は、現在の画像データの倍率が指定倍率に到達していない場合には（Ｓ２４において「Ｎｏ」）、画像データの倍率をより高倍率に変更し（Ｓ２５）、一方、現在の画像データの倍率が指定倍率に到達した場合には（Ｓ２４において「Ｙｅｓ」）、処理部１１２によってアノテーションデータ（アノテーションおよびラベル）が生成される（Ｓ１６）。その後、学習装置５０によってアノテーションデータに基づく機械学習が実行され（Ｓ１７）、自動診断ＡＩが構築される。
【００７６】
（１．３．７．制御点の配置）
上記では、フィッティング実行後の曲線に対して直接的にマニュアル調整を行う場合を想定した。しかし、処理部１１２は、フィッティング実行後の曲線（第２の領域情報、第３の領域情報または第４の領域情報）に基づいて、曲線上に複数の点（制御点）の位置を決定し、表示制御部１１３は、決定された位置に複数の制御点を配置してもよい。これによって、当該曲線を構成する点集合の情報をすべて管理する必要はなくなり、当該曲線を構成する複数の点のみを管理すれば済むようになるため、必要なメモリの量が低減され得る。例えば、処理部１１２は、フィッティング実行後の曲線のうち細かく表現する必要が無い部分に関しては、制御点の数を減らすことが可能である。
【００７７】
一例として、処理部１１２は、フィッティング実行後の曲線を微分することによって、微分値の絶対値が小さいほど、制御点を少なくすることが可能である。例えば、細胞異型の領域などといった細かいテクスチャがＡＩに必要な場合には、制御点はあまり減らさないほうがよい。一方、組織異型の領域などといったマクロな情報がＡＩに必要な場合には、制御点が減らされたほうがデータ量の面では有効である。
【００７８】
図８は、腫瘍領域Ｒ１０の例を示す図である。図９は、制御点の配置例を示す図である。図９を参照すると、曲線の傾きの変化が大きい部分には、制御点ＣＰが多く配置されている。図１０は、制御点の配置例を示す図である。図１０に示したように、処理部１１２は、曲線に囲まれる対象領域の種類に応じて、制御点ＣＰの数を調整することが可能である。
【００７９】
ユーザは、腫瘍領域Ｒ１０から曲線がずれてしまっている場合（例えば、高精度なフィッティングが難しい部分がある場合など）、複数の制御点ＣＰの一部または全部を移動させればよい。例えば、制御点ＣＰの移動操作は、マウスのドラッグ・アンド・ドロップによって実行されてもよい。処理部１１２は、ユーザによる移動操作に基づいて複数の制御点ＣＰの一部または全部を移動させる。そして、処理部１１２は、少なくとも移動させた制御点ＣＰに基づいてフィッティングを実行して、曲線を修正すればよい。なお、複数の制御点間の線は、ベジェまたはスプラインによって補間されてよい。
【００８０】
（１．３．８．部分吸着）
上記では、腫瘍領域に対して曲線全体がフィッティングされる場合を主に想定した。しかし、曲線の一部のみが部分的にフィッティングされてもよい。図１１は、部分的なフィッティングの例を説明するための図である。図１１を参照すると、倍率１０倍の画像データＧ１０−２に、倍率２０倍の画像データＧ２０−１における部分領域Ｍ２０が拡大鏡領域Ｍ１０として表示されている。
【００８１】
ユーザは、拡大鏡領域Ｍ１０の曲線Ｔ２１または曲線Ｔ２１上に配置された制御点を移動させることができる。処理部１１２は、かかるユーザの移動操作に基づいて移動された部分だけのフィッティング（部分的なフィッティング）を実行してもよい。例えば、処理部１１２は、移動操作に基づいて曲線（第２の領域情報）に配置された複数の制御点の一部を移動させた場合、移動させた制御点に基づいて曲線（第３の領域情報）を生成すればよい。
【００８２】
（１．３．９．フィッティング部分の確認）
上記のようにして実行されたフィッティング状況を確認するＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）としては、様々なＵＩが想定される。図１２は、フィッティング部分の確認ＵＩの一例を示す図である。図１２を参照すると、画像データＧ１０−１が表示されている。画像データＧ１０−１の一部を拡大した領域（拡大領域Ｖ０）も表示されている。例えば、表示制御部１１３は、曲線に沿って領域Ｖ１〜Ｖ８の順に走査し、走査した領域を拡大領域Ｖ０として表示させることによって、ユーザがフィッティング状況を確認できるようにしてもよい。
【００８３】
あるいは、処理部１１２は、曲線（第２の領域情報または第３の領域情報）に基づいて、曲線（第２の領域情報または第３の領域情報）の確からしさ（信頼度）を算出してもよい。そして、表示制御部１１３、当該確からしさが所定の確からしさよりも低い区間が検出された場合、その区間に応じた所定の情報の表示を制御してもよい。図１３は、フィッティング部分の確認ＵＩの他の一例を示す図である。図１３を参照すると、曲線のうち、確からしさが所定の確からしさよりも低い区間Ｄ２が、確からしさが所定の確からしさよりも高い区間Ｄ１とは、異なる表示態様によって表示されている。
【００８４】
なお、表示制御部１１３は、区間Ｄ１と区間Ｄ２との表示態様をどのように異ならせてもよい。例えば、表示制御部１１３は、区間Ｄ１と区間Ｄ２との表示態様を、色、太さ、破線の間隔の違いによって異ならせてよい。
【００８５】
（１．３．１０．探索範囲の可視化）
上記実施形態では、ユーザは、どのようにフィッティングされるかは予測できない。このため、ユーザにとって意図しない領域にフィッティングされる可能性もある。以下の実施形態では、ユーザビリティの向上を図ることができるフィッティングについて説明する。
【００８６】
上述したフィッティングは、ユーザが描いた線から所定の距離までの領域を探索することで行われる。ここで、上述したフィッティングの範囲を可視化してもよい。以下、フィッティング処理時に探索される領域を「探索範囲」と表記する。表示探索部１１３は、フィッティングの探索範囲を画像データ上に表示させる。これにより、ユーザは示された幅の範囲内で結果が出力されることを直感的に把握することができる。
【００８７】
表示制御部１１３は、以下の２つの方法のいずれかによって探索範囲を可視化する。具体的には、表示制御部１１３は、ユーザが手動で決定した探索範囲を表示させる場合と、情報処理装置１０により自動的に決定された探索範囲を表示させる場合とがある。以下、表示制御部１１３が、ユーザが手動で決定した探索範囲を表示させる場合を説明する。
【００８８】
表示制御部１１３は、ユーザが探索範囲の幅を示す情報（例えば、ペンやマーカー）を選択することによって、選択された情報に応じた幅の探索範囲を表示させる。例えば、表示制御部１１３は、選択された情報の幅が広いほど、広い探索範囲を表示させる。具体的な例を挙げると、表示制御部１１３は、ユーザが探索範囲の幅として１ｃｍを選択した場合には、１ｃｍの幅の探索範囲を表示させる。例えば、表示制御部１１３は、ユーザが直径１ｃｍの円を示す探索範囲を選択した場合には、直径１ｃｍの円を示す探索範囲を表示させる。なお、ユーザが入力する境界の幅は、円や線や楕円に限らず、どのような幾何形状により指定されるものであってもよい。例えば、境界の幅が円の場合、ユーザは探索範囲に対応する直径の円で境界を入力する。このように、表示制御部１１３は、ユーザが入力する境界の幅と対応するフィッティングの探索範囲を表示させてもよい。
【００８９】
以下、図１５を用いて２つの方法による探索範囲の可視化について説明する。図１５は、病理画像を示す。図１５の物体Ｐ１は、細胞を示す。なお、細胞の集合体は組織と呼ばれる。図１５は、探索範囲の可視化の一例を示す。図１５（ａ）は、円で入力した境界からの探索範囲を示す。具体的には、図１５（ａ）では、ユーザが描いている点に追従して探索範囲を示す円が表示される場合を示す。この場合、追従して表示される探索範囲を示す円の領域のいずれかでフィッティングが行われる。また、表示制御部１１３は、ユーザにより選択された情報に応じた幅の探索範囲を表示させる場合には、ユーザによる選択に応じて追従する円の大きさを決定する。例えば、表示制御部１１３は、ユーザが直径１ｃｍの円を選択した場合には、ユーザが描く点に追従して直径１ｃｍの円が探索範囲として表示される。図１５（ｂ）は、線分で入力した境界からの探索範囲を示す。具体的には、図１５（ｂ）では、ユーザが描いている点に追従して探索範囲を示す線が追従して表示される場合を示す。この場合、追従して表示される探索範囲を示す線のいずれかでフィッティングが行われる。また、表示制御部１１３は、ユーザにより選択された情報に応じた幅の探索範囲を表示させる場合には、ユーザによる選択に応じて追従する線の太さや長さを決定する。例えば、表示制御部１１３は、ユーザが長さ１ｃｍの線を選択した場合には、ユーザが描く点に追従して長さ１ｃｍの線が探索範囲として表示される。
【００９０】
表示制御部１１３は、探索範囲を、ユーザによる入力途中、入力後のいずれのタイミングで表示させてもよい。
【００９１】
表示制御部１１３は、探索範囲を示す領域を、どのような態様で表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、透過度を変えて表示させてもよい。図１６では、画像データ上の範囲Ｐ１１が探索範囲を示す。図１６は、ユーザの入力に応じて追従して表示される探索範囲の軌跡を示してもよいし、ユーザにより選択された情報に応じた幅による探索範囲の軌跡を示してもよい。これにより、探索範囲を示す領域を透過させることで、範囲を示しながらも範囲内の組織を参照させることができる。例えば、表示制御部１１３は、境界の中心ほど透過度を高くして表示させてもよい。この場合、少なくとも、２つ以上の透過度で表示させることとなる。すなわち、表示制御部１１３は、表示範囲を示す領域を、少なくとも２つ以上の透過度で表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、色を変えて表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、境界の中心ほど色の濃淡を薄くして表示させてもよい。この場合、少なくとも、２つ以上の色で表示させることとなる。すなわち、表示制御部１１３は、表示範囲を示す領域を、少なくとも２つ以上の色で表示させてもよい。例えば、表示制御部１１３は、探索範囲を示す領域を、斜線やドットなどの幾何模様で埋めて表示させてもよい。また、表示制御部１１３は、探索範囲を示す領域内のうち、フィッティングがされる確率が高いほど、透過度を低くしたり、色の濃淡を濃くしたり、斜線やドットなどの幾何模様の密度を大きくして表示させてもよい。例えば、処理部１１２が、線分からの距離が中心に近いほどフィッティングがされる確率を高くする場合には、表示制御部１１３は、線分からの距離が中心に近いほど濃淡を濃くして探索範囲を表示してもよい。このように、表示制御部１１３は、ユーザにより予め定められた透過度、色、幾何形状、又は、幾何模様のいずれか一つに応じてフィッティングの探索範囲を表示させてもよい。
【００９２】
このように、表示制御部１１３は、上述した方法で、探索範囲の表示を制御してもよい。
【００９３】
（１．３．１１．探索範囲）
処理部１１２は、ユーザが描いた線から所定の距離までの領域の範囲内で、フィッティングの探索を行う。図１７は、距離ｄだけ離れた領域までを探索範囲とした場合の、探索範囲の一例を示す。探索範囲は、図１７（ａ）に示すように、０と１とのバイナリによるものであってもよい。この場合、処理部１１２は、ユーザが入力した境界の方向に対する法線の方向に距離ｄだけ離れた領域までを探索範囲としたアルゴリズムを適用してもよい。また、探索範囲は、バイナリによるものに限らず、重みより変化するものであってもよい。例えば、探索範囲は、図１７（ｂ）に示すように、線分からの距離に応じた重みに基づくアルゴリズムが適用されてもよい。
【００９４】
（１．３．１２．探索範囲の調整）
処理部１１２は、探索範囲の調整（設定）をユーザにより手動で行えるようにしてもよい。以下、適宜、探索範囲の調整を、探索範囲の設定としてもよいものとする。例えば、処理部１１２は、ユーザが探索範囲の形状や幅を手動で選択できるようにしてもよい。例えば、処理部１１２は、ユーザが探索範囲の形状を手動で選択して、ユーザの入力に応じて探索範囲の幅を自動で変更してもよい。なお、探索範囲の調整は、探索範囲の幅の増加であっても、減少であってもよいものとする。図１８は、ユーザにより選択された２つの異なる幅の探索範囲を示す。図１８（ａ）は、処理部１１２が、範囲Ｐ２１の中でフィッティングの探索を行う場合を示す。図１８（ｂ）は、処理部１１２が、範囲Ｐ２２の中でフィッティングの探索を行う場合を示す。また、処理部１１２は、探索範囲の調整を、どのようなタイミングで行えるようにしてもよい。例えば、処理部１１２は、探索範囲の調整を、境界の入力前、入力途中、入力後のいずれのタイミングで行えるようにしてもよい。
【００９５】
ここで、ユーザがインターフェースを介して手動で行えるようにする場合の例を挙げる。例えば、処理部１１２は、操作画面上のＧＵＩ（例えば、スライダーやコンボボックスやボタン）によって探索範囲の調整を行えるようにしてもよい。例えば、処理部１１２は、マウスホイールなどのハードウェアによって探索範囲の調整を行えるようにしてもよい。例えば、処理部１１２は、事前に定義されたプリセットの選択によって探索範囲の調整を行えるようにしてもよい。この場合、処理部１１２は、ユーザによる探索範囲の幅を示す情報の選択によって、探索範囲の幅を決定してもよい。
【００９６】
ユーザ自身が探索範囲を調整する例について説明する。図１９は、ユーザ自身が探索範囲を調整する場合の情報処理のフローを示す。
【００９７】
情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンによる境界の入力を受け付ける（Ｓ３２）。なお、情報処理装置１０は、境界の入力途中で、ユーザによるＧＵＩなどの探索範囲の調整を受け付けてもよい。情報処理装置１０は、境界の入力が完了したか否かを判定する（Ｓ３３）。情報処理装置１０は、境界の入力が完了していない場合（Ｓ３３において「Ｎｏ」）、新たに境界の入力を受け付ける。情報処理装置１０は、境界の入力が完了した場合、フィッティングを実行する（Ｓ３４）。情報処理装置１０は、フィッティングの結果を表示させる（Ｓ３５）。情報処理装置１０は、探索範囲の変更を受け付けたか否かを判定する（Ｓ３６）。情報処理装置１０は、探索範囲の変更を受け付けた場合（Ｓ３６において「Ｙｅｓ」）、再度フィッティングを実行する。情報処理装置１０は、探索範囲の調整を受け付けない場合（Ｓ３６において「Ｎｏ」）、情報処理を終了する。このように、ユーザがフィッティングの結果を確認して、期待する結果が得られなかった場合、探索範囲の調整を受け付け、ユーザが期待する効果が得られるまで繰り返しフィッティングを実行することができる。
【００９８】
以上、処理部１１２が、探索範囲の調整を、ユーザにより手動で行える例について説明したが、操作時の条件や対象画像に基づいて自動で行ってもよい。以下、表示制御部１１３が、情報処理装置１０により自動的に決定された探索範囲を表示させる場合を説明する。表示制御部１１３は、ユーザが画像データ上に境界を入力（描画）すると、ユーザによる入力に応じたフィッティングの探索範囲を表示させる。このように、表示制御部１１３は、ユーザによる画像データに対する入力情報に応じたフィッティングの探索範囲を表示させてもよい。なお、処理部１１２は、ユーザが手動で行う場合と同様、探索範囲の調整をどのようなタイミングで行ってもよい。例えば、処理部１１２は、探索範囲の調整を、境界の入力前、入力途中、入力後のいずれのタイミングで行ってもよい。
【００９９】
この場合、表示制御部１１３は、ユーザが予め探索範囲の形状を指定することにより、指定された形状に基づいて探索範囲を拡大又は縮小することにより表示させてもよい。また、表示制御部１１３は、情報処理装置１０により自動的に決定された形状に基づく探索範囲を表示させてもよい。
【０１００】
ここで、操作時の条件や対象画像に基づいて自動で行う場合の例を挙げる。例えば、処理部１１２は、ユーザが入力する境界の速度に基づいて探索範囲の調整を行ってもよい。なお、ユーザが入力する境界の速度とは、ユーザの境界の入力速度である。例えば、処理部１１２は、ユーザが境界を入力する筆圧に基づいて探索範囲の調整を行ってもよい。例えば、処理部１１２は、ユーザが境界を入力する際の画像データの倍率に基づいて探索範囲の調整を行ってもよい。例えば、処理部１１２は、ユーザが入力する境界の付近の特徴に基づいて探索範囲の調整を行ってもよい。なお、ユーザが入力する境界が閉曲線である場合には、処理部１１２は、ユーザが入力する境界の内外の特徴に基づいて探索範囲の調整を行ってもよい。なお、ユーザが入力する境界の内と外とが区別できれば、閉曲線に限らず、どのような曲線であっても、処理部１１２は、ユーザが入力する境界の内外の特徴に基づいて探索範囲の調整を行ってもよい。以下、探索範囲を自動で変更する例を個々に説明する。
【０１０１】
図１９では、ユーザ自身が探索範囲を調整する例について説明した。以下、探索範囲を自動で変更する例について説明する。具体的には、情報処理装置１０が速度、筆圧、倍率、画像に応じて検索範囲を変更する例について、図２０乃至２３を用いて説明する。
【０１０２】
この場合、情報処理装置１０は、ユーザによる境界の入力に応じて、探索範囲の幅を決定する。具体的には、処理部１１２は、ユーザによる入力に応じて追従する探索範囲の大きさを変更してもよい。例えば、処理部１１２は、ユーザによる入力の速度や筆圧に応じて追従する探索範囲の大きさを変更してもよい。例えば、処理部１１２は、ユーザによる入力の速度が速いほど、探索範囲の大きさが大きくなるように変更してもよい。例えば、処理部１１２は、ユーザが探索範囲として円を予め選択した場合には、ユーザによる入力に応じて追従する円の大きさ（例えば、直径）を変更してもよいし、ユーザが探索範囲として線を予め選択した場合には、ユーザによる入力に応じて追従する線の大きさ（例えば、線の太さや長さ）を変更してもよい。なお、探索範囲の形状は、上記の例に限らず、どのような幾何形状のものであってもよい。
【０１０３】
処理部１１２は、所定の条件に基づいて調整された探索範囲でフィッティングの処理を実行してもよい。具体的には、処理部１１２は、ユーザによる画像データに対する操作に応じて調整された探索範囲でフィッティングの処理を実行してもよい。
【０１０４】
（１．３．１３．境界入力速度）
ユーザがどの程度慎重に信頼性の高い境界を入力しているかは、ユーザの入力速度と相関があると考えられる。例えば、入力速度が速い場合には大雑把に信頼性の低い境界を入力していると推定されるのに対して、入力速度が遅い場合には慎重に信頼性の高い境界を入力していると推定される。図２０は、上記の前提を基に境界入力の速度に応じて探索範囲を調整する場合の情報処理のフローを示す。
【０１０５】
情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、受け付けられた境界の入力速度を算出する（Ｓ４３）。例えば、情報処理装置１０は、画像データ上の２点間の距離の移動と移動に掛かる時間とに基づいて、入力速度を算出する。情報処理装置１０は、算出した入力速度が所定の閾値以上であるか否かを判定する（Ｓ４４）。情報処理装置１０は、算出した入力速度が所定の閾値以上である場合（Ｓ４４において「Ｙｅｓ」）、探索範囲を広い値に調整する（Ｓ４５）。一方、情報処理装置１０は、算出した入力速度が所定の閾値を下回る場合（Ｓ４４において「Ｎｏ」）、探索範囲を狭い値に調整する（Ｓ４６）。
【０１０６】
この場合、処理部１１２は、ユーザが入力する境界の速度に応じて調整された探索範囲でフィッティングの処理を実行する。
【０１０７】
（１．３．１４．筆圧）
デバイスにより検知される筆圧に基づいて検索範囲を変更する場合を説明する。例えば、ペンタブレットなどのデバイスを用いてアノテーションを行っている場合に、デバイスにより検知される筆圧に基づいて検索範囲を変更する場合を説明する。
【０１０８】
ユーザがどの程度慎重に信頼性の高い境界を入力しているかは、筆圧と相関があると考えられる。例えば、筆圧が小さい場合には大雑把に信頼性の低い境界を入力していると推定されるのに対して、筆圧が大きい場合には慎重に信頼性の高い境界を入力していると推定される。図２１は、上記の前提を基に境界入力の筆圧に応じて探索範囲を調整する場合の情報処理のフローを示す。
【０１０９】
情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、受け付けられた境界入力の筆圧を算出する（Ｓ５３）。具体的には、情報処理装置１０は、ユーザが境界を入力する際に検知される筆圧を算出する。例えば、情報処理装置１０は、画像データ上のユーザによる入力のスポットから所定の範囲内に掛かる圧力を検知することにより、筆圧を算出する。情報処理装置１０は、算出した筆圧が所定の閾値以上であるか否かを判定する（Ｓ５４）。情報処理装置１０は、算出した筆圧が所定の閾値以上である場合（Ｓ５４において「Ｙｅｓ」）、探索範囲を狭い値に調整する（Ｓ５５）。一方、情報処理装置１０は、算出した筆圧が所定の閾値を下回る場合（Ｓ５４において「ＮＯ」）、探索範囲を広い値に調整する（Ｓ５６）。
【０１１０】
（１．３．１５．観察倍率）
ユーザがどの程度慎重に信頼性の高い境界を入力しているかは、ユーザの観察倍率と相関があると考えられる。例えば、ユーザが大きい倍率（拡大）で観察している場合には慎重に信頼性の高い境界を入力していると推定するのに対して、ユーザが小さい倍率（広角）で観察している場合には大雑把に信頼性の低い境界を入力していると推定される。図２２は、上記の前提を基に観察倍率に応じて探索範囲を調整する場合の情報処理のフローを示す。
【０１１１】
情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、観察倍率が変更された場合、観察倍率が拡大されたか縮小されたかを判定する（Ｓ６３）。例えば、情報処理装置１０は、アノテーションを行っている途中に観察倍率が拡大されたか縮小されたかを判定する。情報処理装置１０は、観察倍率が拡大された場合（Ｓ６３において「Ｙｅｓ」）、探索範囲を狭い値に調整する（Ｓ６４）。一方、情報処理装置１０は、観察倍率が縮小された場合（Ｓ６３において「Ｎｏ」）、探索範囲を広い値に調整する（Ｓ６５）。
【０１１２】
この場合、処理部１１２は、ユーザが境界を入力する際の画像データの倍率に応じて調整された探索範囲でフィッティングの処理を実行する。
【０１１３】
（１．３．１６．画像）
適切な探索範囲は対象とする画像にも依存すると考えられる。例えば、画像データ上の境界が不明瞭な場合には探索範囲を広く調整することで、より適切なフィッティングの効果が得られると推定される。具体的には、情報処理装置１０は、予め対象画像全体又は境界付近の画像を解析することで、解析結果に基づいて探索範囲を調整することができるため、より適切なフィッティングの効果が得られると推定される。図２３は、上記の前提を基にユーザが入力している境界周辺の明るさ（輝度値）の変化から境界の不明瞭さを評価し探索範囲を調整する場合の情報処理のフローを示す。
【０１１４】
情報処理装置１０は、境界の入力前に探索範囲の指定を受け付ける（Ｓ３１）。情報処理装置１０は、探索範囲に対応する太さを持ったペンにより境界の入力を受け付ける（Ｓ３２）。情報処理装置１０は、受け付けられた入力の境界の近傍の明るさの変化を算出する（Ｓ７３）。例えば、情報処理装置１０は、境界付近の明るさの差又は変化の勾配を算出する。情報処理装置１０は、算出した境界付近の明るさの差又は変化の勾配が所定の閾値以上であるか否かを判定する（Ｓ７４）。情報処理装置１０は、算出した境界付近の明るさの差又は変化の勾配が所定の閾値以上である場合（Ｓ７４において「Ｙｅｓ」）、境界が明瞭と判断して探索範囲を狭い値に調整する（Ｓ７５）。なお、図２４（ａ）は、境界が明瞭と判断される例を示す。図中のＰｏｕｔは境界の外側を示し、Ｐｉｎは境界の内側を示すものとする。この場合の、算出される境界付近の明るさの差又は変化の勾配は、所定の閾値以上である。一方、情報処理装置１０は、算出した境界付近の明るさの差又は変化の勾配が所定の閾値を下回る場合（Ｓ７４において「Ｎｏ」）、境界が不明瞭と判断して探索範囲を大きな値に調整する（Ｓ７６）。なお、図２４（ｂ）は、境界が不明瞭と判断される例を示す。この場合の、算出される境界付近の明るさの差又は変化の勾配は、所定の閾値を下回る。
【０１１５】
図２４に示す例では、境界周辺の明るさの変化から境界の不明瞭さを評価し探索範囲を調整する処理の例を示したが、上記の例に限られない。例えば、情報処理装置１０は、画像解析により得られる情報のうちユーザが意図する探索範囲と相関する任意の情報を用いて探索範囲を適切に調整してもよい。具体的な例を挙げると、情報処理装置１０は、輝度値などの色情報、エッジや周波数（例えば、画像や線の細かさ）などのテクスチャ情報、それらの空間分布（ヒストグラム）に関する情報を用いて探索範囲を適切に調整してもよい。例えば、情報処理装置１０は、ヒストグラム同士を比較することにより算出される差に基づいて探索範囲を適切に調整してもよい。その他、情報処理装置１０は、彩度、テクスチャを示す指標、分散、ピクセル分散（例えば、ピクセルとその周辺との分散）に関する情報を用いて探索範囲を適切に調整してもよい。このように、情報処理装置１０は、ユーザが入力する境界の付近の特徴量に基づいて境界の不明瞭さを評価し、評価に応じて探索範囲を調整してもよい。
【０１１６】
この場合、処理部１１２は、ユーザが入力する境界の付近の特徴量に基づく評価に応じて調整された探索範囲でフィッティングの処理を実行する。例えば、処理部１１２は、ユーザが入力する境界の付近の輝度の差異の度合に応じて調整された探索範囲でフィッティングの処理を実行する。
【０１１７】
（１．３．１７．その他）
情報処理装置１０は、画像の解析結果に限らず、病変の種類や染色方法などの条件に基づいて探索範囲を適切に調整してもよい。例えば、情報処理装置１０は、病変の種類が腫瘍なのか否か、染色方法がＨＥ染色なのか否かなどに基づいて探索範囲を適切に調整してもよい。また、情報処理装置１０は、ユーザの属性や能力（例えば、熟練度）に基づいて探索範囲を適切に調整してもよい。例えば、情報処理装置１０は、ユーザの熟練度が所定の閾値以上である場合、より信頼性の高い境界を入力していると推定して、探索範囲を狭い値に調整してもよい。一方、情報処理装置１０は、ユーザの熟練度が所定の閾値を下回る場合、信頼性の低い境界を入力していると推定して、探索範囲を広い値に調整してもよい。
【０１１８】
以上、探索範囲を自動で変更する場合の処理の例を説明した。
【０１１９】
（１．３．１８．複数の処理）
図２０−２３に示す例では、各々の処理に基づいて、探索範囲を自動で変更する場合を示したが、上述した複数の処理に基づいて、探索範囲を変更してもよい。例えば、処理部１１２が速度と倍率とを同時に制御することにより、速度と倍率とに基づいて探索範囲を自動で変更してもよい。例えば、処理部１１２が速度と倍率と筆圧とを同時に制御することにより、速度と倍率と筆圧とに基づいて探索範囲を自動で変更してもよい。なお、情報処理装置１０は、複数の処理のどのような組み合わせに基づいて、探索範囲を自動で変更してもよいものとする。
【０１２０】
（１．３．１９．フィッティング）
本実施形態では、情報処理装置１０は、ユーザによる入力の最中に適宜フィッティングの処理を行ってもよい。すなわち、情報処理装置１０は、ユーザによる入力が閉曲線になっていなくても、適宜フィッティングの処理を行ってもよい。例えば、情報処理装置１０は、入力し終わった部分に対して随時フィッティングの処理を行ってもよい。なお、情報処理装置１０は、入力の最中にフィッティングの処理を行うか否かの選択をユーザから予め受け付けてもよい。
【０１２１】
以上、本実施形態により、ユーザは直感的に探索範囲を認識及び調整ができ、フィッティング時に探索範囲の指定を意図した通りに行うことができる。また、本実施形態により、ユーザが期待したフィッティング結果を得ることができる可能性を向上させることができる。また、本実施形態により、ユーザによるフィッティング後の結果の予想に関する精度を向上させることができる。また、本実施形態により、病理医ごとにフィッティングが異なる傾向を軽減させることができる。また、本実施形態により、ユーザによるアノテーションの精度差を軽減させることができる。例えば、ユーザが手動で境界を入力する場合、ユーザごとに入力情報の精度や範囲が相違する可能性がある。具体的には、境界を入力するスキルが高いユーザが手動で境界を入力する場合には、スキルが低いユーザと比べて、入力情報の精度が高くなることが推定される。本実施形態では、上述した実施形態に係るフィッティングの処理を行うことにより、ユーザによる入力情報の精度差が生じなくなるようにすることができる。また、本実施形態により、境界に含まれる細胞の数を適切にカウントすることができる。
【０１２２】
以上、本開示の実施形態に係る情報処理システム１が有する機能の詳細について説明した。
【０１２３】
＜２．変形例＞
続いて、各種の変形例について説明する。
【０１２４】
まず、変形例１について説明する。上記では、画像データから選択された対象領域が機械学習に利用される場合を主に想定した。しかし、画像データから選択された対象領域は、機械学習以外の所定の処理に利用されてもよい。一例として、画像データから選択された対象領域は、所定の分子の発現量の解析（スコアリング）に利用されてもよい。例えば、免疫染色で分かるＰＤ−Ｌ１分子の組織内の定量化が求められており、組織内のＰＤ−Ｌ１分子の発現量によって治療選択が行われる。
【０１２５】
そこで、対象領域の例として腫瘍領域を選択されれば、選択された腫瘍領域内におけるＰＤ−Ｌ１分子の発現量が解析され得る。図１４は、画像データから選択された対象領域がＰＤ−Ｌ１分子の発現量の解析に利用される例を説明するための図である。図１４を参照すると、画像データｇ１０に腫瘍領域ｒ１０が写っている。上記したようにフィッティングによって高精度に腫瘍領域ｒ１０が選択されれば、スコアリングも高精度に行われる。そして、スコアリングが高精度に行われれば、治療選択の精度も高まることが期待される。
【０１２６】
なお、Ｔｕｍｏｒ  Ｐｒｏｐｏｒｔｉｏｎ  Ｓｃｏｒｅ（ＰＤ−Ｌ１分子の発現量）は、以下の式（１）のようにして算出され得る。
Ｔｕｍｏｒ  Ｐｒｏｐｏｒｔｉｏｎ  Ｓｃｏｒｅ＝（ＰＤ−Ｌ１  ｐｏｓｉｔｉｖｅ  Ｔｕｍｏｒ  ｃｅｌｌｓ）／（ＰＤ−Ｌ１  ｐｏｓｉｔｉｖｅ  Ｔｕｍｏｒ  ｃｅｌｌｓ＋ＰＤ−Ｌ１  ｎｅｇａｔｉｖｅ  Ｔｕｍｏｒ  ｃｅｌｌｓ）      ・・・式（１）
【０１２７】
続いて、変形例２について説明する。上記では、画像データの種類として明視野画像におけるフィッティングについて主に説明した。しかし、画像データの種類は限定されない。例えば、画像データの種類は、顕微鏡による位相差画像などであってもよい。画像データの種類が、顕微鏡による位相差画像である場合、画像データは形態情報であるため、明視野画像での処理と同様の処理を実行可能である。
【０１２８】
また、画像データの種類が顕微鏡による蛍光画像である場合、自家蛍光を使用することによってフィッティング可能である。また、画像データの種類が顕微鏡による蛍光画像である場合、ＣＫまたはＨＥＲ２のような腫瘍の膜が染色されたものにおいてフィッティング可能である。画像データがＣＴ画像またはＭＲＩ画像である場合、画像データは、放射線画像であるため、白黒であるが、フィッティングは可能である。画像データが内視鏡画像である場合には、画像データは色情報および形態情報であるため、フィッティングは可能である。
【０１２９】
以上、各種の変形例について説明した。
【０１３０】
＜３．ハードウェア構成例＞
次に、図２５を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図２５は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。なお、情報処理装置１０は、必ずしも図２５に示したハードウェア構成の全部を有している必要はなく、情報処理装置１０の中に、図２５に示したハードウェア構成の一部は存在しなくてもよい。
【０１３１】
図２５に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
【０１３２】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０１３３】
入力装置９１５は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置９１５は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
【０１３４】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置９１７は、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
【０１３５】
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１３６】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【０１３７】
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
【０１３８】
通信装置９２５は、例えば、ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【０１３９】
撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【０１４０】
センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
【０１４１】
＜４．むすび＞
本開示の実施形態によれば、生体領域が映る画像データの表示を制御する表示制御部と、前記画像データに対して入力された第１の領域情報を取得する情報取得部と、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、を備える、情報処理装置が提供される。かかる構成によれば、ユーザの手間を低減しつつ高精度に対象領域を選択することが可能となる。また、対象領域が機械学習に利用される場合には、高精度なアノテーションを迅速に得ることが可能となり、機械学習によって構築されるＡＩの性能も向上することが期待される。また、過去に付されたアノテーションデータを入力させれば、自動的にアノテーションデータが改善され得る。
【０１４２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４３】
例えば、上記では、情報処理装置１０、スキャナ３０、ネットワーク７０および学習装置５０を有する情報処理システムについて主に説明した。しかし、これらの一部を有する情報処理システムも提供され得る。例えば、情報処理装置１０、スキャナ３０および学習装置５０の一部または全部を有する情報処理システムも提供され得る。このとき、情報処理システムは、装置全体（ハードウェアとソフトウェアとの組み合わせ）同士の組み合わせでなくてもよい。
【０１４４】
例えば、情報処理装置１０、スキャナ３０および学習装置５０のうち、第１の装置（ハードウェアとソフトウェアとの組み合わせ）と、第２の装置のソフトウェアとを有する情報処理システムも提供され得る。一例として、スキャナ３０（ハードウェアとソフトウェアとの組み合わせ）と、情報処理装置１０のソフトウェアとを有する情報処理システムも提供され得る。このように、本開示の実施形態によれば、情報処理装置１０、スキャナ３０および学習装置５０から任意に選択された複数の構成を含んだ情報処理システムも提供され得る。
【０１４５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【０１４６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
生体領域が映る画像データの表示を制御する表示制御部と、
前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
を備える、情報処理装置。
（２）
前記処理部は、前記画像データと前記第２の領域情報と前記フィッティングモードとフィッティングの可動範囲とに基づいて第３の領域情報を生成する、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記第３の領域情報の表示を制御する、
前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記第２の領域情報と前記第３の領域情報との間で表示対象を切り替える、
前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記第２の領域情報と前記第３の領域情報とを異なる表示態様によって同時に表示させる、
前記（３）に記載の情報処理装置。
（６）
前記処理部は、前記第２の領域情報または前記第３の領域情報を所定の処理に利用されるデータとして選択する、
前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記処理部は、選択操作に基づいて前記第２の領域情報または前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
前記（６）に記載の情報処理装置。
（８）
前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
前記（６）に記載の情報処理装置。
（９）
前記処理部は、前記第２の領域情報を生成した後、前記画像データの倍率が高くなるように前記倍率を変更し、倍率変更後の前記画像データに基づいて前記第３の領域情報を生成する、
前記（８）に記載の情報処理装置。
（１０）
前記処理部は、前記第３の領域情報を前記所定の処理に利用されるデータとして選択する、
前記（９）に記載の情報処理装置。
（１１）
前記処理部は、前記第２の領域情報に基づいて複数の制御点を決定し、移動操作に基づいて前記複数の制御点の一部または全部を移動させ、少なくとも移動させた制御点に基づいて前記第３の領域情報を生成する、
前記（２）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記処理部は、前記移動操作に基づいて前記複数の制御点の一部を移動させた場合、移動させた制御点に基づいて前記第３の領域情報を生成する、
前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記第２の領域情報に基づいて前記第２の領域情報の信頼度が所定の信頼度よりも低い区間が検出された場合、前記区間に応じた所定の情報の表示を制御する、
前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記情報取得部は、前記画像データに対して指示された形状の通過領域または周辺領域に基づいて前記第１の領域情報を得る、
前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記情報取得部は、前記形状の通過領域または周辺領域に対して適用されたグラフカットまたは機械学習によるセグメンテーションアルゴリズムに基づいて前記第１の領域情報を得る、
前記（１４）に記載の情報処理装置。
（１６）
前記情報取得部は、前記形状の通過領域または周辺領域から抽出された特徴データに基づいて前記第１の領域情報を得る、
前記（１４）に記載の情報処理装置。
（１７）
前記フィッティングモードは、前景と背景との境界に対するフィッティングモード、細胞膜に対するフィッティングモード、または、細胞核に対するフィッティングモードである、
前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記処理部は、前記画像データの、前記第１の領域情報および所定の条件に基づいて設定された範囲で、前記第２の領域情報を生成する、
前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
前記処理部は、ユーザの前記第１の領域情報の入力操作に基づき設定された範囲で、前記第２の領域情報を生成する、
前記（１８）に記載の情報処理装置。
（２０）
前記処理部は、前記ユーザの前記第１の領域情報の入力速度に基づき設定された範囲で、前記第２の領域情報を生成する、
前記（１９）に記載の情報処理装置。
（２１）
前記処理部は、前記画像データの倍率に基づき設定された範囲で、前記第２の領域情報を生成する、
前記（１９）又は（２０）に記載の情報処理装置。
（２２）
前記処理部は、前記第１の領域情報付近の特徴量に基づき設定された範囲で、前記第２の領域情報を生成する、
前記（１９）〜（２１）のいずれか一項に記載の情報処理装置。
（２３）
前記処理部は、前記第１の領域情報の付近の輝度に基づき設定された範囲で、前記第２の領域情報を生成する、
前記（２２）に記載の情報処理装置。
（２４）
前記表示制御部は、前記画像データの前記範囲の表示を制御する
前記（１８）〜（２３）のいずれか一項に記載の情報処理装置。
（２５）
前記表示制御部は、前記範囲を少なくとも２つ以上の透過度、色で表示するよう制御する
前記（２４）に記載の情報処理装置。
（２６）
プロセッサが、生体領域が映る画像データの表示を制御することと、
前記プロセッサが、前記画像データに対して入力された第１の領域情報を取得することと、
前記プロセッサが、前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成することと、
を含む、情報処理方法。
（２７）
生体領域に対する読み取りによって前記生体領域が映る画像データを含んだスキャンデータを生成する読み取り装置を有し、
前記画像データの表示を制御する表示制御部と、
前記画像データに対して入力された第１の領域情報を取得する情報取得部と、
前記画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理部と、
を備える、情報処理装置を有する、
情報処理システム。
（２８）
医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアを含んで構成される情報処理システムであって、
前記ソフトウェアは、
第１の生体組織に対応する第１の画像データに対して入力された第１の領域情報を取得し、
前記第１の画像データと前記第１の領域情報とフィッティングモードとに基づいて第２の領域情報を生成する処理を情報処理装置に実行させる、
情報処理システム。
【符号の説明】
【０１４７】
１      情報処理システム
１０    情報処理装置
３０    スキャナ
５０    学習装置
７０    ネットワーク
１１１  情報取得部
１１２  処理部
１１３  表示制御部
１２０  画像データ受信部
１３０  記憶部
１４０  操作部
１５０  送信部
【図１】
2020174862.tif 000003
【図２】
2020174862.tif 000004
【図３】
2020174862.tif 000005
【図４】
2020174862.tif 000006
【図５】
2020174862.tif 000007
【図６】
2020174862.tif 000008
【図７】
2020174862.tif 000009
【図８】
2020174862.tif 000010
【図９】
2020174862.tif 000011
【図１０】
2020174862.tif 000012
【図１１】
2020174862.tif 000013
【図１２】
2020174862.tif 000014
【図１３】
2020174862.tif 000015
【図１４】
2020174862.tif 000016
【図１５】
2020174862.tif 000017
【図１６】
2020174862.tif 000018
【図１７】
2020174862.tif 000019
【図１８】
2020174862.tif 000020
【図１９】
2020174862.tif 000021
【図２０】
2020174862.tif 000022
【図２１】
2020174862.tif 000023
【図２２】
2020174862.tif 000024
【図２３】
2020174862.tif 000025
【図２４】
2020174862.tif 000026
【図２５】
2020174862.tif 000027
【国際調査報告】
2020174862.tif 000028
2020174862.tif 000029
2020174862.tif 000030
2020174862.tif 000031
2020174862.tif 000032
2020174862.tif 000033