(57)【特許請求の範囲】
【請求項１】
機械学習において処理される画像を表示して、前記画像に対して利用者によるアノテーションを可能にするユーザインタフェイス（ＵＩ）を提供する提供部と、
前記提供部において提供された前記ＵＩに表示された前記画像に対して利用者が領域を指定したアノテーション結果を取得する取得部と、
前記取得部において取得されたアノテーション結果を学習して、前記画像の分類を予測する予測部と、
を備える情報処理装置であって、
前記提供部は、第１画像を表示する前記ＵＩを提供し、
前記取得部は、前記第１画像に対して利用者が領域を指定した第１アノテーション結果を取得し、
前記予測部は、前記取得部において取得された第１アノテーション結果に基づき第１画像分類を予測し、
前記提供部は、前記予測部において予測された前記第１画像分類を含む第２画像を表示する前記ＵＩを提供し、
前記取得部は、前記第２画像に対して利用者が領域を指定した第２アノテーション結果を取得し、
前記予測部は、前記取得部において取得された第２アノテーション結果をさらに学習して第２画像分類を予測し、
前記提供部は、前記予測部において予測された前記第２画像分類を含む第３画像を表示する前記ＵＩを提供し、
前記取得部は、利用者が指定した領域のサイズを含むアノテーション結果を取得し、
前記予測部は、前記サイズに応じて、画像の分類を予測する領域の大きさを変更する、情報処理装置。
【請求項２】
前記取得部は、前記第２画像の中で前記第１画像分類に対して利用者が分類を修正して領域を指定した前記第２アノテーション結果を取得し、
前記予測部は、前記第１画像分類の分類が修正された前記第２アノテーション結果をさらに学習して、前記第１画像分類を修正した前記第２画像分類を予測する、請求項１に記載の情報処理装置。
【請求項３】
前記取得部は、前記サイズとして利用者が指定した領域の長さを含むアノテーション結果を取得する、請求項１または２に記載の情報処理装置。
【請求項４】
前記予測部は、アノテーション結果に基づき、利用者が指定した領域の特徴量を抽出し、抽出した特徴量と類似する領域の画像の分類を予測する、請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
前記予測部は、利用者が指定した領域から、ピクセルの情報の平均値、ピクセルの情報の分散値、またはエッジ強調を施したピクセルの情報の分散値の少なくともいずれか１つに基づき前記特徴量を抽出する、請求項４に記載の情報処理装置。
【請求項６】
前記予測部は、ピクセルの情報の平均値、ピクセルの情報の分散値、およびエッジ強調を施したピクセルの情報の分散値の設定されたそれぞれの重みに基づき前記特徴量を抽出する、請求項４または５に記載の情報処理装置。
【請求項７】
情報処理装置における情報処理方法であって、
機械学習において処理される画像を表示して、前記画像に対して利用者によるアノテーションを可能にするユーザインタフェイス（ＵＩ）を提供する提供ステップと、
前記提供ステップにおいて提供された前記ＵＩに表示された前記画像に対して利用者が領域を指定したアノテーション結果を取得する取得ステップと、
前記取得ステップにおいて取得されたアノテーション結果を学習して、前記画像の分類を予測する予測ステップと、
を含む情報処理方法であって、
第１画像を表示する前記ＵＩを提供するステップと、
前記第１画像に対して利用者が領域を指定した第１アノテーション結果を取得するステップと、
取得された第１アノテーション結果に基づき第１画像分類を予測するステップと、
予測された前記第１画像分類を含む第２画像を表示する前記ＵＩを提供するステップと、
前記第２画像に対して利用者が領域を指定した第２アノテーション結果を取得するステップと、
取得された第２アノテーション結果をさらに学習して第２画像分類を予測するステップと、
予測された前記第２画像分類を含む第３画像を表示する前記ＵＩを提供するステップと、
利用者が指定した領域のサイズを含むアノテーション結果を取得するステップと、
前記サイズに応じて、画像の分類を予測する領域の大きさを変更するステップと
を含む、情報処理方法。
【請求項８】
コンピュータに、
機械学習において処理される画像を表示して、前記画像に対して利用者によるアノテーションを可能にするユーザインタフェイス（ＵＩ）を提供する提供機能と、
前記提供機能において提供された前記ＵＩに表示された前記画像に対して利用者が領域を指定したアノテーション結果を取得する取得機能と、
前記取得機能において取得されたアノテーション結果を学習して、前記画像の分類を予測する予測機能と、
を実現させるための情報処理プログラムであって、
前記提供機能は、第１画像を表示する前記ＵＩを提供し、
前記取得機能は、前記第１画像に対して利用者が領域を指定した第１アノテーション結果を取得し、
前記予測機能は、前記取得機能において取得された第１アノテーション結果に基づき第１画像分類を予測し、
前記提供機能は、前記予測機能において予測された前記第１画像分類を含む第２画像を表示する前記ＵＩを提供し、
前記取得機能は、前記第２画像に対して利用者が領域を指定した第２アノテーション結果を取得し、
前記予測機能は、前記取得機能において取得された第２アノテーション結果をさらに学習して第２画像分類を予測し、
前記提供機能は、前記予測機能において予測された前記第２画像分類を含む第３画像を表示する前記ＵＩを提供し、
前記取得機能は、利用者が指定した領域のサイズを含むアノテーション結果を取得し、
前記予測機能は、前記サイズに応じて、画像の分類を予測する領域の大きさを変更する、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
従来から、機械学習を用いて画像に写っている物体等を認識する画像認識技術がある。例えば、医療分野においては、人体を撮影したレントゲン画像またはＣＴ画像等の各種の医用画像から病変等を認識する技術がある。また、製造業の分野においては、製品を撮影した画像から製品に混入した異物、または製品の欠陥を認識する技術がある（例えば、特許文献１を参照）。
【０００３】
機械学習においては、予め人間によって判断された判断結果を教師データとして学習させるアノテーションが行われる場合がある。例えば、テキスト内容の認識におけるアノテーションでは、テキストを分類するための単語や熟語等のテキストデータが教師データとしてアノテーションされる。
【０００４】
また、画像認識におけるアノテーションでは、画像を分類するための画像データが教師データとしてアノテーションされる。例えば、画像に含まれる特定の物体の部分とそれ以外の部分を分類して認識する画像認識においては、特定の物体の画像部分を「正例」としてアノテーションし、またはそれ以外の画像部分を「負例」としてアノテーションする。アノテーションの結果をアノテーション結果という。機械学習の学習モデル（エンジン）は、正例のアノテーション結果、または負例のアノテーション結果に基づき、画像に含まれる特定の物体とそれ以外とを分類して認識することができる。
【０００５】
また、機械学習における認識精度を向上させるには、正確にアノテーションされた数多くの教師データが必要となる場合がある。特に近年の撮影画像の高画質化により、１画像あたりのデータ量が増加している。このため、数多くの高画質の教師データを解析するためには処理能力が高いコンピュータが要求される場合がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１８−０３２０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば、医療分野において、撮影画像に含まれる病変等の部分をアノテーションする場合、アノテーションを行う人間は、撮影画像を見て病変等を認識することができる高度な専門性が要求される。このため、専門性が高い人間（例えば、医者）が不足する場合、アノテーションの作業において、専門性が高い人間に負荷が集中して、作業負荷が増大してしまう場合があった。
【０００８】
また、機械学習による画像の分類結果が間違っている場合、人間が分類結果を手動で修正する必要がある。また、コンピュータの処理能力が十分でない場合、機械学習の処理に時間が掛かってしまう。このため、修正を行う人間は、機械学習の処理が終了するまで分類結果の修正作業をすることができないため作業性が低下する。作業性の低下は、アノテーションを行う人間の作業時間を増加させて、作業負荷が増大してしまう場合があった。
【０００９】
本発明は上記事情に鑑みてなされたものであり、アノテーションの作業負荷を軽減させることができる、情報処理装置、情報処理方法および情報処理プログラムを提供することを一つの目的とする。
【課題を解決するための手段】
【００１０】
（１）上記の課題を解決するため、情報処理装置は、機械学習において処理される画像を表示して、画像に対して利用者によるアノテーションを可能にするユーザインタフェイス（ＵＩ）を提供する提供部と、提供部において提供されたＵＩに表示された画像に対して利用者が領域を指定したアノテーション結果を取得する取得部と、取得部において取得されたアノテーション結果を学習して、画像の分類を予測する予測部と、を備える情報処理装置であって、提供部は、第１画像を表示するＵＩを提供し、取得部は、第１画像に対して利用者が領域を指定した第１アノテーション結果を取得し、予測部は、取得部において取得された第１アノテーション結果に基づき第１画像分類を予測し、提供部は、予測部において予測された第１画像分類を含む第２画像を表示するＵＩを提供し、取得部は、第２画像に対して利用者が領域を指定した第２アノテーション結果を取得し、予測部は、取得部において取得された第２アノテーション結果をさらに学習して第２画像分類を予測し、提供部は、予測部において予測された第２画像分類を含む第３画像を表示するＵＩを提供する。
【００１１】
（２）また、実施形態の情報処理装置において、取得部は、第２画像の中で第１画像分類に対して利用者が分類を修正して領域を指定した第２アノテーション結果を取得し、予測部は、第１画像分類の分類が修正された第２アノテーション結果をさらに学習して、第１画像分類を修正した第２画像分類を予測するものであってもよい。
【００１２】
（３）また、実施形態の情報処理装置において、取得部は、利用者が指定した領域のサイズを含むアノテーション結果を取得し、予測部は、サイズに応じて、画像の分類を予測する領域の大きさを変更するものであってもよい。
【００１３】
（４）また、実施形態の情報処理装置において、取得部は、サイズとして利用者が指定した領域の長さを含むアノテーション結果を取得するものであってもよい。
【００１４】
（５）また、実施形態の情報処理装置において、予測部は、アノテーション結果に基づき、利用者が指定した領域の特徴量を抽出し、抽出した特徴量と類似する領域の画像の分類を予測するものであってもよい。
【００１５】
（６）また、実施形態の情報処理装置において、予測部は、利用者が指定した領域から、ピクセルの情報の平均値、ピクセルの情報の分散値、またはエッジ強調を施したピクセルの情報の分散値の少なくともいずれか１つに基づき特徴量を抽出するものであってもよい。
【００１６】
（７）また、実施形態の情報処理装置において、予測部は、ピクセルの情報の平均値、ピクセルの情報の分散値、およびエッジ強調を施したピクセルの情報の分散値の設定されたそれぞれの重みに基づき特徴量を抽出するものであってもよい。
【００１７】
（８）上記の課題を解決するため、情報処理方法は、情報処理装置における情報処理方法であって、機械学習において処理される画像を表示して、画像に対して利用者によるアノテーションを可能にするユーザインタフェイス（ＵＩ）を提供する提供ステップと、提供ステップにおいて提供されたＵＩに表示された画像に対して利用者が領域を指定したアノテーション結果を取得する取得ステップと、取得ステップにおいて取得されたアノテーション結果を学習して、画像の分類を予測する予測ステップと、を含む情報処理方法であって、第１画像を表示するＵＩを提供するステップと、第１画像に対して利用者が領域を指定した第１アノテーション結果を取得するステップと、取得された第１アノテーション結果に基づき第１画像分類を予測するステップと、予測された第１画像分類を含む第２画像を表示するＵＩを提供するステップと、第２画像に対して利用者が領域を指定した第２アノテーション結果を取得するステップと、取得された第２アノテーション結果をさらに学習して第２画像分類を予測するステップと、予測された第２画像分類を含む第３画像を表示するＵＩを提供するステップと、を含む。
【００１８】
（９）上記の課題を解決するため、情報処理プログラムは、コンピュータに、機械学習において処理される画像を表示して、画像に対して利用者によるアノテーションを可能にするユーザインタフェイス（ＵＩ）を提供する提供機能と、提供機能において提供されたＵＩに表示された画像に対して利用者が領域を指定したアノテーション結果を取得する取得機能と、取得機能において取得されたアノテーション結果を学習して、画像の分類を予測する予測機能と、を実現させるための情報処理プログラムであって、提供機能は、第１画像を表示するＵＩを提供し、取得機能は、第１画像に対して利用者が領域を指定した第１アノテーション結果を取得し、予測機能は、取得機能において取得された第１アノテーション結果に基づき第１画像分類を予測し、提供機能は、予測機能において予測された第１画像分類を含む第２画像を表示するＵＩを提供し、取得機能は、第２画像に対して利用者が領域を指定した第２アノテーション結果を取得し、予測機能は、取得機能において取得された第２アノテーション結果をさらに学習して第２画像分類を予測し、提供機能は、予測機能において予測された第２画像分類を含む第３画像を表示するＵＩを提供する。
【発明の効果】
【００１９】
本発明の一つの実施形態によれば、第１画像に対して利用者が領域を指定した第１アノテーション結果を取得し、取得された第１アノテーション結果に基づき第１画像分類を予測し、予測された第１画像分類を含む第２画像を表示するＵＩを提供し、第２画像に対して利用者が領域を指定した第２アノテーション結果を取得し、取得された第２アノテーション結果をさらに学習して第２画像分類を予測し、予測された第２画像分類を含む第３画像を表示するＵＩを提供することにより、アノテーションの作業負荷を軽減させることができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態における情報処理装置のソフトウェア構成の一例を示すブロック図である。
【図２】実施形態における情報処理装置の動作の一例を示すフローチャートである。
【図３】実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。
【図４】第１の実施例における、ブラシストローク（Ａ）、および画像分類の予測（Ｂ）を示す図である。
【図５】第２の実施例における、ブラシストローク（Ａ）、および画像分類の予測（Ｂ）を示す図である。
【図６】第３の実施例における、ブラシストローク（Ａ）、および画像分類の予測（Ｂ）を示す図である。
【図７】第４の実施例における初期のアノテーションを示す図である。
【図８】第４の実施例における画像分類の予測を示す図である。
【図９】第４の実施例における修正アノテーションを示す図である。
【図１０】第４の実施例における再予測された画像分類の予測を示す図である。
【図１１】第４の実施例における領域の区分を示す図である。
【図１２】第５の実施例における、元画像（Ａ）、アノテーション結果（Ｂ）、および画像分類の予測（Ｃ）を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の一実施形態における情報処理装置、情報処理方法および情報処理プログラムについて詳細に説明する。
【００２２】
先ず、図１を用いて、情報処理装置の機能を説明する。図１は、実施形態における情報処理装置のソフトウェア構成の一例を示すブロック図である。
【００２３】
図１において、情報処理装置１は、表示装置２、入力装置３と接続されている。また、情報処理装置１は、ネットワーク９を介してサーバ４と通信可能に接続されている。表示装置２は、機械学習において処理される画像に対して利用者によるアノテーションを可能にするユーザインタフェイス（ＵＩ）を表示する装置であって、例えば、液晶ディスプレイである。入力装置３は、情報処理装置１の利用者（以下、単に「利用者」という場合がある。）が、アノテーションにおける指示を入力する装置であって、例えば、キーボード、マウスまたはタッチパネル等である。サーバ４は、情報処理装置１とデータの通信を行う。例えば、サーバ４は、情報処理装置１で処理する画像データを提供し、または情報処理装置１で処理した処理結果を記憶するものであってもよい。なお、図１は、情報処理装置１を含むシステムの構成を例示しているが、実施形態におけるシステムの構成はこれに限定されるものではない。例えば、複数の情報処理装置１がサーバ４に接続されるシステムであってもよい。また、ネットワーク９は、有線または無線を介する通信経路であり、その通信プロトコル等の通信手段は任意である。
【００２４】
情報処理装置１は、提供部１１、取得部１２、記憶部１３、予測部１４および通信制御部１５の各機能部を有する。本実施形態における情報処理装置１の上記各機能部は、本実施形態における情報処理プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。
【００２５】
提供部１１は、機械学習において処理される画像（被処理画像）に対して利用者によるアノテーションを可能にするＵＩを提供する。アノテーションとは、被処理画像に対する教師データを作成する利用者による作業であり、本実施形態においては、被処理画像の中で教師データとなる領域を２値または多値の分類（「画像分類」という場合がある。）において指定する作業をいう。アノテーションにおいては、指定された領域の画像の特徴量と、画像分類を示すタグとを結びつけるタグ付けが行われる。
【００２６】
ここで、画像の特徴量とは、例えば、ピクセルの情報の平均値、ピクセルの情報の分散値、またはエッジ強調を施したピクセルの情報の分散値である。ピクセルの情報とは、例えば、ピクセルのＲＧＢ値である。ＲＧＢ値は、例えば、赤、緑および青の各色を０〜２５５の数値で表す。ピクセルの情報は、他の色空間（例えば、ＹＭＣＫ値、ＨＳＶ値等）における各色の数値等の情報であってもよい。
【００２７】
タグ付けとは、画像の特徴量に対して画像分類を示すメタデータを付加することである。例えば、被処理画像に含まれる特定の物体を認識するためのアノテーションにおいては、被処理画像の中の特定の物体の画像の領域を指定して、その領域の画像の特徴量に対して「正例」を示す画像分類のタグ付けを行う。また、それ以外の領域の画像の特徴量に対して「負例」を示す画像分類のタグ付けを行う。なお、以下の実施例においては、被処理画像に対して「正例」の領域と「負例」の領域の２値の画像分類を指定するアノテーションを行う場合を例示するが、多値の画像分類を指定するアノテーションの実施を排除するものではない。
【００２８】
提供部１１において提供されるＵＩは、被処理画像に対して利用者が正例の領域（以下、「正例」と省略する場合がある。）または負例の領域（以下、「負例」と省略する場合がある。）の画像分類を指定するアノテーションを可能にする。例えば、画像の中で特定の物体を認識する画像認識の処理のアノテーションにおいては、その特定の物体の画像の領域が正例の画像分類として指定され、また、その物体以外の画像の領域が負例の画像分類として指定される。
【００２９】
また、提供部１１は、被処理画像を表示するとともに、被処理画像に対して正例または負例の画像分類を指定するための指定ツールを含むＵＩを提供する。指定ツールとは例えば、ペイントアプリケーションにおけるペイントブラシと同様のツールである。ペイントアプリケーションにおいては、利用者は被処理画像の中でカーソルを移動させて、カーソルの軌跡を描画することができる。軌跡の太さは、例えば、カーソルの大きさまたは太さの設定等に応じて変更することができる。また、軌跡の長さはカーソルの移動距離に応じて変更することができる。ＵＩは、ペイントアプリケーションにおけるペイントブラシと同様の操作によって領域の画像分類を指定することを可能にする。領域の画像分類の指定は、例えば、表示装置２に表示された被処理画像に対して利用者がマウス等を操作することにより行われる。すなわち、利用者は、被処理画像の任意の領域に対して、ペイントブラシと同様のツールによる描画を行うことにより、正例または負例の分類を任意に指定することができる。また、一度指定した領域の分類は、例えばｕｎｄｏ等の取消操作によって取り消すことができるようにしてもよい。なお、以下の実施例においては、ＵＩにおいて提供される、ペイントアプリケーションにおけるペイントブラシと同様のツールを「ペイントブラシ」といい、また、「ペイントブラシ」によって描画されたオブジェクトを「オブジェクト」という場合がある。
【００３０】
また、提供部１１は、後述する予測部１４において予測された画像分類を含む画像を表示して、表示した画像に対して利用者による再度のアノテーションを可能にするＵＩを提供する。予測された画像分類とは、被処理画像の領域がいずれの画像分類に属するかを示す情報であり、予測された画像分類を含む画像とは、被処理画像に対して予測された画像分類を表示する画像である。予測された画像分類の表示は、例えば、被処理画像に対して、画像分類を示す情報を重畳することにより行うことができる。画像分類を示す情報とは、例えば、画像分類毎に色分けされた色の情報である。また、画像分類を示す情報は、画像分類毎に種類が分けられたハッチングの情報、または、画像分類毎に濃度が分けられたグレイスケールの情報等であってもよい。利用者はＵＩに表示された画像分類により、被処理画像の中でどの領域がどの画像分類に予測されたかを識別することが可能となる。例えば、予測された画像分類を色分けされた色の情報を重畳することにより表示する場合、正例を示す領域を赤色、負例を示す青色に塗り分けることにより、利用者は被処理画像の領域の中で正例として予測された領域と負例として予測された領域を識別することができる。なお、予測された画像分類を含む画像は提供部１１（ＵＩを含む）において生成されてもよく、また、予測部１４において生成されてもよく、生成の主体を限定しない。
【００３１】
予測された画像分類を含む画像には、画像分類が予測されていない領域が含まれていてもよい。すなわち、予測された画像分類を含む画像は、被処理画像の領域の中で画像分類が予測された領域と、画像分類が予測されていない領域とを利用者が識別可能に表示する。利用者は、画像分類が予測されていない領域に対して再度のアノテーションを行うことができるとともに、既に画像分類が予測されている領域に対して再度のアノテーションを行うことができる。
【００３２】
ここで、ＵＩにおいて先に表示される画像を第１画像、第１画像に対するアノテーションの結果を第１アノテーション結果、さらに第１アノテーション結果に基づく画像分類を第１画像分類という。また、第１画像分類を含み、第１画像の後にＵＩにおいて表示される画像を第２画像、第２画像に対する再度のアノテーションの結果を第２アノテーション結果、さらに第２アノテーション結果に基づく画像分類を第２画像分類という。また、第２画像分類を含み、第２画像の後にＵＩにおいて表示される画像を第３画像という。すなわち、提供部１１は、第１画像、第２画像および第３画像を表示するＵＩを提供する。なお、第１画像は第２画像より先に表示される画像であって、例えば、ｎ回目（ｎは整数）のアノテーション結果に基づく画像分類を含んでいてもよい。また、第２画像は第１画像より後に表示される画像であって、例えば、ｎ＋１回目のアノテーション結果に基づく画像分類を含んでいてもよい。同様に、第３画像は第２画像より後に表示される画像であって、例えば、ｎ＋２回目のアノテーション結果に基づく画像分類を含んでいてもよい。
【００３３】
ＵＩは、第１画像を表示することにより第１画像に対するアノテーションを可能にする。ＵＩは、第２画像を表示することにより、第１アノテーション結果に基づく画像分類の予測を表示するとともに、第２画像に対する再度のアノテーションを可能にする。さらに、ＵＩは、第３画像を表示することにより、第２アノテーション結果に基づく画像分類の予測を表示するとともに、第３画像に対する再々度のアノテーションを可能にする。すなわち、利用者は、画像分類の予測結果を確認しながら繰り返してアノテーションを修正することにより、アノテーションの作業をインタラクティブに行うことが可能となり、作業性を向上させてアノテーションの作業負荷を軽減させることができる。
【００３４】
なお、アノテーションの回数に応じて画像分類を区別して表示するようにしてもよい。例えば、第１アノテーション結果に基づく第１画像分類において正例と予測された領域をオレンジ色、負例として予測された領域を青色で表示する。さらに、第２アノテーション結果に基づく第２画像分類において正例と予測された領域を赤色、負例として予測された領域を紺色で表示するようにしてもよい。
【００３５】
取得部１２は、提供部１１において提供されたＵＩに表示された画像に対して利用者が領域の分類を指定したアノテーション結果を取得する。例えば、取得部１２は、正例または負例の分類として指定された領域の座標データを取得する。取得部１２において取得されるアノテーション結果は、例えば、ＵＩのペイントブラシにおいて描画されたオブジェクトの先端が示す位置の情報である。また、アノテーション結果は、ペイントブラシにおいて描画されたオブジェクトの長さの情報である。取得部１２は、利用者がＵＩを介してアノテーションの操作をする度にアノテーション結果を取得するようにしてもよい。例えば、利用者がペイントブラシによる描画をする度に、指定された正負の分類と描画された領域の情報を取得する。
【００３６】
また、取得部１２は、第１アノテーション結果および第２アノテーション結果を取得する。取得部１２は、アノテーションが行われる度にアノテーション結果を取得することにより、予測部１４におけるリアルタイムな予測を可能にしている。
【００３７】
なお、取得部１２は、利用者がアノテーションを行う度にアノテーション結果を取得するものとして説明したが、例えば、取得部１２は、所定の時間間隔においてアノテーション結果を取得するようにしてもよい。また、取得部１２は、所定の回数アノテーションが実施されたときにアノテーション結果を取得するようにしてもよい。
【００３８】
記憶部１３は、取得部１２において取得されたアノテーション結果を記憶する。記憶部１３は、例えば、同じ被処理画像に対する複数のアノテーション結果を時系列で記憶する。また、記憶部１３は、異なる被処理画像に対するアノテーション結果を記憶するものであってもよい。例えば、特定の臓器の画像から病巣を認識する場合においては、複数人の臓器の画像に対する複数のアノテーション結果を記憶するようにしてもよい。また、記憶部１３は、次に説明する予測部１４で予測された画像の分類を記憶するようにしてもよい。
【００３９】
予測部１４は、取得部１２において取得されたアノテーション結果を学習して、画像の分類を予測する。予測部１４は、アノテーション結果に基づき、利用者が指定した領域の特徴量を抽出し、抽出した特徴量と類似する領域の画像の分類を予測する。
【００４０】
ここで、画像の特徴量が類似するとは、例えば、比較する画像において、ピクセルの情報の平均値、ピクセルの情報の分散値、またはエッジ強調を施したピクセルの情報の分散値の少なくともいずれか１つの値が所定の範囲内にあることをいう。画像の特徴量の類似は、例えば、１ピクセルの情報の類似であってもよく、また複数ピクセルの類似であってもよい。本実施形態においては、被処理画像を数ピクセル〜数十ピクセルのブロックで区切り、各ブロックの中のピクセルのＲＧＢ値の統計量を特徴量とする場合を例示する。ピクセルの情報がＲＧＢ値である場合、ピクセルの情報の平均値は主にブロックの色味を表し、ピクセルの情報の分散値は主にブロックに含まれる形状的なパターンの細かさを表すことができる。
【００４１】
予測部１４は、画像の特徴量におけるピクセルの情報の平均値、ピクセルの情報の分散値、およびエッジ強調を施したピクセルの情報の分散値の各値に対して重み付けを行い、重み付けを行った特徴量において類似する領域の画像分類を予測するものであってもよい。例えば、予測部１４は、ピクセルの情報の平均値、ピクセルの情報の分散値、およびエッジ強調を施したピクセルの情報の分散値に対して、それぞれ、５０：３０：２０の重み付けをして、算出された数値を特徴量として画像分類を予測する。
【００４２】
予測部１４は、画像の種類に応じて予め設定された重み付けを選択するようにしてもよい。例えば、周囲と色が異なる物体が含まれる画像の種類において画像中の物体を認識する処理においては、予測部１４は、ピクセルの情報の平均値の重みを大きくする設定を選択する。また、周囲と形状的なパターンが異なる物体が含まれる画像の種類において画像中の物体を認識する処理においては、予測部１４は、ピクセルの分散値の重みを大きくする設定を選択するようにしてもよい。また、輪郭が不鮮明な物体が含まれる画像の種類において画像中の物体を認識する処理においては、予測部１４は、エッジ強調を施したピクセルの情報の分散の重みを大きくする設定を選択するようにしてもよい。
【００４３】
予測部１４は、例えば、アノテーション結果におけるピクセルのＲＧＢ値の統計量（例えば、平均値または分散値）を特徴量とし、サポートベクターマシン（ＳＶＭ）を用いて画像分類を予測する。ＳＶＭは、教師データに基づき、２値の分類を行う技法（エンジン）であり、アノテーション結果を学習してモデルを構築し、新たな画像が２値のいずれに分類されるかを予測する。なお、予測部１４における機械学習の技法はＳＶＭに限定されるものではなく、例えば、ニューラルネットワーク、クラスタリング、またはベイジアンネットワーク等の技法を用いてもよい。
【００４４】
予測部１４は、第１アノテーション結果に基づき第１画像分類を予測し、第２アノテーション結果に基づき第２画像分類を予測する。すなわち、予測部１４は、繰り返して実行されたアノテーション結果に対して、その度に画像分類を予測することにより、利用者に対してアノテーションの結果である画像分類の予測をリアルタイムでフィードバック（画像表示）させることが可能となる。
【００４５】
また、予測部１４は、アノテーションにおけるペイントブラシで描画されたオブジェクトの先端が示す位置のブロック（例えば、数十ピクセルのブロック）における特徴量をアノテーション結果として学習するようにしてもよい。予測部１４は、描画の先端が示す位置のブロックの特徴量と類似した特徴量を有する領域を、アノテーションにおいて指定された分類として予測する。例えば、利用者が正例として学習させた画像の位置にペイントブラシのカーソルを合わせてオブジェクトを描画することにより、利用者の意図する分類を正しく学習させることができる。
【００４６】
また、予測部１４は、アノテーションにおけるペイントブラシで描画されたオブジェクト（ストローク）の長さに応じて、分類を予測する領域の大きさを変化させるようにしてもよい。例えば、描画のストロークが短い場合、予測部１４は、分類を予測する領域の大きさを小さくする。また、描画のストロークが長い場合、予測部１４は、分類を予測する領域の大きさを大きくする。描画のストロークの長さに応じて分類を予測する領域の大きさを変化させることにより、利用者が意図する範囲において分類を予測させることが可能となる。例えば、利用者は描画のストロークを長くすることにより、一度に広い範囲の分類を予測させることができる。これにより、アノテーションの作業効率を向上させて、作業負担を軽減させることが可能となる。また、利用者は描画のストロークを短くすることにより、狭い範囲において正確な分類の予測をさせることができる。これにより、誤って予測された分類を修正するためのアノテーションの修正が少なくなり、アノテーションの作業効率を向上させて、作業負担を軽減させることが可能となる。
【００４７】
また、予測部１４は、アノテーションによって指定されていない領域（ペイントブラシで塗られていない部分）の分類を予測するようにしてもよい。アノテーションによって指定された領域は利用者によって分類が確定された領域であり、分類を予測する必要がない。予測部１４は、アノテーションによって指定された領域以外の領域の分類を予測することにより、予測する領域が少なくなり、予測における処理の効率が向上する。
【００４８】
通信制御部１５は、情報処理装置１とサーバ４との通信を制御する。
【００４９】
なお、情報処理装置１が有する、上述の各機能部は、情報処理装置１の機能部の一例を示したものであり、情報処理装置１が有する機能を限定したものではない。例えば、情報処理装置１は、上記全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、情報処理装置１は、上記以外の他の機能を有していてもよい。例えば、情報処理装置１は、情報を入力するために入力機能や、装置の稼働状態をＬＥＤランプ等により報知する出力機能を有していてもよい。
【００５０】
また、情報処理装置１が有する上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし、情報処理装置１が有する上記機能部の中で少なくとも１つ以上の機能部は、ハードウェアによって実現されるものであってもよい。
【００５１】
また、情報処理装置１が有する上記何れかの機能部は、１つの機能部を複数の機能部に分割して実施してもよい。また、情報処理装置１が有する上記何れか２つ以上の機能部を１つの機能部に集約して実施してもよい。すなわち、図１は、情報処理装置１が有する機能を機能ブロックで表現したものであり、例えば、各機能部がそれぞれ別個のプログラムファイル等で構成されていることを示すものではない。
【００５２】
また、情報処理装置１は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、情報処理装置１は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、他の仮想的な装置によって実現するものであってもよい。すなわち、情報処理装置１は、上記各機能部のうち、少なくとも１以上の機能部を他の装置において実現するようにしてもよい。また、情報処理装置１は、デスクトップＰＣ等の汎用的なコンピュータであってもよく、機能が限定された専用の装置であってもよい。
【００５３】
例えば、サーバ４が、上述した情報処理装置１の一部または全部を有するものであってもよい。
【００５４】
次に、図２を用いて、情報処理装置１の動作を説明する。図２は、実施形態における情報処理装置１の動作の一例を示すフローチャートである。なお、ここで説明する動作は、情報処理装置１を主体として実行される場合を説明するが、図１において説明した情報処理装置１が有する各機能において実現されてもよい。
【００５５】
図２において、情報処理装置１は、機械学習における処理対象となる画像が選択されたか否かを判断する（ステップＳ１１）。処理対象の画像（元画像）の選択は、例えば、利用者が所定のフォルダから画像ファイルを選択することにより実施される。処理対象となる画像が選択されていないと判断した場合（ステップＳ１１：ＮＯ）、情報処理装置１は、ステップＳ１１の処理を繰り返して、処理対象となる画像が選択されるのを待機する。
【００５６】
一方、処理対象となる画像が選択されたと判断した場合（ステップＳ１１：ＹＥＳ）、情報処理装置１は、処理対象の画像を表示して、利用者によるアノテーションを可能にする（ステップＳ１２）。利用者によるアノテーションを可能にするとは、例えば、表示された画像に対して、利用者が領域を指定して、指定した領域にタグ付けできるようにすることをいう。
【００５７】
ステップＳ１２の処理を実行した後、情報処理装置１は、アノテーション結果を取得したか否かを判断する（ステップＳ１３）。アノテーション結果を取得していないと判断した場合（ステップＳ１３：ＮＯ）、情報処理装置１は、ステップＳ１３の処理を繰り返して、アノテーション結果を取得するのを待機する。
【００５８】
一方、アノテーション結果を取得したと判断した場合（ステップＳ１３：ＹＥＳ）、情報処理装置１は、取得されたアノテーション結果を学習して、画像分類を予測する（ステップＳ１４）。
【００５９】
ステップＳ１４の処理を実行した後、情報処理装置１は、機械学習の処理を終了するか否かを判断する（ステップＳ１５）。機械学習の処理を終了するか否かは、例えば、利用者が処理の終了を明示的に指示したか否かで判断することができる。機械学習の処理を終了するか否かは、例えば、画像分類されていない領域が所定の割合以下になったか否かで判断するようにしてもよい。機械学習の処理を終了しないと判断した場合（ステップＳ１５：ＮＯ）、情報処理装置１は、ステップＳ１２の処理に戻り、ステップＳ１４において予測された画像分類を含む画像を処理対象として表示して、利用者によるアノテーションを可能にする。ステップＳ１２において表示される画像がステップＳ１４の処理において予測された画像分類を含む画像である場合、ステップＳ１２において表示される画像は、例えば、元画像に対して予測された画像分類毎に色分けされた色の情報を重畳することで生成される。
【００６０】
上述のように、第１画像は第２画像より先に表示される画像である。例えば、ステップＳ１２の処理において第１画像が表示される場合、情報処理装置１は、ステップＳ１４の処理において、第１アノテーション結果に基づき第１画像分類を予測し、ステップＳ１２の処理において第１画像分類を含む第２画像をアノテーション可能に表示し（ステップＳ１５：ＮＯの場合）、ステップＳ１４の処理において、第２アノテーション結果に基づき第２画像分類を予測し、さらにステップＳ１２の処理において第２画像分類を含む第３画像をアノテーション可能に表示する（ステップＳ１５：ＮＯの場合）。第１画像は、例えば、ステップＳ１１の処理において選択されたと判断された元画像、またはステップＳ１４の処理において予測された画像分類を含む画像である。また、第２画像は、ステップＳ１４の処理において予測された第１画像分類を含む画像である。すなわち、情報処理装置１は、ステップＳ１５の処理において処理を終了しない限り、アノテーションの繰り返しを可能として、繰り返されたアノテーションにそれぞれ対応して画像分類の予測を実施することができる。上述した、第１画像の表示、第１アノテーション結果の取得、および第１画像分類の予測は、ステップＳ１１〜ステップＳ１４の処理を実行することにより実施することができ、さらに、第２画像の表示、第２アノテーション結果の取得、および第２画像分類の予測は、ステップＳ１２〜ステップＳ１４の処理を繰り返して実行することにより実施することができる。
【００６１】
一方、機械学習の処理を終了すると判断した場合（ステップＳ１５：ＹＥＳ）、情報処理装置１は、フローチャートに示す処理を終了する。
【００６２】
なお、図示したフローチャートは、情報処理装置１において実行される処理の一例を示すものであり、実行される処理を限定するものではない。例えば、図示した処理は、第１画像の表示と第２画像の表示（ステップＳ１２）、第１アノテーション結果の取得と第２アノテーション結果の取得（ステップＳ１３）、および第１画像分類の予測と第２画像分類の予測（ステップＳ１４）を、それぞれ同じ処理（ステップ）において実行する場合を例示した。しかし、第１画像の表示と第２画像の表示、第１アノテーション結果の取得と第２アノテーション結果の取得、および第１画像分類の予測と第２画像分類の予測を、それぞれ別の処理として実行するようにしてもよい。また、処理の終了を処理の途中で実行出来るようにしてもよい。例えば、ステップＳ１１またはステップＳ１３における待機中に処理を中断できるようにしてもよい。
【００６３】
次に、図３を用いて、情報処理装置１のハードウェア構成を説明する。図３は、実施形態における情報処理装置１のハードウェア構成の一例を示すブロック図である。
【００６４】
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０３、Ｉ／Ｏ機器１０４、および通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５を有する。情報処理装置１は、図１で説明した情報処理プログラムを実行する装置である。
【００６５】
ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に記憶された情報処理プログラムを実行することにより、利用者端末の制御を行う。情報処理プログラムは、例えば、プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＲＯＭ１０３にインストールされ、ＣＰＵ１０１から読出されて実行される。
【００６６】
Ｉ／Ｏ機器１０４は、操作入力機能と表示機能（操作表示機能）を有する。Ｉ／Ｏ機器１０４は、例えばタッチパネルである。タッチパネルは、情報処理装置１の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態におけるＩ／Ｏ機器１０４は、操作表示機能を有するタッチパネルを用いる場合を説明するが、Ｉ／Ｏ機器１０４は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネルの表示画面は表示装置の表示画面、タッチパネルの操作は操作入力装置の操作として実施することができる。なお、Ｉ／Ｏ機器１０４は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。
【００６７】
通信Ｉ／Ｆ１０５は、通信用のＩ／Ｆである。通信Ｉ／Ｆ１０５は、例えば、無線ＬＡＮ、有線ＬＡＮ、赤外線等の近距離無線通信を実行する。図は通信用のＩ／Ｆとして通信Ｉ／Ｆ１０５のみを図示するが、情報処理装置１は複数の通信方式においてそれぞれの通信用のＩ／Ｆを有するものであってもよい。
【００６８】
次に、図４〜図６を用いて、指定ツールによるアノテーションについて説明する。図４〜図６は、ホテルの建物の手前の噴水を正例としてアノテーションする場合を示している。噴水と建物はともに白色であって、ＲＧＢ値における差異が小さいので、アノテーションによる教師データが必要となる。
【００６９】
図４は、第１の実施例における、ブラシストローク（Ａ）、および画像分類の予測（Ｂ）を示す図である。第１の実施例は、指定ツールに含まれるペイントブラシにおいて、短いストロークのアノテーションが行われた場合の画像分類の予測を示す。
【００７０】
図４（Ａ）において、ストロークｓａ１は、噴水を正例とするアノテーションであって、短いストロールにおいて噴水の画像を指定している。図４（Ｂ）において、画像分類ｓｙ１は、ストロークｓａ１の先端部分を中心として、ストロークｓａ１の長さに応じた大きさ（面積）において、正例（噴水）と判断した画像分類の予測を示している。特徴量の類似度は、例えば、特徴量（特徴ベクトル）のコサイン類似度で計算することができる。ここで、画像分類ｓｙ１は、その一部が負例である建物にはみ出して予測されているが、多くの部分は正しく正例を予測している。したがって、短いストロークにおいてアノテーションを行った場合、画像分類の予測の精度を向上させることができ、アノテーションを修正する手間を少なくすることが可能となる。
【００７１】
図５は、第２の実施例における、ブラシストローク（Ａ）、および画像分類の予測（Ｂ）を示す図である。第２の実施例は、指定ツールに含まれるペイントブラシにおいて、長いストロークのアノテーションが行われた場合の画像分類の予測を示す。
【００７２】
図５（Ａ）において、ストロークｓａ２は、正例のアノテーションであって、ストロークｓａ１に比べて長いストロールにおいて噴水の画像を指定している。図５（Ｂ）において、画像分類ｓｙ２は、ストロークｓａ２の先端部分を中心として、ストロークｓａ２の長さに応じた大きさにおいて、噴水と判断した画像分類の予測を示している。ここで、画像分類ｓｙ２は、多くの部分が建物（負例）にはみ出して予測されているが、噴水（正例）についても大きな面積において正しく噴水を予測している。したがって、長いストロークにおいてアノテーションを行った場合、一度に大きな面積において画像分類を予測することができ、作業効率を向上させることができる。
【００７３】
図６は、第３の実施例における、ブラシストローク（Ａ）、および画像分類の予測（Ｂ）を示す図である。第３の実施例は、負例による画像分類がされた状態において、第２の実施例と同様に指定ツールに含まれるペイントブラシにおいて、長いストロークのアノテーションが行われた場合の画像分類の予測を示す。
【００７４】
図６（Ａ）において、ストロークｓａ３は、正例のアノテーションであって、ストロークｓａ１に比べて長いストロールにおいて噴水の画像を指定している。画像分類ｆｙ１は、負例である建物の壁面へのアノテーションに基づく、負例の画像分類の予測を示している。画像分類ｆｙ１は、図示しないストロークの先端部分を中心として、図示しないストロークの長さに応じた大きさにおいて、負例（噴水以外）と判断された画像分類の予測を示している。
【００７５】
図６（Ｂ）において、画像分類ｓｙ３は、負例である画像分類ｆｙ１の特徴量との比較において、類似度が画像分類ｆｙ１との類似度より高い部分を正例として予測した画像分類である。正例の画像分類においては、過去（例えば、直近１回）にアノテーションされた負例のブロックの特徴量との類似度を比較して画像分類を予測する。一方、負例の画像分類においては、過去（例えば、直近１回）にアノテーションされた正例のブロックの特徴量との類似度を比較して画像分類を予測する。例えば、初期のアノテーションは画像分類の予測がされていない状態で利用者が画像の中の正例または負例を自由に指定することにより行われる。一方、既に画像分類の予測がされている場合、正例または負例として正しく予測されている領域と誤って予測されている領域とが混在している。したがって、再度のアノテーションにおいては、誤って予測されている領域を修正するアノテーションが行われる。このため、再度のアノテーションにおける特徴量は、直近１回のアノテーションにおける特徴量と類似している場合が多く、両者を比較することに画像分類の予測精度を向上させることが可能となる。このため、直近１回のアノテーションにより指定されたブロックの特徴量を保存しておき、新たに予測する領域の特徴量と類似度を比較することにより、正確な画像分類の予測が可能となる。
【００７６】
次に、図７〜図１１を用いて、アノテーションの作業の流れについて説明する。図７〜図１１は、図４〜図６で説明した画像と同様に、ホテルの建物の手前の噴水を正例としてアノテーションする場合を示している。
【００７７】
図７は、第４の実施例における初期のアノテーションを示す図である。第４の実施例においては、初期のアノテーションにおいて、正例および負例のアノテーションをある程度の範囲で実施した後に、利用者の明示的な指示に基づき画像分類の予測を実施する。追加の予測を実施する場合、利用者が新たにアノテーションを行ったか否かを定期的に判断し、アノテーションが行われた（アノテーション結果を取得した）と判断した場合、自動的に画像分類を予測する。
【００７８】
図７において、画像分野ｓｙ４、および画像分野ｓｙ５の２箇所は、初期のアノテーションにおける正例の予測結果である。また、画像分野ｆｙ２、画像分野ｆｙ３、画像分野ｆｙ４、および画像分野ｆｙ５の４箇所は、初期のアノテーションにおける負例の予測結果である。通常の画像認識においては、負例の方が特徴量の多様性が高い場合が多い。このため、第４の実施例においては、負例のアノテーションの量（面積、ブロック数またはサンプル数）を正例のアノテーションの量に比べて多めにすることにより、画像分類の予測の精度を向上させることができる。なお、正例と負例のアノテーションの量の割合は、画像の種類に応じて変更できるようにしてもよい。
【００７９】
図８は、第４の実施例における画像分類の予測を示す図である。図８において、正例として予測された領域（噴水）は、半透明で表示され、負例として予測された領域（噴水以外の部分）は塗りつぶされて表示される。利用者は噴水が塗りつぶされている領域を視認することができるので、間違って予測された領域を容易に確認することができる。
【００８０】
なお、第４の実施例においては、利用者がアノテーションした正例または負例の領域の中で、特徴量を算出するブロックを、例えば２０００ブロックに限定している。これにより、利用者がアノテーションにより指定した全てのブロックについて特徴量を算出する場合に比べて大幅な処理速度の向上を図ることができる。特徴量を算出するブロック数を限定することにより、画像分類の予測精度は若干低下するが、本実施形態においては、インタラクティブなＵＩによって利用者が予測分類の誤りを容易に認識することができるとともに、アノテーションを容易に修正することができるため、予測精度の低下は問題とならない。
【００８１】
また、本実施形態においては、利用者によって手動でアノテーションされた正例または負例の判断の結果を、機械学習による予測の結果より優先させて、次の画像分類を予測させるようにしてもよい。利用者による手動の判断結果を機械学習による予測の結果より優先させることにより、利用者の判断が優先されて、アノテーションの回数を増やすことにより、予測の誤りは収束していく。このため、予測精度の低下が問題となることはない。一方、処理速度の向上は、利用者が感じる、アノテーションから予測までのレスポンスを向上させて、アノテーションの作業におけるインタラクティブな操作性を向上させることが可能となる。
【００８２】
図９は、第４の実施例における修正アノテーションを示す図である。図９において、利用者は、予測が間違っている噴水下部の領域を正例のストロークｓａ４において再度アノテーションする。負例として予測が間違った部分は正例より特徴量が類似している部分である。負例として予測が間違った部分を正例で再度アノテーションすることにより、特徴量をより正確に学習させることができ、画像分類の予測精度を向上させることができる。
【００８３】
例えば、特徴量が１つのパラメータの大小で表される場合を考える。正例として正しく予測された特徴量がａ１以上であり、負例として正しく予測された特徴量がａ２未満であるとすると、予測対象の特徴量がｎ（ｎ：ａ１≧ｎ＞ａ２）の領域は、ｎがａ１とａ２のいずれに類似しているかによって正例に予測されるか負例に予測されるかが決定される。ここで、ａ３（ａ３：ａ１＞ａ３）を新たな正例としてアノテーションされた場合、特徴量がｎの領域は、ａ３とａ２のいずれに類似しているかによって予測されるかが決定される。｜ａ１−ａ２｜＞｜ａ３−ａ２｜であるため、ａ３を新たな正例としてアノテーションすることにより、負例として誤って予測される領域が減り、さらに正例として正しく予測される領域が増える。これにより、予測精度の向上を図ることができる。
【００８４】
情報処理装置１は、利用者による再アノテーションによる修正作業が一定時間以上されなかった場合、新たにアノテーションされた領域の特徴量をアノテーション結果として取得して、新たに取得したアノテーション結果に基づき画像分類の予測を再度実行する。
【００８５】
図１０は、第４の実施例における再予測された画像分類の予測を示す図である。図１０において、噴水化部の領域は、ストロークｓａ４による再度アノテーションの結果、正例として正しく予測されている。利用者によるアノテーションを繰り返すことにより、誤って予測された領域は徐々に小さくなり、正例の多くの部分が抽出されたことになる。
【００８６】
図１１は、第４の実施例における領域の区分を示す図である。図１１において、第１領域〜第６領域は、利用者が正例または負例としてアノテーションした領域か否か、および正例または負例が正しく予測されたか否かの組合せにおいて領域を区分したものである。第１領域は、利用者が正例としてアノテーションして、正しく予測された領域である。第２領域は、利用者が負例としてアノテーションして、正しく予測された領域である。第３領域は、利用者が正例としてアノテーションして、誤って予測された領域である。第４領域は、利用者が負例としてアノテーションして、誤って予測された領域である。第５領域は、利用者のアノテーションなしに、正例が正しく予測された領域である。第６領域は、利用者のアノテーションなしに、負例が正しく予測された領域である。第４の実施例においては、アノテーションと予測を繰り返すことにより、利用者のアノテーションなしに誤って予測された領域は、含まれていない。すなわち、利用者のアノテーションがない領域においては、誤って予測された領域を全てアノテーションによって修正している。
【００８７】
図１１に示すように、利用者のアノテーションを優先させた場合であっても、利用者がアノテーションした領域が誤って予測される場合がある。すなわち、アノテーションによって教師データが増えた場合であっても、予測が誤ってしまう場合がある。しかし、アノテーションと予測を繰り返すことにより、誤って認識される領域は徐々に減っていき収束していく。なお、第４の実施例においては、正例である噴水の画像をほぼ全て抽出するようにして、負例を正例として誤って予測した領域を多く含んでいる。画像認識においては、正例として抽出したい物体を全て抽出することが重要であり、負例を正例として誤って予測することは問題とはならない場合が多い。すなわち、負例を正例として誤って予測する領域が残ることを許容することにより、アノテーションにおける利用者の作業負荷を軽減させることができる。
【００８８】
次に、図１２を用いて、医療用の画像における実施例を説明する。図１２は、第５の実施例における、元画像（Ａ）、アノテーション結果（Ｂ）、および画像分類の予測（Ｃ）を示す図である。第５の実施例は、眼底写真において血管部分を正例として抽出するものである。
【００８９】
図１２（Ａ）は眼底写真における処理前の元画像である。眼底写真においては、全体的に赤色の色味を有している。医療用の画像においては、全体的に同様の傾向を有し、色による特徴量の差異が小さい場合が多い。図１２（Ｂ）は、元画像に対してアノテーションを行った結果の画像である。図１２（Ｂ）の図示左下部分は、図示する画像の一部を拡大したものである。図１２（Ｂ）において、ストロークｓａ５およびストロークｓａ６は、正例としてアノテーションされた部分である。画像分類ｆｙ６は、血管以外の部分を負例としてアノテーションされた部分である。なお、正例としてのアノテーションはストロークｓａ５およびストロークｓａ６以外に数カ所においてされている。また、負例としてのアノテーションは画像分類ｆｙ６以外に数カ所においてされている。図１２（Ｃ）は、画像分類の予測結果である。図１２（Ｃ）において、血管の大部分は正例として正しく予測されている。すなわち、特徴量の差異の小さい医療用の画像においても、正例のアノテーションと負例のアノテーションを適切に行うことにより、精度の高い予測が可能であることを示している。本実施形態においては、アノテーションと予測結果の確認をインタラクティブに行うことができるので、アノテーションによる予測結果の良否を利用者が直ちに確認することができるため、アノテーション作業のスキルを向上させることができ、効率の良いアノテーションによって作業負担を軽減させることが可能となる。
【００９０】
なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００９２】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００９３】
１        情報処理装置
１１      提供部
１２      取得部
１３      記憶部
１４      予測部
１５      通信制御部
２        表示装置
３        入力装置
４        サーバ
９        ネットワーク
１０１    ＣＰＵ
１０２    ＲＡＭ
１０３    ＲＯＭ
１０４    Ｉ／Ｏ機器
１０５    通信Ｉ／Ｆ
ｓａ１、ｓａ２、ｓａ３、ｓａ４、ｓａ５、ｓａ６  ストローク（正例）
ｓｙ１、ｓｙ２、ｓｙ３、ｓｙ４、ｓｙ５          画像分類（正例）
ｆｙ１、ｆｙ２、ｆｙ３、ｆｙ４、ｆｙ５、ｆｙ６  画像分類（負例）
【図１】
0006916849.tif 000002
【図２】
0006916849.tif 000003
【図３】
0006916849.tif 000004
【図４】
0006916849.tif 000005
【図５】
0006916849.tif 000006
【図６】
0006916849.tif 000007
【図７】
0006916849.tif 000008
【図８】
0006916849.tif 000009
【図９】
0006916849.tif 000010
【図１０】
0006916849.tif 000011
【図１１】
0006916849.tif 000012
【図１２】
0006916849.tif 000013