(57)【要約】【課題】画像中の対象物に対して識別情報を設定する作業を簡略化することが可能な情報処理装置、情報処理システム、及び、プログラムが記憶された記憶媒体を提案する。【解決手段】複数の対象物を含む画像を取得する画像取得部と、前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御する表示制御部と、を備える、情報処理装置。【選択図】図１
2015005172.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象物を含む画像を取得する画像取得部と、
前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御する表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記第１の対象物に対する操作を受けた当該第１の対象物の識別結果に基づき、前記識別情報を制御する、請求項１に記載の情報処理装置。
【請求項３】
前記第１の対象物に対する操作は、前記画像中における前記第１の対象物に対応する領域を指定する操作である、請求項２に記載の情報処理装置。
【請求項４】
前記第１の対象物に対する操作は、前記第１の対象物を示す識別情報を設定する操作である、請求項１に記載の情報処理装置。
【請求項５】
前記第２の対象物を示す識別情報の１以上の候補を取得する識別情報取得部を備え、
前記表示制御部は、前記第１の対象物に対する操作を受けて、前記１以上の候補の中から推定された候補を、前記識別情報として表示させる、請求項１に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記第２の対象物を示す識別情報の１以上の候補を当該第２の対象物に関連付けて表示させ、前記第１の対象物に対する操作を受けて、前記１以上の候補の中から推定された候補を示す識別情報に基づき、当該第２の対象物を示す識別情報を更新する、請求項５に記載の情報処理装置。
【請求項７】
前記識別情報取得部は、前記第１の対象物を示す識別情報の１以上の候補を取得し、
前記第１の対象物を示す識別情報の１以上の候補の中から一の候補の指定を受けて、前記第２の対象物を示す識別情報は、指定された当該一の候補に基づき、前記２の対象物を示す識別情報の１以上の候補の中から推定される、請求項５に記載の情報処理装置。
【請求項８】
前記識別情報取得部は、前記画像中に設定された複数の領域それぞれに含まれる前記対象物について抽出された、当該対象物を示す識別情報の１以上の候補を取得する、請求項５に記載の情報処理装置。
【請求項９】
前記識別情報取得部は、前記領域に含まれる前記対象物の識別結果に基づき抽出された、当該対象物を示す識別情報の候補を取得する、請求項８に記載の情報処理装置。
【請求項１０】
前記識別情報取得部は、前記領域が更新された場合に、更新後の前記領域に含まれる前記対象物の識別結果に基づき抽出された、当該対象物を示す識別情報の候補を取得する、請求項９に記載の情報処理装置。
【請求項１１】
前記複数の領域のうち少なくとも１つの領域が、前記画像に対する画像解析処理に基づき特定される、請求項８に記載の情報処理装置。
【請求項１２】
前記対象物は、料理であり、
前記少なくとも１つの領域が、前記料理が盛られた容器の認識結果に基づき特定される、請求項１１に記載の情報処理装置。
【請求項１３】
前記対象物は、人物であり、
前記少なくとも１つの領域が、前記人物の顔の認識結果に基づき特定される、請求項１１に記載の情報処理装置。
【請求項１４】
前記識別情報取得部は、前記識別情報の１以上の候補を外部のサーバーから取得する、請求項５に記載の情報処理装置。
【請求項１５】
前記第２の対象物を示す識別情報は、当該識別情報の１以上の候補それぞれが示す対象物が、前記第１の対象物と共起する確率を示す共起確率に基づき推定される、請求項５に記載の情報処理装置。
【請求項１６】
前記表示制御部は、前記第２の対象物を示す識別情報の推定結果の確度を識別可能に表示させる、請求項５に記載の情報処理装置。
【請求項１７】
前記画像を撮像する撮像部を備える、請求項１に記載の情報処理装置。
【請求項１８】
表示部を含む端末と、
複数の対象物を含む画像を取得する画像取得部と、当該画像を前記表示部に表示させる表示制御部とを含むサーバーと、
を備え、
前記表示制御部は、前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御する、情報処理システム。
【請求項１９】
コンピュータに、
複数の対象物を含む画像を取得することと、
前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御することと、
を実行させるプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理システム、及びプログラムを記憶した記憶媒体に関する。
【背景技術】
【０００２】
画像解析技術を利用することで、画像中に撮像された対象物を認識する技術がある。このような技術を利用することで、例えば、所望の対象物の画像を入力することにより、当該対象物を画像中から認識し、認識された対象物を識別することで、識別された対象物に関する情報を取得することが可能な情報処理システムがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１１８５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、対象物の中には外見が類似するものが存在し、画像解析のみでは対象物を一意に特定することが困難な場合もある。このように、画像解析により対象物を一意に特定することが困難な場合を考慮して、例えば、ユーザが画像中の対象物に対して、当該対象物を示す識別情報を設定することが可能な情報処理システムもある。このような情報処理システムでは、ユーザによる識別情報の設定を受けて、当該識別情報に関連付けられた情報を、当該対象物に関する情報として取得することも可能である。
【０００５】
しかしながら、画像中の対象物に対して識別情報を設定する作業はユーザにとって煩雑であり、対象となる画像の数が増えるほどユーザの負担は増大する。
【０００６】
そこで、本開示では、画像中の対象物に対して識別情報を設定する作業を簡略化することが可能な、新規かつ改良された情報処理装置、情報処理システム、及び、プログラムが記憶された記憶媒体を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、複数の対象物を含む画像を取得する画像取得部と、前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御する表示制御部と、を備える、情報処理装置される。
【０００８】
また、本開示によれば、表示部を含む端末と、複数の対象物を含む画像を取得する画像取得部と、当該画像を前記表示部に表示させる表示制御部とを含むサーバーと、を備え、前記表示制御部は、前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御する、情報処理システムが提供される。
【０００９】
また、本開示によれば、コンピュータに、複数の対象物を含む画像を取得することと、前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御することと、を実行させるプログラムを記憶した記憶媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、画像中の対象物に対して識別情報を設定する作業を簡略化することが可能な、新規かつ改良された情報処理装置、情報処理システム、及び、プログラムが記憶された記憶媒体が提供される。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態に係る情報処理システムの概略的なシステム構成を示した図である。
【図２】画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。
【図３Ａ】画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。
【図３Ｂ】画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。
【図４】本開示の第１の実施形態に係る情報処理システムにおいて、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。
【図５Ａ】本開示の第１の実施形態に係る情報処理システムにおいて、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。
【図５Ｂ】本開示の第１の実施形態に係る情報処理システムにおいて、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。
【図６】同実施形態に係る情報処理装置及びユーザ端末の構成を示したブロック図である。
【図７】画像中の対象物の抽出方法の一例について説明するための図である。
【図８】画像中の対象物の抽出方法の一例について説明するための図である。
【図９】画像中に設定された領域を示すデータの一例について説明するための図である。
【図１０】画像中に設定された領域を示すデータの一例について説明するための図である。
【図１１】画像中から検出する検出対象の一例である。
【図１２】画像中における対象物の識別結果の確度を示すデータの一例について説明するための図である。
【図１３】同実施形態に係る情報処理装置が画像中の対象物を示す識別情報を推定する処理について説明するための図である。
【図１４】同実施形態に係る情報処理装置が画像中の対象物を示す識別情報を推定する処理について説明するための図である。
【図１５】同実施形態に係る情報処理装置が画像中の対象物を示す識別情報を推定する処理について説明するための図である。
【図１６】同実施形態に係る情報処理システムの適用例について説明するため図である。
【図１７】同実施形態に係る情報処理システムの適用例について説明するため図である。
【図１８】同実施形態に係る情報処理装置の動作を示したフローチャートである。
【図１９】同実施形態に係る情報処理装置の動作を示したフローチャートである。
【図２０】同実施形態に係る情報処理装置の動作を示したフローチャートである。
【図２１】実施例１に係る領域の指定方法の一例について説明するための図である。
【図２２】実施例１に係る領域の指定方法の一例について説明するための図である。
【図２３】実施例１に係る領域の指定方法の一例について説明するための図である。
【図２４】実施例１に係る領域の指定方法の一例について説明するための図である。
【図２５】実施例１に係る領域の指定方法の一例について説明するための図である。
【図２６】実施例２に係る領域の指定方法の一例について説明するための図である。
【図２７】実施例２に係る領域の指定方法の一例について説明するための図である。
【図２８】実施例２に係る領域の指定方法の一例について説明するための図である。
【図２９】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３０】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３１】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３２】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３３】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３４】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３５】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３６】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３７】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３８】実施例２に係る領域の指定方法の一例について説明するための図である。
【図３９】実施例３に係る表示態様の一例について説明するための図である。
【図４０】実施例３に係る表示態様の一例について説明するための図である。
【図４１】実施例３に係る表示態様の一例について説明するための図である。
【図４２】本開示の第２の実施形態に係る情報処理システムの概要について説明するための図である。
【図４３】習熟度に伴い変化する表示態様の一例を示した図である。
【図４４】同実施形態に係る情報処理システムの動作を示したフローチャートである。
【図４５】本開示の実施形態に係る情報処理装置のハードウェア構成の一例である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．概要
１．２．構成
１．３．処理
１．４．実施例１：領域の指定方法（ポインタ操作）
１．５．実施例２：領域の指定方法（タッチパネル）
１．６．実施例３：識別情報の表示方法
１．７．まとめ
２．第２の実施形態
２．１．概要
２．２．処理
３．ハードウェア構成
【００１４】
＜１．第１の実施形態＞
［１．１．概要］
まず、図１を参照して、本開示の第１の実施形態に係る情報処理システム１の概要について説明する。図１は、本開示の第１の実施形態に係る情報処理システム１の概略的なシステム構成を示した図である。図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、ユーザ端末２０とを含む。情報処理装置１０と、ユーザ端末２０とは、ネットワークｎ０を介して接続されている。ネットワークｎ０としては、例えば、インターネット、専用線、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）が挙げられる。このように、異なる装置間を接続するネットワークであれば、ネットワークｎ０の態様は限定されない。
【００１５】
図１に示すように、本実施形態に係る情報処理システム１では、ユーザＵ１は、例えば、スマートフォンのようなユーザ端末２０に設けられた撮像部により、所望の対象物の画像を撮像して、情報処理装置１０に送信する。情報処理装置１０は、ユーザ端末２０から画像を受けると、当該画像中に撮像された対象物を認識及び識別し、対象物の識別結果をユーザＵ１に提示する。具体的な一例として、情報処理装置１０は、取得した画像に対して画像解析処理を施すことで、当該画像中における対象物の領域ｆ１を特定し、特定された領域ｆ１に当該対象物の識別結果をラベルのような識別情報ｍ１として、当該領域ｆ１に関連付けて提示する。
【００１６】
一方で、画像中に撮像される対象物の中には外見が類似するものが存在し、情報処理システム１は、画像解析処理により画像中の対象物を一意に特定することが困難な場合や、画像中の対象物の認識が困難な場合がある。そこで、情報処理システム１は、画像中の対象物に対応する領域ｆ１や、当該対象物を示す識別情報ｍ１を指定するためのＵ／Ｉ（ユーザインタフェース）を提供する。
【００１７】
しかしながら、画像中の対象物に対して識別情報を設定する作業はユーザＵ１にとって煩雑である。そこで、以降では、まず、図２、図３Ａ、及び図３Ｂを参照しながら比較例に係る情報処理システムにおいて、画像中の対象物に対して識別情報を設定する場合の動作の一例について説明しながら、本実施形態に係る情報処理システム１の課題について整理する。その後、図４、図５Ａ、及び図５Ｂを参照しながら、本実施形態に係る情報処理システム１の概要について説明する。
【００１８】
なお、以降では、本実施形態に係る情報処理システム１について説明するにあたり、情報処理システム１は、画像中に撮像された料理を認識し、認識された料理が示されたラベルを識別情報として提示するものとして説明する。なお、画像中に撮像された対象物を認識し、認識された対象物を識別できれば、その対象物は料理には限定されないことは言うまでもない。
【００１９】
まず、図２を参照する。図２は、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図であり、対象物の認識結果として複数の候補が抽出された場合の操作の一例を示している。
【００２０】
まず、画像ｐ１１１を参照する。画像ｐ１１１には、対象物として４点の料理が撮像されており、このうち３点の料理が認識され、それぞれを示す領域ｆ１１〜ｆ１３が設定されている。
【００２１】
領域ｆ１１には、対応する料理の識別情報として「ゴーヤチャンプル」が示された識別情報ｍ１１が関連付けられている。一方で、領域ｆ１２に対応する対象物は一意に特定されておらず、領域ｆ１２には、対象物を示す認識結果の候補として「烏龍茶」及び「雑穀米」を示す複数の候補が示された識別情報ｍ１２１が関連付けられている。同様に、領域ｆ１２に対応する対象物は一意に特定されておらず、領域ｆ１２には、「味噌汁」及び「スープ」を示す複数の候補が示された識別情報ｍ１３１が関連付けられている。
【００２２】
ここで、ユーザＵ１は、図２の画像ｐ１１１に対して、例えば、カーソルｃ１を操作することで、識別情報ｍ１２１として示された候補の中から、領域ｆ１２中の対象物を示す識別情報として、「雑穀米」を選択したものとする。画像ｐ１１２は、画像ｐ１１１において、識別情報ｍ１２１として示された候補のうち、「雑穀米」が選択された状態を示している。この場合には、比較例に係る情報処理システムは、ユーザＵ１による選択を受けて、領域ｆ１２で示された対象物が「雑穀米」であると認識し、画像ｐ１１２に示すように、領域ｆ１２に対して「雑穀米」を示した識別情報ｍ１２２を関連付ける。
【００２３】
次に、画像ｐ１１２を参照する。ここでは、ユーザＵ１は、例えば、カーソルｃ１を操作することで、識別情報ｍ１３１として示された候補の中から、領域ｆ１３で示された対象物を示す識別情報として、「味噌汁」を選択したものとする。画像ｐ１１３は、画像ｐ１１２において、識別情報ｍ１３１として示された候補のうち、「味噌汁」が選択された状態を示している。この場合には、比較例に係る情報処理システムは、ユーザＵ１による選択を受けて、領域ｆ１３で示された対象物が「味噌汁」であると認識し、画像ｐ１１３に示すように、領域ｆ１３に対して「味噌汁」を示した識別情報ｍ１３２を関連付ける。
【００２４】
以上のようにして、対象物が一意に特定されていなかった領域ｆ１２及びｆ１３それぞれに対して、当該領域中に撮像された対象物を示す識別情報ｍ１２２及びｍ１３２が設定された。
【００２５】
次に、図３Ａを参照する。図３Ａは、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図であり、認識されなかった対象物に対応する領域を指定し、当該対象物に対して識別情報を設定する操作の一例を示している。
【００２６】
まず、画像ｐ１１４を参照する。画像ｐ１１４では、領域ｆ１１、ｆ１２、及びｆ１３に対して、各領域に含まれる対象物を一意に特定する識別情報ｍ１１、ｍ１２２、及びｍ１３２がそれぞれ関連付けられている。一方で、撮像された４点の料理のうち１点が認識されていない。そこで、以降では、比較例に係る情報処理システムにおいて、認識されていない１点の料理を対象物として、当該対象物を示す領域ｆ１４を画像ｐ１１４中に設定し、当該領域ｆ１４に対して識別情報を設定する手順について説明する。
【００２７】
ユーザＵ１は、例えば、カーソルｃ１を操作することで認識されていない対象物の領域を指定する。この領域の指定を受けて、比較例に係る情報処理システムは、指定された領域を、領域ｆ１４として設定する。領域ｆ１４を設定したら、比較例に係る情報処理システムは、画像ｐ１１４中の領域ｆ１４に対して画像解析処理を施すことで、領域ｆ１４中に含まれる対象物の識別を試みる。ここでは、比較例に係る情報処理システムは、領域ｆ１４中の対象物を識別できなかったものとして説明する。
【００２８】
次に、画像ｐ１１５を参照する。画像ｐ１１５は、領域ｆ１４が設定され、当該領域ｆ１４に含まれる対象物の識別が困難な場合を示している。なお、画像ｐ１１５では、領域ｆ１４に対して、対象物が特定できていないことを示す識別情報ｍ１４１が設定されている。この場合には、比較例に係る情報処理システムは、ユーザＵ１からの識別情報ｍ１４１に対する指定を受けて、識別情報を設定するための設定画面ｖ１１５を表示する。
【００２９】
ここで、図３Ｂを参照する。図３Ｂは、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図であり、図３Ａ中のｐ１１５に着目した図である。図３Ｂに示すように、設定画面ｖ１１５は、ユーザが識別情報を入力するための入力フィールドを含んでもいてもよいし、候補のリストを提示することで、当該リスト中から選択された候補を識別情報として設定するためのＵ／Ｉを含んでいてもよい。
【００３０】
ここで、図３Ａの画像ｐ１１６を参照する。画像ｐ１１６は、画像ｐ１１５において、設定画面ｖ１１５を介した操作に基づき、領域ｆ１４に対して、当該領域ｆ１４中の対象物の識別情報として「ひじき」が設定された状態を示している。この場合には、比較例に係る情報処理システムは、ユーザＵ１による識別情報の入力を受けて、領域ｆ１４で示された対象物が「ひじき」であると認識し、画像ｐ１１６に示すように、領域ｆ１４に対して「ひじき」を示した識別情報ｍ１４２を関連付ける。
【００３１】
以上のように、比較例に係る情報処理システムでは、画像中に撮像された対象物を一意に特定することが困難な場合や、画像中の対象物の認識が困難な場合には、ユーザＵ１が各対象物に対応する領域に対して、個々に識別情報を設定する必要があり、手順が煩雑である。
【００３２】
そこで、本実施形態に係る情報処理システム１では、画像中の一の対象物に対して当該一の対象物を示す識別情報が特定された場合に、当該一の対象物と共起する確率の高い他の対象物を推定する。このようにして他の対象物を推定することで、本実施形態に係る情報処理システム１は、当該他の対象物に対する識別情報の設定に係る操作を省略または簡略化し、各対象物に対応する領域に対して識別情報を設定する手順を簡略化する。なお、「共起する確率」を以降では「共起確率」と呼ぶ場合がある。
【００３３】
ここで、共起確率について説明する。共起確率とは、一の対象物とあわせて他の対象物が共起する確率を示しており、例えば、２つのものが共に存在する確率を示している。また、情報処理システム１は、共起確率を、例えば、画像中に一の対象物が撮像された場合に、あわせて他の対象物が撮像される確率として認識してもよい。なお、この場合における「共起」とは、いわゆる自然言語処理の分野における「共起」に限定されるものではない。具体的な一例として、対象物が料理の場合には、「共起確率」とは、例えば、食い合わせの良し悪しのような料理間の相性に基づき、一の料理とあわせて他の料理が選択される、または選択されない可能性を示し得る。換言すると、一回の食事において提供される一連の料理として、他の料理が、一の料理とあわせて画像中に撮像される確率を示している。なお、このことは料理に限ったことではない点は言うまでもない。例えば、対象物が人物の場合は、共起確率は、一の人物とあわせて他の人物が画像中に撮像される確率を示し得る。このような、一の対象物と他の対象物と間の共起確率は、これらの対象物間の関係性や所定のロジックに基づき設定してもよいし、過去に取得した画像を解析することで経験的に求めてもよい。
【００３４】
次に、図４、図５Ａ、及び図５Ｂを参照しながら、本実施形態に係る情報処理システム１の概要について、前述の図２、図３Ａ、及び図３Ｂに基づく説明と同様に、画像中に撮像された料理に対して識別情報を設定する場合を例に説明する。
【００３５】
まず、図４を参照する。図４は、本実施形態に係る情報処理システム１において、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。なお、図４における画像ｐ１２１は、図２に示す画像ｐ１１１と同様の状態を示しているため、詳細な説明は省略する。
【００３６】
ユーザＵ１は、例えば、カーソルｃ１を操作することで、識別情報ｍ１２１として示された候補の中から、領域ｆ１２で示された対象物を示す識別情報として、「雑穀米」を選択したものとする。情報処理システム１は、ユーザＵ１による選択を受けて、領域ｆ１２で示された対象物が「雑穀米」であると認識し、画像ｐ１２２に示すように、領域ｆ１２に対して「雑穀米」を示す識別情報ｍ１２２を関連付ける。
【００３７】
また、情報処理システム１は、領域ｆ１２に対応する対象物が「雑穀米」であると確定されたため、識別情報ｍ１３１として示された「味噌汁」及び「スープ」それぞれについて「雑穀米」との間の共起確率を取得する。そして、情報処理システム１は、取得した「味噌汁」及び「スープ」それぞれに対応する共起確率を比較し、比較結果に基づき、領域ｆ１３に対応する対象物の識別情報を特定（または推定）する。ここでは、「雑穀米」との間の共起確率は、「味噌汁」の方が「スープ」よりも高いものとする。この場合には、情報処理システム１は、領域ｆ１３で示された対象物が、「味噌汁」及び「スープ」のうち「雑穀米」との間の共起確率が高い「味噌汁」であると認識し、領域ｆ１３に対して「味噌汁」を示す識別情報ｍ１３２を関連付ける。
【００３８】
このように、本実施形態に係る情報処理システム１は、領域ｆ１２に対応する対象物を示す識別情報ｍ１２２の指定を受けて、指定された識別情報が示す対象物との間の共起確率に基づき、領域ｆ１３に対応する対象物を推定する。そして、情報処理システム１は、推定結果に基づき、領域ｆ１３に対して識別情報ｍ１３２を設定する。このような構成により、本実施形態に係る情報処理システム１では、上述した比較例に係る情報処理システム（図２参照）に比べて、領域ｆ１３に対する識別情報の設定に係る操作を省略することが可能となる。
【００３９】
次に、図５Ａを参照する。図５Ａは、本実施形態に係る情報処理システム１において、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図である。なお、図５Ａにおける画像ｐ１２３は、図３に示す画像ｐ１１４と同様の状態を示しているため、詳細な説明は省略する。
【００４０】
ユーザＵ１は、例えば、カーソルｃ１を操作することで認識されていない対象物の領域を指定する。この領域の指定を受けて、本実施形態に係る情報処理システム１は、指定された領域を、領域ｆ１４として設定する。領域ｆ１４を設定したら、情報処理システム１は、画像ｐ１２３中の領域ｆ１４に対して画像解析処理を施すことで、領域ｆ１４中に含まれる対象物の識別を試みる。ここでは、情報処理システム１は、領域ｆ１４中の対象物を識別できなかったものとして説明する。
【００４１】
次に、情報処理システム１は、領域ｆ１１、ｆ１２、及びｆ１３のそれぞれに対応する対象物との間で共起確率が高い他の対象物を推定する。図５Ａに示す例では、情報処理システム１は、識別情報ｍ１１で示された「ゴーヤチャンプル」、識別情報ｍ１２２で示された「雑穀米」、及び識別情報ｍ１３２で示された「味噌汁」それぞれとの間で共起確率が高い対象物として「ひじき」を特定する。即ち、情報処理システム１は、領域ｆ１４で示された対象物が「ひじき」であると認識し、画像ｐ１２４に示すように、領域ｆ１４に対して「ひじき」を示した識別情報ｍ１４２を関連付ける。
【００４２】
また、領域ｆ１４が設定された場合に、領域ｆ１４中の対象物が「ひじき」と識別され、当該対象物の識別結果に基づき、他の領域中の対象物が認識されてもよい。例えば、図５Ｂは、本実施形態に係る情報処理システム１において、画像中の対象物に対して識別情報を設定する操作の一例について説明するための図であり、領域ｆ１４の設定に基づき、他の領域中の対象物が識別される例を示している。
【００４３】
図５Ｂにおける画像ｐ１２５は、図４における画像ｐ１２１と同様の状態において、ユーザＵ１が、カーソルｃ１を操作することで、認識されていない「ひじき」の領域を指定した場合を示している。なお、図５Ｂに示すように、このとき情報処理システム１は、領域ｆ１２及びｆ１３中の対象物は一意に特定できていないものとする。
【００４４】
ユーザＵ１による領域の指定を受けて、情報処理システム１は、指定された領域を、領域ｆ１４として設定し、領域ｆ１４中に含まれる対象物の識別を試みる。このとき、情報処理システム１は、領域ｆ１４中の対象物が「ひじき」であると認識したものとする。この場合には、情報処理システム１は、画像ｐ１２６に示すように、領域ｆ１４に対して「ひじき」を示した識別情報ｍ１４２を関連付ける。
【００４５】
また、情報処理システム１は、領域中の対象物として新たに識別された「ひじき」との間の共起確率に基づき、領域ｆ１２及びｆ１３中の対象物を特定する。画像ｐ１２６に示す例では、情報処理システム１は、識別情報ｍ１２１に示された「烏龍茶」及び「雑穀米」のうち、「ひじき」との間で共起確率の高い「雑穀米」を特定し、「雑穀米」を示す識別情報ｍ１２２を領域ｆ１２に関連付けて表示させる。同様に、情報処理システム１は、識別情報ｍ１３１に示された「味噌汁」及び「スープ」のうち、「ひじき」との間で共起確率の高い「味噌汁」を特定し、「味噌汁」を示す識別情報ｍ１３２を領域ｆ１３に関連付けて表示させる。
【００４６】
このように、本実施形態に係る情報処理システム１は、領域ｆ１４に対応する対象物を画像解析処理に基づき認識できなった場合においても、他の領域が示す対象物との間の共起確率に基づき領域ｆ１４に対応する対象物を推定する。そして、情報処理システム１は、推定結果に基づき、領域ｆ１４に対して識別情報ｍ１４２を設定する。このような構成により、本実施形態に係る情報処理システム１では、上述した比較例に係る情報処理システム（図３参照）に比べて、領域ｆ１４に対する識別情報の設定に係る操作を省略することが可能となる。
【００４７】
［１．２．構成］
次に、図６を参照して、本実施形態に係る情報処理装置１０及びユーザ端末２０の構成について説明する。図６は、本実施形態に係る情報処理装置１０及びユーザ端末２０の構成を示したブロック図である。図６に示すように、情報処理装置１０は、画像取得部１０２と、対象物抽出部１０４と、対象物指定部１０６と、確度特定部１０８と、特徴量データ記憶部１１０と、識別情報指定部１１２と、抽出部１１４と、共起確率データ記憶部１１６と、推定部１１８と、表示制御部１２０と、更新部１２２とを含む。また、ユーザ端末２０は、撮像部２０２と、操作部２０４と、表示部２０６とを含む。
【００４８】
なお、以降では、情報処理装置１０及びユーザ端末２０の各構成について、「画像取得に基づく処理」、「領域の設定に基づく処理」、及び「識別情報の設定に基づく処理」に分けて、各契機で動作する構成に着目して説明する。
【００４９】
（画像取得に基づく処理）
まず、「画像取得に基づく処理」として、情報処理装置１０が、撮像部２０２で撮像された画像を取得した場合の処理に着目して、当該処理中に動作する構成について説明する。具体的には、情報処理装置１０は、撮像部２０２から取得した画像中の対象物を認識し、認識結果に基づき、認識された対象物に対応する領域と、当該対象物の識別情報をユーザＵ１に提示する。
【００５０】
撮像部２０２は、１以上の対象物の画像を撮像する。このとき撮像される画像は、静止画のような画像であり得る。撮像部２０２の具体的な一例として、スマートフォンのようなユーザ端末２０に設けられたカメラが挙げられる。なお、図６では、ユーザ端末２０に撮像部２０２が設けられている例について示しているが、撮像部２０２は、必ずしも、ユーザ端末２０の一部である必要はない。例えば、撮像部２０２を、ユーザ端末２０とは独立して設けてもよい。
【００５１】
画像取得部１０２は、撮像部２０２で撮像された画像を取得する。画像取得部１０２は、取得した画像を対象物抽出部１０４に出力する。
【００５２】
対象物抽出部１０４は、画像取得部１０２から画像を取得する。対象物抽出部１０４は、取得した画像中に含まれる特定の形状で形成される領域や、特徴的な色成分またはテクスチャが存在する領域を、対象物の領域として抽出する。以下に、画像中から対象物の領域を抽出する方法の一例について、図７及び図８を参照しながら説明する。
【００５３】
まず、図７を参照する。図７は、画像中の対象物の抽出方法の一例について説明するための図であり、画像中に含まれる円または楕円の領域を対象物の領域として抽出する例を示している。多くの場合に、料理は皿等のような容器に盛られて提供される。そのため、例えば、画像中における円形や楕円形の容器に対応する領域を抽出すると、抽出された領域には、対象物である料理が含まれている場合が多い。そのため、対象物抽出部１０４は、例えば、画像中から、容器に対応する円形や楕円形の領域を抽出することで、抽出された領域を対象物である料理が含まれる領域として認識することができる。なお、以降では、円形及び楕円形を総じて単に「楕円形」と呼ぶ。そのため、「楕円形」と記載した場合には「円形」も含むものとする。
【００５４】
例えば、画像ｐ１３１には、楕円形の皿に盛られた料理が４点撮像されている。対象物抽出部１０４は、例えば、画像ｐ１３１に対して画像解析処理を施すことで、画像ｐ１３１中のエッジを抽出し、抽出されたエッジにより形成される楕円形の領域ｅ２１〜ｅ２４を抽出する。そして、対象物抽出部１０４は、画像ｐ１３２に示すように、抽出した楕円形の領域ｅ２１〜ｅ２４を、料理の領域ｆ２１〜ｆ２４として認識する。
【００５５】
なお、画像ｐ１３２では、対象物抽出部１０４は、画像ｐ１３２の縦方向を縦の辺、画像ｐ１３２の横方向を横の辺とし、楕円形の領域ｅ２１〜ｅ２４に外接する領域を、料理の領域ｆ２１〜ｆ２４として設定している。なお、図７に示す領域ｆ２１〜ｆ２４の形状は、あくまで一例であり、対象物である料理の領域を設定できれば、その形状は限定されない。例えば、対象物抽出部１０４は、抽出した楕円形の領域ｅ２１〜ｅ２４を、そのまま料理の領域ｆ２１〜ｆ２４として設定してもよい。
【００５６】
次に、図８を参照する。図８は、画像中の対象物の抽出方法の一例について説明するための図であり、画像中に含まれる四角形の領域を対象物の領域として抽出する例を示している。
【００５７】
例えば、画像ｐ１４１には、四角形の皿に盛られた料理が１点撮像されている。対象物抽出部１０４は、例えば、画像ｐ１４１に対して画像解析処理を施すことで、画像ｐ１４１中のエッジを抽出し、抽出されたエッジにより形成される四角形の領域ｅ３１を抽出する。そして、対象物抽出部１０４は、画像ｐ１４２に示すように、抽出した四角形の領域ｅ３１を、料理の領域ｆ３１として認識する。
【００５８】
なお、画像ｐ１４２では、図７における画像ｐ１３２と同様に、画像ｐ１４２の縦方向を縦の辺、画像ｐ１４２の横方向を横の辺とし、四角形の領域ｅ３１に外接する領域を、料理の領域ｆ３１として設定している。
【００５９】
次に、図９及び図１０を参照しながら、画像中に設定された領域を示すデータを定義する方法の一例について説明する。まず、図９を参照する。図９は、画像中に設定された領域を示すデータの一例について説明するための図であり、画像ｐ１中に設定された、当該画像ｐ１の縦方向を縦の辺、横方向を横の辺とする領域ｆ１を示すデータの一例について説明するための図である。
【００６０】
図９において、参照符号ｈ０は、画像ｐ１の高さ（縦方向の長さ）を示している。また、参照符号ｗ０は、画像ｐ１の幅（横方向の長さ）を示している。また、参照符号ｎ０は、四角形の領域ｆ１の頂点のうち、基準となる頂点を示している。図９に示す例では、四角形の領域ｆ１の左上の頂点を、基準となる頂点ｎ０としている。また、参照符号ｈ１は、領域ｆ１の高さを示しており、参照符号ｗ１は、領域ｆ１の幅を示している。
【００６１】
ここで、図１０を参照する。図１０は、画像中に設定された領域を示すデータの一例について説明するための図であり、領域を示すデータの定義の一例を示している。なお、以降では、領域を示すデータを「領域データ」と記載する場合がある。図１０に示す例では、領域データｄ１１の定義（例えば、データ型）として、名称ｄ１１１と、種類ｄ１１２と、値域ｄ１１３とを示している。
【００６２】
名称ｄ１１１は、データの種別を示している。名称ｄ１１１に示すように、領域データｄ１１は、「領域の位置」を示すデータと、「領域の大きさ」を示すデータとにより定義できる。
【００６３】
また、種類ｄ１１２は、「領域の位置」を示すデータと、「領域の大きさ」を示すデータとのそれぞれに含まれる情報の種類を示しており、値域ｄ１１３は、種類ｄ１１２で示された情報が取れる値の範囲を示している。
【００６４】
例えば、「領域の位置」を示すデータは、図９における画像ｐ１中の領域ｆ１の位置を示しており、頂点ｎ０の位置に対応している。なお、図１０に示す例では、頂点ｎ０の位置を、画像ｐ１の高さｈ０及び幅ｗ０に対する相対値として示している。具体的な一例として、「領域の位置」を示すデータにおける、頂点ｎ０の横方向の位置「ｘ」は、図９に示す画像ｐ１の左端を「０．０」、右端を「１．０」とした場合の横方向の位置を示している。同様に、頂点ｎ０の縦方向の位置「ｙ」は、図９に示す画像ｐ１の上端を「０．０」、下端を「１．０」とした場合の縦方向の位置を示している。
【００６５】
また、「領域の大きさ」を示すデータは、図９における画像ｐ１中の領域ｆ１の大きさを示している。なお、図１０に示す例では、領域ｆ１の大きさを、画像ｐ１の高さｈ０及び幅ｗ０に対する相対値として示している。具体的な一例として、「領域の大きさ」を示すデータにおける、領域ｆ１の幅「ｗｉｄｔｈ」は、画像ｐ１の幅ｗ０を「１．０」とした場合の、領域ｆ１の相対的な幅を示しており、ｗ１／ｗ０により導出される。同様に、領域ｆ１の高さ「ｈｅｉｇｈｔ」は、画像ｐ１の高さｈ０を「１．０」とした場合の、領域ｆ１の相対的な高さを示しており、ｈ１／ｈ０により導出される。
【００６６】
なお、図９及び図１０に示す例は、あくまで一例であり、画像中の領域を特定できれば、当該領域を示すデータの形式は限定されない。
【００６７】
以上のようにして、対象物抽出部１０４は、取得した画像から対象物を示す領域を抽出し、抽出された領域ごとに、当該領域を示す領域データを生成する。対象物抽出部１０４は、取得した画像と、当該画像から抽出された各領域に対応する領域データとを、確度特定部１０８に出力する。
【００６８】
確度特定部１０８は、画像と、当該画像から抽出された領域に対応する領域データとを対象物抽出部１０４から取得する。確度特定部１０８は、取得した領域データに基づき、取得した画像中に設定された各領域を特定する。
【００６９】
画像中の領域を特定したら、確度特定部１０８は、特定した領域に含まれる対象物を識別する。具体的な一例として、確度特定部１０８は、画像中の各領域から決定される特徴量を、検出対象ごとにあらかじめ記憶された特徴量と照合することにより、当該領域に含まれる対象物の確度を、検出対象ごとに算出する。検出対象ごとの特徴量を示すデータは、特徴量データ記憶部１１０に記憶されている。なお、「確度」とは、画像中の対象物が、検出対象である確かさを示した指標である。この確度は、例えば、画像中から抽出された対象物の特徴量と、検出対象の特徴量とが一致する度合いに基づき定義することが可能である。なお、以降では、検出対象ごとに算出された対象物の確度を示す情報を「識別スコアｄ１３」と呼ぶ場合がある。
【００７０】
なお、特徴量データ記憶部１１０は、検出対象ごとの特徴量を示すデータを導出するためのサンプルデータ（例えば、検出対象ごとの画像）をあわせて記憶してもよい。ここで、図１１を参照する。図１１は、画像中から検出する検出対象の一例を示しており、対象物として料理を検出する場合の一例を示している。なお、図１１に示す例では、検出対象をクラスｄ１２として示している。
【００７１】
次に、図１２を参照する。図１２は、画像中における対象物の識別結果の確度を示すデータの一例、即ち、識別スコアｄ１３の一例について説明するための図である。図１２に示す例では、識別スコアｄ１３の定義（例えば、データ型）として、名称ｄ１３１と、クラスｄ１２と、値域ｄ１３２とを示している。
【００７２】
名称ｄ１３１は、識別スコアｄ１３の種別を示している。例えば、図１２に示す例は、料理を検出対象とした識別スコアｄ１３の一例を示している。そのため、名称ｄ１３１には、当該識別スコアｄ１３が、料理を検出対象とした識別スコアであることを示す「料理属性」が設定されている。
【００７３】
また、クラスｄ１２は、図１１に示したクラスｄ１２に対応しており、値域ｄ１３２、クラスｄ１２で示された検出対象の確度を示す値が取れる範囲を示している。図１２に示す例では、クラスｄ１２で示された検出対象の確度として取り得る値の範囲を、「−１．０」から「１．０」に設定している。なお、確度を示す値は、０を超えると、画像中の対象物が、クラスｄ１２で示された検出対象である確かさを示し、０を下回ると、クラスｄ１２で示された検出対象である不確かさを示す。即ち、確度を示す値が０を超え、かつ、その値が高いほど、画像中の対象物が、クラスｄ１２で示された検出対象である確率が高いことを示している。同様に、確度を示す値が低い場合には、画像中の対象物が、クラスｄ１２で示された検出対象である確率は低く、当該確度を示す値が０を下回ると他の検出対象である確率の方が高いことを示している。
【００７４】
なお、０を下回る確度は、例えば、サンプルデータとして、画像中の対象物が、検出対象として示された対象物とは異なることを示すデータを蓄積することで定義できる。
【００７５】
以上のように、確度特定部１０８は、画像中の各領域に含まれる対象物ごとに、クラスｄ１２で示された検出対象ごとの確度を示した識別スコアｄ１３を算出する。なお、識別スコアｄ１３は、例えば、画像中の各領域に含まれる対象物が、クラスｄ１２で示された各検出対象である確率を示す情報として算出してもよい。また、識別スコアｄ１３が「確度情報」の一例に相当する。
【００７６】
確度特定部１０８は、取得した画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとに算出した識別スコアｄ１３とを抽出部１１４に出力する。
【００７７】
抽出部１１４は、画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとに算出された識別スコアｄ１３とを、確度特定部１０８から取得する。
【００７８】
抽出部１１４は、対象物ごとに、クラスｄ１２で示された各検出対象に対応する識別スコアｄ１３を参照し、識別スコアｄ１３があらかじめ決められた閾値以上の値を示す検出対象を特定する。
【００７９】
具体的な一例として、閾値を「０．８」とし、一の対象物に対してクラスｄ１２で示された各検出対象のうち、「魚料理」の識別スコアｄ１３が「０．８」以上だった場合には、抽出部１１４は、当該一の対象物の識別スコアｄ１３に基づき「魚料理」を特定する。
【００８０】
識別スコアｄ１３が閾値以上の検出対象が特定できた場合には、抽出部１１４は、特定された検出対象に対応する共起確率データｄ１４を、共起確率データ記憶部１１６から抽出する。共起確率データ記憶部１１６は、共起確率データｄ１４を記憶するための記憶部である。
【００８１】
ここで、共起確率データｄ１４について説明する。共起確率データｄ１４は、一の対象物が特定された場合に、一の対象物とクラスｄ１２に示された各検出対象とが共起する確率を示したデータである。例えば、「魚料理」に対応する共起確率データｄ１４は、「魚料理」と、クラスｄ１２に示された検出対象となる各料理とが共起する確率を、当該検出対象となる料理ごとに示されたデータである。共起確率データ記憶部１１６には、クラスｄ１２に示された検出対象ごとに、共起確率データｄ１４が記憶されている。換言すると、共起確率データ記憶部１１６には、クラスｄ１２に含まれる検出対象の組合せごとに共起確率を示す情報が管理・記憶されていることとなる。なお、共起確率を示す情報の値域は、「０．０」から「１．０」となる。例えば、「魚料理」の共起確率データｄ１４の場合には、共起確率を示す情報が高い検出対象ほど、「魚料理」と共起する確率が高いことを示している。
【００８２】
抽出部１１４は、識別スコアｄ１３が閾値以上の検出対象として「魚料理」を特定した場合には、「魚料理」に対応する共起確率データｄ１４を、共起確率データ記憶部１１６から抽出する。
【００８３】
また、抽出部１１４は、識別スコアｄ１３が閾値以上の検出対象が特定できた場合には、当該識別スコアｄ１３が対応付けられた対象物を、特定された検出対象として識別してもよい。この場合には、抽出部１１４は、特定された検出対象を示す識別情報、即ち、対象物の識別結果を示す識別情報を、当該対象物に対応する領域の領域データに関連付ける。なお、この閾値は、抽出部１１４が、対象物を識別するための識別スコアｄ１３の閾値でもある。
【００８４】
ここで、図１３を参照する。図１３は、本実施形態に係る情報処理装置１０が画像中の対象物を示す識別情報を推定する処理について説明するための図である。例えば、抽出部１１４は、図１３に示す画像ｐ１５１と、画像中の領域ｆ４１及びｆ４２を示す領域データと、当該領域中の対象物ごとに算出された識別スコアｄ１３を取得したものとする。
【００８５】
図１３に示す例において、領域ｆ４１中の対象物は、「魚料理」に対応する識別スコアｄ１３が閾値以上だったとする。この場合には、抽出部１１４は、「魚料理」に対応する共起確率データｄ１４ａを、共起確率データ記憶部１１６から抽出する。また、抽出部１１４は、領域ｆ４１に対応する領域データに対して、「魚料理」を示す識別情報を関連付ける。
【００８６】
なお、識別スコアｄ１３ｂは、領域ｆ４２中の対象物の識別スコアを示している。なお、領域ｆ４２中の対象物について、抽出部１１４は、識別スコアｄ１３ｂが閾値以上の検出対象が特定できなかったものとする。
【００８７】
抽出部１１４は、取得した画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとの識別スコアｄ１３と、抽出した共起確率データｄ１４とを、推定部１１８に出力する。なお、共起確率データｄ１４が抽出できなかった場合には、抽出部１１４から推定部１１８に共起確率データｄ１４が出力されないことは言うまでもない。また、図１３に示す例では、領域ｆ４１中の対象物は「魚料理」として識別されていることとなる。そのため、この場合には、抽出部１１４は、領域ｆ４１中の対象物については、必ずしも識別スコアｄ１３を推定部１１８に出力する必要はない。
【００８８】
推定部１１８は、画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとの識別スコアｄ１３と、抽出した共起確率データｄ１４とを抽出部１１４から取得する。
【００８９】
推定部１１８は、取得した各領域データに対して、当該領域データが示す領域中の対象物の識別結果を示す識別情報が関連付けられているか否かを確認し、識別情報が関連付けられていない領域データを抽出する。
【００９０】
例えば、図１３に示す例の場合には、領域ｆ４１に対応する領域データには識別情報ｍ３１が関連付けられており、領域ｆ４２に対応する領域データには識別情報が関連付けられていない。この場合には、推定部１１８は、領域ｆ４２に対応する領域データを抽出する。
【００９１】
推定部１１８は、抽出した領域データそれぞれについて、当該対象物の識別スコアｄ１３に対し、取得した共起確率データｄ１４を乗算することで、新たな識別スコアｄ１３’を算出する。
【００９２】
例えば、図１３に示す例の場合には、領域ｆ４２に対応する対象物に着目した場合、「スープ」の識別スコアｄ１３ｂは「０．６」である。また、領域ｆ４１に対応する対象物の識別結果、即ち、「魚料理」と「スープ」とが共起する共起確率は、「０．３２」である。そのため、領域ｆ４２に対応する対象物の新たな識別スコアを識別スコアｄ１３ｂ’とした場合、「スープ」に対応する識別スコアｄ１３ｂ’は、「０．１９２」となる。
【００９３】
一方で、領域ｆ４２に対応する対象物における、「味噌汁」の識別スコアｄ１３ｂは「０．８」である。また、「魚料理」と「味噌汁」とが共起する共起確率は、「０．８１」である。そのため、「味噌汁」に対応する識別スコアｄ１３ｂ’は、「０．６４８」となる。
【００９４】
このような結果から、例えば、領域ｆ４２に対応する対象物の識別スコアｄ１３ｂを参照した場合、「スープ」は「０．６」であり、「味噌汁」は「０．８」である。そのため、識別スコアｄ１３ｂのみでは、領域ｆ４２に対応する対象物が、「スープ」と「味噌汁」のうちいずれかを判別することが難しい。一方で、識別スコアｄ１３ｂと「魚料理」の共起確率とに基づき算出された、識別スコアｄ１３ｂ’は、「スープ」が「０．１９２」であり、「味噌汁」が「０．６４８」である。このことから、識別スコアｄ１３ｂのみで判定する場合に比べて、識別スコアｄ１３ｂ’による判定では、領域ｆ４２に対応する対象物が「スープ」である確度と、「味噌汁」である確度とがより乖離し、当該対象物をより識別しやすくなる。
【００９５】
以上のようにして、抽出した領域データに対応する対象物それぞれについて、識別スコアｄ１３’を算出したら、推定部１１８は、算出した各識別スコアｄ１３’を、まず、識別スコアｄ１３’を判定するためにあらかじめ決められた第１の閾値と比較する。識別スコアｄ１３’が第１の閾値以上の検出対象が特定できた場合には、推定部１１８は、対応する対象物を、特定された検出対象として認識し、当該対象物に対応する領域データに対して、特定された検出対象を示す識別情報を関連付ける。
【００９６】
具体的な一例として、第１の閾値を「０．７」とし、一の対象物に対してクラスｄ１２で示された各検出対象のうち、「肉料理」の識別スコアｄ１３’が「０．７」以上だった場合には、推定部１１８は、当該一の対象物の識別スコアｄ１３’に基づき「肉料理」を特定する。そして、推定部１１８は、当該一の対象物に対応する領域データに、「肉料理」を示す識別情報を関連付ける。なお、以降では、上記に示した対象物を識別するための第１の閾値を「基準１」と呼ぶ場合がある。
【００９７】
識別スコアｄ１３’が基準１を満たす検出対象が特定できなかった場合には、推定部１１８は、各識別スコアｄ１３’を、第１の閾値よりも小さい第２の閾値と比較する。この第２の閾値は、対象物の識別結果の候補を抽出するための閾値である。推定部１１８は、識別スコアｄ１３’が第２の閾値以上の検出対象を特定し、特定された検出対象を示す識別情報を、当該対象物に対応する領域データに関連付ける。このとき、推定部１１８は、領域データに関連付けた識別情報に対して、当該識別情報が、対象物の識別結果の候補であることを示す情報を付帯してもよい。
【００９８】
具体的な一例として、第２の閾値を「０．３」とし、一の対象物に対してクラスｄ１２で示された各検出対象のうち、「味噌汁」及び「スープ」の識別スコアｄ１３’が「０．３」以上だった場合には、推定部１１８は、当該一の対象物の識別スコアｄ１３’に基づき「味噌汁」及び「スープ」を特定する。そして、推定部１１８は、当該一の対象物に対応する領域データに、「味噌汁」を示す識別情報と、「スープ」を示す識別情報とを関連付ける。このとき、推定部１１８は、「味噌汁」を示す識別情報と、「スープ」を示す識別情報とのそれぞれに、当該識別情報が対象物の識別結果の候補であることを示す情報を付帯する。なお、以降では、上記に示した対象物の識別結果の候補を特定するための第２の閾値を「基準２」と呼ぶ場合がある。
【００９９】
以上のようにして、推定部１１８は、抽出した領域データに対応する対象物それぞれについて、算出した識別スコアｄ１３’が基準１または基準２を満たしているか否かを判定する。そして、推定部１１８は、判定結果に基づき、各対象物それぞれの領域データに、当該対象物の識別結果を示す識別情報、または、識別結果の候補を示す識別情報を関連付ける。なお、識別スコアｄ１３’が基準１及び基準２のいずれかを満たす検出対象が特定されなかった場合には、対応する領域データには、識別情報が関連付けられないこととなる。このように、推定部１１８は、基準１または基準２を満たしているか否かを判定することで、各領域データに対応する対象物の識別結果を推定する。
【０１００】
推定部１１８は、取得した画像と、当該画像から抽出された領域に対応する領域データとを、表示制御部１２０に出力する。
【０１０１】
表示制御部１２０は、画像と、当該画像から抽出された領域に対応する領域データとを、推定部１１８から取得する。表示制御部１２０は、取得した画像を表示部２０６に表示させる。
【０１０２】
また、表示制御部１２０は、表示部２０６に表示させた画像に対して、取得した領域データに基づく領域を重畳表示させる。例えば、図１３に示す例では、表示制御部１２０は、表示部２０６に画像ｐ１５１を表示させ、当該画像ｐ１５１に対して、取得した領域データに基づき、領域ｆ４１及びｆ４２を重畳表示させている。
【０１０３】
次に、表示制御部１２０は、各領域データに関連づけられた識別情報を抽出する。識別情報が抽出できた場合には、表示制御部１２０は、当該領域データに対応する領域に、抽出した識別情報を関連付けて表示させる。例えば、図１３に示す例において、領域ｆ４１の領域データには、「魚料理」を示す識別情報が関連付けられていたとする。この場合には、表示制御部１２０は、領域ｆ４１に対して「魚料理」を示す識別情報ｍ４１を関連付けて表示させる。
【０１０４】
また、表示制御部１２０は、領域データに対して、対象物の識別結果の候補を示す識別情報が関連付けられている場合には、抽出した識別情報を当該領域データに対応する領域に関連付け、当該識別情報を選択可能に表示させる。例えば、図１３に示す例において、領域ｆ４２の領域データに、識別結果の候補として「味噌汁」を示す識別情報と、「スープ」を示す識別情報とが関連付けられていたとする。この場合には、表示制御部１２０は、領域ｆ４２に対して、「味噌汁」及び「スープ」のそれぞれが選択可能に提示された識別情報ｍ４２１を関連付けて表示させる。これにより、ユーザＵ１は、操作部２０４を介して、識別情報ｍ４２１として提示された「味噌汁」及び「スープ」のうちいずれかを選択することが可能となる。
【０１０５】
（領域の設定に基づく処理）
次に、表示部２０６に表示された画像に対して、ユーザＵ１が、対象物を示す領域を新たに設定する場合の、情報処理装置１０の動作について説明する。なお、以降では、図１３に示す画像ｐ１５１を領域指定前の状態とし、図１４を領域指定後の状態として説明する。図１４は、本実施形態に係る情報処理装置１０が画像中の対象物を示す識別情報を推定する処理について説明するための図である。具体的には、図１４に示す例は、図１３に示す画像ｐ１５１を基準として、領域ｆ４３が指定された画像ｐ１５２を示している。そこで、以降では、ユーザＵ１により、図１４に示す領域ｆ４３が指定されたものとして、情報処理装置１０の各構成の動作について説明する。また、確度特定部１０８、抽出部１１４、及び推定部１１８は、「画像取得に基づく処理」において取得した各データを保持しているものとして説明する。なお「画像取得に基づく処理」で取得されたデータが逐次破棄される場合には、確度特定部１０８、抽出部１１４、及び推定部１１８は、必要に応じて対応するデータを改めて取得すればよい。
【０１０６】
表示制御部１２０は、表示部２０６に表示させた画像中の領域を指定するためのＵ／Ｉを、表示部２０６に表示させる。なお、当該Ｕ／Ｉを表示させるための制御データは、表示制御部１２０が読み出し可能な場所に記憶させておけばよい。
【０１０７】
ユーザＵ１は、操作部２０４を介して、表示部２０６に表示されたＵ／Ｉを操作することで、画像中に領域を指定する。ここでは、図１４に示すように、画像ｐ１５２中に領域ｆ４３が指定されたものとする。なお、画像中に領域を指定するためのＵ／Ｉの具体例については、実施例１及び２として後述する。
【０１０８】
表示部２０６に表示された画像ｐ１５２中に領域ｆ４３が指定されると、対象物指定部１０６は、操作部２０４から、画像ｐ１５２中の領域ｆ４３を示す情報を取得する。領域ｆ４３を示す情報としては、例えば、画像ｐ１５２中における領域ｆ４３の位置やサイズを示す情報が挙げられる。対象物指定部１０６は、取得した領域ｆ４３を示す情報に基づき、領域ｆ４３に対応する領域データを生成する。なお、対象物指定部１０６が生成する領域データは、前述した対象物抽出部１０４が生成する領域データと同様である。
【０１０９】
対象物指定部１０６は、生成した領域データを確度特定部１０８に出力する。なお、以降では、対象物指定部１０６は、領域ｆ４３に対応する領域データを確度特定部１０８に出力したものとして説明する。
【０１１０】
確度特定部１０８は、対象物指定部１０６から領域ｆ４３の領域データを取得する。確度特定部１０８は、取得した領域データに基づき、「画像取得に基づく処理」において対象物抽出部１０４から取得した画像中における領域ｆ４３を特定する。画像中の領域ｆ４３を特定したら、確度特定部１０８は、領域ｆ４３に含まれる対象物の識別スコアｄ１３を算出する。なお、識別スコアｄ１３の算出方法は、「画像取得に基づく処理」において前述した方法と同様である。以降では、領域ｆ４３に対応する対象物の識別スコアｄ１３を「識別スコアｄ１３ｃ」と呼ぶ場合がある。
【０１１１】
確度特定部１０８は、新たに取得した領域データと、当該領域中の対象物の識別スコアｄ１３とを抽出部１１４に出力する。以降では、確度特定部１０８は、領域ｆ４３の領域データと、領域ｆ４３中の対象物の識別スコアｄ１３ｃとを、抽出部１１４に出力したものとして説明する。
【０１１２】
抽出部１１４は、領域ｆ４３の領域データと、領域ｆ４３中の対象物の識別スコアｄ１３ｃと、確度特定部１０８から取得する。
【０１１３】
抽出部１１４は、取得した識別スコアｄ１３ｃを参照し、識別スコアｄ１３ｃがあらかじめ決められた閾値以上の値を示す検出対象を特定する。なお、検出対象が特定できた場合には、「画像取得に基づく処理」において前述したとおり、抽出部１１４は、当該検出対象に対応する共起確率データｄ１４の抽出と、領域データに対する当該検出対象を示す識別情報の関連付けとを行う。
【０１１４】
抽出部１１４は、領域ｆ４３の領域データを推定部１１８に出力する。また、抽出部１１４は、領域ｆ４３中の対象物の識別スコアｄ１３に基づき共起確率データｄ１４を抽出した場合には、抽出した共起確率データｄ１４を推定部１１８に出力する。なお、ここでは、抽出部１１４は、領域ｆ４３中の対象物の識別スコアｄ１３に基づき共起確率データｄ１４を抽出できなかったものとして説明する。そのため、領域ｆ４３に対応する領域データには、領域ｆ４３中の対象物を示す識別情報が関連付けられていないものとする。
【０１１５】
推定部１１８は、領域ｆ４３に対応する領域データと、領域ｆ４３中の対象物の識別スコアｄ１３ｃとを抽出部１１４から取得する。
【０１１６】
推定部１１８は、取得した領域ｆ４３に対応する領域データに対して識別情報が関連付けられているか否かを確認する。ここでは、領域ｆ４３に対応する領域データには、識別情報が関連付けられていなかったものとする。
【０１１７】
推定部１１８は、領域ｆ４３中の対象物の識別スコアｄ１３ｃに対し、「画像取得に基づく処理」において取得した共起確率データｄ１４を乗算することで、新たな識別スコアｄ１３’を算出する。図１４に示す例の場合には、推定部１１８は、識別スコアｄ１３ｃに対し、領域ｆ４１中の対象物に対応する共起確率データｄ１４ａを乗算することで、識別スコアｄ１３’を算出する。
【０１１８】
なお、領域ｆ４３に対する以降の処理は、前述の「画像取得に基づく処理」と同様である。即ち、推定部１１８は、領域ｆ４３中の対象物に対応する識別スコアｄ１３’を、基準１及び基準２に基づき判定し、判定結果に基づき領域ｆ４３に対応する領域データに識別情報を関連付ける。なお、以降では本実施形態に係る情報処理装置１０の動作の説明をわかりやすくするために、領域ｆ４３に対応する識別スコアｄ１３’に基づき、基準１及び基準２のいずれかを満たす検出対象が特定されなかったものとする。即ち、この場合には、領域ｆ４３に対応する領域データには、識別情報が関連付けられなかったこととなる。
【０１１９】
表示制御部１２０は、推定部１１８から領域ｆ４３に対応する領域データを取得し、取得した領域データに基づき、「画像取得に基づく処理」において取得した画像中に、領域ｆ４３を重畳表示させる。なお、領域ｆ４３に対応する領域データには識別情報が関連付けられていない。そのため、この場合には、領域ｆ４３に対応する識別情報は表示されない。
【０１２０】
以上のようにして、図１３に示す画像ｐ１５１を基準として、図１４の画像ｐ１５２に示すように、領域ｆ４３が画像中に重畳表示される。
【０１２１】
なお、上記では、画像中に新たな領域を示す例について説明したが、画像中に既に表示されている領域を修正できるようにしてもよい。この場合には、対象物指定部１０６は、ユーザＵ１の操作を受けて修正された領域の領域データを操作部２０４から取得して確度特定部１０８に出力すればよい。以降、確度特定部１０８、抽出部１１４、推定部１１８、及び表示制御部１２０は、既に取得している修正前の領域データを新たに取得した修正後の領域データに更新し、更新後の領域データに対して上述した一連の処理を実行すればよい。
【０１２２】
なお、対象物指定部１０６は、修正対象の領域を示す情報を操作部２０４からあわせて取得し、取得した領域を示す情報を確度特定部１０８に出力してもよい。ここで、領域を示す情報とは、画像中から領域を一意に特定するための情報である。領域を示す情報の具体的な一例として、画像中の各領域を識別するために各領域データに付された識別情報であってもよいし、領域データそのものでもよい。上述した、領域を示す情報が、確度特定部１０８、抽出部１１４、推定部１１８、及び表示制御部１２０に通知されることで、これらの構成が、既に取得している修正前の領域データの中から、対象となる領域データを特定することが可能となる。
【０１２３】
（識別情報の設定に基づく処理）
次に、ユーザＵ１が、表示部２０６に表示された画像中の領域に対して、識別情報を設定する場合の、情報処理装置１０の動作について説明する。なお、以降では、図１４に示す画像ｐ１５２を識別情報設定前の状態とし、図１５を識別情報設定後の状態として説明する。図１５は、本実施形態に係る情報処理装置１０が画像中の対象物を示す識別情報を推定する処理について説明するための図である。具体的には、図１５に示す例は、図１４に示す画像ｐ１５２を基準として、識別情報ｍ４２１として提示された領域ｆ４２中の対象物の候補の中から「味噌汁」が選択された場合の画像ｐ１５３を示している。なお、前述の「領域の設定に基づく処理」の説明と同様に、確度特定部１０８、抽出部１１４、及び推定部１１８は、「領域の設定に基づく処理」において取得した各データを保持しているものとして説明する。
【０１２４】
ユーザＵ１は、操作部２０４を介して、表示部２０６に表示されたＵ／Ｉを操作することで、識別情報ｍ４２１として提示された候補の中から、領域ｆ４２中の対象物を示す識別情報に対応する候補を選択する。以降では、領域ｆ４２中の対象物を示す識別情報として、「味噌汁」が選択されたものとして説明する。
【０１２５】
識別情報ｍ４２１として提示された候補の中から一の候補が選択されると、識別情報指定部１１２は、選択された一の候補を示す情報と、識別情報ｍ４２１が関連付けられた領域ｆ４２を示す情報とを、操作部２０４から取得する。
【０１２６】
なお、一の候補を示す情報と、領域ｆ４２を示す情報とを操作部２０４から直接取得することが困難な場合には、識別情報指定部１１２は、ユーザＵ１により指定された画像中の位置を示す情報を操作部２０４から取得すればよい。この場合には、識別情報指定部１１２は、画像中に表示された各領域及び識別情報の位置情報を表示制御部１２０から取得し、ユーザＵ１により指定された位置と照合することで、選択された一の候補を示す情報と、領域ｆ４２を示す情報とを特定すればよい。
【０１２７】
識別情報指定部１１２は、ユーザＵ１により選択された一の候補を示す情報と、領域ｆ４２を示す情報とを、抽出部１１４に出力する。
【０１２８】
抽出部１１４は、ユーザＵ１により選択された一の候補を示す情報と、領域ｆ４２を示す情報とを、識別情報指定部１１２から取得する。
【０１２９】
抽出部１１４は、取得した一の候補が示す検出対象に対応する共起確率データｄ１４を、共起確率データ記憶部１１６から抽出する。図１５に示す例の場合には、識別情報ｍ４２１として提示された領域ｆ４２中の対象物の候補の中から「味噌汁」が選択されている。そのため、抽出部１１４は、「味噌汁」に対応する共起確率データｄ１４ｂを抽出することとなる。
【０１３０】
また、抽出部１１４は、取得した領域ｆ４２を示す情報に基づき、既に取得している領域データの中から領域ｆ４２に対応する領域データを特定する。領域ｆ４２に対応する領域データを特定したら、抽出部１１４は、取得した一の候補を示す識別情報、即ち、「味噌汁」を示す識別情報を、領域ｆ４２に対応する領域データに関連付ける。
【０１３１】
抽出部１１４は、識別情報が関連付けられることで更新された領域ｆ４２の領域データと、新たに抽出した共起確率データｄ１４ｂとを、推定部１１８に出力する。
【０１３２】
推定部１１８は、更新された領域ｆ４２に対応する領域データと、共起確率データｄ１４ｂとを、抽出部１１４から取得する。
【０１３３】
推定部１１８は、既に取得している更新前の領域ｆ４２に対応する領域データを、新たに取得した更新後の領域ｆ４２に対応する領域データにより更新する。そして、推定部１１８は、取得している各領域データに対して、当該領域データが示す領域中の対象物の識別結果を示す識別情報が関連付けられているか否かを確認し、識別情報が関連付けられていない領域データを改めて抽出する。図１５に示す例の場合には、推定部１１８は、領域ｆ４３に対応する領域データを抽出する。
【０１３４】
推定部１１８は、抽出した領域ｆ４３に対応する領域データについて、領域ｆ４３中の対象物の識別スコアｄ１３ｃに対して、取得している共起確率データｄ１４を乗算することで、新たな識別スコアｄ１３’を算出する。
【０１３５】
ここで、図１５に示す例では、推定部１１８は、共起確率データｄ１４として、領域ｆ４１中の対象物である「魚料理」に対応する共起確率データｄ１４ａと、領域ｆ４２中の対象物である「味噌汁」に対応する共起確率データｄ１４ａとを取得している。
【０１３６】
このように、共起確率データｄ１４が複数存在する場合には、推定部１１８は、共起確率データｄ１４それぞれに対して識別スコアｄ１３ｃを乗算することで、識別スコアｄ１３’を共起確率データｄ１４ごとに算出する。図１５に示す例の場合には、推定部１１８は、識別スコアｄ１３ｃと共起確率データｄ１４ａとを乗算した識別スコアｄ１３’と、識別スコアｄ１３ｃと共起確率データｄ１４ｂとを乗算した識別スコアｄ１３’とを算出する。
【０１３７】
そして、推定部１１８は、共起確率データｄ１４ごとに算出された識別スコアｄ１３’の平均を、対応する領域の識別スコアｄ１３’とする。
【０１３８】
なお、以降の処理については、「画像取得に基づく処理」や「領域の設定に基づく処理」と同様のため、詳細な説明は省略する。以上の操作が適宜繰り返されることで、画像中に撮像された対象物を示す領域が、当該画像中に設定され、設定された領域に、当該領域中の対象物を示す識別情報が関連付けられて表示される。
【０１３９】
一方で、画像中に撮像された対象物の領域と、当該領域中の対象物を示す識別情報とが設定された画像は、識別スコアｄ１３や共起確率データｄ１４を算出するためのサンプルデータとなり得る。
【０１４０】
具体的な一例として、撮像部２０２から取得した画像から、「魚料理」、「味噌汁」が対象物として検出されたものする。この場合には、当該画像中の「魚料理」に対応する領域の部分画像は、「魚料理」である確度を示す識別スコアｄ１３を算出するためのサンプルデータとなり得る。また、当該画像からは、「魚料理」と「味噌汁」が対象物として検出されている。そのため、この「魚料理」と「味噌汁」とが検出された画像は、「魚料理」と「味噌汁」との間の共起確率を算出するためのサンプルデータとなる。
【０１４１】
そこで、本実施形態に係る情報処理装置１０は、検出対象ごとの識別スコアｄ１３及び共起確率データｄ１４を更新するための更新部１２２を設けてもよい。
【０１４２】
具体的には、更新部１２２は、取得された画像と、画像中に設定された領域に対応する領域データと、当該領域データに関連付けられた識別情報とを、推定部１１８から取得する。ここで、領域データに関連付けられた識別情報は、当該領域データが示す領域中の対象物の識別結果を示していることとなる。
【０１４３】
具体的には、更新部１２２は、取得した画像と、識別情報が関連付けられた領域データとを、特徴量データ記憶部１１０に記憶させる。例えば、取得した画像から、「魚料理」、「味噌汁」が対象物として検出されたものする。この場合には、当該画像中の「魚料理」に対応する領域の部分画像は、「魚料理」である確度を示す識別スコアｄ１３を算出するためのサンプルデータとなり得る。そこで、更新部１２２は、「魚料理」と「味噌汁」が対象物として検出された画像を、「魚料理」や「味噌汁」の識別スコアｄ１３を算出するためのサンプルデータとして特徴量データ記憶部１１０に記憶させる。
【０１４４】
また、更新部１２２は、取得した画像と、識別情報が関連付けられた領域データとを、共起確率データ記憶部１１６に記憶させてもよい。例えば、「魚料理」と「味噌汁」とが検出された画像は、「魚料理」と「味噌汁」との間の共起確率を算出するためのサンプルデータとなる。そこで、更新部１２２は、「魚料理」と「味噌汁」が対象物として検出された画像を、「魚料理」と「味噌汁」との間の共起確率を算出または更新するためのサンプルデータとして、共起確率データ記憶部１１６に記憶させる。
【０１４５】
以上のように、更新部１２２を設けることで、本実施形態に係る情報処理装置１０は、画像の取得と、当該画像中の対象物の認識及び識別に係る処理とを繰り返すことで、画像中からの対象物の認識及び識別に係る精度を向上させることが可能となる。
【０１４６】
なお、上記では、識別情報として提示された候補の中から、領域中の対象物を示す識別情報の候補を選択する例について説明したが、ユーザＵ１が領域中の対象物を示す識別情報を直接入力できるようにしてもよい。この場合には、識別情報指定部１１２は、ユーザＵ１により入力された対象物を示す識別情報と、領域を示す情報とを、抽出部１１４に出力すればよい。なお、以降の処理については、領域中の対象物を示す識別情報の候補を選択する場合と同様である。
【０１４７】
また、領域が指定の指定を受けて当該領域中の対象物が識別された場合には、新たに識別された対象物に対応する共起確率データｄ１４に基づき、他の領域中の対象物を識別してもよい。例えば、上記では、図１４に示す例において領域ｆ４３が指定された場合に、領域ｆ４３中の対象物を「ご飯」と認識することが困難な場合について説明した。一方で、領域ｆ４３中の対象物の識別スコアｄ１３に基づき当該対象物を「ご飯」と認識できたものする。この場合には、情報処理装置１０は、識別された「ご飯」に対応する共起確率データｄ１４を抽出する。そして、情報処理装置１０は、抽出した「ご飯」の共起確率データｄ１４に基づき、領域ｆ４２中の対象物を、識別情報ｍ４２１に候補として提示された「味噌汁」及び「スープ」の中から特定してもよい。
【０１４８】
また、上記に示す例では、画像中に撮像された料理を対象物として認識及び識別する例について説明したが、対象物は料理には限定されない。具体的な一例として、顔認識技術を応用することで、画像中に撮像された人を対象部として認識及び識別してもよい。例えば、図１６は、本実施形態に係る情報処理システム１の適用例について説明するため図であり、顔認識技術により画像中に撮像された人を検出する場合の例を示している。
【０１４９】
図１６に示す例では、画像ｐ１６中に男性と女性とが撮像されており、当該男性及び女性の顔の認識結果に基づき、男性に対応する領域ｆ５１と、女性に対応する領域ｆ５２とが設定されているものとする。このとき、ユーザＵ１が、領域ｆ５１中の人物を示す識別情報として、「鈴木太郎」を示す識別情報ｍ５１を設定したものとする。
【０１５０】
ここで、図１７を参照する。図１７は、本実施形態に係る情報処理システム１の適用例について説明するため図であり、領域ｆ５１中の人物に対して識別情報ｍ５１が設定される前後の、領域ｆ５２中の人物の推定結果を示している。図１７において、一覧ｖ１６１は、領域ｆ５１中の人物に対して識別情報ｍ５１が設定される前の、領域ｆ５２中の人物の推定結果を示している。即ち、一覧ｖ１６１に示された推定結果は、領域ｆ５２中の人物の識別スコアｄ１３のみ基づく、領域ｆ５２中の人物の推定結果である。
【０１５１】
これに対して、一覧ｖ１６２は、領域ｆ５１中の人物に対して識別情報ｍ５１が設定された後の、領域ｆ５２中の人物の推定結果を示している。即ち、一覧ｖ１６２は、領域ｆ５２中の人物の識別スコアｄ１３と、識別情報ｍ５１で示された「鈴木太郎」に対応する共起確率データｄ１４とに基づく、領域ｆ５２中の人物の推定結果である。
【０１５２】
図１３に示すように、例えば、「鈴木太郎」には、４０代女性の知り合いが少なく、一緒に写真を撮られる機会が少なかったものとする。この場合には、「鈴木太郎」と、４０代女性に対応する人物との間の共起確率は低くなる。このような前提に基づくと、例えば、領域ｆ５２中の人物の識別スコアｄ１３のみの判定では、一覧ｖ１６１に示すように、参照符号ｍ５２２で示された人物が候補として抽出される。これに対して、領域ｆ５１中の人物に対して識別情報ｍ５１が設定されることで、一覧ｖ１６２に示すように、参照符号ｍ５２２で示された人物が候補から除外される。
【０１５３】
また、２０代女性に着目した場合には、領域ｆ５２中の人物の識別スコアｄ１３のみの判定では、領域ｆ５２中の人物は、参照符号ｍ５２１に示した人物の可能性が高い。これに対して、領域ｆ５１中の人物に対して識別情報ｍ５１が設定されることで、一覧ｖ１６２に示すように、領域ｆ５２中の人物が、参照符号ｍ５２１で示された人物よりも、参照符号ｍ５２３で示された人物（例えば、家族等）である可能性が高くなる。
【０１５４】
また、一覧ｖ１６２の参照符号ｍ５２４に示すように、識別情報ｍ５１の設定前に確率が低く候補として挙がらなかった人物を、「鈴木太郎」との共起確率に基づき推定することが可能となる。
【０１５５】
なお、上述した対象物を料理とした場合の例では、サンプルデータの蓄積により共起確率を算出する例について説明したが、一の対象物と他の対象物が共起する確率を定義できればサンプルデータを蓄積する方法には限定されない。例えば、対象物が料理の場合には、食い合わせの良し悪しのような料理間の相性に基づき、共起確率を定義してもよい。また、画像中から人物を検出する場合には、検出対象である人物間のメールの履歴や、家族または友人のような人間関係等に基づき、共起確率を定義してもよい。
【０１５６】
また、サンプルデータを複数のユーザで共有することで、識別スコアｄ１３や共起確率データｄ１４の精度を向上させてもよい。具体的な一例として、特徴量データ記憶部１１０や共起確率データ記憶部１１６を、ソーシャルネットワーク等のクラウドサービス上で管理し、複数のユーザ間で共有することにより実現することも可能である。
【０１５７】
また、図６に示す構成はあくまで一例であり、情報処理装置１０及びユーザ端末２０の各構成間における入出力関係が変わらなければ、当該各構成の位置は限定されない。例えば、情報処理装置１０の各構成をユーザ端末２０内に含めることで、スタンドアロンの構成としてもよい。また、図６に示す例では表示制御部１２０を情報処理装置１０側に設けていたが、表示制御部１２０をユーザ端末２０側に設ける構成としてもよい。なお、図６に示す構成において、情報処理装置１０に着目した場合は、推定部１１８が「識別情報取得部」の一例に相当する。同様に、ユーザ端末２０に着目した場合は、表示部２０６において表示制御部１２０から領域データを取得する構成が、当該領域データに関連付けられた各候補を示す識別情報を取得していることになり、「識別情報取得部」の一例に相当する。
【０１５８】
［１．３．処理］
次に、本実施形態に係る情報処理装置１０の一連の処理の流れについて、特に特徴的な「領域の設定に基づく処理」、「識別情報の設定に基づく処理」、及び、「識別情報の表示に係る処理」に着目して説明する。
【０１５９】
（領域の設定に基づく処理）
まず、領域の設定に基づく情報処理装置１０の一連の動作の流れについて、ユーザＵ１が画像中に設定された領域を変更した場合を例に、図１８を参照しながら説明する。図１８は、本実施形態に係る情報処理装置１０の動作を示したフローチャートであり、画像中に設定された領域が変更された場合の動作を示している。
【０１６０】
（ステップＳ１０２）
例えば、画像中に領域ｆ４１及びｆ４２が設定されており、領域ｆ４１中の対象物が「ご飯」として識別されていたとする。このとき、ユーザＵ１が、領域ｆ４２の範囲を変更すると、対象物指定部１０６は、ユーザＵ１の操作を受けて修正された領域ｆ４２を示す情報と、修正後の領域ｆ４２の領域データとを操作部２０４から取得する。対象物指定部１０６は、領域ｆ４２を示す情報と、修正後の領域ｆ４２に対応する領域データとを確度特定部１０８に出力する。
【０１６１】
（ステップＳ１０４）
確度特定部１０８は、領域ｆ４２を示す情報と、修正後の領域ｆ４２に対応する領域データとを対象物指定部１０６から取得する。確度特定部１０８は、取得した領域ｆ４２を示す情報に基づき、既に取得している領域データの中から修正前の領域ｆ４２に対応する領域データを特定する。そして、確度特定部１０８は、特定した修正前の領域ｆ４２に対応する領域データを、新たに取得した修正後の領域ｆ４２に対応する領域データで更新する。なお、以降では、特に記載が無い場合においても、抽出部１１４、推定部１１８、及び表示制御部１２０に対して領域ｆ４２を示す情報が通知されることで、抽出部１１４、推定部１１８、及び表示制御部１２０は領域ｆ４２に対応する領域データを特定するものとする。ただし、領域ｆ４２を示す情報に基づく領域データの特定方法はあくまで一例であり、領域ｆ４２に対応する領域データが特定できれば、その方法は限定されないものとする。
【０１６２】
領域ｆ４２に対応する領域データを更新したら、確度特定部１０８は、既に取得している画像、即ち、表示部２０６に表示された画像中における更新後の領域ｆ４２を特定する。画像中の領域ｆ４２を特定したら、確度特定部１０８は、領域ｆ４２に含まれる対象物の識別スコアｄ１３を再計算する。以降では、更新後の領域ｆ４２に対応する対象物の識別スコアｄ１３を「識別スコアｄ１３ｂ」と呼ぶ場合がある。
【０１６３】
確度特定部１０８は、更新後の領域ｆ４２に対応する領域データと、再計算した領域ｆ４２中の対象物の識別スコアｄ１３ｂとを、抽出部１１４に出力する。
【０１６４】
（ステップＳ１０６）
抽出部１１４は、更新後の領域ｆ４２に対応する領域データと、再計算された領域ｆ４３中の対象物の識別スコアｄ１３ｃとを、確度特定部１０８から取得する。
【０１６５】
抽出部１１４は、取得した識別スコアｄ１３ｂを参照し、識別スコアｄ１３ｂがあらかじめ決められた閾値以上の値を示す検出対象を特定する。なお、検出対象が特定でき場合の動作は、「画像取得に基づく処理」において前述したとおり、抽出部１１４は、当該検出対象に対応する共起確率データｄ１４の抽出と、領域データに対する当該検出対象を示す識別情報の関連付けとを行う。
【０１６６】
抽出部１１４は、更新後の領域ｆ４２の領域データを推定部１１８に出力する。また、抽出部１１４は、更新後の領域ｆ４２中の対象物の識別スコアｄ１３ｂに基づき共起確率データｄ１４を抽出した場合には、抽出した共起確率データｄ１４を推定部１１８に出力する。
【０１６７】
なお、ここでは、抽出部１１４は、更新後の領域ｆ４２中の対象物の識別スコアｄ１３ｂに基づき共起確率データｄ１４を抽出できなかったものとして説明する。そのため、更新後の領域ｆ４２に対応する領域データには、当該領域ｆ４２中の対象物を示す識別情報が関連付けられていないものとする。
【０１６８】
（ステップＳ１０８）
推定部１１８は、更新後の領域ｆ４２に対応する領域データと、当該領域ｆ４２中の対象物の識別スコアｄ１３ｂとを、抽出部１１４から取得する。
【０１６９】
推定部１１８は、取得した更新後の領域ｆ４２に対応する領域データに対して識別情報が関連付けられているか否かを確認する。ここでは、更新後の領域ｆ４２に対応する領域データには、識別情報が関連付けられていなかったものとする。
【０１７０】
推定部１１８は、更新後の領域ｆ４２中の対象物の識別スコアｄ１３ｂに対し、領域ｆ４１中の対象物について既に取得している共起確率データｄ１４、即ち、「ご飯」に対応する共起確率データｄ１４を乗算することで、新たな識別スコアｄ１３’を算出する。
【０１７１】
推定部１１８は、更新後の領域ｆ４２中の対象物に対応する識別スコアｄ１３’を、基準１及び基準２に基づき判定し、判定結果に基づき当該領域ｆ４２に対応する領域データに識別情報を関連付ける。
【０１７２】
推定部１１８は、更新後の領域ｆ４２に対応する領域データを、表示制御部１２０に出力する。
【０１７３】
（ステップＳ１１０）
表示制御部１２０は、更新後の領域ｆ４２に対応する領域データを、推定部１１８から取得する。表示制御部１２０は、取得した更新後の領域ｆ４２に対応する領域データに基づき、画像中に既に表示されている領域ｆ４２を更新する。
【０１７４】
また、表示制御部１２０は、取得した更新後の領域ｆ４２に関連付けられた識別情報を抽出し、既に領域ｆ４２に関連付けられて表示された識別情報を、抽出した識別情報で更新する。
【０１７５】
以上のようにして、領域ｆ４２の範囲が変更された場合に、変更された領域ｆ４２に基づき、当該領域ｆ４２中の対象物の識別結果が更新され、更新後の識別結果に基づき領域ｆ４２に関連付けられた識別情報が更新される。
【０１７６】
（識別情報の設定に基づく処理）
次に、識別情報の設定に基づく情報処理装置１０の一連の動作の流れについて、ユーザＵ１が、画像中の領域に対して識別情報を設定する場合を例に、図１９を参照しながら説明する。図１９は、本実施形態に係る情報処理装置１０の動作を示したフローチャートであり、画像中の領域に対して識別情報が設定された場合の動作を示している。
【０１７７】
（ステップＳ２０２）
例えば、画像中に領域ｆ４１及びｆ４２が設定されており、領域ｆ４２中の対象物を示す識別結果の候補として「味噌汁」と「ラーメン」が提示されていたとする。このとき、ユーザＵ１が、領域ｆ４１中の対象物を示す識別情報として「ご飯」を設定すると、識別情報指定部１１２は、対象物を示す識別情報として設定された「ご飯」を示す情報と、当該「ご飯」が設定された領域ｆ４１を示す情報とを、操作部２０４から取得する。
【０１７８】
識別情報指定部１１２は、ユーザＵ１により選択された「ご飯」を示す情報と、領域ｆ４１を示す情報とを、抽出部１１４に出力する。
【０１７９】
（ステップＳ２０４）
抽出部１１４は、取得した「ご飯」を示す情報に基づき、「ご飯」に対応する共起確率データｄ１４ａを、共起確率データ記憶部１１６から抽出する。
【０１８０】
また、抽出部１１４は、取得した領域ｆ４１を示す情報に基づき、既に取得している領域データの中から領域ｆ４１に対応する領域データを特定する。領域ｆ４１に対応する領域データを特定したら、抽出部１１４は、「ご飯」を示す識別情報を、領域ｆ４１に対応する領域データに関連付ける。なお、以降では、特に記載が無い場合においても、推定部１１８及び表示制御部１２０に対して領域ｆ４１を示す情報が通知されることで、推定部１１８及び表示制御部１２０は領域ｆ４１に対応する領域データを特定するものとする。
【０１８１】
抽出部１１４は、識別情報が関連付けられることで更新された領域ｆ４１の領域データと、新たに抽出した「ご飯」に対応する共起確率データｄ１４ａとを、推定部１１８に出力する。
【０１８２】
（ステップＳ２０６）
推定部１１８は、更新された領域ｆ４１に対応する領域データと、共起確率データｄ１４ａとを、抽出部１１４から取得する。
【０１８３】
推定部１１８は、既に取得している更新前の領域ｆ４１に対応する領域データを、新たに取得した更新後の領域ｆ４１に対応する領域データにより更新する。そして、推定部１１８は、取得している各領域データに対して、当該領域データが示す領域中の対象物の識別結果を示す識別情報が関連付けられているか否かを確認し、識別情報が関連付けられていない領域データを改めて抽出する。なお、領域ｆ４２には、対象物の識別結果を示す識別情報ではなく、識別結果の候補を示す識別情報が関連付けられている。そのため、ここでは、領域ｆ４２に対応する領域データが抽出されたものとして説明する。
【０１８４】
推定部１１８は、抽出した領域ｆ４２に対応する領域データについて、領域ｆ４２中の対象物の識別スコアｄ１３に対して、取得している共起確率データｄ１４を乗算することで、領域ｆ４２中の対象物に対応する識別スコアｄ１３’を再計算する。
【０１８５】
ここでは、推定部１１８は、共起確率データｄ１４として、領域ｆ４１中の対象物である「ご飯」に対応する共起確率データｄ１４ａを取得している。そのため、推定部１１８は、領域ｆ４２中の対象物の識別スコアｄ１３に対して、「ご飯」に対応する共起確率データｄ１４ａを乗算することで、領域ｆ４２中の対象物に対応する識別スコアｄ１３’を再計算することとなる。
【０１８６】
推定部１１８は、再計算された領域ｆ４２中の対象物に対応する識別スコアｄ１３’を、基準１及び基準２に基づき判定し、判定結果に基づき当該領域ｆ４２に対応する領域データに識別情報を関連付ける。これにより、領域ｆ４２に対応する領域データが更新される。
【０１８７】
推定部１１８は、更新後の領域ｆ４２に対応する領域データを、表示制御部１２０に出力する。
【０１８８】
（ステップＳ２０８）
表示制御部１２０は、更新後の領域ｆ４２に対応する領域データを、推定部１１８から取得する。表示制御部１２０は、取得した更新後の領域ｆ４２に対応する領域データに基づき、画像中に既に表示されている領域ｆ４２を更新する。
【０１８９】
また、表示制御部１２０は、取得した更新後の領域ｆ４２に関連付けられた識別情報を抽出し、既に領域ｆ４２に関連付けられて表示された識別情報を、抽出した識別情報で更新する。
【０１９０】
以上のようにして、領域ｆ４１中の対象物を示す識別情報が設定された場合に、領域ｆ４１の識別結果に対応する共起確率データに基づき、領域ｆ４２中の対象物の識別結果が更新され、更新後の識別結果に基づき領域ｆ４２に関連付けられた識別情報が更新される。
【０１９１】
（識別情報の表示に係る処理）
次に、識別情報の表示に係る処理として、図２０を参照しながら、領域中の対象物の識別結果を示す識別情報、または、識別結果の候補を示す識別情報を特定し、特定された識別情報を対応する領域に関連付けて表示する詳細な処理の一例について説明する。図２０は、本実施形態に係る情報処理装置１０の動作を示したフローチャートであり、領域中の対象物の識別結果を示す識別情報、または、識別結果の候補を示す識別情報を特定し、対応する領域に関連付けて表示する場合の動作を示している。なお、以降では、画像中の一の領域ｆ４１に対する処理に着目し、既に、領域ｆ４１中の対象物の識別スコアｄ１３’が算出されているものとして説明する。
【０１９２】
（ステップＳ３０２）
推定部１１８は、領域ｆ４１中の対象物の識別スコアｄ１３’を算出すると、検出対象ごとの識別スコアｄ１３’のリストを生成し、当該リストを識別スコアｄ１３’が大きい順にソートする。なお、以降では、識別スコアｄ１３’のリストを「識別スコアリスト」と記載する場合がある。
【０１９３】
（ステップＳ３０４、Ｓ３０６）
推定部１１８は、識別スコアリストが空か否かを判定し、識別スコアリストが空でない場合（ステップＳ３０４、Ｎｏ）は、識別スコアリスト中に含まれる一の検出対象の識別スコアｄ１３’を抽出する（ステップＳ３０６）。
【０１９４】
（ステップＳ３０８）
推定部１１８は、識別スコアリストから抽出した識別スコアｄ１３’が基準１を満たしているか否かを判定する。
【０１９５】
（ステップＳ３１０）
抽出した識別スコアｄ１３’が基準１を満たしている場合（ステップＳ３０８、Ｙｅｓ）、即ち、識別スコアｄ１３’が第１の閾値以上の場合には、推定部１１８は、当該識別スコアｄ１３’に対応する検出対象を、領域ｆ４１中の対象物の識別結果として認識する。なお、第１の閾値は、推定部１１８が、識別スコアｄ１３’に基づき対象物を識別するための閾値である。
【０１９６】
例えば、判定対象の識別スコアｄ１３’が「味噌汁」に対応している場合には、推定部１１８は、領域ｆ４１中の対象物を「味噌汁」として識別する。この場合には、推定部１１８は、当該識別スコアｄ１３’に対応する検出対象を示す識別情報、即ち「味噌汁」を示す識別情報を、対象物の識別結果を示す識別情報として領域ｆ４１に対応する領域データに関連付ける。
【０１９７】
推定部１１８は、識別情報が関連付けられた領域ｆ４１に対応する領域データを、表示制御部１２０に出力する。表示制御部１２０は、表示部２０６に表示させた画像に対して、取得した領域データに基づく領域ｆ４１を重畳表示させる。そして、表示制御部１２０は、領域ｆ４１に対応する領域データに関連付けられた「味噌汁」を示す識別情報を、領域ｆ４１中の対象物の識別結果として、領域ｆ４１に関連付けて表示させる。
【０１９８】
なお、基準１を満たす識別スコアｄ１３’が検出された場合には、推定部１１８は、識別スコアリストに含まれる他の識別スコアｄ１３’に対して、基準１及び基準２に基づく判定を行う必要はない。
【０１９９】
（ステップＳ３１２）
抽出した識別スコアｄ１３’が基準１を満たしていなかった場合（ステップＳ３０８、Ｎｏ）、即ち、識別スコアｄ１３’が第１の閾値未満の場合には、推定部１１８は、当該識別スコアｄ１３’が基準２を満たしているか否かを判定する。
【０２００】
（ステップＳ３１４）
抽出した識別スコアｄ１３’が基準２を満たしている場合（ステップＳ３１２、Ｙｅｓ）、即ち、識別スコアｄ１３’が第２の閾値以上の場合には、推定部１１８は、当該識別スコアｄ１３’に対応する検出対象を、領域ｆ４１中の対象物を示す識別結果の候補として認識する。なお、第２の閾値は、推定部１１８が、識別スコアｄ１３’に基づき対象物を示す識別結果の候補を特定するための閾値である。
【０２０１】
推定部１１８は、基準２を満たす識別スコアｄ１３’に対応する検出対象を、領域ｆ４１中の対象物を示す識別結果の候補を示すリストに追加する。なお、以降では、対象物を示す識別結果の候補を示すリストを、「候補リスト」と呼ぶ場合がある。
【０２０２】
なお、抽出した識別スコアｄ１３’が基準２を満たしていない場合（ステップＳ３１２、Ｎｏ）、即ち、識別スコアｄ１３’が第２の閾値未満の場合には、推定部１１８は、当該識別スコアｄ１３’に対応する検出対象を、候補リストには追加しないこととなる。
【０２０３】
（ステップＳ３０４）
以上のようにして、推定部１１８は、基準１を満たす識別スコアｄ１３’が検出されるか、または、識別スコアリストが空になるまで、ステップＳ３０６〜Ｓ３１４に係る処理を実行する。
【０２０４】
（ステップＳ３１６）
識別スコアリストが空になったら（ステップＳ３０４、Ｙｅｓ）、推定部１１８は、候補リストに領域ｆ４１中の対象物を示す識別結果の候補が含まれているか否かを確認する。
【０２０５】
候補リストが空の場合には（ステップＳ３１６、Ｙｅｓ）、推定部１１８は、領域ｆ４１に対応する領域データを、表示制御部１２０に出力する。表示制御部１２０は、表示部２０６に表示させた画像に対して、取得した領域データに基づく領域ｆ４１を重畳表示させる。このとき、領域ｆ４１に対応する領域データには、識別情報が関連付けられていないこととなる。そのため、この場合には、表示制御部１２０は、領域ｆ４１に対して識別情報を関連付けないこととなる。
【０２０６】
候補リストが空ではない場合には（ステップＳ３１６、Ｎｏ）、推定部１１８は、候補リストに含まれる各識別情報を、領域ｆ４１中の対象物を示す識別結果の候補として、領域ｆ４１に対応する領域データに関連付ける。そして、推定部１１８は、識別情報が関連付けられた領域ｆ４１に対応する領域データを、表示制御部１２０に出力する。表示制御部１２０は、表示部２０６に表示させた画像に対して、取得した領域データに基づく領域ｆ４１を重畳表示させる。そして、表示制御部１２０は、領域ｆ４１に対応する領域データに関連付けられた各識別情報を、領域ｆ４１中の対象物を示す識別結果の候補として、領域ｆ４１に関連付けて表示させる。
【０２０７】
以上のようにして、推定部１１８は、領域ｆ４１中の対象物の識別スコアｄ１３’に対して基準１及び基準２に基づく判定を施し、領域中の対象物の識別結果を示す識別情報、または、識別結果の候補を示す識別情報を特定する。これにより、表示制御部１２０は、識別スコアｄ１３’に対する判定結果に基づき、領域ｆ４１に対して、領域ｆ４１中の対象物の識別結果を示す識別情報、または、識別結果の候補を示す識別情報を関連付けて表示させることが可能となる。
【０２０８】
［１．４．実施例１：領域の指定方法（ポインタ操作）］
次に、実施例１として、画像中の領域を指定する方法の一例について説明する。ここでは、マウスやトラックボール等のデバイスを用いてポインタｃ１を操作することにより、画像中に領域を指定する方法の一例について説明する。
【０２０９】
（領域の設定）
まず、図２１を参照する。図２１は、実施例１に係る領域の指定方法の一例について説明するための図であり、あらかじめ決められた形状及びサイズの領域を、画像中の指定された位置に設定する例を示している。
【０２１０】
例えば、図２１の画面ｐ１７１は、画像中に領域が設定される前の状態を示している。また、参照符号ｖ１７は、画像中に設定する領域を指定するための領域指定用の画面（以降では、「領域指定部ｖ１７」と呼ぶ）である。例えば、図２１に示す例では、領域指定部ｖ１７は、長方形の領域を設定するためのアイコンｖ１７１と、楕円形の領域を設定するためのアイコンｖ１７２を含む。
【０２１１】
ユーザＵ１は、画面ｐ１７１に示すよう、所望の領域に対応するアイコンをポインタｃ１でクリックすることで、設定する領域の種別（即ち、形状やサイズ）を選択する。設定する領域の種別を選択したら、ユーザＵ１は、画面ｐ１７２に示すように、画像中の所望の位置をクリックする。
【０２１２】
ユーザＵ１による操作を受けて、ポインタｃ１により画像中の位置がクリックされると、情報処理装置１０は、ポインタｃ１によりクリックされた位置を基準として、選択された種別の領域を設定する。図２１に示す例では、画面ｐ１７１に示すように、ユーザＵ１は、ポインタｃ１によりアイコンｖ１７２をクリックしている。そのため、情報処理装置１０は、画面ｐ１７３に示すように楕円形の領域ｆ６１を画像中に設定している。
【０２１３】
（領域の削除）
次に、図２２を参照しながら、画像中に設定された領域を削除する例について説明する。図２２は、実施例１に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域を削除する例を示している。
【０２１４】
例えば、図２２の画面ｐ１７４は、画像中に領域ｆ６１が設定された状態を示している。ユーザＵ１は、画面ｐ１７４に示すように、領域ｆ６１内の一部をポインタｃ１でダブルクリックする。
【０２１５】
ユーザＵ１による操作を受けて、ポインタｃ１により領域ｆ６１内の一部がダブルクリックされると、情報処理装置１０は、画面ｐ１７５に示すように、ポインタｃ１によるダブルクリックにより指定された領域ｆ６１を画像中から削除する。
【０２１６】
（領域の移動）
次に、図２３を参照しながら、画像中に設定された領域を移動させる例について説明する。図２３は、実施例１に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域を移動させる例を示している。
【０２１７】
例えば、図２３の画面ｐ１７６は、画像中に領域ｆ６１１が設定された状態を示している。ユーザＵ１は、画面ｐ１７６の参照番号ｃ１７６に示すように、領域ｆ６１１内の一部をポインタｃ１でドラッグする。
【０２１８】
ユーザＵ１による操作を受けて、ポインタｃ１により領域ｆ６１１内の一部がドラッグされると、情報処理装置１０は、ポインタｃ１によるドラッグ操作に領域ｆ６１１を追随させることで、画面ｐ１７７の領域ｆ６１２に示すように、領域ｆ６１１の位置を変更する。なお、画面ｐ１７７中の領域ｆ６１２は、ドラッグ操作に基づく移動後の領域ｆ６１１を示している。
【０２１９】
（領域のサイズ変更）
次に、図２４を参照しながら、画像中に設定された領域のサイズを変更する例について説明する。図２４は、実施例１に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域のサイズを変更する例を示している。
【０２２０】
例えば、図２４の画面ｐ１７８は、画像中に領域ｆ６２１が設定された状態を示している。ユーザＵ１は、画面ｐ１７８の参照番号ｃ１７７に示すように、領域ｆ６２１の外縁ｆ６２１ａをポインタｃ１でドラッグする。
【０２２１】
ユーザＵ１による操作を受けて、ポインタｃ１により領域ｆ６２１の外縁ｆ６２１ａがドラッグされると、情報処理装置１０は、ポインタｃ１によるドラッグ操作に外縁ｆ６２１ａが追随するように、領域ｆ６２１を変形させる。これにより、領域ｆ６２１のサイズが、画面ｐ１７９の領域ｆ６２２に示すように変更される。なお、画面ｐ１７９中の領域ｆ６２２は、ドラッグ操作に基づきサイズが変更された領域ｆ６２１を示している。
【０２２２】
（領域の回転）
次に、図２５を参照しながら、画像中に設定された領域を回転させることで向きを変更する例について説明する。図２５は、実施例１に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域を回転させることで向きを変更する例を示している。
【０２２３】
例えば、図２５の画面ｐ１８０は、画像中に領域ｆ６３１が設定された状態を示している。ユーザＵ１が、画面ｐ１８０中の領域ｆ６３１をポインタｃ１によりクリックすると、情報処理装置１０は、ハンドルｆ６３１ａを表示させる。次いで、ユーザＵ１が、画面ｐ１８０の参照番号ｃ１８１に示すように、ハンドルｆ６３１ａをポインタｃ１でドラッグする。
【０２２４】
ユーザＵ１による操作を受けて、ポインタｃ１によりハンドルｆ６３１ａがドラッグされると、情報処理装置１０は、ポインタｃ１によるドラッグ操作にハンドルｆ６３１ａが追随するように、領域ｆ６３１を回転させる。これにより、領域ｆ６３１の向きが、画面ｐ１８１の領域ｆ６３２に示すように変更される。なお、画面ｐ１８１中の領域ｆ６３２は、ドラッグ操作に基づき向きが変更された領域ｆ６３１を示している。
【０２２５】
なお、上記に示した、ポインタｃ１の操作により画像中に領域を指定する方法はあくまで一例である。そのため、必ずしも上記示した全ての指定方法を実現する必要はなく、一部のみを採用してもよい。また、ポインタｃ１の操作により画像中に領域を指定できれば、上記の方法には限定されない。
【０２２６】
［１．５．実施例２：領域の指定方法（タッチパネル）］
次に、実施例２として、画像中の領域を指定する方法の一例について説明する。ここでは、タッチパネルを用いた操作により、画像中に領域を指定する方法の一例について説明する。
【０２２７】
（領域の設定：既存の形状及びサイズの領域の設定）
まず、図２６を参照する。図２６は、実施例２に係る領域の指定方法の一例について説明するための図であり、あらかじめ決められた形状及びサイズの領域を、画像中の指定された位置に設定する例を示している。
【０２２８】
例えば、図２６の画面ｐ２１１は、画像中に領域が設定される前の状態を示している。ユーザＵ１は、画面ｐ２１１に示すように、画像中の所望の位置を指またはスタイラス等（以降は、「指ｃ２」と記載する場合がある）でタップする。
【０２２９】
ユーザＵ１により画像中の位置がタップされると、情報処理装置１０は、タップされた位置を基準として、あらかじめ決められた形状及びサイズの領域を設定する。図２６に示す例では、情報処理装置１０は、画面ｐ２１２に示すように長方形の領域ｆ６４を画像中に設定している。
【０２３０】
（領域の設定：任意のサイズの領域の設定）
次に、図２７を参照しながら、画像中に任意のサイズの領域を設定する例について説明する。図２７は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に任意のサイズの領域を設定する例を示している。
【０２３１】
例えば、図２６の画面ｐ２１３は、画像中に領域が設定される前の状態を示している。ユーザＵ１は、画面ｐ２１３の参照番号ｃ２１３に示すように、画像中の領域が設定されていない一部を起点として指ｃ２によりドラッグする。
【０２３２】
ユーザＵ１により画像中の領域が設定されていない一部を起点としてドラッグ操作が施されると、情報処理装置１０は、画面ｐ２１４に示すように、ドラッグ操作の起点から終点までを対角線とする長方形の領域ｆ６５を画像中に設定する。
【０２３３】
（領域の設定：任意の形状及びサイズの領域の設定）
次に、図２８を参照しながら、画像中に任意の形状及びサイズの領域を設定する例について説明する。図２８は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に任意の形状及びサイズの領域を設定する例を示している。
【０２３４】
例えば、図２８の画面ｐ２１５は、画像中に領域が設定される前の状態を示している。ユーザＵ１は、画面ｐ２１５の参照番号ｃ２１５に示すように、指ｃ２により画像中の所望の領域を囲うようにドラッグする。
【０２３５】
ユーザＵ１により画像中の領域を囲うようにドラッグ操作が施されると、情報処理装置１０は、画面ｐ２１６に示すように、指ｃ２によるドラッグ操作により囲われた領域を、領域ｆ６６として画像中に設定する。
【０２３６】
（領域の設定：任意の形状及びサイズの領域の設定）
次に、図２９を参照しながら、画像中に任意の形状及びサイズの領域を設定する他の一例について説明する。図２９は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に任意の形状及びサイズの領域を設定する他の一例を示している。
【０２３７】
例えば、図２９の画面ｐ２１７は、画像中に領域が設定される前の状態を示している。ユーザＵ１は、画面ｐ２１７の参照番号ｃ２１７に示すように、指ｃ２により画像中の所望の領域を塗りつぶすようにドラッグする。
【０２３８】
ユーザＵ１により画像中の領域を塗りつぶすようにドラッグ操作が施されると、情報処理装置１０は、画面ｐ２１６に示すように、指ｃ２によるドラッグ操作により塗りつぶされた領域を、領域ｆ６６として画像中に設定する。
【０２３９】
（領域の設定：画像処理に基づく自動設定）
次に、図３０を参照しながら、ユーザＵ１による指定を受けて情報処理装置１０が画像処理に基づき領域を自動で設定する例について説明する。図３０は、実施例２に係る領域の指定方法の一例について説明するための図であり、ユーザＵ１による指定を受けて情報処理装置１０が画像処理に基づき領域を自動で設定する例を示している。
【０２４０】
例えば、図３０の画面ｐ２１９は、画像中に領域が設定される前の状態を示している。ユーザＵ１は、画面ｐ２１９に示すように、画像中の所望の位置を指ｃ２でタップする。
【０２４１】
ユーザＵ１により画像中の位置がタップされると、情報処理装置１０は、タップされた位置を基準位置として、当該基準位置から連続し、かつ当該基準位置と色が類似する領域を画像処理に基づき特定する。そして、情報処理装置１０は、画面ｐ２２０に示すように、特定した領域を、領域ｆ６７として画像中に設定する。
【０２４２】
（領域の移動）
次に、図３１を参照しながら、画像中に設定された領域を移動させる例について説明する。図３１は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域を移動させる例を示している。
【０２４３】
例えば、図３１の画面ｐ２２１は、画像中に領域ｆ６８１が設定された状態を示している。ユーザＵ１は、画面ｐ２２１の参照番号ｃ２２１に示すように、領域ｆ６８１内の一部を指ｃ２でドラッグする。
【０２４４】
ユーザＵ１により領域ｆ６８１内の一部がドラッグされると、情報処理装置１０は、指ｃ２によるドラッグ操作に領域ｆ６８１を追随させることで、画面ｐ２２２の領域ｆ６８２に示すように、領域ｆ６８１の位置を変更する。なお、画面ｐ２２２中の領域ｆ６８２は、ドラッグ操作に基づく移動後の領域ｆ６８１を示している。
【０２４５】
（領域のサイズ変更）
次に、図３２を参照しながら、画像中に設定された領域のサイズを変更する例について説明する。図３２は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域のサイズを変更する例を示している。
【０２４６】
例えば、図３２の画面ｐ２２３は、画像中に領域ｆ６９１が設定された状態を示している。ユーザＵ１は、画面ｐ２２３の参照番号ｃ２２３ａ及びｃ２２３ｂに示すように、領域ｆ６９１内の一部に対して、指ｃ２ａ及びｃ２ｂによりピンチ操作を施す。なお、図３２に示す例では、ユーザＵ１は、領域ｆ６９１に対してピンチイン操作を施している。
【０２４７】
ユーザＵ１により領域ｆ６９１内の一部に対してピンチ操作が施されると、情報処理装置１０は、指ｃ２ａ及びｃ２ｂによるピンチ操作に追随するように、領域ｆ６９１を変形させる。これにより、領域ｆ６９１のサイズが、画面ｐ２２４の領域ｆ６９２に示すように変更される。なお、画面ｐ２２４中の領域ｆ６９２は、ピンチ操作に基づきサイズが変更された領域ｆ６９１を示している。なお、ピンチイン操作により領域のサイズが縮小され、ピンチアウト操作により領域のサイズが拡大されることは言うまでもない。
【０２４８】
（領域の削除）
次に、図３３を参照しながら、画像中に設定された領域を削除する例について説明する。図３３は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域を削除する例を示している。
【０２４９】
例えば、図３３の画面ｐ２２５は、画像中に領域ｆ７０が設定された状態を示している。ユーザＵ１は、画面ｐ２２５に示すように、領域ｆ７０内の一部を指ｃ２によりダブルタップする。
【０２５０】
ユーザＵ１により領域ｆ７０内の一部がダブルタップされると、情報処理装置１０は、画面ｐ２２６に示すように、指ｃ２によるダブルタップにより指定された領域ｆ７０を画像中から削除する。
【０２５１】
（領域の削除）
次に、図３４を参照しながら、画像中に設定された領域を削除する他の例について説明する。図３４は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域を削除する他の一例を示している。
【０２５２】
例えば、図３４の画面ｐ２２７は、画像中に領域ｆ７０が設定された状態を示している。ユーザＵ１が、画面ｐ２２７中の領域ｆ７０を指ｃ２によりタップすると、情報処理装置１０は、削除アイコンｆ７０ａを表示させる。画面ｐ２２７では、情報処理装置１０は、領域ｆ７０の右上端部に削除アイコンｆ７０ａを表示させている。次いで、ユーザＵ１が、削除アイコンｆ７０ａを指ｃ２によりタップする。
【０２５３】
ユーザＵ１により削除アイコンｆ７０ａがタップされると、情報処理装置１０は、画面ｐ２２８に示すように、タップされた削除アイコンｆ７０ａに対応する領域ｆ７０を画像中から削除する。
【０２５４】
（領域の分割）
次に、図３５を参照しながら、画像中に設定された領域を複数の領域に分割する例について説明する。図３５は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像中に設定された領域を複数の領域に分割する例を示している。
【０２５５】
例えば、図３５の画面ｐ２３１は、画像中に領域ｆ７１１が設定された状態を示している。ユーザＵ１は、画面ｐ２３１の参照番号ｃ２３１に示すように、領域ｆ７１１を分割するように指ｃ２によりドラッグ操作を施す。
【０２５６】
ユーザＵ１により領域ｆ７１１を分割するようにドラッグ操作が施されると、情報処理装置１０は、参照番号ｃ２３１で示されたドラッグ操作の軌跡を境界として、画面ｐ２３２に示すように、領域ｆ７１１を、複数の領域ｆ７１２及びｆ７１３に分割する。
【０２５７】
（画像を操作することで領域を設定する方法）
上述では、画像中の領域を設定または操作する例について説明した。ここでは、画像側を操作することで、画像中の領域を設定する方法について、図３６〜図３８を参照しながら説明する。画像側を操作することで、画像中の領域を設定する場合には、例えば、専用の編集モードをあらかじめ用意しておき、当該編集モードを起動することで設定することで、領域の指定に係る操作と、通常の画面操作とを差別化することができる。以降では、編集モードを起動することで、画像側の操作により画像中の領域を設定する場合の例について説明する。
【０２５８】
まず、図３６を参照する。図３６は、実施例２に係る領域の指定方法の一例について説明するための図であり、編集モードを起動する場合の例を示している。
【０２５９】
例えば、図３６の画面ｐ３１１は編集モードを起動する前の画面、即ち、通常の操作を行う画面を示している。また、参照符号ｖ３１１は、編集モードを起動するための編集開始ボタンを示している。ユーザＵ１は、画面ｐ３１１に示すように、編集開始ボタンｖ３１１をタップする。
【０２６０】
ユーザＵ１により編集開始ボタンｖ３１１がタップされると、情報処理装置１０は、編集モードを起動する。編集モードでは、情報処理装置１０は、画面ｐ３１２に示すように、画像中に設定する領域を識別可能に示したＵ／Ｉを表示させる。なお、画面ｐ３１２に示す例では、情報処理装置１０は、一部に開口が設けられた網掛けｖ３１３を画像上に重畳表示させている。なお、画像中における、網掛けｖ３１３の開口部分に表示された部分画像に領域が設定されることとなる。
【０２６１】
また、情報処理装置１０は、編集モードを起動したら、編集開始ボタンｖ３１１に替えて、編集終了ボタンｖ３１２を表示させる。なお、ユーザＵ１により編集終了ボタンｖ３１２がタップされると、編集モードが終了することとなる。
【０２６２】
次に、図３７を参照しながら、領域を設定する操作について説明する。図３７は、実施例２に係る領域の指定方法の一例について説明するための図であり、画像側を操作することで領域を指定する場合の一例について示している。
【０２６３】
まず、画面ｐ３１３を参照する。ユーザＵ１は、参照番号ｃ３１３に示すように、指ｃ２により画像をドラッグすることで、画像中の領域を設定したい部分が、網掛けｖ３１３の開口部分に含まれるように、画像の位置を調整する。画面ｐ３１３に示す例では、ユーザＵ１は、参照番号ｃ３１３に示すように画面を左上にドラッグすることで、画像の右下の領域が網掛けｖ３１３の開口部分に含まれるように、画面を移動させている。
【０２６４】
次に、画面ｐ３１４を参照する。ユーザＵ１は、参照番号ｃ３１４ａ及びｃ３１４ｂに示すように、指ｃ２ａ及びｃ２ｂによりピンチ操作を施すことで、画像の表示サイズを変更している。例えば、画面ｐ３１４に示す例では、ユーザＵ１は、参照番号ｃ３１４ａ及びｃ３１４ｂに示すようにピンチアウトの操作を施すことで、画像の表示サイズを拡大している。これにより、網掛けｖ３１３の開口部分位より囲われる、画像中の領域のサイズが、操作前に比べて相対的に小さくなる。なお、ピンチイン操作が施された場合には、網掛けｖ３１３の開口部分位より囲われる、画像中の領域のサイズが、操作前に比べて相対的に大きくなることは言うまでもない。
【０２６５】
ここで画面ｐ３１５を参照する。画面ｐ３１５は、ピンチ操作に伴い、画像の表示サイズが変更された後の状態を示している。以上のようにして、ピンチ操作により画像の表示サイズを変更することで、画像中の領域のサイズを指定することが可能となる。
【０２６６】
次に、図３８を参照しながら、編集モードを終了する場合の操作について説明する。図３８は、実施例２に係る領域の指定方法の一例について説明するための図であり、編集モードを終了する場合の一例について示している。
【０２６７】
まず、画面ｐ３１６を参照する。画面ｐ３１６は、画像側の操作に基づき領域の指定が完了した状態を示しており、図３７における画面ｐ３１５に対応している。ユーザＵ１は、画面ｐ３１６に示すように、編集終了ボタンｖ３１２をタップする。
【０２６８】
ユーザＵ１により編集終了ボタンｖ３１２がタップされると、情報処理装置１０は、網掛けｖ３１３の開口部に含まれる画像中の領域を、画面ｐ３１７に示すように領域ｆ７２として設定する。領域ｆ７２を設定したら、情報処理装置１０は、編集モードを終了する。また、情報処理装置１０は、編集モードを終了したら、編集終了ボタンｖ３１２に替えて、編集開始ボタンｖ３１１を表示させる。
【０２６９】
なお、上記に示した、タッチパネルの操作により画像中に領域を指定する方法はあくまで一例である。そのため、必ずしも上記示した全ての指定方法を実現する必要はなく、一部のみを採用してもよい。また、タッチパネルの操作により画像中に領域を指定できれば、上記の方法には限定されない。
【０２７０】
［１．６．実施例３：識別情報の表示方法］
次に、実施例３として、画像中に撮像された対象物の候補を示す識別情報の表示方法の一例について説明する。前述した実施形態では、例えば、図１４の識別情報ｍ４２１に示すように、対象物の識別結果の候補を提示していた。一方で、提示される候補の中には、対象物がその候補である確度を示す識別スコアｄ１３’が、高いものと低いものとが混在する場合があり得る。そこで、実施例３では、情報処理装置１０が、対象物の識別結果の候補それぞれに対応する識別スコアｄ１３’に応じて、対象物がその候補である確率の違いユーザＵ１に識別可能に提示する例について説明する。
【０２７１】
まず、図３９を参照する。図３９は、実施例３に係る表示態様の一例について説明するための図であり、対象物がその候補である確率の違いを提示するための情報の一例を示している。図３９に示すデータｄ２１は、識別スコアｄ１３’の違いを提示するためのアイコンｄ２１１を示しており、参照番号ｄ２１２で示すように、アイコンｄ２１１ごとに異なる範囲の識別スコアｄ１３’を関連付けている。例えば、データｄ２１では、識別スコアｄ１３’が「０．７５以上」の場合が、アイコンｖ５１ａに関連付けられている。同様に、識別スコアｄ１３’が「０．５以上０．７５未満」の場合はアイコンｖ５１ｂに関連付けられている。また、識別スコアｄ１３’が「０．２５以上０．５未満」の場合はアイコンｖ５１ｃに関連付けられ、識別スコアｄ１３’が「０．２５未満」の場合はアイコンｖ５１ｄに関連付けられている。
【０２７２】
次に、図４０を参照する。図４０は、実施例３に係る表示態様の一例について示している。例えば、図４０の画面ｐ３２１では、画像中に「白米ご飯」に対応する領域ｆ８１が設定され、当該領域ｆ８１に、領域ｆ８１中の対象物を示す識別結果の候補として、「白米ご飯」及び「玄米ご飯」が提示された識別情報ｍ８１１が設定されている。なお、識別情報ｍ８１１中の「白米ご飯」には識別スコアｄ１３’が０．７５以上の場合を示すアイコンｖ５１ａが関連付けられて提示されている。同様に、識別情報ｍ８１１中の「玄米ご飯」には識別スコアｄ１３’が０．２５未満の場合を示すアイコンｖ５１ｄが関連付けられて提示されている。
【０２７３】
この場合には、情報処理装置１０の表示制御部１２０は、各候補を示す識別情報が関連付けられた領域ｆ８１に対応する領域データに加えて、当該候補ごとに算出された識別スコアｄ１３’を推定部１１８から取得すればよい。そして、表示制御部１２０は、候補ごとの識別スコアｄ１３’がデータｄ２１で示されたいずれの範囲に該当するかを判定し、判定結果に基づいて、当該候補に関連付けるアイコンを、アイコンｖ５１ａ〜ｖ５１ｄから特定すればよい。なお、データｄ２１は、表示制御部１２０が読み出し可能な場所に記憶させておけばよい。
【０２７４】
ここで、再度図４０の画面ｐ３２１に着目する。画面ｐ３２１では、画像中に「味噌汁」の一部に対応する領域ｆ８２１が設定され、当該領域ｆ８２１に、領域ｆ８２１中の対象物を示す識別結果の候補として、「味噌汁」及び「ラーメン」が提示された識別情報ｍ８２１が設定されている。なお、識別情報ｍ８２１中の「味噌汁」には識別スコアｄ１３’が０．２５以上０．５未満の場合を示すアイコンｖ５１ｃが関連付けられて提示されている。同様に、識別情報ｍ８２１中の「ラーメン」には識別スコアｄ１３’が０．２５未満の場合を示すアイコンｖ５１ｄが関連付けられて提示されている。
【０２７５】
次に、図４０の画面ｐ３２２に着目する。画面ｐ３２２は、画面ｐ３２１の状態を基準として、ユーザＵ１により、領域ｆ８２１の範囲が、画像中の「味噌汁」に対応する領域全てが含まれるように編集された状態を示している。なお、領域ｆ８２２は、範囲が変更された後の領域ｆ８２１を示している。
【０２７６】
画面ｐ３２２中の領域ｆ８２２に示すように、画像中の「味噌汁」に対応する領域が更新されることで、確度特定部１０８により、領域ｆ８２２中の対象物の識別スコアｄ１３が更新される。この識別スコアｄ１３の更新結果を受けて、推定部１１８は、識別スコアｄ１３’を再計算する。そして、表示制御部１２０は、推定部１１８による識別スコアｄ１３’の再計算結果を取得し、識別情報ｍ８２１に示された各候補に関連付けられたアイコンを更新する。画面ｐ３２２における識別情報ｍ８２２は、識別スコアｄ１３’の再計算結果に基づき更新された識別情報ｍ８２１を示している。
【０２７７】
識別情報ｍ８２２に示すように、領域ｆ８２２中の対象物を示す識別結果の各候補に関連付けられたアイコンが更新される。具体的には、識別情報ｍ８２２中の「味噌汁」に関連付けられたアイコンが、アイコンｖ５１ｃからアイコンｖ５１ｂに更新され、「ラーメン」に対応するアイコンが、アイコンｖ５１ｄからアイコンｖ５１ｃに更新されている。
【０２７８】
このような構成により、ユーザＵ１は、画像中の「味噌汁」を示す領域が、領域ｆ８２１から領域ｆ８２２に更新されることで、領域ｆ８２２中の対象物を示す識別情報の各候補に対応する確度が向上したことを認識することができる。
【０２７９】
次に、図４１を参照する。図４１は、実施例３に係る表示態様の一例について示している。図４１における画面ｐ３２２は、図４０における画面ｐ２２２に対応している。
【０２８０】
次に、図４１の画面ｐ３２３に着目する。画面ｐ３２３は、画面ｐ３２２の状態を基準として、ユーザＵ１により、識別情報ｍ８１１に示された各候補の中から、「白米ご飯」が選択された状態を示している。なお、識別情報ｍ８１２は、識別情報ｍ８１１に示された各候補の中から、「白米ご飯」が選択されたことで、更新された識別情報ｍ８１１を示している。
【０２８１】
識別情報ｍ８１１に示された各候補の中から「白米ご飯」が選択されると、抽出部１１４は、「白米ご飯」に対応する共起確率データｄ１４を共起確率データ記憶部１１６から抽出し、推定部１１８に出力する。推定部１１８は、抽出部１１４から取得した「白米ご飯」の共起確率データｄ１４に基づき、領域ｆ８２２中の対象物に対応する識別スコアｄ１３’を再計算する。そして、表示制御部１２０は、推定部１１８による識別スコアｄ１３’の再計算結果を取得し、識別情報ｍ８２２に示された各候補に関連付けられたアイコンを更新する。画面ｐ３２３における識別情報ｍ８２３は、識別スコアｄ１３’の再計算結果に基づき更新された識別情報ｍ８２２を示している。
【０２８２】
識別情報ｍ８２３に示すように、領域ｆ８２３中の対象物を示す識別結果の各候補に関連付けられたアイコンが更新される。具体的には、識別情報ｍ８２３中の「味噌汁」に関連付けられたアイコンが、アイコンｖ５１ｂからアイコンｖ５１ｃに更新され、「ラーメン」に対応するアイコンが、アイコンｖ５１ｃからアイコンｖ５１ｄに更新されている。このような構成により、ユーザＵ１は、領域ｆ８１中の対象物が「白米ご飯」として特定されることで、領域ｆ８２２中の対象物が「味噌汁」である確率が高くなったことを、識別情報ｍ８２３中のアイコンの変化により認識することができる。
【０２８３】
［１．７．まとめ］
以上説明したように本実施形態に係る情報処理システム１は、画像中の一の対象物の認識及び識別結果を受けて、当該一の対象物と他の対象物との間の共起確率に基づき、他の対象物を識別する。このような構成により、ユーザＵ１が、画像中の一の対象物に対して識別情報を設定した場合に、情報処理システム１は、指定された一の対象物と他の対象物との間の共起確率に基づき他の対象物の識別結果を推定しユーザＵ１に提示する。そのため、ユーザＵ１は、画像中の一部の対象物に対する識別情報の設定に係る操作を省略または簡略化することが可能となり、識別情報の設定に係る一連の作業が簡略化される。
【０２８４】
＜２．第２の実施形態＞
［２．１．概要］
次に、第２の実施形態に係る情報処理システム１’について説明する。第１の実施形態でも説明したように、識別スコアｄ１３や共起確率データｄ１４の精度は、各値を算出するためのサンプルデータの数による影響が少なくない。そこで、第２の実施形態に係る情報処理システム１’では、画面中の対象物を示す識別情報の推定結果をユーザＵ１に提示して、当該推定結果に対する正否を判定結果として取得し、取得した判定結果に基づくサンプルデータを蓄積する。このように、第２の実施形態に係る情報処理システム１’は、対象物の推定結果に対するユーザＵ１の判定結果に基づきサンプルデータを蓄積することで再学習し、識別スコアｄ１３や共起確率データｄ１４の精度、即ち、対象物の識別に係る精度を向上させる。以下に本実施形態に係る情報処理システム１’の一例について説明する。
【０２８５】
まず、図４２を参照しながら、本実施形態に係る情報処理システム１’の概要について説明する。図４２は、本開示の第２の実施形態に係る情報処理システム１’の概要について説明するための図である。
【０２８６】
図４２に示す例では、画像ｐ４１中に対象物として「食パン」、「コーヒー」、「ソーセージ」が撮像されており、これらの対象物の認識結果に基づき画像ｐ４１中に領域ｆ９１〜ｆ９３が設定されている。
【０２８７】
本実施形態に係る情報処理システム１’では、ユーザＵ１は、情報処理システム１’により提示された、領域中の対象物の推定結果に対して、その推定結果が正しいか否かを判定することで、当該対象物を示す識別情報を設定する。そのため、情報処理システム１’は、領域ｆ９１〜ｆ９３それぞれに含まれる対象物の推定結果を提示するためのＵ／Ｉである結果提示部ｖ６１を画像ｐ４１とあわせて提示する。
【０２８８】
情報処理システム１’は、結果提示部ｖ６１に、画像ｐ４１中の対象物の推定結果を提示する。具体的な一例として、図４２に示す例では、結果提示部ｖ６１には、領域ｆ９１〜ｖ９３中の対象物の推定結果を提示する領域として、結果提示部ｖ６１１〜ｖ６１３が提示されている。なお、結果提示部ｖ６１１には、領域ｆ９１中の対象物の推定結果が提示される。同様に、結果提示部ｖ６１２には、領域ｆ９２中の対象物の推定結果が提示され、結果提示部ｖ６１３は、領域ｆ９３中の対象物の推定結果が提示される。なお、結果提示部ｖ６１１〜ｖ６１３を特に区別しない場合には、「結果提示部ｖ６１０」と記載する場合がある。
【０２８９】
ここで、結果提示部ｖ６１１に着目する。結果提示部ｖ６１１は、アイコンｖ６２ａと、推定結果ｖ６３と、肯定ボタンｖ６４ａ及び否定ボタンｖ６４ｂとを含む。
【０２９０】
アイコンｖ６２ａは、対応する領域ｆ９１中の対象物の推定に関し、情報処理システム１’の習熟度の高さを識別可能に提示したアイコンであり、習熟度が高い場合を示している。一方で、結果提示部ｖ６１３に示されたアイコンｖ６２ｂは、アイコンｖ６２ａと同様に習熟度の高さを識別可能に提示したアイコンであり、習熟度が低い場合を示している。なお、以降では、アイコンｖ６２ａ及びｖ６３ｂを特に区別しない場合は、単に「アイコンｖ６２」と記載する場合がある。また、識別結果ｖ６３には、情報処理システム１’による、領域ｆ９１中の対象物の推定結果が表示される。
【０２９１】
ここで、「習熟度」とは、情報処理システム１’が、推定結果ｖ６３として提示した「対象物」の推定（即ち、識別）に関する経験値の高さを示しており、例えば、推定結果ｖ６３として提示した「対象物」が推定されたサンプルデータの多さを示している。
【０２９２】
例えば、情報処理システム１’が領域ｆ９１中に示された「食パン」を識別する場合には、「食パン」が撮像された画像と、当該画像中の「食パン」が識別された結果が多いほど、情報処理システム１’は、より正確に画像中から「食パン」を識別できる。このとき、「食パン」が撮像された画像と、当該画像中の「食パン」が識別された結果とが、画像中から「食パン」を識別するためのサンプルデータとなる。
【０２９３】
そのため、情報処理システム１’は、推定結果ｖ６３として提示した対象物の識別に関する習熟度を、アイコンｖ６２として提示することで、推定結果ｖ６３の信頼度を識別可能に提示している。
【０２９４】
肯定ボタンｖ６４ａ及び否定ボタンｖ６４ｂは、情報処理システム１’が提示した推定結果ｖ６３に対して、ユーザＵ１が正否の判定結果を入力するためのボタンである。肯定ボタンｖ６４ａは、推定結果ｖ６３が正しいことを情報処理システム１’に通知するためのボタンである。また、否定ボタンｖ６４ｂは、推定結果ｖ６３が誤っていることを情報処理システム１’に通知するためのボタンである。
【０２９５】
ユーザＵ１により肯定ボタンｖ６４ａが操作されると、情報処理システム１’は、対応する領域中の対象物を、推定結果ｖ６３で示された対象物として識別し、当該領域に対して推定結果ｖ６３で示された対象物を示す識別情報を関連付けて表示させる。例えば、結果提示部ｖ６１１に示す例の場合には、情報処理システム１’は、肯定ボタンｖ６４ａに対する操作を受けて、推定結果ｖ６３で提示された「食パン」を示す識別情報を、領域ｆ９１に関連付けて表示させる。
【０２９６】
また、肯定ボタンｖ６４ａが操作された場合には、情報処理システム１’は、対応する領域中の対象物の識別結果を、当該対象物を推定するためのサンプルデータとして記憶する。具体的な一例として、図４２に示す例では、情報処理システム１’は、画像ｐ４１と、領域ｆ９１に対応する領域データと、領域ｆ９１中の対象物が「食パン」であることを示す情報とを関連付けて、サンプルデータとして記憶する。これにより、例えば、情報処理システム１‘は、新たに追加されたサンプルデータを加味して、画像中の対象物を「食パン」として識別するための識別スコアｄ１３を算出することが可能となる。
【０２９７】
また、画像中の複数の対象物に対応する推定結果ｖ６３に対して、肯定ボタンｖ６４ａの操作に基づき、推定結果が正しいことがユーザＵ１に指示された場合には、当該複数の対象物間の共起確率データｄ１４を算出するためのサンプルデータとなり得る。
【０２９８】
具体的な一例として、図４２において、結果提示部ｖ６１１及びｖ６１２の双方において、肯定ボタンｖ６４ａが操作されたものとする。この場合には、画像ｐ４１に設定された領域ｆ９１中の対象物が「食パン」として識別され、領域ｆ９２中の対象物が「コーヒー」として識別される。この場合には、情報処理システム１’は、領域ｆ９１及びｆ９２中の対象物それぞれの識別結果を、識別された双方の対象物間の共起確率を算出するためのサンプルデータとして記憶する。例えば、図４２の例の場合には、情報処理システム１’は、画像ｐ４１と、領域ｆ９１及びｆ９２に対応する領域データと、領域ｆ９１中の対象物が「食パン」であり、領域ｆ９２中の対象物が「コーヒー」であることを示す情報とを関連付けて、サンプルデータとして記憶する。これにより、例えば、情報処理システム１‘は、新たに追加されたサンプルデータを加味して、「食パン」と「コーヒー」との間の共起確率を算出することが可能となる。
【０２９９】
一方で、否定ボタンｖ６４ｂが操作された場合には、情報処理システム１’は、対応する領域中の対象物の識別結果を、当該領域中の対象物が推定結果ｖ６３で示された対象物と異なることを示すサンプルデータとして記憶する。
【０３００】
例えば、領域ｆ９３と結果提示部ｖ６１３とに着目する。領域ｆ９３中には、「ソーセージ」が撮像されているが、情報処理システム１’は、「ソーセージ」を識別するための習熟度が低く、領域ｆ９３中の対象物が「焼肉」であることを示す識別結果ｖ６３を提示している。ここで、結果提示部ｖ６１３に対して、ユーザＵ１が否定ボタンｖ６４ｂを操作したものとする。
【０３０１】
この場合には、情報処理システム１’は、画像ｐ４１と、領域ｆ９３に対応する領域データと、領域ｆ９３中の対象物が「焼肉」ではないことを示す情報とを関連付けて、サンプルデータとして記憶する。これにより、例えば、情報処理システム１‘は、領域ｆ９３中の部分画像と類似する他の画像を取得した場合に、当該他の画像中の対象物を、新たに追加されたサンプルデータを加味して、「焼肉」と推定する確率が低くなる。換言すると、否定ボタンｖ６４ｂの操作に基づくサンプルデータが蓄積されることで、情報処理システム１’は、類似する画像を取得した場合に、その画像中の対象物が「焼き肉」であることを示す識別スコアｄ１３を負の値として提示することが可能となる。
【０３０２】
なお、習熟度を示すアイコンｖ６２として、キャラクターを模したアイコンを採用し、情報処理システム１’の習熟度に応じて当該キャラクターが成長するように、アイコンｖ６２の表示態様を制御してもよい。例えば、図４３は、習熟度に伴い変化する表示態様の一例を示した図である。
【０３０３】
図４３に示す例では、情報処理システム１’は、ユーザＵ１が情報処理システム１’の利用を開始して間もない時のように、情報処理システム１’の習熟度が低い場合にはアイコンｖ６２ｃを提示する。そして、情報処理システム１’は、ユーザＵ１による情報処理システム１’の利用に伴う習熟度の向上にあわせて、アイコンｖ６２ｄに示すように、アイコンｖ６２の表示態様を変化させてもよい。
【０３０４】
なお、図４３に示すような、アイコンｖ６２で示されたキャラクターの成長は、例えば、検出対象ごとのサンプルデータの数の総和に基づき制御してもよい。この場合には、情報処理システム１’は、例えば、サンプルデータの数の総和をキャラクターの成長度として提示し、検出対象ごとの習熟度を当該キャラクターの表情の変化として提示してもよい。これにより、情報処理システム１’は、サンプルデータの数の総和に基づく習熟度と、検出対象ごとのサンプルデータの数に基づく習熟度とを、別々に提示することが可能となる。
【０３０５】
以上のように、情報処理システム１’の習熟度に応じてアイコンｖ６２が成長するように制御することで、画像中の対象物に対する識別情報の設定に係る操作にゲーム性を持たせることが可能となる。これにより、例えば、画像中に撮像された料理に対して識別情報を設定することで、識別された料理に基づくカロリー管理を行うようなシステムにおいて、ユーザＵ１に対し、識別情報の設定に対するモチベーションを促す効果が期待できる。
【０３０６】
［２．２．処理］
次に、本実施形態に係る情報処理システム１’の一連の動作について、図４４を参照しながら説明する。図４４は、本実施形態に係る情報処理装置の動作を示したフローチャートである。
【０３０７】
（ステップＳ４０２）
画像取得部１０２は、撮像部２０２で撮像された画像を取得する。画像取得部１０２は、取得した画像を対象物抽出部１０４に出力する。
【０３０８】
（ステップＳ４０４）
【０３０９】
対象物抽出部１０４は、画像取得部１０２から画像を取得する。対象物抽出部１０４は、取得した画像中に含まれる特定の形状で形成される領域や、特徴的な色成分またはテクスチャが存在する領域を、対象物の領域として抽出する。対象物抽出部１０４は、抽出した領域ごとに、当該領域を示す領域データを生成する。対象物抽出部１０４は、取得した画像と、当該画像から抽出された各領域に対応する領域データとを、確度特定部１０８に出力する。
【０３１０】
（ステップＳ４０６）
確度特定部１０８は、画像と、当該画像から抽出された領域に対応する領域データとを対象物抽出部１０４から取得する。確度特定部１０８は、取得した領域データに基づき、取得した画像中に設定された各領域を特定する。
【０３１１】
画像中の領域を特定したら、確度特定部１０８は、特定した領域に含まれる対象物を識別する。具体的には、確度特定部１０８は、画像中の各領域から決定される特徴量を、検出対象ごとにあらかじめ記憶された特徴量と照合することにより、当該領域に含まれる対象物の識別スコアｄ１３を、検出対象ごとに算出する。
【０３１２】
確度特定部１０８は、取得した画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとに算出した識別スコアｄ１３とを抽出部１１４に出力する。
【０３１３】
抽出部１１４は、画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとに算出された識別スコアｄ１３とを、確度特定部１０８から取得する。
【０３１４】
抽出部１１４は、対象物ごとに、クラスｄ１２で示された各検出対象に対応する識別スコアｄ１３を参照し、識別スコアｄ１３があらかじめ決められた閾値以上の値を示す検出対象を特定する。
【０３１５】
識別スコアｄ１３が閾値以上の検出対象が特定できた場合には、抽出部１１４は、特定された検出対象に対応する共起確率データｄ１４を、共起確率データ記憶部１１６から抽出する。
【０３１６】
抽出部１１４は、取得した画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとの識別スコアｄ１３と、抽出した共起確率データｄ１４とを、推定部１１８に出力する。
【０３１７】
推定部１１８は、画像と、当該画像から抽出された領域に対応する領域データと、当該領域中の対象物ごとの識別スコアｄ１３と、抽出した共起確率データｄ１４とを抽出部１１４から取得する。
【０３１８】
推定部１１８は、取得した領域データそれぞれについて、当該対象物の識別スコアｄ１３に対し、他の領域データが示す領域中の対象物に対応する共起確率データｄ１４を乗算することで、新たな識別スコアｄ１３’を算出する。識別スコアｄ１３’を算出したら、推定部１１８は、算出した識別スコアｄ１３’に基づき、領域データが示す領域中の対象物を推定する。このとき、推定部１１８は、識別スコアｄ１３’が最も高いものを対象物の推定結果としてもよい。また、他の領域データが示す領域中の対象物に対応する共起確率データｄ１４が存在しない場合には、推定部１１８は、当該領域データが示す領域中の対象物に対応する識別スコアｄ１３を、識別スコアｄ１３’としてもよい。
【０３１９】
対象物を推定したら、推定部１１８は、推定した対象物の識別に係る習熟度を算出する。具体的な一例として、推定部１１８は、推定した対象物を識別するためのサンプルデータの数を算出し、算出されたサンプルデータの数に基づき習熟度を決定してもよい。
【０３２０】
推定部１１８は、取得した領域データそれぞれに対して、対象物の推定結果を示す識別情報と、算出した習熟度を示す情報とを関連付ける。推定部１１８は、取得した画像と、当該画像から抽出された領域に対応する領域データとを、表示制御部１２０に出力する。
【０３２１】
（ステップＳ４０８）
表示制御部１２０は、画像と、当該画像から抽出された領域に対応する領域データとを、推定部１１８から取得する。表示制御部１２０は、取得した画像を表示部２０６に表示させる。
【０３２２】
また、表示制御部１２０は、表示部２０６に表示させた画像に対して、取得した領域データに基づく領域を重畳表示させる。
【０３２３】
次に、表示制御部１２０は、各領域データに関連づけられた識別情報と習熟度とを抽出する。表示制御部１２０は、抽出した識別情報と習熟度とに基づき、領域データごとに結果提示部ｖ６１０を生成し、対応する領域データに関連付ける。そして、表示制御部１２０は、領域データごとに生成した結果提示部ｖ６１０それぞれを提示した結果提示部ｖ６１を生成し、表示部２０６に表示させる。
【０３２４】
（ステップＳ４１０）
ここで、ユーザＵ１により、操作部２０４を介して、領域データごとの結果提示部ｖ６１０それぞれに提示された肯定ボタンｖ６４ａまたは否定ボタンｖ６４ｂに対して操作が行われたものとする。この場合には、識別情報指定部１１２は、領域データごとに、当該領域データを示す情報と、結果提示部ｖ６１０に推定結果ｖ６３として提示された対象物の識別情報と、肯定ボタンｖ６４ａまたは否定ボタンｖ６４ｂに基づく判定結果とを取得する。識別情報指定部１１２は、領域データごとに取得した、当該領域データを示す情報と、対象物の識別情報と、判定結果とを、抽出部１１４に出力する。
【０３２５】
（ステップＳ４１２）
抽出部１１４は、領域データを示す情報と、対象物の識別情報と、判定結果とを、領域データごとに識別情報指定部１１２から取得する。抽出部１１４は、領域データごとに、判定結果と対象物の識別情報とを参照し、否定ボタンｖ６４ｂに基づく判定結果が存在する場合には、肯定ボタンｖ６４ａに基づく判定結果が関連付けられた識別情報に対応する共起確率データｄ１４を新たに取得してもよい。この場合には、推定部１１８は、新たに取得された共起確率データｄ１４を抽出部１１４から取得することで、否定ボタンｖ６４ｂに基づき推定結果が否定された対象物に対して、再度識別スコアｄ１３’を算出し、新たな推定結果を提示することが可能となる。
【０３２６】
また、更新部１２２は、各領域データが示す領域が設定された画像と、各領域データとを、例えば推定部１１８から取得する。また、更新部１２２は、識別情報指定部１１２から出力された、領域データを示す情報と、対象物の識別情報と、判定結果とを領域データごとに取得する。このとき、更新部１２２は、領域データを示す情報と、対象物の識別情報と、判定結果とを識別情報指定部１１２から直接取得してもよいし、抽出部１１４及び推定部１１８を介して取得してもよい。
【０３２７】
更新部１２２は、取得した領域データが示す情報に基づき、対応する領域データを特定し、特定した領域データと、領域データが示す情報に関連付けられた対象物の識別情報及び判定結果とを関連付ける。
【０３２８】
更新部１２２は、取得した画像と、画像中に設定された領域に対応する領域データと、対象物の識別情報と、判定結果とを関連付けて、サンプルデータとして特徴量データ記憶部１１０及び共起確率データ記憶部１１６に記憶させる。
【０３２９】
（ステップＳ４１４）
以上により、識別スコアｄ１３及び共起確率データｄ１４が、新たに追加されたサンプルデータを加味して算出されることとなる。即ち、識別スコアｄ１３及び共起確率データｄ１４を算出するためのサンプルデータが更新され、識別スコアｄ１３及び共起確率データｄ１４の精度が向上することとなる。
【０３３０】
［２．３．まとめ］
以上のように、本実施形態に係る情報処理システム１’では、画面中の対象物を示す識別情報の推定結果をユーザＵ１に提示して、当該推定結果に対する正否を判定結果として取得し、取得した判定結果に基づくサンプルデータを蓄積する。このように、第２の実施形態に係る情報処理システム１’は、対象物の推定結果に対するユーザＵ１の判定結果に基づきサンプルデータを蓄積することで再学習し、識別スコアｄ１３や共起確率データｄ１４の精度、即ち、対象物の識別に係る精度を向上させることが可能とる。
【０３３１】
＜３．ハードウェア構成＞
以上、本開示の実施形態を説明した。上述した情報処理装置１０による情報処理は、以下に説明するような情報処理装置１０のハードウェアとの協働により実現される。
【０３３２】
図４５は、情報処理装置１０のハードウェア構成の一例を示した説明図である。図１２に示したように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、入力装置９０８と、出力装置９１０と、ストレージ装置９１１と、ドライブ９１２と、通信装置９１５とを備える。
【０３３３】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【０３３４】
入力装置９０８は、ボタンやスイッチなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置９０８を操作することにより、情報処理装置１０に対して処理動作を指示したりすることができる。
【０３３５】
出力装置９１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置９１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【０３３６】
ストレージ装置９１１は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９１１は、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【０３３７】
ドライブ９１２は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０３３８】
通信装置９１５は、例えば、ネットワークＮに接続するための通信デバイス等で構成された通信インタフェースである。特に、本開示の実施形態に係る通信装置９１５は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置を含む。なお、通信装置９１５は、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置や、有線による通信を行うワイヤー通信装置を含んでもよい。
【０３３９】
なお、ネットワークＮは、ネットワークＮに接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワークＮは、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワークＮは、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０３４０】
また、図４５に示すハードウェア構成はあくまで一例であり、上述した本開示の実施形態に係る情報処理装置１０の動作を実現できれば図４５に示したハードウェア構成には限定されない。
【０３４１】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを、上記した情報処理装置が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
【０３４２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３４３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の対象物を含む画像を取得する画像取得部と、
前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御する表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記第１の対象物に対する操作を受けた当該第１の対象物の識別結果に基づき、前記識別情報を制御する、前記（１）に記載の情報処理装置。
（３）
前記第１の対象物に対する操作は、前記画像中における前記第１の対象物に対応する領域を指定する操作である、前記（２）に記載の情報処理装置。
（４）
前記第１の対象物に対する操作は、前記第１の対象物を示す識別情報を設定する操作である、前記（１）に記載の情報処理装置。
（５）
前記第２の対象物を示す識別情報の１以上の候補を取得する識別情報取得部を備え、
前記表示制御部は、前記第１の対象物に対する操作を受けて、前記１以上の候補の中から推定された候補を、前記識別情報として表示させる、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記表示制御部は、前記第２の対象物を示す識別情報の１以上の候補を当該第２の対象物に関連付けて表示させ、前記第１の対象物に対する操作を受けて、前記１以上の候補の中から推定された候補を示す識別情報に基づき、当該第２の対象物を示す識別情報を更新する、前記（５）に記載の情報処理装置。
（７）
前記識別情報取得部は、前記第１の対象物を示す識別情報の１以上の候補を取得し、
前記第１の対象物を示す識別情報の１以上の候補の中から一の候補の指定を受けて、前記第２の対象物を示す識別情報は、指定された当該一の候補に基づき、前記２の対象物を示す識別情報の１以上の候補の中から推定される、前記（５）または（６）に記載の情報処理装置。
（８）
前記識別情報取得部は、前記画像中に設定された複数の領域それぞれに含まれる前記対象物について抽出された、当該対象物を示す識別情報の１以上の候補を取得する、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記識別情報取得部は、前記領域に含まれる前記対象物の識別結果に基づき抽出された、当該対象物を示す識別情報の候補を取得する、前記（８）に記載の情報処理装置。
（１０）
前記識別情報取得部は、前記領域が更新された場合に、更新後の前記領域に含まれる前記対象物の識別結果に基づき抽出された、当該対象物を示す識別情報の候補を取得する、前記（９）に記載の情報処理装置。
（１１）
前記複数の領域のうち少なくとも１つの領域が、前記画像に対する画像解析処理に基づき特定される、前記（８）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記対象物は、料理であり、
前記少なくとも１つの領域が、前記料理が盛られた容器の認識結果に基づき特定される、前記（１１）に記載の情報処理装置。
（１３）
前記対象物は、人物であり、
前記少なくとも１つの領域が、前記人物の顔の認識結果に基づき特定される、前記（１１）に記載の情報処理装置。
（１４）
前記識別情報取得部は、前記識別情報の１以上の候補を外部のサーバーから取得する、前記（５）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記第２の対象物を示す識別情報は、当該識別情報の１以上の候補それぞれが示す対象物が、前記第１の対象物と共起する確率を示す共起確率に基づき推定される、前記（５）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記表示制御部は、前記第２の対象物を示す識別情報の推定結果の確度を識別可能に表示させる、前記（５）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記画像を撮像する撮像部を備える、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
表示部を含む端末と、
複数の対象物を含む画像を取得する画像取得部と、当該画像を前記表示部に表示させる表示制御部とを含むサーバーと、
を備え、
前記表示制御部は、前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御する、情報処理システム。
（１９）
コンピュータに、
複数の対象物を含む画像を取得することと、
前記複数の対象物のうち第１の対象物に対する操作を受けて、第２の対象物に関連付けられる当該第２の対象物を示す識別情報を制御することと、
を実行させるプログラムを記憶した記憶媒体。
【符号の説明】
【０３４４】
１、１’  情報処理システム
１０      情報処理装置
２０      ユーザ端末
１０２    画像取得部
１０４    対象物抽出部
１０６    対象物指定部
１０８    確度特定部
１１０    特徴量データ記憶部
１１２    識別情報指定部
１１４    抽出部
１１６    共起確率データ記憶部
１１８    推定部
１２０    表示制御部
１２２    更新部
２０２    撮像部
２０４    操作部
２０６    表示部
【図１】
2015005172.tif 000003
【図２】
2015005172.tif 000004
【図３Ａ】
2015005172.tif 000005
【図３Ｂ】
2015005172.tif 000006
【図４】
2015005172.tif 000007
【図５Ａ】
2015005172.tif 000008
【図５Ｂ】
2015005172.tif 000009
【図６】
2015005172.tif 000010
【図７】
2015005172.tif 000011
【図８】
2015005172.tif 000012
【図９】
2015005172.tif 000013
【図１０】
2015005172.tif 000014
【図１１】
2015005172.tif 000015
【図１２】
2015005172.tif 000016
【図１３】
2015005172.tif 000017
【図１４】
2015005172.tif 000018
【図１５】
2015005172.tif 000019
【図１６】
2015005172.tif 000020
【図１７】
2015005172.tif 000021
【図１８】
2015005172.tif 000022
【図１９】
2015005172.tif 000023
【図２０】
2015005172.tif 000024
【図２１】
2015005172.tif 000025
【図２２】
2015005172.tif 000026
【図２３】
2015005172.tif 000027
【図２４】
2015005172.tif 000028
【図２５】
2015005172.tif 000029
【図２６】
2015005172.tif 000030
【図２７】
2015005172.tif 000031
【図２８】
2015005172.tif 000032
【図２９】
2015005172.tif 000033
【図３０】
2015005172.tif 000034
【図３１】
2015005172.tif 000035
【図３２】
2015005172.tif 000036
【図３３】
2015005172.tif 000037
【図３４】
2015005172.tif 000038
【図３５】
2015005172.tif 000039
【図３６】
2015005172.tif 000040
【図３７】
2015005172.tif 000041
【図３８】
2015005172.tif 000042
【図３９】
2015005172.tif 000043
【図４０】
2015005172.tif 000044
【図４１】
2015005172.tif 000045
【図４２】
2015005172.tif 000046
【図４３】
2015005172.tif 000047
【図４４】
2015005172.tif 000048
【図４５】
2015005172.tif 000049