(57)【要約】【課題】認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能な情報処理方法等を提供する。【解決手段】情報処理方法において、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得し（Ｓ１０２）、センシングデータのうちの分析対象の部分を指定する指示を取得し（Ｓ１０３）、複数の認識結果候補それぞれと部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出し（Ｓ１０４）、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。【選択図】図９
2020042765.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、
前記センシングデータのうちの分析対象の部分を指定する指示を取得し、
前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、
選出された前記少なくとも１つの認識結果候補を出力する
情報処理方法。
【請求項２】
さらに、前記コンピュータが、出力された前記少なくとも１つの認識結果候補に基づいて処理結果を提示する
請求項１に記載の情報処理方法。
【請求項３】
前記処理結果は、前記センシングデータに含まれる複数の値それぞれが、出力された前記少なくとも１つの認識結果候補それぞれの前記尤度に寄与する度合いを示す
請求項２に記載の情報処理方法。
【請求項４】
前記関係は、前記複数の認識結果候補それぞれと前記部分との重複の有無、及び、前記重複の程度のうち少なくとも１つである
請求項１〜３のいずれか１項に記載の情報処理方法。
【請求項５】
前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補それぞれは、前記複数の認識結果候補のうち、前記尤度が閾値よりも高い認識結果候補である
請求項１〜４のいずれか１項に記載の情報処理方法。
【請求項６】
前記コンピュータが、
前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、
前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する
請求項５に記載の情報処理方法。
【請求項７】
さらに、前記コンピュータが、選出された前記少なくとも１つの認識結果候補それぞれの前記尤度を出力する
請求項１〜６のいずれか１項に記載の情報処理方法。
【請求項８】
前記センシングデータは、画像であり、
前記認識処理は、前記画像上の物体認識処理であり、
前記複数の認識結果候補それぞれは、前記画像に映る物体の候補である
請求項１〜７のいずれか１項に記載の情報処理方法。
【請求項９】
機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、
前記センシングデータのうちの分析対象の部分を指定する指示を取得し、
前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、
選出された前記少なくとも１つの認識結果候補を出力する
コンピュータを備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理方法等に関する。
【背景技術】
【０００２】
従来、ディープニューラルネットワークの反応を可視化する方法が提案されている（例えば、非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｌｕｉｓａ  Ｍ  Ｚｉｎｔｇｒａｆ、他３名、「Ｖｉｓｕａｌｉｚｉｎｇ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ｄｅｃｉｓｉｏｎｓ：  Ｐｒｅｄｉｃｔｉｏｎ  Ｄｉｆｆｅｒｅｎｃｅ  Ａｎａｌｙｓｉｓ」、２０１７年２月１５日、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７０２．０４５９５．ｐｄｆ
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、物体検出等のような認識処理では、物体が検出されない場合があり、認識処理の出力の分析が困難な場合がある。
【０００５】
そこで、本開示は、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能な情報処理方法等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る情報処理方法では、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する。
【０００７】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示の一態様に係る情報処理方法等により、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能である。
【図面の簡単な説明】
【０００９】
【図１】図１は、参考例における識別処理に用いられる入力画像を示すイメージ図である。
【図２】図２は、参考例における識別処理によって得られる識別結果を示すイメージ図である。
【図３】図３は、参考例における検出処理に用いられる入力画像を示すイメージ図である。
【図４】図４は、参考例における検出処理によって得られる検出結果を示すイメージ図である。
【図５】図５は、参考例における識別結果に対する正の寄与度を示すイメージ図である。
【図６】図６は、参考例における識別結果に対する負の寄与度を示すイメージ図である。
【図７】図７は、実施の形態における情報処理システムの構成を示すブロック図である。
【図８】図８は、実施の形態における情報処理システムの態様を示すイメージ図である。
【図９】図９は、実施の形態における情報処理システムの処理を示すフローチャートである。
【図１０】図１０は、実施の形態における認識部の処理を示す概念図である。
【図１１】図１１は、実施の形態における指定部の処理を示す概念図である。
【図１２】図１２は、実施の形態における指定部の処理の別の態様を示す概念図である。
【図１３】図１３は、実施の形態における指定部の処理のさらに別の態様を示す概念図である。
【図１４】図１４は、実施の形態における指定部の処理のさらに別の態様を示す概念図である。
【図１５】図１５は、実施の形態における選出部の処理を示す概念図である。
【図１６】図１６は、実施の形態における選出部の処理を示すフローチャートである。
【図１７】図１７は、実施の形態における選出部の処理の別の態様を示すフローチャートである。
【図１８】図１８は、実施の形態における指定座標から分析対象の領域を導出する処理を示す概念図である。
【図１９】図１９は、実施の形態における指定座標から分析対象の領域を導出する処理の別の態様を示す概念図である。
【図２０】図２０は、実施の形態における分析部の処理を示す概念図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
近年、ニューラルネットワーク型の認識モデルが利用され始めている。ニューラルネットワークは生物の神経が模擬された数理モデルであり、この数理モデルは複数の層を有し得る。ニューラルネットワーク型の認識モデルは、ニューラルネットワークで構成されるモデルであって、認識処理を行うためのモデルである。例えば、ニューラルネットワーク型の認識モデルに画像等のセンシングデータが入力され、ニューラルネットワーク型の認識モデルによってセンシングデータの内容が認識される。
【００１１】
また、様々な認識モデルによって、様々な認識処理が行われるが、これらの認識処理は、識別処理、検出処理、及び、セグメンテーション処理等に分類される。例えば、識別処理では、センシングデータが何を表しているかが識別される。識別処理は、分類処理とも表現され、例えば、センシングデータが複数の種類のいずれかに分類される。また、例えば、検出処理では、センシングデータにおいて検出対象の内容を表す部分が検出される。あるいは、検出処理では、センシングデータのどの部分が何を表しているかが検出される。
【００１２】
図１は、参考例における識別処理に用いられる入力画像を示すイメージ図である。例えば、図１に示された入力画像が、識別処理を行う認識モデルに入力される。
【００１３】
図２は、参考例における識別処理によって得られる識別結果を示すイメージ図である。例えば、図１に示された入力画像が、識別処理を行う認識モデルに入力されることにより、図２に示された識別結果が得られる。具体的には、入力画像が犬を表していることが識別結果として得られる。
【００１４】
図３は、参考例における検出処理に用いられる入力画像を示すイメージ図である。例えば、図３に示された入力画像が、検出処理を行う認識モデルに入力される。
【００１５】
図４は、参考例における検出処理によって得られる検出結果を示すイメージ図である。例えば、図３に示された入力画像が、検出処理を行う認識モデルに入力されることにより、図４に示された識別結果が得られる。具体的には、犬を表す部分が検出結果として得られる。言い換えれば、図４の点線枠部分が犬を表していることが検出結果として得られる。
【００１６】
また、センシングデータの識別処理を行う認識モデルを解析するため、識別結果に対して、センシングデータに含まれる複数の値それぞれの寄与度を導出する方法が提案されている。
【００１７】
具体的には、ＰＤＡ（Ｐｒｅｄｉｃｔｉｏｎ  Ｄｉｆｆｅｒｅｎｃｅ  Ａｎａｌｙｓｉｓ）、ＬＩＭＥ（Ｌｏｃａｌ  Ｉｎｔｅｒｐｒｅｔａｂｌｅ  Ｍｏｄｅｌ−ａｇｎｏｓｔｉｃ  Ｅｘｐｌａｎａｔｉｏｎｓ）、Ｇｒａｄ−ＣＡＭ（Ｇｒａｄｉｅｎｔ−ｗｅｉｇｈｔｅｄ  Ｃｌａｓｓ  Ａｃｔｉｖａｔｉｏｎ  Ｍａｐｐｉｎｇ）、又は、Ｇ  Ｂａｃｋ  Ｐｒｏｐ（Ｇｕｉｄｅｄ  Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ）等のような方法がある。非特許文献１は、その一例である。
【００１８】
このような方法に基づいて、例えば、入力されるセンシングデータが画像である場合、画像の識別結果に対して、画像に含まれる複数の画素値それぞれの寄与度が導出される。
【００１９】
図５は、図２に示された識別結果に対する正の寄与度を示すイメージ図である。便宜上、図５には、入力画像が犬を表しているという識別結果に肯定的に寄与した度合いが点の密度で表現されている。実際には、画素毎に色の濃度等で、識別結果に肯定的に寄与した度合いが表現されてもよい。
【００２０】
この例において、入力画像において犬の頭が映る部分、及び、入力画像において犬の尾が映る部分が、入力画像が犬を表しているという識別結果に肯定的に寄与している。つまり、犬の頭が映る部分、及び、犬の尾が映る部分が、入力画像が犬を表しているという方向へ識別結果を導いている。
【００２１】
図６は、図２に示された識別結果に対する負の寄与度を示すイメージ図である。便宜上、図６には、入力画像が犬を表しているという識別結果に否定的に寄与した度合いが点の密度で表現されている。実際には、画素毎に色の濃度等で、識別結果に否定的に寄与した度合いが表現されてもよい。
【００２２】
この例において、入力画像において犬の前足が映る部分が、入力画像が犬を表しているという識別結果に否定的に寄与している。つまり、犬の前足が映る部分は、入力画像が犬を表していないという方向へ識別結果を導いている。
【００２３】
ここでは、正の寄与度と負の寄与度とが分けられて表現されているが、正の寄与度と負の寄与度とが組み合わされて表現されてもよい。例えば、赤色の濃度で、識別結果に肯定的に寄与した度合いが表現され、青色の濃度で、識別結果に否定的に寄与した度合いが表現されてもよい。
【００２４】
図５及び図６に示された情報に従って、入力画像が犬を表しているという識別結果の要因が示される。このような情報は、認識モデルの精度向上に有用である。例えば、識別結果が誤りである場合、その要因に基づいて、認識モデルのパラメータの調整、又は、再学習等を行うことが可能である。よって、認識モデルの精度を効率的に向上させることが可能である。
【００２５】
しかしながら、識別処理の識別結果は単純であるが、検出処理の検出結果は複雑である。したがって、識別処理において寄与度を導出する処理を検出処理に適用することは困難である。
【００２６】
例えば、検出処理において、物体が正しく検出された場合、あるいは、物体が誤って検出された場合、物体の検出に寄与した度合いを画像の画素毎に導出することが可能であるかもしれない。一方、検出処理において、物体が検出されない場合がある。この場合、物体の検出に寄与した度合いが存在せず、寄与度を導出することは困難である。
【００２７】
したがって、検出処理において、画像に物体が映っているにもかかわらず、物体が検出されなかった場合等では、その検出結果を分析することが困難であり、認識モデルの精度を効率的に向上させることが困難である。
【００２８】
そこで、例えば、本開示の一態様に係る情報処理方法では、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する。
【００２９】
これにより、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することが可能になる。すなわち、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能になる。
【００３０】
例えば、さらに、前記コンピュータが、出力された前記少なくとも１つの認識結果候補に基づいて処理結果を提示する。
【００３１】
これにより、選出された認識結果候補に基づく分析処理等の処理結果を提示することが可能になる。
【００３２】
また、例えば、前記処理結果は、前記センシングデータに含まれる複数の値それぞれが、出力された前記少なくとも１つの認識結果候補それぞれの前記尤度に寄与する度合いを示す。
【００３３】
これにより、選出された認識結果候補に対して、センシングデータにおける複数の値それぞれの寄与度を提示することが可能になる。
【００３４】
また、例えば、前記関係は、前記複数の認識結果候補それぞれと前記部分との重複の有無、及び、前記重複の程度のうち少なくとも１つである。
【００３５】
これにより、指定された部分に対する重複の有無又は程度に基づいて選出された認識結果候補を出力することが可能になる。
【００３６】
また、例えば、前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補それぞれは、前記複数の認識結果候補のうち、前記尤度が閾値よりも高い認識結果候補である。
【００３７】
これにより、尤度が高い認識結果候補を選出することが可能になり、より有用な認識結果候補を出力することが可能になる。
【００３８】
また、例えば、前記コンピュータが、前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する。
【００３９】
これにより、閾値よりも尤度が高い認識結果候補が存在しない場合等において、閾値を下げ、下げられた閾値よりも尤度が高い認識結果候補を選出することが可能になる。
【００４０】
また、例えば、さらに、前記コンピュータが、選出された前記少なくとも１つの認識結果候補それぞれの前記尤度を出力する。
【００４１】
これにより、分析処理等に有用な情報として、選出された認識結果候補の尤度を出力することが可能になる。
【００４２】
また、例えば、前記センシングデータは、画像であり、前記認識処理は、前記画像上の物体認識処理であり、前記複数の認識結果候補それぞれは、前記画像に映る物体の候補である。
【００４３】
これにより、画像上の物体認識処理に関して、画像に映る物体の候補を出力することが可能になる。
【００４４】
また、例えば、本開示の一態様に係る情報処理システムは、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力するコンピュータを備える。
【００４５】
これにより、情報処理システムは、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することができる。すなわち、情報処理システムは、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報を出力することができる。
【００４６】
さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
【００４７】
以下、実施の形態について図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４８】
（実施の形態）
図７は、本実施の形態における情報処理システムの構成を示すブロック図である。図７に示された情報処理システム１００は、認識部１０１、指定部１０２、選出部１０３及び分析部１０４を備える。例えば、各構成要素は、電気回路で構成され、有線又は無線の通信、あるいは、入出力回路等を介して、他の構成要素へ情報を伝達することができる。
【００４９】
認識部１０１は、センシングデータを取得し、センシングデータに対して認識処理を行う情報処理部である。例えば、認識部１０１は、認識モデルにセンシングデータを入力することにより、センシングデータに対して認識処理を行い、認識結果を取得する。その際、認識部１０１は、認識モデルにセンシングデータを入力することにより、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。そして、認識部１０１は、尤度が閾値以上である認識結果候補を示す最終的な認識結果を取得する。
【００５０】
また、例えば、センシングデータは、画像であり、認識処理は、画像における物体の検出処理であり、認識結果は、図４のような検出結果であり、複数の認識結果候補それぞれは、画像における物体の候補である。また、認識モデルは、機械学習によって訓練されたモデルであり、認識処理を実行するモデルである。認識部１０１が、正解データを用いて認識モデルを訓練してもよい。
【００５１】
また、認識モデルは、ニューラルネットワークと呼ばれる数理モデルであってもよい。具体的には、ＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  ｍｕｌｔｉｂｏｘ  Ｄｅｔｅｃｔｏｒ）、Ｆａｓｔｅｒ−ＲＣＮＮ（Ｆａｓｔｅｒ  Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、又は、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ）等のような物体検出方法に対応する認識モデルが用いられてもよい。
【００５２】
また、認識部１０１は、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を選出部１０３へ出力する。つまり、認識部１０１は、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を示す情報を選出部１０３へ出力する。必ずしも、認識部１０１は、尤度が閾値以上である認識結果候補を示す最終的な認識結果を取得しなくてもよいし、最終的な認識結果を出力しなくてもよい。
【００５３】
指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する情報処理部である。例えば、センシングデータが画像である場合、指定部１０２は、画像に含まれる部分を分析対象の部分として指定する指示を取得する。
【００５４】
また、指定部１０２は、指示を取得するための入力インタフェース又は通信インタフェースを備えていてもよい。ここで、入力インタフェースは、タッチパネル、キーボード、マウス又はマイクロフォン等である。また、通信インタフェースは、通信ネットワークを介して指示を取得するための通信端子又はアンテナ等である。
【００５５】
選出部１０３は、センシングデータ上の複数の認識結果候補から少なくとも１つの認識結果候補を選出する情報処理部である。
【００５６】
具体的には、上述した通り、認識部１０１が、認識モデルにセンシングデータを入力することにより、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。選出部１０３は、認識部１０１から、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。
【００５７】
そして、選出部１０３は、複数の認識結果候補それぞれと、指定された部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する。そして、選出部１０３は、選出された少なくとも１つの認識結果候補を出力する。つまり、選出部１０３は、選出された少なくとも１つの認識結果候補を示す情報を出力する。
【００５８】
例えば、複数の認識結果候補それぞれと、指定された部分との上記の関係は、複数の認識結果候補それぞれと、指定された部分との重複の有無であってもよいし、重複の程度であってもよい。具体的には、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、指定された部分に対して重複がある認識結果候補であってもよいし、複数の認識結果候補のうち、指定された部分に対して重複が大きい認識結果候補であってもよい。
【００５９】
また、例えば、複数の認識結果候補それぞれと、指定された部分との上記の関係は、複数の認識結果候補それぞれと、指定された部分とのユークリッド距離であってもよい。具体的には、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、指定された部分から所定のユークリッド距離の範囲内の認識結果候補であってもよい。
【００６０】
また、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、尤度が閾値よりも高い認識結果候補であってもよい。つまり、選出部１０３は、認識部１０１から得られる複数の認識結果候補のうち、尤度が閾値よりも高く、かつ、指定された部分に対して重複がある又は大きい認識結果候補を選出してもよい。選出部１０３が認識結果候補を選出するための閾値は、認識部１０１が認識結果を取得するための閾値よりも低くてもよい。
【００６１】
また、選出部１０３は、複数の認識結果候補から所定数の認識結果候補が選出されるまで、閾値を下げて、複数の認識結果候補から少なくとも１つの認識結果候補を選出してもよい。
【００６２】
分析部１０４は、分析処理を行う情報処理部である。例えば、分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する。分析部１０４は、処理結果を提示するための出力インタフェース又は通信インタフェースを備えていてもよい。ここで、出力インタフェースは、タッチパネル、ディスプレイ又はスピーカ等である。また、通信インタフェースは、通信ネットワークを介して処理結果を提示するための通信端子又はアンテナ等である。
【００６３】
具体的には、分析部１０４は、センシングデータに含まれる複数の値それぞれが、選出部１０３から出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す処理結果を提示する。認識結果候補の尤度に複数の値それぞれが寄与する度合いは、認識結果候補の尤度に対する複数の値それぞれの寄与度とも表現され得る。例えば、センシングデータが、複数の画素値を含む画像である場合、処理結果は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す。
【００６４】
また、分析部１０４は、ＰＤＡ、ＬＩＭＥ、Ｇｒａｄ−ＣＡＭ、及び、Ｇ  Ｂａｃｋ  Ｐｒｏｐ等と呼ばれる複数の方法のいずれかを用いて、分析処理を行ってもよい。そして、これにより、分析部１０４は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す処理結果を提示してもよい。
【００６５】
なお、認識部１０１及び分析部１０４は、任意の構成要素であって、情報処理システム１００は、これらを備えなくてもよい。例えば、他の認識システムが認識部１０１を備えていてもよいし、他の分析システムが分析部１０４を備えていてもよい。
【００６６】
また、情報処理システム１００において用いられる処理対象のセンシングデータは、画像でなくてもよい。例えば、センシングデータは、画像などのような２次元データに限られず、例えばマイクロフォン又は慣性センサによって得られる波形データ等のような１次元データであってもよい。また、センシングデータは、例えばＬｉＤＡＲ又はレーダによって得られる点群データ、若しくは、時系列の複数の画像である動画データ等のような３次元データであってもよい。また、センシングデータは、その他の次元のデータであってよい。
【００６７】
また、処理対象のセンシングデータの次元が変更されてもよい。例えば、センシングデータが波形データである場合、所定期間の波形データが用いられることによって、センシングデータが２次元データとして用いられてもよい。また、センシングデータが波形データである場合、ケプストラムのように波形データを時間と周波数とからなる２次元データに変換することで、センシングデータの次元が変更されてもよい。
【００６８】
また、センシングデータが水平方向、垂直方向及び奥行方向における位置で特定される点で構成される点群データである場合、奥行方向における特定の位置において水平方向及び垂直方向に得られる点群データ（すなわち２次元データ）が用いられてもよい。つまり、この場合、奥行方向における特定の位置における平面上のセンシングデータが用いられてもよい。
【００６９】
また、例えば、音声認識において、センシングデータは、音声の波形データを表す音声信号であってもよい。そして、音声認識において、認識対象の要素は、単語、文、又は、発話区間等であってもよい。３次元の物体検出において、センシングデータは、３次元データである点群データであってもよい。そして、３次元の物体検出において、認識対象の要素、つまり検出対象の要素は、３次元の物体であってもよい。
【００７０】
指定部１０２では、上記のような次元におけるセンシングデータのうち分析対象の部分を指定する指示が取得される。そして、選出部１０３が認識結果候補を選出する際に、複数の認識結果候補それぞれと、指定された部分との関係が用いられる。その際、分析対象の部分として指定された領域と、認識結果候補との重なり率が用いられてもよい。あるいは、分析対象の部分として指定された座標と、認識結果候補とのユークリッド距離が用いられてもよい。
【００７１】
例えば、分析対象の部分として指定された領域と、認識結果候補との重なり率が所定の重なり率以上であることが、選出の条件に用いられてもよい。また、分析対象の部分として指定された座標と、認識結果候補とのユークリッド距離が所定のユークリッド距離以下であることが、選出の条件に用いられてもよい。
【００７２】
また、上述したように、認識結果候補の尤度が閾値よりも高いことが、選出部１０３における選出の条件に用いられてもよい。
【００７３】
あるいは、選出部１０３は、認識部１０１が出力する複数の認識結果候補から、複数の認識結果候補それぞれと、指定された部分との関係に基づいて抽出される１つ以上の認識結果候補のうち、尤度が相対的に高い少なくとも１つの認識結果候補を選出してもよい。例えば、選出部１０３は、１つ以上の認識結果候補のうち、尤度が最も高い認識結果候補を選出してもよいし、尤度の高い順に所定数の認識結果候補を選出してもよい。
【００７４】
図８は、図７に示された情報処理システム１００の態様を示すイメージ図である。例えば、情報処理システム１００は、図７に示された情報処理システム１００が備える複数の構成要素に対応するコンピュータ１１０を備える。そして、コンピュータ１１０は、図７に示された情報処理システム１００が備える複数の構成要素の役割を果たしてもよい。また、コンピュータ１１０は、分散して配置される複数の装置を備えてもよい。
【００７５】
また、コンピュータ１１０は、図７に示された認識部１０１、指定部１０２、選出部１０３及び分析部１０４のうち、指定部１０２及び選出部１０３のみの役割を果たしてもよい。コンピュータ１１０とは異なる他の１つ以上の装置が、認識部１０１及び分析部１０４の役割を果たしてもよい。
【００７６】
図９は、図７に示された情報処理システム１００の処理を示すフローチャートである。まず、認識部１０１が、センシングデータに対して認識処理を行う（Ｓ１０１）。具体的には、認識部１０１は、センシングデータを認識モデルに入力することにより、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。そして、認識部１０１は、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を出力する。
【００７７】
選出部１０３は、認識部１０１から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。また、指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、選出部１０３は、指定部１０２を介して、センシングデータのうちの分析対象の部分を指定する指示を取得する。
【００７８】
次に、選出部１０３は、複数の認識結果候補それぞれと、指定された部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、選出部１０３は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
【００７９】
次に、分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する（Ｓ１０６）。
【００８０】
上述された処理によって、情報処理システム１００は、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理に有用な認識結果候補を出力することができる。したがって、情報処理システム１００は、認識結果候補に基づく適切な分析処理の処理結果を提示することができる。以下、例を用いて、より具体的な処理を説明する。なお、以下は例であり、情報処理システム１００が行う処理は、以下の例に限定されない。
【００８１】
図１０は、図７に示された認識部１０１の処理を示す概念図である。認識部１０１は、センシングデータを取得し、センシングデータに対して認識処理を行う。この例において、センシングデータは、画像であり、認識処理は、画像における物体の検出処理である。すなわち、認識部１０１は、入力画像を取得し、入力画像に対して物体の検出処理を行う。
【００８２】
具体的には、物体の検出処理において、認識部１０１は、多層構造のニューラルネットワークを用いて、入力画像から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。ここで、認識結果候補は、入力画像における認識対象物体の候補、つまり、入力画像における検出対象物体の候補である。
【００８３】
より具体的には、認識部１０１は、入力画像を多層構造のニューラルネットワークの入力層に入力し、多層構造のニューラルネットワークに含まれる複数の処理層それぞれにおいて、入力画像の特徴を示す特徴マップを導出する。そして、認識部１０１は、特徴マップに適合する認識結果候補、及び、その尤度を導出する。これにより、認識部１０１は、１つ以上の特徴マップから、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を導出する。
【００８４】
そして、認識部１０１は、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を選出部１０３へ出力する。
【００８５】
また、認識部１０１は、複数の認識結果候補それぞれの尤度に基づいて、認識結果候補が、認識対象物体であるか否か、つまり検出対象物体であるか否かを判定してもよい。そして、認識部１０１は、認識対象物体であると判定された認識結果候補を認識対象物体つまり検出対象物体として示す認識結果を出力してもよい。ただし、認識対象物体であるか否かの判定、及び、認識結果の出力は、行われなくてもよい。
【００８６】
図１１は、図７に示された指定部１０２の処理を示す概念図である。指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する。この例において、センシングデータは、画像であり、指定部１０２は、画像に含まれる部分を分析対象の部分として指定する指示を取得する。分析対象の部分は、分析対象の点又は位置、つまり分析対象の座標であってもよい。あるいは、分析対象の部分は、幅又は大きさ等を有する領域であってもよい。図１１の例では、座標が分析対象の部分として指定されている。
【００８７】
例えば、情報処理システム１００のユーザが、指定部１０２が備える入力インタフェースを介して、センシングデータのうちの分析対象の部分を指定する。指定部１０２は、指定された部分を示す情報を指示として取得する。
【００８８】
より具体的には、指定部１０２は、画像を表示する画面と、入力を取得するマウスとを備えていてもよい。そして、指定部１０２は、認識部１０１へ入力された画像を取得し、取得された画像を画面に表示する。そして、指定部１０２は、画像が表示された画面において、マウスでクリックされた座標を分析対象の部分として、より具体的には分析対象の部分を指定する指示として取得してもよい。
【００８９】
例えば、ユーザは、画面において表示されている物体をマウスでクリックすることで、分析対象の部分を指定することができ、指定部１０２は、分析対象の部分を指定する指示を取得することができる。
【００９０】
画面とマウスとの組み合わせに代えて、タッチパネルが用いられてもよい。指定部１０２は、タッチパネルでタッチされた座標を分析対象の部分として取得してもよい。
【００９１】
図１２は、図７に示された指定部１０２の処理の別の態様を示す概念図である。分析対象の部分に対応する領域をマウスで塗りつぶす操作によって、分析対象の部分が指定されてもよい。そして、指定部１０２は、塗りつぶされた領域を分析対象の部分として取得してもよい。
【００９２】
図１３は、図７に示された指定部１０２の処理のさらに別の態様を示す概念図である。分析対象の部分に対応する領域をマウスで囲む操作によって、分析対象の部分が指定されてもよい。例えば、マウスによって矩形の枠が分析対象の部分として指定されてもよい。このような指定方法は、矩形選択とも呼ばれる。ただし、矩形に限らず、その他の多角形又はその他の形状によって分析対象の部分が指定されてもよい。
【００９３】
図１４は、図７に示された指定部１０２の処理のさらに別の態様を示す概念図である。指定部１０２は、正解データを読み込み、正解データが示す物体の領域を分析対象の部分として取得してもよい。正解データは、記録媒体等を介して入力されてもよい。また、正解データは、認識部１０１へ画像と共に入力されてもよい。そして、指定部１０２は、認識部１０１から正解データを取得してもよい。
【００９４】
図１１〜図１４に示された通り、分析対象の部分を指定する方法として複数の方法が存在し、これらの複数の方法は、分析対象の座標を指定する方法（図１１）と、分析対象の領域を指定する方法（図１２〜図１４）とに大別される。これら複数の方法のうち、１つの方法が利用可能であってもよいし、２つ以上の方法が利用可能であってもよい。
【００９５】
分析対象の座標を分析対象の部分として指定する指示において指定される座標は、単に指定座標とも表現される。分析対象の領域を分析対象の部分として指定する指示において指定される領域は、単に指定領域とも表現される。分析対象の部分を指定する指示において指定される部分は、単に指定部分とも表現される。指定部１０２は、分析対象の座標又は領域を分析対象の部分として指定する指示を選出部１０３へ出力する。
【００９６】
図１５は、図７に示された選出部１０３の処理を示す概念図である。選出部１０３は、センシングデータ上の複数の認識結果候補から少なくとも１つの認識結果候補を選出する。選出部１０３は、認識部１０１から、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。また、選出部１０３は、指定部１０２から、分析対象の部分を指定する指示を取得する。
【００９７】
そして、選出部１０３は、複数の認識結果候補の中から、複数の認識結果候補それぞれの尤度、及び、指定された部分に基づいて、少なくとも１つの認識結果候補を選出し、選出された少なくとも１つの認識結果候補を出力する。例えば、選出部１０３は、複数の認識結果候補の中から、指定された部分に対応し、かつ、高い尤度を有する認識結果候補を選出する。選出部１０３は、複数の認識結果候補を選出してもよい。具体的には、選出部１０３は、尤度に基づいて、上位３つの認識結果候補を選出してもよい。
【００９８】
例えば、認識部１０１が行う検出処理において、物体が検出されない場合でも、選出部１０３は、指定された部分に対応する少なくとも１つの認識結果候補、つまり、指定された部分に対応する少なくとも１つの検出結果候補を選出して出力する。
【００９９】
図１６は、図１５に示された選出部１０３の処理を示すフローチャートである。この例は、分析対象の部分として分析対象の領域が指定された場合の処理に対応する。
【０１００】
まず、選出部１０３は、分析対象の領域を指定する指示を指定部１０２から取得することにより、指定された領域を分析対象の領域として取得する（Ｓ２０１）。そして、選出部１０３は、選出候補数が所定数よりも大きくなるまで、尤度閾値ループを繰り返す（Ｓ２０２〜Ｓ２１２）。
【０１０１】
尤度閾値ループにおいて、選出部１０３は、複数の認識結果候補それぞれの尤度、及び、閾値に基づいて、尤度が閾値よりも高い認識結果候補で構成される認識結果候補リストを取得する（Ｓ２０３）。選出部１０３は、尤度閾値ループにおいて、認識部１０１から尤度及び閾値に基づいて認識結果候補リストを取得してもよい。あるいは、選出部１０３は、尤度閾値ループの前に、認識部１０１から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を予め取得し、尤度閾値ループにおいて、予め取得された複数の認識結果候補等から、認識結果候補リストを取得してもよい。
【０１０２】
次に、選出部１０３は、選出候補リストを初期化する（Ｓ２０４）。例えば、尤度閾値ループにおいて、選出候補リストに認識結果候補が追加されている可能性がある。選出部１０３は、選出候補リストに追加されている認識結果候補を選出候補リストから削除する。そして、選出部１０３は、認識結果候補リストが空になるまで、認識結果候補リストループ（Ｓ２０５〜Ｓ２１０）を繰り返す。
【０１０３】
認識結果候補リストループにおいて、選出部１０３は、認識結果候補リストから１つの認識結果候補を抽出し、抽出された認識結果候補を認識結果候補リストから削除する（Ｓ２０６）。そして、選出部１０３は、分析対象の領域と、抽出された認識結果候補の領域との重なり率を導出する（Ｓ２０７）。例えば、重なり率は、抽出された認識結果候補の領域が、分析対象の領域に含まれている割合に対応する。重なり率にＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ）が用いられてもよい。
【０１０４】
そして、選出部１０３は、重なり率が閾値以上であるか否かを判定する（Ｓ２０８）。重なり率が閾値以上である場合（Ｓ２０８でＹｅｓ）、選出部１０３は、選出候補リストを更新する（Ｓ２０９）。つまり、この場合、選出部１０３は、抽出された認識結果候補を選出候補リストに追加する。重なり率が閾値よりも小さい場合（Ｓ２０８でＮｏ）、選出部１０３は、選出候補リストを更新しない。つまり、この場合、選出部１０３は、抽出された認識結果候補を選出候補リストに追加しない。
【０１０５】
選出部１０３は、認識結果候補リストが空になるまで、認識結果候補リストループ（Ｓ２０５〜Ｓ２１０）を繰り返し、その後、選出部１０３は、尤度の閾値を下げる（Ｓ２１１）。そして、選出部１０３は、選出候補数が所定数よりも大きくなるまで、尤度閾値ループを繰り返す（Ｓ２０２〜Ｓ２１２）。選出候補数は、選出候補リストに含まれる認識結果候補の数に対応する。つまり、所定数よりも多い認識結果候補が選出されるまで、閾値を下げながら、認識結果候補を選出する。
【０１０６】
選出候補数が所定数よりも大きくなった後、選出部１０３は、選出候補リストを出力する（Ｓ２１３）。
【０１０７】
選出部１０３は、上記の処理によって、複数の認識結果候補の中から、複数の認識結果候補それぞれの尤度、及び、指定された部分に基づいて、少なくとも１つの認識結果候補を選出し、選出された少なくとも１つの認識結果候補を出力することができる。
【０１０８】
図１７は、図１５に示された選出部１０３の処理の別の態様を示すフローチャートである。この例は、分析対象の部分として分析対象の座標が指定された場合の処理に対応する。
【０１０９】
まず、選出部１０３は、分析対象の座標を指定する指示を指定部１０２から取得することにより、指定された座標を取得する（Ｓ３０１）。そして、選出部１０３は、指定された座標に基づいて分析対象の領域を導出することにより、分析対象の領域を取得する（Ｓ３０２）。その後の処理は、図１６において分析対象の領域が取得された後の処理と同じである（Ｓ２０２〜Ｓ２１３）。
【０１１０】
図１８は、図１５に示された選出部１０３において指定座標から分析対象の領域を導出する処理を示す概念図である。選出部１０３は、指定座標から相対的に定められる範囲の領域を分析対象の領域として導出してもよい。図１８の例では、分析対象の領域は、指定座標を中心に有し、かつ、一定の半径を有する円によって定められる領域である。この例に限らず、分析対象の領域は、指定座標を重心に有する矩形の領域であってもよいし、指定座標を重心に有するその他の多角形の領域であってもよい。
【０１１１】
指定部１０２は、分析対象の領域の形状及びサイズの少なくとも一方を指定する指示を取得し、その指示を選出部１０３に出力してもよい。選出部１０３は、指定座標、及び、指定された形状又はサイズに基づいて、分析対象の領域を導出してもよい。
【０１１２】
図１９は、図１５に示された選出部１０３において指定座標から分析対象の領域を導出する処理の別の態様を示す概念図である。選出部１０３は、認識部１０１に入力された画像のセグメンテーション結果と、指定座標とに基づいて、分析対象の領域を導出してもよい。つまり、選出部１０３は、画像のセグメンテーション結果が示す複数のセグメントのうち、指定座標を含むセグメントの領域を分析対象の領域として導出してもよい。
【０１１３】
画像のセグメンテーションは、ニューラルネットワークによって行われてもよいし、画像のエッジ検出等によって行われてもよい。また、画像のセグメンテーションは、認識部１０１において行われてもよいし、指定部１０２において行われてもよいし、選出部１０３において行われてもよいし、その他の構成要素において行われてもよい。また、選出部１０３は、画像のセグメンテーション結果を情報処理システム１００の外部から取得してもよい。
【０１１４】
なお、図１８及び図１９に示された処理は例であって、同等の結果が得られる別の処理が行われてもよい。
【０１１５】
また、上記の説明では、指定部１０２において、座標を指定する指示が取得された場合に、選出部１０３において、指定された座標から分析対象の領域が導出されている。しかし、指定部１０２において、指定された座標から分析対象の領域が導出されてもよい。そして、指定部１０２は、センシングデータにおいて座標を指定する指示を分析対象の領域を指定する指示として取得してもよい。この場合、分析対象の部分として、座標が利用されず、領域が利用される。
【０１１６】
図２０は、図７に示された分析部１０４の処理を示す概念図である。分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する。具体的には、分析部１０４は、センシングデータに含まれる複数の値それぞれが、選出部１０３から出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す処理結果を提示する。ここでは、センシングデータは画像であり、処理結果は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す。
【０１１７】
具体的には、分析部１０４は、識別結果に対する寄与度の導出と同様に、ＰＤＡ、ＬＩＭＥ、Ｇｒａｄ−ＣＡＭ、及び、Ｇ  Ｂａｃｋ  Ｐｒｏｐ等と呼ばれる複数の方法のいずれかを用いて、認識結果候補の尤度に対する寄与度を導出する。そして、分析部１０４は、寄与度を示す処理結果を分析部１０４が備える画面等に提示する。
【０１１８】
この例では、正の寄与度として、認識結果候補の尤度に肯定的に寄与した度合いが点の密度で表現されている。認識結果候補の尤度に肯定的に寄与した度合いは、画素毎に色の濃度等で表現されてもよい。具体的には、犬の頭が映る部分、及び、入力画像において犬の尾が映る部分が、認識結果候補の尤度に肯定的に寄与している。つまり、犬の頭が映る部分、及び、犬の尾が映る部分が、認識結果候補の尤度が高くなる方向へ導いている。
【０１１９】
また、負の寄与度として、認識結果候補の尤度に否定的に寄与した度合いが点の密度で表現されている。認識結果候補の尤度に否定的に寄与した度合いは、画素毎に色の濃度等で表現されてもよい。具体的には、犬の前足が映る部分が、認識結果候補の尤度に否定的に寄与している。つまり、犬の前足が映る部分は、認識結果候補の尤度が低くなる方向へ導いている。
【０１２０】
また、ここでは、正の寄与度と負の寄与度とが分けられて表現されているが、正の寄与度と負の寄与度とが組み合わされて表現されてもよい。例えば、赤色の濃度で、認識結果候補の尤度に肯定的に寄与した度合いが表現され、青色の濃度で、認識結果候補の尤度に否定的に寄与した度合いが表現されてもよい。
【０１２１】
また、分析部１０４は、複数の認識結果候補それぞれに対して分析処理を行って処理結果を提示することにより、複数の認識結果候補に対して複数の処理結果を提示してもよい。あるいは、分析部１０４は、複数の認識結果候補に対して得られる複数の処理結果を統合して、１つの処理結果を提示してもよい。
【０１２２】
なお、上述した情報処理システム１００は、画像に対する複数種の物体の検出処理に適用され得る。また、図１０〜図２０では認識処理として物体検出処理が用いられているが、セグメンテーション処理のようなその他の認識処理が用いられてもよい。
【０１２３】
以上、情報処理システム１００の態様を実施の形態等に基づいて説明したが、情報処理システム１００の態様は、実施の形態等に限定されない。実施の形態等に対して当業者が思いつく変形が施されてもよいし、実施の形態等における複数の構成要素が任意に組み合わされてもよい。例えば、実施の形態等において特定の構成要素によって実行される処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【０１２４】
また、情報処理システム１００の各構成要素が行うステップを含む情報処理方法が任意の装置又はシステムによって実行されてもよい。例えば、情報処理方法は、プロセッサ、メモリおよび入出力回路等を備えるコンピュータ（コンピュータ１１０又は他のコンピュータ）によって実行されてもよい。その際、コンピュータに情報処理方法を実行させるためのプログラムがコンピュータによって実行されることにより、情報処理方法が実行されてもよい。
【０１２５】
また、非一時的なコンピュータ読み取り可能な記録媒体に、プログラムが記録されていてもよい。
【０１２６】
例えば、上記のプログラムは、コンピュータに、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する情報処理方法を実行させる。
【０１２７】
また、情報処理システム１００の複数の構成要素は、専用のハードウェアで構成されてもよいし、上記のプログラム等を実行する汎用のハードウェアで構成されてもよいし、これらの組み合わせで構成されてもよい。また、汎用のハードウェアは、プログラムが記録されたメモリ、及び、メモリからプログラムを読み出して実行する汎用のプロセッサ等で構成されてもよい。ここで、メモリは、半導体メモリ又はハードディスク等でもよいし、汎用のプロセッサは、ＣＰＵ等でもよい。
【０１２８】
また、専用のハードウェアが、メモリ及び専用のプロセッサ等で構成されてもよい。例えば、専用のプロセッサが、認識モデルの情報が記録されたメモリを参照して、上記の情報処理方法を実行してもよい。
【０１２９】
また、情報処理システム１００の各構成要素は、電気回路であってもよい。これらの電気回路は、全体として１つの電気回路を構成してもよいし、それぞれ別々の電気回路であってもよい。また、これらの電気回路は、専用のハードウェアに対応していてもよいし、上記のプログラム等を実行する汎用のハードウェアに対応していてもよい。
【０１３０】
以下、本開示の一態様における情報処理システム１００の基本的な構成及び代表的な変形例等を示す。これらは、互いに組み合わされてもよいし、上記の実施の形態等の一部と組み合わされてもよい。
【０１３１】
（１）本開示の一態様における情報処理方法では、コンピュータ１１０が、モデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。ここで、モデルは、機械学習で訓練されたモデルであって認識処理を実行するモデルである。
【０１３２】
また、コンピュータ１１０は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、コンピュータ１１０は、複数の認識結果候補それぞれと、分析対象の部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、コンピュータ１１０は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
【０１３３】
これにより、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することが可能になる。すなわち、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能になる。
【０１３４】
（２）例えば、コンピュータ１１０は、出力された少なくとも１つの認識結果候補に基づいて処理結果を提示する。これにより、選出された認識結果候補に基づく分析処理等の処理結果を提示することが可能になる。
【０１３５】
（３）例えば、処理結果は、センシングデータに含まれる複数の値それぞれが、出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す。これにより、選出された認識結果候補に対して、センシングデータにおける複数の値それぞれの寄与度を提示することが可能になる。
【０１３６】
（４）例えば、複数の認識結果候補それぞれと、分析対象の部分との関係は、複数の認識結果候補それぞれと、分析対象の部分との重複の有無、及び、複数の認識結果候補それぞれと、分析対象の部分との重複の程度のうち少なくとも１つである。これにより、指定された部分に対する重複の有無又は程度に基づいて選出された認識結果候補を出力することが可能になる。
【０１３７】
（５）例えば、複数の認識結果候補から選出される少なくとも１つの認識結果候補それぞれは、複数の認識結果候補のうち、尤度が閾値よりも高い認識結果候補である。これにより、尤度が高い認識結果候補を選出することが可能になり、より有用な認識結果候補を出力することが可能になる。
【０１３８】
（６）例えば、複数の認識結果候補から、関係、尤度及び閾値に基づいて選出される認識結果候補の数が所定数以下である場合、コンピュータ１１０は、閾値を下げる。そして、コンピュータ１１０は、関係、尤度、及び、下げられた閾値に基づいて、少なくとも１つの認識結果候補を選出する。
【０１３９】
ここで、関係は、複数の認識結果候補それぞれと、分析対象の部分との関係であり、尤度は、複数の認識結果候補それぞれの尤度であり、閾値は、少なくとも１つの認識結果候補を選出するための閾値である。
【０１４０】
これにより、閾値よりも尤度が高い認識結果候補が存在しない場合等において、閾値を下げ、下げられた閾値よりも尤度が高い認識結果候補を選出することが可能になる。なお、この所定数は、０であってもよいし、１であってもよいし、２以上の数であってもよい。
【０１４１】
（７）例えば、コンピュータ１１０は、選出された少なくとも１つの認識結果候補それぞれの尤度を出力する。これにより、分析処理等に有用な情報として、選出された認識結果候補の尤度を出力することが可能になる。
【０１４２】
（８）例えば、センシングデータは、画像であり、認識処理は、画像上の物体認識処理であり、複数の認識結果候補それぞれは、画像に映る物体の候補である。これにより、画像上の物体認識処理に関して、画像に映る物体の候補を出力することが可能になる。
【０１４３】
（９）本開示の一態様における情報処理システム１００は、コンピュータ１１０を備える。コンピュータ１１０は、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。
【０１４４】
また、コンピュータ１１０は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、コンピュータ１１０は、複数の認識結果候補それぞれと、分析対象の部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、コンピュータ１１０は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
【０１４５】
これにより、情報処理システム１００は、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することができる。すなわち、情報処理システム１００は、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報を出力することができる。
【産業上の利用可能性】
【０１４６】
本開示は、認識処理を分析するための情報の出力に利用可能であり、認識システム又は分析システムを改善するための情報処理システム等に適用可能である。
【符号の説明】
【０１４７】
１００  情報処理システム
１０１  認識部
１０２  指定部
１０３  選出部
１０４  分析部
１１０  コンピュータ
【図１】
2020042765.tif 000003
【図２】
2020042765.tif 000004
【図３】
2020042765.tif 000005
【図４】
2020042765.tif 000006
【図５】
2020042765.tif 000007
【図６】
2020042765.tif 000008
【図７】
2020042765.tif 000009
【図８】
2020042765.tif 000010
【図９】
2020042765.tif 000011
【図１０】
2020042765.tif 000012
【図１１】
2020042765.tif 000013
【図１２】
2020042765.tif 000014
【図１３】
2020042765.tif 000015
【図１４】
2020042765.tif 000016
【図１５】
2020042765.tif 000017
【図１６】
2020042765.tif 000018
【図１７】
2020042765.tif 000019
【図１８】
2020042765.tif 000020
【図１９】
2020042765.tif 000021
【図２０】
2020042765.tif 000022