(57)【要約】  情報提示装置は、学習に用いられる学習画像を取得し、学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する。そして、情報提示装置は、学習画像中において対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得し、推定対象物位置と、前記指定対象物位置との差に基づいて、対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する。
2020183691.tif 000002
【特許請求の範囲】
【請求項１】
学習に用いられる学習画像を取得し、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得し、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得し、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する、
情報提示方法。
【請求項２】
前記推定対象物位置と前記指定対象物位置との対応付けをさらに実行し、
対応付けられた前記推定対象物位置と前記指定対象物位置との差に基づいて、前記情報を提示する、請求項１に記載の情報提示方法。
【請求項３】
前記情報として、前記指定対象物位置を修正するための指針を示す文字又は図形を、前記対象物が存在する領域又は座標を表示した前記学習画像又は前記学習画像の一部と共に表示する、請求項１または２に記載の情報提示方法。
【請求項４】
前記指定対象物位置に関する修正データを取得する、請求項１〜３のいずれか一項に記載の情報提示方法。
【請求項５】
前記修正データは、前記指定対象物位置が示す領域の位置又は大きさの少なくとも一方が修正された指定対象物位置の情報、前記指定対象物位置が示す座標が修正された指定対象物位置の情報、前記対象物の修正された分類を示す情報、又は、前記対象物が存在しない位置を前記指定対象物位置が指し示す場合の当該指定対象物位置の情報を削除する情報の少なくともいずれか１つを含む、請求項４に記載の情報提示方法。
【請求項６】
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定した場合に、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する、請求項１〜５のいずれか一項に記載の情報提示方法。
【請求項７】
前記推定対象物位置に対応する前記指定対象物位置が存在しない場合、
前記指定対象物位置に対応する前記推定対象物位置が存在しない場合、
前記指定対象物位置が示す領域が、前記推定対象物位置が示す領域と所定度合以上異なる場合、又は、
前記指定対象物位置が示す座標が、前記推定対象物位置が示す座標と所定度合以上異なる場合の少なくともいずれかが該当する場合に、
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定する、請求項６に記載の情報提示方法。
【請求項８】
前記学習画像中における前記推定対象物位置と前記指定対象物位置との個数の差がある場合、又は、前記推定対象物位置に対応する前記対象物の分類と、前記指定対象物位置に対応する前記対象物の分類とが異なる場合に、
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定する、請求項６に記載の情報提示方法。
【請求項９】
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定した場合に、当該推定対象物位置又は当該指定対象物位置の少なくとも一方を含む領域を強調した前記学習画像又は前記学習画像の一部を、前記情報として提示する、請求項１〜８のいずれか一項に記載の情報提示方法。
【請求項１０】
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定した場合に、当該推定対象物位置又は当該指定対象物位置の少なくとも一方を含む領域を前記学習画像から切り出した画像を、前記情報として提示する、請求項１〜９のいずれか一項に記載の情報提示方法。
【請求項１１】
前記推定対象物位置と、前記指定対象物位置との差が存在しないと判定した場合に、前記学習画像と前記指定対象物位置とを用いて、前記推定対象物位置を出力する推定器の学習を行う、請求項１〜１０のいずれか一項に記載の情報提示方法。
【請求項１２】
前記指定対象物位置に関する修正データを取得した場合、前記学習画像と前記修正データとを用いて、前記推定対象物位置を出力する推定器の学習を行う、請求項１〜１１のいずれか一項に記載の情報提示方法。
【請求項１３】
学習に用いられる学習画像を取得する学習画像取得部と、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得部と、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得部と、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示部と、
を備える情報提示装置。
【請求項１４】
コンピュータが実行するプログラムであって、
学習に用いられる学習画像を取得する学習画像取得部と、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得部と、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得部と、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示部
として前記コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習に用いられる学習データに関する情報提示方法、情報提示装置、及びプログラムの技術分野に関する。
【背景技術】
【０００２】
学習に用いるための正解を示す正解データの修正に関する情報の提示方法の一例が特許文献１に開示されている。特許文献１には、対象となる区画に紐付けられている画像特徴教師データとその周辺に位置する区画に紐付けられている画像特徴教師データとの対比結果に基づいて、この区画に紐付けられている画像特徴教師データの変換元の教師データに対する、削除又はラベルの修正を指示する画面を表示する点が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１８５１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
正解付け作業により正解付けがなされることで生成された正解データは、一般的にそのまま学習データとして採用されるため、正解付け作業にミスが生じた場合、又は、基準と大きく違う付け方をしている場合でも、それを発見することが困難であった。このような正解データを学習データとして学習を行った場合、生成される推定器等の画像認識の精度低下の原因となる。特許文献１には、対象の物体に対する分類（ラベル）に関する修正を指示する情報を提示する点について記載されているものの、物体の座標又は領域に対してなされた正解付けに対する情報の提示については、何ら開示されていない。【０００５】
本発明の目的は、上述した課題を鑑み、正解付けされた物体の位置に関する確認を好適に促すことか可能な情報提示方法、情報提示装置及びプログラムを提供することを主な課題とする。
【課題を解決するための手段】
【０００６】
情報提示方法の一の態様は、情報提示方法であって、学習に用いられる学習画像を取得し、前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得し、前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得し、前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する。【０００７】
情報提示装置の一態様は、情報提示装置であって、学習に用いられる学習画像を取得する学習画像取得部と、前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得部と、前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得部と、前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示部と、を備える。【０００８】
プログラムの一の態様は、コンピュータが実行するプログラムであって、学習に用いられる学習画像を取得する学習画像取得部と、前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得部と、前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得部と、前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示部として前記コンピュータを機能させる。
【発明の効果】
【０００９】
本発明によれば、学習画像において指定された物体の位置に関する確認を好適に促すことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における情報提示システムの概略構成を示す。
【図２】情報提示装置の機能ブロック図である。
【図３】（Ａ）対象物を「人」とした場合の指定対象物位置を明示した学習画像の表示例である。（Ｂ）推定対象物位置を明示した学習画像の表示例である。（Ｃ）指定対象物位置及び推定対象物位置をそれぞれ明示した学習画像の表示例である。
【図４】（Ａ）修正対象が選択される前の確認支援画面の第１表示例を示す。（Ｂ）修正対象が選択された後の確認支援画面の第１表示例を示す。
【図５】（Ａ）修正対象が選択される前の確認支援画面の第２表示例を示す。（Ｂ）修正対象が選択された後の確認支援画面の第１表示例を示す。
【図６】確認支援画面の第３表示例である。
【図７】確認支援画面の第４表示例である。
【図８】確認支援画面の第５表示例である。
【図９】情報提示装置が実行する処理手順を示すフローチャートである。
【図１０】変形例１における情報提示装置の機能ブロック図である。
【図１１】変形例１において情報提示装置が実行する処理手順を示すフローチャートである。
【図１２】確認支援画面の第６表示例である。
【図１３】変形例４における情報提示装置の機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、情報提示方法、情報提示装置、及びプログラムの実施形態について説明する。以後において、画像中における物体の「位置」とは、物体の代表的な座標に相当する画素又はサブピクセルを示す場合に限らず、物体全体に相当する領域の画素群を指す場合も含むものとする。
【００１２】
［全体構成］
図１は、本実施形態における情報提示システム１００の概略構成を示す。情報提示システム１００は、人為的に正解付けがなされた正解データのうち、ミス等に起因して正しく正解付けがなされていない蓋然性が高い正解データを抽出し、当該正解データに関する２重確認（ダブルチェック）及び修正を好適に促す。以後において、「学習データ」は、学習に用いられるデータであり、学習画像と、当該学習画像が学習モデルに入力された場合に正解となるデータである正解データとの組（データセット）を指すものとする。
【００１３】
情報提示システム１００は、情報提示装置１０と、記憶装置２０と、を備える。
【００１４】
情報提示装置１０は、後述する正解データ記憶部２３に記憶された正解データの確認を行う者（「確認者」とも呼ぶ。）が操作する装置である。情報提示装置１０は、後述する正解データ記憶部２３に記憶された正解データのうち確認が必要と判断される正解データを特定し、当該正解データの確認を促す画面（「確認支援画面」とも呼ぶ。）の表示を行う。また、情報提示装置１０は、確認の対象となった正解データについて、修正に関する入力を受け付け、当該入力に基づき修正した正解データ（「修正データ」とも呼ぶ。）を生成し、生成した修正データにより正解データ記憶部２３を更新する。
【００１５】
記憶装置２０は、情報提示装置１０によるデータの参照及び書込みが可能な装置であって、学習画像記憶部２１と、推定器情報記憶部２２と、正解データ記憶部２３とを備える。
【００１６】
学習画像記憶部２１は、複数の学習画像である学習画像群を記憶する。各学習画像は、正解付けする対象（「対象物」とも呼ぶ。）を含んでいる。対象物は、特定の物体又は当該物体内の特定の部位であり、例えば、人や魚などの動物、植物、移動体、地物、器具、又はその一部である。例えば、人の領域を抽出する学習モデルに用いる学習画像の場合には、学習画像には人が表示されている。
【００１７】
推定器情報記憶部２２は、推定器を機能させるために必要な種々の情報を記憶する。ここで、推定器は、入力された画像から当該画像内に存在する対象物の座標又は領域に関する推定結果を出力するように学習された学習モデルである。この場合、学習モデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよい。例えば、学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、推定器情報記憶部２２には、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの推定器を構成するのに必要な種々の情報が含まれる。
【００１８】
正解データ記憶部２３は、学習画像記憶部２１に記憶された学習画像に対応する正解データを記憶する。ここで、正解データは、対応する学習画像に表示された対象物の分類（種別）を示す分類情報と、対象物の領域又は座標を示す情報とを含んでいる。なお、対象物が１種類しか存在しない場合等には、正解データには、上述の分類情報は含まれていなくともよい。ここで、対象物の領域又は座標は、正解を指定する人為的作業である正解付け作業に基づき指定された対象物の物体の領域又は座標であり、以後においては、「指定対象物位置Ｐｓ」とも呼ぶ。なお、指定対象物位置Ｐｓは、正解付け作業により直接的に指定された対象物の領域又は座標に限らず、正解付け作業により指定された領域又は座標を所定の修正アルゴリズムにより修正した領域又は座標であってもよい。
【００１９】
［ハードウェア構成］
次に、引き続き図１を参照して情報提示装置１０のハードウェア構成について説明する。情報提示装置１０は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３と、表示部１４と、入力部１５と、音出力部１６とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。
【００２０】
プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサである。
【００２１】
メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種のメモリにより構成される。また、メモリ１２には、情報提示装置１０が実行する学習に関する処理を実行するためのプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置２０から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置２０として機能してもよい。この場合、メモリ１２は、学習画像記憶部２１と、推定器情報記憶部２２と、正解データ記憶部２３とを記憶する。同様に、記憶装置２０は、情報提示装置１０のメモリ１２として機能してもよい。なお、情報提示装置１０が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。
【００２２】
インターフェース１３は、プロセッサ１１の制御に基づき記憶装置２０とデータの送受信を有線又は無線により行うための通信インターフェースであり、ネットワークアダプタなどが該当する。なお、情報提示装置１０と記憶装置２０とはケーブル等により接続されてもよい。この場合、インターフェース１３は、記憶装置２０とデータ通信を行う通信インターフェースの他、記憶装置２０とデータの授受を行うためのＵＳＢ、ＳＡＴＡ（Ｓｅｒｉａｌ  ＡＴ  Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースである。
【００２３】
表示部１４は、ディスプレイ等であり、プロセッサ１１の制御に基づき、確認支援画面等の表示を行う。入力部１５は、マウス、キーボード、タッチパネル、音声入力装置などの入力装置であり、表示部１４に表示された学習画像に対し、対象物の座標又は領域の再指定等に関する入力を受け付ける。音出力部１６は、プロセッサ１１の制御に基づき、音を出力するスピーカ等である。音出力部１６は、例えば、プロセッサ１１の制御に基づき、確認支援画面による確認を支援するための音声ガイダンスなどを出力する。
【００２４】
［機能ブロック］
図２は、情報提示装置１０の機能ブロック図である。図２に示すように、情報提示装置１０のプロセッサ１１は、機能的には、学習画像取得部３１と、推定対象物位置取得部３２と、指定対象物位置取得部３３と、差判定部３４と、提示部３５と、修正部３６とを備える。
【００２５】
学習画像取得部３１は、確認者に確認の要否を判定する対象となる学習画像を学習画像記憶部２１から取得する。なお、学習画像取得部３１は、学習画像記憶部２１から複数の学習画像をまとめて取得してもよく、学習画像記憶部２１から１つの学習画像を取得してもよい。前者の場合、情報提示装置１０は、取得した複数の学習画像に対して以後の処理を実行し、後者の場合、情報提示装置１０は、取得した１つの学習画像に対して以後の処理を実行し、その処理を他の学習画像に対しても繰り返し実行する。
【００２６】
推定対象物位置取得部３２は、推定器情報記憶部２２を参照することで構成した推定器に、学習画像取得部３１が取得した学習画像を入力することで、入力した学習画像に表示された対象物の物体の領域又は座標に関する推定結果を取得する。以後では、推定器が出力する、推定された物体の領域又は座標を「推定対象物位置Ｐｅ」とも呼ぶ。なお、推定対象物位置Ｐｅは、１つの学習画像に対して複数存在してもよく、１つも存在しなくともよい。そして、推定対象物位置取得部３２は、推定器により取得した推定対象物位置Ｐｅの情報を差判定部３４へ供給する。
【００２７】
指定対象物位置取得部３３は、学習画像取得部３１が取得した学習画像に対応する正解データを正解データ記憶部２３から抽出する。ここで、指定対象物位置取得部３３が抽出した正解データには、学習画像取得部３１が取得した学習画像に表示された対象物に対して正解付け作業により指定された指定対象物位置Ｐｓが含まれている。なお、指定対象物位置Ｐｓは、１つの学習画像に対して複数存在してもよく、１つも存在しなくともよい。そして、指定対象物位置取得部３３は、正解データ記憶部２３から抽出した正解データに含まれる指定対象物位置Ｐｓの情報を差判定部３４に供給する。
【００２８】
差判定部３４は、推定対象物位置取得部３２から供給される推定対象物位置Ｐｅと、指定対象物位置取得部３３から供給される指定対象物位置Ｐｓとの対応付けを行い、対応する推定対象物位置Ｐｅと指定対象物位置Ｐｓとの差（「対象物位置差ｄＰ」とも呼ぶ。）を算出する。対象物位置差ｄＰとして算出する指標の具体例については後述する。そして、差判定部３４は、算出した対象物位置差ｄＰが予め定めた閾値（「閾値ｄＰｔｈ」とも呼ぶ。）以上である場合には、該当する推定対象物位置Ｐｅ及び指定対象物位置Ｐｓが示す対象物位置は確認が必要な対象物位置（「要確認対象物位置Ｐｔａｇ」とも呼ぶ。）であるとみなす。そして、差判定部３４は、要確認対象物位置Ｐｔａｇを検出した場合、対象の学習画像と推定対象物位置Ｐｅ及び指定対象物位置Ｐｓの組合せとを提示部３５へ供給する。
【００２９】
また、差判定部３４は、推定対象物位置Ｐｅと対応付けができなかった指定対象物位置Ｐｓ、及び、指定対象物位置Ｐｓと対応付けができなかった推定対象物位置Ｐｅについても、対象物位置差ｄＰが閾値ｄＰｔｈ以上であるとみなし、これらが示す対象物位置を要確認対象物位置Ｐｔａｇとみなす。よって、この場合、差判定部３４は、これらの推定対象物位置Ｐｅ又は指定対象物位置Ｐｓと、対象の学習画像とを、提示部３５へ供給する。差判定部３４の処理の詳細については、図３等を参照して詳しく説明する。
【００３０】
提示部３５は、差判定部３４から受信した対象の学習画像と推定対象物位置Ｐｅ及び指定対象物位置Ｐｓの少なくとも一方とに基づき、確認支援画面を表示部１４に表示させる。確認支援画面については、図４〜図８を参照して後述する。また、提示部３５は、確認支援画面において確認者が入力部１５により入力した、正解データの修正に関する入力情報を、修正部３６へ供給する。上述の入力情報には、正解として確認者が再指定した対象物位置の情報、又は指定対象物位置Ｐｅを削除すべき旨の情報などが含まれる。
【００３１】
修正部３６は、提示部３５から供給される入力情報に基づき、対象の正解データを修正した修正データを生成し、生成した修正データにより正解データ記憶部２３を更新する。これにより、要確認対象物位置Ｐｔａｇのうち修正が必要であると確認者が判定した対象物位置に対応する正解データが好適に更新される。
【００３２】
［対象物位置差の算出］
次に、差判定部３４による対象物位置差ｄＰの算出方法について説明する。まず、図３（Ａ）〜（Ｃ）を参照して対象物位置差ｄＰの算出方法の概要について説明する。
【００３３】
図３（Ａ）は、対象物を「人」とした場合の指定対象物位置Ｐｓを明示した学習画像９の表示例である。図３（Ｂ）は、推定対象物位置Ｐｅを明示した学習画像９の表示例である。図３（Ｃ）は、図３（Ａ）の指定対象物位置Ｐｓ及び図３（Ｂ）の推定対象物位置Ｐｅをそれぞれ明示した学習画像９の表示例である。ここで、学習画像９には、人である対象物「Ｔ１」〜「Ｔ４」が存在し、対象物以外の物体である看板７が存在する。
【００３４】
ここで、図３（Ａ）に示すように、学習画像９には、対象物Ｔ１〜Ｔ４に対し、枠４０〜４３に相当する指定対象物位置Ｐｓがそれぞれ設定されている。一方、学習画像９には、対象物でない看板７に対し、枠４４に相当する指定対象物位置Ｐｓが設定されている。一方、図３（Ｂ）に示すように、学習画像９には、対象物Ｔ１、Ｔ２、Ｔ４に対し、枠５０、５１、５３に相当する推定対象物位置Ｐｅがそれぞれ設定されている。一方、推定器による対象物Ｔ３の検出漏れが発生したことにより、対象物Ｔ３に対しては、推定対象物位置Ｐｅが設定されていない。
【００３５】
この場合、まず、差判定部３４は、それぞれの指定対象物位置Ｐｓと推定対象物位置Ｐｅとの対応を認識する。この場合、差判定部３４は、後述の対応判定方法に基づき、枠４０の指定対象物位置Ｐｓと枠５０の推定対象物位置Ｐｅ、枠４１の指定対象物位置Ｐｓと枠５１の推定対象物位置Ｐｅ、枠４３の指定対象物位置Ｐｓと枠５３の推定対象物位置Ｐｅとがそれぞれ対応することを認識する。また、差判定部３４は、枠４２の指定対象物位置Ｐｓ及び枠４４の指定対象物位置Ｐｓについては、対応する推定対象物位置Ｐｅが存在しないことを認識する。
【００３６】
次に、差判定部３４は、対応する指定対象物位置Ｐｓと推定対象物位置Ｐｅとの対象物位置差ｄＰを算出する。対象物位置差ｄＰとして算出する指標の具体例については後述する。そして、この場合、差判定部３４は、枠４０の指定対象物位置Ｐｓと枠５０の推定対象物位置Ｐｅとの対象物位置差ｄＰが閾値ｄＰｔｈ以上であると判定し、対象物Ｔ１に対応する対象物位置を要確認対象物位置Ｐｔａｇとみなす。同様に、差判定部３４は、枠４３の指定対象物位置Ｐｓと枠５３の推定対象物位置Ｐｅとの対象物位置差ｄＰが閾値ｄＰｔｈ以上であると判定し、対象物Ｔ４に対応する対象物位置を要確認対象物位置Ｐｔａｇとみなす。
【００３７】
また、差判定部３４は、枠４２の指定対象物位置Ｐｓについては対応する推定対象物位置Ｐｅが存在しないことから、枠４２の指定対象物位置Ｐｓに対する対象物位置差ｄＰが閾値ｄＰｔｈ以上であると判定する。そして、差判定部３４は、対象物Ｔ３に対応する対象物位置についても要確認対象物位置Ｐｔａｇとみなす。同様に、差判定部３４は、枠４４の指定対象物位置Ｐｓについては対応する推定対象物位置Ｐｅが存在しないことから、看板７に対応する対象物位置についても要確認対象物位置Ｐｔａｇとみなす。一方、差判定部３４は、枠４１の指定対象物位置Ｐｓと枠５１の推定対象物位置Ｐｅとの対象物位置差ｄＰが閾値ｄＰｔｈ未満であると判定し、対象物Ｔ３については要確認対象物位置Ｐｔａｇではないとみなす。
【００３８】
このように、差判定部３４は、指定対象物位置Ｐｓと推定対象物位置Ｐｅとの対象物位置差ｄＰに基づき、２重確認が必要な対象である要確認対象物位置Ｐｔａｇを好適に選定することができる。
【００３９】
次に、指定対象物位置Ｐｓと推定対象物位置Ｐｅとの対応判定方法について具体的に説明する。
【００４０】
第１の対応判定方法として、まず、差判定部３４は、指定対象物位置Ｐｓの各々について、推定対象物位置Ｐｅの全てとの対象物位置差ｄＰをそれぞれ算出する。対象物位置差ｄＰの算出方法については後述する。そして、差判定部３４は、指定対象物位置Ｐｓの各々について、算出した対象物位置差ｄＰが所定の閾値（「第２閾値」とも呼ぶ。）未満となり、かつ、最小となる推定対象物位置Ｐｅを、対応する推定対象物位置Ｐｅとみなして対応付ける。第２閾値は、閾値ｄＰｔｈよりも大きい値（即ち緩い基準となる値）になるように設定される。
【００４１】
例えば、図３（Ａ）〜（Ｃ）に示す学習画像９を例とした場合、差判定部３４は、枠４０〜４４に対応する指定対象物位置Ｐｓの夫々に対し、枠５０、５１、５３に対応する推定対象物位置Ｐｅとの対象物位置差ｄＰを算出する。そして、差判定部３４は、算出した対象物位置差ｄＰが第２閾値未満となり、かつ、最小となる推定対象物位置Ｐｅを対応付ける。この場合、差判定部３４は、枠４０、４１、４３の指定対象物位置Ｐｓについては、第２閾値未満となる最小の対象物位置差ｄＰに対応する推定対象物位置Ｐｅ（ここではそれぞれ枠５０、５１、５３の推定対象物位置Ｐｅ）が存在すると判定する。一方、差判定部３４は、枠４２及び枠４４の指定対象物位置Ｐｓについては、第２閾値未満となる最小の対象物位置差ｄＰに対応する推定対象物位置Ｐｅが存在しないと判定する。
【００４２】
なお、上述した第１の対応判定方法では、対応関係に重複が生じる可能性がある。これを防ぐため、例えば、以下の第２の対応判定方法を実行してもよい。
【００４３】
第２の対応判定方法では、差判定部３４は、第１ステップとして、指定対象物位置Ｐｓの各々について、推定対象物位置Ｐｅの全てとの対象物位置差ｄＰをそれぞれ算出し、算出した全ての対象物位置差ｄＰのリストを第１リストとして保持する。第１リストを構成する各項目には、対象物位置差ｄＰ及び対応する指定対象物位置Ｐｓと推定対象物位置Ｐｅの組合せが関連付けられている。第２ステップとして、差判定部３４は、第１リストの項目を昇順に（即ち小さい対象物位置差ｄＰから順に）ソートを行う。第３ステップとして、差判定部３４は、対象物位置差ｄＰが最も小さい項目（即ち第１リストの先頭項目）に対応する指定対象物位置Ｐｓと推定対象物位置Ｐｅの組合せを、対応関係が存在する組み合わせとみなす。そして、差判定部３４は、第１リストから、当該指定対象物位置Ｐｓ又は推定対象物位置Ｐｅの少なくともいずれかに関連する項目を削除する。そして、差判定部３４は、第１〜第３ステップを、第１リスト内の項目が無くなるまで、又は、第２閾値未満となる対象物位置差ｄＰが存在しなくなるまで、繰り返し実行する。
【００４４】
次に、対象物位置差ｄＰとして用いる指標の具体例について説明する。
【００４５】
まず、指定対象物位置Ｐｓ及び推定対象物位置Ｐｅとして矩形領域が指定される場合について説明する。この場合、第１の例では、差判定部３４は、指定対象物位置Ｐｓが示す矩形領域と推定対象物位置Ｐｅが示す矩形領域との四隅の点（即ち左上頂点、左下頂点、右上頂点、右下頂点）同士の座標の差を対象物位置差ｄＰとして算出する。この場合の差は、例えば、画像上の２次元座標値の２乗誤差、絶対誤差、又は最大誤差である。なお、差判定部３４は、４点に対してそれぞれ算出される差の合計値を対象物位置差ｄＰとして算出してもよく、４点に対する差に対する平均値などの代表値を対象物位置差ｄＰとして算出してもよい。
【００４６】
指定対象物位置Ｐｓとして矩形領域が指定される場合の第２の例では、差判定部３４は、指定対象物位置Ｐｓが示す矩形領域と推定対象物位置Ｐｅが示す矩形領域との代表座標と高さ及び幅の差を、対象物位置差ｄＰとして算出する。
【００４７】
指定対象物位置Ｐｓとして矩形領域が指定される場合の第３の例では、差判定部３４は、指定対象物位置Ｐｓが示す矩形領域と推定対象物位置Ｐｅが示す矩形領域とに対するＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ）を、対象物位置差ｄＰとして算出する。即ち、この場合、差判定部３４は、指定対象物位置Ｐｓが示す矩形領域と推定対象物位置Ｐｅが示す矩形領域との結合領域の大きさに対する、指定対象物位置Ｐｓが示す矩形領域と推定対象物位置Ｐｅが示す矩形領域の重複領域の大きさの割合を、対象物位置差ｄＰとして算出する。
【００４８】
また、指定対象物位置Ｐｓ及び推定対象物位置Ｐｅとして矩形領域以外の領域が指定される場合には、差判定部３４は、例えば、指定対象物位置Ｐｓが示す領域と推定対象物位置Ｐｅが示す領域とに対するＩｏＵを、対象物位置差ｄＰとして算出する。
【００４９】
なお、学習画像が３次元画像である場合には、例えば、指定対象物位置Ｐｓとして直方体が指定され、差判定部３４は、指定対象物位置Ｐｓが示す直方体と推定対象物位置Ｐｅが示す直方体の全頂点（８点）同士の差を、対象物位置差ｄＰとして算出する。他の例では、差判定部３４は、指定対象物位置Ｐｓが示す立体と推定対象物位置Ｐｅが示す立体とのＩｏＵを対象物位置差ｄＰとして算出してもよい。
【００５０】
次に、指定対象物位置Ｐｓ及び推定対象物位置Ｐｅとして座標が指定される場合について説明する。この場合、差判定部３４は、指定対象物位置Ｐｓが示す座標と推定対象物位置Ｐｅが示す座標との誤差を、対象物位置差ｄＰとして算出する。この場合の誤差は、２乗誤差であってもよく、絶対誤差であってもよく、最大誤差であってもよく、ＯＫＳ（Ｏｂｊｅｃｔ  Ｋｅｙｐｏｉｎｔ  Ｓｉｍｉｌａｒｉｔｙ）に基づく誤差であってもよい。
【００５１】
また、抽出すべき対象物となる特徴点が同一物体内に複数存在する場合には、差判定部３４は、対象となる特徴点の組み合わせ（例えば顔の特徴点、体の関節点等）について、特徴点毎の誤差の合計値又は最大誤差を、対象物位置差ｄＰとして算出してもよい。
【００５２】
［確認支援画面の表示］
次に、確認支援画面の表示に関する処理について説明する。
【００５３】
まず、確認支援画面として、修正する対象となる対象物位置をユーザに選択させる画面を情報提示装置１０が表示する場合の表示例について、図４（Ａ）、（Ｂ）及び図５（Ａ）、（Ｂ）を参照して説明する。
【００５４】
図４（Ａ）は、提示部３５が表示部１４に表示させる確認支援画面の第１表示例を示す。図４（Ａ）では、提示部３５は、確認支援画面上において、主に、図３（Ｃ）に示す指定対象物位置Ｐｓ及び推定対象物位置Ｐｅを明示した学習画像９と、選択完了ボタン６５とを表示している。
【００５５】
図４（Ａ）では、提示部３５は、差判定部３４から供給される情報に基づき、対象物Ｔ１、Ｔ３、Ｔ４、及び看板７に対応する対象物位置を要確認対象物位置Ｐｔａｇとみなし、これらの対象物位置を破線枠により選択可能に強調表示している。ここでは、一例として、提示部３５は、指定対象物位置Ｐｓ（図では前回指定領域）を、図３（Ｃ）の枠４０、４２〜４４と同一位置となる枠４５、４７〜４９により表示する。また、提示部３５は、推定対象物位置Ｐｅ（図では自動推定領域）を、図３（Ｃ）の枠５０、５３と同一位置となる枠５５、５８により表示している。また、提示部３５は、各要確認対象物位置Ｐｔａｇとなる物体領域に対し、差判定部３４が算出した対象物位置差ｄＰを「差指数」として表示している。なお、提示部３５は、要確認対象物位置Ｐｔａｇではない対象物Ｔ２の対象物位置については、破線による強調表示や対象物位置差ｄＰに基づく表示を行っていない。
【００５６】
そして、提示部３５は、破線枠内の領域がクリックやタップ操作などにより選択されたことを検知した場合、選択された枠内の領域を、選択されていない枠内の領域と識別可能な態様により表示する。
【００５７】
図４（Ｂ）は、図４（Ａ）に示す第１表示例において、２つの対象物位置が選択された状態を示す。この場合、提示部３５は、看板７の対象物位置を示す枠４９が選択されたことを検知し、当該枠４９内をハッチングすることで強調表示している。同様に、提示部３５は、対象物Ｔ１の対象物位置を示す枠４５が選択されたことを検知し、当該枠４５内をハッチングすることで強調表示している。なお、提示部３５は、選択された枠内の領域をハッチングにより強調表示する代わりに、選択された破線枠の色を変えたり点滅させたりすることで強調してもよい。
【００５８】
そして、提示部３５は、選択完了ボタン６５が選択されたことを検知した場合、選択されている枠内の対象物位置を示す指定対象物位置Ｐｓに関する修正が必要であると判断し、当該修正を行うための確認支援画面に切り替える。この確認支援画面については、確認支援画面の第３表示例及び第４表示例として後述する。
【００５９】
図５（Ａ）は、確認支援画面の第２表示例を示す。図５（Ａ）では、提示部３５は、対象物位置差ｄＰが算出された全ての対象物位置を枠６０〜６４により選択可能に表示する。また、提示部３５は、要確認対象物位置Ｐｔａｇに対応する枠（ここでは枠６０、６２〜６４）を他の枠（ここでは枠６１）よりも強調して表示している。なお、提示部３５は、要確認対象物位置Ｐｔａｇの枠を太く表示する態様の他、枠内にハッチングを施す、枠の色を目立つ色に設定する等の種々の態様により、要確認対象物位置Ｐｔａｇの強調表示を行ってよい。
【００６０】
また、第２表示例では、提示部３５は、枠６０〜６４を、対応する指定対象物位置Ｐｓ又は推定対象物位置Ｐｅの少なくともいずれかに基づいて表示している。対応する指定対象物位置Ｐｓ及び推定対象物位置Ｐｅの組み合わせが存在する対象物位置に対する枠６０、６１、６３については、第１の例では、提示部３５は、指定対象物位置Ｐｓ又は推定対象物位置Ｐｅのいずれか一方を囲む枠により表示する。第２の例では、提示部３５は、指定対象物位置Ｐｓ及び推定対象物位置Ｐｅを平均した平均領域を算出し、その平均領域を囲む枠を、上述の枠６０、６１、６３として表示する。上述の平均領域は、例えば、指定対象物位置Ｐｓ及び推定対象物位置Ｐｅの４頂点の座標をそれぞれ平均することで算出される。
【００６１】
一方、対応する指定対象物位置Ｐｓ及び推定対象物位置Ｐｅの組み合わせが存在しない対象物位置に対する枠６２、６４については、提示部３５は、存在する指定対象物位置Ｐｓ又は推定対象物位置Ｐｅ（ここでは指定対象物位置Ｐｓ）を囲む枠により表示する。
【００６２】
図５（Ｂ）は、図５（Ａ）に示す第２表示例において３つの対象物位置に対応する枠６２〜６４が選択された状態を示す。この場合、提示部３５は、看板７に対応する枠６４が選択されたことを検知し、枠６４を破線に変更している。同様に、提示部３５は、対象物Ｔ３、Ｔ４に対応する枠６２及び枠６３が選択されたことを検知し、枠６２及び枠６３を破線に変更している。
【００６３】
このように、確認支援画面の第１表示例及び第２表示例によれば、提示部３５は、要確認対象物位置Ｐｔａｇを枠により好適に強調して表示し、かつ、修正対象として確認者が指定できるように要確認対象物位置Ｐｔａｇを選択可能に表示することができる。
【００６４】
次に、修正対象となった対象物位置に対する再指定の入力を受け付ける確認支援画面の表示例について、図６〜図８を参照して説明する。
【００６５】
図６は、確認支援画面の第３表示例である。例えば、提示部３５は、図６に示す確認支援画面を、前述した第１表示例又は第２表示例に係る確認支援画面の表示後、当該確認支援画面において選択された対象物位置の各々に対して順次表示する。
【００６６】
図６の例では、提示部３５は、切出し画像９１と、指定完了ボタン６６と、修正不要ボタン６７と、指定取消ボタン６８とを表示している。ここで、切出し画像９１は、図４及び図５に示される確認支援画面において修正対象として選択された対象物Ｔ４の対象物位置を示す指定対象物位置Ｐｓ及び推定対象物位置Ｐｅを少なくとも含むように学習画像９から切り出されている。なお、切出し画像９１は、指定対象物位置Ｐｓ及び推定対象物位置Ｐｅの対応関係が存在しない場合には、存在する指定対象物位置Ｐｓ又は推定対象物位置Ｐｅを少なくとも含むように学習画像９から切り出されている。また、図６の例では、提示部３５は、指定対象物位置Ｐｓを明示する枠４８と、推定対象物位置Ｐｅを明示する枠５８と、修正した指定対象物位置Ｐｓ（「修正指定対象物位置Ｐｓ」とも呼ぶ。）を明示する枠７０と、を切出し画像９１上に表示している。枠４８及び枠５８は、指定対象物位置Ｐｓを修正するための指針を示す図形の一例である。
【００６７】
ここで、図６に示す確認支援画面は、切出し画像９１上において修正指定対象物位置Ｐｓを指定可能となっている。ここでは、確認支援画面において、提示部３５は、指定対象物位置Ｐｓを修正するための指針を示す文字として、「正解の矩形領域をドラッグ＆ドロップ操作により指定して下さい」と表示する。そして、ここでは、提示部３５は、マウスのカーソル８９によるドラッグ＆ドロップ操作を検知し、ドラッグがなされた始点位置とドロップ操作がなされた位置とを対の頂点とする矩形領域を枠７０により表示する。そして、提示部３５は、枠７０を、修正指定対象物位置Ｐｓとして認識する。なお、提示部３５は、マウスなどのドラッグ操作等により閉領域が指定された場合には、指定された閉領域を修正指定対象物位置Ｐｓとして認識してもよい。
【００６８】
そして、提示部３５は、指定完了ボタン６６が選択されたことを検知した場合、確認支援画面に表示した修正指定対象物位置Ｐｓに関する情報を修正部３６に供給する。この場合、修正部３６は、提示部３５から供給された修正指定対象物位置Ｐｓに関する情報に基づき、学習画像９に対する正解データを修正した修正データを生成し、当該修正データにより正解データ記憶部２３を更新する。
【００６９】
ここで、推定対象物位置Ｐｅのみが存在する対象物位置に関する確認支援画面の表示を行う場合であって、正解付け作業での見落とし等に起因して指定対象物位置Ｐｓが正しく生成されていなかった場合について考察する。この場合においても、提示部３５は、図６の例と同様に、確認支援画面上において対象物位置を指定する入力を受け付ける。そして、提示部３５は、指定完了ボタン６６の選択を検知した場合に、指定された対象物位置を示す情報を修正部３６に供給する。この場合、修正部３６は、提示部３５から供給された対象物位置を対象物に対する指定対象物位置Ｐｓとみなし、正解データに当該対象物位置の情報を付加した修正データを生成する。そして、修正部３６は、当該修正データにより正解データ記憶部２３を更新する。これにより、最初の正解付け作業において見落とされていた対象物に対する指定対象物位置Ｐｓの情報が正解データに好適に付加される。
【００７０】
また、提示部３５は、修正不要ボタン６７が選択されたことを検知した場合、対象の対象物位置に対する指定対象物位置Ｐｓについて修正する必要がないと判定し、修正指定対象物位置Ｐｓを生成する処理を行わない。なお、推定対象物位置Ｐｅのみが存在する対象物位置に関する確認支援画面の表示を行う場合であって、別の対象を誤って推定器が検出したことに起因して当該推定対象物位置Ｐｅが生成されたものである場合、確認者は領域指定を行うことなく修正不要ボタン６７を選択する。
【００７１】
また、提示部３５は、指定取消ボタン６８が選択されたことを検知した場合、対象物ではない物体に対して誤って指定対象物位置Ｐｓが付されていると判定し、当該指定対象物位置Ｐｓの情報を削除する旨の情報を修正部３６に供給する。この場合、修正部３６は、学習画像９に対する正解データから、対象の指定対象物位置Ｐｓの情報を削除した修正データを生成する。
【００７２】
図７は、確認支援画面の第４表示例である。図７の例では、提示部３５は、確認支援画面上に、切出し画像９１と、指定完了ボタン６６と、指定不要ボタン６９とを表示している。
【００７３】
切出し画像９１上には、提示部３５は、確認者が修正指定対象物位置Ｐｓを指定する操作を支援するため、参考となる参考領域を示す枠７１を切出し画像９１上に表示している。この場合、提示部３５は、例えば、対応する指定対象物位置Ｐｓ及び推定対象物位置Ｐｅを平均した平均領域を算出し、その平均領域を囲む枠を、上述の枠７１として表示する。そして、提示部３５は、図６に示す確認支援画面の第１表示例と同様、修正指定対象物位置Ｐｓを指定する入力があった場合に、修正指定対象物位置Ｐｓを示す枠を表示する。そして、提示部３５は、指定完了ボタン６６が選択されたことを検知した場合、確認支援画面に表示した修正指定対象物位置Ｐｓに関する情報を修正部３６に供給する。このように、枠７１は、指定対象物位置Ｐｓを修正するための指針を示す図形の一例である。
【００７４】
また、提示部３５は、指定不要ボタン６９が選択されたことを検知した場合、修正指定対象物位置Ｐｓの情報を生成することなく、対象の対象物位置に関する指定対象物位置Ｐｓが不要である旨を修正部３６に通知する。この場合、修正部３６は、学習画像９に対応する正解データにおいて対象の対象物位置に関する指定対象物位置Ｐｓが記録されている場合には、当該指定対象物位置Ｐｓの情報を正解データから削除した修正データを生成する。
【００７５】
図８は、確認支援画面の第５表示例である。図８の例では、提示部３５は、確認支援画面上に、切出し画像９１と、正解付け例示画像９３と、指定完了ボタン６６と、指定不要ボタン６９とを表示している。
【００７６】
正解付け例示画像９３は、対象物に対する対象物位置の適切な設定例（上段２つの例）と、対象物に対する対象物位置の設定において陥りやすい失敗の設定例（下段３つの例）とを示した画像である。正解付け例示画像９３は、例えば情報提示装置１０のメモリ１２又は記憶装置２０において、対象物の種別毎に記憶されている。そして、提示部３５は、図８の確認支援画面を表示する場合に、対象とする対象物の種類に対応した正解付け例示画像９３をメモリ１２又は記憶装置２０から取得し、確認支援画面上に表示する。正解付け例示画像９３は、指定対象物位置Ｐｓを修正するための指針を示す文字又は図形の一例である。
【００７７】
このように、第５表示例では、提示部３５は、正解付け例示画像９３を、切出し画像９１と共に確認支援画面上に表示する。これにより、確認者による対象物位置の指定操作を好適に支援することができる。
【００７８】
なお、提示部３５は、第３〜第５表示例に係る確認支援画面を、第１〜第２表示例に係る確認支援画面での修正対象の選択後に表示してもよく、第１〜第２表示例に係る確認支援画面の表示を伴うことなく表示してもよい。後者の場合、例えば、提示部３５は、第１〜第２表示例に係る確認支援画面での修正対象の指定を受け付けることなく、差判定部３４が要確認対象物位置Ｐｔａｇと判定した対象物位置毎に、第３〜第５表示例に係る確認支援画面を表示する。
【００７９】
［処理フロー］
図９は、情報提示装置１０が実行する処理手順を示すフローチャートである。情報提示装置１０は、図９に示すフローチャートの処理を、対応する正解データが確認対象となる学習画像毎に実行する。
【００８０】
まず、情報提示装置１０の学習画像取得部３１は、対応する正解データが確認対象となる学習画像を学習画像記憶部２１から取得する（ステップＳ１０）。また、指定対象物位置取得部３３は、取得した学習画像に対応する正解データを正解データ記憶部２３から取得する（ステップＳ１１）。次に、推定対象物位置取得部３２は、推定器情報記憶部２２に記憶された推定器情報に基づき構成した推定器に学習画像を入力することで、推定対象物位置Ｐｅを取得する（ステップＳ１２）。
【００８１】
そして、差判定部３４は、ステップＳ１１で取得した正解データが示す指定対象物位置Ｐｓと、ステップＳ１２で取得した推定対象物位置Ｐｅとの対象物位置差ｄＰを算出する（ステップＳ１３）。この場合、「（３）対象物位置差の算出」のセクションで説明したように、差判定部３４は、まず、指定対象物位置Ｐｓと推定対象物位置Ｐｅとの対応付けを行い、対応する指定対象物位置Ｐｓと推定対象物位置Ｐｅとの組合せに対して対象物位置差ｄＰを算出する。また、差判定部３４は、対応付けができなかった指定対象物位置Ｐｓ又は推定対象物位置Ｐｅに対し、ステップＳ１４で用いる閾値ｄＰｔｈ以上の所定値となる対象物位置差ｄＰを設定する。
【００８２】
次に、差判定部３４は、閾値ｄＰｔｈ以上となる対象物位置差ｄＰが存在するか否か判定する（ステップＳ１４）。そして、閾値ｄＰｔｈ以上となる対象物位置差ｄＰが存在する場合（ステップＳ１４；Ｙｅｓ）、提示部３５は、当該対象物位置差ｄＰの算出に用いた指定対象物位置Ｐｓ又は／及び推定対象物位置Ｐｅに関する確認支援画面を表示する（ステップＳ１５）。これにより、情報提示装置１０は、対象の学習画像中において確認が必要な対象物位置を好適に確認者に確認させることができる。
【００８３】
そして、提示部３５は、指定対象物位置Ｐｓの修正（指定対象物位置Ｐｓの追加又は削除も含む）が必要であるか否か判定する（ステップＳ１６）。この場合、提示部３５は、確認支援画面において受け付ける入力部１５による入力データに基づき、指定対象物位置Ｐｓの修正要否を判定する。そして、指定対象物位置Ｐｓの修正が必要である場合（ステップＳ１６；Ｙｅｓ）、修正部３６は、確認支援画面上において入力される入力データに応じて修正データを生成し、修正した修正データにより、正解データ記憶部２３に記憶する正解データを更新する（ステップＳ１７）。そして、情報提示装置１０は、フローチャートの処理を終了する。また、情報提示装置１０は、指定対象物位置Ｐｓの修正が不要である場合（ステップＳ１６；Ｎｏ）、フローチャートの処理を終了する。
【００８４】
ここで、本実施形態による効果について補足説明する。正解付け作業により正解付けがなされることで生成された正解データは、信頼性があるデータとしてそのまま学習データとして採用されることが一般的であった。従って、正解付け作業にミスが生じた場合、又は、基準と大きく違う正解付けをした場合には、それを発見することが困難であった。そして、誤った正解付けに基づき生成された正解データを学習データとして学習を行った場合、生成される推定器の画像認識精度が低下する原因となる。
【００８５】
以上を勘案し、情報提示装置１０は、正解付け作業により生成された指定対象物位置Ｐｓと、推定器による推定対象物位置Ｐｅと差に基づき、対象の対象物位置の確認をユーザに促すための情報を提示する。これにより、情報提示装置１０は、不正に生成された可能性がある正解データに対する確認を好適にユーザに促し、不正な正解データの存在を確認者に認識させることができる。従って、情報提示装置１０は、正解付け作業にミスが生じた正解データ、又は、基準と大きく違う付け方をしている正解データの存在の見落としを好適に抑制することができる。
【００８６】
［変形例］
次に、上述の実施形態に好適な変形例について説明する。以下に説明する変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【００８７】
（変形例１）
情報提示装置１０は、修正部３６により修正された正解データを用いて推定器の学習を行う処理をさらに実行してもよい。
【００８８】
図１０は、変形例１における情報提示装置１０Ａの機能ブロック図である。変形例１に係る情報提示装置１０Ａは、修正部３６により修正された正解データを用いて推定器の学習を行う点において、情報提示装置１０と異なる。
【００８９】
変形例１における情報提示装置１０Ａのプロセッサ１１は、推定器更新部３７を備える。推定器更新部３７は、修正部３６が修正した正解データ及び対応する学習画像の組により、推定器情報記憶部２２に記憶した推定器情報に基づく推定器の学習を行う。そして、推定器更新部３７は、学習された推定器に対応する推定器情報を、推定器情報記憶部２２に記憶する。
【００９０】
図１１は、変形例１における情報提示装置１０Ａの処理手順を示すフローチャートである。なお、ステップＳ２０〜ステップＳ２７は、図９のフローチャートのステップＳ１０〜ステップＳ１７と同一のため、その説明を省略する。
【００９１】
情報提示装置１０Ａは、ステップＳ２７において正解データを更新後、更新された正解データを用い、ステップＳ２２で用いる推定器を更新する（ステップＳ２８）。この場合、情報提示装置１０Ａは、ステップＳ２７で生成された正解データ及び対応する学習画像の組により、ステップＳ２２で用いた推定器の学習をさらに実行し、学習された推定器に対応する推定器情報により推定器情報記憶部２２を更新する。そして、情報提示装置１０Ａは、フローチャートの処理を終了する。なお、情報提示装置１０Ａは、ステップＳ２７を実行する度にステップＳ２８を実行する代わりに、複数の学習画像に対する正解データの更新があった場合（即ちステップＳ２７が所定回数実行された場合）に、ステップＳ２８の推定器の更新処理を行ってもよい。
【００９２】
このように、本変形例では、情報提示装置１０Ａは、修正された正解データに基づき推定器の学習を行うことで、推定器の推定精度を好適に向上させる。これにより、情報提示装置１０Ａは、以後において確認者による確認の要否を判定する際に用いる推定対象物位置Ｐｅの精度を向上させ、確認者による確認が必要な対象物位置をより的確に提示することが可能となる。
【００９３】
なお、情報提示装置１０Ａは、図１１のステップＳ２８において、更新された正解データ及び対応する学習画像の組により推定器の学習を行う代わりに、対象物位置差ｄＰが所定の閾値（「第３閾値」とも呼ぶ。）未満となった指定対象物位置Ｐｓを含む正解データ及び対応する学習画像の組により、推定器の学習を行ってもよい。すなわち、情報提示装置１０Ａは、この場合、ステップＳ２８において、ステップＳ２３で算出した対象物位置差ｄＰが第３閾値未満となる指定対象物位置Ｐｓを含む正解データ及び対応する学習画像の組により、推定器の更新を行う。
【００９４】
この場合、上述の第３閾値は、閾値ｄＰｔｈと同一、閾値ｄＰｔｈよりも小さい値に設定される。そして、情報提示装置１０Ａは、学習された推定器に対応する推定器情報を推定器情報記憶部２２に記憶する。このように、正解付け作業にミス等が生じている可能性が低い指定対象物位置Ｐｓを含む正解データにより推定器の学習を行うことによっても、推定器による推定対象物位置Ｐｅの精度を好適に高めることが期待できる。
【００９５】
（変形例２）
情報提示装置１０は、推定器が推定した対象物の物体の分類と、正解データに含まれる物体の分類とが異なる場合には、対象物位置差ｄＰが閾値ｄＰｔｈ以上であるとみなし、対象の対象物位置を要確認対象物位置Ｐｔａｇとみなしてもよい。
【００９６】
この場合、推定器情報記憶部２２に記憶される推定器情報に基づく推定器は、例えば、入力した画像に対して推定対象物位置Ｐｅ及び対象物の物体の分類に関する推定結果を出力する学習モデルを学習することで生成される。また、正解データ記憶部２３に記憶される正解データには、各指定対象物位置Ｐｓに対応する対象物の分類情報が含まれている。
【００９７】
そして、情報提示装置１０は、対象物位置差ｄＰの算出時に指定対象物位置Ｐｓと推定対象物位置Ｐｅとの対応付けを行った場合、推定器が出力した分類情報と、指定対象物位置Ｐｓに対応付けて正解データ記憶部２３に記憶された分類情報とを比較する。そして、情報提示装置１０は、これらの分類情報が異なる分類を示す場合、指定対象物位置Ｐｓ及び推定対象物位置Ｐｅとの比較結果に関わらず、対象物位置差ｄＰが閾値ｄＰｔｈであるとみなす。この場合、情報提示装置１０は、対象の対象物位置を要確認対象物位置Ｐｔａｇとみなし、分類情報を確認するための確認支援画面を表示する。
【００９８】
図１２は、確認支援画面の第６表示例である。図１２に示す確認支援画面は、推定対象物位置Ｐｅが示す物体の分類として推定器が出力した分類情報と、指定対象物位置Ｐｓに対応付けて正解データ記憶部２３に記憶された分類情報とが異なる場合に表示される。
【００９９】
図１２では、情報提示装置１０の提示部３５は、対象の対象物位置を表示した切出し画像９１と、分類選択欄９４と、指定完了ボタン６６と、修正不要ボタン６７とを確認支援画面上に表示している。また、提示部３５は、確認支援画面上に、切出し画像９１に表示された物体の分類について確認すべき旨の文章を表示すると共に、正解データに基づく分類を示す「正解付けされた分類」（ここでは分類番号０５３４の人（男性））と、推定器の推定結果に基づく分類を示す「自動推定された分類」（ここでは分類番号０５３５の人（女性））とを表示している。
【０１００】
この場合、確認者は、確認支援画面を参照して正解データの分類情報の修正要否を判定し、不要と判定した場合には、修正不要ボタン６７を選択する。提示部３５は、修正不要ボタン６７が選択されたことを検知した場合、正解データの修正は不要であると判定する。また、確認者は、正解データの分類情報の修正が必要と判定した場合には、分類選択欄９４にて正しい分類を選択した後、指定完了ボタン６６を選択する。なお、ここでは、一例として、分類選択欄９４は、プルダウンメニュー形式の入力欄となっており、予め登録された任意の分類を選択することが可能となっている。なお、大分類、中分類、小分類のように複数の分類を指定する必要がある場合には、分類選択欄９４は、指定する必要がある分類の数だけ設けられてもよい。提示部３５は、指定完了ボタン６６が選択されたことを検知した場合、分類選択欄９４にて選択された分類を示す分類情報を修正部３６に供給する。そして、修正部３６は、分類選択欄９４にて選択された分類を示す分類情報に基づき修正データを生成し、生成した修正データにより正解データ記憶部２３を更新する。これにより、確認支援画面に表示された対象物位置に対応する正解データの分類情報は、分類選択欄９４において指定された分類情報となる。
【０１０１】
このように、本変形例によれば、情報提示装置１０は、分類情報の修正が必要である可能性が高い対象物位置に関し、分類情報を確認者に好適に確認及び修正させることができる。
【０１０２】
（変形例３）
情報提示装置１０は、対象の学習画像中における指定対象物位置Ｐｓの個数と推定対象物位置Ｐｅの個数とが一致しない場合、対象の学習画像中における少なくともいずれかの指定対象物位置Ｐｓ又は推定対象物位置Ｐｅに対応する対象物位置差ｄＰが閾値ｄＰｔｈ以上となると判定してもよい。即ち、情報提示装置１０は、対象の学習画像中における指定対象物位置Ｐｓの個数と推定対象物位置Ｐｅの個数とが一致しない場合、対象の学習画像中には要確認対象物位置Ｐｔａｇが存在すると判定してもよい。そして、この場合、例えば、情報提示装置１０は、対象の学習画像を確認支援画面上に表示し、図４に示す第１表示例又は図５に示す第２表示例に従い、修正対象となる対象物位置を指定する入力を受け付ける。
【０１０３】
このように、本変形例によれば、情報提示装置１０は、指定対象物位置Ｐｓの個数と推定対象物位置Ｐｅの個数とに基づき、確認者に確認を促すための情報の表示の要否を学習画像毎に好適に判定することができる。
【０１０４】
（変形例４）
情報提示装置１０は、差判定部３４及び修正部３６を有しなくともよい。
【０１０５】
図１３は、変形例４における情報提示装置１０Ｂの機能ブロック図である。情報提示装置１０Ｂのプロセッサ１１は、機能的には、学習画像取得部３１と、推定対象物位置取得部３２と、指定対象物位置取得部３３と、提示部３５Ｂとを有する。学習画像取得部３１、推定対象物位置取得部３２、指定対象物位置取得部３３については、図２を用いて説明した上述の実施形態と同一処理を実行する。
【０１０６】
提示部３５Ｂは、図２の差判定部３４及び提示部３５に相当する処理を行う。具体的には、提示部３５Ｂは、推定対象物位置取得部３２から供給される推定対象物位置Ｐｅと、指定対象物位置取得部３３から供給される指定対象物位置Ｐｓとに基づき、対象物位置差ｄＰを算出する。そして、提示部３５Ｂは、対象物位置差ｄＰに基づいて、学習画像内に存在する対象物の領域又は座標である対象物位置の確認をユーザ（確認者）に促すための情報を表示する。
【０１０７】
この態様によっても、情報提示装置１０Ｂは、正解データの修正要否の確認を確認者に好適に実行させることができる。なお、確認者は、情報提示装置１０Ｂが提示する情報に基づき正解データの修正が必要と判断した場合には、例えば、正解付け作業に用いられる他の装置を用いて記憶装置２０と通信を行うことにより、正解データ記憶部２３の更新などを行う。
【０１０８】
その他、上記の実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【０１０９】
［付記１］
学習に用いられる学習画像を取得し、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得し、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得し、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する、
情報提示方法。
【０１１０】
［付記２］
前記推定対象物位置と前記指定対象物位置との対応付けをさらに実行し、
対応付けられた前記推定対象物位置と前記指定対象物位置との差に基づいて、前記情報を提示する、付記１に記載の情報提示方法。
【０１１１】
［付記３］
前記情報として、前記指定対象物位置を修正するための指針を示す文字又は図形を、前記対象物が存在する領域又は座標を表示した前記学習画像又は前記学習画像の一部と共に表示する、付記１または２に記載の情報提示方法。
【０１１２】
［付記４］
前記指定対象物位置に関する修正データを取得する、付記１〜３のいずれか一項に記載の情報提示方法。
【０１１３】
［付記５］
前記修正データは、前記指定対象物位置が示す領域の位置又は大きさの少なくとも一方が修正された指定対象物位置の情報、前記指定対象物位置が示す座標が修正された指定対象物位置の情報、前記対象物の修正された分類を示す情報、又は、前記対象物が存在しない位置を前記指定対象物位置が指し示す場合の当該指定対象物位置の情報を削除する情報の少なくともいずれか１つを含む、付記４に記載の情報提示方法。
【０１１４】
［付記６］
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定した場合に、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する、付記１〜５のいずれか一項に記載の情報提示方法。
【０１１５】
［付記７］
前記推定対象物位置に対応する前記指定対象物位置が存在しない場合、
前記指定対象物位置に対応する前記推定対象物位置が存在しない場合、
前記指定対象物位置が示す領域が、前記推定対象物位置が示す領域と所定度合以上異なる場合、又は、
前記指定対象物位置が示す座標が、前記推定対象物位置が示す座標と所定度合以上異なる場合の少なくともいずれかが該当する場合に、
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定する、付記６に記載の情報提示方法。
【０１１６】
［付記８］
前記学習画像中における前記推定対象物位置と前記指定対象物位置との個数の差がある場合、又は、前記推定対象物位置に対応する前記対象物の分類と、前記指定対象物位置に対応する前記対象物の分類とが異なる場合に、
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定する、付記６に記載の情報提示方法。
【０１１７】
［付記９］
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定した場合に、当該推定対象物位置又は当該指定対象物位置の少なくとも一方を含む領域を強調した前記学習画像又は前記学習画像の一部を、前記情報として提示する、付記１〜８のいずれか一項に記載の情報提示方法。
【０１１８】
［付記１０］
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定した場合に、当該推定対象物位置又は当該指定対象物位置の少なくとも一方を含む領域を前記学習画像から切り出した画像を、前記情報として提示する、付記１〜９のいずれか一項に記載の情報提示方法。
【０１１９】
［付記１１］
前記推定対象物位置と、前記指定対象物位置との差が存在しないと判定した場合に、前記学習画像と前記指定対象物位置とを用いて、前記推定対象物位置を出力する推定器の学習を行う、付記１〜１０のいずれか一項に記載の情報提示方法。
【０１２０】
［付記１２］
前記指定対象物位置に関する修正データを取得した場合、前記学習画像と前記修正データとを用いて、前記推定対象物位置を出力する推定器の学習を行う、付記１〜１１のいずれか一項に記載の情報提示方法。
【０１２１】
［付記１３］
学習に用いられる学習画像を取得する学習画像取得部と、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得部と、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得部と、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示部と、
を備える情報提示装置。
【０１２２】
［付記１４］
コンピュータが実行するプログラムであって、
学習に用いられる学習画像を取得する学習画像取得部と、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得部と、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得部と、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示部
として前記コンピュータを機能させるプログラム。
【０１２３】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【０１２４】
１０、１０Ａ、１０Ｂ  情報提示装置
１１  プロセッサ
１２  メモリ
１３  インターフェース
１４  表示部
１５  入力部
１６  音出力部
２０  記憶装置
２１  学習画像記憶部
２２  推定器情報記憶部
２３  正解データ記憶部
１００  情報提示システム
【図１】
2020183691.tif 000003
【図２】
2020183691.tif 000004
【図３】
2020183691.tif 000005
【図４】
2020183691.tif 000006
【図５】
2020183691.tif 000007
【図６】
2020183691.tif 000008
【図７】
2020183691.tif 000009
【図８】
2020183691.tif 000010
【図９】
2020183691.tif 000011
【図１０】
2020183691.tif 000012
【図１１】
2020183691.tif 000013
【図１２】
2020183691.tif 000014
【図１３】
2020183691.tif 000015
【手続補正書】
【提出日】令和3年6月23日(2021.6.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習に用いられる学習画像を取得し、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得し、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得し、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する、
情報提示方法。
【請求項２】
前記推定対象物位置と前記指定対象物位置との対応付けをさらに実行し、
対応付けられた前記推定対象物位置と前記指定対象物位置との差に基づいて、前記情報を提示する、請求項１に記載の情報提示方法。
【請求項３】
前記情報として、前記指定対象物位置を修正するための指針を示す文字又は図形を、前記対象物が存在する領域又は座標を表示した前記学習画像又は前記学習画像の一部と共に表示する、請求項１または２に記載の情報提示方法。
【請求項４】
前記指定対象物位置に関する修正データを取得する、請求項１〜３のいずれか一項に記載の情報提示方法。
【請求項５】
前記修正データは、前記指定対象物位置が示す領域の位置又は大きさの少なくとも一方が修正された指定対象物位置の情報、前記指定対象物位置が示す座標が修正された指定対象物位置の情報、前記対象物の修正された分類を示す情報、又は、前記対象物が存在しない位置を前記指定対象物位置が指し示す場合の当該指定対象物位置の情報を削除する情報の少なくともいずれか１つを含む、請求項４に記載の情報提示方法。
【請求項６】
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定した場合に、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する、請求項１〜５のいずれか一項に記載の情報提示方法。
【請求項７】
前記推定対象物位置に対応する前記指定対象物位置が存在しない場合、
前記指定対象物位置に対応する前記推定対象物位置が存在しない場合、
前記指定対象物位置が示す領域が、前記推定対象物位置が示す領域と所定度合以上異なる場合、又は、
前記指定対象物位置が示す座標が、前記推定対象物位置が示す座標と所定度合以上異なる場合の少なくともいずれかが該当する場合に、
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定する、請求項６に記載の情報提示方法。
【請求項８】
前記学習画像中における前記推定対象物位置と前記指定対象物位置との個数の差がある場合、又は、前記推定対象物位置に対応する前記対象物の分類と、前記指定対象物位置に対応する前記対象物の分類とが異なる場合に、
前記推定対象物位置と、前記指定対象物位置との差が存在すると判定する、請求項６に記載の情報提示方法。
【請求項９】
学習に用いられる学習画像を取得する学習画像取得手段と、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得手段と、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得手段と、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示手段と、
を備える情報提示装置。
【請求項１０】
コンピュータが実行するプログラムであって、
学習に用いられる学習画像を取得する学習画像取得手段と、
前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得手段と、
前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得手段と、
前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示手段
として前記コンピュータを機能させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
情報提示装置の一の態様は、情報提示装置であって、学習に用いられる学習画像を取得する学習画像取得手段と、前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得手段と、前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得手段と、前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示手段と、を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
プログラムの一の態様は、コンピュータが実行するプログラムであって、学習に用いられる学習画像を取得する学習画像取得手段と、前記学習画像中において対象物が存在する領域又は座標として推定された位置である推定対象物位置を取得する推定対象物位置取得手段と、前記学習画像中において前記対象物が存在する領域又は座標として指定された位置である指定対象物位置を取得する指定対象物位置取得手段と、前記推定対象物位置と、前記指定対象物位置との差に基づいて、前記対象物が存在する領域又は座標の確認をユーザに促すための情報を提示する提示手段として前記コンピュータを機能させる。
【国際調査報告】
2020183691.tif 000016
2020183691.tif 000017