(57)【要約】従来の装置では、ユーザー間の判断基準の差異を把握することが難しい問題があった。本発明の判断差異表示装置の一態様は、判断対象データを特徴要素毎にベクトル化した特徴ベクトルを生成する特徴ベクトル生成部（１０）と、重み係数を判断を左右するパラメータとして用いて学習データに対する判断結果を出力する判断モデルについて、ユーザー毎に重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベース（１２）と、第１のユーザーに対応した学習済み判断モデルの第１の重み係数を読み出し、かつ、第２のユーザーに対応した学習済み判断モデルの第２の重み係数を読み出す比較対象選択部（１１）と、第１の重み係数と第２の重み係数とについて特徴要素に対応する重み係数の差異に基づき比較対象ユーザーの判断の差異を構成する特徴要素を判断差異要素として提示する判断差異提示部（１３）と、を有する。
2020174689.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーによる所定の判断の対象となる判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成する特徴ベクトル生成部と、
少なくとも前記判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、前記ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースと、
比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出す比較対象選択部と、
前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する判断差異提示部と、
を有する判断差異表示装置。
【請求項２】
前記判断差異提示部は、前記第１の重み係数と前記第２の重み係数とのうち符号が異なる重み係数を前記判断差異要素として抽出する請求項１に記載の判断差異表示装置。
【請求項３】
前記判断差異提示部は、前記第１の重み係数と前記第２の重み係数とのうち符号が異なり、かつ、前記第１の重み係数と前記第２の重み係数とのいずれもが予め設定された第１の閾値以上の大きさの値である重み係数に対応する特徴要素を前記判断差異要素として抽出する請求項２に記載の判断差異表示装置。
【請求項４】
前記判断差異提示部は、前記第１の重み係数と前記第２の重み係数とについて、それぞれの重み係数を昇順、又は、降順に並べ替えて順序ベクトルを生成し、当該順序ベクトルに基づき前記判断差異要素を抽出する請求項１乃至３のいずれか１項に記載の判断差異表示装置。
【請求項５】
前記判断差異提示部は、前記順序ベクトルを参照し、同種の特徴に対応する部分の前記重み係数の順位差の絶対値が予め設定した第２の閾値よりも大きな特徴要素を前記判断差異要素として抽出する請求項４に記載の判断差異表示装置。
【請求項６】
前記判断対象データに対する判断結果を入力する判断結果入力部と、
前記ユーザー毎に前記判断対象データに対応する判断結果情報を蓄積する判断結果データベースと、
前記判断対象データと前記判断結果データベースに蓄積された前記判断結果情報とに基づき前記ユーザー毎に前記学習済み判断モデルを生成する比較対象学習部と、
をさらに有する請求項１乃至５のいずれか１項に記載の判断差異表示装置。
【請求項７】
少なくとも判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースを用いて、前記ユーザーによる所定の判断の対象となる前記判断対象データについて、前記ユーザー毎の判断の差異を提示する判断再表示装置における判断差異表示方法であって、
前記判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成し、
比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、
比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出し、
前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する
判断差異表示装置における判断差異表示方法。
【請求項８】
少なくとも判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースを用いて、前記ユーザーによる所定の判断の対象となる前記判断対象データについて、前記ユーザー毎の判断の差異を提示する判断再表示装置において、演算部において実行され、前記ユーザー毎の判断の差異となる判断差異要素を抽出する処理をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体であって、
前記判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成する特徴ベクトル生成処理と、
比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出す比較対象選択処理と、
前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する判断差異提示処理と、
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は判断差異表示装置、判断差異表示方法、及び、コンピュータ可読媒体に関し、特に、個人間の判断の差異を提示する判断差異表示装置、判断差異表示方法、及び、コンピュータ可読媒体に関する。
【背景技術】
【０００２】
機械学習により人間の判断を学習させて、当該学習結果を利用して種々の判断を行う手法が多く提案されている。人間の判断基準の獲得には、人間の判断結果を教師データとしてマッピングするモデルを決定する機械学習手法が利用される。このような機械学習手法は教師あり学習とよばれ、ランダムフォレストやサポートベクターマシンなどの手法が提案されている。そして、教師あり学習においては，予め人間が設定する必要があるパラメータが存在し，この値によってモデルの良し悪しが変動する。そこで、学習により決定されたパラメータの善し悪しを判断する技術が特許文献１、２に開示されている。【０００３】
特許文献１に記載の技術では、機械学習により分類能力を獲得した少なくとも二以上の学習結果に関する情報を記憶する学習情報記憶部と、前記少なくとも二以上の学習結果から出力される分類結果が同等であると判定できる分類結果同等性判定条件を記憶する判定条件記憶部と、前記少なくとも二以上の学習結果から出力される分類結果が入力される分類結果入力部と、前記学習結果に関する情報と前記分類結果同等性判定条件とを用いて、前記少なくとも二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定する判定部と、前記同等であると判定された分類結果同士に、もしくは、前記同等であると判定された分類結果を出力した学習結果同士に、または、その双方に、同一の識別情報を付与する識別情報付与部とを有する。【０００４】
また、特許文献２に記載の技術は、人とロボットが協働して作業を行うロボットの制御装置であって、前記人と前記ロボットが協働して作業を行う期間中に、前記人の行動を分類する認識部、および、前記人の行動を学習する学習部を含む機械学習装置と、前記認識部で分類した結果に基づいて、前記ロボットの行動を制御する行動制御部と、を備える。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−０４５４８３号公報
【特許文献１】特開２０１８−０６２０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、機械学習の成果を向上させようとするニーズとは別に、人の訓練度又は他社の判断基準を参考にしたいというニーズが存在する。例えば、良品と不良品の分類や，セキュリティ対策装置のアラート監視など，人間が何かしらの判断基準に基づいて分類／判断を行なう作業がある。このような作業において、経験の浅い作業者の育成や、判断に迷った状況では他者、特に経験豊富な作業者の判断基準を参考にしたいというニーズが存在する。【０００７】
しかしながら、特許文献１、２に記載の技術では、機械学習に用いる人の行動の差異がどのような基準の差異に基づくものかを把握することが出来ない問題がある。
【課題を解決するための手段】
【０００８】
本発明にかかる判断差異表示装置の一態様は、ユーザーによる所定の判断の対象となる判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成する特徴ベクトル生成部と、少なくとも前記判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、前記ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースと、比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出す比較対象選択部と、前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する判断差異提示部と、を有する。【０００９】
本発明にかかる判断差異表示方法の一態様は、少なくとも判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースを用いて、前記ユーザーによる所定の判断の対象となる前記判断対象データについて、前記ユーザー毎の判断の差異を提示する判断再表示装置における判断差異表示方法であって、前記判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成し、比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出し、前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する。【００１０】
本発明にかかるコンピュータ可読媒体の一態様は、少なくとも判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースを用いて、前記ユーザーによる所定の判断の対象となる前記判断対象データについて、前記ユーザー毎の判断の差異を提示する判断再表示装置において、前記ユーザー毎の判断の差異となる判断差異要素を抽出するための処理をコンピュータに実行させるプログラムが格納されたコンピュータ可読媒体であって、前記判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成する特徴ベクトル生成処理と、比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出す比較対象選択処理と、前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する判断差異提示処理と、をコンピュータに実行させるプログラムが格納されたコンピュータ可読媒体である。
【発明の効果】
【００１１】
本発明にかかる判断差異表示装置、判断差異表示方法、及び、判断差異表示プログラムによれば、ユーザー間の判断基準の差異を把握することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１にかかる判断差異表示装置のブロック図である。
【図２】実施の形態１にかかる学習済み判断モデルデータベースに格納されている重みベクトルの一例を説明する図である。
【図３】実施の形態１にかかる判断差異表示装置における比較元モデルと比較先モデルの特徴の差の一例を説明する図である。
【図４】実施の形態１にかかる判断差異表示装置における判断差異要素の抽出手順を説明するフローチャートである。
【図５】実施の形態１にかかる判断差異表示装置における判断差異要素の表示手順を説明するフローチャートである。
【図６】実施の形態２にかかる判断差異表示装置のブロック図である。
【図７】実施の形態２にかかる判断差異表示装置の判断結果データベースに格納される判断差異情報の一例を説明する図である。
【発明を実施するための形態】
【００１３】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。実施の形態１にかかる判断差異表示装置１は、作業者毎に、作業に関する判断結果の分類を学習した学習済み判断モデルから比較したい判断モデルを選択し、その重み係数を比較することで作業者間の判断基準を提示する。以下で、この判断差異表示装置１の具体的な構成及び動作について説明する。なお、実施の形態に関する説明では、判断対象データに関する特徴についての差異のみを提示する例について説明するが、判断対象データに含まれる特徴に限定せず、比較したい判断モデルに含まれる特徴のすべてを比較しても良い。
【００１４】
図１に、実施の形態１にかかる判断差異表示装置のブロック図を示す。図１に示すように、実施の形態１にかかる判断差異表示装置１は、特徴ベクトル生成部１０、比較対象選択部１１、学習済み判断モデルデータベース１２、判断差異提示部１３を有する。
【００１５】
特徴ベクトル生成部１０は、ユーザーによる所定の判断の対象となる判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成する。ここで、特徴ベクトルの数は、後述する判断モデルに含まれる特徴要素パラメータの数と同数であるが、判断対象データに判断モデル中のパラメータに該当する特徴を含まない場合、その含まれない特徴については値がゼロとなる。
【００１６】
また、特徴ベクトル生成部１０による特徴要素のベクトル化については、各特徴要素が取り得る値の範囲を一定の範囲に制限する正規化処理を施すことが好ましい。この正規化処理を行うことで、判断モデルの重み係数との比較が容易になる。また、特徴ベクトル生成部１０の具体的なベクトル化方法としては、例えば、「ある単語Ｗを含む」や「全体の文字数」などの特徴について分類対象データを分析し、分析した特徴について二進数で表現する、あるいは、所定の数値に変換する方法がある。判断対象データが文書の場合、特徴ベクトルの生成方法として、判断対象データがどの文書クラスタに属するかをベクトル表現する方法がある。具体的には、予め判断対象データをＷｏｒｄ２ＶｅｃやＤｏｃ２Ｖｅｃなどの手法でベクトル化し、クラスタリングすることで文書クラスタを生成する。判断対象データが属する文書クラスタをＯｎｅ−ｈｏｔ表現することで、文書クラスタを表す特徴ベクトルを作ることができる。ベクトル化方法の上記の例は例示であって，他の方法を用いることもできる。
【００１７】
学習済み判断モデルデータベース１２には、複数の学習済み判断モデルを格納する。実施の形態１にかかる判断モデルは、少なくとも判断対象データの一部と共通する特徴要素を含む学習データと学習データの特徴要素に対応する重み係数とをパラメータとして含み、学習データに対する判断結果を出力する判断関数により定義される。そして、実施の形態１では、当該判断モデルについて、学習データを入力とし、ユーザー毎の学習データに対する判断結果を教師データとして、ユーザー毎に重み係数を調整することで、学習済み判断モデルを生成する。学習済み判断モデルデータベース１２には、ユーザー毎に生成された複数の学習済み判断モデルを格納する。
【００１８】
なお、学習済み判断モデルデータベース１２には、判断モデルで利用される重み係数を示す重みベクトルがユーザー毎に格納される。そこで、図２に実施の形態１にかかる学習済み判断モデルデータベースに格納されている重みベクトルの一例を説明する図を示す。図２に示すように、学習対象ユーザーＩＤに学習済み判断モデルに対応するユーザーを特定するＩＤが記載され、当該ユーザーＩＤに対応する学習済み判断モデルの重みベクトルがユーザーに対応づけて記載される。
【００１９】
学習対象のユーザーが判断対象データの分類時に判断基準としていた条件は、機械学習の学習過程で有効な分類条件として帰納的に学習されることが期待される。つまり、分類に有効な特徴は、重み係数が大きい値に調整されるため、学習対象ユーザー毎に学習した判断モデルの重み係数を比較することで、学習対象ユーザーが判断対象データの分類時の判断基準の差異を示すことができる。
【００２０】
比較対象選択部１１は、比較元となる第１のユーザーに対応した学習済み判断モデルの重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した学習済み判断モデルの重み係数を第２の重み係数として読み出す。具体的には、比較対象選択部１１は、外部から比較するユーザーに関する指示を受け付ける。そして、学習済み判断モデルデータベース１２は、指定されたユーザーに基づき、第１のユーザー及び第２のユーザーを指定するユーザーＩＤを学習済み判断モデルデータベース１２に与える。そして、学習済み判断モデルデータベース１２は、比較対象選択部１１から与えられたユーザーＩＤに対応する重みベクトルを判断差異提示部１３に出力する。
【００２１】
判断差異提示部１３は、第１のユーザーに対応する学習済み判断モデルの第１の重み係数と第２のユーザーに対応する学習済み判断モデルの第２の重み係数とを比較する。そして、判断差異提示部１３は、特徴ベクトルに含まれる特徴要素に対応する重み係数の差異に基づき第１のユーザーと第２のユーザーとの判断の差異を構成する特徴要素を判断差異要素として提示する。
【００２２】
ここで、判断差異提示部１３で比較する重み係数について説明する。そこで、図３に実施の形態１にかかる判断差異表示装置における比較元モデルと比較先モデルの特徴の差の一例を説明する図を示す。図３に示す例では、特徴ベクトル生成部１０が生成した特徴ベクトルに特徴要素ｆ１〜ｆ５が含まれる例である。そして、図３に示す例では、判断差異提示部１３は、特徴要素ｆ１〜ｆ５に対応する重み係数を、第１のユーザーに対応する学習済み判断モデル（以下、比較元モデル）と、第２のユーザーに対応する学習済み判断モデル（以下、比較先モデル）と、のそれぞれから抽出する。図３に示す例では、比較元モデルと比較先モデルとで重み係数に差がある。この差について、係数の符号が異なる特徴は、比較元と逆の判断基準である特徴を示す。また、重み係数が大きい要素は、判断においての重要度が高い特徴要素であると考えることができる。判断差異提示部１３は、特徴要素毎の重み係数の大きさの差に基づき判断差異要素を外部に出力する。そこで、実施の形態１にかかる判断差異提示部１３における判断差異要素の提示処理について説明する。
【００２３】
図４に、実施の形態１にかかる判断差異表示装置における判断差異要素の抽出手順を説明するフローチャートを示す。図４に示すフローチャートは、特徴ベクトル生成部１０において特徴ベクトルを生成した後の処理を示すものである。また、図４に示す動作例は、判断対象データに含まれる複数の特徴要素を１つずつ順に表示の対象とするかいなかを検証するものである。また、図４に示す動作例は、主に判断差異提示部１３における処理を説明するものである。
【００２４】
図４に示すように、実施の形態１にかかる判断差異表示装置１では、まず、判断差異提示部１３が、特徴ベクトル生成部１０が生成した特徴ベクトルを参照して、判断対象データの特徴要素の大きさを検証する（ステップＳ１）。そして、判断差異提示部１３は、判断対象データの特徴要素の大きさがゼロであった場合（ステップＳ１のＦａｌｓｅの枝）、次の特徴要素の検証を行う（ステップＳ６のＦａｌｓｅの枝）。一方、判断差異提示部１３は、判断対象データの特徴要素の大きさがゼロでなかった場合（ステップＳ１のＴｕｒｅの枝）、ステップＳ２の処理を行う。
【００２５】
ステップＳ２では、判断差異提示部１３が、比較元モデルと比較先モデルから判断対象データの特徴要素に対応する重み係数をそれぞれ取得する。続いて、判断差異提示部１３は、ステップＳ２で抽出した重み係数について、比較元モデルの重み係数（例えば、第１の重み係数）と比較先モデルの重み係数（例えば、第２の重み係数）の大きさの絶対値がいずれも予め設定した第１の閾値（例えば、閾値ｔ１）以上であるかいなかを検証する（ステップＳ３）。
【００２６】
ステップＳ３において、比較元モデルの第１の重み係数と比較先モデルの第２の重み係数の少なくとも一方が閾値ｔ１未満であった場合、判断差異提示部１３は、次の特徴要素の検証を行う（ステップＳ６のＦａｌｓｅの枝）。一方、比較元モデルの第１の重み係数と比較先モデルの第２の重み係数のいずれもが一方が閾値ｔ１以上であった場合（ステップＳ４のＴｕｒｅの枝）、判断差異提示部１３は、比較元モデルの第１の重み係数と比較先モデルの第２の重み係数の符号が異なるものであるかを検証する（ステップＳ４）。
【００２７】
ステップＳ４において、比較元モデルの第１の重み係数と比較先の第２の重み係数との符号が一致していた場合、判断差異提示部１３は、次の特徴要素の検証を行う（ステップＳ６のＦａｌｓｅの枝）。一方、比較元モデルの第１の重み係数と比較先の第２の重み係数との符号が異なるものであった場合（ステップＳ５のＴｒｕｅの枝）、判断差異提示部１３は、現処理サイクルで処理対象としている特徴要素をユーザーに提示すべき特徴としてリストに加える（ステップＳ５）。そして、実施の形態１にかかる判断差異表示装置１では、ステップＳ１〜Ｓ５の処理を判断対象データのすべての特徴要素に対して行う（ステップＳ６）。また、すべての特徴要素に対してステップＳ１〜Ｓ５の処理を行った後、判断差異提示部１３は、リストに含まれる特徴要素を第１のユーザーと第２のユーザーとの間で判断基準に差異がある判断差異要素としてユーザーに提示する（ステップＳ７）。
【００２８】
ここで、ステップＳ７の提示処理では、単に判断差異要素のリストを提示するのみではなく、判断差異要素について第１のユーザーと第２のユーザーとの間にどのような違いがあるのかを提示することができる。そこで、判断差異提示部１３における判断差異要素の表示方法を具体的に説明する。図５に、実施の形態１にかかる判断差異表示装置における判断差異要素の表示手順を説明するフローチャートを示す。なお、以下で説明する表示手順では、順序ベクトルの比較を行うが、係数の順序ベクトルの比較は、比較元と同じ判断基準だが、重要度の違う特徴を示す目的がある。
【００２９】
図５に示す処理は、主に判断差異提示部１３が行う。図５に示すように、判断差異提示部１３は、判断差異表示処理を開始すると、まず、図４のステップＳ５において作成したリストに含まれる特徴要素に対応する重み計数を比較元モデルと比較先モデルとからそれぞれ取得する（ステップＳ１１）。
【００３０】
続いて、判断差異提示部１３は、比較元モデルの第１の重み係数の順序ベクトルと、比較先モデルの第２の重み係数の順序ベクトルと、をそれぞれ生成する（ステップＳ１２）。この順序ベクトルは、例えば、各重み係数を値の大きさに応じて昇順、または、降順にソートし、ソート順に応じて各重み係数に順序を示すベクトル値を設定したものである。
【００３１】
続いて、判断差異提示部１３は、比較元モデルの順序ベクトルが比較先モデルの順序ベクトルを回転させたものと一致するかいなかを検証する（ステップＳ１３）。このステップＳ１３において、比較元モデルの順序ベクトルが比較先モデルの順序ベクトルを回転させたものと一致しない場合（ステップＳ１３のＦａｌｓｅの枝）、ステップＳ１４〜Ｓ１７の処理を行う。ステップＳ１４〜Ｓ１７の処理では、回転によって上方、または下方の位置に移動した特徴要素のうち、数の少ない方を比較先モデルの第２のユーザーが比較元モデルの第１のユーザーよりも分類時に重要度を高く、または重要度を低く捉えていた特徴として表示する処理である。
【００３２】
ステップＳ１４の処理では、判断差異提示部１３が、比較元モデルと比較先モデルとについて、特徴要素毎に順位差を取得する。次いで、判断差異提示部１３は、順位差の絶対値が第２の閾値（例えば閾値ｔ２）未満の特徴要素を除外する（ステップＳ１５）。次いで、判断差異提示部１３は、比較先モデルよりも順位が高い特徴を比較先モデルよりも比較元モデルの方が重要度を高くとらえている判断差異要素として表示する（ステップＳ１６）。また、判断差異提示部１３は、比較先モデルよりも順位が低い特徴を比較先モデルよりも比較元モデルの方が重要度を低くとらえている判断差異要素として表示する（ステップＳ１７）。
【００３３】
一方、ステップＳ１３において、比較元モデルの順序ベクトルが比較先モデルの順序ベクトルを回転させたものと一致すると判断した場合（ステップＳ１３のＴｕｒｅの枝）、判断差異提示部１３が、同種の特徴要素について、比較先モデルの特徴要素を、比較元モデルの特徴要素よりも順位が上位の特徴要素と下位の特徴要素とに分類する（ステップＳ１８）。
【００３４】
続いて、判断差異提示部１３は、順位が上位の特徴要素が順位が下位の特徴要素よりも少ない場合（ステップＳ１９のＴｕｒｅの枝）、比較元モデルよりも分類における重要度を高く捉えている特徴要素として順位が上位の特徴をユーザーに提示する（ステップＳ２０）。判断差異提示部１３は、順位が上位の特徴要素が順位が下位の特徴要素よりも多い場合（ステップＳ１９のＦａｌｓｅの枝）、比較元モデルよりも分類における重要度を低く捉えている特徴要素として順位が下位の特徴をユーザーに提示する（ステップＳ２１）。
【００３５】
上記説明より、実施の形態１にかかる判断差異表示装置１で用いられる学習済み判断モデルでは、モデル中に含まれる重み係数にユーザー毎の判断の差異の要因が含まれる。そして、実施の形態１にかかる判断差異表示装置１では、異なるユーザーの学習済み判断モデルの重み係数を特徴要因毎に比較して、差異のある重み係数に対応する特徴要因を抽出することで比較対象のユーザーにおける判断の差異の要因を把握することができる。
【００３６】
このように、判断対象データに対するユーザー毎の判断基準の差異を認識することで、自らの判断と他者の判断の違いを学習して作業者の習熟度を向上させることができる。また、判断対象データに対するユーザー毎の判断基準の差異を認識することで、他者の判断を参考にして自らの判断の成否を考慮することができる。
【００３７】
実施の形態２
実施の形態２では、実施の形態１にかかる判断差異表示装置１の変形例となる判断差異表示装置２について説明する。なお、実施の形態１で説明した構成要素については、実施の形態と同じ符号を付して説明を省略する。
【００３８】
図６に実施の形態２にかかる判断差異表示装置のブロック図を示す。図６に示すように、実施の形態２にかかる判断差異表示装置２は、実施の形態１にかかる判断差異表示装置１に対して判断結果入力部２１、判断結果データベース２２、比較対象学習部２３を追加したものである。また、実施の形態２にかかる判断差異表示装置２は、外部に設けられる判断対象データデータベース２４から判断対象データを取得する。判断対象データデータベース２４は、特徴ベクトル生成部１０に与えられる判断対象データを蓄積する。
【００３９】
判断結果入力部２１は、ユーザーが判断対象データに対する判断結果を入力するユーザーインタフェースである。判断結果データベース２２は、判断結果入力部２１から入力された判断結果を判断結果を入力したユーサーと紐付けて、ユーザー毎に判断対象データに対応する判断結果情報を蓄積する。ここで、判断結果情報の例について説明する。
【００４０】
図７に実施の形態２にかかる判断差異表示装置の判断結果データベースに格納される判断差異情報の一例を説明する図を示す。図７に示すように、判断結果差異情報は、ログＩＤとして判断対象データを特定するためのＩＤ情報が記載され、判断ユーザーＩＤとして判断結果を入力したユーザーを特定するＩＤが記載され、判断結果として判断対象データに対応する判断結果が記述される。
【００４１】
続いて、比較対象学習部２３は、判断対象データデータベース２４から読み出した判断対象データと判断結果データベース２２に蓄積された判断結果情報とに基づきユーザー毎に学習済み判断モデルを生成する。そして、比較対象学習部２３は、生成した学習済み判断モデルを学習済み判断モデルデータベース１２に格納する。なお、比較対象学習部２３は、判断結果データベース２２に格納されている学習済み判断モデルを読み出して、判断結果データベース２２から読み出した判断結果に基づく追加学習を行うこともできる。
【００４２】
上記説明より、実施の形態２にかかる判断差異表示装置２では、判断結果入力部２１、判断結果データベース２２及び比較対象学習部２３を有することで、新たな学習済み判断モデルの生成及び学習済み判断モデルデータベース１２に蓄積されている学習済み判断モデルの更新を行うことができる。そして、これにより、実施の形態２にかかる判断差異表示装置２では、新たなユーザーの判断基準を参照することが可能になる。また、学習済み判断モデルデータベース１２の学習済み判断モデルに対して追加学習を行うことで、参照する判断基準の精度をより高めることができる。
【００４３】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００４４】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００４５】
１  判断差異表示装置
２  判断差異表示装置
１０  特徴ベクトル生成部
１１  比較対象選択部
１２  学習済み判断モデルデータベース
１３  判断差異提示部
２１  判断結果入力部
２２  判断結果データベース
２３  比較対象学習部
２４  判断対象データデータベース
【図１】
2020174689.tif 000003
【図２】
2020174689.tif 000004
【図３】
2020174689.tif 000005
【図４】
2020174689.tif 000006
【図５】
2020174689.tif 000007
【図６】
2020174689.tif 000008
【図７】
2020174689.tif 000009
【手続補正書】
【提出日】令和3年7月1日(2021.7.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザーによる所定の判断の対象となる判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成する特徴ベクトル生成部と、
少なくとも前記判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、前記ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースと、
比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出す比較対象選択部と、
前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する判断差異提示部と、
を有する判断差異表示装置。
【請求項２】
前記判断差異提示部は、前記第１の重み係数と前記第２の重み係数とのうち符号が異なる重み係数を前記判断差異要素として抽出する請求項１に記載の判断差異表示装置。
【請求項３】
前記判断差異提示部は、前記第１の重み係数と前記第２の重み係数とのうち符号が異なり、かつ、前記第１の重み係数と前記第２の重み係数とのいずれもが予め設定された第１の閾値以上の大きさの値である重み係数に対応する特徴要素を前記判断差異要素として抽出する請求項２に記載の判断差異表示装置。
【請求項４】
前記判断差異提示部は、前記第１の重み係数と前記第２の重み係数とについて、それぞれの重み係数を昇順、又は、降順に並べ替えて順序ベクトルを生成し、当該順序ベクトルに基づき前記判断差異要素を抽出する請求項１乃至３のいずれか１項に記載の判断差異表示装置。
【請求項５】
前記判断差異提示部は、前記順序ベクトルを参照し、同種の特徴に対応する部分の前記重み係数の順位差の絶対値が予め設定した第２の閾値よりも大きな特徴要素を前記判断差異要素として抽出する請求項４に記載の判断差異表示装置。
【請求項６】
前記判断対象データに対する判断結果を入力する判断結果入力部と、
前記ユーザー毎に前記判断対象データに対応する判断結果情報を蓄積する判断結果データベースと、
前記判断対象データと前記判断結果データベースに蓄積された前記判断結果情報とに基づき前記ユーザー毎に前記学習済み判断モデルを生成する比較対象学習部と、
をさらに有する請求項１乃至５のいずれか１項に記載の判断差異表示装置。
【請求項７】
少なくとも判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースを用いて、前記ユーザーによる所定の判断の対象となる前記判断対象データについて、前記ユーザー毎の判断の差異を提示する判断再表示装置における判断差異表示方法であって、
前記判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成し、
比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、
比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出し、
前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する
判断差異表示装置における判断差異表示方法。
【請求項８】
少なくとも判断対象データの一部と共通する特徴要素を含む学習データと前記学習データの特徴要素に対応する重み係数とをパラメータとして含み、前記学習データに対する判断結果を出力する判断関数により定義される判断モデルについて、前記学習データを入力とし、ユーザー毎の前記学習データに対する判断結果を教師データとして、前記ユーザー毎に前記重み係数を調整した複数の学習済み判断モデルを格納した学習済み判断モデルデータベースを用いて、前記ユーザーによる所定の判断の対象となる前記判断対象データについて、前記ユーザー毎の判断の差異を提示する判断再表示装置において、演算部において実行され、前記ユーザー毎の判断の差異となる判断差異要素を抽出する処理をコンピュータに実行させる判断際表示プログラムであって、
前記判断対象データの特徴要素を特徴要素毎にベクトル化した特徴ベクトルを生成する特徴ベクトル生成処理と、
比較元となる第１のユーザーに対応した前記学習済み判断モデルの前記重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した前記学習済み判断モデルの前記重み係数を第２の重み係数として読み出す比較対象選択処理と、
前記第１の重み係数と前記第２の重み係数とについて前記特徴ベクトルに含まれる前記特徴要素に対応する前記重み係数の差異に基づき前記第１のユーザーと前記第２のユーザーとの判断の差異を構成する前記特徴要素を判断差異要素として提示する判断差異提示処理と、
をコンピュータに実行させる判断際表示プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は判断差異表示装置、判断差異表示方法、及び、判断際表示プログラムに関し、特に、個人間の判断の差異を提示する判断差異表示装置、判断差異表示方法、及び、判断際表示プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２０１８−０４５４８３号公報
【特許文献２】特開２０１８−０６２０１６号公報
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
学習対象のユーザーが判断対象データの分類時に判断基準としていた条件は、機械学習の学習過程で有効な分類条件として帰納的に学習されることが期待される。つまり、分類に有効な特徴は、重み係数が大きい値に調整されるため、学習対象ユーザー毎に学習した判断モデルの重み係数を比較することで、学習対象ユーザーの判断対象データの分類時の判断基準の差異を示すことができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
比較対象選択部１１は、比較元となる第１のユーザーに対応した学習済み判断モデルの重み係数を第１の重み係数として読み出し、かつ、比較先となる第２のユーザーに対応した学習済み判断モデルの重み係数を第２の重み係数として読み出す。具体的には、比較対象選択部１１は、外部から比較するユーザーに関する指示を受け付ける。そして、比較対象選択部１１は、指定されたユーザーに基づき、第１のユーザー及び第２のユーザーを指定するユーザーＩＤを学習済み判断モデルデータベース１２に与える。そして、学習済み判断モデルデータベース１２は、比較対象選択部１１から与えられたユーザーＩＤに対応する重みベクトルを判断差異提示部１３に出力する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
図４に示すように、実施の形態１にかかる判断差異表示装置１では、まず、判断差異提示部１３が、特徴ベクトル生成部１０が生成した特徴ベクトルを参照して、判断対象データの特徴要素の大きさを検証する（ステップＳ１）。そして、判断差異提示部１３は、判断対象データの特徴要素の大きさがゼロであった場合（ステップＳ１のＦａｌｓｅの枝）、次の特徴要素の検証を行う（ステップＳ６のＦａｌｓｅの枝）。一方、判断差異提示部１３は、判断対象データの特徴要素の大きさがゼロでなかった場合（ステップＳ１のＴｒｕｅの枝）、ステップＳ２の処理を行う。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
ステップＳ３において、比較元モデルの第１の重み係数と比較先モデルの第２の重み係数の少なくとも一方が閾値ｔ１未満であった場合、判断差異提示部１３は、次の特徴要素の検証を行う（ステップＳ６のＦａｌｓｅの枝）。一方、比較元モデルの第１の重み係数と比較先モデルの第２の重み係数のいずれもが一方が閾値ｔ１以上であった場合（ステップＳ４のＴｒｕｅの枝）、判断差異提示部１３は、比較元モデルの第１の重み係数と比較先モデルの第２の重み係数の符号が異なるものであるかを検証する（ステップＳ４）。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
ステップＳ４において、比較元モデルの第１の重み係数と比較先の第２の重み係数との符号が一致していた場合、判断差異提示部１３は、次の特徴要素の検証を行う（ステップＳ６のＦａｌｓｅの枝）。一方、比較元モデルの第１の重み係数と比較先の第２の重み係数との符号が異なるものであった場合（ステップＳ５のＴｒｕｅの枝）、判断差異提示部１３は、現処理サイクルで処理対象としている特徴要素をユーザーに提示すべき特徴としてリストに加える（ステップＳ５）。そして、実施の形態１にかかる判断差異表示装置１では、ステップＳ１〜Ｓ５の処理を判断対象データのすべての特徴要素に対して行う（ステップＳ６）。また、すべての特徴要素に対してステップＳ１〜Ｓ５の処理を行った後、判断差異提示部１３は、リストに含まれる特徴要素を第１のユーザーと第２のユーザーとの間で判断基準に差異がある判断差異要素としてユーザーに提示する（ステップＳ７）。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
一方、ステップＳ１３において、比較元モデルの順序ベクトルが比較先モデルの順序ベクトルを回転させたものと一致すると判断した場合（ステップＳ１３のＴｒｕｅの枝）、判断差異提示部１３が、同種の特徴要素について、比較先モデルの特徴要素を、比較元モデルの特徴要素よりも順位が上位の特徴要素と下位の特徴要素とに分類する（ステップＳ１８）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
続いて、判断差異提示部１３は、順位が上位の特徴要素が順位が下位の特徴要素よりも少ない場合（ステップＳ１９のＴｒｕｅの枝）、比較元モデルよりも分類における重要度を高く捉えている特徴要素として順位が上位の特徴をユーザーに提示する（ステップＳ２０）。判断差異提示部１３は、順位が上位の特徴要素が順位が下位の特徴要素よりも多い場合（ステップＳ１９のＦａｌｓｅの枝）、比較元モデルよりも分類における重要度を低く捉えている特徴要素として順位が下位の特徴をユーザーに提示する（ステップＳ２１）。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2020174689.tif 000010
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2020174689.tif 000011
【国際調査報告】
2020174689.tif 000012
2020174689.tif 000013