【手続補正書】
【提出日】令和3年3月1日(2021.3.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置と、
前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、を実行する演算装置と、
を備えることを特徴とする機械学習プログラム検証装置。
【請求項２】
前記演算装置は、
前記決定木論理式の作成に際し、前記決定木から決定木パスを抽出し、抽出した前記決定木パスのパス条件から構成されるパス論理式を作成し、
前記検証性質論理式の作成に際し、前記説明変数および目的変数の関係として定義される検証性質のユーザ入力を入力装置で受け付け、前記受け付けた前記検証性質に基づいて前記検証性質論理式を作成するものである、
ことを特徴とする請求項１に記載の機械学習プログラム検証装置。
【請求項３】
前記演算装置は、
前記充足可能性判定結果が充足性を示す場合、前記説明変数を、所定ルールないしユーザ指定に基づき検索対象説明変数と非検索対象説明変数に分類する処理と、
前記違反入力値を構成する前記検索対象説明変数の値である検索対象違反入力値と、前記違反入力値を構成する前記非検索対象説明変数の値である非検索対象違反入力値とについて、前記検索対象違反入力値を含むべく前記検索対象説明変数の上限値および下限値を作成し、前記上限値以下かつ前記下限値以上の範囲を前記検索対象説明変数の検索範囲と特定する処理と、
前記検索対象説明変数の値が前記検索範囲の内にあることを意味する検索範囲論理式を作成する処理と、
前記非検索対象説明変数の前記非検索対象違反入力値を、前記非検索対象説明変数の制限範囲とし、前記非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第二の結合論理式を作成する処理と、
前記第二の結合論理式を前記充足可能性判定器に入力することで、前記第二の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記検索対象説明変数の違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項１に記載の機械学習プログラム検証装置。
【請求項４】
前記演算装置は、
前記第二の結合論理式の充足可能性判定結果が充足性を示す場合、
前記説明変数を、所定ルールないしユーザ指定に基づき、第二の検索対象説明変数と第二の非検索対象説明変数に分類する処理と、
前記第二の検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を含むように前記第二の検索対象説明変数の上限値と下限値を作成する処理と、
前記上限値以下かつ前記下限値以上で、前記違反範囲を含まない範囲を、前記第二の検索対象説明変数の検索範囲とし、前記第二の検索対象説明変数の値が前記検索範囲内にあることを意味する検索範囲論理式を作成する処理と、
前記第二の非検索対象説明変数に対して違反範囲を作成済みの場合、前記違反範囲を前記第二の非検索対象説明変数の制限範囲とし、前記第二の非検索対象説明変数の値が前記制限範囲内にあることを意味する制限範囲論理式を作成する処理と、
前記検索範囲論理式および前記制限範囲論理式を、前記結合論理式に論理積結合することで、第三の結合論理式を作成する処理と、
前記第三の結合論理式を前記充足可能性判定器に入力することで、前記第三の結合論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、前記上限値以下かつ前記下限値以上の範囲を、前記第二の検索対象説明変数の違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項３に記載の機械学習プログラム検証装置。
【請求項５】
前記演算装置は、
前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が、充足不能を示す場合、前記説明変数を取得して、
前記説明変数に違反範囲が設定されている場合、前記説明変数の値は前記違反範囲外にあることを意味する前提範囲指定論理式を作成する処理と、
前記説明変数に違反範囲が設定されていない場合、前記説明変数の値が前記違反入力値と等しいことを意味する前提範囲指定論理式を作成する処理と、
前記前提範囲指定論理式を前記結合論理式に結合することで、第四の結合論理式を作成する処理と、
前記第四の結合論理式を充足可能性判定器に入力することで、前記第四の結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果が充足性を示す場合、前記充足可能性判定器からその充足解を取得し、前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理と、
を更に実行するものである、
ことを特徴とする請求項４に記載の機械学習プログラム検証装置。
【請求項６】
前記演算装置は、
前記第二の結合論理式または前記第三の結合論理式の充足可能性判定結果が充足性を示す場合、当該充足解を取得して、
前記充足解から、前記検証性質に違反する説明変数の値である違反入力値と当該違反入力値の場合の目的変数の値である違反出力値とを取得する処理を更に実行するものである、
ことを特徴とする請求項４に記載の機械学習プログラム検証装置。
【請求項７】
前記演算装置は、
前記パス論理式に現れる前記説明変数の値が、前記違反入力値または前記第二の結合論理式に関する充足解から取得した違反入力値と一致することを意味する違反入力値指定論理式を作成する処理と、
前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、
前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記違反入力値指定済みパス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
を更に実行するものである、
ことを特徴とする請求項４に記載の機械学習プログラム検証装置。
【請求項８】
前記演算装置は、
前記パス論理式に現れる前記説明変数の値が、前記違反範囲に含まれることを示す違反範囲指定論理式を作成する処理と、
前記違反範囲指定論理式を、前記パス論理式に論理積結合することで、違反範囲指定パス論理式を作成する処理と、
前記違反範囲指定パス論理式を、前記充足可能性判定器に入力することで、前記違反範囲指定パス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、
前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、
を更に実行するものである、
ことを特徴とする請求項３に記載の機械学習プログラム検証装置。
【請求項９】
前記演算装置は、
前記違反入力値について、前記決定木グラフ上に前記違反パスを強調表示し、前記決定木グラフを構成するノードのうち、前記強調表示された前記違反パスが分岐していないノードを非分岐ノードとして取得する処理と、
前記非分岐ノードで使用されている説明変数を原因説明変数として出力する処理と、
を更に実行するものである、
ことを特徴とする請求項７または８に記載の機械学習プログラム検証装置。
【請求項１０】
前記演算装置は、
前記プログラムに対する入力値として、前記説明変数の値を入力装置にて受け付け、前記説明変数の値が前記違反範囲のいずれにも含まれない場合、前記入力値を前記プログラムに送信する入力フィルタプログラムのソースコードを生成する処理を更に実行するものである、
ことを特徴とする請求項３に記載の機械学習プログラム検証装置。
【請求項１１】
前記記憶装置は、
前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
前記演算装置は、
前記結合論理式を作成するに際し、
前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記説明変数の値は前記最大値以下で前記最小値以上であることを示す説明変数範囲制限論理式を作成し、前記決定木論理式、前記検証性質論理式、および前記目的変数計算論理式に加えて、前記説明変数範囲制限論理式を論理積結合することで、前記結合論理式を作成するものである、
ことを特徴とする請求項１に記載の機械学習プログラム検証装置。
【請求項１２】
前記記憶装置は、
前記プログラムを機械学習によって作成する際に使用した、前記説明変数の値および前記目的変数の値の組で構成されるデータセットを保持し、
前記演算装置は、
前記検索範囲の特定に際し、
前記データセットを参照して前記説明変数の最大値と最小値を取得し、前記最大値または最小値に所定ルールを適用して、前記上限値および下限値を作成する際、前記検索対象違反入力値に加算あるいは減算する単位値を算出するものである、
ことを特徴とする請求項３に記載の機械学習プログラム検証装置。
【請求項１３】
前記演算装置は、
前記検索対象違反入力値に加算あるいは減算する前記単位値を、所定期間に前記加算ないし前記減算を行った回数に基づいて所定ルールで変更する、
ことを特徴とする請求項１２に記載の機械学習プログラム検証装置
【請求項１４】
前記演算装置は、
前記第二の結合論理式あるいは第三の結合論理式についての、充足可能性判定結果が充足不能を示す場合、
前記検索対象説明変数の前記検索範囲、および前記非検索対象説明変数の前記制限範囲に含まれる範囲を記憶する処理と、
前記違反範囲を表す入力値の多次元空間を、前記検索対象説明変数の前記検索範囲の上限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第一の超平面と、前記検索対象説明変数の前記検索範囲の下限値を通り、前記検索対象説明変数の基底ベクトルが法線ベクトルとなる第二の超平面と、前記非検索対象説明変数の前記制限範囲の上限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第三の超平面と、前記非検索対象説明変数の前記制限範囲の下限値を通り、前記非検索対象説明変数の基底ベクトルが法線ベクトルとなる第四の超平面とで分割する処理と、
前記分割で得られた分割後空間のうち、前記第一の超平面と、前記第三の超平面と、前記第四の超平面とに囲まれた空間を再確認空間と特定し、入力値が前記再確認空間に含まれることを意味する再確認空間論理式を作成する処理と、
前記再確認空間論理式を前記結合論理式に論理積結合することで、第五の結合論理式を作成する処理と、
前記第五の結合論理式を前記充足可能性判定器に入力することで、前記第五の結合論理式の充足可能性判定結果を取得する処理と、
前記充足可能性判定結果が充足性を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間を除いて得られる、複数の多次元空間を違反範囲と特定する処理と、
前記充足可能性判定結果が充足不能を示す場合、前記分割後空間から、前記第一の超平面、前記第二の超平面、前記第三の超平面、および前記第四の超平面で囲まれる空間と、前記再確認空間を除いた複数の多次元空間とを違反範囲と特定する処理と、
を更に実行するものである、
ことを特徴とする請求項３に記載の機械学習プログラム検証装置。
【請求項１５】
情報処理装置が、
複数の決定木から構成されるアンサンブルツリーによる予測アルゴリズムに従い、説明変数の値を入力として目的変数の値を出力する、機械学習によって作成されたプログラムを保持する記憶装置を備えて、
前記プログラムに関して、前記決定木における決定木パスを示すパス論理式を、論理積結合することで決定木論理式を作成する処理と、
前記決定木論理式に対し、前記プログラムに関して検証対象とする検証性質を示す検証性質論理式と、前記決定木ごとの決定木出力値と前記目的変数の値との関係を定義する目的変数計算論理式とを論理積結合して、結合論理式を作成する処理と、
前記結合論理式を、所定の充足可能性判定器に入力することで、前記結合論理式の充足可能性判定結果を取得し、当該充足可能性判定結果に基づいて、前記プログラムが前記検証性質を充足するか判定する処理と、
前記判定の結果が充足性を示す場合、前記充足可能性判定器が示す充足解から、前記検証性質に違反する説明変数の値である違反入力値と、当該違反入力値の場合の目的変数の値である違反出力値を取得する処理と、
を実行することを特徴とする機械学習プログラム検証方法。 
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１７７
【補正方法】変更
【補正の内容】
【０１７７】
また、本実施形態の機械学習プログラム検証装置において、前記演算装置は、前記パス論理式に現れる前記説明変数の値が、前記違反入力値または前記第二の結合論理式に関する充足解から取得した違反入力値と一致することを意味する違反入力値指定論理式を作成する処理と、前記違反入力値指定論理式を、前記パス論理式に論理積結合することで、違反入力値指定済みパス論理式を作成する処理と、前記違反入力値指定済みパス論理式を、前記充足可能性判定器に入力することで、前記違反入力値指定済みパス論理式の充足可能性判定結果を取得し、前記充足可能性判定結果が充足性を示す場合、対応する前記決定木パスを違反パスとして取得する処理と、前記決定木を決定木グラフとして画面に表示し、前記決定木グラフ上において、前記違反パスを強調表示する処理と、を更に実行するものである、としてもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１８１
【補正方法】変更
【補正の内容】
【０１８１】
また、本実施形態の機械学習プログラム検証装置において、前記演算装置は、前記違反入力値について、前記決定木グラフ上に前記違反パスを強調表示し、前記決定木グラフを構成するノードのうち、前記強調表示された前記違反パスが分岐していないノードを非分岐ノードとして取得する処理と、前記非分岐ノードで使用されている説明変数を原因説明変数として出力する処理と、を更に実行するものである、としてもよい。