(57)【要約】【課題】分類器によるデータの分類の不確かさを考慮した、カテゴリに属するデータの数の解析に有用なデータを出力する。【解決手段】計算機システムは、複数のカテゴリの各々について、データがカテゴリに属する度合いを表すスコア値を算出し、データに対する複数のカテゴリの各々のスコア値を含む分類結果を出力する分類部と、複数のデータの各々の分類結果に含まれるスコア値に基づいて、複数のカテゴリの各々に属するデータの数の確率質量を算出する個数推定部と、を備える。【選択図】図１
2020057264.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの計算機を備える計算機システムであって、
前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続されるメモリ、及び前記プロセッサに接続されるインタフェースを有し、
前記計算機システムは、
データの入力を受け付け、複数のカテゴリの各々について、前記データがカテゴリに属する度合いを表す第一スコア値を算出し、前記データに対する前記複数のカテゴリの各々の前記第一スコア値を含む分類結果を出力する分類部と、
複数のデータの各々の前記分類結果に含まれる前記第一スコア値に基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出する個数推定部と、を備えることを特徴とする計算機システム。
【請求項２】
請求項１に記載の計算機システムであって、
前記個数推定部は、
前記複数のデータの各々について、前記一つのデータが、前記複数のカテゴリの各々に属しない度合いを表す第二スコア値を算出し、
前記データと、前記複数のカテゴリの各々の前記第一スコア値及び第二スコア値の組とを対応づけて前記メモリに格納し、
前記複数のデータの各々に対応づけられる、前記複数のカテゴリの各々の前記第一スコア値及び前記第二スコア値の組に基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出することを特徴とする計算機システム。
【請求項３】
請求項１に記載の計算機システムであって、
前記個数推定部は、
前記複数のデータの各々の分類結果に基づいて、前記複数のデータの各々が属するカテゴリを示すバイナリデータを生成し、前記複数のカテゴリの各々に属するデータの数を集計してサンプルデータを生成し、前記サンプルデータを前記メモリに格納する処理を複数回実行し、
前記複数のサンプルデータに基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出することを特徴とする計算機システム。
【請求項４】
請求項１に記載の計算機システムであって、
前記複数のデータの各々の分類結果に含まれる第一スコア値を確率値に類似する性質の数値に補正し、補正された第一スコア値を含む前記複数のデータの各々の分類結果を前記個数推定部に出力するスコア値補正部を備えることを特徴とする計算機システム。
【請求項５】
請求項１から請求項４のいずれか一項に記載の計算機システムであって、
前記個数推定部は、前記複数のカテゴリの各々に属するデータの数の確率質量に基づいて、前記複数のカテゴリの各々に属するデータの数の推定値を算出することを特徴とする計算機システム。
【請求項６】
請求項１から請求項４のいずれか一項に記載の計算機システムであって、
前記個数推定部は、
前記複数のカテゴリの各々に属するデータの数の確率質量に基づいて、前記複数のカテゴリに含まれる第一カテゴリについて周辺化を実行し、
前記第一カテゴリについての周辺化の結果をヒストグラムとして表示するための表示情報を生成し、前記表示情報を出力することを特徴とする計算機システム。
【請求項７】
少なくとも一つの計算機を備える計算機システムが実行するデータ分類の分析方法であって、
前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続されるメモリ、及び前記プロセッサに接続されるインタフェースを有し、
データが属するカテゴリに関する分析方法は、
前記プロセッサが、複数のカテゴリの各々について算出された、一つのデータがカテゴリに属する度合いを表す第一スコア値を含む分類結果を複数含むスコア値情報を受け付ける第一のステップと、
前記プロセッサが、前記スコア値情報に含まれる複数のデータの各々の前記分類結果を参照し、前記複数のデータの各々の分類結果に含まれる前記第一スコア値に基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出する第二のステップと、を含むことを特徴とするデータ分類の分析方法。
【請求項８】
請求項７に記載のデータ分類の分析方法であって、
前記第一のステップは、
前記プロセッサが、前記複数のデータの各々について、前記一つのデータが、前記複数のカテゴリの各々に属しない度合いを表す第二スコア値を算出するステップと、
前記プロセッサが、前記データと、前記複数のカテゴリの各々の前記第一スコア値及び第二スコア値の組とを対応づけて前記メモリに格納するステップと、を含み、
前記第二のステップは、前記プロセッサが、前記複数のデータの各々に対応づけられる、前記複数のカテゴリの各々の前記第一スコア値及び前記第二スコア値の組に基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出するステップを含むことを特徴とするデータ分類の分析方法。
【請求項９】
請求項７に記載のデータ分類の分析方法であって、
前記第二のステップは、
前記プロセッサが、前記複数のデータの各々の分類結果に基づいて、前記複数のデータの各々が属するカテゴリを示すバイナリデータを生成し、前記複数のカテゴリの各々に属するデータの数を集計してサンプルデータを生成し、前記サンプルデータを前記メモリに格納する処理を複数回実行するステップと、
前記プロセッサが、前記複数のサンプルデータに基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出するステップと、を含むことを特徴とするデータ分類の分析方法。
【請求項１０】
請求項７に記載のデータ分類の分析方法であって、
前記第一のステップは、前記プロセッサが、前記複数のデータの各々の分類結果に含まれる第一スコア値を確率値に類似する性質の数値に補正するステップを含み、
前記第二のステップは、前記プロセッサが、補正された第一スコア値に基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出するステップを含むことを特徴とするデータ分類の分析方法。
【請求項１１】
請求項７から請求項１０のいずれか一項に記載のデータ分類の分析方法であって、
前記プロセッサが、前記複数のカテゴリの各々に属するデータの数の確率質量に基づいて、前記複数のカテゴリの各々に属するデータの数の推定値を算出するステップを含むことを特徴とするデータ分類の分析方法。
【請求項１２】
請求項７から請求項１０のいずれか一項に記載のデータ分類の分析方法であって、
前記プロセッサが、前記複数のカテゴリの各々に属するデータの数の確率質量に基づいて、前記複数のカテゴリに含まれる第一カテゴリについて周辺化を実行するステップと、
前記プロセッサが、前記第一カテゴリについての周辺化の結果をヒストグラムとして表示するための表示情報を生成し、前記表示情報を出力するステップと、を含むことを特徴とするデータ分類の分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データの分類を分析するための計算機システム及び方法に関する。
【背景技術】
【０００２】
データを蓄積し、ある属性をもつデータの数を集計、報告することで、意思決定に役立てる技術が知られている。例えば、特許文献１では、「ＩＰＣ特許国際分類の全項目とサブクラスタイトルを予め検索プログラム内に設定し、外部記憶媒体の特許データベース内に収納されたている各特許出願文献に割り振りされているＩＰＣ国際特許分類と対応して検索を行い、ＩＰＣ特許分類だけで特許マップを作成する」方法が開示されている。
【０００３】
このような方法では、すでにデータに付与されている属性しか活用することができない。例えば、特許文献１に開示の方法では、新しい分類体系を設けて、新たにデータ数を集計することができない。蓄積されたデータに属性を手動で付与することもできるが、コストが高いことが問題となる。
【０００４】
特許文献２は、「データベースから検索された特許文献の集合について、制御部が、各特許文献に付与されている分類コードを取得し、当該分類コードから上位コード部分を抽出する。上位コードについて、検索された特許文献の集合に出現する頻度を演算して、当該頻度の順に各上位コードに対応する表示区画を形成し、その表示区画内に、対応する上位コードに属する分類コードを分類コードの順序で配列して傾向分析テーブルを生成し、ユーザに提供する。また、検索結果に付与された分類コードを分類コード解説書画像上にマッピングした傾向分析画像を提供する」装置が開示されている。
【０００５】
検索による絞り込みは新たな分類体系を定義することと近い操作である。しかし、ＦＩ等に相当するような複雑な概念を検索式のみで表現することは現実的でない。
【０００６】
このような問題に対して、特許文献３及び非特許文献１は、手動で属性が付与されたデータをもとに機械学習に基づく分類を行い、解析対象のデータに属性（分類結果）を付与し、各属性が付与されたデータの個数を数え上げる方法を開示している。
【０００７】
非特許文献２には、特許文献３及び非特許文献１とは全く異なるアプローチとして、会社の研究開発投資額及び設備投資額から、会社が出願する特許の個数を確率的に推定する方法が開示されている。 
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１７５３１４号公報
【特許文献２】特開２００３−４４４９３号公報
【特許文献３】特開２０１８−１１６３７６号公報
【非特許文献】
【０００９】
【非特許文献１】G. Ongun, U. Halici, K. Leblebicioglu, V. Atalay, M. Beksac, S. Beksac, “Feature extraction and classification of blood cells for an automated differential blood count system”, in Proceedings of International Joint Conference on Neural Networks, pp. 2461-2466 vol.4., (2001). DOI: 10.1109/IJCNN.2001.938753
【非特許文献２】R. Piergiovanni and E. Santarelli, “The more you spend, the more you get? The effects of R&D and capital expenditures on the patenting activities of biotechnology firms”, Scientometrics, Vol. 94:2, pp. 497-521, (2013) DOI: 10.1007/s11192-012-0711-z
【非特許文献３】Y. Hong, “On computing the distribution function for the Poisson binomial distribution”, Computational Statistics & Data Analysis, Vol. 59, pp. 41-51, (2013)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
学習データの量は、実世界に存在するデータのパターンの総量より小さく、また、実際の現象をデータに変換する場合に情報の欠落が起きる。したがって、機械学習によるデータの分類は、不確かさを持つ。しかし、特許文献３及び非特許文献１では、前述のような分類の不確かを考慮していない。
【００１１】
非特許文献２は、特許明細書の一つ一つの内容を考慮して、属性を付与する方法ではなく、特許出願の個数を巨視的なモデルとして扱っている。すなわち、特許出願が何らかのモデルにしたがって行われていることを仮定している。しかし、そのようなモデルは非自明であり、問題に対して個別に設計する必要がある。
【００１２】
本発明は、分類器によるデータの分類の不確かさを考慮した、データの分類の分析、より具体的には、カテゴリに属するデータの数の分析に有用なデータを出力するシステム及び方法を実現する。
【課題を解決するための手段】
【００１３】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、少なくとも一つの計算機を備える計算機システムであって、前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続されるメモリ、及び前記プロセッサに接続されるインタフェースを有し、前記計算機システムは、データの入力を受け付け、複数のカテゴリの各々について、前記データがカテゴリに属する度合いを表す第一スコア値を算出し、前記データに対する前記複数のカテゴリの各々の前記第一スコア値を含む分類結果を出力する分類部と、複数のデータの各々の前記分類結果に含まれる前記第一スコア値に基づいて、前記複数のカテゴリの各々に属するデータの数の確率質量を算出する個数推定部と、を備える。
【発明の効果】
【００１４】
本発明の一形態によれば、カテゴリに属するデータの数の分析に有用なデータとして、複数のカテゴリの各々に属するデータの数の確率質量を出力することができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１５】
【図１】実施例１の計算機システムの構成の一例を示す図である。
【図２】実施例１の分類モデル学習部が実行する処理の一例を説明するフローチャートである。
【図３】実施例１の分類モデル学習部が実行する処理におけるデータの入出力を説明する図である。
【図４】実施例１の分類部が実行する処理の一例を説明するフローチャートである。
【図５】実施例１の分類部が実行する処理におけるデータの入出力を説明する図である。
【図６】実施例１の個数推定部が実行する処理におけるデータの入出力を説明する図である。
【図７】実施例１の個数推定部が算出する、各カテゴリに属する評価データの数の確率質量の一例を示す図である。
【図８】実施例２の計算機の構成例を示す図である。
【図９】実施例２のスコア値分割部が実行する処理の一例を説明するフローチャートである。
【図１０】実施例２のスコア値分割部が実行する処理におけるデータの入出力を説明する図である。
【図１１】実施例２の個数推定部が算出する、各カテゴリに属する評価データの数の確率質量及び期待値の一例を示す図である。
【図１２】実施例２のカテゴリに属する評価データの数の推定精度を示す図である。
【図１３】実施例１及び実施例２の演算方法による計算量の違いを示すグラフである。
【図１４】厳密解及び分割近似解を用いたカテゴリに属する評価データの分布を示すグラフである。
【図１５】厳密解及び分割近似解の誤差を示す図である。
【図１６】実施例３の個数推定部が実行する処理におけるデータの入出力を説明する図である。
【図１７】実施例１及び実施例３の演算方法による計算量の違いを示すグラフである。
【図１８】厳密解及び多項分布近似解を用いたカテゴリに属する評価データの分布を示すグラフである。
【図１９】厳密解及び多項分布近似解の誤差を示す図である。
【図２０】実施例４の個数推定部が実行する処理を説明するフローチャートである。
【図２１】実施例４の個数推定部が実行する処理におけるデータの入出力を説明する図である。
【図２２】厳密解及び多項分布近似解を用いたカテゴリに属する評価データの分布を示すグラフである。
【図２３】厳密解及び多項分布近似解の誤差を示す図である。
【図２４】実施例５の計算機の構成例を示す図である。
【図２５】実施例５の計算機が実行する補正モデル生成処理の一例を説明するフローチャートである。
【図２６】実施例５の計算機が実行する補正モデル生成処理におけるデータの入出力を説明する図である。
【図２７】実施例５のスコア値補正処理部が実行する処理を説明するフローチャートである。
【図２８】実施例５のスコア値補正処理部実行する処理におけるデータの入出力を説明する図である。
【図２９】実施例５のカテゴリに属する評価データの数の推定精度を示す図である。
【図３０】実施例６の分類モデル学習部が実行する処理におけるデータの入出力を説明する図である。
【図３１】実施例６の計算機が実行する処理におけるデータの入出力を説明する図である。
【図３２】実施例６の個数推定部が算出する、各カテゴリに属する評価データの数の確率質量及び期待値の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【００１７】
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
【００１８】
本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
【００１９】
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
【実施例１】
【００２０】
図１は、実施例１の計算機システムの構成の一例を示す図である。
【００２１】
計算機システムは、複数のカテゴリのいずれかに分類される複数のデータを分類部に入力し、分類結果に基づいてデータのカテゴリの傾向分析等を行う。実施例１では、文書を扱った処理を一例に説明する。なお、カテゴリの数を表す変数としてＣを用いる。
【００２２】
計算機システムは、二つの計算機１００−１、１００−２から構成される。計算機１００−１及び計算機１００−２は、ネットワーク１２０を介して互いに接続される。ネットワーク１２０は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）及びＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。なお、本発明はネットワーク１２０の種別に限定されない。また、ネットワーク１２０の接続方式は有線及び無線のいずれでもよい。
【００２３】
実施例１の計算機１００−１及び計算機１００−２のハードウェア構成は、同一である。なお、計算機１００−１及び計算機１００−２のハードウェア構成は異なっていてもよい。以下の説明では、計算機１００−１及び計算機１００−２を区別しない場合、計算機１００と記載する。
【００２４】
計算機１００は、プロセッサ１０１、メモリ１０２、及びネットワークインタフェース１０３を有する。各ハードウェアは内部バスと介して互いに接続される。計算機１００は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置、キーボード、マウス、及びタッチパネル等の入力装置、並びに、ディスプレイ等の出力装置を有してもよい。
【００２５】
プロセッサ１０１は、メモリ１０２に格納されるプログラムを実行する。プロセッサ１０１がプログラムにしたがって処理を実行することによって、所定の機能を有する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ１０１が、当該機能部を実現するプログラムを実行していることを表す。
【００２６】
メモリ１０２は、プロセッサ１０１が実行するプログラム及び当該プログラムに必要な情報を格納する。また、メモリ１０２は、プログラムが一時的に使用するワークエリアを含む。
【００２７】
ネットワークインタフェース１０３は、ネットワークを介して他の装置と接続する。
【００２８】
ここで、計算機１００−１及び計算機１００−２のメモリ１０２に格納されるプログラム及び情報について説明する。
【００２９】
計算機１００−１のメモリ１０２は、分類モデル学習部１１０を実現するプログラムを格納し、また、分類モデル情報１１１を保持する。
【００３０】
分類モデル学習部１１０は、データを分類するための分類モデルの各種パラメータを算出するための学習処理を実行する。
【００３１】
分類モデル情報１１１は、分類モデル学習部１１０によって学習されたパラメータを格納する。
【００３２】
計算機１００−２のメモリは、分類部１１２及び個数推定部１１３を実現するプログラムを格納する。
【００３３】
分類部１１２は、分類モデル情報１１１を取得し、分類モデル情報１１１に対応する分類モデルにしたがって、評価データ５００（図５参照）に対する分類処理を実行し、分類結果を出力する。一つの評価データ５００の分類結果は、各カテゴリのスコア値を含む。ここで、スコア値は、評価データ５００がカテゴリに属する度合いを示す値である。
【００３４】
ニューラルネットワーク等の分類部１１２の出力であるスコア値は、予測の不確かさを表す確率値と一致することは保証されていない。しかし、分類結果に含まれる全てのスコア値の合計は「１．０」となり、確率の性質を満たす。また、経験的にも分類部１１２の出力を確率と見なすことができることが分かっている。
【００３５】
個数推定部１１３は、複数の評価データ５００に対する分類結果に基づいて、各カテゴリに属する評価データ５００の数の確率質量を算出する。また、個数推定部１１３は、各カテゴリに属する評価データ５００の数の確率質量に基づいて、傾向分析等の分析処理を実行する。
【００３６】
なお、計算機システムは、計算機１００にデータを入力し、また、計算機１００からデータを取得するための端末等を含んでもよい。計算機１００−１及び計算機１００−２が有する機能を一つの計算機にまとめてもよい。また、計算機１００−１及び計算機１００−２は、仮想化技術を利用して実現してもよい。
【００３７】
ここで、新たな分類体系に基づく傾向分析を行う場合における計算機システムの処理の流れについて説明する。
【００３８】
（処理Ａ１）まず、いずれかのカテゴリが付与された文書のデータを学習データ３００（図３参照）として分類モデル学習部１１０に入力する。分類モデル学習部１１０は、学習データ３００を用いた学習処理を実行することによってパラメータを算出し、算出されたパラメータを分類モデル情報１１１に格納する。
【００３９】
（処理Ａ２）評価用の文書のデータを評価データ５００として分類部１１２に入力する。分類部１１２は、分類モデル情報１１１に基づいて、評価データ５００について、各カテゴリのスコア値を算出し、当該スコア値を含む分類結果を出力する。個数推定部１１３は、分類結果に基づいて、各カテゴリに属する評価データ５００の数の確率質量を算出する。さらに、個数推定部１１３は、当該確率質量に基づいて傾向分析を行う。
【００４０】
このような傾向分析は、ニューラルネットワークの適用先の傾向を分析するために利用できる。
【００４１】
例えば、ＦＩ「Ｇ０６Ｎ３／０２」が付与された特許明細書を「教師あり学習」、「教師なし学習」、及び「強化学習」のいずれかのカテゴリに分類し、各カテゴリに属する特許出願の数を年度ごとに推定する場合に、本計算機システムを利用できる。
【００４２】
また、診療科ごとに最先端の研究をしている医療機関を調査することにも利用できる。例えば、ＰｕｂＭｅｄから過去３年分の医療論文の抄録を、「内科」、「外科」、「整形外科」、「脳神経外科」、「産婦人科」、「皮膚科」、「眼科」、「耳鼻咽喉科」のいずれかのカテゴリに分類し、各カテゴリに属する論文の数を主著著者の所属ごとに推定する場合に、本計算機システムを利用できる。
【００４３】
図２及び図３を用いて、分類モデル学習部１１０が実行する処理について説明する。図２は、実施例１の分類モデル学習部１１０が実行する処理の一例を説明するフローチャートである。図３は、実施例１の分類モデル学習部１１０が実行する処理におけるデータの入出力を説明する図である。
【００４４】
分類モデル学習部１１０は、ＩＤ３０１、正解カテゴリ３０２、及び文書データ３０３から構成される学習データ３００を受け付ける（ステップＳ１０１）。なお、入力される学習データ３００の数に限定されない。
【００４５】
ここで、ＩＤ３０１は、学習データ３００を一意に識別するための識別情報である。正解カテゴリ３０２は、文書データ３０３が属するカテゴリの識別情報を格納する。文書データ３０３は、文書に対応するデータである。
【００４６】
次に、分類モデル学習部１１０は、学習データ３００のループ処理を開始する（ステップＳ１０２）。具体的には、分類モデル学習部１１０は、複数の学習データ３００の中から一つのターゲット学習データ３００を選択する。ここでは、ターゲット学習データ３００のＩＤ３０１をｉとする。
【００４７】
次に、分類モデル学習部１１０は、ターゲット学習データ３００の特徴量を算出する（ステップＳ１０３）。
【００４８】
具体的には、分類モデル学習部１１０は、文書データ３０３に含まれる単語を単語ＩＤに変換する。なお、単語の単語ＩＤは予め設定されているものとする。分類モデル学習部１１０は、単語ＩＤのグループをターゲット学習データ３００の特徴量として算出する。単語ＩＤのグループの要素である単語ＩＤには、識別情報ｊ（１≦ｊ≦Ｌｉ）が付される。ただし、Ｌｉは文献ｉの単語の個数である。図３の特徴量テーブル３１０の一つの行が一つの学習データ３００の特徴量に対応する。
【００４９】
次に、分類モデル学習部１１０は、全ての学習データ３００について特徴量を算出したか否かを判定する（ステップＳ１０４）。
【００５０】
少なくとも一つの学習データ３００について特徴量が算出されていないと判定された場合、分類モデル学習部１１０は、ステップＳ１０２に戻る。
【００５１】
全ての学習データ３００について特徴量を算出されたと判定された場合、分類モデル学習部１１０は、分類モデルの学習処理を実行する（ステップＳ１０５）。その後、分類モデル学習部１１０は処理を終了する。ステップＳ１０５では、以下のような処理が実行される。
【００５２】
（処理Ｂ１）分類モデル学習部１１０は、一つの学習データ３００の特徴量である一つの単語ＩＤをｏｎｅ−ｈｏｔ表現ｘｉ，ｊに変換する。分類モデル学習部１１０は、式（１）に示すように、ｏｎｅ−ｈｏｔ表現ｘｉ，ｊに、単語の分散表現に対応する行列Ｅを作用させることによって、単語ＩＤに対応する単語を単語表現ｅｉ，ｊに変換する。分類モデル学習部１１０は、特徴量として含まれる全ての単語ＩＤについて同様の処理を実行する。なお、行列Ｅは学習対象のパラメータである。
【００５３】
【数１】
2020057264.tif 000003
【００５４】
（処理Ｂ２）分類モデル学習部１１０は、式（２）に示すようにリカレントニューラルネットワーク（ＲＮＮ）に単語表現ｅｉ，ｊを適用してｈｉ，ｊを算出する。ここで、θはテンソルであり、学習対象のパラメータを表す。
【００５５】
【数２】
2020057264.tif 000004
【００５６】
（処理Ｂ３）分類モデル学習部１１０は、各カテゴリについて、文書がカテゴリｋに属する度合いを表すスコア値を算出し、各カテゴリのスコア値を成分とするスコア値表現を生成する。図３のスコア値テーブル３２０の一つの行が一つの学習データ３００のスコア値表現に対応する。
【００５７】
具体的には、分類モデル学習部１１０は、式（３）で定義されたｚｉ，ｋを用いて、式（４）の演算を実行することによって、ＩＤ３０１がｉである文書（学習データ３００）がカテゴリｋに属する度合いを表すスコア値ｐｉ，ｋを算出する。ｚｉはカテゴリの数と同数の成分を有するベクトルである。Ｗ及びｂは学習対象のパラメータを表す。
【００５８】
【数３】
2020057264.tif 000005
【００５９】
【数４】
2020057264.tif 000006
【００６０】
（処理Ｂ４）分類モデル学習部１１０は、正解カテゴリ３０２を、各カテゴリのスコア値を成分とする正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現に変換する。例えば、正解カテゴリ３０２が「１」である場合、正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現は（１，０，０，０，０，０）となる。図３のｏｎｅ−ｈｏｔ表現テーブル３３０の一つの行が一つの学習データ３００の正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現に対応する。
【００６１】
分類モデル学習部１１０は、全ての学習データ３００に対して（処理Ｂ１）から（処理Ｂ４）までの処理を実行する。これによって、スコア値テーブル３２０及びｏｎｅ−ｈｏｔ表現テーブル３３０が得られる。
【００６２】
（処理Ｂ５）分類モデル学習部１１０は、ＩＤが一致するスコア値表現が正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現を比較し、各行のスコア値表現が正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現に一致又は類似するように、学習対象のパラメータを推定する。
【００６３】
具体的には、分類モデル学習部１１０は、式（５）で定義する交差エントロピーｌを算出し、最急降下法を用いて交差エントロピーｌが最小となるようにパラメータＥ、θ、Ｗ、ｂを算出する。なお、ハット記号が付されたｐｉ＝（ｐｉ，１,ｐｉ，２,．．．）は正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現を表し、ハット記号が付されていないｐｉはスコア値表現を表す。
【００６４】
【数５】
2020057264.tif 000007
【００６５】
（処理Ｂ６）分類モデル学習部１１０は、推定されたパラメータを分類モデル情報１１１に格納する。
【００６６】
本実施例では、ＲＮＮを用いたがこれに限定されない。スコア値が確率の性質を満たす場合、ＲＮＮの代わりに、畳み込みニューラルネットワーク、ロジスティック回帰、及びガウス過程分類等を用いてもよい。
【００６７】
本実施例では、最急降下法を用いてパラメータを推定していたがこれに限定されない。パラメータの推定方法は、準ニュートン方法、進化的計算、及びマルコフ連鎖モンテカルロ法等を用いてもよい。以上がステップＳ１０５の処理の説明である。
【００６８】
次に、図４及び図５を用いて、分類部１１２が実行する処理について説明する。図４は、実施例１の分類部１１２が実行する処理の一例を説明するフローチャートである。図５は、実施例１の分類部１１２が実行する処理におけるデータの入出力を説明する図である。
【００６９】
分類部１１２は、ＩＤ５０１及び文書データ５０２から構成される評価データ５００を受け付ける（ステップＳ２０１）。ここでは、Ｎ個の評価データ５００を受け付けたものとする。
【００７０】
ここで、ＩＤ５０１は、評価データ５００を一意に識別するための識別情報である。文書データ５０２は、文書に対応するデータである。
【００７１】
このとき、分類部１１２は、分類モデル情報１１１からパラメータを取得する。なお、パラメータの取得タイミングに限定されない。例えば、分類部１１２は、分類モデル情報１１１にパラメータが格納された場合に、当該パラメータを取得してもよい。
【００７２】
次に、分類部１１２は、評価データ５００のループ処理を開始する（ステップＳ２０２）。
【００７３】
具体的には、分類部１１２は、複数の評価データ５００の中から一つのターゲット評価データ５００を選択する。ここでは、ターゲット評価データ５００のＩＤ３０１をｉとする。
【００７４】
次に、分類部１１２は、ターゲット評価データ５００の特徴量を算出する（ステップＳ２０３）。
【００７５】
ステップＳ２０３の処理はステップＳ１０３の処理と同一の処理である。これによって、図５に示す特徴量テーブル５１０の一つの行に対応するデータが生成される。
【００７６】
次に、分類部１１２は、ターゲット評価データ５００の特徴量を用いてターゲット評価データ５００の分類処理を実行する（ステップＳ２０４）。
【００７７】
具体的には、分類部１１２は、式（１）から式（４）の数式を用いて、各カテゴリのスコア値を算出し、スコア値表現を生成する。当該スコア値表現が一つの評価データ５００の分類結果となる。
【００７８】
次に、分類部１１２は、全ての評価データ５００について処理が完了したか否かを判定する（ステップＳ２０５）。
【００７９】
少なくとも一つの評価データ５００について処理が完了していないと判定された場合、分類部１１２は、ステップＳ２０２に戻る。
【００８０】
全ての評価データ５００について処理が完了したと判定された場合、分類部１１２は処理を終了する。以上の処理によって、複数の評価データ５００の分類結果がＮ行Ｃ列のスコア値テーブル５２０として生成される。なお、評価データ５００の分類結果のデータ形式はテーブル形式に限定されない。
【００８１】
次に、図６を用いて個数推定部１１３が実行する処理について説明する。図６は、実施例１の個数推定部１１３が実行する処理におけるデータの入出力を説明する図である。
【００８２】
実施例１の個数推定部１１３は、スコア値テーブル５２０の入力を受け付ける。個数推定部１１３は、各カテゴリに属する文書の数の組合せにおけるスコア値の積を計算することによって、各カテゴリに属する評価データ５００の数の確率質量を算出する。
【００８３】
具体的には、個数推定部１１３は、式（６）の演算を実行する。なお、δは式（７）で定義される。これによって、確率質量テーブル６００が生成される。なお、ｎ１からｎ６の数字の組合せが各カテゴリに属する文書の数の組合せに対応する。
【００８４】
【数６】
2020057264.tif 000008
【００８５】
【数７】
2020057264.tif 000009
【００８６】
任意のカテゴリｋに属するデータの数の確率質量を求める場合、個数推定部１１３は、カテゴリｋ以外について周辺化する。これによって、確率質量テーブル６１０が生成される。個数推定部１１３は、確率質量テーブル６１０に基づいて、個数の分布のヒストグラム６１５を表示することができる。
【００８７】
また、個数推定部１１３は、確率質量テーブル６００における確率質量が最大となる各カテゴリに属する評価データ５００の数の組合せを、最尤推定量６２０として算出できる。
【００８８】
以下の説明では、式（６）の演算を実行することによって得られるカテゴリに属する評価データ５００の数の確率質量を「厳密解」と記載する。
【００８９】
図７は、実施例１の個数推定部１１３が算出する、各カテゴリに属する評価データ５００の数の確率質量の一例を示す図である。
【００９０】
図７に示すグラフの縦軸は確率質量テーブル６１０の確率質量の値に対応し、横軸は確率質量テーブル６１０の個数ｎｉに対応する。
【００９１】
各カテゴリに属する評価データ５００の数の確率質量（確率質量テーブル６００）を算出することによって、有意差検定、数の区間推定、及び数の推移の統計分析等が可能となる。
【００９２】
例えば、２０１７年に作成された、あるカテゴリＡ（カテゴリＡと呼ぶ）に属する文書の数、２０１８年に作成された、同一カテゴリ（同一カテゴリだが便宜上Ａ’と呼ぶ）に属する文書（カテゴリＡ’に属する文書）の数から、文書の数が増加傾向にあるか否かを調べるベイズ的な有意差検定を考える。「カテゴリＡに属する文書の数は、カテゴリＡ’に属する文書の個数以下である」と帰無仮説をたてた場合、仮説のＰ値は式（８）により算出できる。
【００９３】
【数８】
2020057264.tif 000010
【００９４】
Ｐ値が危険率αより小さい場合、帰無仮説を棄却し、カテゴリＡに属する文書の数より、カテゴリＡ’に属する文書の数が増加傾向にあると結論付けることができる。
【００９５】
実施例１によれば、計算機システムは、分類部１１２を用いることによって、自動的に大量のデータの各々のスコア値表現を算出することができる。学習データ３００を用いた学習処理によって分類モデルが生成されるため、巨視的なモデルを必要としない。
【００９６】
また、計算機システムは、スコア値を確率値として扱うことによって、分類部１１２の分類の不確かさを考慮した、評価データ５００の分類結果を示す情報として、各カテゴリに属する評価データ５００の数の確率質量を算出できる。各カテゴリに属する評価データ５００の数の確率質量を用いることによって、様々な分析が可能となる。
【実施例２】
【００９７】
式（６）の演算は、計算量がＯ（Ｎ×ＣＮ）、メモリ使用量がＯ（ＮＣ）だけ必要となる。したがって、評価データ５００の数Ｎが大きくなると現実的な計算が困難である。実施例２、実施例３、実施例４では、評価データ５００の数Ｎが大きい場合でも、計算を可能とする方法について説明する。
【００９８】
まず、図８から図１５を用いて実施例２を説明する。
【００９９】
実施例２の計算機システムの構成は実施例１と同一である。実施例２の計算機１００−１のハードウェア構成及びソフトウェア構成は実施例１と同一である。実施例２では、計算機１００−２の構成が一部異なる。
【０１００】
図８は、実施例２の計算機１００−２の構成例を示す図である。
【０１０１】
実施例２の計算機１００−２のハードウェア構成は実施例１と同一である。また、実施例２の分類部１１２は実施例１と同一である。
【０１０２】
実施例２では個数推定部１１３の構成が異なる。具体的には、個数推定部１１３は、スコア値分割部８００及び確率値算出部８０１を含む。
【０１０３】
スコア値分割部８００は、スコア値テーブル５２０に基づいて、各カテゴリについて、評価データ５００がターゲットカテゴリに属する度合いを示すスコア値及び評価データ５００がターゲットカテゴリに属しない度合いを示すスコア値を算出する。
【０１０４】
確率値算出部８０１は、各カテゴリに対して、独立に、スコア値分割部８００が算出したスコア値に基づいて、カテゴリに属する評価データ５００の数の確率質量を算出する。
【０１０５】
図９は、実施例２のスコア値分割部８００が実行する処理の一例を説明するフローチャートである。図１０は、実施例２のスコア値分割部８００が実行する処理におけるデータの入出力を説明する図である。
【０１０６】
スコア値分割部８００は、スコア値テーブル５２０を受け付ける（ステップＳ３０１）。
【０１０７】
次に、スコア値分割部８００は、カテゴリのループ処理を開始する（ステップＳ３０２）。具体的には、スコア値分割部８００は、複数のカテゴリの中から一つのターゲットカテゴリを選択する。このとき、スコア値分割部８００は、空の一対多スコア値テーブル１０００を生成する。
【０１０８】
次に、スコア値分割部１１００は、評価データ５００のループ処理を開始する（ステップＳ３０３）。具体的には、スコア値分割部１１００は、複数の評価データ５００の中から一つのターゲット評価データ５００を選択する。
【０１０９】
次に、スコア値分割部８００は、スコア値テーブル５２０のターゲット評価データ５００に対応する行を参照し、ターゲットカテゴリ以外のカテゴリのスコア値の合計値を算出する（ステップＳ３０４）。
【０１１０】
例えば、ターゲットカテゴリが「１」である場合、カテゴリ「２」からカテゴリ「６」までのスコア値の合計値が算出される。以下の説明では、ステップＳ３０４において算出された値をｑｉ＝（ｑｉ，１，ｑｉ，１，．．．）とする。
【０１１１】
スコア値分割部８００は、一対多スコア値テーブル１０００に、ターゲット評価データの識別情報、ターゲットカテゴリのスコア値、及びターゲットカテゴリ以外のカテゴリのスコア値の合計値の組から構成されるデータを追加する（ステップＳ３０５）。
【０１１２】
スコア値分割部８００は、全ての評価データ５００について処理が完了したか否かを判定する（ステップＳ３０６）。
【０１１３】
全ての評価データ５００について処理が完了していないと判定された場合、スコア値分割部８００は、ステップＳ３０３に戻り、同様の処理を実行する。
【０１１４】
全ての評価データ５００について処理が完了したと判定された場合、スコア値分割部８００は、全てのカテゴリについて処理が完了したか否かを判定する（ステップＳ３０７）。
【０１１５】
全てのカテゴリについて処理が完了していないと判定された場合、スコア値分割部８００は、ステップＳ３０２に戻り、同様の処理を実行する。
【０１１６】
全てのカテゴリについて処理が完了したと判定された場合、スコア値分割部８００は処理を終了する。以上の処理によって、カテゴリの数と同数の一対多スコア値テーブル１０００が生成される。
【０１１７】
実施例１で示した式（６）では、Ｃ個のカテゴリに属するデータの数の組合せを全て考慮した演算となるため、計算量が大きくなる。そこで、実施例２では、各カテゴリに属する評価データ５００の数が互いに独立であるものとみなして、スコア値テーブル５２０を複数の一対多スコア値テーブル１０００に分割する。
【０１１８】
確率値算出部８０１は、一対多スコア値テーブル１０００及び式（９）に基づいて、各カテゴリに属する評価データ５００の数の確率質量を算出する。ここで、式（９）のδは式（１０）で与えられる。
【０１１９】
以下の説明では、式（９）の演算を実行することによって得られるカテゴリに属する評価データ５００の数の確率質量を「分割近似解」と記載する。
【０１２０】
【数９】
2020057264.tif 000011
【０１２１】
【数１０】
2020057264.tif 000012
【０１２２】
式（９）はポアソン二項分布として知られており、例えば、非特許文献３に効率的な演算方法が記載されている。
【０１２３】
実施例２の個数推定部１１３は、実施例１で説明したように、個数の分布のヒストグラム６１５を表示し、最尤推定量６２０を算出することができる。
【０１２４】
各カテゴリに属する評価データ５００の数の最尤な組合せを算出する場合、個数推定部１１３は、各カテゴリについて、カテゴリに属する評価データ５００の数の確率質量から数の最頻値を算出し、各カテゴリの最頻値を組合せとして算出する。
【０１２５】
ポアソン二項分布から、各カテゴリに属する評価データ５００の数の期待値を式（１１）により算出することもできる。
【０１２６】
【数１１】
2020057264.tif 000013
【０１２７】
図１１は、実施例２の個数推定部１１３が算出する、各カテゴリに属する評価データ５００の数の確率質量及び期待値の一例を示す図である。
【０１２８】
図７に示すグラフの縦軸は式（９）の値に対応し、横軸は評価データ５００の数に対応する。一点鎖線は期待値を表す。
【０１２９】
カテゴリ１の確率質量の最頻値は１５７である。一方、式（１１）を用いて算出されたカテゴリ１に属する評価データ５００の数の期待値は１５７．１８である。最頻値及び期待値の誤差は高々丸め誤差であるため、カテゴリに属する評価データ５００の数の最頻値を求める場合には、期待値を求めればよい。確率質量を算出するための処理が必要ないため高速に求めることができる。
【０１３０】
図１２は、実施例２のカテゴリに属する評価データ５００の数の推定精度を示す図である。
【０１３１】
図１２は、実施例２の計算機システムを用いて算出された各カテゴリに属する評価データ５００の数の推定値と、真値との間の誤差を示す。また、従来技術と本発明との比較として、特許文献３に開示の手法を用いて算出される推定値と真値との間の誤差を示す。
【０１３２】
図１２では、５００件の文書からＮ’個の文書をブートストラップサンプリング手法によりサンプリングし、サンプルデータを分類部１１２に入力した場合に得られた結果を示す。
【０１３３】
図１２の縦軸は個数の誤差の平均値（％）を表し、横軸はサンプルデータの数を表す。また、実線が実施例２の計算機システムを用いて算出された推定値及び真値の間の誤差を示すグラフであり、点線が従来技術を用いて算出された推定値及び真値の間の誤差を示すグラフである。
【０１３４】
推定値及び真値の間の誤差は式（１２）を用いて算出する。なお、チルダ記号が付されたｎｋは推定値を表し、ハット記号が付されたｎｋは真値を表す。
【０１３５】
【数１２】
2020057264.tif 000014
【０１３６】
図１２に示すように、実施例２の計算機システムは、従来技術より高い精度でカテゴリに属する評価データ５００の数を推定することができることが分かる。なお、この結果は、厳密解及び以下で説明する実施例３、４で説明する手法においても同様の結果が得られた。
【０１３７】
図１３は、実施例１及び実施例２の演算方法による計算量の違いを示すグラフである。
【０１３８】
図１３の縦軸は計算時間を表し、横軸はデータ数を表す。図１３では、カテゴリの数を固定し、評価データ５００の数Ｎを変更した場合の計算時間を示す。
【０１３９】
図１３に示すように、実施例１の手法の計算量は、指数的に大きくなる。一方、実施例２の手法の計算量は、Ｎの増加に対して総じて数ミリ秒から数十ミリ秒で推移している。したがって、実施例２の手法は、実用的な計算量であることが分かる。
【０１４０】
図１４は、厳密解及び分割近似解を用いたカテゴリに属する評価データ５００の分布を示すグラフである。図１５は、厳密解及び分割近似解の誤差を示す図である。
【０１４１】
ここでは、六つのカテゴリに分類する分類部１１２に１２個の評価データ５００を入力した場合を一例として説明する。
【０１４２】
図１４は、実施例２の手法を用いて算出された確率質量テーブル６１０を用いて各カテゴリの周辺化の結果を示すグラフである。図１４の縦軸は確率値を表し、横軸はカテゴリの属する評価データ５００の数を表す。また、パターンのグラフは厳密解を表し、また、点線のグラフは分割近似解を表す。
【０１４３】
図１５に示す厳密解及び分割近似解の誤差は式（１３）を用いて算出する。なお、ハット記号が付されたＦは厳密解における確率質量を表し、ハット記号が付されていないＦは分割近似解によって算出される確率質量を表す。
【０１４４】
【数１３】
2020057264.tif 000015
【０１４５】
図１４及び図１５に示すように分割近似解は厳密解と高い精度で一致している。したがって、式（６）の演算を正確に再現できていることが分かる。また、実施例２の手法による誤差は、実施例３又は実施例４の手法による誤差より１０−１３倍以下となった。
【０１４６】
実施例２によれば、実施例１より少ない計算量かつ高い精度で、各カテゴリに属する評価データ５００の数の確率質量を算出できる。
【実施例３】
【０１４７】
図１６から図１９を用いて実施例３を説明する。
【０１４８】
実施例３の計算機システムの構成は実施例１と同一である。実施例３の計算機１００のハードウェア構成及びソフトウェア構成は実施例１と同一である。実施例３の分類モデル学習部１１０及び分類部１１２が実行する処理は、実施例１で説明した処理と同一である。
【０１４９】
実施例３の個数推定部１１３が実行する処理は、実施例１とほぼ同一であるが、式（６）を簡略化した数式を用いる点が異なる。ここで、式（６）を簡略化した数式について説明する。
【０１５０】
図１６は、実施例３の個数推定部１１３が実行する処理におけるデータの入出力を説明する図である。
【０１５１】
実施例３では、式（６）を、式（１４）に示すような多項分布で近似する。ここで、チルダ記号付きのｐは式（１５）で定義される。
【０１５２】
【数１４】
2020057264.tif 000016
【０１５３】
【数１５】
2020057264.tif 000017
【０１５４】
実施例３では、個数推定部１１３は、スコア値テーブル５２０からスコア値の平均値データ１６００を算出し、スコア値の平均値データ１６００に基づいて確率質量テーブル６００を生成する。
【０１５５】
以下の説明では、式（１４）の演算を実行することによって得られるカテゴリに属する評価データ５００の数の確率質量を「多項分布近似解」と記載する。なお、近似に使用する分布は、カテゴリに属する評価データ５００の数の確率質量を算出できる分布であればよい。例えば、多変量正規分布を用いてもよい。
【０１５６】
実施例３の個数推定部１１３は、実施例１で説明したように、個数の分布のヒストグラム６１５を表示し、最尤推定量６２０を算出することができる。
【０１５７】
図１７は、実施例１及び実施例３の演算方法による計算量の違いを示すグラフである。
【０１５８】
図１７に示すように、実施例２における計算量のオーダは式（１６）のように与えられる。Ｎ＞＞Ｃの場合、Ｏ（ＮＣ）とＮに対して多項式時間となり、Ｎの増加に伴う計算時間の増加が実施例１より鈍化していることが分かる。
【０１５９】
【数１６】
2020057264.tif 000018
【０１６０】
実施例３の演算方法の計算量は、厳密解の演算方法より計算量が少ないが、依然として多い。Ｎが大きい場合、多項分布は多変量正規分布でよく近似できることが知られているため、多変量正規分布を用いることによって実用的な計算量に抑えることができる。
【０１６１】
図１８は、厳密解及び多項分布近似解を用いたカテゴリに属する評価データ５００の分布を示すグラフである。図１９は、厳密解及び多項分布近似解の誤差を示す図である。
【０１６２】
ここでは、六つのカテゴリに分類する分類部１１２に１２個の評価データ５００を入力した場合を一例として説明する。
【０１６３】
図１８は、実施例３の手法を用いて算出された確率質量テーブル６１０を用いて各カテゴリの周辺化の結果を示すグラフである。パターンのグラフは厳密解を表し、また、実線のグラフは多項分布近似解を表す。また、図１９に示す厳密解及び多項分布近似解の誤差は式（１３）を用いて算出する。
【０１６４】
図１８及び図１９に示すように多項分布近似解は、分散を大き目に見積もってしまっているが、最頻値等は厳密解と概ね一致する。
【０１６５】
実施例３によれば、実施例１より少ない計算量で、各カテゴリに属する評価データ５００の数の確率質量を算出できる。
【実施例４】
【０１６６】
図２０から図２３を用いて実施例４について説明する。
【０１６７】
実施例４の計算機システムの構成は実施例１と同一である。実施例４の計算機１００のハードウェア構成及びソフトウェア構成は実施例１と同一である。実施例４の分類モデル学習部１１０及び分類部１１２が実行する処理は、実施例１で説明した処理と同一である。
【０１６８】
実施例４の個数推定部１１３は、各カテゴリに属する評価データ５００の数の確率質量を算出する方法が異なる。
【０１６９】
図２０は、実施例４の個数推定部１１３が実行する処理を説明するフローチャートである。図２１は、実施例４の個数推定部１１３が実行する処理におけるデータの入出力を説明する図である。
【０１７０】
個数推定部１１３は、スコア値テーブル５２０を受け付ける（ステップＳ４０１）。
【０１７１】
次に、個数推定部１１３は、変数ａに初期値「１」を設定し（ステップＳ４０２）、評価データ５００のループ処理を開始する（ステップＳ４０３）。
【０１７２】
具体的には、個数推定部１１３は、複数の評価データ５００の中から一つのターゲット評価データ５００を選択する。このとき、個数推定部１１３は、空のサンプルテーブル２１００を生成する。なお、変数ａは、サンプルテーブル２１００を生成するための演算の回数を表す。変数ａはサンプルテーブル２１００の数に対応する。
【０１７３】
次に、個数推定部１１３は、スコア値テーブル５２０のターゲット評価データ５００に対応する行に基づいて、各カテゴリについて、ターゲット評価データ５００がカテゴリに属するか否かを示すバイナリ値を算出するサンプリングを実行する（ステップＳ４０４）。
【０１７４】
具体的には、個数推定部１１３は、式（１７）に基づいて、サンプリングを実行する。式（１７）のδはサンプリングによって算出されるバイナリデータであり、カテゴリの数と同数の要素を含む。ｉは評価データ５００を表す添字であり、ｋはカテゴリを表す添字である。δｉ，ｋは式（１８）を満たす。また、確率質量関数Ｃａｔは式（１９）で与えられる。
【０１７５】
【数１７】
2020057264.tif 000019
【０１７６】
【数１８】
2020057264.tif 000020
【０１７７】
【数１９】
2020057264.tif 000021
【０１７８】
次に、個数推定部１１３は、サンプルテーブル２１００にバイナリデータを追加する（ステップＳ４０５）。
【０１７９】
具体的には、個数推定部１１３は、ターゲット評価データ５００の識別情報及びバイナリデータから構成されるバイナリデータをサンプルテーブル２１００に追加する。
【０１８０】
次に、個数推定部１１３は、全ての評価データ５００に対して処理が完了したか否かを判定する（ステップＳ４０６）。
【０１８１】
全ての評価データ５００に対して処理が完了していないと判定された場合、個数推定部１１３は、ステップＳ４０３に戻り、同様の処理を実行する。
【０１８２】
全ての評価データ５００に対して処理が完了したと判定された場合、個数推定部１１３は、ステップＳ４０３からステップＳ４０６の処理によって生成されたサンプルテーブル２１００を参照し、式（２０）に基づいて算出されるｎｋを要素とするサンプルデータ２１０１を生成する（ステップＳ４０７）。
【０１８３】
【数２０】
2020057264.tif 000022
【０１８４】
次に、個数推定部１１３は、変数ａの値が閾値Ｍより大きいか否かを判定する（ステップＳ４０８）。閾値Ｍは予め設定されているものとする。ただし、任意のタイミングで変更することができる。
【０１８５】
変数ａの値が閾値Ｍ以下であると判定された場合、個数推定部１１３は、変数ａの値に１を加算した値を、変数ａに設定する（ステップＳ４０９）。その後、個数推定部１１３は、ステップＳ４０３に戻り、同様の処理を実行する。
【０１８６】
変数ａの値が閾値Ｍより大きいと判定された場合、個数推定部１１３は、Ｍ個のサンプルデータ２１０１に基づいて各カテゴリに属する評価データ５００の数の確率質量を算出することによって、確率質量テーブル６１０を生成する（ステップＳ４１０）。その後、個数推定部１１３は処理を終了する。
【０１８７】
具体的には、個数推定部１１３は、各（ｎ１，ｎ２，．．．，ｎｃ）について、（ｎ１，ｎ２，．．．，ｎｃ）なるサンプルデータ２１０１の個数を集計し、集計された数をＭで除算することによって、カテゴリに属する評価データ５００の数の確率質量を算出する。
【０１８８】
以下の説明では、図２０の処理から得られるカテゴリに属する評価データ５００の数の確率質量を「サンプリング近似解」と記載する。
【０１８９】
実施例４の個数推定部１１３は、実施例１で説明したように、個数の分布のヒストグラム６１５を表示し、最尤推定量６２０を算出することができる。
【０１９０】
図２２は、厳密解及び多項分布近似解を用いたカテゴリに属する評価データ５００の分布を示すグラフである。図２３は、厳密解及び多項分布近似解の誤差を示す図である。
【０１９１】
ここでは、六つのカテゴリに分類する分類部１１２に１２個の評価データ５００を入力した場合を一例として説明する。
【０１９２】
図２２は、１００００回のサンプリングにより算出された確率質量テーブル６１０を用いて各カテゴリの周辺化の結果を示すグラフである。パターンのグラフは厳密解を表し、また、点線のグラフは多項分布近似解を表す。また、図２３に示す厳密解及び多項分布近似解の誤差は式（１３）を用いて算出する。
【０１９３】
図２２及び図２３に示すようにサンプリング近似解は、探索範囲が全探索空間の４．６×１０−４％であるため、カテゴリ３において、本来、スコア値が低い数のスコア値が高くなっている。一方、カテゴリ１、５、６については、厳密解と概ね一致する。
【０１９４】
実施例４によれば、実施例１より少ない計算量で、各カテゴリに属する評価データ５００の数の確率質量を算出できる。
【実施例５】
【０１９５】
図２４から図２９を用いて実施例５を説明する。
【０１９６】
実施例５の計算機システムの構成は実施例１と同一である。実施例５の計算機１００−１のハードウェア構成及びソフトウェア構成は実施例１と同一である。実施例５では、計算機１００−２の構成が一部異なる。
【０１９７】
図２４は、実施例５の計算機１００−２の構成例を示す図である。
【０１９８】
実施例５の計算機１００−２のハードウェア構成は実施例１と同一である。実施例５では、計算機１００−２のメモリ１０２にスコア値補正部２４００を実現するプログラムを格納する点が異なる。
【０１９９】
スコア値補正部２４００は、分類部１１２によって算出されたスコア値を補正する。補正モデル学習部２４０１及びスコア値補正処理部２４０２を含み、また、補正モデル情報２４０３を保持する。
【０２００】
補正モデル学習部２４０１は、スコア値を補正するための補正モデルの各種パラメータを算出するための学習処理を実行する。
【０２０１】
補正モデル情報２４０３は、補正モデル学習部２４０１によって学習されたパラメータを格納する。
【０２０２】
スコア値補正処理部２４０２は、補正モデル情報２４０３を取得し、補正モデル情報２４０３に対応する補正モデルにしたがって、スコア値を補正する。スコア値補正処理部２４０２は、一般的な確率値と同等の扱いができようにスコア値を補正する。
【０２０３】
図２５は、実施例５の計算機１００−２が実行する補正モデル生成処理の一例を説明するフローチャートである。図２６は、実施例５の計算機１００−２が実行する補正モデル生成処理におけるデータの入出力を説明する図である。
【０２０４】
計算機１００−２は、ＩＤ２６０１、正解カテゴリ２６０２、及び文書データ２６０３から構成される補正用学習データ２６００を受け付ける（ステップＳ５０１）。ＩＤ２６０１、正解カテゴリ２６０２、及び文書データ２６０３は、ＩＤ３０１、正解カテゴリ３６０２、及び文書データ３０３と同一のものである。
【０２０５】
次に、計算機１００−２の分類部１１２は、補正用学習データ２６００を用いてスコア値テーブル５２０を生成する（ステップＳ５０２）。スコア値テーブル５２０の生成方法は実施例１と同一である。
【０２０６】
次に、計算機１００−２の補正モデル学習部２４０１は、補正用学習データ２６００に含まれる正解カテゴリ２６０２からｏｎｅ−ｈｏｔ表現テーブル３３０を生成する（ステップＳ５０３）。ｏｎｅ−ｈｏｔ表現テーブル３３０の生成方法は実施例１と同一である。
【０２０７】
次に、計算機１００−２の補正モデル学習部２４０１は、ｏｎｅ−ｈｏｔ表現テーブル３３０及びスコア値テーブル５２０を用いた補正モデル学習処理を実行する（ステップＳ５０３）。その後、計算機１００−２は、補正モデル生成処理を終了する。ステップＳ５０３では、以下のような処理が実行される。
【０２０８】
（処理Ｃ１）補正モデル学習部２４０１は、ターゲットカテゴリを選択し、式（２１）を用いた回帰学習処理を実行する。ここで、ｐｉ，ｋはスコア値テーブル５２０に含まれる補正前のスコア値を表し、ｐ’ｉ，ｋは補正後のスコア値を表す。ハット記号が付されたｐｉ，ｋはｏｎｅ−ｈｏｔ表現テーブル３３０に含まれるスコア値を表す。
【０２０９】
【数２１】
2020057264.tif 000023
【０２１０】
回帰学習処理では、補正モデル学習部２４０１は、線形計画法を用いて式（２１）を最適化することによって、ｐｉ，ｋからｐ’ｉ，ｋへ変換するためのマッピングデータ２６１０を生成する。
【０２１１】
（処理Ｃ２）補正モデル学習部２４０１は、各カテゴリについて（処理Ｃ１）を実行した後、マッピングデータ２６１０を補正モデル情報２４０３に格納する。
【０２１２】
図２７は、実施例５のスコア値補正処理部２４０２が実行する処理を説明するフローチャートである。図２８は、実施例５のスコア値補正処理部２４０２実行する処理におけるデータの入出力を説明する図である。
【０２１３】
スコア値補正処理部２４０２は、分類部１１２によって生成されたスコア値テーブル５２０を受け付け（ステップＳ６０１）、カテゴリのループ処理を開始する（ステップＳ６０２）。
【０２１４】
具体的には、スコア値補正処理部２４０２は、複数のカテゴリの中から一つのターゲットカテゴリを選択する。すなわち、スコア値テーブル５２０の一つの列が選択される。
【０２１５】
次に、スコア値補正処理部２４０２は、補正モデル情報２４０３からターゲットカテゴリに対応するマッピングデータ２６１０を取得する（ステップＳ６０３）。
【０２１６】
次に、スコア値補正処理部２４０２は、マッピングデータ２６１０に基づいて、各評価データ５００のターゲットカテゴリのスコア値を補正する（ステップＳ６０４）。なお、マッピングデータ２６１０が存在しない場合、スコア値補正処理部２４０２は、スコア値に対しては線形補間を行うものとする。全てのカテゴリに対してスコア値が補正されることによって、一次補正スコア値テーブル２８００が生成される。
【０２１７】
次に、スコア値補正処理部２４０２は、全てのカテゴリについて処理が完了したか否を判定する（ステップＳ６０５）。
【０２１８】
全てのカテゴリについて処理が完了していないと判定された場合、スコア値補正処理部２４０２は、ステップＳ６０２に戻り、同様の処理を実行する。
【０２１９】
全てのカテゴリについて処理が完了したと判定された場合、スコア値補正処理部２４０２は、評価データ５００のループ処理を開始する（ステップＳ６０６）。
【０２２０】
具体的には、スコア値補正処理部２４０２は、複数の評価データ５００の中から一つのターゲット評価データ５００を選択する。すなわち、一次補正スコア値テーブル２８００の一つの行が選択される。
【０２２１】
次に、スコア値補正処理部２４０２は、ターゲット評価データ５００の各カテゴリのスコア値に対して正規化処理を実行する（ステップＳ６０６）。
【０２２２】
具体的には、スコア値補正処理部２４０２は、式（２２）に基づいて一つの評価データ５００の各カテゴリのスコア値の合計が「１」となるようにスコア値を補正する。ｐ’’ｉ，ｋは、正規化処理によって補正されたスコア値を表す。
【０２２３】
【数２２】
2020057264.tif 000024
【０２２４】
全ての評価データ５００に対してスコア値が補正されることによって、二次補正スコア値テーブル２８１０が生成される。
【０２２５】
次に、スコア値補正処理部２４０２は、全ての評価データ５００について処理が完了したか否かを判定する。
【０２２６】
全ての評価データ５００について処理が完了していないと判定された場合、スコア値補正処理部２４０２は、ステップＳ６０６に戻り、同様の処理を実行する。
【０２２７】
全ての評価データ５００について処理が完了したと判定された場合、スコア値補正処理部２４０２は、個数推定部１１３に二次補正スコア値テーブル２８１０を出力し、処理を終了する。
【０２２８】
個数推定部１１３は、二次補正スコア値テーブル２８１０を用いて確率質量テーブル６００を生成する。二次補正スコア値テーブル２８１０は、スコア値テーブル５２０と同じデータ形式であるため、個数推定部１１３が実行する処理には特に変更がない。
【０２２９】
なお、補正モデル学習処理では、式（２１）に基づく回帰を行ったが、カテゴリごとに分割せずにガウス過程回帰を行ってもよい。また、スコア値補正部２４００は、補正モデル情報２４０３を用いずに、ヒューリスティックなスコア値の補正を行ってもよい。
【０２３０】
ここで、スコア値を補正した場合における、カテゴリに属する評価データ５００の数の推定精度について説明する。図２９は、実施例５のカテゴリに属する評価データ５００の数の推定精度を示す図である。なお、図２９は、図１２と同様の条件における、各カテゴリに属する評価データ５００の数の推定値と、真値との間の誤差を示す。誤差は式（１２）を用いて算出される。
【０２３１】
図２９に示すように、スコア値を補正することによって、カテゴリに属する評価データ５００の数の推定精度がより向上することが分かる。
【０２３２】
実施例５によれば、スコア値を補正することによって、カテゴリに属する評価データ５００の数の推定精度を向上させることができる。また、サポートベクターマシン等、出力が確率の性質を満たさない分類結果を出力する分類部１１２に対して、実施例１から実施例４に示す発明を適用することができる。
【実施例６】
【０２３３】
実施例６は、監視カメラが取得した画像に含まれる車両の種別（カテゴリ）を分類する分類部１１２を含む計算機システムについて説明する。当該計算機システムは、例えば、交通量の監視に使用される。車両の種別は、「バス」、「バイク」、「普通車」の三つであるものとする。
【０２３４】
本実施例は、すでに車両の位置が特定され、クロッピングされた状態について説明する。ただし、車両の位置の特定及びクロッピング等の前処理が実行する構成を含んでもよい。
【０２３５】
実施例６の計算機システムの構成は実施例１と同一である。計算機１００のハードウェア構成及びソフトウェア構成は実施例１と同一である。
【０２３６】
実施例６の分類モデル学習部１１０が実行する処理は実施例１と同一であるが、処理内容が一部異なる。図３０は、実施例６の分類モデル学習部１１０が実行する処理におけるデータの入出力を説明する図である。
【０２３７】
ステップＳ１０１において、分類モデル学習部１１０は、ＩＤ３００１、正解カテゴリ３００２、及び画像データ３００３から構成される学習データ３０００の入力を受け付ける。ＩＤ３００１及び正解カテゴリ３００２は、ＩＤ３０１及び正解カテゴリ３０２と同一のものである。画像データ３００３は画像に対応するデータである。
【０２３８】
ステップＳ１０２において、分類モデル学習部１１０は、学習データ３００のループ処理を開始する。
【０２３９】
ステップＳ１０３において、分類モデル学習部１１０は、ターゲット学習データ３００の特徴量を算出する。実施例６では特徴量の算出方法が異なる。
【０２４０】
（処理Ｄ１）分類モデル学習部１１０は、画像データ３００３のサイズにリサイズし、画像データ３００４を生成する。例えば、画像データ３００３のサイズが横６４０ピクセル、縦４００ピクセルである場合、分類モデル学習部１１０は、横３２ピクセル、縦３２ピクセルのサイズにリサイズする。
【０２４１】
（処理Ｄ２）分類モデル学習部１１０は、リサイズされた画像データ３００４の各ピクセルのＲＧＢ値を特徴量として算出する。分類モデル学習部１１０は、一つの画像データ３００４に対して、ピクセルの位置及びＲＧＢ値から構成される特徴量テーブル３０１０を一つ生成する。以上がステップＳ１０３の処理の説明である。
【０２４２】
ステップＳ１０５では、分類モデル学習部１１０は、分類モデルの学習処理を実行する。実施例６では学習方法が異なる。
【０２４３】
（処理Ｅ１）分類モデル学習部１１０は、一つの学習データ３０００の特徴量である一つの特徴量テーブル３０１０に、複数の畳み込み層及びプーリング層から構成される畳み込みニューラルネットワークを適用することによって所定の長さのベクトルｈｉを算出する。
【０２４４】
畳み込み層では、式（２３）の演算が実行される。なお、Ｗ’は式（２４）で定義される。ここで、ｘｉは（高さ、幅、チャネル数）の大きさの入力行列を表し、Ｗはウィンドウサイズを表し、Ｑは出力チャネル数を表す。また、ｒｅｌｕは行列の各成分に対するせいか線形関数を表し、ｗｊ，ｋは（出力チャネル数、入力チャネル数）の大きさの行列を表し、ｂ’は出力チャネル数の長さのベクトルを表す。ｗｊ，ｋ及びｂ’は学習対象のパラメータを表す。
【０２４５】
【数２３】
2020057264.tif 000025
【０２４６】
【数２４】
2020057264.tif 000026
【０２４７】
プーリング層では、式（２５）の演算が実行される。
【０２４８】
【数２５】
2020057264.tif 000027
【０２４９】
ウィンドウサイズが３、出力チャネル数が６４の畳み込み層を２回、ウィンドウサイズが２のプーリング層、ウィンドウサイズが３、出力チャンネル数が１２８の畳み込み層を２回、ウィンドウサイズが２のプーリング層、ウィンドウサイズが３、出力チャンネル数が２５６の畳み込み層を３回、ウィンドウサイズが２のプーリング層、ウィンドウサイズが３、出力チャンネル数が５１２の畳み込み層を３回、ウィンドウズが２のプーリング層、ウィンドウサイズが３、出力チャンネル数が５１２の畳み込み層を３回、ウィンドウズが２のプーリング層を順番に適用した場合、長さ５１２のベクトルｈｉが算出される。
【０２５０】
（処理Ｅ２）分類モデル学習部１１０は、各カテゴリについてスコア値を算出し、各カテゴリのスコア値を成分とするスコア値表現を生成する。図３０のスコア値テーブル３０２０の一つの行が一つの学習データ３００のスコア値表現に対応する。
【０２５１】
具体的には、分類モデル学習部１１０は、式（２６）で定義されたｚｉ，ｋを用いて、式（２７）の演算を実行することによって、カテゴリｋのスコア値ｐｉ，ｋを算出する。ｚｉはカテゴリの数と同数の成分を有するベクトルである。Ｗ及びｂは学習対象のパラメータを表す。
【０２５２】
【数２６】
2020057264.tif 000028
【０２５３】
【数２７】
2020057264.tif 000029
【０２５４】
（処理Ｅ３）分類モデル学習部１１０は、正解カテゴリ３００２を各カテゴリのスコア値を成分とする正解カテゴリ３００２のｏｎｅ−ｈｏｔ表現に変換する。図３０のｏｎｅ−ｈｏｔ表現テーブル３０３０の一つの行が一つの学習データ３００の正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現に対応する。
【０２５５】
分類モデル学習部１１０は、全ての学習データ３００に対して（処理Ｅ１）から（処理Ｅ３）までの処理を実行する。これによって、スコア値テーブル３０２０及びｏｎｅ−ｈｏｔ表現テーブル３０３０が得られる。
【０２５６】
（処理Ｅ４）分類モデル学習部１１０は、ＩＤが一致するスコア値表現が正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現を比較し、各行のスコア値表現が正解カテゴリ３０２のｏｎｅ−ｈｏｔ表現に一致又は類似するように、学習対象のパラメータを推定する。
【０２５７】
具体的には、分類モデル学習部１１０は、式（２８）で定義する交差エントロピーＬを算出し、最急降下法を用いて交差エントロピーｌが最小となるようにパラメータｗｊ，ｋ、ｂ’、Ｗ、ｂを算出する。なお、ハット記号が付されたｐｉ＝（ｐｉ，1, ｐｉ，2,…）は正解カテゴリ３００２のｏｎｅ−ｈｏｔ表現を表し、ハット記号が付されていないｐｉ，ｋはスコア値表現を表す。
【０２５８】
【数２８】
2020057264.tif 000030
【０２５９】
（処理Ｅ５）分類モデル学習部１１０は、推定されたパラメータを分類モデル情報１１１に格納する。
【０２６０】
本実施例では、畳み込みニューラルネットワークを用いていたがこれに限定されない。スコア値が確率の性質を満たす場合、多層ニューラルネットワーク、ロジスティック回帰、及びガウス過程分類等を用いてもよい。
【０２６１】
また、本実施例では、最急降下法を用いてパラメータを推定していたがこれに限定されない。パラメータの推定方法は、準ニュートン方法、進化的計算、及びマルコフ連鎖モンテカルロ法等を用いてもよい。以上が実施例６のステップＳ１０５の処理の説明である。
【０２６２】
実施例６の分類部１１２が実行する処理は実施例１と同一であるが、処理内容が一部異なる。図３１は、実施例６の計算機１００−２が実行する処理におけるデータの入出力を説明する図である。
【０２６３】
ステップＳ２０１において、分類部１１２は、Ｎ個の評価データ３１００を受け付ける。評価データ３１００は、ＩＤ３１０１及び画像データ３１０２を含む。ＩＤ３１０１は評価データ３１００を一意に識別するための識別情報である。画像データ３１０２は、画像に対応するデータである。
【０２６４】
ステップＳ２０３では、分類部１１２は、ターゲット評価データ３１００の特徴量を算出する。
【０２６５】
具体的には、分類部１１２が、画像データ３１０２をリサイズし、画像データ３１０３を生成する。分類部１１２は、画像データ３１０３を用いて（処理Ｄ１）及び（処理Ｄ２）を実行することによって特徴量を算出する。これによって、図３１の一つの特徴量テーブル３１１０が生成される。
【０２６６】
ステップＳ２０４では、分類部１１２は、式（２３）から式（２７）の数式を用いて、各カテゴリのスコア値を算出し、スコア値表現を生成する。
【０２６７】
ステップＳ２０５において、全ての評価データ３１００について処理が完了したと判定された場合、分類部１１２は、Ｎ行Ｃ列のスコア値テーブル５２０を出力する。
【０２６８】
図３２は、実施例６の個数推定部１１３が算出する、各カテゴリに属する評価データ３１００の数の確率質量及び期待値の一例を示す図である。ここでは、実施例２の算出方法による結果を示す。
【０２６９】
図３２に示すグラフの縦軸は式（９）の値に対応し、横軸は評価データ３１００の数に対応する。一点鎖線は期待値を表す。
【０２７０】
実施例６によれば、本発明は様々なデータ形式に適用させることができる。
【０２７１】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
【０２７２】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【０２７３】
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
【０２７４】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【０２７５】
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【符号の説明】
【０２７６】
１００  計算機
１０１  プロセッサ
１０２  メモリ
１０３  ネットワークインタフェース
１１０  分類モデル学習部
１１１  分類モデル情報
１１２  分類部
１１３  個数推定部
１２０  ネットワーク
１１００  スコア値分割部
２４００  スコア値補正部
２４０１  補正モデル学習部
２４０２  スコア値補正処理部
２４０３  補正モデル情報
【図１】
2020057264.tif 000031
【図２】
2020057264.tif 000032
【図３】
2020057264.tif 000033
【図４】
2020057264.tif 000034
【図５】
2020057264.tif 000035
【図６】
2020057264.tif 000036
【図７】
2020057264.tif 000037
【図８】
2020057264.tif 000038
【図９】
2020057264.tif 000039
【図１０】
2020057264.tif 000040
【図１１】
2020057264.tif 000041
【図１２】
2020057264.tif 000042
【図１３】
2020057264.tif 000043
【図１４】
2020057264.tif 000044
【図１５】
2020057264.tif 000045
【図１６】
2020057264.tif 000046
【図１７】
2020057264.tif 000047
【図１８】
2020057264.tif 000048
【図１９】
2020057264.tif 000049
【図２０】
2020057264.tif 000050
【図２１】
2020057264.tif 000051
【図２２】
2020057264.tif 000052
【図２３】
2020057264.tif 000053
【図２４】
2020057264.tif 000054
【図２５】
2020057264.tif 000055
【図２６】
2020057264.tif 000056
【図２７】
2020057264.tif 000057
【図２８】
2020057264.tif 000058
【図２９】
2020057264.tif 000059
【図３０】
2020057264.tif 000060
【図３１】
2020057264.tif 000061
【図３２】
2020057264.tif 000062