(57)【要約】      （修正有）【課題】訓練データとは統計的特性が異なる対象データに対する予測性能を改善するために更新しなければならない人工ニューラルネットワークの一部のノードを識別する。【解決手段】機械学習方法は、対象データの入力を受ける段階Ｓ１１０、コンボリューショナルニューラルネットワークに対する対象データの統計的特性とコンボリューショナルニューラルネットワークに対するあらかじめ使用された訓練データの統計的特性との差に基づいて、漸進的学習開始の可否を判断する段階Ｓ１２０、漸進的学習を開始すると判断した場合、コンボリューショナルニューラルネットワークに含まれたそれぞれのコンボリューションレイヤーで相互間の類似度が高いカーネルの集合を決定する段階Ｓ１３０、相互間の類似度が高いカーネルの集合に含まれたカーネルが適用されるノード間の加重値を更新する段階Ｓ１５０を含む。【選択図】図１０
2019032808.tif 000002
【特許請求の範囲】
【請求項１】
コンボリューショナルニューラルネットワークに対する機械学習方法において、
対象データの入力を受ける段階；
前記コンボリューショナルニューラルネットワークに対する前記対象データの統計的特性と前記コンボリューショナルニューラルネットワークに対するあらかじめ使用された訓練データの統計的特性との差に基づいて、漸進的学習開始の可否を判断する段階；
前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれのコンボリューションレイヤーで相互間の類似度が高いカーネルの集合を決定する段階；
前記相互間の類似度が高いカーネルの集合に含まれたカーネルが適用されるノード間の加重値を更新する段階；を含む、機械学習方法。
【請求項２】
前記漸進的学習開始の可否を判断する段階は、
前記対象データに対する前記コンボリューショナルニューラルネットワークの出力値のうち最大値をあらかじめ選定した基準値と比較し、前記コンボリューショナルニューラルネットワークの出力値のうち最大値が前記基準値よりも小さい場合、前記漸進的学習を開始すると判断する、請求項１に記載の機械学習方法。
【請求項３】
前記対象データが、複数個のデータからなるデータパッチである場合、
前記データパッチに含まれたデータのうち、前記コンボリューショナルニューラルネットワークの出力値のうち最大値があらかじめ選定した基準値よりも小さい条件を満足するデータの個数が基準個数以上の場合、前記漸進的学習を開始すると判断する、請求項２に記載の機械学習方法。
【請求項４】
前記相互間の類似度が高いカーネルの集合を決定する段階は、
カーネル間の距離または類似度を測定することによって、前記相互間の類似度が高いカーネルペアを少なくとも一つ以上決定する、請求項１に記載の機械学習方法。
【請求項５】
前記相互間の類似度が高いカーネルの集合を決定する段階は、
カーネル間の差の絶対値、ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルペアを少なくとも一つ以上決定する、請求項４に記載の機械学習方法。
【請求項６】
前記相互間の類似度が高いカーネルの集合を決定する段階は、同じノードのコンボリューション演算に利用されるカーネルからカーネル連結行列（Ｃｏｎｃａｔｅｎａｔｅｄ  ｋｅｒｎｅｌ  ｍａｔｒｉｘ）を構成し、
前記カーネル連結行列間の距離または類似度を測定することによって、前記相互間の類似度が高いカーネル連結行列ペアを少なくとも一つ以上決定する、請求項１に記載の機械学習方法。
【請求項７】
前記相互間の類似度が高いカーネルの集合を決定する段階は、前記カーネル連結行列間の差の絶対値、前記カーネル連結行列間の二乗差、ｐ−標準差（ｐ−ｎｏｒｍ）、プロベニウス−標準差（Ｆｒｏｂｅｎｉｕｓ−ｎｏｒｍ）、コーダル距離（Ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルの集合を決定する、請求項６に記載の機械学習方法。
【請求項８】
前記相互間の類似度が高いカーネルの集合に含まれたカーネルのそれぞれをランダム行列を利用して、更新する段階；をさらに含む、請求項１に記載の機械学習方法。
【請求項９】
前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれの完全連結レイヤー（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）で相互間の類似度が高いウェイトベクトル（Ｗｅｉｇｈｔ  ｖｅｃｔｏｒ）の集合を決定する段階；および
前記相互間の類似度が高いウェイトベクトルの集合に含まれたウェイトベクトルが適用されるノード間の加重値を更新する段階；をさらに含む、請求項１に記載の機械学習方法。
【請求項１０】
前記相互間の類似度が高いウェイトベクトルの集合を決定する段階は、
ウェイトベクトル間の距離または類似度を測定することによって、前記相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定する、請求項９に記載の機械学習方法。
【請求項１１】
前記相互間の類似度が高いウェイトベクトルの集合を決定する段階は、
ウェイトベクトル間の差の絶対値、二乗差、ｐ−標準差（ｐ−ｎｏｒｍ）、ユークリッド標準差（Ｅｕｃｌｉｄｅａｎ−ｎｏｒｍ）、コサイン距離（ｃｏｓｉｎｅ  ｄｉｓｔａｎｃｅ）、マハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ  ｄｉｓｔａｎｃｅ）、コーダル距離（Ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、およびカイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定する、請求項１０に記載の機械学習方法。
【請求項１２】
前記相互間の類似度が高いウェイトベクトルの集合に含まれたウェイトベクトルのそれぞれを、ランダムベクトルを利用して更新する段階；をさらに含む、請求項９に記載の機械学習方法。
【請求項１３】
前記ノード間の加重値を更新する段階は、
指導学習方式および非指導学習方式のうち少なくとも一つを利用して前記ノード間の加重値を更新する、請求項１に記載の機械学習方法。
【請求項１４】
前記非指導学習方式によって前記ノード間の加重値を更新する場合、
前記コンボリューショナルニューラルネットワークの出力を、前記コンボリューショナルニューラルネットワークに対称的な構造を有する対称ニューラルネットワークに入力させ、
前記対称ニューラルネットワークの出力と前記コンボリューショナルニューラルネットワークに対する入力との間の差に基づいて、前記ノード間の加重値を更新する、請求項１３に記載の機械学習方法。
【請求項１５】
前記対称ニューラルネットワークは、前記コンボリューショナルニューラルネットワークの全体連結レイヤーに対応する逆方向の全体連結レイヤー（ｂａｃｋｗａｒｄ  ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）と、前記コンボリューショナルニューラルネットワークのコンボリューションレイヤーおよびプーリングレイヤーに対応するデコンボリューションレイヤーおよびアンプーリングレイヤーを含む、請求項１４に記載の機械学習方法。
【請求項１６】
コンボリューショナルニューラルネットワークを学習させるための機械学習装置において、
プロセッサ（ｐｒｏｃｅｓｓｏｒ）；および
前記プロセッサを介して実行される少なくとも一つの命令が保存されたメモリ（ｍｅｍｏｒｙ）を含み、
前記少なくとも一つの命令は、
対象データの入力を受けて；前記コンボリューショナルニューラルネットワークに対する前記対象データの統計的特性と前記コンボリューショナルニューラルネットワークに対するあらかじめ使用された訓練データの統計的特性との差に基づいて、漸進的学習開始の可否を判断し；前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれのコンボリューションレイヤーで相互間の類似度が高いカーネルの集合を決定し；前記相互間の類似度が高いカーネルの集合に含まれたカーネルが適用されるノード間の加重値を更新するように遂行される、機械学習装置。
【請求項１７】
前記少なくとも一つの命令は、
カーネル間の差の絶対値、ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルペアを少なくとも一つ以上決定するように遂行される、請求項１６に記載の機械学習装置。
【請求項１８】
前記少なくとも一つの命令は、
同じノードのコンボリューション演算に利用されるカーネルからカーネル連結行列（Ｃｏｎｃａｔｅｎａｔｅｄ  ｋｅｒｎｅｌ  ｍａｔｒｉｘ）を構成し、
前記カーネル連結行列間の差の絶対値、二乗差、ｐ−標準差（ｐ−ｎｏｒｍ）、プロベニウス−標準差（Ｆｒｏｂｅｎｉｕｓ−ｎｏｒｍ）、コーダル距離（Ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルの集合を決定するように遂行される、請求項１６に記載の機械学習装置。
【請求項１９】
前記少なくとも一つの命令は、
前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれの完全連結レイヤー（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）で相互間の類似度が高いウェイトベクトル（Ｗｅｉｇｈｔ  ｖｅｃｔｏｒ）の集合を決定し、前記相互間の類似度が高いウェイトベクトルの集合に含まれたウェイトベクトルが適用されるノード間の加重値を更新するように遂行される、請求項１６に記載の機械学習装置。
【請求項２０】
前記少なくとも一つの命令は、
ウェイトベクトル間の差の絶対値に基づいて、前記相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定するように遂行される、請求項１６に記載の機械学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は機械学習方法および装置に関するもので、さらに詳細には、コンボリューショナルニューラルネットワークを改善するための機械学習方法および装置に関するものである。
【背景技術】
【０００２】
マシンラーニング（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ；機械学習）とは、人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）の一種であって、データを基盤としてコンピュータが自ら学習した内容に基づいて回帰、分類、群集化などの予測作業を行うことをいう。
【０００３】
ディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）は、人の考え方をコンピュータに教える機械学習の一分野であり、多様な非線形変換技法の組み合わせを通じて高い水準の抽象化（ａｂｓｔｒａｃｔｉｏｎｓ、多量のデータや複雑な資料の中から核心的な内容または機能を要約する作業）を試みる機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）アルゴリズムの集合と定義することができる。
【０００４】
ディープラーニング構造は、人工ニューラルネットワーク（ＡＮＮ、ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ）に基づいて設計された概念である。人工ニューラルネットワークは、仮想のニューロンを数学的にモデリングした後にシミュレーションして、人間の脳のような学習能力を持たせようとするアルゴリズムであって、主にパターン認識に多く用いられる。ディープラーニングで利用する人工ニューラルネットワークモデルは、線形フィッテイング（ｌｉｎｅａｒ  ｆｉｔｔｉｎｇ）と非線形変換（ｎｏｎｌｉｎｅａｒ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ  ｏｒ  ａｃｔｉｖａｔｉｏｎ）を繰り返して積み上げた構造を有する。ディープラーニングで用いるニューラルネットワークモデルは、ディープニューラルネットワーク（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＤＮＮ）、コンボリューショナルニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）、リカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＲＮＮ）、制限ボルツマンマシン（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ、ＲＢＭ）、ディープ信頼ニューラルネットワーク（Ｄｅｅｐ  Ｂｅｌｉｅｆ  Ｎｅｔｗｏｒｋ、ＤＢＮ）、ディープＱ−ネットワーク（Ｄｅｅｐ  Ｑ−Ｎｅｔｗｏｒｋｓ）等が挙げられる。
【０００５】
ディープラーニングの訓練過程においては、学習データをもって人工ニューラルネットワークモデルのパラメーターを最適化させることができる。ところが、学習データの量を無限に増やすことはできない。したがって、訓練に利用した学習データと統計的特性が異なるデータに対する予測作業を行う場合、人工ニューラルネットワークの性能が制限され得る。
【０００６】
前述した問題点を解決するために、学習データと統計的特性が異なるデータがある場合、これに対する予測性能が改善できる人工ニューラルネットワークの漸進的学習方法が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記のような問題点を解決するための本発明の目的は、訓練データとは統計的特性が異なる対象データに対する予測性能を改善するために更新しなければならない人工ニューラルネットワークの一部のノードを識別する方法および装置を提供することである。
【課題を解決するための手段】
【０００８】
一側面において、対象データの入力を受ける段階；前記コンボリューショナルニューラルネットワークに対する前記対象データの統計的特性と前記コンボリューショナルニューラルネットワークに対するあらかじめ使用された訓練データの統計的特性との差に基づいて、漸進的学習開始の可否を判断する段階；前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれのコンボリューションレイヤーで相互間の類似度が高いカーネルの集合を決定する段階；前記相互間の類似度が高いカーネルの集合に含まれたカーネルが適用されるノード間の加重値を更新する段階；を含む機械学習方法が開示される。
【０００９】
前記漸進的学習開始の可否を判断する段階は、前記対象データに対する前記コンボリューショナルニューラルネットワークの出力値のうち最大値をあらかじめ選定した基準値と比較し、前記コンボリューショナルニューラルネットワークの出力値のうち最大値が前記基準値よりも小さい場合、前記漸進的学習を開始すると判断することができる。
【００１０】
前記対象データが、複数個のデータからなるデータパッチである場合、前記データパッチに含まれたデータのうち、前記コンボリューショナルニューラルネットワークの出力値のうち最大値があらかじめ選定した基準値よりも小さい条件を満足するデータの個数が基準個数以上の場合、前記漸進的学習を開始すると判断することができる。
【００１１】
前記相互間の類似度が高いカーネルの集合を決定する段階は、カーネル間の距離または類似度を測定することによって、前記相互間の類似度が高いカーネルペアを少なくとも一つ以上決定することができる。
【００１２】
前記相互間の類似度が高いカーネルの集合を決定する段階は、カーネル間の差の絶対値、ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルペアを少なくとも一つ以上決定することができる。
【００１３】
前記相互間の類似度が高いカーネルの集合を決定する段階は、同じノードのコンボリューション演算に利用されるカーネルからカーネル連結行列（Ｃｏｎｃａｔｅｎａｔｅｄ  ｋｅｒｎｅｌ  ｍａｔｒｉｘ）を構成し、前記カーネル連結行列間の距離または類似度を測定することによって、前記相互間の類似度が高いカーネル連結行列ペアを少なくとも一つ以上決定することができる。
【００１４】
前記相互間の類似度が高いカーネルの集合を決定する段階は、前記カーネル連結行列間の差の絶対値、二乗差、ｐ−標準差（ｐ−ｎｏｒｍ）、プロベニウス−標準差（Ｆｒｏｂｅｎｉｕｓ−ｎｏｒｍ）、コーダル距離（Ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルの集合を決定することができる。
【００１５】
前記機械学習方法は、前記相互間の類似度が高いカーネルの集合に含まれたカーネルのそれぞれをランダム行列を利用して更新する段階；をさらに含むことができる。
【００１６】
前記機械学習方法は、前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれの完全連結レイヤー（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）で相互間の類似度が高いウェイトベクトル（Ｗｅｉｇｈｔ  ｖｅｃｔｏｒ）の集合を決定する段階；および前記相互間の類似度が高いウェイトベクトルの集合に含まれたウェイトベクトルが適用されるノード間の加重値を更新する段階；をさらに含むことができる。
【００１７】
前記相互間の類似度が高いウェイトベクトルの集合を決定する段階は、ウェイトベクトル間の差の距離または類似度を測定することによって、前記相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定することができる。
【００１８】
前記相互間の類似度が高いウェイトベクトルの集合を決定する段階は、ウェイトベクトル間の差の絶対値、二乗差、ｐ−標準差（ｐ−ｎｏｒｍ）、ユークリッド標準差（Ｅｕｃｌｉｄｅａｎ−ｎｏｒｍ）、コサイン距離（ｃｏｓｉｎｅ  ｄｉｓｔａｎｃｅ）、マハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ  ｄｉｓｔａｎｃｅ）、コーダル距離（Ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、およびカイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定することができる。
【００１９】
前記機械学習方法は、前記相互間の類似度が高いウェイトベクトルの集合に含まれたウェイトベクトルのそれぞれを、ランダムベクトルを利用して更新する段階；をさらに含むことができる。
【００２０】
前記ノード間の加重値を更新する段階は、指導学習方式および非指導学習方式のうち少なくとも一つを利用して前記ノード間の加重値を更新することができる。
【００２１】
前記非指導学習方式によって前記ノード間の加重値を更新する場合、前記コンボリューショナルニューラルネットワークの出力を、前記コンボリューショナルニューラルネットワークに対称的な構造を有する対称ニューラルネットワークに入力させ、前記対称ニューラルネットワークの出力と、前記コンボリューショナルニューラルネットワークに対する入力との間の差に基づいて、前記ノード間の加重値を更新することができる。
【００２２】
前記対称ニューラルネットワークは、前記コンボリューショナルニューラルネットワークの全体連結レイヤーに対応する逆方向全体連結レイヤー（ｂａｃｋｗａｒｄ  ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）と、前記コンボリューショナルニューラルネットワークのコンボリューションレイヤーおよびプーリングレイヤーに対応するデコンボリューションレイヤーおよびアンプーリングレイヤーを含むことができる。
【００２３】
他の側面において、プロセッサ（ｐｒｏｃｅｓｓｏｒ）；および前記プロセッサを介して実行される少なくとも一つの命令が保存されたメモリ（ｍｅｍｏｒｙ）を含み、前記少なくとも一つの命令は、対象データの入力を受けて；前記コンボリューショナルニューラルネットワークに対する前記対象データの統計的特性と前記コンボリューショナルニューラルネットワークに対するあらかじめ使用された訓練データの統計的特性との差に基づいて、漸進的学習開始の可否を判断し；前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれのコンボリューションレイヤーで相互間の類似度が高いカーネルの集合を決定し；前記相互間の類似度が高いカーネルの集合に含まれたカーネルが適用されるノード間の加重値を更新するように遂行される機械学習装置が提供される。
【００２４】
前記少なくとも一つの命令は、カーネル間の差の絶対値、ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルペアを少なくとも一つ以上決定するように遂行され得る。
【００２５】
前記少なくとも一つの命令は、同じノードのコンボリューション演算に利用されるカーネルからカーネル連結行列（Ｃｏｎｃａｔｅｎａｔｅｄ  ｋｅｒｎｅｌ  ｍａｔｒｉｘ）を構成し、前記カーネル連結行列間の差の絶対値、二乗差、ｐ−標準差（ｐ−ｎｏｒｍ）、プロベニウス−標準差（Ｆｒｏｂｅｎｉｕｓ−ｎｏｒｍ）、コーダル距離（Ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、前記相互間の類似度が高いカーネルの集合を決定するように遂行され得る。
【００２６】
前記少なくとも一つの命令は、前記漸進的学習を開始すると判断した場合、前記コンボリューショナルニューラルネットワークに含まれたそれぞれの完全連結レイヤー（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）で相互間の類似度が高いウェイトベクトル（Ｗｅｉｇｈｔ  ｖｅｃｔｏｒ）の集合を決定し、前記相互間の類似度が高いウェイトベクトルの集合に含まれたウェイトベクトルが適用されるノード間の加重値を更新するように遂行され得る。
【００２７】
前記少なくとも一つの命令は、ウェイトベクトル間の差の絶対値に基づいて、前記相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定するように遂行され得る。
【発明の効果】
【００２８】
開示された実施例によると、コンボリューショナルニューラルネットワークの学習に利用された訓練データと統計的特性が異なる対象データを発見することができる。そして、統計的特性が異なる対象データが発見された場合、コンボリューショナルニューラルネットワークに対して漸進的学習を開始することによって、コンボリューショナルニューラルネットワークの性能が向上され得る。また、相互間の類似度が高いカーネルまたはウェイトベクトルが適用されるノード間の加重値を選択的に更新する過程を経ることによって、機械学習の訓練効率が向上され得る。
【図面の簡単な説明】
【００２９】
【図１】例示的な実施例に係る機械学習装置を示したブロック図。
【図２】本発明の第１実施例に係るコンボリューショナルニューラルネットワークを示した概念図。
【図３】文字列から生成された点字のイメージを示した概念図。
【図４】コンボリューション演算を例示的に示した概念図。
【図５】プロセッサが図４に示したイメージからコンボリューションイメージを抽出したことを示した概念図。
【図６】図２に示したコンボリューションおよびプーリングレイヤーの動作を示した概念図。
【図７】本発明の第２実施例に係る機械学習方法を示したフローチャート。
【図８】相互間の類似度が高いカーネルの集合を決定する方式の第１実施例を示した概念図。
【図９】相互間の類似度が高いカーネルの集合を決定する方式の第２実施例を示した概念図。
【図１０】本発明の第３実施例に係る機械学習方法を示した概念図。
【図１１】本発明の第４実施例に係るニューラルネットワークを示した概念図。
【発明を実施するための形態】
【００３０】
本発明は多様な変更を加えることができ、多様な実施例を有することができるところ、特定の実施例を図面に例示し、詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に限定するためのものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。各図面の説明において、類似の参照符号は類似の構成要素に付与した。
【００３１】
第１、第２、Ａ、Ｂなどの用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を別の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく、かつ第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。「および／または」という用語は、複数の関連して記載された項目の組み合わせまたは複数の関連して記載された項目中のいずれかの項目を含む。
【００３２】
ある構成要素が別の構成要素に「連結されて」いるとか「接続されて」いると言及された時には、その他の構成要素に直接的に連結されているかまたは接続されていることもあり得るが、中間に他の構成要素が存在することもあり得ると理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。
【００３３】
本出願で使った用語は単に特定の実施例を説明するために使われたものであって、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するためのものであり、一つまたはそれ以上の別の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
【００３４】
別途に定義されない限り、技術的又は科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般に理解されることと同じ意味を有している。一般に使われる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されるべきであり、本出願で明白に定義しない限り、理想的又は過度に形式的な意味に解釈されない。
【００３５】
以下、本発明に係る好ましい実施例を添付図面を参照して詳細に説明する。
【００３６】
本明細書において学習データは、人工ニューラルネットワークを学習させるのにあらかじめ使用されたデータを意味する。対象データは人工ニューラルネットワークに入力される新しいデータであって、あらかじめ使用された学習データと異なるデータであり得る。対象データは、あらかじめ使用された学習データと異なる新しい学習データであり得る。他の例として、対象データは人工ニューラルネットワークの分析対象となるデータであってもよい。
【００３７】
図１は、例示的な実施例に係る機械学習装置１００を示したブロック図である。
【００３８】
図１を参照すると、例示的な実施例に係る機械学習装置１００は、少なくとも一つのプロセッサ１１０、メモリ１２０および保存装置１２５等を含むことができる。
【００３９】
プロセッサ１１０はメモリ１２０および／または保存装置１２５に保存されたプログラム命令（ｐｒｏｇｒａｍ  ｃｏｍｍａｎｄ）を実行することができる。プロセッサ１１０は、中央処理装置（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ；ＣＰＵ）、グラフィック処理装置（ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ；ＧＰＵ）または本発明に係る方法が遂行される専用のプロセッサを意味し得る。メモリ１２０と保存装置１６０は、揮発性保存媒体および／または不揮発性保存媒体で構成され得る。例えば、メモリ１２０は読み取り専用メモリ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ；ＲＯＭ）および／またはランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ；ＲＡＭ）で構成され得る。
【００４０】
メモリ１２０はプロセッサ１１０を介して実行される少なくとも一つの命令を保存していてもよい。
【００４１】
メモリ１２０に保存された命令は、プロセッサ１１０の機械学習によってアップデートされ得る。プロセッサ１１０は機械学習によってメモリに保存された命令を変更することができる。プロセッサ１１０が遂行する機械学習は、指導学習方式または非指導学習方式によって行われ得る。しかし、実施例はこれに制限されるものではない。例えば、機械学習は強化学習などの他の方式によって行われてもよい。
【００４２】
図２は、本発明の第１実施例に係るコンボリューショナルニューラルネットワークを示した概念図である。
【００４３】
図２を参照すると、コンボリューショナルニューラルネットワークは、少なくとも一つのコンボリューションおよびプーリングレイヤー（ｃｏｎｖｏｌｕｔｉｏｎ  ＆  ｐｏｏｌｉｎｇ  ｌａｙｅｒ）と、少なくとも一つの全体連結レイヤー（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）を含むことができる。図２では、一つのレイヤーでコンボリューション動作およびプーリング動作が行われる例を示したが、実施例はこれに制限されるものではない。例えば、コンボリューション動作が遂行されるレイヤーとプーリング動作が遂行されるレイヤーが互いに分離されていてもよい。また、コンボリューショナルニューラルネットワークはプーリング動作を遂行しなくてもよい。
【００４４】
コンボリューショナルニューラルネットワークは入力を受けたデータの特徴を抽出し、入力を受けたデータよりもスケールが小さい出力データを生成して出力することができる。コンボリューショナルニューラルネットワークは、イメージまたはそれに対応する行列の入力を受けることができる。コンボリューショナルニューラルネットワークが入力を受けることができるデータは、一般的なイメージに限定されないこともある。例えば、コンボリューショナルニューラルネットワークは文字列から生成された点字のイメージの入力を受けることもできる。
【００４５】
図３は文字列から生成された点字のイメージを示した概念図である。
【００４６】
図３を参照すると、文字列の最後の文字から逆順でｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒに変換して行列の形態に変換する方法を利用して、点字のイメージを生成することができる。ｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒは、一つの成分のみが１であり、残りの成分は０であるかすべての成分が０であり得る。ｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒにおいて、「１」値を有する成分の位置は、ｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒが示す文字の種類によって変わり得る。例えば、図３に示した通り、アルファベットのＣ、Ｆ、Ｂ、Ｄのそれぞれに対応するｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒは互いに異なる位置の成分が「１」値を有し得る。図３に示した点字のイメージは例示的なものに過ぎず、実施例はこれに制限されるものではない。例えば、ｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒの大きさは、図３に示したものよりも大きくてもよい。ｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒは、テキスト集合テキスト合計「ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ０１２３４５６７８９−、；．！？：“ウォン”／ウォンウォン｜＿＠＃＄％＾＆＊〜′＋−＝＜＞（）［］｛｝」を表現することができる。ｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒにおいて、「１」成分の位置はｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒが示す文字の順序により変わり得る。
【００４７】
コンボリューションおよびプーリングレイヤーはイメージまたは行列の入力を受け、入力を受けたイメージまたは行列に対してコンボリューション演算を遂行することができる。
【００４８】
図４は、コンボリューション演算を例示的に示した概念図である。
【００４９】
図４を参照すると、プロセッサ１１０は、カーネルＦＩを利用して入力イメージＯＩに対するコンボリューション演算を遂行することができる。カーネルＦＩはイメージＯＩのピクセルの個数よりも小さい大きさの行列であり得る。例示的に、フィルタカーネルＦＩの（１、１）成分は０であり得る。したがって、コンボリューションを計算する時、カーネルＦＩの（１、１）成分に対応するイメージＯＩのピクセルに対して０を乗算してもよい。他の例として、カーネルＦＩの（２、１）成分は１である。したがって、コンボリューションを計算する時、カーネルＦＩの（２、１）成分に対応するイメージＯＩのピクセルに対して１を乗算してもよい。
【００５０】
プロセッサ１１０はイメージＯＩ上でカーネルＦＩの位置を変更しながら、イメージＯＩに対するコンボリューション演算を遂行することができる。そして、プロセッサ１１０は計算されたコンボリューション値からコンボリューションイメージを出力することができる。
【００５１】
図５は、プロセッサ１１０が図４に示したイメージＯＩからコンボリューションイメージを抽出したことを示した概念図である。
【００５２】
図４に示したフィルタカーネルＦＩが、イメージＯＩ上で動くことができる場合の数が（１０−３＋１）×（１０−３＋１）＝８×８個であるため、プロセッサ１１０は８×８個のコンボリューション値を計算することができる。そして、８×８個のコンボリューション値から図６に示したような８×８ピクセルの大きさのコンボリューションイメージを抽出することができる。コンボリューションイメージＣＩのピクセルの個数は、原本イメージＯＩよりも小さくなるようになる。プロセッサ１１０は、カーネルＦＩを利用することによって、原本イメージの特性が反映されたコンボリューションイメージを抽出することができる。プロセッサ１１０は、カーネルＦＩを利用して入力されたイメージＯＩよりも大きさが小さく、入力されたイメージＯＩの特性を反映するコンボリューションイメージＣＩを出力することができる。コンボリューション演算はコンボリューションレイヤーまたはコンボリューションおよびプーリングレイヤーで遂行され得る。
【００５３】
図６は、図２に示したコンボリューションおよびプーリングレイヤーの動作を示した概念図である。
【００５４】
図６では便宜上、コンボリューショナルニューラルネットワークの入力レイヤー（Ｉｎｐｕｔ  ｌａｙｅｒ  ０）と、第１コンボリューションおよびプーリングレイヤー（Ｃｏｎｖｏｌｕｔｉｏｎ  ＆  ｐｏｏｌｉｎｇ  ｌａｙｅｒ  １）のみを示した。図６を参照すると、入力レイヤーは複数個のイメージの入力を受けることができる。入力レイヤーは複数個の行列の入力を受けることもできる。入力イメージは、コンボリューションおよびプーリングレイヤーでコンボリューション演算を遂行するノードに伝達され得る。Ｆ（０）個の入力イメージはＭ（０）×Ｌ（０）の大きさを有することができる。例えば、１２８ｘ１２８のＲＧＢイメージの場合、Ｆ（０）＝３、Ｍ（０）＝Ｌ（０）＝１２８のイメージで見ることができ、６８種類の文字１０００個で構成された文字列の場合、図３に例示された過程を経て、Ｆ（０）＝６８、Ｍ（０）＝１、Ｌ（０）＝１０００のイメージに変換される。
【００５５】
入力イメージは、最初のコンボリューションおよびプーリングレイヤーのコンボリューション演算を遂行するノードのそれぞれに入力され得る。コンボリューション演算を遂行するノードは、図４および図５を参照して説明したのと同じように、入力イメージに対してコンボリューション演算を遂行することができる。例示的に、最初のコンボリューションおよびプーリングレイヤーで遂行されるコンボリューション演算を数学式１で表すことができる。
【００５６】
2019032808.tif 000003
【００５７】
数学式１において、φ(l)（・）は活性化関数を意味する。活性化関数は、シグモイド（ｓｉｇｍｏｉｄ）関数、ハイパータンジェント（ｈｙｐｅｒｔａｎｇｅｎｔ）関数、整流線形ユニット（ｒｅｃｔｉｆｉｅｒ ｌｉｎｅａｒ ｕｎｉｔ）等を含むことができる。
【００５８】
2019032808.tif 000004
【００５９】
数学式１を参照すると、最初のコンボリューションおよびプーリングレイヤーは、Ｆ（０）個の入力イメージ（または行列）の入力を受けて、Ｆ（１）個の出力イメージ（または行列）を生成することができる。コンボリューション演算によって出力されるイメージ（または行列）の大きさは入力イメージ（または行列）の大きさよりも小さくてもよい。出力イメージ（または行列）はコンボリューション演算に利用されるカーネルにより変わり得る。
【００６０】
2019032808.tif 000005
【００６１】
2019032808.tif 000006
【００６２】
2019032808.tif 000007
【００６３】
他の例として、プーリング演算は数学式３で示すこともできる。
【００６４】
2019032808.tif 000008
【００６５】
数学式３を参照すると、最初のコンボリューションおよびプーリングレイヤーはＰ（１）×Ｑ（１）個のピクセルまたは行列成分の平均値を代表値として選択することができる。この場合、プーリング演算は隣接したピクセルまたは成分の平均値を計算する方式で行われ得る。
【００６６】
再び図３を参照すると、コンボリューショナルニューラルネットワークは、ＮＣ個のコンボリューションおよびプーリングレイヤーを含むことができる。数学式１を一般化して、ｌ番目のコンボリューションおよびプーリングレイヤーで遂行されるコンボリューション演算を数学式４のように示すことができる。
【００６７】
2019032808.tif 000009
【００６８】
2019032808.tif 000010
【００６９】
数学式２を一般化して、ｌ番目のコンボリューションおよびプーリングレイヤーで遂行されるプーリング演算は数学式５のように示すことができる。
【００７０】
2019032808.tif 000011
【００７１】
2019032808.tif 000012
【００７２】
プーリング演算の他の例として、数学式３を一般化して、ｌ番目のコンボリューションおよびプーリングレイヤーで遂行されるプーリング演算は数学式６のように示すことができる。
【００７３】
2019032808.tif 000013
【００７４】
最後のコンボリューションおよびプーリングレイヤー（Ｌａｙｅｒ  ＮＣ）で出力されるＦ（Ｎｃ）個のＭ（Ｎｃ）×Ｌ（Ｎｃ）大きさを有する出力イメージまたは出力行列は次のように表現され得る。
【００７５】
2019032808.tif 000014
【００７６】
最後のコンボリューションおよびプーリングレイヤー（Ｌａｙｅｒ  ＮＣ）で出力されるイメージまたは行列は最初の全体連結レイヤー（Ｌａｙｅｒ  ＮＣ＋１）に入力され得る。最初の全体連結レイヤーは入力を受けたイメージを利用して、１×Ｆ（Ｎｃ）Ｍ（Ｎｃ）Ｌ（Ｎｃ）（≡∧（Ｎｃ））の大きさを有する１次元ベクトルａ（Ｎｃ）(t) for 0≦ｔ≦∧（Ｎｃ）−１に変換することができる。
【００７７】
最初の全体連結レイヤーは変換した１次元ベクトルに対してウェイト（ｗｅｉｇｈｔ）行列を乗算することができる。例示的に、最初の全体連結レイヤーが遂行する演算は数学式７のように示すことができる。
【００７８】
2019032808.tif 000015
【００７９】
数学式７において、Ｗ（Ｎｃ+１）（ｔ、ｕ）は、最初の全体連結レイヤーで利用するウェイト行列を意味する。ａ（Ｎｃ+１）（ｔ）は最初の全体連結レイヤーで出力されるベクトルを意味する。ａ（Ｎｃ+１）（ｔ）は１次元ベクトルであり得る。∧（Ｎｃ+１）は最初の全体連結レイヤーで出力されるベクトルａ（Ｎｃ+１）（ｔ）の大きさを意味する。
【００８０】
数学式７を参照すると、最初の全体連結レイヤーは∧（Ｎｃ）大きさのベクトルからウェイト行列を利用して∧（Ｎｃ+１）大きさのベクトルを出力することができる。
【００８１】
図３を参照すると、コンボリューショナルニューラルネットワークは、ＮＦ個の全体連結レイヤーを含むことができる。数学式７を一般化して、ｌ番目の全体連結レイヤーで遂行される演算は数学式８のように示すことができる。
【００８２】
2019032808.tif 000016
【００８３】
数学式８において、ａ(l)(t)はｌ番目の全体連結レイヤーの出力ベクトルを意味する。Ｗ(l)(t,u)はｌ番目の全体連結レイヤーで利用するウェイト行列を意味する。φ(l)はｌ番目の全体連結レイヤーで利用する活性化関数を意味する。ａ(l-1)(u)はｌ−１番目の全体連結レイヤーの出力ベクトルであって、ｌ番目の全体連結レイヤーに対する入力ベクトルであり得る。
【００８４】
出力レイヤー（Ｏｕｔｐｕｔ  ｌａｙｅｒ）は最後の全体連結レイヤーの出力ベクトルａ(ＮＣ+ＮＦ)(t)の入力を受けることができる。出力レイヤーは数学式９のようにベクトル演算を遂行することができる。
【００８５】
2019032808.tif 000017
【００８６】
数学式９において、ｚ(ＮＣ+ＮＦ+1)(t)は出力レイヤーで出力されるベクトルを意味する。Ｃは出力ベクトルｚ(ＮＣ+ＮＦ+1)(t)のクラス（ｃｌａｓｓ）の個数を意味する。
【００８７】
出力レイヤーは数学式９で獲得した出力ベクトルｚ(ＮＣ+ＮＦ+1)(t)のそれぞれのクラスに対する最終出力値を計算することができる。出力レイヤーは活性化関数を利用して最終出力値を計算することができる。出力レイヤーの最終出力値の計算過程は数学式１０のように示すことができる。
【００８８】
2019032808.tif 000018
【００８９】
数学式１０において、φ(ＮＣ+ＮＦ+1)は出力レイヤーで利用される活性化関数を意味する。φ(Ｎｃ+Ｎｆ+1)はシグモイド関数、ハイパータンジェント関数および整流線形ユニットのうち少なくとも一つであり得る。数学式１０を参照すると、出力レイヤーは出力ベクトルｚ(Ｎｃ+Ｎｆ+1)(t)のｔ番目のｃｌａｓｓに対する最終出力値＾γ(t)を計算することができる。
【００９０】
他の例として、最終出力レイヤーはソフトマックス（ｓｏｆｔ  ｍａｘ）関数を利用して最終出力値を計算することもできる。出力レイヤーの最終出力値の計算過程は数学式１１のように示すこともできる。
【００９１】
2019032808.tif 000019
【００９２】
数学式１１を参照すると、最終出力レイヤーは出力ベクトルのクラス値に対する指数関数を利用して最終出力値を計算することができる。
【００９３】
機械学習装置１００は、コンボリューショナルニューラルネットワークを決定するパラメーターを変化させることによって、コンボリューショナルニューラルネットワークを学習させることができる。例えば、機械学習装置１００は、コンボリューショナルニューラルネットワークのノード間の加重値を最適化する方向にコンボリューショナルニューラルネットワークを学習させることができる。
【００９４】
機械学習装置１００は、学習データに対するコンボリューショナルニューラルネットワークの出力と、コンボリューショナルニューラルネットワークのノード間の加重値を利用して費用関数を計算することができる。機械学習装置１００は費用関数値が最小化するようにコンボリューショナルニューラルネットワークを学習させることができる。
【００９５】
例示的に、費用関数は数学式１２のように示すことができる。
2019032808.tif 000020
【００９６】
2019032808.tif 000021
【００９７】
2019032808.tif 000022
【００９８】
機械学習装置１００は費用関数Ｊ（Ｗ）が最小化するようにノード間の加重値を変更することができる。機械学習装置１００は逆伝播アルゴリズムおよび確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ  ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ）などのような最適化アルゴリズムを利用してニューラルネットワークを学習させることができる。他の例として、機械学習装置１００はｇ、ｒｅｅｄｙ  ｌａｙｅｒ−ｗｉｓｅトレーニング（Ｂｅｎｇｉｏ、Ｙｏｓｈｕａ、ｅｔ  ａｌ．  “Ｇｒｅｅｄｙ  ｌａｙｅｒ−ｗｉｓｅ  ｔｒａｉｎｉｎｇ  ｏｆ  ｄｅｅｐ  ｎｅｔｗｏｒｋｓ．”  Ａｄｖａｎｃｅｓ  ｉｎ  ｎｅｕｒａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓｉｎｇ  ｓｙｓｔｅｍｓ  １９  （２００７）：）基盤のプレトレーニング（ｐｒｅ−ｔｒａｉｎｉｎｇ）方式および微細調整（ｆｉｎｅ  ｔｕｎｉｎｇ）方式を共に並行してニューラルネットワークを学習させることができる。他の例として、機械学習装置１００は、ドロップアウト（ｄｒｏｐ−ｏｕｔ）（  Ｎ．  Ｓｒｉｖａｓｔａｖａ、ｅｔ  ａｌ．  「Ｄｒｏｐｏｕｔ：Ａ  ｓｉｍｐｌｅ  ｗａｙ  ｔｏ  ｐｒｅｖｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｆｒｏｍ  ｏｖｅｒｆｉｔｔｉｎｇ．」  Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ  （２０１４）：１９２９−１９５８．）やマックスアウト（ｍａｘ−ｏｕｔ）（  Ｇｏｏｄｆｅｌｌｏｗ、Ｉａｎ  Ｊ．、ｅｔ  ａｌ．  「Ｍａｘｏｕｔ  ｎｅｔｗｏｒｋｓ．」  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１３０２．４３８９  （２０１３））方式を利用することもできる。
【００９９】
以上でコンボリューショナルニューラルネットワークの構造と動作について説明した。前記の説明は例示的なものに過ぎず、具体的なレイヤーの個数と構造および演算過程は通常の技術者に容易な水準で変わり得る。
【０１００】
以下では本発明の例示的な実施例に係る、コンボリューショナルニューラルネットワークに対する漸進的学習過程を含む機械学習方法について説明する。
【０１０１】
図７は、本発明の第２実施例に係る機械学習方法を示したフローチャートである。
【０１０２】
図７を参照すると、Ｓ１１０段階で、機械学習装置１００は対象データの入力を受けることができる。対象データは、コンボリューショナルニューラルネットワークの学習にあらかじめ利用した学習データと異なるデータであり得る。対象データは追加学習のためのデータであってもよく、コンボリューショナルニューラルネットワークの分析対象であるデータであってもよい。対象データは一つのデータであってもよく、複数のデータからなるデータ配置であってもよい。
【０１０３】
Ｓ１２０段階で、プロセッサ１１０は、対象データの統計的特性とあらかじめ使用された訓練データの統計的特性との差に基づいて、漸進的学習開始の可否を判断することができる。プロセッサ１１０は、コンボリューショナルニューラルネットワークに対象データを入力した場合の出力統計と、訓練データを入力した場合の出力統計とを比較して、漸進的学習開始の可否を判断することができる。以下では、対象データが複数のデータで構成されるデータ配置である場合を例に挙げて漸進的学習開始の可否の判断過程を説明する。
【０１０４】
2019032808.tif 000023
【０１０５】
2019032808.tif 000024
【０１０６】
2019032808.tif 000025
【０１０７】
2019032808.tif 000026
【０１０８】
2019032808.tif 000027
【０１０９】
2019032808.tif 000028
【０１１０】
2019032808.tif 000029
【０１１１】
2019032808.tif 000030
【０１１２】
Ｓ１３０段階で、プロセッサ１１０はコンボリューショナルニューラルネットワークに含まれたそれぞれのコンボリューションレイヤー（またはコンボリューションおよびプーリングレイヤー）で相互間の類似度が高いカーネルの集合を決定することができる。
【０１１３】
図８は相互間の類似度が高いカーネルの集合を決定する方式の第１実施例を示した概念図である。
【０１１４】
図８を参照すると、プロセッサ１１０は任意のｌ番目のコンボリューションレイヤー（またはコンボリューションおよびプーリングレイヤー）でｋ番目の出力イメージまたは行列の生成に利用されるカーネルのうち相互間の類似度が高いカーネルを選択することができる。プロセッサ１１０はカーネル間の距離または類似度を測定することによって、相互間の類似度が高いカーネルペアを少なくとも一つ以上決定することができる。具体的な例として、プロセッサ１１０はカーネル間の差の絶対値に基づいて相互間の類似度が高いカーネルペアを少なくとも一つ以上決定することができる。例示的に、プロセッサ１１０は数学式１６を利用して、相互間の類似度が高いカーネルペアを決定することができる。
【０１１５】
2019032808.tif 000031
【０１１６】
2019032808.tif 000032
【０１１７】
2019032808.tif 000033
【０１１８】
2019032808.tif 000034
【０１１９】
2019032808.tif 000035
【０１２０】
前述した説明では、プロセッサ１１０が二つのカーネル間の差の絶対値（または二つのカーネル間の距離）に基づいて、相互間の類似度が高いカーネルペアを決定することができる。しかし、実施例はこれに制限されるものではない。例えば、プロセッサ１１０は、カーネル間のｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ（Ｃｏｎｗａｙ、Ｊｏｈｎ  Ｈ．、Ｒｏｎａｌｄ  Ｈ．  Ｈａｒｄｉｎ、ａｎｄ  Ｎｅｉｌ  ＪＡ  Ｓｌｏａｎｅ．  「Ｐａｃｋｉｎｇ  ｌｉｎｅｓ、ｐｌａｎｅｓ、ｅｔｃ．：Ｐａｃｋｉｎｇｓ  ｉｎ  Ｇｒａｓｓｍａｎｎｉａｎ  ｓｐａｃｅｓ．」  Ｅｘｐｅｒｉｍｅｎｔａｌ  ｍａｔｈｅｍａｔｉｃｓ  ５．２  （１９９６）：１３９−１５９）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、相互間の類似度が高いカーネルペアを決定することもできる。
【０１２１】
図９は、相互間の類似度が高いカーネルの集合を決定する方式の第２実施例を示した概念図である。
【０１２２】
2019032808.tif 000036
【０１２３】
プロセッサ１１０はカーネル連結行列間の距離または類似度を測定することによって、相互間の類似度が高いカーネル連結行列ペアを少なくとも一つ以上決定することができる。具体的な例として、プロセッサ１１０はカーネル連結行列間の差の絶対値に基づいて相互間の類似度が高いカーネルの集合を決定することができる。例えば、プロセッサ１１０は数学式１７を利用して、相互間の類似度が高いカーネルペアを決定することができる。
【０１２４】
2019032808.tif 000037
【０１２５】
2019032808.tif 000038
【０１２６】
数学式１７を参照すると、プロセッサ１１０はｌ番目のコンボリューションレイヤー（またはコンボリューションおよびプーリングレイヤー）で行列の差の絶対値が最も小さいカーネル連結行列ペアを相互間の類似度が高い行列と決定することができる。プロセッサ１１０は、相互間の類似度が高いカーネル行列ペアに対応するカーネルを相互間の類似度が高いカーネルの集合に含ませることができる。プロセッサ１１０は、ｌ番目のコンボリューションレイヤー（またはコンボリューションおよびプーリングレイヤー）で相互間の類似度が高いカーネル連結行列ペアを一つのみ決定することができる。他の例として、プロセッサ１１０は、ｌ番目のコンボリューションレイヤー（またはコンボリューションおよびプーリングレイヤー）で相互間の類似度が高いカーネル連結行列ペアを複数個決定することができる。
2019032808.tif 000039
【０１２７】
この場合、プロセッサ１１０は既選択されたカーネル連結ペアを除いて、数学式１７によるカーネルペア選択手続きを複数回繰り返すことができる。
2019032808.tif 000040
【０１２８】
2019032808.tif 000041
【０１２９】
前述した説明では、プロセッサ１１０が二つの行列間の差の絶対値（または二つの行列間の距離）に基づいて、相互間の類似度が高いカーネル連結行列ペアを決定することができる。しかし、実施例はこれに制限されるものではない。例えば、プロセッサ１１０は、行列間のｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ（Ｃｏｎｗａｙ、Ｊｏｈｎ  Ｈ．、Ｒｏｎａｌｄ  Ｈ．  Ｈａｒｄｉｎ、ａｎｄ  Ｎｅｉｌ  ＪＡ  Ｓｌｏａｎｅ．  「Ｐａｃｋｉｎｇ  ｌｉｎｅｓ、ｐｌａｎｅｓ、ｅｔｃ．：Ｐａｃｋｉｎｇｓ  ｉｎ  Ｇｒａｓｓｍａｎｎｉａｎ  ｓｐａｃｅｓ．」  Ｅｘｐｅｒｉｍｅｎｔａｌ  ｍａｔｈｅｍａｔｉｃｓ  ５．２  （１９９６）：１３９−１５９）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、カイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、相互間の類似度が高いカーネル連結行列ペアを決定することもできる。
【０１３０】
再び図７を参照すると、Ｓ１４０段階で、プロセッサ１１０は相互間の類似度が高いカーネルの集合に含まれたカーネルを更新することができる。例えば、図８に示した通り、プロセッサ１１０が複数個のカーネルペアを選択した場合、プロセッサ１１０は選択されたカーネルペアを更新することができる。プロセッサ１１０は、ランダムカーネルを利用して相互間の類似度が高いカーネルを更新することができる。例えば、プロセッサ１１０のカーネル更新過程は数学式１８のように示すことができる。
【０１３１】
2019032808.tif 000042
【０１３２】
2019032808.tif 000043
【０１３３】
他の例として、図９に示した通り、プロセッサ１１０が複数個のカーネル連結行列を選択した場合、プロセッサ１１０は選択されたカーネル連結行列を更新する方式で、相互間の類似度が高いカーネルを更新することができる。例えば、プロセッサ１１０のカーネル連結行列の更新過程は数学式１９のように示すことができる。
【０１３４】
2019032808.tif 000044
【０１３５】
2019032808.tif 000045
【０１３６】
プロセッサ１１０は相互間の類似度が高いカーネルを更新することによって、コンボリューショナルニューラルネットワークの性能を改善することができる。プロセッサ１１０は相互間の類似度が高いカーネルを更新しなくてもよい。この場合、Ｓ１４０段階は省略され得る。
【０１３７】
Ｓ１５０段階で、プロセッサ１１０は相互間の類似度が高いカーネルが適用されるノード間の加重値を更新することができる。プロセッサ１１０は、更新対象となる加重値の集合と、更新しない加重値の集合を区分することができる。例えば、プロセッサ１１０は下記のように加重値の集合を区分することができる。
【０１３８】
2019032808.tif 000046
【０１３９】
プロセッサ１１０は更新対象となる加重値を機械学習によって更新することができる。例えば、プロセッサ１１０は対象データから機械学習に利用するデータを選別することができる。例えば、対象データが複数個のデータを含む配置データである場合、プロセッサ１１０は配置データから既存の訓練データと統計的特性が異なるデータを抽出することができる。プロセッサ１１０が漸進的学習に利用されるデータを抽出する方式は数学式２０のように示すことができる。
【０１４０】
2019032808.tif 000047
【０１４１】
数学式２０において、ｉは配置データに含まれたデータのインデックスを示す。Βは配置データで漸進的学習に利用されるデータのインデックスの集合を意味する。数学式２０を参照すると、プロセッサ１１０は数学式１５に示した条件を満足するデータを漸進的学習用データとして選別することができる。
【０１４２】
プロセッサ１１０は指導学習方式および非指導学習方式のうち少なくとも一つを利用して、ＷＮに含まれた加重値を更新することができる。プロセッサ１１０が指導学習方式を利用する場合、Βに含まれたデータは指導学習のためのラベリングがされていなければならない。もし、ラベリングがされていない場合、ラベリング過程がさらに遂行され得る。
【０１４３】
加重値の更新過程は数学式２１のように示すことができる。
【０１４４】
2019032808.tif 000048
【０１４５】
2019032808.tif 000049
【０１４６】
プロセッサ１１０は逆伝播アルゴリズムおよび確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ  ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ）方式などのような最適化アルゴリズムなどを利用してニューラルネットワークを学習させることができる。他の例として、プロセッサ１１０は、ｇｒｅｅｄｙ  ｌａｙｅｒ−ｗｉｓｅトレーニング（Ｂｅｎｇｉｏ、Ｙｏｓｈｕａ、ｅｔ  ａｌ．  「Ｇｒｅｅｄｙ  ｌａｙｅｒ−ｗｉｓｅ  ｔｒａｉｎｉｎｇ  ｏｆ  ｄｅｅｐ  ｎｅｔｗｏｒｋｓ．」  Ａｄｖａｎｃｅｓ  ｉｎ  ｎｅｕｒａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓｉｎｇ  ｓｙｓｔｅｍｓ  １９  （２００７）：）基盤のプレトレーニング（ｐｒｅ−ｔｒａｉｎｉｎｇ）方式および微細調整（ｆｉｎｅ  ｔｕｎｉｎｇ）方式を共に並行してニューラルネットワークを学習させることができる。
【０１４７】
数学式２０で示したデータ集合Βを利用した機械学習過程が完了すると、プロセッサ１１０は全体のデータ（すなわち、以前に使用された訓練データおよび対象データのすべて）を利用して追加的な機械学習を遂行することもできる。プロセッサ１１０は、ドロップアウト（ｄｒｏｐ−ｏｕｔ）（  Ｎ．  Ｓｒｉｖａｓｔａｖａ、ｅｔ  ａｌ．  「Ｄｒｏｐｏｕｔ：Ａ  ｓｉｍｐｌｅ  ｗａｙ  ｔｏ  ｐｒｅｖｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｆｒｏｍ  ｏｖｅｒｆｉｔｔｉｎｇ．」  Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ  （２０１４）：１９２９−１９５８．）やマックスアウト（ｍａｘ−ｏｕｔ）（  Ｇｏｏｄｆｅｌｌｏｗ、Ｉａｎ  Ｊ．、ｅｔ  ａｌ．  「Ｍａｘｏｕｔ  ｎｅｔｗｏｒｋｓ．」  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１３０２．４３８９  （２０１３））方式を利用して追加的な機械学習を遂行することができる。
【０１４８】
図１０は、本発明の第３実施例に係る機械学習方法を示した概念図である。
【０１４９】
図１０の実施例の説明において、図９と重複する内容は省略する。
【０１５０】
図１０を参照すると、Ｓ１６０段階で、プロセッサ１１０はコンボリューショナルニューラルネットワークの全体連結レイヤーのそれぞれにおいて、相互間の類似度が高いウェイトベクトルの集合を決定することができる。ウェイトベクトルは数学式７で示したウェイト行列から抽出され得る。例えば、プロセッサ１１０は数学式２２に示した通り、ウェイトベクトルを抽出することができる。
【０１５１】
2019032808.tif 000050
【０１５２】
2019032808.tif 000051
【０１５３】
プロセッサ１１０はウェイトベクトル間の距離または類似度を測定することによって、相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定することができる。具体的な例として、プロセッサ１１０はウェイトベクトル間の差の絶対値に基づいて、相互間の類似度が高いウェイトベクトルペアを少なくとも一つ以上決定することができる。例示的に、プロセッサ１１０は数学式２３を利用して、相互間の類似度が高いウェイトベクトルペアを決定することができる。
【０１５４】
2019032808.tif 000052
【０１５５】
2019032808.tif 000053
【０１５６】
数学式２３を参照すると、プロセッサ１１０は、ｌ番目の全体連結レイヤーでウェイトベクトル差の絶対値が最も小さいウェイトベクトルペアを、相互間の類似度が高いウェイトベクトルペアと決定することができる。プロセッサ１１０は、ｌ番目の全体連結レイヤーで相互間の類似度が高いウェイトベクトルペアを一つのみ決定することができる。他の例として、プロセッサ１１０はｌ番目の全体連結レイヤーで相互間の類似度が高いウェイトベクトルペアを複数個決定することもできる。
2019032808.tif 000054
【０１５７】
2019032808.tif 000055
【０１５８】
2019032808.tif 000056
【０１５９】
前述した説明では、プロセッサ１１０が二つのウェイトベクトル間の差の絶対値（または二つのウェイトベクトル間の距離）に基づいて、相互間の類似度が高いウェイトベクトルペアを決定することができる。しかし、実施例はこれに制限されるものではない。例えば、プロセッサ１１０は、ウェイトベクトル間の二乗差、ｐ−標準差（ｐ−ｎｏｒｍ）、ユークリッド標準差（Ｅｕｃｌｉｄｅａｎ−ｎｏｒｍ）、コサイン距離（ｃｏｓｉｎｅ  ｄｉｓｔａｎｃｅ）、マハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ  ｄｉｓｔａｎｃｅ）、コーダル距離（Ｃｈｏｒｄａｌ  ｄｉｓｔａｎｃｅ）、ＫＬ発散（ＫＬ  ｄｉｖｅｒｇｅｎｃｅ）、交差カーネル（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｋｅｒｎｅｌ）、およびカイ二乗カーネル（Ｃｈｉ−ｓｑｕａｒｅ  ｋｅｒｎｅｌ）のうち少なくとも一つに基づいて、相互間の類似度が高いウェイトベクトルペアを決定することもできる。
【０１６０】
Ｓ１７０段階で、プロセッサ１１０は相互間の類似度が高いウェイトベクトルを更新することができる。プロセッサ１１０はランダムベクトルを利用して相互間の類似度が高いウェイトベクトルを更新することができる。例えば、プロセッサ１１０のカーネル更新過程は数学式２４のように示すことができる。
【０１６１】
2019032808.tif 000057
【０１６２】
2019032808.tif 000058
【０１６３】
他の例として、プロセッサ１１０は数学式２５のようにウェイトベクトルを更新することもできる。
【０１６４】
2019032808.tif 000059
【０１６５】
さらに他の例として、プロセッサ１１０はウェイトベクトルを更新しなくてもよい。
【０１６６】
Ｓ１８０段階で、プロセッサ１１０は相互間の類似度が高いウェイトベクトルが適用されるノード間の加重値を更新することができる。
【０１６７】
プロセッサ１１０は選択された相互間の類似度が高いウェイトベクトルに基づいて、更新対象となる加重値の集合と、残りの加重値の集合を区分することができる。プロセッサ１１０は数学式２０に示した通り、漸進的学習用データを選別することができる。プロセッサ１１０は数学式２１を参照して説明した通り、漸進的学習用データを利用して更新対象となる加重値を更新することができる。プロセッサ１１０は全体のデータを利用してコンボリューショナルニューラルネットワークに対する追加学習を進めることができる。
【０１６８】
対象データにラベリングがされていない場合、ラベリング作業を行わずにプロセッサ１１０は非指導学習によってコンボリューショナルニューラルネットワークを学習させてもよい。この場合、プロセッサ１１０はコンボリューショナルニューラルネットワークに対して、対称的構造を有する対称ニューラルネットワークをコンボリューショナルニューラルネットワークに連結することができる。プロセッサ１１０はコンボリューショナルニューラルネットワークの出力を対称ニューラルネットワークに入力させることができる。
【０１６９】
図１１は、本発明の第４実施例に係るニューラルネットワークを示した概念図である。
【０１７０】
図１１を参照すると、ニューラルネットワークはコンボリューショナルニューラルネットワークおよび対称ニューラルネットワークを含むことができる。対称ニューラルネットワークは、コンボリューショナルニューラルネットワークに対して対称的な構造を有することができる。対称ニューラルネットワークは、前記コンボリューショナルニューラルネットワークの全体連結レイヤーに対応する逆方向の全体連結レイヤー（ｂａｃｋｗａｒｄ  ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）と、前記コンボリューショナルニューラルネットワークのコンボリューションレイヤーおよびプーリングレイヤーに対応するデコンボリューションレイヤーおよびアンプーリングレイヤーを含むことができる。対称ニューラルネットワークの具体的な動作に対する説明は韓国特許出願（１０−２０１５−１８３８９８）で代替する。
【０１７１】
プロセッサ１１０は対称ニューラルネットワークの出力とコンボリューショナルニューラルネットワークに入力される入力との間の差に基づいて、ノード間の加重値を更新することができる。例えば、プロセッサ１１０は、対称ニューラルネットワークの出力とコンボリューショナルニューラルネットワークに入力される入力との間の再構成エラー（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｅｒｒｏｒ）および平均二乗エラー（ｍｅａｎ  ｓｑｕａｒｅｄ  ｅｒｒｏｒ）のうち少なくとも一つに基づいて、費用関数を決定することができる。プロセッサ１１０は前述した方式によって決定された費用関数を最小化する方向にノード間の加重値を更新することができる。プロセッサ１１０は数学式２０に示したデータ集合Βを利用してコンボリューショナルニューラルネットワークを学習させることができる。プロセッサ１１０は全体のデータを利用してコンボリューショナルニューラルネットワークを学習させることもできる。学習過程が終了すると、プロセッサ１１０は対称ニューラルネットワークを除去することができる。
【０１７２】
以上、図１〜図１１と数学式１〜数学式２５を参照して本発明の例示的な実施例に係る機械学習方法および装置について説明した。前述した実施例によると、コンボリューショナルニューラルネットワークの学習に利用された訓練データと統計的特性が異なる対象データを発見することができる。そして、統計的特性が異なる対象データが発見された場合、コンボリューショナルニューラルネットワークに対して漸進的学習を開始することによって、コンボリューショナルニューラルネットワークの性能を向上させることができる。また、相互間の類似度が高いカーネルまたはウェイトベクトルが適用されるノード間の加重値を選択的に更新する過程を経ることによって、機械学習効率を向上させることができる。
【０１７３】
本発明の実施例に係る肩幅測定方法の動作は、コンピュータ読み取り可能記録媒体にコンピュータ読み取り可能プログラムまたはコードとして具現することが可能である。コンピュータ読み取り可能記録媒体はコンピュータシステムによって読み込まれ得るデータが保存されるすべての種類の記録装置を含む。また、コンピュータ読み取り可能記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて分散方式でコンピュータ読み取り可能プログラムまたはコードが保存され実行され得る。
【０１７４】
また、コンピュータ読み取り可能記録媒体は、ロム（ｒｏｍ）、ラム（ｒａｍ）、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）などのように、プログラム命令を保存して遂行するように特別に構成されたハードウェア装置を含むことができる。プログラム命令は、コンパイラ（ｃｏｍｐｉｌｅｒ）によって作られるような機械語コードだけでなく、インタープリタ（ｉｎｔｅｒｐｒｅｔｅｒ）などを使ってコンピュータによって実行され得る高級言語コードを含むことができる。
【０１７５】
方法段階の一部又は全部は例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または利用して）遂行され得る。一部の実施例において、最も重要な方法段階の少なくとも一つはこのような装置によって遂行され得る。
【０１７６】
実施例において、プログラム可能なロジック装置（例えば、フィールドプログラマブルゲートアレイ）が、ここで説明された方法の機能の一部又は全部を遂行するために使われ得る。実施例において、フィールドプログラマブルゲートアレイは、ここで説明された方法のうち一つを遂行するためのマイクロプロセッサとともに作動することができる。一般に、方法は何らかのハードウェア装置によって遂行されることが好ましい。
【０１７７】
上記では本発明の好ましい実施例を参照して説明したが、該当技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更し得ることが理解できるであろう。
【図１】
2019032808.tif 000060
【図２】
2019032808.tif 000061
【図３】
2019032808.tif 000062
【図４】
2019032808.tif 000063
【図５】
2019032808.tif 000064
【図６】
2019032808.tif 000065
【図７】
2019032808.tif 000066
【図８】
2019032808.tif 000067
【図９】
2019032808.tif 000068
【図１０】
2019032808.tif 000069
【図１１】
2019032808.tif 000070