(57)【要約】  メモリアレイ（１０）の複数のワード線を論理的に複数のワード線エリアに分割し、ワード線エリアごとに、任意のワード線を選択あるいは非選択にするエリア内ワード線多重選択回路を備え、エリア内ワード線多重選択回路は第一のラッチ（３１）および第二のラッチ（３２）をワード線毎に備える。
2019049654.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配置された複数のメモリセルを有し、前記複数のメモリセルのそれぞれが複数のワード線のうちの１本と複数のビット線のうちの１本とに接続された、メモリアレイと、
前記複数のワード線のうち任意のワード線を選択あるいは非選択にするワード線多重選択回路と、
ニューラルネットワークのニューロンの演算動作を行うｎ個（ｎは１以上の整数）の判定回路と、
前記複数のビット線のうち１本以上をｎ個の前記判定回路のそれぞれに接続するカラム選択回路と、
前記ワード線多重選択回路を制御する制御回路とを備え、
前記複数のワード線は、ｎ本を１つの単位として論理的に複数のワード線エリアに分割されており、
前記ワード線多重選択回路は、前記複数のワード線エリア毎に、前記ワード線エリア内のワード線を選択あるいは非選択にする複数のエリア内ワード線多重選択回路を含み、
前記エリア内ワード線多重選択回路は、ワード線毎に第１のラッチおよび第２のラッチを含み、前記制御回路で制御するエリア選択信号、エリア内ワード線制御信号、第１のラッチの制御信号、第２のラッチの制御信号およびワード線選択信号により前記第１のラッチおよび前記第２のラッチのセット状態を決定し、第１のラッチのセット状態に基づき対応するワード線を選択あるいは非選択状態とし、
前記判定回路は、前記ワード線多重選択回路により選択されたワード線多重選択状態で、前記カラム選択回路により接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、第１の論理値あるいは第２の論理値をニューロンの演算動作の出力データとして出力する判定動作を行う
ことを特徴とする半導体記憶素子を用いたニューラルネットワーク演算回路。
【請求項２】
前記制御回路は、前記判定動作を同一の前記ワード線多重選択状態で複数回実行し、
１回の判定動作で得られるｎ個の結果に基づき、前記エリア選択信号により選択する前記エリア内ワード線多重選択回路内のｎ個の第２ラッチのセット状態を決定する動作を、前記エリア選択信号を切り替えながら順次実行し、
複数回の前記判定動作完了後に前記第２ラッチのセット状態を前記第１のラッチに転送、セットする
ことを特徴とする請求項１記載のニューラルネットワーク演算回路。
【請求項３】
前記ワード線多重選択状態は、ニューラルネットワークのニューロンの入力データに対応する
ことを特徴とする請求項１記載のニューラルネットワーク演算回路。
【請求項４】
前記メモリセルは、ニューラルネットワークの結合重み係数を格納している
ことを特徴とする請求項１記載のニューラルネットワーク演算回路。
【請求項５】
前記メモリセルは、抵抗変化素子で形成される抵抗変化型不揮発性メモリ素子であり、ニューラルネットワークの結合重み係数を抵抗値として格納している
ことを特徴とする請求項１記載のニューラルネットワーク演算回路。
【請求項６】
行列状に配置された複数のメモリセルを有し、前記複数のメモリセルのそれぞれが複数のワード線のうちの１本と複数のビット線のうちの１本とに接続された、メモリアレイと、
前記複数のワード線のうち任意のワード線を選択あるいは非選択にするワード線多重選択回路と、
ニューラルネットワークのニューロンの演算動作を行うｎ個（ｎは１以上の整数）の判定回路と、
メモリセルの論理状態を判定する１つ以上の読出し回路と、
前記複数のビット線のうち１本以上をｎ個の前記判定回路のそれぞれに接続、あるいは前記読出し回路に接続するカラム選択回路と、
前記ワード線多重選択回路を制御する制御回路とを備え、
前記複数のワード線は、ｎ本を１つの単位として論理的に複数のワード線エリアに分割されており、
前記ワード線多重選択回路は、前記複数のワード線エリア毎に、前記ワード線エリア内のワード線を選択あるいは非選択にするニューラルネットワーク演算動作モードと前記ワード線エリア内の１本のワード線を選択あるいは非選択にするメモリ動作モードとの２つの動作を切り替えて動作が可能な複数のエリア内ワード線多重選択回路を含み、
前記エリア内ワード線多重選択回路は、
ワード線毎に第１のラッチ、第２のラッチ、および第１のラッチの出力に接続された切り替え回路を含み、
前記制御回路で制御するエリア選択信号、エリア内ワード線制御信号、第１のラッチの制御信号、第２のラッチの制御信号、ワード線選択信号およびモード切り替え信号により前記モード切り替え信号が前記ニューラルネットワーク演算動作モードに対応する信号状態の時に、前記ニューラルネットワーク演算動作モードとして前記第１のラッチおよび前記第２のラッチのセット状態を決定し、第１のラッチのセット状態に基づき前記切り替え回路を介して対応するワード線を選択あるいは非選択状態とし、
前記モード切り替え信号が前記メモリ動作モードに対応する信号状態の時に、前記メモリ動作モードとして、前記エリア選択信号、前記エリア内ワード線制御信号およびワード線選択信号に基づき、前記切り替え回路を介して対応するワード線を選択あるいは非選択状態とし、
前記判定回路は、前記ニューラルネットワーク演算動作モード時に、前記ワード線多重選択回路により選択されたワード線多重選択状態で、前記カラム選択回路により接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、第１の論理値あるいは第２の論理値をニューロンの演算動作の出力データとして出力する判定動作を行い、
前記読出し回路は、前記メモリ動作モード時に、前記ワード線多重選択回路で選択される１本のワード線を選択した状態で、前記カラム選択回路により接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、第１の論理値あるいは第２の論理値をメモリデータとして出力する読出し判定動作を行う
ことを特徴とする半導体記憶素子を用いたニューラルネットワーク演算回路。
【請求項７】
前記制御回路は、前記判定動作を同一の前記ワード線多重選択状態で複数回実行し、
１回の判定動作で得られるｎ個の結果に基づき、前記エリア選択信号により選択する前記エリア内ワード線多重選択回路内のｎ個の第２ラッチのセット状態を決定する動作を、前記エリア選択信号を切り替えながら順次実行し、
複数回の前記判定動作完了後に前記第２ラッチのセット状態を前記第１のラッチに転送、セットする
ことを特徴とする請求項６記載のニューラルネットワーク演算回路。
【請求項８】
前記ニューラルネットワーク演算動作モード時の前記ワード線多重選択状態は、ニューラルネットワークのニューロンの入力データに対応する
ことを特徴とする請求項６記載のニューラルネットワーク演算回路。
【請求項９】
前記メモリセルは、ニューラルネットワークの結合重み係数を格納、あるいはメモリデータを格納している
ことを特徴とする請求項６記載のニューラルネットワーク演算回路。
【請求項１０】
前記メモリセルは、抵抗変化素子で形成される抵抗変化型不揮発性メモリ素子であり、ニューラルネットワークの結合重み係数を抵抗値として格納、あるいはメモリデータを格納している
ことを特徴とする請求項６記載のニューラルネットワーク演算回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は半導体記憶素子を用いたニューラルネットワーク演算回路に関し、例えば、そのような演算回路のためのワード線選択回路等に関する。
【背景技術】
【０００２】
情報通信技術の進展に伴い、あらゆるものがインターネットに繋がるＩｏＴ（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ）技術が注目されている。ＩｏＴ技術において、様々な電子機器がインターネットに接続されることで、機器の高性能化が期待されているが、更なる高性能化を実現する技術として、電子機器自らが学習と判断を行う人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術の研究開発が近年活発に行われている。【０００３】
人工知能技術においては人間の脳型情報処理を工学的に模倣したニューラルネットワーク技術が用いられており、ニューラルネットワーク演算を高速、低消費電力で実行する半導体集積回路の研究開発が盛んに行われている。【０００４】
ニューラルネットワーク回路は複数の入力がそれぞれ異なる結合重み係数を有するシナプスと呼ばれる結合で接続されたニューロンと呼ばれる基本素子から構成され、複数のニューロンが互いに接続されることで、画像認識や音声認識といった高度な演算動作を行うことができる。ニューロンでは各入力と各結合重み係数を乗算したものを全て加算した積和演算動作が行われる。【０００５】
非特許文献１には、ニューラルネットワークの結合重み係数を抵抗変化型不揮発性メモリ素子に格納するニューラルネットワークの演算回路の構成が開示されている。【０００６】
ニューラルネットワークの結合重み係数をアナログ抵抗値が設定可能な抵抗変化型不揮発性メモリ素子に格納する構成でおり、入力データに相当するアナログ電圧値を不揮発性メモリ素子に印加し、このとき流れるアナログ電流値を利用している。【０００７】
ニューロンで行われる積和演算動作は、複数の不揮発性メモリ素子に結合重み係数をアナログ抵抗値として格納し、入力データに相当する複数のアナログ電圧値を複数の不揮発性メモリ素子に印加し、流れる電流値を合算したアナログ電流値を積和演算結果として得ることで行う。【０００８】
複数のニューロンの積和演算動作を同時に実行できるため、低消費電力、高速動作が可能であるが、ニューロンの入力及び出力はアナログ電圧値あるいはアナログ電流値で処理されるため、ニューロン間の情報伝達時に、アナログ−デジタル変換回路（ＡＤコンバータ回路）を用いてアナログ値をデジタル値に変換し、さらにデジタル−アナログ変換回路（ＤＡコンバータ回路）を用いてデジタル値をアナログ値に変換する必要があり、大規模なニューラルネットワーク回路の半導体集積回路への実装が困難、すなわち大規模な半導体集積化が困難という課題がある。【０００９】
非特許文献２には、ニューラルネットワークの結合重み係数を抵抗変化型不揮発性メモリ素子に格納するニューラルネットワークの演算回路の別の構成が開示されている。【００１０】
正側の結合重み係数を格納した抵抗変化型不揮発性メモリ素子をアレイ状に並べたメモリアレイ（正側メモリアレイ）と負側の結合重み係数を格納した不揮発性メモリ素子をアレイ状に並べたメモリアレイ（負側メモリアレイ）のワード線の選択状態をニューラルネットワークのニューロンの入力データとして使用しており、入力データに相当するワード線の選択状態で複数の不揮発性メモリ素子に電圧を印加し流れる電流値を合算したアナログ電流値を正側メモリアレイ、負側メモリアレイのそれぞれのビット線に接続された判定回路でそれぞれ電圧値に変換し、その結果を比較した結果をニューロンの積和演算結果の出力データとしてデジタル値を得ることで行う。【００１１】
入力データおよび出力データはデジタル値で処理しており、ニューロン間の情報伝達もデジタル値で行うことが可能であり、アナログ−デジタル変換回路（ＡＤコンバータ回路）やデジタル−アナログ変換回路（ＤＡコンバータ回路）を別途搭載する必要がなく、入力データ及び出力データをアナログで処理する非特許文献１の構成に対して半導体集積化が比較的容易である。【００１２】
一方、ニューラルネットワークの演算動作ではニューロンの出力結果をニューロンの結合先のニューロンの入力データとした演算動作が必要となる。このことを実現するために正側メモリアレイ、負側メモリアレイおよびアナログ電流値の電圧への変換、比較する回路構成一式を別途用意する構成としている。また、入力データに相当するワード線の選択状態を実現するためには、任意の複数のワード線を選択するワード線選択回路が必要であり、ワード線毎にフリップフロップを１つ搭載することで実現している。【００１３】
特許文献１には複数のワード線を同時に選択する構成としてメモリアレイのワード線毎にラッチを設ける構成が開示されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平１１−２０３８９４号公報
【非特許文献】
【００１５】
【非特許文献１】M. Prezioso, et al., “Training and operation of an integrated neuromorphic network based on metal-oxide memristors,” Nature, no. 521， pp.61-64， 2015
【非特許文献２】F. Su, et al., “A 462GOPs/J RRAM-Based Nonvolatile Intelligent Processor for Energy Harvesting IoE System Featuring Nonvolatile Logics and Processing-In-Memory,” Symposium on VLSI Circuits Digest of Technical Papers, C260-C261，2017
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかし、非特許文献２に開示されているニューラルネットワーク演算回路のワード線選択回路では一度に１つの選択状態が実現可能であり、ニューラルネットワークの演算動作で必要なニューロンの出力結果を入力データとしたニューロンの演算動作を行うためには、メモリアレイおよびアナログ電流値の電圧値への変換、比較する回路およびワード先選択回路といった周辺回路一式を複数個用意する必要があるため、大規模なニューラルネットワークの演算回路を実現する場合に周辺回路が増大し面積の増大を招くという課題がある。【００１７】
また、特許文献１に開示されているワード線毎にラッチを設け、複数のワード線を同時に選択する構成を用いた場合でも同様の課題がある。【００１８】
本発明は上記課題を鑑みてなされたものであり、大規模なニューラルネットワーク演算動作を面積の増大を招くことなく実現可能な半導体記憶素子を用いたニューラルネットワーク演算回路を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路は、行列状に配置された複数のメモリセルを有し、複数のメモリセルのそれぞれが複数のワード線のうちの１本と複数のビット線のうちの１本とに接続された、メモリアレイと、複数のワード線のうち任意のワード線を選択あるいは非選択にするワード線多重選択回路と、ニューラルネットワークのニューロンの演算動作を行うｎ個（ｎは１以上の整数）の判定回路と、複数のビット線のうち１本以上をｎ個の判定回路のそれぞれに接続するカラム選択回路と、ワード線多重選択回路を制御する制御回路とを備え、複数のワード線は、ｎ本を１つの単位として論理的に複数のワード線エリアに分割されており、ワード線多重選択回路は、複数のワード線エリア毎に、ワード線エリア内のワード線を選択あるいは非選択にする複数のエリア内ワード線多重選択回路を含み、エリア内ワード線多重選択回路は、ｎ本のワード線毎に第１のラッチおよび第２のラッチを含み、制御回路で制御するエリア選択信号、エリア内ワード線制御信号、第１のラッチの制御信号、第２のラッチの制御信号およびワード線選択信号により第１のラッチおよび第２のラッチのセット状態を決定し、第１のラッチのセット状態に基づき対応するワード線を選択あるいは非選択状態とし、判定回路は、ワード線多重選択回路により選択されたワード線多重選択状態で、カラム選択回路により接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、第１の論理値あるいは第２の論理値をニューロンの演算動作の出力データとして出力する判定動作を行うことを特徴とする。【００２０】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、制御回路は、判定動作を同一のワード線多重選択状態で複数回実行し、１回の判定動作で得られるｎ個の結果に基づき、エリア選択信号により選択するエリア内ワード線多重選択回路内のｎ個の第２ラッチのセット状態を決定する動作を、エリア選択信号を切り替えながら順次実行し、複数回の判定動作完了後に第２ラッチのセット状態を第１のラッチに転送、セットするとよい。【００２１】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、ワード線多重選択状態は、ニューラルネットワークのニューロンの入力データに対応するとよい。【００２２】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、メモリセルは、ニューラルネットワークの結合重み係数を格納していてもよい。【００２３】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、メモリセルは、抵抗変化素子で形成される抵抗変化型不揮発性メモリ素子であり、ニューラルネットワークの結合重み係数を抵抗値として格納していてもよい。【００２４】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路は、行列状に配置された複数のメモリセルを有し、複数のメモリセルのそれぞれが複数のワード線のうちの１本と複数のビット線のうちの１本とに接続された、メモリアレイと、複数のワード線のうち任意のワード線を選択あるいは非選択にするワード線多重選択回路と、ニューラルネットワークのニューロンの演算動作を行うｎ個（ｎは１以上の整数）の判定回路と、メモリセルの論理状態を判定する１つ以上の読出し回路と、複数のビット線のうち１本以上をｎ個の判定回路のそれぞれに接続、あるいは読出し回路に接続するカラム選択回路と、ワード線多重選択回路を制御する制御回路とを備え、複数のワード線は、ｎ本を１つの単位として論理的に複数のワード線エリアに分割されており、ワード線多重選択回路は、複数のワード線エリア毎に、ワード線エリア内のワード線を選択あるいは非選択にするニューラルネットワーク演算動作モードとワード線エリア内の１本のワード線を選択あるいは非選択にするメモリ動作モードとの２つの動作を切り替えて動作が可能な複数のエリア内ワード線多重選択回路を含み、エリア内ワード線多重選択回路は、ワード線毎に第１のラッチ、第２のラッチ、および第１のラッチの出力に接続された切り替え回路を含み、制御回路で制御するエリア選択信号、エリア内ワード線制御信号、第１のラッチの制御信号、第２のラッチの制御信号、ワード線選択信号およびモード切り替え信号によりモード切り替え信号がニューラルネットワーク演算動作モードに対応する信号状態の時に、ニューラルネットワーク演算動作モードとして第１のラッチおよび第２のラッチのセット状態を決定し、第１のラッチのセット状態に基づき切り替え回路を介して対応するワード線を選択あるいは非選択状態とし、モード切り替え信号がメモリ動作モードに対応する信号状態の時に、メモリ動作モードとして、エリア選択信号、エリア内ワード線制御信号およびワード線選択信号に基づき、切り替え回路を介して対応するワード線を選択あるいは非選択状態とし、判定回路は、ニューラルネットワーク演算動作モード時に、ワード線多重選択回路により選択されたワード線多重選択状態で、カラム選択回路により接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、第１の論理値あるいは第２の論理値をニューロンの演算動作の出力データとして出力する判定動作を行い、読出し回路は、メモリ動作モード時に、ワード線多重選択回路で選択される１本のワード線を選択した状態で、カラム選択回路により接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、第１の論理値あるいは第２の論理値をメモリデータとして出力する読出し判定動作を行うことを特徴とする。【００２５】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、制御回路は、判定動作を同一のワード線多重選択状態で複数回実行し、１回の判定動作で得られるｎ個の結果に基づき、エリア選択信号により選択するエリア内ワード線多重選択回路内のｎ個の第２ラッチのセット状態を決定する動作を、エリア選択信号を切り替えながら順次実行し、複数回の判定動作完了後に第２ラッチのセット状態を第１のラッチに転送、セットしてもよい。【００２６】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、ニューラルネットワーク演算動作時のワード線多重選択状態は、ニューラルネットワークのニューロンの入力データに対応してもよい。【００２７】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、メモリセルは、ニューラルネットワークの結合重み係数を格納、あるいはメモリデータを格納していてもよい。【００２８】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路において、メモリセルは、抵抗変化素子で形成される抵抗変化型不揮発性メモリ素子であり、ニューラルネットワークの結合重み係数を抵抗値として格納、あるいはメモリデータを格納していてもよい。
【発明の効果】
【００２９】
本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路は、ニューロンの入力データと出力データが“０”あるいは“１”データの２値のデジタル値をとりえるニューラルネットワーク回路であり、結合重み係数は行列状に配置されたメモリアレイ内の各メモリセルに格納しており、ワード線多重選択回路で選択するワード線の多重選択状態がニューロンの入力データに対応しており、各ニューロンの演算はワード線の多重選択状態で判定回路に接続したビット線に流れる電流状態あるいは電圧状態を判定した出力データを用いることで実行する。【００３０】
ここで、判定回路は実装面積を削減するためメモリアレイのビット線数に比べて少ない数であるｎ個としており、１回の判定動作によって得られる出力データはｎ個である。【００３１】
一方、ニューラルネットワーク演算においては、複数のニューロンの出力データを結合先のニューロンの入力データすなわちワード線の多重選択状態として演算動作、すなわち判定動作を行うが、結合先のニューロンの入力データがｎ個よりも大きいニューラルネットワークの演算動作を行う場合、同じワード線の多重選択状態で判定動作を判定回路に接続するビット線を切り替えながら複数回実行することで結合先のニューロンの入力データを確定する。【００３２】
ここで、ワード線多重選択回路は１回の判定動作で得られる出力データ数であるｎ個を１単位とした複数のエリア内ワード線選択回路で構成し、エリア内ワード線選択回路には、第１のラッチおよび第２のラッチをワード線毎に備えている。【００３３】
本構成とすることで、第１のラッチのセット状態により選択されるワード線の多重選択状態での判定動作を１回実行するごとに第２のラッチにｎ個単位で順次セットしていくことが可能である。【００３４】
このことにより、複数回の判定動作後に確定する第２のラッチのセット状態を第１のラッチに転送し、セット状態とし、その後ワード線多重選択状態の切り替えを行うことでニューロンの演算動作を行うことができることから大規模なニューラルネットワークの演算を行う場合に、判定回路などの周辺回路を複数セット用意するなどの面積増大を招くことなく実現が可能である。【００３５】
また、本発明の一態様に係る半導体記憶素子を用いたニューラルネットワーク演算回路は、上述の構成に対して、ニューラルネットワーク演算動作モードとメモリ動作モードの２つのモードの動作および切り替えが可能であり、ニューラルネットワーク演算動作モード時には、上述のニューラルネットワーク演算動作を行う機能に加え、メモリ動作モード時には、メモリデータを判定出力する機能を有しており、動作目的により切り替え動作が可能である。
【図面の簡単な説明】
【００３６】
【図１】図１は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の構成を示す図である。
【図２】図２は、図１に示すワード線多重選択回路１１の構成を示す図である。
【図３】図３は、図２に示すエリア内ワード線多重選択回路２１の構成を示す図である。
【図４】図４は、図３に示す第１のラッチ３１および第２のラッチ３２の構成を示す図である。
【図５】図５は、図１に示すメモリアレイ１０の構成を示す図である。
【図６】図６は、図５に示すメモリセル５１の構成を示す図である。
【図７】図７は、ディープニューラルネットワークを示す図である。
【図８】図８は、ニューラルネットワーク演算におけるニューロンの計算を示す図である。
【図９】図９は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の一例を示す図である。
【図１０】図１０は、図９に示すワード線多重選択回路１１の構成を示す図である。
【図１１】図１１は、図１０に示すエリア内ワード線多重選択回路２１の構成を示す図である。
【図１２】図１２は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路を用いて演算動作を行うニューラルネットワークの一例を示す図である。
【図１３】図１３は、図１２に示すニューラルネットワークにおいて行われる演算動作に関する、入力層７２の入力データ、隠れ層７３のニューロンの演算結果、および出力層７４の出力データの一例を示す図である。
【図１４】図１４は、図１２に示すニューラルネットワークとして用いられる、本発明の第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の演算動作を示す図である。
【図１５】図１５は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路を用いて演算動作を行うニューラルネットワークの一例を示す図である。
【図１６】図１６は、第１の実施形態に係るニューラルネットワークのニューロンの入力データ及び出力データの別の一例を示す図である。
【図１７】図１７は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の動作の別の一例を示す図である。
【図１８】図１８は、第２の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の構成を示す図である。
【図１９】図１９は、図１８に示すワード線多重選択回路１８１の構成を示す図である。
【図２０】図２０は、図１９に示すエリア内ワード線多重選択回路１９１の構成を示す図である。
【発明を実施するための形態】
【００３７】
以下、本発明の実施形態について、図面を参照しながら説明する。
【００３８】
始めに、ニューラルネットワーク演算の基礎動作について説明する。
【００３９】
図７は、ディープニューラルネットワークの構成を示す図である。図７のディープニューラルネットワークは、入力データが入力される入力層７２、入力層７２の入力データを受けて演算処理を行う隠れ層７３、隠れ層７３の出力データを受けて演算処理を行う出力層７４から構成される。
【００４０】
入力層７２、隠れ層７３、出力層７４の各々において、ニューロン７０と呼ばれるニューラルネットワークの基本素子が多数存在し、各々のニューロン７０は結合重み７１を介して接続されている。
【００４１】
複数の結合重み７１は各々異なる結合重み係数を有してニューロン間を結合している。
【００４２】
ニューロン７０には複数の入力データが入力され、ニューロン７０は、これらの複数の入力データに対応する結合重み係数との積和演算動作を行い、その結果が出力データとして出力される。
【００４３】
ここで、隠れ層７３は複数段（図７では３段）のニューロンが連結された構成であり、ディープなニューラルネットワークを形成しているという意味で、ディープニューラルネットワークと呼ばれる。
【００４４】
図８はニューラルネットワーク演算におけるニューロンの計算を示す図であり、ニューロン７０が行う計算式を図８の式（１）、式（２）に示す。
【００４５】
ニューロン７０はｋ個の入力ｘ１〜ｘｋと結合重み係数ｗ１〜ｗｋを有する結合重みで接続されており、入力ｘ１〜ｘｋとの積和演算が行われる。
【００４６】
ニューロン７０は、活性化関数ｆを有しており、入力ｘ１〜ｘｋと結合重み係数ｗ１〜ｗｋとの積和演算結果に対して活性化関数の演算処理を行い、出力ｙが出力される。
【００４７】
ここで、本発明の実施形態に係るニューラルネットワーク演算におけるニューロンの活性化関数ｆは、積和演算結果が一定の値以上の場合に“１”、小さい場合に“０”となるステップ関数であり、各ニューロン７０の入力データおよび出力データは“０”あるいは“１”の２値であるとして説明する。
【００４８】
＜第１の実施形態＞
図１は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の構成を示す図である。図１の演算回路は、メモリアレイ１０と、ワード線多重選択回路１１と、ｎ個（ｎは１以上の整数）の判定回路１５１〜１５ｎと、カラム選択回路１４と、制御回路１６とを有する。
【００４９】
メモリアレイ１０は、行列状に配置された複数のメモリセルを有し、複数のメモリセルのそれぞれが複数のワード線１２のうちの１本と複数のビット線１３のうちの１本とに接続されている。ワード線多重選択回路１１は、複数のワード線１２のうち任意のワード線を選択あるいは非選択にする。カラム選択回路１４は、複数のビット線１３のうち１本以上をｎ個の判定回路１５１〜１５ｎのそれぞれに接続する。制御回路１６は、ワード線多重選択回路１１、カラム選択回路１４および判定回路１５１〜１５ｎを制御する。ワード線多重選択回路１１は、図７のニューラルネットワーク演算回路を実現するためのワード線選択回路として用いられる。
【００５０】
判定回路１５１〜１５ｎのそれぞれは、ワード線多重選択回路１１で選択されたワード線多重選択状態をニューロンの入力データとして、カラム選択回路１４によりそれぞれ接続されたビット線１３の電圧状態あるいはビット線１３に流れる電流状態に基づいて、ニューロンの積和演算動作の結果として第１の論理値（“０”）、あるいは第２の論理値（“１”）を出力データとする判定動作を行う回路であり、配置されたｎ個の判定回路により同時にｎ個の出力データ（判定結果）１７を出力する。
【００５１】
複数のワード線１２は、ｎ本を１つの単位として論理的に複数のグループ（ワード線エリア）に分割されており、ここではｍ個（ｍは１以上の整数）のワード線エリアに分割されているとしている。
【００５２】
図２は、図１に示すワード線多重選択回路１１の構成を示す図である。複数のワード線１２（ＷＬ［１］［ｎ：１］〜ＷＬ［ｍ］［ｎ：１］）は、ｍ個のワード線エリアに分割されている。ワード線多重選択回路１１は、ｍ個のワード線エリアのそれぞれに対応するｍ個のエリア内ワード線多重選択回路２１を含んでいる。例えばＷＬ［ｍ］［ｎ：１］は、ｍ番目のワード線エリアに対応するワード線のうち、１番目からｎ番目までのワード線を示す。
【００５３】
図３は図２に示すエリア内ワード線多重選択回路２１の構成を示す図であり、ｍ個のエリア内ワード線多重選択回路２１のうち、ＷＬ［１］［ｎ：１］に対応するエリア内ワード線多重選択回路［１］の構成を示している。第１のラッチ３１および第２のラッチ３２がワード線エリア内のワード線毎に配置されている。
【００５４】
第１のラッチ３１の入力Ｅには第１のラッチの制御信号ＬＡＴＳＲ１が２つのＮＯＴ回路を介して接続されており、第２のラッチ３２の出力ＱであるノードＬ２［１］［ｎ：１］がｎ個の第１のラッチ３１のそれぞれの入力Ｄに接続されている。
【００５５】
第２のラッチ３２の入力Ｅにはワード線エリア選択信号ＡＲＥＡ＿ＳＥＬ［１］、第２のラッチの制御信号ＬＡＴＳ２およびＬＡＴＲ２の３つの制御信号を２つのＮＡＮＤ回路および１つのＮＯＴ回路を介して接続されており、入力Ｄにはエリア内ワード線制御信号ＩＮ［ｎ：１］がそれぞれｎ個の第２のラッチにそれぞれ接続されている。
【００５６】
上述した制御信号である第１のラッチの制御信号ＬＡＴＳＲ１、ワード線エリア選択信号ＡＲＥＡ＿ＳＥＬ［１］、第２のラッチの制御信号ＬＡＴＳ２、ＬＡＴＲ２およびエリア内ワード線制御信号ＩＮ［ｎ：１］は制御回路１６で制御している。
【００５７】
図４は、図３に示す第１のラッチ３１および第２のラッチ３２の構成を示す図である。第１のラッチ３１および第２のラッチ３２は、データラッチで構成されており、入力Ｄ、Ｅの論理状態により出力Ｑのセット状態を決定および保持する。
【００５８】
図５は、図１に示すメモリアレイ１０の構成を示す図である。メモリアレイ１０においては、半導体記憶素子であるメモリセル５１が行列状に配置されている。各メモリセルは、複数のワード線１２のうちの１本と複数のビット線１３のうちの１本とに接続されている。
【００５９】
複数のワード線１２はＷＬ［ｍ：１］［ｎ：１］で表され、ｎ本を１つの単位としてｍ個のグループに論理的に分割されている。
【００６０】
複数のビット線１３はｕ本（ｕは１以上の整数）のビット線を１つの単位としてｎ個のグループに論理的に分割されており、ビット線のうちの１本以上がｎ個の判定回路１５１〜１５ｎに対してカラム選択回路１４によりそれぞれ接続される。
【００６１】
たとえば、１つの判定回路１５１にはｕ本のビット線ＢＬ１１〜ＢＬ１ｕのうちの１本以上のビット線が接続され、判定回路１５２には整数ｕ本のビット線ＢＬ２１〜ＢＬ２ｕのうちの１本以上のビット線が接続され、以下同様に判定回路１５ｎに対してｕ本のビット線ＢＬｎ１〜ＢＬｎｕのうちの１本以上のビット線が接続される。
【００６２】
複数のメモリセル５１は、行列状に配置されており、複数のワード線１２であるＷＬ［ｍ：１］［ｎ：１］、複数のビット線１３であるＢＬ１１〜ＢＬｎｕ、および、複数のビット線１３に対応して設けられている複数のソース線ＳＬ１１〜ＳＬｎｕに接続されている。
【００６３】
図６は、図５に示すメモリセル５１の構成を示す図である。メモリセル５１は、ワード線をゲートに接続したトランジスタＴ０と抵抗変化素子Ｒとが直列接続された抵抗変化型不揮発性メモリ素子（ＲｅＲＡＭ）であり、抵抗変化素子Ｒの一端にビット線ＢＬが接続され、トランジスタＴ０の一端にはソース線ＳＬが接続される。
【００６４】
抵抗変化素子Ｒには、ニューラルネットワークにおけるニューロンの結合重み係数が抵抗値として格納されており、抵抗値は図１には図示していない書込み回路で設定、格納する。
【００６５】
以上、本発明の半導体記憶素子を用いたニューラルネットワーク演算回路の構成について説明した。
【００６６】
以下、具体的な実施形態および動作を詳細に説明する。
【００６７】
図９は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の構成の一例を示す図である。図９のニューラルネットワーク演算回路は、図１に示す半導体記憶素子を用いたニューラルネットワーク演算回路について、判定回路が判定回路１５１〜１５４として４個配置されている構成であり、１以上の整数ｎが４の場合に相当したものである。
【００６８】
また、複数のワード線１２は４個のワード線エリアに分割しており、１以上の整数ｍが４の場合に相当したものである。
【００６９】
図１０は、図９に示すワード線多重選択回路１１の構成を示す図である。ワード線多重選択回路１１のワード線多重選択回路１１では、図２に示すワード線多重選択回路１１に対して、図９に対応するようにｎおよびｍを４であるとして、エリア内ワード線多重選択回路２１を配置している。
【００７０】
図１１は図１０に示すエリア内ワード線多重選択回路２１の構成を示す図であり、４つのエリア内ワード線多重選択回路２１のうちＷＬ［１］［４：１］に対応するものを示している。図１１のエリア内ワード線多重選択回路２１は、図３に示すエリア内ワード線多重選択回路に対してｎを４であるとした構成である。
【００７１】
第１のラッチ３１および第２のラッチ３２は図３に示したものと同様、図４に示すデータラッチで構成している。
【００７２】
図１２は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路を用いて演算動作を行うニューラルネットワークの一例を示す図である。図１２のニューラルネットワークは、図７のディープニューラルネットワークにおいて、入力層７２を８入力、隠れ層７３を１段で８ニューロンとし、出力層７４を２ニューロン、２出力としたものである。
【００７３】
入力層７２に記載のａ１〜ａ８はニューラルネットワークの入力データを示しており、隠れ層７３に記載のｂ１〜ｂ８は隠れ層７３の８つのニューロン７０の出力を示している。これらの各出力は、各ニューロンの入力をａ１〜ａ８として、ａ１〜ａ８とこれらのそれぞれに対応した結合重み７１の結合重み係数との積和演算結果である。
【００７４】
出力層７４に記載のｃ１、ｃ２は出力層７４の２つのニューロン７０の出力を示している。これらの各出力は、各ニューロンの入力をｂ１〜ｂ８として、ｂ１〜ｂ８とこれらのそれぞれに対応した結合重み７１の結合重み係数との積和演算結果である。
【００７５】
本実施形態では、各ニューロン７０の入力データおよび出力データは“０”あるいは“１”の２値である。
【００７６】
図１３は、図１２に示すニューラルネットワークにおいて行われる演算動作に関する、入力層７２の入力データａ１〜ａ８、隠れ層７３のニューロンの演算結果ｂ１〜ｂ８、および出力層７４の出力データｃ１、ｃ２の一例を示している。
【００７７】
また、図５で示すメモリアレイ１０について、４本のワード線ＷＬ［１］［１］〜ＷＬ［１］［４］の選択状態が入力データａ１〜ａ４にそれぞれ対応し、４本のワード線ＷＬ［２］［１］〜ＷＬ［２］［４］の選択状態が入力データａ５〜ａ８にそれぞれ対応しており、８本のワード線ＷＬ［２：１］［４：１］とカラム選択回路１４で判定回路１５１〜１５４のそれぞれに１本以上接続されるビット線との交点に接続されるメモリセル５１には入力データａ１〜ａ８と隠れ層７３の８つのニューロン７０との結合重み７１の重み係数が格納されている。
【００７８】
ここでは、判定回路１５１に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ８とｂ１間の結合重み係数とａ１〜ａ８とｂ５間の結合重み係数、同様に判定回路１５２に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ８とｂ２間の結合重み係数とａ１〜ａ８とｂ６間の結合重み係数、判定回路１５３に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ８とｂ３間の結合重み係数とａ１〜ａ８とｂ７間の結合重み係数、判定回路１５４に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ８とｂ４間の結合重み係数とａ１〜ａ８とｂ８間の結合重み係数がそれぞれ分散して格納されている。
【００７９】
ＷＬ［３］［１］〜ＷＬ［３］［４］の４本のワード線選択状態が隠れ層７３の８つのニューロンの出力データすなわち出力層７４の２つのニューロンの入力データであるｂ１〜ｂ８のうちのｂ１〜ｂ４にそれぞれ対応し、ＷＬ［４］［１］〜ＷＬ［４］［４］の４本のワード線の選択状態がｂ５〜ｂ８にそれぞれ対応しており、ＷＬ［４：３］［４：１］の８本のワード線とカラム選択回路１４で判定回路１５１〜１５２のそれぞれに１本以上接続されるビット線の交点に接続されるメモリセル５１には隠れ層７３の８つのニューロンと隠れ層７３の２つのニューロン７０との結合重み７１の重み係数が格納されている。
【００８０】
ここでは、判定回路１５１に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータｂ１〜ｂ８とｃ１間の結合重み係数、判定回路１５２に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータｂ１〜ｂ８とｃ２間の結合重み係数が格納されている。
【００８１】
これと同時に判定回路１５３および判定回路１５４にそれぞれ１本以上接続されるビット線には、交点に接続されるメモリセル５１には結合重み係数は格納されていない。
【００８２】
図１４は、図１２に示すニューラルネットワークとして用いられる、本実施形態に係るニューラルネットワーク演算回路の動作を示す図である。図１４は、図１３のデータに対応している。
【００８３】
図１０に示すワード線多重選択回路１１の制御信号であるワード線エリア選択信号ＡＲＥＡ＿ＳＥＬ［４：１］、エリア内ワード線制御信号ＩＮ［４：１］、第１のラッチの制御信号ＬＡＴＳＲ１、第２のラッチの制御信号ＬＡＴＳ２、ＬＡＴＲ２、ワード線選択信号ＷＬ＿ＥＮ、ワード線ＷＬ［４：１］［４：１］と、図１１に示す第１のラッチの出力信号Ｌ１［４：１］［４：１］、第２のラッチの出力信号Ｌ２［４：１］［４：１］の動作波形と判定回路１５１〜１５４の出力信号Ｙ［４：１］を示している。
【００８４】
ＡＲＥＡ＿ＳＥＬ［４：１］など、バス記述している信号は選択状態を２進数の論理で示しており、対応する信号が“Ｈ”の場合に“１”、“Ｌ”の場合に“０”で記載している。
【００８５】
動作ステップ１４０〜１４８の９つの動作ステップで図１２のニューラルネットワークの演算動作を行う。
【００８６】
動作ステップ１４０は初期状態であり、動作ステップ１４１〜動作ステップ１４６で隠れ層７３の８つのニューロン７０の演算動作を行い、動作ステップ１４７、動作ステップ１４８で、出力層７４の２つのニューロン７０の演算動作を行う。
【００８７】
以下、各動作ステップについて説明する。
【００８８】
動作ステップ１４１で、ＡＲＥＡ＿ＳＥＬ［４：１］を“０００１ｂ”、ＩＮ［４：１］を８つの入力データａ１〜ａ８のうち、ａ１〜ａ４に対応するデータである“１１０１ｂ”とし、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうち、ＷＬ［１］［４：１］に対応するエリア内ワード線多重選択回路［１］内の第２のラッチ３２の出力信号であるＬ２［１］［４：１］が“１１０１ｂ”にセット状態となる。
【００８９】
次に動作ステップ１４２で、ＡＲＥＡ＿ＳＥＬ［４：１］を“００１０ｂ”、ＩＮ［４：１］を８つの入力データａ１〜ａ８のうち、ａ８〜ａ５に対応するデータである“１００１ｂ”とし、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうち、ＷＬ［２］［４：１］に対応するエリア内ワード線多重選択回路［２］内の第２のラッチ３２の出力信号であるＬ２［２］［４：１］が“１００１ｂ”にセット状態となる。
【００９０】
本動作ステップ後、８つの入力データａ１〜ａ８に対応する信号が第２のラッチ３２の出力信号としてＬ２［１］［４：１］、Ｌ２［２］［４：１］にセットされた状態となる。
【００９１】
次に動作ステップ１４３で、ＬＡＴＳＲ１を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１内の第２のラッチの出力信号Ｌ２［４：１］［４：１］がそれぞれ接続された第１のラッチの出力信号Ｌ１［４：１］［４：１］に転送、セットされ、Ｌ１［１］［４：１］が“１１０１ｂ”、Ｌ１［２］［４：１］が“１００１ｂ”にセット状態となる。
【００９２】
次に動作ステップ１４４で、ＷＬ＿ＥＮを“Ｌ”レベルから“Ｈ”レベルに遷移することで、ワード線ＷＬ［１］［４：１］、ワード線ＷＬ［２］［４：１］に対して、それぞれ入力データａ１〜ａ４、ａ５〜ａ８に対応するワード線が選択される。
【００９３】
このワード線多重選択状態で、カラム選択回路１４でメモリアレイ１０の複数のビット線のうち、入力層７２と、隠れ層７３のうちの出力データがｂ１〜ｂ４となるニューロン７０間の結合重み７１の結合重み係数が格納されたメモリセル５１が接続されている１本以上のビット線をそれぞれの判定回路１５１〜１５４に接続する。
【００９４】
判定回路１５１〜１５４は接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、１つの判定回路で１つの出力データをニューロンの積和演算動作の結果としてＹ［４：１］に出力する。
【００９５】
ここでは、隠れ層７３の８つの各ニューロン７０の出力データｂ１〜ｂ８のうち、ｂ１〜ｂ４に対応する４つの出力データとしてＹ［４：１］を“０１１０ｂ”を出力する。
【００９６】
同時にＩＮ［４：１］を“００００ｂ”として、ＬＡＴＲ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで第２のラッチ３２の出力信号Ｌ２［４：１］［４：１］は全て“０”状態にする。
【００９７】
本動作ステップにより、隠れ層７３の８つのニューロンの積和演算動作の結果である８つの出力データｂ１〜ｂ８のうち、４つの出力データｂ１〜ｂ４が確定する。
【００９８】
一方、出力層７４の２つのニューロン７０の積和演算動作を行うためには、ｂ１〜ｂ８の８つのデータを入力データとする必要があるが、次に述べる動作ステップ１４５でｂ５〜ｂ８の４つの出力データを確定する。
【００９９】
動作ステップ１４５で、ＷＬ＿ＥＮを“Ｌ”レベルから“Ｈ”レベルに遷移することで、ワード線ＷＬ［１］［４：１］、ワード線ＷＬ［２］［４：１］に対して、それぞれ入力データａ１〜ａ４、ａ５〜ａ８に対応するワード線が選択される。
【０１００】
このワード線多重選択状態で、カラム選択回路１４はメモリアレイ１０の複数のビット線から、入力層７２と、隠れ層７３のうちの出力データがｂ５〜ｂ８となるニューロン７０間の結合重み７１の結合重み係数が格納されたメモリセル５１が接続されている１本以上のビット線をそれぞれの判定回路１５１〜１５４に接続する。
【０１０１】
判定回路１５１〜１５４は接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、１つの判定回路で１つの出力データをニューロンの積和演算動作の結果としてＹ［４：１］に出力する。
【０１０２】
ここでは、隠れ層７３の８つの各ニューロン７０の出力データｂ１〜ｂ８のうち、ｂ５〜ｂ８に対応する４つの出力データとしてＹ［４：１］を“１１０１ｂ”として出力する。
【０１０３】
このとき、ＡＲＥＡ＿ＳＥＬ［４：１］を“０１００ｂ”とし、動作ステップ１４４で得られた出力データｂ１〜ｂ４である“０１１０ｂ”をＩＮ［４：１］として設定し、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうちＷＬ［３］［４：１］に対応するエリア内ワード線多重選択回路［３］内の第２のラッチ３２の出力信号Ｌ２［３］［４：１］が“０１１０ｂ”にセット状態となる。
【０１０４】
次に動作ステップ１４６で、ＡＲＥＡ＿ＳＥＬ［４：１］を“１０００ｂ”とし、動作ステップ１４５で得られた出力データｂ５〜ｂ８である“１１０１ｂ”をＩＮ［４：１］として設定し、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうちＷＬ［４］［４：１］に対応するエリア内ワード線多重選択回路［４］内の第２のラッチ３２の出力信号Ｌ２［４］［４：１］が“１１０１ｂ”にセット状態となる。
【０１０５】
本動作ステップ後、隠れ層７３の出力データであるｂ１〜ｂ８が確定し、第２のラッチ３２の出力信号としてＬ２［３］［４：１］、Ｌ２［４］［４：１］にセットされた状態となる。
【０１０６】
次に動作ステップ１４７で、ＬＡＴＳＲ１を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１内の第２のラッチの出力信号Ｌ２［４：１］［４：１］がそれぞれ接続された第１のラッチの出力信号Ｌ１［４：１］［４：１］として転送、セットされ、Ｌ１［１］［４：１］が“０１１０ｂ”、Ｌ１［２］［４：１］が“１１０１ｂ”にセット状態となる。
【０１０７】
次に動作ステップ１４８で、ワード線選択信号ＷＬ＿ＥＮを“Ｌ”レベルから“Ｈ”レベルに遷移することで、ワード線ＷＬ［３］［４：１］、ワード線ＷＬ［４］［４：１］に対して、それぞれｂ１〜ｂ４、ｂ５〜ｂ８に対応するワード線が選択される。
【０１０８】
このワード線多重選択状態で、カラム選択回路１４はメモリアレイ１０の複数のビット線から、隠れ層７３と、出力層７４のニューロン７０間の結合重み７１の結合重み係数が格納されたメモリセル５１が接続されている１本以上のビット線をそれぞれの判定回路１５１、判定回路１５２に接続する。
【０１０９】
判定回路１５１、１５２は、接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づいて判定を行い、それぞれ１つの判定結果をニューロンの演算動作の出力データとしてＹ［２：１］に出力する。
【０１１０】
判定回路１５３、１５４に同時に接続されるビット線のメモリセル５１には結合重み係数は格納されていないため、出力データＹ［４：３］は無効な出力データであるが、ここでは“００ｂ”が出力され、Ｙ［４：１］を“０００１ｂ”として出力している。
【０１１１】
４つの出力データのうち有効な出力データｃ１、ｃ２はＹ［２：１］の２つであり、無効な出力データであるＹ［４：３］は制御回路１６で無視する制御を行う。
【０１１２】
以上説明した動作ステップ１４０〜１４８により、図１２のニューラルネットワークの演算動作が可能である。
【０１１３】
特に、ニューロンの積和演算動作を同時に行う判定回路の数がニューラルネットワークの入力層７２、隠れ層７３、出力層７４の各層のニューロンの数よりも少ない場合でも、ワード線毎に配置された第１のラッチ３１のセット状態に基づき選択するワード線多重選択状態で複数回の判定動作を行い、さらに、１回の判定動作の結果に基づき第２のラッチ３２のセット状態の決定を順次繰り返すことでニューラルネットワークの演算動作を実現している。
【０１１４】
以上説明した本発明の第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路を用いた演算動作を行う例は、入力層７２が８入力、隠れ層７３が８ニューロンとしており、ワード線エリア内のワード線数であるｎが４に対しての整数倍としているが、入力層７２の入力数および隠れ層７３のニューロン数は整数ｎ（ここでは４）の整数倍以外でも動作可能であり、その場合の動作について以下説明する。
【０１１５】
図１５は、第１の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路を用いて演算動作を行うニューラルネットワークの別の一例を示す図である。図１５のニューラルネットワークでは、図７のディープニューラルネットワークに対して、入力層７２を７入力、隠れ層７３を１段で７ニューロンとし、出力層７４を２出力としている。
【０１１６】
入力層７２の入力数および隠れ層７３のニューロン数がｎ（ここでは４）の整数倍になっていない例である。
【０１１７】
入力層７２に記載のａ１〜ａ７はニューラルネットワークの入力データを示しており、隠れ層７３に記載のｂ１〜ｂ７は隠れ層７３の７つのニューロン７０の出力を示しており、各ニューロンの入力をａ１〜ａ７として、ａ１〜ａ７のそれぞれに対応した結合重み７１の結合重み係数との積和演算結果である。
【０１１８】
出力層７４に記載のｃ１、ｃ２は出力層７４の２つのニューロン７０の出力を示しており、各ニューロンの入力をｂ１〜ｂ７として、ｂ１〜ｂ７のそれぞれに対応した結合重み７１の結合重み係数との積和演算結果である。
【０１１９】
本実施形態では、各ニューロン７０の入力データおよび出力データは“０”あるいは“１”の２値である。
【０１２０】
図１６は、図１５に示すニューラルネットワークにおいて行われる演算動作に関する、入力層７２の入力データａ１〜ａ７、隠れ層７３のニューロンの演算結果ｂ１〜ｂ７、および出力層７４の出力データｃ１、ｃ２の一例を示している。
【０１２１】
また、図５で示すメモリアレイ１０について、ＷＬ［１］［１］〜ＷＬ［１］［４］の４本のワード線選択状態が入力データａ１〜ａ４にそれぞれ対応し、ＷＬ［２］［１］〜ＷＬ［２］［３］の３本のワード線の選択状態が入力データａ５〜ａ７にそれぞれ対応しており、ＷＬ［２］［３：１］、ＷＬ［１］［４：１］の７本のワード線とカラム選択回路１４で判定回路１５１〜１５４のそれぞれに１本以上接続されるビット線の交点のメモリセル５１には入力データａ１〜ａ７と隠れ層７３の８つのニューロン７０との結合重み７１の重み係数が格納されている。
【０１２２】
ここでは、判定回路１５１に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ７とｂ１間の結合重み係数とａ１〜ａ７とｂ５間の結合重み係数、同様に判定回路１５２に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ７とｂ２間の結合重み係数とａ１〜ａ７とｂ６間の結合重み係数、判定回路１５３に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ７とｂ３間の結合重み係数とａ１〜ａ７とｂ７間の結合重み係数、判定回路１５４に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータａ１〜ａ７とｂ４間の結合重み係数がそれぞれ分散して格納されている。
【０１２３】
ＷＬ［３］［１］〜ＷＬ［３］［４］の４本のワード線選択状態が隠れ層７３の７つのニューロンの出力データすなわち出力層７４の２つのニューロンの入力データｂ１〜ｂ７のうちのｂ１〜ｂ４にそれぞれ対応し、ＷＬ［４］［１］〜ＷＬ［４］［３］の３本のワード線の選択状態がｂ５〜ｂ７にそれぞれ対応しており、ＷＬ［４］［３：１］、ＷＬ［３］［４：１］の７本のワード線とカラム選択回路１４で判定回路１５１〜１５２のそれぞれに１本以上接続されるビット線の交点に接続されるメモリセル５１には隠れ層の８つのニューロンと隠れ層７３の２つのニューロン７０との結合重み７１の重み係数が格納されている。
【０１２４】
ここでは、判定回路１５１に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータｂ１〜ｂ７とｃ１間の結合重み係数が格納されており、判定回路１５２に接続される１本以上のビット線との交点に接続されるメモリセル５１にはデータｂ１〜ｂ７とｃ２間の結合重み係数が格納されている。
【０１２５】
これと同時に判定回路１５３および判定回路１５４にそれぞれ１本以上接続されるビット線には、交点に接続されるメモリセル５１には結合重み係数は格納されていない。
【０１２６】
図１７は、図１５に示すニューラルネットワークとして用いられる、本実施形態に係るニューラルネットワーク演算回路の動作を示す図である。図１７は、図１６のデータに対応している。図１７の各信号の名称は、図１４と同様である。
【０１２７】
動作ステップ１７０〜１７８の９つの動作ステップで図１５のニューラルネットワークの演算動作を行う。
【０１２８】
動作ステップ１７０は初期状態であり、動作ステップ１７１〜動作ステップ１７６で隠れ層７３の７つのニューロン７０の演算動作を行い、動作ステップ１７７、動作ステップ１７８で、出力層７４の２つのニューロン７０の演算動作を行う。
【０１２９】
以下、各動作ステップの詳細を説明する。
【０１３０】
動作ステップ１７１で、ＡＲＥＡ＿ＳＥＬ［４：１］を“０００１ｂ”、ＩＮ［４：１］を７つの入力データａ１〜ａ７のうち、ａ１〜ａ４に対応するデータである“１１０１ｂ”とし、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうち、ＷＬ［１］［４：１］に対応するエリア内ワード線多重選択回路［１］内の第２のラッチ３２の出力信号であるＬ２［１］［４：１］が“１１０１ｂ”にセット状態となる。
【０１３１】
次に動作ステップ１７２で、ＡＲＥＡ＿ＳＥＬ［４：１］を“００１０ｂ”、ＩＮ［３：１］を７つの入力データａ１〜ａ７のうち、ａ７〜ａ５に対応するデータである“００１ｂ”、対応する入力データが存在しないＩＮ［４］は“０ｂ”に固定とし、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうち、ＷＬ［２］［４：１］に対応するエリア内ワード線多重選択回路［２］内の第２のラッチ３２の出力信号であるＬ２［２］［４：１］が“０００１ｂ”にセット状態となる。
【０１３２】
本動作ステップ後、７つの入力データａ１〜ａ７に対応する信号が第２のラッチ３２の出力信号としてＬ２［１］［４：１］、Ｌ２［２］［３：１］にセットされた状態となる。
【０１３３】
次に動作ステップ１７３で、ＬＡＴＳＲ１を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１内の第２のラッチの出力信号Ｌ２［４：１］［４：１］がそれぞれ接続された第１のラッチの出力信号Ｌ１［４：１］［４：１］に転送、セットされ、Ｌ１［１］［４：１］が“１１０１ｂ”、Ｌ１［２］［４：１］が“０００１ｂ”にセット状態となる。
【０１３４】
次に動作ステップ１７４で、ＷＬ＿ＥＮを“Ｌ”レベルから“Ｈ”レベルに遷移することで、ワード線ＷＬ［１］［４：１］、ワード線ＷＬ［２］［３：１］に対して、それぞれ入力データａ１〜ａ４、ａ５〜ａ７に対応するワード線が選択される。
【０１３５】
このワード線多重選択状態で、カラム選択回路１４でメモリアレイ１０の複数のビット線のうち、入力層７２と、隠れ層７３のうちの出力データがｂ１〜ｂ４となるニューロン７０間の結合重み７１の結合重み係数が格納されたメモリセル５１が接続されている１本以上のビット線をそれぞれの判定回路１５１〜１５４に接続する。
【０１３６】
判定回路１５１〜１５４は接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、１つの判定回路で１つの出力データをニューロンの積和演算動作の結果としてＹ［４：１］に出力する。
【０１３７】
ここでは、隠れ層７３の７つの各ニューロン７０の出力データｂ１〜ｂ７のうち、ｂ１〜ｂ４に対応する４つの出力データとしてＹ［４：１］を“０１１０ｂ”として出力する。
【０１３８】
同時にＩＮ［４：１］を“００００ｂ”として、ＬＡＴＲ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで第２のラッチ３２の出力信号Ｌ２［４：１］［４：１］は全て“０”状態にする。
【０１３９】
本動作ステップにより、隠れ層７３の７つのニューロンの積和演算動作の結果である８つの出力データｂ１〜ｂ７のうち、４つの出力データｂ１〜ｂ４が確定する。
【０１４０】
一方、出力層７４の２つのニューロン７０の積和演算動作を行うためには、ｂ１〜ｂ７の７つのデータを入力データとする必要があるが、次に述べる動作ステップ１７５でｂ５〜ｂ７の３つの出力データを確定する。
【０１４１】
動作ステップ１７５で、ＷＬ＿ＥＮを“Ｌ”レベルから“Ｈ”レベルに遷移することで、ワード線ＷＬ［１］［４：１］、ワード線ＷＬ［２］［３：１］に対して、それぞれ入力データａ１〜ａ４、ａ５〜ａ７に対応するワード線が選択される。
【０１４２】
このワード線多重選択状態で、カラム選択回路１４はメモリアレイ１０の複数のビット線から、入力層７２と、隠れ層７３のうちの出力データがｂ５〜ｂ７となるニューロン７０間の結合重み７１の結合重み係数が格納されたメモリセル５１が接続されている１本以上のビット線をそれぞれの判定回路１５１〜１５３に接続する。
【０１４３】
判定回路１５４に同時に接続されるビット線には結合重み係数は格納されていない。
【０１４４】
判定回路１５１〜１５３は接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、１つの判定回路で１つの出力データをニューロンの積和演算動作の結果としてＹ［３：１］に出力する。
【０１４５】
ここでは、隠れ層７３の８つの各ニューロン７０の出力データｂ１〜ｂ７のうち、ｂ５〜ｂ７に対応する３つの出力データとしてＹ［３：１］を“１０１ｂ”として出力する。
【０１４６】
ここで、判定回路１５４に接続されるビット線のメモリセル５１には結合重み係数は格納されていないため、出力データＹ［４］は無効な出力データであるが、ここでは“０ｂ”が出力されており、Ｙ［４：１］を“０１０１ｂ”として出力している。
【０１４７】
このとき、ＡＲＥＡ＿ＳＥＬ［４：１］を“０１００ｂ”とし、動作ステップ１７４で得られた出力データｂ１〜ｂ４である“０１１０ｂ”をＩＮ［４：１］として設定し、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうちＷＬ［３］［４：１］に対応するエリア内ワード線多重選択回路［３］内の第２のラッチ３２の出力信号Ｌ２［３］［４：１］が“０１１０ｂ”にセット状態となる。
【０１４８】
次に動作ステップ１４６で、ＡＲＥＡ＿ＳＥＬ［４：１］を“１０００ｂ”とし、動作ステップ１４５で得られた出力データｂ５〜ｂ７である“１０１ｂ”をＩＮ［３：１］として設定する。
【０１４９】
このとき、ＩＮ［４］をＹ［４］の値に係わらず、“０ｂ”に固定し、ＩＮ［４：１］を“０１０１ｂ”に設定し、ＬＡＴＳ２を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１のうちＷＬ［４］［４：１］に対応するエリア内ワード線多重選択回路［４］内の第２のラッチ３２の出力信号Ｌ２［４］［４：１］が“０１０１ｂ”にセット状態となる。
【０１５０】
本動作ステップ後、隠れ層７３の出力データであるｂ１〜ｂ７が確定し、第２のラッチ３２の出力信号としてＬ２［３］［４：１］、Ｌ２［４］［３：１］にセットされた状態となる。
【０１５１】
次に動作ステップ１７７で、ＬＡＴＳＲ１を“Ｌ”レベルから“Ｈ”レベル、“Ｈ”レベルから“Ｌ”レベルに遷移することで、エリア内ワード線多重選択回路２１内の第２のラッチの出力信号Ｌ２［４：１］［４：１］がそれぞれ接続された第１のラッチの出力信号Ｌ１［４：１］［４：１］として転送、セットされ、Ｌ１［１］［４：１］が“０１１０ｂ”、Ｌ１［２］［３：１］が“１０１ｂ”にセット状態となる。
【０１５２】
次に動作ステップ１７８で、ワード線選択信号ＷＬ＿ＥＮを“Ｌ”レベルから“Ｈ”レベルに遷移することで、ワード線ＷＬ［３］［４：１］、ワード線ＷＬ［４］［３：１］に対して、それぞれｂ１〜ｂ４、ｂ５〜ｂ７に対応するワード線が選択される。
【０１５３】
このワード線多重選択状態で、カラム選択回路１４はメモリアレイ１０の複数のビット線から、隠れ層７３と、出力層７４のニューロン７０間の結合重み７１の結合重み係数が格納されたメモリセル５１が接続されている１本以上のビット線をそれぞれの判定回路１５１、判定回路１５２に接続する。
【０１５４】
判定回路１５１、１５２は接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、それぞれ１つの出力データをＹ［２：１］に出力する。
【０１５５】
判定回路１５３、１５４に同時に接続されるビット線のメモリセル５１には結合重み係数は格納されていないため、出力データＹ［４：３］は無効な出力データであるが、ここでは“００ｂ”が出力され、Ｙ［４：１］を“０００１ｂ”として出力している。
【０１５６】
４つの出力データのうち有効な出力データｃ１、ｃ２はＹ［２：１］の２つであり、無効な出力データであるＹ［４：３］は制御回路１６で無視する制御を行う。
【０１５７】
以上説明した動作ステップ１７０〜１７８により、図１５のように、入力層７２の入力数、隠れ層７３のニューロン数がｎ（ここでは４）の整数倍ではない場合でも、ニューラルネットワークの演算動作が実現可能である。
【０１５８】
以上本発明の実施形態を説明してきたが、本発明の半導体記憶素子を用いたニューラルネットワーク演算回路は、上述の例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種種変更等を加えたものに対しても有効である。
【０１５９】
たとえば、説明の容易化のため、具体的な実施形態および動作を判定回路の個数が４つ、ワード線エリアの数ｍを４つとした例として説明したが、整数ｎおよびｍは任意の数で構成可能である。
【０１６０】
また、隠れ層７３は１段として説明したが多段の場合においても、同様の動作が可能である。
【０１６１】
＜第２の実施形態＞
図１８は、第２の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路の構成を示す図である。
【０１６２】
ニューラルネットワーク演算動作を行うニューラルネットワーク演算動作モードとメモリセルに格納されたメモリデータを読み出すメモリ動作モードの２つのモードの切り替え動作が可能な構成である。
【０１６３】
ワード線多重選択回路１８１は、ニューラルネットワーク演算動作モード時には、複数のワード線１２のうち任意のワード線を選択あるいは非選択にし、メモリ動作モード時には、複数のワード線１２のうち１本のワード線を選択あるいは非選択にする動作を行う。
【０１６４】
カラム選択回路１８４は、ニューラルネットワーク演算動作モード時には、１以上の整数ｎ個が配置された判定回路１５１〜１５ｎと複数のビット線１３のうち、１本以上を選択しｎ個の判定回路１５１〜１５ｎのそれぞれに接続し、メモリ動作モード時には、複数のビット線１３のうち１本以上を選択し読出し回路１８８に接続する動作を行う。
【０１６５】
制御回路１８６は、ワード線多重選択回路１８１、カラム選択回路１８４および判定回路１５１〜１５ｎを制御する。
【０１６６】
読出し回路１８８は、メモリ動作モード時にワード線多重選択回路１８１で選択したワード線とカラム選択回路１８４により接続されるビット線との交点に接続されているメモリセルのデータ状態をメモリデータ１８９に出力するメモリの読出し回路である。
【０１６７】
その他のメモリアレイ１０、判定回路１５１〜１５ｎは第１の実施形態で説明した図１に示すものと同等である。
【０１６８】
図１９は、図１８に示すワード線多重選択回路１８１の構成を示す図である。ワード線多重選択回路１８１は、図２に示すワード線多重選択回路１１に対して、ニューラルネットワーク動作モード信号（モード切り替え信号）ＮＮ＿ＥＮが更に入力される構成であり、ｍ個の複数のワード線エリアのそれぞれに対応した複数のエリア内ワード線多重選択回路１９１を含んでいる。
【０１６９】
図２０は図１９に示すエリア内ワード線多重選択回路１９１の構成を示す図であり、ｍ個のエリア内ワード線多重選択回路１９１のうち、ＷＬ［１］［ｎ：１］に対応するエリア内ワード線多重選択回路［１］の構成を示している。第１のラッチ３１および第２ラッチがワード線エリア内のワード線毎に配置されていることは第１の実施形態で説明した図３と同等であるが、図２０の回路では第１のラッチ３１の出力信号に切り替え回路２０３が接続されている。
【０１７０】
切り替え回路２０３は“０”、“１”で記載される２つの入力のうち“０”側には、エリア選択信号ＡＲＥＡ＿ＳＥＬ［１］とエリア内ワード線制御信号ＩＮ［ｎ：１］のＡＮＤ出力であるＲＳＥＬ［１］［ｎ：１］がそれぞれ接続されており、“１”側には、第１のラッチ３１の出力であるＬ１［１］［ｎ：１］がそれぞれ接続されており、ニューラルネットワーク動作モード信号ＮＮ＿ＥＮが“Ｈ”状態のときは、ニューラルネットワーク演算動作モードとして、“１”側に接続されたＬ１［１］［ｎ：１］を出力し、“Ｌ”状態のときは、メモリ動作モードとして、ＲＳＥＬ［１］［ｎ：１］を出力する。
【０１７１】
ニューラルネットワーク演算動作モード時には、制御回路１８６は、ＮＮ＿ＥＮを“Ｈ”状態にする。このとき、第１の実施形態で説明した動作と同様の動作を行うことでニューラルネットワークの演算動作を行う。
【０１７２】
メモリ動作モード時には、制御回路１８６は、ＮＮ＿ＥＮを“Ｌ”状態とし、エリア選択信号ＡＲＥＡ＿ＳＥＬ［ｍ：１］およびエリア内ワード線制御信号ＩＮ［ｎ：１］のそれぞれについて、読出し対象とするワード線に対応する信号を“Ｈ”状態とし、ワード線選択信号を“Ｈ”状態とする。読出し対象とするワード線に対応するエリア内ワード線多重選択回路１９１は、１本のワード線を選択状態とする。読出し回路１８８は、カラム選択回路により接続されたビット線の電圧状態あるいはビット線に流れる電流状態に基づき、第１の論理値あるいは第２の論理値をメモリデータとして出力する読出し判定動作を行う。その結果、対象のメモリセルのデータ状態をメモリデータ１８９として得ることができる。
【０１７３】
以上説明した第２の実施形態に係る半導体記憶素子を用いたニューラルネットワーク演算回路を用いることで、第１の実施形態で実現しているニューラルネットワーク演算動作に加え、メモリセルの読出し動作を行う機能を付加することができる。
【０１７４】
以上、本発明の実施形態を説明したが、本発明の半導体記憶素子を用いたニューラルネットワーク演算回路は、上述の例示にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種種変更等を加えたものに対しても有効である。
【０１７５】
例えば、上記実施形態の半導体記憶素子を用いたニューラルネットワーク演算回路は、抵抗変化型不揮発性メモリ（ＲｅＲＡＭ）の例であったが、本発明は、磁気抵抗型不揮発性メモリ（ＭＲＡＭ）、相変化型不揮発性メモリ（ＰＲＡＭ）、強誘電体型不揮発性メモリ（ＦｅＲＡＭ）等、抵抗変化型メモリ以外の不揮発性半導体記憶素子でも適用可能である。
【産業上の利用可能性】
【０１７６】
本発明に係る半導体記憶素子を用いたニューラルネットワーク演算回路は、大規模なニューラルネットワークの演算を従来の判定回路などの周辺回路一式を複数セット用意することによる面積増大を招くことなく実現することが可能である。【０１７７】
従って、ニューラルネットワーク演算回路の大規模集積化を小面積で実現できるという効果を有し、例えば、自らが学習と判断を行う人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術を搭載した半導体集積回路、及びそれらを搭載した電子機器等に対して有用である。
【符号の説明】
【０１７８】
１０  メモリアレイ
１２  ワード線
１３  ビット線
１５１〜１５ｎ  判定回路
１７  判定回路の出力データＹ［ｎ：１］
３１  第１のラッチ
３２  第２のラッチ
５１  メモリセル
７０  ニューロン
７１  結合重み
７２  入力層
７３  隠れ層
７４  出力層
２０３  切り替え回路
ＡＲＥＡ＿ＳＥＬ［ｍ：１］  ワード線エリア選択信号
ＩＮ［ｎ：１］  エリア内ワード線制御信号
ＬＡＴＳＲ１  第１のラッチの制御信号
ＬＡＴＳ２、ＬＡＴＲ２  第２のラッチの制御信号
ＷＬ＿ＥＮ  ワード線選択信号
ＷＬ［ｍ：１］［ｎ：１］  ワード線
ＢＬ１１〜ＢＬｎｕ  ビット線
ＳＬ１１〜ＳＬｎｕ  ソース線
Ｔ０  トランジスタ
Ｒ  抵抗変化素子
ＮＮ＿ＥＮ  ニューラルネットワーク動作モード信号
【図１】
2019049654.tif 000003
【図２】
2019049654.tif 000004
【図３】
2019049654.tif 000005
【図４】
2019049654.tif 000006
【図５】
2019049654.tif 000007
【図６】
2019049654.tif 000008
【図７】
2019049654.tif 000009
【図８】
2019049654.tif 000010
【図９】
2019049654.tif 000011
【図１０】
2019049654.tif 000012
【図１１】
2019049654.tif 000013
【図１２】
2019049654.tif 000014
【図１３】
2019049654.tif 000015
【図１４】
2019049654.tif 000016
【図１５】
2019049654.tif 000017
【図１６】
2019049654.tif 000018
【図１７】
2019049654.tif 000019
【図１８】
2019049654.tif 000020
【図１９】
2019049654.tif 000021
【図２０】
2019049654.tif 000022
【国際調査報告】
2019049654.tif 000023
2019049654.tif 000024
2019049654.tif 000025
2019049654.tif 000026