(57)【要約】  １つ以上の不揮発性メモリアレイをシナプスとして利用する人工ニューラルネットワークデバイス。シナプスは、入力を受信し、そこから出力を生成するように構成されている。ニューロンは、出力を受信するように構成されている。シナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配置され、そこから絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、入力に、格納された重み値を乗じて出力を生成するように構成されている。【選択図】図１４
2019517138.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークデバイスであって、
第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成されている第１の複数のシナプスであって、前記第１の複数のシナプスが、
複数のメモリセルを含み、前記メモリセルのそれぞれが、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、前記チャネル領域の第１の部分の上方に配置され、そこから絶縁された浮遊ゲートと、前記チャネル領域の第２の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、を含み、
前記複数のメモリセルのそれぞれは、前記浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されており、
前記複数のメモリセルは、前記第１の複数の入力に、前記格納された重み値を乗じて前記第１の複数の出力を生成するように構成されている、第１の複数のシナプスと、
前記第１の複数の出力を受信するように構成されている第１の複数のニューロンと、を含む、ニューラルネットワークデバイス。
【請求項２】
前記第１の複数のニューロンが、前記第１の複数の出力に基づいて第１の複数の決定を生成するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項３】
前記第１の複数の決定に基づいて第２の複数の入力を受信し、そこから第２の複数の出力を生成するように構成されている第２の複数のシナプスであって、前記第２の複数のシナプスが、
複数の第２のメモリセルを含み、前記第２のメモリセルのそれぞれが、前記半導体基板内に形成された、間に第２のチャネル領域が延在している離間した第２のソース領域及び第２のドレイン領域と、前記第２のチャネル領域の第１の部分の上方に配置され、そこから絶縁された第２の浮遊ゲートと、前記第２のチャネル領域の第２の部分の上方に配置され、そこから絶縁された第２の非浮遊ゲートと、を含み、
前記複数の第２のメモリセルのそれぞれは、前記第２の浮遊ゲート上の多くの電子に対応する第２の重み値を格納するように構成されており、
前記複数の第２のメモリセルは、前記第２の複数の入力に、前記格納された第２の重み値を乗じて前記第２の複数の出力を生成するように構成されている、第２の複数のシナプスと、
前記第２の複数の出力を受信するように構成されている第２の複数のニューロンと、を含む、第２の複数のシナプスを含む、を更に含む、請求項２に記載のニューラルネットワークデバイス。
【請求項４】
前記第２の複数のニューロンが、前記第２の複数の出力に基づいて第２の複数の決定を生成するように構成されている、請求項３に記載のニューラルネットワークデバイス。
【請求項５】
前記第１の複数のシナプスの前記メモリセルのそれぞれが
前記ソース領域の上方に配置され、そこから絶縁された第２の非浮遊ゲートと、
前記浮遊ゲートの上方に配置され、そこから絶縁された第３の非浮遊ゲートと、を更に含む、請求項１に記載のニューラルネットワークデバイス。
【請求項６】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項７】
前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項６に記載のニューラルネットワークデバイス。
【請求項８】
前記複数の第１の線上での前記第１の複数の入力の受信前に、前記第１の複数の入力の電流を電圧に対数変換するための回路機構を更に含む、請求項６に記載のニューラルネットワークデバイス。
【請求項９】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１０】
前記複数の第５の線のそれぞれについて、前記第２の複数の出力のうちの１つが提供され、前記第２の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項９に記載のニューラルネットワークデバイス。
【請求項１１】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１２】
前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１１に記載のニューラルネットワークデバイス。
【請求項１３】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１４】
前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項１３に記載のニューラルネットワークデバイス。
【請求項１５】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第８の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第６の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１６】
前記複数の第６の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項１５に記載のニューラルネットワークデバイス。
【請求項１７】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、また前記複数の第４の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１８】
前記複数の第４の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１７に記載のニューラルネットワークデバイス。
【請求項１９】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第３の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項２０】
前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１９に記載のニューラルネットワークデバイス。
【請求項２１】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第４の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項２２】
前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項２１に記載のニューラルネットワークデバイス。
【請求項２３】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２４】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２５】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２６】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２７】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第８の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第６の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２８】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、また前記複数の第４の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２９】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第３の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項３０】
前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１９に記載のニューラルネットワークデバイス。
【請求項３１】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第４の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本出願は、参照により本明細書に組み込まれる、２０１６年５月１７日出願の米国仮出願第６２／３３７，７６０号の利益を主張するものである。
【０００２】
本発明は、ニューラルネットワークに関する。
【背景技術】
【０００３】
人工ニューラルネットワークは、多数の入力によって異なり得る機能を推定する又は近似するために使用され、概ね未知である生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）によく似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。ＣＭＯＳアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのＣＭＯＳ実装シナプス（CMOS-implemented synapses）は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
【課題を解決するための手段】
【０００５】
上記問題及びニーズは、１つ以上の不揮発性メモリアレイをシナプスとして利用する人工ニューラルネットワークデバイスによって対処される。ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配置され、そこから絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、第１の複数の入力に、格納された重み値を乗じて第１の複数の出力を生成するように構成されている。
【０００６】
本発明の他の目的及び特徴は、明細書、請求項、添付図面を精読することによって明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１】人工ニューラルネットワークを示す図である。
【図２】従来の２ゲートの不揮発性メモリセルの側面断面図である。
【図３】図２のメモリセルに対する従来のアレイアーキテクチャを示す図である。
【図４】従来の２ゲートの不揮発性メモリセルの側面断面図である。
【図５】図４のメモリセルに対する従来のアレイアーキテクチャを示す図である。
【図６】従来の４ゲートの不揮発性メモリセルの側面断面図である。
【図７】図６のメモリセルに対する従来のアレイアーキテクチャを示す図である。
【図８Ａ】均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。
【図８Ｂ】不均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。
【図９】双方向調整アルゴリズムを示すフローチャートである。
【図１０】電流比較を使用した重みマッピングを示すブロック図である。
【図１１】電圧比較を使用した重みマッピングを示すブロック図である。
【図１２】不揮発性メモリアレイを利用する異なるレベルの例示のニューラルネットワークを示す図である。
【図１３】ベクトル乗算器マトリクスを示すブロック図である。
【図１４】様々なレベルのベクトル乗算器マトリクスを示すブロック図である。
【図１５】４ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。
【図１６】４ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。
【図１７】４ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。
【図１８】４ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。
【図１９】４ゲートのメモリセルのアレイの第３のアーキテクチャを示す概略図である。
【図２０】４ゲートのメモリセルのアレイの第４のアーキテクチャを示す概略図である。
【図２１】４ゲートのメモリセルのアレイの第５のアーキテクチャを示す概略図である。
【図２２】４ゲートのメモリセルのアレイの第６のアーキテクチャを示す概略図である。
【図２３】２ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。
【図２４】２ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。
【図２５】電流電圧ログ変換器を示す図である。
【図２６】電圧電流ログ変換器を示す図である。
【図２７】接地基準（Gnd-referred）電流加算器を示す図である。
【図２８】Ｖｄｄ基準（Vdd-referred）電流加算器を示す図である。
【図２９】不揮発性メモリアレイのＮ2ニューラルネット入力の利用を示す図である。
【図３０】不揮発性メモリアレイのＮ2ニューラルネット入力の利用を示す図である。
【図３１】周期的にシフトする入力線を有する不揮発性メモリアレイのニューラルネット入力の利用を示す図である。
【図３２】図１５のメモリアレイアーキテクチャであるが、周期的にシフトする入力線を有するメモリアレイアーキテクチャを示す概略図である。
【図３３】図２０のメモリアレイアーキテクチャであるが、周期的にシフトする入力線を有するメモリアレイアーキテクチャを示す概略図である。
【発明を実施するための形態】
【０００８】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。デジタル不揮発性メモリは、既知である。例えば、米国特許第５，０２９，１３０号（「’１３０号特許」）は、分割ゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。メモリセルを図２に示す。各メモリセル１０は、半導体基板１２内に形成され、チャネル領域１８をその間に有するソース領域及びドレイン領域１４／１６を含む。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方及びドレイン領域１６の一部の上方に形成され、それから絶縁される（かつその伝導率を制御する）。制御ゲート２２は、チャネル領域１８の第２の部分の上方に配置され、そこから絶縁される（かつその伝導率を制御する）第１の部分２２ａと、浮遊ゲート２０の上方に延在する第２の部分２２ｂと、を有する。浮遊ゲート２０及び制御ゲート２２は、ゲート酸化物２６によって基板１２からから絶縁される。
【０００９】
メモリセルは、制御ゲート２２上に高圧正電圧を印加することによって消去され（ここで電子は、浮遊ゲートから除去される）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０から制御ゲート２２まで中間絶縁体２４を通って浮遊ゲート２０上の電子をトンネリングさせる。
【００１０】
メモリセルは、制御ゲート２２上に正電圧、及びドレイン１６上に正電圧を印加することによってプログラミングされる（ここで電子は、浮遊ゲート上に印加される）。電子電流は、ソース１４からドレイン１６に向かって流れることになる。電子は、制御ゲート２２と浮遊ゲート２０との間の間隙に達すると、加速し発熱する。熱せられた電子のいくつかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物２６を通って浮遊ゲート２０の上に注入される。
【００１１】
メモリセルは、ドレイン１６及び制御ゲート２２上に正の読み出し電圧を印加することによって読み出される（制御ゲート下のチャネル領域をオンにする）。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６に正に結合する）場合、浮遊ゲート２０下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検出される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラミングされる）場合、次に浮遊ゲート２０下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域１８を流れず（又はわずかに流れる）、プログラミングされた状態又は「０」の状態として検出される。
【００１２】
メモリアレイのアーキテクチャを図３に示す。メモリセル１０は、行及び列に配置される。各列において、メモリセルは、ミラー方式にエンドツーエンドで配置され、その結果、それらのメモリセルは、それぞれが共通ソース領域１４（Ｓ）を共有するメモリセルのペアとして形成され、メモリセルペアの隣接するセットはそれぞれ共通ドレイン領域１６（Ｄ）を共有する。任意の所与のメモリセルの行のソース領域１４は全て、ソース線１４ａによって電気的に接続される。任意の所与のメモリセルの列のドレイン領域１６は全て、ビット線１６ａによって電気的に接続される。任意の所与のメモリセルの行の制御ゲート２２は全て、制御ゲート線２２ａによって電気的に接続される。したがって、メモリセルを個々にプログラミング及び読み出しすることができる一方、メモリセル消去は１行ずつ実行される（メモリセルの各行は、制御ゲート線２２ａ上への高電圧の適用によって一緒に消去される）。特定のメモリセルを消去する場合は、同じ行にある全てのメモリセルもまた消去される。
【００１３】
当業者は、ソース及びドレインに互換性があり得ることを理解しており、ここで浮遊ゲートは、図４に示されるようにドレインの代わりにソースの上方に部分的に延在し得る。図５は、メモリセル１０、ソース線１４ａ、ビット線１６ａ、及び制御ゲート線２２ａを含む対応するメモリセルアーキテクチャを最も良く示している。図から明らかなように、同じ行のメモリセル１０は、同じソース線１４ａ及び同じ制御ゲート線２２ａを共有し、一方同じ列の全てのセルのドレイン領域は、同じビット線１６ａに電気的に接続されている。アレイの設計は、デジタルアプリケーション用に最適化されており、例えば、１．６Ｖ及び７．６Ｖを選択した制御ゲート線２２ａ及びソース線１４ａにそれぞれ印加し、選択したビット線１６ａを接地することによるなど、選択したセルの個々のプログラミングを可能にする。同じペア内の選択されていないメモリセルを妨害することは、選択されていないビット線１６ａに２ボルト超の電圧を印加し、残りの線を接地することによって回避される。消去に関与しているプロセス（浮遊ゲート２０から制御ゲート２２までの電子のファウラーノルドハイムトンネリング）は、ドレイン電圧（すなわち、同じソース線１４ａを共有する行方向で２つの隣接するセルにより異なり得る電圧のみ）に弱く影響を受けるだけであるので、メモリセル１０を個々に消去することはできない。
【００１４】
３つ以上のゲートを有する分割ゲートメモリセルもまた既知である。例えば、図６に示されるように、メモリセルは、ソース領域１４、ドレイン領域１６、チャネル領域１８の第１の部分の上方の浮遊ゲート２０、チャネル領域１８の第２の部分の上方の選択ゲート２８、浮遊ゲート２０の上方の制御ゲート２２、及びソース領域１４の上方の消去ゲート３０を有し、それらは既知である（例えば、米国特許第６，７４７，３１０号を参照されたく、これは参照によりあらゆる目的で本明細書に組み込まれる）。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続されている又は接続可能であることを意味する。プログラミングは、浮遊ゲート２０上にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
【００１５】
４ゲートのメモリセルアレイのアーキテクチャは、図７に示されるように構成され得る。この実施形態では、それぞれの水平の選択ゲート線２８ａは、メモリセルのその行の選択ゲート２８全てを電気的に一緒に接続する。それぞれの水平の制御ゲート線２２ａは、メモリセルのその行の制御ゲート２２全てを電気的に一緒に接続する。それぞれの水平のソース線１４ａは、ソース領域１４を共有するメモリセルの２つの行に対するソース領域１４全てを電気的に一緒に接続する。それぞれのビット線１６ａは、メモリセルのその列のドレイン領域１６を電気的に一緒に接続する。それぞれの消去ゲート線３０ａは、消去ゲート３０を共有するメモリセルの２つの行に対する消去ゲート３０全てを電気的に一緒に接続する。以前のアーキテクチャと同様に、個々のメモリセルは、独立してプログラミング及び読み出しを行うことができる。しかしながら、セルを個々に消去する方法はない。消去は、消去ゲート線３０ａ上に高圧正電圧を印加することによって実行され、このことは同じ消去ゲート線３０ａを共有するメモリセルの両方の行の同時消去をもたらす。代表的な動作電圧は、下の表１内のものを含む（この実施形態では、選択ゲート線２８ａはワード線ＷＬと呼ばれることがある）：
【表１】
2019517138.tif 000003
【００１６】
上述の不揮発性メモリアレイをニューラルネットワークで利用するために、２つの改変がなされている。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラミング、消去、及び読み出しすることができるように線を再構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラミングされた状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル格納がアナログであるか、又は多数の別個の値のうちの１つを最低限格納することができ、それは、メモリアレイ内の全てのセルに対する非常に正確、かつ個々の調整を可能にし、またメモリアレイを格納に理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
メモリセルのプログラミング及び格納
【００１７】
メモリセル内に格納されるニューラルネットワークの重みレベルの割り当ては、図８Ａに示されるような均等な間隔、又は図８Ｂに示されるような不均等な間隔であり得る。不揮発性メモリセルのプログラミングは、図９に示されるものなど双方向調整アルゴリズムを使用して実装され得る。Ｉｃｅｌｌは、プログラミングされる標的セルの読み出し電流であり、Ｉｔａｒｇｅｔは、セルが理想的にプログラミングされる際の所望の読み出し電流である。標的セル読み出し電流Ｉｃｅｌｌを読み出し（工程１）、標的読み出し電流Ｉｔａｒｇｅｔと比較する（工程２）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより大きい場合は、プログラミング調整プロセスを実行して（工程３）浮遊ゲート（ルックアップテーブルを使用して制御ゲート上の所望のプログラミング電圧ＶＣＧを決定する）上の電子数を増大させ（工程３ａ〜３ｂ）、必要に応じてこれを繰り返すことができる（工程３ｃ）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより小さい場合は、消去調整プロセスを実行して（工程４）浮遊ゲート（ルックアップテーブルを使用して消去ゲート上の所望の消去電圧ＶＥＧを決定する）上の電子数を減少させ（工程４ａ〜４ｂ）、必要に応じてこれを繰り返すことができる（工程４ｃ）。プログラミング調整プロセスが標的読み出し電流を通り過ぎると、（許容できるデルタ値内で）標的読み出し電流を達成するまで次に消去調整プロセスを実行し（工程３ｄ及び工程４ａで始まる）、逆もまた同様である（工程４ｄ及び工程３ａで始まる）。
【００１８】
不揮発性メモリセルのプログラミングは、プログラミング調整を使用して一方向の調整アルゴリズムを使用して代わりに実装され得る。このアルゴリズムを使用して、メモリセルを最初に完全に消去し、次に標的セルの読み出し電流が標的閾値に達するまで図９のプログラミング調整工程３ａ〜３ｃを実行する。あるいは、不揮発性メモリセルの調整は、消去調整を使用して一方向の調整アルゴリズムを使用して実装され得る。このアプローチでは、メモリセルを最初に完全にプログラミングし、次に標的セルの読み出し電流が標的閾値に達するまで図９の消去調整工程４ａ〜４ｃを実行する。
【００１９】
図１０は、電流比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み、メモリセルの標的デジタル重みを表す）は、デジタルアナログ変換器（ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル−５ビット）に変換する。Ｖｏｕｔは、電圧電流変換器Ｖ／Ｉ  Ｃｏｎｖ４２によって電流Ｉｏｕｔ（例えば、６４電流レベル−５ビット）に変換される。電流は、電流比較器ＩＣｏｍｐ４４に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：インクリメントＥＧ電圧；又はプログラム：インクリメントＣＧ電圧）。外へ出るメモリセル電流Ｉｃｅｌｌｏｕｔ（すなわち、読み出し動作から）は、電流比較器ＩＣｏｍｐ４４に供給される。電流比較器ＩＣｏｍｐ４４は、メモリセル電流Ｉｃｅｌｌｏｕｔを重みデジタルビット由来の電流Ｉｏｕｔと比較してメモリセル１０に格納された重みを示す信号を生成する。
【００２０】
図１１は、電圧比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み）は、デジタルアナログ変換器（ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル−５ビット）に変換する。Ｖｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：インクリメントＥＧ電圧；又はプログラム：インクリメントＣＧ電圧）。外へ出るメモリセル電流Ｉｃｅｌｌｏｕｔは、電圧Ｖ２ｏｕｔへの変換（例えば、６４電圧レベル−５ビット）のために電流電圧変換器Ｉ／Ｖ  Ｃｏｎｖ４８に供給される。電圧Ｖ２ｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。電圧比較器ＶＣｏｍｐ４６は、電圧Ｖｏｕｔ及びＶ２ｏｕｔを比較してメモリセル１０に格納された重みを示す信号を生成する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
【００２１】
図１２は、不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に図示する。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。Ｓ０は入力であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつの３つの３２×３２ピクセルアレイ、各ピクセルが５ビット精度である）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）は、シナプスＣＢ１に提供され、それによってこれらの９個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のニューロンによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、そのため、この新しく位置づけられたフィルタの９ピクセル値が、シナプスＣＢ１に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【００２２】
Ｃ１において、本例では、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する）。１６個の特徴マップのそれぞれは、フィルタスキャンに適用される１６個の異なるシナプス重みのセットの１つによって生成される。Ｃ１特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【００２３】
各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ１（プーリング）は、Ｃ１からＳ１へ行く前に適用される。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。Ｓ１において、１６個の１５×１５特徴マップ（すなわち、１６個のそれぞれ１５×１５ピクセルの異なるアレイ）が存在する。Ｓ１からＣ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。Ｃ２において、２２個の１２×１２特徴マップが存在する。各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ２（プーリング）は、Ｃ２からＳ２へ行く前に適用される。Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、Ｓ２からＣ３へ行くシナプスＣＢ３で適用され、ここでＣ３内の全てのニューロンはＳ２内の全てのマップに接続する。Ｃ３において、６４個のニューロンが存在する。Ｃ３から出力Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。Ｓ３における出力は、１０個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
【００２４】
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図１３は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクターとマトリクスとの乗算（ＶＭＭ）アレイのブロック図である。具体的には、ＶＭＭ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイの出力をデコードする。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭにより使用される重みを格納する。第２に、メモリアレイは、効果的に、入力に、メモリアレイに格納された重みを乗じて出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。
【００２５】
メモリアレイの出力は、メモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する差動加算オペアンプ３８に供給される。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。整流された出力値は、次の層（例えば上の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する）、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
【００２６】
図１４は、様々なレベルのＶＭＭのブロック図である。図１４に示されるように、入力は、デジタルからアナログにデジタルアナログ変換器３１によって変換され、入力ＶＭＭ３２ａに提供される。入力ＶＭＭ３２ａによって生成された出力は、次に、次のＶＭＭ（隠しレベル２）３２ｃへの入力として提供される出力を生成する次のＶＭＭ（隠しレベル１）３２ｂへの入力として提供される、などとなる。ＶＭＭの３２の様々な層は、畳み込みニューラルネットワーク（ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。各ＶＭＭは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のＶＭＭは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。
【００２７】
図１５は、ドレイン加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイを示す。図１５のアレイに関する様々なゲート線及び領域線は、消去ゲート線３０ａが、水平ではなく垂直に延びる（すなわち、各消去ゲート線３０ａは、メモリセルのその列に関して全ての消去ゲート３０を一緒に接続する）ことを除いて、（対応する構造に同じ要素番号を用いて）図７中のものと同じであり、その結果、各メモリセル１０は、独立してプログラミング、消去、及び読み出しを行うことができる。そのセルに適切な重み値を使用してメモリセルのそれぞれがプログラミングされた後で、アレイは、ドレイン加算マトリクス乗算器として作動する。マトリクス入力は、Ｖｉｎ０．．．Ｖｉｎ７であり、選択ゲート線２８ａ上に印加される。図１５のアレイに関して出力のマトリクスＩｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａ上で生成される。各出力Ｉｏｕｔは、列内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。
ｌｏｕｔ＝Σ｛ｌｉｊ*Ｗｉｊ｝
【００２８】
各メモリセル（又はメモリセルのペア）は、その列内のメモリセル（又はメモリセルのペア）に格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。任意の所与のシナプスの出力は、電流の形態である。したがって、第１の段階後のそれぞれの後続のＶＭＭ段階は、好ましくは、前のＶＭＭ段階からの入力電流を入力電圧Ｖｉｎとして使用される電圧に変換するための回路機構を含む。図１６は、そのような電流電圧変換回路機構の例を示しているが、これは入力電流Ｉｉｎ０．．．ＩｉｎＮを入力電圧Ｖｉｎ０．．．ＶｉｎＮにログ変換する改変されたメモリセルの行である。
【００２９】
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
入力電流を入力電圧に変換するためのメモリセルを使用するＩＶログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
ベクターマトリクス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
【００３０】
図１７及び図１８は、ドレイン加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図１７及び図１８のアレイに関する線は、ソース線１４ａが水平ではなく垂直に延びる（すなわち、各ソース線１４ａは、メモリセルのその列に関して全てのソース領域１４を一緒に接続する）こと、及び消去ゲート線３０ａが垂直ではなく水平に延びる（すなわち、各消去ゲート線３０ａは、メモリセルペアのその行に関して全ての消去ゲート３０ｓを一緒に接続する）ことを除いて図１５及び図１６のアレイ内のものと同じであり、その結果各メモリセルは、独立してプログラミング、消去、及び読み出しを行うことができる。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ上のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａ上のままである。
【００３１】
図１９は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図１９のアレイの線は、選択ゲート線２８ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図１５及び図１６中のものと同じである。具体的には、メモリセルの各列は、２つの選択ゲート線、すなわち奇数行メモリセルの全ての選択ゲート２８を一緒に接続する第１の選択ゲート線２８ａ１、及び偶数行メモリセルの全ての選択ゲート２８を一緒に接続する第２の選択ゲート線２８ａ２を含む。
【００３２】
図１９の頂部と底部において回路は、入力電流Ｉｉｎ０．．．ＩｉｎＮを入力電圧Ｖｉｎ０．．．ＶｉｎＮにログ変換するように働く。この図で示されるマトリクス入力は、Ｖｉｎ０．．．Ｖｉｎ５であり、選択ゲート線２８ａ１及び２８ａ２上に印加される。具体的には、入力Ｖｉｎ０は、列１内の奇数セルについて選択線２８ａ１上に印加される。Ｖｉｎ１は、列１内の偶数セルについて選択ゲート線２８ａ２上に印加される。Ｖｉｎ２は、列２内の奇数セルについて選択ゲート線２８ａ１上に印加される。Ｖｉｎ３は、列２内の偶数セルについて選択ゲート線２８ａ２上に印加されるなど。マトリクス出力Ｉｏｕｔ０．．．Ｉｏｕｔ３は、ソース線１４ａ上に提供される。ビット線１６ａは、固定バイアス電圧ＶＢＬｒｄでバイアスされる。各出力Ｉｏｕｔは、メモリセルのその行内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。したがって、このアーキテクチャについて、メモリセルの各行は、その行内のメモリセルに格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【００３３】
図２０は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図２０のアレイの線は、ビット線１６が垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図１９中のものと同じである。具体的には、メモリセルの各列は、２本のビット線、すなわち隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第１のビット線１６ａ１（同じビット線コンタクトを共有する２つのメモリセル）、及び次の隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第２のビット線１６ａ２を含む。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ１及び２８ａ２上のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａ上のままである。全ての第１のビット線１６ａ１のセットは、バイアスレベル（例えば、１．２ｖ）でバイアスされており、全ての第２のビット線１６ａ２のセットは、別のバイアスレベル（例えば、０ｖ）でバイアスされている。ソース線１４ａは、実質上のバイアスレベル（例えば、０．６ｖ）でバイアスされる。共通ソース線１４ａを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、各出力Ｉｏｕｔは、これらの差動出力の合計である。
ｌｏｕｔ＝Σ（ｌｉｊｕ*Ｗｉｊｕ−ｌｉｊｄ*Ｗｉｊｄ）
ＳＬ電圧~１／２Ｖｄｄ，~０．５ｖ
したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値によって決まる差動出力の合計である出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【００３４】
図２１は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図２１のアレイの線は、消去ゲート３０ａが水平に延び、制御ゲート線２２ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図２０中のものと同じである。具体的には、メモリセルの各列は、２つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第１の制御ゲート線２２ａ１、及び偶数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第２の制御ゲート線２２ａ２を含む。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ１及び２８ａ２上のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａ上のままである。
【００３５】
図２２は、ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図２２のアレイの線及び入力は、図１７中のものと同じである。しかしながら、出力がビット線１６ａ上に提供される代わりに、それらはソース線１４ａ上に提供される。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ上のままである。
【００３６】
図２３は、ドレイン加算マトリクス乗算器として配置された２ゲートのメモリセル（すなわち、図１に示されるものなど）のアレイの構成を示す。図２３のアレイの線は、水平のソース線１４ａが垂直のソース線１４ａに置き換えられたことを除き、図５中のものと同じである。具体的には、各ソース線１４ａは、メモリセルのその列のソース領域全てに接続されている。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、制御ゲート線２２ａ上に印加される。マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａ上に生成される。各出力Ｉｏｕｔは、列内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。メモリセルの各列は、その列内のメモリセルに格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【００３７】
図２４は、ソース加算マトリクス乗算器として配置された２ゲートのメモリセル（すなわち、図１に示されるものなど）のアレイの構成を示す。図２４のアレイの線は、制御ゲート線２２ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図５中のものと同じである。具体的には、メモリセルの各列は、２つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第１の制御ゲート線２２ａ１、及び偶数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第２の制御ゲート線２２ａ２を含む。
【００３８】
この構成用のマトリクス入力は、Ｖｉｎ０．．．ＶｉｎＮであり、制御ゲート線２２ａ１及び２２ａ２上に印加される。具体的には、入力Ｖｉｎ０は、列１内の奇数行セルについて制御ゲート線２２ａ１上に印加される。Ｖｉｎ１は、列１内の偶数行セルについて制御ゲート線２２ａ２上に印加される。Ｖｉｎ２は、列２内の奇数行セルについて制御ゲート線２２ａ１上に印加される。Ｖｉｎ３は、列２内の偶数行セルについて選択ゲート線２２ａ２上に印加されるなど。マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａ上に生成される。共通ソース線１４ａを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値によって決まる差動出力の合計である出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【００３９】
図１５〜図１６、図１９及び図２０の実施形態に関する例示の動作電圧は以下を含む。
【表２】
2019517138.tif 000004
おおよその数値として以下が挙げられる。
【表３】
2019517138.tif 000005
【００４０】
図１７〜図１８及び図２２の実施形態に関する例示の動作電圧は以下を含む。
【表４】
2019517138.tif 000006
おおよその数値として以下が挙げられる。
【表５】
2019517138.tif 000007
【００４１】
図２５は、本発明で使用するための例示の電流電圧ログ変換器５０を示す（ＷＬ＝選択ゲート線、ＣＧ＝制御ゲート線、ＥＧ＝消去ゲート線）。メモリは、弱反転領域にバイアスされる、Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt。図２６は、本発明で使用するための例示の電圧電流ログ変換器５２を示す。メモリは、弱反転領域にバイアスされる。図２７は、本発明で使用するための接地基準電流加算器５４を示す。図２８は、本発明で使用するためのＶｄｄ基準電流加算器５６を下に示す。負荷の例として、ダイオード、不揮発性メモリセル、及びレジスタが挙げられる。
【００４２】
上述のメモリアレイ構成は、フィードフォワード分類エンジンを実装する。トレーニングは、メモリセル内に「重み」値を格納することによって完了し（シナプスアレイの生成）、このことは、個々のセルのサブスレッショルドスロープファクタが改変されたことを意味する。ニューロンは、シナプスの出力を加算すること及びニューロン閾値に応じて始動させる又は始動させないことによって実行される（すなわち、決定を下す）。
【００４３】
以下の工程を使用して、入力電流ＩEを処理することができる（例えば、入力電流は、画像認識のための特徴計算の出力から直接来ている）：
工程１−不揮発性メモリで、より簡単に処理するためにログスケールに変換する。
・双極トランジスタを使用した入力電流電圧変換。双極トランジスタのバイアス電圧ＶBEは、エミッタ電流と対数関係を有する。
・ＶＢＥ＝ａ*ｌｎＩE−ｂ→ＶBE∝ｌｎＩE
−式中、ａ（比）及びｂ（バイアス又はオフセット）は定数である
・ＶBE電圧は、メモリセルがサブスレッショルド領域で操作されるように発生する。
工程２−発生したバイアス電圧ＶＢＥをワード線（サブスレッショルド領域内の）に印加する。
・ＣＭＯＳトランジスタの出力電流ＩDRAINは、入力電圧（ＶGS）、熱電圧（ＵT）及びカッパ（ｋ＝Ｃox／（Ｃox＋Ｃdep））と指数関数的関係を有し、式中、Ｃox及びＣdepは、浮遊ゲートの電荷に線形従属である。
・ＩDRAIN∝Ｅｘｐ（ｋＶBE／ＵT）、又は
・ｌｎＩDRAIN∝ｋＶBE／ＵT
・ＩDRAINの対数は、複数のＶBE及び浮遊ゲート上の電荷（カッパに関連した）と線形関係を有し、式中、ＵTは、所与の温度で一定である。
・出力＝入力＊重みの関係がシナプスに対して存在する。
【００４４】
セルのそれぞれの出力（ＩDRAIN）は、読み出しモードにおいて結び付けられて、アレイ又はアレイのセクタ内の各シナプスの値を合計し得る。ＩDRAINは、ひとたび合計されると、電流比較器に送り込まれ、単一知覚ニューラルネットワークの比較に応じて「論理」０又は１を出力することができる。１つの知覚（１つのセクタ）は上述されている。各知覚からの出力は、複数の知覚のセクタの次のセットに送り込まれ得る。
【００４５】
メモリベースの畳み込みニューラルネットワークにおいて、入力のセットは、特定の重みを乗じて、隠し層又は出力層用の所望の結果を生成する必要がある。上述のように、１つの技術は、水平及び垂直の方向の両方で画像全体にＸピクセルずつシフトされるＭ×Ｍフィルタ（カーネル）を使用して、先行する画像（例えば、Ｎ×Ｎマトリクス）をスキャンすることである。ピクセルのスキャンは、メモリアレイに対する十分な入力が存在する限り、同時に少なくとも部分的に実行され得る。例えば、図２９に示されるように、Ｍのフィルタサイズ＝６（すなわち、３６ピクセルの６×６アレイ）を使用して、Ｎ×Ｎ画像アレイをＸ＝２のシフトを用いてスキャンすることができる。その例において、フィルタ内の６ピクセルの第１の行は、Ｎ2個の入力のメモリアレイへの入力のうち最初の６個に提供される。次に、フィルタ内の６ピクセルの第２の行は、Ｎ2個の入力の第２のＮ個の入力のうち入力の最初の６個に提供されるなど。これは、図２９の図の第１の行において表現されるが、ここで点は、上に示したように入力による乗算のためのメモリアレイ内に格納された重みを表す。次に、フィルタは、２ピクセルずつ右側にシフトされ、シフトされたフィルタ内の６ピクセルの第１の行は、第１のＮ個の入力の第３から第８の入力に提供され、６ピクセルの第２の行は、第２のＮ個の入力の第３から第８の入力に提供されるなど。ひとたびフィルタが画像の右側までシフトされると、フィルタは、左側に戻って再配置されるが、２ピクセルずつ下にシフトされ、ここでプロセスは、Ｎ×Ｎ画像全体がスキャンされるまで再び繰り返す。水平にシフトされたスキャンの各セットは、どのＮ2個のメモリアレイの入力が、乗算用のデータを有するかを示す台形により表現され得る。
【００４６】
したがって、スキャン間の２ピクセルのシフト及び６×６のフィルタサイズを使用したＮ×Ｎ画像アレイのスキャンは、Ｎ2個の入力及び（（Ｎ−４）／２））2個の行を必要とする。図３０は、メモリアレイ内の重みがどのようにフィルタスキャンのために格納されるかを示す台形をグラフィカルに示す。網掛け領域の各行は、水平のスキャンのうち１セットの間に入力に適用される重みを表現する。矢印は、メモリアレイの線形の入力線を示す（例えば、入力データを受信する図１５中の入力線２８ａは、直線的にメモリアレイにわたってずっと延び、それぞれ１つずつがメモリセルの同じ行に常にアクセスする；図１９のアレイの場合では、入力線のそれぞれは、メモリセルの同じ列に常にアクセスする）。白い領域は、入力に供給されるデータがない場所を示す。したがって、白い領域は、メモリセルアレイの非効率的な使用を示す。
【００４７】
効率は、高めることができ、また図３１に示されるようにメモリアレイを再構成することによって入力の総数を低減することができる。具体的には、メモリアレイの入力線は、別の行又は列に周期的にシフトされ、したがってアレイの未使用の部分を低減し、したがってスキャンを実行するのに必要なアレイ上に繰り返される入力線の数を低減する。具体的には、シフトＸ＝２である本例の場合では、矢印は、２行又は２列ずつ各入力線が周期的にシフトし、広く離間したメモリセル利用の台形を密集したメモリセル利用の方形に変形することを示す。メモリセル部分の間の余分な空間は、このシフトを実行する電線束に必要とされるが、メモリセルアレイに必要な入力の数は、大きく低減される（５ｎ＋６のみ）。
【００４８】
図３２は、図１５のアレイであるが、入力線として使用される線２８ａに対する２行の周期的なシフトを伴うアレイを示す。入力線に対する行の周期的なシフトは、図１７、図２２、及び図２３のアレイで同様に実行され得る。図３３は、図２０のアレイであるが、入力線として使用される線２８ａ１及び２８ａ２に対する２列の周期的なシフトを伴うアレイを示す。入力線に対する列の周期的なシフトは、図１９、図２１、及び図２４のアレイで同様に実行され得る。
【００４９】
本発明は、図示した上記実施形態（複数可）に限定されるものではなく、任意の請求の範囲にあるあらゆる全ての変形例も包含することが理解されよう。例えば、本明細書で本発明に言及することは、任意の請求項又は請求項の用語の範囲を限定することを意図されておらず、その代わり、単に、１つ以上の請求項によって網羅され得る１つ以上の特徴に言及するものである。上述の材料、プロセス、及び数値例は、単なる例示であり、請求項を限定するものと見なされるべきではない。単一の材料層は、複数のそのような又は類似の材料層として形成することができ、そして、逆もまた同様である。各メモリセルアレイの出力は、次のニューロン層に送られる前にフィルタコンデンセーションによって操作されるが、そうである必要はない。
【００５０】
本明細書で使用される場合、「の上方に（over）」及び「の上に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「の上に間接的に」（中間材料、要素、又は空間がそれらの間に配設される）を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「間接的に隣接した」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「に取付けられた」は、「に直接取付けられた」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「に間接的に取付けられた」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない）、及び「間接的に電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板の上に直接、中間材料／要素をそれらの間に何ら伴わずに、形成すること、並びにその要素を基板の上に間接的に、１つ以上の中間材料／要素をそれらの間に伴って、形成することを含み得る。
【図１】
2019517138.tif 000008
【図２】
2019517138.tif 000009
【図３】
2019517138.tif 000010
【図４】
2019517138.tif 000011
【図５】
2019517138.tif 000012
【図６】
2019517138.tif 000013
【図７】
2019517138.tif 000014
【図８Ａ】
2019517138.tif 000015
【図８Ｂ】
2019517138.tif 000016
【図９】
2019517138.tif 000017
【図１０】
2019517138.tif 000018
【図１１】
2019517138.tif 000019
【図１２】
2019517138.tif 000020
【図１３】
2019517138.tif 000021
【図１４】
2019517138.tif 000022
【図１５】
2019517138.tif 000023
【図１６】
2019517138.tif 000024
【図１７】
2019517138.tif 000025
【図１８】
2019517138.tif 000026
【図１９】
2019517138.tif 000027
【図２０】
2019517138.tif 000028
【図２１】
2019517138.tif 000029
【図２２】
2019517138.tif 000030
【図２３】
2019517138.tif 000031
【図２４】
2019517138.tif 000032
【図２５】
2019517138.tif 000033
【図２６】
2019517138.tif 000034
【図２７】
2019517138.tif 000035
【図２８】
2019517138.tif 000036
【図２９】
2019517138.tif 000037
【図３０】
2019517138.tif 000038
【図３１】
2019517138.tif 000039
【図３２】
2019517138.tif 000040
【図３３】
2019517138.tif 000041
【手続補正書】
【提出日】平成30年12月21日(2018.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ニューラルネットワークデバイスであって、
第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成されている第１の複数のシナプスであって、前記第１の複数のシナプスが、
複数のメモリセルを含み、前記メモリセルのそれぞれが、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、前記チャネル領域の第１の部分の上方に配置され、そこから絶縁された浮遊ゲートと、前記チャネル領域の第２の部分の上方に配置され、そこから絶縁された第１の非浮遊ゲートと、を含み、
前記複数のメモリセルのそれぞれは、前記浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されており、
前記複数のメモリセルは、前記第１の複数の入力に、前記格納された重み値を乗じて前記第１の複数の出力を生成するように構成されている、第１の複数のシナプスと、
前記第１の複数の出力を受信するように構成されている第１の複数のニューロンと、を含む、ニューラルネットワークデバイス。
【請求項２】
前記第１の複数のニューロンが、前記第１の複数の出力に基づいて第１の複数の決定を生成するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項３】
前記第１の複数の決定に基づいて第２の複数の入力を受信し、そこから第２の複数の出力を生成するように構成されている第２の複数のシナプスであって、前記第２の複数のシナプスが、
複数の第２のメモリセルを含み、前記第２のメモリセルのそれぞれが、前記半導体基板内に形成された、間に第２のチャネル領域が延在している離間した第２のソース領域及び第２のドレイン領域と、前記第２のチャネル領域の第１の部分の上方に配置され、そこから絶縁された第２の浮遊ゲートと、前記第２のチャネル領域の第２の部分の上方に配置され、そこから絶縁された第２の非浮遊ゲートと、を含み、
前記複数の第２のメモリセルのそれぞれは、前記第２の浮遊ゲート上の多くの電子に対応する第２の重み値を格納するように構成されており、
前記複数の第２のメモリセルは、前記第２の複数の入力に、前記格納された第２の重み値を乗じて前記第２の複数の出力を生成するように構成されている、第２の複数のシナプスと、
前記第２の複数の出力を受信するように構成されている第２の複数のニューロンと、を含む、第２の複数のシナプスを含む、を更に含む、請求項２に記載のニューラルネットワークデバイス。
【請求項４】
前記第２の複数のニューロンが、前記第２の複数の出力に基づいて第２の複数の決定を生成するように構成されている、請求項３に記載のニューラルネットワークデバイス。
【請求項５】
前記第１の複数のシナプスの前記メモリセルのそれぞれが
前記ソース領域の上方に配置され、そこから絶縁された第２の非浮遊ゲートと、
前記浮遊ゲートの上方に配置され、そこから絶縁された第３の非浮遊ゲートと、を更に含む、請求項１に記載のニューラルネットワークデバイス。
【請求項６】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項７】
前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項６に記載のニューラルネットワークデバイス。
【請求項８】
前記複数の第１の線上での前記第１の複数の入力の受信前に、前記第１の複数の入力の電流を電圧に対数変換するための回路機構を更に含む、請求項６に記載のニューラルネットワークデバイス。
【請求項９】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１０】
前記複数の第５の線のそれぞれについて、前記第２の複数の出力のうちの１つが提供され、前記第２の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項９に記載のニューラルネットワークデバイス。
【請求項１１】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１２】
前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１１に記載のニューラルネットワークデバイス。
【請求項１３】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１４】
前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項１３に記載のニューラルネットワークデバイス。
【請求項１５】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第８の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第６の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１６】
前記複数の第６の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項１５に記載のニューラルネットワークデバイス。
【請求項１７】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、また前記複数の第４の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項１８】
前記複数の第４の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１７に記載のニューラルネットワークデバイス。
【請求項１９】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第３の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項２０】
前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１９に記載のニューラルネットワークデバイス。
【請求項２１】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第４の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項２２】
前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項２１に記載のニューラルネットワークデバイス。
【請求項２３】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２４】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２５】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２６】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２７】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第５の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第６の線と、
前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、
前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第８の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第６の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２８】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、また前記複数の第４の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
【請求項２９】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第３の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【請求項３０】
前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項２９に記載のニューラルネットワークデバイス。
【請求項３１】
前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第３の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第４の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
【国際調査報告】
2019517138.tif 000042