(57)【特許請求の範囲】
【請求項１】
印加電圧を増加または減少させていくと所定の遷移電圧において第１抵抗状態から第２抵抗状態に変化する抵抗変化素子と、
前記抵抗変化素子へ印加する電圧の印加電圧値を設定する電圧設定部と、
合計のパルス幅が指定値に応じた時間幅であって振幅が前記印加電圧値である電圧パルスを前記抵抗変化素子に印加するパルス発生部と、
前記電圧パルスが印加された後に、前記抵抗変化素子の状態を読み出す読出部と、
読み出された前記抵抗変化素子の状態に応じた値の出力信号を出力する出力部と、
を備え、
前記電圧設定部は、前記抵抗変化素子に対して時間幅を変化させて電圧を印加した場合における前記第１抵抗状態から前記第２抵抗状態に変化する累積確率分布が、指数分布となるような前記印加電圧値を設定する
信号発生装置。
【請求項２】
前記電圧設定部は、時間幅を変化させて前記電圧パルスを前記抵抗変化素子に印加した場合における前記第１抵抗状態から前記第２抵抗状態に変化する累積確率分布が、下記の式（１）においてβ＝１の累積確率分布となるような前記印加電圧値を設定する
請求項１に記載の信号発生装置。
Ｆ（ｔ）＝１−ｅｘｐ｛−（ｔ／Ｔ）β｝…（１）
ｔは、前記抵抗変化素子に印加する前記電圧パルスの時間幅を表す。
Ｆ（ｔ）は、時間幅ｔの前記電圧パルスを前記抵抗変化素子に印加した場合において、前記第１抵抗状態から前記第２抵抗状態に変化する累積確率を表す。
βは、ワイブル分布の形状パラメータを表す。
Ｔは、定数を表す。
【請求項３】
前記抵抗変化素子は、
第１の金属層と、
前記第１の金属層の上に形成されたタンタル酸化物層と、
前記タンタル酸化物層の上に形成された第２の金属層と
を有する
請求項１または２に記載の信号発生装置。
【請求項４】
第１値または第２値の何れかの値をとる少なくとも１つの入力信号に応じた確率で、第１値または第２値の何れかの値をとる出力信号を出力する伝送装置であって、
印加電圧を増加または減少させていくと所定の遷移電圧において第１抵抗状態から第２抵抗状態に変化する抵抗変化素子と、
前記抵抗変化素子へ印加する電圧の印加電圧値を設定する電圧設定部と、
少なくとも１つの前記入力信号を取得する入力部と、
それぞれの前記入力信号に対応する少なくとも１つの重み値を記憶する重み記憶部と、
それぞれの前記入力信号に対応する少なくとも１つの電圧パルスを時間方向に多重化した、振幅が前記印加電圧値の合成電圧パルスを前記抵抗変化素子に印加する合成信号生成部と、
前記合成電圧パルスが印加された後に、前記抵抗変化素子の状態を読み出す読出部と、
読み出された前記抵抗変化素子の状態に応じた値の前記出力信号を出力する出力部と、
を備え、
それぞれの前記電圧パルスの時間幅は、対応する前記入力信号が第１値の場合には基準の時間幅、対応する前記入力信号が第２値の場合には対応する前記重み値に応じた時間幅であり、
前記電圧設定部は、前記抵抗変化素子に対して時間幅を変化させて電圧を印加した場合における前記第１抵抗状態から前記第２抵抗状態に変化する累積確率分布が、指数分布となるような前記印加電圧値を設定する
伝送装置。
【請求項５】
前記合成信号生成部は、
それぞれの前記入力信号に対応し、前記電圧パルスを発生する少なくとも１つのパルス発生部と、
それぞれの前記パルス発生部から出力された少なくとも１つの前記電圧パルスを時間方向に多重化して前記合成電圧パルスを生成する多重化部と、
を有し、
それぞれの前記パルス発生部は、対応する前記入力信号が第１値の場合には基準の時間幅、対応する前記入力信号が第２値の場合には対応する前記重み値に応じた時間幅の前記電圧パルスを発生する
請求項４に記載の伝送装置。
【請求項６】
前記合成信号生成部は、それぞれの前記入力信号に対応し、対応する前記入力信号が第１値の場合には基準の時間幅、対応する前記入力信号が第２値の場合には対応する前記重み値に応じた時間幅を算出する少なくとも１つの時間幅算出部をさらに有し、
それぞれの前記パルス発生部は、対応する前記時間幅算出部により算出された時間幅の前記電圧パルスを発生する
請求項５に記載の伝送装置。
【請求項７】
前記合成信号生成部は、
それぞれの前記入力信号の値に応じた時間幅を合計した合計時間幅を算出する演算部と、
前記合計時間幅の前記電圧パルスを前記合成電圧パルスとして発生するパルス発生部と、
を有し、
前記演算部は、それぞれの前記入力信号の値に応じた時間幅を、対応する前記入力信号が第１値の場合には基準の時間幅、対応する前記入力信号が第２値の場合には対応する前記重み値に応じた時間幅として、前記合計時間幅を算出する
請求項４に記載の伝送装置。
【請求項８】
前記合成信号生成部は、
少なくとも１つの前記入力信号を１つずつ順次に指定する入力指定部と、
前記入力信号が指定される毎に、対応する前記入力信号が第１値の場合には基準の時間幅、対応する前記入力信号が第２値の場合には対応する前記重み値に応じた時間幅を算出する時間幅算出部と、
前記入力信号が指定される毎に、前記時間幅算出部により算出された時間幅の前記電圧パルスを発生するパルス発生部と、
を有し、
前記読出部は、全ての前記入力信号が指定された後に、前記抵抗変化素子の状態を読み出す
請求項４に記載の伝送装置。
【請求項９】
前記伝送装置は、複数の前記出力信号を出力し、
前記伝送装置は、
前記入力部と、
それぞれの前記出力信号に対応した複数の発火部と、
を備え、
それぞれの前記発火部は、前記抵抗変化素子と、前記電圧設定部と、前記重み記憶部と、前記合成信号生成部と、前記読出部と、前記出力部と、を有し、
前記重み記憶部は、対応する前記出力信号とそれぞれの前記入力信号との組に対応する少なくとも１つの前記重み値を記憶し、
前記出力部は、対応する前記出力信号を前記抵抗変化素子の状態に応じた値として出力する
請求項４から８の何れか１項に記載の伝送装置。
【請求項１０】
前記伝送装置は、複数の前記出力信号を出力し、
前記伝送装置は、
複数の前記出力信号を１つずつ順次に指定する出力指定部と、
それぞれの前記出力信号に対応した複数の前記重み記憶部と、
前記抵抗変化素子を初期化する初期化部と、
をさらに備え、
それぞれの前記重み記憶部は、対応する前記出力信号とそれぞれの前記入力信号との組に対応する少なくとも１つの前記重み値を記憶し、
前記合成信号生成部は、前記出力信号が指定される毎に、前記合成電圧パルスを前記抵抗変化素子に印加し、
前記読出部は、前記出力信号が指定される毎、前記抵抗変化素子の状態を読み出し、
前記初期化部は、前記出力信号が指定される毎、前記合成電圧パルスの印加に先だって、前記抵抗変化素子を初期化し、
前記出力部は、前記出力信号が指定される毎に読み出された前記抵抗変化素子の状態に応じた値の複数の前記出力信号を出力する
請求項４から８の何れか１項に記載の伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、信号発生装置および伝送装置に関する。
【背景技術】
【０００２】
制限付きボルツマンマシン（ＲＢＭ）等の多層ニューラルネットワークを用いたディープラーニング技術が知られている。また、専用のハードウェアを用いてディープラーニングを行い、消費電力を下げる技術も研究されている。
【０００３】
ディープラーニングを専用のハードウェアで実現する場合、入力信号から発火確率を計算する演算器と、発火確率に応じて出力信号を出力する乱数発生器とを有するニューロン素子を回路等により再現しなければならない。しかし、このようなニューロン素子は、構成が大きくなってしまっていた。
【０００４】
また、ＲＢＭ等の多層ニューラルネットワークにおいて、あるニューロン素子への入力信号は、複数の他のニューロン素子から出力された出力信号の和となる。従って、ディープラーニングを専用のハードウェアで実現する場合、それぞれのニューロン素子の前段に、和演算をする回路を設けなければならなく、回路が複雑で規模が大きくなってしまっていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開２０１５−０００６４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、簡易な構成で、指定値に応じた確率で出力信号を発生することにある。
【課題を解決するための手段】
【０００７】
実施形態の信号発生装置は、抵抗変化素子と、電圧設定部と、パルス発生部と、読出部と、出力部とを備える。前記抵抗変化素子は、印加電圧を増加または減少させていくと所定の遷移電圧において第１抵抗状態から第２抵抗状態に変化する。前記電圧設定部は、前記抵抗変化素子へ印加する電圧の印加電圧値を設定する。前記パルス発生部は、合計のパルス幅が指定値に応じた時間幅であって振幅が前記印加電圧値である電圧パルスを前記抵抗変化素子に印加する。前記読出部は、前記電圧パルスが印加された後に、前記抵抗変化素子の状態を読み出す。前記出力部は、読み出された前記抵抗変化素子の状態に応じた値の出力信号を出力する。前記電圧設定部は、前記抵抗変化素子に対して時間幅を変化させて電圧を印加した場合における前記第１抵抗状態から前記第２抵抗状態に変化する累積確率分布が、指数分布となるような前記印加電圧値を設定する。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る信号発生装置の構成図。
【図２】抵抗変化素子の一例を示す図。
【図３】Ｔａ２Ｏ５を利用した抵抗変化素子の電圧電流特性図。
【図４】遷移が生じる累積確率を示す図。
【図５】抵抗変化素子の状態変化の累積確率のワイブルプロットを示す図。
【図６】微小電圧パルスを印加した場合のワイブルプロットを示す図。
【図７】第２実施形態に係る伝送装置を示す図。
【図８】第２実施形態に係る伝送装置の構成図。
【図９】合成信号生成部の構成の第１例を示す図。
【図１０】合成電圧パルスの第１例を示す図。
【図１１】合成信号生成部の構成の第２例を示す図。
【図１２】合成電圧パルスの第２例を示す図。
【図１３】合成信号生成部の構成の第３例を示す図。
【図１４】第３実施形態に係る伝送装置を示す図。
【図１５】第３実施形態に係る伝送装置の構成の第１例を示す図。
【図１６】第３実施形態に係る伝送装置の構成の第２例を示す図。
【図１７】制限付きボルツマンマシンを示す図。
【図１８】隠れ層ユニットと可視層ユニットとの間の重み値を表す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態に係る信号発生装置および伝送装置について詳細に説明する。実施形態に係る信号発生装置は、簡易な構成の素子を用いて、指定値に応じた確率で出力信号を発生することを目的とする。また、実施形態に係る伝送装置は、簡易な構成の素子を用いた小さい回路により、少なくとも１つの入力信号に応じた確率で出力信号を出力することを目的とする。
【００１０】
（第１実施形態）
図１は、第１実施形態に係る信号発生装置２０の構成を示す図である。信号発生装置２０は、指定値に応じた確率で出力信号を発生する。
【００１１】
本実施形態においては、信号発生装置２０は、実数値で表された指定値（例えばｗ）を外部から受け取り、０または１の２値を取る出力信号を確率的に出力する。信号発生装置２０は、例えば、指定値が０の場合には値が０の出力信号を出力し、指定値が大きくなるほど高い確率で値が１の出力信号を出力する。
【００１２】
信号発生装置２０は、抵抗変化素子３０と、初期化部３２と、電圧設定部３４と、パルス発生部３６と、読出部３８と、出力部４０とを備える。
【００１３】
抵抗変化素子３０は、印加電圧を増加または減少させていくと所定の遷移電圧において第１抵抗状態から第２抵抗状態に変化する特性を有するデバイスである。ただし、抵抗変化素子３０は、印加電圧が所定の遷移電圧を超えない範囲で変化している場合には、第１抵抗状態で固定される。また、抵抗変化素子３０は、可逆的に状態を変化させることができる。すなわち、抵抗変化素子３０は、第１抵抗状態から第２抵抗状態に変化した後に、第２抵抗状態から第１抵抗状態へと戻すことができる。また、抵抗変化素子３０は、電源供給を切っても状態を維持し続ける不揮発性を有してもよい。
【００１４】
また、抵抗変化素子３０は、所定の時間幅の電圧パルスが印加された場合、確率的に、第１抵抗状態から第２抵抗状態に変化する。また、抵抗変化素子３０は、印加される電圧パルスの時間幅が長いほど、第１抵抗状態から第２抵抗状態に変化する確率が高くなる。なお、この場合、電圧パルスの電圧値は、抵抗変化素子３０が印加電圧を増加させていくと遷移電圧で状態が変化する場合、遷移電圧以上の値である。また、電圧パルスの電圧値は、抵抗変化素子３０が印加電圧を減少させていくと遷移電圧で状態が変化する場合、遷移電圧以下の値である。
【００１５】
このような抵抗変化素子３０は、例えば半導体プロセスを用いて製造される。なお、抵抗変化素子３０については詳細をさらに後述する。
【００１６】
初期化部３２は、抵抗変化素子３０への電圧の印加に先だって、同一の電圧値且つ同一の時間幅の電圧パルスが印加された場合に同一の確率で第１抵抗状態から第２抵抗状態に変化するように、抵抗変化素子３０を初期化する。抵抗変化素子３０は、初期化部３２により初期化されることにより、第１抵抗状態となる。
【００１７】
電圧設定部３４は、抵抗変化素子３０へ印加する電圧の印加電圧値を設定する。電圧設定部３４は、抵抗変化素子３０が第１抵抗状態から第２抵抗状態へと変化可能な印加電圧値を設定する。すなわち、印加電圧値は、抵抗変化素子３０が印加電圧を増加させていくと遷移電圧で状態が変化する場合、遷移電圧以上の値である。また、印加電圧値は、抵抗変化素子３０が印加電圧を減少させていくと遷移電圧で状態が変化する場合、遷移電圧以下の値である。本実施形態においては、電圧設定部３４は、印加電圧値としてＶｏを設定する。
【００１８】
パルス発生部３６は、外部から指定値を受け取る。また、パルス発生部３６は、電圧設定部３４から印加電圧値が設定される。そして、パルス発生部３６は、合計のパルス幅が指定値に応じた時間幅であって、振幅が印加電圧値である電圧パルスを抵抗変化素子３０に印加する。本実施形態においては、パルス発生部３６は、時間幅がｗ且つ振幅がＶｏの電圧パルスを抵抗変化素子３０に印加する。抵抗変化素子３０は、パルス発生部３６により電圧パルスが印加されることにより、指定値に応じた確率で第１抵抗状態から第２抵抗状態に変化する。
【００１９】
読出部３８は、パルス発生部３６により抵抗変化素子３０に電圧パルスが印加された後に、抵抗変化素子３０の状態を読み出す。すなわち、読出部３８は、電圧パルスが印加された後に、例えば抵抗変化素子３０の抵抗測定等をして、抵抗変化素子３０が第１抵抗状態か第２抵抗状態かを読み出す。
【００２０】
出力部４０は、読出部３８により読み出された抵抗変化素子３０の状態に応じた値の出力信号を出力する。本実施形態においては、出力部４０は、抵抗変化素子３０が第１抵抗状態の場合（すなわち、抵抗変化素子３０の状態が変化しなかった場合）、第１値（例えば０）の出力信号を出力する。また、出力部４０は、抵抗変化素子３０が第２抵抗状態の場合（すなわち、抵抗変化素子３０の状態が変化した場合）、第２値（例えば１）の出力信号を出力する。
【００２１】
以上のような構成の信号発生装置２０によれば、指定値に応じた確率で、２値の出力信号を発生することができる。
【００２２】
さらに、電圧設定部３４は、抵抗変化素子３０に対して時間幅を変化させて電圧を印加した場合における第１抵抗状態から第２抵抗状態に変化する累積確率分布が、指数分布（形状パラメータが１のワイブル分布）となるような印加電圧値を設定する。そして、パルス発生部３６は、このように設定された印加電圧値の電圧パルスを抵抗変化素子３０に印加する。
【００２３】
累積確率分布が指数分布となる事象は、時間に対する瞬時確率が一定となる。従って、このような印加電圧値の電圧パルスが印加されることにより、抵抗変化素子３０は、状態変化の瞬時確率が、時間に対して一定となる。
【００２４】
従って、抵抗変化素子３０は、累積確率分布が指数分布となる条件の下で電圧パルスが印加された場合、電圧パルスを印加した累積時間に応じた確率で状態が変化する。つまり、抵抗変化素子３０は、複数の電圧パルスが間隔を開けて印加された場合も、１つの電圧パルスが印加された場合も、累積時間が同一であれば、同一の確率で状態が変化する。この結果、信号発生装置２０によれば、複数の指定値を入力して複数の電圧パルスを抵抗変化素子３０に印加することにより発生される出力信号の確率と、複数の指定値の加算値に応じた１つの電圧パルスを抵抗変化素子３０に印加することにより発生される出力信号の確率とを同一にすることができる。
【００２５】
図２は、抵抗変化素子３０の一例を示す図である。抵抗変化素子３０は、例えば、ＲｅＲＡＭ（Resistance  Random  Access  Memory）、ＣＢＲＡＭ（Conductive  Bridging  Random  Access  Memory）、相変化メモリ、ＭＴＪ（Magnetic  Tunnel  Junction）等であってよい。ＲｅＲＡＭは、遷移金属酸化物等の酸素欠損を含む絶縁体を電極で挟んだ構成を有する。ＣＢＲＡＭは、硫化物、酸化物またはハロゲン化合物等のイオン伝導体を電極で挟んだ構成を有する。相変化メモリは、ＧｅＳｂＴｅ等の合金の相変化特性を利用して抵抗状態を変化させる。ＭＴＪは、トンネル絶縁物を磁性体で挟む構成を有し、トンネル磁気抵抗効果を利用して抵抗状態を変化させる。
【００２６】
本実施形態において、抵抗変化素子３０は、Ｔａ２Ｏ５を利用したＲｅＲＡＭである。抵抗変化素子３０は、図２に示すように、第１の金属層４２と、第１の金属層４２の上に形成されたタンタル酸化物層４４と、タンタル酸化物層４４の上に形成された第２の金属層４６とを有する。
【００２７】
第１の金属層４２は、例えば、タンタル（Ｔａ）である。タンタル酸化物層４４は、例えば、Ｔａ２Ｏ５薄膜である。タンタル酸化物層４４の膜厚は、例えば５ｎｍである。タンタル酸化物層４４は、例えば、第１の金属層４２のタンタルを酸化することにより形成される。また、タンタル酸化物層４４は、例えば、スパッタリング等を用いて形成されてもよい。第２の金属層４６は、例えば、白金（Ｐｔ）である。第２の金属層４６は、白金以外の金属であってもよい。
【００２８】
抵抗変化素子３０の平面のサイズは、例えば、１０ｎｍ以上、５００ｎｍ以下程度である。抵抗変化素子３０の抵抗変化特性は、平面のサイズによって大きく影響することはないと考えられる。ただし、抵抗変化素子３０は、平面のサイズが大きくなると、キャパシタンスが大きくなり、応答速度が大きくなる。もっとも、抵抗変化素子３０は、膜厚が５ｎｍ、平面サイズが数百ｎｍ程度以下の場合、応答速度はナノ秒以下となる。
【００２９】
第１の金属層４２と第２の金属層４６との間に電圧を印加した場合、抵抗変化素子３０には、内部に酸素欠損によるフィラメントが形成され、抵抗値が低下する。これにより、抵抗変化素子３０には、電流が流れる。抵抗変化素子３０におけるこのように電流が流れる状態を、ＬＲＳ（低抵抗状態）という。
【００３０】
ＬＲＳの抵抗変化素子３０に対して逆バイアス電圧を印加した場合、抵抗変化素子３０は、フィラメントが断線し、抵抗値が急激に増大する。これにより、抵抗変化素子３０には、ほとんど電流が流れなくなる。抵抗変化素子３０におけるこのように電流がほとんど流れない状態を、ＨＲＳ（高抵抗状態）という。また、ＨＲＳからＬＲＳへの遷移をＳＥＴ遷移とよび、ＬＲＳからＨＲＳへの遷移をＲＥＳＥＴ遷移と呼ぶ。
【００３１】
図３は、Ｔａ２Ｏ５を利用した抵抗変化素子３０の電圧電流特性の一例を示す図である。Ｔａ２Ｏ５を利用した抵抗変化素子３０は、図３に示すような電圧電流特性を有する。図３の矢印は、電圧の掃引方向を示す。
【００３２】
まず、ＨＲＳの抵抗変化素子３０に対して印加電圧を電圧値０からマイナス側に掃引した場合、抵抗変化素子３０は、所定の遷移電圧（第１遷移電圧）において、ＳＥＴ遷移が生じる。これにより、抵抗変化素子３０は、ＨＲＳからＬＲＳに遷移し、流れる電流量が急激に増加する。ＳＥＴ遷移が生じる第１遷移電圧は、−１ボルト程度である。抵抗変化素子３０は、掃引を開始してから、ＳＥＴ遷移が生じる前において、印加電圧を電圧値０に戻した場合、ＨＲＳを維持する。しかし、抵抗変化素子３０は、ＳＥＴ遷移が生じた後において、印加電圧を電圧値０に戻しても、ＨＲＳには戻らず、ＬＲＳを維持する。
【００３３】
次に、ＬＲＳの抵抗変化素子３０に対して印加電圧を電圧値０からプラス側に掃引した場合、抵抗変化素子３０は、所定の遷移電圧（第２遷移電圧）において、ＲＥＳＥＴ遷移が生じる。これにより、抵抗変化素子３０は、ＬＲＳからＨＲＳに遷移し、ほとんど電流を流さない状態となる。ＲＥＳＥＴ遷移が生じる第２遷移電圧は、２ボルト程度である。抵抗変化素子３０は、掃引を開始してからＲＥＳＥＴ遷移が生じる前において、印加電圧を電圧値０に戻した場合、ＬＲＳを維持する。しかし、抵抗変化素子３０は、ＲＥＳＥＴ遷移が生じた後において、印加電圧を電圧値０に戻しても、ＬＲＳには戻らず、ＨＲＳを維持する。
【００３４】
以上のように、抵抗変化素子３０は、ＨＲＳからマイナス側に印加電圧を掃引した場合、第１遷移電圧でＬＲＳに遷移する。そして、抵抗変化素子３０は、ＬＲＳからプラス側に印加電圧を掃引した場合、第２遷移電圧でＨＲＳに遷移する。このように抵抗変化素子３０は、印加電圧を掃引することにより、ＨＲＳとＬＲＳとの間で遷移が生じる。なお、本実施形態において、第１抵抗状態および第２抵抗状態は、ＨＲＳおよびＬＲＳの何れであってもよい。
【００３５】
また、抵抗変化素子３０における抵抗状態の遷移は、酸素欠損によるフィラメントの影響による。フィラメントのサイズは、数ナノｍ程度であるといわれている。従って、抵抗変化素子３０における抵抗状態の遷移は、数ナノｍ程度の局所的な現象により引き起こされている。
【００３６】
図３の電圧電流特性は、ＤＣ的な電圧変化に対する抵抗変化素子３０の振る舞いである。しかし、抵抗変化素子３０は、パルス電圧を印加した場合、確率的に遷移が生じる。
【００３７】
例えば、ＨＲＳの抵抗変化素子３０に、ＤＣ的にはＳＥＴ遷移が生じる条件の振幅の電圧パルス（第１遷移電圧以下の電圧値）を印加した場合、抵抗変化素子３０は、電圧パルスを印加した時刻から少し遅延した時刻においてＳＥＴ遷移が生じる。この時間をＳＥＴ時間と呼ぶ。
【００３８】
ＳＥＴ時間は、同一の抵抗変化素子３０に対して同一の振幅の電圧パルスを与えた場合であってもばらつく。ＳＥＴ時間のばらつきの範囲は、１桁以上の時間幅に及ぶ。ＳＥＴ時間のばらつきが生じる理由は、フィラメントが微小であり、素子内部の微視的状態がフィラメントの形成に大きく影響するためであると考えられる。
【００３９】
図４は、時間幅ｔの電圧パルスを抵抗変化素子３０に印加した場合において、遷移が生じる累積確率を示す図である。ここで、ＤＣ的にはＳＥＴ遷移が生じる条件の振幅の電圧パルス（第１遷移電圧以下の電圧値の電圧パルス）を印加した場合において、電圧パルスの時間幅ｔに対するＳＥＴ遷移が生じる累積確率Ｆ（ｔ）は、下記の式（１）に示すようなワイブル分布により表される。
【００４０】
【数１】
0006502799.tif 000002
【００４１】
式（１）において、ｔは、抵抗変化素子３０に印加する電圧パルスの時間幅を表す。Ｆ（ｔ）は、時間幅ｔの電圧パルスを抵抗変化素子３０に印加した場合において、ＨＲＳからＬＲＳに変化する累積確率（ＳＥＴ遷移が生じる累積確率）を表す。βは、ワイブル分布の形状パラメータを表す。Ｔは、定数を表す。
【００４２】
Ｆ（ｔ）を累積確率としているのは、時間幅ｔの電圧パルスを抵抗変化素子３０に印加した場合、時間幅０からｔまでの何れかの時刻においてＳＥＴ遷移が生じている。従って、時間幅ｔの電圧パルスを印加した結果得られる確率は、時間幅ｔに対する瞬時確率の累積値を表すためである。
【００４３】
図５は、抵抗変化素子３０の状態変化の累積確率のワイブルプロットを示す図である。ワイブル分布の形状パラメータβは、図５に示すようなワイブルプロットの傾きから算出することができる。ワイブルプロットは、ｌｎ（ｔ）に対して、ｌｎ｛−ｌｎ（１−Ｆ（ｔ））｝をプロットしたグラフである。βは、このワイブルプロットの傾きから得ることができる。
【００４４】
ここで、抵抗変化素子３０の状態変化の累積確率のワイブルプロットは、電圧パルスの振幅を変化させると、傾きが変化する。すなわち、電圧パルスを印加した場合における抵抗変化素子３０の状態変化の累積確率であるワイブル分布は、電圧パルスの振幅を変化させると、形状パラメータβが変化する。
【００４５】
具体的には、図５のＡに示すように、電圧パルスの振幅を大きくすると、βが大きくなる。また、図５のＢに示すように、電圧パルスの振幅を小さくすると、βが小さくなる。そして、電圧パルスの振幅がある電圧値となると、βが１となる。例えば、電圧パルスの振幅がほぼ第１遷移電圧（例えば、−１ボルト）の場合、βが１となる。
【００４６】
β＞１のワイブル分布は、時間とともに瞬時確率が大きくなる経時的変化の事象を表す。つまり、大きな振幅の電圧パルスを抵抗変化素子３０に印加した場合における状態遷移の事象は、経時的な変化を表す事象となる。これは、抵抗変化素子３０は、印加電圧が高い場合、素子内部の酸素欠損の分布が大きく変化するためであると考えられる。
【００４７】
β＝１のワイブル分布は、時間に対して瞬時確率が変化しない、偶発的な事象を表す。
つまり、比較的に小さな振幅の電圧パルスを抵抗変化素子３０に印加した場合における状態遷移の事象は、偶発的な変化を表す事象となる。これは、抵抗変化素子３０は、印加電圧が低い場合、素子内部の酸素欠損の動きが小さく、偶発的にフィラメントが接続された場合にＳＥＴ遷移が生じるためであると考えられる。
【００４８】
β＝１のワイブル分布は、指数分布とも呼ばれる。累積確率Ｆ（ｔ）が指数分布となる条件で、時間幅ｔ１，ｔ２，…，ｔＮの電圧パルスの列を抵抗変化素子３０に印加することを考える。
【００４９】
時間幅ｔ１の電圧パルスを印加した場合における抵抗変化素子３０がＨＲＳである確率（ＳＥＴ遷移が生じない確率）は、下記の式（２）により表される。
【数２】
0006502799.tif 000003
【００５０】
時間幅ｔ１，ｔ２，…，ｔＮの電圧パルスの列を印加した後においてＨＲＳである確率は、下記の式（３）により表される。
【数３】
0006502799.tif 000004
【００５１】
すなわち、時間幅ｔ１，ｔ２，…，ｔＮの電圧パルスの列を印加した後においてＬＨＲである確率（ＳＥＴ遷移が生じる確率）は、下記の式（４）により表される。
【数４】
0006502799.tif 000005
【００５２】
確率Ｑ（ｔ）は、時間幅（ｔ１＋ｔ２＋…＋ｔＮ）の連続した電圧パルス（つまり、１つの電圧パルス）を印加した場合の累積確率Ｆ（ｔ）と同一である。つまり、累積確率Ｆ（ｔ）が指数分布となる条件で、電圧パルスを印加した場合、抵抗変化素子３０は、パルスが連続であるか離散的であるかに関わらず、印加された電圧パルスの時間幅の和により、状態が遷移する累積確率が決定される。
【００５３】
図６は、連続した電圧パルスを印加した場合のワイブルプロット、および、微小の時間幅の電圧パルスを印加した場合のワイブルプロットを示す図である。
【００５４】
図６のＡは、β＞１となる条件の振幅の連続した１つの電圧パルスを印加した場合のワイブルプロット（白丸）と、同一の振幅の微小な時間幅の複数の電圧パルスを離散的に印加した場合のワイブルプロット（黒丸）とを示す。図６のＢは、β＝１となる条件の振幅の連続した１つの電圧パルスを印加した場合のワイブルプロット（白丸）と、同一の振幅の微小な時間幅の複数の電圧パルスを離散的に印加した場合のワイブルプロット（黒丸）とを示す。
【００５５】
β＞１となる条件の振幅の電圧パルスを印加する場合、時間的に瞬時確率が変動するので、連続した１つの電圧パルスを印加した場合と、複数の電圧パルスを離散的に印加した場合とで、時間幅が長くなるほど確率の相違が大きい。これに対して、β＝１の条件の振幅の電圧パルスを印加する場合、時間によって瞬時確率が変動しないので、連続した１つの電圧パルスを印加した場合と、複数の電圧パルスを離散的に印加した場合とで、時間に対する確率の相違がほとんど無い。
【００５６】
なお、ＳＥＴ遷移が生じる累積確率について説明したが、ＲＥＳＥＴ遷移が生じる累積確率Ｆ（ｔ）も、ＳＥＴ遷移が生じる累積確率と同様であると考えられる。
【００５７】
以上のように、信号発生装置２０は、指定値に応じた時間幅の電圧パルスを抵抗変化素子３０に印加し、抵抗変化素子３０の状態に応じた出力信号を出力する。これにより、信号発生装置２０は、指定値に応じた確率の出力信号を出力することができる。
【００５８】
さらに、信号発生装置２０は、印加電圧値を、抵抗変化素子３０に対して時間幅を変化させて電圧を印加した場合における第１抵抗状態から第２抵抗状態に変化する累積確率分布が、指数分布となるような電圧値に設定する。これにより、信号発生装置２０は、合計した時間幅が同一であれば、複数の電圧パルスを間隔を開けて抵抗変化素子３０に印加した場合であっても、連続した１つの電圧パルスを抵抗変化素子３０に印加した場合であっても、同一の確率で出力信号を出力することができる。よって、信号発生装置２０によれば、複数の指定値を入力して複数の電圧パルスを抵抗変化素子３０に印加することにより、複数の指定値の加算値に応じた確率で出力信号を出力することができる。
【００５９】
（第２実施形態）
つぎに、第２実施形態に係る伝送装置５０について説明する。第２実施形態に係る伝送装置５０を説明するにあたり、第１実施形態において説明した部材と略同一の機能および構成を有する部材については同一の符号を付けて詳細な説明を省略する。
【００６０】
図７は、第２実施形態に係る伝送装置５０を示す図である。伝送装置５０は、第１値または第２値の何れかの値をとる少なくとも１つの入力信号を入力する。例えば、伝送装置５０は、０（第１値）または１（第２値）の２値を取るｍ個の入力信号ｘ１，ｘ２，ｘ３，…，ｘｍを入力する。なお、ｍは、１以上の整数である。
【００６１】
また、伝送装置５０は、それぞれの入力信号に対応させて、重み値が設定されている。例えば、伝送装置５０は、実数値で表されたｍ個の重み値ｗ１，ｗ２，ｗ３，…，ｗｍが設定されている。伝送装置５０は、例えば、学習して生成された重み値が設定される。
【００６２】
そして、伝送装置５０は、それぞれの入力信号とそれぞれの重み値とに応じた確率で、第１値または第２値の何れかの値をとる出力信号を出力する。例えば、伝送装置５０は、０（第１値）または１（第２値）の２値を取る１つの出力信号ｙを出力する。
【００６３】
例えば、伝送装置５０は、下記式（５）に示すＰに応じた確率で、値が１（第２値）となる出力信号を出力する。
【００６４】
Ｐ＝（ｘ１×ｗ１）＋（ｘ２×ｗ２）＋（ｘ３×ｗ３）＋…＋（ｘｍ×ｗｍ）…（５）
【００６５】
図８は、第２実施形態に係る伝送装置５０の構成を示す図である。なお、伝送装置５０の構成の説明では、入力信号の個数が４個の例を示しているが、入力信号の数は、１以上であればよい。
【００６６】
伝送装置５０は、抵抗変化素子３０と、初期化部３２と、電圧設定部３４と、入力部５２と、重み記憶部５４と、読出部３８と、出力部４０とを備える。
【００６７】
入力部５２は、外部から少なくとも１つの入力信号を取得して、それぞれの入力信号の値を保持する。入力部５２は、例えば、それぞれの入力信号に対応したラッチ等を含み、それぞれのラッチに入力信号の値を記憶する。重み記憶部５４は、それぞれの入力信号に対応する少なくとも１つの重み値を記憶する。
【００６８】
合成信号生成部５６は、それぞれの入力信号に対応する少なくとも１つの電圧パルスを時間方向に多重化した、振幅が印加電圧値の合成電圧パルスを生成する。それぞれの電圧パルスの時間幅は、対応する入力信号が第１値（例えば、０）の場合には基準の時間幅（例えば、０）である。また、それぞれの電圧パルスの時間幅は、対応する入力信号が第２値（例えば、１）の場合には対応する重み値に応じた時間幅である。
【００６９】
そして、合成信号生成部５６は、生成した合成電圧パルスを抵抗変化素子３０に印加する。この場合において、合成電圧パルスの振幅は、電圧設定部３４により設定される印加電圧値である。すなわち、合成電圧パルスの振幅は、抵抗変化素子３０に対して時間幅を変化させて電圧を印加した場合における第１抵抗状態から第２抵抗状態に変化する確率分布が、指数分布となるような電圧値である。
【００７０】
読出部３８は、合成電圧パルスが印加された後に、抵抗変化素子３０の状態を読み出す。出力部４０は、読み出された抵抗変化素子３０の状態に応じた値の出力信号を出力する。例えば、出力部４０は、抵抗変化素子３０が第１抵抗状態の場合には第１値（例えば０）を出力し、抵抗変化素子３０が第２抵抗状態の場合には第２値（例えば１）を出力する。
【００７１】
図９は、合成信号生成部５６の構成の第１例を示す図である。図１０は、合成電圧パルスの第１例を示す図である。
【００７２】
合成信号生成部５６は、例えば図９に示すような第１例の構成であってよい。第１例に係る構成の合成信号生成部５６は、それぞれの入力信号に対応して設けられた少なくとも１つの時間幅算出部６２と、それぞれの入力信号に対応して設けられた少なくとも１つのパルス発生部３６と、多重化部６４とを含む。
【００７３】
それぞれの時間幅算出部６２は、対応する入力信号と対応する重み値とを入力する。そして、それぞれの時間幅算出部６２は、対応する入力信号が第１値（例えば０）の場合には基準の時間幅（例えば０）を出力し、対応する入力信号が第２値（例えば１）の場合には対応する重み値に応じた時間幅を出力する。例えば、それぞれの時間幅算出部６２は、対応する入力信号が０であれば時間幅０を出力し、対応する入力信号が１であれば対応する重み値を出力する。
【００７４】
それぞれのパルス発生部３６は、対応する時間幅算出部６２により算出された時間幅の電圧パルスを発生する。従って、それぞれのパルス発生部３６は、対応する入力信号が第１値（例えば０）の場合には基準の時間幅（例えば０）の電圧パルスを発生し、対応する入力信号が第２値（例えば１）の場合には対応する重み値に応じた時間幅の電圧パルスを発生する。さらに、それぞれのパルス発生部３６は、振幅が電圧設定部３４により印加電圧値に設定された電圧パルスを発生する。
【００７５】
多重化部６４は、それぞれのパルス発生部３６から出力された少なくとも１つの電圧パルスを時間方向に多重化して合成電圧パルスを生成する。そして、多重化部６４は、生成した合成電圧パルスを抵抗変化素子３０に印加する。
【００７６】
多重化部６４は、例えば、それぞれのパルス発生部３６から発生される電圧パルスの発生タイミングを調整する。そして、多重化部６４は、例えば、図１０に示すように、それぞれのパルス発生部３６による電圧パルスの発生タイミングをずらして多重化することにより、パルス列である合成電圧パルスを生成する。このような第１例に係る合成信号生成部５６によれば、それぞれの入力信号に対応する少なくとも１つの電圧パルスを時間方向に多重化した合成電圧パルスを生成することができる。
【００７７】
図１１は、合成信号生成部５６の構成の第２例を示す図である。図１２は、合成電圧パルスの第２例を示す図である。
【００７８】
合成信号生成部５６は、例えば図１１に示すような第２例の構成であってよい。第２例に係る構成の合成信号生成部５６は、演算部７０と、パルス発生部３６とを含む。
【００７９】
演算部７０は、それぞれの入力信号の値に応じた時間幅を合計した合計時間幅を算出する。より具体的には、演算部７０は、それぞれの入力信号の値に応じた時間幅を、対応する入力信号が第１値（例えば０）の場合には基準の時間幅（例えば０）、対応する入力信号が第２値（例えば１）の場合には対応する重み値に応じた時間幅として、合計時間幅を算出する。
【００８０】
本例においては、演算部７０は、それぞれの入力信号に対応して設けられた少なくとも１つの時間幅算出部６２と、合計部７２とを含む。それぞれの時間幅算出部６２は、対応する入力信号が第１値（例えば０）の場合には基準の時間幅（例えば０）を表す値を出力し、対応する入力信号が第２値（例えば１）の場合には対応する重み値に応じた時間幅を表す値を出力する。合計部７２は、それぞれの時間幅算出部６２から出力された時間幅を表す値を合計して合計時間幅を表す値を出力する。
【００８１】
パルス発生部３６は、演算部７０により算出された合計時間幅の合成電圧パルスを発生する。この場合において、パルス発生部３６は、振幅が電圧設定部３４により印加電圧値に設定された合成電圧パルスを発生する。そして、パルス発生部３６は、発生した合成電圧パルスを抵抗変化素子３０に印加する。このような第２例に係る合成信号生成部５６は、例えば、図１２に示すように、それぞれの入力信号に対応する少なくとも電圧パルスを時間方向にすき間無く多重化した１つの合成電圧パルスを生成することができる。
【００８２】
図１３は、合成信号生成部５６の構成の第３例を示す図である。合成信号生成部５６は、例えば図１３に示すような第３例の構成であってよい。第３例に係る構成の合成信号生成部５６は、入力指定部８２と、入力選択部８４と、重み選択部８６と、時間幅算出部６２と、パルス発生部３６とを含む。
【００８３】
入力指定部８２は、少なくとも１つの入力信号を１つずつ順次に指定する。入力選択部８４は、入力指定部８２により指定された１つの入力信号を取得して、時間幅算出部６２に与える。重み選択部８６は、入力指定部８２により指定された１つの重み値を取得して、時間幅算出部６２に与える。
【００８４】
時間幅算出部６２は、入力指定部８２により入力信号が指定される毎に、与えられた入力信号の値および重み値に応じた時間幅を算出する。より具体的には、時間幅算出部６２は、入力信号が指定される毎に、対応する入力信号が第１値（例えば０）の場合には基準の時間幅（例えば０）、対応する入力信号が第２値（例えば１）の場合には対応する重み値に応じた時間幅を算出する。
【００８５】
パルス発生部３６は、入力信号が指定される毎に、時間幅算出部６２により算出された時間幅の電圧パルスを発生する。この場合において、パルス発生部３６は、振幅が電圧設定部３４により印加電圧値に設定された電圧パルスを発生する。そして、パルス発生部３６は、入力信号が指定される毎に、発生した電圧パルスを抵抗変化素子３０に印加する。このような第３例に係る合成信号生成部５６によれば、例えば図１０に示したような、それぞれの入力信号に対応する少なくとも１つの電圧パルスを時間方向に間隔を開けて多重化した合成電圧パルスを抵抗変化素子３０に印加することができる。
【００８６】
以上のように、第２実施形態に係る伝送装置５０は、それぞれの入力信号の値および対応する重み値に応じた時間幅の電圧パルスを多重化して抵抗変化素子３０に印加し、抵抗変化素子３０の状態に応じた出力信号を出力する。これにより、信号発生装置２０は、入力信号の値および対応する重み値に応じた確率の出力信号を出力することができる。
【００８７】
さらに、伝送装置５０は、時間幅を変化させて電圧を印加した場合における第１抵抗状態から第２抵抗状態に変化する累積確率分布が、指数分布となるような印加電圧値に設定された電圧パルスを抵抗変化素子３０に印加する。これにより、抵抗変化素子３０は、複数の値の加算値に応じた確率で第１抵抗状態から第２抵抗状態に変化する。従って、伝送装置５０は、複雑な演算回路等を用いずに、簡易な構成の素子を用いて、少なくとも１つの入力信号に応じた確率で出力信号を出力することができる。
【００８８】
（第３実施形態）
つぎに、第３実施形態に係る伝送装置１００について説明する。第３実施形態に係る伝送装置１００を説明するにあたり、第１実施形態および第２実施形態において説明した部材と略同一の機能および構成を有する部材については同一の符号を付けて詳細な説明を省略する。
【００８９】
図１４は、第３実施形態に係る伝送装置１００を示す図である。伝送装置１００は、第１値または第２値の何れかの値をとる少なくとも１つの入力信号を入力する。例えば、伝送装置１００は、０（第１値）または１（第２値）の２値を取るｍ個の入力信号ｘ１，ｘ２，ｘ３，…，ｘｍを入力する。
【００９０】
また、伝送装置１００は、第１値または第２値の何れかの値をとる複数の出力信号を出力する。例えば、伝送装置１００は、０（第１値）または１（第２値）の２値を取るｎ個の出力信号ｙ１，ｙ２，ｙ３，…，ｙｎを出力する。なお、ｎは、２以上の整数である。
【００９１】
また、伝送装置１００は、それぞれの入力信号とそれぞれの出力信号との組に対応させて、重み値が設定されている。例えば、ｍ個の入力信号を入力し、ｎ個の出力信号を出力する場合、伝送装置１００は、ｍ×ｎ個の重み値ｗ１１，ｗ２１，…，ｗｍ１，…，ｗｉｊ，…，ｗ１ｎ，ｗ２ｎ，…，ｗｍｎが設定されている。伝送装置１００は、例えば、学習して生成された重み値が設定される。
【００９２】
そして、伝送装置１００は、それぞれの入力信号とそれぞれの重み値とに応じた確率で、それぞれの出力信号を出力する。例えば、伝送装置１００は、ｊ番目（ｊは１以上ｎ以下）の出力信号について、それぞれの入力信号に対応させた重み値ｗ１ｊ，ｗ２ｊ，ｗ３ｊ，…，ｗｍｊが設定される。この場合、伝送装置１００は、下記式（６）に示すＰｊに応じた確率で、値が１（第２値）となるｊ番目の出力信号を出力する。
【００９３】
Ｐｊ＝（ｘ１×ｗ１ｊ）＋（ｘ２×ｗ２ｊ）＋（ｘ３×ｗ３ｊ）＋…＋（ｘｍ×ｗｍｊ）…（６）
【００９４】
図１５は、第３実施形態に係る伝送装置１００の構成の第１例を示す図である。伝送装置１００は、例えば図１５に示すような第１例の構成であってよい。第１例に係る構成の伝送装置１００は、入力部５２と、それぞれの出力信号に対応した複数の発火部１１０とを備える。
【００９５】
それぞれの発火部１１０は、抵抗変化素子３０と、初期化部３２と、電圧設定部３４と、重み記憶部５４と、合成信号生成部５６と、読出部３８と、出力部４０とを備える。
【００９６】
重み記憶部５４は、対応する出力信号とそれぞれの入力信号との組に対応する少なくとも１つの重み値を記憶する。合成信号生成部５６は、第２実施形態において説明した何れかの構成であってよい。出力部４０は、対応する出力信号を出力する。このような第１例に係る伝送装置１００によれば、少なくとも１つの入力信号および設定されたそれぞれの重み値に応じた確率で複数の出力信号を出力することができる。
【００９７】
図１６は、第３実施形態に係る伝送装置１００の構成の第２例を示す図である。伝送装置１００は、例えば図１６に示すような第２例の構成であってよい。
【００９８】
第２例に係る構成の伝送装置１００は、抵抗変化素子３０と、初期化部３２と、電圧設定部３４と、入力部５２と、出力指定部１２２と、それぞれの出力信号に対応した複数の重み記憶部５４と、セレクタ１２４と、読出部３８と、出力部４０とを備える。
【００９９】
出力指定部１２２は、複数の出力信号を１つずつ順次に指定する。それぞれの重み記憶部５４は、対応する出力信号とそれぞれの入力信号との組に対応する少なくとも１つの重み値を記憶する。
【０１００】
セレクタ１２４は、出力信号が指定される毎に、出力指定部１２２により指定された１つの出力信号に対応する重み記憶部５４を選択する。そして、セレクタ１２４は、選択した重み記憶部５４に記憶されている少なくとも１つの重み値を合成信号生成部５６に与える。
【０１０１】
合成信号生成部５６は、出力信号が指定される毎に、入力部５２から少なくとも１つの入力信号を取得し、セレクタ１２４から少なくとも１つの重み値を取得する。そして、合成信号生成部５６は、出力信号が指定される毎に、取得した少なくとも１つの入力信号および少なくとも１つの重み値に基づき合成電圧パルスを生成し、生成した合成電圧パルスを抵抗変化素子３０に印加する。合成信号生成部５６は、第２実施形態において説明した何れかの構成であってよい。
【０１０２】
読出部３８は、出力信号が指定される毎、抵抗変化素子３０の状態を読み出す。この場合において、読出部３８は、対応する合成電圧パルスが印加された後に、抵抗変化素子３０の状態を読み出す。
【０１０３】
初期化部３２は、出力信号が指定される毎に、抵抗変化素子３０への合成電圧パルスの印加に先だって、抵抗変化素子３０を初期化する。
【０１０４】
出力部４０は、出力信号が指定される毎に、読出部３８により読み出された抵抗変化素子３０の状態に応じた値を取得する。そして、出力部４０は、取得した複数の出力信号を所定のタイミングにおいて出力する。例えば、出力部４０は、全ての出力信号について値を取得した後に、まとめて複数の出力信号を外部に出力してもよい。また、例えば、出力部４０は、値を取得する毎に順次に外部に出力信号を出力してもよい。このような第２例に係る伝送装置１００によれば、少なくとも１つの入力信号および設定されたそれぞれの重み値に応じた確率で複数の出力信号を出力することができる。
【０１０５】
以上のように、第３実施形態に係る伝送装置１００は、第２実施形態と同様に、複雑な演算回路等を用いずに簡易な構成の素子を用いて、少なくとも１つの入力信号に応じた確率で複数の出力信号を出力することができる。
【０１０６】
（ＲＢＭへの適用）
図１７は、制限付きボルツマンマシンを示す図である。図１８は、隠れ層ユニットと可視層ユニットとの間の重み値を表す図である。
【０１０７】
以上説明した第１実施形態に係る信号発生装置２０、第２実施形態に係る伝送装置５０および第３実施形態に係る伝送装置１００は、ディープラーニング技術の基本要素であるＲＢＭ（制限付きボルツマンマシン）に適用することができる。これにより、ＲＢＭをハードウェアで実現することができる。
【０１０８】
ＲＢＭは、ｍ個のユニット（ｖ１，ｖ２，…，ｖｉ，…，ｖｍ）を含む可視層と、ｎ個のユニット（ｈ１，ｈ２，…，ｈｊ，…，ｈｎ）を含む隠れ層とを備える。ｉは１以上ｍ以下の整数を表す。ｊは１以上ｎ以下の整数を表す。
【０１０９】
可視層に含まれる全てのユニットは、隠れ層に含まれる全てのユニットに接続される。ただし、可視層のユニット間での接続、および、隠れ層のユニット間での接続は存在しない。全ての接続には、実数値である重み値が予め設定されている。ここでは、可視層ユニットｖｉと隠れ層ユニットｈｊとの間の接続に割り当てられる重み値をｗｉｊと表す。
【０１１０】
可視層のそれぞれのユニットにデータが与えられたとする。与えられるデータは、０または１のバイナリデータである。なお、可視層のユニットｖｉに与えられるデータもｖｉと表し、隠れ層のユニットｈｊに与えられるデータもｈｊと表す。
【０１１１】
ＲＢＭでは、可視層のそれぞれのユニットに与えられたデータに応じて、隠れ層のユニットのそれぞれのデータが決定される。隠れ層のユニットのそれぞれのデータも、０または１のバイナリデータである。
【０１１２】
ここで、隠れ層のユニットのそれぞれの値は、決定論的に決まるのではなく、確率的に決まる。隠れ層のユニットｈｊの値が１となる確率Ｐｊは、下記の式（１１）により表される。
【０１１３】
【数５】
0006502799.tif 000006
【０１１４】
ｃｊは、ユニットｈｊが有するパラメータである。ｓｉｇｍｏｉｄ（）は、下記の式（１２）で表されるシグモイド関数である。
【０１１５】
【数６】
0006502799.tif 000007
【０１１６】
すなわち、隠れ層のユニットｈｊの値は、図１８に示すように、接続された全てのユニット（つまり、全ての可視層のユニット）へ与えられたデータｖｉに対応する重み値ｗｉｊを乗じて、総和を取った値に応じた確率で決定される。
【０１１７】
一方、隠れ層のそれぞれのユニットにデータが与えられたとする。与えられるデータは、同様に、０または１のバイナリデータである。
【０１１８】
ＲＢＭでは、接続は双方向であるので、隠れ層のそれぞれのユニットに与えられたデータに応じて、可視層のユニットのそれぞれのデータが決定される。この場合、可視層のユニットｖｊの値が１となる確率Ｐｉは、下記の式（１３）により表される。
【０１１９】
【数７】
0006502799.tif 000008
【０１２０】
ｂｉは、ユニットｖｉが有するパラメータである。すなわち、可視層のユニットｖｉの値は、接続された全てのユニット（つまり、全ての隠れ層のユニット）へ与えられたデータｈｊに対応する重み値ｗｉｊを乗じて、総和を取った値に応じた確率で決定される。
【０１２１】
このようにＲＢＭは、それぞれのユニットがニューロン素子として動作する。それぞれのユニットの値が、０から１となることを発火と呼ぶ。従って、Ｐｊは、ｈｊの発火確率を表し、Ｐｉは、ｖｉの発火確率を表す。
【０１２２】
ＲＢＭをディープラーニングの基本要素として用いる場合、まず、テストデータと呼ばれるデータ群を用いて重み値群｛ｗｉｊ｝、ユニットパラメータ群｛ｂｉ｝｛ｃｊ｝を最適化する。具体的には、可視層ユニットにテストデータを与えて隠れ層ユニットの値を決定し、決定した値を隠れ層ユニットに与えて可視層ユニットの値を決定する。そして、最初に与えたテストデータと、後で決定された可視層ユニットの値とが一致するように、重み値群およびユニットパラメータ群を調整する。この処理を学習と呼ぶ。
【０１２３】
１つのＲＢＭの学習が完了した後、新たな隠れ層を設けて別のＲＢＭを生成する。そして、別のＲＢＭを学習する。この作業を繰り返すことにより、多層のニューラルネットワークの学習をすることができる。
【０１２４】
第１実施形態に係る信号発生装置２０、第２実施形態に係る伝送装置５０および第３実施形態に係る伝送装置１００は、このようなＲＢＭの要素として用いることができる。
【０１２５】
ところで、式（１１）および式（１３）に示すように、ＲＢＭの発火確率はシグモイド関数により表される。これに対して、信号発生装置２０、伝送装置５０および伝送装置１００の出力信号の出力確率は、シグモイド関数とは異なる式（４）に示すような式で表される。
【０１２６】
しかし、ＲＢＭは、厳密なシグモイド関数でなくても動作することが知られている。従って、ＲＢＭは、信号発生装置２０、伝送装置５０および伝送装置１００を用いても正常に動作することができる。
【０１２７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２８】
２０  信号発生装置
３０  抵抗変化素子
３２  初期化部
３４  電圧設定部
３６  パルス発生部
３８  読出部
４０  出力部
４２  第１の金属層
４４  タンタル酸化物層
４６  第２の金属層
５０  伝送装置
５２  入力部
５４  重み記憶部
５６  合成信号生成部
６２  時間幅算出部
６４  多重化部
７０  演算部
７２  合計部
８２  入力指定部
８４  入力選択部
８６  重み選択部
１００  伝送装置
１１０  発火部
１２２  出力指定部
１２４  セレクタ
【図１】
0006502799.tif 000009
【図２】
0006502799.tif 000010
【図３】
0006502799.tif 000011
【図４】
0006502799.tif 000012
【図５】
0006502799.tif 000013
【図６】
0006502799.tif 000014
【図７】
0006502799.tif 000015
【図８】
0006502799.tif 000016
【図９】
0006502799.tif 000017
【図１０】
0006502799.tif 000018
【図１１】
0006502799.tif 000019
【図１２】
0006502799.tif 000020
【図１３】
0006502799.tif 000021
【図１４】
0006502799.tif 000022
【図１５】
0006502799.tif 000023
【図１６】
0006502799.tif 000024
【図１７】
0006502799.tif 000025
【図１８】
0006502799.tif 000026