【手続補正書】
【提出日】令和2年8月31日(2020.8.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ニューラルネットワークに与えられる入力信号を記憶する第１メモリと、
前記ニューラルネットワークの重みを記憶する第２メモリと、
前記入力信号と前記重みとの積和演算を含む前記ニューラルネットワークの畳み込み演算を行う第１処理と、前記第１処理で用いられるデータの少なくとも一部のビット精度を削減する量子化を行う第２処理とを行うプロセッサと
を備えることを特徴とするニューラルネットワーク処理装置。
【請求項２】
請求項１に記載のニューラルネットワーク処理装置において、
前記第２メモリは、予め前記重みが量子化された量子化重みを記憶することを特徴とするニューラルネットワーク処理装置。
【請求項３】
請求項１に記載のニューラルネットワーク処理装置において、
前記第２処理は、前記入力信号、前記重み、および前記第１処理における前記積和演算の演算結果の少なくとも１つのデータのビット精度を削減する量子化を含む
ことを特徴とするニューラルネットワーク処理装置。
【請求項４】
請求項３に記載のニューラルネットワーク処理装置において、
前記第２処理は、前記入力信号、前記重み、および前記第１処理における前記積和演算の演算結果の全てのデータのビット精度を削減する量子化を含む
ことを特徴とするニューラルネットワーク処理装置。
【請求項５】
請求項１に記載のニューラルネットワーク処理装置において、
前記第２処理は、前記入力信号、前記重み、および前記第１処理における前記積和演算の演算結果の少なくとも１つのデータの小数値を整数値へ変換する量子化を含む
ことを特徴とするニューラルネットワーク処理装置。
【請求項６】
請求項１から５のいずれか１項に記載のニューラルネットワーク処理装置において、
前記第１処理を行なった入力データに対して、活性化関数を用いた第３処理を行う
ことを特徴とするニューラルネットワーク処理装置。
【請求項７】
請求項１から６のいずれか１項に記載のニューラルネットワーク処理装置において、
前記第２処理は前記第１処理に用いるバイアスに対してのビット精度を削減する量子化を行う
ことを特徴とするニューラルネットワーク処理装置。
【請求項８】
請求項１から７のいずれか１項に記載のニューラルネットワーク処理装置において、
前記プロセッサは、前記重みと前記入力信号とに基づいて、前記第２処理が組み込まれた前記第１処理を行う量子化畳み込み演算部を備える
ことを特徴とするニューラルネットワーク処理装置。
【請求項９】
請求項１に記載のニューラルネットワーク処理装置において、
前記重みを量子化する第１関数を記憶する第３メモリと、
前記第２処理が組み込まれた前記第１処理を実現する第２関数を記憶する第４メモリと、
をさらに備え、
前記プロセッサは、前記第１関数を読み出して前記重みを量子化し、前記第２関数を読み出して前記第２処理が組み込まれた前記第１処理を行う
ことを特徴とするニューラルネットワーク処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載のニューラルネットワーク処理装置において、
前記ニューラルネットワークは、少なくとも１層の中間層を有する多層ニューラルネットワークである
ことを特徴とするニューラルネットワーク処理装置。
【請求項１１】
請求項９に記載のニューラルネットワーク処理装置において、
前記ニューラルネットワークは、複数の中間層を有する多層ニューラルネットワークで
あって
前記プロセッサは前記第１関数または前記第２関数を、前記複数の中間層に対応して関数を入れ替える
ことを特徴とするニューラルネットワーク処理装置。
【請求項１２】
請求項１から１１のいずれか１項に記載のニューラルネットワーク処理装置において、
前記ニューラルネットワークは、前処理された画像信号を前記入力信号として記憶するための入力バッファをさらに備え、前記画像信号に施される前処理はモノクロ変換、コントラスト調整、および輝度調整のうち一つを含む
ことを特徴とするニューラルネットワーク処理装置。
【請求項１３】
請求項１から１２のいずれか１項に記載のニューラルネットワーク処理装置において、
前記第２処理はFPGA上で実行され、前記第２処理は前記第１処理で用いられるデータの少なくとも一部のビット精度を１ビットに削減することを特徴とするニューラルネットワーク処理装置。
【請求項１４】
請求項１から１３のいずれか１項に記載のニューラルネットワーク処理装置を備える通信装置であって、
通信ネットワークを介して外部電子機器との通信を行うためのインターフェース回路をさらに備え、
前記通信ネットワークを介して、前記外部電子機器から前記第１処理または前記第２処理に用いるデータを通信する
ことを特徴とする通信装置。
【請求項１５】
請求項１４に記載の通信装置であって、
前記通信ネットワークを介して、前記外部電子機器から予め量子化された前記第１処理で用いられるデータを受信する
ことを特徴とする通信装置。
【請求項１６】
請求項１４または１５に記載の通信装置であって、
前記通信ネットワークを介して、前記外部電子機器から前記第２処理に用いる関数を受信する
ことを特徴とする通信装置。
【請求項１７】
ニューラルネットワークに与えられる入力信号を第１メモリに記憶する第１ステップと、
前記ニューラルネットワークの重みを第２メモリに記憶する第２ステップと、
プロセッサが、前記入力信号と前記重みとの積和演算を含む前記ニューラルネットワークの畳み込み演算を行う第１処理と、
前記第１処理で用いられるデータの少なくとも一部のビット精度を削減する量子化を行う第２処理とを行う第３ステップと
を備えることを特徴とするニューラルネットワーク処理方法。
【請求項１８】
前記請求項１７に記載のニューラルネットワーク処理方法を行うための、ハードウェアに組み込み可能なプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】ニューラルネットワーク処理装置、通信装置、ニューラルネットワーク処理方法、およびプログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上述した課題を解決するために、本発明に係るニューラルネットワーク処理装置は、ニューラルネットワークに与えられる入力信号を記憶する第１メモリと、前記ニューラルネットワークの重みを記憶する第２メモリと、前記入力信号と前記重みとの積和演算を含む前記ニューラルネットワークの畳み込み演算を行う第１処理と、前記第１処理で用いられるデータの少なくとも一部のビット精度を削減する量子化を行う第２処理とを行うプロセッサとを備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、前記第２メモリは、予め前記重みが量子化された量子化重みを記憶してもよい。また、前記第２処理は、前記入力信号、前記重み、および前記第１処理における前記積和演算の演算結果の少なくとも１つのデータのビット精度を削減する量子化を含んでもよい。また、前記第２処理は、前記入力信号、前記重み、および前記第１処理における前記積和演算の演算結果の全てのデータのビット精度を削減する量子化を含んでもよい。また、前記第２処理は、前記入力信号、前記重み、および前記第１処理における前記積和演算の演算結果の少なくとも１つのデータの小数値を整数値へ変換する量子化を含んでもよい。また、前記第１処理を行なった入力データに対して、活性化関数を用いた第３処理を行ってもよい。また、前記第２処理は前記第１処理に用いるバイアスに対してのビット精度を削減する量子化を行ってもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、前記プロセッサは、前記重みと前記入力信号とに基づいて、前記第２処理が組み込まれた前記第１処理を行う量子化畳み込み演算部を備えてもよい。また、前記重みを量子化する第１関数を記憶する第３メモリと、前記第２処理が組み込まれた前記第１処理を実現する第２関数を記憶する第４メモリと、をさらに備え、前記プロセッサは、前記第１関数を読み出して前記重みを量子化し、前記第２関数を読み出して前記第２処理が組み込まれた前記第１処理を行ってもよい。また、前記ニューラルネットワークは、少なくとも１層の中間層を有する多層ニューラルネットワークであってもよい。また、前記ニューラルネットワークは、複数の中間層を有する多層ニューラルネットワークであって、前記プロセッサは前記第１関数または前記第２関数を、前記複数の中間層に対応して関数を入れ替えてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、前記ニューラルネットワークは、前処理された画像信号を前記入力信号として記憶するための入力バッファをさらに備え、前記画像信号に施される前処理はモノクロ変換、コントラスト調整、および輝度調整のうち一つを含んでもよい。また、前記第２処理はFPGA上で実行され、前記第２処理は前記第１処理で用いられるデータの少なくとも一部のビット精度を１ビットに削減してもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
上述した課題を解決するために、本発明に係る通信装置は、上記ニューラルネットワーク処理装置を備える通信装置であって、通信ネットワークを介して外部電子機器との通信を行うためのインターフェース回路をさらに備え、前記通信ネットワークを介して、前記外部電子機器から前記第１処理または前記第２処理に用いるデータを通信する。また、前記通信ネットワークを介して、前記外部電子機器から予め量子化された前記第１処理で用いられるデータを受信してもよい。また、前記通信ネットワークを介して、前記外部電子機器から前記第２処理に用いる関数を受信してもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上述した課題を解決するために、本発明に係るニューラルネットワーク処理方法は、ニューラルネットワークに与えられる入力信号を第１メモリに記憶する第１ステップと、前記ニューラルネットワークの重みを第２メモリに記憶する第２ステップと、プロセッサが、前記入力信号と前記重みとの積和演算を含む前記ニューラルネットワークの畳み込み演算を行う第１処理と、前記第１処理で用いられるデータの少なくとも一部のビット精度を削減する量子化を行う第２処理とを行う第３ステップとを備える。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
上述した課題を解決するために、本発明に係るプログラムは、上記ニューラルネットワーク処理方法を行うための、ハードウェアに組み込み可能なプログラムである。