Yinelemeli sinir ağlarının alanda programlanabilir kapı dizileri üzerinde tasarımı
Design of recurrent neural networks on field programmable gate array
Yazar: NAGİHAN AYDEMİR
Danışman: PROF. DR. BURCU ERKMEN
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Haberleşme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilim ve Teknoloji = Science and Technology ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Zaman serileri, aralarındaki korelasyon nedeniyle tahmini zor verilerdir. Yapay sinir ağlarında zaman verilerini tahmin etmek için Yinelemeli Sinir Ağları mimarisi kullanılmaktadır. RNN'ler, sadece anlık verileri değil geçmiş hücre çıkışlarını da kullanarak zaman verileri arasındaki korelasyonu bulmaktadır. Uzun Kısa Süreli Bellek (LSTM), bu tür tahminler için yaygın olarak kullanılan bir RNN mimarisi türüdür. Bu çalışmada yüksek düzensizliği ile bilinen kripto para verilerinden faydalanılmıştır. Kripto para verilerinin tahmini için kullanılan tek katmanlı LSTM ağında 2 gizli katman ve bir adet tam bağlı katman kullanılmıştır. Kripto para verileri MATLAB üzerinde Adam optimizasyon algoritması da kullanılarak LSTM ağı ile 5000 adım eğitilmiş ve sonucunda RMSE 0.12 olarak gözlemlenmiştir. Ağ parametreleri elde edildikten sonra tahmin aşaması için FPGA kullanılmıştır. GPU'lardan farklı olarak FPGA'lar, birbirleri arasında paralel kendi içinde ise ardışıl çalışan işlemciler yerine tamamen paralelleştirilmiş mantık bloklarına sahiptirler ve daha düşük güç tüketimi sunmaktadırlar. Tahmin aşamasında, FPGA üzerinde tasarlanan LSTM bloğuyla simülasyon gerçekleştirilmiş ve alınan sonuçlar MATLAB'ten elde edilen tahmin sonuçlarıyla kıyaslandıklarında hata oranının %0.021 olduğu görülmüştür. Sonrasında Vivado üzerinde, ZYNQ 7 serisine ait olan ZedBoard geliştirme kartı için tasarım sentezlenmiş ve literatürdeki benzer çalışmalarla kıyaslandığında kaynak tüketiminin daha az olduğu gözlemlenmiştir. Ardından bu tasarım, seçilen FPGA üzerinde, elde edilen tahmin verilerini AXI veri yolu ile işlemci bölgesine gönderecek şekilde gerçekleştirilmiştir. Bu veriler işlemci bölgesine FPGA'den alındıktan sonra lwIP kütüphanesi ile sağlanan bir Ethernet ağı üzerinden Matlab Simulink ortamında oluşturulan modele iletilmiştir. Sonrasında bu modeli kontrol eden bir arayüz üzerinde bu tahmin verileri görselleştirilmiştir.

Abstract:
Time series are difficult data to predict because of the correlation between them. Recurrent Neural Networks architecture is used to predict time data in artificial neural networks. RNNs find correlations between time data using not only instantaneous data but also past cell outputs. Long Short Term Memory is a type of RNN architecture commonly used for such predictions. In this study cryptocurrency data, known for its high irregularity, were used. 2 hidden layers and 1 fully connected layer are used in the single-layer LSTM network used for the prediction of cryptocurrency data. Cryptocurrency data was trained with the LSTM network for 5000 steps using the Adam optimization algorithm on MATLAB and as a result, RMSE was observed as 0.12. After the network parameters were obtained, FPGA was used for the estimation phase. Unlike GPUs, FPGAs have fully parallelized logic blocks instead of processors that run parallel to each other and sequentially within themselves, and they offer lower power consumption. In the prediction phase, the simulation was carried out with the LSTM block designed on the FPGA, and when the results were compared with the prediction results obtained from MATLAB, it was seen that the error rate was 0.021%. Afterwards, the design for the ZedBoard development board belonging to the ZYNQ 7 series was synthesized on Vivado and it was observed that the resource consumption was less compared to similar studies in the literature. Then, this design was implemented on the selected FPGA, sending the resulting prediction data to the processor region via the AXI bus. After this data was received from the FPGA to the processor region, it was transmitted to the model created in the Matlab Simulink environment over an Ethernet network provided with the lwIP library. Afterwards, these prediction data were visualized on an interface that controls this model.