Derin sinir ağları ile modülasyon sınıflandırma /
Yazar: YUSUF ARAS
Danışman: PROF. DR. MEHMET ERTUĞRUL ÇELEBİ
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Telekomünikasyon Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Haberleşme sistemleri, farklı modülasyon türlerinin kullanımıyla günden güne
gelişmektedir. Geliştirilen her modülasyon türünün kendine özgü kullanım alanı ve
kendine ait özellikleri olmaktadır. Etkin, kaliteli ve sürdürülebilir bir haberleşme alt
yapısı için kullanılan modülasyon türleri araştırmacılar için hep çalışma konusu
olmuştur. Araştırmacılar, modülasyon türlerinin sınıflandırılması için çeşitli yöntemler
kullanmıştır. Bu yöntemler, teknolojinin gelişimine göre de sürekli gelişmiştir.
Teknolojinin gelişme aşamasında, modülasyon sınıflandırma olasılık tabanlı
yöntemlerle yapılmaya çalışılıyordu. Olasılık tabanlı yöntemler, yoğun matematiksel
hesaplama gerektiren işlemlere dayanıyordu. Bu yöntemlerin kullanılabilmesi için de
sınıflandırılacak modülasyon türü hakkında ön bilgiye gereksinim duyulmaktadır.
Ancak günümüzde, oyun bilgisayarlarının, önceki nesillere göre çok daha hızlı olması
ve grafik işlemcilerle donatılması modülasyon türlerinin sınıflandırılması için yeni
yöntemler sunmuştur. Modülasyon türleri, makine öğrenmesi algoritmaları ile
sınıflandırılmaya başlanmıştır. Makine öğrenmesi algoritmaları ile modülasyon
sınıflandırma yaparken, sınıflandırılacak modülasyon türü hakkında ön bilgiye ihtiyaç
duyulmamaktadır. Makine öğrenmesi algoritmaları kullanılarak, çok kısa sürede ve
yüksek doğruluk değerleri ile sınıflandırma yapılabilmesi araştırmacıları bu alana
yöneltmiştir. Araştırmacılar, modülasyon sınıflandırma işlemleri için makine
öğrenmesi algoritmalarını benimsemiş, özellik çıkarımına gerek kalmadan
modülasyon sınıflandırma yöntemlerine katkıda bulunmuşlardır. Hızlı ve yüksek
başarımlı algoritmalar geliştirmişlerdir. Bu algoritmalar da yapılan yeni çalışmalarla
daha da ileriye taşınmaktadır.
Bu tez çalışmasında, makine öğrenmesi algoritmaları kullanılarak modülasyon
sınıflandırma işlemleri yapılmaya çalışılmıştır. Yapılan çalışmada 8 sayısal
modülasyon türü, ikili faz kaydırmalı anahtarlama (BPSK), dörtlü faz kaydırmalı
anahtarlama (QPSK), 8 faz kaydırmalı anahtarlama (8-PSK), 16 karesel genlik
modülasyonu (16-QAM), 64 karesel genlik modülasyonu (64-QAM), 4 darbe genlik
modülasyonu (PAM4), gauss frekans kaydırmalı anahtarlama (GFSK), sürekli fazlı
frekans kaydırmalı anahtarlama modülasyonu (CPFSK) ve 3 analog modülasyon türü
çift yan bant modülasyonu (DSB-AM), tek yan bant modülasyonu (SSB-AM), geniş
bant frekans modülasyonu (WB-FM) sınıflandırılmaya çalışılmıştır. Tez kapsamında,
modülasyon sınıflandırma işlemleri için kullanılan olasılık tabanlı ve makine
öğrenmesi algoritmaları ile sınıflandırma yöntemleri tanıtılmıştır. Yapılan
sınıflandırma çalışmaları güncel sınıflandırma çalışmaları yöntemlerine göre
seçilmiştir. Sınıflandırma işlemleri için evrişimli sinir ağları (CNN), artık sinir ağları
(ResNet), özyineli sinir ağları (RNN) modelleri olan, uzun kısa vadeli bellek (LSTM),
geçitli tekrarlayan ünite (GRU) ve çift yönlü bilgi akışı sağlayarak sınıflandırma
yapabilen, çift yönlü uzun kısa vadeli bellek (Bi-LSTM), çift yönlü geçitli tekrarlayan
ünite (Bi-GRU) yöntemleri kullanılmıştır. Yapılan çalışmalarda, GNU Radio (ücretsiz
ve açık kaynaklı bir yazılım geliştirme platformu) tarafından oluşturulan, yapay veri
seti RadioML2016.10a kullanılmıştır. Bu yapay veri seti, 11 modülasyon türüne ait
zaman alanında örneklenmiş verileri içermektedir. Tez kapsamında oluşturulan
modellere giriş verisi olarak RadioML2016.10a verisi kullanılmıştır. Tez
çalışmasında, yüksek doğruluk ve hızlı sınıflandırma konularına yoğunlaşılmıştır. Bu
bağlamda, yüksek doğruluk ve hızlı sınıflandırma sağlayan modeller oluşturulmaya
çalışılmıştır. Tez çalışmasında, her biri özgün olan 12 modülasyon sınflandırma
benzetimleri kullanılmıştır. Yüksek doğruluk ve hız açısından, paralel modeller
oluşturulmuştur. Paralel modellerle veri öğrenmesinin iki farklı kolda ayrı ayrı yapılıp,
sınıflandırma işlemlerinde öğrenilen özelliklerin paylaşılarak yüksek doğruluk ve hızlı
sınıflandırma amaçlanmıştır. Yapılan sınıflandırma çalışmalarında, Paralel CNN,
ResNet, Paralel ResNet, LSTM, Paralel LSTM, GRU, Bi-LSTM, Bi-GRU modelleri
oluşturulmuş ve bu modellerler sınıflandırma çalışmaları tekrar tekrar denenmiştir.
Elde edilen en yüksek doğruluk değerleri tez kapsamında dâhil edilmiştir. Yapılan tüm
çalışmalarda elde edilen en yüksek doğruluk değerleri %93 olmuştur. Tez
çalışmasında ResNet modeli ile de %92 oranında bir doğruluk değeri sağlanmıştır.
ResNet Modeli ile yapılan sınıflandırma için yüksek bir sınıflandırma başarımıdır.
Yapılan önceki modülasyon sınıflandırma çalışmalarında, ResNet ile yüksek doğruluk
değerleri sağlanamamışken, bu tez çalışmasında %92 gibi bir başarım sağlanmıştır. Bu
başarımın arttırılması için Paralel ResNet modeli oluşturulmuştur. Ancak, oluşturulan
Paralel ResNet modeli beklenen başarımı sergileyememiştir. Paralel ResNet
modelinin, sadece faz kaydırmalı anahtarlama modülasyonları için uygun olduğu
görülmüştür. LSTM modelleri ile yapılan sınıflandırmalar, diğer çalışmalarda olduğu
gibi yüksek doğruluk değerleri sağlamıştır. LSTM ile oluşturulan modeller %93 gibi
bir başarım sağlamıştır. Yapılan önceki çalışmalar, LSTM modelinin GRU modeline
göre daha iyi bir sınıflandırma sonucu sağladığı algısını değiştirmiştir. Yapılan
çalışmalarda GRU modelleri, hem yüksek doğruluk hem hızlı sınıflandırma açısından
daha iyi bir başarım sağlamıştır. Yapılan çalışmalar sonucunda GRU modelinin LSTM
modeline göre üstünlüğü kurulmuştur. LSTM ve GRU modelleri farklı katman sayıları
ile oluşturulmuş ve bu iki yöntem arasında hız ve doğruluk denemeleri yapılmıştır.
Yapılan denemeler sonucunda, elde edilen başarım değerleri tek tek karşılaştırılmıştır.
Yapılan tüm çalışmalarda, elde edilen sonuçlar tarafsız bir şekilde değerlendirilmeye
çalışılmış, savunulan düşünceler de yeni oluşturulan modellerle de desteklenmeye
çalışılmıştır. Tez kapsamında yapılan çalışmalar sonucunda, kullanılan yöntemlere
göre modülasyon türlerinin doğruluk tahminleri tek tek analiz edilmeye çalışılmıştır.
Kullanılan modellerin başarımları modülasyon türlerine göre ayrı ayrı
değerlendirilmiş ve her modülasyon türüne en uygun olacak sınıflandırıcı model
belirtilmiştir. Derin sinir ağları ile yapılan tüm modülasyon sınıflandırma
benzetimleri özgün bir şekilde, bu tez çalışmasına dâhil edilmiştir. Yapılan tez
çalışması, modülasyon sınıflandırma, ses tanıma, haberleşme sistemlerinin
iyileştirilmesi gibi konularda yapılacak sonraki çalışmalara kaynak teşkil edecek ve
yol gösterici bir çalışma olarak gerçekleştirilmiştir.

Abstract:
Communication systems are improved day-by-day with using different modulation
types. Each modulation type which is developed has its own specific usage area and
its own characteristics. Modulation types which are used for effective, high quality and
sustainable communication infrastructure have always been the subject of study for
researchers. Researchers have used various methods to classify modulation types.
These methods have been continuously developed according to the development of
technology. In the development phase of technology, modulation classification was
first implemented with probability-based methods. Probability-based methods rely on
computation-intensive operations. However, usage of these methods also require prior
knowledge of the modulation type to be classified. Nowadays, improvement of the
gaming computers equipped with graphical proccessing unit pave the way for new
methods for modulation classification studies. Modulation classification reach a new
phase with machine learning algorithms. Modulation classification with machine
learning algorithms doesn't require priori information related with the modulation type
which is classified. Machine learning algorithms present high accuracy values and very
fast classification performance which appeal the interest of the researcher to use that
algorithms on their studies. Researchers have adopted machine learning algorithms for
modulation classification processes without the need of feature extraction. They
developed algorithms which have fast and high performance on modulation
classification. These algorithms are also being carried forward with new studies.
In this thesis, modulation classification processes implemented by machine learning
algorithms. In this study, 8 digital modulation types, binary phase shift keying (BPSK),
quadrature phase shift keying (QPSK), 8 phase shift keying (8-PSK), 16-quadrature
amplitude modulation (16-QAM), 64-quadrature amplitude modulation (64-QAM), 4
pulse amplitude modulation (PAM4), gaussian frequency shift keying (GFSK),
continuous phase frequency shift keying modulation (CPFSK), and 3 analog
modulation types double sideband modulation (DSB-AM), single sideband
modulation (SSB-AM), wideband frequency modulation (WB-FM) are tried to be
classified. Probability-based and machine learning algorithms based classification
methods which are used for modulation classification processes are introduced in the
scope of the thesis. Classification studies are selected according to current
classification studies' methods. In classification operations, convolutional neural
networks (CNN), residual neural networks (ResNet), recursive neural networks (RNN)
types, long short-term memory (LSTM), gated recurrent unit (GRU) and models which
provide bi-directional information flow, bi-directional long-short-term memory (BiLSTM), bi-directional gate recurrent unit (Bi-GRU) methods are used. In this study,
artificial dataset RadioML2016.10a which generated by GNU Radio ( free and open
source software development platform) is used. This synthetic dataset contains data of
11 modulation types which are sampled in time-domain. RadioML2016.10a dataset is
used as input data for each models which is created within the scope of the thesis. In
the thesis work, high accuracy and fast classification issues are developed. In this
context, it has been tried to create models which provide high accuracy and fast
classification performance. In the thesis study, 12 modulation classification techniques
that each one is unique used. In terms of high accuracy and high speed, parallel models
have been created. With using parallel models, feature learning is done separately in
two different branches and the learned features are shared in classification processes
to get high accuracy and fast classification performance. In classification studies,
Parallel CNN, ResNet, Parallel ResNet, LSTM, Parallel LSTM, GRU, Bi-LSTM, BiGRU models are created and classification studies are tried repeatedly with these
models. The highest accuracy values obtained with these models are included in the
thesis. The highest accuracy values obtained in all studies is 93%. In thesis study, an
accuracy value of 92% is provided with the ResNet model. This value shows high
classification performance for classification with ResNet Model. In previous
modulation classification studies, ResNet didn't have high classification performance
but in that study %92 accuracy value is achieved with ResNet. After that high
performance of the ResNet model, Parallel ResNet model is created to increase this
performance. However, the created Parallel ResNet model is not perform as expected.
The parallel ResNet model has been found to be suitable only for phase shift keying
modulations. Classification with LSTM models always give high classification
performance as achieved in that study. Models which are created with LSTM, achieved
a success rate of 93%. According to previous studies, LSTM has better performance
than GRU. However, this thesis studies also change that perception. In thesis studies,
the GRU models provide a better performance in terms of both high accuracy and fast
classification. As a result of the studies, the superiority of the GRU model over the
LSTM model has been established with that thesis. LSTM and GRU models are
created with different number of layers, speed and accuracy comparisons are made
between these two methods. As a result of the trials done, the performance values
obtained are compared one by one for each model. In all studies, the results are tried
to be evaluated in an impartial way, and the hypothesis were tried to be supported with
the newly created models. As a result of the studies carried out within the scope of the
thesis, the accuracy estimates of the modulation types according to the methods used
are tried to be analyzed one by one. The performances of the models used are evaluated
separately according to the modulation types, and the classifier model that would be
most suitable for each modulation type is specified. All modulation classification
simulations with deep neural networks are uniquely included in this thesis. The thesis
study is carried out as a guide and a source for future studies on modulation
classification, voice recognition, improvement of communication systems.