Derin öğrenme ile modülasyon sınıflandırması
Modulation classification with deep learning
Yazar: SELÇUK BALSÜZEN
Danışman: PROF. DR. MESUT KARTAL
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Telekomünikasyon Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Modülasyon, tipik olarak iletilecek bilgileri içeren modülasyon sinyali adı verilen ayrı bir sinyal ile taşıyıcı sinyal olarak adlandırılan periyodik bir dalga formunun bir veya daha fazla özelliğini değiştirerek iletime uygun hale getirme işlemidir. Modülasyon işleminde, taşıyıcı dalganın bir veya daha fazla parametresi (genlik, frekans veya faz gibi) modüle edici sinyale göre değiştirilir. Bu varyasyon, veri aktarımı için bir kod görevi görür. Alınan sinyalin modülasyon tipini tanımlayan otomatik modülasyon sınıflandırması, işbirliği yapmayan iletişim sistemlerinin önemli bir parçasıdır. Otomatik modülasyon sınıflandırması, bilişsel radyo (CR), uyarlanabilir iletişim ve elektronik keşif gibi birçok sivil ve askeri uygulamada önemli bir rol oynar. Bu sistemlerde, vericiler modülasyon tipi sinyalleri serbestçe seçebilir; ancak, alıcıların sinyalleri demodüle etmeleri için modülasyon türü bilgisi gereklidir, böylece iletim başarılı olabilir. CR sistemlerinin veri aktarımı amacıyla uygulanan modülasyon tekniklerini tanımlaması, etkili modülasyon sınıflandırması ile gerçekleşebilmektedir. CR, kullanılmayan frekans bantlarını bularak ve kullanarak daha iyi spektrum kullanımı sağlayabilecek ümit vaat eden bir teknolojidir. CR'nin önemli özellikleri, çevreyi algılaması, gözlemlere ve görev hedeflerine dayanarak karar verme yeteneğine sahip olması ve geçmiş deneyimlerden öğrendiği bilgileri gelecekteki karar alma süreçlerinde kullanmasıdır. Spektrum algılama, spektrum yönetimi, spektrum mobilitesi ve spektrum paylaşımı, CR'nin asıl fonksiyonları olarak karşımıza çıkmaktadır. Bilişsel Radyo Ağı (Cognitive Radio Network, CRN), mevcut ağ koşullarını gözlemleyebilen, planlayan, karar verebilen ve daha sonra bu koşullara göre hareket edebilen bir bilişsel sürece sahip bir CR düğümleri ağıdır. CRN, bu uyarlamalardan öğrenebilir ve uçtan uca hedefleri göz önünde bulundurarak gelecekteki kararları vermek için öğrendiği bu bilgileri kullanabilir. CRN, mevcut kaynakları (güç, bant genişliği, vb.) optimize etme ve ortam katmanına göre fiziksel katman dâhil olmak üzere protokol yığınının her katmanını uyarlama yeteneğine sahiptirler. Güvenli, güvenilir ve sorunsuz iletişim için çeşitli standartlar ve garantili hizmet kalitesi (Quality of Service, QoS) arasında birlikte işlerlik için ihtiyaçların olduğu askeri ve kamu güvenliği uygulamaları ile QoS'in servis kullanılabilirliğini, güvenilir ve hızlı veri aktarımını içerdiği ticari uygulamalar CRN'nin çeşitli potansiyel uygulamaları olarak karşımıza çıkmaktadır. Buna ek olarak askeri ve kamu güvenliği uygulamaları için, CR'ler çok zorlu ortamlarda, çok sayıda farklı unsur arasında, sıkışan saldırılara ve kötü niyetli müdahaleye karşı hassas olan sabit ve hareket halindeki iletişimleri gerçekleştirmektedirler. Askeri uygulamalarda, düşman sinyali hakkında hiçbir bilgi yoktur ve dolayısıyla CR'ye ait alıcının düşman sinyalinde kullanılan modülasyon formatını tanımlaması gerekir. Otomatik modülasyon sınıflandırması (Automatic Modulation Classification, AMC), alınan sinyaldeki modülasyon formatını tanımlayabilen bir sinyal işleme bileşenidir. Özellikle kör modülasyon tanıma olarak nitelendirilen ve gelen sinyal hakkında hiçbir bilgiye sahip olunmadan gerçeklenen AMC işlemi, birçok CR uygulaması açısından çok önemli bir yer tutmaktadır. AMC'nin özellikle askeri uygulamalarda önemli bir yeri vardır. Günümüzde kablosuz haberleşme, sahada en fazla kullanılan haberleşme yöntemidir. Haberleşen karşıt unsurların frekansını, konumunu, modülasyon tipini, anten sayısını, kodlama yöntemini kestirmek her biri önemli birer problemdir. Bu tip teknolojilerin dahil edildiği elektronik izleme sistemlerinin üstünlüğü tartışılmaz bir gerçektir. Vericinin, sinyallerin nasıl modüle edileceğini seçme özgürlüğü var iken, alıcının ise iletimin başarılı olabilmesi için sinyalin demodülasyonu için modülasyon tipi bilgisine sahip olması gerekmektedir. Aksi durumda orijinal mesaj işaretini geri elde etmek mümkün olmayabilir. Modülasyon tipini elde etmenin kolay bir yolu, iletim sırasında modülasyon tipi bilgisini de alıcıya göndermektir. Böylece alıcılar, modülasyon hakkında bilgilendirilecek ve buna göre demodülasyon adımın gerçekleştireceklerdir. Bu strateji, her sinyal çerçevesindeki ekstra modülasyon bilgisine bağlı olarak spektrum verimliliğini düşürür. Kablosuz spektrumun son derece sınırlı ve değerli olduğu mevcut durumda, yukarıda belirtilen strateji yeterince verimli değildir. Ayrıca veri güvenliği açısından da kullanılan modülasyon türünün işaret ile birlikte gönderilmesi büyük bir sorun arz etmektedir. Bu nedenle de modülasyon tipi bilgisi alıcıya ekstradan gönderilmemektedir. AMC, ilk olarak, elektronik harp (EW), gözetleme ve tehdit analizinin, düşman haberleşme ünitelerini tanımlamak, parazit sinyallerini hazırlamak ve yakalanan sinyali kurtarmak için sinyal modülasyonlarının tanınmasını gerektirdiği askeri senaryolarda uygulanmıştır. AMC'nin ilk uygulamaları sinyallerin gözlem ve işleme ekipmanı yardımıyla mühendisler tarafından manuel olarak işlenmesiyle elle yapılmaktaydı. Fakat son 20 yılda geliştirilen birçok modülasyon sınıflandırıcısı, elektronik işlemciler aracılığıyla ve genellikle gelişmiş istatistiksel işaret işleme algoritmaları kullanılarak gerçekleştirilmektedir. Mikroişlemcilerdeki gelişmeler sayesinde, alıcılar günümüzde hesaplama gücü açısından çok daha etkin hale gelmişlerdir ve böylece AMC algoritmalarının gerektirdiği sinyal işleme mümkün hale gelmiştir. Alınan sinyalin modülasyon tipinin otomatik olarak tanımlanmasıyla, vericide gönderilen mesaj işareti demodüle edilebilir ve gönderilmek istenen mesaj bilgisine ulaşılabilir. AMC, askeri ve askeri olmayan bilişsel radyo ve yazılım tanımlı radyo dâhil olmak üzere akıllı radyo sistemlerinin bir parçası haline gelmiştir. Geçmişte kullanılan geleneksel sinyal tanımlama yöntemleri bilindiği gibi döngüsel durağanlık, yüksek dereceli kümülantlar ve karmaşık hiyerarşik karar ağaçları gibi karmaşık özellik çıkarma tekniklerini dayanmaktadır. Ayrıca, klasik yöntemlerin tüm sinyal türleri üzerinde genelleştirilemeyeceği ve yeni bir kablosuz iletişim teknolojisi ortaya çıktığında kolayca adapte olamayacakları belirtilmelidir. Öte yandan son zamanlarda haberleşme alanında yoğun bir şekilde araştırılmaya başlanan derin öğrenme (DL), bu tür sınıflandırma problemleri için faydalı bir yöntem olarak önerilmiştir. DL, birçok uygulama alanında geniş çapta araştırılmasına rağmen, iletişim sistemlerindeki kullanımı henüz DL'nin diğer kullanım alanlarının gerisindedir. Derin öğrenme teknikleri kullanılarak yapılan modülasyon sınıflandırması için bildirilen bazı çalışmalar vardır. İletişim sistemi uygulamalarında DL'yi kullanmanın birçok avantajı olduğu görülmüştür. İlk olarak, DL için büyük miktarda veri gereklidir ve iletişim sistemlerinde, çok sayıda iletişim cihazı ve yüksek aktarım veri hızları nedeniyle büyük miktarda veri kolayca elde edilebilir. İkincisi, iletişim sistemlerinde veya modülasyon sınıflandırması çalışmalarında önemli bir zorluk olabilen manuel özellik seçimlerine derin öğrenmede gerek yoktur. Diğer makine öğrenimi tekniklerinde (SVM, KNN vs.) özellik çıkarımı manuel olarak yapılır. Bu yüzden klasik makine öğrenimi teknikleri yüksek hesaplama karmaşıklığına sahiptir. Bu nedenle çözümün genelleştirilmesi zordur. Derin öğrenme tekniğinde ise özellik çıkarımı otomatik olarak gerçekleştirilir. Üçüncüsü, DL teknolojilerinin hızlı ve önemli ilerlemesiyle, iletişim sistemlerindeki birçok karmaşık uygulama için önemli bir potansiyele sahiptir. Bu tez çalışmasında  çeşitli derin öğrenme teknikleri kullanılarak 3 farklı dataset üzerinde eğitimler gerçekleştirilmiştir. Evrişimli sinir ağı modeli, uzun/kısa süreli bellek modeli ve tamamen bağlı sinir ağı modelleri tasarlanmış ve 3 farklı datasete uygulanmıştır. Benzetim sonuçları verilmiş, modellerin birbirlerine olan üstünlükleri belirtilmiş ve gelecekte eklenebilecek yenilikler önerilmiştir.

Abstract:
Modulation is the process of modifying one or more properties of a periodic waveform called a carrier signal with a separate signal called the modulation signal, which typically contains the information to be transmitted, making it suitable for transmission. In the modulation process, one or more parameters of the carrier wave (such as amplitude, frequency, or phase) are changed according to the modulating signal. This variation acts as a code for data transmission. Automatic modulation classification, which defines the modulation type of the received signal, is an important part of non-cooperative communication systems. Automatic modulation classification plays an important role in many civil and military applications such as cognitive radio (CR), adaptive communication and electronic reconnaissance. In these systems, transmitters can freely choose modulation type signals; however, information of the modulation type is required for the receivers to demodulate the signals so that transmission can be successful. Effective modulation classification is required for CR systems to describe the modulation techniques applied for data transmission. CR is a promising technology that can provide better spectrum utilization by finding and using unused frequency bands. Important features of CR are that it perceives the environment, has the ability to make decisions based on observations and mission objectives, and uses the information learned from past experiences in future decision-making processes. Spectrum sensing, spectrum management, spectrum mobility and spectrum sharing are the main functions of CR. Cognitive Radio Network (CRN) is a network of CR nodes with a cognitive process that can observe current network conditions, plan, make decisions, and then act on those conditions. The CRN can learn from these adaptations and use this knowledge to make future decisions with end-to-end goals in mind. CRNs have the ability to optimize available resources (power, bandwidth, etc.) and tailor each layer of the protocol stack, including the physical layer, according to the media layer. Military and public security applications where there is a need for interoperability between various standards and guaranteed quality of service (QoS) for secure, reliable and smooth communication, and commercial applications where QoS includes service availability, reliable and fast data transfer as potential applications. In addition, for military and public safety applications, CRs perform stationary and on-the-go communications between many different elements in very harsh environments that are vulnerable to jamming attacks and malicious interference. In military applications, there is no information about the enemy signal, so the receiver of the CR must identify the modulation format used in the enemy signal. Automatic Modulation Classification (AMC) is a signal processing component that can identify the modulation format in the received signal. In particular, the AMC process, which is described as blind modulation recognition and performed without any knowledge of the incoming signal, has a very important place in many CR applications. AMC has an important place especially in military applications. Today, wireless communication is the most used communication method in the field. Estimating the frequency, location, modulation type, number of antennas and coding method of the communicating counter elements are all important problems. The superiority of electronic monitoring systems in which such technologies are included is an indisputable fact. While the transmitter has the freedom to choose how the signals are modulated, the receiver must have knowledge of the modulation type to demodulate the signal in order for the transmission to be successful. Otherwise, it may not be possible to recover the original message flag. An easy way to obtain the modulation type is to also send the modulation type information to the receiver during transmission. Thus, the receivers will be informed about the modulation and will perform the demodulation step accordingly. This strategy reduces spectrum efficiency due to the extra modulation information in each signal frame. In the current situation where wireless spectrum is extremely limited and valuable, the strategy outlined above is not efficient enough. In addition, in terms of data security, sending the modulation type used together with the signal presents a big problem. Therefore, the modulation type information is not sent to the receiver as an extra. AMC was initially applied in military scenarios where electronic warfare (EW), surveillance and threat analysis required the recognition of signal modulations to identify enemy communication units, prepare interference signals and recover the captured signal. Early implementations of AMC were done manually, with the signals being manually processed by engineers with the aid of observation and processing equipment. However, many modulation classifiers developed in the last 20 years are implemented by electronic processors and generally using advanced statistical signal processing algorithms. Thanks to advances in microprocessors, receivers have become much more computationally efficient today, and thus signal processing required by AMC algorithms has become possible. By automatically defining the modulation type of the received signal, the message signal sent in the transmitter can be demodulated and the message information to be sent can be accessed. AMC has become part of intelligent radio systems, including military and non-military cognitive radio and software-defined radio. As is known, classical signal identification methods used in the past are based on complex feature extraction methods such as cyclic stationarity, high order cumulants and complex hierarchical decision trees. It should also be noted that conventional methods cannot be generalized over all types of signals and are not readily adaptable when a new wireless communication technology emerges. On the other hand, deep learning (DL) has been suggested as a useful method for such classification problems, and has recently been intensively researched in the field of communication. Although DL has been widely researched in many application areas, its use in communication systems is still behind the other usage areas of DL. For modulation classification using DL, there are some reported studies. There are many advantages to using the DL in communication system applications. First, a large amount of data is required for DL, and in communication systems, large amounts of data can easily be obtained due to the large number of communication devices and high transmission data rates. Second, manual feature selections, which can be a significant challenge in communication systems or modulation classification, are not required in the DL. In other machine learning techniques (SVM, KNN, etc.), feature extraction is done manually. That's why classical machine learning techniques have high computational complexity. Therefore, the solution is difficult to generalize. In the deep learning technique, feature extraction is performed automatically. Third, with the rapid and significant advancement of DL technologies, it has significant potential for many complex applications in communication systems. In this thesis, trainings were carried out on 3 different datasets using various deep learning techniques. Convolutional neural network model, long / short term memory model and fully connected neural network models were designed and applied to 3 different datasets. Simulation results are given, the advantages of the models over each other are stated and innovations that can be added in the future are proposed.