Kablosuz haberleşme için uçtan uca otokodlayıcı tasarımı
End to end autoencoder design for wireless communication
Yazar: MUSTAFA BAYRAM AYAZ
Danışman: PROF. DR. MEHMET ERTUĞRUL ÇELEBİ
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Telekomünikasyon Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Blok kodlama = Block code ; Elektronik haberleşme = Electronic communication

Özet:
Bu çalışma, derin öğrenme ve kablosuz iletişim alanları arasındaki ilişkiyi inceleyen kapsamlı bir çalışmayı ele almaktadır. Çalışma, kablosuz haberleşme sistemlerinin verimliliğini ve güvenilirliğini artırmak amacıyla otokodlayıcıların nasıl kullanılabileceğini araştırmaktadır. Çalışmanın ana katkısı otokodlayıcılar ile tasarlanan bir haberleşme sisteminin farklı otokodlayıcı sistem konfigürasyonları ile performansını açıklamaktır. 
Tezin ilk bölümü, derin öğrenme kavramlarına odaklanmaktadır. Denetimli ve denetimsiz öğrenme arasındaki farklar açıklanmakta ve ileri yönlü derin ağlar incelenmektedir. Ayrıca, derin öğrenmede kullanılan temel kavramlar ve algoritmalar ele alınmaktadır. Öğrenme parametreleri, aktivasyon fonksiyonları, optimizasyon algoritmaları ve geri yayılım (back propagation) gibi konular detaylı bir şekilde açıklanmaktadır. Kayıp fonksiyonları ve öğrenme algoritmaları da örneklerle birlikte incelenmektedir. Tasarlanan modelde sıklıkla kullanılan kategorik çapraz entropi (categorical cross entropy) kayıp fonksiyonu araştırılmıştır.
Kablosuz haberleşme temelleri ele alınarak otokodlayıcı ile ilişkisi incelenmiştir. Otokodlayıcıların mimarisi ve farklı türleri detaylı bir şekilde incelenmektedir. Evrişimli otokodlayıcılar, değişken otokodlayıcılar ve gürültü çözen otokodlayıcılar gibi farklı türlerin özellikleri vurgulanmaktadır.
Çalışmanın devamında uçtan uca otokodlayıcı tasarımı ele alınmaktadır. Sistem modelleri ve otokodlayıcı konfigürasyonları üzerinde durularak, farklı senaryolarda otokodlayıcı hata analizleri yapılmaktadır. QPSK, 8PSK gibi modülasyon türleri ile bunların otokodlayıcı yapılarıyla olan karşılaştırmalı hata analizleri yapılmıştır. Farklı işaret gürültü oranlarında (signal to noise ratio, SNR) otokodlayıcı model eğitilmiş ve hangi değerlerde otokodlayıcının yüksek hata performansı verdiği bilgileri çıkarılmıştır. 
Alamouti sistemine alternatif olarak sunulan otokodlayıcı modeli tasarlanırken kanalda distorsiyon etkisi olarak Rayleigh sönümlemesi kullanılmıştır. MMSE tahmini Minimum Ortalama Karesel Hata ile elde edilir ve giriş sinyalinin kod çözücüdeki temsili elde edilir. Bu çalışma sonucunda geleneksel 2 x 1 Alamouti sistemi ile bu sistemin otokodlayıcılarla tasarlanan modelinin bit hata oranı performansı açısından benzer sonuçlar verdiği görülmektedir. Uzaysal çeşitlilik için bir otokodlayıcı modeli tanıtılmış ve bu model 2x1 iletişim sistemlerinin verici ve alıcı işlemlerini tek bir uçtan uca kodlama yöntemi ile optimize etmektedir. Rayleigh sönümleme kanalı kullanılarak yapılan simülasyon sonuçları, otokodlayıcı tabanlı sistemin BER performansını göstermektedir. Bu sonuçlar, mevcut geleneksel gönderici anten çeşitleme uygulamalarının performansıyla karşılaştırılmıştır. 
Bu çalışma kapsamında derin öğrenme ile kablosuz iletişim arasındaki önemli bağlantılar vurgulanır ve kablosuz iletişim sistemlerindeki otokodlayıcıların potansiyeli incelenir. Bu tez, derin öğrenme ve kablosuz iletişim arasındaki ilişkinin daha iyi anlaşılmasını sağlar ve kablosuz iletişim sistemlerinin performansını artırmak için otokodlayıcıların kullanımını vurgular. Son bölümde araştırmanın sonuçları özetlenmektedir.

Abstract:
This study presents a comprehensive investigation of the relationship between deep learning and wireless communications. The study explores how autoencoders can be used to improve the efficiency and reliability of wireless communication systems. The main contribution of the study is to describe the performance of a communication system designed with autoencoders using different configurations of autoencoder systems. These configurations include the types of layers used and the effects of hyperparameters during model training.
The first section of the thesis focuses on deep learning concepts. It explains the differences between supervised and unsupervised learning and examines feedforward neural networks. Autoencoders, which operate based on unsupervised learning mechanisms and provide successful results in representing data, are discussed. Furthermore, fundamental concepts and algorithms used in deep learning are addressed. Topics such as learning parameters, activation functions, optimization algorithms, and backpropagation are explained in detail. Loss functions and learning algorithms are also examined with examples. The categorical cross entropy loss function, which is frequently used in the designed model, is investigated. It is an effective loss function for autoencoders to reconstruct the data as accurately as possible.
We also focused on the fundamentals of wireless communication. Topics such as Alamouti coding are explained in detail, followed by a discussion on how autoencoders can be used for wireless communication. The architecture and different types of autoencoders are extensively examined. Features of specific types of autoencoders, such as convolutional autoencoders, variational autoencoders, and denoising autoencoders, are highlighted. These types of autoencoders are designed for specific problems.
Compared to conventional communication systems, autoencoders have both advantages and disadvantages.Autoencoders can compress data by representing it with a reduced amount of information. This allows for efficient data storage and transmission.They can capture complex patterns and representations in the data, which can be beneficial for various tasks in communication systems.They also are capable of reconstructing corrupted or noisy data, making them robust in the presence of noise and channel impairments. They can help improve the reliability of communication systems. On the other hand, training autoencoders can be computationally intensive and time-consuming, especially for large-scale datasets. The optimization process requires significant computational resources. Also, one of the disadvantages of autoencoders is that designing an effective autoencoder for a specific communication task requires careful consideration of various factors, such as network architecture, hyperparameter tuning, and training methodology. It can be challenging to optimize and fine-tune the autoencoder for optimal performance.
We explain end-to-end autoencoder design. Autoencoder design is thoroughly examined for both uncoded and coded systems. Uncoded systems refer to the traditional communication systems where the information is directly transmitted without any additional coding. In uncoded systems, the input data is encoded and modulated using a specific modulation scheme (e.g., BPSK or QPSK) and transmitted over the channel. At the receiver, the received signal is demodulated and decoded to recover the original data. The performance of uncoded systems is typically measured in terms of Block Error Rate (BLER), which represents the accuracy of data recovery. In conventional communication systems, channel coding techniques have been developed to improve the efficiency of information signal transmission, as the signal is subject to distortion during transmission through the channel. Coded systems involve the use of error-correcting codes in addition to modulation for reliable data transmission. The input data is first encoded using an error-correcting code, such as Hamming codes. The encoded data is then modulated and transmitted over the channel. At the receiver, the received signal is demodulated and decoded using appropriate decoding algorithms to recover the original data.The use of error-correcting codes helps in mitigating the effects of noise and channel impairments, improving the overall reliability of data transmission. These systems try to correct errors by adding extra bits to the information signal at the receiver. 
The focus is on the design of end-to-end autoencoders specifically designed for wireless communications. A model for spatial diversity is introduced, aiming to optimize the entire communication system, including the transmitter and receiver. Autoencoder model emphasizes the importance of system optimization and presents simulation results to demonstrate the performance of the proposed autoencoder-based approach in achieving spatial diversity in wireless communication. In the autoencoder-based system, information is encoded in the encoding section of the autoencoder and reaches the channel layer where distorting channel effects are added. Here the encoder and decoder are designed for 2x1 system. The encoder output represents modulated signals and these symbols are processed in the channel. In the decoder, corrupted symbols are estimated by MMSE estimator and the closest representation to the input values is obtained in the output layer. The entire system is modeled similar to the Alamouti space time block coding architecture. There is end-to-end optimization in the system.
The encoder part of the autoencoder corresponds to the transmitter part of traditional systems, and the decoder part corresponds to the receiver part of traditional systems. While designing this autoencoder model, which is offered as an alternative to the Alamouti system, Rayleigh fading is used as a distortion effect in the channel. MMSE estimation is achieved with Minimum Mean Square Error (MMSE) and the representation of the input signal in the decoder is obtained. As a result of this study, it is seen that the traditional 2 x 1 Alamouti system and the model of this system designed with autoencoders give similar results in terms of bit error rate performance.
The results section summarizes the findings and outcomes of the study. It emphasizes the significant connections between deep learning and wireless communication and highlights the potential of autoencoders in wireless communication systems.
This thesis provides a better understanding of the relationship between deep learning and wireless communication and emphasizes the use of autoencoders to enhance the performance of wireless communication systems.