Konteyner yükleme problemleri için tabu arama ve pekiştirmeli öğrenme tabanlı bir hibrit yaklaşım
A hybrid approach based on tabu search and reinforcement learning for container loading problems
Yazar: CANAN HAZAL AKARSU
Danışman: DOÇ. DR. TARIK KÜÇÜKDENİZ
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Endüstri Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Konteyner yükleme problemi, lojistik sektöründe önemli bir yer tutmakta olup, nakliye maliyetlerini azaltmak ve operasyonel verimliliği artırmak açısından kritik bir rol oynamaktadır. Bu problem, üç boyutlu dikdörtgen öğelerin belirli kısıtlar altında bir konteynere en verimli şekilde yerleştirilmesini ifade eden bir kombinatoryal optimizasyon problemidir ve NP-zor sınıfında yer alır. Bu çalışmada, konteyner yükleme problemleri için tabu arama ve pekiştirmeli öğrenme tabanlı yeni bir hibrit bir algoritma (TSQL) geliştirilmiştir. Çalışmanın sonucunda hem yeni bir yöntemin geliştirilmesi ile literatüre katkı sağlanması hem de bir gerçek hayat problemi olan konteyner yükleme problemine üretilecek hızlı ve etkili çözümler ile endüstri uygulamalarında lojistik maliyetlerinin düşürülerek ulusal ekonomiye ve toplumsal refaha yarar sağlayabilecek bir yöntemin sunulması amaçlanmıştır. Konteyner yükleme problemleri iki aşamada ele alınmıştır. Birinci aşama konteynere yüklenecek kutu tiplerinin yükleme sırasının optimize edilmesi, ikinci aşama kutuların belirlenen sırada, konteynerin içine en verimli şekilde yerleştirilmesidir. Kutu tiplerinin konteynere yüklenme sırası tabu arama ve pekiştirmeli öğrenme tabanlı hibrit algoritma (TSQL) ile belirlenir. TSQL algoritmasında, tabu arama yönteminin 'komşuların üretilmesi ve değerlendirilmesi' aşamasında Q-öğrenme algoritması entegre edilmiştir. Ayrıca, öğelerin konteyner içinde en verimli şekilde yerleştirilmesi için bir yerleştirme sezgiseli kullanılmıştır. Tez kapsamında, bu üç yöntemin bir arada kullanıldığı hibrit bir model oluşturulmuş ve performansı karşılaştırmalı veri setleri üzerinde test edilmiştir. Elde edilen bulgular, geliştirilen hibrit algoritmanın, tabu arama yöntemine kıyasla daha hızlı ve daha kaliteli çözümler üretebildiğini göstermektedir. Bu çalışma, literatürde tabu arama algoritmasını güçlendirmek için Q-öğrenmenin kullanıldığı ilk çalışma olması ve ayrıca, konteyner yükleme problemleri literatüründe metasezgisel algoritma ile pekiştirmeli öğrenmenin hibrit kullanımına dair ilk çalışma olması nedeniyle önemli bir yenilik taşımaktadır.

Abstract:
Container loading problem holds a significant place in the logistics sector, playing a critical role in reducing shipping costs and increasing operational efficiency. This problem is a combinatorial optimization problem that involves placing three-dimensional rectangular items into a container in the most efficient way under certain constraints, and it belongs to the NP-hard class. In this study, a novel hybrid algorithm (TSQL) based on tabu search and reinforcement learning was developed for container loading problems. The aim of the study is to contribute to the literature by developing a new method and to provide a method that can reduce logistics costs in industrial applications and benefit the national economy and social welfare by producing quick and effective solutions to the real-world problem of container loading. Container loading problems were addressed in two stages. The first stage involves optimizing the loading sequence of the box types to be loaded into the container, and the second stage involves placing the boxes into the container in the most efficient way according to the determined sequence. The loading sequence of the box types into the container is determined by the hybrid algorithm (TSQL) based on tabu search and reinforcement learning. In the TSQL algorithm, the Q-learning algorithm is integrated into the 'generation and evaluation of neighbors' stage of the tabu search method. Additionally, a placement heuristic is used to place the items in the container most efficiently. Within the scope of the thesis, a hybrid model that uses these three methods together was created, and its performance was tested on comparative datasets. The findings show that the developed hybrid algorithm can produce faster and higher quality solutions compared to the tabu search method. This study represents a significant innovation as it is the first study in the literature to use Q-learning to enhance the tabu search algorithm, and it is also the first study in the container loading problems literature to use a hybrid approach combining a metaheuristic algorithm with reinforcement learning.