Makina öğrenmesi teknikleri ile hukuki alacak tahsilat kuruluşu dosya kapatılabilirlik tahmini ve atama modeli ile dosya ataması: Telekomünikasyon sektörü örneği
Predicting case closeability of legal debt collecti̇on agency with machine learni̇ng teqniques and assignment of cases with closibility based assignment model: A case study on telecomunication sector
Yazar: NİLÜFER ALTINOK
Danışman: PROF. DR. BAŞAR ÖZTAYŞİ
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Endüstri Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering
Dizin: Atama modelleri = Assignment models ; Makine öğrenmesi yöntemleri = Machine learning methods ; Tahsilat = Collection ; Telekomünikasyon = Telecommunication

Özet:
Günümüzde, bütün sektörlerde olduğu gibi telekomünikasyon sektöründe de görülen rekabetçi yaklaşım, ilgili sektörde faaliyet gösteren şirketlerin yeni müşteriler kazanmasını oldukça zor bir hale getirmektedir. Durum böyle iken bu şirketler makine öğrenmesi yöntemleri ile müşteriye özel kampanyalar sunarak, toplam müşteri sayılarını artırmaya veya halihazırdaki müşterileri kendi markalarında tutmaya çalışmaktadırlar. Ancak makine öğrenmesi yöntemlerinin uygulama alanı sadece müşteri kazanma veya var olan müşterinin sadakatini sağlamaya yönelik çalışmalardan ibaret değildir. 
Şirketlerin büyümeye devam edebilmesi için kazanılan müşterilerden kazanç elde etmeleri gerekmektedir. Eğer şirketin halihazırda sahip olduğu müşteriler, aldığı hizmet karşılığında şirkete olan yükümlülüklerini yerine getiremiyor ise, şirketin bu gibi müşterileri kazanmak için sarf ettiği çaba, şirkete karlılık değil aksine yük getirmektedir. Bu yük sadece müşterilerden elde edilecek gelirin karşılanamaması olarak düşünülmemelidir. Müşteriden gelir elde edememenin yanında, müşteriye ait borcun tahsilatı için şirketin ayıracağı kaynaklar da göz önünde bulundurulmalıdır. Bu gibi durumlarda şirketler hem çalışanlarını hem de diğer şirket kaynaklarını (gerekli teknik ekipmanlar, elektrik vb.) bu kanala bağlayarak zarara uğrayacaktır. 
Şirketler, müşteriden borç tahsilatı yapabilmek için ya kurum içi kaynaklarını kullanmakta ya da kurum dışı kaynaklar aracılığıyla bu ödenmemiş borcu tahsil etmektedir. Burada bahsi geçen dış kaynaklar, alacak tahsilat kuruluşlarıdır ve bu kuruluşlar müşterinin ilgili şirkete olan borcuna ilave olarak, kendi verdiği hizmetin karşılığı olan tutarı da ekleyerek şirket müşterisinden ödenmemiş borcu tahsil etmeye çalışmaktadır. Şirketler tarafından ödenmemiş borçları tahsil etmeye yönelik yapılan çalışmalar büyük ölçüde müşterilerin ödeme istekliliğine ve alacak tahsilat kuruluşlarının müşteri ile müzakerelerine bağlı olan alacak tahsilat süreçleridir. Bu süreçte, tahsildarlar önce borçlu müşterileri borçlarını ödemeye ikna etmeye çalışmakta eğer borçlu müşteriler, borçlarını bu müzakereler sonucunda belirtilen süre içerisinde ödeyemezler ise yasal alacak tahsilatı süreci başlamaktadır. Yasal alacak tahsili aşamasında, alacak davalarını yargı yoluyla çözmeye çalışan, alanında tecrübeli avukatların çalıştığı hukuk büroları mevcuttur. Büyük şirketler, borçlarını ödeyemeyen müşterilerinden borç tahsilatı yapmak amacıyla iç kaynaklarını genişletmek yerine, yasal alacak tahsilat kuruluşları olarak sözleşmeli hukuk büroları ile çalışmaktadırlar. Bu tez kapsamında, çalışmanın yapıldığı ilgili telekomünikasyon şirketi de müşterileri tarafından ödenmemiş faturaların tahsilatını, dış kaynak olarak, anlaşmalı bulunduğu hukuk büroları aracılığıyla sağlamaktadır. Şirket, borcunu ödeyemeyen ve yasal alacak takibine girmiş müşterilerinden, anlaşmalı bulunduğu hukuk büroları aracılığıyla alacak tahsilatı yapmaya çalışmaktadır ve bu rekabetçi ortamda şirketin ayakta kalabilmesi için alacak tahsil etme sürecini en iyi şekilde yönetmesi gerekmektedir. Bu aşamada anlaşmalı hukuk büroları, büronun performans ve tecrübesinin alacak davalarını kapatıp kapatamaması üzerindeki etkisine göre değerlendirilmektedir. Hukuk bürolarının performansının belirlenmesindeki amaç, büronun amaçlarına ne ölçüde ulaştığını objektif bir şekilde ve periyodik olarak ölçümlemektir. Performans ölçümü; ilgili hukuk bürosunun girdilerini, iç süreçlerini, prosedürlerini, çıktılarını ve sonuçlarını değerlendirebilmeyi sağlamaktadır. Böylece bu performans ölçümü sonucu göstergeler analiz edilerek doğru karar verilebilmekte, sürekli iyileştirme yaratabilecek sınırlı kaynaklar etkin bir şekilde geliştirilebilmekte ve bireylere hedefler verilebilmektedir.
Bu çalışmanın yapıldığı şirkete ait geçmiş veri setlerinden hareketle, şirketin anlaşmalı olduğu hukuk bürolarına devredilmiş ve başarılı şekilde tahsilat sağlanmış alacak davalarının olmasının yanı sıra dava dosyasının devredildiği büro tarafından tahsilatın sağlanamadığı alacak davaları da olabilmektedir. Hangi dava dosyasının hangi hukuk bürosuna devredildiği, şirketin alacaklarını hukuki aşamada tahsil edebilmesi açısından kritik bir öneme sahiptir. Bu doğrultuda, bu çalışma, ilk aşamada geçmiş tarihsel verilere dayalı makina öğrenmesi yöntemlerini kullanarak ilgili şirket tarafından anlaşmalı olunan hukuk bürolarının alacak dava dosyası kapatma olasılıklarını tahminleyerek, devredilecek dosyayı daha çok kapatma kabiliyetine sahip hukuk bürosunu bulmayı amaçlamaktadır. Dava dosyası kapatma olasılığını tahmin etmek için, işlenen veri kümesine 9 makina öğrenme algoritması; Catboost Sınıflandırıcı, Extreme Gradient Boost Sınıflandırıcı, Gradient Boosting Sınıflandırıcı vb. uygulanmıştır. Sonuçlar, Catboost Sınıflandırıcı'nın 0,917 doğruluk oranı ile en iyi doğruluk performansına sahip olduğunu göstermiştir. Ayrıca, boosting tipi topluluk öğrenme algoritmalarının diğer algoritmalardan daha iyi performans gösterdiği sonucuna varılmıştır. Son olarak, modellemede daha iyi doğruluk elde etmek için Catboost Sınıflandırıcısının hiper parametreleri ayarlanmış ve hiper parametre optimizasyonu, tahmin üzerinde %0,01 oranda olumlu etki sağlamıştır. Son olarak modelin test kararlılığını test etmek için k-katlı çapraz doğrulama yapılmıştır. 
Makine öğrenimi modelinde seçilen CatBoost algoritması üzerinden 2021 Haziran ayına ait takip dosyalarının, anlaşmalı hukuk büroları tarafından kapatılabilme olasılıkları tahminlenmiştir. Bu kapatılabilirlik puanları, çalışmanın ikinci aşamasında, kurulan kapatılabilirlik temelli adil dosya atama modeline girdi olarak sağlanmıştır. Bu bir optimizasyon modeli olup, bu modelde amaç, takip dosyalarının tahsilatla kapatılma durumunu en büyüklerken, bütçe kısıtı altında anlaşmalı hukuk bürolarına eşit bir şekilde takip dosyalarının atamalarını gerçekleştirmektir. Kapatılabilirlik temelli adil dosya atama modeli ile 2021 Haziran ayına ait 33,365 adet takip dosyasının, anlaşmalı bulunulan 102 hukuk bürosuna optimum bir şekilde atamaları gerçekleştirilmiş olup sonuçlar üzerinden kurulan modeller değerlendirilmiştir. Atama çıktılarının büyük bir oranda modelin amaçlarına ve kısıtlarına uygun şekilde yapıldığı sonucuna varılmıştır. Bunun üzerine önce makine öğrenimi modelinin çalıştığı ardından makine öğrenimi modeli çıktısı olan dosya kapatılabilirlik değerlerinin atama modeline beslendiği ve atama modelinin çözdürülüp gerekli atama sonuçlarının alındığı tümüyle otomatik bir şekilde çalışacak olan yasal alacak takibi süreci karar destek sistemi kurulmuştur.

Abstract:
Nowadays, the competitiveness seen in the telecommunication sector, as in all sectors, makes it very difficult for companies operating in the relevant sector to gain new customers. Therefore, these companies try to increase the total number of customers or to keep existing customers in their own brands by offering customer-specific campaigns with machine learning methods. However, the application area of machine learning methods does not only consist of studies aimed at gaining customers or ensuring the loyalty of existing customers.
For companies to continue to grow, they need to generate revenue from their customers. If these customers already have cannot fulfill its obligations to the company in return for the service it receives, the efforts of the company to acquire such customers impose a charge on the company, not profitability. On the other hand, this charge should not be considered only as the inability to meet the revenue to be obtained from the customers. In addition to not being able to generate income from the customer, the resources that the company will allocate for the collection of the debt belonging to the customer should also be considered. In such cases, companies will incur losses by allocating both their employees and other company resources (necessary technical equipment, electricity, etc.) to this process.
Companies either use their internal resources to collect debt from customers or external sources for collect this unpaid debt. The external resources mentioned here are debt collection agencies, and these institutions try to collect the unpaid debt from the customer by adding the amount of the service fee provided by itself, in addition to the customer's debt. Efforts made by companies to collect unpaid debts are debt collection processes that largely depend on customers' willingness to pay and negotiations between debt collection agencies and customers. In this process, the collectors first try to persuade the debtor customers to pay their debts, if the debtor customers cannot pay their debts within the specified time as a result of these negotiations, the legal debt collection phase begins. At the phase of legal debt collection, there are law offices that work with experienced lawyers who try to resolve debt cases through the judiciary. Companies work with contracted law firms as legal debt collection institutions instead of expanding their internal resources to collect debts from their customers who cannot pay their debts. In this study, the related telecommunication company, where the study was applied, also use contracted law offices as an external source for collecting of unpaid invoices by its customers. The company tries to collect debts from its customers, who cannot pay their debts and take in legal debt collection phase, through its contracted law offices. For the company to survive in this competitive world, it needs to manage the debt collection process in the best way possible. At this stage, contracted law firms are evaluated according to the effect of the firm's performance and experience on whether they can close their cases. The purpose of determining the performance of law firms is to objectively and periodically measure the extent to which the firm achieves its goals. Performance measurement: It enables to evaluate the inputs, internal processes, procedures, outputs, and results of the relevant law firm. Thus, by analyzing the indicators because of this performance measurement, the right decision can be made, limited resources that can create continuous improvement can be developed effectively and individuals can be set targets.
Based on the historical data sets of the company where this study was applied, there may be cases of unpaid debts that have been assigned to the law firms with and have been successfully collected, as well as cases in which the collection could not be provided. Which case is assigned to which law firm is of critical importance for the company to collect its unpaid debts at the legal collection phase. For this purpose, in the first stage of the application of this study, a data set containing various information of some customers and contracted law firms that do not pay their bills regularly was obtained from the telecommunication company. This data set also includes historical data containing collection information of past debt cases. At this stage, the probability of closing the debtor cases of each legal debt collection institution was tried to be estimated with machine learning methods. For this purpose, a data set containing demographic information of customers, information on lawsuit cases and previous performance and demographic information of the legal debt collection institution was used. This data set used consists of 19 basic attributes, including 10 categorical, 8 numerical and 1 label attributes, and 708,366 rows. On this data set, firstly, data cleaning methods were applied to remove the features that would not be meaningful to use in machine learning algorithms from the data set. In addition to data cleaning processes, missing data completion processes were made on the features that will be included in the machine learning models; to include categorical features in machine learning algorithms, their serial values are turned into numeric values by using the 'One Hot Encoding' method. In addition to data cleaning processes, missing data completion processes were made on the features that will be included in the machine learning models; to include categorical features in machine learning algorithms, their serial values are turned into numeric values by using the 'One Hot Encoding' method. In addition, min-max scaling technique was applied to the fully digitized data set. After the data preprocessing, 9 different machine learning algorithms such as Decision Trees, Ridge Classifier, Random Forest, Extra Trees, AdaBoost, Gradient Boosting, XGBoost, Catboost, LightGBM were applied to the processed data set during the modeling phase. The results showed that the CatBoost Classifier has the best accuracy performance among the implemented algorithms with an accuracy of 0.917. After tuning the CatBoost Classifier, the most important features for the model were evaluated. The most important features used by the Catboost model in estimating the case closing capabilities of law firms have been determined. Among these, the most important features for the model are administrative follow-up count and administrative follow-up period features. Apart from these, the law firm's cases count, the law firm's employees count, law firm's performance, invoice amount and customer product quantity features are among the important features for the Catboost classifier to make accurate predictions. The high effect of the features related to the law firm on the success rate of the model shows that these features will play an important role in estimating the rate of closing the case of different law firms for the same case file. In the final stage of the modeling, hyperparameter optimization was applied for the CatBoost Classifier to achieve better accuracy in the modeling. In addition, k-fold cross validation was applied to test the stability of the model. Hyper parameter optimization had a positive effect of 0.01% on the forecast.
In the second stage of the application, the problem of optimizing the legal stage of the debt collection process is formulated as a closability-based case assignment problem. To maximize the total benefit of assigning the debt cases to the law offices located in the same city and to optimize the legal debt collection, it wants to assign the cases to the offices by ensuring fairness and equality between the contracted law firms. For this, the proposed model aims to ensure equality in the number of cases between law firms by minimizing the deviation of each law firm from the average budget determined by the company.
Through the CatBoost algorithm selected in the machine learning model, the probability of closing the cases for June 2021 by the contracted law firms has been estimated. These closability scores were provided as input to the established closability-based fair case assignment model in the second phase of the study. This is an optimization model, and the aim in this model is to maximize the closing of the cases with debt collection, while performing the assignment of cases equally to the contracted law firms under budget constraints. With the closability-based fair file assignment model, 33,365 cases for June 2021 were optimally assigned to 102 contracted law firms, and the models built on the results were evaluated. It was concluded that the assignment outputs were made in accordance with the objectives and constraints of the model to a large extent. The results show that all the cases were assigned to the contracted law firms, considering the equality measure. The average budget of the cases assigned to each law firm is distributed around the general average axis and there is no significant difference between the average of the cases assigned. The proposed closability-based fair case assignment model assigned cases to law firms with approximately equal average budgets. 52% of the cases were assigned to contracted law offices located in the same city and 59% in the same region.
Finally, the legal debts collection process decision support system which will work completely automatically was established. In this system, the machine learning model works first, and then the case closability values that are the machine learning model output are fed to the assignment model, the assignment model is resolved, and the necessary assignment results are obtained. Data sets containing office information, customer information and historical collection information prepared in three parts are provided as input to this system. Afterwards, these inputs are entered into the machine learning model, and case closability outputs are produced, and the model works with the inclusion of other necessary inputs and parameters in the closability-based fair case assignment model, and as a result, the case - law offices assignments are realized. The legal debts collection process decision support system was established as a result of establishing the necessary database in the telecommunication company where the study applied, providing the necessary software and machinery, and the debt tracking system was made to operate automatically within the relevant company.
This study consists of six chapters. The problem to be solved in the introduction part will be examined and the general framework of the study will be conveyed. The solution process of the problem defined in the purpose part of the thesis and what is aimed in the study will be mentioned. In the second part, information about the debts collection process examined within the scope of the study will be given, and current practices related to debtor statistics and debt collection in Turkey will be mentioned. In the third part, under two subtitles; Studies in the literature on payment systems and legal debts collection will be examined. In the fourth chapter, the methodology of the study will be explained, and the methods used in the application part will be explained in detail. The step-by-step application made in the fifth chapter; problem definition, data collection and preprocessing, machine learning application and results, closability-based fair case assignment model application and results, and finally, the flow chart of the established decision support system will be explained in detail. In the last chapter, the sixth chapter, the outputs obtained from the thesis study will be interpreted and suggestions will be made for similar studies to be done in the future.