Çokdeğişkenliliği yükseltilmiş çarpımlar gösteriliminde yeni bir destek işlevi belirleyiş yöntemi
A new support function determination in enhanced multivariance products representation
Yazar: SÜHA TUNA
Danışman: PROF. DR. METİN DEMİRALP
İstanbul Teknik Üniversitesi / Bilişim Enstitüsü / Hesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
Derece: Doktora, 2017
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Matematik = Mathematics

Özet:
Günümüzde yaşanan olaylar birden çok değişken ya da değiştirgenin (ing: parameter) birbiri ile etkileşimi aracılığıyla ortaya çıkmaktadır. Bu olayların anlaşılması ve ayrıntılarının dile getirilmesi, geçmişte yaşanmış ya da gelecekte yaşanması olası andıran (benzer) olayların çözümleyişinde (ing: analysis) çok önemli bir yer tutar. Andıran durum, bilimcil sorunlar için de geçerlidir. Sözgelimi, bir dizgenin (ing: system) evrimi (ing: evolution), bir ortamın sıcaklığının artımı ya da azalımı, insan damar ağı biçelendirimi (ing: modelling) ve kan akışındaki etkileşimler, tutumbilim (ing: economy) ve değişik ülke paraları arasındaki oranların anlık durumundaki dalgalanışlar gibi olguların tümünde birden çok kavramın birbirinden bağımlı ya da bağımsız olarak değişimi gündeme gelmektedir. Bu yüzden, göz önüne alınan sorunlarda çokdeğişkenliliğin anlaşılması olgusu oldukça önem kazanmaktadır. Bilimle uğraşan bireyler (ing: scientists), ele aldıkları sorunları gözlemleyerek veri (ing: data) toplarlar ve bu verileri etkin biçimde yansıtan çözümcül (ing: analytic) biçeler (ing: models) oluşturmaya çalışırlar. Oluşturdukları biçelerin doğruluğunu andırımlar (ing: simulations) yardımıyla sınarlar. Tüm bu aşamalar, yoğun çokdeğişkenlilik içeren durumlarda oldukça karmaşıklaşır. Bu yüzden, elde edilen biçelerin ayrıştırılarak, kolay işlenebilir duruma getirilmeleri de en az biçeleyiş düzeyinde önem kazanmış olur. Sözkonusu biçeler, uzbilim (ing: mathematics) dilinde çokdeğişkenli işlev (ing: multivariate function) olarak adlandırılır ve bu tür işlevlerin ayrıştırımı sorunu (ing: problem), yukarıda belirtilen nedenlerden ötürü, üzerinde düşünülmesi gereken oldukça önemli bir olgudur. 
Az önce belirtilen amaç doğrultusunda, Prof. Dr. Metin Demiralp öncülüğündeki Bilişim Enstitüsü Bilgisayım Bilimi ve Yöntemleri Topluluğu 
(BEBBYT) üyelerince bir takım sayıcıl yöntem (ing: numerical methods) geliştirilmiştir. Bu yöntemlerden biri, günümüzde türlü bilimcil ve ölçmenlik (ing: engineering) sorunları için oldukça etkin olarak kullanılan Çokdeğişkenliliği Yükseltilmiş Çarpımlar Gösterilimidir (ÇYÇG). ÇYÇG, geçmişi 1990'lara dayanan ve Rus sayıtımcı (ing: statistician) Sobol'ca önesürülmüş sayıtım (ing: statistics) tabanlı bir yöntem olan Yüksek Boyutlu Biçe Gösterilim (YBBG) yönteminin bir özelsizleştirimidir (ing: generalization). ÇYÇG ile bir çokdeğişkenli işlevi kendisinden daha az sayıda değişken içeren işlevler türünden yazmak olanaklı olmaktadır. Bu da bilimcil yazında (ing: scientific literature) "ayrıştırım" sözcüğüyle belirtilen kavramdan başka bir şey değildir. Yukarıda sözü edilen "az sayıda değişken içeren işlevler" kavramı ile belirtilmek istenen ise, ÇYÇG bileşenleri ve tekdeğişkenli destek işlevleridir. Tekdeğişkenli destek işlevleri, ilgili ÇYÇG ayrıştırımının oluşturumunda yer alan önemli öğeler olmakla birlikte ÇYÇG'nin YBBG'ye göre daha esnek bir yöntem olarak düşünülebilmesine de olanak sağlar. Bir çokdeğişkenli işlevin ÇYÇG açılımının gerçekleştirilebilmesi için, ilgili işlevin, üzerinde çalışılan çokboyutlu dikgen uzamın (ing: orthogonal geometry) üzerinde çözümcül (ing: analytic) olması gerekir. Bunun yanısıra, ilgili koşulu sağlayan çokdeğişkenli işlevlerin ÇYÇG açılımları (ayrıştırımları) sonlu sayıda terimin üstüste toplanımından oluşmaktadır. Elde edilen açılımın belli sayıda terimi alınıp, geriye kalanlar gözardı edildiğinde ilgili çözümcül çokdeğişkenli işleve bir yaklaştırım gerçekleştirilmiş olur. Bu yaklaştırımın etkinliğini etkileyen birçok neden olmakla birlikte, bunlardan en önemlisi, ÇYÇG yaklaştırımında kullanılan destek işlevleridir. Destek işlevlerinin uygun seçimiyle, göz önüne alınan çokdeğişkenli işleve etkin ÇYÇG yaklaştırımları üretmek olanaklıdır. Bu bağlamda, adı geçen destek işlevlerinin, en etkin ÇYÇG yaklaştırımını verecek şekilde eniyilenişi (ing: optimization) büyük önem taşır. Savda, bu olgu ele alınmış ve araştırımlar bağlamında, ÇYÇG'nde destek işlevi eniyileyişi için etkin bir yöntem elde edilmiştir. Bu yöntemin geliştirimi, aslında, sav araştırımlarının başlangıcında gözlemlenen bir olguya dayanmaktadır. Bu olgu, ÇYÇG ayrıştırımı için üzerinde çalışılan uzamın küçültümünün ÇYÇG yaklaştırımlarının niteliğine olumlu yönde katkı vermesi durumudur. Böylelikle, bir çokdeğişkenli işleve, üzerinde tanımlı olduğu çokboyutlu uzay üzerinde ÇYÇG yaklaştırımı yapmak yerine, bu uzayı aynı sayıda boyut içeren altuzaylara ayırıp ilgili işleve her bir altuzayda ÇYÇG yaklaştırımı uygulama yöntemi benimsenmiştir. Elde edilen yeni yönteme Altkesimcil (ing: piecewise) ÇYÇG 
denilmiş ve bu yöntem ile yapılan yaklaştırımların, ÇYÇG kullanılarak elde edilen yaklaştırımlara göre daha etkin olduğu sayıcıl uygulamalar ve aşkınizgecil görüntü (ing: hyperspectral imagery) verileri üzerinde gerçekleştirilen uygulayışlar aracılığıyla gösterilmiştir. Altkesimcil ÇYÇG yardımıyla aşkınizgecil görüntüler için özgün bir kayıplı sıkıştırım (ing: lossy compression) uzişi (ing: algorithm) bilimcil yazına kazandırılmış ve umut verici tepe-im-gürültü oranı (ing: peak-signal-to-noise ratio) değerleri elde edilmiştir. Daha dar uzamlarda, etkinliğinin arttırıldığı gösterilen ÇYÇG'nde kullanılan destek işlevlerinin eniyileyişi için saptırım (ing: perturbation) tabanlı bir yöntem geliştirimi olgusu öne çıkmıştır. Bunun 
nedeni, içerisinde küçük değerli değiştirgeler içeren sorunların, saptırım açılımları kuramı (ing: perturbation expansions theory) yardımıyla etkin biçimde çözülebilmeleri olgusudur. Destek işlevlerinin eniyileyimi sırasında eşleşik (ing: coupled) biçimde olan Fredholm türü tümlev (ing: integral) denklemler ile karşılaşılmaktadır. Bu eşleşik denklemler, savda "Uzamcıl Ayrıştırım" adı verilen yöntem ile ayrışık (ing: uncoupled) ve her bir denklem, özüne-eş (ing: self-adjoint) ve tıkız (ing: compact) bir Hilbert-Schmidt tümlev işlecinin (ing: integral operator) izgecil sorunu (ing: spectral problem) olarak karşımıza çıkmıştır. Bu izgecil sorunların her birinin en baskın özdeğerine karşılık gelen özişlevlerin (ing: eigenfunction) ise, aslında, aranılan eniyilenmiş tekdeğişkenli destek işlevlerinden başka bir şey olmadıkları açıkça gösterilmiştir. Bu bağlamda, savda geliştirilen saptırım tabanlı yöntem, özüne-eş ve tıkız Hilbert-Schmidt tümlev işleçlerinin en baskın özikililerini (ing: eigenpairs) bulmak için geliştirilmiş bir yöntemdir. Bu yöntem aracılığıyla, ilgili tümlev işlecin en baskın özdeğer ve eşlik eden özişlevlerine birer sonsuz saptırım toplamdizisi (ing: series) karşılık getirilmiştir. Bu toplamdiziler, saptırım değiştirgesinin üslülerini içeren sonsuz sayıda terimden oluşmaktadır. Bu terimlerin tümünü birden 
kullanmak olanaklı olmadığından, ilgili toplamdizide kesme yapılarak, özdeğer ve özişleve yaklaştırım yapımı olanaklı duruma gelmiş olur. Savın amacı doğrultusunda özişlev kavramı öne çıktığından, özişlev için geliştirilen toplamdizinin yakınsaklığı irdelenmiş ve ilgili toplamdizinin karmaşık uzayda boş olmayan bir teker (ing: disc) içerisinde yakınsadığı gösterilmiştir. Elde edilen kuramcıl (ing: theoretical) bulgular sayıcıl uygulamalar aracılığıyla desteklenmiştir. Böylelikle, savda, özüne-eş ve tıkız Hilbert-Schmidt tümlev işleçlerinin izgecil sorununun çözümü amacıyla saptırım tabanlı oldukça etkin ve özgün bir yöntem geliştirilmiştir. Geliştirilen saptırım tabanlı yöntem kullanılarak, bir çözümcül ikideğişkenli işlevin ÇYÇG açılım için destek işlevi üretimi olanaklı duruma gelmiştir. Elde edilen eniyilenmiş destek işlevleriyle, değişik türden ikideğişkenli işlevler için 
ÇYÇG yaklaştırımları gerçekleştirilmiş ve bulunan sonuçlar eniyileyiş yapılmadan kullanılan destek işlevleri yardımıyla gerçekleştirilen ÇYÇG yaklaştırımlarıyla karşılaştırılmıştır. Bu sonuçlara göre, ilgili toplamdizilerin yakınsaklık tekerleri içerisinde kalındıkça, eniyilenmiş desteklerin, diğer desteklere göre daha etkin ÇYÇG yaklaştırımı sağladıkları gözlemlenmiştir. Böylelikle savın amacı olan ÇYÇG'nin etkinliğinin arttırımı ve bu bağlamda ele alınan destek işlevi eniyileyişi olgusuna ulaşılmıştır.

Abstract:
The real problems which are encountered within the daily life events arise via the interaction of many variables or parameters. The explanation and the elaboration of these events scientifically play an important role in the analysis of the past and the future events. The same situation is valid, of course, for scientific and engineering problems. For instance, the evolution of a system, increment or decrement of heat level in a medium, the dynamics occuring in human blood flow reactions and the money trends in economics depend on many entities varying dependently to the some of the other ones or changing independently. Thus, the multivariate analysis becomes important in order to understand the considered issues. Scientists gather data by observing the problem they are dealing with and then, labor to construct novel analytical models representing the problem under consideration efficiently. Then, they verify their models via simulations. All these processes may be hard to tackle with according to the multivariance and the non-linearity level of the problem to be dealt with. To this end, the simplification of these analytical models via decomposition techniques becomes crucial at least as modelling for the relevant problem. Abovementioned models are named as multivariate functions in mathematical sense and the decomposition problem of these functions stands as an important problem which 
should be analyzed carefully.
In order to overcome the abovementioned problem, a set of numerical methods have been developed by Group for Science and Methods of Computing (G4SMC) located at İstanbul Technical University, Informatics Institute and being led by Prof. Dr. Metin Demiralp. One of these methods is Enhanced Multivariance Products Representation (EMPR). EMPR is a useful and easy-to-implement tool and utilized efficiently for the analysis of scientific and engineering problems of many varieties. EMPR stands as a generalization of a well-known statistics based method High Dimensional Model Representation (HDMR) whose development history goes to 1990s and conjectured by the Russian statistician Sobol. It is possible to represent an analytic multivariate function in terms of the functions having less independent variables. The entities which is desired to be expressed by the word "functions having less independent variables" are the EMPR components and univariate support functions. EMPR expansion of an analytic multivariate function is constructed with the help of these elements. In particular, the univariate support 
functions are important determining agents for the EMPR expansion under consideration, and enable flexibility to EMPR in comparison with HDMR. Thus, the choice of the univariate support function set stands as one of the important issues in an EMPR expansion. In order to be able to obtain an EMPR expansion of a multivariate function, the function under consideration should be analytic over the multidimensional orthogonal geometry where the relevant function defined on. This geometry constitutes a rectangular hyperprism and can be constructed by the Cartesian products of each relevant closed interval where each independent variable of the analytic multivariable function lays on. This fact brings the orthogonality property to the mentioned geometry. On the other hand, the EMPR expansions (or decompositions) of the multivari%
ate functions satisfying the abovementiond features consist of the summands of the finite number of terms accumulatively. By truncating the relevant expansion at a certain level while ignoring the rest of the terms yields an approximation to the analytic multivariate function under consideration. Although there are a few factors which affect the quality of this approximation, the structures of the univariate support functions are the most important ones, as mentioned before. By choosing appropriate support function set in EMPR process, it becomes possible to obtain efficient approximations for the relevant multivariate function. Thus, instead of utilizing any convenient support function set, it becomes rational to optimize these elements whose utilization in relevant EMPR expansion gives the most efficient EMPR approximation, to this end. This fact is aimed and tackled in present thesis, an original and efficient method has been developed in this sense. The development of this novel method actually depends on some facts which were observed at the beginning phase of the related research. According to the corresponding observations, the quality of EMPR approximation for an analytic multivariate function increases while the multidimensional orthogonal geometry to be worked on shrinks. Thus, instead of dealing with a multidimensional geometry where the relevant function is defined on, the fact of splitting this whole space into an amount of subspaces having same dimensionality properly arises. Then, the application of EMPR procedure to the function under consideration over each subspace becomes possible and the overall approximation quality for the corresponding multivariable function is increased. This approach is called Piecewise EMPR and it is showed that this method works better then plain EMPR in most cases via the numerical implementations. 
The determination of EMPR components and old-styled (Directionally Averaged Supports) univariate support functions involves the evaluation of multiple integrals consecutively. If the analytic structure of the integrands of these integrals enable us to compute them analytically, the relevant evaluations may be executed without making any significant effort. Unfortunately, in general, it becomes convenient to proceed with the help of a quadrature method to calculate the corresponding integrals numerically, due to the complicative structures of the integrands in definite integrals. In present thesis, a method called Fluctuation Free Integration is utilized in this sense. In this novel quadrature method, the eigenvalues of the matrix representation of the algebraic operator is utilized as the node points while the first elements' squares of the corresponding eigenfunctions are assessed as the weight factors. With the help of the Fluctuation Free Integration, EMPR components and the univariate support functions are approximated efficiently and relevant EMPR expansion for the multivariate function under consideration is achieved without having any considerable difficulty. 

According to the results obtained by using narrower multidimensional geometries, development of a perturbation based method has become  prominent in order to optimize the univariate support functions. It is known from the scientific literature that, the problems involving small valued  parameters can be approximately solved with the help of the perturbation analysis. These small valued parameters are called the perturbation parameters and some convenient infinite series involving the powers of these perturbation parameters are aimed to be computed. Thus, the entities, which are desired to be determined, are represented using an appropriate infinite series. Through the optimization process for univariate support functions in EMPR, coupled Fredholm integral equations of first type are encountered. These integral equations are uncoupled using a method called Geometric Separation by the inspiration of well-known process Singular Value Decomposition. Thus, a pair of uncoupled equations involving self-adjoint and compact Hilbert-Schmidt integral operators are obtained. These equations clearly stand as the spectral problems of two similar Hilbert-Schmidt integral operators and dictate that the eigenfunctions accompanying the most dominant eigenvalues for each integral operator Hilbert-Schmidt integral operator is nothing but the optimized univariate support function. Concordantly, the perturbation based novel method developed in present thesis is a method to determine the most dominant eigenpair of a self-adjoint and compact Hilbert-Schmidt integral operator. Thus, by applying this new method, the most dominant eigenvalue and the accompanying eigenfunction (optimized support functions) can be represented as an infinite series involving the corresponding perturbation parameter. By truncating these series at certain levels, approximations for the relevant entities are acquired, since there is no possibility to work with infinitely many terms. Since the corresponding eigenfunctions of the relevant Hilbert-Schmidt integral operators according to the needs encountered and mentioned in present thesis, convergence issues for the infinite perturbation series representing the relevant eigenfunctions are analyzed. Thus, it is shown that the relevant perturbation series converge in a non-empty disc on one-dimensional complex plane. The theoretical observations are verified through the numerical implementations. The numerical results obtained in these implementations are presented via the figures and tables accordingly. Then, it is possible to indicate that, a genuine and efficient numerical method based on a perturbation scheme for determining the most dominant eigenpair of a self-adjoint and compact Hilbert-Schmidt integral operator is proposed and developed during the researchs within the present thesis study. Then, it becomes possible to produce a pair of optimized univariate support functions in order to be utilized in EMPR expansion of an analytic bivariate function. Numerical implemantations has been revealed to this end, and the results obtained by utilizing optimized supports are compared with the ones obtained with the help of the directionally averaged supports. According to the relevant results, the EMPR approximations using the optimized supports are more efficient than EMPR approximations obtained by using directionally averaged supports as long as the corresponding infinite perturbation series converge. Thus, the aim of the thesis, which is the empowering of the efficiency of EMPR approximations, and the support function optimization are achieved.