bağımlı ve bağımsız değişkenlerin normal dağılım gösterdiği varsayılmaktadır. Bu kısıtlayıcı varsayım R.A. Fisher 1922 ve 1925 yıllarındaki yayınları ile sadece bağımlı değişkenin koşullu dağılımının normal olduğu hallere uygulanmak üzere daha genişletilmiştir.).

Bu kavramları ve yöntemleri genel olarak, kalıtım konusu dışında "ortalamaya geri dönüş" ile hiçbir ilgisi olmayan konularda, kullanan istatistikçiler "regresyon" terimini kullanmakta devam etmişlerdir. Zamanımızda, bu terim, kavram ve yöntemin Galton'un konusu ile bütün ilişkisi yok olmuştur ve artık "regresyon" terimi doğrusal bağlantı bulunması ve eğri uydurma ile eş anlamlar vermektedir.

Doğrusal regresyon yöntemini kullanmak için temelde şu varsayımların bulunduğu kabul edilmektedir:


Doğrusal regresyonda, anakütle model belirlenmesine göre bağımlı değişken formula_1 "parametreler"in bir doğrusal birleşiği olur. Dikkat edilirse "parametrelerden" bahis edilmektedir, çünkü bağımsız değişkenlerin bir doğrusal bileşiği olması gerekli değildir. Örneğin, tek bir bağımsız değişkenli (formula_2) ve iki parametreli (formula_3 ve formula_4): 
Burada formula_6 bir "hata terimi"dir ve formula_7 alt-indeksleri bir belirlenmiş mümkün gözlemi ifade eder. Ayrıca formula_6, formula_7'nci gözlemin regresyon doğrusuna olan uzaklığını ifade etmekte olup ortalaması 0 ve varyansı formula_10 olan bir normal dağılış gösterir.

Çoklu doğrusal regresyonda iki veya daha çok sayıda bağımsız değişken veya bağımsız değişken fonksiyonu bulunur. Örneğin, önce verilmiş olan regresyon modeli yeni bir terim "x" eklenerek degistirilirse; şu anakütle çoklu doğrusal regresyon modeli ortaya çıkar:
Denklemin sağ tarafındaki bağımsız değişken için bir ikinci derece (kuadratik) ifade bulunmasına rağmen bu model hala doğrusal regresyon modelidir; çünkü üç tane parametre, yani formula_3, formula_4 ve formula_14 ile çoklu değişkenli doğrusaldır.

Daha genel çoklu doğrusal regresyon modelinde "p" tane bağımsız değişken olduğu varsayılır ve anakütle modeli şöyle ifade edilir:
veya biraz daha kısa olarak

Anakütleden bir rastgele örneklem elde edilirse, bu formula_17 anakütle parametreleri için örneklem tahminleri formula_18 bulunur ve şu örneklem doğrusal regresyon denklemi elde edilir: 
Burada formula_20 terimi örneklemden elde edilen "artık" olur; ve 
olur.

Bu örneklem regresyon denkleminin kestirimini elde etmenin yöntemi adi en küçük kareler (Ordinary least squares) olarak adlandırılır. Bu yönteme göre parametre kestirimleri artıkların kare toplamının minimum (en küçük) değerini bulmakla elde edilir. Artıklar minimum toplamı AKT şudur: 
Bu fonksiyonun minimum değerini bulmak her parametre ile birinci kısımsal türevi alınarak sıfıra eşitlenir. Böylece her kısimsal türeve göre bir denklem elde edilir. Örneğin iki parametreli doğrusal regresyon için iki değişkenli iki denklem elde edilir. Bu simultane denklem sitemine normal denklemler adı verilir ve bu simultane denklemler sistemi birlikte çözülüp her anakütle parametresi için bir kestrim değeri bulunur.

İki parametreli basit doğrusal regresyon için iki anakütle parametre kestirimleri olan formula_23 şu normal denklemlerin birlikte çözülmesi ile elde edilir:

Burada bütün toplamlar "i"=1 den "i"="n" kadardır ve örneklem toplamları, toplam kareleri ve toplam karşı çarpımı ile elde edilirler.

Bu iki değiskenli iki doğrusal denklem için çeşitli çözüm yolları vardır. Burada Cramer'in kuralı kullanılıp şu ifade elde edilir:

burada

Böylece iki parametreli doğrusal regresyon icin en küçük kareler parametre tahminleri için formüller şöyledir:
ve
Burada formula_30 formula_31 gözlem değerlerinin ortalaması ve formula_32 ise formula_33 gözlem değerlerinin ortalamasıdır.

Çok değişkenli regresyon için regresyon katsayısı kestrimi de iki değişkenli regresyon hâli gibi "en küçük kareler" yöntemi ile yapılır. Bu demektir ki kestirmde ortaya çıkacak artıkların karelerinin toplamı minimize edilecektir. Artıklar "r" olur ve minimize edilecek objektif fonksiyon soyle ifade edilir: 
Her bir artık, gözlemi yapılan bir değer ile kestirim modelini kullanarak elde edilen bir kestirim değeri arasındaki farktır:
En küçük kareler yöntemine göre "S", toplam artıklar karesi, minimize edilecektir. Belirli koşullar gecerli ise, elde edilecek parametre kestrimleri (Gauss-Markov teoremine göre) en küçük varyans gösteren kestirim ve hatta maksimum değişirlilik özelliği gösteren dogrusal kestirim olabilirler.

Anakütle regresyon katsayılarının "kestirim regresyon katsayıları" için bir "^ (şapka)" notasyonu kullanılanılır: yani formula_36. Genellikle çok değişkenli regresyon için normal denklemler şöyle ifade edilir
Matris notasyonu kullanılırsa, normal denklemler şöyle yazılabilir:

Eğer formula_39 matrisi singuler değilse 
Bu doğru uydurma tahminleridir.

Anakütle hatalarının normal dağılım gösterdiğine dair bir diğer varsayımı da kullanarak incelemeci önce "hatalar varyansı" ve "toplam kareler" değerlerini bulur ve bunları kullanarak tahmin edilen denklem ve parametreler üzerinde çıkarımsal istatistik sonuçlara varabilir.

Anakütle hata teriminin sabit bir varyansı bulunduğu varsayımına göre, "hatalar varyansı" kestirimi şöyle bulunur:
Bu ifadeye regresyon için kare kök ortalama hata karesi adı verilir. Parametre kestirimleri için standart hata şöyle bulunur:

Örneklem veri serisinin "değişebilirliği" değişik toplam kareler suretiyle ifade edilebilirler.

Bir regresyon modeli için parametreler, en küçük kareler yöntemi kullanılarak, tahmin edildikten sonra regresyon kontrol etme yöntemleri (yani çıkarımsal kontrol) uygulamak gerekir. Bunlar bulunan tahmin edilmiş genel doğrusal denklemin örnekleme uyum iyiliği sınaması ve kestirimci regresyon katsayılarının tektek istatistiksel anlamlılığını sınamak veya güvenlik aralığı sağlamak olarak özetlenir.

Tahmin edilen doğrusal regresyon denkleminin genel olarak örnekleme uygun olup olmadığı için uygulanan çıkarımsal istatistik işlemleri iki türde olabilir:

Bu iki çıkarımsal kontrol aynı konunun çıkarımsal kontrolü için kullanılır: tahmin regresyon denkleminin tümünün uygun olup olmadığı. Bu nedenle iki yöntemden tek birini kullanmak yeterlidir. Buna rağmen birçok pratik analizde her iki çıkarımsal analiz de kullanılmaktadır; çünkü ikisinde hesaplanması için nerede ise aynı yöntem kullanılır ve eger istatistik veya ekonometrik kompüter paketi kullanılırsa her iki yöntem için gerekli sonuçlar birlikte verilir.

Belirleme katsayısı yani (R) ) R-kare) için en genel tanımlama förmülü sudur:

yani (1-"toplam hatalar karesi") ile ("tüm toplam kareler") oranı;
veya (1-"Artıklar toplam karesi") ile ("tüm toplam kareler") oranı.

Çıkarımsal analizde R-kare değeri bulunur ve bulunan değer doğru hesaplanmışsa 0 ile 1 arasında olmalıdır. Yapılan bu analiz ceşitli hallerde açıklanabilir: 

Genel olarak:


Regresyon denklem uyum iyiliği için F-testi için sıfır hipotez (H) anakutle model katsayilarinin hepsinin değerinin 0 (sifir)a eşit olduğudur. Yani sıfır hipotez gerçekse hesap ile elde edilen katsayi kestirimlerinin hepsi anakütle için 0dir yani hiçbir etki ve bağlantı anlamı vermez. Bu basamağa kadar yapılmış olan analizin bir kenara bırakılması ve diğer bir modelin bulunup kullanılması gerekir. Eğer sıfır hipotez reddedilirse regresyon kestirimleri genellikle uygundur ve cikarimsal kontrol analizine devam edilir.

Yani bu tahmin edilmiş standart hataları kullanarak her tek anakütle regresyon parametresi hakkında "kestirim güvenlik aralıkları" kurabilir ve "hipotez sınamaları" yapılabilir.

Regresyon modelleri kullanarak kestirim yapılmak istenirse, bağımsız değişken olan formula_31 değişken veri değerleri verilirse bağımlı değişken formula_33 için kestrim değerleri (formula_50) tahmin etmek için kullanabilirler.

Eğer bu kestirim, modeli kurmak için kullanılan formula_31 değişken değerleri için yapılıyorsa, bu işlem interpolasyon olarak adlandırılır. Eğer kestirim modeli kurmak için kullanılan bağımsız değişken değerlerinin dışındaki değerler ile yapılırsa, ekstrapolasyon olarak adlandırılır ve ekstrapolasyon çok daha yanlı olabilir.

En küçük kareler yöntemi kullanılırken yapılan temel varsayımlarindan biri hata terimi varyanslarının birbirine esit olduğudur. Eğer gözlem hataları birbirine eşit olmayan hata terimi varyanslari gösteriyorlarsa, en küçük kareler yönteminin bu önemli varsayımı ihlal edilmiş olur ve "en küçük kareler" yöntemi ile elde edilen regresyon kestirimleri anlamlı olmayabilir. Bu sorunu çözümlemek için her gözleme ayrı ağırlık vererek en küçük kareler yöntemi uygulamak imkânı vardır ve bu genelleştirmeye ağırlıklı en küçük kareler adı verilir. Ağırlıklı En Küçük Kareler Yöntemi,değişkenlere ağırlık vererek veya değişkenlerin önem derecesini değiştirerek uygulanan en küçük kareler yöntemidir.

En küçük kareler yöntemi kullanılırken yapılan temel varsayımlarından biri de gözlem hatalarının yalnızca bağımlı değişkenlerde yapıldığı ve bağımsız değişkende gözlem hatası bulunmadığıdır. Eğer bağımlı değişkende hata bulunduğu ve bunun elde edilen regresyon kestirim değerlerine çok etki yaptığı bilinirse, degiskenlerde-hatalar-modeli veya diğer ismi ile total en kucuk kareler modeli ve bu modelle ilişkili kestirim yöntemleri kullanılabilir.

Eğer anakütle regresyon modeli içindeki hatalar için olasılık dağılım fonksiyonu bir normal dağılım göstermiyorsa genelleştirilmiş doğrusal model kullanılabilir. Bu halde hatalarin olasılık dağılım fonksiyonu ussel dağılım, gamma dağılımı, ters Gauss tipi dağılım, Poisson dağılımı, binom dağılım, multinom dağılım vb. olabilir.

Eğer değişkenler hakkında kurulan teori dolayasıyla anakutle modeli parametrelri ile doğrusal değilse, kestirim yapılırken toplam kareleri tekrarlama usulu kullanarak minimize edilmesi gerekir. Bu kullanılan tekrarlama yöntemi birçok karışık sorunlar ortaya çıkarır. Bunların özet olarak incelenmesi için doğrusal olmayan regresyon#Dogrusal olmayan ve dogrusal en kucuk kareler arasindaki farklar maddesine bakiniz.






Kutsal Topraklar

Kutsal Topraklar (i