Метод найменших квадратів

Метод найменших квадратів



У процесі вивчення різних питань природознавства, економіки і техніки, соціології, педагогіки доводиться на основі великої кількості дослідних даних виявляти суттєві фактори, які впливають на досліджуваний об’єкт, а також встановлювати форму зв’язку між різними зв’язаними одна з одною величинами (ознаками).

Нехай у результаті досліджень дістали таку таблицю деякої функціональної залежності:



Таблиця 1

x

x1

x2

…

xn

y

y1

y2

…

yn

		

	Треба знайти аналітичний вигляд функції , яка добре відображала б цю таблицю дослідних даних. Функцію  можна шукати у вигляді інтерполяційного поліному. Але інтерполяційні поліноми не завжди добре відображають характер поведінки таблично заданої функції. До того ж значення  дістають у результаті експерименту, а вони, як правило, сумнівні. У цьому разі задача інтерполювання табличної функції втрачає сенс. Тому шукають таку функцію , значення якої при  досить близькі до табличних значень  . Формулу  називають емпіричною, або рівнянням регресії  на . Емпіричні формули мають велике практичне значення, вдало підібрана емпірична формула дає змогу не тільки апроксимувати сукупність експериментальних даних, «згладжуючи» значення величини , а й екстраполювати знайдену залежність на інші проміжки значень .

	Процес побудови емпіричних формул складається з двох етапів: встановлення загального виду цієї формули і визначення найкращих її параметрів.

	Щоб встановити вигляд емпіричної формули, на площині будують точки з координатами  . Деякі з цих точок сполучають плавною кривою, яку проводять так, щоб вона проходила якомога ближче до всіх даних точок. Після цього візуально визначають, графік якої з відомих нам функцій найкраще підходить до побудованої кривої. Звичайно, намагаються підібрати найпростіші функції: лінійну, квадратичну, дробово-раціональну, степеневу, показникову, логарифмічну.

	Встановивши вигляд емпіричної формули, треба знайти її параметри (коефіцієнти). Найточніші значення коефіцієнтів емпіричної формули визначають методом найменших квадратів. Цей метод запропонували відомі математики К. Гаусс і А. Лежандр. 

	Розглянемо суть методу найменших квадратів. 

	Нехай емпірична формула має вигляд 

	

	, (1)

	

	де , , …,  - невідомі коефіцієнти. Треба знайти такі значення коефіцієнтів , за яких крива (1) якомога ближче проходитиме до всіх  точок , , …, , знайдених експериментально. Зрозуміло, що жодна з експериментальних точок не задовольняє точно рівняння (1). Відхилення від підстановки координат  у рівняння (1) дорівнюватимуть величинам .

	За методом найменших квадратів найкращі значення коефіцієнтів  ті, для яких сума квадратів відхилень

	
 (2)

	

	дослідних даних  від обчислених за емпіричною формулою (1) найменша. Звідси випливає, що величина (2), яка є функцією від коефіцієнтів , повинна мати мінімум. Необхідна умов мінімуму функції багатьох змінних ─ її частинні похідні мають дорівнювати нулю, тобто

	

	, , …, .

	

	Диференціюючи вираз (2) по невідомих параметрах , матимемо відносно них систему рівнянь:

	

	

	

	Система (3) називається нормальною. Якщо вона має розв’язок, то він єдиний, і буде шуканим.

	Якщо емпірична функція (1) лінійна відносно параметрів , то нормальна система (3) буде системою з  лінійних рівнянь відносно шуканих параметрів.

	Будуючи емпіричні формули, припускатимемо, що експериментальні дані  додатні.

	Якщо серед значень  і  є від’ємні, то завжди можна знайти такі додатні числа  і , що  і .

	Тому розв’язування поставленої задачі завжди можна звести до побудови емпіричної формули для додатних значень .

	Побудова лінійної емпіричної формули. Нехай між даними  існує лінійна залежність. Шукатимемо емпіричну формулу у вигляді

	

	, (4)

	

	де коефіцієнти  і невідомі.

	Знайдемо значення і , за яких функція матиме мінімальне значення. Щоб знайти ці значення, прирівняємо до нуля частинні похідні функції  

	

	

	

	Звідси, врахувавши, що , маємо

	

	 (5)

	

	Розв’язавши відносно  і  останню систему, знайдемо

	
, (6)

	. (7)

	

	Зазначимо, що, крім графічного, є ще й аналітичний критерій виявлення лінійної залежності між значеннями  і .

	Покладемо , , .

	Якщо , то залежність між  і  лінійна, бо точки  лежатимуть на одній прямій. Якщо , то між  і  існує майже лінійна залежність, оскільки точки  лежатимуть близько до деякої прямої.

	Побудова квадратичної емпіричної залежності. Нехай функціональна залежність між  та  - квадратична. Шукатимемо емпіричну формулу у вигляді

	

	. (8)

	

	Тоді формулу (2) запишемо наступним чином 

	

	

	

	Для знаходження коефіцієнтів , , , за яких функція мінімальна, обчислимо частинні похідні , ,  і прирівняємо їх до нуля. В результаті дістанемо систему рівнянь

	




Після рівносильних перетворень маємо систему



 (9)



Розв’язок цієї системи і визначає єдину параболу, яка краще від усіх інших парабол (8) подає на розглядуваному проміжку задану таблично функціональну залежність.

Сформулюємо аналітичний критерій для квадратичної залежності. Для цього введемо поділені різниці першого і другого порядку 



і , де .



Точки  розміщені на параболі (8) тоді і тільки тоді, коли всі поділені різниці другого порядку зберігають сталі значення.

Якщо точки  рівновіддалені, тобто , то для існування квадратичної залежності (8) необхідно і достатньо, щоб була сталою скінчена різниця другого порядку , причому .


Побудова емпіричних формул найпростіших нелінійних залежностей. Нехай у системі координат  маємо нелінійну залежність , неперервну і монотонну на відрізку .

Введемо змінні ,  так, щоб у новій системі координат  задана емпірична нелінійна залежність стала лінійною



. (10)



Тоді точки з координатами  в площині  лежатимуть на прямій лінії.

Покажемо, як від нелінійних залежностей 



, 2) , 3) ,

, 5) , 6) 



перейти до лінійних.

1) Розглянемо степеневу залежність , де , , .

Логарифмуючи її, знаходимо . Звідси, поклавши , , , , маємо .

2) Логарифмуючи показникову залежність , маємо . Поклавши , , ,  в системі координат  дістанемо залежність (10).

Зазначимо, що замість показникової залежності  часто шукають залежність . Остання перетвориться в лінійну, якщо позначити , , , .

3) Щоб перейти від логарифмічної залежності  до лінійної , досить зробити підстановку , .

4) У гіперболічній залежності замінимо змінні , . Тоді гіперболічна залежність перетвориться в лінійну (10), в якій , .

5) Розглянемо дробово-лінійну функцію . Знайдемо обернену функцію . Тоді ввівши нові координати , , дістанемо лінійну залежність (10), де , .

6) Нехай маємо дробово-раціональну залежність . Оберненою до неї буде залежність . Ввівши нові змінні , , дістанемо лінійну залежність (10) з коефіцієнтами , .

Отже, для побудови будь-якої з емпіричних формул 1)-6) треба:

а) за вихідною таблицею даних  побудувати нову таблицю , використавши відповідні формули переходу до нових координат;

б) за новою таблицею даних знайти методом найменших квадратів коефіцієнти  і  лінійної функції (10);

в) за відповідними формулами знайти коефіцієнти  і  даної нелінійної залежності.

Вибрати емпіричну формулу для нелінійних залежностей графічним методом часто буває важко. Тоді вдаються до перевірки аналітичних критеріїв існування певної залежності. Для цього зводять її до лінійної і перевіряють виконання критерію лінійної залежності між перетвореними вихідними даними . Але є й власні аналітичні критерії наявності кожної з розглянутих вище нелінійних залежностей. Найпростіші необхідні умови їх наявності подано в табл. 2.



Таблиця 2

№ пор.

Емпірична формула





Спосіб вирівнювання

1









2







, де , , , 

3







, де , , 

4







, де 

5







, де 

6







, де 

7







, де , 



Умови перевіряють у такий спосіб. На заданому відрізку зміни незалежної змінної  вибирають дві точки, досить надійні і розміщені якомога далі одна від одної. Нехай, наприклад, це будуть точки , . Потім, залежно від типу емпіричної формули, що перевіряється, обчислюють значення , яке є або середнім арифметичним, або середнім геометричним, або середнім гармонічним значень , . Маючи значення  і  аналогічно обчислюють і відповідне значення . Далі, користуючись даною таблицею значень , для значення  знаходять відповідне йому значення . Якщо  немає в таблиці, то  знаходять наближено з побудованого графіка даної залежності або за допомогою лінійної інтерполяції , де  і  ─ проміжні значення, між якими лежить . Обчисливши , знаходять величину . Якщо ця величина велика, то відповідна емпірична формула не придатна для апроксимації заданих табличних даних. З кількох придатних емпіричних формул перевагу надають тій, для якої відхилення  якомога менше.