Bellman tənliyi

Riçard E. Bellmanın adını daşıyan **Bellman tənliyi** dinamik proqramlaşdırma kimi tanınan riyazi optimallaşdırma metodu ilə əlaqəli optimallıq üçün zəruri şərtdir. Bellman tənliyi, müəyyən bir zaman nöqtəsində qərar probleminin "dəyərini" bəzi ilkin seçimlərdən əldə edilən gəlir və həmin ilkin seçimlərdən yaranan qalan qərar probleminin "dəyəri" baxımından yazır.

Əsas koməyi uzun-dövrdə baş verən qərarı iki vaxt perioduna, bugünə və sabaha bölür. Beləliklə gələcəkdə baş verəcək qərarları həll etməkdə asand bir yanaşma inkişaf elətdirir. Bellman tənliyi konsepsional olaraq çətin görünən gələcək qərarı sadələşdirərək həllinə kömək edir.

Bellmanın “optimallıq prinsipi”nin (principle of optimality) təyin etdiyi kimi, dinamik optimallaşdırma problemini daha sadə alt problemlər ardıcıllığına bölür. Bellman tənliyi əvvəlcə mühəndislik idarəetmə nəzəriyyəsinə və tətbiqi riyaziyyatın digər mövzularına tətbiq olunub. Sonralar iqtisadi nəzəriyyədə mühüm alətə çevrilib. "Bellman tənliyi" termini adətən diskret vaxtlı optimallaşdırma problemləri ilə əlaqəli dinamik proqramlaşdırma tənliyinə (DPE) istinad edir. Davamlı zamanın optimallaşdırılması məsələlərində analoji tənlik qismən diferensial tənlikdir və Hamilton-Jacobi-Bellman tənliyi adlanır.
## Riyazi izah

### Dinamik qərar problemi

Bellman tənliyi əsasən, sonsuz üfüqlü qərar problemini iki vaxt perioduna bölərək həll edir, bugün və sabah. Sabah bütün gələcəyi nəzərə alır. Aşağıdakı formanı alır:

:  V(x_0) \; := \; \max_{ \left \{ a_{t} \right \}_{t=0}^{\infty} } \sum_{t=0}^{\infty} \beta^t F(x_t,a_{t}),                                                                                                                                   (1)

məhdudiyyətlərə tabedir

:  a_{t} \in \Gamma (x_t), \; x_{t+1}=T(x_t,a_t), \; \forall t = 0, 1, 2, \dots 

Tənlik (1)-də verilmiş problemi olduğu kimi analitik həll etmək çox çətindir. Hər bir yeni vaxt periodunda yenidən həll olunmalıdır, çünki maksimizasiya a_{t} \forall t = 0, 1, 2, \dots  formasındadır. Bellman tənliyi bu problemi zaman perspektivindən iki hissəyə bölür.  a_0  (**bugün**) və a_{t} \forall t = 1, 2, \dots  (**sabah və bütün gələcək**). İndi isə bu prosesi addım-addım göstərək. Beləliklə, təkcə a_0  seçimini edərək tənlik (1)-i həll edə biləcəyik.

Eyni problemi biraz fərqli şəkildə izah edək. Fərz edək ki, x_1=T(x_0,a_0) və x_0, a_0 bizim ilk dövrdə olan seçimlərimizdir. Həmin yeni dövlət 1-ci vaxtdan etibarən qərar probleminə təsir edəcək. Bütün gələcək qərar problemi sağdakı kvadrat mötərizədə görünür.

:  V(x_0) = \max_{ a_0 } \left \{ F(x_0,a_0)
+ \beta \left[ \max_{ \left \{ a_{t} \right \}_{t=1}^{\infty} }
\sum_{t=1}^{\infty} \beta^{t-1} F(x_t,a_{t}):
a_{t} \in \Gamma (x_t), \; x_{t+1}=T(x_t,a_t), \; \forall t \geq 1 \right] \right \}               (2)

məhdudiyyətlərə tabedir

:  a_0 \in \Gamma (x_0), \; x_1=T(x_0,a_0). 
Fikir verin ki, problemi hər bir yeni vaxtda eyni formada həll etmək çox və qeyri-optimaldır. Tənlik (2) heç də asand həll olunmur. Bellman tənliyi formasında isə dəfələrlə sadələşdirilir. Beləliklə, Bellman tənliyini bir riyazi alqoritm alqoritm olaraq da fikirləşmək olar.

### Bellman tənliyi
İndiyə qədər biz bugünkü qərarı gələcək qərarlardan ayırmaqla problemi daha da çətinləşdirmişdik. Bellman tənliyi, əvvəlki tənliyi sadələşdirərək həll etməkdir. İndi,x_1=T(x_0,a_0) və x_1 bütün gələcək qərarları bir araya toplayır. Bugün verdiyimiz qərar ilə sabahkı qərarı müqayisə edirik. Beləliklə, sabah ilə nəzərdə tutduğumuz bütün gələcək qərarları bir araya toplayır.

Əvvəlki qeyd etdiyimiz problem dəyər funksiyasının rekursiv tərifi kimi yenidən yazıla bilər:

: V(x_0) = \max_{ a_0 } \{ F(x_0,a_0) + \beta V(x_1) \} ,                                                                                                                                (3) 
: məhdudiyyətlərə tabedir: a_0 \in \Gamma (x_0), \; x_1=T(x_0,a_0).   
Tənlik (3)-də göstərilən zaman alt yazıları atıldıqda və növbəti vəziyyətin dəyəri qoşulduqda, daha da sadələşdirilə bilər:
: V(x) = \max_{a \in \Gamma (x) } \{ F(x,a) + \beta V(T(x,a)) \}.                                                                                                                           (4)

V(x)  Bellman tənliyidir. V(x)   formasında maximizasiya problemini bir qərar ilə həll etmiş oluruq. Məsələn, burdakı dəyər funksiyasını tapmaq üçün əlin-sağ-tərəfində olan hissədə maximizasiya problemini həll edirik. Problem artıq sadələşdiyi üçün, bu maksimizasiya artıq asandca tapıla bilər.

Bellman tənliyi konsepsional olaraq çətin görünən gələcək qərarı sadələşdirərək həllinə kömək edir.

## İqtisadiyyatda tətbiqlər
Bellman tənliyinin iqtisadiyyatda hərtərəfli istifadə olunur. Bugün əsasən makroiqtisadi problemlərin həllində istifadə olunur.

Nensi Stokey, Robert E. Lukas və Edvard Preskott stoxastik və qeyri-stoxastik dinamik proqramlaşdırmanı mükəmməlləşdirərək yeni-nəsil iqtisadçılara kitablarında təqdim edirlər. Bellman tənliyi optimal iqtisadi artım, resurs hasilatı, prinsipal agent problemləri, dövlət maliyyəsi, biznes investisiyası, aktivlərin qiyməti, faktor təchizatı və sənaye təşkili daxil olmaqla, iqtisadiyyatda nəzəri problemlərin geniş spektrini həll etmək üçün istifadə olunur.
## İstinadlar