Pemrograman dinamis

**Pemrograman dinamis** () adalah metode pengoptimalan matematika dan metode pemrograman komputer. Metode ini dikembangkan oleh Richard Bellman pada 1950-an dan telah digunakan di berbagai bidang, mulai dari teknik kedirgantaraan hingga ekonomi.

Dalam kedua konteks ini mengacu pada penyederhanaan masalah yang rumit dengan memecahnya menjadi sub-masalah yang lebih sederhana secara rekursif. Meskipun beberapa masalah keputusan tidak dapat dipisahkan dengan cara ini, keputusan yang mencakup beberapa titik waktu sering kali pecah secara rekursif. Begitu pula dalam ilmu komputer, jika suatu masalah dapat diselesaikan secara optimal dengan memecahnya menjadi sub-sub masalah dan kemudian secara rekursif mencari solusi optimal untuk sub masalah tersebut, maka dikatakan memiliki substruktur yang optimal.

Jika sub-masalah dapat disarangkan secara rekursif di dalam masalah yang lebih besar, sehingga metode pemrograman dinamis dapat diterapkan, maka ada hubungan antara nilai masalah yang lebih besar dengan nilai-nilai sub-masalah tersebut. Dalam literatur optimasi, hubungan ini disebut persamaan Bellman.

## Gambaran
### Pengoptimalan matematika
Dalam hal optimasi matematis, pemrograman dinamis biasanya mengacu pada penyederhanaan keputusan dengan memecahnya menjadi urutan langkah-langkah keputusan dari waktu ke waktu. Ini dilakukan dengan mendefinisikan urutan **fungsi nilai** *V*1, *V*2, ..., *V<sub>n</sub>* mengambil *y* sebagai argumen yang mewakili '''keadaan''' sistem pada waktu *i* dari 1 sampai *n*. Definisi *V<sub>n</sub>*(*y*) adalah nilai yang diperoleh di keadaan *y* terakhir kali *n*. Nilai *V<sub>i</sub>* pada waktu sebelumnya *i*&nbsp;=&nbsp;*n*&nbsp;&#x2212;1,&nbsp;*n*&nbsp;&#x2212;&nbsp;2,&nbsp;...,&nbsp;2,&nbsp;1 dapat ditemukan dengan bekerja mundur, menggunakan hubungan rekursif yang disebut persamaan Bellman. untuk *i*&nbsp;=&nbsp;2,&nbsp;...,&nbsp;*n*, *V<sub>i</sub>*&#x2212;1 di setiap keadaan *y* dihitung dari *V<sub>i</sub>* dengan memaksimalkan fungsi sederhana (biasanya jumlah) keuntungan dari keputusan pada saat itu *i*&nbsp;&#x2212;&nbsp;1 dan fungsi *V<sub>i</sub>* di keadaan baru sistem jika keputusan ini dibuat. Sejak *V<sub>i</sub>* telah dihitung untuk keadaan yang diperlukan, hasil operasi di atas *V<sub>i</sub>*&#x2212;1 untuk keadaan  tersebut. Akhirnya, *V*1 pada keadaan awal sistem adalah nilai solusi optimal. Nilai optimal dari variabel keputusan dapat dipulihkan, satu per satu, dengan melacak kembali perhitungan yang telah dilakukan.

### Teori kontrol
Dalam teori kontrol, masalah tipikal adalah menemukan kontrol yang dapat diterima \mathbf{u}^{\ast} yang menyebabkan sistem \dot{\mathbf{x}}(t) = \mathbf{g} \left( \mathbf{x}(t), \mathbf{u}(t), t \right) untuk mengikuti lintasan yang bisa diterima \mathbf{x}^{\ast}pada interval waktu yang terus menerus t_{0} \leq t \leq t_{1} yang meminimalkan biaya fungsi.

: J = b \left( \mathbf{x}(t_{1}), t_{1} \right) + \int_{t_{0}}^{t_{1}} f \left( \mathbf{x}(t), \mathbf{u}(t), t \right) \mathrm{d} t

Solusi untuk masalah ini adalah pengendalian hukum atau kebijakan yang optimal \mathbf{u}^{\ast} = h(\mathbf{x}(t), t), yang menghasilkan lintasan yang optimal \mathbf{x}^{\ast} dan sebuah fungsi cost-to-go J^{\ast}. Yang terakhir mematuhi persamaan fundamental dari pemrograman dinamis:

: - J_{t}^{\ast} = \min_{\mathbf{u}} \left\{ f \left( \mathbf{x}(t), \mathbf{u}(t), t \right) + J_{x}^{\ast \mathsf{T}} \mathbf{g} \left( \mathbf{x}(t), \mathbf{u}(t), t \right) \right\}

persamaan diferensial parsial yang dikenal sebagai persamaan Hamilton-Jacobi-Bellman, di mana J_{x}^{\ast} = \frac{\partial J^{\ast}}{\partial \mathbf{x}} = \left[ \frac{\partial J^{\ast}}{\partial x_{1}} ~~~~ \frac{\partial J^{\ast}}{\partial x_{2}} ~~~~ \dots ~~~~  \frac{\partial J^{\ast}}{\partial x_{n}} \right]^{\mathsf{T}} dan J_{t}^{\ast} = \frac{\partial J^{\ast}}{\partial t}. Salah satu menemukan meminimalkan \mathbf{u} istilah dari t, \mathbf{x}, dan fungsi yang tidak diketahui J_{x}^{\ast}dan kemudian mensubstitusikan hasilnya ke dalam persamaan Hamilton – Jacobi – Bellman untuk mendapatkan persamaan diferensial parsial yang akan diselesaikan dengan kondisi batas J \left( t_{1} \right) = b \left( \mathbf{x}(t_{1}), t_{1} \right). Dalam praktiknya, ini umumnya memerlukan teknik numerik untuk beberapa pendekatan diskrit ke hubungan pengoptimalan yang tepat.

Atau, proses kontinu dapat didekati dengan sistem diskrit, yang mengarah ke analog relasi rekurensi berikut dengan persamaan Hamilton – Jacobi – Bellman:

: J_{k}^{\ast} \left( \mathbf{x}_{n-k} \right) = \min_{\mathbf{u}_{n-k}} \left\{ \hat{f} \left( \mathbf{x}_{n-k}, \mathbf{u}_{n-k} \right) + J_{k-1}^{\ast} \left( \hat{g} \left( \mathbf{x}_{n-k}, \mathbf{u}_{n-k} \right) \right) \right\}

Pada tahap k dari n interval waktu diskrit dengan jarak yang sama, dan di mana \hat{f} dan \hat{g} menunjukkan pendekatan diskrit untuk f dan \mathbf{g}. Persamaan fungsional ini dikenal sebagai persamaan Bellman, yang dapat diselesaikan untuk solusi tepat dari pendekatan diskrit persamaan optimasi.

### Pemrograman komputer
Ada dua atribut utama yang harus dimiliki masalah agar pemrograman dinamis dapat diterapkan: substruktur yang optimal dan sub-masalah yang tumpang tindih. Jika suatu masalah dapat diselesaikan dengan menggabungkan solusi optimal untuk sub-masalah *tidak tumpang tindih*, strateginya disebut "divide and conquer". Inilah sebabnya mengapa merge sort dan quick sort tidak diklasifikasikan sebagai masalah pemrograman dinamis.

*Substruktur optimal* berarti bahwa solusi untuk masalah pengoptimalan yang diberikan dapat diperoleh dengan kombinasi solusi optimal untuk sub-masalahnya. Substruktur optimal seperti itu biasanya dijelaskan melalui rekursi. Misalnya diberi grafik *G=(V,E)*, jalur terpendek *p* dari sebuah vertex *u* ke sebuah vertrex *v* menunjukkan substruktur yang optimal: ambil perantara vertex *w* di jalur terpendek ini *p*. Jika *p* benar-benar merupakan jalur terpendek, kemudian dapat dipecah menjadi sub-jalur *p<sub>1</sub>* dari *u* ke *w* dan *p<sub>2</sub>* dari *w* ke *v* sedemikian rupa sehingga ini, pada gilirannya, memang merupakan jalur terpendek antara simpul yang sesuai (dengan argumen potong-dan-tempel sederhana yang dijelaskan dalam *[[Introduction to Algorithms]]*). Oleh karena itu, salah satu dapat dengan mudah merumuskan solusi untuk menemukan jalur terpendek secara rekursif, yang dilakukan oleh algoritma Bellman–Ford atau algoritma Floyd–Warshall.

Sub-masalah yang tumpang tindih berarti bahwa ruang sub-masalah harus kecil, yaitu, algoritma rekursif apa pun yang memecahkan masalah harus menyelesaikan sub-masalah yang sama berulang kali, daripada menghasilkan sub-masalah baru. Misalnya, pertimbangkan formulasi rekursif untuk menghasilkan deret Fibonacci: *F<sub>i</sub>* = *F<sub>i</sub>*&#x2212;1 + *F<sub>i</sub>*&#x2212;2, dengan kasus dasar *F*1&nbsp;=&nbsp;*F*2&nbsp;=&nbsp;1. Lalu *F*43 =&nbsp;*F*42&nbsp;+&nbsp;*F*41, dan *F*42 =&nbsp;*F*41&nbsp;+&nbsp;*F*40. Sekarang *F*41 sedang diselesaikan di sub-pohon rekursif dari keduanya *F*43 sebaik *F*42. Meskipun jumlah total sub-masalah sebenarnya kecil (hanya 43 dari mereka), kita akhirnya menyelesaikan masalah yang sama berulang kali jika kita mengadopsi solusi rekursif naif seperti ini. Pemrograman dinamis memperhitungkan fakta ini dan memecahkan setiap sub-masalah hanya sekali.

Ini dapat dicapai dengan salah satu dari dua cara:

* *[[Desain top-down dan bottom-up|Pendekatan top-down]]*: Ini adalah hasil langsung dari formulasi rekursif dari masalah apa pun. Jika solusi untuk masalah apa pun dapat dirumuskan secara rekursif menggunakan solusi untuk sub-masalahnya, dan jika sub-masalah tersebut tumpang tindih, maka seseorang dapat dengan mudah memoisasi atau menyimpan solusi untuk sub-masalah dalam sebuah tabel. Setiap kali kita mencoba untuk memecahkan sub-masalah baru, pertama-tama kita memeriksa tabel untuk melihat apakah sudah terpecahkan. Jika solusi telah dicatat, kita dapat menggunakannya secara langsung, jika tidak kita menyelesaikan sub-masalah dan menambahkan solusinya ke tabel.
* *[[Desain top-down dan bottom-up|Pendekatan bottom-up]]*: Setelah kita merumuskan solusi untuk suatu masalah secara rekursif seperti dalam sub-masalah, kita dapat mencoba merumuskan kembali masalah secara bottom-up: coba selesaikan sub-masalah terlebih dahulu dan gunakan solusi mereka untuk membangun dan sampai pada solusi untuk sub-masalah yang lebih besar. Ini juga biasanya dilakukan dalam bentuk tabel dengan menghasilkan solusi secara berulang untuk sub-masalah yang lebih besar dan lebih besar dengan menggunakan solusi untuk sub-masalah kecil. Misalnya, jika kita sudah mengetahui nilai *F*41 dan *F*40, kita bisa langsung menghitung nilai *F*42.
Beberapa bahasa pemrograman dapat secara otomatis memoisasi hasil panggilan fungsi dengan sekumpulan argumen tertentu, untuk mempercepat evaluasi Call-by-name. (mekanisme ini disebut sebagai *[[call-by-need]]*). Beberapa bahasa membuatnya mungkin portabel (misalnya Scheme, Common Lisp, Perl atau D). Beberapa bahasa memiliki memoisasi otomatis  bawaan, seperti tabel Prolog dan J, yang mendukung memoization dengan kata keterangan *M*. . Bagaimanapun, ini hanya mungkin untuk fungsi transparansi referensial. Memoisasi juga ditemukan sebagai pola desain yang mudah diakses dalam bahasa berbasis penulisan-ulang istilah seperti Bahasa Wolfram.

### Bioinformatika
Pemrograman dinamis banyak digunakan dalam bioinformatika untuk tugas-tugas seperti penyelarasan urutan, pelipatan protein, prediksi struktur RNA, dan pengikatan protein-DNA. Algoritma pemrograman dinamis pertama untuk pengikatan protein-DNA dikembangkan pada tahun 1970-an secara independen oleh Charles DeLisi di AS dan Georgii Gurskii dan Alexander Zasedatelev di Uni Soviet. Baru-baru ini algoritma ini menjadi sangat populer dalam bioinformatika dan biologi komputasi, khususnya dalam studi tentang posisi nukleosom dan pengikatan faktor transkripsi.

## Contoh: Algoritma komputer

### Algoritma Dijkstra untuk masalah jalur terpendek
Dari sudut pandang pemrograman dinamis, algoritma Dijkstra untuk masalah jalur terpendek merupakan skema aproksimasi berurutan yang menyelesaikan persamaan fungsional pemrograman dinamis untuk masalah jalur terpendek dengan metode **Reaching**.

Faktanya, penjelasan Dijkstra tentang logika di balik algoritma, dinamakan

adalah parafrase dari Prinsip Optimalitas Bellman yang terkenal dalam konteks masalah jalur terpendek.

### Deret Fibonacci
Menggunakan pemrograman dinamis dalam perhitungan anggota ke-*n* deret Fibonacci meningkatkan kinerjanya secara signifikan. Berikut adalah implementasi naif, berdasarkan langsung pada definisi matematis:
    **function** fib(n)
        **if** n fib(5), kita menghasilkan pohon panggilan yang memanggil fungsi pada nilai yang sama berkali-kali:

# `fib(5)`
# `fib(4) + fib(3)`
# `(fib(3) + fib(2)) + (fib(2) + fib(1))`
# `((fib(2) + fib(1)) + (fib(1) + fib(0))) + ((fib(1) + fib(0)) + fib(1))`
# `(((fib(1) + fib(0)) + fib(1)) + (fib(1) + fib(0))) + ((fib(1) + fib(0)) + fib(1))`

Khususnya, `fib(2)` dihitung tiga kali dari awal. Dalam contoh yang lebih besar, lebih banyak nilai `fib`, atau *subproblem*, dihitung ulang, yang mengarah ke algoritma waktu eksponensial.

Sekarang, misalkan kita memiliki objek peta sederhana, *m*, yang memetakan setiap nilai `fib` yang telah dihitung ke hasilnya, dan kita memodifikasi fungsi kita untuk menggunakannya dan memperbaruinya. Fungsi yang dihasilkan hanya membutuhkan O(*n*) waktu, bukan waktu eksponensial (tetapi membutuhkan O(*n*) ruang):
    **var** m := ***map***(0 → 0, 1 → 1)
    **function** fib(n)
        **if ''key*** n *'is not in *map*** m 
            m[n] := fib(n − 1) + fib(n − 2)
        **return** m[n]
Teknik menyimpan nilai yang telah dihitung ini disebut ''[[Memoisasi|memoization]]''; ini adalah pendekatan top-down, karena kita pertama kali memecah masalah menjadi subproblem lalu menghitung dan menyimpan nilai.

Dalam pendekatan **bottom-up**, kita menghitung nilai <code>fib</code> yang lebih kecil terlebih dahulu, lalu buat nilai yang lebih besar darinya. Metode ini juga menggunakan waktu O(''n'') karena mengandung loop yang berulang n - 1 kali, tetapi hanya membutuhkan ruang konstan (O(1)), berbeda dengan pendekatan top-down yang membutuhkan ruang O(''n'') untuk simpan peta.
    **function** fib(n)
        **if** n = 0
            **return** 0
        **else**
            **var** previousFib := 0, currentFib := 1
            **repeat** n − 1 **times** ''// loop is skipped if n = 1''
                **var** newFib := previousFib + currentFib
                previousFib := currentFib
                currentFib  := newFib
        **return*' currentFib
Dalam kedua contoh tersebut, kita hanya menghitung <code>fib(2)</code> satu kali, lalu gunakan untuk menghitung keduanya <code>fib(4)</code> dan <code>fib(3)</code>, alih-alih menghitungnya setiap kali salah satu dari mereka dievaluasi.

Metode di atas sebenarnya membutuhkan <math>\Omega(n^2) </math> waktu untuk n besar karena penjumlahan dua bilangan bulat dengan <math>\Omega(n)</math> bit masing-masing mengambil <math>\Omega(n)</math> waktu. (Nomor *n''th fibonacci memiliki \Omega(n) bit.) Juga, ada bentuk tertutup untuk deret Fibonacci, yang dikenal sebagai rumus Binet, yang darinya suku n-th dihitung kira-kira O(n(\log n)^2) waktu, yang lebih efisien daripada teknik pemrograman dinamis di atas. Namun, pengulangan sederhana secara langsung memberikan bentuk matriks yang mengarah ke perkiraan O(n\log n) algoritma dengan eksponensial matriks cepat.

### Perataan urutan
Dalam genetika, perataan urutan adalah aplikasi penting di mana pemrograman dinamis sangat penting.  Biasanya, masalahnya terdiri dari mengubah satu urutan menjadi urutan lain menggunakan operasi edit yang mengganti, menyisipkan, atau menghapus elemen.  Setiap operasi memiliki biaya terkait, dan tujuannya adalah menemukan urutan pengeditan dengan total biaya terendah.

Masalahnya dapat dinyatakan secara alami sebagai rekursi, urutan A diedit secara optimal menjadi urutan B dengan baik:

# memasukkan karakter pertama B, dan melakukan penyelarasan optimal A dan ekor B
# menghapus karakter pertama A, dan melakukan penyelarasan optimal pada ekor A dan B
# mengganti karakter pertama A dengan karakter pertama B, dan melakukan penjajaran optimal pada ekor A dan B.

Perataan parsial bisa ditabulasi dalam matriks, di mana sel (i,j) berisi biaya penyelarasan yang optimal A[1..i] ke B[1..j].  Biaya dalam sel (i,j) dapat dihitung dengan menambahkan biaya operasi yang relevan dengan biaya sel tetangganya, dan memilih yang optimal.

Ada varian yang berbeda, lihat algoritma Smith – Waterman dan algoritma Needleman – Wunsch.

## Referensi

## Bacaan lanjutan

* . Pengenalan yang dapat diakses untuk pemrograman dinamis di bidang ekonomi. MATLAB code for the book .
* . Termasuk bibliografi literatur yang luas di daerah tersebut, hingga tahun 1954.
* . Edisi paperback Dover (2003), .
* . Terutama hal.&nbsp;323–69.
* .
* .
* .
* 
* .

## Pranala luar

* Sebuah Tutorial tentang Pemrograman Dinamis
* MIT course on algorithms – Termasuk video kuliah tentang DP bersama dengan catatan kuliah, lihat lecture 15.
* Lebih banyak Catatan DP
* King, Ian, 2002 (1987), "A Simple Introduction to Dynamic Programming in Macroeconomic Models." Pengantar pemrograman dinamis sebagai alat penting dalam teori ekonomi.
* Dynamic Programming: from novice to advanced sebuah artikel TopCoder.com oleh Dumitru tentang Pemrograman Dinamis
* Algebraic Dynamic Programming – kerangka kerja formal untuk pemrograman dinamis, termasuk kursus tingkat awal kepada DP, University of Bielefeld
* Dreyfus, Stuart, "Richard Bellman on the birth of Dynamic Programming. "
* Tutorial pemrograman dinamis
* Pengantar Lembut tentang Pemrograman Dinamis dan Algoritma Viterbi
* Prolog Tabel BProlog dan XSB
* Modul pemrograman dinamis interaktif online IFORS  termasuk, jalur terpendek, penjual keliling, ransel, koin palsu, menjatuhkan telur, jembatan dan obor, penggantian, produk matriks yang dirantai, dan masalah jalur kritis.