Optimisasi
Masalah optimisasi

Sebuah masalah optimisasi dapat dinyatakan dalam bentuk sebagai berikut:
Formulasi tersebut juga disebut dengan masalah pemrograman matematika. Terminologi ini yang tidak berhubungan langsung dengan pemrograman komputer, namun masih digunakan di beberapa hal seperti pemrograman linear. Banyak masalah nyata (real-world problem) maupun masalah teoritis dapat dimodelkan dalam kerangka umum tersebut.
Perhatikan bahwa hubungan  f\left(\mathbf {x} _{0}\right)\geq f\left(\mathbf {x} \right)\Leftrightarrow {\tilde {f}}\left(\mathbf {x} _{0}\right)\leq {\tilde {f}}\left(\mathbf {x} \right) terpenuhi jika kita mendefinisikan  {\tilde {f}}\left(\mathbf {x} \right):=-f\left(\mathbf {x} \right),\,{\tilde {f}}\,:\,A\rightarrow \mathbb {R} . Hal ini yang mengartikan setiap masalah maksimisasi dapat diubah menjadi masalah minimisasi (dan sebaliknya). Dalam matematika, masalah optimisasi umumnya dinyatakan sebagai masalah minimisasi. Di bidang fisika, formulasi seperti ini dapat merujuk pada teknik minimisasi energi, dengan nilai fungsi  f merepresentasikan energi dari sistem yang dimodelkan. Dalam pemelajaran mesin, penting untuk mengevaluasi kualitas parameter data menggunakan fungsi biaya, dengan nilai fungsi yang minimum mengimplikasikan kemungkinan parameter dengan nilai optimal (terkecil).
Umumnya  A adalah subset dari ruang Euklides  \mathbb {R} ^{n}, umum ditandai oleh sebuah himpunan konstrain, yakni kumpulan persamaan atau pertidaksamaan yang perlu dipenuhi oleh anggota  A. Domain  A dari fungsi  f disebut dengan ruang pencarian atau ruang pilihan, sedangkan elemen dari  A disebut dengan kandidat solusi atau solusi feasibel (solusi yang mungkin).
Terdapat banyak nama bagi fungsi  f, yang secara umum disebut dengan fungsi objektif. Untuk masalah minimisasi, fungsi ini terkadang disebut dengan fungsi kerugian atau fungsi biaya); sedangkan masalah maksimisasi terkadang menggunakan terminologi fungsi kecocokan (fitness function) atau fungsi utilitas. Pada beberapa bidang, fungsi ini juga disebut dengan fungsi energi. Solusi feasibel yang meminimumkan (atau memaksimumkan jika itu tujuan akhirnya) nilai fungsi objektif dikenal sebagai solusi optimal.
Sebuah [titik] minimum lokal  \mathbf {x} ^{*} didefinisikan sebagai elemen yang memiliki suatu  \delta >0 dan untuk \forall \mathbf {x} \in A\;{\text{dengan}}\;\left\Vert \mathbf {x} -\mathbf {x} ^{\ast }\right\Vert \leq \delta ,\,akan berlaku hubungan  f(\mathbf {x} ^{*})\leq f(\mathbf {x} ). Secara informal definisi ini mengatakan bahwa  \mathbf {x} ^{*} menghasilkan nilai fungsi yang terkecil, ketika dibandingkan tetangga-tetangga disekitarnya. [Titik] maksimum lokal didefinisikan dengan cara yang serupa. Jika titik minimum lokal memberikan solusi yang setidaknya sama baiknya dengan solusi disekitar titik tersebut, titik minimum global akan memberikan solusi yang setidaknya sama baiknya dengan semua solusi yang mungkin. Secara umum, kecuali fungsi objektif bersifat konveks, ada kemungkinan titik [minimum/maksimum] lokal, dan tidak semuanya juga merupakan titik [minimum/maksimum] global.
Banyak algoritma dikembangkan untuk menyelesaikan masalah non-konveks, namun sebagian besar tidak dapat membedakan solusi optimal lokal dengan solusi optimal global; mereka akan menganggap solusi optimal lokal sebagai solusi sebenarnya bagi masalah optimisasi. Optimisasi global adalah cabang matematika terapan dan analisis numerik yang mengkaji perkembangan algoritma deterministik dan memastikan konvergensi dalam waktu yang terbatas (finite time), untuk menemukan solusi optimal masalah non-konveks