Jabarkan Masalah optimisasi dari Optimisasi

Sebuah masalah optimisasi dapat dinyatakan dalam bentuk sebagai berikut:

Diberikan: sebuah fungsi  yang memetakan suatu himpunan  ke bilangan real

Dicari: sebuah elemen  yang memenuhi  untuk setiap  (masalah minimisasi), atau yang memenuhi  untuk setiap  (masalah maksimisasi)

Formulasi tersebut juga disebut dengan masalah pemrograman matematika. Terminologi ini yang tidak berhubungan langsung dengan pemrograman komputer, namun masih digunakan di beberapa hal seperti pemrograman linear. Banyak masalah nyata (real-world problem) maupun masalah teoritis dapat dimodelkan dalam kerangka umum tersebut.

Perhatikan bahwa hubungan  terpenuhi jika kita mendefinisikan . Hal ini yang mengartikan setiap masalah maksimisasi dapat diubah menjadi masalah minimisasi (dan sebaliknya). Dalam matematika, masalah optimisasi umumnya dinyatakan sebagai masalah minimisasi. Di bidang fisika, formulasi seperti ini dapat merujuk pada teknik minimisasi energi, dengan nilai fungsi  merepresentasikan energi dari sistem yang dimodelkan. Dalam pemelajaran mesin, penting untuk mengevaluasi kualitas parameter data menggunakan fungsi biaya, dengan nilai fungsi yang minimum mengimplikasikan kemungkinan parameter dengan nilai optimal (terkecil).

Umumnya  adalah subset dari ruang Euklides , umum ditandai oleh sebuah himpunan konstrain, yakni kumpulan persamaan atau pertidaksamaan yang perlu dipenuhi oleh anggota . Domain  dari fungsi  disebut dengan ruang pencarian atau ruang pilihan, sedangkan elemen dari  disebut dengan kandidat solusi atau solusi feasibel (solusi yang mungkin).

Terdapat banyak nama bagi fungsi , yang secara umum disebut dengan fungsi objektif. Untuk masalah minimisasi, fungsi ini terkadang disebut dengan fungsi kerugian atau fungsi biaya); sedangkan masalah maksimisasi terkadang menggunakan terminologi fungsi kecocokan (fitness function) atau fungsi utilitas. Pada beberapa bidang, fungsi ini juga disebut dengan fungsi energi. Solusi feasibel yang meminimumkan (atau memaksimumkan jika itu tujuan akhirnya) nilai fungsi objektif dikenal sebagai solusi optimal.

Sebuah [titik] minimum lokal  didefinisikan sebagai elemen yang memiliki suatu  dan untukakan berlaku hubungan . Secara informal definisi ini mengatakan bahwa  menghasilkan nilai fungsi yang terkecil, ketika dibandingkan tetangga-tetangga disekitarnya. [Titik] maksimum lokal didefinisikan dengan cara yang serupa. Jika titik minimum lokal memberikan solusi yang setidaknya sama baiknya dengan solusi disekitar titik tersebut, titik minimum global akan memberikan solusi yang setidaknya sama baiknya dengan semua solusi yang mungkin. Secara umum, kecuali fungsi objektif bersifat konveks, ada kemungkinan titik [minimum/maksimum] lokal, dan tidak semuanya juga merupakan titik [minimum/maksimum] global.

Banyak algoritma dikembangkan untuk menyelesaikan masalah non-konveks, namun sebagian besar tidak dapat membedakan solusi optimal lokal dengan solusi optimal global; mereka akan menganggap solusi optimal lokal sebagai solusi sebenarnya bagi masalah optimisasi. Optimisasi global adalah cabang matematika terapan dan analisis numerik yang mengkaji perkembangan algoritma deterministik dan memastikan konvergensi dalam waktu yang terbatas (finite time), untuk menemukan solusi optimal masalah non-konveks