بهینه‌سازی (اقتصاد)
در ریاضیات، علوم کامپیوتر و اقتصاد، بهینه‌سازی یا برنامه‌ریزی ریاضی، به انتخاب عناصر بهینه از یک مجموعه از آلترناتیوهای قابل‌دستیابی می‌پردازد. به عبارت بهتر، به دنبال یافتن بهترین مقدار قابل دستیابی از یک تابع هدف تعریف شده بر یک دامنه معین از مقادیر است. در ساده‌ترین حالت، هدف، حداقل یا حداکثرسازی یک تابع حقیقی، با انتخاب نظام‌مند مقادیر حقیقی یا اعداد صحیح از یک مجموعه از مقادیر ممکن است. ساده‌ترین مثال، استفاده از یک تابع هدف حقیقی مقدار است.
تعمیم تئوری بهینه‌سازی و تکنیک‌های فرمول‌بندی بخش بزرگی از ریاضیات کاربردی را شکل می‌دهد. تحقیق در عملیات، برنامه‌ریزی با اعداد صحیح و مختلط، مدل‌های شبکه‌ای، تئوری کنترل، برنامه‌ریزی غیرخطی، نظریه صف و برنامه‌ریزی پویا برخی شاخه‌های ریاضیات کاربردی مرتبط با بهینه‌سازی هستند که امروزه در مدیریت و اقتصاد کاربرد وسیعی دارند.
اولین تکنیک بهینه‌سازی را کارل فردریش گاوس ابداع کرد. اما عمده اصطلاحات مورد استفاده در این حوزه به دوره معاصر برمی‌گردد. اصطلاح برنامه‌ریزی خطی را نخستین بار جرج دانتزیگ در ۱۹۴۰ میلادی به‌کاربرد. اصطلاح برنامه‌ریزی در حوزه بهینه‌سازی به معنای برنامه‌نویسی برای کامپیوتر نیست، با این همه، رایانه‌ها، امروزه به شکل گسترده‌ای در حل مسائل ریاضی مورد استفاده قرار می‌گیرند. ریشه این اصطلاح به کاربرد واژه «برنامه» در ارتش ایالات متحده برمی‌گردد که در اشاره به طرح‌های لجستیک و آموزشی به کار می‌رفت که دانتزیگ آن را مورد مطالعه قرار می‌داد. دیگر ریاضی‌دانان مهم در زمینه بهینه‌سازی عبارتند از:
در برخی زیرشاخه‌ها، تکنیک‌ها اصولا برای بهینه‌سازی پویا، یعنی بهینه‌سازی در طول زمان به کار می‌رود:
در ریاضیات، مسئله بهینه‌سازی، مسئله یافتن بهترین جواب از تمام جواب‌های ممکن است. مسئله بهینه‌سازی formula_1 چهارتایی formula_2 است که در آن
هدف یافتن جواب بهینه برای formula_9 است، یعنی یک جواب ممکن چون formula_8 که
برای هر مسئله بهینه‌سازی، یک مسئله تصمیم متناظر وجود دارد که در پی یافتن جوابی ممکن برای یک اندازه خاص formula_15 است. در الگوریتم‌های تخمین، الگوریتم‌ها برای یافتن جواب‌های نزدیک-بهینه برای مسائل پیچیده طراحی می‌شود. گرچه در این مسائل هم می‌توان مسائل تصمیم متناظر تعریف کرد، ولی عموماً آن را با مسائل بهینه‌سازی مشخص می‌کنند که طبیعی‌تر هم هست.
یک تقسیم‌بندی از بهینه‌سازی را در زیر ببنید.
اگر تنها یک متغیر در مسئله بهینه‌سازی وجود داشته باشد، مسئله بهینه‌سازی تک بعدی و در غیر این صورت چند بعدی خوانده می‌شود.
اگر تابع هزینه مسئله بهینه‌سازی تابعی از زمان نباشد، با یک مسئله بهینه‌سازی ایستا سر و کار داریم؛ ولی اگر زمان نیز وارد تابع هزینه شود مسئله بهینه‌سازی پویا می‌شود.
اگر متغیرهای مسئله بهینه‌سازی به مجموعه یا قید خاصی محدود شده باشند، با یک مسئله بهینه‌سازی مقید Constrained Optimization سروکار داریم و در غیر این صورت مسئله بهینه‌سازی نامقید است.
یک مسئله بهینه‌سازی گسسته مسئله‌ای است که در آن مقادیر متغیرهای مسئله از یک مجموعه معین گسسته هستند. در حالی که، در یک مسئله پیوسته، مقادیر متغیرها از یک مجموعه پیوسته هستند.
یک مسئله بهینه‌سازی تک معیاره (Single Objective)، دارای تنها یک تابع هدف می‌باشد. اما در یک مسئله چند معیاره (Multi Objective)، تعداد تابع هدف‌هایی که به‌طور هم‌زمان بهینه می‌شوند بیش از یکی است. معمولاً در یک مسئله بهینه‌سازی چند معیاره، با دادن اهمیتی (وزنی) به هر یک از توابع هدف و جمع بستن آنها، مسئله را تبدیل به یک مسئله تک معیاره می‌کنند. حل مسائل بهینه‌سازی چند هدفه، به تنهایی مبحث مستقل و مهمی از حوزه بهینه‌سازی است.
مدخل اصلی: مسئله بهینه‌سازی
مسئله بهینه‌سازی به شکل زیر می‌تواند ارائه می‌شود:
با مفروض گرفتن تابع "f": "A" formula_16 R، که در آن "R" مجموعه اعداد حقیقی است. به دنبال یافتن عنصری از "x" در "A" هستیم به شکلی که برای هر "x" متعلق به "A" داشته باشیم ("f"("x") ≤ "f"("x" یا آنکه برای هر "x" متعلق به "A" داشته باشیم ("f"("x") ≥ "f"("x".
چنین فرمول‌بندی مسئله بهینه‌سازی یا مسئله برنامه‌ریزی ریاضی خوانده می‌شود. بسیاری از مسائل جهان واقع می‌تواند در این چهارچوب عمومی مدل شود. نوعاً، "A" زیرمجموعه‌ای از فضای اقلیدسی R است که اغلب با مجموعه‌ای از قیود، یعنی معادلات و نامعادلاتی که اعضای "A" باید آن‌ها را ارضا کند، مشخص می‌شود. دامنه "f" مجموعه انتخاب یا فضای جستجو خوانده می‌شود، درحالیکه عناصر "A"، جواب‌های ممکن یا قابل دست‌یابی خوانده می‌شوند.
تابع "f"، عموماً تابع هدف خوانده می‌شود. جواب ممکنی که تابع هدف را بیشینه کند یا اگر هدف کمینه‌سازی باشد، آن را کمینه کند، جواب بهینه خوانده می‌شود.
عموماً، وقتی ناحیه جواب‌های ممکن مسئله محدب نباشد، چندین کمینه و بیشینه نسبی وجود خواهد داشت. بیشینه نسبی x نقطه‌ای است که برای آن یک δ > ۰ وجود داشته باشد به‌طوری‌که برای هر x که در رابطه زیر صدق کند داشته باشیم یعنی در ناحیه جواب، مقدار تابعی همه نقاط حول (لااقل) یک همسایگی از x، کوچکتر یا مساوی مقدار تابع در آن نقطه باشد. کمینه نسبی نیز به شکل مشابهی تعریف می‌شود.
الگوریتم‌های زیادی برای حل مسائل غیرمحدب ارائه شده‌است. شاخه‌ای از ریاضیات کاربردی و آنالیز عددی که با ایجاد الگوریتم‌های قطعی -با تضمین همگرایی در زمان متناهی- به جواب بهینه واقعی یک مسئله غیرمحدب بیانجامد، بهینه‌یابی سرتاسری خوانده می‌شود.
مسائل بهینه‌سازی غالباً با نمادهای ویژه‌ای نمایش داده می‌شوند. در اینجا چند مثال آورده می‌شود. که به معنی یافتن مقدار کمینه تابع هدف formula_9formula_21 است، که formula_9 متعلق به مجموعه اعداد حقیقی است. به وضوح، حداقل مقدار این تابع، formula_23 است که در formula_24اتفاق می‌افتد.
که به معنی یافتن مقدار بیشینه تابع هدف formula_26 است، که formula_9 متعلق به مجموعه اعداد حقیقی است. در این حالت حداکثری وجود ندارد؛ چرا که مجموعه مقادیر تابع هدف بی‌کران است. پس پاسخ بی‌نهایت یا تعریف نشده‌است.
که به دنبال مقدار یا مقادیری از "x" در بازه formula_29 است که تابع هدف "x" + ۱ را کمینه می‌کند (مقدار کمینه تابع اهمیتی ندارد). در این حالت جواب formula_30 است.
که به دنبال زوج مرتب (هایی) همچون formula_32 است که مقدار تابع هدف formula_33 را بیشینه می‌کند با این قید که formula_9 در بازه [۵٬۵-] باشد (مقدار بیشینه تابع اهمیتی ندارد). در این حالت، جواب‌ها، زوج مرتب‌هایی به شکل (5,2kπ) و (2kπ+πو۵-) است، به‌طوری‌که formula_35 تمام اعداد صحیح را در برمی‌گیرد.
قضایای اصلی مسئله بهینه‌سازی را «قضایایی برای اثبات وجود نقاط بهینه»، «قضایایی برای یافتن این نقاط» و «قضایایی برای تحلیل حساسیت این نقاط نسبت به تغییر پارامترهای مسئله» تشکیل می‌دهند. در زیر به برخی از مهم‌ترین آن‌ها اشاره می‌شود.
قضیه مقدار بحرانی منتسب به کارل وایرشتراس شرایط وجود نقطه بهینه را بیان می‌کند.
اگر فضای جواب‌های ممکن، فشرده (ویا به‌طور هم ارز، در فضای اقلیدسی، بسته و کراندار باشد) و ناتهی باشد و از طرفی تابع هدف، پیوسته باشد، آنگاه برای تابع هدف، مقادیر بیشینه و کمینه (بهینه)، در این مجموعه یافت خواهد شد.
قضیه نقطه مانای فرما بیان می‌دارد که جواب بهینه مسائل غیرمقید، در نقاطی یافت می‌شود که مشتق اول یا گرادیان تابع هدف صفر باشد. پس گام اولیه در یافتن این جواب‌ها استفاده از آزمون مشتق اول است. یعنی عموماً باید به دنبال نقاط بحرانی بود، یعنی نقاطی که در آن مشتق یا گرادیان تابع هدف صفر باشد یا تعریف نشده باشد یا در مرز ناحیه جواب باشد. معادله‌ای که در آن مشتق اول، در نقاط درون ناحیه جواب، برابر صفر قرار داده شده‌است، اغلب «شرط مرتبه اول» خوانده می‌شود.
نقاط بهینه مسائل «بهینه‌سازی با وجود قیود نامساوی»، با استفاده از ضرایب لاگرانژ به دست می‌آید. این روش نیازمند محاسبه یک سیستم از نامعادلات است که شرایط کاروش-کان-تاکر خوانده می‌شود.
آزمون مشتق اول، نقاطی را که ممکن است بهینه باشد مشخص می‌کند، اما نمی‌تواند تمایزی بین نقاط بیشینه، کمینه و دیگر نقاط بحرانی ایجاد کند. زمانی‌که تابع هدف دو بار مشتق‌پذیر است، این تمایز در مسائل غیرمقید، با توجه به مشتق دوم یا ماتریس مشتق‌های دوم (ماتریس هشین) حاصل می‌شود و در مسائل مقید، این تمایز، با ماتریس مشتق‌های مرتبه دوم تابع هدف و قیود (ماتریس هشین مرزدار) یه دست می‌آید. شرایطی که تمایز بین این نقاط بیشینه و کمینه را نشان می‌دهد، اغلب «شرایط مرتبه دوم» خوانده می‌شود.
قضیه پوش چگونگی تغییر مقادیر جواب بهینه را در اثر تغییر پارامترها تشریح می‌کند.
کلاود برگ (۱۹۶۳) در قضیه‌ای موسوم به قضیه بیشینه به تشریح پیوستگی جواب بهینه به عنوان تابعی از پارامترها می‌پردازد.
اقتصاد، در بسیاری مسائل، برنامه‌ریزی ریاضی را به کار می‌گیرد. در اقتصاد خرد، مسئله حداکثرسازی مطلوبیت و مسئله دوگان آن یعنی مسئله حداقل‌سازی مخارج، مسائل بهینه‌سازی هستند. فرض بر آن است که مصرف‌کنندهها مطلوبیت خود را و بنگاهها سود خود را حداکثر می‌کنند. قیمت دارایی نیز، بر پایه تئوری قیمت‌گذاری دارایی، با بهینه‌سازی توضیح داده می‌شود. برای توضیح تجارت بین کشورها نیز بهینه‌سازی به کار می‌رود.
مسئله اقتصاد به یک تعبیر عبارت است از تخصیص بهینه منابع محدود (کمیاب) به نیازهای نامحدود. از نظر ریاضی این یک مسئله بهینه‌سازی است. چنانکه در اقتصاد خرد معمول است، اگر این مسئله ایستا در نظر گرفته شود، می‌تواند به عنوان یک مسئله بهینه‌سازی مقید در نظر گرفته شود که تابع هدف آن مطلوبیت (نیازهای نامحدود) و قیود هم منابع محدود هستند. دوآل این مسئله نیز کمینه‌سازی هزینه‌های مصرف‌کننده است که در اقتصاد خرد به آن پرداخته می‌شود. معمول‌ترین روش برای حل چنین مسائلی استفاده از شرایط کان-تاکر است. اما چنانچه، این مسئله پویا در نظر گرفته شود، به مسئله ریاضی تعیین مسیرهای زمانی برای تخصیص عوامل می‌رسیم که در ذات خود یک مسئله کنترل است و با استفاده از تکنیک‌های کنترل بهینه از جمله هامیلتونین می‌توان آن را حل کرد. اقتصاد کلان بیشتر با چنین مسائلی سر و کار دارد.
هنگامیکه با قیود به شکل معادله (تساوی) سر و کار داریم، این روش بهینه‌سازی بسیار کارا خواهد بود. به‌علاوه، هنگامیکه مقادیر ثابت قیود تغییر می‌کند، اطلاعات با ارزشی از مقدار بهینه تابع هدف در اختیار می‌گذارد.
ابتدا، تابع هدف F را در نظر بگیرید که بر زیرمجموعه‌ای چون X از فضای اقلیدسی تعریف شده‌است (پس عناصر X می‌توانند بردار باشند)؛ که این زیرمجموعه، توسط قیود به شکل g(x)=b تعریف می‌شود. تابع لاگرانژ در این حالت عبارت خواهد بود از
((L(x,y)=F(x)+y.(b-g(x
شرایط لازم را می‌توان، از طریق یافتن نقاط بحرانی تابع لاگرانژ (بیشینه‌سازی بدون قید)، به دست آورد. به علاوه ضرایب y که به ضرایب لاگرانژ موسومند، تفسیر مهمی دارند که در زیر، همراه با مثالی توضیح داده خواهد شد.
تغییر در مقدار تابع هدف جواب بهینه در مسئله بهینه‌سازی با استفاده از یک واحد بیشتر از منبع (قید) است که خود مطلوبیت نهایی قید یا هزینه نهایی افزودن به قید است. قیمت سایه، مقدار ضریب لاگرانژ در جواب بهینه است. مصرف‌کننده‌ای را در نظر بگیرید که دارای ثروت m است و با قیمت‌های ثابت formula_36 روبروست. مسئله مصرف‌کننده در این حالت عبارت خواهد بود از
لاگرانژین این مسئله به شکل زیر خواهد بود: با استفاده از شرایط مرتبه اول، مقادیر بهینه‌ساز formula_39 به دست خواهد آمد که تساوی زیر را برقرار خواهد کرد: اگر به مصرف‌کننده یک واحد اضافه تر از ثروت داده شود، در جاییکه مطلوبیت نهایی برحسب هر واحد پولی برابر formula_41 است، تغییر مطلوبیت نهایی بر حسب واحد پولی یک واحد اضافه تر از ثروت برابر خواهد بود با formula_41 که به قیمت سایه مشهور است.
در ریاضیات، شرایط کاروش-کان-تاکر(K.K.T) یا کان-تاکر (Kuhn-Tucker)، شرایط لازم برای جواب بهینه در برنامه‌ریزی غیرخطی می‌باشد، مشروط بر آنکه برخی شرایط Regularity ارضا شود. کان-تاکر در واقع تعمیمی است بر روش ضرایب لاگرانژ که در آن قیود نامساوی هم در نظر گرفته شده‌است. مسئله بهینه‌سازی غیرخطی زیر را در نظر بگیرید:
تابع هدف formula_46 تابعی است که قصد حداقل سازی آن را داریم؛ formula_47 توابعی هستند که قیود نامساوی را تشکیل می‌دهند و formula_48 توابعی‌اند که قیود تساوی را شکل می‌دهند، m و l به ترتیب تعداد قیود نامساوی و تساوی هستند. شرایط کان-تاکر، به افتخار هارولد و. کان (Harold W. Kuhn) و نیز آلبرت و. تاکر (Albert W. Tucker) نام‌گذاری شده‌است که اول بار، این شرایط را منتشر کرده‌اند. پژوهشگران بعدی، شرایط لازم این مسئله را یافتند. ویلیام کاروش (William Karush) در پایان‌نامه کارشناسی ارشد خود، این شرایط را تشریح کرده‌است.
فرض که تابع هدف formula_49 باشد و توابع قیود نامساوی به شکل formula_50 و توابع قیود مساوی به شکل formula_51 باشند. اگر formula_9، کمینه موضعی باشد که برخی شرایط Regularity را ارضا کند، آنگاه ثابتی چون formula_53 و formula_54 وجود خواهد داشت به‌طوری‌که
اگر مجموعه جواب‌های ممکن، مجموعه‌ای ناتهی و فشرده و ضمناً محدب باشد، و تابع هدف بر این مجموعه، پیوسته و مقعر باشد؛ در این صورت، بیشینه موضعی، بیشینه مطلق است. بعلاوه، اگر تابع هدف اکیدا مقعر باشد، در این صورت جواب یکتاست، یعنی یک بیشینه مطلق یکتا وجود دارد. پس یک راه اطمینان حاصل کردن از اینکه، جواب‌های حاصل از شرایط مرتبه اول کان-تاکر، بیشینه هستند، بررسی شرایط یادشده‌است.
هرگاه تابع هدف formula_4 و قیود نامساوی formula_61 به‌طور پیوسته مشتق‌پذیر و محدب باشند و قیود تساوی formula_62 توابع آفین باشند؛ شرایط لازم، کافی نیز خواهند بود.
مارتین ۱۹۸۵ (Martin 1985)، دسته‌ای از توابع را مشخص کرد که در آن‌ها شرایط کان-تاکر، وجود بهینه سرتاسری را تضمین می‌کند، که توابع invex خوانده می‌شوند. اگر قیود تساوی، توابع آفین باشند، قیود نامساوی و تابع هدف به‌طور پیوسته مشتق‌پذیر و invex باشند، شرایط کان-تاکر برای بهینه سرتاسری، کافی نیز خواهد بود.
تابع مقداری (value function) برای مسئله بیشینه‌سازی زیر
به شکل زیر تعریف خواهد شد
با این تعریف، ضرایب formula_71 نشان‌دهنده نرخ افزایش تابع مقداری، درصورت افزایش formula_72 خواهد بود.
چنانچه هر formula_72 به‌عنوان قید منابع تفسیر شود، ضرایب نشان خواهد داد که افزایش در منبع، مقدار بهینه تابع f را تا چه اندازه افزایش خواهد داد. این تعبیر، به‌ویژه در اقتصاد مهم است و در مسائلی همچون حداکثرسازی مطلوبیت مورد استفاده نیز می‌باشد.
مسئله حداکثرسازی مطلوبیت، مسئله‌ای است که مصرف‌کننده در اقتصاد خرد، با آن روبروست. این سؤال که "چگونه می‌بایستی ثروت خود را برای به دست اوردن حداکثر مطلوبیت خرج کنم؟" خود یک نوع از مسئله تصمیم‌گیری بهینه است.
فرض کنید مجموعه مصرفی، (یا به عبارت ساده‌تر مجموعه همه سبدهای مصرفی که اگر قید بودجه‌ای نبود، ممکن بود انتخاب شوند)، حاوی L کالا است و فرض کنید که به مقادیر مثبت محدود شده‌است. و همچنین فرض کنید که قیمت کالاها مثبت باشند.
و فرض کنید که ثروت مصرف‌کننده برابر w باشد، آنگاه مجموعه سبدهای قابل خرید، مجموعه بودجه، برابر خواهد بود با که formula_77 ضرب داخلی بردار قیمت و مقادیر مصرفی است، یا هزینه مصرفی کالای x با قیمت‌های p است. مصرف‌کننده می‌خواهد که بهترین سبد مصرفی را که می‌تواند ابتیاع کند. تابع مطلوبیتی به صورت یک تابع حقیقی مقدار با دامنه سبدهای کالایی در نظر بگیرید مثل انتخاب‌های مصرفی بهینه مصرف‌کننده (x(p, w، سبدهای حداکثرکننده مطلوبیت مصرف‌کننده در مجموعه بودجه است یعنی یافتن (x(p, w به مسئله حداکثرسازی مطلوبیت مشهور است. اگر u پیوسته باشد و هیچ کالایی مجانی نباشد، (x(p, w وجود خواهد داشت. اگر حداکثرساز همواره منحصر به فرد باشد، آنگاه آن را تابع تقاضای مارشالی گویند. رابطه بین تابع مطلوبیت و تقاضای مارشالی در مسئله حداکثرسازی مطلوبیت رابطه بین تابع مخارج و تقاضای هیکسی را در مسئله حداقل‌سازی مخارج را بازمی‌تاباند.
لزوما جواب (x(p, w منحصر به فرد نیست. اگر مصرف‌کننده‌ای همواره یک سبد بهینه را آنچنانکه در بالا تعریف شد انتخاب کند، آنگاه (x(p, w تناظر تقاضای مارشالی خوانده می‌شود.
اما باید توجه داشت که بهینه‌سازی صرفاً یک ابزار ریاضی است و ممکن است رفتار افراد در عمل به گونه‌ای دیگر هم باشد. تئوری عقلانیت محدود، بیانگر آنست که در عمل، مصرف‌کننده ممکن است همواره سبد بهینه را انتخاب نکند. برای مثال، یک مشکل، نیاز به تفکر زیاد است.
تابع کاب-داگلاس U را برای مطلوبیت مصرف‌کننده که از مصرف دو کالای x و y حاصل می‌کند، در نظر بگیرید. مصرف‌کننده در پی حداکثرسازی مطلوبیت خود است که با حداکثرسازی عبارت زیر هم ارز است:
ln U = a ln x + (۱-a) ln y
که در آن a۰ , px+qy≤w , M(w-px-qy)=۰
پس اولاً از ترکیب شرط میانی و شرط آخر داریم: w-px-qy=۰
و ثانیاً از ترکیب سه شرط اول داریم: aqy = (۱-a)px
از حل دستگاه دو معادله و دو مجهولی که توسط این دو معادله آخر ساخته می‌شود، مقادیر حداکثرساز x و y برحسب پارامترهای a,p,q,w به دست خواهد آمد که همان تقاضای مصرف‌کننده از این دو کالا را نشان می‌دهد.
در اقتصاد خرد، مسئله حداقل‌سازی هزینه، صورت دیگری برای مسئله حداکثرسازی مطلوبیت است. سؤال "چه ثروتی برای دستیابی به سطح خاصی از خوشی (مطلوبیت) لازم است ؟" به دو بخش تقسیم می‌شود. با تابع مطلوبیت معین برای مصرف‌کننده، قیمت‌های معین، و مطلوبیت هدف‌گذاری شده،
به صورت ریاضی، تابع مخارج به شکل زیر تعریف می‌شود.
تابع مطلوبیت formula_80 را که بر سبدهای کالایی مشتمل بر formula_81 کالا تعریف شده برای مصرف‌کننده در نظر بگیرید. در این صورت، تابع مخارج مصرف‌کننده، مقدار ثروتی را نشان می‌دهد که در قیمت‌های داده شده formula_82، برای خرید آن سبدی از کالاها لازم است که مطلوبیتی لااقل به اندازه formula_80 می‌دهد که مجموعه‌ای از سبدهای کالایی است که مطلوبیتی حداقل به اندازه formula_80 می‌دهد.
تناظر تقاضای هیکسی (formula_87، به وسیله ارزانترین سبد کالایی که مطلوبیت هدف‌گذاری‌شده را بدهد، تعریف می‌شود و می‌تواند برحسب تابع مخارج با تابع تقاضای مارشالی تعریف شود. ممکن است که تقاضای هیکسی و مارشالی منحصر به فرد نباشند، یعنی بیش از یک سبد کالا وجود داشته باشد که مسئله حداقل‌سازی هزینه را حل کند. در این صورت می‌توان تقاضا را به جای تابع، به‌عنوان یک تناظر تعریف کرد. چنانچه فرض کنیم اشباع‌ناپذیری محلی برقرار باشد، جواب یکتا است و تقاضا را می‌توان به‌عنوان تابع تعریف کرد.
نظریه کنترل بهینه، یک روش بهینه‌سازی ریاضی است برای به دست آوردن سیاست‌گذاری‌های کنترلی و تعمیمی است بر حساب تغییرات. این روش به وسیلهٔ لو پنتریاگین و همقطارانش در شوروی و نیز ریچارد بلمن در آمریکا ابداع شد.
نظریه کنترل بهینه در پی یافتن قانون کنترل برای یک سیستم معین است به شکلی که ضابطه بهینگی خاصی به دست آید. مسئله کنترل، تابعی از متغیرهای کنترل و متغیرهای وضعیت است . کنترل بهینه، در واقع مجموعه‌ای از معادلات دیفرانسیل است که «مسیری» از متغیرهای کنترل که تابع هزینه را کمینه می‌کند، نشان می‌دهند. کنترل بهینه می‌تواند با استفاده از اصل حداکثرسازی پنتریاگین (شرط لازم)، یا حل معادله همیلتن-ژاکوبی-بلمن (شرط کافی) به دست آید.
اتومبیلی را در نظر بگیرید که بر خط مستقیمی روی تپه ماهور به پیش می‌رود. مسئله آن است که راننده چطور پدال گاز را بفشارد که کل زمان مسافرت وی حداقل شود؟ قانون کنترل، در این مثال، به طریقی که راننده گاز را می‌فشارد و دنده عوض می‌کند برمی‌گردد. سیستم، در این مثال، شامل جاده و اتومبیل است، ضابطه بهینگی، در این مثال، حداقل‌سازی زمان مسافرت است. مسائل کنترل معمولاً شامل قیود فرعی است. قیود فرعی در این مثال، می‌تواند شامل حداکثر سوخت قابل دسترس، حداکثر سرعت و... باشد. «تابع هزینه»، در این مثال عبارتی ریاضی است که زمان را به عنوان تابعی از سرعت، ملاحظات جغرافیایی و شرایط اولیه سیستم می‌دهد.
چهارچوبی مجردتر از مثال بالا را به شکل زیر می‌توان بیان کرد. تابع هزینه (نسبت به متغیر زمان پیوسته) زیر حداقل شود با توجه به قیود دینامیک مرتبه اول و قیود مسیر و شرایط مرزی که (x(t وضعیت و (u(t کنترل خوانده می‌شود. t متغیر مستقلی است که عموماً زمان است. formula_93 زمان اولیه و formula_94 زمان انتهایی است. formula_95 لاگرانژین خوانده می‌شود. چنین مسائل کنترل بهینه ممکن است چندین جواب داشته باشند. اغلب هر جواب مسئله کنترل بهینه به شکل formula_96 یک حداقل ساز نسبی است.
مسائل کنترل بهینه اغلب غیرخطی هستند و بنابراین عموماً جواب تحلیلی ندارند. نتیجتاً به‌کارگیری روش‌های عددی برای حل مسائل کنترل بهینه، به نظر ضروری می‌رسد. در روش غیرمستقیم، که رهیافتی برای حل مسائل کنترل بهینه است، با استفاده از حساب تغییرات برای به دست آوردن شرایط مرتبه اول، به یک مسئله مقدار مرزی می‌رسیم که خود، شکل مشتقات همیلتونین را دارد؛ بنابراین سیستم همیلتونین زیر را خواهیم داشت: که با استفاده از شرایط مرزی مناسب مسئله حل خواهد شد.
در روش مستقیم، متغیر کنترل و/یا متغیر وضعیت با استفاده از تخمین چندجمله‌ای، تخمین زده می‌شود.
هامیلتونین در تئوری کنترل بهینه به وسیلهٔ پنتریاگین ابداع شد. وی اثبات کرد که یک شرط لازم برای حل مسئله کنترل بهینه این است که کنترل باید به گونه‌ای انتخاب شود که همیلتونین را کمینه کند. همیلتونین را می‌توان به شکل زیر تعریف کرد:
که در آن (formula_100 برداری از متغیرهای costate است با بعدی برابر با بعد متغیر وضعیت (formula_101. نمادها و تعریف مسئله متغیر کنترل (formula_102 باید به گونه‌ای انتخاب شود که تابع زیر را کمینه کند: متغیر حالت سیستم (formula_101 به صورت زیر تغییر می‌یابد: متغیر کنترل باید شرایط زیر را داشته باشد: همیلتونین پنتریاگین را می‌توان با یک تابع ۴ متغیره نظر گرفت: دراین حالت، شرایط بیشینه را می‌توان به شکل زیر نوشت:
استراتژی حل مسائل کنترل بهینه عموماً یافتن costate یا قیمت سایه (formula_100 است که در برخی موارد و به ویژه در مسائل زمان پیوسته، می‌تواند به‌صورت صریح به دست آورده شود.
مسئله کشیدن چاه از نفت را، برای حداکثر T دوره زمانی، در نظر بگیرید. فرض کنید که در زمان ۰، موجودی نفت در چاه به میزان formula_112 است و هزینه بیرون کشیدن نفت (formula_113 است که (u(t نرخ کشیدن نفت از چاه است. قیمت نفت در بازار ثابت و برابر P است. مسئله یافتن نرخ (u(t برای حداکثرسازی سود (بدون تنزیل زمانی) است با این فرض که در زمان T، نفت برای صاحب چاه ارزشی ندارد.
پاسخ: صاحب چاه نفت سود خود را، formula_114، حداکثر می‌کند که به شکل زیر نوشته می‌شود و برای این کار با قید زیر مواجه است.
با استفاده از همیلتونین داریم: از طرفی در زمان T، نفت چاه ارزشی ندارد یعنی با استفاده از معادلات بالا به دست آوردن معادلات دیفرانسیل (u(t و (formula_100 ساده خواهد شد: با استفاده از شرایط اولیه و شرایط زمان T، می‌توان این توابع را به صورت عددی به‌دست‌آورد.
در کنار روش‌های بهینه‌سازی مبتنی بر گرادیان، روش‌های بهینه‌سازی دیگری نیز معرفی شده‌اند که به حل مسائل مختلف در این حوزه کمک می‌کنند. این روش‌ها در بسیاری از دسته بندی‌ها تحت عنوان روش‌های بهینه‌سازی هوشمند، روش‌های بهینه‌سازی و محاسبات تکاملی یا جستجوی هوشمند شناخته می‌شود. این روش‌های این مزیت را دارند که بدون نیاز به مشتق تابع هزینه به یافتن نقطه بهینه آن می‌پردازند. همچنین در مقایسه با روش‌های مبتنی بر گرادیان کمتر مشکل افتادن در دام کمینه محلی را دارند. در مقابل اگر هدف رسیدن به یک جواب بهینه محلی باشد، این روش‌ها بسته به کاربرد ممکن است سرعت کمتری در مقایسه با روش‌های مبتنی بر گرادیان داشته باشند. از میان این روش‌ها می‌توان به موارد زیر اشاره نمود.