بیشینه هموار
در ریاضیات تابع بیشینهٔ هموار یا تابع نمایی نرمال‌سازی‌شده  تعمیم تابع لجستیک است. تابع بیشینهٔ هموار یک بردار formula_1-تایی از اعداد حقیقی مانند formula_2 را به عنوان ورودی دریافت می‌کند و بردار formula_1-تایی formula_4 از مقادیر حقیقی formula_5 را به عنوان خروجی می‌دهد که جمع مولفه‌های آن ۱ می‌شود. ضابطه تابع به شرح زیر است: formula_6 for "j" = 1, …, "K". خروجی تابع بیشینه‌هموار، در نظریه احتمالات می‌تواند برای نمایش یک توزیع رسته‌ای استفاده شود. توزیع رسته‌ای، توزیع احتمالاتی بر روی formula_1 نتیجه مختلف است.
تابع بیشینه‌هموار در روش‌های طبقه‌بندی متعددی استفاده می‌شود؛ مانند: رگرسیون لجستیک چندجمله‌ای ، آنالیز افتراقی خطی، دسته‌بندی کننده بیز ساده و شبکه عصبی مصنوعی. در رگرسیون لجستیک چندجمله‌ای و آنالیز افتراقی خطی، ورودی تابع، خروجی formula_1 تابع خطی است و در صورتی که بردار نمونه ورودی formula_9 و بردار وزن‌ها formula_10 باشد، احتمال پیش‌بینی شده برای کلاس formula_11ام برابر است با:
formula_12
که formula_13 سطر formula_11ام بردار وزن‌هاست و formula_15 هم برابر با مقدار ضرب داخلی بردارهای ورودی و بردار وزن است. در توصیف دیگری از عبارت بالا به جای ضرب داخلی، می‌توان از عملیات ترکیب توابع استفاده کرد؛ یعنی عبارت بالا به صورت ترکیب تابع خطی formula_16 و تابع بیشینه‌هموار تلقی گردد. به عبارت دیگر عملگری که با استفاده از بردار وزن تعریف شده‌است، بر روی ورودی اعمال شده و ورودی را به برداری در فضای formula_17 انتقال می‌دهد. از دو منظر می‌توان علت این نام‌گذاری را بررسی کرد؛ معنی اصلی و معنی در یادگیری ماشین.
معنی دیدگاه اول این است که تابع formula_18 تابعی با دامنه و برد formula_19 است؛ ولی این تابع پیوسته نیست و به همین دلیل نمی‌توان مشتق آن را تعریف کرد؛ بنابراین در بسیاری از کاربردها از تابع زیر: formula_20 استفاده می‌شود. تابع بیشینهٔ هموار، تقریب هموار و پیوسته‌ای از تابع بیشینه ارائه می‌کند که مشتق‌پذیر است.
در شکل مقابل دو تابع formula_21 و formula_22 در بازه formula_23 مقایسه شده‌اند. تابع بیشینه هموار (قرمز رنگ) تقریب مشتق پذیری از تابع بیشینه (آبی رنگ) ارائه می‌کند.
در یادگیری ماشین به منظور انجام طبقه‌بندی از تابع بیشینهٔ هموار استفاده می‌شود. به طور مثال در صورتی که formula_24 کلاس مختلف وجود داشته باشد و الگوریتم یادگیری ماشین به طور مستقیم احتمال حضور ورودی در هر کدام از این کلاس‌ها را تولید نکند و به جای آن، برداری از formula_24 عدد حقیقی که متناظر با امتیاز قرارگیری ورودی در هر دسته است، خروجی دهد، می‌توان از تابع زیر برای تبدیل امتیازهای حقیقی به احتمال استفاده کرد؛ بدین ترتیب شرایط تعریف یک تابع جرم احتمال (قرارگیری در formula_5 و جمع احتمالات برابر با ۱) رعایت خواهد شد: formula_27
که در آن formula_28 تا formula_29 مقادیر مطلوب احتمال و formula_30 تا formula_31 مقادیر حقیقی امتیازهای هر کلاس هستند.
حال پس از بررسی ضابطه تابع formula_32 می‌توان متوجه شد که این عبارت برابر با ضابطه تابع گرادیان بیشینهٔ هموار است.
formula_33 اگر ورودی formula_34 باشد، مقدار تابع بیشینهٔ هموار برابر با بردارِ formula_35 خواهد بود. همان‌طور که در قسمت قبل اشاره شد، به دلیل نمایی بودن تابع بیشینهٔ هموار، مقدار خروجی متناظر با عدد بیشینه در ورودی، از خروجی بقیه اعداد به مراتب بیشتر شده‌است.
در زیر کد این تابع با ورودی مثال، به زبان R آمده‌است: > softmax  > inp  softmax(inp) [1] 0.72017036 0.03585517 0.09746446 0.01319038 0.03585517 0.09746446 می‌توان از تابع بیشینهٔ هموار در لایه آخر شبکه‌های عصبی مصنوعی استفاده کرد. چنین شبکه‌های عصبی معمولاً به وسیله یک تابع اختلاف آنتروپی تعلیم داده می‌شوند و یک حالت غیرخطی از تابع رگرسیون لجستیک چندجمله‌ای حاصل می‌شود.
به دلیل اینکه تابع، یک بردار و یک اندیس مشخص را به یک عدد حقیقی نگاشت می‌کند، این اندیس در مشتقات نیز ظاهر می‌شود: formula_36 در اینجا از تابع دلتا کرونکر استفاده شده‌است.
در حوزه یادگیری تقویتی شبیه آنچه در قسمت نام‌گذاری گفته شد، از تابع بیشینهٔ هموار می‌توان برای تبدیل مقادیر به احتمال کنش استفاده کرد.
ضابطه تابعی که به طور متداول استفاده می‌شود برابر است با: formula_37 که در این تابع مقدار کنش formula_38 متناظر است با امتیاز پیش‌بینی شدهٔ آن عمل formula_39 و از formula_40 نیز به عنوان پارامتر دما یاد می‌شود (با اشاره به مکانیک آماری). برای دماهای بالا (formula_41) تقریباً همه کنش‌ها احتمال یکسانی دارند و هرچه دما پایین‌تر باشد، مقدار پیش‌بینی شدهٔ تأثیر جایزه بر احتمال بیشتر است. در دمای کم (formula_42) احتمال مربوط به کنشی که بیشترین امتیاز نسبت به سایر کنش‌ها را دارد، به ۱ میل می‌کند.
نرمال‌سازی بیشینهٔ هموار یا نرمال‌سازی سیگموید، روشی برای کاهش اثر داده‌های پرت بدون حذف این داده‌ها از مجموعه است. وجود این داده‌های پرت می‌تواند مفید باشد در صورتی که بتوان مقدار قابل توجهی از داده‌ها را در شعاع یک واحد انحراف معیار از میانگین نگه داشت.
داده‌ها به صورت غیرخطی به وسیله یکی از توابع سیگموید انتقال داده می‌شوند:
تابع سیگموید لجستیک:
formula_43
تابع تابع_هذلولوی، formula_44:
تابع سیگموید بازه اعداد را به محدوده صفر تا یک نگاشت می‌کند. این تابع در محدوده میانگین تقریباً خطی است و در دو سر طیف مقادیر آن، شیب ملایمی دارد و به این ترتیب از محدود بودن برد آن و کراندار بودن آن اطمینان حاصل می‌شود. همچنین این خاصیت موجب می‌شود بیشتر مقادیر در فاصله یک واحد انحراف معیار نسبت به میانگین قرار گیرند.
تابع تانژانت هذلولوی مقادیر ورودی را به بازی -۱ تا ۱ نگاشت می‌کند. این تابع در نزدیک میانگین تقریباً خطی است ولی شیبی تقریباً برابر با نصف شیب تابع سیگموید دارد. مانند تابع سیگموید، این تابع در همه نقاط برد مشتق پذیر است و جهت شیب آن توسط نرمال‌سازی تأثیری نمی‌بیند. این خاصیت به الگوریتم‌های عددی و الگوریتم‌های بهینه‌سازی اطمینان می‌دهد که تغییر مشتق تابع پس از نرمال‌سازی روند مشابهی با داده‌های اولیه (پیش از نرمال‌سازی) دارد.
احتمال یافتن یک اتم در سطح انرژی کوانتومی formula_46 هنگامی که این اتم جزئی از یک گروه باشد که آن گروه به تعادل دمایی در دمای formula_47 رسیده‌است، برابر با مقدار تابع بیشینهٔ هموار است که از آن به عنوان توزیع بولتسمان یاد می‌شود. مقدار متوسط اشتغال شدن هر سطح برابر با formula_48 است و این مقدار نرمال‌سازی شده تا جمع انرژی ۱ شود. در چنین محیطی، ورودی تابع بیشینهٔ هموار مقدارِ منفیِ انرژی هر سطح کوانتومی تقسیم بر formula_49 است.