С лингвистической точки зрения суффикс "ник" придает слову "любовник" оттенок профессиональный, навевающий мысли о регулярности того, чем любовник занимается. По аналогии с "охотник", "работник", "субботник/воскресник". В то время как короткое слово "муж" ассоциируется с чем-то одноразово-единовременным, коротким и непродолжительным. Одна из ближайших по смыслу к слову "муж" ассоциаций - "гуж", за который, как известно, если взялся, то не говори, что не дюж.