Вот это вот "мне уже столько лет, чо я, не мужик?" в "неподходящей" компании - реальная опасность отношениям. Можно попробовать найти для себя занятие вне дома на вечернее время, чтобы муж вынужден был быть дома с детьми, а не с "понимающими" личностями, пока Вас нет.