Срывайте его с этой работы. Что вам дороже? Пока муж и пока его деньги на этой работе или все таки сохранить семью и иметь мужа, не пока. Придумайте что-то, чтобы с этой работы его либо уволили, либо сам ушел. Потому что добром эти посиделки вне рабочее время никогда еще не кончались.