Выгоняйте. Если его любовница прочно замужем, то.. Он начнет настаивать на том, чтобы она ушла от мужа, она не уйдет, и его пошлет подальше. Он вернется в семью. Другое дело - что Вы-то потом будете делать?... Как жить с ним?