Ну так сообщите вашему любовничку, что у вас есть муж и дети, и что ваши взаимоотношения дошли то той точки, когда они стали отражаться на вашей семье. И послушайте, что он скажет.Если ничего внятного не скажет, то вариант с ним - отпадает. Дальше будете выбирать из двух оставшихся вариантов.