Ну так, а как вы хотели? Любишь медок, люби и холодок. Трудности неизбежны. Жена желает контролировать своего кобеля и в рабочие дни. Значит , знает, какой он. И вам не мешало  бы задуматься, с кем связались. Рано или поздно тайное станет явным и будет разнос. Вас он сразу сольет, выберет ее, вам будет унизительно. Уходите первой.