Автор,  примите как должное: отношения с замужней любовницей рано или поздно кончаеются. Ваш любовник ведь только с ваших слов знал, что с мужем вы чисто бытовые партнёры, как говорится,  свечку не держал.  В какой-то момент ему надоело,  что вы ночуете дома, а он каждый раз один остаётся.  Вполне нормальный исход событий.