Да никуда он не ушел и не расстался, потому что ему эта семья нужна, это его дом. А любовница нужна для поддержания страсти и ярких эмоций. Если жена и любовница будут терпеть такое положение вещей, то оно может продолжаться сколь угодно долго, что и показывает случай автора. Если любовница начинает бунтовать, то с ней  в конце концов расстаются.