Вряд ли он разведется. Вы для него тоже, что он для вас - возможность развеяться, сменить обстановку, развлечься, почувствовать себя молодым и интересным. Если вам с ним интересно и приятно - продолжайте. Если думаете, что можете влюбиться и страдать, когда он с женой - прекращайте.