Потому что отсутствие секса в семье это сама по себе довольно большая редкость, а в вашем случае нет ни одного признака, который бы говорил в пользу этого предположения  К тому же нужно различать две совсем разные ситуации: когда секс отсутствовал уже ДО появления любовницы и когда сексуальная жизнь супругов разладилась именно из-за появления любовницы. Но даже в первом случае мужчины далеко не всегда уходят из семьи, а уж во втором - и говорить нечего