По-видимому, он не видит любовницу в качестве жены. Не подходит она на эту роль, своя жена (автор) как жена, мать, хозяйка его устраивает. Зачем уходить? Про деньги: если уйдет, то будет содержать жену, детей и любовницу, сейчас только два первые пункта на содержании.