С Вашим как раз всё в полном порядке, судя по всему. У него есть жена, которую он если и не любит - я просто не знаю этого  - то уж точно устраивает она его в достаточной степени, чтобы можно было смотреть на всех женщин, а стремиться к той, что ближе и роднее всех. P.S. Кстати, "гуляют" далеко не все.