Автор, уходят не к кому-то, а от кого-то. Если действительно вместе невыносимо. А если вместе комфортно, но хочется свежих ощущений - получается так, как выше в нескольких примерах, когда жена и истеричка, и домоседка, и вообще во всем виноватая, но к многолетней любовнице почему-то от такой отвратительной жены не уходят, возвращаются раз за разом.