Я, на вашем месте, поехала бы к ней вместе с мужем, может быть его давит тот факт, что приходится скрывать от вас визиты к ней. А вообще мне не совсем понятно чего вы так паритесь, если ваши отношения вас устраивают, с сексом все в порядке и т.д ит.п, что вам еще надо? Отстраненными мужчины бывают по разным причинам, мой например, бывает отстраненным, когда думает о работе или своих статьях, да и вообще, мало ли о чем человек может думать.