Абсолютно верно - проблема именно в муже. Представляю, что ответил бы муж, если бы ему кто-то сделал такое предложение - мало бы предложившему не показалось. Это не значит, что мы постоянно всюду ходим вместе, но в абсолютно всех случаях решения о раздельном времяпровождении - наши, а не навязанные со стороны.