Значит надо чего-то менять. Может вы к нему слишком пристаете? У меня, например,  дочь, естественно родная и любимая (уж с кем-кем, а тут точно мысли о разводе не будет), но она желает общаться со мной 24 часа в сутки, а я столько общаться не готова, естественно, часто идет обратная реакция: "Слушай, дай посидеть спокойно, отхохнуть!" И это ребенок. Пополните заполнить свою жизнь чем-то еще кроме мужа.