Скорее всего Вы его в плане секса мало интересуете и Ваши прикосновения его раздражают.У нас было подобное и оказалось потом что у мужа роман на стороне.Сейчас все нормально и к моим прикосновениям относится очень даже положительно.Так что не успокаивайте себя,а ищите причину.