Думаю ребенок так себя ведёт как раз потому, что Вас это бесит. Расценивает дите такую мамину реакцию как желание избавиться, бросить. Вот и реагирует соответственно. Не обижайтесь  Дети они очень тонкие психологи. Пойдите "от противного": побольше ласки и тактильного контакта дайте. Через некоторое время ребенок "отлипнет". Всего доброго!