может у Вас это еще от того, что он не все время с Вами живет, отвыкаете от него. Я вот по себе замечаю, что если не общаюсь с кем-то постоянно - словно обрывается привязка эмоциональная, с бабушкой так было и с мамой, хотя с ними не ругались... ну а дочь - сама меня отталкивает