Не надо идти на поводу детских обид. Наверняка, как обычно, и мама руку приложила к формированию отрицательного образа. Мамы очень любят подогревать такие детские обиды.Попробуйте построить отношения как бы с нуля. И уж  особенно не мешайте построить такие отношения сыну с дедушкой.