Вероятно бесили тем, что ни в чем не виноваты. Либо вомещал на Вас претензии к матери. У меня похожее детство  было. Меня, правда,  пальцем не трогал, а маме прилетало. Мне стало прилетать, когда мама умерла, я оборвала отношения. Дети не видели и не слышали деда уже 5лет.