Вы по сути сдали своего единственного ребёнка на воспитание  и видите его 60-80 дней в году. Ваша жена не права, что не пресекала к деду обращение, как к папе. Но и вас не смущало, что сын вас по имени зовёт, вместо папы.Вы отдалились с ним, вот и весь ответ. И тут уже жена не при чем. Я сама жила в детстве с бабушкой и дедушкой. Называла бабушку мамой. И потом очень трудно было отвыкать. Было жутко неудобно.