Я думаю, он просто не хочет ещё раз воспитывать маленького ребёнка, вот и весь секрет. И к тому же его, вероятно, устраивает его нынешняя жизнь и ему неинтересно что-то менять. У меня сосед был, дедушка, у него вот так уже много-много лет бабушка такая была. Субботу-воскресенье они проводили вместе. Не стали вместе жить даже после его инсульта.