Его отец - фигура номинальная, отраженная разве что в СоР. А раз так, то его права - приходить в строго условленное время и считаться с чужой семьей. Вы можете сколько угодно рассждать, кто у ребенка семья, а кто нет. Но покинув эту семью, прав в отношении ребенка у вас однозначно меньше, чем у матери.