Если бы они тогда развелись, она бы уехала к себе по месту прописки раньше.  И ребенка бы он видел пару раз в год от силы. А коль скоро не развелись - продолжали жить вместе, ребенок, конечно же, с ними.   И переехали потом тоже  вместе  как семья.