Все общение с детьми на его или нейтральной территории. За порог не пускайте, это важно. Насчет времени идите навстречу, но подталкивайте к тому, чтобы забирал надолго. Не надо заводиться с тем, что папа пришел на час погулять, а у вас весь день этому подчинен. Забирает - пусть забирает утром, и возвращает вечером. Желательно сытых. Лучше бы со временем начал брать с ночевкой, но это как пойдет.