Переезжать к папе, то есть туда, где папа его живёт. Или там встречаться. Вы автор совсем того? Где у вас муж-то живёт? Почему он должен встречаться с сыном на "нейтральной территории", а не там где он сам живёт? Он у вас совсем бесправный?