По-моему,если отец против Вашего с детьми отъезда выходов два - либо вообще не ехать, либо ехать без детей(без одного ребенка). Папу в этом случае я могу понять- он не будет видеть взросления детей из-за Вашего "налаживания личной жизни".Игра свеч не стоит для отца.