Если вы в России и вы и дети российские граждане (даже если у них есть гражданство другой страны плюс к этому) то забрать их он не сможет. Если боитесь, что он может увезти их без вашего ведома, то можно сообщить пограничной службе и без вашего разрешения детей через границу он перевезти не сможет - если запрета нет, то дети могут выехать с одним из родителей.