ВАс он не может заставить вернуться обратно. Детей может в суде просить передать ему на воспитание. Поскольку у вас место жителсьтва детей не определено, то теоретичсеки он и так их может забрать, но судя по вашему тексту ему это не нужно. Так что пустые угрозы. При своем желании вы можете обратиться в суд и устанвоить место жителсьтва детей с вами, указав место проживания там, гдже вы сейчас живете, можно с родителями документы какие-то подготовить - договор пользования