ну он то тоже не лишен, однако дети живут с Вами, а права у Вас с ним абсолютно равные, место жительства детей определено? Что-то мне подсказывает, что нет, он их может просто забрать и Вы годами будете бегать по судам пытаясь их вернуть, может пойти официальным путем и подать иск на определение места жительства с ним, шансы у него есть...