Так куда вашим-то детям было идти? Логично, что они с матерью, то есть с вами. А его дети со своей матерью. Так что это ему нужно было думать, а не вам, на что он идёт. Он уже пришёл в вашу с детьми семью. Были бы его дети перманентно с ним, тогда вы были бы на равных.