Нет, не правильно. Вы ведь не родительских прав лишать собрались. Вы оба представитель детей, но жить дети должны с вами. Это обычно делается, когда идет спор с кем и где будут жить дети, в вашем случае это для затягивания дела, муж, вроде, не собирается забирать детей и перевозить их к любовнице.