Я считаю что раз они его не любят, а вы так печетесь о них, то его не должно быть в вашем доме. Встречайте на нейтральной территории чтобы не травмировать детей. Или вам личный комфорт важнее детей? Тогда почему от мужа вы требуете отказаться от личного комфорта?