Обсудите с мужем. Обрисуйте ему перспективы. И я бы общалась с неприятными родственниками, только с расчетом. С расчетом, что они нужны ребенку или с расчетом, что они могут в будущем помочь ребенку или наследство оставить. А так - нет. И мужа бы убеждала, что никакого удовольствия он от этой встречи не получит. А если будет упорствовать - надо дать ему возможность убедиться на практике один раз, тогда второй раз он не захочет их звать вообще никогда.