Элементарно, Ватсон: мужу и детям - они родственники, вам - никто. Вполне возможно, что для мужа они самые-самые, с вашими детьми - тоже сама доброта и ласка. Поэтому вывод: не препятствуйте общению мужа и детей с ними, и себя берегите - сами с ними не общайтесь по возможности. Не надо жертвовать собой - это как раз ситуация, когда и волки, и овцы могут остаться довольны.