Вы с мужем нашли друг друга, у обоих такие родственники, с которыми иметь нормальные отношения не получится. В обоих семьях выбрали жертву, в своей это вы, в мужней - он и его жена)). Но вам плохо, думаю, потому, что муж вас не прикрыл и не отстоял. Вы бы с теми людьми и не пересекались, если бы не муж, это ЕГО родня, и его обязанность перед своей семьей (вами) отстоять вас, обрубить эти бредовые нападки вплоть до разрыва отношений. Вместо этого он  как бы всё понимает молча. Этого совершенно недостаточно. А вы его прикрываете, едете в ту семью на праздники, несете какие-то обязательства, наверное, чтобы избежать большего скандала, как вам кажется. А результат - вот он, результатВыясняйте всё с мужем. У вас должна быть одна позиция.