Это ваша жизнь, а  не жизнь ваших родных, и вам решать как ею распорядиться. Не хотите с ним жить - разводитесь, не оглядываясь на родню. Мучаетесь то вы в этом браке, а не ваша родня, у нее то все нормально, а "сытый голодного не разумеет". Если для них, он самый лучший, вот пусть они с ним и живут, а для вас - самый плохой. И поменьше вы свою ситуацию с родней обсуждайте, скажите, что это ваше решение, жить с ним вы больше не хотите и никому ничего обяснять не собираетесь.