Вы можете не общаться. Так и сказать мужу - Вася я уважаю твою семью но общаться с ними видя их нежелание мне тяжело. Я не хочу идти с ними в ресторан. При этом я понимаю что ты любишь своего брата- сходи сам. Только без претензий! Вам нужно понять и принять что общение с братом вашему супругу необходимо!