Тогда поставьте четкие границы, как только они их переходят - жестко пресекать. Инициатива исходит скорее от жены брата ? Дверью можно не хлопать, дверь можно прикрыть , скажите, что будете готовы общаться вновь, когда они станут готовы ко взрослому общению, без подколок, а так вам неинтересно. И не бойтесь, ваш брат должен быть не менее вас заинтересован в отношениях между вами, пусть он боится, его очередь .