Потому вами и пользуются. Или еще не достали по-настоящему. Когда вам это надоест (везти всех на своей шее), то вам уже не будет стыдно их выставить. Говорите, еще и с ребенком их сидите? Ну, делайте выводы. Стоит ли приносить в жертву свой комфорт и интересы? Ради того, что это брат? Но он-то на вас плевать хотел, как мне видится со стороны.