Если все родственники прекратили с Вами отношения, мне кажется, Вам тоже надо подумать о себе и ребенке, а не о родственниках. То есть отделиться от них и прекратить общение. Как Вам будет удобнее: выгнать брата, продать квартиру и купить другую. Не реагировать ни на какие призывы к Вашей совести от других родственников. Брат может и не работать, если не хочет, а переехать к маме и жить с ней))