Тогда не давайте. Скажите, что если будет голодать, то пусть приходит за едой. С какой стати вы должны работать на взрослого дееспособного мужчину, даже если он ваш брат? Я понимаю, если бы у него был какой-то альтернативный источник дохода, который позволял бы ему не работать, но иметь самостоятельные средства к существованию. Тогда можно не работать, если нет желания. А он просто паразитирует на своих родственниках.