А что за дом у вас? Там есть вариант выделить семье брата отдельную часть со своим выходом, чтобы они пересекались с вами только на участке? Или, как вариант, построить маленький гостевой домик. Можно ограничить свою семью в смысле "есть только дома", чтобы тот ребенок не видел, как другие едят.