Изначально неправильно поступили вы,не оговорив с детьми условия изменений на участке,строительства и  проживания.Вашу невестку понимаю хорошо: их семья вложилась в строительство и обустройство дома и участка,невестка не на готовое пришла. Да и строили они для себя и для вас,а не для еще одной семьи. А вот зять - халявщик как ни крути!Дочь с зятем поехали бы с ребенком в ваш бывший домик без удобств,где у них вряд ли бы была отдельная комната? Сомнительно. Значит,едут пользоваться именно имуществом брата.Жить трем семьям в одном доме вообще тяжело, и не каждый на это способен. Одно дело в гости,другое - "жить там столько, сколько им нужно".И еще: вам бы понравилось,если бы невестка пригласила жить своего брата с женой и детьми?Да, в данной ситуации считаю,что дочь может приехать погостить на недельку пару раз за лето,оговорив сроки пребывания с братом.И вам нужно как можно быстрее садиться за стол переговоров в плане компенсации дочери  ее куска "фамильной земли" ( чтоб по-честному,раз сыну дали). И пусть зять там строит дом для своего ребенка.