Я бы на вашем месте с родителями его поговорила. А ваших детей мама никогда на дачу не зовет без вас? Ну там сына или дочку. Оставьте там своего сына с братом или его женой, когда они там и уезжайте, как бы к бабушке привезли. Думаю, тогда жена брата окажется в вашем положении.