Жить всем вместе будет сложно.  Попробуйте всей семьей обсудить разные варианты, предварительно поставив их перед фактом, что Вы вернетесь в свою квартиру.Прикиньте вариант продажи квартиры и что можно приобрести на полученные деньги.  Средний вполне может с девушкой снять квартиру или комнату.  Старшему конечно сложнее , у него дети и больше трат. Но может чем-то помогут родители жены. Ваш младший сын тоже их брат и не нужно ущемлять его права.