Возвращаться будет не глупо, а некуда. Вы думаете, что сын, пожив один в съемной квартире, захочет снова жить в съемном жилье с вами? Если бы речь шла о собственности были бы юридические моменты, а так... Если вы с ним разъезжаетесь, то навсегда.