На слова "Я своего сына не оставлю" ничего не отвечать. Сказать, что и своих детей вы обделять не намерены, и все.  Вопрос о совместном отдыхе обуждать в ключе, сколько каждый из вас может на ннего выделить, а не в ключе, брать или не брать его сына с собой. Вы же своих берете? Значит, и он может, весь вопрос, какой именно отдых вы совместно потянете. А не только вы лично. Сместите акценты просто.