Тогда внятно и твердо скажите, что вам запрещать ничего нельзя. Если его не устраивает ваш бассейн или поездки и что там еще - это исключительно его проблемы. Вы имеете право делать то, что хотите. Но и не злоупотребляйте - Вы же хотите все-таки семью сохранить