А он и уйдет,когда его жена позовет.Даже если не к жене,то к маме,т.к. дети ему дороже,чем вы,к  вашему сожалению.Вы всего 2 года живете,мужику вы нужны для удобства.Начнете брыкаться-он сделает выбор не в вашу пользу и сольется.Терпите уже,или готовьтесь остаться без сожителя.Еще вариант с его женой подружиться и с ней(не с ним)обсудить времяпровождение их детей на вашей территории