Отпустите его туда, где ему "удобнее и ближе" паразитировать. Никак не быть. Пожить одной с детьми. Только о содержании детей договориться нужно. Или вы боитесь, что станет деньгами шантажировать? Бывают и такие. Но это не повод жить вместе.