Границы устанавливать. Если вы сможете определить, какое место ему оставите в своей жизни как отцу ребенка и четко с ним договоритесь, в каком объеме вы его  готовы видеть, то  ему не надо  будет ломиться к вам через  вас, пытаясь заполучить вас целиком.