В образе он. Именно так и надо к этому относиться. У вас же уже были и стояния под окнами и многое другое, это театр одного актёра. Запрещать заботиться о ребёнке вы и не планируете, как я понимаю, он отец, это его обязанность, тут и нечего особенно обсуждать, но вам (лично вам)нужно из этих взаимоотношений эмоционально самоустраниться. И хорошо бы вам с психологом поработать (если готовы к такой работе, конечно).