Попробуйте отделить Ваши отношения с этим мужчиной, и его отноешния с дочкой. И решить, наносит ли его общение с дочкой ей вред само по себе. Вам лично может быть неприятно общаться с ним, попрбуйте сделать так, тчобы они общались без Вас.