По тому, как вы описываете ваши отношения, он - не ваш мужчина. Вы для него просто приятная знакомая женщина, с которой иногда можно встречаться. Поэтому неудивительно, что интересы ребенка у него на первом месте. Таких женщин-знакомых может быть много и они могут меняться, а в жизни дочери он должен присутствовать как можно больше еще так лет 5-6.