Ну и не может, да, что такого. Вы - это вы, вас он любит. А ребёнок ваш - отдельная личность, всё правильно.  Другое дело, что вам такой мужчина не подходит, потому что вы же не сможете без ребёнка. Всё-таки женщинам, выходящих за мужчин с детьми, проще. Обычно ребёнок где-то там, с бывшей женой, а тут мужчине придётся жить с ребёнком постоянно.