Мы любим тех,  с кем живём вместе и перед кем несём ответственность, кого воспитываем и т.д. К ребёнку мужчины можно очень хорошо относиться, но если его воспитывают и с ним живут другие люди, а он только заходит в гости - особой любви неоткуда взяться.