Если у мужчины не сложились совсем отношения с матерью его ребёнка,  то он вполне мог бы начать налаживать отношения с ребёнком, когда тот подрос и когда это стало возможным без участия матери.  Если мужчина этого не сделал,, то да: просто бросил и поскакал как кролик дальше спариваться.