Вы просто причину со следствием путаете. Он не выбирал какого-то ребёнка/детей. Он просто делает так, как ему удобно, всё исключительно на это замыкается. Он живёт с той женщиной, которая ему удобна (и с её детьми соответственно), ходит к женщине, которая ему удобна (и видится с её ребёнком соответственно), с вами же ему удобнее не общаться (и то, что у вас ребёнок общий, не аргумент, а, возможно, как раз наоборот -- напоминание о том, как он стоял под окнами, раздавал обещалки, ребёнка хотел, а потом... и ребёнка перехотел, и обещалки оказались пшиком).