Ну так отпустить его совсем! Пусть и с ребенком не общается. Уж лучше совсем не общаться, чем дергать ребенка каждый раз и опять устраивать ему длительные разлуки. Дети быстро отвыкают, ивы кают к новому.  Нервы целее будут и у него и у Вас. А это никаких денег не стоит - трещать постоянно нервы в надежде, что человек таки чего то там поймет! Многие мужики считают, что свобода от женщины = свободе от детей автоматически))) да, они не матери!