Он отказывается заниматься ребенком? По-моему, вы сами себе создаете трудности и сами их преодолеваете. Вместо того, чтобы объяснить мужчине причину такого поведения ребенка, а ребенку поставить какие-то границы, вы решили, что мужчина плохой-не любит-во всем виноват.