Автор, мне Вас очень,очень жаль, честно, и я прекрасно понимаю, как Вам больно ЗА ребенка (психологи-грамотеи, тут именно этот предлог нужен, верно?? )Больно из-за того, что новая женщина оказалась важнее сына.  Вы сами понимаете, смена его настроения связана с тем, что любовнице походы на целый день к вам с сыном не нравятся. Он бесится, что должен разрываться на две части, и что его мучает чувство вины. Его бесит, что та, к которой он ушел, сейчас трахает ему мозг еще больше, чем вы, автор, когда вы расходились. Его вообще все бесит. И ребенок в том числе. Человек так устроен, что его раздражает чувство вины, и часто люди делают все, чтобы избежать такого общения, которое вызывает пакостное ощущение. Я вижу только одно решение этого вопроса. Это если Вы лично, автор, не будете подстегивать это чувство вины. Попробуйте спокойно с бывшим сесть и поговорить. Скажите, что не хотите его дергать, не хотите трепать нервы ни ему, ни себе. ни ребенку, ни его новой жене. Спросите, сколько времени она может "разрешать" проводить с ребенком БЕЗ звонков? Спросите, может ему удобнее видеться по два часа два раза в неделю, нежели по 4 часа но один раз? Может он в кружки будет возить или забирать ребенка к себе домой на пол-дня? Вы поймите, глупый мужчина устроен так, что "шея" сможет поворачивать туда, куда хочет, в данном случае, шея уже не Вы, и вам надо налаживать отношения с учетом этого. Он демонстрирует Вам нежелание "тратить время" на ребенка. Надо, что бы ему было приятно, хорошо, спокойно проводить время в обществе ребенка. И этого надо постепенно добиваться. Вам, в первую очередь.