По-моему идеальный вариант: вы уходите к себе, а он в это время привозит ребенка и проводит время только с ним.  На месте его первой жены я была бы рада такому варианту. Помню, как моя подруга не давала мужу дочь на выходные , потому что девочка очень остро переживала развод родителей и не хотела общаться с той, которая послужила причиной развода родителей. А муж хотел насильно "причинить добро" всем. Ему было зачем-то нужно, чтобы новая жена и дочь от первого брака подружились.