Смотря что побудило БМ вернуться к ребенку и так активно принимать участие в его жизни (3-4 раза в жизни - это ОЧЕНЬ активное участие). От этих обстоятельств и "плясать": чем он обоснует иск по изменению места жительства ребенка, чем Вы плОхи, чем он хорош.