Если визиты БЖ вашего мужчины\бабы-деды с ее стороны в ваше жилище вас обоих устраивают - флаг в руки. Если же не устраивают, то и обсуждать нечего - встречи с ребенком только на нейтральной\их  территории (ребенок забирается с вашего порога и туда же возвращается, без всяких посиделок). Помощь же мужчины его бывшим родственникам - на его усмотрение. Если хочет быть для них белым и пушистым - его дело, но если это уже мешает вашей совместной жизни, то лучше исключить.