"Получается, для всех лучше, как можно реже встречаться всем вместе"- А вот это очень даже может быть. И вполне логично, что Ваш сын будет общаться со своим отцом, Ваш НМ - со своими детьми. Только в этом случае не начнете ли Вы возмущаться в духе "Мой муж не проводит время со мной, он свободное время на бывшую семью тратит (ну т.е. на своих детей)"?