Вообще не поняла проблемы...Вы же в разводе - нахера Вам быть "в семье", если вы по факту не в семье. Хочет гулять с детьми - отлично, пусть идет и гуляет. Вам же можно вообще не общаться с ним.Или я неправильно поняла и вам нужна помощь  в процессе развода?