Вы с мужем обязаны выделить доли детям, остальное поделить между собой. Доли не обязательно по 1/4. Если будет спор, то вам обращаться в суд. Лишить родительских прав он вас вряд ли сможет, если вы нормально занимаетесь детьми, не вижу смысла в угрозах, либо вы чего-то не указали