Не вижу связи между тем, что у детей должен быть отец, и тем, что вы по этому поводу должны сохранять брак. То, что он перестанет быть вашим мужем, не отменяет автоматически его отцовства и соответствующих обязанностей-привелегий.  Так что, если никаких других аргументов за сохранение брака нет, надо разводиться.