Отца заменять и не надо. Он что отказывается от своих детей? Будет обычный воскресный папа. Но будет же. Это не идеал конечно, но и не смертельно. Сами знаете сколько людей в таком режиме существуют. Договаривайтесь, пока это возможно. А то упрется рогом и адью. Мне почему то думается, что Ваш муж на такое способен.