Во-первых, здоровья Вам, и не допускайте никаких мыслей о смерти!По вопросу. Если муж - опекун, то , в принципе, забрать не должны. Все дальнейшее  может зависеть от сотрудников опеки. Они могут придираться и искать причины и поводы забрать, если им это будет нужно. С одним мужчиной - опекуном детей в многодетной семье, таких поводов может быть много(