Дело-то не в отсутствии, дело принципа. Вы рушите его принципы, главный из которых  - вы "онажемать". Вы совершили в его глазах преступление, бросили детей. Настоящая мать так сделать не может, а если сделала, то от нее можно ожидать чего угодно. Конечно неизвестно, что в голове у мужа, но, если он до этого вел себя как Вы описали, то скорее всего примерно такие мысли.