Понятия "оправдать измену" я не очень понимаю. Много вокруг желающих судить и оправдывать, только вот  редко тот, кого обсуждают, просит суда.По вашей ситуации. Я не знаю вашего мужа, вас и ваших детей. Если на мой характер, то обстановка дома, когда рядом голос повышают - вполне достаточна для того, чтобы пойти искать место теплее. Не "оправдает или нет". Просто вполне понятно и ожидаемо.