Автор, а как вы с ним решали реагировать на измены? Сами понимаете, абсурдный вопрос,  измены не подразумевались. Поэтому не имеет значения, о чем вы с ним договаривались в МИРНОЕ ВРЕМЯ. В принципе скандалить\не скандалить - не  в этом же дело. А в вашем "я не могу его выставить". Из вашей квартиры. И в "я не могу уйти из дома, оставив ему детей на эти два дня", тоже был хороший совет.