Это Ваше право, Вам необходимо поступать так, как Вам комфортнее. Он свой выбор сделал, это было его правом, Ваше право - решать, хотите ли Вы быть рядом при таком выборе... Сейчас очень обидно и тяжело, но это пройдет, поверьте, со временем еще радоваться будете, что получилось именно так.