Зависит от того, что сейчас происходит в ваших отношениях и именно как вы дальше планируете жить. Потому что поехать-не поехать - это детали. Если суть только в том, чтобы не поехать, просто сказать ему как есть:"Ты так нагадил мне в душу, что находиться с тобой рядом будем невозможно". А вообще сочувствую. Двойное предательство - это ужас.