Ну при таком раскладе Вам по-любому скандала не избежать. Но не надо этого бояться,это жизнь,она у всех разная и это испытание Вас на прочность и зрелость личности.Как считаете нужным,так и поступайте.Причин для развода у Вас уже достаточно и без его измены.