Кому мешает - того  и  проблема. Если ваш  муж не может принять вас  с вашим прошлым,  то проблема не в вашем прошлым,  а с принятием у мужа. И ему надо не скандалить, а идти к тетенькам и дяденькам  психологам  и учиться принимать партнера безусловно. Ну, или не идти, если ему это  не надо. И продолжать  скандалить, если скандалы вкусны обоим.Или  опять  же не идти,  а разводиться. Целых  три альтернативы есть.