Если таковы ваши принципы, то вы должны быть довольны, ибо сейчас вы поступаете согласно им. А если на душе кошки скребут и все как-то не так, то делайте выводы. Естественно, трудно что-то советовать со стороны. Я не знаю, как ведет себя ваш муж и что из себя представляет. Но если он действительно хороший человек и вы его любите, то глупо все рушить из-за ничего не значащей левой связи.