Так у Вас не семья, а со-жительство, кооператив, так сказать. Если вас обоих это устраивает, оба свободны - ну, так замечательно. Но к топику это не имеет отношения, так как Вы сами же пишете, что Вам глубоко фиолетовы связи мужа, а значит, и страдать, как многие, кому муж изменяет, Вы не будете.