Три года - это очень долго для такого рода отношений. Если сами Вы не в состоянии разорвать эти отношения, то у Вас два варианта: 1)пойти к психологу 2)перестать себя мучить и сменить отношение к проблеме. Вам вместе хорошо, у вас есть семья, считайте, что это просто развлекуха, никто никому ничего не должен. Тем более, что если вас обоих все устраивает, даже появление "подходящей" сожительницы не будет означать конец ваших отношений.