Это самый лучший вариант. Тоже нахожусь в подобных отношениях и также как Вы мучаюсь угрызениями совести. Я готова была ещё не так давно уйти от хорошего мужа к любимому, но любимый не готов уйти из семьи (т.к. так же считает, что если женился то теперь и в богатстве и в бедности и т.д., иначе дети не простят). Расстаться не вариант, пытались но больше суток не смогли. Он привязался ко мне и я к нему. Поначалу было очень тяжело в таких отношениях,сейчас (год прошел) стало лучше, я успокоилась, прошел запал, и я реально поняла что детям (и с его стороны и с моей)лучше всего с родными родителями. К мужу отторжение прошло. Как не удивительно, но я поняла что могу быть с обоими. Может быть глядя на любимого как он с женой всегда сглаживает все углы, учусь также вести себя дома. А так мы встречаемся в любое удобное нам время и получаем радость общения без которой я уже не представляю жизни своей.  Конечно, в глубине души я мечтаю семью создать с ним, но одного моего желания мало, должно и у него быть такое же сильное желание. Но он более спокойный, рассудительный, меньше эмоций, потому и тянется всё пока так. Мой Вам совет - не гоните лошадей, только время всё расставит по местам.