Правильно, уходите! Освободите вашего мужчину для женщины которая будет любить его и будет верна ему. А вы может когда нибудь поймете, что жить с мужчиной и строить семью надо по любви! Посмотрите правде в глаза, ни с одним, ни со вторым мужчиной у вас это не получилось.Если бы у вас была любовь  мужем, вы бы от него не ушли. Если бы была любовь с тем к кому ушли, он бы и вас принял и ребенка вашего, и никуда бы не отпустил, но увы.Уходите, не мучьте себя, ищите 3-ий вариант, может повезет.