Меняйте. Непонятно только, зачем вы в принципе собираетесь рожать от человека, с которым у вас фактически нет семьи, потому как если бы она у вас была, вы бы и думать о том, чтобы с другим мужчиной жить, не могли. А вы с легкостью рассуждаете, что готовы его сменить. Ну так меняйте, не мучайте мужчину своим отношением.