Не стоит пока. Постарайтесь разграничить все, живите, как соседи. Думаю, он молча это примет. Младшему пока нужна семья, нужен отец. Это правда может ударить и сильно в пубертате. Но откладывайте подушку, пусть у вас это будет цель. Это и будет подогревать. А как выйдет младший на самостоятельный путь - пусть просто даже поступит в ВУЗ, сделаете, как вам хочется. Любовника и сейчас найти можно. А развод вам пусть даже в ремиссии - очень хлопотно экономически и по всем пунктам. Дело не в чувствах, а в том, что на вас будет очень много всего, а если вдруг что- не дай бог, вам очень тяжело будет.