Со свекрами проще, конечно: помогают, и ребенок при них. Только Вы не за свекрами замужем. Не дадите согласия -  такая ситуация может длиться годами: он там а вы с ребенком здесь. Свою личную жизнь, живя у свекров, устраивать очень не просто. Надо думать не только о ребенке, но и о себе тоже. Вас устраивает, что Ваш муж живет с другой, и собирается жениться? Если случится чудо, Вы готовы его простить, принять? А родители его что говорят, что будет после развода?