Автор,  поверьте женщине, пережившей развод,  и которая тожа вышла замуж очень рано: то, что скажут люди - будет ваша самая маленькая проблема. Исходите из того,  что реально весь быт и все вопросы воспитания подростков лягут на ваши плечи. Если вы к этому готовы: вперёд! На месте вашего удобного мужа после развода может (!) оказаться совершенно чужой, озлобленный на вас человек.  Это как худший,  но реалистичный вариант.