Я бы не исходила из того, умно я поступаю или нет, а слушала бы свои внутренние ощущения. Если бы я поняла что готова с этим жить и это простить, осталась бы с мужем, если нет, ушла бы. Умно будет так, как удобнее для вас в этой ситуации