Все эти приобретения были утрачены после того, как в 1634 году католики взяли верх в битве при Нёрдлингене. Очередная смена стороны сильно ударила бы по репутации Филиппа Морица, поэтому он предпочёл бежать в Мец, а оттуда, через Шалон-сюр-Сон, Руан и Амстердам — в Гаагу и Делфт, к своим родственникам из Оранж-Нассауского дома. В качестве регента в графстве им был оставлен младший брат Якоб Иоганн, считавшийся политически нейтральным. Однако так как в городе находился шведский гарнизон под командованием Якоба фон Рамсея, то Якоб Иоганн не имел практически никакого влияния, и вскоре тоже предпочёл бежать.