Ya en el siglo XV el castillo llegó a ser un símbolo de la ciudad pero en los dos siglos siguiente fueron testigos de un gradual descenso de las riquezas de la ciudad debido en parte al valor estratégico de la ubicación cerca del río Mosa.