Die Entdeckung Amerikas (1492) sowie des Seeweges nach Indien (1497), aber auch die starke lokale Konkurrenz im Barchent-Geschäft durch die Fugger, welche zu Beginn des 16. Jahrhunderts den lukrativen Barchenthandel zunehmend auf ihre neuerworbenen Besitzungen im unteren Illertal „umleiteten“, ließen den Wohlstand und Einfluss Ulms bald nach 1500 schnell verblassen. Das Entstehen neuer Handelszentren und die Verlagerung der wichtigsten Handelsrouten Richtung Atlantik führten zu einem allmählichen wirtschaftlichen Niedergang der Stadt. Hierzu trugen nicht zuletzt auch religiöse Spannungen bei. Die Stadt gehörte 1529 zu den Vertretern der protestantischen Stände (Protestation) am Reichstag zu Speyer. Ihre Bürgerschaft forderte die ungehinderte Ausbreitung des evangelischen Glaubens. 1531 trat die Stadt durch Abstimmung der Bürgerschaft dem protestantischen Glauben bei. Der nachfolgende Bildersturm, in dessen Folge über 30 Kirchen und Kapellen abgerissen oder profaniert sowie weit über 100 Altäre (allein über 60 im Münster) zerstört oder entfernt wurden, bedeutete auch das abrupte Ende Ulms als Kunstzentrum. Konflikte mit dem Kaiser und anderen Reichsständen führten bis 1546 (Schmalkaldischer Krieg) dazu, dass Ulm 35 seiner Dörfer durch Plünderung oder Brandschatzung verlor und sich zuletzt doch dem katholischen Kaiser Karl V. unterwerfen musste, welcher 1546 die bis dahin gültige städtische Verfassung (Großer Schwörbrief) aus dem Jahre 1397 aufhob und dem städtischen Adel (Patriziat) durch den sogenannten Hasenrat faktisch die alleinige Entscheidungsgewalt in der Stadt zusprach.