一起的高质量的布，在整个欧洲这种布拥有极高的名声。1492年美洲的发现和1497年新开辟的通向印度的海路使得新的商业中心产生，乌尔姆渐渐没落了。1529年乌尔姆皈依为新教。到1546年施马尔卡尔登战争时期乌尔姆因战火失去了35个村庄，最后它不得不向天主教的皇帝投降。在此后两个世纪中，乌尔姆的财富被战争、疾病和不同的占领者的要挟和勒索中一荡清尽。约1770年城市完全破产而不得不出卖地盘。在拿破仑的统治下乌尔姆丧失了它的独立性而成为巴伐利亚的一个城市。八年后，1810年，它又被划给符腾堡并再次丧失地